1.本实施方案总体上涉及图像生成和处理，具体涉及用于优化相机阵列的图像冗余的技术。
背景技术：2.常规相机捕获来自对可见光敏感的二维传感器设备上的三维场景的光。此类成像设备中使用的光敏技术通常基于能够将光子转换为电子的半导体技术，例如，电耦设备(ccd)或互补金属氧化物技术(cmos)。例如，数字图像光传感器通常包括感光单元的阵列，每个单元被配置为捕获入射光。从对图像传感器设备的每个感光单元所捕获的光的总量的测量，获得提供空间信息的2d图像。虽然2d图像可以提供关于光传感器的空间点处的光的强度和光的颜色的信息，但是没有提供关于入射光的方向的信息。
3.最近已开发了其他类型的相机，这些相机提供更丰富和更图像密集的产品。一种此类相机是光场相机。光场相机允许从各种视点捕获真实内容。2个主要的光场相机系列是：相机矩阵；或全光相机。相机矩阵可以单个相机代替，该单个相机用于从各种视点执行多次采集。因此，被捕获的光场仅限于静态场景。对于全光相机，微透镜阵列位于主透镜和传感器之间。微透镜正在产生对应于各种视点的微图像。传感器收集的微图像矩阵可转换为所谓的子孔径图像，该子孔径图像相当于用相机矩阵获得的采集图像。本文提议的发明在考虑相机矩阵的情况下进行描述，但所提议发明同样适用于从全光相机提取的子孔径图像集。
4.记录光场图像可以使用以下系统类型中的一者：全光相机或相机阵列。相机阵列在视场和覆盖角度方面更灵活。经典的相机阵列设置是将紧凑型相机安装在位于共用平面的金属框架上，并使其朝向同一方向。通常，从相机阵列输出的图像会经过处理，以计算深度图像和基于某一虚拟视点的合成图像。这些图像的计算有赖于所有输入图像间的冗余度，在许多情况下，现有技术提供的冗余缺乏，在许多情况下这会导致生成的最终图像存在缺失部分。
5.因此，有必要提供一种技术，该技术能在输入结果和输出结果之间提供足够冗余，同时不会导致最终处理和生成的图像中存在信息缺失。
技术实现要素：6.本文提供了一种用于通过相机阵列矩阵中一个或多个相机生成图像的方法和系统。在一个实施方案中，该方法包括：例如基于所捕获图像间的冗余度，以90度绕滚转轴来旋转设置在矩阵上排和下排中的任意相机的方向。以小于90度的角度绕该滚转轴，以旋转设置在该矩阵角落处的一个或多个相机。接下来，确定并分析中央相机的位置，从而通过旋转和设置该中央相机以对任何冗余进行水平和垂直方向的补偿。
附图说明
7.接下来将仅以举例的方式结合以下附图来描述不同的实施方案，在这些附图中：
8.图1为与上述和其它设置相比的相机传感器格式的图示
9.图2提供了根据实施方案的输入图像的示例；
10.图3提供了根据实施方案的在阵列中所有相机处于相同中性滚转位置时的合成图像；
11.图4提供了智能设备的示例；
12.图5a和图5b提供了快速阴影和线框格式下合成场景的透视图。
13.图6示出了现有技术中使用的常规(经典)4
×
4相机阵列格式，
14.图7提供了0.5m下的4
×
4冗余，
15.图8提供了1m下的4
×
4冗余，
16.图9提供了2m下的4
×
4冗余，并且
17.图10提供了3m下的4
×
4冗余
18.图11为rgb图像的4
×
4输出图示；
19.图12为带有深度估计的4
×
4图示；
20.图13提供了由若干物体构成的场景的点云图示的示例；
21.图14为使用4
×
4相机阵列结构进行z滚转优化的示例图示；
22.图15为0.5m下的z滚转冗余的示例图示；
23.图16为1m下的z滚转冗余的图示；
24.图17为2m下的z滚转冗余的图示；
25.图18为3m下的z滚转冗余的图示；
26.图19为z滚转渲染rgb图像的图示；
27.图20为分别由相机图像和深度估计软件提供的z滚转深度估计的图示(用于计算深度图)；
28.图21提供了z滚转3d点云的最终结果。
29.图22为具有不同布置的实施方案之间间距比较的图表的图示；
30.图23为提供偏离中心和z滚转配置的图示；
31.图24为提供0.5m下偏离中心的冗余的图示；
32.图25为提供1m下偏离中心的冗余的图示；
33.图26为提供2m下偏离中心的冗余的图示；
34.图27为提供3m下偏离中心的冗余的图示；
35.图28为已渲染rgb图像的结果的图示；
36.图29为所应用的深度估计的图示；
37.图30为对应于使用rgb和深度图像产生的偏离中心和z滚转配置的最终点云的图示；
38.图31为一个实施方案的流程图图示；并且
39.图32为说明本文公开各实施方案中的设备的硬件配置的示意图。
具体实施方式
40.与传统2d图像相比，光场图像和视频处理提供了种类更丰富的图像处理可能性。然而，高质量光场的捕获具有挑战性，因为必须捕获和管理大量数据。通常，需要将许多不同的视图组合在一起，这些视图在高动态范围内提供，具有出色的颜色和分辨率。此外，必须对2d图像进行处理，以便将它们投影到三维平面中。在数字图像中，这涉及提供代表像素的网格状平面。对于空间中的每个可见点，2d图像通常提供一个或多个像素的强度。此外，必须考虑与立体图像处理相关联的其他原则，诸如提供场景的两个不同视图。这是因为通过为左眼和右眼提供略微偏移的图像(视差)以提供深度印象来向用户的眼睛提供深度管理。这些要求大大增加了视觉体验，但它们也显著增加了必须捕获、管理、存储和恢复的数据量。
41.记录光场图像可以使用以下系统类型中的一者：全光相机或相机阵列。相机阵列在视场和覆盖角度方面更灵活。经典的相机阵列设置通常位于共用平面中并朝向同一方向，并且阵列包含具有常用纵横比的相机传感器。在许多现有技术设置中，该纵横比在摄影中在4/3和3/2之间变化，在视频中则在4/3、16/9、2.39/1之间变化，但在其他设置中可能存在提供不同设置(1/1、2/1等)的其它更不常见的格式。图1为相机传感器格式比较的图示。这些格式适用于图片打印和屏幕显示。
42.近年来，随着立体甚至虚拟和增强现实应用的出现，相机阵列生成的内容在头戴式显示器上经过渲染以供360度观看。在此类情况下，相机纵横比以某种方式约束，从而使所捕获场景的垂直和水平覆盖最大化。在这些及其它类似应用中，阵列中的相机以各种方式布置：沿着一个横排、多排和列(形成矩形或正方形)、全部在一个平面中，或会聚/发散。然而，在大多数常规情况下，沿滚转轴的旋转保持不变。通过保持相同的中性滚转位置而保持所有图像一致可能看似合理，但这种方法具有许多缺点。
43.通常，从相机阵列输出的图像会经过处理，以计算深度图像和基于某一虚拟视点的合成图像。这些图像的计算有赖于所有输入图像间的冗余度，我们可以观察到冗余缺乏会导致合成图像中存在缺失部分或人工痕迹。图2和3提供了这一情况的示例。图2提供了输入图像的示例，而图3示出了所有相机处于相同中性滚转位置时的合成图像。如图所示，图3中存在一些信息缺失。
44.在一个实施方案中，如目前所述，如果相机沿滚转轴旋转，则冗余可以更好地分布在最终合成图像内。如接下来所述，在一个实施方案中，可以呈现两个新的相机阵列架构，其在特定相机方位和位置上具有相同的外部尺寸，以优化图像间的冗余，从而改善合成图像的场景覆盖范围。然而，在讨论这些新架构之前，应讨论一些背景信息。
45.图4提供了智能设备的预览图。在该特定实施方案中，为了便于理解，使用了智能手机，但在其他实施方案中，可以利用其它智能设备。
46.在(约2007年出现的)包括双相机的第一代智能手机中，目标是记录3d图片。稍后(约2014年)新一代智能手机提供具有两个相机的设备，目的则在于提高低光拍照性能。另一个目的在于编辑散景并充分利用其提供的各种可能性。很快，双相机设备到2018年变成了行业标准，许多智能设备，包括具有3或4个相机的智能手机被引入。新趋势将带来智能设备，例如，具有更多个(如16个)相机的智能手机，的相机阵列设置。因此，针对这些相机阵列优化冗余成为越来越重要的概念。
47.图5a和图5b提供了快速阴影和线框格式下合成场景的透视图。此图示用于评估不同的钻机阵列配置的性能，合成场景已在3d渲染应用(cinema 4d)中进行建模。此场景包含放置在1.4至5.1米距离范围内的多个物体，并且其相对于相机阵列进行不同角度的旋转。这些物体有意地没有呈现实色，以便于被动深度估计。
48.图6示出了现有技术中使用的常规(经典)4
×
4相机阵列格式，其中参考相机阵列(4
×
4形状)的布置为每行4个相机和每列4个相机。在一个实施方案中，这可以用于相机阵列中任何数量的相机的基线计算。因为一些相机可能不同，所以一些实施方案中获得的值可能不总是相同，基于此理解，这也可以作为4
×
4相机阵列的良好示例进行应用。然而，在许多情况下，以这种格式使用的许多相机通常具有与它们类似的特征。
49.回到前述讨论，这种形态有时被认为是相机矩阵市场的基础。为了模拟16张图像的格式，相机中心(与相对相机之间的距离通常为21cm)之间通常保持特定(通常为7cm)的距离。常规地，以这种形式使用的许多相机通常具有以下特征：
50.焦距：8mm；
51.相机分辨率：1920
×
1080像素；
52.水平和垂直视角：62
°
/37
°
。
53.图7至图10为以不同冗余布置设置的4
×
4经典相机布置的不同实施方案和示例。如图所示，图7提供了0.5m下的经典4
×
4冗余，图8提供了1m下的经典4
×
4冗余，图9提供了2m下的经典4
×
4冗余并且最后，图10提供了3m下的经典4
×
4冗余。
54.在所有这些布置中，相机间的冗余取决于相机与对象之间的距离。通过执行多次模拟评估经典4
×
4相机阵列的冗余度。在每种情况下，冗余特别集中在角落缺乏细节的捕获场景的中央部分，并且这种阵列配置的覆盖范围受到相机传感器格式(仅横向)约束。
55.这些相机阵列结构可以用于获取作为这里16个相机直接输出的16张rgb图像，但在其他实施方案中，可以包括任意数量的相机。深度估计软件使用这些图像和校准文件作为输入，然后基于每个像素对来自每个相机的rgb值进行比较以计算深度。其结果在图11和图12中已进行图示。如图所示，图11为作为rgb图像的经典4
×
4输出的图示，而图12为带有深度估计的经典4
×
4的图示。然后，根据以下条件将rgb和深度估计图像作为输入，以生成点云：仅在最小两视图以0.5像素最大距离处于相同位置处估计3d点时才在空间中投影该3d点。
56.图13提供了由若干物体构成的场景的点云图示。目的在于拓展所捕获场景的覆盖范围，同时保持相机阵列的全局大小。一个实施方案中提议在滚转轴上旋转一个或多个相机。考虑到相机的横向16:9格式，目标在于扩大全局垂直视场。可以以90度旋转应用于上排和下排的相机。为了避免上、中和下垂直角落间的点云突然散裂，相机则不会旋转90度。这些4边角相机的45度旋转则允许通过更好的3d空间分布获取更全面的整体形状。以下说明有助于更好地理解此z滚转优化的相机结构的全局形状。
57.为了便于理解图14，提供了使用4
×
4相机阵列结构的z滚转优化。为了更好地使对冗余度产生的影响可视化，如图15至图18中所示，对在0.5米至3米距离范围内进行了相同的模拟(图15：0.5m下的z滚转冗余；图16：1m下的z滚转冗余；图17：2m下的z滚转冗余；并且图18：3m下的z滚转冗余)。图19和图20分别提供了由相机图像和深度估计软件提供的z滚转渲染rgb图像和z滚转深度估计(用于计算深度图)。这种情况下的结果是32张图像(16张rgb
+16张深度)，然后使用这些图像以与之前相同的25个条件(仅在两个视图间评估0.5像素最大差值时才保留3d点)来生成对应的点云。图21提供了如所示的z滚转3d点云的最终结果。有了更好的冗余分布，3d空间覆盖范围的相关差异是值得的。这个点云的一些部分可能比经典4
×
4配置(例如，电视及其载体)更稀疏。这是由于z滚转相机减少了中央部分的冗余。下一个实施方案中的配置可以帮助解决这个问题。
58.另一个实施方案涉及偏离中心的和z滚转优化的4
×
4相机阵列。为了平衡一些相机旋转导致的点云中央部分的细节丢失，同时维持所捕获场景的扩展覆盖范围并保持相机阵列全局大小恒定，一些中央相机会偏离中心。这种想法背后的道理是相机间的15冗余仍然主要集中在相机阵列的中心。下面描述了偏离中心的相机结构的示例。在此示例中，四个中央相机在水平方向上偏移3厘米，并在垂直方向上偏移2厘米。优先在水平方向上补偿中央部分弱化的冗余，但垂直方向也略微偏离到20，从而增加点云的上部和下部中的3d点密度。
59.图22提供了示出具有不同布置的实施方案之间间距比较的图表。图23提供了预览如下的偏离中心和z滚转配置。四个相机的偏移使得冗余在水平和垂直方向上扩散。通过查看相机间的冗余模拟，可以将这种新的相机配置与初始配置和仅z滚转配置进行比较。增益似乎是次要的，但在最终点云中它将会更明显。
60.如前所述，出于比较的目的，图24至图27提供了不同距离下的渲染冗余。图24提供了0.5m下偏离中心的冗余；图25为1m下的情况；图26为2m下的情况并且图27为3m下的情况。将这些修改用于3d渲染应用中的相机阵列模型，则如图28所示的rgb图像将出现，并且一旦同时应用深度估计，则如图29所示。
61.在图30中，对应于使用rgb和深度图像产生的这一偏离中心和z滚转配置的最终点云。可见有了很多改进。利用这种最新配置，有助于拓展视场，但同时能保留图像中央部分的细节。与本专利第一章节中所述的经典4
×
4相机阵列相比，此相机阵列构建在相同的相机元件上，并保持相同的外部尺寸，同时具有更好的图像采集特性。与前述8相同。在输出的深度图像中，在边界周围存在可观察到的改进。
62.上述提供z滚转旋转和偏离中心配置的实施方案可以应用于包括智能手机或其它智能设备的所有相机阵列类型。另外，不需要旋转相机阵列以捕获纵向图像，并且可以在记录以垂直物体(纵向)开始以相当水平的环境(横向)结束的视频场景方面探索新的可能性。另外一个优点在于相机阵列的外部尺寸保持不变。图像冗余可以扩散，以获得更恒定的深度估计和拓展虚拟视场。
63.图31为一个实施方案的流程图图示，其用于从相机阵列矩阵中的每个相机阵列生成图像。在步骤3100中，通过以90度旋转设置在所述矩阵上排和下排中的任意相机的方向来减少相机矩阵的待捕获图像间的冗余度。应注意，讨论任何角度时，这些角度意在传达不完全准确的测量，因此，90度被认为基本上为90度或相近角度。在步骤3200中，以小于90度的角度旋转设置在该矩阵角落处的任意相机。在步骤3300中，确定设置在该矩阵中的中央相机的位置，并分析其冗余度。基于此确定和分析，在步骤3400中，旋转该中央相机，并将其设置成提供优先在水平方向上补偿任何图像冗余，并在垂直方向上设置为增加该相机矩阵的上部和下部的密度。
64.图32为可实现本公开一个或多个实施方案的设备的硬件配置的示意图。尽管在图
32中示出了设备5包括相机1，如光场相机1(或将在本说明书的后述章节中解释的1a)，光场相机1可与设备5分开配置。设备5可为任何设备，诸如例如台式计算机或个人计算机、智能手机、智能手表、平板电脑、移动电话、便携式/个人数字助理(“pda”)以及促进最终用户与光场相机1之间的信息通信的其他设备。光场相机1内部也可具有设备5的配置。
65.设备5包括通过地址和数据的总线54(该总线还传输时钟信号)彼此连接的以下元件：处理器51(或cpu)、rom(只读存储器)类型52的非易失性存储器、随机存取存储器或ram 53、无线电接口(rx)56、适于传输数据的接口55(tx)、光场相机1、适于为用户显示信息和/或输入数据或参数的mmi(人机界面)58(i/f appli)。
66.应注意，在存储器52和53的描述中使用的术语“寄存器”或“存储”在所提及的存储器中的每个存储器中指定低容量的存储器区以及大容量的存储器区(使得整个程序能够存储在此类存储器中或者表示针对此类存储器接收和解码的数据的全部或部分数据)。
67.rom 52包括程序“prog”。实现本公开特定方法的步骤并在下文中描述的算法存储在rom 52存储器中并与实现这些步骤的设备5相关联。当上电时，处理器51加载并运行这些算法的指令。ram 53在寄存器和/或存储器中特别包括以下项：处理器51的操作程序，负责打开设备5；接收参数(例如，用于帧的调制、编码、mimo(多输入多输出)、复发的参数)；传输参数(例如，用于帧的调制、编码、mimo、复发的参数)；传入数据，对应于由无线电接口56接收和解码的数据；解码数据，形成为在接口处传输到应用程序58；主透镜10的参数；和/或代表由微透镜阵列的微透镜形成的微图像中心的信息。除了关于图6描述的那些结构之外，设备5的其他结构与本公开兼容。具体地，根据各种另选实施方案，设备5可根据纯硬件实现来实现，例如以专用部件的形式(例如，在asic(专用集成电路)或fpga(现场可编程门阵列)或vlsi(超大规模集成)中)或以嵌入在装置中的若干电子部件的形式，甚至以硬件元件和软件元件的混合形式。无线电接口56和接口55适于根据一个或若干电信标准(诸如ieee802.11(wi-fi)、符合imt-2000规范的标准(也称为3g)、3gpp lte(也称为4g)、ieee 802.15.1(也称为蓝牙)接收和发射信号。根据另选实施方案，设备5不包括任何rom，而仅包括ram，其中实现特定于本公开的方法的步骤的算法存储在ram中。
68.实施方案中实施的一些过程可由计算机实施。因此，此类元件可以采取完全硬件实施、完全软件实施(包括固件、驻留软件、微代码等)或软件和硬件方面组合实施的形式，该软件和硬件方面组合在本文中可以统一被称为“电路”、“模块”或“系统”。此外，此类元件可以采取计算机程序产品的形式，该计算机程序产品实现于具有体现在媒体中的计算机可用程序代码的任何有形表达介质中。
69.由于至少一些元件可以在软件中实施，本发明可以实现为计算机可读代码，用于在任何合适的载体介质上提供给可编程装置。有形载体介质可包括存储介质，例如软盘、cd-rom、硬盘驱动器、磁带设备或固态存储设备等。瞬态载体介质可包括信号，例如电信号、电子信号、光学信号、声学信号、磁信号或电磁信号，例如微波或rf信号。
70.尽管上文已结合具体实施方案描述了本发明，但本发明不限于这些具体实施方案，并且本领域技术人员当然理解各种修改将属于本发明的范围之内。
71.在参考前述例示性实施方案时，本领域技术人员会想到许多进一步的修改和变化，这些例示性实施方案仅作为示例给出并且不旨在限制本发明的范围，其仅由所附权利要求确定。具体地，在适当的情况下，不同实施方案中的不同特征可以互换。
技术特征：1.一种方法，所述方法包括以90度绕滚转轴来旋转设置在相机矩阵上排和下排中的至少一个相机，从而生成图像；以小于90度的角度绕所述滚转轴，以旋转设置在所述矩阵角落处的至少一个相机；确定设置在所述矩阵中的中央相机的位置，并分析其冗余度；基于所述阵列中心位置上的冗余，在水平和垂直方向上旋转和/或移动所述中央相机。2.一种图像捕获系统，所述系统包括：用于以90度旋转设置在相机矩阵上排和下排中的至少一个相机的装置；用于以小于90度的角度旋转设置在所述矩阵角落处的至少一个相机的装置；处理器，所述处理器用于确定设置在所述矩阵中的中央相机的位置，并分析其冗余度；用于在水平和垂直方向上移动所述中央相机以补偿在所述阵列中心位置中任意冗余的装置。3.根据权利要求1所述的方法或根据权利要求2所述的系统，其中，所述中央相机以水平方向设置，以消除中央部分的任何图像冗余。4.根据权利要求1或3所述的方法或根据权利要求2或3所述的系统，其中，所述中央相机以垂直方向设置，以增加从所述相机矩阵的上部和下部提供的信息的密度。5.根据权利要求1所述的方法，所述方法还包括：从所述相机阵列中的所述相机中的至少一个相机捕获第一图像，以及从所述相机阵列中与所述阵列中的所述第一相机相邻的第二相机捕获第二图像。6.根据权利要求5所述的方法，所述方法包括：从所述第一相机和所述第二相机获取图像，其中，所述相机具有重叠视场(fov)。7.根据权利要求2所述的系统，其中，至少从所述相机阵列中的所述相机中的至少一个相机捕获第一图像，以及从所述相机阵列中与所述阵列中的所述第一相机相邻的第二相机捕获第二图像。8.根据权利要求7所述的系统，其中，所述第一相机和所述第二相机具有重叠视场(fov)。9.根据权利要求6所述的方法或根据权利要求8所述的系统，其中，所述第一图像和所述第二图像至少在一个区域中重叠。10.根据权利要求9所述的方法或根据权利要求9所述的系统，所述系统还包括：比较所述第一图像和所述第二图像，并分析其重叠部分以去除所有冗余。11.根据权利要求1或权利要求3至6中任一项所述的方法，所述方法还包括：从所述阵列中的所有所述相机同步捕获补充图像。12.根据权利要求2或权利要求6至10中任一项所述的系统，所述系统还包括：用于从所述阵列中的所有所述相机同步捕获补充图像的装置。13.根据权利要求11所述的方法，所述方法还包括：比较所述同步捕获的图像，并分析其重叠部分以去除所有冗余。14.根据权利要求1或权利要求3至6中任一项所述的方法，所述方法还包括：在去除冗余之后拼接所述图像的各部分，以提供最终图像，从而生成比通过所述阵列中单个相机所捕获的图像中每个图像具有更高分辨率的最终图像。
15.根据权利要求1或权利要求6至10和权利要求12所述的系统，所述系统还包括：一种装置，所述装置用于在去除冗余之后拼接所述图像的各部分，以提供图像，从而生成比通过所述阵列中单个相机所捕获的图像中每个图像具有更高分辨率的图像。
技术总结本文提供了一种用于从相机阵列矩阵中每个相机阵列生成图像的方法和系统。在一个实施方案中，该方法包括：以90度绕滚转轴来旋转设置在矩阵上排和下排中的任意相机的方向，以提高待捕获图像间的冗余度。然后，以小于90度的角度绕该滚转轴，以旋转设置在该矩阵角落处的任意相机。接下来，确定并分析中央相机的位置，从而通过旋转和设置该中央相机以对任何冗余进行水平和垂直方向的补偿。进行水平和垂直方向的补偿。进行水平和垂直方向的补偿。
技术研发人员：F
受保护的技术使用者：交互数字CE专利控股有限公司
技术研发日：2021.02.18
技术公布日：2022/11/1
