1.本发明涉及信息处理装置、信息处理方法和信息处理程序。
背景技术：2.作为示例，在用相机捕获图像时，使用诸如光学取景器和电子取景器之类的各种取景器来检查构图。
3.引文列表
4.专利文献
5.专利文献1：日本专利申请特许公开no.2018-11302
技术实现要素：6.本发明要解决的问题
7.然而，对于上述取景器，在取景器的内部和外部之间交替移动视线的试错发生，直到按照摄影师意图的构图容纳在相机的框内为止，因此取景工作变得复杂。
8.因此，本公开的目的是提供一种能够简化取景工作的信息处理装置、信息处理方法和信息处理程序。
9.问题的解决方案
10.为了解决上述问题，根据本公开的实施例的信息处理装置包括：决定单元，被配置为基于与由第一成像设备执行的成像相关的成像相关信息来决定要用于在由第一成像设备捕获的第一图像与由具有比第一成像设备的视角宽的视角的第二成像设备捕获的第二图像之间对准的对准信息；以及输出单元，被配置为输出对准信息。
附图说明
11.图1是图示根据第一实施例的系统的配置示例的图。
12.图2是图示根据第一实施例的信息处理装置的功能配置示例的框图。
13.图3是图示根据第一实施例的信息输出处理的过程的流程图。
14.图4是图示根据第二实施例的信息处理装置的功能配置示例的框图。
15.图5是图示深度分布信息的示例的曲线图。
16.图6是图示根据第二实施例的信息输出处理的过程的流程图。
17.图7是图示根据第三实施例的信息处理装置的功能配置示例的框图。
18.图8是图示焦距与视角之间的对应关系的示例的图。
19.图9是图示根据第三实施例的信息输出处理的过程的流程图。
20.图10是图示计算机的示例的硬件配置图。
具体实施方式
21.在下文中，将基于附图详细描述本公开的实施例。注意的是，在以下每个实施例
中，相同的部分由相同的附图标记表示，并且将省略冗余的描述。
22.此外，将根据以下项目次序来描述本公开。
23.1.第一实施例
24.1-1.系统配置的示例
25.1-2.用例的示例
26.1-3.第一成像设备的功能配置示例
27.1-3-1.成像传感器
28.1-3-2.数字信号处理单元
29.1-3-3.显示单元
30.1-4.第二成像设备的功能配置示例
31.1-4-1.成像传感器
32.1-4-2.数字信号处理单元
33.1-4-3.对准单元
34.1-4-4.显示单元
35.1-5.问题的一个方面
36.1-6.解决问题的方法的一个方面
37.1-7.信息处理装置的功能配置示例
38.1-7-1.获取单元
39.1-7-2.决定单元
40.1-7-3.输出单元
41.1-8.信息处理装置的处理过程
42.1-9.效果的一个方面
43.2.第二实施例
44.2-1.信息处理装置的功能配置示例
45.2-2.决定单元
46.2-2-1.确定单元
47.2-2-2.选择单元
48.2-3.信息处理装置的处理过程
49.2-4.效果的一个方面
50.3.第三实施例
51.3-1.信息处理装置的功能配置示例
52.3-2.决定单元
53.3-2-1.计算单元
54.3-2-2.生成单元
55.3-3.信息处理装置的处理过程
56.3-4.效果的一个方面
57.4.变形例
58.4-1.实施例之间的组合
59.4-2.对准的执行主体
60.4-3.其它变形例
61.5.硬件配置
62.《《1.第一实施例》》
63.《1-1.系统配置的示例》
64.图1是图示根据第一实施例的系统的配置示例的图。从简化取景工作的角度来看，图1中所示的系统提供了在由第二成像设备5捕获的图像50上显示指示第一成像设备1捕获图像的框的位置的标记m的成像支持功能。
65.如图1中所示，该系统可以包括第一成像设备1和第二成像设备5。第一成像设备1和第二成像设备5可通信地连接。仅作为示例，第一成像设备1和第二成像设备5可以经由通用串行总线(usb)线缆等连接。此外，第一成像设备1和第二成像设备5之间不一定需要执行双向通信，并且第一成像设备1和第二成像设备5可以经由高清多媒体接口(hdmi)(注册商标)线缆等连接。
66.作为一个方面，第一成像设备1和第二成像设备5不一定需要具有相同的视角。例如，虽然可以将具有比用于由第二成像设备5成像的镜头的焦距长的焦距的远摄镜头安装在第一成像设备1上，但是具有比用于由第一成像设备1成像的镜头的视角宽的视角的广角镜头可以安装在第二成像设备5上。
67.作为另一方面，第一成像设备1和第二成像设备5的光轴可以彼此一致，或者第一成像设备1和第二成像设备5的光轴不一定需要彼此一致。注意的是，在图1中，仅作为示例，第一成像设备1和第二成像设备5被示为不同的设备组，但是第一成像设备1和第二成像设备5可以集成到两个设备中。
68.注意的是，图1图示了其中第一成像设备1和第二成像设备5通过有线连接的示例，但配置不限于该示例，并且第一成像设备1和第二成像设备5可以通过近场无线通信或无线通信连接。
69.《1-2.用例的示例》
70.第一成像设备1和第二成像设备5不一定需要是成像专用的电子设备。例如，不排除第一成像设备1和第二成像设备5设有除成像功能以外的其它功能。
71.仅作为示例，存在指示由数码相机捕获的框的位置的标记m被叠加并显示在由智能电话或平板终端捕获的图像50上的用例。在这种情况下，第一成像设备1可以被实现为数码相机，而第二设备5可以被实现为智能电话、平板终端等。
72.作为另一示例，存在指示由数码相机(诸如带有稳定器的可交换镜头相机)捕获的框的位置的标记m被叠加并显示在由一副增强现实(ar)眼镜捕获的图像50上的用例。在这种情况下，第一成像设备1可以被实现为数码相机，而第二成像设备5可以被实现为ar眼镜。
73.注意的是，在图1中，仅作为示例，图示了第一成像设备1在其上捕获图像的框本身的标记m，但是标记m的形状和尺寸可以是任意的。例如，标记m可以是指示第一成像设备1捕获图像的框的位置的指针、图形、记号等。
74.《1-3.第一成像设备的功能配置示例》
75.图2是图示根据第一实施例的信息处理装置10的功能配置示例的框图。如图2中所示，第一成像设备1包括成像传感器1a、数字信号处理单元1b、显示单元1c和信息处理装置10。
76.在此，虽然图2图示了信息处理装置10被结合在第一成像设备1中的示例，但这仅仅是示例。例如，信息处理装置10可以被结合在第二成像设备5中，或者可以被实现为不同于第一成像设备1和第二成像设备5的第三装置。注意的是，将在描述第一成像设备1和第二成像设备5的功能配置示例之后描述信息处理装置10。
77.《1-3-1.成像传感器1a》
78.作为成像传感器1a，可以采用诸如电荷耦合器件(ccd)或互补金属氧化物半导体(cmos)图像传感器之类的图像传感器。仅作为示例，通过第一成像设备1的光学系统(例如，远摄镜头)会聚的光由成像传感器1a进行光电转换。通过这种光电转换获得的raw图像被输入到数字信号处理单元1b。
79.在此，像平面相位差传感器(未示出)可以被结合在成像传感器1a中。例如，可以根据从像平面相位差传感器输出的相位差信号来测量到被摄体的距离(即，深度)。以这种方式，可以将针对每个像平面相位差传感器测得的深度作为深度图输出到数字信号处理单元1b。
80.注意的是，虽然这里已经例示了像平面相位差传感器，但是可以代替像平面相位差传感器将相位差传感器安装在第一成像设备1上，或者像平面相位差传感器和相位差传感器两者都可以被安装。此外，在此例示了像平面相位差传感器和相位差传感器，但不排除在第一成像设备1中设有像平面相位差传感器和相位差传感器以外的深度传感器。
81.《1-3-2.数字信号处理单元1b》
82.数字信号处理单元1b是执行数字信号处理的功能单元。作为实施例，数字信号处理单元1b可以通过诸如数字信号处理器(dsp)之类的硬件来实现。例如，上述数字信号处理的示例包括将raw图像转换成预定格式的图像(例如yc图像)的处理，诸如所谓的raw显影、白平衡调整、色差校正等处理。
83.注意的是，在此已经描述了通过硬件实现上述数字信号处理单元1b的示例，但是数字信号处理单元1b可以通过由处理器执行的raw显影引擎等的软件来实现。
84.《1-3-3.显示单元1c》
85.显示单元1c是显示各种信息的功能单元。作为实施例，显示单元1c可以通过在第一成像设备1的壳体的背面部署液晶显示器、有机电致发光(el)显示器等来实现。例如，每次当通过数字信号处理单元1b输出yc图像时，显示单元1c实时地显示yc图像。在下文中，从将由数字信号处理单元1b输出的yc图像的标签与由后述的数字信号处理单元5b输出的yc图像的标签进行区分的方面出发，可以将前者称为“远摄yc图像”，可以将后者称为“广角yc图像”。因此，可以实现远摄yc图像的实时取景(live view)功能。
86.注意的是，显示单元1c也可以通过与输入单元(未示出)集成而被实现为触摸面板。此外，如上所述，由于存在指示其中第一成像设备1捕获图像的框的位置的标记显示在第二成像设备5的显示单元5d上的方面，因此显示单元1c不一定需要被设置在第一成像设备1中。
87.《1-4.第二成像设备5的功能配置示例》
88.如图2中所示，第二成像设备5包括成像传感器5a、数字信号处理单元5b、对准单元5c和显示单元5d。
89.《1-4-1.成像传感器5a》
90.作为成像传感器5a，可以采用诸如ccd或cmos之类的图像传感器。仅作为示例，通过第二成像设备5的光学系统(例如，远摄镜头)会聚的光由成像传感器5a进行光电转换。通过这种光电转换获得的raw图像被输入到数字信号处理单元5b。
91.在这种成像传感器5a中，也可以与上述成像传感器1a类似地结合像平面相位差传感器(未示出)。以这种方式，可以将针对每个像平面相位差传感器测得的深度作为深度图输出到数字信号处理单元5b。注意的是，虽然这里已经例示了像平面相位差传感器，但是代替像平面相位差传感器可以将相位差传感器安装在第二成像设备5上，或者像平面相位差传感器和相位差传感器两者都可以被安装。此外，在此例示了像平面相位差传感器和相位差传感器，但不排除在第二成像设备5中设有像平面相位差传感器和相位差传感器以外的深度传感器。
92.《1-4-2.数字信号处理单元5b》
93.数字信号处理单元5b是执行数字信号处理的功能单元。作为实施例，数字信号处理单元5b由诸如中央处理单元(cpu)或微处理单元(mpu)之类的处理器虚拟地实现。例如，处理器从存储装置(未示出)除了读取操作系统(os)之外，还读取raw显影引擎等的软件等程序。然后，处理器执行上述raw显影引擎以在诸如随机存取存储器(ram)之类的存储器上展开与数字信号处理单元5b对应的处理。因此，将数字信号处理单元5b虚拟地实现为处理。在此，cpu和mpu已被例示为处理器的示例，但是数字信号处理单元5b可以由任何处理器来实现，而不管是通用型还是专用型。此外，不排除数字信号处理单元5b通过诸如专用集成电路(asic)或现场可编程门阵列(fpga)之类的硬接线逻辑来实现。
94.数字信号处理单元5b可以发挥出与上述数字信号处理单元1b的功能类似的功能。例如，作为上述数字信号处理的示例，数字信号处理单元5b可以执行将raw图像转换成预定格式的图像(例如，yc图像)的处理，诸如所谓的raw显影、白平衡调整、色差校正等处理。
95.注意的是，在此已经描述了数字信号处理单元5b通过由处理器执行的raw显影引擎等的软件来实现的示例，但是上述数字信号处理单元1b可以通过硬件来实现。
96.《1-4-3.对准单元5c》
97.对准单元5c是对准由第一成像设备1捕获的图像与由第二成像设备5捕获的图像的处理单元。作为实施例，与数字信号处理单元5b类似，对准单元5c可以由诸如cpu或mpu之类的处理器虚拟地实现。例如，处理器读取用于对准多个图像的图像处理程序。然后，处理器执行上述图像处理程序以在诸如ram的存储器上展开与对准单元5c对应的处理。因此，对准单元5c被虚拟地实现为处理。
98.在此，上述对准是指在两个图像之间对一个图像应用诸如移动、旋转或变形之类的变换矩阵，从而将一个图像与另一个图像对准的一般配准。作为一个方面，在配准中，搜索最大化两个图像之间的相似度的变换矩阵。例如，作为相似度，可以使用平方差之和(ssd)、绝对差之和(sad)、相关系数等。此外，当应用变换矩阵时，可以在两个图像之间匹配特征点。
99.这种配准实现了由第一成像设备1捕获的图像(例如，由数字信号处理单元1b输出的远摄yc图像)与由第二成像设备5捕获的图像(例如，由数字信号处理单元5b输出的广角yc图像)之间的对准。而且，在此，仅作为示例，将描述通过上述配准而获得用于将远摄yc图像与广角yc图像对准的变换矩阵的示例。
100.仅作为示例，对准单元5c可以将远摄yc图像叠加在广角yc图像上。此时，如果第一成像设备1与第二成像设备5的光轴相同，那么如图1中所示的示例那样，通过对准而获得的远摄yc图像的框保持为矩形形状。然而，在光轴不同的情况下，存在通过对准而获得的远摄yc图像的框不具有矩形形状而是具有变形的形状的可能性。
101.从这种方面，对准单元5c可以在广角yc图像上叠加指示远摄yc图像的框的位置(例如，中心位置)的标记m。在下文中，叠加了远摄yc图像的框的位置的标记m的广角yc图像可以被称为“具有远摄框标记的广角图像”。以这种方式获得的具有远摄框标记的广角图像被输出到显示单元5d。
102.《1-4-4.显示单元5d》
103.显示单元5d是显示各种信息的功能单元。作为实施例，显示单元5d可以由液晶显示器、有机el显示器等实现，并且也可以通过与输入单元(未示出)集成而被实现为触摸面板。例如，每次当从对准单元5c输出具有远摄框标记的广角图像时，显示单元5d实时显示具有远摄框标记的广角图像。
104.《1-5.问题的一个方面》
105.在本公开的实施例1中，作为上述成像支持功能，具有远摄框标记的广角图像被显示在显示单元5d上。通过这种显示，可以在广角yc图像上俯瞰远摄yc图像的框的位置的标记m。因此，可以不需要在取景器的内侧和外侧之间交替移动视线中的试错，并且因此可以实现取景工作的简化。
106.虽然存在这样的方面，但为了实时显示具有远摄框标记的广角图像，诸如远摄yc图像与广角yc图像的对准之类的图像处理可能成为瓶颈的原因并且延迟可能在要叠加在广角yc图像上的远摄yc图像的框的位置的显示中发生。在如上所述发生延迟的情况下，在显示器上的远摄yc图像的框的位置与实际远摄yc图像的框的位置之间存在差异，因此存在无法使用意图的构图执行成像的情况。
107.已经提出了各种用于图像对准的技术，但它们都是用于接近对准或配准算法本身的技术。这种算法的独创性仅仅是如何对准两个图像的独创性。因此，用于对准的只是两个图像，缺乏在捕获其中一个图像时可以获取有助于对准的信息的视点，并且这种算法的独创性也没有用于对准。
108.《1-6.解决问题的方法的一个方面》
109.因此，根据本公开的实施例的信息处理装置10提供信息输出功能，该功能基于与由第一成像设备1执行的成像相关的成像相关信息来决定和输出用于第一成像设备1和第二成像设备5之间的图像对准的对准信息。
110.即，根据本公开的实施例的信息处理装置10从第一成像设备1中的成像特有的观点出发，输出在执行与由第二成像设备5捕获的图像的对准时可以有助于减少处理量的对准信息。
111.因此，在根据本公开的实施例的信息处理装置10中，由于可以加快远摄yc图像与广角yc图像的对准，因此可以提高显示具有远摄框标记的广角图像的实时特性。
112.《1-7.信息处理装置10的功能配置示例》
113.如图2中所示，信息处理装置10包括获取单元11、决定单元12和输出单元13。
114.《1-7-1.获取单元11》
115.获取单元11是获取与由第一成像设备1和第二成像设备5执行的成像相关的成像相关信息的处理单元。在此，如下面所说明的，“成像相关信息”不限于由第一成像设备1和第二成像设备5捕获的图像本身，而是可以包括与成像相关的一般信息。注意的是，在此已经描述了获取第一成像设备1和第二成像设备5两者的成像相关信息的示例，但是可以获取第一成像设备1和第二成像设备5中任一个的成像相关信息。
116.a)成像传感器1a和成像传感器5a的图像尺寸以及成像传感器尺寸
117.b)第一成像设备1和第二成像设备5的焦距
118.c)用于第一成像设备1和第二成像设备5的成像的参数
119.d)可以从远摄yc图像和广角yc图像中获取的信息
120.e)关于第一成像设备1和第二成像设备5之间数据传输的带宽和稳定性的信息
121.f)关于第一成像设备1和第二成像设备5之间的物理位置关系的信息和光轴偏移量
122.g)安装在第一成像设备1和第二成像设备5上的运算单元的处理能力
123.可以以第一成像设备1和第二成像设备5捕获图像的框为单元获取上述a)至g)的成像相关信息。例如，补充上述c)，仅作为示例，上述的用于成像的参数可以包括曝光、白平衡、快门速度、国际标准化组织(iso)值、f值等。补充上述d)，仅作为示例，可以获取的信息可以包括关于物体识别的结果的信息、深度图、适当曝光、光源信息、闪烁信息等。
124.可以从第一成像设备1和第二成像设备5两者获取这种成像相关信息。例如，关于第一成像设备1的成像相关信息可以从数字信号处理单元1b或驱动第一成像设备1的光学系统的驱动集成电路(ic)获取。此外，可以从数字信号处理单元5b或驱动第二成像设备5的光学系统的驱动器ic获取关于第二成像设备5的成像相关信息。
125.《1-7-2.决定单元12》
126.决定单元12是基于由获取单元11获取的成像相关信息决定对准信息的处理单元。作为一个方面，决定单元12决定由第二成像设备5的对准单元5c用于与广角yc图像对准的对准信息。可以从减少与广角yc图像的对准的处理量和减少从第一成像设备1到第二成像设备5的传输量的观点来决定这种对准信息。
127.仅作为示例，决定单元12决定对准信息(深度图、聚焦附近的图像、边缘信息或yc图像中的至少一个或它们的组合)。例如，“深度图”是指通过相位差传感器、像平面相位差传感器或它们两者来测量深度的图。此外，“聚焦附近的图像”是指远摄yc图像中的与通过焦距调整控制而对焦的被摄体附近对应的部分图像。例如，可以通过相位差传感器、像平面相位差传感器或相位差传感器和像平面相位差传感器两者实现的自动对焦(af)功能等来自动地执行焦距调整控制。可替代地，焦距调整控制可以通过手动对焦(mf)手动地执行。此外，“边缘信息”是指从远摄yc图像中检测到边缘的信息。此外，“远摄yc图像”是指从数字信号处理单元1b输出的远摄yc图像本身。“深度图”、“聚焦附近的图像”、“边缘信息”和“远摄yc图像”可以在第一成像设备1或第二成像设备5中的变焦功能的操作期间改变为与广角yc图像的分辨率相同的分辨率。
128.《1-7-3.输出单元13》
129.输出单元13是输出由决定单元12决定的对准信息的处理单元。作为一个方面，输出单元13将由决定单元12决定的对准信息传输到第二成像设备5的对准单元5c。
130.《1-8.信息处理装置的处理过程》
131.图3是图示根据第一实施例的信息输出处理的过程的流程图。仅作为示例，可以针对第一成像设备1和第二成像设备5捕获图像的每一个框重复执行这个处理。
132.如图3中所示，获取单元11获取与由第一成像设备1和第二成像设备5执行的成像相关的成像相关信息，例如上述a)至f)等(步骤s101)。
133.随后，决定单元12基于在步骤s101中获取的成像相关信息来决定由第二成像设备5的对准单元5c要用于与广角yc图像对准的对准信息(步骤s102)。
134.然后，输出单元13将在步骤s102中决定的对准信息传输到第二成像设备5的对准单元5c(步骤s103)并结束处理。
135.《1-9.效果的一个方面》
136.如上所述，根据第一实施例的信息处理装置10基于与由第一成像设备1执行的成像相关的成像相关信息来决定并输出要用于第一成像设备1和第二成像设备5之间的图像对准的对准信息。
137.即，根据第一实施例的信息处理装置10从在第一成像设备1中成像特有的观点出发，输出在执行与由第二成像设备5捕获的广角yc图像的对准时可以有助于减少处理量和提高准确性的对准信息。
138.因此，在根据第一实施例的信息处理装置10中，由于可以加速远摄yc图像与广角yc图像的对准，因此可以提高显示具有远摄框标记的广角图像的实时特性。
139.《《2.第二实施例》》
140.在本公开的实施例中，将描述选择以下中的一个或多个作为上述对准信息的算法的示例：“深度图”、“聚焦附近的图像”、“边缘信息”和“远摄yc图像”。
141.《2-1.信息处理装置20的功能配置示例》
142.图4是图示根据第二实施例的信息处理装置20的功能配置示例的框图。如图4中所示，信息处理装置20的不同之处在于信息处理装置20包括具有与图2中所示的信息处理装置10的决定单元12的处理内容部分不同的处理内容的决定单元21。
143.《2-2.决定单元21》
144.图4中所示的决定单元21与图2中所示的决定单元12的不同之处在于决定单元21包括确定单元21a和选择单元21b。
145.《2-2-1.确定单元21a》
146.确定单元21a是确定由获取单元11获取的成像相关信息是否满足预定条件的处理单元。
147.作为实施例，确定单元21a获取关于从数字信号处理单元1b获取的远摄yc图像中检测到的被摄体的深度分布信息。这里所提到的“被摄体”可以是通过af功能或mf功能对焦的被摄体、通过af功能跟踪的被摄体，或者是作为物体检测的结果而获得的被摄体。然后，确定单元21a基于关于远摄yc图像中的被摄体的深度分布信息来确定被摄体有无凹凸。仅作为示例，确定单元21a基于在预定深度范围th2内的像素与被摄体的总像素数的比例是否在预定阈值th1内来确定被摄体是否具有凹凸，作为条件1。这种“深度范围th2”可以基于被摄体的深度分布中的峰值来设置。例如，可以将深度分布中峰值前后的一定范围设置为深度范围th2。此时，峰值之前的包括在深度范围th2中的范围和峰值之后的包括在深度范围
th2中的范围可以改变，而不一定要相同。
148.图5是图示深度分布信息的示例的曲线图。图5中所示的曲线图的纵轴指示像素数，横轴指示深度。纵轴和横轴可以是表示深度的频数和等级的直方图。在图5中，与被摄体的像素总数对应的部分通过涂白来指示，而与深度范围th2对应的部分由阴影指示。在图5中所示的示例中，可以基于深度范围th2中包括的像素数(即，阴影部分的像素数与被摄体的像素总数的比例，例如用概率、百分比等表示)在预定阈值th1内(例如，50％)来识别被摄体有无凹凸。例如，在比例在上述阈值th1内的情况下，识别出被摄体具有凹凸，在比例超过上述的阈值th1的情况下，识别出被摄体不具有凹凸。
149.然后，在满足上述条件1的情况下(即，在深度范围th2中的像素数与被摄体的总像素数的比例在阈值th1内的情况下)，确定单元21a确定下述条件2。例如，确定单元21a确定在远摄yc图像中通过af功能或mf功能对焦的聚焦附近以外的区域中模糊量超过预定阈值th3的像素数是否在预定阈值th4内，作为条件2。此时，在聚焦附近以外的区域中模糊量超过阈值th3的像素数在阈值th4内的情况下，确定满足上述条件2。
150.此外，在不满足上述条件1或上述条件2的情况下，确定单元21a确定后述的条件3和后述的条件4。例如，确定单元21a确定第一成像设备1与第二成像设备5之间的传输频带是否大于等于预定阈值th5，作为条件3。而且，在满足上述条件3的情况下(即，在传输频带大于等于预定阈值th5的情况下)，确定单元21a确定第二成像设备5的处理能力(例如，处理器的诸如时钟频率或内核数之类的性能值)是否大于等于预定阈值th6，作为条件4。
151.《2-2-2.选择单元21b》
152.选择单元21b是基于确定单元21a的确定结果选择“深度图”、“聚焦附近的图像”、“边缘信息”和“远摄yc图像”中的一个或多个作为对准信息的处理单元。
153.作为一个方面，在满足上述条件1和上述条件2的情况下，选择单元21b选择深度图作为对准信息。这种条件分支与深度范围th2中的像素数与被摄体的总像素数的比例在阈值th1内，并且在除了聚焦附近以外的区域中模糊量超过阈值th3的像素数在阈值th4内的情况对应。
154.关于为什么执行这种对准信息的选择，有以下几个方面。即，原因是在满足上述条件1的情况下，通过在远摄深度图与广角深度图之间执行对准而不在远摄yc图像与广角yc图像这两个yc图像之间执行对准，可以获得足够的对准的准确性的可能性高。而且，原因是虽然在焦距比第一成像设备1的焦距短的第二成像设备5中，模糊量倾向于小于第一成像设备1的模糊量，但是在满足上述条件2的情况下，可以识别出第一成像设备1的模糊量与第二成像设备5的模糊量之间的偏差程度足以承受深度图之间的对准的可能性高。出于上述原因，选择深度图作为对准信息。通过以这种方式选择深度图作为对准信息，与使对准单元5c执行图像之间对准的情况相比，可以减少处理量。而且，由于深度图具有比远摄yc图像和边缘信息少的信息量，因此还可以抑制从第一成像设备1到第二成像设备5的传输延迟。
155.作为另一方面，在满足上述条件1但不满足上述条件2的情况下，选择单元21b选择聚焦附近的图像作为对准信息。这种条件分支与深度范围th2中的像素数与被摄体的总像素数的比例在阈值th1内，并且在除了聚焦附近以外的区域中模糊量超过阈值th3的像素数不在阈值th4内的情况对应。
156.执行这种对准信息的选择的原因是，即使在满足上述条件1的情况下，如果不满足
上述条件2，那么这种情况也属于以下情况的可能性高。即，原因是可以识别出第一成像设备1的模糊量与第二成像设备5的模糊量之间的偏差程度超过能够承受深度图之间的对准的限度的可能性高。出于上述原因，选择上述聚焦附近的图像作为对准信息。通过以这种方式选择聚焦附近的图像作为对准信息，即使聚焦附近以外的模糊区域也被用于对准单元5c的对准，从而有可能抑制对准的准确性的降低。而且，由于聚焦附近的图像是远摄yc图像的一部分，因此与将整个远摄yc图像用于对准的情况相比，可以减少对准的处理量。此外，由于聚焦附近的图像具有比远摄yc图像小的信息量，因此也可以抑制从第一成像设备1到第二成像设备5的传输延迟。
157.作为另一方面，在满足上述条件3和上述条件4的情况下，选择单元21b选择远摄yc图像和到被摄体的深度作为对准信息。这种条件分支与第一成像设备1与第二成像设备5之间的传输频带大于等于阈值th5并且第二成像设备5的处理能力大于等于阈值th6的情况对应。
158.关于为什么执行这种对准信息的选择，有以下几个方面。即，原因是在满足上述条件3和上述条件4两者的情况下，即使远摄yc图像从第一成像设备1传输到第二成像设备5，不容易发生传输延迟的可能性也高，并且即使使对准单元5c对准远摄yc图像与广角yc图像，不容易发生处理延迟的可能性也高。而且，在对准信息中包括到被摄体的深度，从而有可能使对准单元5c将执行与广角yc图像的对准的区域缩小到与该深度附近对应的区域，或者有可能使与该深度附近对应的区域的权重大于与该深度以外的深度对应的区域的权重，然后使对准单元5c执行与广角yc图像的对准。
159.作为另一方面，在不满足上述条件3或上述条件4的情况下，选择单元21b选择边缘信息和到被摄体的深度作为对准信息。这种条件分支与第一成像设备1与第二成像设备5之间的传输频带不大于等于阈值th5或者第二成像设备5的处理能力不大于等于阈值th6的情况对应。
160.关于为什么执行这种对准信息的选择，有以下几个方面。即，原因是在不满足上述条件3或上述条件4的情况下，在远摄yc图像从第一成像设备1传输到第二成像设备5的情况下发生传输延迟的可能性高，或者在使对准单元5c对准远摄yc图像与广角yc图像的情况下发生处理延迟的可能性高。在这种情况下，通过选择边缘信息作为对准信息，与使对准单元5c执行图像之间对准的情况相比，可以减少处理量。而且，由于边缘信息具有比远摄yc图像更小的信息量，因此还可以抑制从第一成像设备1到第二成像设备5的传输延迟。而且，在对准信息中包括到被摄体的深度，从而有可能使对准单元5c将执行与广角的边缘信息的对准的区域缩小到与该深度附近对应的区域，或者有可能使与该深度附近对应的区域的权重大于与该深度以外的深度对应的区域的权重，然后使对准单元5c执行与广角的边缘信息的对准。
161.注意的是，在选择聚焦附近的图像作为对准信息的情况下，可以基于是否满足上述条件3和条件4来在对准信息的选择中设置以下分支。例如，当满足上述条件3和上述条件4时，选择聚焦附近的yc图像和到被摄体的深度，而当不满足上述条件3或上述条件4时，可以选择聚焦附近的边缘信息和到被摄体的深度。此外，在选择深度图以外作为对准信息的情况下(例如，在选择聚焦附近的图像、边缘信息或yc图像的情况下)，该情况属于被摄体具有较小的凹凸的情况。在这种情况下，还可以选择具有比深度图小的信息量的深度信息，例
如到被摄体的深度，作为对准信息。
162.《2-3.信息处理装置20的处理过程》
163.图6是图示根据第二实施例的信息输出处理的过程的流程图。仅作为示例，可以针对第一成像设备1和第二成像设备5捕获图像的每一个框重复执行这个处理。
164.如图6中所示，获取单元11获取与由第一成像设备1和第二成像设备5执行的成像相关的成像相关信息，例如上述a)至f)等(步骤s101)。
165.随后，确定单元21a基于从在步骤s101中获取的包括在成像相关信息中的远摄yc图像中检测到的关于被摄体的深度分布信息来确定被摄体是否具有凹凸，作为条件1。例如，确定单元21a确定预定深度范围th2内的像素数与被摄体的总像素数的比例是否在预定阈值th1以内，作为条件1(步骤s201)。
166.此时，在满足上述条件1的情况下(即，在深度范围th2中的像素数与被摄体的总像素数的比例在阈值th1内的情况下)(在步骤s202中的“是”)，确定单元21a确定下述条件2。即，确定单元21a确定在远摄yc图像中由af功能或mf功能对焦的聚焦附近以外的区域中的模糊量超过预定阈值th3的像素数是否在预定阈值th4内，作为条件2(步骤s203)。
167.在此，在满足上述条件2的情况下(即，在聚焦附近以外的区域中模糊量超过阈值th3的像素数在阈值th4内的情况下)(步骤s203中的“否”)，选择单元21b选择深度图作为对准信息(步骤s204)。同时，在不满足上述条件2的情况下(即，在聚焦附近区域以外的区域中模糊量超过阈值th3的像素数不在阈值th4内的情况下)(步骤s203中的“是”)，选择单元21b选择聚焦附近的图像作为对准信息(步骤s205)。
168.此外，在不满足或者上述条件1或者上述条件2的情况下(步骤s202中的“否”或步骤s203中的“否”)，确定单元21a确定第一成像设备1与第二成像设备5之间的传输频带是否大于等于预定阈值th5，作为条件3(步骤s206)。
169.而且，在满足上述设备的条件3的情况下(即，在传输频带大于等于预定阈值th5的情况下)(步骤s206中的“是”)，确定单元21a确定第二成像设备5的处理能力(例如，处理器的诸如时钟频率或内核数之类的性能值是否大于等于预定阈值th6)，作为条件4(步骤s207)。
170.此时，在进一步满足上述条件4的情况下(即，在第二成像设备5的处理能力大于等于阈值th6的情况下)(步骤s207中的“是”)，选择单元21b选择远摄yc图像和到被摄体的深度作为对准信息(步骤s208)。同时，在不满足或者上述条件3或者上述条件4的情况下(步骤s206中的“否”或步骤s207中的“否”)，选择单元21b选择边缘信息和到被摄体的深度作为对准信息(步骤s209)。
171.在此，在步骤s205中选择聚焦附近的图像作为对准信息的情况下，可以基于是否满足上述条件3和上述条件4在对准信息的选择中设置以下分支。例如，当满足上述条件3和上述条件4时，选择聚焦附近的yc图像和到被摄体的深度，而当不满足上述条件3或者上述条件4时，可以选择聚焦附近的边缘信息和到被摄体的深度。
172.此后，输出单元13将在步骤s204、步骤s208或步骤s209中选择的对准信息传输到第二成像设备5的对准单元5c(步骤s103)并结束处理。
173.《2-4.效果的一个方面》
174.如上所述，根据第二实施例的信息处理装置20根据被摄体有无凹凸、模糊量大的
区域的量、传输频带的量、第二成像设备5的处理能力的量来选择深度图、聚焦附近的图像、边缘信息和远摄yc图像中的一个或多个作为对准信息。因此，有可能选择适合第一成像设备1的成像情况的对准信息。因此，利用根据第二实施例的信息处理装置20，有可能实现在处理量的减少和准确性的维持之间实现平衡的对准。
175.《《3.第三实施例》》
176.在本公开的实施例中，将描述在第一成像设备1或第二成像设备5中的变焦功能的操作期间生成具有与广角yc图像的分辨率相同的分辨率的远摄yc图像作为对准信息的示例。
177.在下文中，仅作为示例，将描述其中从第一成像设备1输出到第二成像设备5的图像的示例是远摄yc图像的示例。
178.《3-1.信息处理装置30的功能配置示例》
179.图7是图示根据第三实施例的信息处理装置30的功能配置示例的框图。如图7中所示，信息处理装置30的不同之处在于信息处理装置30包括具有与图2中所示的信息处理装置10的决定单元12的处理内容部分地不同的处理内容的决定单元31。
180.《3-2.决定单元31》
181.图7中所示的决定单元31与图2中所示的决定单元12的不同之处在于决定单元31包括计算单元31a和生成单元31b。
182.《3-2-1.计算单元31a》
183.计算单元31a是计算包括在第二成像设备5捕获图像的视角与第一成像设备1捕获图像的视角彼此重叠的重叠区域中的第二成像设备5的成像传感器5a的像素数的处理单元。
184.图8是图示焦距与视角之间的对应关系的示例的图。图8仅作为示例图示了其中第一成像设备1的光轴与第二成像设备2的光轴彼此一致的示例。如图8中所示，广角侧的视角大于远摄侧的视角。在这种情况下，第二成像设备5的成像传感器5a的像素数包括在广角侧的视角与远摄侧的视角彼此重叠的重叠区域中，并且图中的阴影部分可以基于成像传感器1a和成像传感器5a的方面来计算。例如，广角侧的水平视角可以根据以下等式(1)计算。此外，远摄侧的水平视角可以根据以下等式(2)计算。从等式(1)和(2)可以看出，在远摄侧的焦距或广角侧的焦距改变的情况下，包括在上述重叠区域中的成像传感器5a的像素数(即，广角侧的重叠区域的分辨率)改变。
185.广角侧的水平视角＝2
×
arctan[成像传感器5a的水平宽度/2/广角侧的焦距]
···
(1)
[0186]
远摄侧的水平视角＝2
×
arctan[成像传感器1a的水平宽度/2/远摄侧的焦距]
···
(2)
[0187]
根据上述，在变焦功能运行的情况下，计算单元31a重新计算广角侧的重叠区域的分辨率。例如，计算单元31a基于变焦之后远摄侧的焦距和变焦之后的广角侧的焦距来计算广角侧的重叠区域的分辨率。通过将这种分辨率的计算嵌入到变焦功能的操作期间执行，有可能省略在变焦没有改变的情况下的处理。
[0188]
《3-2-2.生成单元31b》
[0189]
生成单元31b生成已经由计算单元31a计算出的具有与广角侧的重叠区域的分辨
率相匹配的分辨率的远摄yc图像作为对准信息。仅作为示例，在变焦功能运行的情况下，生成单元31b将从数字信号处理单元1b输出的远摄yc图像的分辨率改变为与已经由计算单元31a计算出的广角侧的重叠区域的分辨率相匹配的分辨率。因此，远摄yc图像根据变焦量被放大或缩小。
[0190]
《3-3.信息处理装置30的处理过程》
[0191]
图9是图示根据第三实施例的信息输出处理的过程的流程图。仅作为示例，可以针对第一成像设备1和第二成像设备5捕获图像的每一个框重复执行这个处理。注意的是，图9图示了与步骤s102对应的处理的摘录，即，在图3中所示的一系列处理中由决定单元31执行的处理。
[0192]
如图9中所示，在变焦功能运行的情况下(步骤s301中的“是”)，计算单元31a基于变焦之后远摄侧的焦距和变焦之后广角侧的焦距来计算广角侧的重叠区域的分辨率(步骤s302)。此后，生成单元31b生成通过将从数字信号处理单元1b输出的远摄yc图像的分辨率改变为与已经在步骤s302中计算出的广角侧的重叠区域的分辨率相匹配的分辨率而获得的远摄yc图像作为对准信息(步骤s304)。
[0193]
同时，在变焦功能未运行的情况下(步骤s301中的“否”)，包括在上述重叠区域中的成像传感器5a的像素数(即，广角侧的重叠区域的分辨率)不变。因此，计算单元31a原样固定最近改变的分辨率(步骤s303)。然后，生成单元31b生成通过将从数字信号处理单元1b输出的远摄yc图像的分辨率改变为与已经在步骤s304中固定的广角侧的重叠区域的分辨率相匹配的分辨率而获得的远摄yc图像作为对准信息(步骤s304)。
[0194]
在步骤s304中以这种方式生成的对准信息被输出到第二成像设备5的对准单元5c。
[0195]
《3-4.效果的一个方面》
[0196]
如上所述，根据第三实施例的信息处理装置30生成具有与已经基于变焦之后的远摄侧的焦距和变焦之后的广角侧的焦距计算出的广角侧的重叠区域的分辨率相匹配的分辨率的远摄yc图像作为对准信息。因此，即使在变焦功能运行的情况下，也可以使对准单元5c在远摄yc图像于广角yc图像之间的比例匹配的状态下执行对准。因此，利用根据第三实施例的信息处理装置30，有可能缩小变换矩阵的搜索范围并提高对准的准确性。
[0197]
《《4.变形例》》
[0198]
在下文中，将描述第一至第三实施例的变形例。
[0199]
《4-1.实施例之间的组合》
[0200]
在第二实施例和第三实施例中，描述了单独地实现第二实施例和第三实施例两者的示例，但也可以组合实现第二实施例和第三实施例。在这种情况下，在第二实施例中被选择为对准信息的深度图、聚焦附近的图像和边缘信息也可以改变为与广角侧的重叠区域的分辨率相匹配的分辨率。仅作为示例，图9中所示的流程图可以在图6中所示的步骤s201中实现。作为另一示例，图9中所示的流程图可以在图6中所示的步骤s204、步骤s205、步骤s208或步骤s209中实现。
[0201]
《4-2.对准的执行主体》
[0202]
在第一至第三实施例中，已经描述了由第二设备5执行对准单元5c的对准的示例，但是也可以由第一成像设备1执行对准。在这种情况下，仅要求将远摄yc图像在广角yc图像
上的框的位置从第一成像设备1传输到第二成像设备5。例如，在图6中所示的决定单元21的处理中，读取时将广角侧替换为远摄侧，并且读取时将远摄侧替换为广角侧，由此广角深度图、聚焦附近的广角图像和广角的边缘信息可以作为对准信息被传输。使用这样的对准信息，第一成像设备1执行对准并且将远摄yc图像的框在广角yc图像上的位置传输到第二成像设备5。此时，通过在第一成像设备1对准时从由第一成像设备1获取的图像执行边缘提取或聚焦部位提取，可以以高速实现对准。
[0203]
《4-3.其它变形例》
[0204]
此外，在上述实施例中描述的相应处理中，被描述为自动执行的处理的全部或部分可以手动执行，或者被描述为手动执行的处理的全部或部分可以由已知方法自动执行。此外，除非另有说明，否则可以可选地改变在上述文档和附图中示出的处理过程、具体名称以及包括各种数据和参数的信息。例如，每个图中图示的各种类型的信息不限于图示的信息。
[0205]
此外，附图中所示的每个装置和设备的每个组件在功能上是概念性的，并且不一定需要如附图中所示的物理地被配置。即，每个装置和设备的分布和集成的具体形式不限于图示的形式，并且可以根据各种负载、使用条件等将其全部或部分在功能上或物理上分布和集成在任何单元中。
[0206]
此外，在本说明书中描述的每个实施例的效果仅仅是示例性的而不是限制性的，并且可以存在其它效果。
[0207]
《《5.硬件配置》》
[0208]
例如，通过具有如图10中所示的配置的计算机1000来实现根据上述每个实施例的信息处理装置10、20或30。在下文中，将例示和描述根据上述实施例的信息处理装置10、20或30。图10是图示计算机1000的示例的硬件构造图。计算机1000包括cpu 1100、ram 1200、只读存储器(rom)1300、硬盘驱动器(hdd)1400、通信接口1500以及输入和输出接口1600。计算机1000的每个单元通过总线1050连接。
[0209]
cpu 1100基于存储在rom 1300或hdd 1400中的程序进行操作并且控制每个单元。例如，cpu 1100在ram 1200中展开存储在rom 1300或hdd 1400中的程序，并执行与各种程序对应的处理。
[0210]
rom 1300存储诸如当计算机1000起动时由cpu 1100执行的基本输入输出系统(bios)的引导程序、依赖于计算机1000的硬件的程序等。
[0211]
hdd 1400是计算机可读记录介质，其非暂态地记录要由cpu 1100执行的程序、要由该程序使用的数据等。具体而言，hdd 1400是记录作为程序数据1450的示例的根据本公开的信息处理程序的记录介质。
[0212]
通信接口1500是用于计算机1000连接到外部网络1550(例如，因特网)的接口。例如，cpu 1100经由通信接口1500从另一设备接收数据或者将由cpu 1100生成的数据传输到另一设备。
[0213]
输入和输出接口1600是用于连接输入和输出设备1650和计算机1000的接口。例如，cpu 1100经由输入和输出接口1600从诸如键盘或鼠标之类的输入设备接收数据。此外，cpu 1100经由输入和输出接口1600将数据传输到诸如显示器、扬声器或打印机之类的输出设备。此外，输入和输出接口1600可以用作读取记录在预定记录介质(介质)中的程序等的
介质接口。介质是例如诸如数字通用盘(dvd)或相变可重写盘(pd)之类的光记录介质、诸如磁光盘(mo)之类的磁光记录介质、磁带介质、磁记录介质、半导体存储器等。
[0214]
例如，在计算机1000用作根据上述实施例的信息处理装置10、20或30的情况下，计算机1000的cpu 1100通过执行加载在ram 1200上的信息处理程序来实现控制单元15中包括的每个功能单元。此外，hdd 1400存储根据本公开的信息处理程序和内容存储单元121中的数据。注意的是，cpu 1100从hdd 1400读取程序数据1450并执行程序数据1450，但是作为另一示例，可以经由外部网络1550从另一设备获取这些程序。
[0215]
注意的是，本技术还可以具有以下配置。
[0216]
(1)一种信息处理装置，包括：
[0217]
决定单元，被配置为基于与由第一成像设备执行的成像相关的成像相关信息来决定要用于在由第一成像设备捕获的第一图像与由具有比第一成像设备的视角宽的视角的第二成像设备捕获的第二图像之间对准的对准信息；以及
[0218]
输出单元，被配置为输出对准信息。
[0219]
(2)根据(1)所述的信息处理装置，其中
[0220]
决定单元被配置为决定要用于与第二图像对准的对准信息，以及
[0221]
输出单元被配置为将对准信息输出到第二成像设备。
[0222]
(3)根据(2)所述的信息处理装置，其中
[0223]
决定单元包括：
[0224]
确定单元，被配置为确定成像相关信息是否满足预定条件；以及
[0225]
选择单元，被配置为基于确定单元的确定结果选择与第一图像对应的深度图、第一图像中的与通过预定焦距的调整控制而对焦的被摄体附近对应的聚焦附近的图像、从第一图像检测到的边缘信息或第一图像中的至少一个。
[0226]
(4)根据(3)所述的信息处理装置，其中
[0227]
确定单元是被配置为基于第一图像中的被摄体的深度分布信息来确定被摄体有无凹凸的确定单元，以及
[0228]
选择单元被配置为在被摄体具有凹凸的情况下选择深度图作为对准信息。
[0229]
(5)根据(4)所述的信息处理装置，其中
[0230]
确定单元被配置为基于预定深度范围内的像素与被摄体的像素总数的比例是否在预定阈值内来确定被摄体是否具有凹凸。
[0231]
(6)根据(3)至(5)所述的信息处理装置，其中
[0232]
确定单元被配置为确定在通过焦距的调整控制而对焦的聚焦附近以外的区域中模糊量超过预定阈值的像素数是否在预定阈值内，以及
[0233]
选择单元被配置为在聚焦附近以外的区域中模糊量超过阈值的像素数不在阈值内的情况下，选择聚焦附近的图像。
[0234]
(7)根据(3)至(6)所述的信息处理装置，其中
[0235]
确定单元被配置为确定第一成像设备与第二成像设备之间的传输频带是否大于等于预定阈值，以及
[0236]
选择单元被配置为在传输频带大于等于阈值的情况下选择第一图像，并且在传输频带不大于等于阈值的情况下选择边缘信息。
[0237]
(8)根据(3)至(7)所述的信息处理装置，其中
[0238]
确定单元被配置为确定第二成像设备的处理能力是否大于等于预定阈值，以及
[0239]
选择单元被配置为在处理能力大于等于阈值的情况下选择第一图像，并且在处理能力不大于等于阈值的情况下选择边缘信息。
[0240]
(9)根据(3)至(8)所述的信息处理装置，其中
[0241]
选择单元被配置为在选择深度图以外的情况下进一步选择到被摄体的深度作为对准信息。
[0242]
(10)根据(2)至(9)所述的信息处理装置，其中
[0243]
决定单元包括：
[0244]
计算单元，被配置为计算包括在第一成像设备的视角和第二成像设备的视角彼此重叠的重叠区域中的第二成像设备的成像传感器的像素数，作为所述重叠区域的分辨率；以及
[0245]
生成单元，被配置为生成通过将第一图像的分辨率改变为与所述重叠区域的分辨率匹配的分辨率而获得的第一图像作为对准信息。
[0246]
(11)根据(10)所述的信息处理装置，其中
[0247]
计算单元被配置为在变焦功能在第一成像设备或者第二成像设备中运行的情况下计算所述重叠区域的分辨率。
[0248]
(12)根据(1)所述的信息处理装置，其中
[0249]
决定单元被配置为决定要用于与第一图像对准的对准信息，以及
[0250]
输出单元被配置为将对准信息输出到第一成像设备。
[0251]
(13)一种使计算机执行以下处理的信息处理方法：
[0252]
基于与由第一成像设备执行的成像相关的成像相关信息来决定要用于在由第一成像设备捕获的第一图像与由具有比第一成像设备的视角宽的视角的第二成像设备捕获的第二图像之间对准的对准信息；以及
[0253]
输出对准信息。
[0254]
(14)一种信息处理程序，使计算机执行以下处理：
[0255]
基于与由第一成像设备执行的成像相关的成像相关信息来决定要用于在由第一成像设备捕获的第一图像与由具有比第一成像设备的视角宽的视角的第二成像设备捕获的第二图像之间对准的对准信息；以及
[0256]
输出对准信息。
[0257]
附图标记列表
[0258]
1第一成像设备
[0259]
1a成像传感器
[0260]
1b数字信号处理单元
[0261]
1c显示单元
[0262]
5第二成像设备
[0263]
5a成像传感器
[0264]
5b数字信号处理单元
[0265]
5c对准单元
[0266]
5d显示单元
[0267]
10信息处理装置
[0268]
11获取单元
[0269]
12决定单元
[0270]
13输出单元
技术特征：1.一种信息处理装置，包括：决定单元，被配置为基于与由第一成像设备执行的成像相关的成像相关信息来决定要用于在由第一成像设备捕获的第一图像与由具有比第一成像设备的视角宽的视角的第二成像设备捕获的第二图像之间对准的对准信息；以及输出单元，被配置为输出对准信息。2.根据权利要求1所述的信息处理装置，其中决定单元被配置为决定要用于与第二图像对准的对准信息，以及输出单元被配置为将对准信息输出到第二成像设备。3.根据权利要求2所述的信息处理装置，其中决定单元包括：确定单元，被配置为确定成像相关信息是否满足预定条件；以及选择单元，被配置为基于确定单元的确定结果选择与第一图像对应的深度图、第一图像中的与通过预定焦距的调整控制而对焦的被摄体附近对应的聚焦附近的图像、从第一图像检测到的边缘信息或第一图像中的至少一个。4.根据权利要求3所述的信息处理装置，其中确定单元是被配置为基于第一图像中的被摄体的深度分布信息来确定被摄体有无凹凸的确定单元，以及选择单元被配置为在被摄体具有凹凸的情况下选择深度图作为对准信息。5.根据权利要求4所述的信息处理装置，其中确定单元被配置为基于预定深度范围内的像素与被摄体的像素总数的比例是否在预定阈值内来确定被摄体是否具有凹凸。6.根据权利要求3所述的信息处理装置，其中确定单元被配置为确定在通过焦距的调整控制而对焦的聚焦附近以外的区域中，模糊量超过预定阈值的像素数是否在预定阈值内，以及选择单元被配置为在聚焦附近以外的区域中模糊量超过阈值的像素数不在阈值内的情况下，选择聚焦附近的图像。7.根据权利要求3所述的信息处理装置，其中确定单元被配置为确定第一成像设备与第二成像设备之间的传输频带是否大于等于预定阈值，以及选择单元被配置为在传输频带大于等于阈值的情况下选择第一图像，并且在传输频带不大于等于阈值的情况下选择边缘信息。8.根据权利要求3所述的信息处理装置，其中确定单元被配置为确定第二成像设备的处理能力是否大于等于预定阈值，以及选择单元被配置为在处理能力大于等于阈值的情况下选择第一图像，并且在处理能力不大于等于阈值的情况下选择边缘信息。9.根据权利要求3所述的信息处理装置，其中选择单元被配置为在选择深度图以外的情况下进一步选择到被摄体的深度作为对准信息。10.根据权利要求3所述的信息处理装置，其中
决定单元包括：计算单元，被配置为计算包括在第一成像设备的视角和第二成像设备的视角彼此重叠的重叠区域中的第二成像设备的成像传感器的像素数，作为所述重叠区域的分辨率；以及生成单元，被配置为生成通过将第一图像的分辨率改变为与所述重叠区域的分辨率匹配的分辨率而获得的第一图像作为对准信息。11.根据权利要求10所述的信息处理装置，其中计算单元被配置为在变焦功能在第一成像设备或者第二成像设备中运行的情况下计算所述重叠区域的分辨率。12.根据权利要求1所述的信息处理装置，其中决定单元被配置为决定要用于与第一图像对准的对准信息，以及输出单元被配置为将对准信息输出到第一成像设备。13.一种使计算机执行以下处理的信息处理方法：基于与由第一成像设备执行的成像相关的成像相关信息来决定要用于在由第一成像设备捕获的第一图像与由具有比第一成像设备的视角宽的视角的第二成像设备捕获的第二图像之间对准的对准信息；以及输出对准信息。14.一种使计算机执行以下处理的信息处理程序：基于与由第一成像设备执行的成像相关的成像相关信息来决定要用于在由第一成像设备捕获的第一图像与由具有比第一成像设备的视角宽的视角的第二成像设备捕获的第二图像之间对准的对准信息；以及输出对准信息。
技术总结本信息处理装置(10)包括：决定单元，基于与由第一成像设备捕获的成像相关的成像相关信息来确定用于对准由第一成像设备成像的第一图像和由具有比第一成像设备的成像角宽的成像角的第二成像设备成像的第二图像的对准信息；以及输出单元，输出对准信息。输出对准信息。输出对准信息。
技术研发人员：山本耕司 仙头一也 高原弘树
受保护的技术使用者：索尼集团公司
技术研发日：2021.02.18
技术公布日：2022/11/1
