1.本公开涉及程序、信息处理装置和终端装置。
背景技术:2.在眼科诊断中,期望患者使用诸如智能电话等的终端装置拍摄他/她的眼睛的图像并且通过诸如ai等的处理在手边执行简单诊断。例如,也可以考虑通过进行简单的诊断来判断是否需要去医院,或者将该简单的诊断的结果或图像发送到医生,医生根据诊断结果、图像等远程地进行比简单的诊断稍详细的诊断。
3.然而,为了获取这种图像,需要通过使附接至终端的透镜相当靠近眼睛来捕获图像。因此,即使使用能够在成像时确认他/她的面部的要被成像的一部分的内向相机,患者也难以看到智能电话的屏幕。即,难以确认在成像时是否能够拍摄适合于诊断的图像。此外,不限于眼睛,并且还期望患者自己适当地捕获面部皮肤、嘴的内部等的图像。
4.引用列表
5.专利文献
6.专利文献1:日本专利申请公开号2014-526312
技术实现要素:7.本发明要解决的问题
8.因此,本公开实现对用户不能直接观看的图像的适当捕获。
9.问题的解决方案
10.根据实施例,一种程序使得处理器执行:检测由第一相机获取的第一图像中的第一目标;估计从检测的第一相机到第一目标的路径的长度;基于路径的长度切换由第二相机获取的第二图像的显示,并合成用于调整第二图像中的第二目标的位置的索引。
11.第一目标可以是用户的面部,并且第二目标可以是用户的眼睛。
12.处理器可以处理由终端装置获取的第一图像和第二图像,终端装置包括显示器、第一相机和第二相机,第一相机被设置在与显示器的显示表面相同的表面上,并且第二相机被设置在与显示器的显示表面相对的表面上。
13.此外,可以使得处理器执行对从第一相机获取的、由镜面反射的面部的区域的估计、基于面部的区域对从镜面到面部的距离或从镜面到终端装置的距离中的至少一个的估计、以及在距离小于预定距离的情况与距离等于或大于预定距离的情况之间切换第二图像的显示。
14.可使处理器执行基于通过包括在显示器中的第一相机获取的第一图像而不反射从包括第二相机的终端装置到存在于终端装置外部的显示器的距离的估计,以及在距离小于预定距离的情况与距离等于或大于预定距离的情况之间切换第二图像的显示。
15.可以使处理器执行索引的生成,使得眼睛的至少一部分落在预定范围内。
16.可以使处理器执行索引的生成,使得眼睛的至少瞳孔落在预定范围内。
17.可以使处理器执行索引的生成,使得眼睛的至少虹膜落在预定范围内。
18.可以使处理器执行眼睛内部的分析。
19.可以使处理器执行眼睛内部的图像的传输。
20.可使处理器执行基于虹膜的认证的执行。
21.可使处理器执行第二图像和索引在显示器上的显示。
22.第一目标可以是用户的面部,并且第二目标可以是用户的面部皮肤或用户的口腔。
23.根据实施例,信息处理装置包括:处理器,其中处理器基于由在与显示器的显示表面相同的方向上捕获图像的第一相机捕获的用户和终端装置的第一图像来估计从显示器到用户的距离,并且基于距离切换由包括在终端装置中的第二相机捕获的第二图像,并且将与索引合成的图像输出到显示器。
24.根据实施例,一种终端装置包括:显示器;第一相机,第一相机在与显示器的显示表面相同的方向上捕获图像;第二相机,其在与显示器的显示表面相反的方向上捕获图像;和处理器,其中,处理器基于由镜面反射的由第一相机捕获的面部和终端装置的第一图像,估计从镜面到用户的面部的距离和从镜面到终端装置的距离中的任何一个,并且基于距离,切换由第二相机捕获的第二图像,并且将与索引合成的图像输出到显示器。
25.通过上述程序或者使上述信息处理装置的处理器或者上述终端装置执行处理的程序,处理器可以基于索引确定第二相机是否在适当位置,并且基于确定结果生成索引。
26.通过上述程序或者使上述信息处理装置的处理器或者上述终端装置执行处理的程序,处理器可将包括镜面写入的信息分配给索引。
27.通过上述程序或者使上述信息处理装置的处理器或者上述终端装置执行处理的程序,处理器可将颜色信息分配给索引。
28.通过上述程序或者使上述信息处理装置的处理器或者上述终端装置执行处理的程序,处理器可以基于索引确定第二相机是否在适当位置,并且基于确定结果输出声音。
29.通过上述程序或者使上述信息处理装置的处理器或者上述终端装置执行处理的程序,处理器可以基于索引确定第二相机是否在适当位置,并且基于确定结果输出振动。
30.通过上述程序或者使上述信息处理装置的处理器或者上述终端装置执行处理的程序,处理器可基于来自tof传感器的输出来估计距离。
31.通过上述程序或者使上述信息处理装置的处理器或者上述终端装置执行处理的程序,处理器可以基于终端装置和显示器之间的通信状态来估计距离。
32.通过上述程序或者使上述信息处理装置的处理器或者上述终端装置执行处理的程序,处理器可基于用户的视力切换第二图像。
33.根据实施例,一种服务器包括第二处理器,该第二处理器执行上述处理器中的至少一部分处理。
34.根据实施方式,非临时性计算机可读介质记录用于使上述处理器执行处理的程序。
附图说明
35.图1是示意性示出根据实施方式的终端装置的示图。
36.图2是示出根据实施方式的终端装置的功能的示图。
37.图3是示意性示出根据实施方式的终端装置的使用示例的示图。
38.图4是示出了根据实施方式的终端装置的示例的示图。
39.图5是示出根据实施方式的显示器的显示示例的示图。
40.图6是示出了根据实施方式的显示器的显示示例的示图。
41.图7是示出了根据实施方式的显示器的显示示例的示图。
42.图8是示出根据实施方式的处理的流程图。
43.图9是示出根据实施方式的处理的流程图。
44.图10是示出根据实施方式的关于距离估计的信息的示图。
45.图11是示出了根据本实施方式的处理的一部分的流程图。
46.图12是示出了根据本实施方式的处理的一部分的流程图。
47.图13是示出根据实施方式的处理的一部分的流程图。
48.图14是示出根据实施方式的处理的一部分的流程图。
49.图15是示意性示出根据实施方式的终端装置的示图。
50.图16是示意性示出根据实施方式的终端装置的使用示例的示图。
51.图17是示出根据实施方式的显示器的显示示例的示图。
52.图18是示意性示出根据实施方式的终端装置的使用示例的示图。
53.图19是示意性示出根据实施方式的终端装置的使用示例的示图。
54.图20是示意性地示出了根据实施方式的终端装置的使用示例的示图。
55.图21是示意性示出根据实施方式的终端装置的示图。
具体实施方式
56.在下文中,将参照附图描述本公开的实施方式。在描述中,使用智能电话,但不限于此,并且具有内向相机和外向相机的便携式终端(例如,特征电话、平板终端等)可类似地执行处理。
57.在本公开中,“相机”是具有收集具有预定波长的电磁波、感测所收集的电磁波、并且将收集的电磁波转换成电信号的功能的广义上的装置,并且不限于安装在普通智能电话等上的相机等。这里,预定波长可表示在例如诸如可见光或红外光的范围内。此外,用于距离测量的相机可以是例如通过声波或超声波的反射来估计目标的位置的装置。
58.在本公开中,“表面的方向”是表面的法线方向。例如,显示器的显示表面的方向指示与显示器的显示表面垂直的方向。更具体地,其可以是设置在智能电话的显示侧上的相机(内向相机)的成像方向。
59.图1是示出根据实施方式的终端装置的配置的框图。终端装置1包括第一相机10、第二相机12、输入/输出i/f 14、存储器16以及处理器18。终端装置1例如是智能电话,并且在智能电话的情况下,终端装置包括作为输入/输出i/f 14的触摸屏,并且包括在与触摸屏相同的表面上的第一相机10和在相对表面上的第二相机12。注意,终端装置1不限于仅具有该配置,并且除了该配置之外,还提供用于实现终端装置1的功能的配置。
60.第一相机10例如是所谓的内向相机,并且在与显示器(触摸屏)的方向相同的方向上捕获图像。第一相机10例如用于在观看显示器的同时从终端装置1拍摄用户他/她自己和
用户的后侧。
61.第二相机12例如是所谓的外向相机,被设置在与显示器相对的表面上,并且在与显示器相对的方向上捕获图像。另外,在两侧具有显示器的终端装置中,例如也可以在主显示侧设置第一相机10,在副显示侧设置第二相机12。
62.通常,第二相机12的性能通常比设置在显示侧上的第一相机10高,例如,分辨率和灵敏度更高。为此,期望第二相机12对期望知道其细节的信息进行成像。例如,在获取眼睛的图像并且对眼睛的外观和内部做出某种确定的情况下,期望通过第二相机12获取眼睛的图像。
63.输入输出i/f 14是在终端装置1和外部之间进行信息输入/输出的接口。输入/输出i/f 14包括例如显示器、触摸面板、通信i/f、麦克风、扬声器、物理开关等。此外,在终端装置1是pc等的情况下,可以包括键盘、鼠标等。在终端装置1是智能电话的情况下,例如,从触摸屏输出图像并接收来自用户的输入。
64.存储器16存储用于终端装置1中的信息处理的数据。该存储器16可以包括例如非易失性或易失性存储器,并且这种类型不受限制。此外,存储器可以是简单地存储诸如照片、语音、文档等数据的存储器。
65.处理器18在终端装置1中执行信息处理。除了中央处理单元(cpu)之外,该处理器18可以包括例如加速器,诸如图形处理单元(gpu)等。例如,根据本实施方式的信息处理具体地通过硬件由该处理器18执行存储在存储器16中的程序来执行。此外,处理器18还控制相机的成像、显示器的显示等。
66.图2是示出了由根据本实施方式的终端装置1的处理器18实现的功能的一部分的示图。在下文中,将使用智能电话进行描述,但是本实施方式不限于此,并且还可以应用于其中相机设置在前表面和后表面上以及相机中的一个设置在显示侧上的装置,例如,平板终端或特征电话。此外,稍后将描述与这些不同的模式。
67.终端装置1可以实现第一处理单元100和第二处理单元120的处理。这些处理单元例如由处理器18实现。
68.第一处理单元100包括第一相机10、面部检测单元102、距离估计单元104和ui选择单元106。第一处理单元100基于由第一相机10获取的信息来执行处理。第一相机10具有如上所述的功能。
69.图3是示意性示出在执行根据本实施方式的信息处理时使用终端装置1的示图。用户p将终端装置1保持在面部前方,例如,在他/她与镜面m之间,使得第二相机12捕获眼睛。然后,用户p检查由镜面m反射的显示,以调整要捕获的图像的位置。
70.图4是示出根据实施方式的终端装置1的示例的示图。如该图所示,终端装置1包括作为输出单元140的一部分的显示器142。显示器142例如是触摸屏。第一相机10被设置在与显示器142相同的前表面上,第二相机12被设置在后表面上。此外,图4中明确示出了显示器142和第一相机10,但不限于此,并且例如,第一相机10可被布置为与显示器142重叠。注意,相对确定前表面和后表面,并且名称不限于此。
71.第一处理单元100使用图4中布置的第一相机执行基于用户p与镜面m之间的距离选择要输出到显示器142的第二图像的ui的处理。例如,在距离d小于预定距离的情况下通过选择短距离ui并且在距离d等于或大于预定距离的情况下通过选择长距离ui来切换ui。
预定距离可以是具有满足第一预定距离<第二预定距离的宽度的值。在这种情况下,可以选择长距离ui作为初始状态,并且可以在距离d<第一预定距离的情况下选择切换到短距离ui,并且可以在第二预定距离<距离d的情况下选择切换到长距离ui。
72.注意,在本公开中,假设灵活地使用等于或小于、等于或大于、小于和大于,并且等于或小于和大于和小于和等于或大于的组合可以互换,并且这同样适用于不等式符号。
73.图2中的面部检测单元102从由第一相机10获取的信息中检测用户p的面部区域。例如,第一相机10获取镜面m反射用户p的信息作为第一图像。该图像可以是静止图像或运动图像。
74.距离估计单元104基于由面部检测单元102检测的用户p的面部(第一目标)的区域的检测结果来估计用户p与镜面m之间的距离d。注意,该距离可以是终端装置1(或第一相机10)与镜面m之间的距离,而不是用户p和镜面m之间的距离。
75.ui选择单元106基于由距离估计单元104估计的距离d选择要在显示器上显示的用户界面(ui)。
76.第二处理单元120包括第二相机12、眼睛检测单元122和确定单元124。该第二处理单元120基于由第二相机12获取的信息执行处理。第二相机12具有如上所述的功能。
77.眼睛检测单元122从由第二相机12获取的信息中检测用户p的眼睛(第二目标)的位置。例如,眼睛检测单元122检测用户p的眼睛的瞳孔的位置或者用户p的眼睛的虹膜的位置。例如,第二相机12获取用户p的面部的一部分的信息作为第二图像。该图像可以是静止图像或运动图像。
78.在第二相机12获取包括由眼睛检测单元122检测的眼睛的信息的第二图像之后,确定单元124基于第二图像执行确定。该确定例如是由于识别异常而更好地接受检查或者没有特别识别到异常的确定。
79.输出单元140输出由确定单元124确定的结果。
80.此外,输出单元140可以经由显示器142执行输出。通过将第二图像输出到显示器142,第二图像经由镜面m输出到用户p。基于由ui选择单元106选择的ui生成该输出的第二图像。
81.图5是示出在要输出到显示器142的长距离ui被选择的情况下的第二图像的示例的示图。例如,终端装置1激活用于确定眼睛的图像的应用以使终端装置进入能够执行上述功能的状态。在显示器142上显示的该第二图像是通过将长距离ui应用到应用上获得的。右侧示出的示图是示出终端装置1的显示器142的示图。在左图中,终端装置1的左右由于镜面m的反射而反转。
82.如图所示,在显示器142上显示索引(以下称为导航n)和虹膜的区域rir。导航n被设置在输出单元140中并且是用于指示用户p在该范围内设置虹膜的索引。即,终端装置1首先使用应用生成导航n,并且根据每个距离将导航n与第二图像合成。
83.通过在由第二相机12获取的图像中提取并显示用户p的虹膜区域来获得虹膜区域rir。这可以是瞳孔的区域。在长距离ui中,例如,该区域填充有与导航n的颜色不同的预定颜色并被显示。在长距离ui中,在用户p在一定程度上远离镜面m(比预定距离远)的情况下,通过变形与导航n合成的第二图像被输出到显示器142。以这种方式,在用户p远离镜面m的情况下,可以调整眼睛的位置,即,调整终端装置1相对于用户p的面部的位置,作为容易理
解的显示。
84.虹膜的区域rir被示出为圆形,但是可以例如表示在眼睑与虹膜重叠的情况下由于眼睑而引起的缺失部分。然而,即使在图像中缺少虹膜的一部分的情况下,也可以估计虹膜的区域rir并将其表示为圆。
85.此外,可以调整瞳孔的区域以获取瞳孔的图像而不是虹膜的图像。
86.图6是示出在要输出到显示器142的短距离ui被选择的情况下第二图像的示例的示图。通过应用短距离ui来获得在显示器142上显示的第二图像。右侧示出的图是终端装置1的放大图。
87.如图所示,在显示器142上显示导航n、虹膜ir和瞳孔pu。与上述类似,用户p调整终端装置1的位置,使得虹膜ir适配导航n。与以上类似,可以调整瞳孔pu的位置而不是虹膜ir。
88.与图5不同,更详细的眼睛状态被输出为第二图像。在短距离ui中,例如,可以显示由第二相机12获取的信息而不特别变形。通过以这种方式显示,用户p可更精确地调整成像位置。
89.图7是示出了实施方式中的导航n的示例的示图。例如,使用长距离ui的第二图像被输出到显示器142。
90.在眼睛e不与导航n对准的情况下,可显示用于对准的指示符。例如,该指示器由图中所示的箭头指示。用户p可通过在镜面m中捕获的第二图像中沿箭头方向移动终端装置1来执行对准。
91.指示器不限于箭头,并且可由例如更简单的三角形表示。此外,大箭头可以以浅色等显示,以便使用整个显示器142。此外,可以改变显示,使得较长的箭头、较暗的箭头等用作用于调整位置的距离较长。
92.此外,导航n的颜色可以在位置调整偏移的情况和位置调整成功的情况之间改变。例如,虽然最初由红色圆圈表示,但是颜色可以以灰度方式改变,以便随着位置调整的精确度增加而变成绿色。
93.此外,不限于显示器,并且例如,输出单元140可以控制立体声等,使得当位置更远时发出更大的声音。作为另一示例,输出单元140可控制振动器,使得振动随着位置越远而变大。
94.在用户p执行的一系列工作期间,手指可触摸显示器142。在这种情况下,可控制特殊处理,例如,响应于轻击、滑动等的处理,以便不最小化、停止应用等。
95.图8是总结根据该实施方式的上述处理的流程图。将参照该流程图描述该处理。
96.首先,面部检测单元102使用第一相机10获取由镜面m反射的用户p的图像,并且从图像中检测用户p的面部(s10)。
97.图9是示出该面部检测的子程序的流程图(s10)。面部检测单元102使用例如学习的神经网络模型来执行面部检测推断(s100)。例如,该神经网络被理想地优化为能够检测人脸(即使人脸的一部分被隐藏)的模型。
98.例如,通过预先使用均具有包括面部和面部位置的图像的矩形标签的大量数据作为训练数据执行机器学习来优化该模型。优化模型的参数被存储在例如存储器16中,并且面部检测单元102形成模型并且通过加载与该模型相关的超参数和参数来实现推断。例如,
检测结果可以由矩形指示,或者可以是能够通过曲线提取的面部的区域。训练数据可包括例如面具数据。在这种情况下,即使在佩戴面具的状态下,也可以提高检测面部的概率。
99.接下来,面部检测单元102记录检测的面部中的面部的宽度(s101)。例如,通过将数据存储在存储器16中来执行记录。例如以像素为单位记录面部的宽度。例如,在通过矩形获得面部的区域的情况下,面部检测单元102获取矩形区域在水平方向上的像素数量,并且在通过曲线提取面部的区域的情况下,面部检测单元获取水平方向上的最大像素数量。
100.要注意的是,例如,在镜面m的前方具有多个人的情况下,面部检测单元102可检测第一图像中的多个面部。在这种情况下,具有上述面部的最大宽度的人的位置可被确定为用户p的位置,并且该宽度可存储在存储器16中。
101.面部检测单元102通过上述处理执行面部检测推断。在没有能够检测到面部的情况下,记录失败。可以例如通过将标志设置为临时变量来执行该记录。
102.接下来,处理器18确定是否已经能够检测到面部(s11)。
103.在能够检测到面部的情况下(s11:是),距离估计单元104估计用户p与镜面m之间的距离(s12)。该距离估计基于在步骤s10中获取的面部的宽度的估计值和第一相机10的规格来执行。
104.在图10中,上图示出在显示器142上显示的第一图像,并且下图示出在捕获第一图像的情况下从图3的状态的上方看到的平面图。
105.在第一图像中,假设用户p的面部的宽度为k个像素。然后,假设从第一相机10的规格获取的整个第一图像的像素数量是w个像素,并且其视角是θ弧度。下图中的虚线表示假设第一相机10是针孔相机的情况下的光学系统和图像表面的位置。因为安装在智能电话等上的内向相机增加景深,所以通过进行这种假设出现以几毫米为单位的误差,但是这并未引起本公开的方法中的大问题。此外,在用户p的面部的位置中,连接面部的端部(由于实际上在镜面中被反射,所以是镜面图像的面部的端部)与面部在图像表面中的端部的线平行于光轴,但是这是为了便于计算并且不影响结果。注意,尽管为了说明起见,该图是按比例移动的,但是f和w的比率实际上比图小。
106.当在下图中反射k和w时,如图中所示,尺寸以图像表面上的像素为单位。第一相机10的焦距由f个像素表示。然后,由三角形之间的相似度关系建立以下公式。
107.[数学公式1]
[0108][0109]
这里,z是用户p和镜面m之间的距离d的两倍长,并且k是用户p的面部的实际宽度的尺寸。
[0110]
此外,焦距f可以使用视角θ和w表示如下。
[0111]
[数学公式2]
[0112][0113]
当式(2)取代成式(1)时,获得下式。
[0114]
[数学公式3]
[0115][0116]
θ和w根据第一相机10的规格是已知的,并且k可以从第一图像获取。因此,如果k的值是已知的,则可以获得z。例如,z可以通过假设人脸的宽度为20cm等来获得。k的这个假设对本公开也具有小的影响。该k可以是取决于例如年龄、性别、种族等的另一值。此外,用户p可以输入k的这个值。
[0117]
基于上述公式和k的值,处理器18计算z的值,然后计算用户p和镜面m之间的距离d的值(s12)。注意,例如,可以基于数据库等确定对于第一相机10唯一的值,在数据库中记录有与各种终端装置1相关的值,此时在终端装置1中安装应用。例如,在智能电话的情况下,可存储从智能电话的规范提取的值,安装者可在安装时确定终端装置1的型号并获取这些值。此外,可以以诸如使用测试图等的某种形式来执行测量,并且可以设置其值。
[0118]
返回图8,将描述处理的继续。
[0119]
接下来,ui选择单元106选择使用短距离ui还是长距离ui进行显示(s13)。
[0120]
图11是示出ui显示选择处理的流程图。
[0121]
ui选择单元106确定在s12中估计的距离d是否等于或小于阈值(s130)。注意,虽然使用与距离d的比较,但是可以使用上述距离z。在这种情况下,阈值仅需要加倍。
[0122]
在距离d等于或小于阈值的情况下(s130:是),ui选择单元106选择短距离ui并存储该结果(s131)。另一方面,在距离d大于阈值的情况下(s130:否),ui选择单元106选择长距离ui并存储该结果(s132)。可以在存储器16中进行存储。以这种方式,ui选择单元106根据用户p和镜面m之间的位置关系切换要显示的ui。
[0123]
返回图8,在执行显示选择(s13)之后或在不能检测面部的情况下(s11:否),眼睛检测单元122在第二图像中执行瞳孔/虹膜检测处理(s14)。在s11中确定为“否”的情况下,处理进行到s14。这是因为存在面部不能被第一相机10检测而眼睛能被第二相机12检测的可能性。例如,可以想到,面部以外的位置(诸如用户p的手等)覆盖大部分面部,并且不能检测到面部。
[0124]
图12是示出瞳孔/虹膜检测处理(s14)的子例程的流程图。眼睛检测单元122通过使用例如学习的神经网络模型来执行瞳孔和虹膜的检测推断(s140)。
[0125]
例如,通过使用均具有包括瞳孔和虹膜的眼睛的图像的矩形标签的大量数据作为训练数据提前执行机器学习来优化该模型。优化模型的参数被存储在例如存储器16中,并且眼睛检测单元122形成模型并且通过加载超参数和与模型相关的参数来实现推断。例如,检测结果可以由圆形指示,或者可以是能够通过曲线提取的面部的区域。
[0126]
此外,不限于使用这样的模型,例如,可以使用通过霍夫变换等检测圆形形状的处理。在执行霍夫变换之后,可以使用神经网络模型进一步执行推断。此外,在通过蛇处理等提取轮廓之后,可以使用霍夫变换或神经网络模型。不限于此,并且可提取圆形形状的处理可以用作要被输入到神经网络模型的预处理。此外,例如,可以在不使用神经网络模型的情况下,提取中心基本上彼此一致的具有不同尺寸的两个圆作为瞳孔和虹膜。
[0127]
接下来,眼睛检测单元122记录检测到的瞳孔和虹膜的区域(s141)。例如,通过将
数据存储在存储器16中来执行记录。不需要检测瞳孔和虹膜两者,并且可以根据应用执行仅检测瞳孔或仅检测虹膜的处理。
[0128]
返回图8,处理器18确定所检测的瞳孔和虹膜的尺寸是否合适(s15)。在瞳孔和虹膜的尺寸适当的情况下(s15:是),确定单元124执行分析和确定处理(s16)。
[0129]
图13是示出分析/确定处理(s16)的子程序的流程图。例如,确定单元124使用学习的神经网络模型确定瞳孔和虹膜中是否存在异常,并且此外,确定存在疾病的情况下的进展程度(s160)。
[0130]
例如,通过使用其中眼睛的图像和表示疾病的进展程度的值相关联的大量数据作为训练数据提前执行机器学习来优化该模型。优化模型的参数被存储在例如存储器16中,并且确定单元124加载获得的与这个模型相关的超参数和参数,从而形成模型并且实现推断。
[0131]
此外,可以通过各种方法来获取该训练数据。例如,可以使用闪光灯击中状态下的数据或红外相机的数据。基于第二相机12可以获取的数据,可以执行使用各种数据的训练。在这种情况下,可以使用每种训练数据来优化多个模型,并且确定单元124可以通过基于可以由第二相机12获取的数据或者获取第二图像时的成像情形(例如,闪光灯已经被打开、红外线已经被接收的情形等)改变模型来执行推断。此外,在一个确定中可以使用多个第二图像。
[0132]
接下来,确定单元124记录确定的进度(s161)。例如,通过将数据存储在存储器16中来执行记录。如上所述,进度度可由数值表示,并且在这种情况下,确定单元124将该数值存储在存储器16中作为进度度。
[0133]
注意,此时,处理器18可以在存储器中存储由第二相机12获取的用户p的瞳孔/虹膜的图像。
[0134]
返回图8,输出单元140输出各种状态(s17)。
[0135]
图14是示出输出单元140的输出处理(s17)的子例程的流程图。输出单元140首先确定是否存在进度的估计结果(s170)。由于进度的估计结果被存储在存储器16中,例如,输出单元140通过参考存储器16进行该确定。
[0136]
在不存在进度的估计结果的情况下(s170:否),确定是否检测到瞳孔/虹膜区域(s171)。由于瞳孔/虹膜区域的检测结果存储在存储器16中,因此,例如,输出单元140通过参考存储器16执行该确定。
[0137]
在检测到瞳孔/虹膜区域的情况下(s171:是),输出单元140计算适当位置和尺寸的偏差(s172)。在该处理中,计算瞳孔/虹膜偏离用于获取用于进行分析的图像的适当位置的程度、以及瞳孔/虹膜偏离适合于进行分析的尺寸的程度。例如,如图5的右图所示,例如,输出单元140以适合于在显示器142上执行分析的位置和尺寸显示导航n。输出单元140计算导航n的位置和尺寸偏离瞳孔/虹膜的区域多少。
[0138]
位置和尺寸由第二相机12的性能决定,可以与上述第一相机10的水平视角等参数同样地在安装或执行时获取和设置。输出单元140可将这些偏差信息存储在存储器16中。
[0139]
接下来,输出单元140确定ui选择单元106是否已经选择了长距离ui(s173)。该确定由ui选择单元106基于记录在存储器16中的信息来执行。
[0140]
在选择长距离ui的情况下(s173:是),输出单元140使用例如长距离ui将第二图像
输出到显示器142,如图5所示(s174)。另一方面,在选择短距离ui的情况下(s173:否),输出单元140使用例如如图6中所示的短距离ui将第二图像输出到显示器142(s175)。用户p使用由镜面m反射的长距离ui或短距离ui在观看在显示器142上显示的第二图像的同时调整眼睛的成像位置,即,终端装置1的位置。
[0141]
在s171中确定未检测到瞳孔/虹膜区域的情况下(s171:否),输出单元140向显示器142输出未检测到瞳孔或虹膜(s176)。例如,当前由第二相机12获取的图像被直接显示在显示器142上,并且要求用户p对准眼睛位置。作为另一个示例,“未检测到瞳孔和虹膜”可以在显示器142上的镜面写入中显示,并且可以输出写入,使得用户p可以通过镜面m读取写入。
[0142]
在s170中确定存在进度的估计结果的情况下(s170:是),输出单元140确定从存储器16获取的进度是否等于或大于阈值(s177)。
[0143]
在进度等于或大于阈值的情况下(s177:是),绘制推荐医生检查的ui(s178)。例如,通过显示促使医生检查的句子,将检查的推荐发送给用户p。又例如,可以显示附近医院或者可以通过例如终端装置1的位置信息、由用户预先设定的区域信息等将用户p引导至预约形式。此外,输出单元140可基于用户p的确定显示提示向医生传输图像的ui。用户p可以联系医院、经由互联网等进行预约、或基于这些绘制结果将他/她的眼睛的图像传输至医生。在发送时,终端装置1可使用上述各种ui重新获取要发送的图像,以获取更精确的图像。此外,可采用可通过选择加入等将图像自动发送到医生的方面。
[0144]
在进展程度小于阈值的情况下(s177:否),可执行指示不推荐医生检查的图(s179)。以这种方式,输出单元140根据确定单元124中的确定结果确定是否更好地接收医生检查,并且执行向用户p的输出。
[0145]
在完成s178或s179的输出之后,输出单元140可以将简单确定的完成标志存储在存储器16中。
[0146]
返回图8,在由输出单元140完成输出的情况下(s18:是),终端装置1结束处理。在处理未完成的情况下(s18:否),重复s10的处理。
[0147]
此外,s10至s13的处理也可以比s14至s18的处理更不频繁地进行。在以这种方式执行处理的情况下,处理器18可以在重复从s14至s18的处理多次之后执行例如从s10至s13的处理。
[0148]
如上所述,根据本实施例,在用户对眼睛的简单确定中,可以使用终端装置1和镜面m执行位置调整简单的处理。此外,通过根据用户p和镜面m之间的距离改变在显示器142上显示的ui,能够显示索引,使得可以在用于进行确定的适当范围内的任何距离处容易地理解终端装置1的位置调整。
[0149]
由于该确定处理在终端装置1中处于关闭状态,因此担心隐私信息的用户也可执行简单的确定。相反,在自动发送图像的设置中,可以节省用户p的麻烦。
[0150]
另外,在s15中省略确定处理并且可以用适当尺寸进行检测的情况下,可以获取第二摄像头12的图像,所获取的图像可以发送到服务器,并且可以在服务器中执行确定处理。作为另一示例,所获取的图像可被发送到医生,并且医生可通过观看图像做出确定。
[0151]
(变形例1)
[0152]
在上述实施例中,例如,通过获取眼睛的瞳孔和虹膜来确定晶状体等的混浊度,但
不限于此。例如,可以打开闪光灯,或者可以使用红外发射器和红外传感器来实现对晶状体内部的简单确定。
[0153]
(变形例2)
[0154]
不仅瞳孔和虹膜而且整个眼睛可被设置为确定目标,并且可通过对整个眼睛成像来执行确定。处理器18可以基于整个眼睛的图像确定例如与眼睛有关的各种异常,诸如结膜炎等。
[0155]
(变形例3)
[0156]
此外,可以确定面部的其他部分而不是眼睛。例如,与本实施方式类似,可以获取人自己难以看到并且此外,即使使用所谓的内向相机也难以获取图像的目标,诸如皮肤、口腔(喉、舌、牙齿等)等。
[0157]
(变形例4)
[0158]
图15是示出了根据变形例的终端装置1的配置的框图。此外,终端装置1可包括倾斜检测传感器20。
[0159]
倾斜检测传感器20包括例如多个加速度传感器和陀螺仪传感器。倾斜检测传感器20可以检测终端装置1的倾斜并且执行上述各种计算,例如,如图14所示的计算。
[0160]
例如,在终端装置1的外壳较大的情况下,用户p可相对于一只眼睛通过镜面m看到显示器142,但是可能难以相对于另一只眼睛通过终端装置1看到镜面m。在这种情况下,如图16所示,终端装置1可倾斜90度。即使当以这种方式倾斜时,倾斜检测传感器20检测倾斜,并且因此,与上述实施方式相似,可以向用户p输出用于获取眼睛的适当第二图像的导航。
[0161]
应注意,即使没有倾斜检测传感器20,也可以应对如图16所示的情况。例如,在面部检测单元102检测面部的情况下,可以从第一图像中的面部的垂直方向获取终端装置1的倾斜。
[0162]
(变形例5)
[0163]
虽然在以上描述中仅聚焦了沿着相对于终端装置1的显示器142的表面的水平方向的移动,但是可以绘制沿着法线方向的移动,即,终端装置1与用户的面部之间的距离,以便由用户p调整。
[0164]
图17是提示用户p调整终端装置1(更精确地,第二相机12)与用户的眼睛之间的距离的显示的示例。
[0165]
例如,在图14中的s172中,在瞳孔和虹膜的尺寸不适当的情况下,输出单元140显示这种ui。例如,在虹膜的尺寸小于适当尺寸的情况下,可以向用户显示诸如“稍远”的字符显示。在这种情况下,通过将字符显示为镜面写入,用户p可以容易地通过镜面m执行阅读。相反,在虹膜的尺寸大于适当尺寸的情况下,可以执行诸如“稍微靠近”的显示。此外,可以显示诸如“移动靠近面部”或“移动远离面部”的直接指令,以使用户更具体地调整终端装置1的位置。
[0166]
在位置和尺寸已经变得适当的情况下,可以显示图像的消息,如右图所示。通过执行这样的显示,例如,可以促使用户p不眨一会儿。
[0167]
例如,除了字符以外,通过改变导航n的环的颜色,可通知用户p诸如“靠近”、“远离”以及“刚好向右”的指示符。作为另一示例,可通过来自扬声器的声音或通过振动的振动通知用户p。可以考虑用于输出颜色、声音和振动的各种方法。
[0168]
例如,在通过颜色做出通知的情况下,在不合适的情况下可以显示红环,并且在变得更合适时可以显示绿环。
[0169]
例如,在通过声音做出通知的情况下,可通过语音直接指示用户p。作为另一示例,可发射低音或高音高的连续或间歇声音以通知远、近或仅正确的状态。
[0170]
例如,在通过振动进行通知的情况下,可以进行通知,使得振动变得更大或者振动的感觉随着其变得不合适而变短。
[0171]
给出这些示例作为示例,并且输出单元140的操作不限于这些示例。
[0172]
在以这种方式调整用户p的面部与终端装置1之间的距离的情况下,可以使用由第二相机12获取的第二图像来测量用户p与面部之间的距离。例如,可以通过使用与第二相机12一起提供的距离测量传感器来测量距离。作为另一示例,可基于第二图像中的虹膜区域的尺寸和第二相机12的性能(例如,对应于上述示例中相对于第一相机10的视角θ和w的值)来测量所述距离。由于人类虹膜的尺寸的直径约为11mm至12mm,因此可以通过使用该值以及例如眼睛检测单元122对虹膜的检测区域来测量用户p的面部(更具体地,眼睛)与终端装置1之间的距离。
[0173]
(变形例6)
[0174]
图18是示出了根据变形例的终端装置1的使用示例的示图。终端装置1可以与显示器d一起使用,而不是与镜面m一起使用。例如,第一相机10设置在显示器d中。然后,显示器d显示由第一相机10获取的用户p和终端装置1的图像。
[0175]
即使在这种情况下,也可以进行与上述实施例和各变形例相同的动作。显示器d和第一相机10可设置在例如膝上型计算机中。在这种情况下,终端装置1和膝上型计算机可以通过发送和接收数据来实现与上述实施例的操作类似的操作。
[0176]
代替通过终端装置1执行所有处理,可以在终端装置1和膝上型计算机之间适当地分配上述处理。
[0177]
此外,可以使用没有安装在计算机上的状态的监视器。在这种情况下,通过有线或无线路径连接终端装置1、显示器d和第一相机10,并且适当地传输显示在显示器d上的数据和用于终端装置1中的处理的数据。
[0178]
图19示出了这种配置的又一个示例,并且设置距离测量传感器22来代替第一相机10。距离测量传感器22例如是tof传感器。通过使用这种距离测量传感器22,存在比在执行图像处理的情况下能够测量更精确的距离的可能性。因此,代替第一相机10,距离测量传感器22可以与显示器d一起提供。终端装置1可基于由距离测量传感器22测量的距离信息确定ui并且在显示器d上显示ui。
[0179]
图20是又一示例,并且提供无线通信装置来代替第一相机10。例如,根据wi-fi等,可根据无线电波条件估计距终端装置1的距离。通过适当地发送和接收无线电波,可以从wi-fi参数等中估计终端装置1和显示器d之间的距离,并且可以在显示器d上绘制基于该距离信息确定的ui。即,可基于显示器d侧的无线装置与终端装置1的输入/输出i/f 14之间的通信状态来估计距离。此外,可以使用通过全球定位系统(gps)等获取的信息。
[0180]
注意,该方法可以应用于使用镜面m代替显示器d的情况。即,可基于镜面m附近的无线装置与终端装置1之间的通信状态来估计距离。
[0181]
(变形例7)
[0182]
在上述变形例中,距离测量传感器被设置在显示器d侧上,但是本发明不限于此。例如,如图21所示,终端装置1可包括距离测量传感器26,并且这可用于代替第一相机。
[0183]
在这种情况下,距离测量传感器26测量从终端装置1至镜面m的距离。终端装置1可以基于该距离确定ui。此外,作为另一示例,用户p和终端装置1之间的距离可以通过上述方法获取,并且用户p和镜面m之间的距离可以基于用户p和终端装置1之间的距离以及终端装置1和镜面m之间的距离来估计,并且应用于上述每个方面。
[0184]
(变形例8)
[0185]
总之,在终端装置1中,例如,显示器142占据其侧表面的较大区域。只要显示器142是简单的显示装置,就没有特别的问题。然而,在显示器142是触摸屏的情况下,用户p可在位置调整和确定期间触摸显示器142,这可导致例如诸如最小化和终止应用的问题。为了解决这样的问题,例如,当用户p执行位置调整时,可以禁用诸如轻击、轻击、滑动、捏等操作。此外,在这种情况下,可以仅将预定区域设定为有效区域,并且可以通过点击预定区域等控制这些操作以在整个屏幕上切换为有效。
[0186]
(变形例9)
[0187]
总之,使用预定距离作为阈值来切换长距离ui和长距离ui,但是也能够调整该预定距离。例如,通过预先输入用户p的视力,可以基于用户p的视力设置预定距离。例如,在用户具有良好的视力(远视)的情况下,用于切换到短距离ui的阈值可以降低,相反,在用户具有较差的视力(近视)的情况下,用于切换到长距离ui的阈值可以提高。
[0188]
此外,可以基于显示器142的距离和性能在显示器142上尽可能精确地显示朗多环等,并且可以执行简单的视觉敏锐度测试。这个测试可以例如通过使用者触摸显示器142的朗多环的上侧、下侧、左侧和右侧上的区域以响应方向的方法来执行,或者可以通过滑动等来指示。可以设置基于该结果的ui切换的阈值。
[0189]
(变形例10)
[0190]
在上面的描述中没有指定用户,但是可以提供指定用户的功能。例如,可通过用户输入id来指定用户。例如,对于指定的用户,可以存储、管理或浏览日志,并且可以基于日志确定进度。此外,可以针对每个用户改变ui。例如,ui的切换可以基于用户输入的视力预先执行。
[0191]
(变形例11)
[0192]
在上述所有方面中,执行面部的一部分(例如,眼睛)的确定,但是应用示例不限于此。例如,终端装置1可以通过执行类似操作实现使用虹膜的个人认证的对准。基于认证结果,终端装置1可被激活,特定应用可被激活,或者认证结果可经由互联网被发送。
[0193]
此外,结合上述修改10,处理器18可以从虹膜的个人认证结果中获取与用于确定的应用有关的参数等。
[0194]
本公开的各方面可由程序来实现。该程序可以存储在存储单元(存储器16)中,通过软件实现的信息处理具体可以通过硬件实现。除了计算机之外,软件处理可以通过模拟电路或数字电路(例如,现场可编程门阵列(fpga)、专用集成电路(asic)或数字信号处理器(dsp))来实现。
[0195]
上述实施方式可以具有以下形式。
[0196]
(1)
[0197]
一种程序,使得处理器执行:
[0198]
检测由第一相机获取的第一图像中的第一目标;
[0199]
估计从所检测的第一相机到第一目标的路径的长度;并且
[0200]
基于路径的长度切换由第二相机获取的第二图像的显示,并且合成用于调整第二图像中的第二目标的位置的索引。
[0201]
(2)
[0202]
根据(1)所述的程序,
[0203]
其中,第一目标是用户的面部,并且
[0204]
第二目标是用户的眼睛。
[0205]
(3)
[0206]
根据(2)所述的程序,
[0207]
其中,处理器
[0208]
处理由终端装置获取的第一图像和第二图像,终端装置包括显示器、第一相机和第二相机,第一相机被设置在与显示器的显示表面相同的表面上,并且第二相机被设置在与显示器的显示表面相对的表面上。
[0209]
(4)
[0210]
根据(3)所述的程序,
[0211]
其中,使得处理器执行
[0212]
估计由从第一相机获取的镜面反射的面部的区域,
[0213]
基于面部的区域估计从镜面到面部的距离或从镜面到终端装置的距离中的至少一个,并且
[0214]
在距离小于预定距离的情况与距离等于或大于预定距离的情况之间切换第二图像的显示。
[0215]
(5)
[0216]
根据(1)或(2)所述的程序,
[0217]
其中,使得处理器执行
[0218]
基于由包括在显示器中的第一相机在没有反射的情况下获取的第一图像估计从包括第二相机的终端装置到存在于终端装置外部的显示器的距离,并且
[0219]
在距离小于预定距离的情况与距离等于或大于预定距离的情况之间切换第二图像的显示。
[0220]
(6)
[0221]
根据(3)至(5)中任一项所述的程序,
[0222]
其中,使得处理器执行
[0223]
生成索引,使得眼睛的至少一部分落在预定范围内。
[0224]
(7)
[0225]
根据(6)所述的程序,
[0226]
其中,使得处理器执行
[0227]
生成索引,使得眼睛的至少瞳孔落在预定范围内。
[0228]
(8)
[0229]
根据(7)所述的程序,
[0230]
其中,使得处理器执行
[0231]
生成索引,使得眼睛的至少虹膜落在预定范围内。
[0232]
(9)
[0233]
根据(6)和(7)中任一项所述的程序,
[0234]
其中,使得处理器执行
[0235]
分析眼睛的内部。
[0236]
(10)
[0237]
根据(6)至(9)中任一项所述的程序,
[0238]
其中,使得处理器执行
[0239]
传输眼睛的内部的图像。
[0240]
(11)
[0241]
根据(8)所述的程序,
[0242]
其中,使得处理器执行
[0243]
基于虹膜进行认证。
[0244]
(12)
[0245]
根据(3)至(11)中任一项所述的程序,
[0246]
其中,使得处理器执行
[0247]
在显示器上显示第二图像和索引。
[0248]
(13)
[0249]
根据(1)所述的程序,
[0250]
其中,第一目标是用户的面部,并且
[0251]
第二目标是用户的面部皮肤或口腔。
[0252]
(14)
[0253]
一种信息处理装置,包括:
[0254]
处理器,
[0255]
其中,处理器
[0256]
基于由在与显示器的显示表面相同的方向上捕获图像的第一相机捕获的用户和终端装置的第一图像估计从显示器到用户的距离,并且
[0257]
基于距离切换由包括在终端装置中的第二相机捕获的第二图像,并且将与索引合成的图像输出到显示器。
[0258]
(15)
[0259]
一种终端装置,包括:
[0260]
显示器;
[0261]
第一相机,在与显示器的显示表面相同的方向上捕获图像;
[0262]
第二相机,在与显示器的显示表面相反的方向上捕获图像;以及
[0263]
处理器,
[0264]
其中,处理器
[0265]
基于由镜面反射的由第一相机捕获的面部和终端装置的第一图像,估计从镜面到
用户的面部的距离和从镜面到终端装置的距离中的任一个,并且
[0266]
基于距离切换由第二相机捕获的第二图像,并且将与索引合成的图像输出到显示器。
[0267]
(16)
[0268]
根据(1)至(15)中任一项所述的程序、信息处理装置或终端装置,
[0269]
其中,处理器
[0270]
基于索引确定第二相机是否在适当位置处,并且
[0271]
基于确定结果生成索引。
[0272]
(17)
[0273]
根据(16)所述的程序、信息处理装置或终端装置,
[0274]
其中,处理器
[0275]
将包括镜面写入的信息分配给索引。
[0276]
(18)
[0277]
根据(16)或(17)所述的程序、信息处理装置或终端装置,
[0278]
其中,处理器
[0279]
将颜色信息分配给索引。
[0280]
(19)
[0281]
根据(1)至(18)中任一项所述的程序、信息处理装置或终端装置,
[0282]
其中,处理器
[0283]
基于索引确定第二相机是否在适当位置处,并且
[0284]
基于确定结果输出声音。
[0285]
(20)
[0286]
根据(1)至(16)中任一项所述的程序、信息处理装置或终端装置,
[0287]
其中,处理器
[0288]
基于索引确定第二相机是否在适当位置处,并且
[0289]
基于确定结果输出振动。
[0290]
(21)
[0291]
根据(1)至(20)中任一项所述的程序、信息处理装置或终端装置,
[0292]
其中,处理器
[0293]
基于来自tof传感器的输出来估计距离。
[0294]
(22)
[0295]
根据(14)所述的信息处理装置,
[0296]
其中,处理器
[0297]
通过终端装置与显示器之间的通信状态估计距离。
[0298]
(23)
[0299]
根据(2)至(22)中任一项所述的程序、信息处理装置或终端装置,
[0300]
其中,处理器
[0301]
基于用户的视力切换第二图像。
[0302]
(24)
[0303]
一种服务器,包括执行(1)至(23)的处理器中的处理的至少一部分的第二处理器。
[0304]
(25)
[0305]
一种非暂时性计算机可读介质,记录用于使得根据(1)至(23)中任一项的处理器执行处理的程序。
[0306]
本公开的方面不限于上述实施方式,并且包括各种可设想的变形。本公开的效果不限于上述内容。每个实施方式中的组件可适当地组合和应用。即,在不背离从在权利要求及其等同物中限定的内容得出的本公开的概念构思和主旨的情况下,可进行各种添加、修改、以及部分删除。
[0307]
附图标记列表
[0308]
1 终端装置
[0309]
10 第一相机
[0310]
12 第二相机
[0311]
14 输入/输出i/f
[0312]
16 存储器
[0313]
18 处理器
[0314]
100 第一处理单元
[0315]
102 面部检测单元
[0316]
104 距离估计单元
[0317]
106 ui选择单元
[0318]
120 第二处理单元
[0319]
122 眼睛检测单元
[0320]
124 确定单元
[0321]
140 输出单元
[0322]
20 倾斜检测传感器
[0323]
22 距离测量传感器
[0324]
24 无线通信装置
[0325]
26 距离测量传感器。
技术特征:1.一种程序,使得处理器执行:检测由第一相机获取的第一图像中的第一目标;估计从所检测的第一相机到所述第一目标的路径的长度;并且基于所述路径的长度切换由第二相机获取的第二图像的显示,并且合成用于调整所述第二图像中的第二目标的位置的索引。2.根据权利要求1所述的程序,其中,所述第一目标是用户的面部,并且所述第二目标是所述用户的眼睛。3.根据权利要求2所述的程序,其中,所述处理器处理由终端装置获取的第一图像和第二图像,所述终端装置包括显示器、第一相机和第二相机,所述第一相机被设置在与所述显示器的显示表面相同的表面上,并且所述第二相机被设置在与所述显示器的显示表面相对的表面上。4.根据权利要求3所述的程序,其中,使得所述处理器执行估计由从所述第一相机获取的镜面反射的面部的区域,基于所述面部的区域估计从所述镜面到所述面部的距离或从所述镜面到所述终端装置的距离中的至少一个,并且在所述距离小于预定距离的情况与所述距离等于或大于所述预定距离的情况之间切换所述第二图像的显示。5.根据权利要求1所述的程序,其中,使得所述处理器执行基于由包括在显示器中的第一相机在没有反射的情况下获取的所述第一图像估计从包括所述第二相机的终端装置到存在于所述终端装置外部的显示器的距离,并且在所述距离小于预定距离的情况与所述距离等于或大于所述预定距离的情况之间切换所述第二图像的显示。6.根据权利要求3所述的程序,其中,使得所述处理器执行生成索引,使得所述眼睛的至少一部分落在预定范围内。7.根据权利要求6所述的程序,其中,使得所述处理器执行生成所述索引,使得所述眼睛的至少瞳孔落在所述预定范围内。8.根据权利要求7所述的程序,其中,使得所述处理器执行生成所述索引,使得所述眼睛的至少虹膜落在所述预定范围内。9.根据权利要求6所述的程序,其中,使得所述处理器执行分析所述眼睛的内部。10.根据权利要求6所述的程序,
其中,使得所述处理器执行传输所述眼睛的内部的图像。11.根据权利要求8所述的程序,其中,使得所述处理器执行基于所述虹膜进行认证。12.根据权利要求3所述的程序,其中,使得所述处理器执行在所述显示器上显示所述第二图像和所述索引。13.根据权利要求1所述的程序,其中,所述第一目标是用户的面部,并且所述第二目标是所述用户的面部皮肤。14.一种信息处理装置,包括:处理器,其中,所述处理器基于由在与显示器的显示表面相同的方向上捕获图像的第一相机捕获的用户和终端装置的第一图像估计从所述显示器到所述用户的距离,并且基于所述距离切换由包括在所述终端装置中的第二相机捕获的第二图像,并且将与索引合成的图像输出到所述显示器。15.一种终端装置,包括:显示器;第一相机,在与所述显示器的显示表面相同的方向上捕获图像;第二相机,在与所述显示器的显示表面相反的方向上捕获图像;以及处理器,其中,所述处理器基于由第一相机捕获的由镜面反射的面部和终端装置的第一图像,估计从所述镜面到用户的面部的距离和从所述镜面到所述终端装置的距离中的任一个,并且基于所述距离切换由所述第二相机捕获的第二图像,并且将与索引合成的图像输出到所述显示器。
技术总结[问题]适当地拍摄不能直接观看的图像。[解决方案]根据本发明的一种程序使处理器执行:检测由第一相机获取的第一图像中的第一目标;估计从第一相机到第一目标的所检测的路线的长度;并且,基于路线的长度切换由第二相机获取的第二图像的显示,并合成用于调整第二图像中的第二目标的位置的索引。像中的第二目标的位置的索引。像中的第二目标的位置的索引。
技术研发人员:尾崎悟士
受保护的技术使用者:索尼集团公司
技术研发日:2021.02.16
技术公布日:2022/11/1