1.本发明涉及图像识别装置、图像识别方法以及程序。
背景技术:2.已知有如下技术:检测拍摄图像中包含的人,生成并显示在检测出的人上叠加了矩形框线的图像。与拍摄图像叠加显示的矩形框线的尺寸有时以包围检测到的人的范围的方式将纵横比设为2比1。另外,如专利文献1那样,还公开了显示如下尺寸的框线的技术:该尺寸的框线根据距所检测到的人物的距离而被决定为标准尺寸(例如相当于170cm的身高)。
3.在先技术文献
4.专利文献
5.专利文献1:日本特开2019-204374号公报。
技术实现要素:6.发明所要解决的问题
7.在将框线的尺寸与人的大小无关地设为固定值的情况下,有可能无法适当地掌握人是大人还是孩子等的属性。另一方面,在设定为与人的大小对应的框线尺寸的情况下,叠加在孩子等矮身高者的框线的尺寸变小。在框线的尺寸小的情况下,在观察叠加有框线的拍摄图像的显示时,有可能给人一种人存在于比实际位置更远的位置的印象,有可能错误地掌握位于附近的矮身高者的位置。
8.本发明是鉴于上述情况而完成的,其目的在于,提供一种降低错误地掌握检测到的人的位置的可能性的技术。
9.用于解决问题的手段
10.本发明的一个方式的图像识别装置包括:图像获取部,获取拍摄图像;人检测部,检测图像获取部所获取的拍摄图像中包含的人,并确定拍摄图像中的人的检测位置和检测尺寸;框线决定部,基于人检测部所确定的人的检测位置,决定与检测尺寸不同的框线的尺寸;图像生成部,生成显示图像,该显示图像是将由框线决定部决定的尺寸的框线叠加在拍摄图像的检测位置上而得到的;以及显示控制部,使显示装置显示由图像生成部生成的显示图像。
11.本发明的另一方式是图像识别装置所执行的图像识别方法。该方法包括以下步骤:获取拍摄图像;检测所获取的拍摄图像中包含的人,并确定拍摄图像中的人的检测位置以及检测尺寸;基于所确定的人的检测位置,决定与检测尺寸不同的框线的尺寸;生成将所决定的尺寸的框线叠加在拍摄图像的检测位置上的显示图像;以及使显示装置显示所生成的显示图像。
12.本发明的又一方式是一种程序。该程序使计算机执行以下功能:获取拍摄图像;检测所获取的拍摄图像中包含的人,并确定拍摄图像中的人的检测位置以及检测尺寸;基于
所确定的人的检测位置,决定与检测尺寸不同的框线的尺寸;生成将所决定的尺寸的框线叠加在拍摄图像的检测位置上的显示图像;以及使显示装置显示所生成的显示图像。
13.发明的效果
14.根据本发明,能够降低错误地掌握检测到的人的位置的可能性。
附图说明
15.图1是示意性地示出第一实施方式所涉及的图像识别装置的功能构成的框图;
16.图2是示出拍摄图像的一例的图;
17.图3是示意性地示出人的检测位置以及检测尺寸的图;
18.图4是示出叠加有框线的显示图像的一例的图;
19.图5是示出第一实施方式所涉及的图像识别方法的流程的流程图;
20.图6的(a)~图6的(d)是示出框线的其他显示例的图;
21.图7是示意性地示出第二实施方式所涉及的图像识别装置的功能构成的框图;
22.图8是示出第二实施方式所涉及的图像识别方法的流程的流程图。
具体实施方式
23.以下,参照附图,对本发明的实施方式进行说明。该实施方式所示的具体的数值等只不过是用于容易理解发明的例示,除了特别说明的情况以外,并不限定本发明。另外,在附图中,与本发明没有直接关系的要素省略图示。
24.(第一实施方式)
25.在详细说明第一实施方式之前示出概要。在第一实施方式中,检测拍摄图像中包含的人,生成并显示将包围检测到的人的框线叠加于拍摄图像的显示图像。在本实施方式中,叠加具有与检测出的人的检测尺寸对应的尺寸的框线,在检测出的人的身高小于预定值的情况下,例如小于120cm等的情况下,生成叠加了在纵向上比人的检测尺寸大的尺寸的框线的显示图像。根据本实施方式,通过对小于预定值的身高的人叠加比检测尺寸大的尺寸的框线,从而降低由于检测到的人的框线的纵向尺寸较小而被误认为位于比实际的位置更远的位置上的可能性,并且降低错误地掌握检测到的人的位置的可能性。
26.图1是示意性地示出第一实施方式所涉及的图像识别装置10的功能构成的框图。图像识别装置10包括:图像获取部12、人检测部14、框线决定部16、图像生成部18、显示控制部20以及存储部22。在本实施方式中,例示了图像识别装置10搭载于车辆的情况。图像识别装置10例如是搭载在车辆上的装置,由车辆所具备的cpu(central processing unit,中央处理单元)等控制装置构成。图像识别装置10也可以使用车辆所具备的导航系统等构成。此外,图像识别装置10也可以通过摄像机装置、智能手机等可移动型的装置来实现。图像识别装置10也可以具备摄像头26以及显示装置28中的至少一者。
27.在本实施方式中示出的各功能块,在硬件上能够通过以计算机的cpu、存储器为代表的元件、机械装置来实现,在软件上通过计算机程序等来实现,但在此,记载为通过它们的协作而实现的功能块。因此,本领域技术人员应当理解,这些功能块能够通过硬件、软件的组合以各种形式实现。
28.图像获取部12获取摄像头26拍摄到的拍摄图像。摄像头26搭载于车辆,拍摄车辆
周围的图像。摄像头26例如拍摄车辆前方的图像。摄像头26可以对车辆的后方进行拍摄,也可以对车辆的侧方进行拍摄。摄像头26构成为拍摄可见光。摄像头26可以构成为拍摄红色、绿色以及蓝色的彩色图像,也可以构成为拍摄可见光的单色图像。
29.摄像头26也可以构成为拍摄红外线。摄像头26可以是所谓的红外线热像仪,可以将车辆周边的温度分布图像化,以确定存在于车辆周边的热源。摄像头26可以构成为检测波长为2μm~5μm左右的中红外线,也可以构成为检测波长为8μm~14μm左右的远红外线。
30.由摄像头26拍摄并由图像获取部12获取的拍摄图像是例如每秒30帧的图像连续的运动图像。以下说明的处理针对运动图像随时进行。
31.图2示出图像获取部12获取的拍摄图像30的例子。在图2的例子中,多个人32a、32b、32c、32d被包含在拍摄图像30中。第一人32a以及第二人32b位于距车辆的距离相对近的第一距离l1处。第三人32c以及第四人34d位于距车辆的距离相对远的第二距离l2处。第一距离l1例如相当于距车辆15m~20m左右的距离。第二距离l2例如相当于距车辆40m~50m左右的距离。
32.第一人32a以及第三人32c是身高为170cm左右的人,第二人32b以及第四人32d是身高为100cm左右的人,是所谓的矮身高者。在图示的例子中,作为矮身高者的第二人32b的外观的大小与第三人32c的外观的大小、即拍摄图像30中的检测尺寸为相同程度。检测尺寸是指拍摄图像中的图像上的尺寸。
33.人检测部14检测图像获取部12所获取的拍摄图像中包含的人。人检测部14使用人识别辞典检索行人、骑行者(骑自行车的人)等。人检测部14针对拍摄图像,使用人识别辞典检索人,计算表示在检索到的区划中存在人的可能性的人得分值。人检测部14例如在检索到的区划的人得分值为预定阈值以上时检测为人。人检测部14所使用的人识别辞典是通过使用了将拍摄了人的图像等作为输入、并将人得分值作为输出的模型的机器学习来生成的。作为用于机器学习的模型,能够使用卷积神经网络(cnn)等。在图2的例子中,人检测部14对图像获取部12所获取的拍摄图像30进行检测人的处理,检测出多个人32a、32b、32c、32d。
34.人检测部14在检索中使用的区划的形状根据使用的人识别辞典而预先确定。在本实施方式的人识别辞典中,检索的区划是长方形,区划的纵向和横向的图像尺寸的比率被确定为大约2:1。用于检索的区划的形状例如对应于在用于生成人识别辞典的机器学习中使用的训练用图像的纵向和横向的图像尺寸。
35.人检测部14确定检测到的人的检测位置以及检测尺寸。人检测部14对检测到的人赋予标签编号,并针对每个标签编号将检测位置以及检测尺寸存储到存储部22中。检测位置是在拍摄图像30中检测到人的区划的位置坐标,例如由区划的下端的中央的位置坐标来决定。检测到人的区划的下端相当于人脚下的位置,也可以说是人与地面接触的接地位置。人的接地位置可用于推定距人的距离。检测尺寸是检测到人的区划的大小,例如由检测出的区划的纵向的图像尺寸来决定。检测尺寸可用于推定人的身高。
36.图3是示意性地示出在图2所示的拍摄图像30中检测到的人32a~32d的检测位置以及检测尺寸的图。图3示出在图2的拍摄图像30中检测到人32a~32d的区划34a、34b、34c、34d和人32a~32d的接地位置36a、36b、36c、36d。人检测部14将作为人32a~32d的检测尺寸而检测出的区划34a~34d的至少纵向的大小ha~hd存储到存储部22中。区划34a~34d的纵
向大小ha~hd与拍摄图像30中的人32a~32d的纵向的图像尺寸相对应。区划34a~34d的纵向大小ha~hd由从人32a~32d的脚下到头部的纵向的图像尺寸来决定。人检测部14将位于区划34a~34d的下端中央的接地位置36a~36d的坐标作为人32a~32d的检测位置存储到存储部22中。
37.框线决定部16基于人检测部14的检测结果来决定是否在拍摄图像30上叠加框线,在叠加框线的情况下,决定应叠加的框线的位置以及尺寸。图像生成部18将框线决定部16决定的位置以及尺寸的框线叠加在拍摄图像30上而生成显示图像。显示控制部20使显示装置28显示由图像生成部18生成的显示图像。显示装置28例如是搭载于车辆的显示器。
38.框线决定部16计算距人检测部14所检测到的人的距离,并将计算出的距离按每个标签编号存储到存储部22中。框线决定部16也可以基于拍摄图像中检测到的人的接地位置的纵向位置坐标来计算距人的距离。框线决定部16也可以使用表示拍摄图像的纵向位置坐标与距离的相关性的表格或公式,来计算距人的距离。该情况下的距人的距离是指从搭载有摄像头26的车辆到人的距离。
39.框线决定部16基于从车辆到人的距离来决定是否叠加框线。框线决定部16如下决定:如果从车辆到人的距离小于阈值(例如40m),则叠加框线,如果从车辆到人的距离为阈值(例如40m)以上,则不叠加框线。框线决定部16也可以根据从车辆到人的距离来决定要叠加的框线的颜色。例如,如果到人的距离小于第一阈值(例如20m),则设为红色的框线,如果到人的距离为第一阈值(例如20m)以上且小于第二阈值(例如40m),则设为黄色的框线。此外,如果距人的距离为第二阈值以上,则也可以为无框线。框线决定部16将所决定的是否需要框线、框线的颜色按每个标签编号存储到存储部22中。
40.框线决定部16计算人检测部14检测到的人的身高,并将计算出的身高按每个标签编号存储到存储部22中。框线决定部16基于检测到的人的接地位置和纵向的检测尺寸来计算人的身高。框线决定部16也可以使用表示根据拍摄图像30的纵向位置坐标来确定的检测尺寸与身高的比率的表格或公式,来计算人的身高。
41.框线决定部16基于距离小于阈值的人的身高来决定框线的尺寸。框线决定部16根据人的身高来决定框线的尺寸。在人的身高为预定值以上、例如120cm以上等的情况下,框线决定部16将框线的纵向的尺寸设为与人的检测尺寸相同的尺寸。在人的身高小于预定值、例如小于120cm等的情况下,即是矮身高者的情况下,框线决定部16将框线的纵向的尺寸设为比人的检测尺寸大的尺寸。身高小于预定值的人的框线的纵向尺寸,例如是在人的检测位置处身高相当于150cm~170cm的大尺寸,具有比检测到的人的检测尺寸大的尺寸。
42.针对身高为预定值以上的人的框线的大小根据人的检测尺寸而变化,可以根据人的身高以及距人的距离而变化。即,针对身高为预定值以上的人的框线的大小与人的身高成比例,与距人的距离成反比。如果距人的距离相同,则框线的大小根据人的身高而变化。例如,叠加在位于20m的距离的身高180cm的人上的框线比叠加在位于20m的距离的身高160cm的人上的框线在纵向上大。另外,如果人的身高相同,则框线的大小根据到人的距离而变化。例如,叠加在位于10m的距离的身高180cm的人上的框线比叠加在位于20m的距离的身高180cm的人上的框线在纵向上大。
43.对于身高小于预定值的人的框线的大小不一定追随人的检测尺寸。例如,对于身高小于预定值的人,也可以设定固定值的尺寸的框线。在该情况下,例如在检测到身高为
100cm的人以及身高为90cm的人的情况下,均设定具有相当于身高180cm的尺寸的框线。此外,对于身高小于预定值的人,也可以如下设定框线的尺寸:框线的纵向的尺寸成为对检测到的人的身高乘以1.5等系数而得到的值。在该情况下,例如对于身高为100cm的人,设定具有相当于身高150cm的尺寸的框线,对于身高为90cm的人,设定具有相当于身高135cm的尺寸的框线。
44.图4是示出叠加有框线42、44的显示图像40的一例的图。在图4中,图2的第一人32a的身高基于接地位置36a以及显示图像40中的纵向大小ha而被判定为预定值以上,因此叠加第一人32a的检测尺寸的框线42。即,将第一人32a的纵向的检测尺寸ha作为纵向尺寸,叠加纵横比2:1的框线42。第二人32b的身高基于接地位置36a以及显示图像40中的纵向大小hb而被判断为小于预定值,因此,作为与第二人32b的检测尺寸不同的尺寸的框线,叠加在纵向上比第二人32b的检测尺寸大的尺寸的框线44。在图4中,用粗线表示在显示图像40中描绘的框线42、44。在图4中用虚线表示的第一区划34a和第二区划34b的框线并不描绘在显示图像40中。在图4中,仅对位于近距离的第一距离l1的第一人32a以及第二人32b叠加框线42、44,而对位于远距离的第二距离l2的第三人32c以及第四人32d不叠加框线。
45.叠加在身高为预定值以上的第一人32a上的框线42具有与第一人32a的检测尺寸对应的大小,例如具有与检测出第一人32a的第一区划34a相同的大小。框线42的大小可以与第一区划34a的大小稍微不同,例如不同程度可以是5%~10%左右。因此,框线42的纵向大小ha可以与第一区划34a的纵向大小ha相同,也可以稍小,也可以稍大。框线42的纵横比与第一人32a的检测尺寸的纵横比相同,为2:1。框线42以第一人32a的接地位置36a为基准叠加,以框线42的下端中央与接地位置36a一致的方式叠加。
46.叠加在身高小于预定值的第二人32b上的框线44比第二人32b的检测尺寸大。框线44的纵向大小hb比检测到第二人32b的第二区划34b的纵向大小hb显著大,例如大10%以上。在图4的例子中,框线44的纵向大小hb为第二区划34b的纵向大小hb的约1.5倍。框线44的纵横比与第二人32b的检测尺寸的纵横比相同,为2:1。即,框线44的纵横比与框线42的纵横比相同。框线44以第二人32b的接地位置36b为基准叠加,以框线44的下端中央与接地位置36b一致的方式叠加。其结果是,在第二人32b的头部与框线44的上端之间存在间隙46。间隙46的纵向大小例如为第二区划34b的纵向大小hb的10%以上,例如为20%~50%左右。
47.根据图4的显示图像40,针对第二人32b叠加有比实际的身高大的框线44。由此,与叠加第二人32b的检测尺寸、即与虚线所示的第二区划34b对应的尺寸的框线的情况相比,能够使第二人32b看起来较大。另外,与第二人32b叠加的框线44的大小与叠加于第一人32a的框线42的大小接近,因此能够更容易理解地提示第一人32a和第二人32b位于大致相同的距离。另外,由于第一人32a和第二人32b的接地位置36a、36b与框线42、44的下端一致,因此根据框线42、44的下端位置也能够更容易理解地提示第一人32a和第二人32b位于相同的距离的位置。其结果是,能够降低因第二人32b的外观较小而误认为第二人32b位于比实际更远的位置的可能性。例如,能够降低误认为第二人32b位于与第二人32b外观大小相同的第三人32c所在的第二距离l2附近的可能性。
48.图5是示出第一实施方式所涉及的图像识别方法的流程的流程图。图5的处理的开始以及结束,在图像识别装置10搭载于车辆的情况下,在车辆的利用开始以及结束、发动机、电源等的启动以及结束等时开始。此外,也可以通过用户的操作等进行开始和结束。
49.首先,随着处理的开始,图像获取部12从摄像头26获取拍摄图像30(s10),人检测部14开始对所获取的拍摄图像中包含的人进行检测(s12)。如果检测到人(s12的“是”),则人检测部14确定人的检测位置以及检测尺寸(s14)。若距检测到的人的距离小于阈值(s16的“是”)、且检测到的人的身高小于预定值(s18的“是”)时,则框线决定部16将叠加在人的检测位置上的框线的尺寸决定为与人的检测尺寸不同的尺寸,具体而言,决定为比人的检测尺寸大的尺寸,图像生成部18生成叠加了所决定的尺寸的框线的显示图像(s20)。若检测到的人的身高不小于预定值(s18的“否”),则生成在人的检测位置上叠加了与人的检测尺寸对应的尺寸的框线的显示图像(s22)。所生成的显示图像通过显示控制部20显示于显示装置28(s24)。在距人的距离不小于阈值的情况下(s16的“否”),跳过s18~s22的处理,不在人上叠加框线。在未检测到人的情况下(s12的“否”),跳过s14~s22的处理,将未叠加框线的拍摄图像30直接显示为显示图像(s24)。
50.在上述流程中,在拍摄图像30中检测到多个人的情况下,通过s12~s22的处理,针对检测到的多个人中的每个人决定是否需要叠加框线以及叠加的框线的尺寸。
51.本实施方式的某个方式也可以是程序。该程序也可以构成为使计算机实现以下功能:获取拍摄图像;检测所获取的拍摄图像中所包含的人,并确定拍摄图像中的人的检测位置以及检测尺寸;基于检测到的人的检测位置以及检测尺寸来计算人的身高;基于计算出的人的身高来决定与检测尺寸不同的框线的尺寸;生成将所决定的尺寸的框线叠加在拍摄图像的检测位置上的显示图像;以及使显示装置显示所生成的显示图像。
52.以上,参照上述的实施方式对本发明进行了说明,但本发明并不限于上述的实施方式,将实施方式所示的各结构适当组合或替换后的结构也包含在本发明中。
53.在第一实施方式的变形例中,也可以以与图4不同的方式显示针对身高小于预定值的人的框线。图6的(a)~图6的(d)是示出与图4所示的框线44对应的其他框线44a~44d的显示例的图。图6所示的人32均为身高小于预定值的人。
54.图6的(a)所示的框线44a与检测出人32的区划34的尺寸相比,仅增大纵向的大小,横向的大小保持不变。因此,图6的(a)的框线44a的纵横比比作为人32的检测尺寸的纵横比的约2:1更大。图6的(a)的框线44a的纵向大小例如大于横向的大小的2倍,为2.2倍~3.5倍左右。
55.图6的(b)所示的框线44b与检测出人32的区划34的尺寸相比,仅增大横向的大小,纵向的大小保持不变。因此,图6的(b)的框线44b的纵横比比作为检测出人32的区划34的尺寸的纵横比的约2:1更小。图6的(b)的框线44b的横向的大小也可以小于框线44b的纵向大小,例如,可以是纵向的大小的0.6倍~1倍左右。
56.图6的(c)所示的框线44c是与图4的框线44相同的形状以及大小,但叠加框线44c的位置不同。图6的(c)的框线44c的下端位于比人32的接地位置36更靠下方的位置。图6的(c)的框线44c的中心位置例如与检测出人32的区划34的中心位置一致。通过将框线44c向下方偏移叠加,可以给人一种人32存在于更近的位置的印象,从而能够进一步强调矮身高者的存在。
57.图6的(d)所示的框线44d是与图4的框线44相同的形状以及大小,但叠加框线44d的位置不同,在左右方向上偏移叠加位置。图6的(d)的框线44d在检测到的人32的移动方向或视线方向38上偏移叠加。在图6的(d)的例子中,人32的移动方向或者视线方向38是右方
向,框线44d的中心位于比接地位置36靠右侧的位置。通过将框线44d在人32的移动方向或者视线方向38上偏移叠加,能够提示人32的移动方向或者视线方向38,能够暗示矮身高者的举动。另外,在人32的移动方向或视线方向38不是左右方向而是向下方向或倾斜方向的情况下,也可以向下方向或倾斜方向偏移框线44d的叠加位置。
58.人32的移动方向也可以基于作为运动图像的拍摄图像的每帧的人检测位置的推移、人的手脚的朝向等来确定。此外,人32的视线方向38可以基于人32的面部朝向来确定,也可以将人32的面部朝向视为视线方向38。人32的面部的朝向基于人检测部14的人的检测结果来确定。
59.在上述的实施方式中,示出了将检测出的区划的下端设为接地位置的情况。在另一实施方式中,也可以基于检测出的区划的图像内容来检测接地位置。例如,在检测出的区划中所包含的人的脚下被隐蔽而看不见的情况下,也可以基于检测出的区划中所包含的人的头部的位置、大小来推定人的身高,并基于身高的推定结果来检测接地位置。
60.在上述的实施方式中,示出了根据距人的距离来决定框线的必要性、框线的颜色的情况。在另一实施方式中,也可以基于人的检测位置来决定框线的必要性、框线的颜色。框线决定部16例如也可以将与作为上述阈值的距离(例如20m或者40m)对应的拍摄图像的纵向的位置坐标作为阈值保持,基于位置坐标的阈值来决定是否叠加框线和框线的颜色。
61.在上述的实施方式中,示出了将针对身高小于预定值的人的框线的大小例如在纵向上进行放大等而设为与人的检测尺寸不同的尺寸,并叠加与人的检测尺寸不同的尺寸的框线的情况。在另一实施方式中,对于身高小于预定值的人,也可以叠加与检测出的尺寸对应的第一框线和与第一框线相比在纵向上放大了尺寸的第二框线。在该情况下,包围检测到的人的框线成为双重框线。此外,也可以在框线上还叠加外形线等,该外形线以描绘在纵向上放大的框线中存在的身高小于预定值的人的外形。
62.在上述的实施方式中,在距离为阈值以上的人上不叠加框线。在另一实施方式中,也可以在距离为阈值以上的人上叠加框线。例如,在未检测到距离小于阈值的人的情况下,也可以在距离为阈值以上的人上叠加框线。也可以与有无检测到距离小于阈值的人无关地,在距离为阈值以上的人上叠加框线。
63.在上述的实施方式中,示出了将针对身高小于预定值的人的框线的大小在纵向上进行放大等而设为与人的检测尺寸不同的尺寸,并叠加与人的检测尺寸不同的尺寸的框线的情况。在另一实施方式中,也可以根据身高小于预定值的人与身高为预定值以上的人之间的距离来决定是否需要这样的处理。例如,在身高小于预定值的人的附近、例如相当于2m的范围内存在身高为预定值以上的人的情况下,到身高小于预定值的人的距离因身高为预定值以上的人的存在而被误认的可能性降低。因此,在身高小于预定值的人的附近、例如2m等预定范围内不存在身高为预定值以上的人的情况下,也可以将针对身高小于预定值的人的框线的大小设为与人的检测尺寸不同的尺寸。
64.在上述的实施方式中,示出了框线决定部16计算距检测到的人的距离,并计算检测到的人的身高的情况。在另一实施方式中,取代框线决定部16,也可以由人检测部14计算距检测到的人的距离,并计算检测到的人的身高。在该情况下,人检测部14也可以检测图像获取部12所获取的拍摄图像中包含的人,确定拍摄图像中的人的检测位置以及检测尺寸,并根据人的检测位置以及检测尺寸计算人的身高。框线决定部16也可以基于人检测部14计
算出的人的身高,决定与检测尺寸不同的框线的尺寸。在人检测部14检测出的人的身高小于预定值的情况下,框线决定部16也可以使框线的尺寸至少在纵向上成为比所述检测尺寸大的尺寸。
65.(第二实施方式)
66.接着,参照附图对本发明的第二实施方式进行说明。在第二实施方式中,不计算人的身高,而是基于与人的检测位置对应的规定尺寸,决定与检测尺寸不同的框线的尺寸。以下,关于第二实施方式,以与第一实施方式的不同点为中心进行说明,对于与第一实施方式的共同点,适当省略附图或说明。
67.图7是示意性地示出第二实施方式所涉及的图像识别装置10a的功能构成的框图。图像识别装置10a包括图像获取部12、人检测部14、框线决定部16a、图像生成部18、显示控制部20以及存储部22。在第二实施方式中,图像获取部12、人检测部14、图像生成部18、显示控制部20以及存储部22与第一实施方式同样地构成。
68.框线决定部16a基于人检测部14所确定的人的检测位置,决定与检测尺寸不同的框线的尺寸。框线决定部16a不是根据人的身高来决定框线的尺寸,而是基于人的检测位置和与检测位置对应的规定尺寸来决定框线的尺寸,在这一点上与第一实施方式不同。具体而言,在人检测部14a检测出的人的检测尺寸小于与检测位置对应的规定尺寸的情况下,以框线的尺寸成为至少在纵向上比检测尺寸大的尺寸的方式决定框线的尺寸。与检测位置对应的规定尺寸例如是与位于检测位置的身高170cm的人的检测尺寸相等的尺寸。规定尺寸也可以根据检测位置而变化,例如,也可以是,拍摄图像中的检测位置越位于下方则规定尺寸越大,拍摄图像中的检测位置越位于上方则规定尺寸越小。与检测位置对应的规定尺寸例如预先存储在存储部22中。与检测位置对应的规定尺寸能够使用表示检测位置与规定尺寸的相关性的表格、数学式等来确定。框线检测部16a除了与人的身高对应的框线尺寸的决定处理之外,可以与第一实施方式的框线决定部16同样地构成。
69.参照图3以及图4对框线决定部16a的处理进行说明。人检测部14检测第一人32a,并确定检测出第一人32a的区划34a的检测尺寸和检测位置(即,接地位置36a)。框线决定部16a比较第一人32a的检测尺寸和与第一人32a的接地位置36a对应的规定尺寸。在规定尺寸相当于身高170cm的人的检测尺寸、第一人32a的身高为170cm以上的情况下,第一人32a的检测尺寸为与接地位置36a对应的规定尺寸以上。在该情况下,框线决定部16a将检测出第一人32a的区划34a的检测尺寸决定为框线的尺寸。其结果是,例如,如图4所示,叠加显示与第一人32a的检测尺寸相等尺寸的框线42。
70.人检测部14检测第二人32b,并确定检测出第二人32b的区划34b的检测尺寸和检测位置(即,接地位置36b)。框线决定部16a比较第二人32b的检测尺寸和与第二人32b的接地位置36b对应的规定尺寸。在规定尺寸相当于身高170cm的人的检测尺寸、第二人32b的身高为100cm左右的情况下,第二人32b的检测尺寸小于与接地位置36b对应的规定尺寸。在该情况下,框线决定部16a将至少在纵向上比检测出第二人32b的区划34b的检测尺寸大的尺寸决定为框线的尺寸。框线决定部16a也可以决定和与接地位置36b对应的规定尺寸相同的尺寸作为第二人32b的框线的尺寸。其结果是,例如,如图4所示,叠加显示至少在纵向上尺寸比第二人32b的检测尺寸大的框线44。
71.图8是示出第二实施方式所涉及的图像识别方法的流程的流程图。图像获取部12
从摄像头26获取拍摄图像30(s50),人检测部14对所获取的拍摄图像中包含的人进行检测(s52)。如果检测到人(s52的“是”),则人检测部14确定人的检测位置以及检测尺寸(s54)。若距检测到的人的距离小于阈值(s56的“是”)、且检测出的人的检测尺寸小于与检测位置对应的规定尺寸(s58的“是”),则框线决定部16a将叠加在人的检测位置的框线的尺寸决定为与人的检测尺寸不同的尺寸,具体而言,决定为比人的检测尺寸大的尺寸,图像生成部18生成叠加了所决定的尺寸的框线的显示图像(s60)。若检测出的人的检测尺寸小于与检测位置对应的规定尺寸(s58的“否”),则生成在人的检测位置叠加了与人的检测尺寸对应的尺寸的框线的显示图像(s62)。所生成的显示图像通过显示控制部20显示于显示装置28(s64)。在距人的距离不小于阈值的情况下(s56的“否”),跳过s58~s62的处理,在人上不叠加框线。在未检测到人的情况下(s52的“否”),跳过s54~s62的处理,将未叠加框线的拍摄图像30直接显示为显示图像(s64)。
72.在第二实施方式中,也能够起到与第一实施方式相同的效果。另外,对于第二实施方式也可以应用第一实施方式的变形例。
73.在上述的各实施方式中,示出了基于拍摄图像计算距人的距离的情况。在另一实施方式中,也可以使用与摄像头26不同的传感器来计测距人的距离。例如,也可以使用超声波传感器、雷达传感器、lidar(light detection and ranging,光探测和测距)这样的任意的测距传感器。
74.在上述的各实施方式中,示出了图像识别装置10搭载于车辆的情况。在另一实施方式中,图像识别装置10的设置场所没有特别限定,可以用于任意的用途。
75.工业实用性
76.根据本发明,能够降低错误地掌握检测到的人的位置的可能性。
77.10
…
图像识别装置,12
…
图像获取部,14
…
人检测部,16,16a
…
框线决定部,18
…
图像生成部,20
…
显示控制部,28
…
显示装置,30
…
拍摄图像,32
…
人,34
…
区划,36
…
接地位置,40
…
显示图像,42
…
框线,44
…
框线。
技术特征:1.一种图像识别装置,其特征在于,包括:图像获取部,获取拍摄图像;人检测部,检测所述图像获取部所获取的拍摄图像中包含的人,并确定所述拍摄图像中的人的检测位置和检测尺寸;框线决定部,基于所述人检测部所确定的人的检测位置,决定与所述检测尺寸不同的框线的尺寸;图像生成部,生成显示图像,所述显示图像是将由所述框线决定部决定的尺寸的框线叠加在所述拍摄图像的所述检测位置上而得到的;以及显示控制部,使显示装置显示由所述图像生成部生成的显示图像。2.根据权利要求1所述的图像识别装置,其特征在于,在所述人检测部确定的人的检测尺寸小于与检测位置对应的规定尺寸的情况下,所述框线决定部将所述框线的尺寸设为至少在纵向上比所述检测尺寸大的尺寸。3.根据权利要求1所述的图像识别装置,其特征在于,所述框线决定部根据所述人检测部确定的人的检测位置以及检测尺寸计算所述人的身高,并基于计算出的所述人的身高,决定与所述检测尺寸不同的框线的尺寸。4.根据权利要求3所述的图像识别装置,其特征在于,在所述人检测部所检测出的人的身高小于预定值的情况下,所述框线决定部将所述框线的尺寸设为至少在纵向上比所述检测尺寸大的尺寸。5.根据权利要求1至4中任一项所述的图像识别装置,其特征在于,所述人检测部确定所述拍摄图像中的人的接地位置,所述图像生成部生成叠加了所述框线的显示图像,以使所述框线决定部决定的尺寸的框线的下端位于所述接地位置。6.根据权利要求1至4中任一项所述的图像识别装置,其特征在于,所述人检测部确定所述拍摄图像中的人的接地位置,所述图像生成部生成叠加了所述框线的显示图像,以使所述框线决定部决定的尺寸的框线的下端位于比所述接地位置更靠下方的位置。7.一种图像识别方法,由图像识别装置执行,所述方法包括以下步骤:获取拍摄图像;检测所述获取的拍摄图像中包含的人,并确定所述拍摄图像中的人的检测位置以及检测尺寸;基于所述确定的人的检测位置,决定与所述检测尺寸不同的框线的尺寸;生成将所决定的尺寸的框线叠加扎起所述拍摄图像的所述检测位置上的显示图像;以及使显示装置显示所述生成的显示图像。8.一种程序,使计算机实现以下功能:获取拍摄图像;检测所述获取的拍摄图像中包含的人,并确定所述拍摄图像中的人的检测位置以及检测尺寸;基于所述确定的人的检测位置,决定与所述检测尺寸不同的框线的尺寸;
生成将所决定的尺寸的框线叠加在所述拍摄图像的所述检测位置上的显示图像;以及使显示装置显示所述生成的显示图像。
技术总结图像识别装置(10)包括:人检测部(14),检测拍摄图像中包含的人,并确定拍摄图像中的人的检测位置以及检测尺寸;框线决定部(16),基于所确定的人的检测位置,决定与检测尺寸不同的框线的尺寸;图像生成部(18),生成将所决定的尺寸的框线叠加在拍摄图像的检测位置上而得到的显示图像;以及显示控制部(20),使显示装置(28)显示所生成的显示图像。装置(28)显示所生成的显示图像。装置(28)显示所生成的显示图像。
技术研发人员:川合信夫 恩田正宏 森俊夫 渡辺刚
受保护的技术使用者:JVC建伍株式会社
技术研发日:2021.08.20
技术公布日:2022/11/1