1.本技术属于数据处理技术领域,具体涉及一种多光谱检测方法、装置及电子设备。
背景技术:2.随着移动终端的发展,移动终端所集成的功能也越来越多,包括物体识别功能。
3.目前移动终端识别物体的过程包括:利用拍摄模组对物体进行拍摄,得到物体图像。通过对物体图像进行诸如形状检测、纹理识别、颜色识别等物体识别方式,以对所拍摄物体进行鉴别。然而,目前利用拍摄模组进行物体识别的方式主要是针对具象物体。而对于诸如气体等非具象物体,由于不具有形状、颜色、纹理等特征,因此,利用拍摄模组通常无法检测,导致移动终端的物体检测的准确性较低。
技术实现要素:4.本技术实施例的目的是提供一种多光谱检测方法、装置及电子设备,能够实现更多物体的检测,提高物体检测的准确性。
5.第一方面,本技术实施例提供了一种多光谱检测方法,应用于多光谱检测装置,所述多光谱检测装置包括拍摄模组,所述拍摄模组包括多光谱组件,所述方法包括:
6.获取透过所述多光谱组件的多个波段的光线的能量值;
7.根据每个波段的光线的能量值,输出所述拍摄模组的拍摄视场范围内的拍摄对象的对象信息。
8.第二方面,本技术实施例提供了一种多光谱检测装置,所述装置包括:
9.拍摄模组,拍摄模组包括多光谱组件;
10.获取模块,用于获取透过所述多光谱组件的多个波段的光线的能量值;
11.输出模块,用于根据每个波段的光线的能量值,输出所述拍摄模组的拍摄视场范围内的拍摄对象的对象信息。
12.第三方面,本技术实施例提供了一种电子设备,该电子设备包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
13.第四方面,本技术实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
14.第五方面,本技术实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
15.第六方面,本技术实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
16.在本技术实施例中,通过获取透过拍摄模组中多光谱组件的多个波段的光线的能量值,从而根据每个波段的光线的能量值,输出拍摄模组的拍摄视场范围内的拍摄对象的
对象信息,实现物体检测。由于入射至多光谱组件的光线即为拍摄模组的拍摄视场范围内拍摄对象的反射光线。相应的透过多光谱组件的多个波段的光线即为拍摄对象的反射光线中多个波段的光线,获取的多个波段的光线的能量值可以反映拍摄对象针对该多个波段的光线的反射情况。而任何物体对象均对不同波长的光线存在选择性反射的现象,且不同物体对象对不同波长的光线的反射情况不同。因此,根据入射至拍摄模组的多个波段的光线的能量值确定拍摄对象的对象信息的方式,相较于相关技术,可以实现更多物体的检测,提高物体检测的准确性。
附图说明
17.图1是本技术实施例提供的af拍摄模组的结构示意图;
18.图2是本技术实施例提供的多光谱检测方法的流程图之一;
19.图3是本技术实施例提供的拍摄模组的结构示意图之一;
20.图4是本技术实施例提供的拍摄模组的结构示意图之二;
21.图5是本技术实施例提供的拍摄模组的结构示意图之三;
22.图6是本技术实施例提供的图像传感器中像素的排布示意图;
23.图7是本技术实施例提供的多光谱组件和红外滤光片的排布示意图之一;
24.图8是本技术实施例提供的多光谱组件和红外滤光片的排布示意图之二;
25.图9是本技术实施例提供的拍摄模组的结构示意图之三;
26.图10是本技术实施例提供的图像传感器中像素的和光谱滤光片的排布示意图;
27.图11是本技术实施例提供的红外滤光片的排布示意图;
28.图12是本技术实施例提供的多光谱检测方法的流程图之二;
29.图13是本技术实施例提供的包括对象信息标记的图像示意图之一;
30.图14是本技术实施例提供的包括对象信息标记的图像示意图之二;
31.图15是本技术实施例提供的包括对象信息标记的图像示意图之三;
32.图16是本技术实施例提供的包括对象信息标记的图像示意图之四;
33.图17是本技术实施例提供的包括对象信息标记的图像示意图之五;
34.图18是本技术实施例提供的包括对象信息标记的图像示意图之六;
35.图19是本技术实施例提供的多光谱检测装置的框图;
36.图20是本技术实施例提供的电子设备的框图;
37.图21是本技术实施例提供的电子设备的结构示意图。
具体实施方式
38.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本技术保护的范围。
39.本技术的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可
以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
40.下面结合附图,通过具体的实施例及其应用场景对本技术实施例提供的多光谱检测方法进行详细地说明。
41.移动终端强大的数据处理能力和小巧便携的特性,使得其成为人们生活中不可或缺的存在。随着移动终端的发展,特别是在移动终端集成有“电子眼睛”之称的拍摄模组后,移动终端随之所集成的功能也越来越多。例如,物体成像功能、物体识别功能等。
42.目前的拍摄模组通常包括:cmos拍摄模组(cmos camera module,ccm)和自动对焦(autofocus,af)拍摄模组等。本技术实施例对这两种拍摄模组的结构进行示意性说明。
43.针对ccm,其通常包括:镜头(lens)、音圈马达(voice coil motor,vcm)、红外滤光片(ir filter)、图像传感器、数字信号处理器(digital signal processor,dsp)及柔性电路板(flexible printed circuit,fpc)。其中,图像传感器可以为cmos图像传感器。ccm的大致工作流程是,在音圈马达带动镜头达到对焦准确的位置后,穿过镜头的光线经过红外滤光片的滤光,入射到图像传感器的像素(pixel)阵列上。像素阵列包括的各像素可以为诸如感光二极管的感光器件。各像素将感知到的光信号转换成电信号并传输至放大电路。电信号通过放大电路和模数转换(analogue-to-digital,ad)电路后形成数字信号矩阵,数字信号矩阵即图像。图像经过数字信号处理器进行处理后压缩存储。
44.针对af拍摄模组,请参考图1,其示出了本技术实施例提供的一种af拍摄模组的结构示意图。如图1所示,af拍摄模组100包括:保护膜101、镜头102、音圈马达103、支架104、红外滤光片105、图像传感器106、柔性电路板107以及连接线108。其中,保护膜101用于防止镜头损伤。支架104用于固定镜头。af拍摄模组的大致工作流程是,在音圈马达103带动镜头102达到对焦准确的位置后,穿过镜头102的光线经过红外滤光片105的滤光,入射到图像传感器106的像素阵列上。像素阵列包括的各像素可以为诸如感光二极管的感光器件。各像素将感知到的光信号转换成电信号并传输至柔性电路板107。柔性电路板107将接收到电信号进行数字处理生成图像,并将图像压缩存储。
45.针对移动终端的物体识别功能,目前的拍摄模组仅能对物体进行拍摄,并输出物体图像。移动终端的处理器通过对物体图像进行诸如形状检测、纹理识别、颜色识别等物体识别方式,以对拍摄模组的拍摄视场范围内的拍摄物体进行鉴别。然而,目前移动终端进行物体识别的方式主要是针对具象物体,而对于诸如气体等非具象物体,由于不具有形状、颜色、纹理等特征,因此,利用拍摄模组通常无法检测,导致移动终端的物体检测的准确性较低。
46.参考图2,其示出了本技术实施例提供的一种多光谱检测方法的流程图。该多光谱检测方法可以解决上述技术问题。多光谱检测方法可以应用于多光谱检测装置。可选地,多光谱检测装置可以为电子设备。示例地,电子设备可以包括手机、平板电脑等。其中,多光谱检测装置包括拍摄模组,拍摄模组包括多光谱组件。该多光谱组件用于对入射的光线中波长处于目标波段之外的光线进行滤光处理,以使其可以透过目标波段的光线。如图2所示,多光谱检测方法包括:
47.步骤201、获取透过多光谱组件的多个波段的光线的能量值。
48.本技术的一些实施例中,多个波段可以包括全波段中的每个波段。或者,多个波段
可以包括全波段中的部分波段。电子设备可以控制多光谱组件对入射至其的光线进行滤光处理,以使得多光谱组件分别透过多个波段的光线。即电子设备利用多光谱技术,将入射至拍摄模组的光线采用多光谱组件分成多个波段的光线,电子设备检测透过多光谱组件的每个波段的光线的能量值,以得到透过多光谱组件的多个波段的光线的能量值。其中,入射至拍摄模组的光线通常为全波段光线或者宽波段光线。透过多光谱组件的光线通常为窄波段光线。可选地,多光谱组件可以为法珀干涉仪(fabry-perot interferometer,fpi)多光谱组件或者多个光谱滤光片。
49.步骤202、根据每个波段的光线的能量值,输出拍摄模组的拍摄视场范围内的拍摄对象的对象信息。
50.在来自诸如太阳光、电灯等光源的光线照射至物体对象时,物体对象会因自身结构属性对不同波长的光线进行选择性吸收,并反射不被吸收的光线。因不同物体对象的结构属性的不同,不同的物体对象针对不同波长的光线反射的情况亦不相同,物体对象的结构属性可以指的是物体对象中分子、原子等物质的组成成分或者结构。因此,在相同的光源照射至不同的物体对象时,任何物体对象对多个波长的光线的反射情况具有唯一性,且物体对象对某个波长的光线的反射程度越大,物体对象针对某个波长的反射光线的能量值越大。
51.本技术实施例中,入射至拍摄模组的光线即拍摄模组的拍摄视场范围内拍摄对象的反射光线。电子设备根据入射至拍摄模组的光线中多个波段的光线的能量值,可以分析得到拍摄对象的对象信息。可选地,拍摄对象的对象信息可以包括以下至少一项:拍摄对象的名称、拍摄对象的浓度信息等。
52.综上所述,本技术实施例提供的多光谱检测方法,通过获取透过拍摄模组中多光谱组件的多个波段的光线的能量值,从而根据每个波段的光线的能量值,输出拍摄模组的拍摄视场范围内的拍摄对象的对象信息,实现物体检测。由于入射至多光谱组件的光线即为拍摄模组的拍摄视场范围内拍摄对象的反射光线。相应的透过多光谱组件的多个波段的光线即为拍摄对象的反射光线中多个波段的光线,获取的多个波段的光线的能量值可以反映拍摄对象针对该多个波段的光线的反射情况。而任何物体对象均对不同波长的光线存在选择性反射的现象,且不同物体对象对不同波长的光线的反射情况不同。因此,根据入射至拍摄模组的多个波段的光线的能量值确定拍摄对象的对象信息的方式,相较于相关技术,可以实现更多物体的检测,提高物体检测的准确性。
53.本技术实施例中涉及的拍摄模组还可以包括图像传感器。该拍摄模组的结构可以有多种情况,下述以以下几种情况为例进行示意性说明。
54.多光谱组件位于图像传感器外侧的拍摄模组包括以下几种结构:
55.本技术一些实施例的拍摄模组的结构如图3所示,可以包括:按照入射至拍摄模组的光线的传输方向依次排列设置的镜头301、多光谱组件302、红外滤光片303以及图像传感器304。
56.本技术一些实施例的拍摄模组的结构如图4所示,可以包括:按照入射至拍摄模组的光线的传输方向依次排列设置的镜头401、红外滤光片402、多光谱组件403以及图像传感器404。
57.本技术一些实施例的拍摄模组的结构如图5所示,可以包括:按照入射至拍摄模组
的光线的传输方向依次排列设置的多光谱组件501、镜头502、红外滤光片503以及图像传感器504。
58.在上述几种拍摄模组的结构中,红外滤光片和多光谱组件在目标平面上的投影不具有重叠区域。图像传感器包括全光谱像素,全光谱像素可以透过全波段的光线。可选地,全光谱像素可以为不设置有颜色滤波阵列(color filter array,cfa)的像素。多光谱组件设置于全光谱像素的入光侧,即多光谱组件和全光谱像素在目标平面上的投影重叠。目标平面与拍摄模组的出光面平行。可选地,多光谱组件可以为fpi多光谱组件或者光谱滤光片。
59.本技术实施例中,图像传感器中的全光谱像素的数量可以为至少一个。在全光谱像素的数量为多个时,多光谱组件的数量可以为至少一个。一个多光谱组件可以设置于至少一个全光谱像素的入光侧。
60.在一种可选的实现方式中,多光谱组件的数量可以与全光谱像素的数量相等。每个多光谱组件分别对应设置于一个全光谱像素的入光侧。
61.一个示例地,多个全光谱像素分布设置于图像传感器的像素阵列中。也即是,构成像素阵列的多个像素中分散的部分像素被全光谱像素替换。其中,构成像素阵列的多个像素可以包括颜色像素,该颜色像素可以为红绿蓝(rgb)像素。
62.另一示例地,多个全光谱像素可以形成至少两组全光谱像素,每组全光谱像中的全光谱像素的数量为至少两个。其中,每组全光谱像素可以间隔设置于图像传感器的像素阵列中,且每组全光谱像素包括的全光谱像素可以阵列排布设置。
63.示例地,请参考图6,其示出了本技术实施例提供的一种图像传感器中像素的排布示意图。如图6所示,图像传感器包括64个全光谱像素c和192个颜色像素(r1、r2、r3、gr1、gr2、gr4、gb1、gb3、gb4、b2、b3、b4)构成的规格为16
×
16的像素矩阵。r表示红色像素,gr表示红蓝像素,gb表示蓝绿像素,b表示蓝像素。其中,64个全光谱像素中每4个全光谱像素c为一组。每组全光谱像素间隔设置于图像传感器的像素阵列中,且每组全光谱像素中4个全光谱像素为2
×
2的阵列排布方式。
64.在图像传感器中像素如图6所示排布的情况下,拍摄模组包括的多光谱组件和红外滤光片可以如图7所示排布。如图7所示,拍摄模组包括:64个fpi多光谱组件和192个红外滤光片(irr1、irr2、irr3、irgr1、irgr2、irgr4、irgb1、irgb3、irgb4、irb2、irb3、irb4)。irr表示用于透过红光的红外滤光片。irgr表示用于透过红绿光的红外滤光片。irgb表示用于透过蓝绿光的红外滤光片。irb表示用于透过蓝光的红外滤光片。其中,192个红外滤光片中每个红外滤光片分别对应设置于一个颜色像素的入光侧。64个fpi多光谱组件中每个fpi多光谱组件分别对应设置于一个全光谱像素的入光侧。需要说明的是,图7中以fpi表示fpi多光谱组件。
65.在另一种可选的实现方式中,全光谱像素的数量可以为多光谱组件的数量的整数倍。每个多光谱组件分别对应设置于一组全光谱像素的入光侧,每组全光谱像素中全光谱像素的数量为至少两个。其中,每组全光谱像素可以间隔设置于图像传感器的像素阵列中,且每组全光谱像素包括的全光谱像素可以阵列排布设置。
66.示例地,在图像传感器中像素如图6所示排布的情况下,拍摄模组包括的多光谱组件和红外滤光片可以如图8所示排布。如图8所示,拍摄模组包括:16个fpi多光谱组件和192
个红外滤光片(irr1、irr2、irr3、irgr1、irgr2、irgr4、irgb1、irgb3、irgb4、irb2、irb3、irb4)。其中,192个红外滤光片中每个红外滤光片分别对应设置于一个颜色像素的入光侧。16个fpi多光谱组件中每个fpi多光谱组件分别对应设置于一组全光谱像素的入光侧。需要说明的是,图8中以fpi表示fpi多光谱组件。
67.多光谱组件位于图像传感器内侧的拍摄模组包括以下结构:
68.本技术一些实施例的拍摄模组的结构如图9所示,可以包括:按照入射至拍摄模组的光线的传输方向依次排列设置的镜头901、红外滤光片902以及图像传感器903。
69.其中,图像传感器可以包括至少两个多光谱组件,该多光谱组件为光谱滤光片。至少两个光谱滤光片组成至少两个滤光片组,每个滤光片组包括至少四个光谱滤光片,每个滤光片组的每个光谱滤光片透过的光线的波段不同。至少两个滤光片组间隔设置于图像传感器的像素上。也即是图像传感器的像素阵列中,部分间隔设置的像素被替换为光谱滤光片。示例地,每个滤光片组包括的四个光谱滤光片透过的光线的波段依次可以为100-300纳米、301-500纳米、501-700纳米、701-900纳米。
70.示例地,请参考图10,其示出了本技术实施例提供的另一种图像传感器中像素和光谱滤光片的排布示意图。如图10所示,图像传感器包括64个光谱滤光片(s1、s2、s3、s4)和192个颜色像素(r1、r2、r3、gr1、gr2、gr4、gb1、gb3、gb4、b2、b3、b4)构成的规格为16
×
16的像素矩阵。其中,64个光谱滤光片形成16个滤光片组,每个滤光片组包括光谱滤光片s1、光谱滤光片s2、光谱滤光片s3和光谱滤光片s4。光谱滤光片s1、光谱滤光片s2、光谱滤光片s3和光谱滤光片s4分别用于对不同波长的光线进行滤光处理,以透过不同波段的光线。每个滤光片组间隔设置于图像传感器的像素阵列中,且每个滤光片组中4个光谱滤光片为2
×
2的阵列排布方式。
71.在图像传感器中像素和光谱滤光片如图10所示排布的情况下,拍摄模组包括的红外滤光片可以如图11所示排布。如图11所示,拍摄模组包括:192个红外滤光片(irr1、irr2、irr3、irgr1、irgr2、irgr4、irgb1、irgb3、irgb4、irb2、irb3、irb4)。其中,192个红外滤光片中每个红外滤光片分别对应设置于一个颜色像素的入光侧。192个红外滤光片构成的红外滤光层为图案层,光谱滤光片的入光面映射于红外滤光层的镂空区域。
72.需要说明的是,拍摄模组还可以包括以下至少一项:镜头保护膜、音圈马达、镜头支架、柔性电路板以及拍摄模组连接线等。
73.本技术实施例还提供了一种多光谱检测方法。该多光谱检测方法可以应用于多光谱检测装置。可选地,多光谱检测装置可以为电子设备。示例地,电子设备可以包括手机、平板电脑等。其中,多光谱检测装置包括本技术实施例提供的任一结构的拍摄模组(例如,图3、图4、图5或者图9所示的拍摄模组)。该拍摄模组包括多光谱组件,多光谱组件用于对入射的光线中波长处于目标波段之外的光线进行滤光处理,以使其可以透过目标波段的光线。多光谱检测方法包括:
74.步骤201、获取透过多光谱组件的多个波段的光线的能量值。
75.本技术的一些实施例中,多个波段可以包括全波段中的每个波段。或者,多个波段可以包括全波段中的部分波段。电子设备可以控制多光谱组件对入射至其的光线进行滤光处理,以使得多光谱组件分别透过多个波段的光线。即电子设备利用多光谱技术,将入射至拍摄模组的光线采用多光谱组件分成多个波段的光线。电子设备检测透过多光谱组件的每
个波段的光线的能量值,以得到透过多光谱组件的多个波段的光线的能量值。
76.步骤202、根据每个波段的光线的能量值,输出拍摄模组的拍摄视场范围内的拍摄对象的对象信息。
77.需要说明的是,如前所述,任何物体对象因结构属性的不同对不同波长的光线的反射情况不同。因此,可以利用物体对象对多个波长的光线的反射情况辨识物体对象。本技术的一些实施例中,入射至拍摄模组的光线即拍摄模组的拍摄视场范围内拍摄对象的反射光线。电子设备可以采用多光谱技术,利用多光谱组件对光线的滤光能力,分别采集入射至拍摄模组的光线中多个波段的光线的能量值,以分析拍摄对象针对多个不同波长的光线的反射情况,进而辨识拍摄对象。其中,多光谱技术可以分为时域多光谱技术和空域多光谱技术。时域多光谱技术可以理解为通过一次采集物体对象针对一个波段的光线的反射情况的方式,分多次采集得到物体对象对多个波段的光线的反射情况的技术。空域多光谱技术可以理解为同时采集物体对象对多个波段的光线的反射情况的技术。本技术实施例对电子设备采用时域多光谱技术和空域多光谱技术确定拍摄对象的对象信息的过程分别进行示意性说明。
78.在一种可选的实现方式中,电子设备采用时域多光谱技术确定拍摄对象的对象信息。此时,拍摄模组还包括图像传感器,该图像传感器包括至少一个全光谱像素。并且,拍摄模组包括的多光谱组件为fpi多光谱组件。fpi多光谱组件设置于全光谱像素的入光侧。fpi多光谱包括法珀腔动子和法珀腔定子。fpi多光谱组件为光学谐振腔,可以通过改变法珀腔动子和法珀腔定子之间的距离来控制透过的光线的波段。可选地,拍摄模组可以为前述图3至图5任一所示的拍摄模组。
79.可选地,上述步骤201获取透过多光谱组件的多个波段的光线的能量值的过程可以包括以下步骤2011a至在步骤2012a。
80.在步骤2011a中,按照每个波段对应的透过距离,依次调节法珀腔动子和法珀腔定子之间的距离,以使每个波段的光线依次透过fpi多光谱组件入射至全光谱像素。透过距离为法珀腔动子和法珀腔定子之间的距离。
81.本技术实施例中,电子设备可以采集拍摄对象针对多个波段的光线的反射情况,以分析拍摄对象的对象信息。
82.可选地,电子设备可以按照多个波段中每个波段对应的透过距离,采用目标顺序依次调节法珀腔动子和法珀腔定子之间的距离,以使得目标光线透过fpi多光谱组件入射至全光谱像素,目标光线为与调节后的距离对应的波段的光线。其中,波段对应的透过距离指的是fpi多光谱组件通过该波段的光线时,法珀腔动子和法珀腔定子之间的距离。目标顺序可以为波长递增的顺序、波长递减的顺序、透过距离递增的顺序或者透过距离递减的顺序等。
83.一个示例地,多个波段对应的透过距离不同,且多个透过距离相较于法珀腔动子和法珀腔定子之间的初始距离相差目标距离增量的正整数倍。电子设备可以将法珀腔动子和法珀腔定子之间的距离由初始距离依次增大目标距离增量,以使得多个波段的光线依次透过fpi多光谱组件入射至全光谱像素。
84.具体示例地,多个波段包括第一波段、第二波段和第三波段。第一波段对应的第一透过距离相较于初始距离相差目标距离增量。第二波段对应的第二透光距离相较于初始距
离相差目标距离增量的二倍。第三波段对应的第三透过距离相较于初始距离相差目标距离增量的三倍。假设初始距离为0。电子设备将法珀腔动子和法珀腔定子之间的距离由0开始调整三次,每次将法珀腔动子和法珀腔定子之间的距离增大目标距离增量。这样使得第一波段、第二波段和第三波段的光线依次透过fpi多光谱组件入射至全光谱像素。
85.另一示例的,电子设备预先存储有多个波段对应的透过距离。电子设备按照存储的多个透过距离中由小到大的顺序依次调整法珀腔动子和法珀腔定子之间的距离。具体示例地,电子设备存储有多个波段中第一波段对应的第一透过距离以及第二波段对应的第二透过距离。电子设备将法珀腔动子和法珀腔定子之间的距离依次调整为第一透过距离和第二透过距离,以使得第一波段和第二波段的光线依次透过fpi多光谱组件入射至全光谱像素。
86.在步骤2012a中,获取入射至全光谱像素的每个波段的光线的能量值。
87.本技术的一些实施例中,电子设备每调整一次法珀腔动子和法珀腔定子之间的距离,使得与调整后的距离对应的一个波段的光线透过fpi多光谱组件入射至全光谱像素之后,可以获取入射至全光谱像素的该波段的光线的能量值,从而得到入射至全光谱像素的每个波段的光线的能量值。
88.示例地,假设多个波段包括第一波段和第二波段。电子设备首先将法珀腔动子和法珀腔定子之间的距离调整至与第一波段对应的透过距离后,获取入射至全光谱像素的第一波段的光线的能量值。之后,电子设备将法珀腔动子和法珀腔定子之间的距离调整至与第二波段对应的透过距离,获取入射至全光谱像素的第二波段的光线的能量值。
89.其中,图像传感器包括的全光谱像素的数量可以为至少一个。在全光谱像素的数量为一个时,电子设备获取入射至全光谱像素的多个波段的光线中每个波段的光线的能量值。在全光谱像素的数量为多个时,电子设备可以获取入射至每个全光谱像素的多个波段的光线中每个波段的光线的能量值。
90.本技术实施例中,电子设备可以在获取透过多光谱组件的多个波段的光线的能量值之后,根据每个波段的光线的能量值,输出拍摄模组的拍摄视场范围内的拍摄对象的对象信息。其中,拍摄对象的对象信息包括以下至少一项:对象名称、对象浓度信息等。
91.本技术实施例中,通过按照每个波段对应的透过距离,依次调节fpi多光谱组件中法珀腔动子和法珀腔定子之间的距离的方式,使得每个波段的光线依次透过fpi多光谱组件入射至全光谱像素,以获取入射至全光谱像素的每个波段的光线的能量值。该实施方案中,由于可以通过调节一个fpi多光谱组件中法珀腔动子和法珀腔定子之间的距离,就可以使得多个波段的光线依次入射至全光谱像素,进而获取到入射至全光谱像素的每个波段的光线的能量值。因此,可以通过在拍摄模组中设置较少数量的fpi多光谱组件,甚至在拍摄模组中设置一个fpi多光谱组件即可保障获取到入射至拍摄模组的多个波段中每个波段的光线的能量值,降低了拍摄模组的制造成本。
92.针对在拍摄对象的对象信息包括对象名称,且全光谱像素的数量为一个的情况,上述步骤202根据每个波段的光线的能量值,输出拍摄模组的拍摄视场范围内的拍摄对象的对象信息的过程可以包括以下步骤2021a至步骤2022a。
93.在步骤2021a中,根据入射至全光谱像素的每个波段的光线的能量值,得到全光谱像素对应的对象信息。
94.在第一种可选的实现方式中,电子设备可以预先存储有反射光谱集合。该反射光谱集合包括至少一个对象的反射光谱和每个反射光谱对应的对象属性信息。示例地,光谱反射集合包括至少一个对象的反射光谱与其对象属性信息的对应关系。电子设备根据入射至全光谱像素的每个波段的光线的能量值,得到全光谱像素对应的对象信息的过程可以包括以下步骤2021a1至步骤2021a3。
95.在步骤2021a1中,根据全光谱像素的每个波段的光线的能量值,输出全光谱像素对应的能量曲线。能量曲线为光线的能量值随波长变化的曲线。
96.可选地,电子设备可以根据入射至全光谱像素的每个波段的光线的能量值,绘制入射至全光谱像素的光线的能量值随波长增大或者随波长减少的能量曲线。示例地,能量曲线可以为入射至全光谱像素的光线的能量值随波长增大的曲线。
97.在步骤2021a2中,从预先存储的反射光谱集合中,查找与能量曲线的曲线形态相匹配的目标反射光谱,得到全光谱像素对应的目标反射光谱。
98.在一种可选的实现方式中,电子设备可以计算反射光谱集合中每个反射光谱与能量曲线的相似程度。将与能量曲线的相似程度最大的反射光谱作为目标反射光谱,得到全光谱像素对应的目标反射光谱。
99.示例地,电子设备可以采用目标算法计算反射光谱集合中每个反射光谱与能量曲线的相似度,并将相似度的取值最大的反射光谱作为目标反射光谱。其中,目标算法可以为dtw算法、lcss算法或者edr算法等。
100.在另一种可选的实现方式中,电子设备可以获取能量曲线中峰值对应的第一波段以及谷值对应的第二波段。并且电子设备获取反射光谱集合中每个反射光谱中峰值对应的第三波段和谷值对应的第四波段。将第一波段和第三波段相同,且第三波段和第四波段相同的反射光谱作为目标反射光谱。
101.示例地,假设入射至全光谱像素的多个波段的光线包括:波段为100-300纳米的第一光线、波段为301-500纳米的第二光线、波段为501-700纳米的第三光线以及波段为701-900纳米的第四光线,并且第一光线的能量值、第三光线的能量值、第二光线的能量值以及第四光线的能量值依次递减。电子设备根据入射至全光谱像素的第一光线至第四光线的能量值,输出光线的能量值随波长增大的能量曲线。该能量曲线中峰值对应的第一波段分别为100-300纳米、501-700纳米。谷值对应的第二波段分别为301-500纳米、701-900纳米。电子设备从反射光谱集合包括的反射光谱中查找峰值对应的波段为第一波段以及谷值对应的波段为第二波段的目标反射光谱,得到全光谱像素的目标反射光谱。
102.在步骤2021a3中,将目标反射光谱对应的对象属性信息确定为目标反射光谱对应的全光谱像素的对象信息。
103.本技术的一些实施例中,电子设备将反射光谱集合中目标反射光谱对应的对象属性信息确定为目标反射光谱对应的全光谱像素的对象信息。示例地,假设目标反射光谱对应的对象属性信息为甲醛。电子设备确定目标反射光谱对应的全光谱像素的对应信息为甲醛。
104.本技术实施例中,入射至拍摄模组的光线也即是拍摄模组的拍摄范围内拍摄对象的反射光线。能量曲线为入射至全光谱像素的光线的能量值随波长变化的曲线。反射光谱为物体对象的反射率随波长变化的曲线。而物体对象的反射率可以表示为物体对象的反射
能量占总能量的比例。其中,总能量可以指的是入射至物体对象的光线的总能量。反射能量可以指的是物体对象的反射光线的能量。由于拍摄模组的拍摄视场范围内的拍摄对象的照射光线通常为同一光源。因此,可以认为入射至拍摄对象的光线的总能量相等。进而可以认为拍摄对象的能量曲线的曲线形态与该拍摄对象的反射光谱的曲线形态相同。因此,电子设备通过能量曲线的曲线形态和反射光谱集合中已知对象信息的反射光谱的曲线形态的匹配结果,可以较为有效地检测能量曲线所属对象的信息,进而有效确定能量曲线对应的全光谱像素的对象信息。并且,任何物体对象均对不同波长的光线存在不同的选择性反射的现象,也即是任何物体对象都具有唯一的反射光谱。因此,通过拍摄对象的能量曲线与已知对象信息的反射光谱匹配确定拍摄对象的对象信息的方式,相较于相关技术,可以实现更多物体的检测,进一步提高物体检测的准确性。
105.在第二种可选的实现方式中,电子设备可以预先存储至少一个对象针对多个波段的反射光线的能量值以及对象的对象属性信息。电子设备根据入射至全光谱像素的每个波段的光线的能量值,得到全光谱像素对应的对象信息的过程可以包括:电子设备直接计算预先存储的对象针对每个波段的反射光线的能量值和入射至全光谱像素的每个波段的光线的能量值之差,将多个波段对应的差值中每两个差值之间的误差均属于误差范围内的对象确定为目标对象,将目标对象的对象属性信息确定全光谱像素对应的对象信息。
106.示例地,电子设备存储有第一对象针对第一波段的反射光线的能量值a、第一对象针对第二波段的反射光线的能量值b以及第一对象的对象属性信息。假设入射至全光谱像素的第一波段的光线的能量值为能量值c以及入射至全光谱像素的第二波段的光线的能量值为能量值d。计算能量值a与能量值c的第一差值以及能量值b与能量值d的第二差值。由于任何物体对象对光线的反射情况具有唯一性。因此,无论入射至物体对象的光线的能量值为多少,该物体对象对入射其的光线选择性反射的情况相同,也即是物体对象的反射光线中多个波段的能量值的变化情况相同。因而,若第一差值与第二差值之间的误差属于误差范围内,则表明入射至全光谱像素的光线与第一对象的反射光线中每个波段的能量值的变化情况相似。电子设备可以将第一对象的对象属性信息确定为全光谱像素的对象信息。
107.在步骤2022a中,在拍摄模组采集的原始图像中与全光谱像素对应的图像区域,显示对象信息标记。对象信息标记用于标记全光谱像素对应的对象信息。原始图像为拍摄模组在拍摄视场范围内采集的拍摄对象的图像。
108.本技术实施例中,原始图像包括的每个像素点分别对应图像传感器的一个像素或者一个全光谱像素。原始图像中与全光谱像素对应的图像区域可以指的是原始图像中与全光谱像素对应的像素点所在区域。
109.可选地,电子设备可以存储有对象与填充素材的对应关系。该填充素材可以包括以下至少一项:纯色填充素材、纹理填充素材、渐变色填充素材。电子设备在确定全光谱像素对应的对象信息后,可以将该对象信息指示的对象所对应的填充素材确定为全光谱像素对应的填充素材。在原始图像中与全光谱像素对应的图像区域采用该填充素材进行填充,以在原始图像中与全光谱像素对应的图像区域显示对象信息标记。
110.示例地,假设电子设备确定的全光谱像素对应的对象信息指示的对象的填充素材为红色填充素材。电子设备将原始图像中与全光谱像素对应的图像区域进行红色填充。
111.本技术实施例中,在拍摄模组采集的原始图像中与全光谱像素对应的图像区域显
示对象信息标记的方式,不仅可以更为直观地反映拍摄视场范围内存在的拍摄对象。而且因对象信息标记的位置为原始图像中与对象信息对应的全光谱像素的对应位置,使得标记后的原始图像可以更直观地反映确定的对象信息指示的对象在拍摄视场范围内的具体位置,提升识别对象的展示效果。
112.可选地,本技术的一些实施例中电子设备确定的全光谱像素的对象信息还可以包括对象浓度信息。在对象信息包括对象名称信息和对象浓度信息的情况下,上述步骤2022a在拍摄模组采集的原始图像中与全光谱像素对应的图像区域,显示对象信息标记的过程可以包括:
113.根据入射至全光谱像素的光线的能量值,在原始图像中与全光谱像素对应的图像区域显示对象信息标记。该对象信息标记不仅用于标记全光谱像素对应的对象信息,还用于标记全光谱像素对应的对象浓度信息。
114.其中,能量值越大,对象的浓度越大,不同的对象浓度对应不同标记参数的对象信息标记。标记参数可以指的是对象信息标记的标记程度参数。可选地,在对象信息标记对应的填充素材为纯色填充素材时,标记参数指的是颜色饱和度参数。在对象信息标记对应的填充素材为纹理填充素材时,标记参数指的是纹理密度参数。在对象信息标记对应的填充素材为渐变色填充素材时,标记参数指的是渐变密度参数。
115.可选地,电子设备根据入射至全光谱像素的光线的能量值,在原始图像中与全光谱像素对应的图像区域显示对象信息标记的过程可以包括以下步骤2022a1至步骤2022a3。
116.在步骤2022a1中,根据对象名称指示的对象所对应的填充素材,确定全光谱像素对应的填充素材。
117.可选地,电子设备可以存储有对象与填充素材的对应关系。该填充素材可以包括以下至少一项:纯色填充素材、纹理填充素材、渐变色填充素材。电子设备在确定全光谱像素对应的对象信息后,可以将该对象信息指示的对象所对应的填充素材确定为全光谱像素对应的填充素材。
118.在步骤2022a2中,根据入射至全光谱像素的光线的能量值,确定全光谱像素对应的填充素材的标记参数。
119.本技术的一些实施例中,标记参数可以指的是对象信息标记的标记程度参数。可选地,入射至全光谱像素的光线的能量值越大,对象信息标记对应的填充素材的标记参数的取值越大。在对象信息标记对应的填充素材为纯色填充素材的情况下,能量值越大,填充素材的颜色饱和度越高。在对象信息标记对应的填充素材为纹理填充素材的情况下,能量值越大,填充素材的纹理密度越高。在对象信息标记对应的填充素材为渐变色填充素材的情况下,能量值越大,填充素材的渐变密度越高。
120.在一种可选的实现方式中,入射至全光谱像素的每个光线的能量值越大,能量曲线围成的图形的面积越大。电子设备可以存储有多个面积区间、填充素材以及标记参数的对应关系。面积区间内的数值表示能量曲线围成的图形的面积。可选地,入射至全光谱像素的光线的能量值越大,能量曲线围成的图形的面积越大,对象信息标记对应的填充素材的标记参数的取值越大。在对象信息标记对应的填充素材为纯色填充素材的情况下,能量曲线围成的图形越大,填充素材的颜色饱和度越高。在对象信息标记对应的填充素材为纹理填充素材的情况下,能量曲线围成的图形越大,填充素材的纹理密度越高。在对象信息标记
对应的填充素材为渐变色填充素材的情况下,能量曲线围成的图形越大,填充素材的渐变密度越高。
121.电子设备根据入射至全光谱像素的光线的能量值,确定全光谱像素对应的填充素材的标记参数的过程可以包括:电子设备根据入射至全光谱像素的每个波段的光线的能量值,计算全光谱像素对应的能量曲线围成的图形的面积。确定该面积所属的面积区间,将与该面积区间和填充素材均对应的标记参数确定为全光谱像素对应的标记参数。
122.示例地,假设电子设备存储有第一面积区间、纯色填充素材以及第一颜色饱和度的对应关系,第二面积区间、纯色填充素材以及第二颜色饱和度的对应关系,第一面积区间、纹理填充素材以及第一纹理密度的对应关系,第二面积区间、纹理填充素材以及第二纹理密度的对应关系。假设全光谱像素对应的对象信息指示的对象的填充素材为纯色填充素材中的红色。电子设备根据入射至全光谱像素的每个波段的光线的能量值,输出能量曲线,该能量曲线所在的坐标系中横坐标为波长,纵坐标为光线的能量值。电子设备采用定积分计算能量曲线与横坐标所围成图形的面积,并确定该面积所属的面积区间。若面积所属的面积区间为第一面积区间,则电子设备将与第一面积区间和纯色填充素材均对应的第一颜色饱和度确定为全光谱像素对应的标记参数。
123.在另一种可选的实现方式中,电子设备可以存储有多个数值区间、填充素材以及标记参数的对应关系。数值区间中的数值表示第一数值和第二数值的差值。第一数值为入射至全光谱像素的目标波长的光线的能量值的取值。第二数值为与该全光谱像素对应的目标反射光谱中与目标波长对应的反射率的取值。其中,目标波长可以为任意波长。
124.在对象信息标记对应的填充素材为纯色填充素材的情况下,入射至全光谱像素的目标波长的光线的能量值越大,第一数值和第二数值的差值越大,填充素材的颜色饱和度越高。在对象信息标记对应的填充素材为纹理填充素材的情况下,入射至全光谱像素的目标波长的光线的能量值越大,第一数值和第二数值的差值越大,填充素材的纹理密度越高。在对象信息标记对应的填充素材为渐变色填充素材的情况下,入射至全光谱像素的目标波长的光线的能量值越大,第一数值和第二数值的差值越大,填充素材的渐变密度越高。
125.示例地,假设目标波长为300纳米。电子设备存储有第一数值区间、纯色填充素材以及第一颜色饱和度的对应关系,第二数值区间、纯色填充素材以及第二颜色饱和度的对应关系,第一数值区间、纹理填充素材以及第一纹理密度的对应关系,第二数值区间、纹理填充素材以及第二纹理密度的对应关系。假设全光谱像素对应的对象信息指示的对象的填充素材为纯色填充素材中的红色。电子设备计算入射至全光谱像素的波长为300纳米的光线的能量值,与全光谱像素对应的目标反射光谱中与300纳米波长对应的反射率之间的差值。确定该差值所属的数值区间。若差值所属的数值区间为第一数值区间,则电子设备将与第一数值区间和纯色填充素材均对应的第一颜色饱和度确定为全光谱像素对应的标记参数。
126.在步骤2022a3中,按照全光谱像素对应的填充素材的标记参数,在拍摄模组采集的原始图像中与全光谱像素对应的图像区域,采用对象名称指示的对象所对应的填充素材进行填充。
127.本技术的一些实施例中,原始图像包括的每个像素点分别对应图像传感器的一个像素或者一个全光谱像素。原始图像中与全光谱像素对应的图像区域可以指的是原始图像
中与全光谱像素对应的像素点所在区域。电子设备按照全光谱像素对应的填充素材的标记参数,在原始图像中与全光谱像素对应的像素点所在区域,采用对象名称指示的对象所对应的填充素材进行填充。
128.本技术实施例中,入射至拍摄模组的光线为拍摄模组的拍摄视场范围内拍摄对象的光线。利用拍摄视场范围内拍摄对象的浓度和拍摄对象的反射光线的能量值的正相关关系。根据入射至全光谱像素的光线的能量值,采用反映不同浓度的标记参数的填充素材在原始图像中进行填充,以使得填充后的原始图像不仅可以直观地反映拍摄视场范围内存在的拍摄对象,还可以更直观地反映拍摄对象的浓度。
129.针对在拍摄对象的对象信息包括对象名称,且全光谱像素的数量为多个的情况,上述步骤202根据每个波段的光线的能量值,输出拍摄模组的拍摄视场范围内的拍摄对象的对象信息的过程可以包括以下步骤2021b至步骤2022b。
130.在步骤2021b中,根据入射至每个全光谱像素的每个波段的光线的能量值,得到每个全光谱像素对应的对象信息。
131.该步骤2021b的解释和实现方式可以参考前述步骤2021a的解释和实现方式,本技术实施例对此不做赘述。
132.需要说明的是,电子设备根据入射至每个全光谱像素的每个波段的光线的能量值,得到每个全光谱像素对应的对象信息的过程可以包括以下步骤2021b1至步骤2021b3。
133.在步骤2021b1中,根据每个全光谱像素的每个波段的光线的能量值,输出每个全光谱像素对应的能量曲线。
134.本技术的一些实施例中,电子设备可以根据单个全光谱像素的每个波段的光线的能量值,输出该单个全光谱像素对应的能量曲线,以得到多个全光谱像素中每个全光谱像素对应的能量曲线。其中,电子设备根据单个全光谱像素的每个波段的光线的能量值,输出该单个全光谱像素对应的能量曲线的实现方式可以参考前述步骤2021a1的实现方式,本技术实施例对此不做赘述。
135.在步骤2021b2中,从预先存储的反射光谱集合中,查找与每个能量曲线的曲线形态相匹配的目标反射光谱,得到每个全光谱像素对应的目标反射光谱。
136.本技术的一些实施例中,电子设备可以从预先存储的反射光谱集合中,查找与单个能量曲线的曲线形态相匹配的目标反射光谱,得到该单个能量曲线对应的全光谱像素的目标反射光谱,进而得到多个全光谱像素中每个全光谱像素对应的目标反射光谱。其中,电子设备可以从预先存储的反射光谱集合中,查找与单个能量曲线的曲线形态相匹配的目标反射光谱,得到该单个能量曲线对应的全光谱像素的目标反射光谱的实现方式可以参考前述步骤2021a2的实现方式,本技术实施例对此不做赘述。
137.在步骤2021b3中,将单个目标反射光谱对应的对象属性信息确定为单个目标反射光谱对应的全光谱像素的对象信息,以得到每个全光谱像素对应的对象信息。
138.本技术的一些实施例中,电子设备将单个目标反射光谱对应的对象属性信息确定为单个目标反射光谱对应的全光谱像素的对象信息的实现方式可以参考前述步骤2021a3的实现方式,本技术实施例对此不作赘述。
139.在步骤2022b中,在拍摄模组采集的原始图像中与每个全光谱像素对应的图像区域,显示对象信息标记。对象信息标记用于标记全光谱像素对应的对象信息。原始图像为拍
摄模组在拍摄视场范围内采集的拍摄对象的图像。
140.本技术的一些实施例中,电子设备在原始图像中与每个全光谱像素对应的图像区域,显示对象信息标记的实现方式可以参考前述步骤2022a的实现方式,本技术实施例对此不作赘述。
141.本技术的一些实施例中,在全光谱像素的数量为多个时,电子设备通过全光谱像素对应的能量曲线与已知对象信息的反射光谱匹配的方式,可以确定每个全光谱像素对应的对象名称,相较于仅确定一个全光谱像素对应的对象名称的方式,增加了拍摄视场范围内对象检测范围。并且,在拍摄模组采集的原始图像中与每个全光谱像素对应的图像区域显示对象信息标记的方式,不仅可以更为直观地反映拍摄视场范围内存在的拍摄对象。而且因对象信息标记的位置为原始图像中与对象信息对应的全光谱像素的对应位置,使得标记后的原始图像可以更直观地反映确定的对象信息指示的对象在拍摄视场范围内的具体位置,提升识别对象的展示效果。
142.如前所示,本技术实施例中电子设备确定的全光谱像素的对象信息还可以包括对象浓度信息。在对象信息包括对象名称信息和对象浓度信息的情况下,上述步骤2022b在拍摄模组采集的原始图像中与每个全光谱像素对应的图像区域,显示对象信息标记的过程可以包括:
143.根据入射至每个全光谱像素的光线的能量值,在原始图像中与每个全光谱像素对应的图像区域显示对象信息标记。该对象信息标记不仅用于标记全光谱像素对应的对象信息,还用于标记全光谱像素对应的对象浓度信息。其中,能量值越大,对象的浓度越大,不同的对象浓度对应不同标记参数的对象信息标记。标记参数可以指的是对象信息标记的标记程度参数。可选地,在对象信息标记对应的填充素材为纯色填充素材时,标记参数指的是颜色饱和度参数。在对象信息标记对应的填充素材为纹理填充素材时,标记参数指的是纹理密度参数。在对象信息标记对应的填充素材为渐变色填充素材时,标记参数指的是渐变密度参数。
144.可选地,电子设备根据入射至每个全光谱像素的光线的能量值,在原始图像中与每个全光谱像素对应的图像区域显示对象信息标记的过程可以包括以下步骤2022b1至步骤2022b3。
145.在步骤2022b1中,根据对象名称指示的对象所对应的填充素材,确定每个全光谱像素对应的填充素材。
146.本技术的一些实施例中,电子设备根据对象名称指示的对象所对应的填充素材,确定每个全光谱像素对应的填充素材的实现方式可以参考前述步骤2022a1的实现方式,本技术实施例对此不作赘述。
147.在步骤2022b2中,根据入射至每个全光谱像素的光线的能量值,确定每个全光谱像素对应的填充素材的标记参数。
148.本技术的一些实施例中,电子设备根据入射至单个全光谱像素的光线的能量值,确定该单个全光谱像素对应的填充素材的标记参数,以得到每个全光谱像素对应的填充素材的标记参数。其中,电子设备根据入射至单个全光谱像素的光线的能量值,确定该单个全光谱像素对应的填充素材的标记参数的实现方式可以参考前述步骤2022a2的实现方式,本技术实施例对此不作赘述。
149.在步骤2022b3中,按照每个全光谱像素对应的填充素材的标记参数,在拍摄模组采集的原始图像中与每个全光谱像素对应的图像区域,采用对象名称指示的对象所对应的填充素材进行填充。
150.本技术的一些实施例中,电子设备按照每个全光谱像素对应的填充素材的标记参数,在拍摄模组采集的原始图像中与每个全光谱像素对应的图像区域,采用对象名称指示的对象所对应的填充素材进行填充的实现方式可以参考前述步骤2022a3的实现方式,本技术实施例对此不作赘述。
151.本技术的一些实施例中,利用拍摄视场范围内拍摄对象的浓度,和拍摄对象的反射光线的能量值的正相关关系。根据入射至每个全光谱像素的光线(拍摄对象的反射光线)的能量值,采用反映不同浓度的标记参数的填充素材在原始图像中进行填充,以使得填充后的原始图像不仅可以更直观地反映拍摄视场范围内更多位置存在的拍摄对象,还可以更直观地反映拍摄对象的浓度。并且,因对象信息标记的位置为原始图像中与对象信息对应的全光谱像素的对应位置,使得标记后的原始图像可以更直观地反映确定的对象信息指示的对象在拍摄视场范围内的具体位置,提升识别对象的展示效果。
152.在另一种可选的实现方式中,电子设备采用空域多光谱技术确定拍摄对象的对象信息。
153.在多光谱组件位于图像传感器内侧的情况下,拍摄模组中多光谱组件的数量为至少两个,且多光谱组件为光谱滤光片。至少两个光谱滤波片组成至少两个滤光片组。每个滤光片组包括至少四个光谱滤光片。拍摄模组还可以包括图像传感器,至少两个滤光片组间隔设置于图像传感器的像素上,每个滤光片组的每个光谱滤光片透过的光线的波段不同。每个光谱滤光片可以透过的光线的波段为固定波段。可选地,拍摄模组可以为前述图9所示的拍摄模组。
154.可选地,上述步骤201获取透过多光谱组件的多个波段的光线的能量值的过程可以包括以下步骤2011c。
155.在步骤2011c中,获取透过每个滤光片组的每个波段的光线的能量值。
156.本技术的一些实施例中,电子设备获取至少两个滤光片组中,每个滤光片组中每个光谱滤光片透过的光线的能量值,以得到每个滤光片组对应的多个波段中每个波段的光线的能量值。
157.本技术的一些实施例中,拍摄模组将至少两个光谱滤波片组成至少两个滤光片组,且每个滤光片组的每个光谱滤光片透过的光线的波段不同。通过该拍摄模组中光谱滤波片的设置方式,电子设备可以利用滤光片组同时获取入射至该滤光片组中多个光谱滤波片对应的多个波段的光线的能量值。相较于前述利用fpi多光谱组件获取入射至拍摄模组的多个波段的光线的能量值的方式,无需等待多次调整fpi多光谱组件中法珀腔动子和法珀腔定子之间的距离的时间,减少了获取多个波段的光线的能量值所需的时长,提升了能量值获取效率。
158.针对在拍摄对象的对象信息包括对象名称的情况下,上述步骤202根据每个波段的光线的能量值,输出拍摄模组的拍摄视场范围内的拍摄对象的对象信息的过程可以包括以下步骤2021c至步骤2022c。
159.在步骤2021c中,根据透过每个滤光片组的每个波段的光线的能量值,得到每个滤
光片组对应的对象信息。
160.本技术的一些实施例中,电子设备根据透过单个滤光片组的每个波段的光线的能量值,得到该单个滤光片组对应的对象信息,进而得到每个滤光片组对应的对象信息。其中,电子设备根据透过单个滤光片组的每个波段的光线的能量值,得到该单个滤光片组对应的对象信息的实现方式可以参考前述步骤2021a的实现方式,本技术实施例对此不做赘述。
161.值得说明的是,电子设备根据透过每个滤光片组的每个波段的光线的能量值,得到每个滤光片组对应的对象信息的过程可以包括以下步骤2021c1至步骤2021c3。
162.在步骤2021c1中,根据每个滤光片组的每个波段的光线的能量值,输出每个滤光片组对应的能量曲线。能量曲线为入射至滤光片组的光线的能量值随波长变化的曲线。
163.本技术的一些实施例中,电子设备可以根据单个滤光片组的每个波段的光线的能量值,输出该单个滤光片组对应的能量曲线,以得到每个滤光片组对应的能量曲线。其中,电子设备根据单个滤光片组的每个波段的光线的能量值,输出该单个滤光片组对应的能量曲线的实现方式可以参考前述步骤2021a1的实现方式,本技术实施例对此不做赘述。
164.在步骤2021c2中,从预先存储的反射光谱集合中,查找与每个能量曲线的曲线形态相匹配的目标反射光谱,得到每个滤光片组对应的目标反射光谱。反射光谱集合包括至少一个对象的反射光谱和每个反射光谱对应的对象属性信息。
165.本技术的一些实施例中,电子设备可以从预先存储的反射光谱集合中,查找与单个能量曲线的曲线形态相匹配的目标反射光谱,得到该单个能量曲线对应的滤光片组的目标反射光谱,进而得到每个滤光片组对应的目标反射光谱。其中,电子设备可以查找与单个能量曲线的曲线形态相匹配的目标反射光谱,得到该单个能量曲线对应的滤光片组的目标反射光谱的实现方式可以参考前述步骤2021a2的实现方式,本技术实施例对此不做赘述。
166.在步骤2021c3中,将单个目标反射光谱对应的对象属性信息确定为单个目标反射光谱对应的滤光片组的对象信息,以得到每个滤光片组对应的对象信息。
167.本技术的一些实施例中,电子设备将单个目标反射光谱对应的对象属性信息确定为单个目标反射光谱对应的滤光片组的对象信息的实现方式可以参考前述步骤2021a3的实现方式,本技术实施例对此不作赘述。
168.在步骤2022c中,在拍摄模组采集的原始图像中与每个滤光片组对应的图像区域显示对象信息标记。对象信息标记用于标记滤光片组对应的对象信息。原始图像为拍摄模组在拍摄视场范围内采集的拍摄对象的图像。
169.本技术的一些实施例中,电子设备可以在原始图像中与单个滤光片组对应的图像区域显示该单个滤光片对应的对象信息标记,以在原始图像中与每个滤光片组对应的图像区域显示对象信息标记。其中,电子设备在原始图像中与单个滤光片组对应的图像区域显示该单个滤光片对应的对象信息标记的实现方式可以参考前述步骤2022a的实现方式,本技术实施例对此不作赘述。
170.需要说明的是,原始图像包括的每个像素点分别对应图像传感器的一个像素(包括全光谱像素),且滤光片设置于图像传感器的像素上。因而原始图像中与单个滤光片组对应的图像区域可以指的是原始图像中与该单个滤光片包括的每个光谱滤光片对应的像素点所在区域。电子设备在原始图像中与每个滤光片组包括的每个光谱滤波片对应的像素点
所在区域显示对象信息标记。
171.本技术的一些实施例中,在拍摄模组采集的原始图像中与每个滤光片组对应的图像区域显示对象信息标记的方式,不仅可以更为直观地反映拍摄视场范围内存在的拍摄对象。而且因对象信息标记的位置为原始图像中与对象信息对应的滤光片组的对应位置,使得标记后的原始图像可以更直观地反映确定的对象信息指示的对象在拍摄视场范围内的具体位置,提升识别对象的展示效果。
172.如前所示,本技术实施例中电子设备确定的全光谱像素的对象信息还可以包括对象浓度信息。在对象信息包括对象名称信息和对象浓度信息的情况下,上述步骤2022c在拍摄模组采集的原始图像中与每个滤光片组对应的图像区域显示对象信息标记的过程可以包括:
173.根据入射至每个滤光片组的光线的能量值,在原始图像中与每个滤光片组对应的图像区域显示对象信息标记。该对象信息标记不仅用于标记滤光片组对应的对象信息,还用于标记滤光片组对应的对象浓度信息。其中,能量值越大,对象的浓度越大,不同的对象浓度对应不同标记参数的对象信息标记。
174.可选地,电子设备根据入射至每个滤光片组的光线的能量值,在原始图像中与每个滤光片组对应的图像区域显示对象信息标记的过程可以包括以下步骤2022c1至步骤2022c3。
175.在步骤2022c1中,根据对象名称指示的对象所对应的填充素材,确定每个滤光片组对应的填充素材。
176.本技术的一些实施例中,电子设备根据对象名称指示的对象所对应的填充素材,确定每个滤光片组对应的填充素材的实现方式可以参考前述步骤2022a1的实现方式,本技术实施例对此不作赘述。
177.在步骤2022c2中,根据入射至每个滤光片组的光线的能量值,确定每个滤光片组对应的填充素材的标记参数。
178.本技术的一些实施例中,电子设备根据入射至单个滤光片组的光线的能量值,确定该单个滤光片组对应的填充素材的标记参数,以得到每个滤光片组对应的填充素材的标记参数。其中,电子设备根据入射至单个滤光片组的光线的能量值,确定该单个滤光片组对应的填充素材的标记参数的实现方式可以参考前述步骤2022a2的实现方式,本技术实施例对此不作赘述。
179.在步骤2022c3中,按照每个滤光片组对应的填充素材的标记参数,在拍摄模组采集的原始图像中与每个滤光片组对应的图像区域,采用对象名称指示的对象所对应的填充素材进行填充。
180.本技术的一些实施例中,电子设备按照每个滤光片组对应的填充素材的标记参数,在拍摄模组采集的原始图像中与每个滤光片组对应的图像区域,采用对象名称指示的对象所对应的填充素材进行填充的实现方式可以参考前述步骤2022a3的实现方式,本技术实施例对此不作赘述。
181.本技术的一些实施例中,利用拍摄视场范围内拍摄对象的浓度,和拍摄对象的反射光线的能量值的正相关关系。根据入射至每个滤光片组的光线(拍摄对象的反射光线)的能量值,采用反映不同浓度的标记参数的填充素材在原始图像中进行填充,以使得填充后
的原始图像不仅可以更直观地反映拍摄视场范围内更多位置存在的拍摄对象,还可以更直观地反映拍摄对象的浓度。并且,因对象信息标记的位置为原始图像中与对象信息对应的全光谱像素的对应位置,使得标记后的原始图像可以更直观地反映确定的对象信息指示的对象在拍摄视场范围内的具体位置,提升识别对象的展示效果。
182.在多光谱组件位于图像传感器外侧的情况下,多光谱组件的数量为至少两个,拍摄模组还包括图像传感器,图像传感器包括至少两个全光谱像素,每个多光谱组件分别对应设置于一个全光谱像素的入光侧,至少两个多光谱组件组成至少一个多光谱组件组,每个多光谱组件组包括至少两个多光谱组件,每个多光谱组件组的每个多光谱组件透过的光线的波段不同。每个多光谱组件可以透过的光线的波段为固定波段。需要说明的是,在多光谱组件为fpi多光谱组件时,每个多光谱组件中法珀腔动子和法珀腔定子之间的距离固定设置。可选地,拍摄模组可以为前述图3至图5任一所示的拍摄模组,且拍摄模组中多光谱组件的数量与全光谱像素的数量相等。
183.可选地,上述步骤201获取透过多光谱组件的多个波段的光线的能量值的过程可以包括以下步骤2011d。
184.在步骤2011d中,获取入射至每个目标全光谱像素的光线的能量值,目标全光谱像素为一个多光谱组件组对应的全光谱像素。
185.本技术的一些实施例中,电子设备获取至少两个多光谱组件组中,每个多光谱组件组中每个多光谱组件透过的光线的能量值,以得到每个多光谱组件组对应的多个波段中每个波段的光线的能量值。
186.针对在拍摄对象的对象信息包括对象名称的情况下,上述步骤202根据每个波段的光线的能量值,输出拍摄模组的拍摄视场范围内的拍摄对象的对象信息的过程可以包括以下步骤2021d至步骤2022d。
187.在步骤2021d中,根据每个目标全光谱像素的光线的能量值,得到每个多光谱组件组对应的对象信息。
188.该步骤的解释和实现方式可以参考前述步骤2021c的解释和实现方式,本技术实施例对此不作赘述。需要说明的是,透过多光谱组件入射全光谱像素的光线可以相当于前述入射光谱滤光片的光线。
189.值得说明的是,电子设备根据每个目标全光谱像素的光线的能量值,得到每个多光谱组件组对应的对象信息的过程可以包括以下步骤2021d1至步骤2021d3。
190.在步骤2021d1中,根据每个目标全光谱像素的光线的能量值,输出每个多光谱组件组对应的能量曲线,能量曲线为入射多光谱组件组对应的全光谱像素的光线的能量值随波长变化的曲线。
191.在步骤2021d2中,从预先存储的反射光谱集合中,查找与每个能量曲线的曲线形态相匹配的目标反射光谱,得到每个多光谱组件组对应的目标反射光谱,反射光谱集合包括至少一个对象的反射光谱和每个反射光谱对应的对象属性信息。
192.在步骤2021d3中,将单个目标反射光谱对应的对象属性信息确定为单个目标反射光谱对应的多光谱组件组的对象信息,以得到每个多光谱组件组对应的对象信息。
193.步骤2021d1、步骤2021d2和步骤2021d3的解释和实现方式可以依次参考前述步骤2021c1、步骤2021c2和步骤2021c3的解释和实现方式,本技术实施例对此不作赘述。
194.在步骤2022d中,在拍摄模组采集的原始图像中与每个目标全光谱像素对应的图像区域显示对象信息标记。对象信息标记用于标记目标全光谱像素对应的对象信息。原始图像为拍摄模组在拍摄视场范围内采集的拍摄对象的图像。
195.本技术的一些实施例中,原始图像包括的每个像素点分别对应图像传感器的一个像素或者一个包括全光谱像素。原始图像中与每个目标全光谱像素对应的图像区域可以指的是原始图像中与每个目标全光谱像素对应的像素点所在区域。电子设备可以在原始图像中与每个目标全光谱像素对应的像素点所在区域显示对象信息标记。
196.如前所示,本技术实施例中电子设备确定的全光谱像素的对象信息还可以包括对象浓度信息。在对象信息包括对象名称信息和对象浓度信息的情况下,上述步骤2022d在拍摄模组采集的原始图像中与每个目标全光谱像素对应的图像区域显示对象信息标记的过程可以包括:
197.根据入射至每个全光谱像素的光线的能量值,在原始图像中与每个全光谱像素对应的图像区域显示对象信息标记。对象信息标记还用于标记全光谱像素对应的对象浓度信息。其中,能量值越大,对象的浓度越大,不同的对象浓度对应不同标记参数的对象信息标记。
198.可选地,电子设备根据入射至每个全光谱像素的光线的能量值,在原始图像中与每个全光谱像素对应的图像区域显示对象信息标记的过程可以包括以下步骤2022d1至步骤2022d3。
199.在步骤2022d1中,根据对象名称指示的对象所对应的填充素材,确定每个全光谱像素对应的填充素材。
200.在步骤2022d2中,根据入射至每个全光谱像素的光线的能量值,确定每个全光谱像素对应的填充素材的标记参数。
201.在步骤2022d3中,按照每个全光谱像素对应的填充素材的标记参数,在拍摄模组采集的原始图像中与每个全光谱像素对应的图像区域,采用对象名称指示的对象所对应的填充素材进行填充。
202.其中,不同对象的填充素材不同,填充素材包括以下至少一项:纯色填充素材、纹理填充素材、渐变色填充素材;在填充素材为纯色填充素材的情况下,能量值越大,填充素材的颜色饱和度越高;在填充素材为纹理填充素材的情况下,能量值越大,填充素材的纹理密度越高;在填充素材为渐变色填充素材的情况下,能量值越大,填充素材的渐变密度越高。
203.步骤2022d1、步骤2022d2和步骤2022d3的解释和实现方式可以依次参考前述步骤2022c1、步骤2022c2和步骤2022c3的解释和实现方式,本技术实施例对此不作赘述。
204.本技术实施例中,利用拍摄视场范围内拍摄对象的浓度,和拍摄对象的反射光线的能量值的正相关关系。根据入射至每个多光谱组件组的光线(拍摄对象的反射光线)的能量值,采用反映不同浓度的标记参数的填充素材在原始图像中进行填充,以使得填充后的原始图像不仅可以更直观地反映拍摄视场范围内更多位置存在的拍摄对象,还可以更直观地反映拍摄对象的浓度。并且,因对象信息标记的位置为原始图像中与对象信息对应的目标全光谱像素的对应位置,使得标记后的原始图像可以更直观地反映确定的对象信息指示的对象在拍摄视场范围内的具体位置,提升识别对象的展示效果。
205.综上所述,本技术实施例提供的多光谱检测方法,通过获取透过拍摄模组中多光谱组件的多个波段的光线的能量值,从而根据每个波段的光线的能量值,输出拍摄模组的拍摄视场范围内的拍摄对象的对象信息,实现物体检测。由于入射至多光谱组件的光线即为拍摄模组的拍摄视场范围内拍摄对象的反射光线。相应的透过多光谱组件的多个波段的光线即为拍摄对象的反射光线中多个波段的光线,获取的多个波段的光线的能量值可以反映拍摄对象针对该多个波段的光线的反射情况。而任何物体对象均对不同波长的光线存在选择性反射的现象,且不同物体对象对不同波长的光线的反射情况不同。因此,根据入射至拍摄模组的多个波段的光线的能量值确定拍摄对象的对象信息的方式,相较于相关技术,可以实现更多物体的检测,提高物体检测的准确性。
206.请参考图12,其示出了本技术实施例提供的又一种多光谱检测方法的流程图。该多光谱检测方法可以应用于环境监测场景。多光谱检测方法应用于多光谱检测装置。可选地,多光谱检测装置可以为电子设备。示例地,电子设备可以包括手机、平板电脑等。其中,多光谱检测装置包括本技术实施例提供的任一结构的拍摄模组(例如,图3、图4、图5或者图9所示的拍摄模组)。如图12所示,多光谱检测方法包括:
207.步骤1201、获取电子设备所处的地理位置。
208.可选地,电子设备可以实时性或者周期性地通过全球定位系统(global positioning system,gps)获取电子设备所处的地理位置信息。
209.步骤1202、在地理位置位于预设地点的情况下,输出告警信息。告警信息用于提示用户电子设备所处的地理位置存在有害对象,可通过电子设备检测有害对象的对象信息。
210.本技术的一些实施例中,预设地点可以指的是环境中可能存在有害物质的非安全地点。例如,预设地点可以为新建立的建筑物、化工厂、核辐射区域等。其中,预设地点可以是用户手动设置的非安全地点。或者,预设地点也可以是电子设备自动辨识的非安全地点。可选地,电子设备可以利用大数据技术搜索非安全地点。
211.电子设备在获取其所处的地理位置后,可以判断该地理位置是否位于预设地点。在地理位置位于预设地点的情况下,表明电子设备对应的用户当前所处的环境可能存在有害物质。电子设备可以输出告警信息。示例地,电子设备在其所处的地理位置位于预设地点的情况下,可以震动或者响铃并显示告警信息。该告警信息的内容可以为:当前位置的环境中可能存在有害物质,可通过电子设备进行有害对象检测。
212.可选地,电子设备还可以在地理位置位于预设地点,且电子设备所处位置的气压值在预设地点对应的危险气压范围内的情况下,输出告警信息。
213.本技术的一些实施例中,有害物质可能分布于一定高度的环境中。例如,在一栋新建筑物中20层至30层为新装修楼层。有害物质甲醛主要分布于该栋新建筑物的20层至30层的环境中。
214.电子设备可以在确定其地理位置位于预设地点的情况下,获取电子设备所处位置的气压值,并判断该气压值是否在预设地点对应的危险气压范围。在电子设备所处位置的气压值在预设地点对应的危险气压范围内的情况下,表明电子设备对应的用户当前所处的环境较大概率存在有害物质。电子设备可以输出告警信息。在电子设备所处位置的气压值不在预设地点对应的危险气压范围内的情况下,表明电子设备对应的用户当前所处的环境可能不存在有害物质。电子设备可以不输出告警信息。可选地,电子设备可以包括气压计。
电子设备可以通过气压计读取所处位置的气压值。
215.其中,预设地点对应的危险气压范围可以是用户手动设置的。或者,预设地点对应的危险气压范围也可以是电子设备自动获取的。可选地,电子设备可以利用大数据技术搜索预设地点的有害物体分布情况,生成有害物体可能存在的环境高度对应的气压范围。
216.本技术实施例中,由于有害物质可能主要分布于非安全地点内一定高度的环境中。例如,在一栋新建筑物中20层至30层为新装修楼层。有害物质甲醛主要分布于该栋新建筑物的20层至30层的环境中。因此,在电子设备所处的地理位置位于预设地点,且电子设备所处位置的气压值在预设地点对应的危险气压范围内时,输出告警信息的方式,因考虑到了有害物质分布位置中的位置高度,提升了电子识别针对其当前所处位置是否存在有害物质的判断精度,进而提高了告警信息的输出时机的准确性,避免了告警信息的无效输出。
217.在一种可选的实施方式下,在步骤1202在地理位置位于预设地点的情况下,输出告警信息之前,多光谱检测方法还可以包括:电子设备判断其所处地理位置是否位于常用地点。常用地点可以指的是电子设备停留频率较高的地点。例如,常用地点可以为电子设备对应的用户的家庭地点、公司地点等。
218.在地理位置不位于常用地点的情况下,表明当前电子设备存在位于非安全地点的概率。电子设备可以判断地理位置是否位于预设地点。在地理位置位于常用地点的情况下,表明当前电子设备不存在位于非安全地点的概率。电子设备可以不执行操作。
219.步骤1203、获取透过多光谱组件的多个波段的光线的能量值。
220.该步骤的解释和实现方式可以参考前述步骤201的解释和实现方式,本技术实施例对此不做赘述。
221.步骤1204、根据每个波段的光线的能量值,输出拍摄模组的拍摄视场范围内的拍摄对象的对象信息。
222.该步骤的解释和实现方式可以参考前述步骤202的解释和实现方式,本技术实施例对此不做赘述。需要说明的是,由于该实施例中多光谱检测方法主要应用于环境监测场景。因此,电子设备存储的反射光谱集合可以包括:至少一个有害对象的反射光谱以及有害对象的对象属性信息。可选地,有害对象可以为含有甲醛、亚甲基、羰基(醛,酮,羧酸),氰基,羟基,胺基等官能团的物质。例如,有害对象可以为乙炔、乙烷、二甲苯、异丙醇、氨气、乙醛、甲苯、二氧化碳、乙硼烷、二甲基硫醚、甲醇、苯、三氯甲烷、乙酸乙酯、环乙烷、甲硫醚、丙醛、苯乙烯、硫化氢、乙醇和丙酮。
223.本技术实施例以下述示例对图12所示的多光谱检测方法进行进一步示意性说明。示例地,以多光谱检测设备的拍摄模组中,图像传感器包括多个全光谱像素,且多个全光谱像素分布于图像传感器的像素阵列中为例。可选地,拍摄模组可以为图3、图4或者图5所示的拍摄模组。
224.电子设备可以实时获取其所处的地理位置。并在确定地理不位于常用地点时,判断地理位置是否位于预设地点。在地理位置位于预设地点,且电子设备所处位置的气压值在该预设地点对应的危险气压范围内时,电子设备可以震动或者响铃,并显示告警信息,以提示用户当前位置的环境中可能存在有害物质,可拿出电子设备进行有害对象检测。
225.电子设备获取透过多光谱组件的多个波段的光线的能量值,以采集当前环境的光谱信息。其中,电子设备存储有反射光谱集合。反射光谱集合包括:至少一个有害对象的反
射光谱以及有害对象的对象属性信息。电子设备在获取到透过多光谱组件入射至每个全光谱像素的多个波段的光线的能量值之后,根据入射至每个全光谱像素的每个波段的光线的能量值,输出每个全光谱像素对应的能量曲线。电子设备可以从预先存储的反射光谱集合中,查找与每个能量曲线的曲线形态相匹配的目标反射光谱,得到每个全光谱像素对应的目标反射光谱。并将单个目标反射光谱对应的对象属性信息确定为单个目标反射光谱对应的全光谱像素的对象信息,以得到每个全光谱像素对应的对象信息。电子设备在拍摄模组采集的原始图像中与每个全光谱像素对应的图像区域,显示对象信息标记。对象信息标记不仅用于标记全光谱像素对应的对象信息,还用于标记全光谱像素对应的对象浓度信息。
226.具体示例地,假设电子设备匹配到三种目标反射光谱。该目标反射光谱对应的对象属性信息分别为甲醛、乙醛和二氧化碳这三种有毒气体。拍摄视场范围内存在三种浓度的甲醛、两种浓度的乙醛和两种浓度的二氧化碳。假设甲醛对应的填充素材为蓝色,乙醛对应的填充素材为红色,二氧化碳对应的填充素材为绿色。甲醛对应的填充素材的标记参数为三个不同的饱和度参数。乙醛对应的填充素材的标记参数为两个不同的饱和度参数。二氧化碳对应的填充素材的标记参数为两个不同的饱和度参数。如图13所示,在显示有对象信息标记的原始图像中,第一图像区域i填充有第一饱和度的蓝色。第二图像区域ii填充有第二饱和度的蓝色。第三图像区域iii填充有第三饱和度的蓝色。且第一饱和度、第二饱和度和第三饱和度依次递减。第四图像区域ⅳ填充有第四饱和度的红色。第五图像区域
ⅴ
填充有第五饱和度的红色。第四饱和度大于第五饱和度。第六图像区域ⅵ填充有第六饱和度的绿色。第七图像区域ⅶ填充有第七饱和度的绿色。第六饱和度大于第七饱和度。需要说明的是,图13中,第一图像区域i、第二图像区域ii和第三图像区域iii均采用点填充的方式表示填充素材为蓝色。且第一图像区域i、第二图像区域ii和第三图像区域iii中点密度越高,表示填充素材的饱和度越高。第四图像区域ⅳ和第五图像区域
ⅴ
均采用横线填充的方式表示填充素材为红色。且第四图像区域ⅳ和第五图像区域
ⅴ
中横线的密度越高,表示填充素材的饱和度越高。第六图像区域ⅵ和第七图像区域ⅶ均采用斜线填充的方式表示填充素材为绿色。且第六图像区域ⅵ和第七图像区域ⅶ中斜线的密度越高,表示填充素材的饱和度越高。
227.由图13可知,甲醛存在于3个区域,图像右上角所在区域的严重程度为中,图像右下角所在区域的严重程度为轻,图像中下位置所在区域为最严重区域。不难理解的是,显示有对象信息标记的原始图像可以具有路线指引功能。该图像可以指引用户从浓度最浅的区域或者无有害物质的区域离开当前位置。
228.本技术实施例中,电子设备在判断其所处的环境可能存在有害物体物质时,不仅可以实现告警功能,还可以实现有害物体检测,实现环境自动检测,提升拍摄模组的服务功能。并且,标记有对象信息标记的原始图像实现了有害物体检测的可视化,更为直观地反映了电子设备当前所处环境中存在的有害物质以及有害物质的具体位置和浓度情况,提升了识别对象的展示效果。
229.本技术实施例还提供一种多光谱检测方法。该多光谱检测方法可以应用于人脸皮肤状态检测场景以及食品健康状态检测场景。多光谱检测方法应用于多光谱检测装置。可选地,多光谱检测装置可以为电子设备。示例地,电子设备可以包括手机、平板电脑等。其中,多光谱检测装置包括本技术实施例提供的任一结构的拍摄模组(例如,图3、图4、图5或
者图9)。多光谱检测方法包括:
230.接收用户的第一输入,响应于第一输入,在拍摄预览界面显示待检测对象。其中,第一输入可以为用于显示拍摄预览界面的输入。示例地,第一输入可以为针对拍摄标识的点击、滑动或者语言等形式的输入。
231.电子设备获取透过多光谱组件的多个波段的光线的能量值,以采集待检测对象的光谱信息。电子设备根据每个波段的光线的能量值,输出待检测对象的对象信息。在待检测对象为人脸时,对象信息中对象名称信息可以为目标健康等级的人脸。在待检测对象为食品时,对象信息中对象名称信息可以为目标健康等级的食品。
232.可选地,以拍摄模组的图像传感器包括多个全光谱像素,且多个全光谱像素分布于图像传感器的像素阵列中为例进行说明。例如,拍摄模组可以为图3、图4或者图5所示的拍摄模组。
233.电子设备存储有反射光谱集合。反射光谱集合包括:多个不同健康等级的人脸的反射光谱以及对象属性信息,该对象属性信息可以指的是反射光谱所属的目标健康等级的人脸。反射光谱集合还包括:多个不同健康等级的食品的反射光谱以及对象属性信息,该对象属性信息可以指的是反射光谱所属的目标健康等级的食品。其中,不同健康等级的人脸可以指的是不同肤质的人脸,或者,携带有不同品质的化妆品的人脸。人脸肤质的划分或者化妆品品质的划分可以根据实际情况确定。不同健康等级的食品可以指的是不同腐烂程度的食品。食品的腐烂程度的划分可以根据实际情况确定。
234.电子设备获取透过多光谱组件的多个波段的光线的能量值,根据每个波段的光线的能量值,输出待检测对象的对象信息的过程可以包括:获取透过多光谱组件入射至每个全光谱像素的多个波段的光线的能量值,根据入射至每个全光谱像素的每个波段的光线的能量值,输出每个全光谱像素对应的能量曲线。电子设备可以从预先存储的反射光谱集合中,查找与每个能量曲线的曲线形态相匹配的目标反射光谱,得到每个全光谱像素对应的目标反射光谱。并将单个目标反射光谱对应的对象属性信息确定为单个目标反射光谱对应的全光谱像素的对象信息,以得到每个全光谱像素对应的对象信息。
235.电子设备在拍摄模组采集的原始图像中与每个全光谱像素对应的图像区域,显示对象信息标记,对象信息标记用于标记全光谱像素对应的对象信息。可选地,不同健康等级的人脸对应不同颜色的纯色填充素材。不同健康等级的食品也可以对应不同颜色的纯色填充素材。
236.一个示例地,假设具有第一健康等级、第二健康等级、第三健康等级以及第四健康等级共四个健康等级的人脸,其分别对应的纯色填充素材为蓝色、红色、黄色以及绿色。电子设备在原始图像中与每个全光谱像素对应的图像区域,采用目标健康等级的人脸所对应的填充素材进行填充,以在原始图像中显示对象信息标记。如图14所示,原始图像为图14中左侧图像,显示有对象信息标记的原始图像为图14中右侧图像。假设原始图像中人脸区域的第一图像区域1401对应的全光谱像素的对象信息为第四健康等级的人脸,第二图像区域1402对应的全光谱像素的对象信息为第三健康等级的人脸。在显示有对象信息标记的原始图像中,第一图像区域1401填充有绿色,第二图像区域1402填充有黄色。图14中,第一图像区域1401采用白色填充的方式表示填充素材为绿色。第二图像区域1402采用右斜线填充的方式表示填充素材为黄色。
237.如图15所示,原始图像为图15中左侧图像,显示有对象信息标记的原始图像为图15中右侧图像。假设原始图像的人脸区域中对应的全光谱像素的对象信息为第三健康等级的人脸。在显示有对象信息标记的原始图像中,全光谱像素对应的图像区域中的人脸区域填充有黄色。图15中,图像区域中的人脸区域采用左斜线填充的方式表示填充素材为黄色。
238.如图16所示,原始图像为图16中左侧图像,显示有对象信息标记的原始图像为图16中右侧图像。假设原始图像的人脸区域中对应的全光谱像素的对象信息为第二健康等级的人脸。在显示有对象信息标记的原始图像中,全光谱像素对应的图像区域中的人脸区域填充有红色。图16中,图像区域中的人脸区域采用横线填充的方式表示填充素材为红色。
239.如图17所示,原始图像为图17中左侧图像,显示有对象信息标记的原始图像为图17中右侧图像。假设原始图像中人脸区域的第一图像区域1701对应的全光谱像素的对象信息为第一健康等级的人脸,第二图像区域1702对应的全光谱像素的对象信息为第三健康等级的人脸。在显示有对象信息标记的原始图像中,第一图像区域1701填充有蓝色,第二图像区域1702填充有黄色。图17中,第一图像区域1701采用白色填充的方式表示填充素材为蓝色。第二图像区域1702采用黑色填充的方式表示填充素材为黄色。
240.另一示例地,假设具有第一健康等级、第二健康等级、第三健康等级以及第四健康等级、第五健康等级共五个健康等级的瓶装食品,其分别对应的纯色填充素材为红色、黄色、绿色、蓝色和紫色。电子设备在原始图像中与每个全光谱像素对应的图像区域,采用目标健康等级的瓶装食品所对应的填充素材进行填充,以在原始图像中显示对象信息标记。
241.参考图18,假设原始图像中第一图像区域1801对应的全光谱像素的对象信息为第五健康等级的瓶装食品,第二图像区域1802对应的全光谱像素的对象信息为第二健康等级的瓶装食品。第三图像区域1803对应的全光谱像素的对象信息为第三健康等级的瓶装食品。第四图像区域1804对应的全光谱像素的对象信息为第四健康等级的瓶装食品。第五图像区域1805对应的全光谱像素的对象信息为第五健康等级的瓶装食品。如图18所示,在显示有对象信息标记的原始图像中,第一图像区域1801填充有红色,第二图像区域1802填充有黄色,第三图像区域1803填充有绿色,第四图像区域1804填充有蓝色,第五图像区域1805填充有紫色。图18中,第一图像区域1801采用右斜线填充的方式表示填充素材为红色。第二图像区域1802采用横线填充的方式表示填充素材为黄色。第三图像区域1803采用左斜线填充的方式表示填充素材为绿色。第四图像区域1804采用点填充的方式表示填充素材为蓝色。第五图像区域1805采用交叉线填充的方式表示填充素材为紫色。
242.本技术的一些实施例中,电子设备通过获取透过拍摄模组中多光谱组件的多个波段的光线(即待检测对象的反射光线)的能量值,从而根据每个波段的光线的能量值,输出待检测对象所属的健康等级,实现待检测对象的状态检测。并且,标记有对象信息标记的原始图像实现了待检测对象对应健康等级的可视化展示,更为直观地反映了待检测对象对应的健康状态,提升了识别对象的展示效果,提供了功能强大且交互方式友好的拍摄模组服务。
243.需要说明的是,本技术上述各方法实施例中均以多光谱检测装置为电子设备为例进行示意性说明。
244.综上所述,本技术实施例提供的多光谱检测方法,通过获取透过拍摄模组中多光谱组件的多个波段的光线的能量值,从而根据每个波段的光线的能量值,输出拍摄模组的
拍摄视场范围内的拍摄对象的对象信息,实现物体检测。由于入射至多光谱组件的光线即为拍摄模组的拍摄视场范围内拍摄对象的反射光线。相应的透过多光谱组件的多个波段的光线即为拍摄对象的反射光线中多个波段的光线,获取的多个波段的光线的能量值可以反映拍摄对象针对该多个波段的光线的反射情况。而任何物体对象均对不同波长的光线存在选择性反射的现象,且不同物体对象对不同波长的光线的反射情况不同。因此,根据入射至拍摄模组的多个波段的光线的能量值确定拍摄对象的对象信息的方式,相较于相关技术,可以实现更多物体的检测,提高物体检测的准确性。
245.本技术实施例提供的多光谱检测方法,执行主体可以为多光谱检测装置。本技术实施例中以多光谱检测装置执行多光谱检测方法为例,说明本技术实施例提供的多光谱检测装置。
246.请参考图19,其示出了本技术实施例提供的一种多光谱检测装置的结构示意图。如图19所示,多光谱检测装置1900包括:拍摄模组1901、获取模块1902和输出模块1903。
247.拍摄模组1901包括多光谱组件;
248.获取模块1902,用于获取透过多光谱组件的多个波段的光线的能量值;
249.输出模块1903,用于根据每个波段的光线的能量值,输出拍摄模组的拍摄视场范围内的拍摄对象的对象信息。
250.可选地,多光谱组件为fpi多光谱组件,fpi多光谱组件包括法珀腔动子和法珀腔定子,拍摄模组还包括图像传感器,图像传感器包括全光谱像素;fpi多光谱组件设置于全光谱像素的入光侧;获取模块1902,还用于:
251.按照每个波段对应的透过距离,依次调节法珀腔动子和法珀腔定子之间的距离,以使每个波段的光线依次透过fpi多光谱组件入射至全光谱像素,透过距离为法珀腔动子和法珀腔定子之间的距离;
252.获取入射至全光谱像素的每个波段的光线的能量值。
253.可选地,对象信息包括对象名称,全光谱像素的数量为至少两个;
254.获取模块1902,还用于获取入射至每个全光谱像素的每个波段的光线的能量值;
255.输出模块1903,还用于:
256.根据入射至每个全光谱像素的每个波段的光线的能量值,得到每个全光谱像素对应的对象信息;
257.在拍摄模组采集的原始图像中与每个全光谱像素对应的图像区域,显示对象信息标记,对象信息标记用于标记全光谱像素对应的对象信息;其中,原始图像为拍摄模组在拍摄视场范围内采集的拍摄对象的图像。
258.可选地,输出模块1903,还用于:
259.根据每个全光谱像素的每个波段的光线的能量值,输出每个全光谱像素对应的能量曲线,能量曲线为光线的能量值随波长变化的曲线;
260.从预先存储的反射光谱集合中,查找与每个能量曲线的曲线形态相匹配的目标反射光谱,得到每个全光谱像素对应的目标反射光谱,反射光谱集合包括至少一个对象的反射光谱和每个反射光谱对应的对象属性信息;
261.将单个目标反射光谱对应的对象属性信息确定为单个目标反射光谱对应的全光谱像素的对象信息,以得到每个全光谱像素对应的对象信息。
262.可选地,对象信息包括对象名称,多光谱组件的数量为至少两个,多光谱组件为光谱滤光片,至少两个光谱滤波片组成至少两个滤光片组;每个滤光片组包括至少四个光谱滤光片,拍摄模组还包括图像传感器,至少两个滤光片组间隔设置于图像传感器的像素上,每个滤光片组的每个光谱滤光片透过的光线的波段不同;
263.获取模块1902,还用于获取透过每个滤光片组的每个波段的光线的能量值;
264.输出模块1903,还用于:
265.根据透过每个滤光片组的每个波段的光线的能量值,得到每个滤光片组对应的对象信息;
266.在拍摄模组采集的原始图像中与每个滤光片组对应的图像区域显示对象信息标记,对象信息标记用于标记滤光片组对应的对象信息;其中,原始图像为拍摄模组在拍摄视场范围内采集的拍摄对象的图像。
267.可选地,对象信息包括对象名称,多光谱组件的数量为至少两个,拍摄模组还包括图像传感器,图像传感器包括至少两个全光谱像素,每个多光谱组件分别对应设置于一个全光谱像素的入光侧,至少两个多光谱组件组成至少一个多光谱组件组,每个多光谱组件组包括至少两个多光谱组件,每个多光谱组件组的每个多光谱组件透过的光线的波段不同;
268.获取模块1902,还用于获取入射至每个目标全光谱像素的光线的能量值,目标全光谱像素为一个多光谱组件组对应的全光谱像素;
269.输出模块1903,还用于:
270.根据每个目标全光谱像素的光线的能量值,得到每个多光谱组件组对应的对象信息;
271.在拍摄模组采集的原始图像中与每个目标全光谱像素对应的图像区域显示对象信息标记,对象信息标记用于标记目标全光谱像素对应的对象信息;其中,原始图像为拍摄模组在拍摄视场范围内采集的拍摄对象的图像。
272.可选地,输出模块1903,还用于:
273.根据每个目标全光谱像素的光线的能量值,输出每个多光谱组件组对应的能量曲线,能量曲线为入射多光谱组件组对应的全光谱像素的光线的能量值随波长变化的曲线;
274.从预先存储的反射光谱集合中,查找与每个能量曲线的曲线形态相匹配的目标反射光谱,得到每个多光谱组件组对应的目标反射光谱,反射光谱集合包括至少一个对象的反射光谱和每个反射光谱对应的对象属性信息;
275.将单个目标反射光谱对应的对象属性信息确定为单个目标反射光谱对应的多光谱组件组的对象信息,以得到每个多光谱组件组对应的对象信息。
276.可选地,对象信息还包括对象浓度信息;输出模块1903,还用于:
277.根据入射至每个全光谱像素的光线的能量值,在原始图像中与每个全光谱像素对应的图像区域显示对象信息标记,对象信息标记还用于标记全光谱像素对应的对象浓度信息;其中,能量值越大,对象的浓度越大,不同的对象浓度对应不同标记参数的对象信息标记。
278.可选地,输出模块1903,还用于:
279.根据对象名称指示的对象所对应的填充素材,确定每个全光谱像素对应的填充素
材;
280.根据入射至每个全光谱像素的光线的能量值,确定每个全光谱像素对应的填充素材的标记参数;
281.按照每个全光谱像素对应的填充素材的标记参数,在拍摄模组采集的原始图像中与每个全光谱像素对应的图像区域,采用对象名称指示的对象所对应的填充素材进行填充;
282.其中,不同对象的填充素材不同,填充素材包括以下至少一项:纯色填充素材、纹理填充素材、渐变色填充素材;在填充素材为纯色填充素材的情况下,能量值越大,填充素材的颜色饱和度越高;在填充素材为纹理填充素材的情况下,能量值越大,填充素材的纹理密度越高;在填充素材为渐变色填充素材的情况下,能量值越大,填充素材的渐变密度越高。
283.可选地,获取模块1902,还用于获取电子设备所处的地理位置;
284.输出模块1903,还用于在地理位置位于预设地点的情况下,输出告警信息,告警信息用于提示用户电子设备所处的地理位置存在有害对象,可通过电子设备检测有害对象的对象信息。
285.可选地,输出模块1903,还用于在地理位置位于预设地点,且电子设备所处位置的气压值在预设地点对应的危险气压范围内的情况下,输出告警信息。
286.综上所述,本技术实施例提供的多光谱检测装置,通过获取透过拍摄模组中多光谱组件的多个波段的光线的能量值,从而根据每个波段的光线的能量值,输出拍摄模组的拍摄视场范围内的拍摄对象的对象信息,实现物体检测。由于入射至多光谱组件的光线即为拍摄模组的拍摄视场范围内拍摄对象的反射光线。相应的透过多光谱组件的多个波段的光线即为拍摄对象的反射光线中多个波段的光线,获取的多个波段的光线的能量值可以反映拍摄对象针对该多个波段的光线的反射情况。而任何物体对象均对不同波长的光线存在选择性反射的现象,且不同物体对象对不同波长的光线的反射情况不同。因此,根据入射至拍摄模组的多个波段的光线的能量值确定拍摄对象的对象信息的方式,相较于相关技术,可以实现更多物体的检测,提高物体检测的准确性。
287.本技术实施例中的多光谱检测装置可以是电子设备,也可以是电子设备中的部件,例如集成电路或芯片。该电子设备可以是终端,也可以为除终端之外的其他设备。示例性的,电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(mobile internet device,mid)、增强现实(augmented reality,ar)/虚拟现实(virtual reality,vr)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,umpc)、上网本或者个人数字助理(personal digital assistant,pda)等,还可以为服务器、网络附属存储器(network attached storage,nas)、个人计算机(personal computer,pc)、电视机(television,tv)、柜员机或者自助机等,本技术实施例不作具体限定。
288.本技术实施例中的多光谱检测装置可以为具有操作系统的装置。该操作系统可以为安卓(android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本技术实施例不作具体限定。
289.本技术实施例提供的多光谱检测装置能够实现图2或图12的方法实施例实现的各
个过程,为避免重复,这里不再赘述。
290.可选地,如图20所示,本技术实施例还提供一种电子设备2000,包括处理器2001和存储器2002,存储器2002上存储有可在所述处理器2001上运行的程序或指令,该程序或指令被处理器2001执行时实现上述多光谱检测方法实施例的各个步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。
291.需要说明的是,本技术实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
292.图21为实现本技术实施例的一种电子设备的硬件结构示意图。该电子设备2100包括拍摄模组,拍摄模组包括多光谱组件。电子设备2100还包括但不限于:射频单元2101、网络模块2102、音频输出单元2103、输入单元2104、传感器2105、显示单元2106、用户输入单元2107、接口单元2108、存储器2109、以及处理器2110等部件。
293.本领域技术人员可以理解,电子设备2100还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器2110逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图21中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
294.其中,处理器2110,用于获取透过所述多光谱组件的多个波段的光线的能量值;以及用于根据每个波段的光线的能量值,输出所述拍摄模组的拍摄视场范围内的拍摄对象的对象信息。
295.本技术实施例中,通过获取透过拍摄模组中多光谱组件的多个波段的光线的能量值,从而根据每个波段的光线的能量值,输出拍摄模组的拍摄视场范围内的拍摄对象的对象信息,实现物体检测。由于入射至多光谱组件的光线即为拍摄模组的拍摄视场范围内拍摄对象的反射光线。相应的透过多光谱组件的多个波段的光线即为拍摄对象的反射光线中多个波段的光线,获取的多个波段的光线的能量值可以反映拍摄对象针对该多个波段的光线的反射情况。而任何物体对象均对不同波长的光线存在选择性反射的现象,且不同物体对象对不同波长的光线的反射情况不同。因此,根据入射至拍摄模组的多个波段的光线的能量值确定拍摄对象的对象信息的方式,相较于相关技术,可以实现更多物体的检测,提高物体检测的准确性。
296.可选地,所述多光谱组件为fpi多光谱组件,所述fpi多光谱组件包括法珀腔动子和法珀腔定子,所述拍摄模组还包括图像传感器,所述图像传感器包括全光谱像素;所述fpi多光谱组件设置于所述全光谱像素的入光侧;处理器2110,还用于:
297.按照每个波段对应的透过距离,依次调节所述法珀腔动子和法珀腔定子之间的距离,以使每个所述波段的光线依次透过所述fpi多光谱组件入射至所述全光谱像素,所述透过距离为所述法珀腔动子和法珀腔定子之间的距离;
298.获取入射至所述全光谱像素的每个波段的光线的能量值。
299.可选地,所述对象信息包括对象名称,所述全光谱像素的数量为至少两个;处理器2110,还用于:
300.获取入射至每个全光谱像素的每个波段的光线的能量值;
301.根据入射至每个全光谱像素的每个波段的光线的能量值,得到每个全光谱像素对
应的对象信息;
302.在所述拍摄模组采集的原始图像中与每个全光谱像素对应的图像区域,显示对象信息标记,所述对象信息标记用于标记所述全光谱像素对应的对象信息;其中,所述原始图像为所述拍摄模组在所述拍摄视场范围内采集的所述拍摄对象的图像。
303.可选地,处理器2110,还用于:
304.根据每个全光谱像素的每个波段的光线的能量值,输出每个全光谱像素对应的能量曲线,所述能量曲线为光线的能量值随波长变化的曲线;
305.从预先存储的反射光谱集合中,查找与每个能量曲线的曲线形态相匹配的目标反射光谱,得到每个全光谱像素对应的目标反射光谱,所述反射光谱集合包括至少一个对象的反射光谱和每个反射光谱对应的对象属性信息;
306.将单个目标反射光谱对应的对象属性信息确定为所述单个目标反射光谱对应的全光谱像素的对象信息,以得到每个全光谱像素对应的对象信息。
307.可选地,所述对象信息包括对象名称,所述多光谱组件的数量为至少两个,所述多光谱组件为光谱滤光片,至少两个光谱滤波片组成至少两个滤光片组;每个滤光片组包括至少四个光谱滤光片,所述拍摄模组还包括图像传感器,所述至少两个滤光片组间隔设置于所述图像传感器的像素上,每个滤光片组的每个光谱滤光片透过的光线的波段不同;处理器2110,还用于:
308.获取透过每个滤光片组的每个波段的光线的能量值;
309.根据透过每个滤光片组的每个波段的光线的能量值,得到每个滤光片组对应的对象信息;
310.在所述拍摄模组采集的原始图像中与每个滤光片组对应的图像区域显示对象信息标记,所述对象信息标记用于标记所述滤光片组对应的对象信息;其中,所述原始图像为所述拍摄模组在所述拍摄视场范围内采集的所述拍摄对象的图像。
311.可选地,所述对象信息包括对象名称,所述多光谱组件的数量为至少两个,所述拍摄模组还包括图像传感器,所述图像传感器包括至少两个全光谱像素,每个多光谱组件分别对应设置于一个全光谱像素的入光侧,至少两个多光谱组件组成至少一个多光谱组件组,每个多光谱组件组包括至少两个多光谱组件,每个多光谱组件组的每个多光谱组件透过的光线的波段不同;处理器2110,还用于:
312.获取入射至每个目标全光谱像素的光线的能量值,所述目标全光谱像素为一个多光谱组件组对应的全光谱像素;
313.根据每个目标全光谱像素的光线的能量值,得到每个多光谱组件组对应的对象信息;
314.在所述拍摄模组采集的原始图像中与每个目标全光谱像素对应的图像区域显示对象信息标记,所述对象信息标记用于标记所述目标全光谱像素对应的对象信息;其中,所述原始图像为所述拍摄模组在所述拍摄视场范围内采集的所述拍摄对象的图像。
315.可选地,处理器2110,还用于:
316.根据每个目标全光谱像素的光线的能量值,输出每个多光谱组件组对应的能量曲线,所述能量曲线为入射多光谱组件组对应的全光谱像素的光线的能量值随波长变化的曲线;
317.从预先存储的反射光谱集合中,查找与每个能量曲线的曲线形态相匹配的目标反射光谱,得到每个多光谱组件组对应的目标反射光谱,所述反射光谱集合包括至少一个对象的反射光谱和每个反射光谱对应的对象属性信息;
318.将单个目标反射光谱对应的对象属性信息确定为所述单个目标反射光谱对应的多光谱组件组的对象信息,以得到每个多光谱组件组对应的对象信息。
319.可选地,所述对象信息还包括对象浓度信息;处理器2110,还用于:
320.根据入射至每个全光谱像素的光线的能量值,在所述原始图像中与每个全光谱像素对应的图像区域显示对象信息标记,所述对象信息标记还用于标记所述全光谱像素对应的对象浓度信息;其中,所述能量值越大,对象的浓度越大,不同的对象浓度对应不同标记参数的对象信息标记。
321.可选地,处理器2110,还用于:
322.根据所述对象名称指示的对象所对应的填充素材,确定每个全光谱像素对应的填充素材;
323.根据入射至每个全光谱像素的光线的能量值,确定每个全光谱像素对应的填充素材的标记参数;
324.按照每个全光谱像素对应的填充素材的标记参数,在所述拍摄模组采集的原始图像中与每个全光谱像素对应的图像区域,采用所述对象名称指示的对象所对应的填充素材进行填充;
325.其中,不同对象的填充素材不同,所述填充素材包括以下至少一项:纯色填充素材、纹理填充素材、渐变色填充素材;在所述填充素材为纯色填充素材的情况下,能量值越大,填充素材的颜色饱和度越高;在所述填充素材为纹理填充素材的情况下,能量值越大,填充素材的纹理密度越高;在所述填充素材为渐变色填充素材的情况下,能量值越大,填充素材的渐变密度越高。
326.可选地,处理器2110,还用于:
327.获取所述电子设备所处的地理位置;
328.在所述地理位置位于预设地点的情况下,输出告警信息,所述告警信息用于提示用户所述电子设备所处的地理位置存在有害对象,可通过所述电子设备检测所述有害对象的对象信息。
329.可选地,处理器2110,还用于:
330.在所述地理位置位于预设地点,且所述电子设备所处位置的气压值在所述预设地点对应的危险气压范围内的情况下,输出告警信息。
331.本技术实施例中,通过获取透过拍摄模组中多光谱组件的多个波段的光线的能量值,从而根据每个波段的光线的能量值,输出拍摄模组的拍摄视场范围内的拍摄对象的对象信息,实现物体检测。由于入射至多光谱组件的光线即为拍摄模组的拍摄视场范围内拍摄对象的反射光线。相应的透过多光谱组件的多个波段的光线即为拍摄对象的反射光线中多个波段的光线,获取的多个波段的光线的能量值可以反映拍摄对象针对该多个波段的光线的反射情况。而任何物体对象均对不同波长的光线存在选择性反射的现象,且不同物体对象对不同波长的光线的反射情况不同。因此,根据入射至拍摄模组的多个波段的光线的能量值确定拍摄对象的对象信息的方式,相较于相关技术,可以实现更多物体的检测,提高
物体检测的准确性。
332.应理解的是,本技术实施例中,输入单元2104可以包括图形处理器(graphics processing unit,gpu)21041和麦克风21042,图形处理器21041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元2106可包括显示面板21061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板21061。用户输入单元2107包括触控面板21071以及其他输入设备21072中的至少一种。触控面板21071,也称为触摸屏。触控面板21071可包括触摸检测装置和触摸控制器两个部分。其他输入设备21072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
333.存储器2109可用于存储软件程序以及各种数据。存储器2109可主要包括存储程序或指令的第一存储区和存储数据的第二存储区,其中,第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外,存储器2109可以包括易失性存储器或非易失性存储器,或者,存储器2109可以包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-only memory,rom)、可编程只读存储器(programmable rom,prom)、可擦除可编程只读存储器(erasable prom,eprom)、电可擦除可编程只读存储器(electrically eprom,eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory,ram),静态随机存取存储器(static ram,sram)、动态随机存取存储器(dynamic ram,dram)、同步动态随机存取存储器(synchronous dram,sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram,ddrsdram)、增强型同步动态随机存取存储器(enhanced sdram,esdram)、同步连接动态随机存取存储器(synch link dram,sldram)和直接内存总线随机存取存储器(direct rambus ram,drram)。本技术实施例中的存储器2109包括但不限于这些和任意其它适合类型的存储器。
334.处理器2110可包括一个或多个处理单元;可选的,处理器2110集成应用处理器和调制解调处理器,其中,应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作,调制解调处理器主要处理无线通信信号,如基带处理器。可以理解的是,上述调制解调处理器也可以不集成到处理器2110中。
335.本技术实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述多光谱检测方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
336.其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器rom、随机存取存储器ram、磁碟或者光盘等。
337.本技术实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述多光谱检测方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
338.应理解,本技术实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
339.本技术实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如上述多光谱检测方法实施例的各个过程,且能达到
相同的技术效果,为避免重复,这里不再赘述。
340.需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本技术实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
341.通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本技术的技术方案本质上或者说对相关技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本技术各个实施例所述的方法。
342.上面结合附图对本技术的实施例进行了描述,但是本技术并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本技术的启示下,在不脱离本技术宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本技术的保护之内。
技术特征:1.一种多光谱检测方法,应用于多光谱检测装置,所述多光谱检测装置包括拍摄模组,其特征在于,所述拍摄模组包括多光谱组件,所述方法包括:获取透过所述多光谱组件的多个波段的光线的能量值;根据每个波段的光线的能量值,输出所述拍摄模组的拍摄视场范围内的拍摄对象的对象信息。2.根据权利要求1所述的方法,其特征在于,所述多光谱组件为fpi多光谱组件,所述fpi多光谱组件包括法珀腔动子和法珀腔定子,所述拍摄模组还包括图像传感器,所述图像传感器包括全光谱像素;所述fpi多光谱组件设置于所述全光谱像素的入光侧;所述获取透过所述多光谱组件的多个波段的光线的能量值,包括:按照每个波段对应的透过距离,依次调节所述法珀腔动子和法珀腔定子之间的距离,以使每个所述波段的光线依次透过所述fpi多光谱组件入射至所述全光谱像素,所述透过距离为所述法珀腔动子和法珀腔定子之间的距离;获取入射至所述全光谱像素的每个波段的光线的能量值。3.根据权利要求2所述的方法,其特征在于,所述对象信息包括对象名称,所述全光谱像素的数量为至少两个;所述获取入射至所述全光谱像素的每个波段的光线的能量值,包括:获取入射至每个全光谱像素的每个波段的光线的能量值;所述根据每个波段的光线的能量值,输出所述拍摄模组的拍摄视场范围内的拍摄对象的对象信息,包括:根据入射至每个全光谱像素的每个波段的光线的能量值,得到每个全光谱像素对应的对象信息;在所述拍摄模组采集的原始图像中与每个全光谱像素对应的图像区域,显示对象信息标记,所述对象信息标记用于标记所述全光谱像素对应的对象信息;其中,所述原始图像为所述拍摄模组在所述拍摄视场范围内采集的所述拍摄对象的图像。4.根据权利要求3所述的方法,其特征在于,所述根据入射至每个全光谱像素的每个波段的光线的能量值,得到每个全光谱像素对应的对象信息,包括:根据每个全光谱像素的每个波段的光线的能量值,输出每个全光谱像素对应的能量曲线,所述能量曲线为光线的能量值随波长变化的曲线;从预先存储的反射光谱集合中,查找与每个能量曲线的曲线形态相匹配的目标反射光谱,得到每个全光谱像素对应的目标反射光谱,所述反射光谱集合包括至少一个对象的反射光谱和每个反射光谱对应的对象属性信息;将单个目标反射光谱对应的对象属性信息确定为所述单个目标反射光谱对应的全光谱像素的对象信息,以得到每个全光谱像素对应的对象信息。5.根据权利要求1所述的方法,其特征在于,所述对象信息包括对象名称,所述多光谱组件的数量为至少两个,所述多光谱组件为光谱滤光片,至少两个光谱滤波片组成至少两个滤光片组;每个滤光片组包括至少四个光谱滤光片,所述拍摄模组还包括图像传感器,所述至少两个滤光片组间隔设置于所述图像传感器的像素上,每个滤光片组的每个光谱滤光片透过的光线的波段不同;
所述获取透过所述多光谱组件的多个波段的光线的能量值,包括:获取透过每个滤光片组的每个波段的光线的能量值;所述根据每个波段的光线的能量值,输出所述拍摄模组的拍摄视场范围内的拍摄对象的对象信息,包括:根据透过每个滤光片组的每个波段的光线的能量值,得到每个滤光片组对应的对象信息;在所述拍摄模组采集的原始图像中与每个滤光片组对应的图像区域显示对象信息标记,所述对象信息标记用于标记所述滤光片组对应的对象信息;其中,所述原始图像为所述拍摄模组在所述拍摄视场范围内采集的所述拍摄对象的图像。6.根据权利要求1所述的方法,其特征在于,所述对象信息包括对象名称,所述多光谱组件的数量为至少两个,所述拍摄模组还包括图像传感器,所述图像传感器包括至少两个全光谱像素,每个多光谱组件分别对应设置于一个全光谱像素的入光侧,至少两个多光谱组件组成至少一个多光谱组件组,每个多光谱组件组包括至少两个多光谱组件,每个多光谱组件组的每个多光谱组件透过的光线的波段不同;所述获取透过所述多光谱组件的多个波段的光线的能量值,包括:获取入射至每个目标全光谱像素的光线的能量值,所述目标全光谱像素为一个多光谱组件组对应的全光谱像素;所述根据每个波段的光线的能量值,输出所述拍摄模组的拍摄视场范围内的拍摄对象的对象信息,包括:根据每个目标全光谱像素的光线的能量值,得到每个多光谱组件组对应的对象信息;在所述拍摄模组采集的原始图像中与每个目标全光谱像素对应的图像区域,显示对象信息标记,所述对象信息标记用于标记所述目标全光谱像素对应的对象信息;其中,所述原始图像为所述拍摄模组在所述拍摄视场范围内采集的所述拍摄对象的图像。7.根据权利要求6所述的方法,其特征在于,所述根据每个目标全光谱像素的光线的能量值,得到每个多光谱组件组对应的对象信息,包括:根据每个目标全光谱像素的光线的能量值,输出每个多光谱组件组对应的能量曲线,所述能量曲线为入射多光谱组件组对应的全光谱像素的光线的能量值随波长变化的曲线;从预先存储的反射光谱集合中,查找与每个能量曲线的曲线形态相匹配的目标反射光谱,得到每个多光谱组件组对应的目标反射光谱,所述反射光谱集合包括至少一个对象的反射光谱和每个反射光谱对应的对象属性信息;将单个目标反射光谱对应的对象属性信息确定为所述单个目标反射光谱对应的多光谱组件组的对象信息,以得到每个多光谱组件组对应的对象信息。8.根据权利要求3所述的方法,其特征在于,所述对象信息还包括对象浓度信息;所述在所述拍摄模组采集的原始图像中与每个全光谱像素对应的图像区域,显示对象信息标记,包括:根据入射至每个全光谱像素的光线的能量值,在所述原始图像中与每个全光谱像素对应的图像区域显示对象信息标记,所述对象信息标记还用于标记所述全光谱像素对应的对
象浓度信息;其中,所述能量值越大,对象的浓度越大,不同的对象浓度对应不同标记参数的对象信息标记。9.根据权利要求8所述的方法,其特征在于,所述根据入射至每个全光谱像素的光线的能量值,在所述原始图像中与每个全光谱像素对应的图像区域显示对象信息标记,包括:根据所述对象名称指示的对象所对应的填充素材,确定每个全光谱像素对应的填充素材;根据入射至每个全光谱像素的光线的能量值,确定每个全光谱像素对应的填充素材的标记参数;按照每个全光谱像素对应的填充素材的标记参数,在所述拍摄模组采集的原始图像中与每个全光谱像素对应的图像区域,采用所述对象名称指示的对象所对应的填充素材进行填充;其中,不同对象的填充素材不同,所述填充素材包括以下至少一项:纯色填充素材、纹理填充素材、渐变色填充素材;在所述填充素材为纯色填充素材的情况下,能量值越大,填充素材的颜色饱和度越高;在所述填充素材为纹理填充素材的情况下,能量值越大,填充素材的纹理密度越高;在所述填充素材为渐变色填充素材的情况下,能量值越大,填充素材的渐变密度越高。10.根据权利要求1所述的方法,其特征在于,所述获取透过所述多光谱组件的多个波段的光线的能量值之前,所述方法还包括:获取所述电子设备所处的地理位置;在所述地理位置位于预设地点的情况下,输出告警信息,所述告警信息用于提示用户所述电子设备所处的地理位置存在有害对象,可通过所述电子设备检测所述有害对象的对象信息。11.根据权利要求10所述的方法,其特征在于,所述在所述地理位置位于预设地点的情况下,输出告警信息,包括:在所述地理位置位于预设地点,且所述电子设备所处位置的气压值在所述预设地点对应的危险气压范围内的情况下,输出告警信息。12.一种多光谱检测装置,其特征在于,所述装置包括:拍摄模组,所述拍摄模组包括多光谱组件;获取模块,用于获取透过所述多光谱组件的多个波段的光线的能量值;输出模块,用于根据每个波段的光线的能量值,输出所述拍摄模组的拍摄视场范围内的拍摄对象的对象信息。13.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1至11任一项所述的多光谱检测方法的步骤。
技术总结本申请公开了一种多光谱检测方法、装置及电子设备,属于数据处理技术领域。多光谱检测方法,应用于多光谱检测装置,所述多光谱检测装置包括拍摄模组,所述拍摄模组包括多光谱组件,所述方法包括:获取透过所述多光谱组件的多个波段的光线的能量值;根据每个波段的光线的能量值,输出所述拍摄模组的拍摄视场范围内的拍摄对象的对象信息。的拍摄对象的对象信息。的拍摄对象的对象信息。
技术研发人员:云洪 周静
受保护的技术使用者:维沃移动通信有限公司
技术研发日:2022.06.24
技术公布日:2022/11/1