图像检测方法、装置、可读存储介质及车辆与流程

专利2024-04-07  98



1.本公开涉及车辆技术领域,具体地,涉及一种图像检测方法、装置、可读存储介质及车辆。


背景技术:

2.抬头显示器(head up display,hud)是一种将图像投影显示到驾驶员前方视野中的显示装置,其主要是利用光学反射的原理,将车辆行驶相关信息(例如,车速,导航路线,剩余油量等信息)以二维图像的方式投影显示在车辆的挡风玻璃上,驾驶员透过挡风玻璃往前方看的时候,可以在挡风玻璃上看到一张虚像。
3.相比于传统车辆驾驶员需要低头查看仪表盘和中控屏幕,驾驶员在查看车辆行驶相关信息时无需低头,避免了驾驶员视线在图像和路面之间来回切换,减小了危机反应时间,提高了驾驶安全性。


技术实现要素:

4.本公开的目的是提供一种图像检测方法、装置、可读存储介质及车辆,以提高驾驶安全性。
5.为了实现上述目的,本公开第一方面提供一种图像检测方法,包括:
6.获取待检测图像;
7.确定所述待检测图像中的目标图像的相关信息,其中,所述目标图像为能够通过投影设备投影到车辆挡风玻璃上进行显示的图像;
8.根据所述目标图像的相关信息,确定所述待检测图像是否为异常图像。
9.可选地,所述目标图像的相关信息包括以下至少一者:
10.所述目标图像在所述待检测图像的非描画区域内的第一占比、所述目标图像在所述待检测图像中的第二占比和所述目标图像中的每一子图像与所述子图像对应的界面设计模板信息的匹配结果。
11.可选地,所述目标图像为由非黑色像素点组成的图像;
12.在所述相关信息包括所述第一占比的情况下,所述确定所述待检测图像中的目标图像的相关信息,包括:
13.在所述待检测图像的非描画区中选取m个第一像素点,其中,所述m个第一像素点均匀分布;
14.若所述m个第一像素点中存在非黑色的像素点,则确定所述目标图像在所述待检测图像的非描画区域内的第一占比p1。
15.可选地,在所述m个第一像素点中不存在非黑色像素点,所述相关信息还包括所述第二占比的情况下,所述确定所述待检测图像中的目标图像的相关信息,还包括:
16.在所述待检测图像的描画区内选取n个第二像素点,其中,所述n个第二像素点均匀分布;
17.在所述n个第二像素点中确定非黑色像素点的数量n;
18.通过以下公式,p2=n/(m+n)*100%,确定所述目标图像在所述待检测图像中的第二占比p2。
19.可选地,在所述相关信息包括所述目标图像中的每一子图像与所述子图像对应的界面设计模板信息的匹配结果的情况下,所述确定所述待检测图像中的目标图像的相关信息,包括:
20.根据投影设备的用户界面布局信息,对所述待检测图像进行分割,以得到多个子图像;
21.获取所述多个子图像各自对应的界面设计模板信息;
22.针对每一子图像,根据所述子图像和所述子图像对应的界面设计模板信息,确定所述子图像与所述子图像对应的界面设计模板信息的匹配结果。
23.可选地,所述获取所述多个子图像各自对应的界面设计模板信息,包括:
24.获取投影设备的用户界面中多个显示区域各自的界面设计模板库,其中,每一所述界面设计模板库包括多个界面设计模板信息;
25.针对每一子图像,确定与该子图像对应的显示区域的界面设计模板库,并将所述界面设计模板库中包括的多个界面设计模板信息,确定为所述子图像对应的界面设计模板信息;
26.所述显示区域的界面设计模板库通过以下方式生成:
27.根据投影设备的用户界面布局信息,对所述投影设备的用户界面进行分割,以得到多个显示区域;
28.针对每一显示区域,确定所述显示区域对应的多张界面设计模板,利用哈希算法分别生成该多张界面设计模板各自对应的哈希值,以及,根据多张界面设计模板各自对应的哈希值生成所述显示区域的界面设计模板库。
29.可选地,在所述相关信息包括所述第二占比和所述目标图像中的每一子图像与所述子图像对应的界面设计模板信息的匹配结果的情况下,所述根据所述目标图像的相关信息,确定所述待检测图像是否为异常图像,包括:
30.在所述第二占比和所述子图像与所述子图像对应的界面设计模板信息的匹配结果不满足预设的合格条件时,确定所述待检测图像为异常图像;
31.所述预设的合格条件包括所述第二占比小于或等于预设数值,并且,每一子图像与所述子图像对应的界面设计模板信息的匹配结果为第一结果,其中,所述第一结果表征在所述显示区域内存在与所述子图像匹配的界面设计模板。
32.本公开第二方面提供一种图像检测装置,包括:
33.第一获取模块,用于获取待检测图像;
34.第一确定模块,用于确定所述待检测图像中的目标图像的相关信息,其中,所述目标图像为能够通过投影设备投影到车辆挡风玻璃上进行显示的图像;
35.第二确定模块,用于根据所述目标图像的相关信息,确定所述待检测图像是否为异常图像。
36.可选地,所述目标图像的相关信息包括以下至少一者:
37.所述目标图像在所述待检测图像的非描画区域内的第一占比、所述目标图像在所
述待检测图像中的第二占比和所述目标图像中的每一子图像与所述子图像对应的界面设计模板信息的匹配结果。
38.可选地,所述目标图像为由非黑色像素点组成的图像;
39.在所述相关信息包括所述第一占比的情况下,所述第一确定模块包括:
40.第一选取子模块,用于在所述待检测图像的非描画区中选取m个第一像素点,其中,所述m个第一像素点均匀分布;
41.第一确定子模块,用于若所述m个第一像素点中存在非黑色的像素点,则确定所述目标图像在所述待检测图像的非描画区域内的第一占比p1。
42.可选地,在所述m个第一像素点中不存在非黑色像素点,所述相关信息还包括所述第二占比的情况下,所述第一确定模块还包括:
43.第二选取子模块,用于在所述待检测图像的描画区内选取n个第二像素点,其中,所述n个第二像素点均匀分布;
44.第二确定子模块,用于在所述n个第二像素点中确定非黑色像素点的数量n;
45.第三确定子模块,用于通过以下公式,p2=n/(m+n)*100%,确定所述目标图像在所述待检测图像中的第二占比p2。
46.可选地,在所述相关信息包括所述目标图像中的每一子图像与所述子图像对应的界面设计模板信息的匹配结果的情况下,所述第一确定模块包括:
47.分割子模块,用于根据投影设备的用户界面布局信息,对所述待检测图像进行分割,以得到多个子图像;
48.获取子模块,用于获取所述多个子图像各自对应的界面设计模板信息;
49.第六确定子模块,用于针对每一子图像,根据所述子图像和所述子图像对应的界面设计模板信息,确定所述子图像与所述子图像对应的界面设计模板信息的匹配结果。
50.可选地,所述获取子模块用于:
51.获取投影设备的用户界面中多个显示区域各自的界面设计模板库,其中,每一所述界面设计模板库包括多个界面设计模板信息;
52.针对每一子图像,确定与该子图像对应的显示区域的界面设计模板库,并将所述界面设计模板库中包括的多个界面设计模板信息,确定为所述子图像对应的界面设计模板信息;
53.所述显示区域的界面设计模板库通过以下方式生成:
54.根据投影设备的用户界面布局信息,对所述投影设备的用户界面进行分割,以得到多个显示区域;
55.针对每一显示区域,确定所述显示区域对应的多张界面设计模板,利用哈希算法分别生成该多张界面设计模板各自对应的哈希值,以及,根据多张界面设计模板各自对应的哈希值生成所述显示区域的界面设计模板库。
56.可选地,在所述相关信息包括所述第二占比和所述目标图像中的每一子图像与所述子图像对应的界面设计模板信息的匹配结果的情况下,所述第二确定模块包括:
57.第七确定子模块,用于在所述第二占比和所述子图像与所述子图像对应的界面设计模板信息的匹配结果不满足预设的合格条件时,确定所述待检测图像为异常图像;
58.所述预设的合格条件包括所述第二占比小于或等于预设数值,并且,每一子图像
与所述子图像对应的界面设计模板信息的匹配结果为第一结果,其中,所述第一结果表征在所述显示区域内存在与所述子图像匹配的界面设计模板。
59.本公开第三方面提供一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本公开第一方面所述方法的步骤。
60.本公开第四方面提供一种车辆,包括:
61.投影设备,用于将所述待检测图像投影到车辆挡风玻璃上;
62.存储器,其上存储有计算机程序;
63.处理器,用于执行所述存储器中的所述计算机程序,以实现本公开第一方面所述方法的步骤。
64.采用上述技术方案,确定待检测图像中的目标图像的相关信息,其中,目标图像为能够通过投影设备投影到车辆挡风玻璃上进行显示的图像,根据目标图像的相关信息确定待检测图像是否为异常图像,如此,根据能够通过投影设备投影到车辆挡风玻璃上进行显示的图像的相关信息,确定待检测图像是否为异常图像,提高对待检测图像检测的可靠性。并且,后续根据待检测图像的检测结果,确定是否将图像投影到车辆挡风玻璃上显示,可以确保车辆挡风玻璃上投影的图像不影响驾驶员驾驶,进而提高驾驶安全性。
65.本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
66.附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
67.图1是根据一示例性实施例示出的一种图像检测方法的流程图。
68.图2是根据一示例性实施例示出的一种待检测图像的示意图。
69.图3是根据一示例性实施例示出的确定待检测图像中的目标图像的相关信息的方法流程图。
70.图4是根据一示例性实施例示出的一种对待检测图像分割得到子图像的示意图。
71.图5是根据一示例性实施例示出的一种对用户界面分割的示意图。
72.图6是根据一示例性实施例示出的一种图像检测装置的框图。
73.图7是根据一示例性实施例示出的一种车辆的框图。
74.图8是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
75.以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。
76.需要说明的是,本公开中所有获取信号、信息或数据(例如,待检测图像、界面设计模板信息、界面设计模板库等)的动作都是在遵照所在地国家相应的数据保护法规政策的前提下,并获得由相应装置所有者给予授权的情况下进行的。
77.如背景技术所言,利用投影设备将车辆行驶相关信息投影到车辆的挡风玻璃上显示,可以有效避免因驾驶员频繁低头查看仪表盘和中控屏幕所导致的交通事故。然而,在挡风玻璃上显示的车辆行驶相关信息在一定程度上可能会遮挡驾驶员查看其前方路况的视
线,也就是说,当在挡风玻璃上显示的车辆行驶相关信息的区域较大时,可能导致驾驶员无法清晰地查看车辆行驶前方的道路信息,或者,当挡风玻璃上某一区域实际显示的内容与界面布局信息不一致时,可能会导致驾驶员看到错误的信息,从而导致交通事故的发生。因此,如果投影到车辆挡风玻璃上进行显示的图像出现异常,就会影响驾驶员安全驾驶。
78.有鉴于此,本公开提供一种图像检测方法、装置、可读存储介质及车辆,以确保车辆挡风玻璃上投影的图像不影响驾驶员驾驶,进而提高驾驶安全性。
79.图1是根据一示例性实施例示出的一种图像检测方法的流程图,该方法可以应用于具有处理能力的电子设备,例如车辆内处理器、控制器等,或者,该方法还可以应用于与车辆远程通信的服务器等。如图1所示,该方法可以包括以下步骤。
80.在步骤s11中,获取待检测图像。
81.首先应当理解的是,可以是在将图像投影到车辆挡风玻璃上之前对图像进行检测,也可以是在将图像投影到车辆挡风玻璃上之后对图像进行检测,还可以是在将图像投影到车辆挡风玻璃上的同时对图像进行检测,本公开对此不作具体限定。
82.在本公开中,待检测图像可以是投影设备输出的图像,该投影设备可以为抬头显示器hud、增强现实的抬头显示器ar-hud、组合型抬头显示器c-hud(combiner hud)、挡风玻璃抬头显示器w-hud(windshield hud)等,本公开对此不作具体限定。
83.在可能的实施例中,上述获取待检测图像的具体实施方式为:在投影设备未出现异常的情况下,从投影设备中获取待检测图像。
84.在该实施例中,在获取待检测图像之前,对输出待检测图像的投影设备进行监测,以确定该投影设备是否出现异常,并在未出现异常的情况下,响应于接收到用户输入的图像检测请求,从该投影设备中获取待检测图像。示例地,在投影设备未出现异常的情况下,可以利用共享内存或数据编码传递等技术,从投影设备中获取待检测图像。
85.在该实施例中,考虑到投影设备出现异常时,其输出的图像通常也是异常的,为了避免对异常的投影设备输出的异常图像进行检测产生的无效工作量,在该实施例中可以直接将该异常投影设备输出的待检测图像确定为异常图像,有效减少了检测工作量。此外,通过监测投影设备是否异常,可以在投影设备出现异常的情况下,快速识别出投影设备输出的待检测图像为异常图像。其中,投影设备出现异常可以包括投影设备未按照预设频率输出待检测图像、投影设备的通信功能异常等。
86.此外,在投影设备出现异常的情况下,还可以执行以下操作中的至少一者:控制自检系统对该投影设备进行自检、重启投影设备、输出异常提示信息等。
87.在步骤s12中,确定待检测图像中的目标图像的相关信息。其中,目标图像为能够通过投影设备投影到车辆挡风玻璃上进行显示的图像。
88.在步骤s13中,根据目标图像的相关信息,确定待检测图像是否为异常图像。
89.采用上述技术方案,确定待检测图像中的目标图像的相关信息,其中,目标图像为能够通过投影设备投影到车辆挡风玻璃上进行显示的图像,根据目标图像的相关信息确定待检测图像是否为异常图像,如此,根据能够通过投影设备投影到车辆挡风玻璃上进行显示的图像的相关信息,确定待检测图像是否为异常图像,提高对待检测图像检测的可靠性。并且,后续根据待检测图像的检测结果,确定是否将图像投影到车辆挡风玻璃上显示,可以确保车辆挡风玻璃上投影的图像不影响驾驶员驾驶,进而提高驾驶安全性。
90.为了使本领域技术人员更好地理解本公开所提供的图像检测方法,下面以一个完整的实施例对该图像检测方法进行详细说明。
91.在本公开中,目标图像的相关信息是指:当目标图像被投影到车辆挡车玻璃上进行显示时,能够表征目标图像会干扰驾驶员安全驾驶的相关信息。在实际应用中,考虑到当在挡风玻璃上显示的车辆行驶相关信息的区域较大时,或者,当挡风玻璃上某一区域实际显示的内容与界面布局信息不一致时,都可能会引起交通事故的发生,因此,步骤s12中的目标图像的相关信息可以包括以下中的至少一者:目标图像在待检测图像的非描画区域内的第一占比、目标图像在待检测图像中的第二占比和目标图像中的每一子图像与子图像对应的界面设计模板信息的匹配结果。
92.应当理解的是,抬头显示器hud投影原理为:发光装置将图像投影出去,黑色图像(由黑色像素点组成的图像)在hud发光装置中是不发光的,即,没有投影,所以在黑色图像在hud中是无法投影到挡风玻璃上的,所以黑色可以认为是安全色,非黑色为影响驾驶员安全驾驶的非安全色。因此,在本公开中,目标图像可以为由非黑色像素点组成的图像。
93.示例地,在第一种实施例中,目标图像的相关信息包括目标图像在待检测图像的非描画区域内的第一占比。应当理解的是,在投影设备的设计阶段可以定义投影设备的用户界面布局信息,其中,用户界面布局信息包括预先定义的用于显示车辆行驶相关信息的区域,以及该区域中每一显示区域对应显示的车辆行驶相关信息,等等。因此,可以根据投影设备的用户界面布局信息,可以将用户界面划分为描画区域和非描画区域。其中,描画区域为用户界面中用于显示车辆行驶相关信息的区域,非描画区域为用户界面中不显示车辆行驶相关信息的区域,也就是说,正常情况下,目标图像会显示在描画区域内,非描画区域内不会出现目标图像。
94.理论而言,在图像未出现异常时,非描画区域内不会存在非黑色像素点,因此,在该实施例中,可以根据非描画区域内是否存在非黑色像素点来确定待检测图像是否异常。示例地,上述步骤s12的具体实施方式可以为:在待检测图像的非描画区域中选取m个第一像素点,其中,m个第一像素点均匀分布;若m个第一像素点中存在非黑色的像素点,则确定目标图像在待检测图像的非描画区域内的第一占比p1。
95.在本公开中,为了确保所选取的m个第一像素点能够反映出待检测图像的非描画区域内像素点的分布,所选取的m个像素点均匀分布在待检测图像的非描画区域内。
96.其中,将m个第一像素点中存在非黑色的像素点的数量与m的比值作为第一占比p1,当第一占比p1不为0时表明非描画区域存在非黑色的像素点,当第一占比p1为0时表明非描画区域不存在非黑色的像素点。也即是说,当第一占比p1不为0时确定待检测图像为异常图像,从而可以实现对待检测图像的快速检查,并反馈图像异常。
97.示例地,图2是根据一示例性实施例示出的一种待检测图像的示意图。如图2所示,车辆行驶相关信息可以包括用于指示当前道路上是否存在摄像头的图标、当前限速数值、用于指示是否系安全带的图标、导航路径、自适应巡航图标、路线剩余距离和预计行驶时长。在图2中,待检测图像中的矩形点表征选取的m个第一像素点。
98.在选取出第一像素点之后,采样每一第一像素点的颜色信息,根据该颜色信息确定在第一像素点中是否存在颜色为非黑色的像素点。由于第一像素点均位于非描画区域内,因此,若待检测图像的布局与用户界面布局信息表征的布局一致,则第一像素点中将不
存在颜色为非黑色的像素点,即,第一占比p1为0,若在第一像素点中存在颜色为非黑色的像素点,即,第一占比p1不为0,表明投影设备输出的待检测图像的布局与用户界面布局信息表征的布局不一致,即,确定待检测图像为异常图像。
99.此外,考虑到待检测图像中的目标图像的面积越大,投影显示在车辆挡风玻璃上的图像面积就越大,相应地,驾驶员所能观察到的前方路况的区域就越小,越容易导致交通事故的发生。因此,在本公开中,在第二种实施例中,还可以根据目标图像在待检测图像中的第二占比对待检测图像进行检测。
100.在该实施例中的一种可能方式中,目标图像的相关信息包括目标图像在待检测图像中的第二占比。示例地,首先,在待检测图像中选取l个第三像素点,且,该l个第三像素点均匀分布在待检测图像中的描画区域和非描画区域内。接着,在l个第三像素点中确定非黑色像素点的数量m。最后,通过公式p2=(m/l)*100%,确定目标图像在待检测图像中的第二占比,并根据该第二占比对待检测图像是否为异常图像进行检测。
101.按照该方式对待检测图像进行检测时,可能会存在非描画区域内存在非黑色像素点且第二占比小于预设数值的情况,即,在该方式中可能会将异常图像检测为正常图像,从而导致对图像检测的准确度较低。因此,在该实施例中的另一种可能方式中,在确定非描画区域内不存在非黑色像素点的情况下,可以进一步确定目标图像在待检测图像中的第二占比。即,在m个第一像素点中不存在非黑色像素点,且相关信息还包括第二占比的情况下,可以根据第二占比确定待检测图像是否为异常图像。相应地,上述步骤s12的具体实施方式可以为:在待检测图像的描画区内选取n个第二像素点,其中,n个第二像素点均匀分布;在n个第二像素点中确定非黑色像素点的数量n;通过以下公式,p2=n/(m+n)*100%,确定目标图像在待检测图像中的第二占比p2。其中,可以按照上述第一种实施例中所描述的方式确定非描画区域内是否存在非黑色像素点,此处不再赘述。
102.示例地,首先,在m个第一像素点中不存在非黑色像素点的情况下,即,第一占比p1为0时,在待检测图像的描画区域内选取n个第二像素点,并确定每一第二像素点的颜色。类似地,为了提高所确定的目标图像在待检测图像中的第二占比的准确性,在一种方式中,所选择的n个第二像素点均匀分布在待检测图像的描画区域内。例如,如图2所示,圆点表征在待检测图像中均匀选取的n个第二像素点。
103.接着,在n个第二像素点中确定非黑色像素点的数量n。由于所选取的n个第二像素点均匀分布在待检测图像的描画区域内,因此,在第二像素点中会存在非黑色像素点。
104.最后,通过公式,p2=n/(m+n)*100%确定目标图像在待检测图像中的第二占比p2。
105.采用上述技术方案,无需遍历待检测图像中的所有像素点,可以快速确定出目标图像在待检测图像中的第二占比,提高对图像检测的效率。
106.此外,还可以通过以下方式确定目标图像在待检测图像中的第二占比p2:首先,对待检测图像进行二值化处理生成二值化图像。其中,在二值化处理过程中,将颜色为非黑色的像素点的灰度值均设置为1,颜色为黑色的像素点的灰度值设置为0,这样,生成的二值化图像中像素点的灰度值分别为0或1。接着,在二值化图像中确定灰度值为1的区域在整张图像区域的比值。例如,确定图像中灰度值为1的像素点的数量与二值化图像中所有像素点的数量的比值,并将其确定为目标图像在待检测图像中的第二占比。
107.在该方式中,需要分析待检测图像中的所有像素点生成二值化图像,以及,确定灰度值为1的像素点的数量和二值化图像中所有像素点的数量,即,需要遍历待检测图像中的所有像素点,分析工作量较大,但是,所确定的第二占比的准确度较高。应当理解的是,在实际应用中,可以根据需求选择不同方式确定目标图像在待检测图像中的第二占比,本公开对此不作具体限定。
108.在按照上述任一方式确定出目标图像在待检测图像中的第二占比之后,可以根据该第二占比确定待检测图像是否为异常图像。示例地,上述步骤s13的具体实施方式可以为:在第二占比小于或等于预设数值时,确定待检测图像为正常图像;以及在第二占比大于预设数值时,确定待检测图像为异常图像。
109.在本公开中,在确定待检测图像为异常图像的情况下,还可以根据第二占比的大小划分待检测图像的异常等级。其中,第二占比越大对应的待检测图像的异常等级就越高,即,待检测图像的异常程度就越大。
110.示例地,预设数值为30%,当第二占比大于30%且小于或等于50%时,确定待检测图像的异常等级为第一等级,当第二占比大于50%且小于或等于80%时,确定待检测图像的异常等级为第二等级,当第二占比大于80%,确定待检测图像的异常等级为第三等级。其中,第一等级的异常程度小于第二等级的异常程度,第二等级的异常程度小于第三等级的异常程度。比如,第一等级的异常程度可以为一般异常,第二等级的异常程度可以为严重异常,第三等级的异常程度可以为致命异常等。
111.此外,在确定待检测图像为异常图像的情况下,还可以禁止投影设备将其输出的图像投影到车辆挡风玻璃上进行显示,以提高驾驶安全性。
112.采用上述技术方案,根据目标图像在待检测图像中的第二占比,对待检测图像是否为异常图像进行检测,进而在后续根据待检测图像的检测结果,确定是否将图像投影到车辆挡风玻璃上显示时,可以确保车辆挡风玻璃上投影的图像不影响驾驶员驾驶,进而提高驾驶安全性。
113.在实际应用中,除了车辆挡风玻璃上显示的图像面积的大小会影响驾驶安全性之外,车辆挡风玻璃上所显示图像的布局是否与投影设备的用户界面的布局一致,也会影响驾驶安全性。因此,还可以对待检测图像的布局进行检测,以确定待检测图像是否为异常图像,即,在第三种实施例中,目标图像的相关信息包括目标图像中的每一子图像与子图像对应的界面设计模板信息的匹配结果。
114.图3是根据一示例性实施例示出的确定待检测图像中的目标图像的相关信息的方法流程图。如图3所示,确定待检测图像中的目标图像的相关信息的方法可以包括以下步骤。
115.在步骤s121中,根据投影设备的用户界面布局信息,对待检测图像进行分割,以得到多个子图像。
116.如上所述,投影设备的用户界面布局信息包括图像中每一区域用于显示的内容,例如,图像中区域a1显示用于指示当前道路上是否存在摄像头的图标,图像中区域a2显示用于当前限速数值等等。因此,可以根据投影设备的用户界面布局信息对待检测图像进行分割,以得到多个子图像。示例地,图4是根据一示例性实施例示出的一种对待检测图像分割得到子图像的示意图。在图4中每一个矩形框记为一个子图像。
117.在步骤s122中,获取多个子图像各自对应的界面设计模板信息。
118.其中,界面设计模板信息是预先设置的。获取多个子图像各自对应的界面设计模板信息包括以下步骤:
119.(1)获取投影设备的用户界面中多个显示区域各自的界面设计模板库,其中,每一界面设计模板库包括多个界面设计模板信息。
120.在本公开中,用户界面包括多个显示区域,每一显示区域均具有一界面设计模块库,且该界面设计模块库包括多个界面设计模板信息。
121.值的说明的是,对于一个投影设备而言,投影设备的用户界面的显示区域以及每一显示区域的界面设计模板库通常是固定不变的。因此,本公开中,界面设计模板库可以是预先生成的,在需要对图像进行检测时获取并使用该界面设计模板库。或者,界面设计模板库是在对图像进行检测的过程中生成的,例如,在获取到待检测图像时生成界面设计模板库。本公开对此不作具体限定。
122.下面对显示区域的界面设计模板库的生成方式进行说明。
123.首先,获取投影设备的用户界面布局信息,根据该用户界面布局信息,对投影设备的用户界面进行分割,以得到多个显示区域。
124.在一种可能的方式中,根据用户界面布局信息对用户界面分割,可以将投影设备的用户界面分割为动态显示区域、静态显示区域和无图像显示区域,上述得到的多个显示区域包括动态显示区域、静态显示区域和无图像显示区域。其中,动态显示区域用于显示车辆在行驶过程中实时变化的环境信息,例如,车道线的图像、前方车辆的图像、前方行人图像等。静态显示区域用于显示车辆仪表盘和/或中控屏幕中显示的信息,例如,用于指示当前道路上是否存在摄像头的图标、当前限速数值、用于指示是否系安全带的图标、导航路径图标、自适应巡航图标、路线剩余距离和预计行驶时长。无图像显示区域内不显示任何图像。
125.示例地,图5是根据一示例性实施例示出的一种对用户界面分割的示意图。在图5中,第一区域表征对用户界面进行分割得到的动态显示区域、第二区域表征对用户界面进行分割得到的静态显示区域和第三区域表征对用户界面进行分割得到的无图像显示区域。其中,第三区域为用户界面中除第一区域和第二区域之外的所有区域。
126.然而,考虑到无图像显示区域内不显示图像,即,该区域的界面设计模板库中不存在任何界面设计模板信息,因此无需构建该无图像显示区域的界面设计模板库。此外,动态显示区域内显示的图像与车辆的行驶环境密切相关,且图像是无规律的图像,在投影设备设计阶段无法提供这些图像的模板,因此,也无需构建该动态显示区域的界面设计模板库。
127.因此,在另一种可能的方式中,用户界面布局信息包括静态显示区域中每一显示位置对应显示的车辆行驶相关信息,根据每一显示位置对应显示的车辆行驶相关信息,还可以将静态显示区域分割成多个显示有车辆行驶相关信息的显示区域,上述显示区域为显示有车辆行驶相关信息的显示区域。示例地,可以根据静态显示区域中显示的车辆行驶相关信息进行分割,例如,将用于显示用于指示当前道路上是否存在摄像头的图标的区域分割为一个显示区域,将显示当前限速数值的区域分割为一个显示区域,等等。
128.接着,针对每一显示区域,确定显示区域对应的多张界面设计模板,利用哈希算法分别生成该多张界面设计模板各自对应的哈希值,以及,根据多张界面设计模板各自对应
的哈希值生成显示区域的界面设计模板库。
129.其中,每一显示区域对应的多张界面设计模板均是在投影设备的设计阶段预先设计的。示例地,针对用于显示当前限速数值的区域,预先设计多帧图像,且每一帧图像中包括的限速数值均不相同,这些图像称为界面设计模板。
130.按照上述方式,即可生成每一显示区域的界面设计模板库,且该界面设计模板库中包括的每一张界面设计模板对应的哈希值即为界面设计模板信息。
131.(2)针对每一子图像,确定与该子图像对应的显示区域的界面设计模板库,并将界面设计模板库中包括的多个界面设计模板信息,确定为子图像对应的界面设计模板信息。
132.在本公开中,根据投影设备的用户界面布局信息,确定每一子图像对应的显示区域。示例地,针对图4所示的当前限速数值的子图像,根据布局信息包括的每一显示区域对应显示的车辆行驶相关信息,确定用于显示当前限速数值的显示区域,并将该显示区域的界面设计模板库确定为与子图像对应的显示区域的界面设计模板库,以及,将该界面设计模板库中包括的多个界面设计模板信息确定为子图像对应的界面设计模板信息。
133.返回图3,在步骤s123中,针对每一子图像,根据子图像和子图像对应的界面设计模板信息,确定子图像与子图像对应的界面设计模板信息的匹配结果。
134.在本公开中,确定子图像与所述子图像对应的界面设计模板信息的匹配结果即是确定子图像对应的界面设计模板信息中是否存在与子图像相匹配的界面设计模板信息。
135.示例地,上述步骤s123的具体实施方式可以为:
136.利用哈希算法生成子图像对应的哈希值;计算子图像对应的哈希值与界面设计模块库中包括的每一张界面设计模板对应的哈希值之间的汉明距离,以得到多个汉明距离;若在多个汉明距离中存在小于或等于预设阈值的汉明距离,则确定子图像与子图像对应的界面设计模板信息的匹配结果为第一结果,第一结果用于表征在显示区域内存在与子图像相匹配的界面设计模板;以及若每一汉明距离均大于预设阈值,则确定子图像与子图像对应的界面设计模板信息的匹配结果为第二结果,第二结果用于表征在显示区域内不存在与子图像相匹配的界面设计模板。
137.在本公开中,假设显示区域对应的界面设计模板数量为k,则生成的该显示区域的界面设计模板库中就包括k个哈希值,分别计算子图像对应的哈希值与显示区域的界面设计模板库中包括的每一哈希值的汉明距离,即可得到k个汉明距离。其中,子图像对应的哈希值的位数与每一张界面设计模板对应的哈希值位数相同。
138.若在k个汉明距离中存在小于或等于预设阈值的汉明距离,认为在该显示区域对应的多张界面设计模板中存在与子图像相匹配的界面设计模板,即,该子图像显示的内容与投影设备的用户界面布局信息中定义的该显示区域显示的内容一致。若在k个汉明距离中每一汉明距离均大于预设阈值,则确定子图像显示的内容与投影设备的用户界面布局信息中定义的该显示区域显示的内容不一致,表征待检测图像为异常图像。
139.应当理解的是,以上仅以一个子图像为例描述确定在显示区域内是否存在与子图像相匹配的界面设计模板的方式,在实际应用中,需要针对每一个子图像均按照上述方式确定在其对应的显示区域内是否存在与子图像相匹配的界面设计模板。
140.相应地,在该实施例中,步骤s13根据目标图像的相关信息,确定待检测图像是否为异常图像的具体实施方式为:若存在匹配结果为第二结果的子图像,则确定待检测图像
为异常图像。
141.如上所述,若子图像与子图像对应的界面设计模板信息的匹配结果为第二结果,则表明该子图像显示的内容与投影设备的用户界面布局信息中定义的该显示区域显示的内容不一致,因此,若在多个子图像中存在至少一个匹配结果为第二结果的子图像,则确定待检测图像为异常图像。
142.在第四种实施例中,目标图像的相关信息包括目标图像在待检测图像中的第二占比和目标图像中的每一子图像与子图像对应的界面设计模板信息的匹配结果,其中,第二占比和每一子图像与子图像对应的界面设计模板信息的匹配结果均可以按照上述方式进行确定,本公开对此不作赘述。
143.在该实施例中,步骤s13根据目标图像的相关信息,确定待检测图像是否为异常图像的具体实施方式可以为:在第二占比和子图像与子图像对应的界面设计模板信息的匹配结果不满足预设的合格条件时,确定待检测图像为异常图像,合格条件包括第二占比小于或等于预设数值,并且,每一子图像与子图像对应的界面设计模板信息的匹配结果为第一结果,其中,第一结果表征在显示区域内存在与子图像匹配的界面设计模板。
144.在本公开中,在第二占比和子图像与子图像对应的界面设计模板信息的匹配结果满足上述合格条件时,确定待检测图像为正常图像,否则确定待检测图像为异常图像。
145.此外,若确定待检测图像为异常图像,还可以进一步根据第二占比和子图像与子图像对应的界面设计模板信息的匹配结果确定待检测图像的异常等级。在一种实施例中,在待检测图像为异常图像的情况下,根据第二占比和子图像与子图像对应的界面设计模板信息的匹配结果确定待检测图像的异常等级。应当理解的是,投影设备异常也会导致待检测图像异常,因此,在另一种实施例中,可以基于第二占比、子图像与子图像对应的界面设计模板信息的匹配结果和投影设备是否异常来确定待检测图像的异常等级。
146.例如,表1示出了第二占比、子图像与子图像对应的界面设计模板信息的匹配结果和投影设备是否异常与待检测图像的异常等级的对应关系,且在表1中还示出了异常等级所表征的异常程度。
147.表1
[0148][0149]
如此,在确定出待检测图像为异常图像时,还可以进一步确定出待检测图像的异常等级,提高了对图像检测的灵活性。
[0150]
此外,在确定出待检测图像的异常等级之后,还可以执行相应的操作,例如,输出报警信息,以提示驾驶员需要对投影设备输出的图像出现异常,或者,禁止投影设备使能,
即,不在车辆挡风玻璃上投影显示车辆行驶相关信息,等等。
[0151]
基于同一发明构思,本公开还提供一种图像检测装置。图6是根据一示例性实施例示出的一种图像检测装置的框图。如图6所示,该图像检测装置500包括:
[0152]
第一获取模块501,用于获取待检测图像;
[0153]
第一确定模块502,用于确定所述待检测图像中的目标图像的相关信息,其中,所述目标图像为能够通过投影设备投影到车辆挡风玻璃上进行显示的图像;
[0154]
第二确定模块503,用于根据所述目标图像的相关信息,确定所述待检测图像是否为异常图像。
[0155]
可选地,所述目标图像的相关信息包括以下至少一者:
[0156]
所述目标图像在所述待检测图像的非描画区域内的第一占比、所述目标图像在所述待检测图像中的第二占比和所述目标图像中的每一子图像与所述子图像对应的界面设计模板信息的匹配结果。
[0157]
可选地,所述目标图像为由非黑色像素点组成的图像;
[0158]
在所述相关信息包括所述第一占比的情况下,所述第一确定模块502包括:
[0159]
第一选取子模块,用于在所述待检测图像的非描画区中选取m个第一像素点,其中,所述m个第一像素点均匀分布;
[0160]
第一确定子模块,用于若所述m个第一像素点中存在非黑色的像素点,则确定所述目标图像在所述待检测图像的非描画区域内的第一占比p1。
[0161]
可选地,在所述m个第一像素点中不存在非黑色像素点,所述相关信息还包括所述第二占比的情况下,所述第一确定模块502还包括:
[0162]
第二选取子模块,用于在所述待检测图像的描画区内选取n个第二像素点,其中,所述n个第二像素点均匀分布;
[0163]
第二确定子模块,用于在所述n个第二像素点中确定非黑色像素点的数量n;
[0164]
第三确定子模块,用于通过以下公式,p2=n/(m+n)*100%,确定所述目标图像在所述待检测图像中的第二占比p2。
[0165]
可选地,在所述相关信息包括所述目标图像中的每一子图像与所述子图像对应的界面设计模板信息的匹配结果的情况下,所述第一确定模块502包括:
[0166]
分割子模块,用于根据投影设备的用户界面布局信息,对所述待检测图像进行分割,以得到多个子图像;
[0167]
获取子模块,用于获取所述多个子图像各自对应的界面设计模板信息;
[0168]
第六确定子模块,用于针对每一子图像,根据所述子图像和所述子图像对应的界面设计模板信息,确定所述子图像与所述子图像对应的界面设计模板信息的匹配结果。
[0169]
可选地,所述获取子模块用于:
[0170]
获取投影设备的用户界面中多个显示区域各自的界面设计模板库,其中,每一所述界面设计模板库包括多个界面设计模板信息;
[0171]
针对每一子图像,确定与该子图像对应的显示区域的界面设计模板库,并将所述界面设计模板库中包括的多个界面设计模板信息,确定为所述子图像对应的界面设计模板信息;
[0172]
所述显示区域的界面设计模板库通过以下方式生成:
[0173]
根据投影设备的用户界面布局信息,对所述投影设备的用户界面进行分割,以得到多个显示区域;
[0174]
针对每一显示区域,确定所述显示区域对应的多张界面设计模板,利用哈希算法分别生成该多张界面设计模板各自对应的哈希值,以及,根据多张界面设计模板各自对应的哈希值生成所述显示区域的界面设计模板库。
[0175]
可选地,在所述相关信息包括所述第二占比和所述目标图像中的每一子图像与所述子图像对应的界面设计模板信息的匹配结果的情况下,所述第二确定模块包括:
[0176]
第七确定子模块,用于在所述第二占比和所述子图像与所述子图像对应的界面设计模板信息的匹配结果不满足预设的合格条件时,确定所述待检测图像为异常图像;
[0177]
所述预设的合格条件包括所述第二占比小于或等于预设数值,并且,每一子图像与所述子图像对应的界面设计模板信息的匹配结果为第一结果,其中,所述第一结果表征在所述显示区域内存在与所述子图像匹配的界面设计模板。
[0178]
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
[0179]
图7是根据一示例性实施例示出的一种车辆的框图。如图7所示,该车辆600可以包括:处理器601,存储器602和投影设备603。该车辆600还可以包括多媒体组件604,输入/输出(i/o)接口605,以及通信组件606中的一者或多者。
[0180]
其中,投影设备603可以为抬头显示器hud、增强现实的抬头显示器ar-hud、组合型抬头显示器c-hud(combiner hud)、挡风玻璃抬头显示器m-hud(windshield hud)等等。
[0181]
其中,处理器601用于控制该车辆600的整体操作,以完成上述的图像检测方法中的全部或部分步骤。存储器602用于存储各种类型的数据以支持在该车辆600的操作,这些数据例如可以包括用于在该车辆600上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如联系人数据、收发的消息、图片、音频、视频等等。该存储器602可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(static random access memory,简称sram),电可擦除可编程只读存储器(electrically erasable programmable read-only memory,简称eeprom),可擦除可编程只读存储器(erasable programmable read-only memory,简称eprom),可编程只读存储器(programmable read-only memory,简称prom),只读存储器(read-only memory,简称rom),磁存储器,快闪存储器,磁盘或光盘。多媒体组件604可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器602或通过通信组件606发送。音频组件还包括至少一个扬声器,用于输出音频信号。i/o接口605为处理器601和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件606用于该车辆600与其他设备之间进行有线或无线通信。无线通信,例如wi-fi,蓝牙,近场通信(near field communication,简称nfc),2g、3g、4g、nb-iot、emtc、或其他5g等等,或它们中的一种或几种的组合,在此不做限定。因此相应的该通信组件606可以包括:wi-fi模块,蓝牙模块,nfc模块等等。
[0182]
在一示例性实施例中,车辆600可以被一个或多个应用专用集成电路
(application specific integrated circuit,简称asic)、数字信号处理器(digital signal processor,简称dsp)、数字信号处理设备(digital signal processing device,简称dspd)、可编程逻辑器件(programmable logic device,简称pld)、现场可编程门阵列(field programmable gate array,简称fpga)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的图像检测方法。
[0183]
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的图像检测方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器602,上述程序指令可由车辆600的处理器601执行以完成上述的图像检测方法。
[0184]
图8是根据一示例性实施例示出的一种电子设备的框图。例如,电子设备700可以被提供为一服务器。参照图8,电子设备700包括处理器722,其数量可以为一个或多个,以及存储器732,用于存储可由处理器722执行的计算机程序。存储器732中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理器722可以被配置为执行该计算机程序,以执行上述的图像检测方法。
[0185]
另外,电子设备700还可以包括电源组件726和通信组件750,该电源组件726可以被配置为执行电子设备700的电源管理,该通信组件750可以被配置为实现电子设备700的通信,例如,有线或无线通信。此外,该电子设备700还可以包括输入/输出(i/o)接口758。电子设备700可以操作基于存储在存储器732的操作系统,例如windows server
tm
,mac os x
tm
,unix
tm
,linux
tm
等等。
[0186]
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的图像检测方法的步骤。例如,该非临时性计算机可读存储介质可以为上述包括程序指令的存储器732,上述程序指令可由电子设备700的处理器722执行以完成上述的图像检测方法。
[0187]
在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的图像检测方法的代码部分。
[0188]
以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。
[0189]
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。
[0190]
此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。

技术特征:
1.一种图像检测方法,其特征在于,包括:获取待检测图像;确定所述待检测图像中的目标图像的相关信息,其中,所述目标图像为能够通过投影设备投影到车辆挡风玻璃上进行显示的图像;根据所述目标图像的相关信息,确定所述待检测图像是否为异常图像。2.根据权利要求1所述的方法,其特征在于,所述目标图像的相关信息包括以下至少一者:所述目标图像在所述待检测图像的非描画区域内的第一占比、所述目标图像在所述待检测图像中的第二占比和所述目标图像中的每一子图像与所述子图像对应的界面设计模板信息的匹配结果。3.根据权利要求2所述的方法,其特征在于,所述目标图像为由非黑色像素点组成的图像;在所述相关信息包括所述第一占比的情况下,所述确定所述待检测图像中的目标图像的相关信息,包括:在所述待检测图像的非描画区中选取m个第一像素点,其中,所述m个第一像素点均匀分布;若所述m个第一像素点中存在非黑色的像素点,则确定所述目标图像在所述待检测图像的非描画区域内的第一占比p1。4.根据权利要求3所述的方法,其特征在于,在所述m个第一像素点中不存在非黑色像素点,所述相关信息还包括所述第二占比的情况下,所述确定所述待检测图像中的目标图像的相关信息,还包括:在所述待检测图像的描画区内选取n个第二像素点,其中,所述n个第二像素点均匀分布;在所述n个第二像素点中确定非黑色像素点的数量n;通过以下公式,p2=n/(m+n)*100%,确定所述目标图像在所述待检测图像中的第二占比p2。5.根据权利要求2所述的方法,其特征在于,在所述相关信息包括所述目标图像中的每一子图像与所述子图像对应的界面设计模板信息的匹配结果的情况下,所述确定所述待检测图像中的目标图像的相关信息,包括:根据投影设备的用户界面布局信息,对所述待检测图像进行分割,以得到多个子图像;获取所述多个子图像各自对应的界面设计模板信息;针对每一子图像,根据所述子图像和所述子图像对应的界面设计模板信息,确定所述子图像与所述子图像对应的界面设计模板信息的匹配结果。6.根据权利要求5所述的方法,其特征在于,所述获取所述多个子图像各自对应的界面设计模板信息,包括:获取投影设备的用户界面中多个显示区域各自的界面设计模板库,其中,每一所述界面设计模板库包括多个界面设计模板信息;针对每一子图像,确定与该子图像对应的显示区域的界面设计模板库,并将所述界面设计模板库中包括的多个界面设计模板信息,确定为所述子图像对应的界面设计模板信
息;所述显示区域的界面设计模板库通过以下方式生成:根据投影设备的用户界面布局信息,对所述投影设备的用户界面进行分割,以得到多个显示区域;针对每一显示区域,确定所述显示区域对应的多张界面设计模板,利用哈希算法分别生成该多张界面设计模板各自对应的哈希值,以及,根据多张界面设计模板各自对应的哈希值生成所述显示区域的界面设计模板库。7.根据权利要求2所述的方法,其特征在于,在所述相关信息包括所述第二占比和所述目标图像中的每一子图像与所述子图像对应的界面设计模板信息的匹配结果的情况下,所述根据所述目标图像的相关信息,确定所述待检测图像是否为异常图像,包括:在所述第二占比和所述子图像与子图像对应的界面设计模板信息的匹配结果不满足预设的合格条件时,确定所述待检测图像为异常图像;所述预设的合格条件包括所述第二占比小于或等于预设数值,并且,每一子图像与所述子图像对应的界面设计模板信息的匹配结果为第一结果,其中,所述第一结果表征在所述显示区域内存在与所述子图像匹配的界面设计模板。8.一种图像检测装置,其特征在于,包括:第一获取模块,用于获取待检测图像;第一确定模块,用于确定所述待检测图像中的目标图像的相关信息,其中,所述目标图像为能够通过投影设备投影到车辆挡风玻璃上进行显示的图像;第二确定模块,用于根据所述目标图像的相关信息,确定所述待检测图像是否为异常图像。9.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。10.一种车辆,其特征在于,包括:投影设备,用于将所述待检测图像投影到车辆挡风玻璃上;存储器,其上存储有计算机程序;处理器,用于执行所述存储器中的所述计算机程序,以实现权利要求1-7中任一项所述方法的步骤。

技术总结
本公开涉及一种图像检测方法、装置、可读存储介质及车辆。方法包括:获取待检测图像;确定所述待检测图像中的目标图像的相关信息,其中,所述目标图像为能够通过投影设备投影到车辆挡风玻璃上进行显示的图像;根据所述目标图像的相关信息,确定所述待检测图像是否为异常图像。如此,提高对待检测图像检测的可靠性。并且,后续根据待检测图像的检测结果,确定是否将图像投影到车辆挡风玻璃上显示,可以确保车辆挡风玻璃上投影的图像不影响驾驶员驾驶,进而提高驾驶安全性。而提高驾驶安全性。而提高驾驶安全性。


技术研发人员:佘明钢 张鑫 于鹏 牟文燕
受保护的技术使用者:东软集团股份有限公司
技术研发日:2022.07.04
技术公布日:2022/11/1
转载请注明原文地址: https://tieba.8miu.com/read-7619.html

最新回复(0)