1.本发明属于虚实融合技术领域,具体地说涉及一种基于自适应模板的座舱仪表盘虚实融合配准方法。
背景技术:2.视频透视(video see through,简称vst)是增强现实(augmented reality,简称ar)透视式头戴设备的一种重要形式,其目的是将现实世界的设备与虚拟世界的环境融合显示到头戴式显示器中,根据原理不同,呈现的效果也完全不同。其基本原理是由安装在使用者头戴显示器上的两个微型ccd摄像头摄取外部真实环境的图像,计算机通过计算处理将所要添加的信息或图像信号叠加在摄像头的视频信号上,通过视频信号融合器实现计算机生成的虚拟场景与真实场景融合,最后通过类似于浸没式头戴显示器的显示系统呈现给用户。
3.随着头盔显示器技术的快速发展,视频透视技术也开始尝试应用于模拟训练,但都是采用的vst技术和绿幕抠像集成技术,该技术方案需要搭建包围盒式的绿幕环境,同时还要建立专业的灯光系统,需要专业灯光师进行调光,模拟系统的实时性也对绿幕抠像的算法有很大的要求。而且,现有的商业头戴式显示器像素密度(ppi)指标还无法达到清晰的看清座舱仪表盘数据,绿幕抠像技术又是整体的抠像融合,该方法也对融合后的座舱仪表盘显示效果有很大影响。
4.本背景技术所公开的上述信息仅仅用于增加对本技术背景技术的理解,因此,其可能包括不构成本领域普通技术人员已知的现有技术。
技术实现要素:5.本发明针对现有技术中视频透视技术应用于模拟训练时需要绿幕抠像集成,对灯光环境要求高,绿幕抠像技术又是整体的抠像融合,该方法也对融合后的座舱仪表盘显示效果存在影响的技术问题,提出了一种基于自适应模板的座舱仪表盘虚实融合方法,可以解决上述问题。
6.为实现上述发明目的,本发明采用下述技术方案予以实现:
7.一种基于自适应模板的座舱仪表盘虚实融合方法,包括虚拟座舱场景和实物座舱,所述实物座舱中具有实物仪表盘,所述座舱仪表盘虚实融合方法包括:
8.在实物仪表盘上选取几何中心位置贴附标识物;
9.vst视频透视头盔采集实物座舱的视频流;
10.获取包含有所述标识物的图像,并作为合作目标;
11.获取相似度阈值;
12.确定自适应匹配窗口,将视频流的视频帧引入所述自适应匹配窗口,采用改进合作目标识别率算法对所述视频帧进行自适应匹配识别,包括:对视频帧中位于所述自适应匹配窗口内的合作目标采用标记框进行标注,通过调节相似度阙值调节所述自适应匹配窗
口的半径,循环调节所述相似度阈值,直到自适应匹配窗口与所述合作目标的大小相适应时结束调节所述相似度阈值,并输出所述合作目标的中心点坐标;
13.根据所述自适应匹配窗口从所述视频帧中选定匹配区域图像,所述合作目标的中心点坐标作为实物仪表盘在图像坐标系中的二维坐标;
14.在ue4环境中将虚拟仪表盘与视频帧中的实物仪表盘图案进行匹配融合,根据所述合作目标的深度信息、坐标信息和实物仪表盘在图像坐标系中的二维坐标,求得实物仪表盘在世界坐标系下的坐标,并将其赋值给虚拟仪表盘,实现虚拟仪表盘和实物仪表盘的对准。
15.本发明的一些实施例中,对所述视频帧进行自适应匹配识别还包括:
16.载入模板图像;
17.划分视频帧并进入循环,将视频流划分成视频帧序列;
18.使用匹配函数进行匹配,在所述视频帧序列中寻找与合作目标相似的区域,作为匹配区域;
19.用矩形标记框标注所述匹配区域并输出。
20.本发明的一些实施例中,所述自适应匹配窗口的大小满足:位于自适应匹配窗口内的视频帧与所述合作目标的相似度与所述相似度阈值之间的偏差小于设定值;
21.分别采用平方差匹配法、标准平方差匹配法、相关匹配法、标准相关匹配法、相关系数匹配法、标准相关系数匹配法进行计算,分别得到的一组中心点坐标,计算各中心点坐标与合作目标的实际中心点坐标进行均方根误差计算,选取误差最低的匹配函数,作为最优匹配函数;
22.所述最优匹配函数同时满足最低帧率、实时性和匹配精度的多重约束。
23.本发明的一些实施例中,对所述视频帧进行自适应匹配识别还包括:
24.获取初始的自适应匹配窗口;
25.匹配循环步骤,包括:将初始的自适应匹配窗口与视频帧中的合作目标进行匹配,并计算合作目标的相似度;
26.设置相似度阈值和循环识别次数n,每次循环时减小相似度阈值,实现匹配窗口的自动缩小,直至所述相似度与所述相似度阈值之间的偏差小于设定值。
27.本发明的一些实施例中,所述最低帧率为每秒30帧,相似度阙值为15%,n取值为4,均方根误差小于5。
28.本发明的一些实施例中,确定自适应匹配窗口匹配步骤中,采用标准相关系数匹配函数进行匹配。
29.本发明的一些实施例中,采集实物座舱的视频流之后,还包括:
30.对所述视频流进行抽样,抽取出若干视频帧;
31.确定自适应匹配窗口步骤中,将所抽取出的视频帧与所述合作目标进行匹配。
32.本发明的一些实施例中,通过校正三维坐标将所述仪表盘显示区域贴图到所述虚拟座舱场景的相对应的位置处的方法包括:
33.获取所述实物座舱的仪表盘在相机坐标系中的二维坐标;
34.获得所述合作目标在相机坐标系中的三维坐标;
35.将所述三维坐标导入到虚幻引擎ue4中;
36.将合作目标在相机坐标系中的坐标赋值给虚拟座舱场景中的仪表盘的坐标;
37.将所述仪表盘显示区域贴图到仪表盘的坐标位置。
38.本发明的一些实施例中,获得所述合作目标在相机坐标系中的三维坐标步骤中,通过头戴显示设备的srworks中写好的深度模块,可以将rgb图像转换为rgb-depth图像,其中depth景深信息。
39.本发明的一些实施例中,所述标识物的样式呈十字形,自适应窗口是矩形。
40.与现有技术相比,本发明的优点和积极效果是:
41.本发明的基于自适应模板的座舱仪表盘虚实融合方法,专门针对仪表盘融合显示进行了设计,通过在实物座舱的仪表盘上贴附标识物,以及确定标识物在实物座舱中的坐标值,通过将采集的实物座舱的视频流,对视频帧中标识物进行识别定位,实现了对实物座舱的仪表盘在相机坐标系中定位。本方案在自然光环境下即可实现,实现实物模拟器座舱仪表盘与虚拟座舱环境的融合,不需要绿幕环境和灯光系统。该方法通过合作目标的设定、搭建合作目标识别环境,有效解决了仪表盘模版识别率低的问题。通过增加自适应功能调节自适应匹配窗口大小提高识别精度,根据识别实验数据选择出最佳的相似度阈值和匹配循环次数,实现自适应窗口环境下的自适应模板匹配,有效改进了自适应模板匹配的识别率。将得到的实物座舱仪表盘坐标进行多个坐标系的转换,通过ue4蓝图编程,将三维坐标导入蓝图中并赋值给虚拟仪表盘,有效实现仪表盘的虚实配准。
42.结合附图阅读本发明的具体实施方式后,本发明的其他特点和优点将变得更加清楚。
附图说明
43.为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
44.图1是本发明提出的基于自适应模板的座舱仪表盘虚实融合方法的一种实施例的流程图;
45.图2是本发明的实施例一中标识物的示意图;
46.图3是本发明的实施例一中两个坐标系的转换示意图;
47.图4是本发明的实施例一中ue4本地坐标系与相机坐标系的转换示意图。
具体实施方式
48.为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
49.需要说明的是,在本发明的描述中,术语“上”、“下”、“左”、“右”、“竖”、“横”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系,这仅仅是为了便于描述,而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理
解为指示或暗示相对重要性。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
50.在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
51.实施例一
52.vst(video see through,简称vst)视景系统是增强现实(augmented reality,简称ar)透视式头戴的一种重要形式,其原理是由安装在使用者头戴显示器上的两个微型ccd摄像头摄取外部真实环境的图像,计算机通过计算处理将所要添加的信息或图像信号叠加在摄像头的视频信号上,通过视频信号融合器实现计算机生成的虚拟场景与真实场景融合,最后通过类似于浸没式头戴显示器的显示系统呈现给用户。
53.本实施例提出了一种基于自适应模板的座舱仪表盘虚实融合方法,如图1所示,包括虚拟座舱场景和实物座舱,实物座舱中具有实物仪表盘,座舱仪表盘虚实融合方法包括:
54.在实物仪表盘上选取几何中心位置贴附标识物,标识物在实物座舱的仪表盘中的位置为已知或者可以获取。
55.获取包含有标识物的图像,并作为合作目标,根据标识物在实物座舱的仪表盘中的位置,在图像中标识物图案的坐标也可相应获得。
56.包含有标识物的图像可以由头戴显示器的摄像头采集,本方案中通过贴附标识物,有效解决了对实物座舱的仪表盘识别率低的问题。
57.本发明的一些实施例中,如图2所示,标识物呈十字形。可以较好得与实物座舱上其他复杂按钮区分开,有效提高识别精度。
58.获取相似度阈值,该相似度阈值为设定的一个阈值,用于匹配过程中,反映了匹配出的自适应匹配窗口与合作目标的相似程度。
59.采集实物座舱的视频流。
60.确定自适应匹配窗口,将视频流的视频帧引入所述自适应匹配窗口,采用改进合作目标识别率算法对所述视频帧进行自适应匹配识别,包括:对视频帧中位于所述自适应匹配窗口内的合作目标采用标记框进行标注,通过调节相似度阙值调节所述自适应匹配窗口的半径,循环调节所述相似度阈值,直到自适应匹配窗口与所述合作目标的大小相适应时结束调节所述相似度阈值,并输出所述合作目标的中心点坐标。;
61.根据自适应匹配窗口从所述视频帧中选定匹配区域图像,合作目标的中心点坐标作为实物仪表盘在图像坐标系中的二维坐标。
62.在ue4环境中将虚拟仪表盘与视频帧中的实物仪表盘图案进行匹配融合,根据所述合作目标的深度信息、坐标信息和实物仪表盘在图像坐标系中的二维坐标,求得实物仪表盘在世界坐标系下的坐标,并将其赋值给虚拟仪表盘,实现虚拟仪表盘和实物仪表盘的对准。
63.由于仪表盘正常显示时背景与抠图颜色较接近,很容易被抠掉。本方案不通过抠图,而是直接从视频帧中对实物座舱图像中的仪表盘进行截图的方式,可以避免绿幕抠像
技术对融合后的座舱仪表盘显示效果有很大影响的技术问题。
64.将匹配区域图像贴图到虚拟座舱场景的仪表盘的位置处。
65.为了解决对实物座舱采集图像中截取仪表盘图像的对准问题,本实施例的基于自适应模板的座舱仪表盘虚实融合方法,专门针对仪表盘融合显示进行了设计,通过在实物座舱的仪表盘上贴附标识物,以及确定标识物在实物座舱中的坐标值,通过将采集的实物座舱的视频流,对视频帧中标识物进行识别定位,实现了对实物座舱的仪表盘在相机坐标系中定位。本方案在自然光环境下即可实现,实现实物模拟器座舱仪表盘与虚拟座舱环境的融合,不需要绿幕环境和灯光系统。
66.将得到的实物座舱仪表盘坐标进行多个坐标系的转换,通过ue4蓝图编程,将三维坐标导入蓝图中并赋值给虚拟仪表盘,有效实现仪表盘的虚实配准。
67.合作目标在视频流中的相对大小会随着摄像机镜头拉近拉远而发生变化,传统模版匹配的待匹配矩形窗口大小固定,特别在获取中心点坐标时会放大匹配误差。
68.为了解决上述问题,本方法通过设计相似度阈值,在循环过程中不断缩小矩形识别窗口的大小,直到窗口与合作目标大小最为适应为止,结束循环并输出中心点坐标。
69.为了提高从实物座舱的视频帧中匹配出仪表盘区域的精度,本方案通过自适应功能调节识别框大小提高识别精度,根据识别实验数据选择出最佳相似度阈值和循环次数方案,实现自适应窗口环境下的自适应模板匹配,有效改进了自适应模板匹配的识别率。
70.对视频帧进行自适应匹配识别还包括:
71.载入模板图像;
72.划分视频帧并进入循环,将视频流划分成视频帧序列;
73.使用匹配函数进行匹配,在视频帧序列中寻找与合作目标相似的区域,作为匹配区域;
74.用矩形标记框标注匹配区域并输出。
75.所述自适应匹配窗口的大小满足:位于自适应匹配窗口内的视频帧与所述合作目标的相似度与所述相似度阈值之间的偏差小于设定值;
76.分别采用平方差匹配法、标准平方差匹配法、相关匹配法、标准相关匹配法、相关系数匹配法、标准相关系数匹配法进行计算,分别得到的一组中心点坐标,计算各中心点坐标与合作目标的实际中心点坐标进行均方根误差计算,选取误差最低的匹配函数,作为最优匹配函数;
77.最优匹配函数同时满足最低帧率、实时性和匹配精度的多重约束。
78.基于以上,本发明的一些实施例中,确定自适应匹配窗口步骤还包括:
79.获取初始的自适应匹配窗口;
80.匹配循环步骤,包括:将初始的自适应匹配窗口与视频帧中的合作目标进行匹配,并计算合作目标的相似度;
81.设置相似度阈值和循环识别次数n,每次循环时减小相似度阈值,实现匹配窗口的自动缩小,直至所述相似度与所述相似度阈值之间的偏差小于设定值,,逐步实现自适应匹配窗口与合作目标的高精度匹配。
82.该方法通过合作目标的设定、搭建合作目标识别环境,有效解决了仪表盘模版识别率低的问题。通过增加自适应功能调节自适应匹配窗口大小提高识别精度,根据识别实
验数据选择出最佳的相似度阈值和匹配循环次数,实现自适应窗口环境下的自适应模板匹配,有效改进了自适应模板匹配的识别率。
83.本发明的一些实施例中,还包括获取匹配循环次数n。
84.确定自适应匹配窗口步骤中还包括统计返回匹配循环步骤的次数,使其不大于匹配循环次数n。
85.相似度阈值及匹配循环次数可通过实验获得,同时改变相似度阈值及循环次数,考虑到窗口缩小存在底线,分别(1)测试相似度阈值为5%,循环次数为6-10次;(2)相似度阈值为10%,循环次数为5-10次;(3)相似度阈值为15%,循环次数为3-6次;以及(4)相似度阈值为20%,循环次数为4-5次;四种情况下的均方根误差以及帧率。
86.在帧率满足最低限制(30帧/s)的情况下,通过分析可知,相似度阈值为10%、匹配循环6次,以及相似度阈值为15%、匹配循环4次时,误差小于5,识别精度相对最高,对比识别过程中实时性越高越好的需求,考虑最终实验中其他步骤可能也会降低帧率,最终选择出相似度阈值为15%,匹配循环4次的自适应窗口进行自适应模板匹配。
87.本实施例中,最低帧率为每秒30帧,相似度阙值为15%,n取值为4,均方根误差小于5,作为选取的最合适的匹配条件。
88.匹配函数的选择之前,本方案通过六种函数对视频流分别进行合作目标识别实验,记录程序运行返回的坐标序列和运行时间。
89.为了量化识别精度,清晰比对出精度最高的函数。分别用六种函数进行识别后得到的中心点坐标与实际合作目标的中心点坐标进行均方根误差计算,opencv提供了matchtemplate函数用来实现传统模板匹配算法,其中六种函数计算方法如下。
90.1)平方差匹配(tm_sqdiff)
[0091][0092]
2)标准平方差匹配(tm_sqdiff_normed)
[0093][0094]
相关匹配(tm_ccorr)
[0095][0096]
4)标准相关匹配(tm_ccorr_normed)
[0097][0098]
5)相关系数匹配(tm_ccoeff)
[0099][0100]
其中,
[0101]
t
′
(x
′
,y
′
)=t(x
′
,y
′
)-1/(w
·
h)
·
∑
x
″
,y
″
t(x
″
,y
″
)
[0102]i′
(x+x
′
,y+y
′
)=i(x+x
′
,y+y
′
)-1/(w
·
h)
·
∑
x
″
,y
″
i(x+x
″
,y+y
″
)
[0103]
6)标准相关系数匹配(tm_ccoeff_normed)
[0104][0105]
tm_sqdiff和tm_sqdiff_normed利用平方差来衡量匹配效果,匹配效果越好,得到的匹配值越小,匹配最优值为0。tm_ccorr和tm_ccorr_normed通过模板和图像间的乘法操作来获取匹配值,所以匹配值越大代表匹配程度越高,0表示最坏的匹配效果。tm_ccoeff和tm_ccoeff_normed两种方法通过比较模版对均值的相对值与图像对均值的相关值从而得到匹配值,0表示没有任何相关性,最优匹配值为1,最坏匹配值为-1。
[0106]
通过公式可见,从简单的平方差匹配到复杂的相关系数匹配,计算代价不断增大,匹配精度相对提高。
[0107]
计算结果如下表:可见标准相关匹配函数的误差最低,识别精度最高,接下来在标准相关匹配函数基础上对识别进行改进,进一步提高识别精度。
[0108]
函数序列123456误差29.710179.456193.54428.838104.115103.401
[0109]
表1.六种函数识别误差表
[0110]
通过公式可见,从简单的平方差匹配到复杂的相关系数匹配,计算代价不断增大,匹配精度相对提高。
[0111]
基于以上,本发明的一些实施例中,确定自适应匹配窗口步骤中,采用标准相关系数匹配函数进行匹配,提高匹配精度。
[0112]
视频流图像中视频帧数较多,如果每一帧都做匹配处理的话将会影响实时性,由于人眼具有短暂的记忆性,本方案通过抽样的方式,从视频流中按照一定的频率抽取出视频帧进行处理,反应到人眼中仍然是动态的视频信息。
[0113]
本发明的一些实施例中,采集实物座舱的视频流之后,还包括:
[0114]
对视频流进行抽样,抽取出若干视频帧。
[0115]
确定自适应匹配窗口步骤中,将所抽取出的视频帧与合作目标进行匹配。未被抽取的视频帧将不再做任何处理,减小处理量,进而可提高虚实融合的实时性。
[0116]
本发明的一些实施例中,自适应匹配窗口是矩形,方便框选。
[0117]
在自适应模版匹配改进算法的基础上,为实现ue4中的虚拟仪表盘与实物座舱仪表盘的匹配融合,将每一帧获取的真实仪表盘坐标实时赋值给ue4中的虚拟仪表盘。
[0118]
本发明的一些实施例中,通过校正三维坐标将仪表盘显示区域贴图到虚拟座舱场景的相对应的位置处的方法包括:
[0119]
获取实物座舱的仪表盘在相机坐标系中的二维坐标;
[0120]
获得合作目标在相机坐标系中的三维坐标;
[0121]
将三维坐标导入到虚幻引擎ue4中;
[0122]
将合作目标在相机坐标系中的坐标赋值给虚拟座舱场景中的仪表盘的坐标;
[0123]
将仪表盘显示区域贴图到仪表盘的坐标位置。
[0124]
计算实物座舱仪表盘在相机坐标系中的坐标。假设实物座舱仪表盘为点a,其坐标转换示意图如图3所示。a在相机坐标系下的坐标为(x,y,z),在图像坐标系下坐标为(x,y),在像素坐标系下坐标为(u,v),图像坐标系原点在像素坐标系下坐标为(u0,v0),f为双目摄像机固定的焦距,p、q分别代表图像坐标系中x、y轴每毫米存在的像素数。
[0125]
得到如下公式:
[0126]
u=px+u0[0127]
v=qy+v0[0128][0129][0130]
整理得到:
[0131][0132][0133]
深度信息处理建立三维坐标。利用htcvive proeye进行实验,通过srworks中写好的深度模块,可以将rgb(red、green、blue)图像转换为rgb-d(depth)图像,其中depth存储目标点的景深信息。由此可以更精准得获取到仪表盘的第三维坐标,从而得到实物座舱仪表盘在相机坐标系中的坐标,也能为快速进行目标检测、识别并与跟踪算法相结合做铺垫。
[0134]
从本地坐标系到世界坐标系转换,将坐标赋值给虚拟仪表盘实现虚实仪表盘融合。ue4中的坐标系是左手坐标系,以ue4场景中的相机为原点的虚拟仪表盘坐标在ue4中属于本地坐标,赋值运算时需要获取到虚拟仪表盘在世界坐标系下的坐标。根据ue4中坐标系转化的相关关系,将虚拟仪表盘的相机坐标转换为本地坐标。
[0135]
本发明的一些实施例中,获得所述合作目标在相机坐标系中的三维坐标步骤中,通过头戴显示设备的srworks中写好的深度模块,可以将rgb图像转换为rgb-depth图像,其中depth景深信息。
[0136]
如图4所示,两个坐标系的原点都是摄像机,通过以下公式得到仪表盘本地坐标。
[0137]
(x
l
,y
l
,z
l
)=(z,x,y)
[0138]
ue4环境下实现坐标配准融合。提供了蓝图函数transform location,可以将本地坐标系的点转换为世界坐标系下的点。获取虚拟摄像机在世界坐标系下的三维坐标、三维旋转角度以及实物座舱仪表盘的本地坐标,输入到transform location函数中,输出的三维坐标即为所需的仪表盘在世界坐标系下的坐标,赋值给虚拟仪表盘,即可有效实现虚拟仪表盘和真实仪表盘的实时对准。
[0139]
以上实施例仅用以说明本发明的技术方案,而非对其进行限制;尽管参照前述实施例对本发明进行了详细的说明,对于本领域的普通技术人员来说,依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或替换,并不使相应技术方案的本质脱离本发明所要求保护的技术方案的精神和范围。
技术特征:1.一种基于自适应模板的座舱仪表盘虚实融合方法,其特征在于,包括虚拟座舱场景和实物座舱,所述实物座舱中具有实物仪表盘,所述座舱仪表盘虚实融合方法包括:在实物仪表盘上选取几何中心位置贴附标识物;vst视频透视头盔采集实物座舱的视频流;获取包含有所述标识物的图像,并作为合作目标;获取相似度阈值;确定自适应匹配窗口,将视频流的视频帧引入所述自适应匹配窗口,采用改进合作目标识别率算法对所述视频帧进行自适应匹配识别,包括:对视频帧中位于所述自适应匹配窗口内的合作目标采用标记框进行标注,通过调节相似度阙值调节所述自适应匹配窗口的半径,循环调节所述相似度阈值,直到自适应匹配窗口与所述合作目标的大小相适应时结束调节所述相似度阈值,并输出所述合作目标的中心点坐标;根据所述自适应匹配窗口从所述视频帧中选定匹配区域图像,所述合作目标的中心点坐标作为实物仪表盘在图像坐标系中的二维坐标;在ue4环境中将虚拟仪表盘与视频帧中的实物仪表盘图案进行匹配融合,根据所述合作目标的深度信息、坐标信息和实物仪表盘在图像坐标系中的二维坐标,求得实物仪表盘在世界坐标系下的坐标,并将其赋值给虚拟仪表盘,实现虚拟仪表盘和实物仪表盘的对准。2.根据权利要求1所述的基于自适应模板的座舱仪表盘虚实融合方法,其特征在于,对所述视频帧进行自适应匹配识别还包括:载入模板图像;划分视频帧并进入循环,将视频流划分成视频帧序列;使用匹配函数进行匹配,在所述视频帧序列中寻找与合作目标相似的区域,作为匹配区域;用矩形标记框标注所述匹配区域并输出。3.根据权利要求2所述的基于自适应模板的座舱仪表盘虚实融合方法,其特征在于,所述自适应匹配窗口的大小满足:位于自适应匹配窗口内的视频帧与所述合作目标的相似度与所述相似度阈值之间的偏差小于设定值;分别采用平方差匹配法、标准平方差匹配法、相关匹配法、标准相关匹配法、相关系数匹配法、标准相关系数匹配法进行计算,分别得到的一组中心点坐标,计算各中心点坐标与合作目标的实际中心点坐标进行均方根误差计算,选取误差最低的匹配函数,作为最优匹配函数;所述最优匹配函数同时满足最低帧率、实时性和匹配精度的多重约束。4.根据权利要求3所述的基于自适应模板的座舱仪表盘虚实融合方法,其特征在于,对所述视频帧进行自适应匹配识别还包括:获取初始的自适应匹配窗口;匹配循环步骤,包括:将初始的自适应匹配窗口与视频帧中的合作目标进行匹配,并计算合作目标的相似度;设置相似度阈值和循环识别次数n,每次循环时减小相似度阈值,实现匹配窗口的自动缩小,直至所述相似度与所述相似度阈值之间的偏差小于设定值。5.根据权利要求4所述的基于自适应模板的座舱仪表盘虚实融合方法,其特征在于,所述最低帧率为每秒30帧,相似度阙值为15%,n取值为4,均方根误差小于5。
6.根据权利要求1所述的基于自适应模板的座舱仪表盘虚实融合方法,其特征在于,确定自适应匹配窗口匹配步骤中,采用标准相关系数匹配函数进行匹配。7.根据权利要求1所述的基于自适应模板的座舱仪表盘虚实融合方法,其特征在于,采集实物座舱的视频流之后,还包括:对所述视频流进行抽样,抽取出若干视频帧;确定自适应匹配窗口步骤中,将所抽取出的视频帧与所述合作目标进行匹配。8.根据权利要求1所述的基于自适应模板的座舱仪表盘虚实融合方法,其特征在于,通过校正三维坐标将所述仪表盘显示区域贴图到所述虚拟座舱场景的相对应的位置处的方法包括:获取所述实物座舱的仪表盘在相机坐标系中的二维坐标;获得所述合作目标在相机坐标系中的三维坐标;将所述三维坐标导入到虚幻引擎ue4中;将合作目标在相机坐标系中的坐标赋值给虚拟座舱场景中的仪表盘的坐标;将所述仪表盘显示区域贴图到仪表盘的坐标位置。9.根据权利要求8所述的基于自适应模板的座舱仪表盘虚实融合方法,其特征在于,获得所述合作目标在相机坐标系中的三维坐标步骤中,通过头戴显示设备的srworks中写好的深度模块,可以将rgb图像转换为rgb-depth图像,其中depth景深信息。10.根据权利要求1-8任一项所述的基于自适应模板的座舱仪表盘虚实融合方法,其特征在于,所述标识物的样式呈十字形,自适应匹配窗口是矩形。
技术总结本发明公开了一种基于自适应模板的座舱仪表盘虚实融合方法,包括虚拟座舱场景和实物座舱,座舱仪表盘虚实融合方法包括:在实物座舱的仪表盘上任意选取一位置贴附标识物;获取包含有标识物的图像,并作为合作目标;确定自适应匹配窗口,将视频流的视频帧与合作目标进行匹配,自适应匹配窗口的大小满足:位于自适应匹配窗口内的视频帧与合作目标的相似度与相似度阈值之间的偏差小于设定值;根据自适应匹配窗口从视频帧中选定匹配区域图像;将匹配区域图像贴图到所述虚拟座舱场景的仪表盘的位置处。本方法在自然光环境下即可实现,实现实物模拟器座舱仪表盘与虚拟座舱环境的融合,不需要绿幕环境和灯光系统。不需要绿幕环境和灯光系统。不需要绿幕环境和灯光系统。
技术研发人员:王志乐 付战平 李浩铭 胡文婷 周秀芝 孙文柱
受保护的技术使用者:中国人民解放军海军航空大学
技术研发日:2022.07.12
技术公布日:2022/11/1