车辆的ar实景导航辅助方法、装置、车辆及存储介质
技术领域
1.本技术涉及车辆技术领域，特别涉及一种车辆的ar(augmented reality，增强现实)实景导航辅助方法、装置、车辆及存储介质。
背景技术：2.传统平面图形导航存在的导航信息抽象简单无法生动形象的给驾驶员提供导航信息，且驾驶员查看导航信息需分散驾驶的注意力，导致易引发交通事故等问题。
3.为此，相关技术中提供了利用ar导航技术进行导航的方式，并利用街景图像解决传统平面导航抽象简单的问题，但街景图像需提前拍摄制作，工作量巨大，由于路况信息变化快，易导致实际街景图像与实际路况差别比较大，给驾驶员提供错误的路况及路线信息；且存在驾驶员查看导航信息时需分散驾驶注意力的问题，易引发交通事故等问题。
技术实现要素：4.本技术提供一种车辆的ar实景导航辅助方法、装置、车辆及存储介质，以解决相关技术中致ar实景导航时导航信息无法与实景融合，容易导致驾驶员分散注意力，降低驾驶的安全性及用户体验等问题。
5.本技术第一方面实施例提供一种车辆的ar实景导航辅助方法，包括以下步骤：获取车辆行驶方向上的路况图像；识别所述路况图像得到路况实景，并基于驾驶员的当前驾驶视角匹配所述路况实景与导航信息的最佳融合位置；基于虚拟现实设备ar将所述导航信息投射至所述最佳融合位置。
6.根据上述技术手段，本技术实施例可以基于驾驶员的视野确定实景与导航信息的最佳融合位置，并将导航信息投射至最佳融合位置，实现实景与导航信息的最佳融合，使得驾驶员可以将通过挡风玻璃看到前方行驶的路面上显示的导航信息，避免查看导航信息时分散注意力，提高驾驶的安全性以及驾驶员的使用体验。
7.进一步地，在基于驾驶员的当前驾驶视角匹配所述路况实景与导航信息的最佳融合位置之前，包括：获取驾驶员的当前图像；识别所述当前图像得到所述驾驶员的当前驾驶视角。
8.根据上述技术手段，本技术实施例可以通过图像识别的方式准确确定驾驶员的视野范围，进而实现路况实景与导航信息的准确融合，可以给驾驶员提供精确的ar实景导航指引。
9.进一步地，所述基于虚拟现实ar设备将所述导航信息投射至所述最佳融合位置，包括：根据所述导航信息生成驾驶指引动画图标，并基于所述ar设备将所述驾驶指引动画图标投射至所述最佳融合位置。
10.根据上述技术手段，本技术实施例可以将指引动画图标通过ar设备投射至最佳融合位置，可以根据实景动态显示导航引导提示标志，给驾驶员提供精确的ar实景导航指引。
11.进一步地，在基于虚拟现实设备ar将所述导航信息投射至所述最佳融合位置之
后，还包括：根据所述当前导航信息生成导航语音，并基于所述导航语音进行语音导航。
12.根据上述技术手段，本技术实施例可以在提供ar实景导航的同时，基于语音辅助导航，可以为驾驶员提供多种导航辅助，提升驾驶员的使用体验。
13.本技术第二方面实施例提供一种车辆的ar实景导航辅助装置，包括：获取模块，用于获取车辆行驶方向上的路况图像；匹配模块，用于识别所述路况图像得到路况实景，并基于驾驶员的当前驾驶视角匹配所述路况实景与导航信息的最佳融合位置；投射模块，用于基于虚拟现实设备ar将所述导航信息投射至所述最佳融合位置。
14.进一步地，还包括：识别模块，用于在基于驾驶员的当前驾驶视角匹配所述路况实景与导航信息的最佳融合位置之前，获取驾驶员的当前图像，识别所述当前图像得到所述驾驶员的当前驾驶视角。
15.进一步地，所述投射模块用于：根据所述导航信息生成驾驶指引动画图标，并基于所述ar设备将所述驾驶指引动画图标投射至所述最佳融合位置。
16.进一步地，还包括：导航模块，用于在基于虚拟现实设备ar将所述导航信息投射至所述最佳融合位置之后，根据所述当前导航信息生成导航语音，并基于所述导航语音进行语音导航。
17.本技术第三方面实施例提供一种车辆，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的车辆的ar实景导航辅助方法。
18.本技术第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的车辆的ar实景导航辅助方法。
19.由此，本技术至少具有如下有益效果：
20.本技术实施例可以基于驾驶员的视野确定实景与导航信息的最佳融合位置，并将导航信息投射至最佳融合位置，实现实景与导航信息的最佳融合，使得驾驶员可以将通过挡风玻璃看到前方行驶的路面上显示的导航信息，避免查看导航信息时分散注意力，提高驾驶的安全性以及驾驶员的使用体验。由此，解决了相关技术中致ar实景导航时导航信息无法与实景融合，容易导致驾驶员分散注意力，降低驾驶的安全性及用户体验等技术问题。
21.本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
22.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
23.图1为根据本技术实施例提供的车辆的ar实景导航辅助方法的流程图；
24.图2为根据本技术实施例提供的车辆的ar实景导航辅助系统的示意图；
25.图3为根据本技术实施例提供的系统中各部分在车内的安装位置示意图；
26.图4为根据本技术实施例提供的车辆的ar实景导航辅助装置的方框图；
27.图5为根据本技术实施例提供的车辆的结构示意图。
具体实施方式
28.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
29.相关技术中，将原本导航的平面地图替换为提前拍好的街景图像，再根据导航信息，显示对应的街景图像，并在街景图像上标注导航提示信息，通过汽车中控大屏显示出来。该方式虽然比传统的平面导航更加形象细致的给驾驶员提供导航方向信息，但街景图像并非实时图像，存在实际场景与街景图像的区别，当两者差距比较巨大时，容易导致驾驶员驾驶选择路线时的错误，且存在驾驶员查看导航信息时需分散驾驶注意力，易引发交通事故等问题。
30.因此，相关技术中ar-hud(head up display，抬头显示系统)只是把导航路线提示符投射到挡风玻璃，但导航路线提示符，无法与前方的实景相结合，无法提供真实准确的导航指引提示。为此，本技术实施例提出了一种车辆的ar实景导航辅助方法、装置、车辆及存储介质，利用ar-hud将导航路线指引及路况信息投射到挡风玻璃上与前方的路况实景相融合，提供动态的路线指引提示符，给驾驶员提供精确的ar实景导航体验。
31.下面将参考附图描述本技术实施例的车辆的ar实景导航辅助方法、装置、车辆及存储介质。具体而言，图1为本技术实施例所提供的一种车辆的ar实景导航辅助方法的流程示意图。
32.如图1所示，该车辆的ar实景导航辅助方法包括以下步骤：
33.在步骤s101中，获取车辆行驶方向上的路况图像。
34.可以理解的是，本技术实施例可以通过多种方式采集路况图像，比如利用车辆上设置的图像采集模块进行采集，或者虚拟现实增强眼镜等，不作具体限定。
35.在步骤s102中，识别路况图像得到路况实景，并基于驾驶员的当前驾驶视角匹配路况实景与导航信息的最佳融合位置。
36.可以理解的是，本技术实施例可以以驾驶员的视角采集前方的路况图像信息，从而可以采集驾驶员视野范围的图像信息，并识别视野前方的路况并匹配导航信息，确定最佳融合位置。
37.在本技术实施例中，在基于驾驶员的当前驾驶视角匹配路况实景与导航信息的最佳融合位置之前，包括：获取驾驶员的当前图像；识别当前图像得到驾驶员的当前驾驶视角。
38.可以理解的是，本技术实施例可以通过图像识别的方式准确确定驾驶员的视野范围，进而实现路况实景与导航信息的准确融合，可以给驾驶员提供精确的ar实景导航指引。
39.在步骤s103中，基于虚拟现实设备ar将导航信息投射至最佳融合位置。
40.可以理解的是，本技术实施例可以利用ar-hud设备在车辆的前挡风玻璃上根据实景动态显示导航引导提示标志，给驾驶员提供精确的ar实景导航指引。
41.在本技术实施例中，基于虚拟现实ar设备将导航信息投射至最佳融合位置，包括：根据导航信息生成驾驶指引动画图标，并基于ar设备将驾驶指引动画图标投射至最佳融合位置。
42.可以理解的是，本技术实施例可以将指引动画图标通过ar设备投射至最佳融合位
置，可以根据实景动态显示导航引导提示标志，给驾驶员提供精确的ar实景导航指引
43.在本技术实施例中，在基于虚拟现实设备ar将导航信息投射至最佳融合位置之后，还包括：根据当前导航信息生成导航语音，并基于导航语音进行语音导航。
44.可以理解的是，本技术实施例可以在提供ar实景导航的同时，基于语音辅助导航，可以为驾驶员提供多种导航辅助，提升驾驶员的使用体验。
45.根据本技术实施例提供的车辆的ar实景导航辅助方法，可以基于驾驶员的视野确定实景与导航信息的最佳融合位置，并将导航信息投射至最佳融合位置，实现实景与导航信息的最佳融合，使得驾驶员可以将通过挡风玻璃看到前方行驶的路面上显示的导航信息，避免查看导航信息时分散注意力，提高驾驶的安全性以及驾驶员的使用体验。
46.下面将通过一个具体实施例对车辆的ar实景导航辅助方法进行阐述，以图2辅助体统和图3所示的各部分在车内的安装位置为例，其中，如图2所示，车辆的ar实景导航辅助系统包括：图像采集模块、导航模块、中央处理模块、ar-hud显示模块、语音模块，并可以使用特殊前挡风玻璃，使整面挡风玻璃均可以显示ar-hud的投射信息。其中，图像采集模块可以安装在驾驶员侧，且采集的图像符合驾驶员的视野；ar-hud显示模块可以对整个前挡风玻璃进行画面的投射。
47.具体而言，如图3所示，图像采集模块主要由摄像头及相应的处理单元组成，安装于驾驶员头部附近的车内位置，模拟驾驶员的视线范围通过车辆前挡风玻璃所观察到的路面情况，并采集相应的路况图像传输给中央处理模块。
48.导航模块，安装于车辆中控台内，主要负责车辆的导航定位，提供车辆行驶路线信息，将准确的定位信息及路径规划信息传输给中央处理模块。
49.中央处理模块，安装于车辆中控台内，将图像模块以驾驶员视角采集到的路况图像进行图像识别，再根据导航数据分析出图像中什么位置需添加导航提示信息，把相应的提示信息及信息显示的位置传输给ar-hud显示模块，再把对应的提示音传输给语音模块。
50.ar-hud显示模块，安装于仪表台上，用于在前挡风玻璃上投射驾驶员视野下导航路线引导信息，使导航路线引导与实际驾驶员所见的路况相融合，提供ar般的沉浸式的导航体验。
51.语音模块，安装于仪表台内，配合车内音响系统，给驾驶员播放导航路线提示音及路况提示音。
52.需要说明的是，在具体应用时，本技术实施例还可以将图像采集模块替换成虚拟现实增强眼镜。通过虚拟现实增强眼镜，驾驶员可以带上眼镜，可以在驾驶员的眼前虚拟显示出动态的路线指引图标。
53.基于图2和图3所示的系统，车辆的ar实景导航辅助方法包括以下步骤：
54.1)ar实景导航开始，各模块启动开始工作；
55.2)图像采集模块，以驾驶员的视角采集前方的路况图像信息；
56.3)导航模块获取导航路线引导信息及路况信息；
57.4)将图像数据及导航数据传输到中央处理模块；
58.5)中央处理模块根据导航数据，生成动态的路线指引动画图标，传输给ar-hud显示模块；
59.6)中央处理模块识别图像数据，计算出需在前挡风玻璃上的什么位置显示动态的
路线指引动画图标，使显示的图标能与前方的实景相融合；
60.7)中央处理模块将需要投射的位置信息传输给ar-hud显示模块，并把相应路况提示音传输给语音模块；
61.8)ar-hud模块根据位置信息在前挡风玻璃的相应位置投射导航路线指引动画图标；
62.9)语音模块根据传输的路况提示音，播放相应的路况提示信息。
63.综上，本技术实施例基于虚拟现实技术的应用，从传统的小图标的ar-hud效果，提高到整个挡风玻璃可根据驾驶侧的视角，去动态显示虚拟的导航路线指引图标，使虚拟的路线指引与实际景物相融合，从而可以提升驾驶员的导航体验，驾驶员将通过挡风玻璃看到前方行驶的路面上显示的导航引导线。导航引导线与实景相融合，驾驶员将不会因为查看导航路线信息而转移视线注意力，提高了驾驶的安全性。
64.其次参照附图描述根据本技术实施例提出的车辆的ar实景导航辅助装置。
65.图4是本技术实施例的车辆的ar实景导航辅助装置的方框示意图。
66.如图4所示，该车辆的ar实景导航辅助装置10包括：获取模块100、匹配模块200和投射模块300。
67.其中，获取模块100用于获取车辆行驶方向上的路况图像；匹配模块200用于识别路况图像得到路况实景，并基于驾驶员的当前驾驶视角匹配路况实景与导航信息的最佳融合位置；投射模块300用于基于虚拟现实设备ar将导航信息投射至最佳融合位置。
68.在本技术实施例中，本技术实施例的装置10还包括：识别模块。其中，识别模块用于在基于驾驶员的当前驾驶视角匹配路况实景与导航信息的最佳融合位置之前，获取驾驶员的当前图像，识别当前图像得到驾驶员的当前驾驶视角。
69.在本技术实施例中，投射模块300用于：根据导航信息生成驾驶指引动画图标，并基于ar设备将驾驶指引动画图标投射至最佳融合位置。
70.在本技术实施例中，本技术实施例的装置10还包括：导航模块。其中，导航模块用于在基于虚拟现实设备ar将导航信息投射至最佳融合位置之后，根据当前导航信息生成导航语音，并基于导航语音进行语音导航。
71.需要说明的是，前述对车辆的ar实景导航辅助方法实施例的解释说明也适用于该实施例的车辆的ar实景导航辅助装置，此处不再赘述。
72.根据本技术实施例提出的车辆的ar实景导航辅助装置，可以基于驾驶员的视野确定实景与导航信息的最佳融合位置，并将导航信息投射至最佳融合位置，实现实景与导航信息的最佳融合，使得驾驶员可以将通过挡风玻璃看到前方行驶的路面上显示的导航信息，避免查看导航信息时分散注意力，提高驾驶的安全性以及驾驶员的使用体验。
73.图5为本技术实施例提供的车辆的结构示意图。该车辆可以包括：
74.存储器501、处理器502及存储在存储器501上并可在处理器502上运行的计算机程序。
75.处理器502执行程序时实现上述实施例中提供的车辆的ar实景导航辅助方法。
76.进一步地，车辆还包括：
77.通信接口503，用于存储器501和处理器502之间的通信。
78.存储器501，用于存放可在处理器502上运行的计算机程序。
79.存储器501可能包含高速ram(random access memory，随机存取存储器)存储器，也可能还包括非易失性存储器，例如至少一个磁盘存储器。
80.如果存储器501、处理器502和通信接口503独立实现，则通信接口503、存储器501和处理器502可以通过总线相互连接并完成相互间的通信。总线可以是isa(industry standard architecture，工业标准体系结构)总线、pci(peripheral component，外部设备互连)总线或eisa(extended industry standard architecture，扩展工业标准体系结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
81.可选的，在具体实现上，如果存储器501、处理器502及通信接口503，集成在一块芯片上实现，则存储器501、处理器502及通信接口503可以通过内部接口完成相互间的通信。
82.处理器502可能是一个cpu(central processing unit，中央处理器)，或者是asic(application specific integrated circuit，特定集成电路)，或者是被配置成实施本技术实施例的一个或多个集成电路。
83.本技术实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的车辆的ar实景导航辅助方法。
84.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或n个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
85.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“n个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
86.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更n个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
87.应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，n个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列，现场可编程门阵列等。
88.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介
质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
89.尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。
技术特征：1.一种车辆的ar实景导航辅助方法，其特征在于，包括以下步骤：获取车辆行驶方向上的路况图像；识别所述路况图像得到路况实景，并基于驾驶员的当前驾驶视角匹配所述路况实景与导航信息的最佳融合位置；基于虚拟现实设备ar将所述导航信息投射至所述最佳融合位置。2.根据权利要求1所述的方法，其特征在于，在基于驾驶员的当前驾驶视角匹配所述路况实景与导航信息的最佳融合位置之前，包括：获取驾驶员的当前图像；识别所述当前图像得到所述驾驶员的当前驾驶视角。3.根据权利要求1所述的方法，其特征在于，所述基于虚拟现实ar设备将所述导航信息投射至所述最佳融合位置，包括：根据所述导航信息生成驾驶指引动画图标，并基于所述ar设备将所述驾驶指引动画图标投射至所述最佳融合位置。4.根据权利要求1-3任意一项所述的方法，其特征在于，在基于虚拟现实设备ar将所述导航信息投射至所述最佳融合位置之后，还包括：根据所述当前导航信息生成导航语音，并基于所述导航语音进行语音导航。5.一种车辆的ar实景导航辅助装置，其特征在于，包括：获取模块，用于获取车辆行驶方向上的路况图像；匹配模块，用于识别所述路况图像得到路况实景，并基于驾驶员的当前驾驶视角匹配所述路况实景与导航信息的最佳融合位置；投射模块，用于基于虚拟现实设备ar将所述导航信息投射至所述最佳融合位置。6.根据权利要求5所述的装置，其特征在于，包括：识别模块，用于在基于驾驶员的当前驾驶视角匹配所述路况实景与导航信息的最佳融合位置之前，获取驾驶员的当前图像，识别所述当前图像得到所述驾驶员的当前驾驶视角。7.根据权利要求5所述的装置，其特征在于，所述投射模块用于：根据所述导航信息生成驾驶指引动画图标，并基于所述ar设备将所述驾驶指引动画图标投射至所述最佳融合位置。8.根据权利要求5-7任意一项所述的装置，其特征在于，还包括：导航模块，用于在基于虚拟现实设备ar将所述导航信息投射至所述最佳融合位置之后，根据所述当前导航信息生成导航语音，并基于所述导航语音进行语音导航。9.一种车辆，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-4任一项所述的车辆的ar实景导航辅助方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-4任一项所述的车辆的ar实景导航辅助方法。
技术总结本申请涉及车辆技术领域，特别涉及一种车辆的AR实景导航辅助方法、装置、车辆及存储介质，其中，方法包括：获取车辆行驶方向上的路况图像；识别路况图像得到路况实景，并基于驾驶员的当前驾驶视角匹配路况实景与导航信息的最佳融合位置；基于虚拟现实设备AR将导航信息投射至最佳融合位置。由此，解决了相关技术中致AR实景导航时导航信息无法与实景融合，容易导致驾驶员分散注意力，降低驾驶的安全性及用户体验等问题。户体验等问题。户体验等问题。
技术研发人员：张元意
受保护的技术使用者：重庆长安汽车股份有限公司
技术研发日：2022.06.21
技术公布日：2022/11/1
