1.本发明涉及汽车领域，特别是涉及一种道路信息可视化呈现方法、装置、存储介质及电子设备。
背景技术：2.增强现实技术(augmented reality，简称ar)，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，使得真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。
3.增强现实技术也广泛应用于智能驾驶辅助领域，通过采用虚拟提示信息和实际路况的贴合，从而保证驾驶者能够清晰直观的对道路、障碍物、方向和车道线进行观测预判。现有的增强现实技术，仅仅实现对车道线、障碍物等直观的呈现，不能准确的体现本车与实际车道线的位置关系，从而无法提供准确的实现驾驶辅助。
技术实现要素：4.鉴于上述状况，有必要针对现有技术中增强现实图像无法确的体现本车与实际车道线的位置关系，从而提供准确的实现驾驶辅助的问题，提供一种道路信息可视化呈现方法、装置、存储介质及电子设备。
5.一种道路信息可视化呈现方法，包括：
6.实时获取摄像头采集的道路图像，并根据所述道路图像确定本车两侧的车道线的车道线信息，所述车道线信息包括本车与所述车道线的横向距离和夹角，以及所述车道线的曲率和曲率变化率；
7.根据所述车道线信息构建虚拟车道线模型；
8.将所述道路图像与所述虚拟车道线模型进行融合，得到增强现实图像。
9.进一步的，上述道路信息可视化方法，其中，所述根据实时获取的所述道路图像确定本车两侧的车道线的车道线信息的步骤包括：
10.根据所述道路图像确定本车两侧的车道线，并实时在所述车道线上的各个探测点建立车道线坐标系，
11.建立本车所在位置的本车坐标系，并确定所述车道线坐标系与所述本车坐标系的横向距离和夹角；
12.根据所述车道线的形状确定所述车道线的曲率和曲率变化率。
13.进一步的，上述道路信息可视化方法，其中，所述根据所述车道线信息构建虚拟车道线模型的步骤包括：
14.根据所述车道线信息重构车道线，并根据重构的车道线构建虚拟车道线模型。
15.进一步的，上述道路信息可视化方法，其中，所述重构车道线的公式为：
16.y＝dy+θ*x+1/2*c*x2+1/6*δc*x3；
17.其中，dy为本车与所述车道线的横向距离，θ为本车与所述车道线的夹角，c为所述
车道线的曲率，δc为所述车道线的曲率变化率。
18.进一步的，上述道路信息可视化方法，其中，所述将所述道路图像与所述虚拟车道线模型进行融合的步骤包括：
19.采用注册定位技术将所述车道线模型添加至所述道路图像中。
20.进一步的，上述道路信息可视化方法，其中，所述实时获取摄像头采集的道路图像的步骤之后还包括：
21.根据实时获取的所述道路图像确定本车周围的障碍物的类别信息；
22.获取雷达探测到的本车与所述障碍物之间的距离信息和角度信息；
23.根据所述类别信息、所述距离信息和所述角度信息构建虚拟障碍物模型；
24.所述将所述道路图像与所述虚拟车道线模型进行融合，得到增强现实图像的步骤包括：
25.将所述道路图像与所述虚拟车道线模型以及所述虚拟障碍物模型进行融合，得到增强现实图像。
26.本发明还提供了一种道路信息可视化呈现装置，包括：
27.第一确定模块，用于实时获取摄像头采集的道路图像，并根据所述道路图像确定本车两侧的车道线的车道线信息，所述车道线信息包括本车与所述车道线的横向距离和夹角，以及所述车道线的曲率和曲率变化率；
28.第一模型构建模块，用于根据所述车道线信息构建虚拟车道线模型；
29.融合模块，用于将所述道路图像与所述虚拟车道线模型进行融合，得到增强现实图像。
30.进一步的，上述道路信息可视化呈现装置，还包括：
31.第二确定模块，用于根据实时获取的所述道路图像确定本车周围的障碍物的类别信息；
32.获取模块，用于获取雷达探测到的本车与所述障碍物之间的距离信息和角度信息；
33.第二模型构建模块，用于根据所述类别信息、所述距离信息和所述角度信息构建虚拟障碍物模型；
34.所述融合模块，用于：
35.将所述道路图像与所述虚拟车道线模型以及所述虚拟障碍物模型进行融合，得到增强现实图像。
36.本发明还提供了一种电子设备，包括：存储器，处理器，以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时实现上述任意一项所述的方法。
37.本发明还提供了一种计算机可读存储介质，其上存储有程序，其特征在于，所述程序被处理器执行时实现上述任意一所述的方法。
38.本发明中，根据摄像头实时采集的道路图像对本车两侧的车道线进行探测，准确的获取本车与车道线的距离、夹角、车道线曲线和车道线曲率变化率，根据获取的车道线信息可以准确地构建出以本车摄像头视角下的虚拟车道线模型，并将虚拟车道线模型与实时采集的道路图像进行融合，得到增强现实图像。该方法可准确的建立出虚拟车道线模型，可
以更加精准的实现增强现实图像中的道路呈现。
附图说明
39.图1为本发明第一实施例提供的道路信息可视化呈现方法的流程图；
40.图2为本发明第一实施例中车道线信息的示意图；
41.图3为本发明第二实施例提供的道路信息可视化呈现方法的流程图
42.图4为本发明第二实施例中本车与障碍物之间的距离信息和角度信息的示意图；
43.图5为本发明第三实施例提供的道路信息可视化呈现装置的结构框图；
44.图6为本发明实施例中电子设备的结构示意图。
具体实施方式
45.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
46.参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
47.请参阅图1，为本发明第一实施例中的道路信息可视化呈现方法，包括步骤s11～s13。
48.步骤s11，实时获取摄像头采集的道路图像，并根据所述道路图像确定本车两侧的车道线的车道线信息。其中，所述车道线信息包括本车与所述车道线的横向距离和夹角，以及所述车道线的曲率和曲率变化率。
49.该道路图像可通过车辆上安装的摄像头来实时获取，通过摄像头的视野范围，探测视野内本车两侧的车道线。该车道线主要为本车所在的车道的左车道线和右车道线。具体实施时，可通过对实时采集的道路图像进行图像识别，确定本车两侧的车道线，并建立该车道线坐标系以及本车坐标系；再根据该车道线的形状以及各个探测点的位置，实时确定各个车道线坐标系与本车坐标系的横向距离dy和夹角θ；根据该车道线的形状可确定车道线的曲率c和曲率变化率δc。
50.具体的，根据摄像头采集的图像，以本车的某个固定点为坐标系原点建立本车坐标系，平行于底面指向车辆前方为x轴，指向驾驶员左侧为y轴，向上为z轴，该坐标系相对于本车位置固定不动。再以实时探测到的车道线上的各探测点为坐标系原点建立车道线坐标系，该车道线上以该原点的切线为车道线坐标系的x轴，以过该原点且垂直该x轴的直线为y轴，车道线坐标系的z轴与本车坐标系的z轴平行。
51.和y轴分别与本车坐标系的x轴和y轴平行。根据本车坐标系和车道线坐标系，可以实时检测到本车与车道线的相对位置。
52.对于每一条车道线，摄像头都能分别得到dy、θ、c以及δc四个参数值，该车道线信息如图2所示。并且，摄像头还可根据自身的探测，获取到车道线类型信息，比如：实线、虚线、点状线、路沿等。
53.步骤s12，根据所述车道线信息构建虚拟车道线模型。
54.可以理解的，通过摄像头采集到的本车与车道线的横向距离和夹角，以及车道线的曲率和曲率变化率均为真实场景中的信息，即为世界坐标系下的信息。需要将其转化为增强现实图像所对应的虚拟场景下坐标系，即转为为虚拟空间坐标系下的信息，继而可得到虚拟车道线模型。该虚拟车道线模型即为以本车的摄像头实时采集的图像所对应的动态的虚拟模型。
55.步骤s13，将所述道路图像与所述虚拟车道线模型进行融合，得到增强现实图像。
56.道路图像为本车的摄像头实时采集的真实场景的图像，其包括车道方向、名称、车道数等。将虚拟车道线模型添加到真实的道路图像中，具体实施时，可采用注册定位技术，即在真实场景进行相机的标定和目标的跟踪，注册完成后通过虚拟融合技术将虚拟场景中的虚拟物体叠加到真实场景中，用ar显示设备显示出来。
57.本实施例中，根据摄像头实时采集的道路图像对本车两侧的车道线进行探测，准确的获取本车与车道线的距离、夹角、车道线曲线和车道线曲率变化率，根据获取的车道线信息可以准确地构建出以本车摄像头视角下的虚拟车道线模型，并将虚拟车道线模型与实时采集的道路图像进行融合，得到增强现实图像。该方法可准确的建立出虚拟车道线模型，可以更加精准的实现增强现实图像中的道路呈现。
58.请参阅图3，为本发明第二实施例中的道路信息可视化呈现方法，包括步骤s21～s25。
59.步骤s21，实时获取摄像头采集的道路图像，并根据所述道路图像确定本车两侧的车道线的车道线信息，以及所述本车周围的障碍物的类别信息。其中，所述车道线信息包括本车与所述车道线的横向距离和夹角，以及所述车道线的曲率和曲率变化率。
60.步骤s22，根据所述车道线信息构建虚拟车道线模型。
61.其中，根据所述道路图像确定本车两侧的车道线的车道线信息的步骤具体包括：
62.根据所述道路图像确定本车两侧的车道线，并实时在所述车道线上的各个探测点建立车道线坐标系，
63.建立本车所在位置的本车坐标系，并确定所述车道线坐标系与所述本车坐标系的横向距离和夹角；
64.根据所述车道线的形状确定所述车道线的曲率和曲率变化率。
65.当摄像头视觉模块探测到相关车道线时，根据车道线的形状及位置实时发送车道线坐标系与本车坐标系的横向距离dy和夹角θ以建立动态车道线坐标系，并发送探测到的车道线曲率c以及曲率变化率δc，对于每一条车道线，摄像头都能分别发出dy、θ、c以及δc四个参数值，根据公式y＝dy+θ*x+1/2*x2+1/6*δc*x3，车辆即可重构出车道线模型，并根据本车坐标系绘制本车位置，可以实时确定本车与车道线的相对位置，得到动态的虚拟车道线模型。
66.根据摄像头采集的图像进行物体探测，可以确定本车摄像头视角范围内的障碍物，并根据分类算法可以确定探测到的障碍物的类型，如小车、卡车、自行车、摩托车、行人等。
67.步骤s23，获取雷达探测到的本车与所述障碍物之间的距离信息和角度信息。
68.具体实施时，车辆前方以及两侧安装有雷达以对障碍物与本车的距离，以及障碍
物与本车的角度进行探测。如图4所示，该距离信息包括障碍物基准点(障碍物基准点即为面向本车轮廓的底部边缘中心点)与本车坐标系的纵向距离dx。该角度信息包括障碍物的左侧与本车的夹角θ1、障碍物的右侧与本车的夹角θ2、障碍物尾部宽度所形成的线段与本车坐标系原点所形成的角度θ3、障碍物基准点与本车的夹角θ4。
69.步骤s24，根据所述类别信息、所述距离信息和所述角度信息构建虚拟障碍物模型。
70.根据障碍物的类别信息、该距离信息和该角度信息构建虚拟障碍物模型。该虚拟障碍物模型注重本车与障碍物的距离和各个方位的角度，为用户提供精准的障碍物信息。
71.步骤s25，将所述道路图像与所述虚拟车道线模型以及虚拟障碍物模型进行融合，得到增强现实图像。
72.具体实施时，采用注册定位技术将虚拟车道线模型以及虚拟障碍物模型添加到真实的道路图像中。
73.请参阅图5，为本发明第三实施例中的道路信息可视化呈现装置，其特征在于，包括：
74.第一确定模块31，用于实时获取摄像头采集的道路图像，并根据所述道路图像确定本车两侧的车道线的车道线信息，所述车道线信息包括本车与所述车道线的横向距离和夹角，以及所述车道线的曲率和曲率变化率；
75.第一模型构建模块32，用于根据所述车道线信息构建虚拟车道线模型；
76.融合模块33，用于将所述道路图像与所述虚拟车道线模型进行融合，得到增强现实图像。
77.进一步的，上述道路信息可视化呈现装置，还包括：
78.第二确定模块，用于根据实时获取的所述道路图像确定本车周围的障碍物的类别信息；
79.获取模块，用于获取雷达探测到的本车与所述障碍物之间的距离信息和角度信息；
80.第二模型构建模块，用于根据所述类别信息、所述距离信息和所述角度信息构建虚拟障碍物模型；
81.所述融合模块，用于：
82.将所述道路图像与所述虚拟车道线模型以及所述虚拟障碍物模型进行融合，得到增强现实图像。
83.本发明实施例所提供的道路信息可视化呈现装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
84.本发明另一方面还提出一种电子设备，请参阅图6，所示为本发明第四实施例当中的电子设备，包括处理器10、存储器20以及存储在存储器上并可在处理器上运行的计算机程序30，所述处理器10执行所述计算机程序30时实现如上述的道路信息可视化呈现方法。
85.其中，所述电子设备应用于汽车中，其可以整车中单独设置的控制器，也可以为整车的存在的设备，例如为ecu。处理器10在一些实施例中可以是一中央处理器(central processing unit,cpu)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储
器20中存储的程序代码或处理数据。
86.其中，存储器20至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、磁性存储器、磁盘、光盘等。存储器20在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的硬盘。存储器20在另一些实施例中也可以是电子设备的外部存储装置，例如电子设备上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，存储器20还可以既包括电子设备的内部存储单元也包括外部存储装置。存储器20不仅可以用于存储安装于电子设备的应用软件及各类数据，还可以用于暂时地存储已经输出或者将要输出的数据。
87.可选地，该电子设备还可以包括用户接口、网络接口、通信总线等，用户接口可以包括显示器(display)、输入单元比如键盘(keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light-emitting diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。网络接口可选的可以包括标准的有线接口、无线接口(如wi-fi接口)，通常用于在该装置与其他电子装置之间建立通信连接。通信总线用于实现这些组件之间的连接通信。
88.需要指出的是，图6示出的结构并不构成对电子设备的限定，在其它实施例当中，该电子设备可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
89.本发明还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的道路信息可视化呈现方法。
90.本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或装置(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或装置取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或装置而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或装置或结合这些指令执行系统、装置或装置而使用的装置。
91.计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
92.应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路
的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
93.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
94.以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
技术特征：1.一种道路信息可视化呈现方法，其特征在于，包括：实时获取摄像头采集的道路图像，并根据所述道路图像确定本车两侧的车道线的车道线信息，所述车道线信息包括本车与所述车道线的横向距离和夹角，以及所述车道线的曲率和曲率变化率；根据所述车道线信息构建虚拟车道线模型；将所述道路图像与所述虚拟车道线模型进行融合，得到增强现实图像。2.如权利要求1所述的道路信息可视化方法，其特征在于，所述根据实时获取的所述道路图像确定本车两侧的车道线的车道线信息的步骤包括：根据所述道路图像确定本车两侧的车道线，并实时在所述车道线上的各个探测点建立车道线坐标系，建立本车所在位置的本车坐标系，并确定所述车道线坐标系与所述本车坐标系的横向距离和夹角；根据所述车道线的形状确定所述车道线的曲率和曲率变化率。3.如权利要求1所述的道路信息可视化呈现方法，其特征在于，所述根据所述车道线信息构建虚拟车道线模型的步骤包括：根据所述车道线信息重构车道线，并根据重构的车道线构建虚拟车道线模型。4.如权利要求3所述的道路信息可视化呈现方法，其特征在于，所述重构车道线的公式为：y＝dy+θ*x+1/2*c*x2+1/6*δc*x3；其中，dy为本车与所述车道线的横向距离，θ为本车与所述车道线的夹角，c为所述车道线的曲率，δc为所述车道线的曲率变化率。5.如权利要求1所述的道路信息可视化呈现方法，其特征在于，所述将所述道路图像与所述虚拟车道线模型进行融合的步骤包括：采用注册定位技术将所述车道线模型添加至所述道路图像中。6.如权利要求1所述的道路信息可视化呈现方法，其特征在于，所述实时获取摄像头采集的道路图像的步骤之后还包括：根据实时获取的所述道路图像确定本车周围的障碍物的类别信息；获取雷达探测到的本车与所述障碍物之间的距离信息和角度信息；根据所述类别信息、所述距离信息和所述角度信息构建虚拟障碍物模型；所述将所述道路图像与所述虚拟车道线模型进行融合，得到增强现实图像的步骤包括：将所述道路图像与所述虚拟车道线模型以及所述虚拟障碍物模型进行融合，得到增强现实图像。7.一种道路信息可视化呈现装置，其特征在于，包括：第一确定模块，用于实时获取摄像头采集的道路图像，并根据所述道路图像确定本车两侧的车道线的车道线信息，所述车道线信息包括本车与所述车道线的横向距离和夹角，以及所述车道线的曲率和曲率变化率；第一模型构建模块，用于根据所述车道线信息构建虚拟车道线模型；融合模块，用于将所述道路图像与所述虚拟车道线模型进行融合，得到增强现实图像。
8.如权利要求7所述的道路信息可视化呈现装置，其特征在于，还包括：第二确定模块，用于根据实时获取的所述道路图像确定本车周围的障碍物的类别信息；获取模块，用于获取雷达探测到的本车与所述障碍物之间的距离信息和角度信息；第二模型构建模块，用于根据所述类别信息、所述距离信息和所述角度信息构建虚拟障碍物模型；所述融合模块，用于：将所述道路图像与所述虚拟车道线模型以及所述虚拟障碍物模型进行融合，得到增强现实图像。9.一种电子设备，其特征在于，包括：存储器，处理器，以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时实现如权利要求1-6中任意一项所述的方法。10.一种计算机可读存储介质，其上存储有程序，其特征在于，所述程序被处理器执行时实现如权利要求1－6任意一所述的方法。
技术总结一种道路信息可视化呈现方法、装置、存储介质及电子设备，该方法包括：实时获取摄像头采集的道路图像，并根据所述道路图像确定本车两侧的车道线的车道线信息，所述车道线信息包括本车与所述车道线的横向距离和夹角，以及所述车道线的曲率和曲率变化率；根据所述车道线信息构建虚拟车道线模型；将所述道路图像与所述虚拟车道线模型进行融合，得到增强现实图像。该方法可准确的建立出虚拟车道线模型，可以更加精准的实现增强现实图像中的道路呈现。以更加精准的实现增强现实图像中的道路呈现。以更加精准的实现增强现实图像中的道路呈现。
技术研发人员：郝谦 曾黎烽
受保护的技术使用者：共青科技职业学院
技术研发日：2022.06.24
技术公布日：2022/11/1
