1.本技术涉及自动驾驶技术领域，特别涉及一种车辆的鸟瞰图生成方法、装置、车辆及存储介质。
背景技术：2.自动驾驶系统是智能汽车的核心系统之一，其中的感知模块作为整个系统的上游，其感知质量的好坏直接影响整个自动驾驶系统的性能。
3.相关技术中，多数主机厂和自动驾驶解决方案供应商的感知模块架构基于感知后融合，即分别对单个摄像头的图像进行感知，然后利用基于逻辑的后处理对感知结果进行后融合。
4.然而，上述框架存在诸多的问题，其中，最突出的一点是：由于需要基于规则进行后处理，且视觉模块的后处理较为繁杂，因此方案鲁棒性差，无法处理一些重要的工况，特别是对于十字路口和环岛这样的复杂道路结构，方案的后融合处理的精度不高。同时，对于动态障碍物cut-in(插入)的场景，使用后融合的鲁棒性也较差。
技术实现要素：5.本技术提供一种车辆的鸟瞰图生成方法、装置、车辆及存储介质，可以接收环绕车身360度的多个摄像头原始二维图像输入和/或激光雷达输入，并直接输出鸟瞰图视角下的感知信息，减少后处理的工作量，提高整个系统的鲁棒性。
6.本技术第一方面实施例提供一种车辆的鸟瞰图生成方法，包括以下步骤：获取车辆周围的多个感知信息；提取每个感知信息的二维特征图，按照预设变换策略对每个二维特征图进行几何变换，得到第一特征图；对所有第一特征图进行特征融合和空间转换，得到不同时刻的单帧特征图，并在当前时刻车辆坐标系下对所述不同时刻的单帧特征图进行空间维度和时序维度的融合，生成第二特征图；根据所述第二特征图获取所述车辆周围的动态障碍物特征和静态障碍物特征，并基于所述动态障碍物特征和所述静态障碍物特征生成所述车辆周围的鸟瞰图。
7.根据上述技术手段，本技术实施例可以接收环绕车身360度的多个摄像头原始二维图像输入和/或激光雷达输入，并直接输出鸟瞰图视角下的感知信息，减少后处理的工作量，提高整个系统的鲁棒性。
8.进一步地，所述按照预设变换策略对每个二维特征图进行几何变换得到第一特征图，包括：获取所述第一特征图与每个二维特征图上的对应点；根据预先构造完成的逆透视变换矩阵将所述对应点用于在所述每个二维特征图上，得到所述第一特征图。
9.根据上述技术手段，本技术实施例可以利用相机的内参和外参构造逆透视变换矩阵，获得鸟瞰图特征图上每一点在二维特征图上的对应点，根据逆透视变换矩阵得到鸟瞰图的第一特征图，由此可以将空间单应性变换作用于二维特征图上，有效利用原始图像信息，特征图生成结果更准确和稳定。
10.进一步地，所述对所有第一特征图进行特征融合和空间转换，得到不同时刻的单帧特征图，包括：提取每个第一特征图之间的特征关系，基于所述特征关系进行特征融合，得到当前时刻单帧特征图；将所述当前时刻单帧特征图和历史多个时刻的单帧特征图转换至所述当前时刻车辆坐标系下，得到不同时刻的单帧特征图。
11.根据上述技术手段，本技术实施例可以引入时序信息，使得所有不同时刻的特征都在同一个统一的坐标系下(即当前时刻车体坐标系)，由此可以通过一种更简便的融合方式准确有效地获取特征融合后的单帧特征图，使得特征信息能够有效重叠而不至于错位，操作更简单快捷，提升融合效率和融合结果准确性。
12.进一步地，所述根据所述第二特征图获取所述车辆周围的动态障碍物特征和静态障碍物特征，包括：将所述第二特征图输入至预先建立的第一解码器，对所述第二特征图进行动态障碍物语义信息的解码，得到所述动态障碍物特征；将所述第二特征图输入至预先建立的第二解码器，对所述第二特征图进行静态障碍物语义信息的解码，得到所述静态障碍物特征。
13.根据上述技术手段，本技术实施例可以通过动态解码和静态解码实现在鸟瞰图视角下的旋转框检测，并基于点检测和点实例聚类，输出每个点的切线方向，通过简单的后处理将道路静态信息进行向量化，由此可以有效解决后处理复杂的问题，减少感知后处理的工作量，直接在鸟瞰图视角输出规划控制需要的所有必要信息，解码过程更完善和准确，提升整个感知系统的鲁棒性。
14.进一步地，所述基于所述动态障碍物特征和所述静态障碍物特征生成所述车辆周围的鸟瞰图，包括：获取所述车辆的激光雷达的点云数据；将所述点云数据输入至预先建立完成的点云特征提取模型，输出所述点云数据的点云特征；将所述点云特征、所述动态障碍物特征和所述静态障碍物特征融合，得到所述车辆周围的鸟瞰图。
15.根据上述技术手段，本技术实施例可以将激光雷达输入作为一个选择分支，在实现多视角融合外，还能同时融合激光雷达和视觉，处理多模态信息，提升综合信息处理能力，对于鸟瞰图生成的特征考虑更全面，提高生成结果准确性和全面性。
16.本技术第二方面实施例提供一种车辆的鸟瞰图生成装置，包括：获取模块，用于获取车辆周围的多个感知信息；第一变换模块，用于提取每个感知信息的二维特征图，按照预设变换策略对每个二维特征图进行几何变换，得到第一特征图；第二变换模块，用于对所有第一特征图进行特征融合和空间转换，得到不同时刻的单帧特征图，并在当前时刻车辆坐标系下对所述不同时刻的单帧特征图进行空间维度和时序维度的融合，生成第二特征图；生成模块，用于根据所述第二特征图获取所述车辆周围的动态障碍物特征和静态障碍物特征，并基于所述动态障碍物特征和所述静态障碍物特征生成所述车辆周围的鸟瞰图。
17.进一步地，所述第一变换模块用于：获取所述第一特征图与每个二维特征图上的对应点；根据预先构造完成的逆透视变换矩阵将所述对应点用于在所述每个二维特征图上，得到所述第一特征图。
18.进一步地，所述第二变换模块用于：提取每个第一特征图之间的特征关系，基于所述特征关系进行特征融合，得到当前时刻单帧特征图；将所述当前时刻单帧特征图和历史多个时刻的单帧特征图转换至所述当前时刻车辆坐标系下，得到不同时刻的单帧特征图。
19.进一步地，所述生成模块用于：将所述第二特征图输入至预先建立的第一解码器，
对所述第二特征图进行动态障碍物语义信息的解码，得到所述动态障碍物特征；将所述第二特征图输入至预先建立的第二解码器，对所述第二特征图进行静态障碍物语义信息的解码，得到所述静态障碍物特征。
20.进一步地，所述生成模块进一步用于：获取所述车辆的激光雷达的点云数据；将所述点云数据输入至预先建立完成的点云特征提取模型，输出所述点云数据的点云特征；将所述点云特征、所述动态障碍物特征和所述静态障碍物特征融合，得到所述车辆周围的鸟瞰图。
21.本技术第三方面实施例提供一种车辆，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的车辆的鸟瞰图生成方法。
22.本技术第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的车辆的鸟瞰图生成方法。
23.由此，本技术至少具有如下有益效果：
24.(1)本技术实施例可以接收环绕车身360度的多个摄像头原始二维图像输入和/或激光雷达输入，并直接输出鸟瞰图视角下的感知信息，减少后处理的工作量，提高整个系统的鲁棒性。
25.(2)本技术实施例可以利用相机的内参和外参构造逆透视变换矩阵，获得鸟瞰图特征图上每一点在二维特征图上的对应点，根据逆透视变换矩阵得到鸟瞰图的第一特征图，由此可以将空间单应性变换作用于二维特征图上，有效利用原始图像信息，特征图生成结果更准确和稳定。
26.(3)本技术实施例可以引入时序信息，使得所有不同时刻的特征都在同一个统一的坐标系下(即当前时刻车体坐标系)，由此可以通过一种更简便的融合方式准确有效地获取特征融合后的单帧特征图，使得特征信息能够有效重叠而不至于错位，操作更简单快捷，提升融合效率和融合结果准确性。
27.(4)本技术实施例可以通过动态解码和静态解码实现在鸟瞰图视角下的旋转框检测，并基于点检测和点实例聚类，输出每个点的切线方向，通过简单的后处理将道路静态信息进行向量化，由此可以有效解决后处理复杂的问题，减少感知后处理的工作量，直接在鸟瞰图视角输出规划控制需要的所有必要信息，解码过程更完善和准确，提升整个感知系统的鲁棒性。
28.(5)本技术实施例可以将激光雷达输入作为一个选择分支，在实现多视角融合外，还能同时融合激光雷达和视觉，处理多模态信息，提升综合信息处理能力，对于鸟瞰图生成的特征考虑更全面，提高生成结果准确性和全面性。
29.本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
30.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
31.图1为根据本技术实施例提供的多视角多模态常规后融合处理架构图；
32.图2为根据本技术实施例提供的多视角多模态前融合处理架构图；
33.图3为根据本技术实施例提供的一种车辆的鸟瞰图生成方法的流程图；
34.图4为根据本技术实施例提供的在2d＝》bev条件下的几何变换模块示意图；
35.图5为根据本技术实施例提供的变压器编码器模块示意图；
36.图6为根据本技术实施例提供的在t-1帧＝》t帧条件下的几何变换模块示意图；
37.图7为根据本技术实施例提供的三维卷积模块示意图；
38.图8为根据本技术实施例提供的动态障碍物分支示意图；
39.图9为根据本技术实施例提供的动态障碍物后处理流程图；
40.图10为根据本技术实施例提供的预测效果图；
41.图11为根据本技术实施例提供的静态路面信息检测后处理流程图；
42.图12为根据本技术实施例提供的静态路面信息检测分支示意图；
43.图13为根据本技术实施例提供的激光雷达附加输入模块的示意图；
44.图14为根据本技术实施例提供的整体模型架构示意图；
45.图15为根据本技术实施例提供的多视角多模态前融合鸟瞰图软件架构图；
46.图16为根据本技术实施例的车辆的鸟瞰图生成装置的示例图；
47.图17为根据本技术实施例的车辆的结构示意图。
具体实施方式
48.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
49.相关技术中，多数主机厂和自动驾驶解决方案供应商的感知模块架构基于感知后融合，如图1所示，多视角多模态前融合方案作为一种新的趋势，可以有效解决上述相关技术对于复杂道路结构的感知能力差、视野遮挡、后处理鲁棒性差和感知完全信息下游缺失等诸多问题，其中，多视角多模态前融合bev的主要几个途径如下：
50.(1)基于spatial transformer(几何变换)：提出了利用spatial transformer对2d(2-dimension，二维)图像上的特征进行几何变换，目标空间为bev(bird eye view，鸟瞰图视角)空间，然后将多个变换后的bev特征图按channel(通道)进行拼接操，达到多视角融合目的。但此方式的输出只是原始语义分割图，需要进行较为复杂的后处理。
51.(2)基于视觉点云：此融合方式首先要生成每个2d特征图上的深度图，利用深度图将每个特征图上的特征点转换到3d(3-dimension，三维)空间中，使每个图都生成对应的视觉伪点云，然后利用相机外参数将每一簇伪点云转换到统一的车体坐标系，达到多视角融合目的，最后利用点云处理算子将点云特征转换到鸟瞰图特征。此方式融合自然，但由于其先验地依存于深度估计的精度，因此误差容易累计传播，且伪点云会存在跳动，使得感知结果不够稳定。
52.(3)基于mlp(multilayer perceptron，多层感知器)：此种方式直接利用mlp来替代(1)中的spatial transformer，利用mlp将perspective feature(透视的特征)转换为bev的特征，然后利用相机外参将所有相机bev特征进行聚合到统一车体坐标系上，获得bev特征。此融合方式同样无需进行深度估计，多视角融合更直接简单，但由于没有输入相机内
参作为先验，因此一旦相机内参变化，其检测效果容易受到影响。
53.(4)bev解码器：当前多数方案都是输出的bev视角下的语义分割图，但是语义分割结果容易出现噪点，且后处理基于逻辑，稳定性不强。
54.上述相关技术中的多视角多模态前融合bev模型，其融合策略基于空间变换，视觉点云或mlp；然而，基于空间变换的融合方式仅仅是简单地将多个特征进行级联，其解码策略多为语义分割，仍存在后处理繁杂的问题。
55.为此，本技术实施例提出了一种车辆的鸟瞰图生成方法、装置、车辆及存储介质，下面将参考附图描述本技术实施例的车辆的鸟瞰图生成方法、装置、车辆及存储介质。
56.具体而言，图3为本技术实施例所提供的一种车辆的鸟瞰图生成方法的流程示意图。
57.如图3所示，该车辆的鸟瞰图生成方法包括以下步骤：
58.在步骤s101中，获取车辆周围的多个感知信息。
59.其中，本技术实施例可以通过至少一种方式获取车辆周围的感知信息，对此不做具体限定。
60.可以理解的是，本技术实施例可以获取车辆周围的多个感知信息，以用于后续步骤对车辆的鸟瞰图的生成。
61.在步骤s102中，提取每个感知信息的二维特征图，按照预设变换策略对每个二维特征图进行几何变换，得到第一特征图。
62.其中，预设变换策略可以根据实际情况进行具体设置，对此不做具体限定；比如本技术实施例可以利用几何变换首先生成samplegrid(透视变换矩阵)，再将gridsample(逆透视变换矩阵)操作作用在2d特征图上，从而获得了bev上的特征图等。
63.可以理解的是，本技术实施例可以参考基于spatial transformer的部分方案，将2d图像进行转换，以得到第一特征图；比如，本技术实施例可以设计一个stn(spatial transform network，几何变换)模块，用于实现上述对第一特征图的生成。其中，本技术实施例的几何变换可以包括两个步骤：首先利用相机的内参和外参构造逆透视变换矩阵，获得bev特征图上每一点在2d特征图上的对应点，即生成了samplegrid；然后利用获得的samplegrid将gridsample操作作用在2d特征图上，从而获得了bev上的特征图。
64.需要说明的是，对于某一视角的单目相机，其成像面为一个2d透视平面，成像面的每一个像素，都是世界坐标系下的一个点经过投影变换形成；而本技术实施例的前融合bev模型，最终的感知结果并非是在如上述的2d透视平面，而是在bev，因此本技术实施例采用stn模块，将2d透视平面坐标系的特征点几何变换到bev。下面将对本技术实施例的几何变换过程进行具体阐述。
65.在本技术实施例中，按照预设变换策略对每个二维特征图进行几何变换得到第一特征图，包括：获取第一特征图与每个二维特征图上的对应点；根据预先构造完成的逆透视变换矩阵将对应点用于在每个二维特征图上，得到第一特征图。
66.其中，逆透视变换矩阵可以根据实际情况进行具体设置得到，对此不做具体限定。
67.需要说明的是，stn模块的输入并不是原始的2d图像，而是经过特征提取模块抽取特征后的2d特征图。本技术的stn模块主要有两个子模块，如图4所示，第一个模块为affine grid模块，第二个模块为gridsample模块；affinegrid模块通过affine(仿射)变换，获取
bev视角下每一个点在原透视图的对应坐标点。
68.1、affine grid(图像仿射)模块：对于bev特征图上的一个点(u
feat_bev
,v
feat_bev
)∈w
feat_bev
×hfeat_bev
，其在2d特征图w
feat_img
×hfeat_img
上对应的点(u
feat_img
,v
feat_img
)计算过程如下：
[0069][0070][0071][0072]
对于式(1)，zc为某一点的深度，ratio
downsample
为特征提取模块的下采样倍数，k、r、t均可以由相机内外参标定给出，分别为单目相机的内参矩阵、外参旋转矩阵、外参平移矩阵，三者合并记作p矩阵，为相机投影矩阵。
[0073]
对于式(2)(3)，而w
bev
和h
bev
为最终输出的bev画布的宽高，ppx
bev
和ppy
bev
为bev画布的分辨率，m矩阵联系了bev像素坐标和bev世界坐标的关系。由公式(1)(2)(3)导出式(4)：
[0074]
[0075]
因此，由式(4)可知，bev特征图上点(u
feat_bev
,v
feat_bev
)∈w
feat_bev
×hfeat_bev
，可以经过pm矩阵得到相应2d特征图上的对应点(u
feat_img
,v
feat_img
)。并且，对于bev特征图上的每一个特征点u
feat_bev
＝0,1,2,...,w
feat_bev
，v
feat_bev
＝0,1,2,...,h
feat_bev
，可以获取相应的特征点，因此，所有这样的对应关系就生成了一个samplegrid矩阵，其维度为[h
feat_bev
,w
feat_bev
,2]，记作tensor_grid。
[0076]
2、gridsample模块：此模块利用上述计算得到的tensor_grid，在2d特征图上进行gridsample，具体而言，对于bev特征图上的一个点(u
feat_bev
,v
feat_bev
)∈w
feat_bev
×hfeat_bev
，可以对应到输入2d特征图的4个坐标值x0,y0,x1,y1，其计算如下：
[0077]
x
base
,y
base
＝tensor_grid[u
feat_bev
,v
feat_bev
,:]
ꢀꢀꢀ
(5)
[0078]
x0,y0＝(int(pt
base
[0]),int(pt
base
[1]))
ꢀꢀꢀ
(6)
[0079]
x1,y1＝(int(pt
base
[0])+1,int(pt
base
[1])+1)
ꢀꢀꢀ
(7)
[0080]
然后根据这四个点，对每个特征向量进行bilinear插值，插值公式如下：
[0081][0082]
其中，featonimg维度为(c
feat
,h
feat_img
,w
feat_img
)，featonbev为输出的bev特征图，维度为(c
feat
,h
feat_bev
,w
feat_bev
)。
[0083]
根据上述两个模块的计算过程，本技术实施例提出的stn模块，首先利用公式(4)获得bev特征图上每一点在2d特征图上的对应点，即生成了samplegrid；然后利用公式(8)将gridsample操作作用在2d特征图上，从而获得了bev上的特征图。
[0084]
在步骤s103中，对所有第一特征图进行特征融合和空间转换，得到不同时刻的单帧特征图，并在当前时刻车辆坐标系下对不同时刻的单帧特征图进行空间维度和时序维度的融合，生成第二特征图。
[0085]
可以理解的是，本技术实施例可以使用一种多视角融合变压器编码的方式对非遗特征图进行特征融合，且使用一种几何变换的方式进行空间转换并得到不同时刻的单针特征图；本技术实施例还可以使用一种时序融合的三维卷积方式，以实现在当前时刻车辆坐标系下对不同时刻的单帧特征图进行空间维度和时序维度的融合。下面将结合具体实施例对本技术实施例的多视角融合方式和时序融合方式进行具体阐述。
[0086]
1、多视角融合的transformer encoder模块：
[0087]
在本技术实施例中，对所有第一特征图进行特征融合和空间转换，得到不同时刻的单帧特征图，包括：提取每个第一特征图之间的特征关系，基于特征关系进行特征融合，得到当前时刻单帧特征图；将当前时刻单帧特征图和历史多个时刻的单帧特征图转换至当前时刻车辆坐标系下，得到不同时刻的单帧特征图。
[0088]
其中，本技术实施例可以使用至少一种方式提取每个第一特征图之间的特征关系，比如，本技术实施例可以利用一种自注意力模块，有效提取每个bev图之间的关联关系。
[0089]
可以理解的是，stn变换的是单个2d特征图，每个视角经过stn变换后都会产生一个bev特征图，因此本技术实施例可以设置一个多视角融合的transformer encoder模块，此模块的作用是对所有单个bev图进行一次特征级的深度融合，并最终输出memory作为深度融合的最终单帧特征图，送入到后续的时序模块。
[0090]
具体而言，经过如上述步骤s101的stn变换，获取的是单个视角下的bev特征图，由此可知，n个视角变换后就会产生n在bev坐标系下的featonbevi(i＝1,2,
…
,n)。此多视角融合的transformer encoder模块的作用是对所有featonbevi进行一次特征级的深度融合，可以利用transformer作为深度融合的结构；由于该种方式只关注特征融合，而不利用transformer进行信息解码，因此本技术的特征融合模块只取标准transformerencoder部分，获取融合后的memory作为最终单帧bev特征。
[0091]
本技术的transformerencoder包含positionembedding模块和多个transformer layer(变压器层)，其中，每个transformerlayer进行实际的特征融合，包含multi-head self-attention(多头机制、自注意力机制)模块和feedforward(正向馈电传送)模块。其中，transformerencoder模型的输入构造如下：
[0092]
(1)将n个featonbevi按照channel进行concat(concat()函数，连接两个或多个数组)操作，获得concat后的特征图featbevconcat，其维度为(c
feat
×
n,h
feat_bev
,w
feat_bev
)；
[0093]
(2)将featbevconcat在宽高维度进行展开，获得featbevexpand，其维度为(c
feat
×
n,h
feat_bev
×wfeat_bev
)；
[0094]
(3)将其进行维度变换，获得可以输入transformer encoder的标准形式featbevin，其维度为(h
feat_bev
×wfeat_bev
,1,c
feat
×
n)；
[0095]
(4)然后利用bev特征图维度(c
feat
,h
feat_bev
,w
feat_bev
)，通过embedding模块计算出embedvector，其维度为(h
feat_bev
×wfeat_bev
,1,c
feat
×
n)。
[0096]
通过如上步骤，就获取了transformerencoder的所需输入向量，整个transformerencode模块示意图可以如图5所示。输入张量经过了多层的transformerlayer后，最终获得了一个融合的bev特征，记作bevmemory，其空间维度和输入空间维度是一样的，channel数扩增n倍，为(c
feat
×
n,h
feat_bev
,w
feat_bev
)。
[0097]
2、时序融合之stn模块：
[0098]
为了改善模型感知性能，本技术可以进一步引入时序信息。具体地，如图6所示，对前m时刻的每一帧frame1，frame2，
…
，framem(注：每一帧包含多个视角，这里framem表示当前时刻帧)，都能经过上述步骤提取出聚合后的特征，即bevmemory1，bevmemory2，
…
，bevmemorym。但由于bevmemoryi是相对于i时刻的车体坐标系coord的coordi，为了将所有的bevmemory都转换到当前时刻(也就是m时刻)的车体坐标系coordm，需要对bevmemoryi做stn变换。此stn变换和第一步的stn相比，转换空间为coordi到coordm(而不是2d到bev)。
[0099]
具体而言，设i时刻自车的位置为(ri,ti),则对于世界坐标系的某一点p,其在第i时刻的车体坐标系coordi的坐标pi和第i+1的车体坐标系coord(i+1)的坐标p
i+1
的关系为：
[0100]ri
pi+ti＝r
i+1
p
i+1
+t
i+1
ꢀꢀꢀ
(9)
[0101]
整理后得到：
[0102]
[0103]
式(10)描述了同一个点在coordi和coord(i+1)坐标系下的的转换关系；将式(10)写成齐次坐标系形式进行简化，有：
[0104][0105]
对于bevmemoryi，利用stn将其转化为在坐标系coordm下的bev特征，其转换矩阵t
m,i
有如下的连乘形式：
[0106]
t
m,i
＝t
m,m-1
...t
i+2,i+1
t
i+1,i
ꢀꢀꢀ
(12)
[0107][0108]
利用(11)，对于bevmemorym的每一个点(u
feat_bevm
,v
feat_bevm
),都可以计算出其在coordi下的坐标(u
feat_bevi
,v
feat_bevi
)，也即计算出了tensor_grid，后续计算同第一步的stn模块进行bilineargridsample。最终第1、2
…
、m-1时刻的bevmemory都转换到了第m时刻的坐标系下。为了将显示的位姿信息也作为特征的其中一部分，为此将等价转换为一个6维向量vectort
m,i
＝[yaw,pitch,roll,transx,transy,transz]，然后concat到原c
feat
×
n维向量上，即最后每一个转换后的维度最终为c
feat
×
n+6维。
[0109]
对所有经过stn和位姿concat后的bevmemory在时间维度进行concat，获得一个4维特征张量tensor_frames(c
feat
×
n+6,m,h
feat_bev
,w
feat_bev
)，其中，第一维度为特征通道，第二维度为时序，最后两维为空间宽高维度。
[0110]
3、时序融合之3d卷积模块：
[0111]
为了聚合时序方向的特征，本技术实施例可以引入3d卷积模块，以对上述生成的tensor_frames进行时序特征融合。具体而言，整个3d卷积时序融合模块类似残差网络，网络中有多个3d的1x1x1卷积，但最后只输出一个聚合后的4d特征向量，本技术实施例可以取出当前时刻对应的特征层作为最终融合后的特征图tensor_spacetime_fusion。整个3d模块的示意图可以如图7所示，右侧子图表示一个第一个3d残差模块，输入维度为c，而后续残差模块输入维度均变为c-6；其中，所有卷积操作均为1x1x1卷积，以减小3d操作的计算量。
[0112]
在步骤s104中，根据第二特征图获取车辆周围的动态障碍物特征和静态障碍物特征，并基于动态障碍物特征和静态障碍物特征生成车辆周围的鸟瞰图。
[0113]
可以理解的是，经过上述步骤s101至步骤s103，本技术实施例的模型可以抽取出多个视角和时序的融合信息tensor_spacetime_fusion，此融合信息的维度为(c
fusion
,h
feat_bev
,w
feat_bev
)，其中有c
fusion
＝c
feat
×
n+6，因此，本技术实施例可以从动态和静态两方面对障碍物特征进行获取，以生成车辆周围的鸟瞰图。
[0114]
在本技术实施例中，根据第二特征图获取车辆周围的动态障碍物特征和静态障碍物特征，包括：将第二特征图输入至预先建立的第一解码器，对第二特征图进行动态障碍物语义信息的解码，得到动态障碍物特征；将第二特征图输入至预先建立的第二解码器，对第二特征图进行静态障碍物语义信息的解码，得到静态障碍物特征。
[0115]
1、第一解码器之动态障碍物检测分支：
[0116]
对于动态障碍物检测，本技术可以采用类似centernet的anchor-free(无锚节点)检测方式。由于是在bev做目标检测，为了回归出检测框的旋转角度，本技术将centernet改
进为4个输出分支，如图8所示，分别为heatmap分支、offset分支、宽高分支和旋转角度分支。
[0117]
具体而言，如图9所示，tensor_spacetime_fusion分别输入4分支，进行了几次卷积操作，最后输出4个最终的tensor。其中，tensor_heatmap用于预测每个动态障碍物的中心点，形状为(1,h
feat_bev
,w
feat_bev
)；tensor_offset用于预测障碍物实际点和像素坐标点的偏差，包含u方向偏差和v方向偏差，形状为(2,h
feat_bev
,w
feat_bev
)；tensor_wh用于预测每个动态障碍物的相对宽w和高h，其形状为(2,h
feat_bev
,w
feat_bev
)；tensor_rotation用于预测每个动态障碍物的偏航角theta，其形状为(1,h
feat_bev
,w
feat_bev
)。模型预测出的4个tensor，经过类似centernet的后处理，最终获得bev视角下的每个动态障碍物的中心点的位置、偏航角、宽和高，如图10所示。
[0118]
2、第二解码器之静态路面信息检测分支：
[0119]
此模块可以解码上述动态分支中生成的tensor_spacetime_fusion。不同于常规的语义分割，本技术实施例可以利用关键点检测和关键点实例分割思想进行静态路面信息感知，并且利用点切线方向分类给出关键点所在线处的切向方向；由此，本技术实施例可以采用一种如图11所示的解码器，对静态路沿、车道线和人行横道等进行实时目标检测。
[0120]
具体而言，如图12所示，静态路面检测有5个分支，分别为关键点heatmap分支、关键点offset分支、关键点聚类特征分支、关键点类别分支和关键点方向分类分支。tensor_spacetime_fusion分别输入5分支，进行几次卷积操作，最后输出5个最终的tensor。其中，tensor_heatmap用于预测关键点位置；tensor_offset用于预测关键点的小数偏移量；tensor_cluster用于回归每个关键点的聚类特征；tensor_class用于确定关键点的类型(路沿、人行横道和车道线等)；tensor_direct用于确定关键点的一个切线方向。
[0121]
tensor_heatmap和tensor_offset，经过类似centernet的后处理，可以获得每个关键点的精确位置；tensor_cluster经过cluster算法，可以对每个关键点进行实例化，即将所有关键点划分为多个实例(pointset1，pointset2，pointset3
……
)；而对于每一个pointset，可以通过tensor_class分支获取每个点的类别。
[0122]
由于一个pointset对应一条实例线，因而理想情况要求pointset每一个点预测出的类型相同(例如组成路沿线的每一个点的类别预测结果均应该是路沿)，但实际预测时候，pointset每一个点类别会存在不一致的情况，这时本技术实施例可以对pointset中所有点的类别进行计数，计数最多的那个类别maxclass，被选为是此pointset的类别。最后本技术利用tensor_direct，对pointset中的点进行有序化和稀疏采样，获得了最终的结构化的静态路面线，即pointset＝{p
start
,p1,p2,...,pn,p
end
}，其对应的线即为结构化的线line＝p
start-p
1-p
2-...-p
n-p
end
，类别为maxclass；其中，预测效果图可以如图10所示。
[0123]
在本技术实施例中，基于动态障碍物特征和静态障碍物特征生成车辆周围的鸟瞰图，包括：获取车辆的激光雷达的点云数据；将点云数据输入至预先建立完成的点云特征提取模型，输出点云数据的点云特征；将点云特征、动态障碍物特征和静态障碍物特征融合，得到车辆周围的鸟瞰图。
[0124]
可以理解的是，由于本技术实施例的上述解码过程是通过解码bev视角下的tensor_spacetime_fusion获取感知信息，因此本技术实施例是一个天然的多模态融合框架，由此，本技术实施例可以使用一种激光雷达作为一个可选择的输入模态，再综合上述步
骤中得到的所有特征，生成车辆周围的鸟瞰图。下面将结合具体实施例对上述激光雷达输入和整体特征融合进行阐述。
[0125]
1、激光雷达输入分支：
[0126]
可以理解的是，激光雷达天然就含有3d信息，因此很容易向bev视角进行投影，因此本技术实施例可以将激光雷达作为一个可选择的输入模态。
[0127]
具体而言，如图13所示，本技术实施例可以首先通过点云特征提取模型和点云pillarpooling，以获得点云在bev视角下地特征；其次将点云获取的bev特征记作tensor_lidar，其中，其宽高维度可以通过调整卷积参数使得和视觉bev特征一致，其维度可表示为(c
lidar
,h
feat_bev
,w
feat_bev
)；接着将tensor_spacetime_fusion和tensor_lidar在特征维度上进行concat，以获得多模态的最终特征，其维度为(c
lidar
+c
fusion
,h
feat_bev
,w
feat_bev
)；后面的解码模块，除卷积操作的输入通道维度相应改变外，其余均可保持不变。
[0128]
2、整体模型架构：
[0129]
可以理解的是，本技术实施例可以将以上所有步骤后获取的各障碍物特征融合，生成如图14所示的多视角多模态融合架构；其中，由于本技术实施例主要以视觉信息为主，因此上述激光雷达作为一个可以选择的补充模态。
[0130]
具体而言，整个模型的训练为监督训练，标签为bev视角上的动态障碍物真值和静态路面真值，损失函数为两个解码分支的损失函数之和。其中，下表1为序列长度和评测指标表，本技术实施例整个模型在不同的序列长度上的评价指标可参见表1，在不同的序列长度上的整个模型的前向推理时间也可以参照表1；由此可以看出，时序越长，可利用的信息越多，整个指标就越高。
[0131]
表1
[0132][0133]
本技术实施例的整个框架的实际可视化可以如图10所示，其中，图10的结果只是视觉融合结果，没有涉及到激光雷达；本技术实施例所提出的多视角多模态融合框架，需要配合一个特定的软件架构，其中，备选的软件架构可以如图15所示。
[0134]
综上所述，本技术实施例可以提出一种车辆的鸟瞰图生成方法，同时对多视角前融合方式和感知信息编码器进行了创新，并且为了减少感知结果的跳动，具体如下：
[0135]
1、本技术实施例可以将空间单应性变换作用于2d特征图上，将其转化为了鸟瞰图
上的特征图，并将不同特征图按channel进行拼接，然后送入一个transformer encoder融合模块，使得不同视角的特征可以进行深度融合。
[0136]
2、本技术实施例设计了两个解码器，分别用于动态障碍物和静态路面语义信息的解码，其中，动态障碍物解码器基于centernet的heatmap方式，在bev视角下进行旋转框的检测；静态障碍物解码器则基于点检测和点实例聚类，并且输出每个点的切线方向，最后用简单的后处理将道路静态信息进行向量化。
[0137]
3、本技术实施例引入了时序信息，对历史前n帧同时进行特征提取，生成每一帧的bev特征，并将所有时序帧，利用空间几何变换变到当前帧车体坐标系下，然后利用3d卷积将时序帧融合成了最终特征图用于解码。
[0138]
根据本技术实施例提出的车辆的鸟瞰图生成方法，可以接收环绕车身360度的多个摄像头原始二维图像输入和/或激光雷达输入，并直接输出鸟瞰图视角下的感知信息，减少后处理的工作量，提高整个系统的鲁棒性；可以利用相机的内参和外参构造逆透视变换矩阵，获得鸟瞰图特征图上每一点在二维特征图上的对应点，根据逆透视变换矩阵得到鸟瞰图的第一特征图，由此可以将空间单应性变换作用于二维特征图上，有效利用原始图像信息，特征图生成结果更准确和稳定；可以引入时序信息，使得所有不同时刻的特征都在同一个统一的坐标系下(即当前时刻车体坐标系)，由此可以通过一种更简便的融合方式准确有效地获取特征融合后的单帧特征图，使得特征信息能够有效重叠而不至于错位，操作更简单快捷，提升融合效率和融合结果准确性；可以通过动态解码和静态解码实现在鸟瞰图视角下的旋转框检测，并基于点检测和点实例聚类，输出每个点的切线方向，通过简单的后处理将道路静态信息进行向量化，由此可以有效解决后处理复杂的问题，减少感知后处理的工作量，直接在鸟瞰图视角输出规划控制需要的所有必要信息，解码过程更完善和准确，提升整个感知系统的鲁棒性；可以将激光雷达输入作为一个选择分支，在实现多视角融合外，还能同时融合激光雷达和视觉，处理多模态信息，提升综合信息处理能力，对于鸟瞰图生成的特征考虑更全面，提高生成结果准确性和全面性。
[0139]
其次参照附图描述根据本技术实施例提出的车辆的鸟瞰图生成装置。
[0140]
图16是本技术实施例的车辆的鸟瞰图生成装置的方框示意图。
[0141]
如图16所示，该车辆的鸟瞰图生成装置10包括：获取模块100、第一变换模块200、第二变换模块300和生成模块400。
[0142]
其中，获取模块100用于获取车辆周围的多个感知信息；第一变换模块200用于提取每个感知信息的二维特征图，按照预设变换策略对每个二维特征图进行几何变换，得到第一特征图；第二变换模块300用于对所有第一特征图进行特征融合和空间转换，得到不同时刻的单帧特征图，并在当前时刻车辆坐标系下对不同时刻的单帧特征图进行空间维度和时序维度的融合，生成第二特征图；生成模块400用于根据第二特征图获取车辆周围的动态障碍物特征和静态障碍物特征，并基于动态障碍物特征和静态障碍物特征生成车辆周围的鸟瞰图。
[0143]
在本技术实施例中，第一变换模块200用于：获取第一特征图与每个二维特征图上的对应点；根据预先构造完成的逆透视变换矩阵将对应点用于在每个二维特征图上，得到第一特征图。
[0144]
在本技术实施例中，第二变换模块300用于：提取每个第一特征图之间的特征关
系，基于特征关系进行特征融合，得到当前时刻单帧特征图；将当前时刻单帧特征图和历史多个时刻的单帧特征图转换至当前时刻车辆坐标系下，得到不同时刻的单帧特征图。
[0145]
在本技术实施例中，生成模块400用于：将第二特征图输入至预先建立的第一解码器，对第二特征图进行动态障碍物语义信息的解码，得到动态障碍物特征；将第二特征图输入至预先建立的第二解码器，对第二特征图进行静态障碍物语义信息的解码，得到静态障碍物特征。
[0146]
在本技术实施例中，生成模块400进一步用于：获取车辆的激光雷达的点云数据；将点云数据输入至预先建立完成的点云特征提取模型，输出点云数据的点云特征；将点云特征、动态障碍物特征和静态障碍物特征融合，得到车辆周围的鸟瞰图。
[0147]
需要说明的是，前述对车辆的鸟瞰图生成方法实施例的解释说明也适用于该实施例的车辆的鸟瞰图生成装置，此处不再赘述。
[0148]
根据本技术实施例提出的车辆的鸟瞰图生成装置，可以接收环绕车身360度的多个摄像头原始二维图像输入和/或激光雷达输入，并直接输出鸟瞰图视角下的感知信息，减少后处理的工作量，提高整个系统的鲁棒性；可以利用相机的内参和外参构造逆透视变换矩阵，获得鸟瞰图特征图上每一点在二维特征图上的对应点，根据逆透视变换矩阵得到鸟瞰图的第一特征图，由此可以将空间单应性变换作用于二维特征图上，有效利用原始图像信息，特征图生成结果更准确和稳定；可以引入时序信息，使得所有不同时刻的特征都在同一个统一的坐标系下(即当前时刻车体坐标系)，由此可以通过一种更简便的融合方式准确有效地获取特征融合后的单帧特征图，使得特征信息能够有效重叠而不至于错位，操作更简单快捷，提升融合效率和融合结果准确性；可以通过动态解码和静态解码实现在鸟瞰图视角下的旋转框检测，并基于点检测和点实例聚类，输出每个点的切线方向，通过简单的后处理将道路静态信息进行向量化，由此可以有效解决后处理复杂的问题，减少感知后处理的工作量，直接在鸟瞰图视角输出规划控制需要的所有必要信息，解码过程更完善和准确，提升整个感知系统的鲁棒性；可以将激光雷达输入作为一个选择分支，在实现多视角融合外，还能同时融合激光雷达和视觉，处理多模态信息，提升综合信息处理能力，对于鸟瞰图生成的特征考虑更全面，提高生成结果准确性和全面性。
[0149]
图17为本技术实施例提供的车辆的结构示意图。该车辆可以包括：
[0150]
存储器1701、处理器1702及存储在存储器1701上并可在处理器1702上运行的计算机程序。
[0151]
处理器1702执行程序时实现上述实施例中提供的车辆的鸟瞰图生成方法。
[0152]
进一步地，车辆还包括：
[0153]
通信接口1703，用于存储器1701和处理器1702之间的通信。
[0154]
存储器1701，用于存放可在处理器1702上运行的计算机程序。
[0155]
存储器1701可能包含高速ram(random access memory，随机存取存储器)存储器，也可能还包括非易失性存储器，例如至少一个磁盘存储器。
[0156]
如果存储器1701、处理器1702和通信接口1703独立实现，则通信接口1703、存储器1701和处理器1702可以通过总线相互连接并完成相互间的通信。总线可以是isa(industry standard architecture，工业标准体系结构)总线、pci(peripheral component，外部设备互连)总线或eisa(extended industry standard architecture，扩展工业标准体系结构)
总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图17中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0157]
可选的，在具体实现上，如果存储器1701、处理器1702及通信接口1703，集成在一块芯片上实现，则存储器1701、处理器1702及通信接口1703可以通过内部接口完成相互间的通信。
[0158]
处理器1702可能是一个cpu(central processing unit，中央处理器)，或者是asic(application specific integrated circuit，特定集成电路)，或者是被配置成实施本技术实施例的一个或多个集成电路。
[0159]
本技术实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的车辆的鸟瞰图生成方法。
[0160]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或n个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0161]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“n个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0162]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更n个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
[0163]
应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，n个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列，现场可编程门阵列等。
[0164]
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0165]
尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。
技术特征：1.一种车辆的鸟瞰图生成方法，其特征在于，包括以下步骤：获取车辆周围的多个感知信息；提取每个感知信息的二维特征图，按照预设变换策略对每个二维特征图进行几何变换，得到第一特征图；对所有第一特征图进行特征融合和空间转换，得到不同时刻的单帧特征图，并在当前时刻车辆坐标系下对所述不同时刻的单帧特征图进行空间维度和时序维度的融合，生成第二特征图；根据所述第二特征图获取所述车辆周围的动态障碍物特征和静态障碍物特征，并基于所述动态障碍物特征和所述静态障碍物特征生成所述车辆周围的鸟瞰图。2.根据权利要求1所述的方法，其特征在于，所述按照预设变换策略对每个二维特征图进行几何变换得到第一特征图，包括：获取所述第一特征图与每个二维特征图上的对应点；根据预先构造完成的逆透视变换矩阵将所述对应点用于在所述每个二维特征图上，得到所述第一特征图。3.根据权利要求1所述的方法，其特征在于，所述对所有第一特征图进行特征融合和空间转换，得到不同时刻的单帧特征图，包括：提取每个第一特征图之间的特征关系，基于所述特征关系进行特征融合，得到当前时刻单帧特征图；将所述当前时刻单帧特征图和历史多个时刻的单帧特征图转换至所述当前时刻车辆坐标系下，得到不同时刻的单帧特征图。4.根据权利要求1所述的方法，其特征在于，所述根据所述第二特征图获取所述车辆周围的动态障碍物特征和静态障碍物特征，包括：将所述第二特征图输入至预先建立的第一解码器，对所述第二特征图进行动态障碍物语义信息的解码，得到所述动态障碍物特征；将所述第二特征图输入至预先建立的第二解码器，对所述第二特征图进行静态障碍物语义信息的解码，得到所述静态障碍物特征。5.根据权利要求1-4任意一项所述的方法，其特征在于，所述基于所述动态障碍物特征和所述静态障碍物特征生成所述车辆周围的鸟瞰图，包括：获取所述车辆的激光雷达的点云数据；将所述点云数据输入至预先建立完成的点云特征提取模型，输出所述点云数据的点云特征；将所述点云特征、所述动态障碍物特征和所述静态障碍物特征融合，得到所述车辆周围的鸟瞰图。6.一种车辆的鸟瞰图生成装置，其特征在于，包括：获取模块，用于获取车辆周围的多个感知信息；第一变换模块，用于提取每个感知信息的二维特征图，按照预设变换策略对每个二维特征图进行几何变换，得到第一特征图；第二变换模块，用于对所有第一特征图进行特征融合和空间转换，得到不同时刻的单帧特征图，并在当前时刻车辆坐标系下对所述不同时刻的单帧特征图进行空间维度和时序
维度的融合，生成第二特征图；生成模块，用于根据所述第二特征图获取所述车辆周围的动态障碍物特征和静态障碍物特征，并基于所述动态障碍物特征和所述静态障碍物特征生成所述车辆周围的鸟瞰图。7.根据权利要求6所述的装置，其特征在于，所述第一变换模块用于：获取所述第一特征图与每个二维特征图上的对应点；根据预先构造完成的逆透视变换矩阵将所述对应点用于在所述每个二维特征图上，得到所述第一特征图；所述第二变换模块用于：提取每个第一特征图之间的特征关系，基于所述特征关系进行特征融合，得到当前时刻单帧特征图；将所述当前时刻单帧特征图和历史多个时刻的单帧特征图转换至所述当前时刻车辆坐标系下，得到不同时刻的单帧特征图；所述生成模块用于：将所述第二特征图输入至预先建立的第一解码器，对所述第二特征图进行动态障碍物语义信息的解码，得到所述动态障碍物特征；将所述第二特征图输入至预先建立的第二解码器，对所述第二特征图进行静态障碍物语义信息的解码，得到所述静态障碍物特征。8.根据权利要求6-7任意一项所述的装置，其特征在于，所述生成模块进一步用于：获取所述车辆的激光雷达的点云数据；将所述点云数据输入至预先建立完成的点云特征提取模型，输出所述点云数据的点云特征；将所述点云特征、所述动态障碍物特征和所述静态障碍物特征融合，得到所述车辆周围的鸟瞰图。9.一种车辆，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5任意一项所述的车辆的鸟瞰图生成方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任意一项所述的车辆的鸟瞰图生成方法。
技术总结本申请涉及自动驾驶技术领域，特别涉及一种车辆的鸟瞰图生成方法、装置、车辆及存储介质，其中，方法包括：获取车辆周围的多个感知信息并提取对应的二维特征图；按预设变换策略对每个二维特征图进行几何变换，得到第一特征图并进行特征融合和空间转换，得到不同时刻的单帧特征图；在当前时刻车辆坐标系下进行空间维度和时序维度的融合，生成第二特征图；根据第二特征图获取车辆周围的动态和静态障碍物特征，并基于动态和静态障碍物特征生成车辆周围的鸟瞰图。由此，本申请可以接收环绕车身360度的多个摄像头原始二维图像输入和/或激光雷达输入，并直接输出鸟瞰图视角下的感知信息，减少后处理的工作量，提高整个系统的鲁棒性。提高整个系统的鲁棒性。提高整个系统的鲁棒性。
技术研发人员：詹东旭 单玉梅
受保护的技术使用者：重庆长安汽车股份有限公司
技术研发日：2022.06.27
技术公布日：2022/11/1
