1.本发明涉及自动驾驶技术领域，尤其涉及一种障碍物检测方法、装置、设备及存储介质。
背景技术：2.最近邻障碍物，是指在无人驾驶感知任务中，在俯视图下，以本车为中心，沿任意一个方向上往外扩所出现的最近邻的障碍物。这些障碍物没有任何遮挡因素影响，同时是与本车交互最相关的障碍物，应当保证这些物体始终被准确的检测到，才能保障自动驾驶的安全。
3.目前，在自动驾驶控制技术的最近邻障碍物的检测方式中，所有空间中的物体被统一标注。深度学习物体检测网络需要同时检测空间中所有物体。但物体遮挡造成的影响，使得有不少物体难以被确认是否真实存在，轮廓难以确认，带来标注噪音。同时，不少数量庞大，但与本车行驶并无关系(如路外停车场中停放的大量车辆，非机动车等)物体，也会被标注并要求检测出来。这些也会增加网络训练时的负担，过多的关注一些无关物体，反而导致在重要物体的检测性能上有所折扣。
技术实现要素：4.本技术的主要目的是解决现有的最近邻障碍物检测中，由于采用全面识别标注的方式，导致检测效率和准确率低的问题。
5.本发明第一方面提供了一种障碍物检测方法，所述障碍物检测方法包括：
6.获取主车所在的驾驶场景的图像数据，并从所述图像数据中提取图像特征；
7.以所述主车为原点，分别沿不同方向向外延伸选取多个三维采样点；
8.根据主车的图像采集参数，确定所述三维采样点位于所述图像特征中图像坐标，并基于所述图像坐标提取对应的三维采样点的特征张量；
9.基于各所述特征张量进行障碍物预测，基于预测的结果确定所述驾驶场景中的障碍物。
10.在本发明第一方面的第一种实现方式中，所述获取主车所在的驾驶场景的图像数据，并从所述图像数据中提取图像特征，包括：
11.通过设于主车中的图像采集设备，以所述主车为中心，从不同方向上拍摄至少一张图像，并基于各方向的图像生成主车所在的驾驶场景的图像数据；
12.利用预设的卷积神经网络和特征金字塔网络，从不同尺度上对所述图像数据进行特征提取，得到图像特征。
13.在本发明第一方面的第二种实现方式中，所述以所述主车为原点，分别沿不同方向向外延伸选取多个三维采样点，包括：
14.以所述主车为原点，在不同方向位置上放置射线，并将所述射线向外延伸，构建以所述主车为坐标原点的三维射线模型；
15.在每条射线上从近到远选取k个三维采样点。
16.在本发明第一方面的第三种实现方式中，所述根据主车的图像采集参数，确定所述三维采样点位于所述图像特征中图像坐标，并基于所述图像坐标提取对应的三维采样点的特征张量，包括：
17.根据所述图像采集设备的内外参，确定所述三维采样点与所述图像特征上的像素点的对应关系，并基于所述对应关系计算出各三维采样点位于所述图像特征中图像坐标；
18.基于所述图像坐标提取所述图像特征中属于同一三维采样点的位置上特征，并与所述图像坐标生成特征张量。
19.在本发明第一方面的第四种实现方式中，所述基于所述图像坐标提取所述图像特征中属于同一三维采样点的位置上特征，并与所述图像坐标生成特征张量，包括：
20.基于所述图像坐标，采用收集算子的方式将所述图像特征中属于同一三维采样点的位置上特征进行采集，得到对应的内容特征；
21.将各三维采样点的图像坐标叠加到对应的内容特征上，生成多维的特征张量。
22.在本发明第一方面的第五种实现方式中，所述基于各所述特征张量进行障碍物预测，基于预测的结果确定所述驾驶场景中的障碍物，包括：
23.利用预设的特征融合算法，将各三维采样点对应的特征张量进行融合处理，得到融合特征张量；
24.提取各所述融合特征张量中的参数，并基于所述参数识别出所述驾驶场景中的障碍物。
25.在本发明第一方面的第六种实现方式中，所述利用预设的特征融合算法，将各三维采样点对应的特征张量进行融合处理，得到融合特征张量，包括：
26.将所有三维采样点，按照射线相邻和点相邻的关系对对应的张量特征进行卷积操作，得到第一融合特征张量；
27.将各所述第一融合特征张量，利用自注意力机制按照不同帧和不同射线方向进行融合计算，得到融合特征张量。
28.本发明第二方面提供了障碍物检测装置，所述障碍物检测装置包括：
29.特征提取模块，用于获取主车所在的驾驶场景的图像数据，并从所述图像数据中提取图像特征；
30.选取模块，用于以所述主车为原点，分别沿不同方向向外延伸选取多个三维采样点；
31.张量提取模块，用于根据主车的图像采集参数，确定所述三维采样点位于所述图像特征中图像坐标，并基于所述图像坐标提取对应的三维采样点的特征张量；
32.障碍检测模块，用于基于各所述特征张量进行障碍物预测，基于预测的结果确定所述驾驶场景中的障碍物。
33.在本发明第二方面的第一种实现方式中，所述特征提取模块包括：
34.采集单元，用于通过设于主车中的图像采集设备，以所述主车为中心，从不同方向上拍摄至少一张图像，并基于各方向的图像生成主车所在的驾驶场景的图像数据；
35.特征提取单元，用于利用预设的卷积神经网络和特征金字塔网络，从不同尺度上对所述图像数据进行特征提取，得到图像特征。
36.在本发明第二方面的第二种实现方式中，所述选取模块包括：
37.构建单元，用于以所述主车为原点，在不同方向位置上放置射线，并将所述射线向外延伸，构建以所述主车为坐标原点的三维射线模型；
38.选取单元，用于在每条射线上从近到远选取k个三维采样点。
39.在本发明第二方面的第三种实现方式中，所述张量提取模块包括：
40.坐标计算单元，用于根据所述图像采集设备的内外参，确定所述三维采样点与所述图像特征上的像素点的对应关系，并基于所述对应关系计算出各三维采样点位于所述图像特征中图像坐标；
41.张量生成单元，用于基于所述图像坐标提取所述图像特征中属于同一三维采样点的位置上特征，并与所述图像坐标生成特征张量。
42.在本发明第二方面的第四种实现方式中，所述张量生成单元具体用于：
43.基于所述图像坐标，采用收集算子的方式将所述图像特征中属于同一三维采样点的位置上特征进行采集，得到对应的内容特征；
44.将各三维采样点的图像坐标叠加到对应的内容特征上，生成多维的特征张量。
45.在本发明第二方面的第五种实现方式中，所述障碍检测模块包括：
46.张量融合单元，用于利用预设的特征融合算法，将各三维采样点对应的特征张量进行融合处理，得到融合特征张量；
47.障碍检测单元，用于提取各所述融合特征张量中的参数，并基于所述参数识别出所述驾驶场景中的障碍物。
48.在本发明第二方面的第六种实现方式中，所述张量融合单元具体用于：
49.将所有三维采样点，按照射线相邻和点相邻的关系对对应的张量特征进行卷积操作，得到第一融合特征张量；
50.将各所述第一融合特征张量，利用自注意力机制按照不同帧和不同射线方向进行融合计算，得到融合特征张量。
51.本发明第三方面提供了一种障碍物检测设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述障碍物检测设备执行上述的障碍物检测方法的步骤。
52.本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的障碍物检测方法的步骤。
53.有益效果：
54.本发明提供的技术方案，通过获取主车所在的驾驶场景的图像数据，并从图像数据中提取图像特征，以主车为原点，分别沿不同方向向外延伸选取多个三维采样点，根据主车的图像采集参数，确定三维采样点位于图像特征中图像坐标，并基于图像坐标提取对应的三维采样点的特征张量，基于各特征张量进行障碍物预测，基于预测的结果确定驾驶场景中的最近邻障碍物；利用设置射线和三维采样点从图像特征中提取图像的特征张量，基于特征张量进行最近邻障碍物的检测，相比与现有技术来说，无需对采集到的图像做全面的识别标注，减少了特征分析量，从而提升了分析效率，同时基于三维采样点实现了有效特征的精准定位识别，提高了识别准确度，进一步实现了避免标注噪音的干扰，着重于最近邻
障碍物的稳定检测。
附图说明
55.图1为本发明实施例提供的障碍物检测方法的第一个实施例示意图；
56.图2为本发明实施例提供的障碍物检测方法的第二个实施例示意图；
57.图3为本发明实施例提供的障碍物检测方法的第三个实施例示意图；
58.图4为本发明实施例提供的障碍物检测装置的一个实施例示意图；
59.图5为本发明实施例提供的障碍物检测装置的另一个实施例示意图；
60.图6为本发明实施例提供的障碍物检测设备的一个实施例示意图。
具体实施方式
61.针对现有技术的缺陷，本技术体用了一种通过设置射线和三维采样点来提取图像特征，即是从空间中各个方向发射延伸射线，采样特征点。利用相机内外参信息，将3d空间的射线采样点投影到图像上，获得该3d射线的整体特征。进一步将这些特征进行切向方向的一维卷积，以及使用自注意力机制进行信息融合。最终，每一个不同射线方向的特征会预测一个障碍物的参数。最后，将这些障碍物预测的结果与真值之间进行匈牙利匹配，计算最优匹配下的损失函数，作为最终网络的损失函数，来监督网络训练，从而提高检测效率和准确度。
62.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
63.为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例提供的障碍物检测方法的第一个实施例，该方法主要应用于车辆的自动驾驶避障环境中，对自动驾驶车辆中检测到的障碍物中属于最近邻障碍物的检测，以实现车辆的交互避障，保证车辆自动驾驶的安全，该方法具体包括以下步骤：
64.101、获取主车所在的驾驶场景的图像数据，并从图像数据中提取图像特征；
65.可以理解的是，本发明的执行主体可以为障碍物检测装置，还可以是车载终端或者服务器，具体此处不做限定。本发明实施例以车载终端为执行主体为例进行说明。
66.在本实施例中，所述主车上安装有汽车线控转向系统、图像采集系统和图像处理控制系统，所述汽车线控转向系统由方向盘总成和转向执行总成，以及自动防故障系统、电源等辅助系统组成，其中方向盘总成包括方向盘、方向盘转角传感器、力矩传感器、方向盘回正力矩电机，转向执行总成包括前轮转角传感器、转向执行电机、转向电机控制器和前轮转向组件等组成。
67.在该步骤中，在主车行驶过程中，通过设于主车中的图像采集设备，以所述主车为中心，从不同方向上拍摄至少一张图像，并基于各方向的图像生成主车所在的驾驶场景的
图像数据；利用预设的卷积神经网络和特征金字塔网络，从不同尺度上对所述图像数据进行特征提取，得到图像特征。
68.具体的，以主车为中心，通过主车上的雷达设备从上下左右等多个方向发射数据采集信号，通过数据采集信号与障碍物发生碰撞后，基于碰撞的结果实现数据采集，当然也可以通过设置图像采集设备的不同景深度，在每个方向上拍摄多张图片，基于多张图片利用图像处理技术进行图片中物体的拼接融合，得到图像，然后基于各个方向的图像构建出三维的图像数据。
69.然后利用卷积神经网络对图像数据进行不同尺度卷积计算，以提取出关键点的图像特征，以及利用特征金字塔网络对图像数据进行类似障碍物的像素进行提取，并将提取到的像素特征，按照像素之间的关联性构建金字塔特征结构树，最后基于金字塔特征结构树和关键点的图像特征进行匹配、融合等处理后，构建出图像特征，这里的图像特征可以是以像素点为基础的特征集。
70.在实际应用中，对于图像数据除了通过上述的方式进行获取之外，还包括通过输入的方式获取，即是在对主车障碍物检测测试环境中，预先通过外部采集设备采集到测试环境中的图像数据，并通过人为标注的方式进行标注，构建训练用的图像数据，然后输出至主车中，通过主车中的图像识别神经网络进行图像特征的识别，以提取出关键点的图像特征。
71.102、以主车为原点，分别沿不同方向向外延伸选取多个三维采样点；
72.在本实施例中，以主车为中心，控制主车上的雷达或者的射线产生器向上下左右等多个方向发射射线，以构建出一个以主车为中心的空间模型，并且在空间模型设置多个距离主车不同距离的曲面，并以曲面与射线的焦点作为三维采样点，然后以主车为坐标原点计算出每个三维采样点的坐标信息，该三维采样点用于在不同时间帧时采集对应的图像特征。
73.103、根据主车的图像采集参数，确定三维采样点位于图像特征中图像坐标，并基于图像坐标提取对应的三维采样点的特征张量；
74.在本实施例中，这里的主车的图像采集参数应当理解为是主车的图像采集设备采集实际环境形成图像的配置参数，例如相机的内外参，基于内外参将拍摄到的环境的数据转换为对应画布的坐标图像数据，基于该配置参数计算出三维采样点与图像之间的投影关系，即是坐标缩放比例与每个像素点之间的位置对应关系。
75.基于投影关系和位置对应关系，基于三维采样点的坐标，计算出三维采样点在图像中的投影坐标，即是图像坐标，最后基于图像坐标从提取到的图像特征中提取对应的图像内容，并基于图像内容构建三维采样点对应的特征张量，该特征张量包括两个特征，一个是位置特征，另一个是内容特征。
76.在实际应用中，若所述图像数据由多帧图像组成时，这里在提取每个三维采用点的特征张量的步骤包括：
77.针对每一帧的图像对应的图像特征按照上述的方式进行特征提取，得到每帧的特征张量，然后将同一个三维采样点的所有帧的特征张量进行融合计算，得到三维采样点最终的特征张量，或者是利用回归计算的方式将同一个三维采样点的所有帧的特征张量进行回归计算，提取回归值相近的帧对应的特征张量进行融合，得到三维采样点最终的特征张
量。进一步的，对于对于融合的实现具体是将特征张量对应的图像特征进行通道分析，将分解到的各通道的图像特征生成特征向量，将各通过的特征向量进行去重合并，得到三维采样点最终的特征张量。
78.104、基于各特征张量进行障碍物预测，基于预测的结果确定驾驶场景中的障碍物。
79.在本实施例中，该三维采样点可以理解为是一个像素点然后进行特征向量的相似度，将多个相似度接近的特征张量融合成一个，基于融合后的特征张量解析多维度参数，基于维度参数从障碍物数据库中进行匹配，得到最近邻障碍物。
80.当然也可以通过障碍物预测模型来进行预测，具体是通过模型识别特征张量中的参数值，基于参数值与不同类型的障碍物的实际参数值进行匹配，基于匹配结果确定障碍物。
81.在本实施例中，这里确定的障碍物实际上是最近领障碍物，即是上述计算的特征实际上的障碍物的特征，基于这些特征以确定障碍物中的最近邻障碍物，具体的，在确定属于障碍物过程中，还包括计算主车与障碍物的感知距离，基于所述感知距离确定所述障碍物中是否属于最邻近障碍物。具体的，根据主车的当前位置与障碍物的坐标位置计算出两者之间的距离，基于距离确定是否处于最近邻障碍物。
82.在本实施例中，对于上述各步骤的实现具体可以通过训练出一个模型来实现，该模型包括图像特征提取的卷积网络、三维采样点选取网络、特征张量提取网络和障碍物检测网络，通过这些网络实现各步骤的方法。
83.进一步的，该模型通过采集已标志有障碍物的图像结合3d射线采样点进行模型学习训练得到，具体在预测出障碍物后，从3d障碍物标注数据中，我们以自车位置为中心，向各个方向发出射线。这些射线所碰到的第一个物体即为筛选出来的最近邻障碍物。
84.由于在每一个方向都会检测出来一个障碍物，将所有检测结果看做一个集和。而最近邻障碍物的标注真值也是一个集合。因此，用障碍物框集合之间的距离来作为损失函数。具体来说，对于任意一对预测框和真值框，损失函数包括分类损失，中心位置回归损失，角度回归损失，尺寸回归损失，速度回归损失。接下来，使用匈牙利算法，计算所有可能配对形式中的损失最小值作为最终使用的损失函数，监督神经网络训练。
85.本实施例通过获取主车所在的驾驶场景的图像数据，并从图像数据中提取图像特征，以主车为原点，分别沿不同方向向外延伸选取多个三维采样点，根据主车的图像采集参数，确定三维采样点位于图像特征中图像坐标，并基于图像坐标提取对应的三维采样点的特征张量，基于各特征张量进行障碍物预测，基于预测的结果确定驾驶场景中的最近邻障碍物；相比与现有技术来说，无需对采集到的图像做全面的识别标注，减少了特征分析量，从而提升了分析效率，同时基于三维采样点实现了有效特征的精准定位识别，提高了识别准确度。
86.请参阅图2，本发明实施例提供的障碍物检测方法的第二个实施例包括：
87.201、获取主车所在的驾驶场景的图像数据，并从图像数据中提取图像特征；
88.该步骤中，图像数据的获取主要是通过设置于主车不同的方向上的摄像头实时拍摄的多帧图片组成的图像集，在实际应用中，该图像数据还可以理解为是雷达点云数据，通过激光雷达扫描以主车所在位置为中心的360度方向的图像信息，并将图像信息转换为点
云数据。
89.进一步的，对于从图像数据中提取图像特征，具体的通过预先训练的最近邻障碍物检测模型中的图像特征提取网络对图像数据中的每一帧图片进行特征提取。
90.在实际应用中，该图像提取网络是由卷积神经网络和特征金字塔网络组合的网络结构，基于该网络结构识别出各帧图片中的物体轮廓，基于物体轮廓与障碍物的标注轮廓进行比对，若比对结果为相似度在预设范围内，则确定该物体轮廓所在区域的图像为有效图像，并将其从图像数据中分割或者复制出来，然后利用图像分析算法对其进行通道分解，提取出各通道的特征和生成相应的向量，基于特征和向量，结合通道进行渲染合并处理，得到图像特征。其中特征金字塔网络主要是用于提取到的图像特征进行关联，具体是以像素相邻关系实现金字塔的关系，组成金字塔图像特征树结构。
91.202、以主车为原点，在不同方向位置上放置射线，并将射线向外延伸，构建以主车为坐标原点的三维射线模型；
92.本实施例中，控制主车上的激光雷达在主车行驶的方向上和/或在主车行驶的反方向上，通过等距偏移的方式发射向不同方向延伸的射线，例如以1度为分辨率，总共可发射360条射线(360
°
/1
°
＝360)。基于各方向上的射线和主车构建出一个三维射线模型，该模型主要用于设置主车对驾驶场景中不同深度下的环境数据的采集。
93.203、在每条射线上从近到远选取k个三维采样点；
94.本实施例中，在构建三维射线模型后，再分别以三维射线模型中的每条射线作为采样方向，并通过等距偏移的方式，在每条射线上设置多个采样点，每a个采样点组成一个球面，其中该a个采样点与主车(即是坐标原点)的距离相等，然后再从设置的多个采样点中基于图像的有效性选择k个作为三维采样点，这里的图像的有效性可以理解为是有效图像的景深度。当然这里选择基于一定的距离内选择多个采样点，这里的一定的距离是基于预先设置主车能探测到障碍物的最短距离。
95.204、根据图像采集设备的内外参，确定三维采样点与所述图像特征上的像素点的对应关系，并基于对应关系计算出各三维采样点位于图像特征中图像坐标；
96.本实施例中，所述图像采集设备的内外参可以理解为是相机中用于承载图像信息的画布中像素坐标与实际环境中各点的坐标之间的比例关系，也可以理解为是物体与成像之间的比例关系和位置对应关系。
97.进一步的，基于三维采样点以及坐标原点计算出各三维采样点的实际坐标信息，基于实际坐标信息和内外参，利用相机成像与实际物体之间的比例关系计算出相机成像，即是各三维采样点在图像特征中的投影坐标，即是图像坐标。
98.在本实施例中，对于计算各三维采样点位于图像特征中的图像坐标，具体还可以采用参考点的方式计算：
99.首先，设置图像数据的中心点和主车同为原点，计算中心点到图像数据的各方向的边缘位置的第一距离，以及主车最大感知距离，基于第一距离和最大感知距离计算出图像与驾驶场景实际图像之间的比例，并从边缘位置选择一个点与驾驶场景实际图像中选择的点作为参考点，基于该参考点、其他三维采样点的坐标和方向计算各三维采样点在图像中的图像坐标。
100.205、基于图像坐标提取图像特征中属于同一三维采样点的位置上特征，并与图像
坐标生成特征张量；
101.在本实施例中，该特征张量包括两个特征，分别是位置特征和内容特征，位置特征即是图像坐标，内容特征则是图像坐标位置对应的图像特征中的像素特征，基于此该特征张量具体通过以下方式实现：
102.基于所述图像坐标，采用收集算子的方式将所述图像特征中属于同一三维采样点的位置上特征进行采集，得到对应的内容特征；
103.将各三维采样点的图像坐标叠加到对应的内容特征上，生成多维的特征张量。
104.具体的，基于图像坐标为基点，采集每帧图像中该图像坐标所在的位置上的像素内容，其中还包括不同资源通道上的像素信息，基于像素信息和像素内容进行叠加去重等操作，从而得到该三维采样点的内容特征，最后将位置特征(即是图像坐标)叠加至内容特征上，从而得到特征张量。
105.206、利用预设的特征融合算法，将各三维采样点对应的特征张量进行融合处理，得到融合特征张量；
106.本实施例中，该特征融合算法具体由卷积网络和自注意力机制构成的融合模型，通过该模型各三维采样点中的特征张量分别进行卷积操作和交叉融合，得到融合特征张量。
107.具体的，首先，将所有三维采样点，按照射线相邻和点相邻的关系对对应的张量特征进行卷积操作，得到第一融合特征张量；然后，将各所述第一融合特征张量，利用自注意力机制按照不同帧和不同射线方向进行融合计算，得到融合特征张量。
108.在实际应用中，基于三维射线模型，选择相邻的两条射线上的三维采样点，并将选择的三维采样点利用卷积网络进行卷积计算，得到第一融合特征张量，该第一融合特征张量可以理解为邻域融合特征张量。基于该第一融合特征张量继续进行不同帧中处于相同图像坐标的特征张量进行融合计算，得到最终的融合特征。
109.207、提取各融合特征张量中的参数，并基于参数识别出所述驾驶场景中的障碍物。
110.在本实施例中，融合特征张量实际上是携带有障碍物类别、是否为障碍物、具体位置和大小等参数的多维数据集，通过识别融合特征张量中的各个参数的具体数值，基于具体数值检测各三维采样点是否属于障碍物点，若是，则继续判断其与主车之间的距离是否在主车的安全感知识别范围内，若是，则确定其障碍物为最近邻障碍物。
111.在实际应用中，例如融合特征张量为维度为n*360*k*(1+n_cat+2+3+1+2)维特征张量m。其中1表示障碍物存在性，n_cat表示障碍物的类别，2表示中心点的位置，3表示长宽高，1表示朝向角度，2表示速度的分量。通过识别其中的1、n_cat、2、3、1、2对应的位置的具体值来确定障碍物，并结合具体的感知距离来确定是否为最近邻障碍物。
112.在实际应用中，该方法还包括设置神经网络学习算法，通过神经网络学习算法对上述的步骤201-207进行特征学习，分别训练构建出对应的网络层。
113.在实际应用中，对于训练构建网络层的过程，其图像数据为预先通过人工标注好最近邻障碍物的图像集，通过不同的神经网络结合现场的三维射线模型进行特征的提取，生成特征张量，基于特征张量进行融合，并基于融合的结果进行障碍物的预测，基于预测结果与标注的信息进行损失计算，基于计算到的损失调整对应的神经网络的结构和参数，以
得到更优的模型以用于后续的障碍物检测。
114.本实施例通过利用设置射线和三维采样点从图像特征中提取图像的特征张量，基于特征张量进行最近邻障碍物的检测，相比与现有技术来说，无需对采集到的图像做全面的识别标注，减少了特征分析量，从而提升了分析效率，同时基于三维采样点实现了有效特征的精准定位识别，提高了识别准确度，进一步实现了避免标注噪音的干扰，着重于最近邻障碍物的稳定检测。
115.请参阅图3，本发明实施例提供的障碍物检测方法的第三个实施例，该实施例是基于测试训练的角度提供的方法检测最近邻障碍物，相比于上述实施例增加了损失计算优化检测结果的方案，具体包括以下步骤：
116.301、输入以主车为中心的图像，并在图像中进行图像特征抽取。
117.该步骤中，通过使用卷积神经网络(如残差神经网络)和特征金字塔网络提取多尺度的图像特征f。对于每一个训练样本，可以输入m张图像，特征大小为n*m*h*w*c，其中n为批尺寸，m为每一个样本中图像数量，h为高，w为宽，c为通道数。
118.302、以主车为中心，构建3d射线，并基于3d射线选取采样点。
119.该步骤中，从本车为原点，向外可以发射若干条射线。例如，以1度为分辨率，总共可发射360条射线(360
°
/1
°
＝360)。对于每一条射线，我们在上面从近到远选取k个采样点。这个张量的大小为n*1800*k*3。其中3表示每个采样点的x，y，z坐标。
120.303、将采样点投影到图像中，并计算出采样点在图像中的图像坐标。
121.本实施例中，对于每一个采样3d点，根据相机的内外参，将3d点投影到图像上，得到图像上的行、列坐标，基于行列等坐标构建出3d点的采样特征张量p，该张量p的大小为n*360*k*3。其中3表示u,v,flag。这里u表示列坐标，v表示行坐标，flag表示是否在图像范围内。
122.304、收集射线特征。
123.具体的，利用得到的图像坐标，使用收集算子(gather_nd)，能够从图像特征f中将特征收集到每一个3d点位置上。最终得到n*m*360*k*c维的内容特征g。同时，将每个3d点位置特征p叠加到内容特征g上，最终得到n*m*360*k*c维特征张量q。
124.305、射线信息融合网络，障碍物预测。
125.该步骤中，融合具体是为了进行相邻角度射线之间，以及径向相邻点之间的信息融合，使用卷积操作，进一步获得融合后的特征张量q_1。接下来，对不同帧，不同射线方向的特征进一步使用自注意力机制，进行信息融合。只保留当前帧的射线对应的特征，最终得到维度为n*360*k*(1+n_cat+2+3+1+2)维特征张量m。其中1表示障碍物存在性，n_cat表示障碍物的类别，2表示中心点的位置，3表示长宽高，1表示朝向角度，2表示速度的分量。
126.306、最近邻障碍物选取。
127.具体的，从3d障碍物标注数据中，以自车位置为中心，向各个方向发出射线。这些射线所碰到的第一个物体即为筛选出来的最近邻障碍物。
128.307、损失函数计算。
129.在实际应用中，由于在每一个方向都会检测出来一个障碍物，将所有检测结果看做一个集和。而最近邻障碍物的标注真值也是一个集合。因此，用障碍物框集合之间的距离来作为损失函数。具体来说，对于任意一对预测框和真值框，损失函数包括分类损失,中心
位置回归损失,角度回归损失，尺寸回归损失，速度回归损失。接下来，使用匈牙利算法，计算所有可能配对形式中的损失最小值作为最终使用的损失函数，监督神经网络训练。
130.本实施例在前实施例的基础上，从空间中各个方向发射延伸射线，采样特征点。利用相机内外参信息，将3d空间的射线采样点投影到图像上，获得该3d射线的整体特征。进一步将这些特征进行切向方向的一维卷积，以及使用自注意力机制进行信息融合。最终，每一个不同射线方向的特征会预测一个障碍物的参数。最后，将这些障碍物预测的结果与真值之间进行匈牙利匹配，计算最优匹配下的损失函数，作为最终网络的损失函数，来监督网络训练。
131.上面对本发明实施例提供的障碍物检测方法进行了描述，下面对本发明实施例的障碍物检测装置进行描述，请参阅图4，本发明实施例障碍物检测装置，该装置包括：
132.特征提取模块401，用于获取主车所在的驾驶场景的图像数据，并从所述图像数据中提取图像特征；
133.选取模块402，用于以所述主车为原点，分别沿不同方向向外延伸选取多个三维采样点；
134.张量提取模块403，用于根据主车的图像采集参数，确定所述三维采样点位于所述图像特征中图像坐标，并基于所述图像坐标提取对应的三维采样点的特征张量；
135.障碍检测模块404，用于基于各所述特征张量进行障碍物预测，基于预测的结果确定所述驾驶场景中的障碍物。
136.本发明实施例中，所述障碍物检测装置运行上述障碍物检测方法，所述障碍物检测装置通过利用设置射线和三维采样点从图像特征中提取图像的特征张量，基于特征张量进行最近邻障碍物的检测，相比与现有技术来说，无需对采集到的图像做全面的识别标注，减少了特征分析量，从而提升了分析效率，同时基于三维采样点实现了有效特征的精准定位识别，提高了识别准确度，进一步实现了避免标注噪音的干扰，着重于最近邻障碍物的稳定检测。
137.请参阅图5，本发明实施例提供的障碍物检测装置的第二个实施例，该装置具体包括：
138.特征提取模块401，用于获取主车所在的驾驶场景的图像数据，并从所述图像数据中提取图像特征；
139.选取模块402，用于以所述主车为原点，分别沿不同方向向外延伸选取多个三维采样点；
140.张量提取模块403，用于根据主车的图像采集参数，确定所述三维采样点位于所述图像特征中图像坐标，并基于所述图像坐标提取对应的三维采样点的特征张量；
141.障碍检测模块404，用于基于各所述特征张量进行障碍物预测，基于预测的结果确定所述驾驶场景中的障碍物。
142.在本实施例中，所述特征提取模块401包括：
143.采集单元4011，用于通过设于主车中的图像采集设备，以所述主车为中心，从不同方向上拍摄至少一张图像，并基于各方向的图像生成主车所在的驾驶场景的图像数据；
144.特征提取单元4012，用于利用预设的卷积神经网络和特征金字塔网络，从不同尺度上对所述图像数据进行特征提取，得到图像特征。
145.在本实施例中，所述选取模块402包括：
146.构建单元4021，用于以所述主车为原点，在不同方向位置上放置射线，并将所述射线向外延伸，构建以所述主车为坐标原点的三维射线模型；
147.选取单元4022，用于在每条射线上从近到远选取k个三维采样点。
148.在本实施例中，所述张量提取模块403包括：
149.坐标计算单元4031，用于根据所述图像采集设备的内外参，确定所述三维采样点与所述图像特征上的像素点的对应关系，并基于所述对应关系计算出各三维采样点位于所述图像特征中图像坐标；
150.张量生成单元4032，用于基于所述图像坐标提取所述图像特征中属于同一三维采样点的位置上特征，并与所述图像坐标生成特征张量。
151.在本实施例中，所述张量生成单元4032具体用于：
152.基于所述图像坐标，采用收集算子的方式将所述图像特征中属于同一三维采样点的位置上特征进行采集，得到对应的内容特征；
153.将各三维采样点的图像坐标叠加到对应的内容特征上，生成多维的特征张量。
154.在本实施例中，所述障碍检测模块404包括：
155.张量融合单元4041，用于利用预设的特征融合算法，将各三维采样点对应的特征张量进行融合处理，得到融合特征张量；
156.障碍检测单元4042，用于提取各所述融合特征张量中的参数，并基于所述参数识别出所述驾驶场景中的障碍物。
157.在本实施例中，所述张量融合单元4041具体用于：
158.将所有三维采样点，按照射线相邻和点相邻的关系对对应的张量特征进行卷积操作，得到第一融合特征张量；
159.将各所述第一融合特征张量，利用自注意力机制按照不同帧和不同射线方向进行融合计算，得到融合特征张量。
160.本实施例在上一实施例的基础上，增加了其他的功能模块，通过这些功能模块，本装置通过从空间中各个方向发射延伸射线，采样特征点。利用相机内外参信息，将3d空间的射线采样点投影到图像上，获得该3d射线的整体特征。进一步将这些特征进行切向方向的一维卷积，以及使用自注意力机制进行信息融合。最终，每一个不同射线方向的特征会预测一个障碍物的参数，基于该参数进行障碍物的识别，实现了无需对采集到的图像做全面的识别标注，也能进行障碍物的检测，减少了特征分析量，从而提升了分析效率，同时基于三维采样点实现了有效特征的精准定位识别，提高了识别准确度，进一步实现了避免标注噪音的干扰，着重于最近邻障碍物的稳定检测。
161.上面图4和图5从模块化功能实体的角度对本发明实施例中的障碍物检测装置进行详细描述，下面从硬件处理的角度对本发明实施例的障碍物检测设备进行详细描述。
162.图6是本发明实施例提供的一种障碍物检测设备的结构示意图，该障碍物检测设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，cpu)610(例如，一个或一个以上处理器)和存储器620，一个或一个以上存储应用程序633或数据632的存储介质630(例如一个或一个以上海量存储设备)。其中，存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程
序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对障碍物检测设备600中的一系列指令操作。更进一步地，处理器610可以设置为与存储介质630通信，在障碍物检测设备600上执行存储介质630中的一系列指令操作，以实现上述障碍物检测方法的步骤。
163.障碍物检测设备600还可以包括一个或一个以上电源640，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口660，和/或，一个或一个以上操作系统631，例如windows serve，mac os x，unix，linux，freebsd等等。本领域技术人员可以理解，图6示出的障碍物检测设备结构并不构成对本技术提供的障碍物检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
164.本发明第三方面提供了一种障碍物检测设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述障碍物检测设备执行上述的障碍物检测方法的步骤。
165.本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述障碍物检测方法的步骤。
166.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统或装置、单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
167.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台障碍物检测设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
168.以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
技术特征：1.一种障碍物检测方法，其特征在于，所述障碍物检测方法包括：获取主车所在的驾驶场景的图像数据，并从所述图像数据中提取图像特征；以所述主车为原点，分别沿不同方向向外延伸选取多个三维采样点；根据主车的图像采集参数，确定所述三维采样点位于所述图像特征中图像坐标，并基于所述图像坐标提取对应的三维采样点的特征张量；基于各所述特征张量进行障碍物预测，基于预测的结果确定所述驾驶场景中的障碍物。2.根据权利要求1所述的障碍物检测方法，其特征在于，所述获取主车所在的驾驶场景的图像数据，并从所述图像数据中提取图像特征，包括：通过设于主车中的图像采集设备，以所述主车为中心，从不同方向上拍摄至少一张图像，并基于各方向的图像生成主车所在的驾驶场景的图像数据；利用预设的卷积神经网络和特征金字塔网络，从不同尺度上对所述图像数据进行特征提取，得到图像特征。3.根据权利要求2所述的障碍物检测方法，其特征在于，所述以所述主车为原点，分别沿不同方向向外延伸选取多个三维采样点，包括：以所述主车为原点，在不同方向位置上放置射线，并将所述射线向外延伸，构建以所述主车为坐标原点的三维射线模型；在每条射线上从近到远选取k个三维采样点。4.根据权利要求3所述的障碍物检测方法，其特征在于，所述根据主车的图像采集参数，确定所述三维采样点位于所述图像特征中图像坐标，并基于所述图像坐标提取对应的三维采样点的特征张量，包括：根据所述图像采集设备的内外参，确定所述三维采样点与所述图像特征上的像素点的对应关系，并基于所述对应关系计算出各三维采样点位于所述图像特征中图像坐标；基于所述图像坐标提取所述图像特征中属于同一三维采样点的位置上特征，并与所述图像坐标生成特征张量。5.根据权利要求4所述的障碍物检测方法，其特征在于，所述基于所述图像坐标提取所述图像特征中属于同一三维采样点的位置上特征，并与所述图像坐标生成特征张量，包括：基于所述图像坐标，采用收集算子的方式将所述图像特征中属于同一三维采样点的位置上特征进行采集，得到对应的内容特征；将各三维采样点的图像坐标叠加到对应的内容特征上，生成多维的特征张量。6.根据权利要求3中所述的障碍物检测方法，其特征在于，所述基于各所述特征张量进行障碍物预测，基于预测的结果确定所述驾驶场景中的障碍物，包括：利用预设的特征融合算法，将各三维采样点对应的特征张量进行融合处理，得到融合特征张量；提取各所述融合特征张量中的参数，并基于所述参数识别出所述驾驶场景中的障碍物。7.根据权利要求6所述的障碍物检测方法，其特征在于，所述利用预设的特征融合算法，将各三维采样点对应的特征张量进行融合处理，得到融合特征张量，包括：将所有三维采样点，按照射线相邻和点相邻的关系对对应的张量特征进行卷积操作，
得到第一融合特征张量；将各所述第一融合特征张量，利用自注意力机制按照不同帧和不同射线方向进行融合计算，得到融合特征张量。8.一种障碍物检测装置，其特征在于，所述障碍物检测装置包括：特征提取模块，用于获取主车所在的驾驶场景的图像数据，并从所述图像数据中提取图像特征；选取模块，用于以所述主车为原点，分别沿不同方向向外延伸选取多个三维采样点；张量提取模块，用于根据主车的图像采集参数，确定所述三维采样点位于所述图像特征中图像坐标，并基于所述图像坐标提取对应的三维采样点的特征张量；障碍检测模块，用于基于各所述特征张量进行障碍物预测，基于预测的结果确定所述驾驶场景中的障碍物。9.一种障碍物检测设备，其特征在于，所述障碍物检测设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得障碍物检测设备执行如权利要求1-7中任一项所述的障碍物检测方法的各个步骤。10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的障碍物检测方法的各个步骤。
技术总结本发明公开了一种障碍物检测方法、装置、设备及存储介质，该方法通过利用设置射线和三维采样点从图像特征中提取图像的特征张量，基于特征张量进行障碍物的检测，相比与现有技术来说，无需对采集到的图像做全面的识别标注，减少了特征分析量，从而提升了分析效率，同时基于三维采样点实现了有效特征的精准定位识别，提高了识别准确度，进一步实现了避免标注噪音的干扰，着重于障碍物的稳定检测。着重于障碍物的稳定检测。着重于障碍物的稳定检测。
技术研发人员：郭湘 韩文韬 何钦尧 孙鹏 韩旭
受保护的技术使用者：广州文远知行科技有限公司
技术研发日：2022.05.20
技术公布日：2022/11/1
