一种融合三维激光雷达和单目相机的3D目标检测方法

一种融合三维激光雷达和单目相机的3d目标检测方法
技术领域
1.本发明属于自动驾驶领域，具体来说涉及一种融合三维激光雷达和单目相机的3d目标检测方法。


背景技术：

2.在自动驾驶领域，通常使用多种传感器来获取大量的周围环境信息，其中环境信息包括行人、车辆的位置和速度，以及下一时刻可能的行为、可行驶区域、对交通规则的理解等。
3.目前自动驾驶平台在感知过程中常用的传感器有三维激光雷达和光学相机。三维激光雷达是一类使用多个角度激光束进行探测和测距的传感器，它每秒钟能够向外界发送数百万个激光脉冲，因其测量的高度可靠性和准确性，在估计物体的距离、坐标和速度上表现出优异的效果，但它获取到的点云本身解析度低，尤其对于反射点稀疏的目标，基于点云的分类方法准确率不高。相机是一类图像传感器，能够提供丰富的信息内容，具有高分辨率、价格低等优点，在物体检测上表现出较为准确的检测和分类性能，但是容易受到天气和强光的影响，且在估计物体的距离、坐标和速度上存在局限性。由于单个传感器存在的固有限制，很难获得有效的数据，因而将三维激光雷达和光学相机进行融合，既可以利用相机图像的高分辨率对目标进行检测和分类，又可以利用激光雷达点云的可靠性对障碍物进行检测和测距，融合两者的优点从而完成对环境的感知，提高算法的鲁棒性。
4.申请号202110447403.0的专利公开了一种基于单目相机和激光雷达融合的3d目标检测方法及系统。该方法先利用实例分割网络计算单目相机采集图像中每一个像素点的实例分割数，再将得到的实例分割数同激光雷达的3d点云进行融合，得到融合的3d点云，最后利用点云卷积网络对融合后的3d点云进行3d目标检测，得到3d边界框。该方法利用棋盘格标定板，对三维激光雷达和相机进行外参标定，虽然解决了相机视角与激光雷达视角不一致的问题，但是棋盘格的格子大小和标定板的摆放的位置，以及传感器的放置位置发生变化都会影响到算法的精度和稳定性，并且在雷达线束比较低的情况下，很难准确获取到棋盘格的信息。该方法采用了点云卷积网络进行3d目标检测，虽然提升了3d目标检测的精度，但是卷积网络的计算复杂度很高且实时性较差。


技术实现要素：

5.为了解决因雷达线束低，棋盘格信息容易丢失，导致目标检测算法的精度和稳定性下降的问题，以及使用点云卷积网络提取物体特征导致算法计算复杂度高的问题，本发明提供了一种融合三维激光雷达和单目相机的3d目标检测方法。
6.为实现上述目的，本发明提供技术方案如下：
7.一种融合三维激光雷达和单目相机的3d目标检测方法，所述方法包括以下步骤：步骤1，单目相机标定；步骤2，获取相机图像并检测到2d目标对象和目标类别；步骤3，获取三维激光雷达的点云并预处理；步骤4，对预处理后的点云进行地面剔除；步骤5，对地面剔
除后的点云进行聚类，得到聚类后的点云和各类点云对应的3d边界框；步骤6，对聚类后的点云进行分类并进行非目标剔除；步骤7，基于非目标剔除后的点云和3d边界框获取2d投影框；步骤8，基于2d目标对象和2d投影框，输出融合后的3d目标点云。
8.优选地，所述单目相机通过张正友棋盘格标定法标定。
9.优选地，所述步骤2包括以下步骤：步骤2.1，使用标定后的单目相机获取相机图像；步骤2.2，通过目标检测网络在相机图像上框选目标，得到2d目标对象及目标类别。
10.优选地，所述步骤3包括以下步骤：
11.步骤3.1，以三维激光雷达的安装位置为坐标原点，采用右手坐标系建立三维激光雷达坐标系；
12.步骤3.2，设定三维激光雷达感兴趣区域roi，并提取感兴趣区域roi内的扫描点构成点云p＝{p(x，y，z)|p∈roi}，其中p(x，y，z)为扫描点在三维激光雷达坐标系中的坐标；
13.步骤3.3，对点云在三维激光雷达坐标系的坐标信息进行数据降噪。
14.优选地，所述感兴趣区域roi为-r
max
＜x＜r
max
，且-r
min
＜y＜r
min
，r
max
为三维激光雷达前后两侧半径，r
min
为三维激光雷达的左右两侧半径，x轴为三维激光雷达前进方向，x轴与y轴在水平面上呈90
°
。
15.优选地，所述数据降噪包括以下步骤：
16.设定邻域半径r，搜寻每一扫描点pj(xj，yj，zj)在邻域内的点集pj＝{(x，y，z)|(x-xj)2+(y-yj)2≤r2}，其中，j为点云的索引，j＝1，2，3
…
，pj∈p；
17.通过中值滤波算法分别计算各点集pj在z轴上的中值zm，并以中值zm替代对应的扫描点pj(xj，yj，zj)在z轴上的坐标值zj。
18.优选地，所述步骤4包括以下步骤：
19.步骤4.1，初始化i＝0，在预处理后的点云中随机选择三个扫描点作为初始平面子集点，构建平面；
20.步骤4.2，根据其余扫描点与平面间的距离，确定其余扫描点是否属于平面；
21.步骤4.3，当属于平面的扫描点数量大于预设阈值时，则该平面为地面点云平面并执行步骤4.4，否则直接执行步骤4.4；
22.步骤4.4，令i＝i+1，并判断i＞c，c为最大迭代次数，若是，则从点云中剔除地面点云平面所包含的扫描点，否则执行步骤4.5；
23.步骤4.5，在预处理后的点云中重新随机选择三个不同的扫描点，构建新的平面，并返回步骤4.2。
24.优选地，所述步骤6包括以下步骤：
25.步骤6.1，从聚类后的点云中提取n个维度的m个特征；
26.步骤6.2，基于每一扫描点提取到的特征值集合构建特征向量；
27.步骤6.3，基于特征向量，采用基于支持向量机的点云分类模型对扫描点进行分类，得到点云的目标类别；
28.步骤6.4，在聚类后的点云中剔除不属于目标的扫描点。
29.优选地，所述步骤7包括以下步骤：
30.步骤7.1将非目标剔除后的点云及3d边界框按式(3)和式(4)投影到展平的圆柱面上，得到投影坐标x
img
和y
img
，
[0031][0032][0033]
其中h_res和v_res分别表示激光雷达的水平分辨率和垂直分辨率；
[0034]
步骤7.2，选取所有投影点中坐标值最小的点作为坐标原点，更新投影点坐标，得到3d雷达的2d投影框。
[0035]
优选地，所述步骤8包括以下步骤：
[0036]
步骤8.1，计算每个2d目标对象和2d投影框的iou值，并构建n
×
m的iou矩阵，n为2d目标对象的数量，m为2d投影图的数量；
[0037]
步骤8.2，遍历iou矩阵，当任一iou值大于设定的iou阈值t，将2d投影框内的投影点对应的点云作为目标点云进行输出，同时将2d目标对象的目标类别作为3d目标类别输出。
[0038]
与现有技术相比，本发明的有益效果为：
[0039]
本发明通过找到雷达和相机的感兴趣区域在不使用棋盘格的情况下将三维激光雷达数据投影到2d图像上，根据交并比(iou)的思想，将雷达数据和相机数据进行融合；本发明采用在非线性情况下性能较好的支持向量机算法，对目标物体3d点云进行分类，进一步提升目标物体3d点云检测的准确性，提高融合的精度。
附图说明
[0040]
图1为本发明的流程图。
[0041]
图2为本发明中三维激光雷达提取的感兴趣区域。
[0042]
图3为点云投影到2d图像的示意图。
具体实施方式
[0043]
本发明的一种融合三维激光雷达和单目相机的3d目标检测方法，实现本发明方法的软件平台是机器人操作系统ros；自动驾驶平台使用的是四轮线控底盘；单目相机采用的是分辨率为720p的罗技的c310高清摄像头，三维激光雷达采用速腾聚创公司的rs-lidar-16，其中雷达是16线激光雷达，扫描频率是5～20hz，在水平方向上能够实现360
°
扫描，水平角度的分辨率为0.1
°
～0.4
°
，垂直方向的视角为30
°
(即-15
°
～15
°
)，垂直角度分辨率为2
°
，在单回波模式下每秒可产生将近30万个点；自动驾驶平台上的计算机使用的处理器是intel i7-10750h，内存是16gb ram、显卡是nvidia rtx 2070 max-q(8gb，ddr6)，操作系统为ubuntu 18.04+ros melodic。
[0044]
图1示出了本发明的一种融合三维激光雷达和单目相机的3d目标检测方法的流程图，参照图1，该3d目标检测方法包括以下8个步骤。
[0045]
步骤1，单目相机标定。
[0046]
本发明中，相机在出厂后，镜头会出现难以避免的畸变，需要通过相机标定来校正这种镜头畸变以达到最佳的拍摄效果。
[0047]
本发明步骤1中，具体来说，通过使用张正友提出的棋盘格标定法对相机进行标
定：使用9
×
12大小的棋盘格作为标定板，格子尺寸为6.5cm
×
6.5cm。在标定过程中将棋盘格置于相机的视角范围内，通过使用opencv提供的标定工具，在相机前方重复将标定板平放、左偏、右偏、前倾、后倾，保证其能覆盖图像中的各个位置，得出单目相机的内参矩阵、外参矩阵和畸变系数。
[0048]
步骤2，获取相机图像并检测到2d目标对象和目标类别。
[0049]
本发明步骤2具体包括以下2个子步骤：
[0050]
步骤2.1，使用标定后的单目相机实时获取一帧相机图像；
[0051]
步骤2.2，通过目标检测网络在相机图像上框选目标，得到2d目标对象及目标类别。
[0052]
本发明中，通过步骤1对单目相机标定，以获得单目相机的内参矩阵、外参矩阵和畸变系数，基于该内参矩阵、外参矩阵及畸变系数来对单目相机输出的每一帧图像进行校正，得到校正后的相机图像。
[0053]
本发明步骤2.2中，该目标检测网络的生成过程为：获取若干合有目标的图像，并对这些图像分别标注矩形目标框，以确定目标所在区域，并对目标框框选的目标标注目标类别；将标注有目标框和目标类别的图像作为样本数据集；以深度学习框架darknet中的yolo网络模型作为基础模型，并基于样本数据集对该基础模型中的参数进行训练，最后将训练好的yolo网络模型作为本发明中的目标检测网络，来执行步骤2.2的内容，因此该框选目标的目标框为矩形，该矩形目标框，也即2d目标对象，在相机图像上框选的矩形区域即为2d目标图像，同时可得到该2d目标图像对应的目标类别。
[0054]
步骤3，获取三维激光雷达的点云并预处理。
[0055]
本发明中，从三维激光雷达获取的点云并不能直接用来做目标对象的检测，需要对点云进行预处理获得有效的信息，具体包括以下3个子步骤：
[0056]
步骤3.1，以三维激光雷达的安装位置为坐标原点，建立三维激光雷达坐标系，三维激光雷达坐标系是采用右手坐标系，x和y轴在水平面上呈90度，x轴朝向正前方方向并与自动驾驶平台前进方向保持一致，z轴与水平面垂直；
[0057]
步骤3.2，设定三维激光雷达感兴趣区域roi，并提取感兴趣区域roi内的扫描点构成点云p＝{p(x，y，z)|-r
max
＜x＜r
max
，-r
min
＜y＜r
min
}，其中p(x，y，z)为点云在三维激光雷达坐标系中的坐标，r
max
为三维激光雷达前后两侧的感兴趣半径，r
min
为激光雷达左右两侧的感兴趣半径；这里，该r
max
的取值范围为[10,50]，r
min
的取值范围为[3，10]，单位为米。
[0058]
步骤3.3，对点云在三维激光雷达坐标系的坐标信息进行数据降噪，得到降噪的点云pf。三维激光雷达数据(坐标信息)存在一些测量噪声，因此需要对点云的三维激光雷达数据进行降噪，这里采用中值滤波法，对点云进行z轴上的滤波，以提高下一步地面拟合的准确度，具体来说：
[0059]
设定邻域半径为r，搜寻每一扫描点pj(xj，yj，zj)在邻域内的点集pj＝{(x，y，z)|(x-xj)2+(y-yj)2≤r2}，其中，j为点云的索引，j＝1，2，3
…
，这里的点集pj中任一点为点云中的扫描点；这里，r的取值范围为[2，10]，单位为厘米；
[0060]
通过中值滤波算法分别计算各点集pj在z轴上的中值zm，并以该中值zm替代对应的扫描点pj(xj，yj，zj)在z轴上的坐标值zj，zj＝zm＝mid{z|(x-xj)2+(y-yj)2≤r2}，其中，mid{}为中值滤波函数。
[0061]
步骤4，对预处理后的点云进行地面剔除。
[0062]
本发明中，虽然在步骤3中剔除了冗余的噪声点云，但是地面区域的点云并不能被全部剔除，若不将地面点云分割出来，在后续使用点云进行目标分类的准确度上会受到影响，因此需要分割地面与非地面的点云，本发明采用经典的随机抽样一致方法(ransac)拟合并剔除步骤3中降噪的点云pf中无用的地面点云，具体包括以下5个子步骤：
[0063]
步骤4.1，初始化i＝0，在预处理后的点云中随机选择三个点作为初始平面子集点，构建平面；
[0064]
步骤4.2，根据其余点与平面间的距离，确定其余点是否属于平面；
[0065]
步骤4.3，当属于平面的点数大于预设阈值时，则该平面为地面点云平面并执行步骤4.4，否则直接执行步骤4.4；这里预设阈值的取值范围一般为[800，1400]；
[0066]
步骤4.4，令i＝i+1，并判断i＞c，c为迭代次数，若是，则从点云中剔除地面点云平面所包含的点，否则执行步骤4.5；c的取值范围是[10，150]；
[0067]
步骤4.5，在预处理后的点云中重新随机选择三个不同的点，构建新的平面，并返回步骤4.2。
[0068]
步骤5，采用欧几里得聚类算法对地面剔除后的点云进行聚类，得到聚类后的点云和各类点云对应的3d边界框。
[0069]
步骤4中得到剔除地面后的点云，仍会存在一些离群点，为了进一步消除离群点以及物体边界点对整体特征点检测的影响需要进行聚类处理，聚类后的点云的类别信息会更加明显，为后续使用支持向量机算法分类目标物体做准备，具体方法如下：
[0070]
步骤5.1，构建基于点云坐标信息的kd树，叶子结点包含的点数为n
p
；
[0071]
步骤5.2，设定搜索距离d、最小聚类点数c
min
和最大聚类点数c
max
，d∈[5，20]，单位为厘米，c
min
∈[50,100]，c
max
∈[200000,500000]；
[0072]
步骤5.3，基于搜索距离d，通过欧几里德聚类算法实现点云聚类；
[0073]
步骤5.4，判断当前次聚类的点云的数量是否小于最小聚类点数c
min
，若是，则返回步骤5.3，否则，执行步骤5.5；
[0074]
步骤5.5，判断当前次聚类的点云的数量是否大于最大聚类点数c
max
，若是，则直接输出点云簇，否则返回步骤5.3。
[0075]
本发明步骤5中，用基于点空间位置的kd树来表示点云坐标信息，便于后续对邻近点的搜索；当聚类的点云的数量小于最小聚类点数时，不输出该类点云簇，当聚类的点云的数量大于最大聚类点数时，不继续扩大该类点云簇。输出的点云簇包括若干个扫描点，该若干个扫描点的总数大于最大聚类点数，且该若干个扫描点属于地面剔除后的点云。
[0076]
本发明步骤5中，通过聚类剔除离散点的同时，还可将离散点剔除后的点云分成由类似的对象组成的多个类，每一类点云都有对应的3d边界框，该3d边界框也用三维坐标信息来表示。
[0077]
步骤6，对聚类后的点云进行分类并进行非目标剔除。
[0078]
步骤5的聚类方法得出的是一个个3维的最小长方体，传统分类中可将聚类后的点云的空间坐标投影到x-o-z平面，该长方体就变成一个外接长方形且是最小外接长方形；对于人和车，车的长方形中长度是大于宽度的；而对于人，人的长方形中宽度是大于长度的，因此可以根据人为经验去设定一个阈值，如果长：宽大于这个阈值就认定为
″
车
″
，反之认定
为
″
人
″
，以实现目标物体的分类；但是由于长宽比是根据人为经验进行设置的，在复杂场景下，冗余的点云无法剔除干净，目标物体3d点云识别的准确率显著下降，最终会影响后续步骤中和相机数据融合的结果。为了提升3d目标物体检测的准确性，提高融合的精度，本发明采用在非线性情况下性能较好的支持向量机算法，对目标物体3d点云进行分类，具体的步骤如下：
[0079]
步骤6.1，从聚类后的点云中提取n个维度的m个特征；
[0080]
步骤6.2，基于每一扫描点提取到的特征值集合构建特征向量f＝(f1，f2，...，fm)；
[0081]
步骤6.3，基于特征向量，采用基于支持向量机的点云分类模型对扫描点进行分类，得到点云的目标类别；
[0082]
步骤6.4，在聚类后的点云中剔除不属于目标的扫描点，剔除不属于目标的扫描点，得到非目标剔除后的点云p
t
。
[0083]
本发明步骤6.3中，基于支持向量机的点云分类模型的构建包括以下步骤：
[0084]
构建点数据样本集，点数据样本集中每一点样本数据包括相对应的特征向量和样本类别；
[0085]
划分正负样本数量为1∶1，并将所有特征向量进行归一化处理；设定核函数为高斯径向基核函数；
[0086]
基于点数据样本集，并使用支持向量机算法构造多分类器，该多分类器可以识别目标类比如车、人、树、房子等，在每次的新迭代中对该分类器进行重新学习训练，得到最优分类效果的多分类器并对点云数据进行分类。
[0087]
本发明步骤6.4中，可以将认定为树和房子的扫描点剔除，仅获取车和人的扫描点，构成非目标剔除后的点云p
t
。
[0088]
步骤7，基于非目标剔除后的点云p
t
和步骤5所得的3d边界框投影获取2d投影框。
[0089]
本发明中，用三维激光雷达检测到目标物体的3d点云不能和用相机检测到的2d图像直接进行融合，因此本发明采用投影法点云p
t
投影到2d图像上再进行数据融合，具体方法如下：
[0090]
步骤7.1，将非目标剔除后的点云p
t
和步骤5所得的3d边界框，按式(3)和式(4)投影到展平的圆柱面上，得到投影坐标x
img
和y
img
，
[0091][0092][0093]
其中h_res和v_res分别表示激光雷达的水平分辨率和垂直分辨率，这里h_res的取值为0.1
°
，v_res的取值为2
°
；
[0094]
本发明步骤7.1中，由于通过聚类得到多个类别，每一类别对应有一3d边界框，所以有多个3d边界框。
[0095]
步骤7.2，选取所有投影点中坐标值最小的点作为坐标原点，更新投影点坐标，得到3d雷达的2d投影框。
[0096]
本发明步骤7.2中，将得到的投影点最小值设置为(0，0)，防止多数点落于x轴和y轴的负半轴。
[0097]
步骤8，基于2d目标对象和2d投影框，输出融合后的3d目标点云。
[0098]
具体来说，包括以下子步骤：
[0099]
步骤8.1，计算每个2d目标对象与2d投影框的iou值，并构建n
×
m的iou矩阵，n为2d目标对象的数量，m为2d投影框的数量；
[0100]
步骤8.2，遍历iou矩阵，当任一iou值大于设定的iou阈值t，将2d投影框内的投影点对应的点云作为目标点云进行输出，同时将2d目标对象的目标类别作为3d目标类别输出。此处t的取值是0.8。

技术特征：
1.一种融合三维激光雷达和单目相机的3d目标检测方法，其特征在于，所述方法包括以下步骤：步骤1，单目相机标定；步骤2，获取相机图像并检测到2d目标对象和目标类别；步骤3，获取三维激光雷达的点云并预处理；步骤4，对预处理后的点云进行地面剔除；步骤5，对地面剔除后的点云进行聚类，得到聚类后的点云和各类点云对应的3d边界框；步骤6，对聚类后的点云进行分类并进行非目标剔除；步骤7，基于非目标剔除后的点云和3d边界框获取2d投影框；步骤8，基于2d目标对象和2d投影框，输出融合后的3d目标点云。2.如权利要求1所述的一种融合三维激光雷达和单目相机的3d目标检测方法，其特征在于，所述单目相机通过张正友棋盘格标定法标定。3.如权利要求1所述的一种融合三维激光雷达和单目相机的3d目标检测方法，其特征在于，所述步骤2包括以下步骤：步骤2.1，使用标定后的单目相机获取相机图像，步骤2.2，通过目标检测网络在相机图像上框选目标，得到2d目标对象及目标类别。4.如权利要求1所述的一种融合三维激光雷达的单目相机的3d目标检测方法，其特征在于，所述步骤3包括以下步骤：步骤3.1，以三维激光雷达的安装位置为坐标原点，采用右手坐标系建立三维激光雷达坐标系；步骤3.2，设定三维激光雷达感兴趣区域roi，并提取感兴趣区域roi内的扫描点构成点云p＝{p(x，y，z)|p∈roi}，其中p(x，y，z)为扫描点在三维激光雷达坐标系中的坐标；步骤3.3，对点云在三维激光雷达坐标系的坐标信息进行数据降噪。5.如权利要求4所述的一种融合三维激光雷达的单目相机的3d目标检测方法，其特征在于，所述感兴趣区域roi为-r
max
＜x＜r
max
，且-r
min
＜y＜r
min
，r
max
为三维激光雷达前后两侧半径，r
min
为三维激光雷达的左右两侧半径，x轴为三维激光雷达前进方向，x轴与y轴在水平面上呈90
°
。6.如权利要求4所述的一种融合三维激光雷达和单目相机的3d目标检测方法，其特征在于，所述数据降噪包括以下步骤：设定邻域半径r，搜寻每一扫描点p
j
(x
j
，y
j
，z
j
)在邻域内的点集p
j
＝{(x，y，z)|(x-x
j
)2+(y-y
j
)2≤r2}，其中，j为点云的索引，j＝1，2，3
…
，p
j
∈p；通过中值滤波算法分别计算各点集p
j
在z轴上的中值z
m
，并以中值z
m
替代对应的扫描点p
j
(x
j
，y
j
，z
j
)在z轴上的坐标值z
j
。7.如权利要求1所述的一种融合三维激光雷达和单目相机的3d目标检测方法，其特征在于，所述步骤4包括以下步骤：步骤4.1，初始化i＝0，在预处理后的点云中随机选择三个扫描点作为初始平面子集点，构建平面；步骤4.2，根据其余扫描点与平面间的距离，确定其余扫描点是否属于平面；
步骤4.3，当属于平面的扫描点数量大于预设阈值时，则该平面为地面点云平面并执行步骤4.4，否则直接执行步骤4.4；步骤4.4，令i＝i+1，并判断i＞c，c为最大迭代次数，若是，则从点云中剔除地面点云平面所包含的扫描点，否则执行步骤4.5；步骤4.5，在预处理后的点云中重新随机选择三个不同的扫描点，构建新的平面，并返回步骤4.2。8.如权利要求1所述的一种融合三维激光雷达和单目相机的3d目标检测方法，其特征在于，所述步骤6包括以下步骤：步骤6.1，从聚类后的点云中提取n个维度的m个特征；步骤6.2，基于每一扫描点提取到的特征值集合构建特征向量；步骤6.3，基于特征向量，采用基于支持向量机的点云分类模型对扫描点进行分类，得到点云的目标类别；步骤6.4，在聚类后的点云中剔除不属于目标的扫描点。9.如权利要求6所述的一种融合三维激光雷达和单目相机的3d目标检测方法，其特征在于，所述步骤7包括以下步骤：步骤7.1将非目标剔除后的点云及3d边界框按式(3)和式(4)投影到展平的圆柱面上，得到投影坐标x
img
和y
img
，，其中h_res和v_res分别表示激光雷达的水平分辨率和垂直分辨率；步骤7.2，选取所有投影点中坐标值最小的点作为坐标原点，更新投影点坐标，得到3d雷达的2d投影框。10.如权利要求9所述的一种融合三维激光雷达和单目相机的3d目标检测方法，其特征在于，所述步骤8包括以下步骤：步骤8.1，计算每个2d目标对象和2d投影框的iou值，并构建n
×
m的iou矩阵，n为2d目标对象的数量，m为2d投影图的数量；步骤8.2，遍历iou矩阵，当任一iou值大于设定的iou阈值t，将2d投影框内的投影点对应的点云作为目标点云进行输出，同时将2d目标对象的目标类别作为3d目标类别输出。

技术总结
本发明公开了一种融合三维激光雷达和单目相机的3D目标检测方法，步骤1，单目相机标定；步骤2，获取相机图像并检测到2D目标对象和目标类别；步骤3，获取三维激光雷达的点云并预处理；步骤4，对预处理后的点云进行地面剔除；步骤5，对地面剔除后的点云进行聚类，得到聚类后的点云和各类点云对应的3D边界框；步骤6，对聚类后的点云进行分类并进行非目标剔除；步骤7，基于非目标剔除后点云和3D边界框获取2D投影框；步骤8，基于2D目标对象和2D投影框，输出融合后的3D目标点云。本发明可提升目标物体3D点云检测的准确性，提高融合的精度。提高融合的精度。提高融合的精度。


技术研发人员：朱威 陈艺楷 张津 何德峰 郑雅羽
受保护的技术使用者：浙江工业大学
技术研发日：2022.05.18
技术公布日：2022/11/1