1.本发明涉及自动驾驶领域，尤其是一种稀疏激光雷达与可见光/红外成像系统的标定方法。
背景技术：2.近年来，自动驾驶技术发展迅速，该技术将惯性导航系统、毫米波雷达、超声波雷达、激光雷达、成像系统、全球定位系统等部署在汽车上，配合车载高性能计算平台进行数据融合，在车辆行驶过程中自动完成场景理解、定位、避障，以保障车辆的安全行驶。
3.激光雷达根据激光测距原理，输出激光点云数据，可以得到目标的距离数据。常用成像系统根据工作波段以及成像原理的不同，分为可见光成像系统和红外成像系统。
4.红外成像系统因可以全天时工作，也逐渐应用于自动驾驶，是对可见光图像的有益补充。激光雷达与可见光和红外成像系统融合，可获得周围环境的三维信息。这些信息在融合之前，需要先对成像系统进行内标定，在此基础上，再完成激光雷达与成像系统之间的外标定。内标定获得成像系统的内参矩阵，包括像素主点、像素焦距、畸变参数等。内参矩阵反映了图像像素与对应空间点的关系；外标定获得成像系统坐标系和激光雷达坐标系之间的刚体变换矩阵，包括旋转矩阵和平移向量等。刚体变换矩阵反映了成像系统与激光雷达之间的位姿关系。
5.激光雷达与成像系统之间的标定方法主要有两类：离线标定和在线标定。
6.离线标定又称有目标标定，是在非任务场景下，使用特定目标(通常是标定板)，在两个系统中分别找到特定目标的对应特征点。早期，由于激光雷达线数较少，如4线、8线、16线，标定板设计通常比较简单。rodriguez等设计了挖孔同心圆标定板，特征点为同心圆的圆心；陈东等设计了挖孔圆与棋盘格结合的标定板，特征点为棋盘格的角点。
7.近年来，随着激光雷达技术的发展，激光雷达的线数也越来越多，机械扫描式激光雷达已经达到了128线，固态激光雷达也可以达到等效100线以上的水平。因此，标定任务开始转向使用非挖孔的棋盘格标定板来完成。使用棋盘格标定板的主要好处在于，在稠密的激光点云中可以方便的通过算法自动找到棋盘格平面的角点以及平面方程建立约束求解；棋盘格同时又可用于成像系统内参矩阵的标定。zhou和geiger等基于从激光点云中找到的棋盘格设计平面约束与直线约束获得刚体变换矩阵。
8.在线标定又称无目标标定，不需要使用特定目标，可以在执行任务的运动过程中完成。在线标定通常是基于手眼标定(hand-eye calibration)完成的，即ishikawa等通过分别计算运动过程中激光雷达与成像系统的运动估计，求解方程。
9.近年来，使用卷积神经网络(convolutional neural networks，cnn)进行在线标定成为研究热点，只需输入激光点云与对应的图像，网络即可求解得到刚体变换矩阵。schneider等提出了regnet，该网络使用大量标定好的激光点云和图像数据进行训练，执行任务时直接回归计算得到刚体变换矩阵；ganesh等提出了自监督网络calibnet，通过最大化点云与图像在几何和光度上的一致性得到刚体变换矩阵。
10.目前主流的棋盘格离线标定方法用于64线及以上的激光雷达效果较好，而用于16线激光雷达时由于其数据稀疏而导致误差较大，且由于棋盘格标定板是一个整体，不存在温度差，无法用于红外成像系统。
技术实现要素：11.为了解决上述问题，本发明提出一种稀疏激光雷达与可见光/红外成像系统的标定方法，还涉及一种标定板，可以满足16线稀疏激光雷达、红外成像系统与可见光成像系统的标定要求。16线激光雷达原理同样是激光测距，但点云信息较少，因此设计了挖孔标定板，且在挖孔特征点之间建立了几何约束；可见光成像系统成像原理是光的反射，为方便在可见光图像中分辨孔和标定板，将标定板整体设计为黑色；红外成像系统的成像原理是热辐射，挖孔标定板的孔和标定板存在温度差，可以在红外图像中分辨。
12.本发明针对稀疏激光雷达点云数据较少的问题，研究了可以同时标定激光雷达与可见光、红外成像系统的方法，设计了菱形九孔标定板，并提出几何约束损失函数来优化特征点的坐标。最后，分别使用红外和可见光成像系统与16线激光雷达进行标定，实验结果表明，平均重投影误差均在3个像素之内，取得了较好的效果。本发明方法还能用于稀疏激光雷达与可见光-红外多波段成像系统的标定。
13.本发明的技术方案具体如下：
14.一种用于稀疏激光雷达与可见光/红外成像系统的标定板，包括板体，板体设有9个半径相同的圆孔，所述圆孔与激光雷达坐标系和图像像素坐标系中九个圆心的坐标一一对应，九个圆心之间有几何约束关系，所述几何约束关系包括平行约束、垂直约束和中点约束。
15.进一步地，对于图像中的特征点，通过hough圆变换对图像中的圆进行检测，在每张图像中找到九个圆心的像素坐标(x,y)。
16.进一步地，在激光雷达点云中，每个圆孔有至少两条激光扫描线经过，产生距离突变，通过求解外接圆圆心的方法求得九个圆心的激光雷达坐标(x
l
,y
l
,z
l
)。
17.进一步地，所述标定板用于对两个坐标系下特征点坐标进行优化及稀疏激光雷达与可见光/红外成像系统的外参求解(旋转矩阵与平移向量)。
18.本发明涉及一种稀疏激光雷达与可见光/红外成像系统的标定方法，包括如下步骤：
19.步骤(1)获得相机内参；
20.步骤(2)基于上述的标定板，在图像中和点云中分别找到每组数据对应的9个圆心点坐标；
21.步骤(3)使用损失函数优化特征点的像素坐标系坐标和雷达坐标系坐标；
22.步骤(4)根据像素坐标得到相机坐标系下坐标；
23.步骤(5)建立相机和雷达坐标系下的3d约束，求得和初值；
24.步骤(6)对初值使用3d-2d点迭代或3d-3d点迭代，得到和的优化解。
25.进一步地，步骤(2)中，通过hough圆变换对图像中的圆进行检测，在每张图像中找到九个圆心的像素坐标(x,y)，激光雷达点云中，每个圆孔有至少两条激光扫描线经过，产生距离突变构建包含未知数组成的线性方程组，解该方程组，即可得到圆心坐标以及半径，
进而求得2d和3d的九个圆心特征点的坐标。
26.进一步地，步骤(3)中，使用随机搜索，不断优化损失函数接近于0，降低九个点的误差。
27.进一步地，步骤(4)中，先将2d特征点转换为成像系统坐标系下3d坐标，然后与激光雷达坐标系下的3d特征点建立约束，首先建立约束来求解使用直线的方向向量与平面的法向量来建立约束；
28.对于两个坐标系下对应的九个特征点，求6条线的方向向量，保证9个点都用了两次，所占权重一致，一个位置下的9组对应点可以建立8个约束，通过奇异值分解的方法即可解出的初值；
29.使用上面得到的的初值作为计算的初值，使用平面约束、直线约束以及垂直约束，对于一个位置下的9组对应点，求出了2个平面法向量和6个直线方向向量，使用9个点的质心和两个平面法向量得到2个方程；使用6条线段的中点和方向向量得到18个方程；使用雷达坐标系下四个点在成像系统坐标系的投影点，建立四个垂直约束，得到4个方程，一共得到24个方程，求得的线性最小二乘解作为初值。
30.进一步地，步骤(4)后，直接使用2d和3d的对应特征点，来求解pnp问题；将初值作为初始解，使用lm迭代法，对代价函数迭代优化，得到和的迭代解。
31.由此可见，本文针对稀疏激光雷达与可见光及红外成像系统之间的标定问题，设计了一种菱形九孔标定板，并根据标定板的约束，设计了几何约束loss来优化特征点的测量坐标，减小误差；根据3d几何约束得到和的初值，使用迭代法得到和的迭代解。
32.本发明分别使用可见光成像系统、红外成像系统与16线激光雷达进行标定实验。在可见光系统中平均重投影误差在3个像素之内，在红外系统中平均重投影误差在3个像素之内。
33.本发明还适用于可见光-红外多波段成像系统，只需采集一组激光点云数据，以此为基准分别与多波段成像系统多个相机进行标定，方便了多波段的成像信息与激光雷达点云数据的融合过程。
附图说明
34.图1是本发明实施例的标定板；
35.图2是本发明实施例的激光雷达数据计算圆心坐标；
36.图3(a)是本发明实施例的可见光图像数据；(b)是本发明实施例的可见光系统雷达点云数据；(c)是红外系统实验场景；(d)是红外图像数据；
37.图4是本发明实施例中两种迭代方法的特征点重投影误差散点图；(a)为3d-3d迭代；(b)为3d-2d迭代；
38.图5(a)是本发明实施例中可见光系统激光点投影结果；(b)是本发明实施例中红外系统激光点投影结果。
具体实施方式
39.下面将结合本技术实施例中的附图，对实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
40.除非另外定义，本技术实施例中使用的技术术语或者科学术语应当为所属领域内具有一般技能的人士所理解的通常意义。本实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。“上”、“下”、“左”、“右”、“横”以及“竖”等仅用于相对于附图中的部件的方位而言的，这些方向性术语是相对的概念，它们用于相对于的描述和澄清，其可以根据附图中的部件所放置的方位的变化而相应地发生变化。
41.本实施例的方法涉及的原理如下：
42.激光雷达与成像系统的标定实质上是坐标系之间的转换。本实施例使用(x
l
,y
l
,z
l
)表示以激光雷达为中心的雷达坐标系3d点坐标；使用(xc,yc,zc)表示成像系统坐标系下3d点坐标；使用(xw,yw,zw)表示世界坐标系下3d点坐标；使用(x,y)表示图像的像素坐标系下2d点的坐标。
43.相机的投影过程可以使用式(1)表示，激光雷达与成像系统的坐标转换可以使用式(2)来表示。
44.其中，k为成像系统的内参矩阵，可以使用张正友标定法获得，和是世界坐标系到相机坐标系的旋转矩阵和平移向量，和是激光雷达坐标系到成像系统坐标系的旋转矩阵和平移向量，组合起来就是刚体变换矩阵。
[0045][0046][0047]
通过找到对应特征点在激光雷达坐标系的坐标(x
l
,y
l
,z
l
)以及像素坐标系的坐标(x,y)，就可以通过两种不同方法求解得到和
[0048]
第一种方法不必求解成像系统坐标系下坐标，直接使用2d和3d的对应特征点，来求解pnp(perspective n points)问题。
[0049]
将式(1)和式(2)组合，并使用齐次坐标，将内参和外参组合到一起，得到式(3)。这是一个有12个未知数的方程组，每一对特征点可以提供两个方程，因此最少需要六对特征点即可解出12个未知数，进而解出旋转矩阵和平移向量的初值。
[0050]
然后将二者作为初始解，使用lm(levenberg-marquarelt)迭代法，对式(4)的代价函数迭代优化，得到和的迭代解，其中p
li
与pi是一对点云和像素坐标对应点，n≥6。
[0051][0052][0053]
第二种方法需要求出特征点在成像系统坐标系下的坐标，使用3d和3d对应点来进行求解。根据张正友标定法，在知道标定板的物理尺寸时，假定标定板所在平面的世界坐标为zw＝0，就可以将式(1)中的投影过程转换为求解单应性矩阵(homography matrix)的过程，进而求解成像系统的内参矩阵k。同理，也可以使用k来分解单应性矩阵得到和再根据式(1)，计算得到特征点在成像系统坐标系下坐标(xc,yc,zc)。对于多对3d特征点，建立几何空间约束，即可求解方程组得到和的初值，然后使用最近点迭代算法(iterative closest point,icp)进行迭代求解。空间约束以及迭代方法根据标定板以及实验设备的不同而有所不同。
[0054]
对于稀疏激光雷达，使用普通棋盘格标定板矩形边界点作为特征点，效果不够好，因此需要使用挖孔标定板的内部信息作为特征点。基于上述原理，本实施例的用于稀疏激光雷达与可见光/红外成像系统的标定板。
[0055]
如图1所示，本实施例的标定板由九个半径相等的圆孔组成，特征点对为激光雷达坐标系和图像像素坐标系中九个圆心的坐标。九个圆心之间有严格的几何约束关系，如平行约束、垂直约束、中点约束等；使用这些约束完成特征点坐标的优化计算以及和的初值计算。
[0056]
对于图像中的特征点，通过hough圆变换对图像中的圆进行检测，在每张图像中可以找到九个圆心的像素坐标(x,y)。
[0057]
在激光雷达点云中，每条激光扫描线经过圆孔，会产生距离突变，如图2所示。假设有两条雷达扫描线经过该圆，这两条扫描各自会产生一段距离突变，突变的两个端点在圆上，即图中的p1、p2、p3、p4四点；又因圆上3点可确定一个圆，可将问题转换为求三角形外接圆的问题，使用p1、p2、p3三点即可求解圆心坐标。假设p1、p2、p3三点在激光雷达坐标系下坐标分别为(x
l1
,y
l1
,z
l1
)、(x
l2
,y
l2
,z
l2
)、(x
l3
,y
l3
,z
l3
)，由p1、p2、p3三点确认的平面方程为a0x+b0y+c0z+d0＝0，圆心p0坐标为(x
l
,y
l
,z
l
)，半径为r(r》0)。
[0058]
可以得到由x
l
、y
l
、z
l
、r四个未知数组成的线性方程组，如式(5)所示。解该方程组，即可得到圆心坐标以及半径。为了使结果更准确，本文从p1、p2、p3、p4四点中任选三点，计算四次，结果求平均值作为圆心坐标。
[0059][0060]
由于测量过程存在误差，在求得2d和3d的九个圆心特征点的坐标之后，还需利用标定板的几何约束对两个坐标系下特征点坐标进行优化。
[0061]
本实施例设计了损失函数(lossfunction)，优化loss，使坐标的误差尽可能小。
[0062]
如图1所示，本实施例标定板存在中点约束，比如e为ab中点等；垂直约束，比如eb
⊥
bh等。
[0063]
本实施例的稀疏激光雷达与可见光/红外成像系统的标定方法，包括如下步骤：
[0064]
步骤(1)获得相机内参；
[0065]
步骤(2)基于上述的标定板，在图像中和点云中分别找到每组数据对应的9个圆心点坐标；
[0066]
步骤(3)使用损失函数优化点的坐标；
[0067]
步骤(4)根据像素坐标得到相机坐标系下坐标；
[0068]
步骤(5)建立相机和雷达坐标系下的3d约束，求得和初值；
[0069]
步骤(6)使用3d-2d点迭代或3d-3d点迭代，得到和的优化解。
[0070]
具体按以下进行：
[0071]
本实施例使用loss
mid
表示中点约束误差，如式(6)所示，即e点与ab中点的距离；本文使用loss
vertical
表示垂直约束误差，如式(7)所示，即两个向量之间点积的绝对值；整体loss如式(8)所示，每个点均使用了4次，所占权重相等以免引入新的误差。
[0072]
本实施例使用随机搜索(random search)的方法，不断优化loss接近于0，降低九个点的误差。
[0073]
loss
mid
(e,a,b)＝||e-mid(a,b)||
ꢀꢀ
(6)
[0074][0075][0076]
分别对2d特征点和3d特征点坐标进行优化后，使用本文上节介绍的第二种方法来求和的初值，先将2d特征点转换为成像系统坐标系下3d坐标，然后与激光雷达坐标系下的3d特征点建立约束。
[0077]
与第一种求解pnp问题，直接得到外参矩阵的方法相比，第二种方法对旋转矩阵和平移向量是分别求解的，可以更好地减少二者的误差，因此效果更好。
[0078]
首先建立约束来求解相比于点坐标，空间向量只受到的约束，因此，使用直线的方向向量与平面的法向量来建立约束，如式(9)和(10)所示。其中与是某条直线在两个坐标系下的方向向量；与是标定板平面在两个坐标系下的法向量。
[0079][0080][0081]
对于两个坐标系下对应的九个特征点，求6条线的方向向量：ab、bc、cd、da、ef、hg建立约束，分别使用e、i、h三点和f、i、g三点求解两次平面法向量建立约束；这样可以保证9个点都用了两次，所占权重一致。一个位置下的9组对应点可以建立8个约束，通过奇异值分解(singular value decomposition，svd)的方法即可解出的初值，使用多个位置下的多组对应点，建立更多约束，可得到更精确的初值结果。
[0082]
使用上面得到的的初值作为计算的初值，使用的约束有平面约束、直线约束以及垂直约束，如式(11)(12)(13)所示。其中和dc是成像系统坐标系下平面的法向量以及平面方程的常数项，p
l
为激光雷达坐标系下的某点，pc为其在成像系统坐标系下对应点，i为3
×
3单位矩阵，为pc所在直线的方向向量，是与pc所在直线垂直的直线方向向量。
[0083][0084][0085][0086]
对于一个位置下的9组对应点，求出了2个平面法向量和6个直线方向向量。使用9个点的质心和两个平面法向量代入式(11)得到2个方程；使用6条线段的中点和方向向量代入式(12)得到18个方程；使用雷达坐标系下a、b、c、d四个点在成像系统坐标系的投影点，分别代入式(13)，建立ab
⊥
bc、bc
⊥
cd、cd
⊥
da、da
⊥
ab四个垂直约束，得到4个方程，一共得到24个方程。因为平移向量有三个未知数，24个方程构成的是超定线性方程组，可以求得的线性最小二乘解作为初值。
[0087]
在求得和的初值之后，就可以使用3d-2d点迭代或3d-3d点迭代的方法来求解和的优化解。
[0088]
仿真实验
[0089]
实际情况下，和的真实值是未知的，通常使用特征点的重投影误差来评价和的准确性。但这个指标默认了特征点没有误差，为了更好地验证本文方法的有效性，本实施例进行了仿真实验。
[0090]
首先使用随机的尺寸生成标定板，并随机生成特征点的激雷达坐标、和使用固定的内参矩阵k，得到成像系统坐标系和像素坐标系下坐标，分别使用3d约束和pnp方法求解和初值，与实际值进行对比，多次仿真结果如表1所示。使用旋转轴的单位向量和旋转角度表示，使用向量表示。
[0091]
表1中a表示使用3d约束的结果，b表示使用pnp方法的初值结果，旋转轴误差和平移误差均为旋转轴向量与平移向量相对于实际的l1误差，角误差为旋转角与实际旋转角的误差，单位是弧度。可以看到，使用3d约束方法求初值的误差相对于pnp方法的误差小了几个数量级，因此，使用3d约束求初值可以大大减少后续迭代求解所需要的迭代次数，而pnp方法的优点在于简单。
[0092]
表1两种方法误差对比
[0093][0094]
通过仿真了理想情况下求解初值的结果，验证了本文方法的有效性。在实际测量中，得到的特征点坐标存在一定的误差，需要对上一节生成的激光雷达坐标系数据和成像系统坐标系数据随机增加误差，来模拟测量值，然后使用本实施例方法得到和的结果，仿真结果如表2所示。
[0095]
表2本实施例方法的结果
[0096]
[0097][0098]
从表2中可以看出，本实施例方法可以将特征点的loss大幅降低，以此方法解得的和误差与实际的误差非常小。仿真实验验证了本文方法的有效性，下一节将进行实际实验。
[0099]
实验设备
[0100]
使用激光雷达分别与可见光成像系统、红外成像系统进行标定实验，以验证本实施例方法的有效性。
[0101]
可见光成像系统使用lt-usb1080p型号的高清工业摄像头，成像分辨率为1920
×
1080像素，焦距为6mm；红外成像系统使用艾睿光电的ir-pilot640型号热像仪，成像分辨率为640
×
512像素，焦距6.9mm，工作波段为8-14μm；激光雷达使用velodyne vlp-16型号的16线稀疏激光雷达，垂直视场角为-15
°‑
15
°
，分辨率为2
°
；水平视场角为360
°
，分辨率最高为0.1
°
。
[0102]
实验过程
[0103]
根据前面的原理介绍，标定板的每个圆孔需要有至少两条激光扫描线穿过，结合激光雷达与成像系统的参数以及作用距离，设定标定板的尺寸为1.2m
×
1.35m，每个圆孔的半径为9cm。
[0104]
将标定板置于激光雷达和成像系统视场的重合区域，距离系统大概2m左右，使用实验系统采集多组数据，根据表1的流程进行实验，图3(a)和(b)展示了一组可见光图像和激光点云的对应数据。图3(c)和(d)分别展示了红外实验系统的实验场景以及红外成像系统得到的红外图像。实验中使用matlab的相机标定工具箱，获取成像系统的内参矩阵k，使
用opencv中对应的函数来完成图像中的圆检测以及畸变校正，方法的其他部分使用python进行编写。
[0105]
根据标定板的距离以及激光雷达的水平分辨率，可以计算得到，相邻激光扫描点之间的距离大约为0.5cm；也就是说理想情况下判断圆上点时的误差最大为0.5cm，考虑到一些激光点可能无法接收到返回值，以及激光雷达的误差和算法的误差，认为雷达坐标系中圆心点误差最大为5cm，像素坐标系中圆心点最大误差为10像素。根据这两个参数来优化loss，取多组数据建立3d约束求得初值，然后分别使用3d-3d的icp算法和3d-2d的lm迭代法得到优化解。
[0106]
试验结果
[0107]
在可见光和红外两个波段系统的实验中，本文使用相同数量的特征点，迭代相同次数，得到最后的结果。
[0108]
可见光系统以及红外系统的多次实验结果如表3和表4所示，其中a表示使用icp算法进行3d-3d迭代，b表示使用l-m迭代法进行3d-2d迭代的结果，均使用3d到2d特征点在x和y方向的平均重投影误差(单位为像素)来评价方法的准确性。
[0109]
对于可见光系统，可以看到，本实施例方法在使用3d-3d迭代情况下，重投影误差平均在4个像素左右，而使用3d-2d迭代情况下，重投影误差平均小于3个像素，都取得了很好的效果。
[0110]
对于红外系统，本实施例方法在使用3d-3d迭代情况下，重投影误差平均在4个像素以内，使用3d-2d迭代，重投影误差平均在3个像素以内，效果很好。
[0111]
图4展示了两种迭代方法的特征点重投影误差散点图。可以看到，除了部分特征点之外，重投影误差都比较小，误差较大的点可能是因为激光雷达、图像算法等引入了测量误差。
[0112]
表4可见光系统实验结果
[0113][0114]
表5红外系统实验结果
[0115][0116]
图5(a)和(b)分别展示了可见光系统和红外系统使用实验结果和将点云数据投影到图像上的融合结果，可以看到，除了在一些距离突变很大的边缘点有一点偏移之外，16条激光扫描线都很连贯，说明标定的效果很好，得到的融合数据可以用于后续的其他任务中。
[0117]
本实施例针对稀疏激光雷达与可见光及红外成像系统之间的标定问题，设计了一种菱形九孔标定板，并根据标定板的约束，设计了几何约束loss来优化特征点的测量坐标，减小误差；根据3d几何约束得到和的初值，使用迭代法得到和的迭代解。
[0118]
本实施例分别使用可见光成像系统、红外成像系统与16线激光雷达进行标定实验。在可见光系统中平均重投影误差在3个像素之内，在红外系统中平均重投影误差在3个像素之内。
[0119]
本实施例方法还适用于可见光-红外多波段成像系统，只需采集一组激光点云数据，以此为基准分别与多波段成像系统多个相机进行标定，方便了多波段的成像信息与激光雷达点云数据的融合过程。
[0120]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
技术特征：1.一种用于稀疏激光雷达与可见光/红外成像系统的标定板，其特征在于：包括板体，板体设有9个半径相同的圆孔，所述圆孔与激光雷达坐标系和图像像素坐标系中九个圆心的坐标一一对应，九个圆心之间有几何约束关系，所述几何约束关系包括平行约束、垂直约束和中点约束。2.根据权利要求1所述的标定板，其特征在于：对于图像中的特征点，通过hough圆变换对图像中的圆进行检测，在每张图像中找到九个圆心的像素坐标(x,y)。3.根据权利要求1所述的标定板，其特征在于：在激光雷达点云中，每个圆孔有至少两条激光扫描线经过，产生距离突变，通过求解外接圆圆心的方法求得九个圆心的激光雷达坐标(x
l
,y
l
,z
l
)。4.根据权利要求1所述的标定板，其特征在于：所述标定板用于对两个坐标系下特征点坐标进行优化及稀疏激光雷达与可见光/红外成像系统的外参求解。5.一种稀疏激光雷达与可见光/红外成像系统的标定方法，其特征在于：包括如下步骤：步骤(1)获得相机内参；步骤(2)基于权利要求1-4任一项所述的标定板，在图像中和点云中分别找到每组数据对应的9个圆心点坐标；步骤(3)使用损失函数优化特征点的像素坐标系坐标和雷达坐标系坐标；步骤(4)根据像素坐标得到相机坐标系下坐标；步骤(5)建立相机和雷达坐标系下的3d约束，求得和初值；步骤(6)对初值使用3d-2d点迭代或3d-3d点迭代，得到和的优化解。6.根据权利要求5所述的标定方法，其特征在于：步骤(2)中，通过hough圆变换对图像中的圆进行检测，在每张图像中找到九个圆心的像素坐标(x,y)，激光雷达点云中，每个圆孔有至少两条激光扫描线经过，产生距离突变构建包含未知数组成的线性方程组，解该方程组，即可得到圆心坐标以及半径，进而求得2d和3d的九个圆心特征点的坐标。7.根据权利要求5所述的标定方法，其特征在于：步骤(3)中，使用随机搜索，不断优化损失函数接近于0，降低九个点的误差。8.根据权利要求5所述的标定方法，其特征在于：步骤(4)中，先将2d特征点转换为成像系统坐标系下3d坐标，然后与激光雷达坐标系下的3d特征点建立约束，首先建立约束来求解使用直线的方向向量与平面的法向量来建立约束；对于两个坐标系下对应的九个特征点，求6条线的方向向量，保证9个点都用了两次，所占权重一致，一个位置下的9组对应点可以建立8个约束，通过奇异值分解的方法即可解出的初值；使用上面得到的的初值作为计算的初值，使用平面约束、直线约束以及垂直约束，对于一个位置下的9组对应点，求出了2个平面法向量和6个直线方向向量，使用9个点的质心和两个平面法向量得到2个方程；使用6条线段的中点和方向向量得到18个方程；使用雷达坐标系下四个点在成像系统坐标系的投影点，建立四个垂直约束，得到4个方程，一共得到24个方程，求得的线性最小二乘解作为初值。9.根据权利要求5所述的标定方法，其特征在于：步骤(4)后，直接使用2d和3d的对应特征点，来求解pnp问题；将初值作为初始解，使用lm迭代法，对代价函数迭代优化，得到和
的迭代解。
技术总结本发明涉及一种稀疏激光雷达与可见光/红外成像系统的标定方法，包括如下步骤：获得相机内参；基于标定板，在图像中和点云中分别找到每组数据对应的9个圆心点坐标；使用损失函数优化特征点的像素坐标系坐标和雷达坐标系坐标；根据像素坐标得到相机坐标系下坐标；建立相机坐标系和雷达坐标系下的3D约束，求得和初值；对初值使用3D-2D点迭代或3D-3D点迭代，得到和的优化解。本发明设计了标定板，在挖孔特征点之间建立几何约束。本发明方法的平均重投影误差均在3个像素之内，取得了较好的效果，还能用于稀疏激光雷达与可见光-红外多波段成像系统的标定。红外多波段成像系统的标定。红外多波段成像系统的标定。
技术研发人员：王岭雪 刘宇 蔡毅 戎宁涛 周云扬
受保护的技术使用者：北京理工大学
技术研发日：2022.07.19
技术公布日：2022/11/1
