1.本技术涉及车辆传感器的标定，具体而言，涉及车辆传感器的联合标定方法和系统、车辆以及存储介质。
背景技术：2.自动驾驶、辅助驾驶技术近年来发展迅速，激光雷达（lidar）和图像传感器（相机）是自动驾驶感知领域最重要的两个传感器。它们之间精确的外参是传感器融合等模块工作的基础。相机获取的环境信息是有规律的、有序且稠密，但相机仅对光敏感且无图像距离信息。为了弥补相机的弱点，激光雷达可以准确地获取物体的距离，但点云相比图像信息更加稀疏。为此，这两种传感器的融合使自动驾驶汽车能够更好地了解外部环境信息，因而已成为近年来的重点研究方向。传感器融合算法需要精确的外部参数来转换两个传感器之间的坐标以实现数据对齐。因此，具有高精度和高鲁棒性的在线自动校准算法变得越来越重要。
3.目前主流的激光雷达相机外参标定方法高度依赖于高精度标定目标和特定环境。在传统标定中，标定特征是从图像和点云中手动检测、提取出来并进行匹配。这些方法费时费力，在各种户外场景中不可行。此外，传感器校准大多只执行一次，并且假设外部校准在传感器套件的剩余生命周期内保持不变。由于标定误差的存在以及行驶过程中的各种情况，标定结果可能会发生变化。
4.有鉴于此，需要提出一种在线标定算法来降低标定所需的条件以及降低标定误差。
技术实现要素：5.本技术的实施例提供了车辆传感器的联合标定方法和系统、车辆以及存储介质，用于以在线方式对车辆的相机传感器和激光雷达进行联合标定。
6.根据本技术的一方面，提供一种车辆传感器的联合标定方法。所述方法包括：接收由图像传感器产生的第一多帧图像数据和激光雷达产生的第二多帧点云数据；将所述第一多帧图像数据与所述第二多帧点云数据在时间上对齐；对经对齐后的图像数据进行场景识别，并根据场景识别的结果筛选出第三多帧图像数据；利用第三多帧图像数据及与之对齐的点云数据中的轮廓信息对所述图像传感器和所述激光雷达进行标定，以得到各自的第三多个标定结果；以及删除所述第三多个标定结果中的异常值以生成有效标定结果。
7.在本技术的一些实施例中，可选地，将所述第一多帧图像数据与所述第二多帧点云数据在时间上对齐包括：使用统一的授时源为所述第一多帧图像数据与所述第二多帧点云数据分别打上时间戳；以及将所述第一多帧图像数据与所述第二多帧点云数据中时间戳的差异在阈值之下的两帧对齐。
8.在本技术的一些实施例中，可选地，将所述第一多帧图像数据与所述第二多帧点云数据在时间上对齐还包括：丢弃未能对齐的图像数据与点云数据。
9.在本技术的一些实施例中，可选地，对经对齐后的图像数据进行场景识别，并根据
场景识别的结果筛选出第三多帧图像数据包括：通过语义分割分别对经对齐后的图像数据进行场景识别以得到语义特征；以及根据所述语义特征的数量及其在图像数据中的位置筛选出所述第三多帧图像数据。
10.在本技术的一些实施例中，可选地，根据所述语义特征的数量及其在图像数据中的位置筛选出所述第三多帧图像数据包括：确定所述语义特征的数量是否在预设范围内。
11.在本技术的一些实施例中，可选地，根据所述语义特征的数量及其在图像数据中的位置筛选出所述第三多帧图像数据包括：确定所述语义特征在图像中是否均匀分布。
12.在本技术的一些实施例中，可选地，根据所述语义特征的数量及其在图像数据中的位置筛选出所述第三多帧图像数据包括：确定所述语义特征所对应的对象在图像中是否存在相互遮挡的情况。
13.在本技术的一些实施例中，可选地，利用第三多帧图像数据及与之对齐的点云数据中的轮廓信息对所述图像传感器和所述激光雷达进行标定，以得到各自的第三多个标定结果包括：基于所述语义特征提取所述图像数据中所包括的图像轮廓信息；根据点云数据中的深度信息提取点云轮廓信息；以及构建关于所述图像轮廓信息、所述点云轮廓信息的匹配程度的优化问题，并根据所述优化问题的解确定所述第三多个标定结果，其中所述第三多个标定结果包括针对所述图像传感器和所述激光雷达的外参。
14.在本技术的一些实施例中，可选地，删除所述第三多个标定结果中的异常值以生成有效标定结果包括：通过isolation forest算法对所述第三多个标定结果进行无监督分类并将其中的孤立点作为所述异常值剔除。
15.在本技术的一些实施例中，可选地，所述有效标定结果是所述第三多个标定结果中保留的标定结果的平均值。
16.根据本技术的另一方面，提供一种车辆传感器的联合标定系统。所述系统包括：存储器，其配置成存储指令；以及处理器，其配置成执行所述指令以便执行如上文所述的任意一种车辆传感器的联合标定方法。
17.根据本技术的另一方面，提供一种车辆，所述车辆包括如上文所述的任意一种车辆传感器的联合标定系统。
18.根据本技术的另一方面，提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当所述指令由处理器执行时，使得所述处理器执行如上文所述的任意一种车辆传感器的联合标定方法。
19.本技术一些实施例提出的车辆传感器的联合标定方法、车辆传感器的联合标定系统、车辆以及计算机可读存储介质能够结合使用激光雷达点云深度不连续性提取出的边缘特征以及语义分割出的车辆边缘特征进行标定，并且可以从多个标定结果中删除明显不合理的值从而生成有效标定结果。
附图说明
20.从结合附图的以下详细说明中，将会使本技术的上述和其他目的及优点更加完整清楚，其中，相同或相似的要素采用相同的标号表示。
21.图1示出了根据本技术的一个实施例的车辆传感器的联合标定方法；图2示出了根据本技术的一个实施例的车辆传感器的联合标定系统；
图3示出了根据本技术的一个实施例的车辆传感器的联合标定方法。
具体实施方式
22.出于简洁和说明性目的，本文主要参考其示范实施例来描述本技术的原理。但是，本领域技术人员将容易地认识到相同的原理可等效地应用于所有类型的车辆传感器的联合标定方法和系统、车辆以及存储介质，并且可以在其中实施这些相同或相似的原理，任何此类变化不背离本技术的真实精神和范围。
23.传统的标定方法中通常使用高精度标定板进行联合标定。近年来，随着深度学习在各个领域的渗透，基于深度神经网络的标定方法也被提出。但上述方法对场景要求较高，不适合在常规的驾驶场景中调整外在参数以最大化互信息从而获得最优的外在参数。本技术将提出一种在线标定方法，其使用激光雷达点云深度不连续性提取出的边缘特征以及语义分割出的车辆边缘特征作为标定目标特征，通过对齐以及最小化投影距离来优化外参标定结果。
24.根据本技术的一方面，提供一种车辆传感器的联合标定方法。如图1所示，车辆传感器的联合标定方法10（以下简称方法10）包括如下步骤：在步骤s102中接收由图像传感器产生的第一多帧图像数据和激光雷达产生的第二多帧点云数据；在步骤s104中将第一多帧图像数据与第二多帧点云数据在时间上对齐；在步骤s106中对经对齐后的图像数据进行场景识别，并根据场景识别的结果筛选出第三多帧图像数据；在步骤s108中利用第三多帧图像数据及与之对齐的点云数据中的轮廓信息对图像传感器和激光雷达进行标定，以得到各自的第三多个标定结果；以及在步骤s110中删除第三多个标定结果中的异常值以生成有效标定结果。经由方法10的以上步骤可以实现对图像传感器和激光雷达的同时在线标定，并且标定并不依赖特定的标定物（例如，棋盘）。下面将详细说明方法10的各个步骤的工作原理。
25.方法10在步骤s102中接收由图像传感器产生的第一多帧图像数据和激光雷达产生的第二多帧点云数据。本技术中的“第一多个”、“第二多个”、“第一多（个）帧”以及“第二多（个）帧”等仅意在区分其后随附的主体，不代表它们在数值上一定不等。此外，除非另有说明或者从上下文中能够得出相反的结论，“多个”、“多帧”一般指代“至少两个”、“至少两帧”的情况。亦即，为了标定的准确性，在步骤s102中将接收一段时间内产生的图像数据和点云数据。在理想情况下，为了标定的便利，图像传感器和激光雷达应当总是“同时”获取一帧图像数据和一帧点云数据。但是，一般情况下，图像传感器和激光雷达的采样频率并不相同，因而在相同时间内采集的图像数据和点云数据的帧数是不同的。
26.为了解决图像传感器和激光雷达的采样频率不匹配的问题，本技术的方法10在步骤s104中可以将在步骤s102中接收到的第一多帧图像数据与第二多帧点云数据在时间上进行对齐。换言之，步骤s104的目的在于将帧率不同的图像数据与点云数据在时间上对应起来，这是因为作为两种传感器联合标定的标定对象应当一致，如果这两种传感器探测的场景存在偏差将导致联合标定的结果存在偏差，甚至会造成无法标定。
27.理想情况下，每一帧点云数据都能找到与之对应的一帧图像数据，这是因为点云数据的采样率相比于图像数据的可能更低，因而有更多的图像数据可用于适配点云数据。但在实际情况下可能找不到同时采样的一帧图像数据或点云数据。因此，在步骤s104中有
必要将能够对齐的数据筛选出来。
28.在本技术的一些实施例中，在步骤s104中可以使用统一的授时源为第一多帧图像数据与第二多帧点云数据分别打上时间戳，并将第一多帧图像数据与第二多帧点云数据中时间戳的差异在阈值之下的两帧对齐。具体而言，为了使得图像数据与点云数据能够对应起来就要设置一个共同的时钟源。在步骤s104中可以将这个时钟源作为图像传感器和激光雷达的时钟，并且在每捕捉一帧数据时都记录下当前时刻。事实上，即便为每一帧图像数据和点云数据都打上了时间戳标记，可能也极少存在完全一致的时刻采样的数据。为此，在步骤s104中可以设置一个时间阈值（例如，5ms），并将采样时刻的差异在此阈值之下的图像数据和点云数据“视为”是在同一时刻采样的，或者说是“时间上对齐的”。
29.如图3中所示出的，当要在时间轴上寻找与一帧点云数据对应的一帧图像数据时，可以先寻找是否存在完全相同的时刻采样到的一帧图像数据。若存在的话则该帧图像数据就是与点云数据对齐的；若不存在的话可以再在时间轴上寻找离这帧点云数据最近的左右两帧图像数据，随后再比较这两帧图像数据与点云数据的时间间隔，将较小者作为备选帧（如果相同则任选一帧）。然后，可以将选出的这帧图像数据与点云数据的时间间隔与预设的时间阈值进行比较，若间隔在时间阈值之下，则视为找到了一帧对应的图像数据；反之，若间隔大于时间阈值，则视为不存在对应的图像数据。
30.由于对齐的图像数据与点云数据才有资格进入方法10的后续步骤，因而在步骤s104中还可以丢弃未能对齐的图像数据与点云数据。图3中示出了保留的若干对齐后的图像数据（记为“图像帧”）与点云数据（记为“lidar”），其余数据将被丢弃并且不会进入到后续步骤中。
31.方法10在步骤s106中对经对齐后的图像数据进行场景识别，并根据场景识别的结果筛选出第三多帧图像数据。如图3所示，可以通过场景分类器（场景识别模块）对经由步骤s104中对齐的图像数据进行场景识别，判断该场景是否满足自动标定算法运行的要求。如本领域技术人员在阅读本技术后所理解的，第三多帧一般而言在数量上要小于第一多帧。
32.在本技术的一些实施例中，在步骤s106中可以通过语义分割分别对经对齐后的图像数据进行场景识别以得到语义特征，并且根据语义特征的数量及其在图像数据中的位置筛选出第三多帧图像数据。例如，可以确定语义特征的数量是否在预设范围内，确定语义特征在图像中是否均匀分布，以及确定语义特征所对应的对象在图像中是否存在相互遮挡的情况，并根据以上判断结果综合考虑筛选出第三多帧图像数据。进一步如图3所示的，通过场景分类器（场景识别模块）筛选的数据将被作为关键帧（其数量为上文中描述的第三多个）进入到方法10的后续步骤中作进一步处理。其中，场景分类器（场景识别模块）构造成一个语义分割网络，用于对图像进行语义分割，并将语义分割网络的结果汇总以用于判断场景中是否有足够的语义特征。在一些示例中要求语义特则分布足够均匀，而且对分布位置有一定要求以便提供足够的约束。此外，还需判断语义结果是否足够清晰、无明显遮挡。同时，还可以剔除过于密集或空旷的场景，以便开展后续算法。
33.方法10在步骤s108中利用第三多帧图像数据及与之对齐的点云数据中的轮廓信息对图像传感器和激光雷达进行标定，以得到各自的第三多个标定结果。
34.在本技术的一些实施例中，在步骤s108中可以通过以下步骤实现标定过程：基于语义特征提取图像数据中所包括的图像轮廓信息；根据点云数据中的深度信息提取点云轮
廓信息；以及构建关于图像轮廓信息、点云轮廓信息的匹配程度的优化问题，并根据优化问题的解确定第三多个标定结果，其中第三多个标定结果包括针对图像传感器和激光雷达的外参。
35.具体而言，可以利用图3所示的在线标定模块（图中简记为“标定模块”）使用激光雷达与图像传感器中共视的语义特征建立优化问题，并进行误差项的构建及优化问题的求解。其中，图像数据使用语义分割后的车辆轮廓信息，点云数据使用横向/纵向分离的不连续性信息，并且以车辆轮廓为基准特征进行自动标定算法的优化与求解。最终的标定结果包括对应于第三多帧图像数据（点云数据）的第三多组外参。如图3所示，外参可以包括用于图像传感器、激光雷达旋转参数θ1、θ2、θ3和平移参数t1、t2、t3。
36.方法10在步骤s110中删除第三多个标定结果中的异常值以生成有效标定结果。在本技术的一些实施例中，在步骤s110中可以通过isolation forest算法对第三多个（组）标定结果进行无监督分类并将其中的孤立点作为异常值剔除。尽管上文中已经尽量保证图像数据与点云数据的对齐，但是受制于算法的局限，仍然有一些不合理的外参在步骤s108中得以生成。步骤s110意在将这些不合理的参数滤除，并仅保留合理的参数。具体而言，可以通过图3所示的异常检测器对第三多个标定结果进行无监督学习分类，从而剔除明显离群的结果。isolation forest算法的实施可以按照现有技术进行，本文在此不作赘述。
37.在本技术的一些实施例中，有效标定结果是第三多个标定结果中保留的标定结果的平均值。步骤s110中可以获得都满足筛选调节的标定结果，在一些示例中，可以选取一段时间内生成的标定结果作平滑处理（例如，取均值），并将平滑处理后的结果作为这段时间内产生的一个有效标定结果供激光雷达与图像传感器使用。
38.根据本技术的另一方面，提供一种车辆传感器的联合标定系统。如图2所示，车辆传感器的联合标定系统20（以下简称系统20）包括存储器202和处理器204。其中，存储器202被配置成存储指令，处理器204被配置成执行指令以便执行如上文的任意一种车辆传感器的联合标定方法。
39.根据本技术的另一方面，提供一种车辆，车辆包括如上文的任意一种车辆传感器的联合标定系统。本技术中并不限制车辆的布局（例如，轮式车、履带式车等），也不限制车辆的驱动力（例如，电机驱动、汽油机驱动等），本技术的车辆涵盖了各种为本领域当前所知的车辆以及未来开发的车辆。
40.根据本技术的另一方面，提供一种计算机可读存储介质，其中存储有指令，当所述指令由处理器执行时，使得所述处理器执行如上文所述的任意一种车辆传感器的联合标定方法。本技术中所称的计算机可读介质包括各种类型的计算机存储介质，可以是通用或专用计算机能够存取的任何可用介质。举例而言，计算机可读介质可以包括ram、rom、eprom、e2prom、寄存器、硬盘、可移动盘、cd-rom或其他光盘存储器、磁盘存储器或其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码单元并能够由通用或专用计算机、或者通用或专用处理器进行存取的任何其他临时性或者非临时性介质。如本文所使用的盘通常磁性地复制数据，而碟则用激光来光学地复制数据。上述的组合也应当包括在计算机可读介质的保护范围之内。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读写信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在asic中。asic可驻留在用户终端中。在替换方案中，处理器和存储介质可
作为分立组件驻留在用户终端中。
41.本技术以上的一些实施例提出了一种自动化运行的在线标定算法框架，其通过引入语义信息并结合场景信息及异常值处理，实现标定算法的全工况自动化运行。需要说明的是，以上仅为本技术的具体实施方式，但本技术的保护范围并不局限于此。本领域的技术人员可以根据本技术所披露的技术范围想到其他可行的变化或替换，此等变化或替换皆涵盖于本技术的保护范围之中。在不冲突的情况下，本技术的实施方式及实施方式中的特征还可以相互组合。本技术的保护范围以权利要求的记载为准。
技术特征：1.一种车辆传感器的联合标定方法，其特征在于，所述方法包括：接收由图像传感器产生的第一多帧图像数据和激光雷达产生的第二多帧点云数据；将所述第一多帧图像数据与所述第二多帧点云数据在时间上对齐；对经对齐后的图像数据进行场景识别，并根据场景识别的结果筛选出第三多帧图像数据；利用第三多帧图像数据及与之对齐的点云数据中的轮廓信息对所述图像传感器和所述激光雷达进行标定，以得到各自的第三多个标定结果；以及删除所述第三多个标定结果中的异常值以生成有效标定结果。2. 根据权利要求1所述的方法，其中，将所述第一多帧图像数据与所述第二多帧点云数据在时间上对齐包括：使用统一的授时源为所述第一多帧图像数据与所述第二多帧点云数据分别打上时间戳；以及将所述第一多帧图像数据与所述第二多帧点云数据中时间戳的差异在阈值之下的两帧对齐。3.根据权利要求2所述的方法，其中，将所述第一多帧图像数据与所述第二多帧点云数据在时间上对齐还包括：丢弃未能对齐的图像数据与点云数据。4. 根据权利要求1所述的方法，其中，对经对齐后的图像数据进行场景识别，并根据场景识别的结果筛选出第三多帧图像数据包括：通过语义分割分别对经对齐后的图像数据进行场景识别以得到语义特征；以及根据所述语义特征的数量及其在图像数据中的位置筛选出所述第三多帧图像数据。5.根据权利要求4所述的方法，其中，根据所述语义特征的数量及其在图像数据中的位置筛选出所述第三多帧图像数据包括：确定所述语义特征的数量是否在预设范围内。6.根据权利要求4所述的方法，其中，根据所述语义特征的数量及其在图像数据中的位置筛选出所述第三多帧图像数据包括：确定所述语义特征在图像中是否均匀分布。7.根据权利要求4所述的方法，其中，根据所述语义特征的数量及其在图像数据中的位置筛选出所述第三多帧图像数据包括：确定所述语义特征所对应的对象在图像中是否存在相互遮挡的情况。8.根据权利要求4所述的方法，其中，利用第三多帧图像数据及与之对齐的点云数据中的轮廓信息对所述图像传感器和所述激光雷达进行标定，以得到各自的第三多个标定结果包括：基于所述语义特征提取所述图像数据中所包括的图像轮廓信息；根据点云数据中的深度信息提取点云轮廓信息；以及构建关于所述图像轮廓信息、所述点云轮廓信息的匹配程度的优化问题，并根据所述优化问题的解确定所述第三多个标定结果，其中所述第三多个标定结果包括针对所述图像传感器和所述激光雷达的外参。9.根据权利要求1所述的方法，其中，删除所述第三多个标定结果中的异常值以生成有效标定结果包括：通过isolation forest算法对所述第三多个标定结果进行无监督分类并将其中的孤立点作为所述异常值剔除。
10.根据权利要求1所述的方法，其中，所述有效标定结果是所述第三多个标定结果中保留的标定结果的平均值。11. 一种车辆传感器的联合标定系统，其特征在于，所述系统包括：存储器，其配置成存储指令；以及处理器，其配置成执行所述指令以便执行如权利要求1-10中任一项所述的方法。12.一种车辆，其特征在于，所述车辆包括如权利要求11所述的系统。13.一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当所述指令由处理器执行时，使得所述处理器执行如权利要求1-10中任一项所述的方法。
技术总结本申请涉及车辆传感器的联合标定方法和系统、车辆以及存储介质，所述方法包括：接收由图像传感器产生的第一多帧图像数据和激光雷达产生的第二多帧点云数据；将所述第一多帧图像数据与所述第二多帧点云数据在时间上对齐；对经对齐后的图像数据进行场景识别，并根据场景识别的结果筛选出第三多帧图像数据；利用第三多帧图像数据及与之对齐的点云数据中的轮廓信息对所述图像传感器和所述激光雷达进行标定，以得到各自的第三多个标定结果；以及删除所述第三多个标定结果中的异常值以生成有效标定结果。效标定结果。效标定结果。
技术研发人员：康宇宸 谭海宇 费贤松 吴绍权 崔国才 彭思崴 夏宇峰
受保护的技术使用者：安徽蔚来智驾科技有限公司
技术研发日：2022.07.04
技术公布日：2022/11/1
