1.本发明涉及数字孪生(digital twin)和自动驾驶领域，尤其是涉及一种面向数字孪生的自动驾驶数据集制作方法及系统。
背景技术：2.适应不断变化的环境是所有自动驾驶系统不可避免地的关键安全性挑战，为此，自动驾驶算法需要海量的数据进行训练和验证，然而，现有的图像和视频驾驶数据集无法捕捉真实世界的环境多变性，并且很多高级任务的真值无法直接给出，通常需要消耗大量人力物力进行标注。因此，如何提供一种易于获取的、大体量、多场景、多任务的综合数据集成为业界的迫切需要。
技术实现要素：3.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种自动驾驶数据集制作方法及系统。
4.本发明的目的可以通过以下技术方案来实现：
5.根据本发明的第一方面，提供了一种自动驾驶数据集制作方法，包括以下步骤：
6.根据自动驾驶车辆的型号，通过数字孪生技术建立自动驾驶车辆对应的物理模型并导入自动驾驶模拟器；
7.根据自动驾驶车辆运行的真实环境，通过数字孪生技术建立真实环境对应的环境地图并导入自动驾驶模拟器；
8.通过数字孪生技术建立行人和其他车辆的物理模型；
9.获取测试需求，基于所述测试需求在自动驾驶模拟器中进行配置，包括配置车载传感器的参数，设置环境参数，导入行人和其他车辆的物理模型，并设置其行为模式；
10.按照测试需求获取运行模式，在自动驾驶模拟器中使自动驾驶车辆对应的物理模型按照运行模式运行，在运行过程中由车载传感器采集信息并进行时间同步和预处理，得到的信息存储至自动驾驶数据集。
11.进一步地，通过数字孪生技术在ue4中建立自动驾驶车辆对应的物理模型和环境地图，即为数字孪生中的数字化虚拟，对其进行力学、运动学和动力学等验证后导入carla自动驾驶模拟器。
12.进一步地，ue4中建立的自动驾驶车辆的物理模型的坐标系与carla自动驾驶模拟器中的坐标系定义保持一致，遵循ue4中x轴正向朝前的左手坐标系的定义方式，坐标转换方法为：借助scipy的transform库计算旋转矩阵的乘积后转化为carla自动驾驶模拟器中(position，rotation)的格式。
13.进一步地，所述“根据自动驾驶车辆运行的真实环境，通过数字孪生技术建立真实环境对应的环境地图”具体为：
14.通过传感器采集真实运行环境的环境信息，所述传感器包括但不限于双目相机和
激光雷达，使用colmap联合稠密重建，再导入ue4中，对缺失部分进行修补，对细节部分进行优化，包括但不限于文字、交通标志、路面坑洞和裂痕，得到环境地图。
15.进一步地，所述“基于所述测试需求在自动驾驶模拟器中进行配置”还包括配置特殊传感器，所述特殊传感器包括但不限于语义分割相机、目标检测相机、光流相机，所述特殊传感器依托于自动驾驶模拟器中的参数和数据，包括但不限于自动驾驶车辆对应的物理模型及运动模式、真实环境对应的环境地图、车载传感器、行人和其他车辆的物理模型及行为模式，所述特殊传感器用于执行包括但不限于语义分割、目标检测、光流的感知任务，得到的信息存储至自动驾驶数据集。
16.进一步地，所述车载传感器包括但不限于相机、激光雷达、毫米波雷达、imu、轮式里程计，配置车载传感器的参数具体为：设置各个车载传感器的安装位置，设置各个车载传感器的规格，设置各个车载传感器的工作参数。
17.进一步地，设置环境参数具体为：
18.获取测试需求，解析出测试需求对应的环境要求，基于环境要求更改自动驾驶模拟器中的环境参数，所述环境参数包括但不限于云量、降雨量、积水程度、风强、太阳方位角、太阳高度角、灰雾密度、灰雾高度、可视距离、湿度、散射强度、米氏散射比例、瑞利散射比例、沙尘暴强度。
19.进一步地，所述“按照测试需求获取运行模式”分为固定运行模式和实时操控模式，固定运行模式如下：
20.获取预设置的行驶路线和行驶数据，自动驾驶车辆对应的物理模型根据预设置的行驶数据按照行驶路线行驶；
21.实时操控模式如下：
22.使用外部设备获取输入信号，自动驾驶车辆对应的物理模型根据输入信号行驶，所述外部设备包括但不限于键盘、手柄、方向盘、体感设备，所述输入信息为车辆的驾驶输入信号。
23.进一步地，所述“在运行过程中由车载传感器采集信息并进行时间同步”中使用数据采集程序进行信息采集，涉及三个层面的时间同步，一是carla自动驾驶模拟器server端和数据集采集程序的client端的时间同步，二是carla自动驾驶模拟器中各个actor之间的同步，三是各个车载传感器之间的时间同步，所述三个层面的时间同步由线程安全的缓冲队列实现。
24.根据本发明的第二方面，提供一种自动驾驶数据集制作系统，基于如第一方面所述的自动驾驶数据集制作方法，包括：
25.输入模块，用于输入测试需求、自动驾驶车辆的型号和自动驾驶车辆运行的真实环境；
26.建模模块，用于通过数字孪生技术建立自动驾驶车辆对应的物理模型、通过数字孪生技术建立真实环境对应的环境地图、通过数字孪生技术建立行人和其他车辆的物理模型；
27.配置模块，基于所述测试需求在自动驾驶模拟器中进行配置，包括配置车载传感器的参数，设置环境参数，导入行人和其他车辆的物理模型，并设置其行为模式；
28.模拟模块，用于在自动驾驶模拟器中使自动驾驶车辆对应的物理模型按照运行模
式运行，在运行过程中由车载传感器采集信息并进行时间同步；
29.数据集模块，用于对采集的信息进行预处理并将其存储至自动驾驶数据集。
30.与现有技术相比，本发明具有以下有益效果：
31.(1)本发明提出了一种高效易用的自动驾驶数据集制作方法，通过构建自动驾驶车辆和环境的数字孪生，在虚拟世界中进行仿真，有效解决了真实的自动驾驶数据集采集和标注困难的问题。
32.(2)本发明以虚拟仿真为基础，利用其环境参数可以方便调控的优势，设计了用户友好型的情景模拟器，可以实现对自动驾驶任务需求量身定制仿真情境。
33.(3)本发明充分发挥虚拟仿真的优势，可以快速、大量地制作多传感器、多场景的自动驾驶综合数据集，满足自动驾驶数据集的多场景、多任务需求。
附图说明
34.图1是本发明方法的流程图；
35.图2是本发明方法采集得到的自动驾驶图像数据集样例；
36.图3是本发明方法采集的数据集的环境多样性样例。
具体实施方式
37.下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
38.实施例1：
39.随着虚拟仿真技术与人工智能、5g通讯、云计算、高精度地图等技术的结合，自动驾驶领域蓬勃发展，并不断进入到虚实结合的数字孪生领域，根据真实数据构建虚拟场景，进行城市交通流仿真，实现对交通场景的预测。据此，本发明提供了一种自动驾驶数据集制作方法，如图1所示，包括以下步骤：
40.s1、根据自动驾驶车辆的型号，通过数字孪生技术建立自动驾驶车辆对应的物理模型并导入自动驾驶模拟器；
41.可以理解的是，数据集是针对车辆的自动驾驶进行制作的，因此这里的自动驾驶车辆是指所需要针对的车辆，并未限定该车辆在后续步骤中的行驶方式为自动驾驶，事实上，为了采集多种场景、情况下的数据，该车辆的行驶方式是由工作人员根据需要设置的。
42.本实施例中，通过数字孪生技术在ue4中建立自动驾驶车辆对应的物理模型，即为数字孪生中的数字化虚拟，对其进行力学、运动学和动力学等验证后导入carla自动驾驶模拟器。
43.ue4中建立的自动驾驶车辆的物理模型的坐标系与carla自动驾驶模拟器中的坐标系定义保持一致，遵循ue4中x轴正向朝前的左手坐标系的定义方式，坐标转换方法为：借助scipy的transform库计算旋转矩阵的乘积后转化为carla自动驾驶模拟器中(position，rotation)的格式。
44.s2、根据自动驾驶车辆运行的真实环境，通过数字孪生技术建立真实环境对应的环境地图并导入自动驾驶模拟器；
45.本实施例中，通过传感器采集真实运行环境的环境信息，如实际的城市道路、建筑物等数据，传感器包括但不限于双目相机和激光雷达，使用colmap联合稠密重建为.pcd格式的点云，再导入ue4中进行修补和优化，对缺失部分进行修补，对细节部分进行优化，包括但不限于文字、交通标志、路面坑洞和裂痕等，得到包含文字、交通标志、路面坑洞和裂痕等真实的细节信息的3d环境地图模型。
46.s3、通过数字孪生技术建立行人和其他车辆的物理模型；
47.s4、获取测试需求，基于测试需求在自动驾驶模拟器中进行配置，包括配置车载传感器的参数，设置环境参数，导入行人和其他车辆的物理模型，并设置其行为模式；
48.车载传感器包括但不限于相机、激光雷达、毫米波雷达、imu、轮式里程计等，在carla模拟器中设置相机、雷达等传感器的内参和外参，配置车载传感器的参数具体为：设置各个车载传感器的安装位置，设置各个车载传感器的规格，设置各个车载传感器的工作参数，包括相机(单目/双目/深度/事件相机)的分辨率、fov、帧率、光心、横向/纵向畸变等，激光雷达的线数、量程、旋转频率、上/下fov等，imu的加速度计偏差和陀螺仪偏差等，毫米波雷达的量程、频率、水平/垂直fov等。
49.除相机、雷达等传统传感器外，为了满足特定感知任务的真值需求，还配置了特殊传感器，特殊传感器包括但不限于语义分割相机、目标检测相机、光流相机等，特殊传感器依托于自动驾驶模拟器中的参数和数据，包括但不限于自动驾驶车辆对应的物理模型及运动模式、真实环境对应的环境地图、车载传感器、行人和其他车辆的物理模型及行为模式，特殊传感器用于执行包括但不限于语义分割、目标检测、光流等的感知任务，得到的信息存储至自动驾驶数据集。这类特殊传感器在现实中并不存在，其数据是基于传统传感器和自动驾驶模拟器数据联合预处理得到的，通常参数设置与传统传感器一致并对齐位姿。由于自动驾驶模拟器中的车辆/人物/地图数据已知，相比现实数据集易于得到可靠的语义分割和目标检测等感知任务的真值。事实上，特殊传感器的数据由语义分割/立体匹配/目标检测等算法结合ue4和carla中的城市地图和其他车辆/行人的模型得到。
50.本实施例中，设置双目相机的基线为0.3m、分辨率为1920*1080、fov为90、帧率为25hz、iso为100，gamma为2.2，镜头畸变参数默认，激光雷达的线数为128、量程默认、旋转频率10、上/下fov分别为10和-30，深度相机、语义分割相机光流相机的基本参数与双目的左相机保持一致并与左相机对齐。
51.为了解决现有数据集难以反应真实世界的环境多变性的问题，本技术获取测试需求，解析出测试需求对应的环境要求，如天气、光照、湿度等，基于环境要求更改自动驾驶模拟器中的环境参数，环境参数包括但不限于云量、降雨量、积水程度、风强、太阳方位角、太阳高度角、灰雾密度、灰雾高度、可视距离、湿度、散射强度、米氏散射比例、瑞利散射比例、沙尘暴强度等。
52.以晴天为例，本实施例中设置cloudiness＝0.2，percipitation＝0.2，sun_altitude_angle＝80.0,其它参数保持默认。
53.行人和其他车辆的数量、物理模型和行为模式可自由调整；为了保证数据集的情景多样性，通过设置其他车辆和行人的数量以及行为模式等参数来构建特定情景，如：突然横穿马路的行人，路口侧向来车、闯红灯的车辆等，可以理解的是，在建模时，行人以及其他车辆的数量可以根据需要设置，行人的年龄、身高、体重等可以分别设置，其他车辆的型号、
位置等可以分别设置，在确定行为模式时，行为模式可以包括按照交通规则巡航、闯红灯、超速、故意碰撞、人为操控等，其中人为操控可以模拟一些复杂的事故情景以测试自动驾驶算法的泛化能力，具体的，可以设置行人以及其他车辆的行进路线和行进速度、停留等待等。本实施例中设置其他车辆数量为200，行人数量为50，车辆和行人按照规定路线巡航，设置物理仿真范围为自动驾驶车辆周围30m以节省计算资源。
54.按照上述步骤进行设置后，如图3所示，图3给出了在carla中设置不同环境参数、行人和其他车辆的数量以及行为模式的样例。
55.s5、按照测试需求获取运行模式，在自动驾驶模拟器中使自动驾驶车辆对应的物理模型按照运行模式运行，在运行过程中由车载传感器采集信息并进行时间同步和预处理，得到的信息存储至自动驾驶数据集。
[0056]“按照测试需求获取运行模式”分为固定运行模式和实时操控模式，固定运行模式如下：
[0057]
获取预设置的行驶路线和行驶数据，自动驾驶车辆对应的物理模型根据预设置的行驶数据按照行驶路线行驶；
[0058]
实时操控模式如下：
[0059]
使用外部设备获取输入信号，自动驾驶车辆对应的物理模型根据输入信号行驶，外部设备包括但不限于键盘、手柄、方向盘、体感设备，输入信息为车辆的驾驶输入信号，如本实施例中使用手柄线性控制数据采集车的油门、方向和刹车等，在城市内遵守交通规则驾驶，实现行为的拟真，采集数据。
[0060]“在运行过程中由车载传感器采集信息并进行时间同步”中使用数据采集程序进行信息采集，涉及三个层面的时间同步，一是carla自动驾驶模拟器server与client端的时间同步，二是carla自动驾驶模拟器中各个actor(车辆、行人、天气、交通信号等)之间的同步，三是各个车载传感器之间的时间同步，三个层面的时间同步由线程安全的缓冲队列实现。
[0061]
为了满足特定训练任务的使用需求，对采集到的原始数据进行维度变换、滤波、编码、格式转换等预处理，并按照需求的数据格式存储。本实施例中对rgb和深度图做通道变换和滤波后存储为.png格式，雷达点云存储为.pcd格式，位姿和时间戳存储为kitti的标准格式，光流存储为tiff格式。
[0062]
按照上述自动驾驶数据集制作方法获取的图像数据集样例如图2所示，图2中给出了不同格式下的图像示例。
[0063]
本发明还提供一种自动驾驶数据集制作系统，包括：
[0064]
输入模块，用于输入测试需求、自动驾驶车辆的型号和自动驾驶车辆运行的真实环境；
[0065]
建模模块，用于通过数字孪生技术建立自动驾驶车辆对应的物理模型、通过数字孪生技术建立真实环境对应的环境地图、通过数字孪生技术建立行人和其他车辆的物理模型；
[0066]
配置模块，基于测试需求在自动驾驶模拟器中进行配置，包括配置车载传感器的参数，设置环境参数，导入行人和其他车辆的物理模型，并设置其行为模式；
[0067]
模拟模块，用于在自动驾驶模拟器中使自动驾驶车辆对应的物理模型按照运行模
式运行，在运行过程中由车载传感器采集信息并进行时间同步；
[0068]
数据集模块，用于对采集的信息进行预处理并将其存储至自动驾驶数据集。
[0069]
本发明提出了一种面向数字孪生的自动驾驶数据集的制作方法和系统，以满足自动驾驶领域对于数据集的大体量、易获取、多场景、多任务需求。该数据集制作方法可便利地得到具有全面传感器和主流感知任务真值的综合数据集，它还可以记录环境中的光照、云量、雨雾强度、车辆和行人的密度等随时间的离散和连续变化，帮助自动驾驶系统提升特定任务的感知能力和复杂多变环境下的泛化能力。
[0070]
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
技术特征：1.一种自动驾驶数据集制作方法，其特征在于，包括以下步骤：根据自动驾驶车辆的型号，通过数字孪生技术建立自动驾驶车辆对应的物理模型并导入自动驾驶模拟器；根据自动驾驶车辆运行的真实环境，通过数字孪生技术建立真实环境对应的环境地图并导入自动驾驶模拟器；通过数字孪生技术建立行人和其他车辆的物理模型；获取测试需求，基于所述测试需求在自动驾驶模拟器中进行配置，包括配置车载传感器的参数，设置环境参数，导入行人和其他车辆的物理模型，并设置其行为模式；按照测试需求获取运行模式，在自动驾驶模拟器中使自动驾驶车辆对应的物理模型按照运行模式运行，在运行过程中由车载传感器采集信息并进行时间同步和预处理，得到的信息存储至自动驾驶数据集。2.根据权利要求1所述的一种自动驾驶数据集制作方法，其特征在于，通过数字孪生技术在ue4中建立自动驾驶车辆对应的物理模型和环境地图，对其进行验证后导入carla自动驾驶模拟器。3.根据权利要求2所述的一种自动驾驶数据集制作方法，其特征在于，ue4中建立的自动驾驶车辆的物理模型的坐标系与carla自动驾驶模拟器中的坐标系定义保持一致，遵循ue4中x轴正向朝前的左手坐标系的定义方式，坐标转换方法为：借助scipy的transform库计算旋转矩阵的乘积后转化为carla自动驾驶模拟器中(position，rotation)的格式。4.根据权利要求2所述的一种自动驾驶数据集制作方法，其特征在于，所述“根据自动驾驶车辆运行的真实环境，通过数字孪生技术建立真实环境对应的环境地图”具体为：通过传感器采集真实运行环境的环境信息，所述传感器包括但不限于双目相机和激光雷达，使用colmap联合稠密重建，再导入ue4中，对缺失部分进行修补，对细节部分进行优化，包括但不限于文字、交通标志、路面坑洞和裂痕，得到环境地图。5.根据权利要求1所述的一种自动驾驶数据集制作方法，其特征在于，所述“基于所述测试需求在自动驾驶模拟器中进行配置”还包括配置特殊传感器，所述特殊传感器包括但不限于语义分割相机、目标检测相机、光流相机，所述特殊传感器依托于自动驾驶模拟器中的参数和数据，包括但不限于自动驾驶车辆对应的物理模型及运动模式、真实环境对应的环境地图、车载传感器、行人和其他车辆的物理模型及行为模式，所述特殊传感器用于执行包括但不限于语义分割、目标检测、光流的感知任务，得到的信息存储至自动驾驶数据集。6.根据权利要求1所述的一种自动驾驶数据集制作方法，其特征在于，所述车载传感器包括但不限于相机、激光雷达、毫米波雷达、imu、轮式里程计，配置车载传感器的参数具体为：设置各个车载传感器的安装位置，设置各个车载传感器的规格，设置各个车载传感器的工作参数。7.根据权利要求1所述的一种自动驾驶数据集制作方法，其特征在于，设置环境参数具体为：获取测试需求，解析出测试需求对应的环境要求，基于环境要求更改自动驾驶模拟器中的环境参数，所述环境参数包括但不限于云量、降雨量、积水程度、风强、太阳方位角、太阳高度角、灰雾密度、灰雾高度、可视距离、湿度、散射强度、米氏散射比例、瑞利散射比例、沙尘暴强度。
8.根据权利要求1所述的一种自动驾驶数据集制作方法，其特征在于，所述“按照测试需求获取运行模式”分为固定运行模式和实时操控模式，固定运行模式如下：获取预设置的行驶路线和行驶数据，自动驾驶车辆对应的物理模型根据预设置的行驶数据按照行驶路线行驶；实时操控模式如下：使用外部设备获取输入信号，自动驾驶车辆对应的物理模型根据输入信号行驶，所述外部设备包括但不限于键盘、手柄、方向盘、体感设备，所述输入信息为车辆的驾驶输入信号。9.根据权利要求2所述的一种自动驾驶数据集制作方法，其特征在于，所述“在运行过程中由车载传感器采集信息并进行时间同步”中使用数据采集程序进行信息采集，涉及三个层面的时间同步，一是carla自动驾驶模拟器server端和数据集采集程序的client端的时间同步，二是carla自动驾驶模拟器中各个actor之间的同步，三是各个车载传感器之间的时间同步，所述三个层面的时间同步由线程安全的缓冲队列实现。10.一种自动驾驶数据集制作系统，其特征在于，基于如权利要求1-9中任一所述的自动驾驶数据集制作方法，包括：输入模块，用于输入测试需求、自动驾驶车辆的型号和自动驾驶车辆运行的真实环境；建模模块，用于通过数字孪生技术建立自动驾驶车辆对应的物理模型、通过数字孪生技术建立真实环境对应的环境地图、通过数字孪生技术建立行人和其他车辆的物理模型；配置模块，基于所述测试需求在自动驾驶模拟器中进行配置，包括配置车载传感器的参数，设置环境参数，导入行人和其他车辆的物理模型，并设置其行为模式；模拟模块，用于在自动驾驶模拟器中使自动驾驶车辆对应的物理模型按照运行模式运行，在运行过程中由车载传感器采集信息并进行时间同步；数据集模块，用于对采集的信息进行预处理并将其存储至自动驾驶数据集。
技术总结本发明涉及一种自动驾驶数据集制作方法及系统，方法包括：根据自动驾驶车辆的型号和运行的真实环境，通过数字孪生技术建立自动驾驶车辆对应的物理模型及真实环境对应的环境地图并导入自动驾驶模拟器；基于测试需求在自动驾驶模拟器中进行配置，包括配置车载传感器的参数，设置环境参数，导入行人和其他车辆的物理模型，并设置其行为模式；按照测试需求获取运行模式，在自动驾驶模拟器中使自动驾驶车辆对应的物理模型按照运行模式运行，在运行过程中由车载传感器采集信息并进行时间同步和预处理，得到的信息存储至自动驾驶数据集。与现有技术相比，本发明在虚拟世界中进行仿真，有效解决了真实的自动驾驶数据集采集和标注困难的问题。困难的问题。困难的问题。
技术研发人员：陈启军 杜家源 刘成菊
受保护的技术使用者：同济大学
技术研发日：2022.07.21
技术公布日：2022/11/1
