本申请涉及自动驾驶，尤其涉及一种基于数据增强的虚拟障碍物检测方法、装置及存储介质。
背景技术：
1、感知作为自动驾驶系统中至关重要的模块，通过传感器数据对周边环境进行建模，识别障碍物的位置、大小、朝向和速度，以及车道线的位置、类型和长度等信息。感知模块中，大多数算法依赖于由ai主导的神经网络实现，对于神经网络而言，数据、算法和算力是其核心要素。
2、在感知模块的研发中，数据质量直接决定了其性能表现。然而，在工业界的生产环境中，数据标注通常需要耗费数百万至数十亿的经费，即便如此，仍难以覆盖感知中的长尾问题。解决最后1%的长尾问题可能需要与解决前99%的问题相同的成本，因此，如何降低感知长尾问题的费用是一个亟待解决的难题。
3、lidar（激光雷达）作为感知系统中最核心的传感器之一，具有优秀的测距能力和成熟的障碍物检测算法。然而，现实场景中的噪点会导致lidar检测模型识别出虚拟的、不存在的障碍物，从而导致自动驾驶车辆急刹，引发严重交通事故。工业界曾尝试引入图像语义信息来解决虚拟障碍物问题，但由于这些方法对传感器之间的时间同步要求较高，效果一般。
4、目前，bev（鸟瞰视角）多模态融合方案被认为能够彻底解决虚拟障碍物问题，但在实际场景中，通常缺乏足够的包含lidar噪点的训练样本，使得基于bev前中融合架构的虚拟障碍物检测模型的检测精度低，检测结果准确性差，在处理虚拟障碍物问题时的模型检测性能降低。
技术实现思路
1、有鉴于此，本申请实施例提供了一种基于数据增强的虚拟障碍物检测方法、装置及存储介质，以解决现有技术存在的虚拟障碍物检测模型缺乏噪点训练样本，导致模型检测精度低，检测结果准确性差，模型检测性能降低的问题。
2、本申请实施例的第一方面，提供了一种基于数据增强的虚拟障碍物检测方法，包括：获取车辆周围多个视角的环视图像数据，并利用激光雷达对车辆周围进行扫描得到点云数据；将环视图像数据及点云数据输入到训练后的多模态融合感知模型中，其中，多模态融合感知模型为采用预定的数据增强方法对点云数据进行增强后，利用包含虚拟障碍物噪点的增强点云数据进行训练得到的虚拟障碍物检测模型；在多模态融合感知模型中，利用特征提取模块对环视图像数据及点云数据进行特征提取；将提取到的特征转换到统一的鸟瞰视角空间中，并对鸟瞰视角空间中的特征进行时序融合，得到时序相关的多模态特征；将多模态特征输入到与预设任务相关的解码器中，利用解码器对点云数据中的虚拟障碍物进行识别和过滤，并输出检测结果。
3、本申请实施例的第二方面，提供了一种基于数据增强的虚拟障碍物检测装置，包括：获取模块，被配置为获取车辆周围多个视角的环视图像数据，并利用激光雷达对车辆周围进行扫描得到点云数据；输入模块，被配置为将环视图像数据及点云数据输入到训练后的多模态融合感知模型中，其中，多模态融合感知模型为采用预定的数据增强方法对点云数据进行增强后，利用包含虚拟障碍物噪点的增强点云数据进行训练得到的虚拟障碍物检测模型；提取模块，被配置为在多模态融合感知模型中，利用特征提取模块对环视图像数据及点云数据进行特征提取；融合模块，被配置为将提取到的特征转换到统一的鸟瞰视角空间中，并对鸟瞰视角空间中的特征进行时序融合，得到时序相关的多模态特征；检测模块，被配置为将多模态特征输入到与预设任务相关的解码器中，利用解码器对点云数据中的虚拟障碍物进行识别和过滤，并输出检测结果。
4、本申请实施例的第三方面，提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法的步骤。
5、本申请实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
6、本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：
7、通过获取车辆周围多个视角的环视图像数据，并利用激光雷达对车辆周围进行扫描得到点云数据；将环视图像数据及点云数据输入到训练后的多模态融合感知模型中，其中，多模态融合感知模型为采用预定的数据增强方法对点云数据进行增强后，利用包含虚拟障碍物噪点的增强点云数据进行训练得到的虚拟障碍物检测模型；在多模态融合感知模型中，利用特征提取模块对环视图像数据及点云数据进行特征提取；将提取到的特征转换到统一的鸟瞰视角空间中，并对鸟瞰视角空间中的特征进行时序融合，得到时序相关的多模态特征；将多模态特征输入到与预设任务相关的解码器中，利用解码器对点云数据中的虚拟障碍物进行识别和过滤，并输出检测结果。本申请能够提升模型检测精度，提高检测结果的准确性及模型检测性能。
1.一种基于数据增强的虚拟障碍物检测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述多模态融合感知模型的训练过程包括：
3.根据权利要求2所述的方法，其特征在于，所述对所述多模态融合感知模型进行训练，包括：
4.根据权利要求2所述的方法，其特征在于，所述利用预定的数据增强方法，对训练数据集中的点云数据进行增强，生成包含虚拟障碍物噪点的增强点云数据，包括：
5.根据权利要求4所述的方法，其特征在于，所述将所述虚拟障碍物根据所述3d位置进行偏移，生成包含虚拟障碍物噪点的增强点云数据，包括：
6.根据权利要求1所述的方法，其特征在于，所述将提取到的特征转换到统一的鸟瞰视角空间中，并对所述鸟瞰视角空间中的特征进行时序融合，得到时序相关的多模态特征，包括：
7.根据权利要求1所述的方法，其特征在于，所述将所述多模态特征输入到与预设任务相关的解码器中，利用所述解码器对所述点云数据中的虚拟障碍物进行识别和过滤，并输出检测结果，包括：
8.一种基于数据增强的虚拟障碍物检测装置，其特征在于，包括：
9.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
