本发明涉及障碍物检测,尤其涉及一种障碍物检测模型的训练方法、障碍物检测方法及存储介质、电子设备、车辆。
背景技术:
1、相关障碍监测模型、障碍物识别算法可以解决大部分常见场景下的障碍物检测和识别问题,但是应用到高级驾驶辅助系统(advanced driving assistance system,adas)时,仍然满足不了用户对行车安全的需求。
技术实现思路
1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此,本发明的一个目的在于提出一种障碍物检测模型的训练方法,提升训练得到的目标障碍物检测模型的泛化能力,实现目标障碍物检测模型对行车图像中特定障碍物的有效识别。
2、本发明的第二个目的在于提出一种障碍物检测方法。
3、本发明的第三个目的在于提出一种计算机可读存储介质。
4、本发明的第四个目的在于提出一种电子设备
5、本发明的第五个目的在于提出一种车辆。
6、为达到上述目的,本发明第一方面实施例提出一种障碍物检测模型的训练方法,所述训练方法包括:获取行车图像数据集,其中,行车图像数据集包括普通行车图像和不同行车条件下的特定障碍物图像;对所述行车图像数据集中的普通行车图像和特定障碍物图像进行扩充处理,得到训练图像数据集;构建障碍物检测模型,并利用所述训练图像数据集中的训练图像对所述障碍物检测模型进行训练,得到目标障碍物检测模型。
7、根据本发明实施例的障碍物检测模型的训练方法,对行车图像数据集中普通行车图像和特定障碍物图像进行扩充处理,来丰富训练图像数据集,使障碍物检测模型更为有效地进行训练,提升训练得到的障碍物检测模型的泛化能力,实现目标障碍物检测模型对行车图像中特定障碍物的有效识别。
8、另外,根据本发明上述实施例提出的障碍物检测模型的训练方法还可以具有如下附加的技术特征:
9、根据本发明的一个实施例,所述特定障碍物图像数据集中包括单目摄像头对不同特定障碍物进行采集的特定障碍物图像。
10、根据本发明的一个实施例,对所述行车图像数据集中的普通行车图像和特定障碍物图像进行扩充处理,包括:提取所述普通行车图像中的感兴趣区域,得到第一图像,其中,所述感兴趣区域包括车辆可行驶区域;提取所述特定障碍物图像中的障碍物,得到第二图像;对所述第二图像进行缩放处理,并将缩放处理后的第二图像与所述第一图像进行合成,得到第三图像;利用所述普通行车图像对相应的第三图像进行风格迁移,将风格迁移后的第三图像加入所述行车图像数据集。
11、根据本发明的一个实施例,对所述行车图像数据集中的普通行车图像和特定障碍物图像进行扩充处理,包括:将新的行车图像数据集中的图像输入至预先训练好的生成模型,得到生成后的新图像,其中,所述预先训练好的生成模型包括训练好的wassersteingan模型和训练好的变分自编码器vae模型;基于预设图像标准对所述生成后的新图像进行清洗,将符合所述预设图像标准的图像加入所述新的行车图像数据集。
12、根据本发明的一个实施例,对所述行车图像数据集中的普通行车图像和特定障碍物图像进行扩充处理,包括:对新的行车图像数据集中的图像进行增强处理,增强处理方式包括颜色抖动、添加高斯噪声、左右翻转、sobel算子滤波、mixup、图像拼接中的至少一者。
13、根据本发明的一个实施例,图像拼接方式包括如下至少一者:将第一目标图像的复制图像与所述第一目标图像进行拼接,所述第一目标图像从所述行车图像数据集中确定;将所述第一目标图像的复制图像旋转后,与所述第一目标图像进行拼接;将第二目标图像与所述第一目标图像进行拼接,所述第二目标图像为从所述行车图像数据集中选择的与所述第一目标图像同一类别不同分辨率的图像;将所述第一目标图像进行旋转后,与所述第二目标图像进行拼接。
14、根据本发明的一个实施例,所述障碍物检测模型的骨干网络采用第一repvgg模型,所述障碍物检测模型在所述repvgg模型的全局平均池化层之前,依次设置有通道注意力机制、空间注意力机制和fcanet注意力机制,利用所述训练图像数据集中的训练图像对所述障碍物检测模型进行训练,得到目标障碍物检测模型,包括:利用所述训练图像数据集中的训练图像对所述第一repvgg模型进行无监督训练,得到训练好的第一repvgg模型;将所述训练好的第一repvgg模型替换yolov5模型的骨干网络;对所述训练图像数据集中的训练图像进行标注,并利用标注后的训练图像对替换后的yolov5模型进行有监督训练,得到训练好的yolov5模型,记为教师网络;构建学生网络,并利用所述教师网络对所述学生网络进行知识蒸馏,得到所述目标障碍物检测模型,所述学生网络采用第二repvgg模型。
15、为达到上述目的,本发明第二方面实施例提出了一种障碍物检测方法,所述方法包括:获取待检测图像;将所述待检测图像输入至目标障碍物检测模型,得到所述待检测图像的障碍物检测结果,其中,所述目标障碍物检测模型利用如本发明第一方面实施例提出的障碍物检测模型的训练方法得到。
16、为达到上述目的,本发明第三方面实施例提出了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现如本发明第一方面实施例提出的障碍物检测模型的训练方法,或,实现如本发明第二方面实施例提出的障碍物检测方法。
17、为达到上述目的,本发明第四方面实施例提出了一种电子设备,包括存储器、处理器,所述存储器上存储有计算机程序,所述计算机程序被所述处理器执行时,实现如本发明第二方面实施例提出的障碍物检测方法。
18、为达到上述目的,本发明第五方面实施例提出了一种车辆,包括单目摄像头和如本发明第四方面实施例提出的电子设备。
19、本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
1.一种障碍物检测模型的训练方法,其特征在于,所述训练方法包括:
2.根据权利要求1所述的障碍物检测模型的训练方法,其特征在于,所述特定障碍物图像数据集中包括单目摄像头对不同特定障碍物进行采集的特定障碍物图像。
3.根据权利要求1所述的障碍物检测模型的训练方法,其特征在于,对所述行车图像数据集中的普通行车图像和特定障碍物图像进行扩充处理,包括:
4.根据权利要求3所述的障碍物检测模型的训练方法,其特征在于,对所述行车图像数据集中的普通行车图像和特定障碍物图像进行扩充处理,包括:
5.根据权利要求3或4所述的障碍物检测模型的训练方法,其特征在于,对所述行车图像数据集中的普通行车图像和特定障碍物图像进行扩充处理,包括:
6.根据权利要求5所述的障碍物检测模型的训练方法,其特征在于,图像拼接方式包括如下至少一者:
7.根据权利要求1所述的障碍物检测模型的训练方法,其特征在于,所述障碍物检测模型的骨干网络采用第一repvgg模型,所述障碍物检测模型在所述repvgg模型的全局平均池化层之前,依次设置有通道注意力机制、空间注意力机制和fcanet注意力机制,利用所述训练图像数据集中的训练图像对所述障碍物检测模型进行训练,得到目标障碍物检测模型,包括:
8.一种障碍物检测方法,其特征在于,所述方法包括:
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现如权利要求1-7中任一项所述的障碍物检测模型的训练方法,或,实现如权利要求8所述的障碍物检测方法。
10.一种电子设备,包括存储器、处理器,所述存储器上存储有计算机程序,其特征在于,所述计算机程序被所述处理器执行时,实现如权利要求8所述的障碍物检测方法。
11.一种车辆,其特征在于,包括单目摄像头和如权利要求10所述的电子设备。
