1.本发明属于智能交通技术领域，具体涉及一种基于桥连特征融合的道路病害检测方法及系统。
背景技术：2.道路病害检测是指检测路面的损伤情况，如裂纹、细缝、沟壑、坑洞等。如果不能进行快速准确的道路病害检测，就可能引发道路病害恶化、交通事故和人员伤亡等情况。可见，对道路进行及时准确的病害检测意义重大，这有利于维护道路安全、预防轻度病害恶化、降低维护成本、避免车祸事故发生和减少司乘人员伤亡。
3.传统人眼检测技术主观因素多，无法保证长时间的专注度，导致检测效率和精度都较低。随着机器学习的发展，采用目标检测算法的自动检测技术开始逐步应用到道路病害检测领域中。该技术可以直接利用计算机对采集的图像进行自动检测，判定道路病害的位置和类型，减少了人眼检测的主观因素影响，提升了检测精度。随着目标检测技术的发展，人脸识别、工业检测等场景下的检测精度已达到较高标准，然而在道路病害检测应用中仍面临着小面积病害易漏检和大面积病害定位范围不准确等问题。基于此，本发明提出了一种基于桥连特征融合的道路病害检测方法及系统。
技术实现要素：4.道路病害检测应用中仍面临着小面积病害易漏检和大面积病害定位范围不准确等问题。本发明的目的在于提供一种基于桥连特征融合的道路病害检测方法及系统，使得道路巡检车在巡查过程中可以自动检测道路病害类型、数量及具体位置，实现道路病害检测的自动化和可视化，减轻巡检人员的工作负担，提升巡检效率和巡检质量。
5.本发明的目的是通过以下技术方案实现的：
6.基于桥连特征融合的道路病害检测方法，其特征在于，包括以下步骤：
7.s10、获取道路病害数据集：获取公开道路病害图像，调整图像标注文件格式，整合道路病害数据集；
8.s20、图像训练集预处理：采用马赛克增强技术丰富图像训练集数据，对图像进行随机水平翻转、随机色彩空间变换；
9.s30、构建桥连特征融合网络：采用cspdarknet-53网络为骨干网络提取图像特征，以桥连方式将第一金字塔特征拼接到第三金字塔特征中进行特征融合；
10.s40、训练桥连特征融合网络：设置网络训练参数，借助自适应聚类算法统计训练集中的锚框尺寸，以yolov5s权重模型为预训练权重对桥连特征融合网络进行更新训练，得到结果权重模型；
11.s50、测试结果权重模型：图像测试集预处理，利用结果权重模型提取图像特征，采用回归操作得到测试结果，将测试结果与真值对比得到结果权重模型的评价指标；
12.s60、道路病害图像检测：利用结果权重模型提取待检测图像特征，采用回归操作
生成病害类型、置信度与目标框位置。
13.进一步的，所述s10具体包括：
14.s11、获取rdd2020公开道路病害数据集中的图像；
15.s12、调整图像标注文件格式，将原数据集中的voc类型格式调整为yolo格式；
16.s13、整合道路病害数据集，包括训练集和测试集，并将道路病害的类型划分为四种类型，分别为纵向裂缝、横向裂缝、鳄鱼裂缝和坑洞。
17.进一步的，所述s20具体包括：
18.s21、采用马赛克增强技术对四张图片经过随机缩放、随机十字裁剪和随机拼接操作组合在一起，丰富数据集中目标局部特征；
19.s22、对图像进行随机水平翻转、随机色彩空间变换，扩充图像数据。
20.进一步的，所述s30具体包括：
21.s31、采用cspdarknet-53网络作为骨干网络提取图像特征；
22.s32、以桥连方式跨过第二金字塔，直接将第一金字塔特征拼接到第三金字塔特征中进行特征融合，构建桥连特征融合网络。
23.进一步的，所述s40具体包括：
24.s41、设置网络中初始锚框、深度因子、学习率和处理批次等训练参数；
25.s42、利用k-means聚类算法得到每个检测层聚类后的锚框尺度大小，用以体现该检测层中病害目标常见的锚框比例；
26.s43、以yolov5s权重模型为预训练权重对桥连特征融合网络进行更新训练，采用ciouloss损失函数调节模型权重，输出结果权重模型。
27.进一步的，所述s50具体包括：
28.s51、使用rdd2020test1数据集作为道路病害图像测试集，统一将测试集输入图像缩放到640
×
640大小；
29.s52、利用s43中输出的结果权重模型提取图像特征，输出三个尺度的特征并送入检测层；
30.s53、对每一检测层进行网络编码，通过回归操作生成病害类型与目标框位置；
31.s54、汇总测试集中所有图像的测试结果，生成测试结果表格文件，将测试结果表格文件上传至道路病害竞赛官网，反馈得到结果权重模型的综合性能得分f1-score评价指标。
32.进一步的，所述s60具体包括：
33.s61、将待检测图像输入结果权重模型中，提取出待检测图像的三个尺度特征并送入检测层；
34.s62、对每一检测层进行网络编码，通过回归操作生成病害类型、置信度与目标框位置，并将结果显示在待检测图像上。
35.基于桥连特征融合的道路病害检测系统，其特征在于，包括以下模块：
36.m10、图像处理模块：用于对采集到的待检测道路图像进行预处理，对图像进行剪裁等处理操作，将经过预处理的图像传送至所述图像特征提取模块中；
37.m20、图像特征提取模块：利用训练得到的结果权重模型从输入图像中提取出道路病害整体特征并送入图像检测模块；
38.m30、图像检测模块：对输入特征进行分类回归操作，生成分类结果、置信度与目标框位置，完成道路病害检测。
39.本发明提供的基于桥连特征融合的道路病害检测方法及系统与现有技术相比，至少具有如下有益效果：
40.本发明采用的桥连特征融合网络通过桥连方式将第一金字塔中的浅层特征层与第三金字塔中的深层特征层进行拼接融合，减轻了小目标特征在深度卷积操作中被遗漏和大目标外观特征被淡忘的问题，从而减少了小目标道路病害漏检和大目标道路病害定位范围不准确的问题，提高了模型的准确度。采用深度学习的方法对大量道路病害图像进行学习，模型能够得到更具鲁棒性的特征表达，从而增加了泛化能力，提高识别的准确度。同时本发明能够对道路病害图像自动检测病害类别并标定位置坐标，统计病害数量。
附图说明
41.本发明的前述和下文具体描述在结合以下附图阅读时变得更清楚，附图中：
42.图1为本发明基于桥连特征融合的道路病害检测方法步骤示意图；
43.图2为本发明基于桥连特征融合的道路病害检测方法整体流程图；
44.图3为本发明桥连特征融合网络操作示意图；
45.图4为本发明基于桥连特征融合的道路病害检测系统模块示意图。
具体实施方式
46.为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反的，提供实施例的目的是使对本发明的公开内容的理解更加透彻全面。
47.除非另有定义，本文所使用的所有技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
48.如图1所示，本发明提供的一种基于桥连特征融合的道路病害检测方法，主要包括获取道路病害数据集、图像数据集预处理、构建桥连特征融合网络、训练桥连特征融合网络、测试结果权重模型和道路病害图像检测六个步骤。
49.如图2所示，本发明提供的一种基于桥连特征融合的道路病害检测方法，整体流程包括以下具体步骤：
50.s10、获取道路病害数据集：获取公开道路病害图像，调整图像标注文件格式，整合道路病害数据集。
51.s11、从ieee big data cup challenge中的2020年全球道路病害检测挑战赛rdd2020数据集中获取公开的道路病害图像，图像的数据类型为jpg格式。
52.s12、调整图像标注文件，将rdd2020图像原xml文件类型的标注文件转换为txt文件类型的，将rdd2020图像原voc格式标注内容转换为yolo格式标注内容。
53.具体的，原xml标注文件内包含病害的类别名称和目标的左上顶点坐标和右下顶点坐标，即目标框的四个参数为(x
min
，y
min
，x
max
，y
max
)。而yolo标注文件内包含病害的类别名称、目标的中心点坐标及目标框的宽度和高度，即目标框的四个参数为(x
center
，y
center
，
width，height)。具体的转换公式为：
[0054][0055][0056]
width＝x
max-x
min
[0057]
height＝y
max-y
min
[0058]
s13、整合道路病害数据集，如图2所示，将数据集分为训练集和测试集，其中训练集包含21041张图像和21041个标注文件，测试集包含2631张图像，数据集中共包含31000多例道路病害标注，并将道路病害的类型划分为四种类型，分别为纵向裂缝、横向裂缝、鳄鱼裂缝和坑洞。
[0059]
s20、图像数据集预处理：采用马赛克增强技术丰富图像训练集数据，对图像进行随机水平翻转、随机色彩空间变换。
[0060]
s21、通过马赛克增强技术对四张图片经过随机缩放、随机十字裁剪和随机拼接操作组合在一起，丰富数据集中目标局部特征，且可以不增加gpu消耗，节省gpu空间。
[0061]
s22、对图像进行随机水平翻转、随机色彩空间变换，扩充图像数据。
[0062]
s30、构建桥连特征融合网络：采用cspdarknet-53网络为骨干网络提取图像特征，以桥连方式将第一金字塔特征拼接到第三金字塔特征中进行特征融合。
[0063]
s31、采用cspdarknet-53网络作为骨干网络提取图像特征；
[0064]
具体的，cspdarknet-53骨干网络的操作为：
[0065]
先对输入图像进行切片处理，拓宽图像通道维度，然后通过卷积操作提取图像的深层特征，过程中卷积操作使得特征的尺度越来越小，形成第一金字塔；然后对最后一层特征利用上采样和同尺度特征拼接操作使得特征的尺度逐级变大，形成第二金字塔；之后对最后一层特征自顶向下进行卷积和同尺度拼接操作，形成第三金字塔。
[0066]
s32、以桥连方式跨过第二金字塔，直接将第一金字塔特征拼接到第三金字塔特征中进行特征融合，构建桥连特征融合网络。
[0067]
具体的，如图3所示，桥连特征融合网络的操作为：
[0068]
跨过网络第二金字塔，直接将第一金字塔和第三金字塔中对应尺度的特征层以桥连方式拼接融合，在深层特征中融合浅层特征中的小目标外观信息，防止多层下采样操作造成小目标特征丢失和大目标外观特征被淡忘的问题。
[0069]
s40、训练桥连特征融合网络：设置网络训练参数，借助自适应聚类算法统计训练集中的锚框尺寸，以yolov5s权重模型为预训练权重对桥连特征融合网络进行更新训练，得到结果权重模型。
[0070]
s41、设置网络中初始锚框、深度因子、学习率和处理批次等训练参数。
[0071]
具体的，本实施例在每个检测层中设置了3个初始锚框，3个检测层共设置了9个初始锚框，尺度大小分别为：
[0072]
在小尺度特征检测层中的初始锚框尺度为[10,13]，[16,30]和[33,23]；
[0073]
在中尺度特征检测层中的初始锚框尺度为[30,61]，[62,45]和[59,119]；
[0074]
在大尺度特征检测层中的初始锚框尺度为[116,90]，[156,198]和[373,326]。
[0075]
具体的，本实施例中设置深度因子depth_multiple＝1.33，初始学习速率lr0＝
0.01，最终学习速率lrf＝0.1，权值衰减系数weight_decay＝0.005，批处理大小batch_size＝10。
[0076]
s42、利用k-means聚类算法得到每个检测层聚类后的锚框尺度大小，用以体现该检测层中病害目标常见的锚框比例。
[0077]
s43、利用所述桥连特征融合网络对yolov5s预训练权重进行更新训练，采用ciouloss损失函数调节模型权重，输出结果权重模型。
[0078]
具体的，桥连特征融合网络模型的训练过程如下：
[0079]
将经过马赛克增强处理的道路病害图像输入至桥连特征融合网络模型中，以yolov5s预训练权重为初始模型进行训练，加入已知道路病害类别标签，用ciouloss作为损失函数，采用随机梯度下降的方式计算反向传播梯度，根据梯度优化网络参数，使得损失函数逐渐减小，最终趋近于0。最终训练得到结果权重模型。
[0080]
具体的，损失函数计算公式如下：
[0081][0082]
其中，ρ2(b，b
gt
)表示模型预测框和真实标注框的中心点的欧式距离，c表示能够同时包含模型预测框和真实标注框的最小闭包区域的对角线距离，v是b与b
gt
长宽比的距离，计算公式为：
[0083][0084]
α是一个权重系数，计算公式为：
[0085][0086]
具体的，yolov5s预训练权重和训练出的结果权重模型均为pt文件格式。
[0087]
s50、测试结果权重模型：图像测试集预处理，利用结果权重模型提取图像特征，采用回归操作得到测试结果，将测试结果与真值对比得到结果权重模型的评价指标。
[0088]
s51、对测试集图像进行尺度统一，本实施例采用的测试集为rdd2020test1道路病害测试集，该数据集中包含来自印度、日本和捷克的共2631张图像。本实施例中统一将测试集中的图像缩放到640
×
640大小。
[0089]
具体的，缩放方式为首先分别计算原图宽度与缩放后宽度的比例和原图高度与缩放后高度的比例，然后将原图宽度和高度分别按照最小的比例进行缩放，对不满足640
×
640大小的地方用灰色像素填充。
[0090]
s52、利用s43中训练出的结果权重模型提取图像特征，输出三个尺度的检测层。本实施例中三个尺度为80
×
80、40
×
40和20
×
20。
[0091]
s53、对每一检测层进行网络编码，通过回归操作生成病害类型、置信度与目标框位置。
[0092]
具体的，病害类型分别表示为：用d00代表纵向裂缝、用d10代表横向裂缝、用d20代表鳄鱼裂缝和用d40代表坑洞。
[0093]
具体的，输出的目标框位置参数为(x
center
，y
center
，width，height)。得到最终测试结果前需要对生成的目标框进行筛选，筛选步骤为：
[0094]
首先设置置信度阈值，滤掉分数低的目标框，对保留下的目标框进行非极大值抑制处理，去除冗余目标框，最后得到最终的测试结果。
[0095]
s54、汇总测试集中所有图像的测试结果，生成测试结果表格文件。将测试结果表格文件上传至2020年全球道路病害检测挑战赛官网，官网后台通过对比上传的测试结果与测试集的真值结果的差距，反馈得到结果权重模型的综合性能得分f1-score评价指标。
[0096]
具体的，f1-score评价指标计算公式如下：
[0097][0098]
其中，tp表示正确检测出来的目标数，fp表示错误检测出的目标数量。
[0099][0100]
其中，fn表示没有被检测出来的目标数。
[0101][0102]
s60、道路病害图像检测：道路病害图像检测流程如图2所示，利用结果权重模型提取待检测图像特征，采用回归操作生成病害类型、置信度与目标框位置。
[0103]
s61、将待检测图像输入结果权重模型中，提取出待检测图像的三个尺度特征并送入检测层。
[0104]
具体的，三个特征尺度大小同s52所述。
[0105]
s62、对每一检测层进行网络编码，通过回归操作生成病害类型、置信度与目标框位置，并将结果显示在待检测图像上。
[0106]
具体的，病害类型表示方式同s53所述，目标框以水平框的形式直接叠加显示在待检测图像上。
[0107]
如图4所示，本发明提供的一种基于桥连特征融合的道路病害检测系统，包括以下模块：
[0108]
m10、图像处理模块：用于对采集到的待检测道路图像进行预处理，对图像进行剪裁等处理操作，将经过预处理的图像传送至所述图像特征提取模块中。
[0109]
m20、图像特征提取模块：利用训练得到的结果权重模型从输入图像中提取出道路病害整体特征并送入图像检测模块。
[0110]
m30、图像检测模块：对输入特征进行分类回归操作，生成分类结果、置信度与目标框位置，完成道路病害检测。
技术特征：1.一种基于桥连特征融合的道路病害检测方法，其特征在于，包括以下步骤：s10、获取道路病害数据集：获取公开道路病害图像，调整图像标注文件格式，整合道路病害数据集；s20、图像训练集预处理：采用马赛克增强技术丰富图像训练集数据，对图像进行随机水平翻转、随机色彩空间变换；s30、构建桥连特征融合网络：采用cspdarknet-53网络为骨干网络提取图像特征，以桥连方式将第一金字塔特征拼接到第三金字塔特征中进行特征融合；s40、训练桥连特征融合网络：设置网络训练参数，借助自适应聚类算法统计训练集中的锚框尺寸，以yolov5s权重模型为预训练权重对桥连特征融合网络进行更新训练，得到结果权重模型；s50、测试结果权重模型：图像测试集预处理，利用结果权重模型提取图像特征，采用回归操作得到测试结果，将测试结果与真值对比得到结果权重模型的评价指标；s60、道路病害图像检测：利用结果权重模型提取待检测图像特征，采用回归操作生成病害类型、置信度与目标框位置。2.根据权利要求1所述的一种基于桥连特征融合的道路病害检测方法，其特征在于，所述s10具体包括：s11、获取rdd2020公开道路病害数据集中的图像；s12、调整图像标注文件格式，将原数据集中的voc类型格式调整为yolo格式；s13、整合道路病害数据集，包括训练集和测试集，并将道路病害的类型划分为四种类型，分别为纵向裂缝、横向裂缝、鳄鱼裂缝和坑洞。3.根据权利要求1所述的一种基于桥连特征融合的道路病害检测方法，其特征在于，所述s20具体包括：s21、采用马赛克增强技术对四张图片经过随机缩放、随机十字裁剪和随机拼接操作组合在一起，丰富数据集中目标局部特征；s22、对图像进行随机水平翻转、随机色彩空间变换，扩充图像数据。4.根据权利要求1所述的一种基于桥连特征融合的道路病害检测方法，其特征在于，所述s30具体包括：s31、采用cspdarknet-53网络作为骨干网络提取图像特征；s32、以桥连方式跨过第二金字塔，直接将第一金字塔特征拼接到第三金字塔特征中进行特征融合，构建桥连特征融合网络。5.根据权利要求1所述的一种基于桥连特征融合的道路病害检测方法，其特征在于，所述s40具体包括：s41、设置网络中初始锚框、深度因子、学习率和处理批次等训练参数；s42、利用k-means聚类算法得到每个检测层聚类后的锚框尺度大小，用以体现该检测层中病害目标常见的锚框比例；s43、以yolov5s权重模型为预训练权重对桥连特征融合网络进行更新训练，采用ciouloss损失函数调节模型权重，输出结果权重模型。6.根据权利要求1所述的一种基于桥连特征融合的道路病害检测方法，其特征在于，所述s50具体包括：
s51、使用rdd2020test1数据集作为道路病害图像测试集，统一将测试集输入图像缩放到640
×
640大小；s52、利用s43中输出的结果权重模型提取图像特征，输出三个尺度的特征并送入检测层；s53、对每一检测层进行网络编码，通过回归操作生成病害类型与目标框位置；s54、汇总测试集中所有图像的测试结果，生成测试结果表格文件，将测试结果表格文件上传至道路病害竞赛官网，反馈得到结果权重模型的综合性能得分f1-score评价指标。7.根据权利要求1所述的一种基于桥连特征融合的道路病害检测方法，其特征在于，所述s60具体包括：s61、将待检测图像输入结果权重模型中，提取出待检测图像的三个尺度特征并送入检测层；s62、对每一检测层进行网络编码，通过回归操作生成病害类型、置信度与目标框位置，并将结果显示在待检测图像上。8.一种基于桥连特征融合的道路病害检测系统，其特征在于，包括以下模块：m10、图像处理模块：用于对采集到的待检测道路图像进行预处理，对图像进行剪裁等处理操作，将经过预处理的图像传送至所述图像特征提取模块中；m20、图像特征提取模块：利用训练得到的结果权重模型从输入图像中提取出道路病害整体特征并送入图像检测模块；m30、图像检测模块：对输入特征进行分类回归操作，生成分类结果、置信度与目标框位置，完成道路病害检测。
技术总结本发明提供了一种基于桥连特征融合的道路病害检测方法及系统，包括如下步骤：获取道路病害数据集；构建桥连特征融合网络；训练桥连特征融合网络；测试网络权重模型；检测道路病害类型及位置。该方法在提取道路病害图像中的特征时，以CSPDarknet-53为骨干网络，以桥连的方式直接将特征提取过程中的第一金字塔与第三金字塔中的对应尺度特征拼接融合，在深层特征中融合浅层特征中的小目标特征信息和大目标外观信息，防止多层下采样操作造成小目标特征丢失和大目标外观信息淡化问题，减少了道路病害检测中小面积病害易漏检和大面积病害定位范围不准确情况，提升了检测精度。提升了检测精度。提升了检测精度。
技术研发人员：付小雁 贺雪洁
受保护的技术使用者：首都师范大学
技术研发日：2022.06.15
技术公布日：2022/11/1
