：
1.本发明属于道路交通领域，具体涉及一种基于实例分割网络的道路交通安全隐患排查方法。
背景技术：2.道路交通安全隐患整治,可以实现对道路行车环境进行改善,最大限度的保证道路的顺畅,减少交通事故的发生。近年来，全国各地都大规模开展了道路安全隐患排查，这对隐患排查效率和准确率提出了较高的要求。
3.而目前在进行道路隐患排查工作时，主要是依赖人工排查，且对排查人员的专业能力要求较高，使得现实中排查队伍不容易组建，也影响了排查结果的准确性和效率。
4.因此，需要设计一种能够代替人工自动分析道路安全隐患的方法，降低对专业人士的依赖，提高道路隐患排查的效率，并降低成本，减少交通事故的发生率。
技术实现要素：5.为了弥补现有技术的缺陷，本发明提供一种基于实例分割网络的道路交通安全隐患排查方法。本发明直接采用实例分割网络按帧形式进行读取、识别分类，根据实例分割结果，计算当前道路的部分参数，并对视频中每一帧图像中路段存在的风险进行判断，一方面，解决现在道路隐患排查工作中对专业人员的依赖，降低人力成本；另一方面，采用深度学习技术自动识别道路上存在的安全隐患，大大提高了道路隐患排查的工作效率以及准确度。
6.本发明的技术方案如下：
7.一种基于实例分割网络的道路交通安全隐患排查方法，包括以下步骤：
8.(1)在车辆上安装单目摄像机，并驾驶车辆在需要进行安全隐患排查的道路上行驶，录制驾驶员视角的的行车视频；
9.(2)建立实例分割网络；
10.(3)建立道路场景综合数据集、损失函数，初始化实例分割网络参数以及损失函数预设条件，对实例分割网络进行训练；当损失函数达到预设条件，获得训练完成的实例分割网络；
11.(4)根据训练完成的实例分割网络对车辆行驶视频进行实例分割；
12.(5)根据行车视频的实例分割结果，计算当前道路的曲率、坡度、行车视距，并根据实例分割结果以及计算出来的参数对当前道路存在的风险隐患做出判断；
13.(6)将车辆行驶路段上存在的风险点进行汇总、输出。
14.所述实例分割网络，包括fpn网络层、rpn网络层、roialign层、类别预测分支、边框预测分支和掩膜分割分支；
15.所述fpn网络层由卷积层、激活函数和池化层组成；
16.所述rpn网络层由卷积层、softmax回归函数组成；所述softmax回归函数用于判断
生成的矩形框是前景点还是背景点；
17.所述roialign层用于收集rpn网络生成的提议，并将输入的特征图像统一成相同大小；
18.所述类别预测分支根据roialign层生成的提议特征图像，通过全连接层与softmax计算每个提议所属类别；
19.所述边框预测分支根据roialign层生成的提议特征图像，通过全连接层计算每个提议的位置偏移量并进行回归，获得更加精确的目标检测框；
20.所述掩膜分割分支采用全卷积神经网络对每个roi进行分割，输出维数为k*m*m，其中m为roialign的特征图的大小，即输出了k个类别的m*m的掩膜，并用sigmoid函数进行二值化，生成背景和前景的掩膜分割。
21.所述道路场景综合数据集，包括对所述行车视频中的车辆、道路、车道线、行人、护栏、车道线、障碍物、道路周边环境进行标注确定标注结果，其中，所述标注结果包含每帧行车视频对应的分割图像真值和精确边缘图。
22.所述损失函数为多任务损失：l＝l
cls
+l
box
+l
mask
，其中l
cls
表示预测框的分类损失，l
box
表示预测框的回归损失，l
mask
表示掩膜分割分支的损失。
23.存在的风险隐患做出判断，具体如下：
24.当道路环境为河流、湖泊时，检测车道两侧是否存在护栏，若不存在，则判断当前路段为风险路段；
25.判断当前道路是否存在车道线，若不存在，则判断当前道路为风险路段；
26.判断当前道路曲率半径是否满足设计条件，若不满足，则判断当前道路为风险路段；
27.判断当前道路坡度是否满足设计条件，若不满足，则判断当前道路为风险路段；
28.判断当前道路是否存在遮挡物或遮挡区域，若存在，则判断当前道路为风险路段。
29.根据当前道路道路曲率，判断当前道路是否为风险路段的具体步骤如下：
30.标记出车道线像素点坐标集合{(x1，y1)，(x2，y2)，(x3，y3)
…
}，使用最小二乘法求解误差的平方和的极小值得到拟合函数，计算出车道线曲线方程x＝ay2+by+c，转化为世界坐标方程为其中mx、my分别为横向、纵向上现实世界1米与像素的比值，则道路曲率半径
31.当r＜r时，其中，二级公路r＝125米，三级公路r＝60米，四级公路r＝30米，该路段为道路曲率半径不满足设计条件，当前道路为风险路段。
32.根据当前道路坡度，判断当前道路是否为风险路段的具体步骤如下：
33.计算当前道路的坡度当坡度α大于i％时，其中二级公路i＝6，三级公路i＝7，四级公路i＝8，该路段为陡坡路段，为风险路段；
34.当道路为下坡时，从车辆行驶至坡道路段时开始计数车辆行驶里程，直到路面为水平路段，停止计数，若该路段长度大于3km，则判断坡度α是否大于i’％，其中二级公路i’＝4.5，三级公路i’＝5，四级公路i’＝5.5，若是，则该路段为连续下坡路段，为风险路段；
35.其中e
′
为斜坡路面上无穷远处的点在摄像机成像平面的投影点，f
′
为斜坡路面和水平路面的角点在摄像机成像平面的投影点，ye′
、yf′
为e
′
和f
′
在图像坐标系中的纵坐标，f为摄像机焦距；
36.根据当前帧是否存在遮挡物/区域，判断当前道路是否为风险路段的具体步骤如下：
37.判断当前帧是否存在遮挡物/区域，若存在，计算车辆当前距该障碍物/区域的距离d，当d《l时，其中，二级公路l＝150米，三级公路l＝80米，四级公路l＝60米，当前路段为视距不良路段，为风险路段，并在后续帧中不再对相同障碍物/区域进行计算；
38.其中其中h为摄像机离地面的高度，β为摄像机俯仰角，其中v
p
为目标点在像素坐标系中的纵坐标，v0为像素坐标系的原点纵坐标，f为摄像机焦距。
39.本发明的优点是：
40.1、本发明与传统的人工排查道路风险相比，直接利用基于实例分割网络的深度学习模型对道路视频进行安全隐患排查，一方面，所需工作人员较少，可以节省大量的人力物力，成本较低；另一方面，采用这种排查方法过程当中，对排查人员的专业知识与技能的要求，减少了工作难度。
41.2、本发明将要排查路段的视频导入实例分割网络中，按帧形式进行读取，对视频中的道路、车道线、行人、护栏、车道线、交通标志、障碍物、道路周边环境进行识别分类；根据实例分割结果，计算道路曲率、行车视距等道路参数，并根据结果对当前道路存在的风险隐患做出判断，将车辆行驶路段上存在的风险点进行汇总、输出。按帧形式读取，进行风险排查，能够将道路上存在的风险完全检出，避免人工排查过程当中，因思维惯性带来地风险忽视。
42.3、本发明采用深度学习技术自动识别道路上存在的安全隐患，大大提高了道路隐患排查的工作效率。
附图说明：
43.图1为本发明的方法流程图。
44.图2为本发明的实例分割网络结构示意图。
具体实施方式：
45.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
46.本实施例提供了一种基于实例分割网络的道路交通安全隐患排查方法，其方法流程如图1所示，包括以下步骤：
47.(1)在车辆上安装单目摄像机，并驾驶车辆在需要进行安全隐患排查的道路上行
驶，录制驾驶员视角的的行车视频；
48.(2)建立实例分割网络；
49.(3)建立道路场景综合数据集、损失函数，初始化实例分割网络参数以及损失函数预设条件，对实例分割网络进行训练；当损失函数达到预设条件，获得训练完成的实例分割网络；
50.(4)根据训练完成的实例分割网络对车辆行驶视频进行实例分割；将单目摄像机录摄的行车视频导入实例分割网络中，按帧形式进行读取，对视频中的道路、车道线、行人、护栏、车道线、交通标志、障碍物、道路周边环境进行识别分类，输出实例分割结果；
51.(5)根据行车视频的实例分割结果，计算当前道路的曲率、坡度、行车视距，并根据实例分割结果以及计算出来的参数对当前道路存在的风险隐患做出判断；
52.(6)将车辆行驶路段上存在的风险点进行汇总，按视频时间顺序列表并输出至csv文件。
53.实例分割网络模型包括：fpn网络层、rpn网络层、roialign层、类别预测分支、边框预测分支和掩膜分割分支，如图2所示；
54.fpn网络层由卷积层、激活函数和池化层组成；
55.rpn网络层由卷积层、softmax回归函数组成；softmax回归函数用于判断生成的矩形框是前景点还是背景点；
56.roialign层用于收集rpn网络生成的提议，并将输入的特征图像统一成相同大小；
57.类别预测分支根据roialign层生成的提议特征图像，通过类别预测分支中的全连接层与softmax计算每个提议所属类别；
58.边框预测分支根据roialign层生成的提议特征图像，通过边框预测分支中的全连接层计算每个提议的位置偏移量并进行回归，获得更加精确的目标检测框；
59.掩膜分割分支采用全卷积神经网络对每个roi进行分割，输出维数为k*m*m，其中m为roialign的特征图的大小，即输出了k个类别的m*m的掩膜，并用sigmoid函数进行二值化，生成背景和前景的掩膜分割。
60.道路场景综合数据集，包括对行车视频中的车辆、道路、车道线、行人、护栏、车道线、障碍物、道路周边环境进行标注确定标注结果，其中，标注结果包含每帧行车视频对应的分割图像真值和精确边缘图。
61.损失函数为多任务损失：l＝l
cls
+l
box
+l
mask
，其中l
cls
表示预测框的分类损失，l
box
表示预测框的回归损失，l
mask
表示掩膜分割分支的损失。
62.存在的风险隐患做出判断，包括：
63.当道路环境为河流、湖泊时，检测车道两侧是否存在护栏，若不存在，则判断当前路段为风险路段；
64.判断当前道路是否存在车道线，若不存在，则判断当前道路为风险路段；
65.判断当前道路曲率半径是否满足设计条件，若不满足，则判断当前道路为风险路段；
66.判断当前道路坡度是否满足设计条件，若不满足，则判断当前道路为风险路段；
67.判断当前道路是否存在遮挡物或遮挡区域，若存在，则判断当前道路为风险路段。
68.根据当前道路道路曲率，判断当前道路是否为风险路段的具体步骤如下：
69.标记出车道线像素点坐标集合{(x1,y1)，(x2，y2)，(x3，y3)
…
}，使用最小二乘法求解误差的平方和的极小值得到拟合函数，计算出车道线曲线方程x＝ay2+by+c，转化为世界坐标方程为其中mx、my分别为横向、纵向上现实世界1米与像素的比值，则道路曲率半径
70.当r＜r时，其中，二级公路r＝125米，三级公路r＝60米，四级公路r＝30米，该路段为道路曲率半径不满足设计条件，当前道路为风险路段。
71.根据当前道路坡度，判断当前道路是否为风险路段的具体步骤如下：
72.计算当前道路的坡度当坡度α大于i％时，其中二级公路i＝6，三级公路i＝7，四级公路i＝8，该路段为陡坡路段，为风险路段；
73.当道路为下坡时，从车辆行驶至坡道路段时开始计数车辆行驶里程，直到路面为水平路段，停止计数，若该路段长度大于3km，则判断坡度α是否大于i’％，其中二级公路i’＝4.5，三级公路i’＝5，四级公路i’＝5.5，若是，则该路段为连续下坡路段，为风险路段；
74.其中e
′
为斜坡路面上无穷远处的点在摄像机成像平面的投影点，f
′
为斜坡路面和水平路面的角点在摄像机成像平面的投影点，ye′
、yf′
为e
′
和f
′
在图像坐标系中的纵坐标，f为摄像机焦距；
75.根据当前帧是否存在遮挡物/区域，判断当前道路是否为风险路段的具体步骤如下：
76.判断当前帧是否存在遮挡物/区域，若存在，计算车辆当前距该障碍物/区域的距离d，当d＜l时，其中，二级公路l＝150米，三级公路l＝80米，四级公路l＝60米，当前路段为视距不良路段，为风险路段，并在后续帧中不再对相同障碍物/区域进行计算；
77.其中其中h为摄像机离地面的高度，β为摄像机俯仰角，其中v
p
为目标点在像素坐标系中的纵坐标，v0为像素坐标系的原点纵坐标，f为摄像机焦距。
78.在本发明中：
79.fpn网络由卷积层、激活函数和池化层组成，其中所有卷积层的卷积核大小都是3*3，扩边大小为1，卷积步长为1，卷积前后不改变输入与输出的矩阵大小；所有池化层的池化核大小都是2*2，不作扩边处理，池化步长为2，特征图像经过池化后长与宽变为输入的所有激活函数均采用relu函数f(x)＝max(0，x)；
80.其中每次图像经过fpn网络的卷积核计算，其大小每次卷积缩小为原来的1/2，共生成5个特征层，分别为原图片大小的1/2、1/4、1/8、1/16、1/32，再对这些特征输出进行上
采样，与上一卷积层最后一次输出合并，输出5个大小的特征层，分别为原图片大小的1/2、1/4、1/8、1/16、1/32，并通过全连接层生成提议，将该特征图输入至rpn网络层和roialign层。
81.rpn网络层由卷积层、softmax回归函数组成，其中卷基层为1个3*3的卷积层和两个1*1的卷积层组成，softmax回归函数用于判断生成的矩形框是前景点还是背景点；
82.rpn网络层对每个输入的特征层使用3*3的卷积核进行卷积，并分别进行1*1卷积生成边框偏移缩放量和前景背景预测值，其中每个像素点生成3种不同旋转比例的边框，并将结果输出至roialign层。
83.roialign层接收原始特征图像和候选检测框，并使用双线性插值法将各个roi在对应特征图像上的大小统一裁剪为7*7*256和14*14*256的固定尺寸，分别输出至类别预测分支、边框预测分支和掩膜预测层。
84.类别预测分支根据roialign层生成的提议特征图像，通过全连接层与softmax计算每个提议所属类别。
85.边框预测分支根据roialign层生成的提议特征图像，通过全连接层计算每个提议的位置偏移量并进行回归，获得更加精确的目标检测框。
86.掩膜分割分支对特征图像再次进行卷积和上采样，输出28*28的掩膜预测，并根据检测框尺寸将掩膜放大。
87.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
技术特征：1.一种基于实例分割网络的道路交通安全隐患排查方法，其特征在于，包括以下步骤：(1)在车辆上安装单目摄像机，并驾驶车辆在需要进行安全隐患排查的道路上行驶，录制驾驶员视角的行车视频；(2)建立实例分割网络；(3)建立道路场景综合数据集、损失函数，初始化实例分割网络参数以及损失函数预设条件，对实例分割网络进行训练；当损失函数达到预设条件，获得训练完成的实例分割网络；(4)根据训练完成的实例分割网络对车辆行驶视频进行实例分割，输出实例分割结果；(5)根据行车视频的实例分割结果，计算当前道路的曲率、坡度、行车视距，并根据实例分割结果以及计算出来的参数对当前道路存在的风险隐患做出判断；(6)将车辆行驶路段上存在的风险点进行汇总、输出。2.根据权利要求1所述一种基于实例分割网络的道路交通安全隐患排查方法，其特征在于，所述实例分割网络，包括fpn网络层、rpn网络层、roialign层、类别预测分支、边框预测分支和掩膜分割分支；所述fpn网络层由卷积层、激活函数和池化层组成；所述rpn网络层由卷积层、softmax回归函数组成，所述softmax回归函数用于判断生成的矩形框是前景点还是背景点；所述roialign层用于收集rpn网络生成的提议，并将输入的特征图像统一成相同大小；所述类别预测分支根据roialign层生成的提议特征图像，通过全连接层与softmax计算每个提议所属类别；所述边框预测分支根据roialign层生成的提议特征图像，通过全连接层计算每个提议的位置偏移量并进行回归，获得目标检测框；所述掩膜分割分支采用全卷积神经网络对每个roi进行分割，输出维数为k*m*m，其中m为roialign的特征图的大小，即输出了k个类别的m*m的掩膜，并用sigmoid函数进行二值化，生成背景和前景的掩膜分割。3.根据权利要求1所述一种基于实例分割网络的道路交通安全隐患排查方法，其特征在于，所述道路场景综合数据集，包括对所述行车视频中的车辆、道路、车道线、行人、护栏、车道线、障碍物、道路周边环境进行标注确定标注结果，其中，所述标注结果包含每帧行车视频对应的分割图像真值和精确边缘图。4.根据权利要求1所述一种基于实例分割网络的道路交通安全隐患排查方法，其特征在于，所述损失函数为多任务损失：l＝l
cls
+l
box
+l
mask
，其中l
cls
表示预测框的分类损失，l
box
表示预测框的回归损失，l
mask
表示mask分支的损失。5.根据权利要求1所述一种基于实例分割网络的道路交通安全隐患排查方法，其特征在于，存在的风险隐患做出判断，具体如下：当道路环境为河流、湖泊时，检测车道两侧是否存在护栏，若不存在，则判断当前路段为风险路段；判断当前道路是否存在车道线，若不存在，则判断当前道路为风险路段；判断当前道路曲率半径是否满足设计条件，若不满足，则判断当前道路为风险路段；判断当前道路坡度是否满足设计条件，若不满足，则判断当前道路为风险路段；
判断当前道路是否存在遮挡物或遮挡区域，若存在，则判断当前道路为风险路段。6.根据权利要求1所述一种基于实例分割网络的道路交通安全隐患排查方法，其特征在于，根据当前道路道路曲率，判断当前道路是否为风险路段的具体步骤如下：标记出车道线像素点坐标集合{(x1，y1)，(x2，y2)，(x3，y3)
…
}，使用最小二乘法求解误差的平方和的极小值得到拟合函数，计算出车道线曲线方程x＝ay2+by+c，转化为世界坐标方程为其中mx、my分别为横向、纵向上现实世界1米与像素的比值，则道路曲率半径当r<r时，其中，二级公路r＝125米，三级公路r＝60米，四级公路r＝30米，该路段为道路曲率半径不满足设计条件，当前道路为风险路段。7.根据权利要求1所述一种基于实例分割网络的道路交通安全隐患排查方法，其特征在于，根据当前道路坡度，判断当前道路是否为风险路段的具体步骤如下：计算当前道路的坡度当坡度α大于i％时，其中二级公路i＝6，三级公路i＝7，四级公路i＝8，该路段为陡坡路段，为风险路段；当道路为下坡时，从车辆行驶至坡道路段时开始计数车辆行驶里程，直到路面为水平路段，停止计数，若该路段长度大于3km，则判断坡度α是否大于i’％，其中二级公路i’＝4.5，三级公路i’＝5，四级公路i’＝5.5，若是，则该路段为连续下坡路段，为风险路段；其中e
′
为斜坡路面上无穷远处的点在摄像机成像平面的投影点，f
′
为斜坡路面和水平路面的角点在摄像机成像平面的投影点，y
e
′
、y
f
′
为e
′
和f
′
在图像坐标系中的纵坐标，f为摄像机焦距。8.根据权利要求1所述一种基于实例分割网络的道路交通安全隐患排查方法，其特征在于，根据当前帧是否存在遮挡物/区域，判断当前道路是否为风险路段的具体步骤如下：判断当前帧是否存在遮挡物/区域，若存在，计算车辆当前距该障碍物/区域的距离d，当d<l时，其中，二级公路l＝150米，三级公路l＝80米，四级公路l＝60米，当前路段为视距不良路段，为风险路段，并在后续帧中不再对相同障碍物/区域进行计算；其中其中h为摄像机离地面的高度，β为摄像机俯仰角，其中v
p
为目标点在像素坐标系中的纵坐标，v0为像素坐标系的原点纵坐标，f为摄像机焦距。
技术总结本发明公开了一种基于实例分割网络的道路交通安全隐患排查方法，属于道路交通领域，包括采用摄像机摄录行车视频，构建实例分割网络并建立数据集进行训练，将视频导入实例分割网络进行实例分割，根据分割结果计算相关参数，根据分割结果以及相关参数进行风险判断，对存在的风险点进行汇总输出；本发明对道路视频进行安全隐患排查，能够有效地降低对专业人员的依赖，减少了工作难度；另外，采用深度学习技术自动识别道路上存在的安全隐患，提高道路隐患排查的工作效率。隐患排查的工作效率。隐患排查的工作效率。
技术研发人员：冯忠祥 毕宇 张卫华 姜康 肖赟 郑玉冰 朱殿臣
受保护的技术使用者：合肥工业大学
技术研发日：2022.06.20
技术公布日：2022/11/1
