本发明涉及交通监控和道路设施监控，尤其是一种基于监控相机的道路设施遮挡检测、背景建模及异常检测方法。
背景技术：
1、随着经济社会建设的飞速发展，城市道路里程以及汽车保有量逐步攀升。随着信息化与数字化建设的飞速发展，智能交通系统和交通信息化技术在交管业务中占据越来越重要的地位。从大城市到县城小镇的重要路口、路段基本全部实现交通信号机、信号灯、卡口、电警相机抓拍设施、雷达检测器、诱导屏、交通路牌等关键交通设施的覆盖，城市道路、高速公路的信息化与数字化建设效果显著。
2、现有的运维系统的检测方法基本只支持信号机、诱导屏、相机抓拍设施、雷达等具备网络通信能力的设施，主要依靠设施本身提供的网络通信能力来判断其是否发生故障，从而提醒运维人员进行人工排查、处理。
3、但是安全护栏、车道线、停止线、人行横道、路标、信号灯杆、限速牌、交通路牌等不具备网络通信能力的道路设施，也可能出现受交通事故撞损、物品质量、天气等各种内外因素影响发生的损毁、缺失、位置偏移等异常情况，从而影响驾驶人员的判断，严重时可能造成交通事故。
4、目前，该类道路基础设施的损毁、缺失、位置偏移等异常情况只能依靠市民主动上报或运维人员定期巡检。这种方式会造成大量的人员消耗，更重要的是效率太低，延时性极高。由此可见，先进信息技术与交通运输的融合深度、广度仍显不足，可规模化复制推广的模式和标准尚未形成，重建设轻运维问题不容忽视。
技术实现思路
1、为了克服上述现有技术中道路基础设施的遮挡损毁、缺失、位置偏移等异常难以及时发现的问题，本发明提出了一种道路设施遮挡检测方法，可及时发现道路设施被交通参与者遮挡的问题。
2、本发明提出的一种道路设施遮挡检测方法，首先通过预训练的实例分割模型从道路监控相机采集的视频帧中提取识别对象信息，识别对象包括道路设施和交通参与者，识别对象信息包括：识别对象的类型、形状、尺寸大小、颜色，以及包含的所有像素点的坐标；然后构建道路设施的目录索引信息存储到数据集d1，构建交通参与者的目录索引信息存储到数据集d2，并通过以下步骤判断道路设施是否被交通参与者遮挡：
3、sa1、针对数据集d1中的道路设施，提取其在原始图像中的边界信息，构建道路设施的边界像素点集合po，并与目录索引信息相关联；
4、sa2、针对数据集d1和d2，获取各识别对象的最小外接矩形并与目录索引信息相关联；
5、sa3、遍历数据集d1，结合最小外接矩形重合情况筛选未被交通参与者遮挡的道路设施。
6、优选的，sa3中，针对单个道路设施p，判断其是否被交通参与者遮挡的步骤如下：
7、sa31、从数据集d2中提取交通参与者c与道路设施p进行对比，判断道路设施p对应的最小外接矩形与交通参与者c的最小外接矩形是否存在重叠风险；否，则执行步骤sa34；是，则执行步骤sa32；
8、sa32、令道路设施p的最小外接矩形与交通参与者c的最小外接矩形的重叠区域记作pc矩形，统计pc矩形中的坐标像素点；
9、sa33、判断pc矩形中是否存在即存在于道路设施p又存在于交通参与者c的坐标像素点；是，则判断p和c存在重叠，即道路设施p被交通参与者c遮挡，为道路设施p添加有效状态标识“false”；否，则执行步骤s34；
10、sa34、判断是否遍历完数据集d2；否，则更新交通参与者c，并返回步骤sa31；是，则判断道路设施p未被交通参与者遮挡，为道路设施p添加有效状态标识“true”。
11、优选的，判断两个识别对象p1和p2的最小外接矩形是否存在重叠风险的方式为：
12、令p1的最小外接矩形的左下方角点为(x1min,y1min)，右上方角点为(x1max,y1max)；令识别对象p2的最小外接矩形的左下方角点为(x2min,y2min)，右上方角点为(x2max,y2max)；
13、如果x1max<x2min且y1max<y2min，或者x2max<x1min且y2max<y1min，则判断p1和p2不重叠；
14、如果x2min≤x1max且y2min≤y1max，或者x1min≤x2max且y1min≤y2max，则判断p1和p2存在重叠风险。
15、优选的，sa3之后，还包括：针对数据集d1中被标注为“true”的道路设施逐一判断，其是否被道路设施遮挡；针对数据集d1中被标注为“true”的道路设施q，判断方式如下：
16、sa41、从数据集d1中提取道路设施p与道路设施q进行对比，判断道路设施q对应的最小外接矩形与道路设施p的最小外接矩形是否存在重叠风险；否，则执行步骤sa45；是，则执行步骤sa42；
17、sa42、令道路设施q的最小外接矩形与道路设施p的最小外接矩形的重叠区域记作qp矩形，统计qp矩形中的坐标像素点；
18、sa43、遍历qp矩形中的坐标像素点，统计选qp矩形中既存在于道路设施q又存在于道路设施p的坐标像素点的数量记作sqp’；
19、sa44、令道路设施q包含的像素点数量记作sq，计算比例系数nq＝sqp’/sq；判断是否满足nq>n，n为设定的比例系数；是，则将道路设施q与道路设施p的重叠区域作为附属信息与道路设施q关联，然后执行下一个有效状态标识为“true”的道路设施q；否，则执行步骤sa45；
20、sa45、判断是否遍历完数据集d1；否，则更新道路设施p，并返回步骤sa41；是，则判断道路设施q未被道路设施遮挡。
21、优选的，数据集d1和数据集d2中采用列表存储识别对象的目录索引信息，目录索引信息包括网络视频流地址、时间戳、视频帧数、识别对象在原始图像中的自增序号。
22、本发明提出的一种基于监控相机的道路背景建模方法，包括以下步骤：
23、s1、在持续时间段上对道路监控相机的实时网络视频流信息进行采样，获取图片帧数量记作sum；
24、s2、通过实例分割模型提取每一个图片帧的识别对象信息，构建每一个图片帧对应的数据集d1和d2；采用所述的道路设施遮挡检测方法对各图片帧的识别对象信息进行处理，确定各图片帧包含的道路基础设施的识别对象信息、附属信息以及有效状态标识；附属信息即为边界像素点集合po以及道路设施之间的重叠区域；
25、s3、根据图片帧的生成时间对不同图片帧中的同一个道路设施进行追踪，令在各个图片帧中关联的有效状态标识均为“true”的道路设施为自动建模对象，自动建模对象以外的道路设施作为补充建模对象；对各自动建模对象和补充建模对象进行建模，获得道路设施的背景模型；
26、s4、将各图片帧中对应道路基础设施的背景模型的区域像素值赋值为0，再对图片帧灰度处理作为备选背景图像，再对备选背景图像进行聚类，获得最大簇中的所有备选背景图像进行像素拟合，得到最终的拟合图像作为最终的背景图像；
27、s5、使用surf角点特征算法检测提取背景图像中的m个角点特征描述子，并删除与背景图像中道路基础设置最小距离小于设定的距离阈值的角点特征描述子；将剩余的角点特征描述子按照置信度从大到小进行排序，获取角点特征描述子的有序序列即为监控相机的背景模型。
28、优选的，单个自动建模对象的建模步骤包括以下步骤：
29、s31、提取图片帧中自动建模对象对应的识别对象信息和附属信息作为图片帧的关联信息，对各图片帧的关联信息进行聚类，获取最大聚类簇包含的图片帧数量t；
30、s32、当t≥sum×t，则对最大聚类簇中的图片帧的关联信息进行拟合，获取自动建模对象的背景模型，包括轮廓曲线、颜色和附属信息；t为设定的比例系数。
31、优选的，针对补充建模对象以及s32中t<sum×t的道路设施的建模方法为：
32、另选时间段对道路监控相机的实时网络视频流信息进行采样，直至该自动建模对象满足t≥sum×t，再采用所述的基于监控相机的道路背景建模方法进行建模；
33、或者进行人工建模。
34、本发明提出的一种基于监控相机的道路设施异常检测识别方法，包括以下步骤：
35、在道路设施完工后，采用所述的基于监控相机的道路背景建模方法获取道路设施的背景模型以及监控相机的背景模型作为基准帧背景模型；
36、监控过程中，获取监控相机的网络视频流，采用所述的基于监控相机的道路背景建模方法获取道路设施的背景模型以及监控相机的背景模型作为对比帧背景模型；
37、计算监控相机的对比帧背景模型相对于基准帧背景模型的旋转角度和原点偏移向量；根据旋转角度和原点偏移向量，对各道路设施的对比帧背景模型进行调整；
38、针对各道路设施，将调整后的对比帧背景模型与基准帧背景模型进行对比，计算两者的相似度，根据相似度判断道路设施是否异常。
39、优选的，计算比帧中有效状态标识为flase的道路设施的将对比帧背景模型与基准帧对比模型的相似度，包括以下步骤：
40、st61、将对比帧背景模型与基准帧对比模型进行对比，筛选对比帧背景模型相对于基准帧对比模型缺失的像素点，将筛选出的像素点补充到对比帧背景模型上，并根据基准帧背景模型对补充到对比帧背景模型上的像素点进行赋值；
41、st62、采用相似算法计算对比帧背景模型与基准帧背景模型的相似度。
42、本发明的优点在于：
43、1、本发明提出的道路设施遮挡检测方法，采用实例分割模块从监控视频流的视频帧中提取道路设施和交通参与者，基于最小外接矩形识别道路设施是否被交通参与者遮挡，实现道路设施损毁、缺失、位置偏移等异常问题的实时监测，实现道路设施的及时识别发现和维护处理。
44、2、本发明进一步监测道路设施相互遮挡的问题，针对安全护栏、车道线、停止线、人行横道、路标、信号灯杆、限速牌、交通路牌等不具备网络通信能力的道路基础设施，实现全方位自动化智能化监测，从而显著降低人员成本、时间成本，提高城市道路、高速公路的信息化与数字化建设水平。
45、3、本发明提出的基于监控相机的道路背景建模方法，结合有效标志状态对道路设施进行分类，然后针对两个类别分别进行建模，并对监控相机进行建模，为后续道路设施异常判断提供了可靠的比对基础。
46、4、本发明提出的基于监控相机的道路设施异常检测识别方法，充分考虑目标道路基础设施和交通参与者，以及其他的道路基础设施之间的遮挡影响问题，选取更完整准确的道路设施目标特征信息进行特征比对，判断异常状态。
1.一种道路设施遮挡检测方法，其特征在于，首先通过预训练的实例分割模型从道路监控相机采集的视频帧中提取识别对象信息，识别对象包括道路设施和交通参与者，识别对象信息包括：识别对象的类型、形状、尺寸大小、颜色，以及包含的所有像素点的坐标；然后构建道路设施的目录索引信息存储到数据集d1，构建交通参与者的目录索引信息存储到数据集d2，并通过以下步骤判断道路设施是否被交通参与者遮挡：
2.如权利要求1所述的道路设施遮挡检测方法，其特征在于，sa3中，针对单个道路设施p，判断其是否被交通参与者遮挡的步骤如下：
3.如权利要求2所述的道路设施遮挡检测方法，其特征在于，判断两个识别对象p1和p2的最小外接矩形是否存在重叠风险的方式为：
4.如权利要求3所述的道路设施遮挡检测方法，其特征在于，sa3之后，还包括：针对数据集d1中被标注为“true”的道路设施逐一判断，其是否被道路设施遮挡；针对数据集d1中被标注为“true”的道路设施q，判断方式如下：
5.如权利要求1所述的道路设施遮挡检测方法，其特征在于，数据集d1和数据集d2中采用列表存储识别对象的目录索引信息，目录索引信息包括网络视频流地址、时间戳、视频帧数、识别对象在原始图像中的自增序号。
6.一种采用如权利要求4所述的道路设施遮挡检测方法的基于监控相机的道路背景建模方法，其特征在于，包括以下步骤：
7.如权利要求6所述的基于监控相机的道路背景建模方法，其特征在于，单个自动建模对象的建模步骤包括以下步骤：
8.如权利要求7所述的基于监控相机的道路背景建模方法，其特征在于，针对补充建模对象以及s32中t<sum×t的道路设施的建模方法为：
9.一种采用如权利要求6或7或8所述的基于监控相机的道路背景建模方法的道路设施异常检测识别方法，其特征在于，包括以下步骤：
10.如权利要求9所述的基于监控相机的道路设施异常检测识别方法，其特征在于，计算比帧中有效状态标识为flase的道路设施的将对比帧背景模型与基准帧对比模型的相似度，包括以下步骤：
