1.本发明属于计算机视觉技术领域，具体涉及一种基于图像的电缆隧道环境异常识别方法。
背景技术：2.随着社会的进步和城市规划要求，城市架空线逐渐消失，取而代之的是埋设在地下的电力电缆，虽然电力电缆的供电可靠性较高，但由于地下电缆隧道内环境比较恶劣，电缆深埋于地下，故障点不易检测，而且随着电缆数量的增加，电缆发生故障的概率也随之增加，由于地下的配网电缆隧道空间狭小，电缆隧道内环境温度时高时低、沟内存在有毒易燃气体等因素，巡检人员隧道内工作劳动强度大、作业效率低，且人员在电缆隧道内工作容易发生人身危险，配网电缆隧道存在诸多隐患和故障，主要存在的问题有外来人员盗窃电缆、电缆外皮破损、电缆接头烧坏，沟内大面积积水现象，检测电缆隧道状况、分析异常情况的类型、缩小检修范围，对制定准确、合理的维修计划，避免人力、物力浪费和减少维修成本具有重要意义；因此，提供一种方法简单、提高电缆隧道环境检测的自动化程度、数据化程度和实时性、提高自动识别准确率与效率的一种基于图像的电缆隧道环境异常识别方法是非常有必要的。
技术实现要素：3.本发明的目的是为了克服现有技术的不足，而提供一种方法简单、提高电缆隧道环境检测的自动化程度、数据化程度和实时性、提高自动识别准确率与效率的一种基于图像的电缆隧道环境异常识别方法。
4.本发明的目的是这样实现的：一种基于图像的电缆隧道环境异常识别方法，所述的方法包括以下步骤：
5.步骤1：获取电缆隧道的高清图像；
6.步骤2：将获取的高清图像输入到电缆隧道环境异常识别定位模型，此模型采用深度学习方法训练获得，从而获得电缆隧道环境异常目标图像；
7.步骤3：根据识别结果判定电缆隧道环境异常情况；
8.步骤4：利用双目定位方法获得电缆隧道异常环境的位置坐标；
9.步骤5：机器人朝电缆隧道异常区域靠近。
10.所述的步骤2中对获取的高清图像进行电缆隧道环境异常识别采用yolo-v3目标检测算法。
11.所述的步骤4中的双目定位方法是基于视差原理。
12.所述的步骤2中的yolo-v3目标检测算法具体为：骨干网络选用darknet53架构，对基本的图像特征进行提取，yolo-v3网络产生锚框的方式是：将一张图片划分成多个方格，以每个小方格的中心为中心，方格分为不同大小，其使用逻辑回归预测每个边界框的类别得分，通过置信度判断边界框是否含有目标，经过训练得到适用于识别电缆隧道环境异常
的目标检测模型。
13.所述的步骤4中的双目定位方法包括以下步骤：
14.步骤4.1：利用双目相机获取电缆隧道的左右视图；
15.步骤4.2：采用张正友标定法获得相机内外参数；
16.步骤4.3：找到电缆隧道在不同图像的映射关系，得到视差图像；
17.步骤4.4：选择正确的匹配特征进行elas立体匹配；
18.步骤4.5：由任一点在两个图像中的坐标和相机的参数矩阵，通过约束关系就获得该点的三维坐标。
19.所述的步骤4中的双目定位方法基于视差原理获得特征点三维坐标的公式为：其中f为左、右相机的焦距；定义视差disparity为特征点p(xc,yc,zc)在左右两幅视图中x轴方向上的坐标差，即：disparity＝x
left-x
right
，由此可计算出特征点p(xc,yc,zc)在相机坐标系下的三维坐标为：
20.所述的步骤2中的yolo-v3目标检测算法的yolo-v3网络产生锚框的方式为：针对自制的电缆隧道数据集，采用聚类算法k-means自动选择一组最具代表性的锚框。
21.本发明的有益效果：本发明为基于图像的电缆隧道环境异常识别方法，在使用中，本发明的方法是将获取到的高清配网电缆隧道图像传入电缆隧道环境异常识别模型，获得目标电缆隧道环境异常区域作为感兴趣区域，并框定出感兴趣区域的位置信息，电缆隧道环境异常识别模型通过yolo-v3卷积神经网络训练获得，电缆隧道环境异常识别模型包含电缆、电缆外皮、积水、以及接头数据库，并能够将感兴趣区域与电缆、电缆外皮、积水、以及接头数据库进行匹配，确定感兴趣区域是否存在电缆、电缆外皮、积水、以及接头，根据识别结果判断是否存在电缆被盗、外皮破损、接头损坏、沟道积水等电缆隧道环境异常情况，再利用双目定位方法获得电缆隧道异常环境的距离信息，使机器人朝电缆隧道异常区域靠近，本发明提供的视觉识别及定位方法能够实现配网电缆隧道环境异常的自动识别与定位，有利于减少视觉识别的工作量，降低人工成本，提高自动识别准确率与效率，实现对电网地下电缆隧道的定期巡检，发现隐患和故障，制定维修计划，保障电力系统安全运行；本发明具有方法简单、提高电缆隧道环境检测的自动化程度、数据化程度和实时性、提高自动识别准确率与效率的优点。
附图说明
22.图1为本发明一种基于图像的电缆隧道环境异常识别方法的流程示意图。
23.图2为本发明的yolo-v3网络结构图。
24.图3为本发明的聚类中心的个数k与平均交并比的关系图。
25.图4为本发明的13
×
13网格上的锚框示意图。
26.图5为本发明的yolo-v3多尺度预测图。
27.图6为本发明的yolo-v3基本原理实现图。
28.图7为本发明的双目定位获取三维点云的原理图。
具体实施方式
29.下面结合附图对本发明做进一步的说明。
30.实施例1
31.如图1-7所示，一种基于图像的电缆隧道环境异常识别方法，所述的方法包括以下步骤：
32.步骤1：获取电缆隧道的高清图像；
33.步骤2：将获取的高清图像输入到电缆隧道环境异常识别定位模型，此模型采用深度学习方法训练获得，从而获得电缆隧道环境异常目标图像；
34.步骤3：根据识别结果判定电缆隧道环境异常情况；
35.步骤4：利用双目定位方法获得电缆隧道异常环境的位置坐标；
36.步骤5：机器人朝电缆隧道异常区域靠近。
37.所述的步骤2中对获取的高清图像进行电缆隧道环境异常识别采用yolo-v3目标检测算法。
38.在本技术的实施例中，所述电缆隧道环境异常识别模型包含电缆、电缆外皮、积水、以及接头数据库，并能够将感兴趣区域与电缆、电缆外皮、积水、以及接头数据库进行匹配，确定感兴趣区域是否存在电缆、电缆外皮、积水、以及接头；所述电缆隧道环境异常识别模型通过yolo-v3卷积神经网络训练获得。
39.yolo-v3网络其骨干网络选用darknet53架构，对基本的图像特征进行提取，yolo算法是单阶段检测算法，其网络结构如图2所示，yolo-v3网络产生锚框的方式不同于两阶段检测器的随机生成锚框的方式，而是将一张图片划分成多个方格，以每个小方格的中心为中心，方格分为不同大小，其使用逻辑回归预测每个边界框的类别得分，通过置信度判断边界框是否含有目标，yolo-v3网络通过卷积神经网络对目标的位置和类别进行预测，因此其背景误检率要比两阶段检测器低，这也十分适用于背景复杂的电缆隧道图像。
40.yolo-v3网络采用锚框机制，通过引入不同尺寸、不同宽高的锚框作为先验框，从而使得训练过程不需要直接从零开始预测边界框，而是在一定锚框的基础上开始预测边界框，通过这样的方式可以加入极大的先验知识，使得训练过程变得简单，同时更容易地预测不同形状、不同尺寸的目标，针对自制的电缆隧道数据集，本技术采用聚类算法k-means自动选择一组最具代表性的锚框。通过k-means算法聚类出k个聚类中心以及数据集中每个样本所属中心，利用交并比(iou)对于需要选取的边界框尺寸进行衡量，交并比越大，锚框与标注框的交叠程度也越大，锚框也就越能代表标注框，利用交并比重新设计的距离函数如下式：d(box,centroid)＝1-iou(box,centroid)，从上式中可知，距离越小，锚框和标注框的交并比也就越大，将本技术的电缆隧道数据集中电缆、电缆接头、沟内积水的标注框的宽和高作为样本进行聚类，聚类步骤如下：(1)从样本中随机选取k个框作为聚类中心；(2)根据上述距离函数公式计算每个样本与每个聚类中心的距离，n个样本就有n
×
k个距离数值；(3)将每个样本聚类到和它距离最小的中心；(4)通过相加取平均的方式，重新计算每个聚类的中心；(5)重复第(3)步，直到聚类中心不再变化为止，否则继续执行迭代。
41.聚类过程中聚类中心个数k和平均交并比的关系如图3所示，由图可知，随着聚类
中心个数(锚框个数)的增加，平均交并比也随着增加，在聚类中心个数为9时平均交并比的增长变得缓慢且趋于收敛，因此取锚框个数为9，既能保证锚框与标注框有较高的交并比，也不会因为锚框个数过多而造成检测速度下降。
42.当锚框个数选为9时，其平均交并比为76.8％，聚类出的9个锚框宽高依次为(19,150)，(25,35)，(39,69)，(60,90)，(62,40)，(85,137)，(128,181)，(131,80)，(348,165)，这些宽高数值是对应416
×
416的图像，针对不同特征图中不同尺寸的锚框，其中，13
×
13特征图用于对大物体进行检测；26
×
26特征图用于对中等大小的物体进行检测；而52
×
52特征图用于对小物体进行检测，对于电缆隧道积水、电缆外皮破损、接头图像在13
×
13的网格上生成的锚框如图4所示，其中蓝色框为标注框，黄色框为锚框，生成三个尺寸的锚框中至少有一个基本能贴合标注框，这为网络训练加入了极大地先验知识，有利于损失值的收敛和边框回归。
43.在本技术的实施例中，采用yolo-v3模型进行电缆隧道内部件检测的流程如下：(a)输入一张任意大小的电缆隧道图片，在保持长宽比例不变的情况下，将图片的尺寸调整至416
×
416(多余的部分填充像素值为0的点)，新得到的图像作为网络的输入；(b)yolo-v3算法直接把图片划分为s
×
s个网格，由yolo-v3进行多尺度预测，如图5所示，在三个不同层上做预测，每层s
×
s个网格分别为13
×
13、26
×
26、52
×
52，如图6所示，由物体标注框(绿色框)的中心落在的单元格(黄色单元格)负责检测该物体，每个单元格预测3个边界框(蓝色框)，所以yolo-v3一共预测(13
×
13+26
×
26+52
×
52)
×
3＝10647个边界框，因为每个单元需要预测3
×
(4+1+b)个值，每层最终预测s
×s×3×
(4+1+b)的张量，其中b表示类别数，本技术中由于需要预测电缆外皮破损、电缆接头、沟内积水三种情况，所以b为3，其中4为4个坐标信息，包括预测框的中心坐标(x,y)和相对于输入图像的宽高(w,h)，1为一个confidence(置信度)值，其表达式如下：当网格里有物体时，pr(object)为1，否则为0；表示标注框与预测框的交并比，所以confidence反映了预测框包含物体的置信度；(c)最后通过非极大值抑制(nms)筛选出最终的预测框。
44.在本技术的实施例中，为使机器人目标监测算法应用于电缆隧道作业环境，需要收集足够样本数据来训练申请所述神经网络模型，为了达到更优的检测效果，增加样本多样性，对训练的样本进行扩充，具体操作如下：使用通过标注工具labelimg对数据集中电缆、电缆外皮、积水、以及接头等目标进行标注，建立电缆隧道部件数据集，该数据集采集于深圳龙岗供电局局内电缆隧道，为丰富样本多样性，在不同角度、不同距离、不同时间对不同的电缆外皮破损、电缆接头、沟内积水的样本进行采集，自制数据集共1450张，使用yolo-v3模型进行训练，随机选取其中1300张用于训练，剩余150张用于结果测试，设定学习率为0.001，批量样本训练数(batch_size)数设定为32，在经过800个迭代之后损失值趋于稳定后停止训练，将训练后生成的权重文件以及训练用的配置文件提取出来，在控制程序中对训练好的模型进行加载。
45.本发明为基于图像的电缆隧道环境异常识别方法，在使用中，本发明的方法是将获取到的高清配网电缆隧道图像传入电缆隧道环境异常识别模型，获得目标电缆隧道环境异常区域作为感兴趣区域，并框定出感兴趣区域的位置信息，电缆隧道环境异常识别模型通过yolo-v3卷积神经网络训练获得，电缆隧道环境异常识别模型包含电缆、电缆外皮、积
水、以及接头数据库，并能够将感兴趣区域与电缆、电缆外皮、积水、以及接头数据库进行匹配，确定感兴趣区域是否存在电缆、电缆外皮、积水、以及接头，根据识别结果判断是否存在电缆被盗、外皮破损、接头损坏、沟道积水等电缆隧道环境异常情况，再利用双目定位方法获得电缆隧道异常环境的距离信息，使机器人朝电缆隧道异常区域靠近，本发明提供的视觉识别及定位方法能够实现配网电缆隧道环境异常的自动识别与定位，有利于减少视觉识别的工作量，降低人工成本，提高自动识别准确率与效率，实现对电网地下电缆隧道的定期巡检，发现隐患和故障，制定维修计划，保障电力系统安全运行；本发明具有方法简单、提高电缆隧道环境检测的自动化程度、数据化程度和实时性、提高自动识别准确率与效率的优点。
46.实施例2
47.如图1-7所示，一种基于图像的电缆隧道环境异常识别方法，所述的方法包括以下步骤：
48.步骤1：获取电缆隧道的高清图像；
49.步骤2：将获取的高清图像输入到电缆隧道环境异常识别定位模型，此模型采用深度学习方法训练获得，从而获得电缆隧道环境异常目标图像；
50.步骤3：根据识别结果判定电缆隧道环境异常情况；
51.步骤4：利用双目定位方法获得电缆隧道异常环境的位置坐标；
52.步骤5：机器人朝电缆隧道异常区域靠近。
53.在本技术的另一实施例中，提供一种电缆隧道异常环境的双目定位方法，具体包括：
54.相机标定：双目相机的标定需要先对两个相机分别进行标定，获取各自的内参矩阵以及畸变参数，然后再通过双目立体标定获取两个相机之间的位姿关系，最后便可以通过坐标变换矩阵得到摄像头与电缆隧道异常环境之间的坐标转换，所述相机标定采用张正友标定法；当两个图像平面重合且横轴对准时，可以使用三角测量模型计算深度；
55.立体校正：在现实的双目立体视觉中，由于相机的安装与制造并不存在这种情况，所以需要立体校正，所述的立体校正分为两步：a)绕左相机坐标系原点旋转左右图像，将两个图像平面拉回同一平面：让两个相机各绕着左相机坐标系原点旋转相同的角度，但二者的旋转方向是相反的，如下式r＝r
l
×rr-1
,r
l
×rr
＝1，其中，r为两个相机间的相对旋转矩阵，r
l
和rr分别代表左摄像头和右摄像头为转换到共面所需的旋转矩阵，两个相机的成像平面重合了，为了使基线平行于成像平面需要构造校正矩阵r
rect
；b)绕光轴旋转使得两图像同行对准：实质是左右两图分别绕各自的光轴旋转，旋转过后两个摄像头的主点连线于像素坐标的行线平行，即使左右相机对应的像素点处于同一行线上，这时左极点处于无穷远，构造该旋转矩阵r
rect
的方法是通过右相机相对于左相机的偏移矩阵t＝[t
x
tytz]
t
完成的，r
rect
＝[e1e2e3]；
[0056]
立体匹配：立体匹配是在左右两幅图像中识别同一物体，获取它们在图像中的对应关系，从而求得视差，所述立体匹配方法采用elas算法，包括4个步骤：s1：选取合适支持点，并获取支持点的所有备选视差；s2：以这些支持点为顶点进行三角剖分，得到具有唯一性的三角形网格；s3：假定投影的线性模型，认为每一个三角形代表一个视差平面，通过顶点的坐标值计算视差平面的方程；s4：使用这些视差平面方程估计每一个像素点的视差值，
将该视差值对应的相似度函数值与以3个支持点(三角形顶点，也是视差平面的顶点)包含的所有备选视差对应的相似度函数值比较，函数值最小的视差即为该像素点视差。
[0057]
参照图7获得三维坐标，通过标定和校正获得相机参数，利用立体匹配求得视差，再结合相似三角形原理就可以实现以左相机坐标系为参考，将物体坐标转化为三维位置的任务，根据三角形相似原理可得下式：其中f为左、右相机的焦距；定义视差disparity为特征点p(xc,yc,zc)在左右两幅视图中x轴方向上的坐标差，即：disparity＝x
left-x
right
，由此可计算出特征点p(xc,yc,zc)在相机坐标系下的三维坐标为：
[0058]
本发明为基于图像的电缆隧道环境异常识别方法，在使用中，本发明的方法是将获取到的高清配网电缆隧道图像传入电缆隧道环境异常识别模型，获得目标电缆隧道环境异常区域作为感兴趣区域，并框定出感兴趣区域的位置信息，电缆隧道环境异常识别模型通过yolo-v3卷积神经网络训练获得，电缆隧道环境异常识别模型包含电缆、电缆外皮、积水、以及接头数据库，并能够将感兴趣区域与电缆、电缆外皮、积水、以及接头数据库进行匹配，确定感兴趣区域是否存在电缆、电缆外皮、积水、以及接头，根据识别结果判断是否存在电缆被盗、外皮破损、接头损坏、沟道积水等电缆隧道环境异常情况，再利用双目定位方法获得电缆隧道异常环境的距离信息，使机器人朝电缆隧道异常区域靠近，本发明提供的视觉识别及定位方法能够实现配网电缆隧道环境异常的自动识别与定位，有利于减少视觉识别的工作量，降低人工成本，提高自动识别准确率与效率，实现对电网地下电缆隧道的定期巡检，发现隐患和故障，制定维修计划，保障电力系统安全运行；本发明提供一种基于图像的电缆隧道环境异常识别定位方法，通过神经网络模型与双目定位方法的结合应用，获取电缆隧道环境异常情况，并框定出其在图像中的位置信息，能够实现配网电缆、电缆外皮、积水、以及接头的自动识别与定位，有利于减少视觉识别的工作量，降低人工成本，提高自动识别准确率与效率，对制定准确、合理的维修计划，避免人力、物力浪费和减少维修成本具有重要意义；本发明具有方法简单、提高电缆隧道环境检测的自动化程度、数据化程度和实时性、提高自动识别准确率与效率的优点。
技术特征：1.一种基于图像的电缆隧道环境异常识别方法，其特征在于：所述的方法包括以下步骤：步骤1：获取电缆隧道的高清图像；步骤2：将获取的高清图像输入到电缆隧道环境异常识别定位模型，此模型采用深度学习方法训练获得，从而获得电缆隧道环境异常目标图像；步骤3：根据识别结果判定电缆隧道环境异常情况；步骤4：利用双目定位方法获得电缆隧道异常环境的位置坐标；步骤5：机器人朝电缆隧道异常区域靠近。2.如权利要求1所述的一种基于图像的电缆隧道环境异常识别方法，其特征在于：所述的步骤2中对获取的高清图像进行电缆隧道环境异常识别采用yolo-v3目标检测算法。3.如权利要求1所述的一种基于图像的电缆隧道环境异常识别方法，其特征在于：所述的步骤4中的双目定位方法是基于视差原理。4.如权利要求2所述的一种基于图像的电缆隧道环境异常识别方法，其特征在于：所述的步骤2中的yolo-v3目标检测算法具体为：骨干网络选用darknet53架构，对基本的图像特征进行提取，yolo-v3网络产生锚框的方式是：将一张图片划分成多个方格，以每个小方格的中心为中心，方格分为不同大小，其使用逻辑回归预测每个边界框的类别得分，通过置信度判断边界框是否含有目标，经过训练得到适用于识别电缆隧道环境异常的目标检测模型。5.如权利要求3所述的一种基于图像的电缆隧道环境异常识别方法，其特征在于：所述的步骤4中的双目定位方法包括以下步骤：步骤4.1：利用双目相机获取电缆隧道的左右视图；步骤4.2：采用张正友标定法获得相机内外参数；步骤4.3：找到电缆隧道在不同图像的映射关系，得到视差图像；步骤4.4：选择正确的匹配特征进行elas立体匹配；步骤4.5：由任一点在两个图像中的坐标和相机的参数矩阵，通过约束关系就获得该点的三维坐标。6.如权利要求3所述的一种基于图像的电缆隧道环境异常识别方法，其特征在于：所述的步骤4中的双目定位方法基于视差原理获得特征点三维坐标的公式为：其中f为左、右相机的焦距；定义视差disparity为特征点p(x
c
,y
c
,z
c
)在左右两幅视图中x轴方向上的坐标差，即：disparity＝x
left-x
right
，由此可计算出特征点p(x
c
,y
c
,z
c
)在相机坐标系下的三维坐标为：7.如权利要求4所述的一种基于图像的电缆隧道环境异常识别方法，其特征在于：所述的步骤2中的yolo-v3目标检测算法的yolo-v3网络产生锚框的方式为：针对自制的电缆隧道数据集，采用聚类算法k-means自动选择一组最具代表性的锚框。
技术总结本发明涉及一种基于图像的电缆隧道环境异常识别方法，方法包括以下步骤：步骤1：获取电缆隧道的高清图像；步骤2：将获取的高清图像输入到电缆隧道环境异常识别定位模型，此模型采用深度学习方法训练获得，从而获得电缆隧道环境异常目标图像；步骤3：根据识别结果判定电缆隧道环境异常情况；步骤4：利用双目定位方法获得电缆隧道异常环境的位置坐标；步骤5：机器人朝电缆隧道异常区域靠近；本发明具有方法简单、提高电缆隧道环境检测的自动化程度、数据化程度和实时性、提高自动识别准确率与效率的优点。优点。优点。
技术研发人员：刘滨 姚锐 闫肖阳 史展 陈永 常冉 刘洋 杨衍菲 曹郁 张高源 刘爽
受保护的技术使用者：国网河南省电力公司西峡县供电公司
技术研发日：2022.06.22
技术公布日：2022/11/1
