1.本发明涉及瑕疵检测技术领域，具体涉及一种绝缘子检测方法和一种绝缘子检测系统。
背景技术：2.电力系统的稳定运行是国家能源战略的重要保障，其中绝缘子在输电线路中起着电气设备绝缘和机械固定的作用，成为输电线路不可或缺的部分。
3.绝缘子检测技术可应用于智能机器人的避碰。智能拆换线机器人是一种用于重要跨越线路拆换线施工的自动化装备，有效地解决了重要输电跨越段拆换线施工协调难度大、周期长、效率低、成本高、安全风险高的难题。智能拆换线机器人作业过程中人工遥控和计程方式都无法准确地确定机器人与架空线末端的距离，以提前减速避免机器人的剧烈碰撞，易造成机器人的损坏。通过检测绝缘子，机器人可以识别是否接近架空线末端，从而实现避碰功能。
4.绝缘子检测技术也可应用于线路巡检。由陶瓷和玻璃制成的绝缘子由于长期暴露在野外自然环境，容易受到恶劣环境的影响，产生裂纹、污染、损坏等表面缺陷，直接威胁到输电线路的稳定与安全，缩短线路的使用寿命。因此，需要定期对输电线路的绝缘子进行检查，防止因绝缘子损坏导致的后续事故。
5.相关技术中，对绝缘子以及绝缘子检测的准确性和效率较低。
技术实现要素：6.本发明为解决上述技术问题，提供了一种基于智能机器人的绝缘子检测方法，整合并改进yolov5检测模型、espnet语义分割模型和gan模型构成联合检测系统以对绝缘子以及绝缘子的瑕疵进行定位和检测，大大提高了检测的准确性和效率。
7.本发明采用的技术方案如下：
8.一种基于智能机器人的绝缘子检测方法，所述智能机器人悬挂在架空线上，所述智能机器人上设置有摄像单元，所述绝缘子检测方法包括以下步骤：通过所述摄像单元对待检测绝缘子进行拍摄以获取相应的目标检测图像；根据改进的yolov5检测模型对所述目标检测图像进行图像识别，以获取绝缘子检测图像；根据espnet语义分割模型对所述绝缘子检测图像进行语义分割处理，以获取对应的前景掩模图像；采用改进的gan模型对所述绝缘子检测图像进行区域重构，以获取第一重构图像；根据所述第一重构图像、所述绝缘子检测图像和所述前景掩模图像判断所述绝缘子是否存在绝缘子瑕疵，以及在所述绝缘子存在所述绝缘子瑕疵时，对所述绝缘子瑕疵进行定位。
9.绝缘子检测方法还包括：根据定位到的绝缘子瑕疵区域从所述改进的yolov5检测模型中提取所所述绝缘子瑕疵相关的第一视觉特征；根据所述第一视觉特征对所述绝缘子瑕疵进行细分。
10.所述改进的yolov5检测模型包括：骨架网络、特征增强网络、采样网络、加权卷积
网络和输出网络；所述根据改进的yolov5检测模型对所述目标检测图像进行图像识别，以获取绝缘子检测图像，包括以下步骤：通过所述骨架网络从所述目标检测图像中提取出第二视觉特征；通过所述特征增强网络对所述第二视觉特征进行深层加工；通过采样网络采用上采样和下采样的方式对加工后的第二视觉特征继续进行采样，以获取不同特征尺度的特征信息；通过加权卷积网络对所述不同特征尺度的特征信息进行加权信息整合以获取单特征尺度的特征信息；通过所述输出网络根据所述单特征尺度的特征信息获取所述绝缘子检测图像。
11.所述改进的gan模型包括：生成器、鉴别器和二次编码器；其中，在所述采用改进的gan模型对所述前景掩模图像和所述绝缘子检测图像进行区域重构之前，还包括：通过训练获取所述can模型，其中，所述通过训练获取所述can模型包括以下步骤：获取所述绝缘子的待训练样本图像；通过所述生成器中的编码器对所述待训练样本图像进行编码以获取相应的第一隐变量；通过所述生成器中的解码器根据所述第一隐变量生成相应的第二重构图像；通过所述二次编码器对所述第二重构图像进行编码以获取相应的编码结果；根据所述编码结果对所述第一隐变量进行优化，以获取第二隐变量；通过所述编码器根据所述第二隐变量生成相应的第三重构图像；通过所述鉴别器根据所述第三重构图像和所述待训练样本图像进行真伪判断，并根据判断结果调整所述can模型的损失函数。
12.所述根据所述第一重构图像、所述缘子检测图像和所述前景掩模图像判断所述绝缘子是否存在绝缘子瑕疵，包括以下步骤：将所述绝缘子检测图像和所述第一重构图像做差，并利用所述前景掩模图像进行约束，以获取相应的差分图像；将所述差分图像中的前景像素数目与预设阈值进行比较，以判断所述绝缘子是否存在绝缘子瑕疵。
13.一种基于智能机器人的绝缘子检测系统，所述智能机器人悬挂在架空线上，所述智能机器人上设置有摄像单元，所述绝缘子检测系统包括：第一获取模块，所述第一获取模块用于通过所述摄像单元对待检测绝缘子进行拍摄以获取相应的目标检测图像；第二获取模块，所述第二获取模块用于根据改进的yolov5检测模型对所述目标检测图像进行图像识别，以获取绝缘子检测图像；第三获取模块，所述第三获取模块用于根据espnet语义分割模型对所述绝缘子检测图像进行语义分割处理，以获取对应的前景掩模图像；第四获取模块，所述第四获取模块用于采用改进的gan模型对所述绝缘子检测图像进行区域重构，以获取第一重构图像；瑕疵检测模块，所述瑕疵检测模块用于根据所述第一重构图像、所述绝缘子检测图像和所述前景掩模图像判断所述绝缘子是否存在绝缘子瑕疵，以及在所述绝缘子存在所述绝缘子瑕疵时，对所述绝缘子瑕疵进行定位。
14.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述的基于智能机器人的绝缘子检测方法。
15.一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的基于智能机器人的绝缘子检测方法。
16.本发明的有益效果：
17.本发明整合并改进yolov5检测模型、espnet语义分割模型和gan模型构成联合检测系统以对绝缘子以及绝缘子的瑕疵进行定位和检测，大大提高了检测的准确性和效率。
附图说明
18.图1为本发明实施例的基于智能机器人的绝缘子检测方法的流程图；
19.图2为本发明一个实施例的改进的yolov5检测模型的结构示意图；
20.图3为本发明一个实施例的改进的gan模型的结构示意图；
21.图4为本发明实施例的基于智能机器人的绝缘子检测系统的方框示意图。
具体实施方式
22.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
23.图1是根据本发明实施例的基于智能机器人的绝缘子检测方法的流程图。
24.其中，智能机器人悬挂在架空线上，智能机器人上设置有摄像单元。
25.如图1所示，本发明实施例的基于智能机器人的绝缘子检测方法可包括以下步骤：
26.s1，通过摄像单元对待检测绝缘子进行拍摄以获取相应的目标检测图像。
27.当绝缘子在其工作场景中工作时，可通过智能机器人上的摄像单元(例如，工业相机)对绝缘子以及其工作场景进行拍摄，以获取相应的目标检测图像。
28.s2，根据改进的yolov5检测模型对目标检测图像进行图像识别，以获取绝缘子检测图像。
29.根据本发明的一个实施例，如图2所示，改进的yolov5检测模型包括：骨架网络、特征增强网络、采样网络、加权卷积网络和输出网络。对应的，根据改进的yolov5检测模型对目标检测图像进行图像识别，以获取绝缘子检测图像，可包括以下步骤：首先，可通过骨架网络从目标检测图像中提取出第二视觉特征，并通过特征增强网络对第二视觉特征进行深层加工，使得视觉特征对尺度变化具有鲁棒性，其中，可借鉴金字塔结构对第二视觉特征进行深度加工，由此，在将目标检测图像输入骨架网络和特征增强网络后，可得到相应的深度加工后的第二视觉特征，即从低级特征尺度1/2x到高级特征尺度1/16x的多尺度特征信息。其次，可通过采样网络采用上采样和下采样的方式对加工后的第二视觉特征继续进行采样，以获取不同特征尺度的特征信息，并将该不同特征尺度的特征信息传输至加权卷积网络。此时，可通过加权卷积网络对不同特征尺度的特征信息进行加权信息整合以获取单特征尺度的特征信息，例如，将不同特征尺度的特征信息全都整合为特征尺度为1/8x的特征信息。最后，通过输出网络将单特征尺度的特征信息输入yolov5检测头以实现绝缘子检测，从而获取绝缘子检测图像。
30.需要说明的是，在输出网络还可采用mobilenet卷积算子替代标准卷积以提高特征融合速度。
31.其中，输出网络的输出过程可通过以下公式表示：
32.y＝head(mb(x
′
,wb)，wh)，
33.其中，x
′
表示单特征尺度的特征信息，mb()表示mobilenet卷积算子，head()表示yolov5检测头，wb表示mobilenet卷积算子对应的可学习参数，wh表示yolov5检测头对应的可学习参数。
34.由此，对传统的yolov5检测模型进行改进，通过聚合不同尺度的特征图，相比对传统的yolov5检测模型将三种不同尺度的特征图输入检测头中同时检测图像中不同尺度的目标，检测能力更高，效果更好。
35.s3，根据espnet语义分割模型对绝缘子检测图像进行语义分割处理，以获取对应的前景掩模图像。
36.具体而言，espnet语义分割模型是一种基于高效空间金字塔模块的轻量级语义分割模型，语义分割可以实现对目标的像素级理解，获得比目标检测结果更为紧凑的目标区域，输入图像首先经过卷积批处理激活cbr进行批处理规范化和激活，将规范化后的特征图经过多次下采样操作以扩大图像的感受野，引入跨连接保存下采样信息，利用softmax激活函数输出语义分割结果，就可以获得绝缘子的前景掩模图像，抑制无关背景信息的干扰。
37.s4，采用改进的gan模型对绝缘子检测图像进行区域重构，以获取第一重构图像。
38.具体而言，如图3所示，改进的gan模型可包括：生成器、鉴别器和二次编码器。在采用改进的gan模型对绝缘子检测图像进行区域重构之前，可进行训练以获取该can模型。下面结合具体实施例来详细说明如何通过训练获取can模型。
39.在本发明得意一个实施例中，如图3所示，通过训练获取can模型包括以下步骤：首先，可获取绝缘子的带训练样本图像，并将待训练样本图像输入生成器。此时，可通过生成器g中的编码器ge对待训练样本图像r进行编码以获取相应的第一隐变量z1，然后将第一隐变量送入生成器g中的解码器gd，并通过生成器g中的解码器gd根据第一隐变量z1生成相应的第二重构图像其中，可通过以下公式表示：
[0040][0041]
其中，w
gd
、w
ge
分别表示编码器ge和解码器gd的可学习权重。
[0042]
进一步而言，可通过二次编码器e对第二重构图像进行编码以获取相应的编码结果(二次隐变量)，并根据编码结果对第一隐变量z1进行优化，以获取第二隐变量z2，以及通过编码器ge根据第二隐变量z2生成相应的第三重构图像具体地，为了改善生成器g的样本生成能力，本发明引用二次编码器e对第二重构图像进行编码，得到相应的编码结果并另编码结果逼近第一隐变量z1，以对第一隐变量z1进行优化，以获取第二隐变量z2，其中，可通过以下公式表示：
[0043][0044]
其中，we表示解码器e的可学习参数。
[0045]
然后，通过编码器ge再根据第二隐变量z2生成相应的第三重构图像具体生成第三重构图像的方法可参照上述实施例，为避免冗余，在此不再详述。
[0046]
进一步而言，通过鉴别器d根据第三重构图像和待训练样本图像r进行真伪判断，并根据判断结果调整can模型的损失函数。具体地，鉴别器d采用三层卷积神经网络实现，分别接受真实图像(即待训练样本图像r)和第三重构图像并进行真伪判断，如下所示：
[0047][0048]
其中，l表示鉴别器d的输出结果，wd表示其可学习参数。
[0049]
可根据真伪判断结果l调整can模型的损失函数。为了训练生成对抗网络，本发明设计三个损失函数，并通过加权方式构造联合损失函数，即改进的can模型的损失函数。
[0050]
具体地，(1)对抗损失函数l
adv
可表征生成器g与鉴别器d在博弈过程中产生的损失，可采用l2损失函数计算，即
[0051]
l
adv
＝||f(r)-f(g(r))||2；
[0052]
(2)内容损失函数l
con
可反映第三重构图像与待训练样本图像r之间的差异，可采用l1损失函数计算，即
[0053]
l
con
＝||r-g(r)||1；
[0054]
(3)编码损失函数l
enc
可用于降低输入图像特征向量与重构图像特征向量之间的差距，可采用l2损失函数计算，即
[0055]
l
enc
＝||ge(x)-e(g(x))||2。
[0056]
最后，可通过加权方式生成联合损失函数(改进的can模型的损失函数)，即，
[0057]
l＝w
adv
l
adv
+w
con
l
con
+w
enc
l
enc
，
[0058]
其中，w
adv
、w
con
和w
enc
是加权参数，用于调整单个损失函数对联合损失函数的影响。
[0059]
由此，在对gan模型进行训练时，引入二次编码器对重构图像进行再次编码，并根据编码结果对生成器g中的编码器ge对应的隐变量进行调优，从而大大提高了生成器的样本生成能力，提高了系统的可靠性。
[0060]
在通过上述方式获取改进的gan模型后，可直接将绝缘子检测图像输入该改进的gan模型，此时，可通过生成器对绝缘子检测图像进行区域重构，以获取第一重构图像。
[0061]
s5，根据第一重构图像、绝缘子检测图像和前景掩模图像判断绝缘子是否存在绝缘子瑕疵，以及在绝缘子存在绝缘子瑕疵时，对绝缘子瑕疵进行定位。
[0062]
具体而言，根据第一重构图像、缘子检测图像和前景掩模图像判断绝缘子是否存在绝缘子瑕疵，包括以下步骤：首先，可将绝缘子检测图像和第一重构图像做差，并利用前景掩模图像进行约束，以获取相应的差分图像，然后，将差分图像中的前景像素数目与预设阈值进行比较，以判断绝缘子是否存在绝缘子瑕疵。
[0063]
同时，通过对瑕疵图像的连通域分析，并使用最小外接矩形框住瑕疵区域对应的连通域，可以实现对绝缘子瑕疵的定位。
[0064]
根据本发明的一个实施例，基于智能机器人的绝缘子检测方法还包括：根据定位到的绝缘子瑕疵区域从改进的yolov5检测模型中提取所绝缘子瑕疵相关的第一视觉特征；根据第一视觉特征对绝缘子瑕疵进行细分。
[0065]
具体而言，由于绝缘子瑕疵区域往往较小，使用卷积神经网络较难有效提取瑕疵区域视觉特征，进而无法准确分类，因此，可将绝缘子瑕疵定位结果作为约束，从改进的yolov5检测模型获取到的第二视觉特征中提取绝缘子瑕疵相关的第一视觉特征。其中，softmax分类器是用损失函数来评估，并对分类的正确与否进行调整。softmax分类器能够扩大分数的差距，即使得分函数的分数结果差别都不大，通过softmax分类器，就能够使得分数的差距进一步拉大，使得分类效果更加明显，因此，在完成提取绝缘子瑕疵相关的第一
视觉特征后，可将第一视觉特征送入softmax分类器，检测绝缘子瑕疵。进一步地，在得到绝缘子瑕疵的检测结果后，若绝缘子存在瑕疵的情况，同时考虑到瑕疵种类的多样性，将基于改进gan的绝缘子瑕疵区域定位步骤中得到的瑕疵区域按照宽高等比例放大2倍得到绝缘子瑕疵掩模m，绝缘子瑕疵掩模m中包含了瑕疵区域及其空间上下文信息，接着，利用绝缘子瑕疵掩模m从改进yolov5中mobile convolution模块输出的特征图中提取细分瑕疵特征，从而实现对绝缘子瑕疵的细分。
[0066]
由此，本发明通过聚合不同尺度的特征图，相比对传统的yolov5检测模型将三种不同尺度的特征图输入检测头中同时检测图像中不同尺度的目标，检测能力更高，效果更好，并且，本发明引入轻量级的espnet计算绝缘子的前景掩模，能够抑制无关背景噪声的干扰，同时，本发明结合绝缘子瑕疵区域定位及yolov5学得的视觉特征，提取绝缘子瑕疵相关特征，能够实现瑕疵的细分，另外，本发明适用于绝缘子瑕疵的自动检测，能够大大提高瑕疵检测的准确性与效率，也为拆换线智能机器人提供绝缘子信息。
[0067]
综上所述，根据本发明实施例的基于智能机器人的绝缘子检测方法，通过摄像单元对待检测绝缘子进行拍摄以获取相应的目标检测图像，并根据改进的yolov5检测模型对目标检测图像进行图像识别，以获取绝缘子检测图像，以及根据espnet语义分割模型对绝缘子检测图像进行语义分割处理，以获取对应的前景掩模图像，并采用改进的gan模型对绝缘子检测图像进行区域重构，以获取第一重构图像，以及根据第一重构图像、绝缘子检测图像和前景掩模图像判断绝缘子是否存在绝缘子瑕疵，并在绝缘子存在绝缘子瑕疵时，对绝缘子瑕疵进行定位。由此，根据第一重构图像、绝缘子检测图像和前景掩模图像判断绝缘子是否存在绝缘子瑕疵，以及在绝缘子存在绝缘子瑕疵时，对绝缘子瑕疵进行定位。
[0068]
对应上述实施例的绝缘子检测方法，本发明还提出一种基于智能机器人的绝缘子检测系统。
[0069]
其中，智能机器人悬挂在架空线上，智能机器人上设置有摄像单元。
[0070]
如图4所示，本发明实施例的基于智能机器人的绝缘子检测系统可包括：第一获取模块100、第二获取模块200、第三获取模块300、第四获取模块400和瑕疵检测模块500。
[0071]
其中，第一获取模块100用于通过摄像单元对待检测绝缘子进行拍摄以获取相应的目标检测图像；第二获取模块200用于根据改进的yolov5检测模型对目标检测图像进行图像识别，以获取绝缘子检测图像；第三获取模块300用于根据espnet语义分割模型对绝缘子检测图像进行语义分割处理，以获取对应的前景掩模图像；第四获取模块400用于采用改进的gan模型对绝缘子检测图像进行区域重构，以获取第一重构图像；瑕疵检测模块500用于根据第一重构图像、绝缘子检测图像和前景掩模图像判断绝缘子是否存在绝缘子瑕疵，以及在绝缘子存在绝缘子瑕疵时，对绝缘子瑕疵进行定位。
[0072]
根据本发明的一个实施例，瑕疵检测模块500具体还用于：根据定位到的绝缘子瑕疵区域从改进的yolov5检测模型中提取所绝缘子瑕疵相关的第一视觉特征；根据第一视觉特征对绝缘子瑕疵进行细分。
[0073]
根据本发明的一个实施例，改进的yolov5检测模型包括：骨架网络、特征增强网络、采样网络、加权卷积网络和输出网络；第二获取模块200具体用于：通过骨架网络从目标检测图像中提取出第二视觉特征；通过特征增强网络对第二视觉特征进行深层加工；通过采样网络采用上采样和下采样的方式对加工后的第二视觉特征继续进行采样，以获取不同
特征尺度的特征信息；通过加权卷积网络对不同特征尺度的特征信息进行加权信息整合以获取单特征尺度的特征信息；通过输出网络根据单特征尺度的特征信息获取绝缘子检测图像。
[0074]
根据本发明的一个实施例，改进的gan模型包括：生成器、鉴别器和二次编码器；第四获取模块400在采用改进的gan模型对前景掩模图像和绝缘子检测图像进行区域重构之前，还用于：获取绝缘子的待训练样本图像；通过生成器中的编码器对待训练样本图像进行编码以获取相应的第一隐变量；通过生成器中的解码器根据第一隐变量生成相应的第二重构图像；通过二次编码器对第二重构图像进行编码以获取相应的编码结果；根据编码结果对第一隐变量进行优化，以获取第二隐变量；通过编码器根据第二隐变量生成相应的第三重构图像；通过鉴别器根据第三重构图像和待训练样本图像进行真伪判断，并根据判断结果调整can模型的损失函数。
[0075]
根据本发明的一个实施例，瑕疵检测模块500具体用于：将绝缘子检测图像和第一重构图像做差，并利用前景掩模图像进行约束，以获取相应的差分图像；将差分图像中的前景像素数目与预设阈值进行比较，以判断绝缘子是否存在绝缘子瑕疵。
[0076]
需要说明的是，本发明实施例的基于智能机器人的绝缘子检测系统更具体的实施方式可参照上述基于智能机器人的绝缘子检测方法的实施例，在此不再赘述。
[0077]
根据本发明实施例的基于智能机器人的绝缘子检测系统，通过第一获取模块采用摄像单元对待检测绝缘子进行拍摄以获取相应的目标检测图像，以及通过第二获取模块根据改进的yolov5检测模型对目标检测图像进行图像识别，以获取绝缘子检测图像，并通过第三获取模块根据espnet语义分割模型对绝缘子检测图像进行语义分割处理，以获取对应的前景掩模图像，以及通过第四获取模块采用改进的gan模型对绝缘子检测图像进行区域重构，以获取第一重构图像，并通过瑕疵检测模块用于根据第一重构图像、绝缘子检测图像和前景掩模图像判断绝缘子是否存在绝缘子瑕疵，以及在绝缘子存在绝缘子瑕疵时，对绝缘子瑕疵进行定位。由此，根据第一重构图像、绝缘子检测图像和前景掩模图像判断绝缘子是否存在绝缘子瑕疵，以及在绝缘子存在绝缘子瑕疵时，对绝缘子瑕疵进行定位。
[0078]
对应上述实施例，本发明还提出一种计算机设备。
[0079]
本发明实施例的计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述的基于智能机器人的绝缘子检测方法。
[0080]
根据本发明实施例的计算机设备，整合并改进yolov5检测模型、espnet语义分割模型和gan模型构成联合检测系统以对绝缘子以及绝缘子的瑕疵进行定位和检测，大大提高了检测的准确性和效率。
[0081]
对应上述实施例，本发明还提出一种非临时性计算机可读存储介质。
[0082]
本发明实施例的非临时性计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述的基于智能机器人的绝缘子检测方法。
[0083]
根据本发明实施例的非临时性计算机可读存储介质，整合并改进yolov5检测模型、espnet语义分割模型和gan模型构成联合检测系统以对绝缘子以及绝缘子的瑕疵进行定位和检测，大大提高了检测的准确性和效率。
[0084]
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗
示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0085]
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0086]
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
[0087]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0088]
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0089]
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0090]
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
[0091]
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
技术特征：1.一种基于智能机器人的绝缘子检测方法，其特征在于，所述智能机器人悬挂在架空线上，所述智能机器人上设置有摄像单元，所述绝缘子检测方法包括以下步骤：通过所述摄像单元对待检测绝缘子进行拍摄以获取相应的目标检测图像；根据改进的yolov5检测模型对所述目标检测图像进行图像识别，以获取绝缘子检测图像；根据espnet语义分割模型对所述绝缘子检测图像进行语义分割处理，以获取对应的前景掩模图像；采用改进的gan模型对所述绝缘子检测图像进行区域重构，以获取第一重构图像；根据所述第一重构图像、所述绝缘子检测图像和所述前景掩模图像判断所述绝缘子是否存在绝缘子瑕疵，以及在所述绝缘子存在所述绝缘子瑕疵时，对所述绝缘子瑕疵进行定位。2.根据权利要求1所述的基于智能机器人的绝缘子检测方法，其特征在于，还包括：根据定位到的绝缘子瑕疵区域从所述改进的yolov5检测模型中提取所所述绝缘子瑕疵相关的第一视觉特征；根据所述第一视觉特征对所述绝缘子瑕疵进行细分。3.根据权利要求1所述的基于智能机器人的绝缘子检测方法，其特征在于，所述改进的yolov5检测模型包括：骨架网络、特征增强网络、采样网络、加权卷积网络和输出网络；所述根据改进的yolov5检测模型对所述目标检测图像进行图像识别，以获取绝缘子检测图像，包括以下步骤：通过所述骨架网络从所述目标检测图像中提取出第二视觉特征；通过所述特征增强网络对所述第二视觉特征进行深层加工；通过采样网络采用上采样和下采样的方式对加工后的第二视觉特征继续进行采样，以获取不同特征尺度的特征信息；通过加权卷积网络对所述不同特征尺度的特征信息进行加权信息整合以获取单特征尺度的特征信息；通过所述输出网络根据所述单特征尺度的特征信息获取所述绝缘子检测图像。4.根据权利要求1所述的基于智能机器人的绝缘子检测方法，其特征在于，所述改进的gan模型包括：生成器、鉴别器和二次编码器；其中，在所述采用改进的gan模型对所述前景掩模图像和所述绝缘子检测图像进行区域重构之前，还包括：通过训练获取所述can模型，其中，所述通过训练获取所述can模型包括以下步骤：获取所述绝缘子的待训练样本图像；通过所述生成器中的编码器对所述待训练样本图像进行编码以获取相应的第一隐变量；通过所述生成器中的解码器根据所述第一隐变量生成相应的第二重构图像；通过所述二次编码器对所述第二重构图像进行编码以获取相应的编码结果；根据所述编码结果对所述第一隐变量进行优化，以获取第二隐变量；通过所述编码器根据所述第二隐变量生成相应的第三重构图像；通过所述鉴别器根据所述第三重构图像和所述待训练样本图像进行真伪判断，并根据判断结果调整所述can模型的损失函数。
5.根据权利要求4所述的基于智能机器人的绝缘子检测方法，其特征在于，所述根据所述第一重构图像、所述缘子检测图像和所述前景掩模图像判断所述绝缘子是否存在绝缘子瑕疵，包括以下步骤：将所述绝缘子检测图像和所述第一重构图像做差，并利用所述前景掩模图像进行约束，以获取相应的差分图像；将所述差分图像中的前景像素数目与预设阈值进行比较，以判断所述绝缘子是否存在绝缘子瑕疵。6.一种基于智能机器人的绝缘子检测系统，其特征在于，所述智能机器人悬挂在架空线上，所述智能机器人上设置有摄像单元，所述绝缘子检测系统包括：第一获取模块，所述第一获取模块用于通过所述摄像单元对待检测绝缘子进行拍摄以获取相应的目标检测图像；第二获取模块，所述第二获取模块用于根据改进的yolov5检测模型对所述目标检测图像进行图像识别，以获取绝缘子检测图像；第三获取模块，所述第三获取模块用于根据espnet语义分割模型对所述绝缘子检测图像进行语义分割处理，以获取对应的前景掩模图像；第四获取模块，所述第四获取模块用于采用改进的gan模型对所述绝缘子检测图像进行区域重构，以获取第一重构图像；瑕疵检测模块，所述瑕疵检测模块用于根据所述第一重构图像、所述绝缘子检测图像和所述前景掩模图像判断所述绝缘子是否存在绝缘子瑕疵，以及在所述绝缘子存在所述绝缘子瑕疵时，对所述绝缘子瑕疵进行定位。7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现根据权利要求1-5中任一项所述的基于智能机器人的绝缘子检测方法。8.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现根据权利要求1-5中任一项所述的基于智能机器人的绝缘子检测方法。
技术总结本发明提供了一种基于智能机器人的绝缘子检测方法和系统，该方法包括：获取相应的目标检测图像；根据改进的YOLOv5检测模型对目标检测图像进行图像识别，以获取绝缘子检测图像；根据ESPNet语义分割模型对绝缘子检测图像进行语义分割处理，获取对应的前景掩模图像；采用改进的GAN模型对绝缘子检测图像进行区域重构，以获取第一重构图像；根据第一重构图像、绝缘子检测图像和前景掩模图像判断绝缘子是否存在绝缘子瑕疵，以及在绝缘子存在绝缘子瑕疵时，对绝缘子瑕疵进行定位。根据本发明的绝缘子检测方法，整合并改进YOLOv5检测模型、ESPNet语义分割模型和GAN模型构成联合检测系统以对绝缘子以及绝缘子的瑕疵进行定位和检测，大大提高了检测的准确性和效率。大大提高了检测的准确性和效率。大大提高了检测的准确性和效率。
技术研发人员：段家振 史如新 陆政 刘洪涛 树玉琴 任显铭 程伟
受保护的技术使用者：国网江苏省电力有限公司双创中心 国家电网有限公司
技术研发日：2022.05.26
技术公布日：2022/11/1
