一种基于改进YOLOv9s模型的光伏电池板缺陷检测方法和系统

专利2025-04-07  6


本发明涉及目标检测,具体涉及一种基于改进yolov9s模型的光伏电池板缺陷检测方法。


背景技术:

1、随着科技的进步,能源与环保问题愈加突出,传统能源已无法满足当前的需求。作为最易获取的可再生资源,太阳能得到了广泛应用,光伏电池板发电技术也取得了显著发展。随着“碳中和”目标的提出,光电因其易获取、易收集、易使用等优点,在清洁能源领域逐渐占据主导地位。

2、在将太阳能转化为电能的过程中,光伏太阳能板是关键的转化设备。然而,在光伏板生产过程中,不可避免地会出现缺陷,这些缺陷会显著降低光电的转换效率和使用寿命,从而导致经济损失。通过在智能制造过程中检测太阳能光伏板,可以避免这一问题。然而,传统的人工检测电致发光图像(el图像)方法既繁琐,又需要检测人员具备专业知识和丰富经验。为了降低生产成本,基于机器视觉的自动检测更具吸引力。

3、尽管传统的机器学习方法在一定程度上降低了人工检测成本,但在速度、精度和模型大小方面未能取得理想效果。此外,生产过程中产生的缺陷特征相似且规模较小,使得通过电致发光图像(el图像)进行光伏电池的自动检测成为一项挑战。

4、为了满足智能制造和使用中对高质量光伏板产品日益增长的需求,并确保发电过程中的高效运行,有必要提出一种高精度、模型适中的光伏电池板缺陷检测方法。

5、上述问题是目前亟待解决的。


技术实现思路

1、本发明的目的是提供一种基于改进yolov9s模型的光伏电池板缺陷检测方法和系统,用于提高对复杂背景的小目标检测精度。

2、为了要克服现有技术的上述至少一个缺点,一方面,本发明提供了一种基于改进yolov9s模型的光伏电池板缺陷检测方法,所述方法包括:s110:采集太阳能电池板缺陷图像;s120:通过对所述太阳能电池板缺陷图像进行畸变、矫正、去除无关背景和/或归一化的预处理构建太阳能电池板缺陷数据集;s130:对所述数据集中包含的图像按比例划分为训练集、验证集和测试集,使用软件标注每张缺陷电池片图像的缺陷类别和位置信息;s140:构建改进的yolov9s神经网络模型,包括在骨干网络中将部分原有的repncspelan4模块替换成cd-lsk模块,将原有的损失函数替换为shape-iou,修改网络结构,引入加权双向特征金字塔网络模块bifpn;s150:将训练集中包含的图像输入到步骤s140构建的改进的yolov9s神经网络模型中进行训练,得到训练后的网络模型;s160:将测试集中包含的图像输入到步骤s150中的训练后的网络模型中,得到测试结果后与真实标准的信息进行误差比较;s170:将步骤s150中训练后的网络模型用于真实工况下的太阳能电池板缺陷检测得到检测结果。

3、进一步的,所述改进的yolov9s神经网络模型包括骨干网络、颈部网络和头部网络;所述骨干网络包括conv模块、elan1模块、aconv模块、repncspelan4模块,用于生成特征图;所述颈部网络包括sppelan模块、conv模块、upsample模块、concat模块、repncspelan4模块、aconv模块、bifpn模块和adown模块,用于对所述特征图进行特征融合;所述头部网络包括三个检测头,用于生成不同大小的特征向量p3、p4、p5,分别用于检测小尺度目标、中尺度目标和大尺度目标。

4、进一步的,所述在骨干网络中将部分原有的repncspelan4模块替换成cd-lsk模块包括:利用cd-lsk模块替换原始yolov9s神经网络模型中的骨干网络中第七层和第九层的repncspelan4模块;所述cd-lsk模块包括一个lskblock模块和两个卷积块conv,所述两个卷积块conv分别位于lskblock模块的输入端和输出端。

5、进一步的,所述lskblock模块由两个残余子块组成,包括大核选择子块lkselection和前馈网络子块ffn;所述大核选择子块lk selection通过动态调节网络的感受野,实现对输入特征的局部或者全局的关注,包括:深度卷积序列:使用一系列的深度卷积来处理输入特征图,每个卷积层的核大小和扩张率逐渐增加,以扩展感受野;空间选择机制:对卷积后的特征图进行加权,加权的权重基于输入特征图动态计算,允许网络根据目标对象的空间位置动态调整感受野;所述前馈网络子块ffn用于通过全连接层、深度卷积、gelu激活和第二个全连接层的组合实现通道混合和特征信息细化。

6、进一步的,所述将原有的损失函数替换为shape-iou包括:

7、shape-iou的计算公式如下:

8、lshape-iou=1-iou+distanceshape+0.5*ωshape;

9、

10、

11、ωshape=σt=w,h(1-eωt)θ;

12、

13、式中,scale为尺度因子,与数据集中目标中的尺度有关,ww与hh分别是水平方向和竖直方向的权重系数,取值与gt框的大小形状有关,b表示锚框,bgt表示gt框,wgt是gt框的宽,hgt是gt框的高,(xcgt,ycgt)表示gt框内的中心点坐标,(xc,yc)表示锚框内的中心点坐标,w表示锚框的宽,h表示锚框的高,c为与数据集相关的常数。

14、进一步的,所述修改网络结构,引入加权双向特征金字塔网络模块bifpn包括:通过在颈部网络中引入加权双向特征金字塔网络模块bifpn进而引入可学习的权值来学习不同输入特征的重要性,同时反复的应用自顶部向下和自底部向上的多尺度特征融合;所述加权双向特征金字塔网络模块bifpn基于双向跨尺度连接和快速归一化特征融合形成,其中,快速归一化特征融合公式为:

15、

16、式中,wi为第i个特征图的可学习权重,其数值大于或等于0,∈取值为0.0001,o代表融合后的特征图,ii是第i个特征图,wj为j个wi相加。

17、进一步的,所述加权双向特征金字塔网络模块bifpn在原始特征金字塔网络fpn和路径聚合网络panet结构的基础上增加了两条横向连接路径,用于将骨干网络提取的特征融入待检测特征图。

18、进一步的,所述将训练集中包含的图像输入到步骤s140构建的改进的yolov9s神经网络模型中进行训练,得到训练后的网络模型包括:将训练集中包含的图像输入至改进后的yolov9s模型中进行训练,得到最优的权重;使用所述最优的权重进行测试和验证,调整改进后的yolov9s模型中的参数。

19、进一步的,所述s160:将测试集中包含的图像输入到步骤s150中的训练后的网络模型中,得到检测结果后与真实标准的信息进行误差比较包括:将测试集图像输入到训练后的网络模型中,得到测试集缺陷图像的预测信息,包括缺陷位置信息、类别信息和置信度信息;与真实标注信息进行对比,输出模型测试集的精确率、召回率以及平均精确率均值。

20、第二方面,本发明提供了一种基于改进yolov9s模型的光伏电池板缺陷检测系统,所述系统包括:图像采集单元,适用于采集太阳能电池板缺陷图像;数据集构建单元,适用于通过对所述太阳能电池板缺陷图像进行畸变、矫正、去除无关背景和/或归一化的预处理构建太阳能电池板缺陷数据集;数据集划分单元,适用于对所述数据集中包含的图像按比例划分为训练集、验证集和测试集,使用软件标注每张缺陷电池片图像的缺陷类别和位置信息;构建改进的yolov9s模型单元,适用于构建改进的yolov9s神经网络模型,包括在骨干网络中将部分原有的repncspelan4模块替换成cd-lsk模块,将原有的损失函数替换为shape-iou,修改网络结构,引入加权双向特征金字塔网络模块bifpn;模型训练单元,适用于将训练集中包含的图像输入到构建改进的yolov9s模型单元构建的改进的yolov9s神经网络模型中进行训练,得到训练后的网络模型;模型测试单元,适用于将测试集中包含的图像输入到模型训练单元中的训练后的网络模型中,得到测试结果后与真实标准的信息进行误差比较;检测单元,适用于将模型训练单元中训练后的网络模型用于真实工况下的太阳能电池板缺陷检测得到检测结果。

21、又一方面,本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有一个或一个以上的指令,所述计算机指令用于使所述计算机执行上述的基于改进yolov9s模型的光伏电池板缺陷检测方法。

22、再一方面,本发明提供了一种电子设备,包括:存储器和处理器;所述存储器中存储有至少一条程序指令;所述处理器通过加载并执行所述至少一条程序指令以实现上述的基于改进yolov9s模型的光伏电池板缺陷检测方法。

23、本发明的有益效果是:本发明提供了一种基于改进yolov9s模型的光伏电池板缺陷检测方法,一方面,替换了repncspelan4模块,通过在复杂背景下的小目标检测中运用lsk的大型选择性核机制,显著提高了对复杂背景的小目标检测精度。另一方面,通过采用shape-iou损失函数,其是一种基于边框回归损失函数的目标检测方法,分析边界框的回归特征,通过考虑边框自身的形状和尺度,可以有效提升了检测效果。再一方面,加入颈部网络加权双向特征金字塔网络(bifpn),网络引入可学习的权值来学习不同输入特征的重要性,同时反复的应用自顶部往下和自底部向上的多尺度特征融合,经过一系列操作可在不增加太多计算量的前提下,让待检测的特征图像可以获得更多的特征信息,增强特征图的表达能力,提高检测器性能。


技术特征:

1.一种基于改进yolov9s模型的光伏电池板缺陷检测方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于改进yolov9s模型的光伏电池板缺陷检测方法,其特征在于,所述改进的yolov9s神经网络模型包括骨干网络、颈部网络和头部网络;

3.根据权利要求1所述的基于改进yolov9s模型的光伏电池板缺陷检测方法,其特征在于,所述在骨干网络中将部分原有的repncspelan4模块替换成cd-lsk模块包括:

4.根据权利要求3所述的基于改进yolov9s模型的光伏电池板缺陷检测方法,其特征在于,所述lskblock模块由两个残余子块组成,包括大核选择子块lk selection和前馈网络子块ffn;

5.根据权利要求1所述的基于改进yolov9s模型的光伏电池板缺陷检测方法,其特征在于,所述将原有的损失函数替换为shape-iou包括:

6.根据权利要求1所述的基于改进yolov9s模型的光伏电池板缺陷检测方法,其特征在于,所述修改网络结构,引入加权双向特征金字塔网络模块bifpn包括:

7.根据权利要求6所述的基于改进yolov9s模型的光伏电池板缺陷检测方法,其特征在于,所述加权双向特征金字塔网络模块bifpn在原始特征金字塔网络fpn和路径聚合网络panet结构的基础上增加了两条横向连接路径,用于将骨干网络提取的特征融入待检测特征图。

8.根据权利要求1所述的基于改进yolov9s模型的光伏电池板缺陷检测方法,其特征在于,所述将训练集中包含的图像输入到步骤s140构建的改进的yolov9s神经网络模型中进行训练,得到训练后的网络模型包括:

9.根据权利要求1所述的基于改进yolov9s模型的光伏电池板缺陷检测方法,其特征在于,所述s160:将测试集中包含的图像输入到步骤s150中的训练后的网络模型中,得到检测结果后与真实标准的信息进行误差比较包括:

10.一种基于改进yolov9s模型的光伏电池板缺陷检测系统,其特征在于,所述系统包括:


技术总结
本发明提供了一种基于改进YOLOv9s模型的光伏电池板缺陷检测方法和系统,属于目标检测技术领域。所述方法包括:S110:采集太阳能电池板缺陷图像;S120:构建太阳能电池板缺陷数据集;S130:划分为训练集、验证集和测试集,使用软件标注每张缺陷电池片图像的缺陷类别和位置信息;S140:构建改进的YOLOv9s神经网络模型,包括在骨干网络中将部分原有的RepNCSPELAN4模块替换成CD‑LSK模块,将原有的损失函数替换为Shape‑IoU,修改网络结构,引入加权双向特征金字塔网络模块BiFPN;S150:对改进的YOLOv9s神经网络模型进行训练,得到训练后的网络模型;S160:对步骤S150中的训练后的网络模型进行测试;S170:将训练后的网络模型用于太阳能电池板缺陷检测得到检测结果。显著提高了对复杂背景的小目标检测精度。

技术研发人员:郑剑锋,肖皓轩,谢鑫宇,丁泓丞,吴继平
受保护的技术使用者:常州大学
技术研发日:
技术公布日:2024/11/11
转载请注明原文地址: https://tieba.8miu.com/read-12872.html

最新回复(0)