基于改进yolov5s模型的苹果叶片病害检测方法
技术领域
1.本发明属于植物病害检测技术领域，具体说是一种基于改进yolov5s模型的苹果叶片病害检测方法。
背景技术：2.苹果富含矿物质和维生素，是人们最常食用的水果之一。苹果叶片是其进行光合作用的主要器官，起着制造营养，向果实输送营养的重要任务，所以苹果叶片病害是影响苹果树生长的重要因素。苹果叶片的病害种类繁多，其中几种常见的病害有斑点落叶病、褐斑病、灰斑病、花叶病、锈病，保果的基础在于保叶，快速发现并对苹果叶片病害进行精确识别检测，针对不同病害采取不同的治理措施，能够减少生产损失，提高苹果的产量和质量。因此，对于苹果叶片病害进行精确检测识别，对保证苹果树生长起到重要作用。
3.基于深度学习的目标检测方法是现今最热门的植物病害识别方法。目标检测的任务是在图像中找到感兴趣的目标，并且标注目标的名称以及位置大小。当前主流的目标检测方法对于苹果叶片病害这种小目标检测的效果较差，且识别精度较低，在非晴天的拍摄情况下，由于雨滴的干扰，苹果叶片病害的检测效果较差，不能准确识别出各种叶片病害，因此目前亟待一种检测方法来提高苹果叶片病害检测精度。
技术实现要素：4.发明目的：针对上述现有技术存在的不足，本发明的目的是提供一种基于改进yolov5s模型的苹果叶片病害检测方法，不仅提高了网络训练模型的精度和准确性，而且能够在雨天情况下对苹果叶片病害进行更好的检测。
5.技术方案：为了实现上述发明目的，本发明采用的技术方案如下：
6.一种基于改进yolov5s模型的苹果叶片病害检测方法，包括以下步骤：
7.s1：获取苹果叶片不同病害的图像，进行标签标注，构建初始数据集；
8.s2：采用图像处理方法扩充数据集，并划分训练集和测试集，得到最终的数据集；
9.s3：引入yolov5s网络模型并加以改进，使用改进后的模型对数据集进行训练得到最终的苹果叶片病害检测模型；
10.s4：利用最终的苹果叶片病害检测模型对待检测图像进行检测，得到检测结果。
11.进一步地，步骤s1中，苹果叶片的常见病害包括链格孢菌病、褐斑病、灰斑病、花叶病和锈病，对不同病害图像进行标签标注。
12.进一步地，步骤s2中，对图像进行仿射变换、过滤、平移、旋转方法处理，将数据集扩充，来增加数据集的丰富性，防止模型过拟合。
13.进一步地，步骤s3中，在yolov5s网络模型的neck结构的特征金字塔基础上，添加fem，同时在yolov5s网络模型的backnone结构中的csp结构后添加ca注意力机制模块，实现增强网络学习特征的表达能力，提高网络训练模型的平均精度均值。
14.进一步地，fem包括两个部分，分别为多分支卷积层和平均池化层，所述多分支卷
积层包括扩张卷积层、bn层以及激活层，通过扩张卷积的方法给输入特征图提供不同的感受野；所述平均池化层融合每个支路感受野的交通信息，提高多尺度精度检测。
15.进一步地，a注意力机制模块的实现过程为：
16.为了获取图像宽度和高度上的注意力并对精确位置信息进行编码，先对输入特征图的宽度和高度两个方向进行全局平均池化，得到两个方向的特征图；接着将获得全局感受野的宽度和高度两个方向的特征图拼接在一起，然后将其送入共享的卷积核为1
×
1的卷积模块，将维度降为原来的c/r，之后将经过批归一化处理后的特征图f送入sigmoid激活函数得到特征图f；接着将特征图f按照原来的高度和宽度进行卷积核为1
×
1的卷积分别得到通道数和原来一样的fh和fw经过sigmoid激活函数分别得到特征图在高度和宽度上的注意力权重；最后在原始特征图上通过乘法加计算，最终得到在宽度和高度方向上带有注意力权重的特征图。
17.进一步地，步骤s5中，对待检测图像进行预处理，判断图像是否为晴天或雨天拍摄，若为雨天拍摄，则对图像进行雨点降噪处理；若为晴天拍摄，则直接使用网络模型进行检测，得到最终的检测结果。
18.进一步地，判断图像是否为晴天拍摄的过程如下：
19.s51：根据晴天和雨天时叶片表面纹理有所差异，通过提取纹理特征并进行特征匹配的方法来判断图像是否为晴天拍摄；
20.s52：输入待检测图像，对检测图像进行灰度和二值化处理，然后提取叶片表面特征点，并将提取的关键点向量化，把提取的局部特征作为观测图；
21.s53：对模版图和观测图进行相似度量。
22.进一步地，设置阈值threshold，当相似度量值满足d(m
ij
，r
ij
)＜threshold时，可以判断为待检测图像为晴天拍摄，直接使用检测模型进行病害检测；如果不满足判断条件，则拍摄图像为雨天拍摄，采用attentive gan算法对图像进行降噪处理。
23.有益效果：本发明与现有技术相比，具有以下优点：
24.本发明在原有的yolov5s模型结构基础上，添加了fem模块和ca注意力模块两个创新结构，这两个结构能够扩大特征图的感受野，提升多尺度苹果叶片的识别精度，以及增强网络学习特征的表达能力，提高网络训练模型的平均精度均值。此外，在检测图像时添加了判断图像是否为晴天拍摄的创新步骤，通过判断待检测图像为非晴天拍摄时使用attentive gan算法降噪来提高雨天情况下苹果叶片病害的检测精度。本发明通过改进yolov5s网络模型和引入attentive gan算法，不仅在网络训练模型时增强网络学习特征的表达能力，提高模型的准确率和精度，而且能够在雨天情况下实现对苹果叶片病害的准确识别。
附图说明
25.图1为本发明中基于改进yolov5s模型的苹果叶片病害检测方法的流程图。
26.图2为本发明中改进的yolov5s网络模型图；
27.图3为本发明方法进行苹果叶片链格孢菌病害检测结果图；
28.图4为本发明方法进行苹果叶片褐斑病病害检测结果图；
29.图5为本发明方法进行苹果叶片灰斑病病害检测结果图；
30.图6为本发明方法进行苹果叶片花叶病病害检测结果图；
31.图7为本发明方法进行苹果叶片锈病病害检测结果图。
具体实施方式
32.下面结合附图和具体实施例，进一步阐明本发明，本实施例在以本发明技术方案为前提下进行实施，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围。
33.如图1所示，本发明公开一种基于改进yolov5s模型的苹果叶片病害检测方法，包括步骤s1-s5五大步骤：
34.s1、获取苹果叶片病害图像，进行标签标注，构建初始数据集；
35.苹果叶片病害图像主要包括苹果叶片五种常见病害：斑点落叶病、褐斑病、灰斑病、花叶病、锈病，并使用make sense对图像进行标签标注。
36.s2、使用图像处理方法进行数据集扩充，得到最终数据集；
37.初始数据集，采用图像处理方法，包括现有的仿射变换、过滤、平移、旋转方法，将数据集扩充，来增加数据集的丰富性，防止模型过拟合，提高模型的泛化能力。按照8∶2的比例将数据集分成训练集和测试集，得到最终的数据集。
38.s3、引入yolov5s网络模型并对模型的neck结构和backbone结构加以改进，并利用改进后的yolov5s网络模型进行训练，得到最终的苹果叶片病害检测模型。
39.s31：在原来yolov5s网络模型的neck结构的特征金字塔基础上，添加fem(特征增强模块)，包括两个部分：
40.第一部分是多分支卷积层，包括三个结构：扩张卷积层、bn层以及线性整流(relu)激活层，通过扩张卷积的方法给输入特征图提供不同的感受野；第二部分是平均池化层，融合每个支路感受野的交通信息，提高多尺度精度检测。
41.多分支卷积层，它通过扩张卷积的方法来给输入的特征图提供大小不同的感受野，分成的三个结构层中的扩张卷积都拥有相同大小的内核，但是彼此的扩张速度不同。具体说来，它们都采用3
×
3的扩张卷积核，三个层次的扩张速度d分别是1、3、5。扩展卷积不损失分辨率的情况下，能够以指数比例来扩展感受野。而在扩张卷积的卷积运算中，卷积核的元素是间隔的，空间的大小取决于膨胀率，这与标准卷积运算中卷积核的元素都是相邻的不同。卷积核由3
×
3更改为7
×
7，该层的感受野为7
×
7。扩张卷积的感受野公式为：
42.r1＝1+(k-1)
×d43.r2＝r1+(k-1)
×d44.rn＝r
n-1
+(k-1)
×d45.其中，k和d分别表示kernel-size和卷积的步长。
46.平均池化层，将每个支路的感受野的信息加以融合，最终会提高多尺度精度预测。分支池化层用于融合来自不同并行分支的信息，避免引入额外参数。在训练过程中，利用平均操作来平衡不同平行分支的表示，使单个分支在测试过程中实现推理。表达式如下：
[0047][0048]
其中，yi表示分支池化层的输出，a表示并行分支的数量。
[0049]
s32：同时在原来yolov5s网络模型的backnone结构中的csp结构后添加ca注意力
机制模块，以增强网络学习特征的表达能力，提高网络训练模型的平均精度均值。
[0050]
ca注意力模块实现过程如下。
[0051]
ca模块为了获取图像宽度和高度上的注意力并对精确位置信息进行编码，先对输入特征图的宽度和高度两个方向进行全局平均池化，得到两个方向的特征图，公式如下：
[0052][0053][0054]
其中，w是输入特征图的宽度，h是输入特征图的高度，xc表示第c个通道处的输入，h表示处于特征图的h高度处，xc(h，i)表示在h高度处将宽度w分成w等分第i个等分处的输入，xc(j，w)表示在w宽度处将高度h分成h等分第j个等分处的输入。
[0055]
接着将获得全局感受野的宽度和高度两个方向的特征图拼接在一起，然后将其送入共享的卷积核为1
×
1的卷积模块，将维度降为原来的c/r，之后将经过批归一化处理后的特征图f送入sigmoid激活函数得到特征图f，公式如下：
[0056][0057]
其中，6表示sigmoid激活函数，激活函数的公式如下：
[0058][0059]
接着将特征图f按照原来的高度和宽度进行卷积核为1
×
1的卷积分别得到通道数和原来一样的fh和fw，经过sigmoid激活函数分别得到特征图在高度和宽度上的注意力权重，公式如下：
[0060]
ωh＝δ(fh(fh))
[0061]
ωw＝δ(fw(fw))
[0062]
其中，δ是sigmoid激活函数，fh和fw分别是特征图f在高度和宽度方向上的分量，fh和fw分别是特征图f两个分量经过1
×
1卷积后的特征图。
[0063]
最后在原始特征图上通过乘法加计算，最终得到在宽度和高度方向上带有注意力权重的特征图，公式如下：
[0064][0065]
其中，xc(m，n)是原始特征图，和分别是高度和宽度方向带有注意力权重的特征图。
[0066]
s4、使用改进后的yolov5s网络模型对数据集进行训练，得到最终的苹果叶片病害检测模型；
[0067]
将训练数据集和测试数据集传入改进后的yolov5s网络模型，设置如下参数：输入图像大小设置为640*640，batch_size设置为4，训练次数epoch设置为100，然后进行模型的训练。本发明对于改进后的yolov5s网络模型和原来的yolov5s网络模型进行了性能验证，实验环境为：cpu：intel(r)core(tm)i5-7300hq，内存16g，显卡为gtx1050，cuda版本11.6，框架采用的是pytorch。实验结果如下。
[0068]
改进后的yolov5s模型的map值为95.8％，原先yolov5s的map值为89.7％，提高了
6.1个百分点；改进后的yolov5s模型的精度值93.1％，原先的yolov5s模型的精度值为87.6％，提高了5.5个百分点；改进后的yolov5s模型的召回率为94.1％，原先的yolov5s模型的召回率为90.3％，提高了3.8个百分点，综合可知，改进后的yolov5s模型在多个性能评价指标上都优于原先的yolov5s模型。
[0069]
s5、对待检测图像进行预处理，判断图像是否为晴天或雨天拍摄，若为雨天拍摄，则使用attentive gan算法对图像进行雨点降噪处理；若为晴天拍摄，则直接使用网络模型进行检测，得到最终的检测结果。
[0070]
判断图像是否为晴天拍摄的过程如下：
[0071]
s51：根据晴天和雨天时叶片表面纹理有所差异，可以通过提取纹理特征并进行特征匹配的方法来判断图像是否为晴天拍摄。首先读取晴天时拍摄的苹果叶片图像作为匹配数据，对匹配数据图像进行灰度处理及二值化处理，然后采用sift算法对叶片进行特征点的提取，并将提取的关键点向量化，把提取的局部特征作为匹配模版。模版图关键点向量化矩阵如下：
[0072][0073]
s52：接着输入待检测图像，对检测图像进行灰度和二值化处理，然后采用sift算法提取叶片表面特征点，并将提取的关键点向量化，把提取的局部特征作为观测图。观测图关键点向量化矩阵如下：
[0074][0075]
s53：对模版图和观测图进行相似度量，度量公式如下：
[0076][0077]
其中，m
ij
表示模版图向量化矩阵中的每个关键点的特征值，rii表示观测图向量化矩阵中每个关键点的特征值。
[0078]
设置阈值threshold，当相似度量值满足d(m
ij
，r
ij
)＜threshold时，可以判断为待检测图像为晴天拍摄，直接使用检测模型进行病害检测；如果不满足判断条件，则拍摄图像为雨天拍摄，采用attentive gan算法对图像进行降噪处理。
[0079]
本发明将预处理后的图像放入苹果叶片病害检测模型，输出检测结果，检测结果图如图3-7所示，分别为链格孢菌病(altemaria boltch)、褐斑病(browm_spot)、灰斑病(grey_spot)、花叶病(mosaic disease)、锈病(rust)检测结果，可知，本发明的苹果叶片病害检测模型能够准确识别苹果叶片病害。
[0080]
具体实施方式只是本发明的一个优选实施例，并不是用来限制本发明的实施与权利要求范围的，凡依据本发明申请专利保护范围内容做出的等效变化和修饰，均应包括于本发明专利申请范围内。
技术特征：1.一种基于改进yolov5s模型的苹果叶片病害检测方法，其特征在于：包括以下步骤：s1：获取苹果叶片不同病害的图像，进行标签标注，构建初始数据集；s2：采用图像处理方法扩充数据集，并划分训练集和测试集，得到最终的数据集；s3：引入yolov5s网络模型并加以改进，使用改进后的模型对数据集进行训练得到最终的苹果叶片病害检测模型；s4：利用最终的苹果叶片病害检测模型对待检测图像进行检测，得到检测结果。2.根据权利要求1所述的基于改进yolov5s模型的苹果叶片病害检测方法，其特征在于：步骤s1中，苹果叶片的常见病害包括链格孢菌病、褐斑病、灰斑病、花叶病和锈病，对不同病害图像进行标签标注。3.根据权利要求1所述的基于改进yolov5s模型的苹果叶片病害检测方法，其特征在于：步骤s2中，对图像进行仿射变换、过滤、平移、旋转方法处理，将数据集扩充，来增加数据集的丰富性，防止模型过拟合。4.根据权利要求1所述的基于改进yolov5s模型的苹果叶片病害检测方法，其特征在于：步骤s3中，在yolov5s网络模型的neck结构的特征金字塔基础上，添加fem，同时在yolov5s网络模型的backnone结构中的csp结构后添加ca注意力机制模块，实现增强网络学习特征的表达能力，提高网络训练模型的平均精度均值。5.根据权利要求4所述的基于改进yolov5s模型的苹果叶片病害检测方法，其特征在于：fem包括两个部分，分别为多分支卷积层和平均池化层，所述多分支卷积层包括扩张卷积层、bn层以及激活层，通过扩张卷积的方法给输入特征图提供不同的感受野；所述平均池化层融合每个支路感受野的交通信息，提高多尺度精度检测。6.根据权利要求5所述的基于改进yolov5s模型的苹果叶片病害检测方法，其特征在于：ca注意力机制模块的实现过程为：为了获取图像宽度和高度上的注意力并对精确位置信息进行编码，先对输入特征图的宽度和高度两个方向进行全局平均池化，得到两个方向的特征图；接着将获得全局感受野的宽度和高度两个方向的特征图拼接在一起，然后将其送入共享的卷积核为1
×
1的卷积模块，将维度降为原来的c/r，之后将经过批归一化处理后的特征图f送入sigmoid激活函数得到特征图f；接着将特征图f按照原来的高度和宽度进行卷积核为1
×
1的卷积分别得到通道数和原来一样的f
h
和f
w
经过sigmoid激活函数分别得到特征图在高度和宽度上的注意力权重；最后在原始特征图上通过乘法加计算，最终得到在宽度和高度方向上带有注意力权重的特征图。7.根据权利要求1所述的基于改进yolov5s模型的苹果叶片病害检测方法，其特征在于：步骤s5中，对待检测图像进行预处理，判断图像是否为晴天或雨天拍摄，若为雨天拍摄，则对图像进行雨点降噪处理；若为晴天拍摄，则直接使用网络模型进行检测，得到最终的检测结果。8.根据权利要求1所述的基于改进yolov5s模型的苹果叶片病害检测方法，其特征在于：判断图像是否为晴天拍摄的过程如下：s51：根据晴天和雨天时叶片表面纹理有所差异，通过提取纹理特征并进行特征匹配的方法来判断图像是否为晴天拍摄；s52：输入待检测图像，对检测图像进行灰度和二值化处理，然后提取叶片表面特征点，
并将提取的关键点向量化，把提取的局部特征作为观测图；s53：对模版图和观测图进行相似度量。9.根据权利要求8所述的基于改进yolov5s模型的苹果叶片病害检测方法，其特征在于：设置阈值threshold，当相似度量值满足d(m
ij
，r
ij
)＜threshold时，可以判断为待检测图像为晴天拍摄，直接使用检测模型进行病害检测；如果不满足判断条件，则拍摄图像为雨天拍摄，采用attentive gan算法对图像进行降噪处理。
技术总结本发明公开一种基于改进Yolov5s模型的苹果叶片病害检测方法，首先，获取苹果叶片不同病害的图像，进行标签标注，构建初始数据集；采用图像处理方法扩充数据集，并划分训练集和测试集，得到最终的数据集；引入yolov5s网络模型并加以改进，使用改进后的模型对数据集进行训练得到最终的苹果叶片病害检测模型；利用最终的苹果叶片病害检测模型对待检测图像进行检测，得到检测结果。本发明通过改进yolov5s网络模型和引入Attentive GAN算法，不仅在网络训练模型时增强网络学习特征的表达能力，提高模型的准确率和精度，而且能够在雨天情况下实现对苹果叶片病害的准确识别。对苹果叶片病害的准确识别。对苹果叶片病害的准确识别。
技术研发人员：邹红艳 朱瑞林 李振业 倪瑞涛
受保护的技术使用者：南京林业大学
技术研发日：2022.06.13
技术公布日：2022/11/1
