本发明涉及图像分割领域,尤其涉及一种基于改进yolov8n-seg的花生分割方法。
背景技术:
1、花生,又称长生果,是重要的食用油资源和优质的植物蛋白资源,具有很高的应用价值。我国在世界花生生产中占有重要地位,是总产量最高、平均亩产量最高、销售价格最低和出口量最大的国家。
2、针对花生分割问题,传统方法用分水岭算法对粘连花生进行分割,但分水岭算法的分割精度不高,对于不同场景下的分割适应性不够好。随着深度学习的发展,以yolo系列为主要代表的检测模型快速发展,其中yolov8-seg模型兼顾目标检测和实例分割两者,在分割的同时能够有效完成花生缺陷的检测,可以减少大量时间和人工检测花生缺陷的成本。然而,对于花生分割来说,如何提高模型提取花生特征能力以及提高花生分割精度,是亟待解决的问题。
技术实现思路
1、针对应用领域的需求和背景技术的不足,本发明的目的在于提供一种基于改进yolov8n-seg的花生分割方法。
2、为达到上述目的,本发明采用的技术方案是:
3、步骤1:采集花生图像,对花生图像进行数据增强并标注生成花生数据集;
4、步骤2:将花生数据集按设定的比例划分为训练集和验证集;
5、步骤3:构建改进yolov8n-seg模型,将yolov8n-seg模型主干网络中的部分c2f模块和conv模块分别替换成c2f_dcnv3模块和dcnv3模块;在颈部网络中使用尺度序列特征融合ssff模块和三重特征编码器tfe模块;在主干网络中添加高效多尺度注意力机制ema模块,得到改进后的yolov8n-seg-dse模型;
6、步骤4:使用训练集和验证集对yolov8n-seg-dse模型进行训练与验证,得到训练好的花生分割模型;
7、步骤5:获取待分割的花生图像,输入训练好的花生分割模型得到分割检测结果;
8、所述的步骤3中构建改进yolov8n-seg模型过程为:
9、将yolov8n-seg模型主干网络中的第2、第3和第4个c2f模块均用c2f_dcnv3模块进行替换,第3、第4和第5个conv模块均用可变形卷积dcnv3模块进行替换,提高模型从形变物体中提取特征的能力;在yolov8n-seg模型颈部网络中使用一个尺度序列特征融合ssff模块和两个三重特征编码器tfe模块重构特征融合层,实现不同特征图的特征信息的融合;在主干网络中sppf模块前面添加高效多尺度注意力机制ema模块,增强模型特征提取能力,最终得到改进后的yolov8n-seg-dse模型;yolov8n-seg-dse模型主干网络中第0层到第10层依次连接分别为conv、conv、c2f、dcnv3、c2f dcnv3、dcnv3、c2f dcnv3、dcnv3、c2f dcnv3、ema、sppf;颈部网络中第11层到第26层依次为conv、conv、tfe、c2f、conv、conv、tfe、c2f、conv、concat、c2f、conv、conact、c2f、ssff、add;第10层sppf的输出端与第11层conv的输入端连接,第4层c2f_dcnv3的输出端与第12层conv的输入端连接,第12层conv、第6层c2f_dcnv3和第11层conv的输出端与第13层tfe的输入端连接,第13层tfe的输出端与第14层c2f的输入端连接,第14层c2f的输出端与第15层conv的输入端连接,第2层c2f的输出端与第16层conv的输入端连接,第16层conv、第4层c2f_dcnv3和第15层conv的输出端与第17层tfe的输入端连接,第17层tfe的输出端与第18层c2f的输入端连接,第18层c2f的输出端与第19层conv的输入端连接,第19层conv和第15层conv的输出端与第20层concat的输入端连接,第20层concat的输出端与第21层c2f的输入端连接,第21层c2f的输出端与第22层conv的输入端连接,第22层conv和第11层conv的输出端与第23层concat的输入端连接,第23层concat的输出端与第24层c2f的输入端连接,第4层c2f_dcnv3、第6层c2f_dcnv3和第8层c2f_dcnv3的输出端与第25层ssff的输入端连接,第18层c2f和第25层ssff的输出端与第26层add的输入端连接,第26层add、第21层c2f和第24层c2f分别连接一个分割头segment。
10、进一步地,所述的步骤1中,对花生图像进行数据增强具体方式为图像翻转、图像旋转和图像平移。
11、进一步地,所述的步骤2中,将花生数据集按8:2的比例划分为训练集和验证集。
12、进一步地,所述的步骤3中,dcnv3模块通过在卷积过程中对卷积核进行形变,使其能够适应不同位置的局部特征变化,通过引入可学习的形变参数,使卷积核的形状和采样位置能够根据花生特征图中的局部特征进行自适应调整,使得模型能够更好地提取花生特征。
13、进一步地,所述的步骤3中,尺度序列特征融合ssff模块输入为大、中、小三个不同尺度的特征,首先,使用1×1卷积将中尺度和小尺度特征的通道数调整到256,使用最近邻插值方法调整中尺度和小尺度特征大小与大尺寸特征大小相同;其次,使用维度扩展方法将每个特征图从一个由高度、宽度和通道组成的三维张量转换为一个由深度、高度、宽度和通道组成的四维张量,并将四维张量在深度维度上进行拼接;最后,使用3d卷积、3d批量归一化和激活函数完成尺度序列特征提取。
14、进一步地,所述的步骤3中,三重特征编码器tfe模块使用三种不同尺度的特征图作为输入,首先使用卷积模块将大尺寸特征的通道数调整到与中尺寸特征相同,采用最大池化和平均池化的混合结构进行下采样,有助于保持高分辨率特征和图像的多样性;其次,对于小尺寸的特征,使用卷积模块调整通道数,然后使用最近邻插值方法进行上采样,有助于保持低分辨率图像局部特征的丰富性,防止小目标特征信息的丢失;最后,将具有相同尺寸的大、中、小尺寸的特征图进行卷积一次,在通道维度上进行拼接。
15、进一步地,所述的步骤3中,高效多尺度注意力机制ema模块采用三个平行路径来提取注意力通道权重,用于对特征图进行分组,前两条是1×1分支,第三条是3×3分支,在1×1分支中采用两个1d全局平均池化操作来沿两个空间方向对信道进行编码;对于3×3分支,利用一个堆叠的3×3核来捕获多尺度特征表示,三个分支整合了通道注意力和空间注意力的优点,同时捕获全局的通道依赖性和局部的空间特征,在通道和空间维度之间获取更加全面特征信息。
16、与背景技术相比,本发明的增益效果为:
17、1.改进后的yolov8n-seg-dse模型增强了花生特征提取能力,对花生分割的精度有所提升,更能准确地分割花生。
18、2.与yolov8n-seg相比,改进后的yolov8n-seg-dse模型较小,更易部署在移动端。
1.一种基于改进yolov8n-seg的花生分割方法,其特征在于:包括以下步骤:
2.根据权利要求1所述的一种基于改进yolov8n-seg的花生分割方法,其特征在于,所述的步骤1中,对花生图像进行数据增强具体方式为图像翻转、图像旋转和图像平移。
3.根据权利要求1所述的一种基于改进yolov8n-seg的花生分割方法,其特征在于,所述的步骤2中,将花生数据集按8:2的比例划分为训练集和验证集。
4.根据权利要求1所述的一种基于改进yolov8n-seg的花生分割方法,其特征在于,所述的步骤3中,dcnv3模块通过在卷积过程中对卷积核进行形变,使其能够适应不同位置的局部特征变化,通过引入可学习的形变参数,使卷积核的形状和采样位置能够根据花生特征图中的局部特征进行自适应调整,使得模型能够更好地提取花生特征。
5.根据权利要求1所述的一种基于改进yolov8n-seg的花生分割方法,其特征在于,所述的步骤3中,尺度序列特征融合ssff模块输入为大、中、小三个不同尺度的特征,首先,使用1×1卷积将中尺度和小尺度特征的通道数调整到256,使用最近邻插值方法调整中尺度和小尺度特征大小与大尺寸特征大小相同;其次,使用维度扩展方法将每个特征图从一个由高度、宽度和通道组成的三维张量转换为一个由深度、高度、宽度和通道组成的四维张量,并将四维张量在深度维度上进行拼接;最后,使用3d卷积、3d批量归一化和激活函数完成尺度序列特征提取。
6.根据权利要求1所述的一种基于改进yolov8n-seg的花生分割方法,其特征在于,所述的步骤3中,三重特征编码器tfe模块使用三种不同尺度的特征图作为输入,首先使用卷积模块将大尺寸特征的通道数调整到与中尺寸特征相同,采用最大池化和平均池化的混合结构进行下采样,有助于保持高分辨率特征和图像的多样性;其次,对于小尺寸的特征,使用卷积模块调整通道数,然后使用最近邻插值方法进行上采样,有助于保持低分辨率图像局部特征的丰富性,防止小目标特征信息的丢失;最后,将具有相同尺寸的大、中、小尺寸的特征图进行卷积一次,在通道维度上进行拼接。
7.根据权利要求1所述的一种基于改进yolov8n-seg的花生分割方法,其特征在于,所述的步骤3中,高效多尺度注意力机制ema模块采用三个平行路径来提取注意力通道权重,用于对特征图进行分组,前两条是1×1分支,第三条是3×3分支,在1×1分支中采用两个1d全局平均池化操作来沿两个空间方向对信道进行编码;对于3×3分支,利用一个堆叠的3×3核来捕获多尺度特征表示,三个分支整合了通道注意力和空间注意力的优点,同时捕获全局的通道依赖性和局部的空间特征,在通道和空间维度之间获取更加全面特征信息。