本发明涉及异常决策,尤其是指一种基于多尺度特征融合差分的轻量化智能异常决策方法。
背景技术:
1、随着深度学习的发展,异常决策技术正日益成熟,极大地提升了生产效率和产品质量。智能化的决策方式,不仅减少了人工干预的需求,还能在问题发生前进行预测,降低了设备故障和停机时间的风险,为企业的智能制造转型提供了强有力的支持。
2、智能异常决策旨在准确地定位图像中的异常区域,例如划痕、污迹等缺陷,以便及时进行修复或处理。然而,在实际的生产环境中,异常样本出现的概率通常较低,而且异常形式也多种多样,这给传统的监督学习异常检测带来了挑战。在这种情况下,基于自监督学习技术的智能异常决策方法展现出了重要的优势,特别是在训练阶段只有正常样本的情况下;仅需要对正常样本进行训练,这种方法大大简化了数据准备的工作流程,节约了标注异常样本的时间和精力。
3、但在当前的异常决策研究中,由于缺乏可用的异常图像和有关异常类别的先验知识,现有方法通常需要借助精心制作的数据增强策略或外部数据来合成异常。然而,这种合成方法往往导致合成异常与真实异常之间存在显著的分布差异,从而限制了异常决策模型在实际场景中的泛化能力。虽然也有一些方法利用先进的扩散模型来合成更接近自然分布的异常样本,但训练这些模型往往需要昂贵的资源。
4、综上所述,但在当前的制造环境中,面临着存在缺陷的异常样本出现概率低、难以采集的问题,这使得传统的监督训练方法面临显著挑战。因此,现有的模型大多依赖于人工合成缺陷的异常图像进行检测,导致获取的正常模式与异常模式之间的差分存在不足,进而难以正确区分正常与异常;且模型参数较大,推理速度较慢,基于提取到的抽象特征进行识别,模型也缺乏可解释性。
技术实现思路
1、为此,本发明所要解决的技术问题在于克服现有技术中依赖人工合成缺陷的异常图像来训练模型进行缺陷检测,导致检测不准确且检测结果缺乏可解释性的问题。
2、为解决上述技术问题,本发明提供了一种基于多尺度特征融合差分的轻量化智能异常决策方法,包括:
3、获取多个不包含缺陷的正常图像,构建训练集,并从中随机选取多个正常图像,作为记忆样本,分别输入预先训练好的编码器中,获取每个记忆样本对应的多个具有不同分辨率的阶段特征,组成每个记忆样本对应的样本存储信息;
4、获取待检测图像,输入预先训练好的编码器中,获取待检测图像对应的多个具有不同分辨率的阶段特征,组成待检测图像的实时存储信息;
5、计算所述实时存储信息与每个样本存储信息之间的欧几里得距离,获取欧几里得距离最小所对应的样本存储信息及其记忆样本,作为目标样本存储信息与目标记忆样本;
6、将目标记忆样本与待检测图像在各个分辨率下的阶段特征,分别基于x轴与y轴进行一维卷积,获取目标记忆样本与待检测图像在各个分辨率下的x轴卷积阶段特征与y轴卷积阶段特征;
7、基于目标记忆样本与待检测图像在各个分辨率下的x轴卷积阶段特征与y轴卷积阶段特征,构建在各个分辨率下目标记忆样本与待检测图像之间的x轴差分交叉差分注意力与y轴差分交叉差分注意力,计算获取各个分辨率下目标记忆样本与待检测图像之间的差分信息;
8、利用基于金字塔结构的多尺度特征差分,在每一层将对应分辨率下目标记忆样本与待检测图像之间的差分信息,与其下一层输出的差分信息的上采样结果进行相加,作为该层的差分输出,获取每一层的差分输出;
9、将基于金字塔结构的多尺度特征差分中每一层的差分输出进行通道拼接后,输入解码器中,获取待检测图像中的缺陷定位结果。
10、优选地,所述计算所述实时存储信息与每个样本存储信息之间的欧几里得距离,获取欧几里得距离最小所对应的样本存储信息及其记忆样本,作为目标样本存储信息与目标记忆样本,包括:
11、分别计算实时存储信息与每个样本存储信息之间的欧几里得距离,构建欧几里得距离集合,表示为:,,表示样本存储信息的总个数;
12、获取欧几里得距离最小所对应的样本存储信息,表示为:,,表示记忆样本的样本存储信息集合;
13、获取以及所对应的记忆样本,分别作为目标样本存储信息与目标记忆样本。
14、优选地,所述将目标记忆样本与待检测图像在各个分辨率下的阶段特征,分别基于x轴与y轴进行一维卷积,获取目标记忆样本与待检测图像在各个分辨率下的x轴卷积阶段特征与y轴卷积阶段特征,包括:
15、对目标记忆样本第i种分辨率下的阶段特征,基于x轴进行一维卷积,获取目标记忆样本对应第i种分辨率下的x轴卷积阶段特征,表示为:;
16、对目标记忆样本第i种分辨率下的阶段特征,基于y轴进行一维卷积,获取目标记忆样本对应第i种分辨率下的y轴卷积阶段特征,表示为:;
17、对待检测图像第i种分辨率下的阶段特征,基于x轴进行一维卷积,获取待检测图像对应第i种分辨率下的x轴卷积阶段特征,表示为:;
18、对待检测图像第i种分辨率下的阶段特征,基于y轴进行一维卷积,获取待检测图像对应第i种分辨率下的y轴卷积阶段特征,表示为:;
19、其中,表示1×1卷积,与分别表示利用卷积核大小为的条状核沿着x轴的一维卷积操作与沿着y轴的一维卷积操作,,,、与分别表示第i种分辨率下三种不同大小的条状核的特征尺度;表示层归一化。
20、优选地,所述基于目标记忆样本与待检测图像在各个分辨率下的x轴卷积阶段特征与y轴卷积阶段特征,构建在各个分辨率下目标记忆样本与待检测图像之间的x轴差分交叉差分注意力与y轴差分交叉差分注意力,计算获取各个分辨率下目标记忆样本与待检测图像之间的差分信息,包括:
21、基于目标记忆样本与待检测图像在各个分辨率下的x轴卷积阶段特征与y轴卷积阶段特征,构建第i种分辨率下的x轴样本差分交叉权重与y轴样本差分交叉权重,表示为:
22、,;
23、基于目标记忆样本与待检测图像在各个分辨率下的x轴卷积阶段特征与y轴卷积阶段特征,构建第i种分辨率下的x轴实时差分交叉权重与y轴实时差分交叉权重,表示为:
24、,;
25、基于第i种分辨率下的x轴样本差分交叉权重与x轴实时差分交叉权重,计算第i种分辨率下目标记忆样本与待检测图像之间的x轴差分交叉差分注意力,表示为:;
26、基于第i种分辨率下的y轴差分交叉样本权重与y轴差分交叉实时权重,计算第i种分辨率下目标记忆样本与待检测图像之间的y轴差分交叉差分注意力,表示为:;
27、基于第i种分辨率下的x轴差分交叉差分注意力与y轴差分交叉差分注意力,计算第i种分辨率下目标记忆样本与待检测图像之间的差分信息,表示为:
28、;
29、其中,表示目标记忆样本对应的目标样本存储信息中第i种分辨率下的阶段特征,表示待检测图像对应的实时存储信息中第i种分辨率下的阶段特征;与分别表示对目标样本存储信息中第i种分辨率下的阶段特征基于x轴与y轴进行一维卷积后获取的x轴卷积阶段特征与y轴卷积阶段特征;与分别表示对实时存储信息中第i种分辨率下的阶段特征基于x轴与y轴进行一维卷积后获取的x轴卷积阶段特征与y轴卷积阶段特征;表示预设比例参数;表示多层感知器,表示上下文锚点注意力机制。
30、优选地,所述利用基于金字塔结构的多尺度特征差分,在每一层将对应分辨率下目标记忆样本与待检测图像之间的差分信息,与其下一层输出的差分信息的上采样结果进行相加,作为该层的差分输出,获取每一层的差分输出,包括:
31、基于目标样本存储信息与实时存储信息中分辨率最小的阶段特征与,计算第一层差分信息,作为该层的差分输出,表示为:;
32、除第一层外,其余每一层的差分输出,将每一层将对应的第i种分辨率下的差分信息与其下一层输出的差分信息的上采样结果进行相加,作为该层的差分输出,表示为:;
33、其中,,表示分辨率类别总数。
34、优选地,获取目标记忆样本与待检测图像在各个分辨率下的x轴卷积阶段特征与y轴卷积阶段特征后,还包括:
35、基于目标记忆样本与待检测图像在各个分辨率下的x轴卷积阶段特征与y轴卷积阶段特征,利用内存交叉注意力机制,构建在各个分辨率下的目标记忆样本与待检测图像之间的x轴内存交叉差分注意力与y轴内存交叉差分注意力,计算各个分辨率下的目标记忆样本与待检测图像之间的交叉信息;
36、利用基于金字塔结构的多尺度特征融合,在每一层将对应分辨率下目标记忆样本与待检测图像之间的交叉信息与其下一层输出的交叉信息的上采样结果进行相加,作为该层的融合输出,获取每一层的融合输出;
37、将基于金字塔结构的多尺度特征融合中每一层的融合输出,输入各个分辨率下的预设重构网络中,获取各个分辨率下的重构输出;
38、基于待检测图像各个分辨率下的阶段特征,以及各个分辨率下的重构输出,利用差分交叉注意力机制,构建在各个分辨率下的待检测图像与重构输出之间的x轴差分交叉差分注意力与y轴差分交叉差分注意力,计算各个分辨率下待检测图像与重构输出之间的重构差分信息;
39、利用基于金字塔结构的多尺度特征差分,在每一层将对应分辨率下的重构差分信息,与其下一层输出的重构差分信息的上采样结果进行相加,作为该层的重构差分输出,获取每一层的重构差分输出;
40、将基于金字塔结构的多尺度特征差分中每一层的重构差分输出进行通道拼接后,输入解码器中,获取待检测图像的缺陷定位结果。
41、优选地,所述基于目标记忆样本与待检测图像在各个分辨率下的x轴卷积阶段特征与y轴卷积阶段特征,利用内存交叉注意力机制,构建在各个分辨率下的目标记忆样本与待检测图像之间的x轴内存交叉差分注意力与y轴内存交叉差分注意力,计算各个分辨率下的目标记忆样本与待检测图像之间的交叉信息,包括:
42、基于目标记忆样本与待检测图像在各个分辨率下的x轴卷积阶段特征与y轴卷积阶段特征,构建第i种分辨率下的x轴样本内存交叉权重与y轴样本内存交叉权重,表示为:
43、,;
44、基于目标记忆样本与待检测图像在各个分辨率下的x轴卷积阶段特征与y轴卷积阶段特征,构建第i种分辨率下的x轴实时内存交叉权重与y轴实时内存交叉权重,表示为:
45、,;
46、基于第i种分辨率下的x轴样本内存交叉权重与x轴实时内存交叉权重,计算第i种分辨率下目标记忆样本与待检测图像之间的x轴内存交叉差分注意力,表示为:;
47、基于第i种分辨率下的y轴内存交叉样本权重与y轴内存交叉实时权重,计算第i种分辨率下目标记忆样本与待检测图像之间的y轴内存交叉差分注意力,表示为:;
48、基于目标记忆样本与待检测图像之间在第i种分辨率下的x轴内存交叉差分注意力与y轴内存交叉差分注意力,计算第i种分辨率下目标记忆样本与待检测图像之间的交叉信息,表示为:
49、;
50、;
51、;
52、其中,表示目标记忆样本对应的目标样本存储信息中第i种分辨率下的阶段特征,表示待检测图像对应的实时存储信息中第i种分辨率下的阶段特征;与分别表示对目标样本存储信息中第i种分辨率下的阶段特征基于x轴与y轴进行一维卷积后获取的x轴卷积阶段特征与y轴卷积阶段特征;与分别表示对实时存储信息中第i种分辨率下的阶段特征基于x轴与y轴进行一维卷积后获取的x轴卷积阶段特征与y轴卷积阶段特征,表示预设比例参数;表示多层感知器,表示上下文锚点注意力机制。
53、优选地,所述利用基于金字塔结构的多尺度特征融合,在每一层将对应分辨率下目标记忆样本与待检测图像之间的交叉信息与其下一层输出的交叉信息的上采样结果进行相加,作为该层的融合输出,获取每一层的融合输出,包括:
54、基于目标样本存储信息与实时存储信息中分辨率最小的阶段特征与,计算第一层交叉信息,作为该层的融合输出,表示为:;
55、除第一层外,其余每一层的融合输出,将每一层将对应的第i种分辨率下的交叉信息与其下一层输出的交叉信息的上采样结果进行相加,作为该层的融合输出,表示为:;
56、其中,,表示分辨率类别总数。
57、优选地,所述利用基于金字塔结构的多尺度特征差分,在每一层将对应分辨率下的重构差分信息,与其下一层输出的重构差分信息的上采样结果进行相加,作为该层的重构差分输出,获取每一层的重构差分输出,包括:
58、基于目标样本存储信息与实时存储信息中分辨率最小的阶段特征与,计算第一层重构差分信息,作为该层的重构差分,表示为:;
59、除第一层外,在其余每一层,将每一层对应的第i种分辨率下的重构差分与其下一层输出的重构差分的上采样结果进行相加,作为该层的重构差分,表示为:;
60、其中,,表示分辨率类别总数;表示第i种分辨率下的重构输出。
61、优选地,预先训练好的编码器为经过预设迭代次数的resnet网络。
62、本发明的上述技术方案相比现有技术具有以下有益效果:
63、本发明所述的基于多尺度特征融合差分的轻量化智能异常决策方法,分别从正常图像和待检测图像中提取多个具有不同分辨率的阶段特征,构建对应的存储信息;从多个正常图像中,为待检测图像选取目标记忆样本;对待检测图像与目标记忆样本的阶段特征分别进行卷积,获取卷积阶段特征;利用差分交叉注意力机制与多尺度特征差分,获取每一尺度下的差分输出,进行通道拼接后,输入解码器,获取缺陷定位;本技术不依赖于需要人工制作缺陷的异常图像,而是利用正常图像与待检测图像之间的差分,更准确地进行缺陷捕获,基于该方法的模型参数少,更加轻量且高效,且具有更好的可解释性。
64、本发明在提取阶段特征时,利用多尺度条状核深度卷积,能够高效的捕捉短程、中程和长程像素点之间的依赖关系,充分对特征的局部和全局进行建模,更准确地提取出不同分辨率下的阶段特征,从而提高了缺陷检测的准确性;且利用多尺度条状核深度卷积,实现了模型轻量化。
65、本发明还设置有内存交叉注意力机制、多尺度特征融合与重构网络,通过对目标记忆样本与待检测图像的阶段特征进行重构,捕捉不同层次的细节特征,增强对正常特征的表征,获取重构输出,使得目标记忆样本与待检测图像之间的重建差分更加精细;虽然增加了模型参数,但提高了提取出的特征的精度,同时通过多尺度特征融合提升了特征的全面性和丰富性,有效地实现了对待检测图像中缺陷的精确定位。
1.一种基于多尺度特征融合差分的轻量化智能异常决策方法,其特征在于,包括:
2.根据权利要求1所述的基于多尺度特征融合差分的轻量化智能异常决策方法,其特征在于,所述计算所述实时存储信息与每个样本存储信息之间的欧几里得距离,获取欧几里得距离最小所对应的样本存储信息及其记忆样本,作为目标样本存储信息与目标记忆样本,包括:
3.根据权利要求1所述的基于多尺度特征融合差分的轻量化智能异常决策方法,其特征在于,所述将目标记忆样本与待检测图像在各个分辨率下的阶段特征,分别基于x轴与y轴进行一维卷积,获取目标记忆样本与待检测图像在各个分辨率下的x轴卷积阶段特征与y轴卷积阶段特征,包括:
4.根据权利要求3所述的基于多尺度特征融合差分的轻量化智能异常决策方法,其特征在于,所述基于目标记忆样本与待检测图像在各个分辨率下的x轴卷积阶段特征与y轴卷积阶段特征,构建在各个分辨率下目标记忆样本与待检测图像之间的x轴差分交叉差分注意力与y轴差分交叉差分注意力,计算获取各个分辨率下目标记忆样本与待检测图像之间的差分信息,包括:
5.根据权利要求4所述的基于多尺度特征融合差分的轻量化智能异常决策方法,其特征在于,所述利用基于金字塔结构的多尺度特征差分,在每一层将对应分辨率下目标记忆样本与待检测图像之间的差分信息,与其下一层输出的差分信息的上采样结果进行相加,作为该层的差分输出,获取每一层的差分输出,包括:
6.根据权利要求1所述的基于多尺度特征融合差分的轻量化智能异常决策方法,其特征在于,获取目标记忆样本与待检测图像在各个分辨率下的x轴卷积阶段特征与y轴卷积阶段特征后,还包括:
7.根据权利要求6所述的基于多尺度特征融合差分的轻量化智能异常决策方法,其特征在于,所述基于目标记忆样本与待检测图像在各个分辨率下的x轴卷积阶段特征与y轴卷积阶段特征,利用内存交叉注意力机制,构建在各个分辨率下的目标记忆样本与待检测图像之间的x轴内存交叉差分注意力与y轴内存交叉差分注意力,计算各个分辨率下的目标记忆样本与待检测图像之间的交叉信息,包括:
8.根据权利要求7所述的基于多尺度特征融合差分的轻量化智能异常决策方法,其特征在于,所述利用基于金字塔结构的多尺度特征融合,在每一层将对应分辨率下目标记忆样本与待检测图像之间的交叉信息与其下一层输出的交叉信息的上采样结果进行相加,作为该层的融合输出,获取每一层的融合输出,包括:
9.根据权利要求8所述的基于多尺度特征融合差分的轻量化智能异常决策方法,其特征在于,所述利用基于金字塔结构的多尺度特征差分,在每一层将对应分辨率下的重构差分信息,与其下一层输出的重构差分信息的上采样结果进行相加,作为该层的重构差分输出,获取每一层的重构差分输出,包括:
10.根据权利要求1所述的基于多尺度特征融合差分的轻量化智能异常决策方法,其特征在于,预先训练好的编码器为经过预设迭代次数的resnet网络。