本发明涉及图像处理和目标检测，具体涉及一种噪声抑制的多模态空中弱小目标检测方法。
背景技术：
1、相对于常规尺寸的目标检测，小目标检测时通常缺乏充足的外观信息，因此难以将小目标与背景或相似的目标区分开来。
2、在深度学习的驱动下，尽管目标检测算法已取得了重大突破，但是对于小目标的检测仍然是不尽人意的。无论是从基于绝对尺度还是基于相对尺度的定义，小目标相对于大/中尺度尺寸目标都存在分辨率低的问题。低分辨率的小目标可视化信息少，难以提取到具有鉴别力的特征，并且极易受到环境因素的干扰，进而导致了检测模型难以精准定位和识别小目标。并且真实场景是错综复杂的，通常会存在光照剧烈变化、目标遮挡、目标稠密相连、目标尺度变化和噪声干扰等问题，而这些因素对小目标特征的影响是更加剧烈的，进一步加大了小目标检测的难度，尤其是空中小目标，会被云层等遮挡，且在阴雨天等光线昏暗的情况下，小目标的颜色会与背景接近，不易区分。
3、目前，国内外研究小目标检测一般有以下几种思路：
4、(1)数据增强
5、数据增强是一种提升小目标检测性能的最简单和有效的方法，通过不同的数据增强策略可以扩充训练数据集的规模，丰富数据集的多样性，从而增强检测模型的鲁棒性和泛化能力。在相对早期的研究中，通过使用扭曲变形、旋转和缩放等数据增强方法显著提升了手写体识别的精度。之后，数据增强中又衍生出了弹性变形、随机裁剪和平移等策略。目前，这些数据增强策略已被广泛应用于目标检测中。聚焦到小目标检测领域，小目标面临着分辨率低、可提取特征少、样本数量匮乏及分布不均匀等诸多挑战，数据增强的重要性愈发显著。近些年来，出现了一些适用于小目标的数据增强方法，在对数据的处理中，提出了尺度匹配策略，根据不同目标尺寸进行裁剪，缩小不同大小目标之间的差距，从而避免常规缩放操作中小目标信息易丢失的情形。针对小目标覆盖的面积小、出现位置缺乏多样性、检测框与真值框之间的交并比远小于期望的阈值等问题，提出了一种复制增强的方法，通过在图像中多次复制粘贴小目标的方式来增加小目标的训练样本数，从而提升了小目标的检测性能。在此基础上，在rrnet中提出了一种自适应重采样策略进行数据增强，这种策略基于预训练的语义分割网络对目标图像进行考虑上下文信息的复制，以解决简单复制过程中可能出现的背景不匹配和尺度不匹配问题，从而达到较好的数据增强效果。从小目标数量占比小、自身包含信息少等问题出发，在训练过程中对图像进行缩放与拼接，将数据集中的大尺寸目标转换为中等尺寸目标，中等尺寸目标转换为小尺寸目标，并在提高中/小尺寸目标的数量与质量的同时也兼顾考虑了计算成本。在针对小目标的特性设计对应的数据增强策略之外，超越了目标特性限制，提出了一种通过自适应学习方法例如强化学习选择最佳的数据增强策略，在小目标检测上获得了一定的性能提升。
6、(2)多尺度学习
7、小目标与常规目标相比可利用的像素较少，难以提取到较好的特征，而且随着网络层数的增加，小目标的特征信息与位置信息也逐渐丢失，难以被网络检测。这些特性导致小目标同时需要深层语义信息与浅层表征信息，而多尺度学习将这两种相结合，是一种提升小目标检测性能的有效策略。
8、(3)上下文学习
9、在真实世界中，“目标与场景”和“目标与目标”之间通常存在一种共存关系，通过利用这种关系将有助于提升小目标的检测性能。在深度学习之前，已有研究证明通过对上下文进行适当的建模可以提升目标检测性能，尤其是对于小目标这种外观特征不明显的目标。随着深度神经网络的广泛应用，一些研究也试图将目标周围的上下文集成到深度神经网络中，并取得了一定的成效。
10、(4)生成对抗学习
11、生成对抗学习的方法旨在通过将低分辨率小目标的特征映射成与高分辨率目标等价的特征，从而达到与尺寸较大目标同等的检测性能。前文所提到的数据增强、特征融合和上下文学习等方法虽然可以有效地提升小目标检测性能，但是这些方法带来的性能增益往往受限于计算成本。针对小目标分辨率低问题，提出一种端到端的联合训练超分辨率和检测模型的方法，该方法一定程度上提升了低分辨率目标的检测性能。但是，这种方法对于训练数据集要求较高，并且对小目标检测性能的提升不足。
12、(5)无锚机制
13、锚框机制在目标检测中扮演着重要的角色，许多先进的目标检测方法都是基于锚框机制而设计的，但是锚框这一设计对于小目标的检测极不友好。现有的锚框设计难以平衡小目标召回率与计算成本之间的矛盾，而且这种方式导致了小目标的正样本与大目标的正样本极度不均衡，使得模型更加关注于大目标的检测性能，从而忽视了小目标的检测。极端情况下，设计的锚框如果远远大于小目标，那么小目标将会出现无正样本的情况，小目标正样本的缺失，将使得算法只能学习到适用于较大目标的检测模型。此外，锚框的使用引入了大量的超参数，比如锚框的数量、宽高比和大小等，使得网络难以训练，不易提升小目标的检测性能。
14、在相关技术中，公布号为cn116958782a的专利申请文献中提出通过双流主干网络模型对红外光与可见光两种模态数据实现特征提取，并通过跨模态的多层级间特征融合实现两种模态特征的互补，使用基于深度学习的网络实现对弱小目标的定位与分类；但该方案忽略了噪声对空中弱小目标检测的影响，可能有些场景例如相机精度不足采集的图像包含干扰噪点的情况下就不适用。
15、公布号为cn116416503a的专利申请文献中提出针对不同模态单独设计特征提取网，这样可以更好的提取不同模特的细微特征，并设计了模态特征融合网，进行特征级的融合，有效特征增多，有效提升检测识别性能；但该方案也忽略了噪声对空中小目标检测的影响，且针对不同模态单独设计特征提取网络，网络结构复杂。
技术实现思路
1、本发明所要解决的技术问题在于如何更加准确、快速的检测出空中小目标。
2、本发明通过以下技术手段解决上述技术问题的：
3、本发明提出了一种噪声抑制的多模态空中弱小目标检测方法，所述方法包括：
4、获取可见光图像数据集和红外图像数据集，并将所述红外图像数据集输入至非对称上下文噪声抑制网络中进行噪声抑制处理，得到噪声抑制后的红外图像数据集，其中，所述非对称上下文噪声抑制网络包括低级特征提取分支和高级特征提取分支，所述红外图像数据集的低维特征图像作为所述低级特征提取分支的输入，所述红外图像数据集的高维特征图像作为所述高级特征提取分支的输入，所述低级特征提取分支的输出与所述高维特征图像的累加融合结果与所述高级特征提取分支的输出与所述低维特征图像累加融合结果再进行累加融合得到所述噪声抑制后的红外图像数据集；
5、对所述可见光图像数据集和所述噪声抑制后的红外图像数据集分别进行特征提取，并对提取到的可见光特征和红外特征进行融合，得到融合图像数据集；
6、将所述融合图像数据集输入至空中弱小目标检测网络，得到空中弱小目标预测结果。
7、进一步地，所述低级特征提取分支包括串联的卷积pw-conv_1和卷积pw-conv_2，所述卷积pw-conv_2后接有激活函数sigmod_1；
8、所述高级特征提取分支包括依次串联的globalavgpool2d函数、全连接层fully-connected_1和全连接层fully-connected_2，所述全连接层fully-connected_2后接有激活函数sigmod_2。
9、进一步地，所述对所述可见光图像数据集和所述噪声抑制后的红外图像数据集分别进行特征提取，并对提取到的可见光特征和红外特征进行融合，得到融合图像，包括：
10、将所述可见光图像数据集和所述噪声抑制后的红外图像数据集分别输入图像融合生成网络，其中，所述图像融合生成网络包括依次连接的图像特征提取模块和特征融合重建模块；
11、利用所述图像特征提取模块分别对所述可见光图像数据集和所述噪声抑制后的红外图像数据集进行特征提取，得到所述可见光特征和所述红外特征；
12、利用所述特征融合重建模块对所述可见光特征和所述红外特征进行通道叠加融合，得到所述融合图像。
13、进一步地，所述图像特征提取模块包括可见光特征提取分支和红外特征提取分支，其中：
14、所述可见光特征提取分支包括依次串联的a个卷积块，且在所述可见光特征提取分支中第i个卷积块与后a-i个卷积块跳跃连接，i＝1,2,...,a；
15、所述红外特征提取分支包括依次串联的b个卷积块，且在所述可见光特征提取分支中第j个卷积块与后b-j个卷积块跳跃连接，j＝1,2,...,b。
16、进一步地，所述特征融合重建模块包括特征融合网络和c个依次串联的卷积块，所述可见光特征提取分支和所述红外特征提取分支的输出均与所述特征融合网络的输入连接，所述特征融合网络的输出与c个依次串联的卷积块中的第一个卷积块连接。
17、进一步地，所述弱小目标检测网络包括多维特征提取模块、多维特征融合模块以及结果预测模块，其中：
18、所述多维特征提取模块，用于提取所述融合图像数据集的多维特征；
19、所述多维特征融合模块，用于对所述多维特征进行融合生成多维预测特征图；
20、所述结果预测模块，用于对所述多维预测特征图进行分开处理后再融合，得到空中弱小目标预测结果。
21、进一步地，所述多维特征提取模块包括依次串联的d个dark块，其中，第d个dark块、第d-1个dark块及第d-2个dark块的输出均与所述多维特征融合模块连接；
22、第d-2个dark块、第d-1个dark块及第d个dark块分别输出空中弱小目标相关一维特征、二维特征及三维特征。
23、进一步地，所述多维特征融合模块包括一维度特征融合层、二维度特征融合层和三维度特征融合层，其中：
24、所述三维度特征融合层包括依次连接的残差卷积块lateral_conv0和反卷积unsample_1，第d个所述dark块的输出的三维特征作为所述残差卷积块lateral_conv0的输入，所述反卷积unsample_1的输出与第d-1个所述dark块输出的二维特征均作为所述二维度特征融合层的输入；
25、所述二维度特征融合层包括依次连接的融合操作cat_1、残差卷积块c3_p4、reduce_conv1和反卷积unsample_2，所述反卷积unsample_1的输出与第d-1个所述dark块输出的二维特征经融合操作cat_1进行融合后得到增强的二维特征，所述增强的二维特征作为c3_p4的输入，所述反卷积unsample_2的输出与第d-2个所述dark块输出的一维特征均作为所述一维度特征融合层的输入；
26、所述一维度特征融合层包括依次连接的融合操作cat_2和残差卷积块c3_p3，所述反卷积unsample_2的输出与第d-2个所述dark块输出的一维特征经融合操作cat_2进行融合后得到增强的一维特征，所述增强的一维特征经所述残差卷积块c3_p3后输出一维预测特征图；
27、所述残差卷积块c3_p3的输出分别与卷积bu_conv2和所述结果预测模块连接，所述reduce_conv1的输出和所述卷积bu_conv2的输出经融合操作cat_3进行融合后经残差卷积块c3_n3输出二维预测特征图；
28、所述残差卷积块c3_n3的输出分别与卷积bu_conv1和所述结果预测模块连接，卷积bu_conv1的输出经融合操作cat_4与残差卷积块c3_n4连接，所述残差卷积块c3_n4输出三维预测特征图至所述结果预测模块。
29、进一步地，在所述对所述可见光图像数据集和所述噪声抑制后的红外图像数据集分别进行特征提取，并对提取到的可见光特征和红外特征进行融合，得到融合图像数据集之前，所述方法还包括：
30、对所述图像融合生成网络进行预先训练，得到训练好的所述图像融合生成挽留过用于生成融合图像数据集，其中，在训练时采用的损失函数loss为：
31、loss＝λlssim+ltv
32、式中，λ为平衡参数，lssim表示图像结构相似度损失函数，ltv表示图片噪声损失函数。
33、进一步地，所述损失函数lssim的公式表示为：
34、
35、式中，ia表示可见光图像，ib表示红外图像，if表示融合图像，w表示滑动窗口，n表示滑动窗口的总数，score(ia,ib,if|w)表示保留可见光图像与红外图像中与融合图像在窗口w中相似度较高的可见光图像或红外图像的信息；
36、所述损失函数ltv的公式表示为：
37、ltv＝∑i,j||r(i,j+1)-r(i,j)||2+||r(i+1,j)-r(i,j)||2
38、式中，r表示可见光图像与融合图像之间的差异，r(i,j+1)表示可见光图像第i行第j+1列的像素值与融合图像第i行第j+1列的像素值之间的差值，r(i,j)表示可见光图像第i行第j列的像素值与融合图像第i行第j列的像素值之间的差值，r(i+1,j)表示可见光图像第i+1行第j列的像素值与融合图像第i+1行第j列的像素值之间的差值，|| ||2表示欧式距离。
39、本发明的优点在于：
40、(1)本发明同时获取空中弱小目标可见光图像数据集与红外图像数据集，通过使用非对称上下文噪声抑制网络对红外图像进行噪声抑制处理，降低了红外图像中噪声对小目标的干扰，用以更加准确的获取目标的语义信息，解决目前因真实场景错综复杂，通常会存在光照剧烈变化、目标遮挡、目标稠密相连、目标尺度变化等因素对小目标图像造成干扰的问题；然后对可见光图像数据集和噪声抑制后的红外图像数据集分别进行特征提取，并对提取到的可见光特征和红外特征进行融合，通过多模态图像的累加融合，充分利用可见光与红外图像的特点，采用融合的方式凸显弱小目标，强化对小目标图像特征的提取，解决目前小目标检测可视化信息少，难以提取到具有鉴别力的特征，并且极易受到环境因素的干扰的问题，显著提高小目标检测精度。
41、(2)本发明建立的图像融合生成网络在进行小目标检测时，在相关信息最大合并的基础上减少输出的不确定度和冗余度，图像融合的优点很明显，它能扩大图像所含有的时间空间信息，减少不确定性，增加可靠性，改进系统的鲁棒性能。
42、(3)本发明建立的空中弱小目标检测网络，通过解耦合头将三种不同的特征图(空中弱小目标一维、二维、三维特征)分开处理后融合，得到空中弱小目标最终预测图像，进一步提高小目标检测性能。
43、本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
1.一种噪声抑制的多模态空中弱小目标检测方法，其特征在于，所述方法包括：
2.如权利要求1所述的噪声抑制的多模态空中弱小目标检测方法，其特征在于，所述低级特征提取分支包括串联的卷积pw-conv_1和卷积pw-conv_2，所述卷积pw-conv_2后接有激活函数sigmod_1；
3.如权利要求1所述的噪声抑制的多模态空中弱小目标检测方法，其特征在于，所述对所述可见光图像数据集和所述噪声抑制后的红外图像数据集分别进行特征提取，并对提取到的可见光特征和红外特征进行融合，得到融合图像，包括：
4.如权利要求3所述的噪声抑制的多模态空中弱小目标检测方法，其特征在于，所述图像特征提取模块包括可见光特征提取分支和红外特征提取分支，其中：
5.如权利要求4所述的噪声抑制的多模态空中弱小目标检测方法，其特征在于，所述特征融合重建模块包括特征融合网络和c个依次串联的卷积块，所述可见光特征提取分支和所述红外特征提取分支的输出均与所述特征融合网络的输入连接，所述特征融合网络的输出与c个依次串联的卷积块中的第一个卷积块连接。
6.如权利要求1所述的噪声抑制的多模态空中弱小目标检测方法，其特征在于，所述弱小目标检测网络包括多维特征提取模块、多维特征融合模块以及结果预测模块，其中：
7.如权利要求6所述的噪声抑制的多模态空中弱小目标检测方法，其特征在于，所述多维特征提取模块包括依次串联的d个dark块，其中，第d个dark块、第d-1个dark块及第d-2个dark块的输出均与所述多维特征融合模块连接；
8.如权利要求7所述的噪声抑制的多模态空中弱小目标检测方法，其特征在于，所述多维特征融合模块包括一维度特征融合层、二维度特征融合层和三维度特征融合层，其中：
9.如权利要求3所述的噪声抑制的多模态空中弱小目标检测方法，其特征在于，在所述对所述可见光图像数据集和所述噪声抑制后的红外图像数据集分别进行特征提取，并对提取到的可见光特征和红外特征进行融合，得到融合图像数据集之前，所述方法还包括：
10.如权利要求9所述的噪声抑制的多模态空中弱小目标检测方法，其特征在于，所述损失函数lssim的公式表示为：
