本发明涉及一种基于多尺度视觉注意力网络用于高光谱图像与多光谱图像融合方法，属于计算机视觉和遥感图像处理领域。
背景技术：
1、作为遥感领域广泛使用的图像.高光谱图像与多光谱图像在环境监测、农业规划、矿产勘探等应用中发挥着重要作用。但是，由于成像平台的限制，采集设备通常需要在光谱分辨率和空间分辨率之间进行折衷设计，单个光学相机无法同时捕获具有高空间分辨率与高光谱分辨率的高光谱图像。因此，融合高光谱图像与多光谱图像以增强高光谱图像的空间分辨率已经成为了当前普遍使用的一种方式。
2、高光谱图像与多光谱图像融合算法主要可以分为两类，分别为传统的机器学习方法和深度学习方法。传统的机器学习方法利用图像的先验信息如低秩性、光谱关联性等特征，使用矩阵、张量分解或贝叶斯表示，结合优化算法获得最终的融合结果。但是，这些传统方法受到计算复杂度高或次优特征表示的限制，严重影响了它们的实际性能和适用性。深度学习方法在高光谱图像与多光谱图像融合表现山优异的性能，相较于传统的机器学习方法，其在准确性和鲁棒性方面都有着极大程度的改善。但是，基于卷积神经网络的融合方法存在较小的感知域、泛化能力有限等缺点导致难以构建特征之间的长程依赖关系，严重影响了融合图像的空间质量。基于transformer的融合方法凭借其高放的与空间长程关联捕获能力，改善了融合图像的质量。但是，通道适应性的忽略影响了融合图像的光谱质量，易出现光谱失真问题。高分辨率的图像输入带来的高计算复杂度，也严重影响了模型的推理速度。
3、在高光谱图像与多光谱图像融合任务中，空间局部与全局信息的关注以及光谱关联信息的挖掘均影响着融合图像的空间与光谱质量。当前方法无法高效地挖掘两类图像的空间与光谱信息，导致融合图像存在一定程度的光谱与空间失真等问题。针对上述问题，本发明提出了一种基于多尺度的视觉注意力网路用于实现高质量的高光谱图像与多光谱图像融合，视觉注意力的引入能够高效地挖掘图像的空间与通道信息，结合多尺度机制，该方法能够充分利用不同尺度下的空间特征，有效地挖掘全局与局部特征，实现了高质量的高光谱图像与多光谱图像融合。
技术实现思路
1、本发明的目的是克服现有技术的上述不足，提供一种基于多尺度视觉注意力网络高的高光谱图像与多光谱图像融合方法。为此，本发明采用如下的技术方案。
2、高光谱图像与多光谱图像融合方法，包括下列步骤：
3、1.数据处理与合成，由于没有可以直接使用的高空间分辨率的高光谱图像作为参考图像，本发明使用原始的高光谱图像数据集作为参考图像，该图像的宽度与高度分别为w、h。上述基础上，先后使用高斯模糊与n倍下采样方法获得低空间分辨率的高光谱图像，其宽度与高度分别为w/n、h/n。多光谱图像由从原始图像中等间距地取五个波段构成，其尺寸与原始图像的尺寸一致；
4、2.将参考图像、高光谱图像、多光谱图像等比例裁剪成小尺寸的图像.保证三者图像的对应关系，并按照一定的比例随机选择处理后的数据作为训练集与验证集；
5、3.基于视觉注意力网络，结合多尺度学习机制，设计网络结构，确定神经网络每一层的输入节点层数、输出节点层数、卷积核尺寸、步长等参数，给定学习率，设置学习率衰减方式，选定优化函数，设计合适的损失函数；
6、4.图像上采样，采用插值的方式对低空间分辨率的高光谱图像在空间维度进行n倍上采样，使其空间分辨率与多光谱图像的空间分辨率一致：
7、5.将多光谱图像与上采样后的高光谱图像同时送入浅层特征编码模块；
8、6.将经过浅层特征编码后的多光谱图像与上采样后的高光谱图像的特征图，传入由若干个联合注意模块组成的深度特征提取部分；
9、7.对获得的特征图进行特征级连接，随后，将连接后的特征图传入特征聚合与图像重构模块，加上原始图像，生成最后的输出结果；
10、8.对输出的结果与参考图像进行损失计算，反向传播更新网络参数；
11、9.反复执行4～8，训练指定的epoch数，最终以测试图像的平均峰值信噪比(pcaksignal-to-noise ratio，psnr)最高的融合模型作为最优的图像融合模型并保存使用；
12、10.输入任意一张低空间分辨率的高光谱图像与高空间分辨率的多光谱图像到训练好的神经网络模型中，模型的输出即为融合后的高空间分辨率的高光谱图像。
13、为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对发明作优选的详细描述，其中：
14、图1：基于多尺度视觉注意力网络的高光谱与多光谱图像融合方法流程图
15、图2：多尺度大核注意力模块的结构图
16、图3：局部空间注意力模块的结构图
17、图4：特征聚合与图像重构模块的结构图
18、图5：部分测试图像的融合结果
19、本发明的有益效果是：
20、1.多尺度大核注意力机制：本发明将多尺度机制融入到大核注意力中，提出了一种新的多尺度融合架构mlka-net，可以同时捕获全局和局部特征，从而提高了特征提取和表征能力，灵活吸收卷积神经网络和白注意力机制的优点，有效平衡非局部和局部信息的学习。
21、2.融合质量高：本发明不仅能够有效改善融合图像的精细空间和光谱细节.同时在融合过程中注入了光谱角映射损失项以减少图像光谱失真，以更好地保持高光谱图像原有的光谱内部关联。
1.本发明涉及一种基于多尺度视觉注意力网络用于高光谱图像与多光谱图像融合方法。所述方法包括下列步骤：
2.根据权利要求1所述的一种基于多尺度的视觉注意力网络用于高光谱图像与多光谱图像融合方法，其特征在于：数据处理与合成，使用原始的高光谱图像数据集作为参考图像，该图像的宽度与高度分别为w、h。上述基础上，先使用高斯模糊方法对图像进行去噪与平滑操作，同时实现图像细节的模糊。然后，执行n倍空间下采样获得合成的低空间分辨率的高光谱图像，它的宽度与高度分别为w/n、h/n。多光谱图像由从原始图像中等间距地取五个波段构成，其尺寸与原始图像的尺寸一致；
3.根据权利要求1所述的一种基于多尺度的视觉注意力网络用于高光谱图像与多光谱图像融合方法，其特征在于：深度特征提取部分由堆叠多个联合注意力模块组成，联合注意力模块由多尺度大核注意力模块与局部空间注意力模块两部分组成。多尺度大核注意力模块将多尺度机制与大核注意力模块进行高效整合，使得模型能够在不同的空间尺度上提取更丰富且多样的空间特征。其流程如下所示：
4.根据权利要求1所述的一种基于多尺度的视觉注意力网络用于高光谱图像与多光谱图像融合方法，其特征在于：设计特征聚合与图像重构模块用于滤除冗余信息，聚合有价值的信息，实现高质量的图像重构。具流程如下所示：
5.根据权利要求1所述的一种基于多尺度的视觉注意力网络用于高光谱图像与多光谱图像融合方法，其特征在于，模型训练过程中所使用的损失函数由l1和lsam组成，l1用于计算重构图像与参考图像之间的整体空间损失，lsam用于计算重构图像与参考图像之间的光谱损失，该损失函数能够有效地约束模型的训练，改善融合图像空间质量的同时，也维持了融合图像的光谱质量。具体细节如下所示：
6.根据权利要求1所述的一种基于多尺度的视觉注意力网络用于高光谱图像与多光谱图像融合方法，其特征在于，训练模型时，以测试图像的平均psnr值为指标，选择测试图像psnr值最高的模型作为最优模型并保存使用。
