本发明属于计算机视觉与深度学习，涉及一种基于端到端的两阶段转换－融合网络的合成孔径雷达与多光谱图像融合去云方法和系统，适用于高保真度及较小计算量要求的多光谱图像去云场景。
背景技术：
1、不同卫星获取的遥感数据时的成像原理不同，图像的空间分辨率、测算尺度、成像角度等特性也存在差异，由此生成了不同模态的数据，比如合成孔径雷达(syntheticaperture radar,sar)图像、激光雷达(light detection and ranging,
2、lidar)图像、多光谱图像(multispectral image,msi)和高光谱图像(hyperspectral image,hsi)等。然而，光学遥感图像的获取往往无法避免云层的干扰，数据中存在的云层遮盖成为后续如目标分类、地面监测等下游任务中的一大痛点与难点。由于光学遥感影像中的薄云与厚云遮盖，大量重要且可用的云区地面信息破损或缺失，例如水体、植被、土地、建筑物信息等等，严重影响了图像的质量和可用性。得益于遥感大数据集的建成，由数据驱动的深度学习算法在遥感图像去云领域迅速发展，而图像融合为其中一大研究热点。相比单一模态的遥感图像去云，利用辅助模态为目标模态提供缺失的信息的多模态融合提供了更广阔、更有效的云层处理思路与方法，提升了遥感数据的质量，保障了基于遥感数据的多种下游任务的实现。
3、遥感图像中的云层去除，尤其是厚云去除，是遥感图像处理中极为重要、必不可少的一项处理工作。而这一任务目标由光学遥感影像中的云层问题引发，从本质来说，最终目的是重建云区的地表信息与地物特征，如纹理、颜色等。多模态图像融合利用两种或以上不同模态的多张图像按照一定的方法进行融合，最后生成一张单一图像，生成结果包含了被融合数据中有效的目标信息，融合了不同方面以及层次的特征来完善信息完整度、准确度等。在多模态融合方法中，根据融合过程的阶段数目可以将目前的研究工作分为两类：一是直接融合，利用sar图像和有云多光谱的图像输入直接进行特征提取完成融合；二是两阶段间接融合，先对sar图像输入进行处理，转换为光学图像，再与有云图像进行后续融合。由于sar图像和msi之间的明显差异，直接融合方法中sar图像单一空间维度的信息相比于具有多个光谱波段的多光谱的图像而言，其可用信息不足。而sar图像转换成模拟多光谱的图像后可以为图像融合提供更多信息，同时，阶段性学习为网络训练提供了较大的控制和优化。但是，由于以下问题，两阶段间接融合方法仍存在一定局限与挑战：(1)目前图像融合重建这一领域的模型多基于生成式对抗网络(generative adversarial network,gan)，但是gan在设计时既定的核心框架与对抗学习机制导致了gan方法无法达到保真度的要求，即预测图像只需要以一定概率欺骗判别器而不需要完全恢复准确的图像内容。同时，也有网络不基于gan实现，但是完成了更加准确的细节重建，比如利用transformer架构或思路的方法，它的全局注意力设计可以为去云的局部细节恢复提供全局引导，但是设计复杂度与输入呈二次相关，在大量以及高精影像重建时会产生问题。(2)sar图像转换为光学图像后再进行融合的确在一定程度上缓解了信息差，但是现有的sar图像模态转光学模态的方法大多侧重于将sar图像转换为只含有三个光谱波段的rgb图像。对于有多个光谱波段的msi而言，它比只有单空间维度的sar图像包含更多的特征信息。因此，尽管现有方法可以生成理想的模拟rgb图像，但要有效生成模拟msi仍然是一个难题，使转换后的msi无法为后续的融合阶段提供有效的特征信息。
4、近年来利用sar图像和光学图像进行直接融合进行去云的研究发展迅速，基于gan、残差神经网络(residual neural network,resnet)等深度学习网络的变体都在利用直接融合实现缺失信息重建方面有长足的贡献。grohnfeldt等人(grohnfeldtc,schmittm,zhu x.a conditional generative adversarial network to fuse sar andmultispectral optical data for cloud removal from sentinel-2images[c]//igarss2018-2018ieee international geoscience and remote sensingsymposium.ieee,2018:1726-1729.)首次设计了一种专门用于融合sar图像和msi的条件生成式对抗网络(conditional generative adversarial network,cgan)，引入sar图像作为辅助，从含有云层的光学图像生成不受云层遮盖的图像；sar2opt(bermudez j,happ p,oliveira d,et al.sar to optical image synthesis for cloud removal withgenerative adversarial networks[j].isprs annals of the photogrammetry,remotesensing and spatial information sciences,2018,4:5-11.)利用配对的sar与光学图像补丁训练cgans网络，在预测阶段仅依靠sar数据重建了图像中的其他光谱波段。尽管gans具有极强的图像生成能力，但是它对于在较大范围损坏的输入数据的训练会出现预测不稳定的情况，并且gans的细节预测由于其只需要可以欺骗判别器而不够贴近真实地况，导致生成结果不理想。为了提升这一方面的鲁棒性，meraner等人受resnet(he k,zhang x,rens,et al.deep residual learning for image recognition[c]//proceedings of theieee/cvf conference on computer vision and pattern recognition.2016:770-778.)的启发提出了一个新的深度残差神经网络模型dsen2cr(meraner a,ebel p,zhu x x,etal.cloud removal in sentinel-2imagery using a deep residual neural networkand sar-optical data fusion[j].isprs journal of photogrammetry and remotesensing,2020,166:333-346.)，极大地提升了预测生成的稳定性，但是由于残差级联仅能够获取sar图像数据的不完全信息，所以该方法在特定区域的预测效果会有所降低。
5、除了直接融合这一思路，还有采用两阶段的融合思路，在第一个阶段将sar图像先转变为一张模拟光学无云图像，在第二个阶段将模拟光学无云图像与有云光学图像输入进行融合完成云区信息重建。gao等人(gao j,yuan q,li j,et al.cloud removal withfusion of high resolution optical and sar images using generative adversarialnetworks[j].remote sensing,2020,12(1):191.)首先在光学图像中使用模拟的云图层，设计了一个基于gan的网络完成去云，最后将网络应用于含有真实云层的光学图像；两阶段融合与直接融合对比而言，图像转换阶段是引起网络架构变化的主要因素，而对于这一阶段，目前已有一些长足的工作研究。如基于cgan的工作(li y,fu r,meng x,et al.a sar-to-optical image translation method based on conditional generationadversarial network(cgan)[j].ieee access,2020,8:60338-60343.)，将vv单极化的sar转换为三通道的光学图像。如前所述，目前的两阶段融合策略主要基于gan实现，故仍然存在直接融合中面临的普遍问题，即预测不稳定以及细节不准确。并且，在第一个图像转换阶段中，现有方法仅将光学图像转为三个光谱波段的模拟光学图像，提供的信息仍然受限，无法达到msi去云中信息利用的最优解。因此设计一个能平衡网络模型准确率以及设计复杂度，并且能充分利用sar信息的网络架构是两阶段融合去云领域的一个重要问题。
技术实现思路
1、本发明针对现有技术的不足，提出一种基于端到端的两阶段转换－融合网络的sar与msi融合去云方法。使用sar图像和msi进行图像转换与图像融合，最终完成msi中的云层去除。考虑到gan的低保真度和transformer的高计算负荷，本发明选择了一个cnn模型convnext(liu z,mao h,wu c y,et al.a convnet for the 2020s[c]//proceedings ofthe ieee/cvf conference on computer vision and pattern recognition.2022:11976-11986.)作为网络骨干。通过参考transformer的网络层结构参数设计来改进resnet中的关键组件，convnext在各种图像处理任务中都能与transformer相媲美。本发明利用convnext这一骨干网络架构，设计了一个双u型端到端神经网络，以实现两阶段的特征学习和整体监督。首先利用convnext构建编码器和解码器的基本单元，在第一个图像转换阶段，构建第一个具有编码和解码的u型图像转换子网络，以优化sar图像到msi的图像转换效果为目标，并为转换后的msi提供更全面、更有用的信息，该转换阶段可以为后续的图像融合阶段中图像的有云部分提供深层结构信息和精确的光谱信息。在第二个融合阶段，完成加权的三源图像融合，构建第二个具有编码和解码的u型图像融合子网络生成最终的去云msi结果，在该阶段中，首先计算云掩膜权重(cloud mask score,cms)图像，以提供可靠的云区域划分、浓度等信息，然后利用该权重图像提供的概率权重，将有云msi的有云部分以权重图提供的权重值加权叠加上模拟无云msi的对应区域，将经过加权叠加的图像输入图像融合子网络完成图像的融合调整，最终生成去云msi结果。最后重新设计了损失函数，运用cms为不同阶段的结果提供适当的损失权重，对所提出的两阶段融合网络进行联合优化。通过设计适用于网络的损失函数，指导网络训练，并在大规模的多模态遥感数据集sen12ms-cr(ebel p,meraner a,schmitt m,et al.multisensor data fusion for cloud removalin global and all-season sentinel-2imagery[j].ieee transactions on geoscienceand remote sensing,2021,59(7):5866-5878.)上进行训练。
2、本发明提供的技术方案为一种sar与多光谱图像融合去云方法，包括以下步骤：
3、步骤1，获取仿真数据集以及真实数据集，两个数据集中均包括无云的sar图像、有云多光谱msi图像；
4、步骤2，构建两阶段转换-融合去云网络，所述转换-融合去云网络包括图像转换阶段和图像融合阶段两个部分，将得到的仿真数据集与真实数据集作为网络输入；
5、图像转换阶段，构建第一个具有编码和解码的u型图像转换子网络，所述图像转换子网络包含若干图像转换层，每一图像转换层包含一个图像转换编码基本单元和解码基本单元，每个图像转换编码基本单元包括利用卷积层实现图像的下采样操作和利用convnext设计的特征提取及编码块block，每个解码基本单元包括利用像素重排和转置卷积实现图像的上采样及解码操作decoder，通道维度连接操作concat和利用convnext设计的特征提取及解码块block，第一层首先输入的是无云的sar图像，经过最后一层的图像转换编码基本单元后获得的特征向量进入解码基本单元，最后再经过一个hardtanh激活函数，获得模拟无云msi图像
6、图像融合阶段，构建第二个具有编码和解码的u型图像融合子网络，所述图像融合子网络包括若干图像融合层，每一图像融合层包含一个图像融合编码基本单元和解码基本单元，所述图像融合编码基本单元的结构与图像转换编码基本单元相同，并与图像转换子网络共用解码基本单元，图像融合子网络的输入为模拟无云msi图像有云多光谱msi图像copt与云掩膜权重图像cms进行加权叠加合并操作后的融合图像，输出最终的去云msi结果；
7、步骤3，结合损失函数训练两阶段转换-融合去云网络，并利用训练好的网络实现有云多光谱图像msi的去云。
8、进一步的，图像转换编码基本单元中下采样操作的处理过程如下；
9、假定输入图像转换编码基本单元的特征向量为xi，其中i代表第i层；首先对该特征向量进行下采样操作，利用卷积能够降低分辨率的特性，使用大于3的卷积核大小，大于1的步长对特征向量进行卷积，假设特征向量的高度为hin，宽度为win，卷积核大小为k，步长为s，则经过卷积后输出特征向量的高度hout，宽度wout由下式计算：
10、
11、其中表示向下取整操作，通过这种方式卷积操作，得到一个经过下采样的特征向量其中i代表特征向量位于第i层，d表示特征向量经过下采样操作，用于同输入的特征向量区分，假设下采样操作为down(·)，则该过程表示为：
12、
13、进一步的，图像转换编码基本单元中编码块block的处理过程如下；
14、该编码块block的核心是使用7×7的大卷积核执行卷积，首先是将输入的特征向量使用1×1卷积进行通道调整，然后经过7×7大卷积核卷积，层归一化和激活操作得到输出特征向量其中i代表特征向量位于第i层，b表示特征向量经过block后的输出，用于同输入的特征向量区分，对输入特征向量做通道调整的过程记为大卷积核卷积过程记为层归一化记为ln(·)，激活使用gelu函数因此记为gelu(·)，则该过程表示为：
15、
16、其中gelu激活函数的表达式为：
17、
18、其中x表示自变量；
19、若将上述过程记为block(·)，则简化为：
20、
21、进一步的，解码基本单元的具体处理过程如下；
22、对于输入该解码基本单元的特征向量，首先利用像素重排和转置卷积实现对特征的上采样操作，然后经过层归一化和gelu激活操作，利用像素重排，在保持特征向量像素数总大小不变的情况下，将特征向量的宽高同时放大r倍，通道数变为原先的1/r2，重排后使用转置卷积操作对特征向量进行调整，转置卷积核大小为3，步长为1，填充为1；假设该解码基本单元输入的特征向量为其中i代表特征向量位于第i层，e表示特征向量作为decoder的输入，用于同其他特征向量符号区分，像素重排操作记为ps(·)，转置卷积操作记为输出的经过上采样的特征向量记为其中i代表特征向量位于第i层，u表示特征向量作为decoder的输出，用于同其他特征向量符号区分，则该过程表示为：
23、
24、在获得上采样后的特征向量后，将该特征向量与上一层图像转换编码基本单元输出的特征向量在通道维度上连接来进一步保留底层特征，然后通过利用convnext设计的特征提取及解码块block，此处解码块block与编码块block结构一致，经过这些操作后输出的特征向量为其中i代表特征向量位于第i层，ud表示特征向量经过连接操作和解码块block操作后的输出，用于同其他特征向量符号区分，连接操作记为concat，则上述过程表示为：
25、
26、进一步的，hardtanh激活函数的表达式为：
27、
28、其中x表示输入。
29、进一步的，采用云掩膜生成方法计算有云多光谱图像msi中每个像素为云的概率值，记为其中
30、进一步的，加权叠加合并的操作目的在于将有云多光谱msi图像中的有云部分像素替换为图像转换子网络输出的模拟无云多光谱msi图像对应位置像素，构成一个伪无云msi图像以作为图像融合子网络的输入；加权叠加合并操作表示为下式：
31、
32、其中cms，copt，均为图像且宽高一致。
33、进一步的，损失函数由下面的公式定义：
34、
35、其中由两部分组成，一部分为模拟无云损失一部分为网络预测损失
36、在损失中，根据平滑损失计算无云多光谱图像msi真值gt与模拟无云多光谱图像msi的差异，并利用γ1＝cms作为权重分配的指导，通过逐点相乘的方式进行权重分配，增加多云区域的权重，的计算如下面公式所示：
37、
38、其中，表示平滑损失nttp＝h×w×cmsi表示图像中的总像素数，cmsi为模拟无云多光谱图像msi的通道数，h×w为输入sar图像的大小；
39、与损失相应的，通过损失来评估gt与pout二者的差异，并利用γ2＝1-cms作为权重分配的指导来增加无云区域的权重，的计算方法如下述公式所示：
40、
41、本发明还提供一种sar与多光谱图像融合去云系统，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上述技术方案所述的一种sar与多光谱图像融合去云方法。
42、与现有技术相比，本发明的优点和有益效果：本发明就sar图像与msi融合去云领域中现阶段存在的网络模型的准确率与设计复杂度相矛盾以及sar信息利用率不足两个可改进与提升的问题，提出了一个两阶段转换-融合去云网络模型。该网络利用sar信息去除msi中的云层，重建多云区域的地面信息，同时在预测过程中保持无云区域信息的完整性。大量的仿真和实际实验结果证明了本发明的有效性和实用性。
1.一种sar与多光谱图像融合去云方法，其特征在于，包括如下步骤：
2.如权利要求1所述的一种sar与多光谱图像融合去云方法，其特征在于：图像转换编码基本单元中下采样操作的处理过程如下；
3.如权利要求1所述的一种sar与多光谱图像融合去云方法，其特征在于：图像转换编码基本单元中编码块block的处理过程如下；
4.如权利要求1所述的一种sar与多光谱图像融合去云方法，其特征在于：解码基本单元的具体处理过程如下；
5.如权利要求1所述的一种sar与多光谱图像融合去云方法，其特征在于：
6.如权利要求1所述的一种sar与多光谱图像融合去云方法，其特征在于：采用云掩膜生成方法计算有云多光谱图像msi中每个像素为云的概率值，记为其中
7.如权利要求1所述的一种sar与多光谱图像融合去云方法，其特征在于：加权叠加合并的操作目的在于将有云多光谱msi图像中的有云部分像素替换为图像转换子网络输出的模拟无云多光谱msi图像对应位置像素，构成一个伪无云msi图像以作为图像融合子网络的输入；加权叠加合并操作表示为下式：
8.如权利要求1所述的一种sar与多光谱图像融合去云方法，其特征在于：损失函数由下面的公式定义：
9.一种sar与多光谱图像融合去云系统，其特征在于：包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如权利要求1-8任一项权利要求所述的一种sar与多光谱图像融合去云方法。
