本技术涉及遥感图像处理,尤其涉及一种基于对比学习的遥感图像跨域仿真转译方法、装置、存储介质及电子设备。
背景技术:
1、深度学习(deep learning)在航空遥感图像解译领域的应用日益广泛,其通过大规模数据集和复杂的网络结构,已取得了令人瞩目的研究成果。然而,在实际应用中,遥感图像受到传感器类型、波段差异、地理位置和季节变化等多种因素的影响,呈现出显著的非均质性。这种非均质性导致了同一物体在不同光谱条件下的表现差异,以及不同材料在相同光谱下的相似表现,给依赖数据学习的模型带来了巨大挑战。
2、由于目标图像光谱分布的变化,已训练的模型性能往往会出现显著退化。特别是在波段或传感器发生显著变化时,通常需要重新训练模型以适应新的数据分布。然而,匹配目标域的可训练数据集极为稀缺,特别是在处理小区域或特定应用场景时,这种数据不足的问题更加突出。此外,尽管现有的公开标记数据集为航空图像解释提供了宝贵资源,但对其的利用和探索尚不够全面和深入。现有的方法往往只关注数据集的局部特征或特定任务,而忽视了数据集之间的关联性和互补性。这限制了模型在跨域适应和泛化能力方面的进一步提升。
3、在图像处理领域,传统的直方图匹配、mkl等基于较低统计值匹配的方法,尽管在图像颜色对齐方面有所应用,但主要聚焦于颜色层面的匹配,忽视了图像语义逻辑的重要性。随着计算机视觉技术的不断进步,近年来涌现出诸多风格转移和图像翻译方法,这些方法旨在将输入图像转换为另一种风格的输出图像,同时尽量保持输入图像的内容和语义。其中,主流的方法如cyclegan及其变体通过利用对抗性损失和周期一致性损失来分别约束图像风格和保留内容。然而,这些方法在应用于遥感图像时,往往难以保持语义一致性,甚至可能出现过度风格化的问题,导致图像细节失真。
技术实现思路
1、本技术实施例提供一种基于对比学习的遥感图像跨域仿真转译方法、装置、存储介质及电子设备,能够避免出现图像过度风格化而导致图像细节失真的问题。
2、本技术实施例提供了一种基于对比学习的遥感图像跨域仿真转译方法,包括:
3、获取源图像域中源待转译图像与目标图像域中的目标待转译图像;
4、将所述源待转译图像与所述目标待转译图像输入到图像转译模型中; 其中,所述图像转译模型包括生成器与判别器,所述生成器包括编码器与解码器;
5、其中,所述将所述源待转译图像与所述目标待转译图像输入到图像转译模型中,包括:
6、将所述源待转译图像与所述目标待转译图像输入到所述编码器中,分别得到源编码特征与目标编码特征;
7、将所述源编码特征与所述目标编码特征输入到所述解码器中,分别得到源伪样本图像与目标伪样本图像;
8、将所述源伪样本图像输入到鉴别器中进行鉴别,得到鉴别结果;
9、其中,所述图像转译模型是基于内容对比损失函数、风格对比损失函数以及基于所述源伪样本图像与所述目标伪样本图像构建的对抗损失函数进行训练得到的。
10、进一步地,所述基于对比学习的遥感图像跨域仿真转译方法,其中,所述图像转译模型还包括内容投影网络,所述方法还包括:
11、将所述源编码特征输入到所述内容投影网络中,得到所述源编码特征的特征向量;
12、将所述源伪样本图像输入到所述内容投影网络中,得到所述源伪样本图像的第一查询向量;
13、匹配所述源待转译图像与所述源伪样本图像在同一位置的特征向量,将匹配的所述源待转译图像作为第一正样本,将所述源待转译图像中其他位置的特征向量对应的源待转译图像作为第一负样本;
14、基于所述第一正样本、所述第一负样本,以及所述第一查询向量计算内容对比损失函数;
15、基于所述内容对比损失函数训练所述编码器,以约束所述源待转译图像与所述源伪样本图像的内容一致性。
16、进一步地,所述基于对比学习的遥感图像跨域仿真转译方法,其中,所述图像转译模型还包括风格投影网络,所述方法还包括:
17、将所述目标编码特征输入到所述风格投影网络中,得到所述目标编码特征的特征向量;
18、将所述源伪样本图像输入到所述风格投影网络中,得到所述源伪样本图像的第二查询向量;
19、匹配所述目标待转译图像与所述源伪样本图像在同一位置的特征向量,将匹配的所述目标待转译图像作为第二正样本,将所述源待转译图像中其他位置的特征向量对应的源待转译图像作为第二负样本;
20、基于所述第二正样本、所述第二负样本,以及所述第二查询向量计算风格对比损失函数;
21、基于所述风格对比损失函数训练所述编码器,以约束所述目标待转译图像与所述源伪样本图像的内容一致性。
22、进一步地,所述基于对比学习的遥感图像跨域仿真转译方法,其中,所述方法还包括:
23、构建语义分割模型;
24、将所述图像转译模型输出的新风格化图像输入到训练好的语义分割模型中,得到语义分割结果。
25、进一步地,所述基于对比学习的遥感图像跨域仿真转译方法,其中,所述语义分割模型与所述图像转译模型的联合训练过程包括:
26、若用于训练的所述源图像域中的图像有对应的训练标签,则基于所述源图像域中的图像对应的训练标签与所述新风格化图像计算第一损失函数,基于所述第一损失函数进行迭代训练得到训练好的语义分割模型;
27、若用于训练的所述目标图像域中的图像有对应的训练标签,则基于对抗损失函数、内容对比损失函数、风格对比损失函数、身份一致性损失函数以及语义损失函数计算第二损失函数,基于所述第二损失函数进行迭代训练得到训练好的语义分割模型;
28、若用于训练的所述源图像域中的图像与用于训练的所述目标图像域中的图像都无对应的训练标签,则移除所述语义分割模型,并根据对抗损失函数、内容对比损失函数与风格对比损失函数计算第三损失函数,基于所述第三损失函数进行迭代训练得到训练好的图像转译模型。
29、进一步地,所述基于对比学习的遥感图像跨域仿真转译方法,其中,所述基于所述第一正样本、所述第一负样本,以及所述第一查询向量计算内容对比损失函数,包括:
30、通过第一公式计算内容对比损失函数,所述第一公式为:
31、
32、其中,为第一查询向量,为第一正样本,为第一负样本,为交叉熵损失函数。
33、进一步地,所述基于对比学习的遥感图像跨域仿真转译方法,其中,所述交叉熵损失函数通过第二公式计算得到,所述第二公式为:
34、
35、其中,为第一查询向量,为正例向量,为负例向量。
36、本技术实施例还提供了一种基于对比学习的遥感图像跨域仿真转译装置,包括:
37、获取模块,用于获取源图像域中源待转译图像与目标图像域中的目标待转译图像;
38、转译模块,用于将所述源待转译图像与所述目标待转译图像输入到图像转译模型中; 其中,所述图像转译模型包括生成器与判别器,所述生成器包括编码器与解码器;
39、其中,所述将所述源待转译图像与所述目标待转译图像输入到图像转译模型中,包括:
40、将所述源待转译图像与所述目标待转译图像输入到所述编码器中,分别得到源编码特征与目标编码特征;
41、将所述源编码特征与所述目标编码特征输入到所述解码器中,分别得到源伪样本图像与目标伪样本图像;
42、将所述源伪样本图像与所述目标伪样本图像输入到鉴别器中进行鉴别,分别得到第一鉴别结果与第二鉴别结果;
43、其中,所述图像转译模型是基于内容对比损失函数、风格对比损失函数以及基于所述源伪样本图像与所述目标伪样本图像构建的对抗损失函数进行训练得到的。
44、本技术实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有多条指令,所述指令适于由处理器加载以执行上述任一项基于对比学习的遥感图像跨域仿真转译方法。
45、本技术实施例还提供了一种电子设备,包括处理器和存储器,所述处理器与所述存储器电性连接,所述存储器用于存储指令和数据,所述处理器用于上述任一项所述的基于对比学习的遥感图像跨域仿真转译方法中的步骤。
46、本技术提供的基于对比学习的遥感图像跨域仿真转译方法、装置、存储介质及电子设备,本技术通过内容对比损失函数和风格对比损失函数训练图像转译模型,能够避免出现图像过度风格化而导致图像细节失真的问题,实现了无监督条件下对目标域风格特征的快速对齐,并且模型参数量小,极大缩短了模型训练时间。
1.一种基于对比学习的遥感图像跨域仿真转译方法,其特征在于,所述方法包括:
2.根据权利要求1所述的基于对比学习的遥感图像跨域仿真转译方法,其特征在于,所述图像转译模型还包括内容投影网络,所述方法还包括:
3.根据权利要求1所述的基于对比学习的遥感图像跨域仿真转译方法,其特征在于,所述图像转译模型还包括风格投影网络,所述方法还包括:
4.根据权利要求1所述的基于对比学习的遥感图像跨域仿真转译方法,其特征在于,所述方法还包括:
5.根据权利要求4所述的基于对比学习的遥感图像跨域仿真转译方法,其特征在于,所述语义分割模型与所述图像转译模型的联合训练过程包括:
6.根据权利要求2所述的基于对比学习的遥感图像跨域仿真转译方法,其特征在于,所述基于所述第一正样本、所述第一负样本,以及所述第一查询向量计算内容对比损失函数,包括:
7.根据权利要求6所述的基于对比学习的遥感图像跨域仿真转译方法,其特征在于,所述交叉熵损失函数通过第二公式计算得到,所述第二公式为:
8.一种基于对比学习的遥感图像跨域仿真转译装置,其特征在于,包括:
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有多条指令,所述指令适于由处理器加载以执行权利要求1至7任一项所述的基于对比学习的遥感图像跨域仿真转译方法。
10.一种电子设备,其特征在于,包括处理器和存储器,所述处理器与所述存储器电性连接,所述存储器用于存储指令和数据,所述处理器用于执行权利要求1至7任一项所述的基于对比学习的遥感图像跨域仿真转译方法中的步骤。
