本发明涉及影像分类领域，尤其是涉及一种生成式自监督预训练分类模型构建方法及装置。
背景技术：
1、目前，随着高光谱遥感应用的不断扩展，高光谱影像分类任务变得更加复杂和具有挑战性。尤其是在少样本条件下，有效融合和利用不同类型遥感影像的优势，是提升高光谱影像分类性能的有效途径。生成式学习作为一种强大的自监督特征学习范式，在高光谱影像处理领域展现出独特的优势，它通过设计与高光谱影像特性密切相关的重构代理任务，驱使模型学习数据的深层结构特征，从而挖掘地物的高级特征信息。然而，在高光谱影像分类任务中，生成式学习往往关注于提取丰富而复杂的特征表示，可能会忽视不同地物间的判别性差异，这在特征层面可能导致不同地物类型间的可分性不足。此外，由于不同类型遥感影像特点具有显著差异，面向单一数据源的生成式学习方法难以有效利用不同类型遥感影像特征的互补性，限制了模型对地物判别特征的提取能力。
技术实现思路
1、本发明提供一种生成式自监督预训练分类模型构建方法及装置，可以在少样本条件下，提升模型从多源遥感影像中学习地物深层特征的能力，进而提升少样本条件下的高光谱影像分类性能。
2、为此，本发明提供如下技术方案：
3、一种生成式自监督预训练分类模型构建方法，所述方法包括：
4、采集对应同一目标对象的高光谱影像、多光谱影像、以及全色影像；
5、基于所述高光谱影像、多光谱影像、以及全色影像裁切得到对应的高光谱影像子集、多光谱影像子集、以及全色影像子集，生成样本集；
6、使用多尺度掩蔽策略对所述样本集中的样本数据进行掩蔽处理，得到掩蔽影像；
7、对所述掩蔽影像进行空间位置编码，并根据使用的掩蔽策略嵌入标记信息，得到各掩蔽影像对应的编码数据；
8、对所述编码数据进行特征提取，得到多源特征；
9、对所述多源特征进行融合，得到多源深度融合特征；
10、利用解码器对所述多源深度融合特征进行重构，并在重构损失的基础上引入光谱一致性约束。
11、可选地，所述基于所述高光谱影像、多光谱影像、以及全色影像裁切得到对应的高光谱影像子集、多光谱影像子集、以及全色影像子集，生成样本数据包括：
12、将所述高光谱影像中的任一像素作为目标像素，以目标像素为中心，裁切出一定邻域范围的高光谱邻域影像，根据所述高光谱邻域影像生成高光谱影像子集；
13、裁切出与所述高光谱影像邻域影像对应的多光谱邻域影像，根据所述多光谱邻域影像生成多光谱影像子集；
14、裁切出与所述高光谱影像邻域影像对应的全色邻域影像，根据所述全色邻域影像生成全色影像子集；
15、根据所述高光谱影像子集、所述多光谱影像子集、以及所述全色影像子集生成样本集，所述样本集中的每个样本包括对应一个目标像素的高光谱邻域影像、多光谱邻域影像、全色邻域影像。
16、可选地，所述多尺度掩蔽策略包括以下任意一种或多种：小尺寸随机掩蔽、大尺寸随机掩蔽、小尺寸通道随机掩蔽、大尺寸通道随机掩蔽、随机波段掩蔽、连续波段掩蔽。
17、可选地，所述使用多尺度掩蔽策略对所述样本集中的样本数据进行掩蔽，得到掩蔽影像包括：针对不同类型影像数据集，随机选用不同的掩蔽策略对所述样本集中的样本数据进行掩蔽，得到掩蔽影像。
18、可选地，所述方法还包括：
19、利用编码器对所述掩蔽影像进行空间位置编码之前，将所述编码数据映射到预定义维度特征空间。
20、可选地，所述对所述编码数据进行特征提取，得到多源特征包括：利用基于transformer的非对称编码器-解码器结构，对所述编码数据进行特征提取，得到多源特征。
21、可选地，所述对所述多源特征进行融合，得到多源深度融合特征包括：对所述多源特征进行交叉注意力融合，在融合过程中，以高光谱影像为主体，对全色和多光谱影像特征进行融合，得到多源深度融合特征。
22、可选地，所述利用解码器对所述多源深度融合特征进行重构包括：
23、基于设定的掩蔽率对影像块进行随机掩蔽，使用线性投影和位置编码对不同类型的未掩蔽影像区域进行处理后得到对应的特征嵌入，并且将编码器输出的不同类型影像特征嵌入输入到交叉注意力融合过程中；
24、利用解码器根据编码器和交叉注意力融合过程提取的多源深度融合特征结合位置编码信息，对特定类型的影像进行重构。
25、可选地，对特定类型的影像进行重构的过程的优化目标包括：
26、重构损失和光谱损失；
27、所述重构损失是指不同任务解码器重构的影像与该任务对应原始影像之间的逐像素点均方误差；
28、所述光谱损失采用光谱损失函数表示，所述光谱损失函数采用光谱余弦计算重建光谱特征与原始光谱特征之间的相似程度。
29、可选地，所述方法还包括：
30、对所述多源特征进行交互对比学习，优化所述编码器；
31、多源特征交互对比损失包括：高光谱影像特征到其他影像特征的对比损失loss(zhsi,zimg)，以及其他影像特征到高光谱影像特征的对比损失loss(zimg,zhsi)。
32、一种生成式自监督预训练分类模型构建装置，所述装置包括：
33、图像采集模块，用于采集对应同一目标对象的高光谱影像、多光谱影像、以及全色影像；
34、样本集生成模块，用于基于所述高光谱影像、多光谱影像、以及全色影像裁切得到对应的高光谱影像子集、多光谱影像子集、以及全色影像子集，生成样本集；
35、样本处理模块，用于使用多尺度掩蔽策略对所述样本集中的样本数据进行掩蔽，得到掩蔽影像；
36、位置编码模块，用于对所述掩蔽影像进行空间位置编码，并根据使用的掩蔽策略嵌入标记信息，得到各掩蔽影像对应的编码数据；
37、特征提取模块，用于对所述编码数据进行特征提取，得到多源特征；
38、融合模块，用于对所述多源特征进行融合，得到深度融合特征；
39、解码模块，用于利用解码器对所述深度融合特征进行重建，并在重建损失的基础上引入光谱一致性约束。
40、可选地，所述特征提取模块利用基于transformer的非对称编码器-解码器结构，对所述编码数据进行特征提取，得到多源特征；
41、所述装置还包括：
42、对比学习模块，用于对所述多源特征进行交互对比学习，优化所述编码器。
43、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行所述生成式自监督预训练分类模型构建方法的步骤。
44、一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现所述生成式自监督预训练分类模型构建方法的步骤。
45、本发明提供的生成式自监督预训练分类模型构建方法及装置，将生成式学习的深层特征挖掘能力与对比学习的特征判别性增强作用相结合，可以提取多源遥感影像中蕴含的地物空谱特征，并增强这些特征的可分性，尤其是在少样本条件下。通过对多源特征进行融合，得到多源深度融合特征，利用解码器对多源深度融合特征进行重构，并在重构损失的基础上引入光谱一致性约束。
46、进一步地，还可以通过对多源特征进行交互对比学习，实现对编码器的优化。通过双分支并行优化机制，不仅强化了生成式自监督预训练分类模型从多源遥感影像中学习地物深层特征的能力，同时通过交互对比学习进一步挖掘和对齐不同遥感影像的判别特征，从而大大提升了少样本条件下的高光谱影像分类性能。
47、利用本发明方案构建的分类模型，通过多源特征对比优化和交叉注意力融合，增强了模型对深层判别特征的提取与融合能力，同时，设计了光谱一致性重构损失，通过大量无标记多源遥感影像的精准重构完成预训练，将训练成果作为分类模型的特征提取器，显著提升了少样本高光谱影像的分类精度和泛化能力。
1.一种生成式自监督预训练分类模型构建方法，其特征在于，所述方法包括：
2.根据权利要求1所述的生成式自监督预训练分类模型构建方法，其特征在于，所述基于所述高光谱影像、多光谱影像、以及全色影像裁切得到对应的高光谱影像子集、多光谱影像子集、以及全色影像子集，生成样本数据包括：
3.根据权利要求1所述的生成式自监督预训练分类模型构建方法，其特征在于，所述多尺度掩蔽策略包括以下任意一种或多种：小尺寸随机掩蔽、大尺寸随机掩蔽、小尺寸通道随机掩蔽、大尺寸通道随机掩蔽、随机波段掩蔽、连续波段掩蔽。
4.根据权利要求1所述的生成式自监督预训练分类模型构建方法，其特征在于，所述对所述编码数据进行特征提取，得到多源特征包括：
5.根据权利要求1所述的生成式自监督预训练分类模型构建方法，其特征在于，所述对所述多源特征进行融合，得到多源深度融合特征包括：
6.根据权利要求5所述的生成式自监督预训练分类模型构建方法，其特征在于，所述利用解码器对所述多源深度融合特征进行重构包括：
7.根据权利要求6所述的生成式自监督预训练分类模型构建方法，其特征在于，对特定类型的影像进行重构的过程的优化目标包括：
8.根据权利要求4所述的生成式自监督预训练分类模型构建方法，其特征在于，所述方法还包括：
9.一种生成式自监督预训练分类模型构建装置，其特征在于，所述装置包括：
10.根据权利要求9所述的生成式自监督预训练分类模型构建装置，其特征在于：
