一种跨场景多域融合小样本遥感目标鲁棒识别方法

专利2025-10-19  33


本发明涉及目标识别,特别是涉及一种跨场景多域融合小样本遥感目标鲁棒识别方法,通过融合跨场景多域多模态遥感图像数据,提高目标检测和识别的精度和鲁棒性。


背景技术:

1、遥感图像处理和目标检测技术在环境监测、灾害评估、城市规划和等领域发挥着重要作用。通过获取和分析遥感图像,可以实现对地表物体和现象的精确监测和识别,从而提供关键的决策支持。这些技术的应用不仅能够提高资源管理和环境保护的效率,还能够增强安全领域的侦察和监控能力。

2、然而,对抗性环境中的遥感图像处理和目标检测识别面临诸多挑战和问题。在对抗性环境中,先进作战装备的往往具有高度的隐蔽性和技术新颖性,这使得在战前通过常规手段获取充分的目标数据变得极其困难,加之战争环境的瞬息万变,使得在短时间内积累足够的样本数据用于模型训练十分困难,样本数据的不足直接限制了对新型或罕见目标的有效感知与识别能力。由于情报搜集窗口期短暂,敌方的新型武器装备、战术布局等关键信息数据难以被广泛收集,导致可用数据量极为有限。而成功获取的目标信息数据往往集中于特定场景或条件之下,与实战中的多样化环境存在较大差异。基于这些有限且场景受限的数据构建的目标识别模型,在面临新环境或新目标时,往往展现出较差的泛化性能,无法准确识别或适应目标在不同环境下的特征变化。

3、传统智能算法在处理此类小样本学习问题时,特征表示能力有限,难以从少量样本中抽取充分的、具有代表性的特征;此外泛化能力不足,即使在训练数据上表现良好,也无法准确预测或分类未见过的样本。尤其是在跨场景的情况下,训练集和测试集来自不同的领域,拥有不同的数据分布,而传统智能算法中训练集和测试集来自相同领域,导致的域偏移问题会对小样本学习的性能带来负面影响,严重阻碍了在复杂多变的战场环境下对目标的快速准确识别,从而影响了决策的时效性和准确性。

4、此外,单一模态的数据难以全面反映复杂场景中的目标特征,因而难以保证高精度的目标检测。遥感图像来源广泛,包括可见光、红外、合成孔径雷达(sar)等多种模态,每种模态的数据具有不同的成像原理和特性,能够提供不同方面的信息。例如,可见光图像能够提供丰富的颜色和纹理信息,红外图像能够在夜间或恶劣天气条件下获取数据,sar图像则能够穿透云层和植被,提供地表结构信息。在遥感图像处理中,不同模态的图像各自具备独特的优势,但也存在各自的局限性:可见光图像能够提供丰富的颜色和纹理信息,细节表现能力强,直观易懂,但对光照条件敏感,在夜间或恶劣天气下,成像质量显著下降,且受遮挡影响,无法穿透云层、烟雾或植被等遮挡物,限制了其在复杂环境中的应用。红外图像能够在夜间或恶劣天气条件下获取数据,对温度差异敏感,适用于检测热源,但分辨率较低,通常红外图像的分辨率比可见光图像低,细节表现能力差,同时颜色信息缺失,导致图像的视觉直观性差,受热干扰,热源和温度变化会影响成像效果,存在误报的可能。合成孔径雷达(sar)图像能够穿透云层和植被,提供地表结构信息,不受光照条件影响,适用于全天候成像,但噪声较高,sar图像中常存在散斑噪声,影响图像质量和细节表现,解释困难,图像直观性差,较难直接从图像中提取有用信息,需要专业的处理和分析,几何畸变,由于成像原理不同,sar图像可能存在几何畸变,需要进行几何校正。通过结合这些模态的优势和克服各自的缺点,可以更全面和准确地检测和识别复杂场景中的目标,提高遥感图像处理的整体性能。

5、多模态数据的配准是数据融合的前提,但由于不同模态图像之间存在几何畸变、分辨率差异和成像条件的变化,传统的配准方法(如基于灰度或特征点的方法)难以在复杂场景下实现高精度的配准。这直接影响了后续特征提取和融合的准确性。二是特征提取不足,特征提取是目标检测的关键步骤,现有方法多依赖于单一模态的特征提取或简单的多模态特征融合,未能充分挖掘和利用多模态数据的互补信息。例如,传统的手工特征提取方法(如sift、surf)在复杂背景和不同模态之间的表现不够鲁棒,而一些深度学习方法虽然能够提取较为丰富的特征,但在处理多模态数据时,常常未能有效地结合各模态的优势。再是检测模型复杂度高,为了提高目标检测的精度,现有的一些方法设计了非常复杂的检测模型。这些模型通常包含大量的参数和计算量,难以在实际应用中满足实时性和计算资源的限制。例如,基于深度神经网络的检测方法虽然精度较高,但训练和推理过程中的计算复杂度较高,限制了其在实时应用中的推广。最后是多模态数据融合方法不足:现有技术中,虽然有一些多模态数据融合的方法,但现有方法在处理不同模态特征的融合时,往往存在信息丢失和冗余的问题,且由于使用的拼接加权融合策略无法充分发挥不同模态数据的互补性,导致融合特征的表达能力不足。

6、针对上述问题,本发明提出了一种基于改进的域映射的跨场景泛化小样本学习与基于深度神经网络的轻量化实时目标识别模型,具有以下创新点和优势:

7、综合运用了元学习策略和基于改进的掩码自编码器的表征学习,以提升遥感目标识别的准确性和泛化能力。通过采用元学习策略构建k-way-n-shot学习场景,仅需少量标注样本即可驱动目标识别模型快速迭代升级,在遇到新任务时,能够迅速适应并精确执行分类任务,显著降低了对大量样本数据的依赖。

8、利用掩码自编码器进行预训练,无需依赖标注数据,自监督学习图像特征。掩码自编码器通过随机遮挡输入图像的部分区域,利用vision transformer(vit)高效编码器生成包含全局上下文和局部细节的低维隐变量。编码器部分被用作特征提取器,有效解耦域特征与目标特征,从而在源域和目标域之间建立起一个共同的特征空间,有助于缩小数据分布差异。

9、采用基于特征匹配的多域异构图像配准技术,通过提取显著边界特征和基于灰度的方法提取特征点,动态调整尺度不变特征变换(sift)阈值,并计算权重值以强化重要特征点,确保在复杂场景下实现高精度配准。其次,融合基于特征点和边界特征的配准结果,使用增量式优化方法提升配准精度,并根据目标检测的准确率设计新的权重,迭代优化配准算法,提高其在不同场景下的适应性。

10、利用深度残差网络(resnet-101)对配准后的可见光、红外和sar图像进行特征提取,并通过跨模态注意力机制对高层和低层特征进行增强,采用多级特征融合策略,将高层和低层特征拼接并降维,形成编码器部分的输出特征图,充分保留重要信息。

11、构建轻量化目标检测模型,通过减少网络层数和优化网络结构,使用轻量化模块(如深度可分离卷积)减少参数量,降低计算复杂度,以确保模型在资源受限环境中的高效运行。利用锚框机制进行边界框划定,在输入图像的每个网格单元上预设多尺度、多比例的锚框,通过模型学习调整锚框的位置和大小,实现目标物体的精确定位。以最大化iou值作为损失函数,在训练过程中,通过反向传播优化模型参数,提高预测的准确性,并通过非极大值抑制(nms)算法进行后处理,对检测结果按置信度排序,从最高置信度的边界框开始,逐个比较其他边界框的iou值,移除冗余检测,保留最优检测结果,确保最终检测结果的精确性和有效性。

12、通过这些创新点,本发明能够解决多模态遥感图像配准精度低、特征提取不足、检测模型复杂度高及多模态数据融合效果差等问题,从而在复杂场景下实现高精度、高效率的目标检测,显著提高遥感图像处理的可靠性和实用性。


技术实现思路

1、鉴于此,本发明提供了一种跨场景多域融合小样本遥感目标鲁棒识别方法,减少或改善现有技术中存在的源域数据集和目标域数据集在小样本学习中由于特征数据分布差异大导致域偏移的问题,解决多模态数据融合配准精度低、特征提取不足和检测模型复杂度高等问题,从而提高目标检测的精度和鲁棒性。

2、本发明提供了一种基于改进的域映射的跨场景泛化小样本学习,其特征在于,采用元学习策略,构建k-way-n-shot学习框架,通过少量标注样本快速迭代更新模型,提升目标识别模型对新任务的适应能力。其基于训练集类别(旧类别)和待测试类别(新类别)之间有某种程度的相似性,在训练集上表现好的模型也可适用于新类别。元学习将训练集构造成一系列和测试任务相同设置的小样本任务,然后训练模型在大量小样本任务上有良好表现,以保证其适应于新任务时也可以快速分类。学习过程中使用小样本分类器和域分类器,该方法包括以下步骤:

3、预训练阶段:利用改进的掩码自编码器在源域数据集进行训练,自监督学习图像特征。将经过训练的掩码自编码器的编码器模块作为特征提取器,由特征提取器将源域和目标域的图像特征解耦得到域无关特征和域特征。将目标域的特征映射到源域特征空间,从而帮助缩小源域与目标域之间数据分布上的差异。

4、元学习阶段:为了减弱域偏移对小样本学习的性能带来的影响,减少分布差异,核心思想是将目标域的特征映射到源域,通过获取极少数量的属于目标域的标注数据加入到训练用的数据集中来引导模型的学习,即利用目标域的极少标注数据作为辅助数据提高跨域小样本学习应对域偏移的能力。通过数据集混合器将极少量目标域的样本设为辅助数据集,并与源域的数据集融合,形成混合数据集,并重新划分为源域支持集、辅助支持集以及混合查询集,有效促进源域与目标域的特征融合与迁移,减轻域偏移现象。将源域支持集、辅助支持集、混合查询集送入特征提取器,得到各自的域无关特征和域特征,分别用h1和h2表示域无关特征和域特征,则源域支持集的域无关特征和域特征分别表示为和辅助支持集的域无关特征和域特征分别表示为和混合查询集的域无关特征和域特征分别表示为和将域无关特征送入小样本分类器gfsl中进行分类并与标签比较,得到损失函数lfsl;将域无关特征和域特征送入域分类器gdom中进行域分类并与域标签比较,得到损失函数和总体损失利用adam梯度下降优化器对l进行优化,使l最小化。

5、所述的小样本分类器,其特征在于,与输入小样本分类器,得到分类损失与输入小样本分类器,得到分类损失由于混合查询集是源域查询集和辅助查询集的混合,比例为λ,则小样本分类器的损失函数为

6、所述的域分类器,其特征在于,对于域相关特征,将源域的标签设为1,目标域的标签设为0,对于域无关特征,将域标签向量设为y1=[0.5,0.5];为域无关特征,输入域分类器gdom中进行分类并与标签y1比较,利用相对熵kl散度(kullback-leibler divergence,kl)计算得到损失为域相关特征,输入与各自域标签比较,利用交叉熵(cross-entropy,ce)计算得到损失

7、本发明提供了一种基于改进的掩码自编码器的表征学习,其特征在于,基于随机掩码机制将输入图像随机的部分区域进行遮蔽处理,并通过重构运算过程来预测原始的完整图像,以实现对图像数据的有效编码;在掩码自编码器中,编码器采用visiontransformer(vit)模块组合构成,具体为vit-l/16,由24层vit模块堆叠而成,每个图像块映射为1024维的特征向量;解码器可采用轻量级的transformer模块,由8层vit模块堆叠而成,每个图像块映射为512维的特征向量,解码器的计算量仅为编码器的10%,提高训练和执行效率;由于需要从残缺的输入中推测出完整信息,掩码自编码器学习如何捕捉全局上下文信息和局部细节,从而生成更鲁棒且具有泛化性的特征表示,使掩码自编码器在跨场景的条件下也能够有较好的表现。

8、其中,vit是一种基于transformer架构的模型,通过改造传统transformer的编码器部分以适应计算机视觉任务,标志着transformer架构从自然语言处理(nlp)领域向计算机视觉领域的成功迁移,主要包含一下几个关键模块:

9、输入处理:首先,假设输入图像的维度为h×w×c,分别表示高、宽和通道数,并划分为n个固定大小的patch,每个patch块的维度为p×p×c,则n=hw/p2。将每个patch块展平成一个维度为p2c的一维向量,然后通过一个线性层映射到一个维度为d的向量空间中,得到嵌入向量,这个过程帮助vit模型学习更高级别的特征表示。

10、位置编码:由于transformer架构本身不包含位置信息,因此需要为每个patch对应的嵌入向量添加位置编码向量,以告知模型每个patch在原始图像中的位置。这些位置编码向量与patch的嵌入向量结果相加,一起作为transformer编码器的输入。

11、transformer编码器:输入序列经过层归一化(layer normalization)后,通过多头自注意力(multi-head self-attention)层并行地关注输入序列的不同位置,通过计算query、key和value矩阵使vit模型理解不同patch之间的依赖关系。再经过前馈神经网络层,包括两个线性层和一个非线性激活函数(如relu函数),用于进一步转换和丰富特征表示。自注意力层和前馈神经网络层之后都使用了残差连接,以缓解梯度消失与梯度爆炸问题,促进特征提取并加速训练过程。

12、本发明提供了一种改进的基于特征匹配的多域异构图像配准技术,其特征在于,该方法通过提取显著边界特征和基于灰度的方法提取特征点进行配准,确保在复杂场景下实现高精度配准。该方法包括以下步骤:

13、基于局部边界特征的多模态遥感图像配准:根据内点最大化与冗余点控制方法,通过提取显著边界特征和基于灰度的方法提取特征点,动态调整尺度不变特征变换(sift)阈值提取特征点,计算权重值以强化重要特征点,确保在复杂场景下的高精度配准。动态调整sift阈值的方法通过下列公式进行:

14、

15、其中,α是调节系数,特征点强度i为第i个特征点的强度,n为特征点的总数。

16、基于改进的显著边界特征点的提取方法,实现局部边界特征的多模态遥感图像配准,具体过程包括:

17、在输入基准图像r和待配准图像s后,以其中基准图像r是作为参考的标准图像,而待配准图像s作为与基准图像对齐的图像。通过提取显著边界特征和基于灰度的方法提取特征点,动态调整尺度不变特征变换(sift)阈值,提取特征点并计算权重值以强化重要特征点,确保在复杂场景下实现高精度配准。具体实现过程包括:对于输入图像的一般情况,即基准图像r或待配准图像s之一的图像i,计算其显著边界特征点集合f={fi|i=1,2,…,n},特征点的权重值其中,gi是特征点fi的灰度值,α和β是调节参数;

18、所述改进的增量式优化方法,通过检测边界与边界特征点,计算局部边界特征和边界描述子,并进行特征匹配。具体实现过程包括:在每个迭代步骤t,计算当前配准结果的损失ltotal=lmatch+lboundary,基于损失函数的梯度更新参数

19、基于增量式优化方法融合基于特征点和边界特征的配准结果,评估并比较各自配准结果的精度指标。根据目标识别准确率设计新的权重,迭代优化配准算法,提高在不同场景下的适应性,具体实现过程包括:在每个增量式优化步骤t,更新特征点权重其中,ta表示目标识别准确率,ca表示当前识别准确率;

20、基于改进的图像配准与交换方法,对配准后的图像进行变换,确保目标检测的精确性和鲁棒性。图像变换矩阵的计算方式为:

21、基于目标检测评价指标分析方法,对检测结果进行分析,评估配准与检测的效果,得出平均精度均值(mean average precision,map)确保系统在复杂场景下的适用性和可靠性,平均精度均值的计算为:

22、基于增量式优化方法,融合特征点和目标边界特征的配准结果,评估并比较各自配准结果的精度指标。根据目标识别准确率设计新的权重,迭代优化配准算法,提高在不同场景下的适应性。具体来说,配准结果的评估通过以下公式进行:

23、ra代表配准精度,crp代表正确配准点数,trp代表总配准点数。

24、设计新的权重w并迭代优化配准算法,以提高在不同场景下的适应性。新的权重设计通过以下公式计算:

25、在每个增量式优化步骤t,更新特征点权重其中,ta表示目标识别准确率,ca表示当前识别准确率;

26、基于改进的多级特征融合方法引入跨模态注意力机制和自适应权重调整将不同层级的特征进行融合,以提高检测效果,通用的多级特征融合方式为,其中,αi表示第i层特征的融合权重,通过训练进行优化,具体实现过程包括以下步骤:从基准图像和待配准图像中提取多层次的特征,对提取的特征进行跨模态注意力增强,计算注意力权重,对不同层次的特征赋予自适应权重,通过训练动态调整权重参数,改进后的融合公式为,其中ai是第i层特征的注意力权重矩阵,αi是通过训练动态优化的融合权重,具体实现过程包括:从基准图像r和待配准图像s中提取多层次特征{fi|1,2,…,n},计算注意力权重ai=softmax(sim(fi,fi)),其中,通过训练动态优化融合权重αi,使得融合后的特征能够更好地适应不同场景和任务需求。通过上述改进方法,能够在不同场景下实现更加稳健和高效的特征融合,提高多模态遥感图像的目标检测精度和鲁棒性;

27、基于深度残差网络(resnet-101)骨干网络特征提取器,对配准后的可见光、红外和sar图像进行特征提取。通过跨模态注意力机制对高层和低层特征进行增强,提高特征的表达能力。多级特征融合将高层和低层特征拼接并降维,形成编码器部分的输出特征图,以保留重要信息。跨模态注意力机制的增强效果通过下列公式量化:fresnet-101={f1,f2,…,fn},其中,fresnet-101表示通过resnet-101提取的多层特征集合;

28、其中,注意力权重通过如下公式计算:

29、aw=softmax(sm)

30、增强特征的计算公式为:

31、ef=of×aw

32、ef代表增强特征(enhanced features,ef),of代表原始特征(originalfeatures,of),aw代表注意力权重(attention weights,aw),sm代表相似度矩阵(similarity matrix,sm)相似度通过余弦相似度等方法计算得到,相关公式如下:

33、向量点积计算公式:

34、向量的范数计算公式:

35、余弦相似度计算公式:

36、通过这些技术,本发明能够解决多模态遥感图像配准精度低、特征提取不足、检测模型复杂度高及多模态数据融合效果差等问题,从而在复杂场景下实现高精度、高效率的目标检测,显著提高遥感图像处理的可靠性和实用性。

37、引入改进的跨模态多头自注意力机制,通过在包括可见光、红外和合成孔径雷达(synthetic aperture radar,sar)图像的多模态的特征之间引入跨模态注意力机制,对不同模态的特征进行多头分割和并行处理,以捕捉更多样化的特征关系和语义信息,最终增强特征之间的关联性并提升目标检测的准确性,其中注意力权重通过softmax函数计算相似度得到,相关公式为:aattention=softmax(s)·v。其中,s表示相似度矩阵,通过余弦相似度计算得到,v表示值矩阵。余弦相似度的计算公式为:其中,qi和kj分别表示查询向量和键向量,·表示点积运算,‖·‖表示向量的范数其中,h表示头部的数量,wo为输出权重矩阵;

38、本发明还提供了一种改进的基于深度神经网络的轻量化实时目标识别模型设计与构建方法,其特征在于,基于深度神经网络构建轻量化目标检测模型,利用改进的锚框机制进行边界框划定。以最大化intersection over union(iou)值作为损失函数优化深度学习模型,确保检测的精确性和实时性。使用非极大值抑制(nms)算法对检测结果进行后处理,保留最佳检测结果并去除冗余结果。所述方法具体包括以下步骤:

39、首先,基于改进的锚框机制实现边界框的划定,所述的改进的锚框机制,其特征在于,通过模型学习调整锚框的位置和大小,实现目标物体的精确定位,其具体过程包括:

40、通过在输入图像的每个网格单元上预设多尺度、多比例的锚框,以使用相近的描框匹配与所需预测目标,描框尺寸设定的方法为,设定,l为损失函数,lconf表示置信度损失,lloc表示位置损失,lcls表示分类损失,λ1和λ2为权重系数则有l=lconf+λ1lloc+λ2lcls;再定义为a以表示所有预设锚框的集合。设网格大小为s×s,每个网格单元上预设的锚框数量为k,则每个网格单元(i,j)上的锚框可以表示为:

41、

42、其中,和为描框中心坐标,wk和hk为描框宽度和高度。

43、预测描框的调整量δ=(δx,δy,δw,δh)通过模型学习得到,并根据调整量调整描框的位置和大小:

44、

45、

46、

47、

48、在不同尺度和比例下生成多个预设的边界框。设尺度集合为{s1,s2,…,sn},比例集合为{r1,r2,…,rm},则锚框的宽度和高度分别为:

49、

50、为减少模型的网络层数和优化网络的结构,构建轻量化深度神经网络模型,使用深度可分离卷积轻量化模块减少参数量,降低计算复杂度,以使模型在资源受限环境中也能高效运行。深度可分离卷积将标准卷积分解为深度卷积和逐点卷积,以减少计算复杂度。设输入特征图的尺寸为h×w×c,卷积核的尺寸为k×k,输出通道数为c′。

51、标准卷积计算复杂度的计算公式为:

52、standard convolution flops=h×w×c×k2×c′

53、深度可分离卷积计算复杂度的相关公式为:

54、depthwise convolution flops=h×w×c×k2

55、pointwise convolution flops=h×w×c×c′

56、total flops=h×w×c×k2+h×w×c×c′

57、然后,基于iou优化和非极大值抑制(nms)后处理方法,移除冗余检测,保留最优检测结果,确保最终检测结果的精确性和有效性,具体过程包括:

58、以最大化iou值作为损失函数,在训练过程中,将最大化预测边界框和真实边界框的iou值作为目标,通过反向传播优化模型参数,提高预测的准确性。具体的损失函数可以表示为:

59、iou损失=1-iou(bp,bt)

60、其中,bp和bt分别表示预测的边界框和真实的边界框,iou的计算公式为:

61、

62、使用非极大值抑制(nms)算法进行后处理,该算法可以通过移除重叠度较高的边界框,使最佳的目标检测结果得到保留,对所有预测边界框按置信度排序,从最高置信度的边界框开始,逐个比较其他边界框的iou值,具体步骤如下:

63、1.按置信度从高到低排序预测边界框。

64、2.从排序后的列表中选取置信度最高的边界框作为当前边界框。

65、3.计算当前边界框与剩余边界框的iou值,如果iou值大于设定阈值(如0.5),则移除这些边界框。

66、4.重复步骤2和3,直到处理完所有边界框。

67、其中nms算法的公式表示如下:

68、nms(b,scores,iouth)={bi|iou(bi,bj)<iou阈值}

69、此公式中,b表示预测的边界框集合,scores表示对应的置信度分数,iouth表示设定的阈值。

70、基于改进的阈值和权重动态设置,实现基于增量式优化的动态调整机制,相关参数将在每个训练周期内,根据当前模型的性能指标实时更新,具体过程包括:

71、在模型训练过程中,通过交叉验证动态调整各项参数的阈值和权重,以确保最佳检测效果,与传统方法不同,具体实现过程包括:θ*=argminθe[l(θ)],其中,θ*表示优化目标,θ表示模型参数,l(θ)表示损失函数。

72、进行模型训练与优化,数据准备与预处理:收集多模态遥感图像数据集,并进行标注、预处理(如图像增强和去噪),确保数据质量。模型训练:使用预处理后的数据集进行训练,通过分批次训练和超参数调优,逐步优化模型性能。性能评估与调整:在测试集上评估模型的检测性能,包括精度、召回率和f1-score等指标,根据评估结果调整模型结构和参数,确保模型达到最佳性能。

73、实际应用与部署,将优化后的模型部署到目标检测系统中,结合硬件设备(如gpu或嵌入式设备)优化模型运行效率,确保实时检测能力。实时检测:输入实时获取的遥感图像,模型进行目标检测并输出边界框和类别信息。结果校验与修正:对检测结果进行人工校验和必要的修正,确保检测结果的可靠性和准确性。

74、所述多模态遥感图像配准方法通过显著边界特征点的提取和局部边界描述子的构建,实现了更稳健和精确的图像配准。所述增量式优化方法能够根据目标检测准确率设计新的权重,显著提高配准方法在不同场景下的适应性和稳定性。

75、所述特征提取与融合方法通过跨模态注意力机制和多级特征融合策略,进一步增强了目标检测的准确性和鲁棒性。所述目标检测模型通过轻量化设计和优化,降低了计算复杂度,满足了实际应用中的实时性要求。

76、另一方面,本发明提供了一种实现上述方法的系统,其特征在于,所述系统采用上述各步骤及方法,通过融合多模态遥感图像数据,提高目标检测的精度和鲁棒性,解决现有技术中存在的问题,为遥感图像处理和目标检测提供了有效解决途径。

77、本发明的有益效果至少是:

78、本发明提供一种跨场景多域融合小样本遥感目标鲁棒识别方法,属于遥感图像处理和目标检测识别领域。该方法基于改进的域映射的跨场景泛化小样本学习,通过将目标域的特征映射到源域特征空间,有效减小了源域与目标域之间的数据分布差异,提高了目标识别模型在不同场景下的鲁棒性和泛化能力,尤其是在小样本学习场景下,显著增强了目标识别模型对新任务和未见类别的识别能力,采用元学习策略,使得目标识别模型能够利用少量标注样本来快速调整和更新。基于改进的掩码自编码器的表征学习,利用自监督学习方法,并采用vit作为核心模块,利用数据并行处理提高了图像特征的学习效率,加强特征提取器对全局上下文理解和局部细节捕获,生成更加鲁棒和泛化的特征表示。基于局部边界特征的多模态遥感图像配准,通过提取图像对的显著边界特征,并结合基于灰度的方法提取特征点,实现了在复杂场景下的高精度配准;基于动态调整sift阈值提取特征点,并计算权重值以强化重要特征点,保证配准的稳健性和精确性;采用深度残差网络(resnet-101)骨干网络特征提取器对配准后的可见光、红外和sar图像进行特征提取,并通过跨模态注意力机制对高层和低层特征进行增强,进一步优化特征的表达能力。基于本发明提供的多级特征融合策略,能够保留重要信息,提高目标检测的准确性和鲁棒性;通过增量式优化方法融合基于特征点和边界特征的配准结果,并设计新的权重迭代优化配准算法,显著提高了配准方法在不同场景下的适应性和稳定性;基于深度神经网络构建轻量化目标检测模型,利用锚框机制进行边界框划定,以最大化iou值作为损失函数,确保检测的精确性和实时性。使用非极大值抑制算法对检测结果进行后处理,有效保留最佳检测结果并去除冗余结果。通过本发明提供的创新方法和系统,能够显著提高多模态遥感图像的配准精度、特征提取与融合效果以及目标检测的准确性和实时性,既满足实际应用中的实时性要求,又有效解决了现有技术中的配准精度低、特征提取不足和检测模型复杂度高等问题,为遥感图像处理和目标检测提供有效解决途径。

79、本发明的附加优点、目的,以及特征将在下面的描述中将部分地加以阐述,且将对于本领域普通技术人员在研究下文后部分地变得明显,或者可以根据本发明的实践而获知。本发明的目的和其它优点通过在说明书以及附图中具体指出的结构实现到并获得。

80、本领域技术人员将会理解的是,能够用本发明实现的目的和优点不限于以上具体所述,并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。


技术特征:

1.一种跨场景多域融合小样本遥感目标鲁棒识别方法,其特征在于,所述方法包括以下步骤:

2.根据权利要求1所述的跨场景多域融合小样本遥感目标鲁棒识别方法,其特征在于,所述基于改进的域映射的跨场景泛化小样本学习,包括以下步骤:

3.根据权利要求1所述的跨场景多域融合小样本遥感目标鲁棒识别方法,其特征在于,所述基于改进的掩码自编码器的表征学习,包括以下步骤:

4.根据权利要求1所述的跨场景多域融合小样本遥感目标鲁棒识别方法,其特征在于,所述基于改进的特征匹配的多域异构图像配准技术,包括以下步骤:

5.根据权利要求1所述的跨场景多域融合小样本遥感目标鲁棒识别方法,其特征在于,所述基于深度神经网络的轻量化实时目标识别模型,包括以下步骤:

6.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至5中任一项所述方法的步骤。


技术总结
本发明提供了一种跨场景多域融合小样本遥感目标鲁棒识别方法,属于目标识别技术领域。该方法融合跨场景多域多模态遥感图像,采用元学习策略和掩码自编码器进行表征学习,显著提升识别模型在有限标注数据、复杂多变环境下的高效学习与准确泛化能力;通过改进的多模态图像配准技术和改进的跨模态多头自注意力机制,结合改进的多级特征融合方法,提高配准精度和特征表达能力;基于改进的深度神经网络的轻量化实时目标识别模型,结合锚框机制和非极大值抑制算法,实现目标检测的实时性和准确性。本发明创新跨场景泛化小样本学习和表征学习方法,创新多域异构图像配准、融合和轻量化实时目标识别技术,显著提升跨场景目标识别精度和鲁棒性。

技术研发人员:陈健军,葛富源,范高远
受保护的技术使用者:北京邮电大学
技术研发日:
技术公布日:2024/11/11
转载请注明原文地址: https://tieba.8miu.com/read-17015.html

最新回复(0)