本发明涉及遥感图像处理，尤其涉及一种构型知识驱动的飞机目标细粒度识别方法及系统。
背景技术：
1、高分辨率光学遥感影像具有空间分辨率高、地物几何结构明显、纹理信息清晰、数据量大等特征。这种影像可以提供丰富的地物信息和空间信息，有助于更准确地识别和提取地面特征，提高遥感应用的精度和效率。
2、在军事领域，飞机目标细粒度识别是一项关键任务。通过对遥感影像中的飞机目标进行精细的型号类别区分，可以帮助军方更好地了解敌方军事力量的部署和动向，获取精准的战力评估、战场态势和动向意图。这对于制定战略决策、实施军事行动具有重要意义。
3、然而，由于飞机的种类和型号多种多样，有各种不同的外观特征、且目标在影像中尺度多变、方向散乱，没有固定的范式，使得利用深度学习的分类模型推理飞机的细粒度类别时存在着较大的困难。
4、另外，不同的细粒度类别通常在网络模型中会共用较为相似的全局结构，而仅仅在某些细节的局部上有才会有一定的微小差异。因此相比于目标影像全局的整体结构，影像的局部细节会更加重要。如何放大目标影像中的局部细节差异同时兼备对目标影像整体的判别把控能力是一个值的深挖的研究方向。
技术实现思路
1、针对上述背景技术提到的问题，本发明提出了一种构型知识驱动的飞机目标细粒度识别方法及系统，实现较高精度的光学飞机目标细粒度识别。
2、本发明方法的技术方案为一种构型知识驱动的飞机目标细粒度识别方法，包括以下步骤：
3、步骤1：将每幅遥感影像引入飞机影像切片生成模块，根据其中的飞机目标所在的包围框，将其目标裁剪生成初始飞机影像切片后对其做仿射变换和尺度统一为一定尺寸像素大小的处理，获取遥感飞机四向对齐影像，标记每幅遥感飞机四向对齐影像的飞机类别、飞机方向；
4、步骤2：构建高分光学飞机目标细粒度识别模型，将每幅遥感飞机四向对齐影像依次输入至高分光学飞机目标细粒度识别模型进行预测得到每幅遥感飞机四向对齐影像的预测飞机类别、预测飞机方向，结合每幅遥感飞机四向对齐影像的标记飞机类别、标记飞机方向构建损失函数模型，通过adam算法优化训练得到优化后高分光学飞机目标细粒度识别模型；
5、步骤3：获取实时遥感影像，通过步骤1得到实时遥感飞机四向对齐影像，通过优化后高分光学飞机目标细粒度识别模型进行预测，得到实时遥感飞机四向对齐影像的的预测飞机类别、预测飞机方向；
6、作为优选，步骤1所述每幅遥感飞机四向对齐影像中的标记飞机细粒度类别、标记飞机方向，定义为：
7、
8、其中，表示第k幅遥感飞机四向对齐影像中的飞机目标为第t个飞机类别；表示第k幅遥感飞机四向对齐影像的飞机方向为第i个方向，若飞机目标机头朝向为向右则对应“0”，若飞机目标机头朝向为向上则对应“1”，若飞机目标机头朝向为向左则对应“2”，若飞机目标机头朝向为向子下则对应“3”，ty＝20表示飞机类别的数量；
9、步骤1所述一定尺寸为：p*p
10、p为一定尺寸的像素单位；
11、作为优选，步骤2所述的高分光学飞机目标细粒度识别模型包括：
12、飞机影像切片生成模块、机头方向识别与校正模块、零部件随机打乱机制模块、主干分类网络、区域重组模块、对抗学习模块；
13、其中,所述的机头方向校正模块、零部件随机打乱机制模块、主干分类网络模块依次级联；
14、所述区域重组模块和对抗学习模块通过主干分类网络模块并联。
15、所述机头方向识别与校正模块包括：机头方向识别模块、机头方向校正模块；
16、所述机头方向识别模块，用于识别出遥感飞机四向对齐影像中的其中一个方向，通过提取影像中飞机目标的方向特征、经过特征度量和特征匹配的训练，实现影像中机头四向之一的识别任务；
17、若识别结果朝右的遥感飞机四向对齐影像标记为0、若朝上的遥感飞机四向对齐影像标记为1、若朝左的遥感飞机四向对齐影像标记为2、若朝下的遥感飞机四向对齐影像标记为3；将每幅遥感飞机四向对齐影像、遥感飞机四向对齐影像识别的结果输出至所述机头方向校正模块；
18、所述机头方向校正模块，将标记为0、1、2的遥感飞机四向对齐影像校正至朝上；
19、具体如下：
20、标记为0的遥感飞机四向对齐影像逆时针旋转90°，得到每幅对应校正后的飞机影像；
21、标记为1的遥感飞机四向对齐影像保持不变，得到每幅对应校正后的飞机影像；
22、标记为2的遥感飞机四向对齐影像顺时针旋转90°，得到每幅对应校正后的飞机影像；
23、标记为3的遥感飞机四向对齐影像逆时针旋转180°，得到每幅对应校正后的飞机影像；
24、所述零部件随机打乱机制模块，由零部件分区模块和随机打乱模块构成；
25、所述零部件分区模块，对得到每幅校正后的p×p像素的飞机影像进行3×3的分区处理即将影像分区为9个p/3×p/3像素的影像块，可表示为：_
26、
27、其中，表示第k幅校正后的遥感飞机影像中的第q个子区域；
28、然后根据飞机的特殊构型，将位于同一个零部件区域的小分区合并为一个大分区，获取到大小分区完成的最终分区结果，具体为：
29、和子区域为机头区域a，和区域为左机翼b；和区域为机身区域c；和区域为右机翼d；
30、所述随机打乱模块，根据前述零部件分区模块输出的最终分区将校正好的飞机影像进行零部件随机打乱处理，得到每幅零部件打乱后的飞机影像；
31、所述随机打乱模块工作流程，具体如下：
32、各零部件区域随机做0°或180°的旋转用于模型适配不同朝向的飞机目标；bcd区域随机互换位置；bcd区域其中两个区域随机做90°旋转。最终生成打乱样本切片p(ik)。
33、所述主干分类网络模块，由第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块和特征匹配模块组成；
34、该模块主要用于提取飞机目标的影像特征，支撑最终的飞机细粒度型识别任务。
35、具体如下：
36、模型在训练时，需将每幅飞机目标机头方向校正结果影像、及其打乱影像和类别标签作为输入，将每幅飞机目标机头方向校正结果影像、及其打乱影像定义为双影像，每幅飞机目标机头方向校正结果影像、及其打乱影像按先后顺序送入网络；
37、模型在推理时，只需将每幅遥感飞机四向对齐影像作为输入；
38、影像依次通过四个卷积模块运算处理，分别得到四层输出特征层；第四输出特征层即特征向量作为特征匹配模块的输入，通过特征向量之间的匹配，将特征向量相似的向量归为同一类，最后输出飞机影像的细粒度识别结果；
39、主干分类网络模块包括四个串联的卷积块，依次输出四层串联的特征层；每一个卷积块都用于特征层的特征挖掘处理，每一层特征层作为卷积块的输入和输出配合卷积块挖掘目标影像中潜藏的细节特征。
40、第k对双影像经主干分类网络的第一卷积模块运算处理后输出第一输出特征图，将其定义为：
41、第k对双影像的特征图经主干分类网络的第二卷积模块运算处理后输出第二输出特征图，将其定义为：
42、第k对双影像的特征图经主干分类网络的第三卷积模块运算处理后输出第三输出特征图，将其定义为：
43、第k对双影像的特征图经主干分类网络的第四卷积模块运算处理后输出的特征向量，将其定义为：即v(ik,αcls)；
44、第k对双影像的特征向量经主干分类网络的特征匹配模块运算后最终输出其类别，表示为：
45、所述区域重组网络模块由单次卷积块和区域矩阵重构结果生成模块构成；
46、该模块用于输入第k对双影像经主干分类网络第二卷积模块输出的特征图，第k幅双影像的经该模块的单次卷积块运算处理后输出特征图后传入区域矩阵重构结果生成模块。
47、所述区域矩阵重构结果生成模块将输入的第k幅打乱图的特征图经重新排列，将的零部件位置还原至第k幅未打乱图的特征图后测量双影像特征图中不同区域的定位精度，诱导骨干网络通过端到端训练来模拟区域之间的语义相关性。
48、所述对抗学习模块，用于判断第k对双影像经主干分类网络第三卷积模块输出的特征图来源于第k幅机头方向校正结果原影像或是其打乱影像；
49、具体步骤为所述第k对双影像经主干分类网络模块的第三卷积模块运算处理后输出的第k对双影像的特征图进入对抗学习网络模块(aln)进行对抗学习，得到第k幅原图或其打乱图的特征图区分结果，表示为vk∈{0,1}2；
50、该模块判断双影像是否被破坏的方法表示为：
51、
52、式中，为第k对双影像经骨干分类网络第mk层输出的特征向量，为分类网络从第1层到第mk层的可学习参数，为线性映射，其对抗学习损失ladv可表示为:
53、
54、其中p(ik)表示第k幅打乱图。
55、前述的方向识别损失函数lo定义为：
56、
57、其中表示第k幅遥感飞机四向对齐影像中飞机目标的方向为第i个真实方向的特征向量；表示第k幅遥感飞机四向对齐影像飞机目标的方向为第i个预测方向的特征向量；
58、前述的主干分类网络的损失函数lcls可表示为:
59、
60、其中αcls为分类网络中所有可学习的参数；表示第k对双影像中的飞机目标为第t类；ik表示第k幅影像。
61、前述区域重组损失lloc定义如下:
62、
63、其中，mσ(q)(p(ik))表示p(ik)中的部件在ik中的预测位置编号，m(q)(ik)表示ik中的部件在ik中的预测位置编号，它们的真值都为q。
64、综上所述，总体损失计算公式如下:
65、l＝αl0+βlcls+γladv+δlloc
66、其中α、β、γ、δ分别代表可调整的设置参数；l0为机头方向识别模块损失；lcls为主干分类网络损失；ladv为对抗学习损失；lloc为区域重组损失。
67、本发明还提供了一种构型知识驱动的飞机目标细粒度识别系统，包括：
68、样本标签获取模块，用于将每幅遥感影像引入飞机影像切片生成模块，根据其中的飞机目标所在的包围框，将其目标裁剪生成初始飞机影像切片后对其做仿射变换和尺度统一为一定尺寸像素大小的处理，获取遥感飞机四向对齐影像，标记每幅遥感飞机四向对齐影像的飞机类别、飞机方向；
69、网络训练模块，用于构建高分光学飞机目标细粒度识别模型，将每幅遥感飞机四向对齐影像依次输入至高分光学飞机目标细粒度识别模型进行预测得到每幅遥感飞机四向对齐影像的预测飞机类别、预测飞机方向，结合每幅遥感飞机四向对齐影像的标记飞机类别、标记飞机方向构建损失函数模型，通过adam算法优化训练得到优化后高分光学飞机目标细粒度识别模型；
70、实时遥感影像预测模块，用于获取实时遥感影像，通过步骤1得到实时遥感飞机四向对齐影像，通过优化后高分光学飞机目标细粒度识别模型进行预测，得到实时遥感飞机四向对齐影像的的预测飞机类别、预测飞机方向。
71、本发明产生的有益效果是：
72、降低飞机目标在影像中的姿态互异性，降低模型关注飞机局部零部件细节特征的成本，提升模型提取目标细节特征的效率。
73、采用基于构型知识驱动的飞机目标特征图打乱重构方法，可迫使模型加强对于目标局部细节特征的关注能力，从而提升模型细粒度识别的能力。
1.一种构型知识驱动的飞机目标细粒度识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的构型知识驱动的飞机目标细粒度识别方法，其特征在于：
3.根据权利要求2所述的构型知识驱动的飞机目标细粒度识别方法，其特征在于：
4.根据权利要求3所述的构型知识驱动的飞机目标细粒度识别方法，其特征在于：
5.根据权利要求4所述的构型知识驱动的飞机目标细粒度识别方法，其特征在于：
6.根据权利要求5所述的构型知识驱动的飞机目标细粒度识别方法，其特征在于：
7.根据权利要求6所述的构型知识驱动的飞机目标细粒度识别方法，其特征在于：
8.根据权利要求7所述的构型知识驱动的飞机目标细粒度识别方法，其特征在于：
9.根据权利要求8所述的构型知识驱动的飞机目标细粒度识别方法，其特征在于：
10.一种构型知识驱动的飞机目标细粒度识别系统，其特征在于：
