一种小样本sar舰船目标识别方法及装置
技术领域
1.本发明涉及合成孔径雷达图像识别技术领域，特别是指一种小样本sar舰船目标识别方法及装置。
背景技术：2.sar(synthetic aperture radar,合成孔径雷达)目标识别技术在军事和民用领域发挥了不可替代的作用。近几十年来，无数的科研工作者投入到该领域之中，提出了大量优秀的sar目标识别算法，力求在简化识别手段和提高识别准确率方面取得突破，然而sar独特的成像机制使得sar目标识别技术存在一些待解的难点。首先，sar图像中通常存在大量的相干斑噪声，导致目标的形状和轮廓受到一定程度的模糊，同时sar图像中每个像素值与物体的散射特征相关，散射特性受到天气、环境和雷达配置等因素的综合影响，因此sar图像的信息非常复杂，解译难度大；其次，由于sar图像反映的是目标在特定角度下散射特性分布，因此sar目标对方位角和俯仰角非常敏感，相同目标在不同的角度下可能存在巨大的差异；此外，在某些情况下sar目标还会受到伪装、遮挡、覆盖等影响，这也会改变目标表面的属性散射特性，使得成像目标发生显著的形变。
3.一般的基于深度学习的舰船目标识别通过迁移学习，将模型最优参数迁移到新模型当中，之后基于一定规模的有标签数据进行参数微调，来完成模型预测目标标签能力最大化。目前的深度学习算法对于大规模标注样本依赖严重，深度学习算法对大规模标注数据的依赖表现在训练阶段需要基于大规模的有标签的数据进行模型的参数更新。想要识别某类物体，模型要在几千张的人工标注图片上训练方能达到相对满意的结果。很多数据的标注必须要领域内的专家才能完成，当遇到新的应用场景吋会面临以下问题：(1)真实世界中存在着长尾分布问题，即有些领域应用本身就有小样本的属性，不存在大样本。(2)sar舰船识别领域本身可用样本量稀少，优质数据资源隐私性高，开放程度低，无法获得大量的标注数据。(3)标注成本大。即便有大规模的数据，标注数据也是非常耗时费力的，标注代价较大。另外，标注数据准确度不足也会影响模型训练的效果。(4)针对场景化的数据标注困难。在某些复杂场景中，数据本身的标注场景会导致数据的标注难度极高。
4.深度卷积神经网络的核心计算是卷积算子，通过卷积核从输入特征图学习到新特征图。从本质上讲，卷积是对一个局部区域进行特征融合，这包括空间上(图像的宽度和高度维度)以及通道间(通道维度)的特征融合。对于卷积操作很大一部分工作是提高感受野，也就是在空间上融合更多特征，或者是提取多尺度的空间信息。对于具有高维通道数据的特征融合，卷积操作基本上默认对输入特征图的所有通道进行融合。
5.目前的注意力机制已经有了一些相应的算法，在基于通道注意力机制领域，有基于全局通道注意力机制的se-net(squeeze and excitation networks，压缩和激发网络)以及基于局部跨通道注意力机制的eca-net(efficient channel attention for deep convolutional neural networks，有效通道注意力深度卷积神经网络)。se-net是一种复杂度低，计算量小的简单有效的注意力机制网络模型，主要分为squeeze(压缩)和
excitation(激发)两个部分，其主要处理流程为将原图经过特征提取得到c*h*w的特征图；将特征图将宽w维度和高h维度经过全局平均池化压缩处理，得到1*1*c大小的特征图，这个一维特征具有全局感受野；使用一个全连接层对1*1*c大小的特征图进行非线性变换，预测每个通道的权重，即重要性，然后经过relu激活函数和全连接操作，将输出的1*1*c的特征图逐通道与原特征图即h*w*c相乘，得到输出。eca-net是一种捕捉局部跨通道信息交互的方法，其也是一种通道注意力机制。其主要操作流程为：将输入特征图进行全局平均池化操作；进行卷积核1维卷积操作，记为c1dk，c代表卷积操作，1dk代表卷积核为k的一维卷积，使网络关注相邻k个通道的信息，实现通道的信息交互，并通过sigmoid激活函数得到各个通道的权重，计算公式如下ω＝σ(c1dk(y))，其中σ代表的是sigmoid激活函数，ω是得到的各个通道的权重，y为输入特征图；将权重与原始输入特征图对应元素相乘，得到输出的特征图。
6.以上注意力机制都没有提取空间注意力特征，但是在图像识别领域，空间注意力特征对于识别是很有帮助的，空间注意力特征会让网络自适应地关注目标区域，而忽略背景区域。不仅如此，通道注意力特征与空间注意力特征的融合会为识别网络带来更好的效果。因此，如何将空间注意力机制与通道注意力机制结合起来，使得深度卷积网络不仅关注对于识别有利的通道信息，也能关注图像里的目标区域是现有技术亟需解决的问题。
技术实现要素：7.本发明针对现有技术中由于深度学习算法对大规模标注数据的过度依赖带来的实际应用中的困难，同时现有技术的注意力机制都没有提取空间注意力特征，但是在图像识别领域，空间注意力特征对于识别很有帮助的问题，提出了本发明。
8.为解决上述技术问题，本发明提供如下技术方案：
9.一方面，本发明提供了一种小样本sar舰船目标识别方法，该方法由电子设备实现，该方法包括：
10.s1、获取待识别的合成孔径雷达sar图像。
11.s2、将待识别的sar图像输入到训练好的舰船识别模型；其中，舰船识别模型包括预处理模块、特征提取模块以及分类器模块。
12.s3、根据待识别的sar图像、预处理模块、特征提取模块以及分类器模块，得到待识别的sar图像的舰船目标识别结果。
13.可选地，s2中的舰船识别模型的训练过程包括：
14.s21、获取sar图像。
15.s22、将sar图像输入到预处理模块，得到预处理后的特征图。
16.s23、将预处理后的特征图输入到特征提取模块，得到具有通道与空间注意力特征的特征图。
17.s24、将具有通道与空间注意力特征的特征图输入到分类器模块，得到sar图像的舰船目标识别结果。
18.可选地，s22中的将sar图像输入到预处理模块，得到预处理后的特征图包括：
19.s221、将sar图像的大小转换为128*128。
20.s222、将大小转换后的sar图像的像素均值转换为0.44。
21.s223、将像素均值转换后的sar图像的标准差转换为0.4，得到预处理后的特征图。
22.可选地，s23中的将预处理后的特征图输入到特征提取模块，得到具有通道与空间注意力特征的特征图包括：
23.s231、将预处理后的特征图输入到特征提取模块的头，得到第一特征图。
24.s232、将第一特征图输入到特征提取模块的主干网络，得到具有通道与空间注意力特征的特征图。
25.可选地，s231中的将预处理后的特征图输入到特征提取模块的头，得到第一特征图包括：
26.将预处理后的特征图输入到特征提取头的卷积层、特征提取头的批归一化层、特征提取头的relu激活函数层以及特征提取头的最大池化层，得到第一特征图。
27.可选地，s232中的特征提取模块的主干网络包括多个主干网络模块，多个主干网络模块中的每个主干网络模块包括两个block模块。
28.将第一特征图输入到特征提取模块的主干网络，得到具有通道与空间注意力特征的特征图包括：
29.将第一特征图依次输入到多个主干网络模块的多个block模块，得到具有通道与空间注意力特征的特征图。
30.可选地，将第一特征图依次输入到多个主干网络模块的多个block模块中的将第一特征图输入到任一主干网络模块的任一block模块包括：
31.将第一特征图输入到block模块的第一卷积层、block模块的第一批归一化层、block模块的relu激活函数层、block模块的第二卷积层以及block模块的第二批归一化层，得到第二特征图。
32.将第二特征图输入到block模块的通道注意力模块以及空间注意力模块，得到第三特征图。
33.进一步地，将第二特征图与第三特征图进行加和操作，将加和操作后的特征图输入到特征提取模块的relu激活函数层，得到具有通道与空间注意力特征的特征图。
34.可选地，s24中的将具有通道与空间注意力特征的特征图输入到分类器模块，得到sar图像的舰船目标识别结果包括：
35.s241、将具有通道与空间注意力特征的特征图进行铺平展开。
36.s242、对铺平展开后的特征图进行平均池化操作。
37.s243、将平均池化操作后的特征图输入到分类器模块的全连接层，得到维度为3的特征图。
38.s244、根据维度为3的特征图以及softmax函数，得到类别分数。
39.s245、根据类别分数以及交叉熵损失函数，得到sar图像的舰船目标识别结果。
40.另一方面，本发明提供了一种小样本sar舰船目标识别装置，该装置应用于实现小样本sar舰船目标识别方法，该装置包括：
41.获取模块，用于获取待识别的合成孔径雷达sar图像。
42.输入模块，用于将待识别的sar图像输入到训练好的舰船识别模型；其中，舰船识别模型包括预处理模块、特征提取模块以及分类器模块。
43.输出模块，用于根据待识别的sar图像、预处理模块、特征提取模块以及分类器模
块，得到待识别的sar图像的舰船目标识别结果。
44.可选地，输入模块，进一步用于：
45.s21、获取sar图像。
46.s22、将sar图像输入到预处理模块，得到预处理后的特征图。
47.s23、将预处理后的特征图输入到特征提取模块，得到具有通道与空间注意力特征的特征图。
48.s24、将具有通道与空间注意力特征的特征图输入到分类器模块，得到sar图像的舰船目标识别结果。
49.可选地，输入模块，进一步用于：
50.s221、将sar图像的大小转换为128*128。
51.s222、将大小转换后的sar图像的像素均值转换为0.44。
52.s223、将像素均值转换后的sar图像的标准差转换为0.4，得到预处理后的特征图。
53.可选地，输入模块，进一步用于：
54.s231、将预处理后的特征图输入到特征提取模块的头，得到第一特征图。
55.s232、将第一特征图输入到特征提取模块的主干网络，得到具有通道与空间注意力特征的特征图。
56.可选地，输入模块，进一步用于：
57.将预处理后的特征图输入到特征提取头的卷积层、特征提取头的批归一化层、特征提取头的relu激活函数层以及特征提取头的最大池化层，得到第一特征图。
58.可选地，特征提取模块的主干网络包括多个主干网络模块，多个主干网络模块中的每个主干网络模块包括两个block模块。
59.可选地，输入模块，进一步用于：
60.将第一特征图依次输入到多个主干网络模块的多个block模块，得到具有通道与空间注意力特征的特征图。
61.可选地，输入模块，进一步用于：
62.将第一特征图输入到block模块的第一卷积层、block模块的第一批归一化层、block模块的relu激活函数层、block模块的第二卷积层以及block模块的第二批归一化层，得到第二特征图。
63.将第二特征图输入到block模块的通道注意力模块以及空间注意力模块，得到第三特征图。
64.将第二特征图与第三特征图进行加和操作，将加和操作后的特征图输入到特征提取模块的relu激活函数层，得到具有通道与空间注意力特征的特征图。
65.可选地，输入模块，进一步用于：
66.s241、将具有通道与空间注意力特征的特征图进行铺平展开。
67.s242、对铺平展开后的特征图进行平均池化操作。
68.s243、将平均池化操作后的特征图输入到分类器模块的全连接层，得到维度为3的特征图。
69.s244、根据维度为3的特征图以及softmax函数，得到类别分数。
70.s245、根据类别分数以及交叉熵损失函数，得到sar图像的舰船目标识别结果。
71.一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述小样本sar舰船目标识别方法。
72.一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述小样本sar舰船目标识别方法。
73.本发明实施例提供的技术方案带来的有益效果至少包括：
74.上述方案中，通过引入通道注意力机制来进行舰船目标识别，可以减缓背景噪声对舰船目标识别的影响。另外，考虑到舰船目标所处背景海杂波情况的多样性，本发明通过引入空间注意力机制，可以进一步改善注意力机制对于舰船目标识别性能。其次，考虑到训练分类模型需要大量训练样本，然而捕获大量sar图像在多数情况下比较困难，为了解决这一问题，所以通过将通道注意力与空间注意力相结合得方式来进行小样本下舰船目标的识别。
附图说明
75.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
76.图1是本发明实施例提供的小样本sar舰船目标识别方法流程示意图；
77.图2是本发明实施例提供的通道注意力模块流程示意图；
78.图3是本发明实施例提供的通道注意力模块步骤图；
79.图4是本发明实施例提供的空间注意力模块流程示意图；
80.图5是本发明实施例提供的空间注意力模块步骤图；
81.图6是本发明实施例提供的残差模块流程示意图；
82.图7是本发明实施例提供的识别正确率随样本数变化曲线图；
83.图8是本发明实施例提供的基于本发明的resnet网络散货船的layer1输出可视化图；
84.图9是本发明实施例提供的基于resnet网络的散货船的layer1输出可视化图；
85.图10是本发明实施例提供的基于本发明的resnet网络油轮目标的layer3输出可视化图；
86.图11是本发明实施例提供的基于resnet网络的油轮目标的layer3输出可视化图；
87.图12是本发明实施例提供的小样本sar舰船目标识别装置框图；
88.图13是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
89.为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
90.如图1所示，本发明实施例提供了一种小样本sar舰船目标识别方法，该方法可以由电子设备实现。如图1所示的小样本sar舰船目标识别方法流程图，该方法的处理流程可
以包括如下的步骤：
91.s1、获取待识别的合成孔径雷达sar图像。
92.s2、将待识别的sar图像输入到训练好的舰船识别模型。
93.其中，舰船识别模型包括预处理模块、特征提取模块以及分类器模块。
94.可选地，s2中的舰船识别模型的训练过程包括：
95.s21、获取sar图像，将sar图像划分为训练集与测试集。
96.一种可行的实施方式中，将获取的初始sar图像按照一定比例进行划分训练集与测试集。具体地，为了验证小样本条件下的有效性，所以将每类目标的训练样本设置成相同数量，剩余样本当作测试集。
97.s22、将sar图像输入到预处理模块，得到预处理后的特征图。
98.可选地，s22中的将sar图像输入到预处理模块，得到预处理后的特征图包括：
99.s221、将sar图像的大小转换为128*128。
100.一种可行的实施方式中，为了适应resnet(residual neural network，残差神经网络)的输入要求，将输入图片处理成大小为128*128大小，以适用网络的32倍下采样。
101.s222、将大小转换后的sar图像的像素均值转换为0.44。
102.s223、将像素均值转换后的sar图像的标准差转换为0.4，得到预处理后的特征图。
103.一种可行的实施方式中，除了图像的大小统一，为了加速网络的收敛，将输入图像的像素均值与标准差分别固定到0.44，0.4。0.44与0.4分别为样本集中图像像素均值与标准差，每个图像均值与标准差的计算方式如下式(1)、(2)所示：
[0104][0105][0106]
其中，xi代表的是图像的像素值，n代表的是图像中像素个数，代表的是图像的像素均值；s代表的是图像的像素标准差。
[0107]
s23、将预处理后的特征图输入到特征提取模块，得到具有通道与空间注意力特征的特征图。
[0108]
可选地，s23中的将预处理后的特征图输入到特征提取模块，得到具有通道与空间注意力特征的特征图包括：
[0109]
s231、将预处理后的特征图输入到特征提取模块的头，得到第一特征图。
[0110]
可选地，s231中的将预处理后的特征图输入到特征提取模块的头，得到第一特征图包括：
[0111]
将预处理后的特征图输入到特征提取头的卷积层、特征提取头的批归一化层、特征提取头的relu激活函数层以及特征提取头的最大池化层，得到第一特征图。
[0112]
一种可行的实施方式中，预处理后的特征图首先经过特征提取头，将128*128大小的输入图像先经过一个卷积核大小为7*7的卷积层，特征图大小变成64*64；然后经过批归一化层，批归一化层并不会改变特征图的大小，批归一化层使得每个batch(批)的特征图的像素值变成均值为0，方差为1，这样经过批归一化层后，网络收敛的速度会加快；之后经过一个relu激活函数层。relu激活函数公式如下式(3)所示：
[0113]
f(x)＝max(0,x)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0114]
relu激活函数相比于其他复杂激活函数没有了指数函数的影响，且能够更加有效率的进行梯度的反向传播，能在一定程度上避免梯度爆炸和梯度消失问题。经过激活函数后经过一个卷积核大小为3*3的最大池化层，经过池化层后特征图变小，特征图大小变成32*32。在特征提取头部分并不会进行注意力特征的提取，因为其不需要残差结构。
[0115]
s232、将第一特征图输入到特征提取模块的主干网络，得到具有通道与空间注意力特征的特征图。
[0116]
一种可行的实施方式中，sar舰船识别网络的主干网络应用resnet残差网络。resnet2015年被提出，为了很好的解决梯度消失以及梯度爆炸问题，提出了residual(残差)结构，来减轻网络的退化问题。残差结构使用了一种shortcut的连接方式，让特征矩阵隔层相加。假如x为某一特征层，经过卷积与激活函数操作得到f(x)，将x转换成f(x)的特征层大小，进行相加得到残差模块的输出。引入残差模块有两个方面的好处，其中一个好处就是解决梯度消失问题：在没有残差边的时候，假如网络层数很深的话，要想更新底层的网络权重，首先对其求梯度，根据链式法则需要一直向前累乘，只要其中的任何一个因数过小就会导致求出来的梯度很小，这个小梯度就算乘以再大的学习率也是无济于事；而当有了残差边时，求梯度可以直接经过shortcut直达求梯度的对象，此时不管通过链式法则走正常路线得到的梯度多么小，两条路线相加的结果都不会小，就可以很有效地进行梯度更新了；另一方面，假如网络某些层的学习效果非常差，那可以通过一条残差边将这一部分直接“跳过”。实现这一目的很简单，将这些层的权重参数设置为0就行了。这样一来，不管网络中有多少层，效果好的层保留，效果不好的可以跳过。总之，添加的新网络层至少不会使效果比原来差，就可以较为稳定地通过加深层数来提高模型的效果。
[0117]
可选地，s232中的特征提取模块的主干网络包括多个主干网络模块，多个主干网络模块中的每个主干网络模块包括两个block模块。
[0118]
将第一特征图输入到特征提取模块的主干网络，得到具有通道与空间注意力特征的特征图包括：
[0119]
将第一特征图依次输入到多个主干网络模块的多个block模块，得到具有通道与空间注意力特征的特征图。
[0120]
可选地，将第一特征图依次输入到多个主干网络模块的多个block模块中的将第一特征图输入到任一主干网络模块的任一block模块包括：
[0121]
s2321、将第一特征图输入到block模块的第一卷积层、block模块的第一批归一化层、block模块的relu激活函数层、block模块的第二卷积层以及block模块的第二批归一化层，得到第二特征图。
[0122]
s2322、将第二特征图输入到block模块的通道注意力模块以及空间注意力模块，得到第三特征图。
[0123]
一种可行的实施方式中，将第二特征图输入到block模块的通道注意力模块，得到具有通道注意力特征的特征图的过程包括：
[0124]
如图2所示，将输入的h*w*c的特征图基于宽度和高度分别做全局最大池化以及全局平均池化，得到两个大小为1*1*c的特征图。
[0125]
对于一个h*w的特征图，对每个通道做全局最大池化的过程如下式(4)所示：
[0126]
maxpixel＝max{x
ij
}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0127]
其中，i与j分别代表特征图中的像素所在行列数，maxpixel为全局最大池化得到的结果。
[0128]
对于一个h*w的特征图做全局平均池化的过程如下式(5)所示：
[0129][0130]
其中，h代表特征图的高，w代表特征图的宽，avgpixel是得到的全局平均池化结果。
[0131]
将两个1*1*c的特征图送入两层的神经网络，两层网络的参数共享，输出维度不变，得到两个1*1*c的特征向量，将输出的两个特征向量进行加和操作，得到一个1*1*c的特征，在经过sigmoid激活函数后生成最终的通道注意特征，其中sigmoid激活函数公式如下式(6)所示：
[0132][0133]
将通道注意特征与输入的h*w*c的特征图做乘法操作完成通道注意力模块的输出，通道注意力模块步骤图如图3所示。
[0134]
进一步地，具有通道注意力特征的特征图输入到空间注意力模块，得到第三特征图的过程包括：
[0135]
如图4所示，输入为h*w*c的特征图，首先做基于通道的全局最大池化以及全局平均池化，得到两个h*w*1的特征图；将这两个特征图在通道维度上做拼接操作x0＝cat[x
1,
,x2]，其中cat表示通道拼接操作，x1与x2分别代表得到的两个大小为h*w*1特征图，x0代表拼接后的特征图，大小为h*w*2；然后经过一个卷积操作，降低维度成为一个通道，即h*w*1；最后经过sigmoid激活函数生成空间通道特征，将其与sam模块的输入在每个通道上做乘法操作，得到输出特征图。空间注意力模块步骤如图5所示。
[0136]
将通道与空间注意力机制模块应用于主干网络为resnet残差网络里，得到基于通道与空间注意力机制的残差识别网络。
[0137]
s2323、将第二特征图与第三特征图进行加和操作，将加和操作后的特征图输入到特征提取模块的relu激活函数层，得到具有通道与空间注意力特征的特征图。
[0138]
一种可行的实施方式中，将经特征提取头之后的特征图输入到特征提取部分主干网络，这部分包括4个主干网络模块，每个主干网络模块都包含两个block模块，每个block模块为两层卷积核大小为3*3的卷积网络，每个block模块的流程图如图6所示。
[0139]
从图6中，可以看到基于本发明的残差模块的具体流程如下：将输入特征图a(第一特征图)经过卷积层，批归一化层以及激活函数层，再经过卷积层与批归一化层，之后将得到的特征图b(第二特征图)经过通道注意力与空间注意力模块得到具有通道与空间特征的特征图c(第三特征图)，并将特征图c与特征图b进行加和操作，之后再经过relu激活函数，就得到了具有通道与注意力特征的特征图。也就是说，每经过两个卷积层，网络都会在空间维度与通道维度赋予注意力权重。经过特征提取网络之后，会得到1*1*512大小的特征图，也就是通道数变成512。
[0140]
s24、将具有通道与空间注意力特征的特征图输入到分类器模块，得到sar图像的
舰船目标识别结果。
[0141]
可选地，s24中的将具有通道与空间注意力特征的特征图输入到分类器模块，得到sar图像的舰船目标识别结果包括：
[0142]
s241、将具有通道与空间注意力特征的特征图进行铺平展开。
[0143]
s242、对铺平展开后的特征图进行平均池化操作。
[0144]
s243、将平均池化操作后的特征图输入到分类器模块的全连接层，得到维度为3的特征图。
[0145]
s244、根据维度为3的特征图以及softmax函数，得到类别分数。
[0146]
s245、根据类别分数以及交叉熵损失函数，得到sar图像的舰船目标识别结果。
[0147]
一种可行的实施方式中，将特征提取网络得到的具有通道与空间注意力特征的特征图进行铺平展开，经过一次平均池化操作，然后进入一个输出维度为3的全连接层，最后经过softmax函数，得到类别分数，softmax函数公式如下式(7)所示：
[0148][0149]
其中，zi代表的是输出节点值，c代表输出节点个数，即分类类别个数.
[0150]
softmax函数会使得输出节点的值统一在0～1范围内，并且会使输出节点值的和为1。损失函数使用交叉熵损失函数，交叉熵损失函数公式如下式(8)所示：
[0151][0152]
其中，l代表总体损失，li代表每个样本的损失，n代表训练样本总数，c代表类别个数，y
ic
代表一个符号函数，如果样本i的真实类别等于c那么其取1，否则取0，p
ic
代表的是softmax函数的输出，也就是观测样本i属于类别c的预测概率。交叉熵会使得模型的效果较差时的学习速度加快。梯度反向传播更新网络参数。
[0153]
进一步地，在测试阶段，保留训练好的模型文件，利用更新好的网络参数进行预测，且不进行梯度反向传播。
[0154]
s3、根据待识别的sar图像、预处理模块、特征提取模块以及分类器模块，得到待识别的sar图像的舰船目标识别结果。
[0155]
举例来说，实验数据采用open sar ship(sar图像舰船检测识别测试库)数据集。此数据集是由上海交通大学在2017年发布。该数据集是在sentinel-1图形上采集的，包含地距多视产品和斜距单视复数产品，具有vv(垂直发射垂直接收)和vh(垂直发射水平接收)极化两种方式。opensarship是grd(ground range detected，地距多视影像)产品，在方位向和距离向上的分辨率为20m x 22m，像素大小为10m x 10m，舰船长度在16米至399米不等。本技术从船只二级标签中选取了3类数量较多且真实场景中往往尺寸较大的船只类型，即bulk carrier(散装货船)、container(集装箱船)、tanker(油轮)。三类样本数量分别为1149、791、431。
[0156]
实验均在open sar ship数据集下进行，通过设置不同的每类训练样本个数，得到在不包含注意力机制下的resnet网络以及不同的注意力机制下的识别结果，验证本发明注意力机制对于小样本条件下舰船目标识别的有效性。
[0157]
考虑将每类训练样本数量设置为从30个逐步增加到240个，间隔为30个，验证在少
量样本条件下对sar舰船目标识别的有效性。如下表1为本实验在resnet,se-resnet，eca-resnet，以及含有本发明的resnet网络下的识别正确率表格。识别正确率随样本个数增加的变化曲线如图7所示。
[0158]
表1
[0159][0160]
可以看到，在训练样本数量逐渐增加时，识别率也进行相应的提升，分析原因可知在训练样本数目较少时，识别网络可学习到的深度特征较为简单，导致识别网络容易对三类目标进行误分。随着训练样本数目增加，识别率有一定的提升，认为样本数目增加有利于网络对于不同类别目标深度特征的学习。从图中可以看出，se-resnet与eca-resnet相比于resnet识别率有一定的提升。
[0161]
将特征提取网络的第一个模块的输出进行通道可视化效果对比，结果如图8、9所示。
[0162]
图8、9为散货船目标分别在基于本发明的resnet网络与resnet网络的layer1的输出可视化，layer1即为特征提取网络的第一个模块。从上图可以看到，在resnet网络下，极少数的通道能够聚焦到舰船位置而忽略大部分的背景信息，多数通道对于舰船目标特征的提取效果不好，不仅如此，有些通道还会混淆背景区域与舰船目标区域。左侧图为散货船目标基于通道与空间注意力机制的resnet网络layer1的输出可视化，可以看到，即使是在特征提取网络的浅层部分，即网络提取的低层特征部分，不同的特征通道被赋予了不同的权重后，通过通道与空间聚焦后，在船体周围的具有明显杂波的区域与通道被进行了抑制，这样也使得对后续特征提取的干扰被减弱。
[0163]
将特征提取网络的第三个模块的输出进行通道可视化效果对比，结果如图10、11所示。
[0164]
图10、11为油轮目标分别在基于本发明的resnet网络与resnet网络的layer3的输出可视化，layer3即为特征提取网络的第三个模块。从上图中可以看到，layer3模块输出的高层特征已经较为抽象，但是可以看到，通过自适应的进行通道与空间注意力聚焦后，基于通道与注意力机制的识别网络注意力主要集中于图像中间的舰船目标区域。
[0165]
在少量样本条件下，本发明基于通道与卷积神经网络注意力机制模块应用于残差网络后，识别精度相比较于不包含注意力机制的网络提升有将近4％，识别精度相比较于只
有通道注意力特征的网络提升也有将近百分之二。分析原因，一方面，空间注意力机制对于特征提取是有帮助的，在空间注意力机制中，全局平均池化与最大池化获得了空间注意力特征，又通过卷积操作建立了空间特征的相关性，同时保持了输入输出维度的不变。而且，卷积操作也减少了参数以及计算量，对于高维的空间特征相关性的建立提供了帮助。另一方面，通道注意力与空间注意力的结合对于特征提取更有效。通道注意力模块能够加大对识别有帮助的通道权重，增加对识别有利的权重，减少与识别无关的权重，使得网络更加关注那些对识别有利的通道，得到了通道注意力特征，网络基于标签与数据的驱动，能够对特征通道进行选择，从而实现较好的识别正确率，验证了通道注意力特征对于特征提取以及舰船目标识别的有效性；得到通道注意力特征的特征图再去提取空间注意力特征，网络会自适应地对有目标的区域进行关注，使得这部分在特征图中的权重变大，这样就得到了空间注意力特征。通道注意力特征和空间注意力特征的融合使得网络能够以更快速度的关注重点区域与通道，而且能够加速网络的收敛。先提取通道注意力特征，再提取空间注意力特征在实验中被证明是有效的。
[0166]
本发明实施例中，通过引入通道注意力机制来进行舰船目标识别，可以减缓背景噪声对舰船目标识别的影响。另外，考虑到舰船目标所处背景海杂波情况的多样性，本发明通过引入空间注意力机制，可以进一步改善注意力机制对于舰船目标识别性能。其次，考虑到训练分类模型需要大量训练样本，然而捕获大量sar图像在多数情况下比较困难，为了解决这一问题，所以通过将通道注意力与空间注意力相结合得方式来进行小样本下舰船目标的识别。
[0167]
如图12所示，本发明实施例提供了一种小样本sar舰船目标识别装置1200，该装置1200应用于实现小样本sar舰船目标识别方法，该装置1200包括：
[0168]
获取模块1210，用于获取待识别的合成孔径雷达sar图像。
[0169]
输入模块1220，用于将待识别的sar图像输入到训练好的舰船识别模型；其中，舰船识别模型包括预处理模块、特征提取模块以及分类器模块。
[0170]
输出模块1230，用于根据待识别的sar图像、预处理模块、特征提取模块以及分类器模块，得到待识别的sar图像的舰船目标识别结果。
[0171]
可选地，输入模块1220，进一步用于：
[0172]
s21、获取sar图像。
[0173]
s22、将sar图像输入到预处理模块，得到预处理后的特征图。
[0174]
s23、将预处理后的特征图输入到特征提取模块，得到具有通道与空间注意力特征的特征图。
[0175]
s24、将具有通道与空间注意力特征的特征图输入到分类器模块，得到sar图像的舰船目标识别结果。
[0176]
可选地，输入模块1220，进一步用于：
[0177]
s221、将sar图像的大小转换为128*128。
[0178]
s222、将大小转换后的sar图像的像素均值转换为0.44。
[0179]
s223、将像素均值转换后的sar图像的标准差转换为0.4，得到预处理后的特征图。
[0180]
可选地，输入模块1220，进一步用于：
[0181]
s231、将预处理后的特征图输入到特征提取模块的头，得到第一特征图。
[0182]
s232、将第一特征图输入到特征提取模块的主干网络，得到具有通道与空间注意力特征的特征图。
[0183]
可选地，输入模块1220，进一步用于：
[0184]
将预处理后的特征图输入到特征提取头的卷积层、特征提取头的批归一化层、特征提取头的relu激活函数层以及特征提取头的最大池化层，得到第一特征图。
[0185]
可选地，特征提取模块的主干网络包括多个主干网络模块，多个主干网络模块中的每个主干网络模块包括两个block模块。
[0186]
可选地，输入模块1220，进一步用于：
[0187]
将第一特征图依次输入到多个主干网络模块的多个block模块，得到具有通道与空间注意力特征的特征图。
[0188]
可选地，输入模块1220，进一步用于：
[0189]
将第一特征图输入到block模块的第一卷积层、block模块的第一批归一化层、block模块的relu激活函数层、block模块的第二卷积层以及block模块的第二批归一化层，得到第二特征图。
[0190]
将第二特征图输入到block模块的通道注意力模块以及空间注意力模块，得到第三特征图。
[0191]
将第二特征图与第三特征图进行加和操作，将加和操作后的特征图输入到特征提取模块的relu激活函数层，得到具有通道与空间注意力特征的特征图。
[0192]
可选地，输入模块1220，进一步用于：
[0193]
s241、将具有通道与空间注意力特征的特征图进行铺平展开。
[0194]
s242、对铺平展开后的特征图进行平均池化操作。
[0195]
s243、将平均池化操作后的特征图输入到分类器模块的全连接层，得到维度为3的特征图。
[0196]
s244、根据维度为3的特征图以及softmax函数，得到类别分数。
[0197]
s245、根据类别分数以及交叉熵损失函数，得到sar图像的舰船目标识别结果。
[0198]
本发明实施例中，通过引入通道注意力机制来进行舰船目标识别，可以减缓背景噪声对舰船目标识别的影响。另外，考虑到舰船目标所处背景海杂波情况的多样性，本发明通过引入空间注意力机制，可以进一步改善注意力机制对于舰船目标识别性能。其次，考虑到训练分类模型需要大量训练样本，然而捕获大量sar图像在多数情况下比较困难，为了解决这一问题，所以通过将通道注意力与空间注意力相结合得方式来进行小样本下舰船目标的识别。
[0199]
图13是本发明实施例提供的一种电子设备1300的结构示意图，该电子设备1300可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，cpu)1301和一个或一个以上的存储器1302，其中，存储器1302中存储有至少一条指令，至少一条指令由处理器301加载并执行以实现下述小样本sar舰船目标识别方法：
[0200]
s1、获取待识别的合成孔径雷达sar图像。
[0201]
s2、将待识别的sar图像输入到训练好的舰船识别模型；其中，舰船识别模型包括预处理模块、特征提取模块以及分类器模块。
[0202]
s3、根据待识别的sar图像、预处理模块、特征提取模块以及分类器模块，得到待识别的sar图像的舰船目标识别结果。
[0203]
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述小样本sar舰船目标识别方法。例如，计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0204]
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0205]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
技术特征：1.一种小样本sar舰船目标识别方法，其特征在于，所述方法包括：s1、获取待识别的合成孔径雷达sar图像；s2、将所述待识别的sar图像输入到训练好的舰船识别模型；其中，所述舰船识别模型包括预处理模块、特征提取模块以及分类器模块；s3、根据所述待识别的sar图像、预处理模块、特征提取模块以及分类器模块，得到所述待识别的sar图像的舰船目标识别结果。2.根据权利要求1所述的方法，其特征在于，所述s2中的舰船识别模型的训练过程包括：s21、获取sar图像；s22、将所述sar图像输入到所述预处理模块，得到预处理后的特征图；s23、将所述预处理后的特征图输入到所述特征提取模块，得到具有通道与空间注意力特征的特征图；s24、将所述具有通道与空间注意力特征的特征图输入到所述分类器模块，得到所述sar图像的舰船目标识别结果。3.根据权利要求2所述的方法，其特征在于，所述s22中的将所述sar图像输入到所述预处理模块，得到预处理后的特征图包括：s221、将所述sar图像的大小转换为128*128；s222、将大小转换后的sar图像的像素均值转换为0.44；s223、将像素均值转换后的sar图像的标准差转换为0.4，得到预处理后的特征图。4.根据权利要求2所述的方法，其特征在于，所述s23中的将所述预处理后的特征图输入到所述特征提取模块，得到具有通道与空间注意力特征的特征图包括：s231、将所述预处理后的特征图输入到特征提取模块的头，得到第一特征图；s232、将所述第一特征图输入到特征提取模块的主干网络，得到具有通道与空间注意力特征的特征图。5.根据权利要求4所述的方法，其特征在于，所述s231中的将所述预处理后的特征图输入到特征提取模块的头，得到第一特征图包括：将所述预处理后的特征图输入到特征提取头的卷积层、特征提取头的批归一化层、特征提取头的relu激活函数层以及特征提取头的最大池化层，得到第一特征图。6.根据权利要求4所述的方法，其特征在于，所述s232中的特征提取模块的主干网络包括多个主干网络模块，所述多个主干网络模块中的每个主干网络模块包括两个block模块；所述将所述第一特征图输入到特征提取模块的主干网络，得到具有通道与空间注意力特征的特征图包括：将所述第一特征图依次输入到多个主干网络模块的多个block模块，得到具有通道与空间注意力特征的特征图。7.根据权利要求6所述的方法，其特征在于，所述将所述第一特征图依次输入到多个主干网络模块的多个block模块中的将所述第一特征图输入到任一主干网络模块的任一block模块包括：将所述第一特征图输入到block模块的第一卷积层、block模块的第一批归一化层、block模块的relu激活函数层、block模块的第二卷积层以及block模块的第二批归一化层，
得到第二特征图；将所述第二特征图输入到block模块的通道注意力模块以及空间注意力模块，得到第三特征图；将所述第二特征图与所述第三特征图进行加和操作，将加和操作后的特征图输入到特征提取模块的relu激活函数层，得到具有通道与空间注意力特征的特征图。8.根据权利要求2所述的方法，其特征在于，所述s24中的将所述具有通道与空间注意力特征的特征图输入到所述分类器模块，得到所述sar图像的舰船目标识别结果包括：s241、将所述具有通道与空间注意力特征的特征图进行铺平展开；s242、对铺平展开后的特征图进行平均池化操作；s243、将平均池化操作后的特征图输入到分类器模块的全连接层，得到维度为3的特征图；s244、根据所述维度为3的特征图以及softmax函数，得到类别分数；s245、根据所述类别分数以及交叉熵损失函数，得到所述sar图像的舰船目标识别结果。9.一种小样本sar舰船目标识别装置，其特征在于，所述装置包括：获取模块，用于获取待识别的合成孔径雷达sar图像；输入模块，用于将所述待识别的sar图像输入到训练好的舰船识别模型；其中，所述舰船识别模型包括预处理模块、特征提取模块以及分类器模块；输出模块，用于根据所述待识别的sar图像、预处理模块、特征提取模块以及分类器模块，得到所述待识别的sar图像的舰船目标识别结果。10.根据权利要求9所述的装置，其特征在于，输入模块，进一步用于：s21、获取sar图像；s22、将所述sar图像输入到所述预处理模块，得到预处理后的特征图；s23、将所述预处理后的特征图输入到所述特征提取模块，得到具有通道与空间注意力特征的特征图；s24、将所述具有通道与空间注意力特征的特征图输入到所述分类器模块，得到所述sar图像的舰船目标识别结果。
技术总结本发明公开了一种小样本SAR舰船目标识别方法及装置，涉及合成孔径雷达图像识别技术领域。包括：获取待识别的合成孔径雷达SAR图像；将待识别的SAR图像输入到训练好的舰船识别模型；其中，舰船识别模型包括预处理模块、特征提取模块以及分类器模块；根据待识别的SAR图像、预处理模块、特征提取模块以及分类器模块，得到待识别的SAR图像的舰船目标识别结果。本发明能够解决现有技术中由于深度学习算法对大规模标注数据的过度依赖带来的实际应用中的困难；本发明致力于降低深度学习算法在SAR舰船识别时的数据标注工作量，提出了一种基于通道与空间注意力机制的小样本条件下的舰船识别方法。别方法。别方法。
技术研发人员：段长贤 殷君君 杨健
受保护的技术使用者：清华大学
技术研发日：2022.06.21
技术公布日：2022/11/1
