一种基于改进orientedrcnn的旋转目标检测方法
技术领域
1.本发明涉及旋转图像目标检测技术领域，具体是一种基于改进orientedrcnn的旋转目标检测方法。
背景技术：2.遥感图像目标检测是遥感图像处理领域的首要任务，主要工作是针对给定的遥感图像数据集，自动找出感兴趣区域，并给出目标的具体类别。但是遥感图像目标具有方向不一，尺度较小等特点，而常规的目标检测使用水平锚框，不能很好地贴合目标。
3.为了能准确预测目标方向，有很多学者提出了旋转目标检测，为rpn模块引入方向参数，生成定向锚框用于回归和分类。例如rotaterpn在每个锚点设置54个不同角度、比例和纵横比的锚框，当定向对象分布稀疏时可以提高精度。xiex等人提出orientedrcnn解决计算成本问题并进一步提升了精度。
4.为了能够获得精确的旋转目标信息，研究学者在现有的目标检测模型上引入旋转锚框实现更精确的定位。例如申请公布号为cn112800955a，名称为“基于加权双向特征金字塔的遥感影像旋转目标检测方法及系统”的专利申请，公开了一种基于加权双向特征金字塔的遥感影像旋转目标检测方法，引入bifpn增强模型跨尺度特征融合能力。申请公布号为cn110378242a，名称为“一种双重注意力机制的遥感目标检测方法”的专利申请，公开了一种双重注意力机制的遥感目标检测方法，使用双重注意力机制重新定义特征图。
5.但是，由于分类和回归之间所需特征的不一致性，现有的旋转图像目标检测方法难以准确提取不同任务所需的不同特征。
技术实现要素：6.本发明的目的在于提供一种基于改进orientedrcnn的旋转目标检测方法，以解决上述背景技术中提出的问题。
7.本发明的技术方案是：一种基于改进orientedrcnn的旋转目标检测方法，包括以下步骤：
8.步骤1、输入图像：选择标注文件包含方向信息的遥感图像数据集作为输入图像，对输入图像进行随机翻转、填充；
9.步骤2、图像预处理：将每张图片调整到固定的1024
×
1024尺寸；对固定尺寸图片进行归一化处理，并按5:2:3划分为训练集、验证集、测试集；
10.步骤3、输入网络模型进行训练：将步骤2的训练集输入到改进的orientedrcnn模型进行训练；
11.步骤4、输入测试集，输出检测结果：利用训练好的改进orientedrcnn模型对遥感图像进行检测，得到由旋转框框出目标的结果图像；
12.其中，步骤3中训练改进的orientedrcnn模型操作包括：将训练集输入到主干网络resnet50进行特征提取，得到不同尺寸的特征c2-c5；将提取的特征输入spp-fpn模块进行
特征融合得到featuremap，其中，spp-fpn模块将主干网络最深层输出c5经过spp模块得到m5。
13.优选的，所述步骤3的具体操作包括：
14.步骤3.1、将训练集输入到主干网络resnet50进行特征提取，得到不同尺寸的特征c2-c5；
15.步骤3.2、将提取的特征输入spp-fpn模块进行特征融合得到featuremap；
16.步骤3.3、将featuremap输入到旋转建议区域生成模块orientedrpn，经过编码和解码，输出建议区域proposals；
17.步骤3.4、将步骤3.2得到的featuremap和步骤3.3得到的proposals输入到改进的检测头模块pam-head，进行最后的分类和定位操作，输出遥感目标识别和定位结果。
18.优选的，所述步骤3.2中，spp-fpn模块具体工作流程包括：将主干网络最深层输出c5经过spp模块得到m5，将m5上采样与c4做横向连接得到的结果进行元素求和得到m4，将m4上采样与c3做横向连接得到的结果进行元素求和得到m3，依次类推得到m2-m5，将m2-m5分别经过3
×
3卷积得到改进的fpn输出p2-p5。
19.优选的，所述spp模块实现局部特征与全局特征之间的融合，使用不同尺寸的池化对特征图进行处理，最后进行拼接得到输出结果。
20.优选的，所述步骤3.3中，旋转建议区域生成模块orientedrpn具体操作包括：步骤3.2输出特征图经过卷积通道数变为6a，a表示每个锚点处生成的锚框个数，6表示需要6个参数来定义一个旋转锚框，6个参数为(x,y,w,h,δα,δβ)，其中x,y表示生成的水平锚框中心点坐标，w,h表示生成的水平锚框的宽和高，δα,δβ表示旋转锚框两个相邻顶点与水平锚框相邻两条边中点之间的偏移量。
21.优选的，所述步骤3.4中改进的检测头pam-head模块具体操作包括：将输入的特征图经极化注意力模块pam处理，为分类任务和定位任务生成不同的特征金字塔，可以避免不同任务之间的特征干扰，并有效提取不同任务所需的不同关键特征，将得到的不同特征送入全连接层进行分类和回归，输出最终的分类与定位结果。
22.优选的，所述极化注意力模块pam为双分支结构，输入特征图经过注意力模块(通道注意力模块与空间注意力模块并行)后使用不同的特征表示函数，其中分类分支使用激励函数，可以得到高响应的全局特征，定位分支使用抑制函数，可以只关注边界特征，抑制不相关的高激活区域。
23.优选的，所述旋转目标检测方法的训练模型的实验配置包括基于mmdetectionv2框架，实验环境为python3.8，pytorch1.7.0，torchvision0.7.0，batchsize为2，学习率初始值设置为0.001，最大训练epoch数为12，在迭代到第9和11个epoch后学习率分别下降到1
×
10-4和1
×
10-5。
24.优选的，所述旋转目标检测方法的训练模型的实验硬件设备为core
tm
i9-10900xcpu，nvidiartx3080ti显卡。
25.优选的，将输入图像的尺寸调整为1024
×
1024像素，以数据集各类目标的精度ap和全类目标平均精度map作为实验的衡量指标。
26.本发明通过改进在此提供一种基于改进orientedrcnn的旋转目标检测方法，与现有技术相比，具有如下改进及优点：
27.本发明使用了不同于现有技术中的六参数法来定义旋转锚框，并且使用不同的极化函数分别提取分类任务与定位任务所需的不同特征，此外引入spp模块实现局部特征与全局特征之间的融合，能够克服分类和回归之间所需特征的不一致性带来的检测干扰，有效提取不同任务所需的不同特征，可以更准确地对遥感图像目标进行分类和定位。
附图说明
28.下面结合附图和实施例对本发明作进一步解释：
29.图1为本发明整个网络框架的流程图。
30.图2为本发明中spp-fpn的结构图。
31.图3为本发明涉及到的spp模块结构图。
32.图4为本发明orientedrpn中表示锚框的6个参数示意图。
33.图5为本发明中pam-head的结构图。
34.图6为本发明获得的遥感图像检测结果示意图。
具体实施方式
35.下面对本发明进行详细说明，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
36.本发明通过改进在此提供一种基于改进orientedrcnn的旋转目标检测方法，本发明的技术方案是：
37.如图1所示，一种基于改进orientedrcnn的旋转目标检测方法，包括以下步骤：
38.步骤1、输入图像：选择标注文件包含方向信息的遥感图像数据集作为输入图像，对输入图像进行随机翻转、填充；
39.步骤2、图像预处理：将每张图片调整到固定的1024
×
1024尺寸；对固定尺寸图片进行归一化处理，并按5:2:3划分为训练集、验证集、测试集；
40.步骤3、输入网络模型进行训练：将步骤2的训练集输入到改进的orientedrcnn模型进行训练；
41.步骤4、输入测试集，输出检测结果：利用训练好的改进orientedrcnn模型对遥感图像进行检测，得到由旋转框框出目标的结果图像，结果图像如图6所示；
42.其中，步骤3中训练改进的orientedrcnn模型操作包括：将训练集输入到主干网络resnet50进行特征提取，得到不同尺寸的特征c2-c5；将提取的特征输入spp-fpn模块进行特征融合得到featuremap，其中，spp-fpn模块将主干网络最深层输出c5经过spp模块得到m5。
43.其中，所述步骤3的具体操作包括：
44.步骤3.1、将训练集输入到主干网络resnet50进行特征提取，得到不同尺寸的特征c2-c5；
45.步骤3.2、将提取的特征输入spp-fpn模块进行特征融合得到featuremap；
46.步骤3.3、将featuremap输入到旋转建议区域生成模块orientedrpn，经过编码和
解码，输出建议区域proposals；
47.步骤3.4、将步骤3.2得到的featuremap和步骤3.3得到的proposals输入到改进的检测头模块pam-head，进行最后的分类和定位操作，输出遥感目标识别和定位结果。
48.其中，所述步骤3.2中，spp-fpn模块具体工作流程包括：将主干网络最深层输出c5经过spp模块得到m5，将m5上采样与c4做横向连接得到的结果进行元素求和得到m4，将m4上采样与c3做横向连接得到的结果进行元素求和得到m3，依次类推得到m2-m5，将m2-m5分别经过3
×
3卷积得到改进的fpn输出p2-p5，如图2所示。
49.进一步的，所述spp模块实现局部特征与全局特征之间的融合，使用不同尺寸的池化对特征图进行处理，最后进行拼接得到输出结果，如图3所示。
50.其中，所述步骤3.3中，旋转建议区域生成模块orientedrpn具体操作包括：步骤3.2输出特征图经过卷积通道数变为6a，a表示每个锚点处生成的锚框个数，6表示需要6个参数来定义一个旋转锚框，6个参数为(x,y,w,h,δα,δβ)，其中x,y表示生成的水平锚框中心点坐标，w,h表示生成的水平锚框的宽和高，δα,δβ表示旋转锚框两个相邻顶点与水平锚框相邻两条边中点之间的偏移量，如图4所示。其中，使用以上6个参数回归锚框的公式为：
[0051][0052]
其中v1,v2,v3,v4代表旋转锚框的四个顶点。
[0053]
进一步的，由于orientedrpn会生成大量的锚框，需要选出其中得分较高的n个锚框作为后续的输入，本发明使用diou得分作为正样本分配策略，diou表达式如式2所示：
[0054][0055]
其中d2表示预测框与真实框中心点距离的平方，c2表示预测框与真实框最小外接矩形对角线长度的平方。
[0056]
其中，所述步骤3.4中改进的检测头pam-head模块具体操作包括：将输入的特征图经极化注意力模块pam处理，为分类任务和定位任务生成不同的特征金字塔，可以避免不同任务之间的特征干扰，并有效提取不同任务所需的不同关键特征，将得到的不同特征送入全连接层进行分类和回归，输出最终的分类与定位结果；其中，pam-head模块结构如图5所示。模型的总损失函数如式3所示：
[0057][0058]
其中l
cls
使用的是交叉熵损失，l
reg
使用smooth
l1
损失。l
cls
如式4所示，l
reg
如式5所示：
[0059][0060]
[0061]
其中pi为rpn分类分支的输出，表示建议为前景的概率，为第i个真实值的标签，ti表示定位分支回归的偏移值，表示对真实框的偏移值，smooth
l1
函数定义如式6所示：
[0062][0063]
进一步的，所述极化注意力模块pam为双分支结构，输入特征图经过注意力模块(通道注意力模块与空间注意力模块并行)后使用不同的特征表示函数，其中分类分支使用激励函数，可以得到高响应的全局特征，定位分支使用抑制函数，可以只关注边界特征，抑制不相关的高激活区域；其中，激励函数表达式如下所示：
[0064][0065]
其中η为激励系数。抑制函数表达式如下所示：
[0066][0067]
本发明中，所述旋转目标检测方法的训练模型的实验配置包括基于mmdetectionv2框架，实验环境为python3.8，pytorch1.7.0，torchvision0.7.0，batchsize为2，学习率初始值设置为0.001，最大训练epoch数为12，在迭代到第9和11个epoch后学习率分别下降到1
×
10-4和1
×
10-5。
[0068]
其中，所述旋转目标检测方法的训练模型的实验硬件设备为core
tm
i9-10900xcpu，nvidiartx3080ti显卡。
[0069]
考虑到遥感图像较大，将输入图像的尺寸调整为1024
×
1024像素，以数据集各类目标的精度ap和全类目标平均精度map作为实验的衡量指标。
[0070]
本发明方法使用了不同于现有技术中的六参数法来定义旋转锚框，并且使用不同的极化函数分别提取分类任务与定位任务所需的不同特征，此外引入spp模块实现局部特征与全局特征之间的融合，能够克服分类和回归之间所需特征的不一致性带来的检测干扰，增强遥感小目标的特征表示，并且网络性能好，模型泛化能力强。
[0071]
上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
技术特征：1.一种基于改进orientedrcnn的旋转目标检测方法，其特征在于：包括以下步骤：步骤1、输入图像：选择标注文件包含方向信息的遥感图像数据集作为输入图像，对输入图像进行随机翻转、填充；步骤2、图像预处理：将每张图片调整到固定的1024
×
1024尺寸；对固定尺寸图片进行归一化处理，并按5:2:3划分为训练集、验证集、测试集；步骤3、输入网络模型进行训练：将步骤2的训练集输入到改进的orientedrcnn模型进行训练；步骤4、输入测试集，输出检测结果：利用训练好的改进orientedrcnn模型对遥感图像进行检测，得到由旋转框框出目标的结果图像；其中，步骤3中训练改进的orientedrcnn模型操作包括：将训练集输入到主干网络resnet50进行特征提取，得到不同尺寸的特征c2-c5；将提取的特征输入spp-fpn模块进行特征融合得到featuremap，其中，spp-fpn模块将主干网络最深层输出c5经过spp模块得到m5。2.根据权利要求1所述的一种基于改进orientedrcnn的旋转目标检测方法，其特征在于：所述步骤3的具体操作包括：步骤3.1、将训练集输入到主干网络resnet50进行特征提取，得到不同尺寸的特征c2-c5；步骤3.2、将提取的特征输入spp-fpn模块进行特征融合得到featuremap；步骤3.3、将featuremap输入到旋转建议区域生成模块orientedrpn，经过编码和解码，输出建议区域proposals；步骤3.4、将步骤3.2得到的featuremap和步骤3.3得到的proposals输入到改进的检测头模块pam-head，进行最后的分类和定位操作，输出遥感目标识别和定位结果。3.根据权利要求2所述的一种基于改进orientedrcnn的旋转目标检测方法，其特征在于：所述步骤3.2中，spp-fpn模块具体工作流程包括：将主干网络最深层输出c5经过spp模块得到m5，将m5上采样与c4做横向连接得到的结果进行元素求和得到m4，将m4上采样与c3做横向连接得到的结果进行元素求和得到m3，依次类推得到m2-m5，将m2-m5分别经过3
×
3卷积得到改进的fpn输出p2-p5。4.根据权利要求3所述的一种基于改进orientedrcnn的旋转目标检测方法，其特征在于：所述spp模块实现局部特征与全局特征之间的融合，使用不同尺寸的池化对特征图进行处理，最后进行拼接得到输出结果。5.根据权利要求2所述的一种基于改进orientedrcnn的旋转目标检测方法，其特征在于：所述步骤3.3中，旋转建议区域生成模块orientedrpn具体操作包括：步骤3.2输出特征图经过卷积通道数变为6a，a表示每个锚点处生成的锚框个数，6表示需要6个参数来定义一个旋转锚框，6个参数为(x,y,w,h,δα,δβ)，其中x,y表示生成的水平锚框中心点坐标，w,h表示生成的水平锚框的宽和高，δα,δβ表示旋转锚框两个相邻顶点与水平锚框相邻两条边中点之间的偏移量。6.根据权利要求2所述的一种基于改进orientedrcnn的旋转目标检测方法，其特征在于：所述步骤3.4中改进的检测头pam-head模块具体操作包括：将输入的特征图经极化注意力模块pam处理，为分类任务和定位任务生成不同的特征金字塔，可以避免不同任务之间的
特征干扰，并有效提取不同任务所需的不同关键特征，将得到的不同特征送入全连接层进行分类和回归，输出最终的分类与定位结果。7.根据权利要求6所述的一种基于改进orientedrcnn的旋转目标检测方法，其特征在于：所述极化注意力模块pam为双分支结构，输入特征图经过注意力模块(通道注意力模块与空间注意力模块并行)后使用不同的特征表示函数，其中分类分支使用激励函数，可以得到高响应的全局特征，定位分支使用抑制函数，可以只关注边界特征，抑制不相关的高激活区域。8.根据权利要求1-7任一所述的一种基于改进orientedrcnn的旋转目标检测方法，其特征在于：所述旋转目标检测方法的训练模型的实验配置包括基于mmdetectionv2框架，实验环境为python3.8，pytorch1.7.0，torchvision0.7.0，batchsize为2，学习率初始值设置为0.001，最大训练epoch数为12，在迭代到第9和11个epoch后学习率分别下降到1
×
10-4和1
×
10-5。9.根据权利要求8所述的一种基于改进orientedrcnn的旋转目标检测方法，其特征在于：所述旋转目标检测方法的训练模型的实验硬件设备为core
tm
i9-10900xcpu，nvidiartx3080ti显卡。10.根据权利要求9所述的一种基于改进orientedrcnn的旋转目标检测方法，其特征在于：将输入图像的尺寸调整为1024
×
1024像素，以数据集各类目标的精度ap和全类目标平均精度map作为实验的衡量指标。
技术总结本发明涉及旋转图像目标检测技术领域，具体是一种基于改进Orientedrcnn的旋转目标检测方法，包括以下步骤：输入图像；图像预处理：将每张图片调整到固定尺寸，对固定尺寸图片进行归一化处理，并划分为训练集、验证集、测试集；输入网络模型进行训练：将训练集输入到改进的Oriented rcnn模型进行训练；输入测试集，输出检测结果；本发明使用了不同于现有技术中的六参数法来定义旋转锚框，并且使用不同的极化函数分别提取分类任务与定位任务所需的不同特征，此外引入SPP模块实现局部特征与全局特征之间的融合，能够克服分类和回归之间所需特征的不一致性带来的检测干扰，有效提取不同任务所需的不同特征，可以更准确地对遥感图像目标进行分类和定位。目标进行分类和定位。目标进行分类和定位。
技术研发人员：王友伟 郭颖 邵香迎 鲍正位 王季宇
受保护的技术使用者：南京信息工程大学
技术研发日：2022.07.13
技术公布日：2022/11/1
