1.本发明主要涉及到目标检测技术领域，尤其是一种基于锚框引导注意力细 化网络的近岸船舶目标检测方法。
背景技术：2.对监控视频中的近岸船舶目标进行准确、快速地检测，可以有效提高航道 利用率和港口管理效率。近年来，由于监控视频系统具有实时成像、便于部署、 造价低廉等诸多优点，被广泛应用于社会安全和交通运输等领域。不同于对卫 星所捕获的遥感船舶目标图像进行检测，对监控视频中的近岸船舶目标进行检 测可以及时获取船舶目标更精细的位置信息和类别类别信息，增强港口和海事 的智能调度能力。
3.目前，监控视频中的近岸船舶目标检测方法可分为传统方法和基于深度学 习的方法两种。传统的方法是通过对背景和前景区域进行建模与区分来检测近 岸船舶目标，根据海洋图像领域知识成功识别了监控视频中的大部分船舶目标， 但由于泛化能力有限，其检测性能受复杂参数影响严重，在复杂多变的背景条 件下通常检测性能会大幅下降。与传统方法相比，基于深度学习的卷积神经网 络(cnn)方法能够自动地从输入图像中提取显著性和鲁棒性特征，并在遥感 领域表现出较强的性能。对于监控视频中的近岸船舶目标检测，尽管这些基于 cnn的方法和技巧提高了算法对近岸船舶目标的检测性能，依然存在许多问题 亟待解决。首先，多尺度近岸船舶目标的细节特征难以准确获取。尽管卷积神 经网络中的多层次特征图在一定程度上缓解了这一问题，但在处理具有大长宽 比几何形状的近岸船舶目标仍然是存在一定问题的。其次，近岸船舶目标所处 环境复杂多变，由于监控摄像头的观测角度和部署位置不同，船舶目标所处背 景多样，对探测器的干扰较大。再者，在平行水道上的不同搜船舶目标容易相 互遮挡，造成不同船舶目标如船舱、桅杆等部件间的严重混淆,船舶目标检测准 确率低。
技术实现要素：4.基于此，有必要针对上述技术问题，提供一种能够提高船舶目标检测准确 率的基于锚框引导注意力细化网络的近岸船舶目标检测方法、装置、计算机设 备和存储介质。
5.一种基于锚框引导注意力细化网络的近岸船舶目标检测方法，所述方法包 括：
6.获取监控视频中的近岸船舶目标数据集；
7.构建基于锚框引导注意力细化网络的目标检测模型；目标检测模型主要包 括注意力特征筛选模块和锚框引导对齐检测模块；
8.对目标检测模型的整体损失函数进行构建；利用近岸船舶目标数据集对已 构建整体损失函数的目标检测模型进行训练，得到训练完成的目标检测模型；
9.根据训练完成的目标检测模型，将待检测的近岸船舶目标图像输入至目标 检测模型中，输出得到近岸船舶目标的类别及位置信息。
10.在其中一个实施例中，目标检测模型还包括改进后的vgg-16网络、传输 连接块和
refinedet网络模型中的arm模块；改进后的vgg-16网络包括多个 基础层和新增加层；arm模块位于基础层和新增加层之上。
11.在其中一个实施例中，根据训练完成的目标检测模型，将待检测的近岸船 舶目标图像输入至目标检测模型中，输出得到近岸船舶目标的类别及位置信息， 包括：
12.根据改进后的vgg-16网络对待检测的近岸船舶目标图像进行特征提取， 得到近岸船舶目标的基本特征图；
13.利用新增加层将近岸船舶目标的基本特征图传输到传输连接块生成最顶层 特征图；
14.根据注意力特征筛选模块从最顶层特征图中获取目标的细粒度特征图，利 用锚框引导对齐检测模块对细粒度特征图进行检测，得到近岸船舶目标的类别 及位置信息。
15.在其中一个实施例中，根据注意力特征筛选模块从最顶层特征图中获取目 标的细粒度特征图的过程包括：
16.将最顶层特征图输入网络卷积层，利用sigmoid函数对最顶层特征图进行处 理，得到注意力特征图；
17.对注意力特征图进行插值计算和上采样，得到注意力细化特征图；
18.将近岸船舶目标的基本特征图与注意力细化特征图相乘，并与基本特征图 进行元素叠加，得到细化后特征图；
19.对最顶层特征图进行两次上采样操作，得到采样特征图；
20.将采样特征图与细化后特征图进行元素叠加并经过一个3
×
3卷积层以及 relu激活函数，得到近岸船舶目标的细粒度特征图。
21.在其中一个实施例中，将采样特征图与细化后特征图进行元素叠加并经过 一个3
×
3卷积层以及relu激活函数，得到近岸船舶目标的细粒度特征图，包括：
22.将采样特征图与细化后特征图进行元素叠加并经过一个3
×
3卷积层以及 relu激活函数，得到近岸船舶目标的细粒度特征图为
[0023][0024]
其中，表示注意力细化特征图，表示采样 特征图，表示细化后特征图，f表示近岸船舶目标的基本特征图， p
i+1
表示最顶层特征图，σ和δ分别表示sigmoid激活函数和relu激活函数，up 和conv分别表示两次上采样及卷积操作，i表示细粒度特征图的序号。
[0025]
在其中一个实施例中，目标检测模块还包括可变形卷积层；利用锚框引导 对齐检测模块对细粒度特征图进行检测，得到近岸船舶目标的类别及位置信息， 包括：
[0026]
根据arm模块生成目标位置的参数化表示，利用参数化表示调整预定义锚 框的位置，得到精细化锚框；
[0027]
在精细锚框中随机生成的多个原始采样点，从细粒度特征图找到原始采样 点的对齐采样点，根据可变形卷积对原始采样点和相应的对齐采样点进行计算， 得到二维偏移量；
[0028]
将二维偏移量和细粒度特征图输入至可变形卷积层进行回归和特征提取， 得到近岸船舶目标的位置信息和类别。
[0029]
在其中一个实施例中，原始采样点为
[0030][0031]
其中，i,j∈{0,1,k-1}，k＝3对应卷积核大小为3
×
3的卷积操作。
[0032]
在其中一个实施例中，对齐采样点为
[0033][0034]
其中，(x1,y1,x2,y2)表示精细锚框的位置坐标，s表示原始采样点。
[0035]
在其中一个实施例中，根据原始采样点和相应的对齐采样点进行计算，得 到二维偏移量，包括：
[0036]
根据原始采样点和相应的对齐采样点进行计算，得到二维偏移量为
[0037][0038][0039]
在其中一个实施例中，整体损失函数为
[0040][0041]
其中，n
arm
表示arm损失，n
aadm
表示锚框引导对齐检测模块的损失， n指所有锚点框中与标签真值的重叠度满足预定义阈值的正锚点框数量，i表示 锚框中的采样点序号，表示二元交叉熵损失和表示二元交叉熵损失，pi和 ci分别代表第i
th
个锚框包含目标及属于第c
th
类目标的概率，li表示第i
th
个锚 框的真值标签，在li≥1条件下输出为1，否则为0，xi和ti代表网络所预测 的参数化目标位置，代表参数化真值标签。
[0042]
一种基于锚框引导注意力细化网络的近岸船舶目标检测装置，所述装置包 括：
[0043]
检测模型构建模块，用于获取监控视频中的近岸船舶目标数据集；构建基 于锚框引导注意力细化网络的目标检测模型；目标检测模型包括注意力特征筛 选模块和锚框引导对齐检测模块；
[0044]
检测模型训练模块，用于对目标检测模型的整体损失函数进行构建；利用 近岸船舶目标数据集对构建了整体损失函数的目标检测模型进行训练，得到训 练好的目标检测模型；
[0045]
图像检测模块，用于根据训练好的目标检测模型对待检测的近岸船舶目标 图像进行检测，得到近岸船舶目标的类别及位置信息。
[0046]
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序， 所述处理器执行所述计算机程序时实现以下步骤：
[0047]
获取监控视频中的近岸船舶目标数据集；
[0048]
构建基于锚框引导注意力细化网络的目标检测模型；目标检测模型包括注 意力特征筛选模块和锚框引导对齐检测模块；
[0049]
对目标检测模型的整体损失函数进行构建；利用近岸船舶目标数据集对已 构建整体损失函数的目标检测模型进行训练，得到训练完成的目标检测模型；
[0050]
根据训练完成的目标检测模型，将待检测的近岸船舶目标图像输入至目标 检测模型中，输出得到近岸船舶目标的类别及位置信息。
[0051]
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处 理器执行时实现以下步骤：
[0052]
获取监控视频中的近岸船舶目标数据集；
[0053]
构建基于锚框引导注意力细化网络的目标检测模型；目标检测模型主要包 括注意力特征筛选模块和锚框引导对齐检测模块；
[0054]
对目标检测模型的整体损失函数进行构建；利用近岸船舶目标数据集对已 构建整体损失函数的目标检测模型进行训练，得到训练完成的目标检测模型；
[0055]
根据训练完成的目标检测模型，将待检测的近岸船舶目标图像输入至目标 检测模型中，输出得到近岸船舶目标的类别及位置信息。
[0056]
上述基于锚框引导注意力细化网络的近岸船舶目标检测方法、装置、计算 机设备和存储介质，首先构建基于锚框引导注意力细化网络的目标检测模型； 目标检测模型主要包括注意力特征筛选模块和锚框引导对齐检测模块；对目标 检测模型的整体损失函数进行构建；利用近岸船舶目标数据集对已构建整体损 失函数的目标检测模型进行训练，得到训练完成的目标检测模型；根据训练完 成的目标检测模型将待检测的近岸船舶目标图像输入至目标检测模型中，输出 得到近岸船舶目标的类别及位置信息。本技术将注意力特征筛选模块作为一种 注意力机制，嵌入至目标检测模型内部的横向连接特征金字塔网络自底向上的 通路顶端，其通过若干卷积层与sigmoid激活函数从高层语义特征图中得到注意 力特征图，并从注意力特征图中筛选出其对应浅层特征图中所包含的近岸的船 舶目标关键特征，从而达到抑制浅层特征图上的背景干扰，突出近岸船舶目标 的重要信息的目的，进而提高近岸船舶目标检测的准确率；锚框引导对齐检测 模块应用于输出层，通过精细化锚框对近岸船舶目标进行特征校准并直接计算 目标位置的二维坐标偏移量，从而对实现对近岸船舶目标的精准定位。通过在 多个特征图上以锚框引导对齐检测模块对目标的最终的位置与类别进行预测与 回归，可提升对多尺度近岸舰船目标的定位精确性。
附图说明
[0057]
图1为一个实施例一种基于锚框引导注意力细化网络的近岸船舶目标检测 方法的流程示意图；
[0058]
图2为一个实施例中锚框引导注意力细化网络的整体结构示意图；
[0059]
图3为一个实施例中注意力特征筛选模块的结构示意图；
[0060]
图4为另一个实施例中锚框引导对齐检测模块的结构示意图；
[0061]
图5为一个实施例中一种基于锚框引导注意力细化网络的近岸船舶目标检 测装置的结构框图；
[0062]
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
[0063]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实 施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅 用以解释本技术，并不用于限定本技术。
[0064]
在一个实施例中，如图1所示，提供了一种基于锚框引导注意力细化网络 的近岸船舶目标检测方法，包括以下步骤：
[0065]
步骤102，获取监控视频中的近岸船舶目标数据集；构建基于锚框引导注意 力细化网络的目标检测模型；目标检测模型主要包括注意力特征筛选模块和锚 框引导对齐检测模块。
[0066]
基于锚框引导注意力细化网络的目标检测模型包括注意力特征筛选模块、 锚框引导对齐检测模块、改进后的vgg-16网络、传输连接块、可变形卷积层 和arm模块，arm模块是从refinedet网络中获取的现有模块，在本技术中不 做过多的描述。
[0067]
如图2所示，为目标检测模型(aarn)的结构示意图，目标检测模型利用 vgg-16网络作为基础骨干网络，从输入图像中提取近岸船舶目标层次化的语义 信息。选取vgg-16中间特征层中的conv4_3、conv5_3、conv7和新增加层 (extas)来提取多尺度船舶的基本特征。针对浅层(如conv4_3、conv5_4)和 深层(如conv7、extras)可能存在的特征不平衡问题，在自顶向下的网络通路 中，迭代化的以高层特征与本层特征构建了特征金字塔，在构建精细化特征金字 塔时，以高层特征图中的语义信息对浅层特征图进行约束，从而提升算法对浅层 特征图中目标关键细节的表征能力。其中，由extras层将经前向传输的特征直 接送至传输连接块(图2中含有t字母的矩形框)生成最顶层特征图p5。目标 检测模型(aarn)将注意力特征筛选模块(affm)(图2中包含字母a的红 色矩形框)通过横向连接方式，获取到目标精细化特征图p2，p3，p4。为了获取 近岸船舶目标的准确位置和类别，将若干arm模块分别置于几个基础特征层 (conv4_3、conv5_3、conv7、extas)的顶部，以用来对潜在船舶目标位置进行 粗略的位置回归，同时过滤多余的预定义锚框，生成精细化锚框，还利用可变形 卷积网络(dcn)，通过将锚框引导对齐检测模块，分别应用于p2，p3，p4和p5特征图上，以对目标的位置精确回归。affm和aadm拥有强大的特征细化和 对齐功能，可以实现复杂背景下对近岸船舶目标的精准定位。
[0068]
步骤104，对目标检测模型的整体损失函数进行构建；利用近岸船舶目标数 据集对已构建整体损失函数的目标检测模型进行训练，得到训练完成的目标检 测模型。
[0069]
在训练阶段，分别采用两类和多类交叉熵损失分别对arm模块和锚框引导 对齐检测模块(aadm)的分类分支进行优化，并利用smooth l1损失对arm和 aadm的回归分支进行优化，得到训练好的目标检测模型。
[0070]
步骤106，根据训练完成的目标检测模型，将待检测的近岸船舶目标图像输 入至目标检测模型中，输出得到近岸船舶目标的类别及位置信息。
[0071]
上述基于锚框引导注意力细化网络的近岸船舶目标检测方法中，首先构建 基于锚框引导注意力细化网络的目标检测模型；目标检测模型主要包括注意力 特征筛选模块和锚框引导对齐检测模块；对目标检测模型的整体损失函数进行 构建；利用近岸船舶目标
特征图，表示细化后特征图，f表示近岸船舶目标的基本特征图， p
i+1
表示最顶层特征图，σ和δ分别表示sigmoid激活函数和relu激活函数，up 和conv分别表示两次上采样及卷积操作，i表示细粒度特征图的序号。
[0087]
在具体实施例中，如图3所示，affm作为一个“即插即用”模块，用来生成 p
i,i∈2,3,4
特征图。在aafm中，首先将前一个的特征图p
i+1
送入网络卷积层，然 后通过sigmoid函数生成注意力特征图a
i+1
，其通道数与p
i+1
的通道数相同，且 其取值范围为0.0～1.0。然后对a
i+1
进行插值运算，经两次上采样操作生成注 意力细化特征图a
i+1up
。将多尺度船舶的基本特征图f与特征图a
i+1up
相乘，并与f 进行元素叠加，得到细化后的特征图fa，此操作可以利用高级抽象信息来过滤 背景干扰信息，同时增强目标重要特征。为了进一步保留近岸船舶目标的高层 语义特征，在p
i+1
上也进行两次上采样操作得到采样特征图p
i+1up
，并与细化 后特征图fa进行元素叠加。最终，经过一个3
×
3卷积层以及relu激活函数得到 近岸船舶目标的细粒度特征图pi。与目前常见的如se和cbam等注意力信息 仅由相同的输入层产生的注意力机制相比，affm可以利用从高层特征层提取 的监督来细化低层特征图的信息。
[0088]
在其中一个实施例中，目标检测模块还包括可变形卷积层；利用锚框引导 对齐检测模块对细粒度特征图进行检测，得到近岸船舶目标的类别及位置信息， 包括：
[0089]
根据arm模块生成目标位置的参数化表示，利用参数化表示调整预定义锚 框的位置，得到精细化锚框；
[0090]
在精细锚框中随机生成的多个原始采样点，从细粒度特征图找到原始采样 点的对齐采样点，根据可变形卷积对原始采样点和相应的对齐采样点进行计算， 得到二维偏移量；
[0091]
将二维偏移量和细粒度特征图输入至可变形卷积层进行回归和特征提取， 得到近岸船舶目标的位置信息和类别。
[0092]
在具体实施例中，如图3所示，首先，根据arm模块产生的c
x
，cy，w， h等目标位置的参数化表示，调整预定义锚框(图中黑色细矩形框)的位置，得 到精细化锚框(图中灰色矩形框)。从图中可以明显看出，相较于预定义锚框， 精细化锚框与目标真值标签(图中黑色粗矩形框)的重合率更高，故精细化锚 框所包含的目标特征比预定义锚框包含的目标特征更具有代表性。因此，在精 细锚框中新生成的均匀分布采样点(9个灰色圆点)在一定程度上与精 细化锚框是对齐，故其所捕获的目标特征与精细锚框所捕获的目标特征在一定 程度上是一致的。而后，通过可变形卷积计算9个原始采样点s
i,j
(x,y)(图中黑 色圆点)与9个对齐采样点之间的二维偏移量o
i,j
(x,y)，并将其输入至 若干可变形卷积层进行最终的回归，得到近岸船舶目标的位置信息，用偏移量 表示位置；
[0093]
然后将细粒度特征图输入至可变形卷积层进行特征提取后，根据特征进行 近岸船舶目标检测，得到船舶的分类。
[0094]
在其中一个实施例中，原始采样点为
[0095][0096]
其中，i,j∈{0,1,k-1}，k＝3对应卷积核大小为3
×
3的卷积操作。
[0097]
在其中一个实施例中，对齐采样点为
[0098][0099]
其中，(x1,y1,x2,y2)表示精细锚框的位置坐标，s表示原始采样点。
[0100]
在其中一个实施例中，根据原始采样点和相应的对齐采样点进行计算，得 到二维偏移量，包括：
[0101]
根据原始采样点和相应的对齐采样点进行计算，得到二维偏移量为
[0102][0103][0104]
在其中一个实施例中，整体损失函数为
[0105][0106]
其中，n
arm
表示arm损失，n
aadm
表示锚框引导对齐检测模块的损失， n指所有锚点框中与标签真值的重叠度满足预定义阈值的正锚点框数量，i表示 锚框中的采样点序号，表示二元交叉熵损失和表示二元交叉熵损失，pi和 ci分别代表第i
th
个锚框包含目标及属于第c
th
类目标的概率，li表示第i
th
个锚 框的真值标签，在li≥1条件下输出为1，否则为0，xi和ti代表网络所预测 的参数化目标位置，代表参数化真值标签。
[0107]
在在具体实施例中，分别采用两类和多类交叉熵损失分别对arm和aadm 的分类分支进行优化，并利用smooth l1损失对arm和aadm的回归分支进 行优化。
[0108]
在一个实施例中，为了验证本技术的技术效果，采用seaships7000公开数 据集对所提目标检测模型性能进行了探究。seaships7000数据集内所包含的近岸 船舶目标图像采集自部署在珠海横琴岛周边多个地点的可见光监控视频系统， 共计7000幅分辨率为1920像素
×
1080像素的可见光图像。该数据集具有较为 完备的多样化近岸船舶目标数据，数据集中所包含的目标种类丰富，取景包含 楼群、山地、丛林等多个近岸背景，且于不同季节不同光照条件下进行图像采 集，可对算法对近岸船舶目标检测与识别的有效性充分验证。数据集中所包含 的六类船舶目标，包括矿砂船(ore carrier，oc)、散装货船(bulk cargo carrier， bcc)、杂货船(general cargo carrier，gcc)、集装箱船(container ship，cs)、 渔船(fishing ship，fs)及客船(passenger ship，ps)。
[0109]
为充分验证目标检测模型对近岸船舶的检测能力，选取ms coco (microsoft common objects in context)的平均精度(ap)对不同算法进行评 测，统计并绘制了预测结果与真值在特定交并比(iou)阈值时，不同算法对不 同类别船舶检测识别的ap值及精确率-召回率(pr)曲线。此外，采用帧率(fps) 对算法的运行速度进行评估。如表1所示，表1展示了本技术与其他基于卷积 神经网络方法的检测结果对比。可以看出，本技术所提的aarn
相较于其他算 法对近岸船舶的预测结果更加准确，其ap值为0.710。此外，由于aarn中所 引入的更加有效的特征细化和对齐策略，其ap
0.5
值与ap
0.75
值分别达到0.965和 0.853，验证了aarn对近岸船舶目标检测定位的准确性。在对中等船舶目标进 行预测时，aarn的apm值与ap
l
值较refinedet分别提高了3.2％和2.8％，进一 步验证了aarn对中大型尺寸近岸船舶目标检测的有效性。此外，表1的最后 一列对各基于卷积神经网络的目标检测识别方法的运行时间进行了评估。由于 aarn的骨干网络采用卷积核尺寸为3
×
3的v-gg16轻量级架构，且内部模块 affm和aadm中涉及的参数很少，因此，aarn其运算速度较其他所有两阶 段检测器及特定的单级检测器(如rpdet)速度优势更明显。
[0110]
表1
[0111][0112]
为充分验证算法对不同类船舶目标检测的检测识别能力，表2展示了aarn 与其他基于卷积神经网络的算法对六类船舶目标的检测平均精度值。不难看出， 算法相较于两阶段以及大部分单阶段算法对六类船舶目标的检测识别均取得了 显著的优势。然而，虽然rpdet算法较本文算法对通用货船(gcc)与矿砂船(oc)的预测准确性更高。然而rpdet算法对其他目标的检测识别能力较本文 算法依旧存在较大差距。
[0113]
表2
[0114][0115]
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示， 但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的 说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执 行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些 子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行， 这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或 者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0116]
在一个实施例中，如图5所示，提供了一种基于锚框引导注意力细化网络 的近岸船舶目标检测装置，包括：检测模型构建模块502、检测模型训练模块 504和图像检测模块506，其中：
[0117]
检测模型构建模块502，用于获取监控视频中的近岸船舶目标数据集；构建 基于锚框引导注意力细化网络的目标检测模型；目标检测模型主要包括注意力 特征筛选模块和锚框引导对齐检测模块；
[0118]
检测模型训练模块504，用于对目标检测模型的整体损失函数进行构建；利 用近岸船舶目标数据集对已构建整体损失函数的目标检测模型进行训练，得到 训练完成的目标检测模型；
[0119]
图像检测模块506，用于根据训练完成的目标检测模型，将待检测的近岸船 舶目标图像输入至目标检测模型中，输出得到近岸船舶目标的类别及位置信息。
[0120]
在其中一个实施例中，目标检测模型还包括改进后的vgg-16网络、传输 连接块和arm模块；改进后的vgg-16网络包括多个基础层和新增加层；arm 模块位于基础层和新增加层之上。
[0121]
在其中一个实施例中，图像检测模块506还用于根据训练完成的目标检测 模型，将待检测的近岸船舶目标图像输入至目标检测模型中，输出得到近岸船 舶目标的类别及位置信息，包括：
[0122]
根据改进后的vgg-16网络对待检测的近岸船舶目标图像进行特征提取， 得到近岸船舶目标的基本特征图；
[0123]
利用新增加层将近岸船舶目标的基本特征图传输到传输连接块生成最顶层 特征图；
[0124]
根据注意力特征筛选模块从最顶层特征图中获取目标的细粒度特征图，利 用锚框引导对齐检测模块对细粒度特征图进行检测，得到近岸船舶目标的类别 及位置信息。
[0125]
在其中一个实施例中，图像检测模块506还用于根据注意力特征筛选模块 从最顶层特征图中获取目标的细粒度特征图的过程包括：
[0126]
将最顶层特征图输入网络卷积层，利用sigmoid函数对最顶层特征图进行处 理，得到注意力特征图；
[0127]
对注意力特征图进行插值计算和上采样，得到注意力细化特征图；
[0128]
将近岸船舶目标的基本特征图与注意力细化特征图相乘，并与基本特征图 进行元素叠加，得到细化后特征图；
[0129]
对最顶层特征图进行两次上采样操作，得到采样特征图；
[0130]
将采样特征图与细化后特征图进行元素叠加并经过一个3
×
3卷积层以及 relu激活函数，得到近岸船舶目标的细粒度特征图。
[0131]
在其中一个实施例中，图像检测模块506还用于将采样特征图与细化后特 征图进行元素叠加并经过一个3
×
3卷积层以及relu激活函数，得到近岸船舶目 标的细粒度特征图，包括：
[0132]
将采样特征图与细化后特征图进行元素叠加并经过一个3
×
3卷积层以及 relu激活函数，得到近岸船舶目标的细粒度特征图为
[0133][0134]
其中，表示注意力细化特征图，表示采样 特征图，表示细化后特征图，f表示近岸船舶目标的基本特征图， p
i+1
表示最顶层特征图，σ和δ分别表示sigmoid激活函数和relu激活函数，up 和conv分别表示两次上采样及卷积操作，i表示细粒度特征图的序号。
[0135]
在其中一个实施例中，目标检测模块还包括可变形卷积层；图像检测模块 506还用于利用锚框引导对齐检测模块对细粒度特征图进行检测，得到近岸船舶 目标的类别及位置信息，包括：
[0136]
根据arm模块生成目标位置的参数化表示，利用参数化表示调整预定义锚 框的位置，得到精细化锚框；
[0137]
在精细锚框中随机生成的多个原始采样点，从细粒度特征图找到原始采样 点的对齐采样点，根据可变形卷积对原始采样点和相应的对齐采样点进行计算， 得到二维偏移量；
[0138]
将二维偏移量和细粒度特征图输入至可变形卷积层进行回归和特征提取， 得到近岸船舶目标的位置信息和类别。
[0139]
在其中一个实施例中，原始采样点为
[0140][0141]
其中，i,j∈{0,1,k-1}，k＝3对应卷积核大小为3
×
3的卷积操作。
[0142]
在其中一个实施例中，对齐采样点为
[0143][0144]
其中，(x1,y1,x2,y2)表示精细锚框的位置坐标，s表示原始采样点。
[0145]
在其中一个实施例中，根据原始采样点和相应的对齐采样点进行计算，得 到二维偏移量，包括：
[0146]
根据原始采样点和相应的对齐采样点进行计算，得到二维偏移量为
[0147][0148][0149]
在其中一个实施例中，整体损失函数为
[0150][0151]
其中，n
arm
表示arm损失，n
aadm
表示锚框引导对齐检测模块的损失， n指所有锚点框
中与标签真值的重叠度满足预定义阈值的正锚点框数量，i表示 锚框中的采样点序号，表示二元交叉熵损失和表示二元交叉熵损失，pi和 ci分别代表第i
th
个锚框包含目标及属于第c
th
类目标的概率，li表示第i
th
个锚 框的真值标签，在li≥1条件下输出为1，否则为0，xi和ti代表网络所预测 的参数化目标位置，代表参数化真值标签。
[0152]
关于一种基于锚框引导注意力细化网络的近岸船舶目标检测装置的具体限 定可以参见上文中对于一种基于锚框引导注意力细化网络的近岸船舶目标检测 方法的限定，在此不再赘述。上述一种基于锚框引导注意力细化网络的近岸船 舶目标检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。 上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以 软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模 块对应的操作。
[0153]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其 内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、 存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提 供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。 该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存 储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口 用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一 种基于锚框引导注意力细化网络的近岸船舶目标检测方法。该计算机设备的显 示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是 显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触 控板，还可以是外接的键盘、触控板或鼠标等。
[0154]
本领域技术人员可以理解，图6中示出的结构，仅仅是与本技术方案相关 的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定， 具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件， 或者具有不同的部件布置。
[0155]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储 器存储有计算机程序，该处理器执行计算机程序时实现上述实施例中方法的步 骤。
[0156]
在一个实施例中，提供了一种计算机存储介质，其上存储有计算机程序， 计算机程序被处理器执行时实现上述实施例中方法的步骤。
[0157]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程， 是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于 一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述 各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、 存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。 非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程 rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可 包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限， ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步 dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram (esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus) 直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器 总线动态ram
(rdram)等。
[0158]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述 实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特 征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0159]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细， 但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的 普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改 进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权 利要求为准。
技术特征：1.一种基于锚框引导注意力细化网络的近岸船舶目标检测方法，其特征在于，所述方法包括：获取监控视频中的近岸船舶目标数据集；构建基于锚框引导注意力细化网络的目标检测模型；所述目标检测模型主要包括注意力特征筛选模块和锚框引导对齐检测模块；对所述目标检测模型的整体损失函数进行构建；利用近岸船舶目标数据集对已构建整体损失函数的目标检测模型进行训练，得到训练完成的目标检测模型；根据所述训练完成的目标检测模型，将待检测的近岸船舶目标图像输入至目标检测模型中，输出得到近岸船舶目标的类别及位置信息。2.根据权利要求1所述的方法，其特征在于，所述目标检测模型还包括改进后的vgg-16网络、传输连接块和refinedet网络模型中的arm模块；所述改进后的vgg-16网络包括多个基础层和新增加层；所述arm模块位于基础层和新增加层之上。3.根据权利要求2所述的方法，其特征在于，根据所述训练完成的目标检测模型，将待检测的近岸船舶目标图像输入至目标检测模型中，输出得到近岸船舶目标的类别及位置信息，包括：根据改进后的vgg-16网络对待检测的近岸船舶目标图像进行特征提取，得到近岸船舶目标的基本特征图；利用新增加层将所述近岸船舶目标的基本特征图传输到所述传输连接块生成最顶层特征图；根据所述注意力特征筛选模块从所述最顶层特征图中获取目标的细粒度特征图，利用所述锚框引导对齐检测模块对所述细粒度特征图进行检测，得到近岸船舶目标的类别及位置信息。4.根据权利要求3所述的方法，其特征在于，根据所述注意力特征筛选模块从所述最顶层特征图中获取目标的细粒度特征图的过程包括：将所述最顶层特征图输入网络卷积层，利用sigmoid函数对所述最顶层特征图进行处理，得到注意力特征图；对所述注意力特征图进行插值计算和上采样，得到注意力细化特征图；将所述近岸船舶目标的基本特征图与注意力细化特征图相乘，并与所述基本特征图进行元素叠加，得到细化后特征图；对所述最顶层特征图进行两次上采样操作，得到采样特征图；将所述采样特征图与所述细化后特征图进行元素叠加并经过一个3
×
3卷积层以及relu激活函数，得到近岸船舶目标的细粒度特征图。5.根据权利要求4所述的方法，其特征在于，将所述采样特征图与所述细化后特征图进行元素叠加并经过一个3
×
3卷积层以及relu激活函数，得到近岸船舶目标的细粒度特征图，包括：将所述采样特征图与所述细化后特征图进行元素叠加并经过一个3
×
3卷积层以及relu激活函数，得到近岸船舶目标的细粒度特征图为
其中，表示注意力细化特征图，表示采样特征图，表示细化后特征图，f表示船舶目标的基本特征图，p
i+1
表示最顶层特征图，σ和δ分别表示sigmoid激活函数和relu激活函数，up和conv分别表示两次上采样及卷积操作，i表示细粒度特征图的序号。6.根据权利要求5所述的方法，其特征在于，所述目标检测模块还包括可变形卷积层；利用所述锚框引导对齐检测模块对所述细粒度特征图进行检测，得到近岸船舶目标的类别及位置信息，包括：根据arm模块生成目标位置的参数化表示，利用所述参数化表示调整预定义锚框的位置，得到精细化锚框；在精细锚框中随机生成的多个原始采样点，从所述细粒度特征图找到所述原始采样点的对齐采样点，根据可变形卷积对所述原始采样点和相应的对齐采样点进行计算，得到二维偏移量；将所述二维偏移量和细粒度特征图输入至可变形卷积层进行回归和特征提取，得到近岸船舶目标的位置信息和类别。7.根据权利要求6所述的方法，其特征在于，所述原始采样点为其中，i,j∈{0,1,k-1}，k＝3对应卷积核大小为3
×
3的卷积操作。8.根据权利要求7所述的方法，其特征在于，所述对齐采样点为其中，(x1,y1,x2,y2)表示精细锚框的位置坐标，s表示原始采样点。9.根据权利要求8所述的方法，其特征在于，根据所述原始采样点和相应的对齐采样点进行计算，得到二维偏移量，包括：根据所述原始采样点和相应的对齐采样点进行计算，得到二维偏移量为根据所述原始采样点和相应的对齐采样点进行计算，得到二维偏移量为10.根据权利要求1所述的方法，其特征在于，所述整体损失函数为其中，n
arm
表示arm损失，n
aadm
表示锚框引导对齐检测模块的损失，n指所有锚点框中与标签真值的重叠度满足预定义阈值的正锚点框数量，i表示锚框中的采样点序号，表示二
元交叉熵损失和表示二元交叉熵损失，p
i
和c
i
分别代表第i
th
个锚框包含目标及属于第c
th
类目标的概率，l
i
表示第i
th
个锚框的真值标签，在l
i
≥1条件下输出为1，否则为0，x
i
和t
i
代表网络所预测的参数化目标位置，代表参数化真值标签。
技术总结本申请涉及一种基于锚框引导注意力细化网络的近岸船舶目标检测方法。所述方法包括：获取监控视频中的近岸船舶目标数据集；构建基于锚框引导注意力细化网络的目标检测模型；目标检测模型主要包括注意力特征筛选模块和锚框引导对齐检测模块；对目标检测模型的整体损失函数进行构建；利用近岸船舶目标数据集对已构建整体损失函数的目标检测模型进行训练，得到训练完成的目标检测模型；根据训练完成的目标检测模型，将待检测的近岸船舶目标图像输入至目标检测模型中，输出得到近岸船舶目标的类别及位置信息。采用本方法能够提高对近岸船舶目标的检测准确率。目标的检测准确率。目标的检测准确率。
技术研发人员：张焱 刘荻 石志广 杨卫平 张景华 张宇 凌峰 师晓冉 张毅 沈奇
受保护的技术使用者：中国人民解放军国防科技大学
技术研发日：2022.07.25
技术公布日：2022/11/1
