一种基于多尺度特征融合的X光危险物检测方法

一种基于多尺度特征融合的x光危险物检测方法
技术领域
1.本发明涉及x光检测技术领域，具体为一种基于多尺度特征融合的x光 危险物检测方法。


背景技术：

2.在公共交通场所中的x光安全检测场景中，传统方法通常使用分离前后 背景的方法对x光安检图片进行区域划分，分离出危险物目标后使用不同算 法处理检测请求。然而，由于实际x光安检图片具有的特殊成像原理和行李 物品的不确定性，检测任务一般较繁琐，对检测的整体算法的精确度和速度 要求更高，因此需要进一步对x光深度神经网络检测方法进行研究。现有x 光危险物检测方法通常面临着边缘信息难以提取、特征提取层次低、精度低 的问题。


技术实现要素：

3.(一)解决的技术问题
4.针对现有技术的不足，本发明提供了一种基于多尺度特征融合的x光危 险物检测方法，解决了现有x光危险物检测方法通常面临着边缘信息难以提 取、特征提取层次低、精度低的问题。
5.(二)技术方案
6.为实现以上目的，本发明通过以下技术方案予以实现：一种基于多尺度 特征融合的x光危险物检测方法，包括以下步骤：
7.步骤(1)、获取训练样本集和测试样本集；
8.步骤(2)、构建基于多尺度特征融合的卷积神经网络；
9.步骤(3)、对基于多尺度特征融合的卷积神经网络进行迭代训练；
10.步骤(4)、获取x光危险物品图像识别结果。
11.优选的，所述步骤1包括以下步骤：
12.步骤(1a)、获取n幅包含不同类别危险物品的x光图像m＝{mi|1≤i≤n}， 并对每幅x光图像mi中的危险物品类别及位置坐标进行标注，得到类别标签 集和位置坐标标签集其中，n》8000，mi表示第i幅x光图像，和分别表示mi所包含的危险物品的类别标签和位 置坐标标签，置坐标标签，表示第s类危险物品，s表示危险物品的类 别数，s≥2，别数，s≥2，和分别表示所围成的标记框中 心的横坐标、标记框中心的纵坐标、标记框的宽和标记框的高；
13.步骤(1b)、将随机选取m中半数以上的危险物品x光图像及其对应的类 别标签和位置坐标标签组成训练样本集m
train
＝{mj|1≤j≤n
train
}，n/2《n
train
≤n， 将其余危险物品x
光图像及其对应的类别标签和位置坐标标签组成测试样本 集m
test
＝{m
l
|1≤l≤n
test
}，其中，mj表示训练样本集中的第j张x光图像，m
l
表 示训练样本集中的第l张x光图像，n/2《n
train
≤n，n
test
＝n-n
train
。
14.优选的，所述步骤2包括以下步骤：
15.步骤(2a)、构建基于多尺度特征融合的卷积神经网络的结构；
16.步骤(2b)、定义基于unet的下采样卷积神经网络的损失函数loss：
[0017][0018]
其中，l
lc
表示类别和定位损失函数，l
lc
把x光图片划分成不同大小的网 格，根据候选框和标记框的中心点坐标、及宽高信息和网格数构建函数，m代 表候选框数量，m＝3，k代表网格数，表示在q,m处的候选框有目标，表示在q,m处的候选框没有目标，w表示候选框的宽度，h表示候选框的高度， x表示候选框中心的横坐标，y表示候选框中心的纵坐标，c表示候选框内存 在危险物品的置信度，表示候选框内实际是存在危险物品的，表示危险 物品是属于第c类的概率，λcoord为定位平衡参数，λnoobj为类别平衡参 数。
[0019]
优选的，所述步骤3包括以下步骤：
[0020]
步骤(3a)、初始化特征提取网络f
f-e
的权重参数为通道特征聚合网 络f
channel
的权重参数为空间特征融合网络f
spatial
的权重参数为输 出网络f
output
的权重参数为迭代次数为t，最大迭代次数为t≥50，并令t＝0；
[0021]
步骤(3b)、将训练样本集m
train
中的每个训练样本包括x光图像及其对应 的类别标签和位置坐标标签作为特征提取网络f
f-e
的输入，每幅图像mj在特征 提取网络中进行前向特征提取，得到图像mj的第一高级特征
[0022]
步骤(3c)、将图像mj的第一高级特征作为通道特征聚合网络f
channel
的 输入进行特征提取，在通道特征聚合网络f
channel
中进行特征融合，得到图像mj的 第二高级特征第三高级特征第四高级特征
[0023]
步骤(3d)、将图像mj的第二高级特征作为空间特征融合网络f
spatial
的 输入进
行前向特征提取，得到图像mj的注意力图
[0024]
步骤(3e)、将图像mj的注意力图与图像mj的第三高级特征第四 高级特征在组合模块中相融合，得到图像mj的第五高级特征
[0025]
步骤(3f)、将图像mj的第五高级特征作为输出网络f
output
的输入进行前 向特征提取，得到图像mj的所包含危险物品的预测位置坐标标签置信度信息和预测类别标签概率
[0026]
步骤(3g)、基于多尺度特征融合的卷积神经网络的损失函数loss＝l
ghm-c
通过计算类别和定位损失函 数l
lc
的函数值，再采用反向传播方法，通过loss计算f
f-e
、f
channle
、f
spatial
和f
output
的网络权重参数梯度，然后采用梯度下降算法通过f
f-e
、f
channle
、f
spatial
和f
output
的网络权重参数梯度对f
f-e
、f
channle
、f
spatial
和f
output
的网络权重参数θ
spatial
和θ
output
进行更新；
[0027]
步骤(3h)、判断t≥t是否成立，若是，得到训练好的基于多尺度特征融 合的卷积神经网络，否则，令t＝t+1，并执行步骤(3b)。
[0028]
优选的，所述步骤(4)包括以下步骤：
[0029]
步骤(4a)、将测试样本集m
test
中的每个训练样本包括x光图像及其对应 的类别标签和位置坐标标签作为训练好的基于多尺度特征融合的卷积神经网 络的输入进行前向传播，得到危险物品的预测位置坐标标签(x
l
,y
l
,w
l
,h
l
)，置信 度信息c
l
和类别标签概率p
l
(c)；
[0030]
步骤(4b)、将测试图像m
l
预测的置信度信息中大于0.5的结果所对 应的预测位置坐标标签(x
l
,y
l
,w
l
,h
l
)和类别标签概率p
l
(c)中最大值对应的危险 物品类别分别作为测试图像m
l
危险物品的位置预测结果和类别预测结果。
[0031]
优选的，所述特征提取网络f
f-e
整体结构依次为：输入层
→
第一卷积模块
ꢀ→
第一卷积层
→
第一残差模块
→
第二卷积层
→
第二残差模块
→
第三残差模块
ꢀ→
第三卷积层
→
第四残差模块
→
第五残差模块
→
第六残差模块
→
第七残差模 块
→
第八残差模块
→
第九残差模块
→
第十残差模块
→
第十一残差模块
→
第四 卷积层
→
第十二残差模块
→
第十三残差模块
→
第十四残差模块
→
第十五残差 模块
→
第十六残差模块
→
第十七残差模块
→
第十八残差模块
→
第十九残差模 块
→
第五卷积模块
→
第二十残差模块
→
第二十一残差模块
→
第二十二残差模 块
→
第二十三残差模块；
[0032]
所述通道特征聚合网络f
channel
整体结构依次为：第一上采样层
→
第一卷积 模块
→
第二上采样层
→
第一concat层
→
第一multiplica层
→
第二卷积模块
→
第三 卷积模块
→
第二concat层
→
第四卷积模块
→
第二上采样层
→
第五卷积模块
→ꢀ
第三上采样层
→
第六卷积模块
→
第七卷积模块
→
第二multiplica层
→
第八卷积 模块
→
第九卷积模块
→
第十卷积模块；
[0033]
所述空间特征融合网络f
spatial
为包含十个卷积模块、四个空洞卷积模块， 一个融
合模块、一个组合模块、一个concat拼接层的卷积神经网络，所述空间 特征融合网络f
spatial
分为五个支路，结构为：五支路结果
→
融合模块
→
concat拼 接层
→
组合模块；
[0034]
所述输出网络f
output
为包含两个卷积层，一个归一化层和一个激活函数层的 神经网络，所述输出网络f
output
结构依次为：第一卷积层
→
第二卷积层
→
第一归 一化层
→
第一激活函数层。
[0035]
优选的，所述特征提取网络f
f-e
中每个卷积模块包含一个卷积层，一个归 一化层和一个激活函数层，每个残差模块包含两个卷积模块和一个shortcut 拼接层；设置特征提取网络f
f-e
中每层的参数为，将第一、二、三、四、五卷 积模块中的卷积层的卷积核大小设置为3
×
3，卷积步长设置为2，填充值为1， 将第一、二、三、四、五、六、七、八、九、十、十一、十二、十三、十四、 十五、十六、十七、十八、十九、二十、二十一、二十二、二十三残差模块 中第一个卷积层的卷积核大小设置为1
×
1，卷积步长设置为1，填充值为0， 第二个卷积层卷积核大小设置为3
×
3，卷积步长设置为1，填充值为1；所有 归一化层都采用batchnorm2d函数实现；所有激活函数层都采用mish函数实 现；
[0036]
所述通道特征聚合网络f
channel
的每层参数均设置为：每个卷积模块包含一 个卷积层，一个归一化层和一个激活函数层，通道特征聚合网络f
channel
每个模 块中每层的参数为：第一、二、三、四、五、六、七、八、九、十卷积模块 中的卷积层的卷积核大小设置为1
×
1，卷积步长设置为1，填充值为0，归一 化层采用batchnorm2d函数实现，激活函数层用mish函数，其斜率均设置为 0.2；
[0037]
所述空间特征融合网络f
spatial
中第一支路结构依次为：第一卷积模块
→
第 二卷积模块
→
第一空洞卷积模块；第二支路结构依次为：第三卷积模块
→
第 四卷积模块
→
第五卷积模块
→
第二空洞卷积模块；第三支路结构依次为：第 六卷积模块
→
第七卷积模块
→
第八卷积模块
→
第三空洞卷积模块；第四支路 结构依次为：第九卷积模块
→
第十卷积模块
→
第四空洞卷积模块；第五支路 结构依次为：第十一卷积模块；第五支路结构依次为：第十二卷积模块。
[0038]
空间特征融合网络f
spatial
中每个卷积模块包含一个卷积层，一个归一化层 和一个激活函数层，每个卷积模块包含一个卷积层，一个归一化层和一个激 活函数层，融合模块包括一个concat拼接层和一个卷积层，组合模块包含一个 卷积层；
[0039]
所述空间特征融合网络f
spatial
设置参数为：将第一、二、三、四、五、六、 七、八、九、十、十一、十二卷积模块中的卷积层的卷积核大小设置为3
×
3， 卷积步长设置为2，填充值为1；将第一、二、三、四空洞卷积模块中第一个 卷积层的卷积核大小设置为3
×
3，卷积步长设置为1，填充值为0，第二、三 个卷积层卷积核大小设置为3
×
3，卷积步长设置为3，填充值为2；第三个卷 积层的卷积核大小设置为3
×
3，卷积步长设置为5，填充值为2；将融合模块 中卷积层卷积积核大小设置为1
×
1，卷积步长设置为1，填充值为0；组合模 块卷积核大小设置为3
×
3，卷积步长设置为2，填充值为1；所有归一化层都 采用batchnorm2d函数实现；所有激活函数层都采用mish函数实现；
[0040]
所述输出网络f
output
的每层参数设置为：将第一卷积层的卷积核大小设置为 3
×
3，卷积步长设置为2，填充值为1；将第二卷积层的卷积核大小设置为1
ꢀ×
1，卷积步长设置为1，填充值为0；第一归一化层采用batchnorm2d函数； 第一激活函数层第一激活函数采用leakyrelu函数。
[0041]
(三)有益效果
[0042]
本发明提供了一种基于多尺度特征融合的x光危险物检测方法。具备以 下有益效果：
[0043]
(1)、该基于多尺度特征融合的x光危险物检测方法，通过设计了通道 特征融合模块f
channle
，在通道层面获取全局信息，聚合具有不同注意度的特征 图来获得增强的特征，有利于边缘信息的提取。
[0044]
(2)、该基于多尺度特征融合的x光危险物检测方法，通过设计了空间 特征融合模块f
spatial
，在空间层面利用不同空间扫描上下文信息，聚合全局上 下文特征，然后利用上一步的不同通道之间的关系建立新的特征。最后，通 过一个融合模块将全局上下文特征合并为所有位置的特征。
(四)附图说明
[0045]
图1为基于多尺度特征融合的x光危险物检测方法对于危险目标数据重 叠遮挡情况下识别定位违禁物品的结果；
[0046]
图2为基于多尺度特征融合的x光危险物检测方法对于小目标危险物的 识别结果。
具体实施方式
[0047]
下面结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显 然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基 于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所 获得的所有其他实施例，都属于本发明保护的范围。
[0048]
参照说明书附图1，本发明提供一种技术方案：一种基于多尺度特征融合 的x光危险物检测方法，具体包括以下步骤：
[0049]
步骤(1)、获取训练样本集和测试样本集：
[0050]
步骤(1a)、获取n幅包含不同类别危险物品的x光图像m＝{mi|1≤i≤n}， 并对每幅x光图像mi中的危险物品类别及位置坐标进行标注，得到类别标签 集和位置坐标标签集其中，n》8000，mi表示第i幅x光图像，和分别表示mi所包含的危险物品的类别标签和位 置坐标标签，置坐标标签，表示第s类危险物品，s表示危险物品的类 别数，s≥2，s≥2，和分别表示所围成的标记框中 心的横坐标、标记框中心的纵坐标、标记框的宽和标记框的高；
[0051]
步骤(1b)、将随机选取m中半数以上的危险物品x光图像及其对应的类 别标签和位置坐标标签组成训练样本集m
train
＝{mj|1≤j≤n
train
}，n/2《n
train
≤n， 将其余危险物品x光图像及其对应的类别标签和位置坐标标签组成测试样本 集m
test
＝{m
l
|1≤l≤n
test
}，其中，mj表示训练样本集中的第j张x光图像，m
l
表 示训练样本集中的第l张x光图像，n/2《n
train
≤n，n
test
＝n-n
train
；
[0052]
步骤(2)、构建基于多尺度特征融合的卷积神经网络：
[0053]
步骤(2a)、构建基于多尺度特征融合的卷积神经网络的结构：
[0054]
构建包括顺次连接的特征提取网络f
f-e
、通道特征聚合网络f
channel
、空间特 征融合网络f
spatial
和输出网络f
output
，其中，特征提取网络f
f-e
包括输入层、多个 卷积模块和多个残差模块；通道特征聚合网络f
channel
包含多个上采样层、多个 卷积模块、多个multiplica层和多个concat拼接层；空间特征融合网络f
spatial
包括 多个卷积模块、一个对称卷积模块、一个融合模块、一个组合模块和一个concat 拼接层；输出网络f
output
包括两个卷积层，一个归一化层和一个激活函数层的 神经网络；
[0055]
特征提取网络f
f-e
，其结构依次为：输入层
→
第一卷积模块
→
第一卷积层
ꢀ→
第一残差模块
→
第二卷积层
→
第二残差模块
→
第三残差模块
→
第三卷积层
ꢀ→
第四残差模块
→
第五残差模块
→
第六残差模块
→
第七残差模块
→
第八残差 模块
→
第九残差模块
→
第十残差模块
→
第十一残差模块
→
第四卷积层
→
第十 二残差模块
→
第十三残差模块
→
第十四残差模块
→
第十五残差模块
→
第十六 残差模块
→
第十七残差模块
→
第十八残差模块
→
第十九残差模块
→
第五卷积 模块
→
第二十残差模块
→
第二十一残差模块
→
第二十二残差模块
→
第二十三 残差模块；
[0056]
特征提取网络f
f-e
中每个卷积模块包含一个卷积层，一个归一化层和一个 激活函数层，每个残差模块包含两个卷积模块和一个shortcut拼接层；
[0057]
设置特征提取网络f
f-e
中每层的参数为，将第一、二、三、四、五卷积模 块中的卷积层的卷积核大小设置为3
×
3，卷积步长设置为2，填充值为1；将 第一、二、三、四、五、六、七、八、九、十、十一、十二、十三、十四、 十五、十六、十七、十八、十九、二十、二十一、二十二、二十三残差模块 中第一个卷积层的卷积核大小设置为1
×
1，卷积步长设置为1，填充值为0， 第二个卷积层卷积核大小设置为3
×
3，卷积步长设置为1，填充值为1；所有 归一化层都采用batchnorm2d函数实现；所有激活函数层都采用mish函数实 现；
[0058]
通道特征聚合网络f
channel
，其整体结构依次为：第一上采样层
→
第一卷积 模块
→
第二上采样层
→
第一concat层
→
第一multiplica层
→
第二卷积模块
→
第三 卷积模块
→
第二concat层
→
第四卷积模块
→
第二上采样层
→
第五卷积模块
→ꢀ
第三上采样层
→
第六卷积模块
→
第七卷积模块
→
第二multiplica层
→
第八卷积 模块
→
第九卷积模块
→
第十卷积模块；
[0059]
通道特征聚合网络f
channel
的每层参数均设置为：其中每个卷积模块包含一 个卷积层，一个归一化层和一个激活函数层。
[0060]
通道特征聚合网络f
channel
每个模块中每层的参数为：第一、二、三、四、 五、六、七、八、九、十卷积模块中的卷积层的卷积核大小设置为1
×
1，卷 积步长设置为1，填充值为0，归一化层采用batchnorm2d函数实现，激活函 数层用mish函数，其斜率均设置为0.2；
[0061]
空间特征融合网络f
spatial
采用包含十个卷积模块、四个空洞卷积模块，一 个融合模块、一个组合模块、一个concat拼接层的卷积神经网络，其分为五个 支路，结构为：五支路结果
→
融合模块
→
concat拼接层
→
组合模块；
[0062]
其中第一支路结构依次为：第一卷积模块
→
第二卷积模块
→
第一空洞卷 积模块；第二支路结构依次为：第三卷积模块
→
第四卷积模块
→
第五卷积模 块
→
第二空洞卷积模块；第三支路结构依次为：第六卷积模块
→
第七卷积模 块
→
第八卷积模块
→
第三空洞卷积
模块；第四支路结构依次为：第九卷积模 块
→
第十卷积模块
→
第四空洞卷积模块；第五支路结构依次为：第十一卷积 模块；第五支路结构依次为：第十二卷积模块；
[0063]
空间特征融合网络f
spatial
中每个卷积模块包含一个卷积层，一个归一化层 和一个激活函数层，每个卷积模块包含一个卷积层，一个归一化层和一个激 活函数层，融合模块包括一个concat拼接层和一个卷积层，组合模块包含一个 卷积层；
[0064]
空间特征融合网络f
spatial
设置参数为：将第一、二、三、四、五、六、七、 八、九、十、十一、十二卷积模块中的卷积层的卷积核大小设置为3
×
3，卷 积步长设置为2，填充值为1；将第一、二、三、四空洞卷积模块中第一个卷 积层的卷积核大小设置为3
×
3，卷积步长设置为1，填充值为0，第二、三个 卷积层卷积核大小设置为3
×
3，卷积步长设置为3，填充值为2；第三个卷积 层的卷积核大小设置为3
×
3，卷积步长设置为5，填充值为2；将融合模块中 卷积层卷积积核大小设置为1
×
1，卷积步长设置为1，填充值为0；组合模块 卷积核大小设置为3
×
3，卷积步长设置为2，填充值为1；所有归一化层都采 用batchnorm2d函数实现；所有激活函数层都采用mish函数实现；
[0065]
输出网络f
output
采用包含两个卷积层，一个归一化层和一个激活函数层的神 经网络，其结构依次为：第一卷积层
→
第二卷积层
→
第一归一化层
→
第一激 活函数层；
[0066]
输出网络f
output
的每层参数设置为：将第一卷积层的卷积核大小设置为3
×ꢀ
3，卷积步长设置为2，填充值为1；将第二卷积层的卷积核大小设置为1
×
1， 卷积步长设置为1，填充值为0；第一归一化层采用batchnorm2d函数；第一 激活函数层第一激活函数采用leakyrelu函数。
[0067]
步骤(2b)、定义基于unet的下采样卷积神经网络的损失函数loss：
[0068][0069]
其中，l
lc
表示类别和定位损失函数，l
lc
把x光图片划分成不同大小的网 格，根据候选框和标记框的中心点坐标、及宽高信息和网格数构建函数，m代 表候选框数量，m＝3，k代表网格数，表示在q,m处的候选框有目标，表示在q,m处的候选框没有目标，w表示候选框的宽度，h表示候选框的高度， x表示候选框中心的横坐标，y表示候选框中心的纵坐标，c表示候选框内存 在危险物品的置信度，表示候选框内实际是存在危险物品的，表示危险 物品是属于第c类的概率，λcoord为定位平衡参数，λnoobj为类别平衡参 数；
[0070]
步骤(3)、对基于多尺度特征融合的卷积神经网络进行迭代训练：
[0071]
步骤(3a)、初始化特征提取网络f
f-e
的权重参数为通道特征聚合网 络f
channel
的权重参数为空间特征融合网络f
spatial
的权重参数为输 出网络f
output
的权重参数为迭代次数为t，最大迭代次数为t≥50，并令t＝0；
[0072]
步骤(3b)、将训练样本集m
train
中的每个训练样本包括x光图像及其对应 的类别标签和位置坐标标签作为特征提取网络f
f-e
的输入，每幅图像mj在特征 提取网络中进行前向特征提取，得到图像mj的第一高级特征
[0073]
步骤(3c)、将图像mj的第一高级特征作为通道特征聚合网络f
channel
的 输入进行特征提取，在通道特征聚合网络f
channel
中进行特征融合，得到图像mj的 第二高级特征第三高级特征第四高级特征
[0074]
步骤(3d)、将图像mj的第二高级特征作为空间特征融合网络f
spatial
的 输入进行前向特征提取，得到图像mj的注意力图
[0075]
步骤(3e)、将图像mj的注意力图与图像mj的第三高级特征第四 高级特征在组合模块中相融合，得到图像mj的第五高级特征
[0076]
步骤(3f)、将图像mj的第五高级特征作为输出网络f
output
的输入进行前 向特征提取，得到图像mj的所包含危险物品的预测位置坐标标签置信度信息和预测类别标签概率
[0077]
步骤(3g)、基于多尺度特征融合的卷积神经网络的损失函数loss＝l
ghm-c
通过计算类别和定位损失函 数l
lc
的函数值，再采用反向传播方法，通过loss计算f
f-e
、f
channle
、f
spatial
和f
output
的网络权重参数梯度，然后采用梯度下降算法通过f
f-e
、f
channle
、f
spatial
和f
output
的网络权重参数梯度对f
f-e
、f
channle
、f
spatial
和f
output
的网络权重参数θ
spatial
和θ
output
进行更新；
[0078]
步骤(3h)、判断t≥t是否成立，若是，得到训练好的基于多尺度特征融 合的卷积神经网络，否则，令t＝t+1，并执行步骤(3b)；
[0079]
步骤(4)、获取x光危险物品图像识别结果：
[0080]
步骤(4a)、将测试样本集m
test
中的每个训练样本包括x光图像及其对应 的类别标签和位置坐标标签作为训练好的基于多尺度特征融合的卷积神经网 络的输入进行前向传播，得到危险物品的预测位置坐标标签(x
l
,y
l
,w
l
,h
l
)，置信 度信息c
l
和类别标签概率p
l
(c)；
[0081]
步骤(4b)、将测试图像m
l
预测的置信度信息中大于0.5的结果所对 应的预测位置坐标标签(x
l
,y
l
,w
l
,h
l
)和类别标签概率p
l
(c)中最大值对应的危险 物品类别分别作为
测试图像m
l
危险物品的位置预测结果和类别预测结果。
[0082]
本发明仿真实验中生成训练集和测试集时，使用了公开的标准数据集occludedprohibiteditemsx-ray(opixray)，该数据集包含五个分类，折叠刀，直刀，剪刀，美工刀，多功能刀，共8885张x光图像，本发明仿真实验中使用opixray中7109张图片作为训练集，1176张图片作为测试集。
[0083]
本发明仿真实验是采用本发明和现有技术分别对测试集中的1176张图片中的违禁物品进行检测。
[0084]
在仿真实验中，采用的现有技术是指：
[0085]
y.wei等人在“occludedprohibiteditemsdetection:anx-raysecurityinspectionbenchmarkandde-occlusionattentionmodule.(proceedingsofthe28thacminternationalconferenceonmultimedia.2020)”中提出的基于去遮挡注意力模块的x光违禁物品检测方法
[0086]
为了对本发明仿真结果的效果进行评估，本发明采用ap作为性能评价指标与现有技术进行对比，ap的定义为精度precision和召回率recall所成曲线下的面积，精度precision定义为tp/(tp+fp)，召回率recall定义为tp/(tp+fn)，其中tp，fp，tn和fn分别代表真正类，假正类，真反类，和假反类，map定义为ap的平均值，对比结果如表1所示：
[0087]
表1仿真实验中本发明和现有技术ap的对比表
[0088][0089]
从表1中可以看出本发明在opixray数据集上map为86.65％，高于两种现有技术方法，在折叠刀，直刀，剪刀，美工刀，多功能刀五个类别上的ap分别为91.93％，91.93％，91.93％，91.93％，91.93％，在折叠刀，直刀，剪刀，美工刀，多功能刀五个类别上均高于现有技术方法，由附图1所示，本发明能在危险目标数据重叠遮挡情况下准确识别定位违禁物品的位置和种类，证明本发明对遮挡严重场景下的x光图像能够达到很好的检测效果。由附图2所示，本发明能够精确的识别小目标危险物的种类和位置，证明本方法可以有效提高检测安检x光图像中的小目标危险物的精度。
[0090]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下。由语句“包括一个
……
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素”。
[0091]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以
理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行 多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限 定。

技术特征：
1.一种基于多尺度特征融合的x光危险物检测方法，其特征在于：包括以下步骤：步骤(1)、获取训练样本集和测试样本集；步骤(2)、构建基于多尺度特征融合的卷积神经网络；步骤(3)、对基于多尺度特征融合的卷积神经网络进行迭代训练；步骤(4)、获取x光危险物品图像识别结果。2.根据权利要求1所述的一种基于多尺度特征融合的x光危险物检测方法，其特征在于，所述步骤1包括以下步骤：步骤(1a)、获取n幅包含不同类别危险物品的x光图像m＝{m
i
|1≤i≤n}，并对每幅x光图像m
i
中的危险物品类别及位置坐标进行标注，得到类别标签集和位置坐标标签集其中，n＞8000，m
i
表示第i幅x光图像，和分别表示m
i
所包含的危险物品的类别标签和位置坐标标签，所包含的危险物品的类别标签和位置坐标标签，表示第s类危险物品，s表示危险物品的类别数，s≥2，s≥2，和分别表示所围成的标记框中心的横坐标、标记框中心的纵坐标、标记框的宽和标记框的高；步骤(1b)、将随机选取m中半数以上的危险物品x光图像及其对应的类别标签和位置坐标标签组成训练样本集m
train
＝{m
j
|1≤j≤n
train
}，n/2＜n
train
≤n，将其余危险物品x光图像及其对应的类别标签和位置坐标标签组成测试样本集m
test
＝{m
l
|1≤l≤n
test
}，其中，m
j
表示训练样本集中的第j张x光图像，m
l
表示训练样本集中的第l张x光图像，n/2＜n
train
≤n，n
test
＝n-n
train
。3.根据权利要求2所述的一种基于多尺度特征融合的x光危险物检测方法，其特征在于，所述步骤2包括以下步骤：步骤(2a)、构建基于多尺度特征融合的卷积神经网络的结构；步骤(2b)、定义基于unet的下采样卷积神经网络的损失函数loss：其中，l
lc
表示类别和定位损失函数，l
lc
把x光图片划分成不同大小的网格，根据候选框和标记框的中心点坐标、及宽高信息和网格数构建函数，m代表候选框数量，m＝3，k代表网格数，表示在q,m处的候选框有目标，表示在q,m处的候选框没有目标，w表示候选框的宽度，h表示候选框的高度，x表示候选框中心的横坐标，y表示候选框中心的纵坐标，c
表示候选框内存在危险物品的置信度，表示候选框内实际是存在危险物品的，表示危险物品是属于第c类的概率，λcoord为定位平衡参数，λnoobj为类别平衡参数。4.根据权利要求3所述的一种基于多尺度特征融合的x光危险物检测方法，其特征在于：所述步骤(2a)中构建包括顺次连接的特征提取网络f
f-e
、通道特征聚合网络f
channel
、空间特征融合网络f
spatial
和输出网络f
output
，所述特征提取网络f
f-e
包括输入层、多个卷积模块和多个残差模块；所述通道特征聚合网络f
channel
包含多个上采样层、多个卷积模块、多个multiplica层和多个concat拼接层；所述空间特征融合网络f
spatial
包括多个卷积模块、一个对称卷积模块、一个融合模块、一个组合模块和一个concat拼接层；所述输出网络f
output
包括两个卷积层，一个归一化层和一个激活函数层的神经网络。5.根据权利要求4所述的一种基于多尺度特征融合的x光危险物检测方法，其特征在于，所述步骤3包括以下步骤：步骤(3a)、初始化特征提取网络f
f-e
的权重参数为通道特征聚合网络f
channel
的权重参数为空间特征融合网络f
spatial
的权重参数为输出网络f
output
的权重参数为迭代次数为t，最大迭代次数为t≥50，并令t＝0；步骤(3b)、将训练样本集m
train
中的每个训练样本包括x光图像及其对应的类别标签和位置坐标标签作为特征提取网络f
f-e
的输入，每幅图像m
j
在特征提取网络中进行前向特征提取，得到图像m
j
的第一高级特征步骤(3c)、将图像m
j
的第一高级特征作为通道特征聚合网络f
channel
的输入进行特征提取，在通道特征聚合网络f
channel
中进行特征融合，得到图像m
j
的第二高级特征第三高级特征第四高级特征步骤(3d)、将图像m
j
的第二高级特征作为空间特征融合网络f
spatial
的输入进行前向特征提取，得到图像m
j
的注意力图步骤(3e)、将图像m
j
的注意力图与图像m
j
的第三高级特征第四高级特征在组合模块中相融合，得到图像m
j
的第五高级特征步骤(3f)、将图像m
j
的第五高级特征作为输出网络f
output
的输入进行前向特征提取，得到图像m
j
的所包含危险物品的预测位置坐标标签置信度信息和预测类别标签概率步骤(3g)、基于多尺度特征融合的卷积神经网络的损失函数loss＝l
ghm-c
通过计算类别和定位损失函数l
lc
的函数值，再采用反向传播方法，通过loss计算f
f-e
、f
channle
、f
spatial
和f
output
的网络权重参数梯度，然后采用梯度下降算法通过f
f-e
、f
channle
、f
spatial
和f
output
的网络权重参数梯度对f
f-e
、
f
channle
、f
spatial
和f
output
的网络权重参数θ
spatial
和θ
output
进行更新；步骤(3h)、判断t≥t是否成立，若是，得到训练好的基于多尺度特征融合的卷积神经网络，否则，令t＝t+1，并执行步骤(3b)。6.根据权利要求5所述的一种基于多尺度特征融合的x光危险物检测方法，其特征在于，所述步骤(4)包括以下步骤：步骤(4a)、将测试样本集m
test
中的每个训练样本包括x光图像及其对应的类别标签和位置坐标标签作为训练好的基于多尺度特征融合的卷积神经网络的输入进行前向传播，得到危险物品的预测位置坐标标签(x
l
,y
l
,w
l
,h
l
)，置信度信息c
l
和类别标签概率p
l
(c)；步骤(4b)、将测试图像m
l
预测的置信度信息c
testi
中大于0.5的结果所对应的预测位置坐标标签(x
l
,y
l
,w
l
,h
l
)和类别标签概率p
l
(c)中最大值对应的危险物品类别分别作为测试图像m
l
危险物品的位置预测结果和类别预测结果。7.根据权利要求4-6其中任意一项所述的一种基于多尺度特征融合的x光危险物检测方法，其特征在于，所述特征提取网络f
f-e
整体结构依次为：输入层
→
第一卷积模块
→
第一卷积层
→
第一残差模块
→
第二卷积层
→
第二残差模块
→
第三残差模块
→
第三卷积层
→
第四残差模块
→
第五残差模块
→
第六残差模块
→
第七残差模块
→
第八残差模块
→
第九残差模块
→
第十残差模块
→
第十一残差模块
→
第四卷积层
→
第十二残差模块
→
第十三残差模块
→
第十四残差模块
→
第十五残差模块
→
第十六残差模块
→
第十七残差模块
→
第十八残差模块
→
第十九残差模块
→
第五卷积模块
→
第二十残差模块
→
第二十一残差模块
→
第二十二残差模块
→
第二十三残差模块；所述通道特征聚合网络f
channel
整体结构依次为：第一上采样层
→
第一卷积模块
→
第二上采样层
→
第一concat层
→
第一multiplica层
→
第二卷积模块
→
第三卷积模块
→
第二concat层
→
第四卷积模块
→
第二上采样层
→
第五卷积模块
→
第三上采样层
→
第六卷积模块
→
第七卷积模块
→
第二multiplica层
→
第八卷积模块
→
第九卷积模块
→
第十卷积模块；所述空间特征融合网络f
spatial
为包含十个卷积模块、四个空洞卷积模块，一个融合模块、一个组合模块、一个concat拼接层的卷积神经网络，所述空间特征融合网络f
spatial
分为五个支路，结构为：五支路结果
→
融合模块
→
concat拼接层
→
组合模块；所述输出网络f
output
为包含两个卷积层，一个归一化层和一个激活函数层的神经网络，所述输出网络f
output
结构依次为：第一卷积层
→
第二卷积层
→
第一归一化层
→
第一激活函数层。8.根据权利要求7所述的一种基于多尺度特征融合的x光危险物检测方法，其特征在于，所述特征提取网络f
f-e
中每个卷积模块包含一个卷积层，一个归一化层和一个激活函数层，每个残差模块包含两个卷积模块和一个shortcut拼接层；设置特征提取网络f
f-e
中每层的参数为，将第一、二、三、四、五卷积模块中的卷积层的卷积核大小设置为3
×
3，卷积步长设置为2，填充值为1，将第一、二、三、四、五、六、七、八、九、十、十一、十二、十三、十四、十五、十六、十七、十八、十九、二十、二十一、二十二、二十三残差模块中第一个卷积层的卷积核大小设置为1
×
1，卷积步长设置为1，填充值为0，第二个卷积层卷积核大小设置为3
×
3，卷积步长设置为1，填充值为1；所有归一化层都采用batchnorm2d函数实现；所有激活函数层都采用mish函数实现；
所述通道特征聚合网络f
channel
的每层参数均设置为：每个卷积模块包含一个卷积层，一个归一化层和一个激活函数层，通道特征聚合网络f
channel
每个模块中每层的参数为：第一、二、三、四、五、六、七、八、九、十卷积模块中的卷积层的卷积核大小设置为1
×
1，卷积步长设置为1，填充值为0，归一化层采用batchnorm2d函数实现，激活函数层用mish函数，其斜率均设置为0.2；所述空间特征融合网络f
spatial
中第一支路结构依次为：第一卷积模块
→
第二卷积模块
→
第一空洞卷积模块；第二支路结构依次为：第三卷积模块
→
第四卷积模块
→
第五卷积模块
→
第二空洞卷积模块；第三支路结构依次为：第六卷积模块
→
第七卷积模块
→
第八卷积模块
→
第三空洞卷积模块；第四支路结构依次为：第九卷积模块
→
第十卷积模块
→
第四空洞卷积模块；第五支路结构依次为：第十一卷积模块；第五支路结构依次为：第十二卷积模块。空间特征融合网络f
spatial
中每个卷积模块包含一个卷积层，一个归一化层和一个激活函数层，每个卷积模块包含一个卷积层，一个归一化层和一个激活函数层，融合模块包括一个concat拼接层和一个卷积层，组合模块包含一个卷积层；所述空间特征融合网络f
spatial
设置参数为：将第一、二、三、四、五、六、七、八、九、十、十一、十二卷积模块中的卷积层的卷积核大小设置为3
×
3，卷积步长设置为2，填充值为1；将第一、二、三、四空洞卷积模块中第一个卷积层的卷积核大小设置为3
×
3，卷积步长设置为1，填充值为0，第二、三个卷积层卷积核大小设置为3
×
3，卷积步长设置为3，填充值为2；第三个卷积层的卷积核大小设置为3
×
3，卷积步长设置为5，填充值为2；将融合模块中卷积层卷积积核大小设置为1
×
1，卷积步长设置为1，填充值为0；组合模块卷积核大小设置为3
×
3，卷积步长设置为2，填充值为1；所有归一化层都采用batchnorm2d函数实现；所有激活函数层都采用mish函数实现；所述输出网络f
output
的每层参数设置为：将第一卷积层的卷积核大小设置为3
×
3，卷积步长设置为2，填充值为1；将第二卷积层的卷积核大小设置为1
×
1，卷积步长设置为1，填充值为0；第一归一化层采用batchnorm2d函数；第一激活函数层第一激活函数采用leakyrelu函数。

技术总结
本发明公开了一种基于多尺度特征融合的X光危险物检测方法，包括以下步骤：步骤(1)、获取训练样本集和测试样本集；步骤(2)、构建基于多尺度特征融合的卷积神经网络；步骤(3)、对基于多尺度特征融合的卷积神经网络进行迭代训练；步骤(4)、获取X光危险物品图像识别结果。本发明涉及X光检测技术领域。该基于多尺度特征融合的X光危险物检测方法，通过采用通道特征融合模块f


技术研发人员：刘静 马玉婷
受保护的技术使用者：西安电子科技大学广州研究院
技术研发日：2022.05.07
技术公布日：2022/11/1