基于注意力机制的卷积神经网络胸部x光片异物检测方法
技术领域
1.本发明属于图像处理技术领域，具体涉及一种基于注意力机制的卷积神经网络胸部x光片异物检测方法。
背景技术：2.医学图像处理在医学研究中发挥着重要作用，分析胸部x光片是诊断肺部和心脏疾病的常用临床方法，但在胸部x光片上偶尔会出现异物，异物可能会掩盖病理，从而增加错误诊断的概率。它们还可能使医生混淆真实的病理结果，例如，在胸部x光片上纽扣在视觉上类似于结节，从而增加假阳性判断。
3.进行胸部x光片上的异物检测有助于医生更加准确的诊断肺部和心脏疾病，但是对于神经网络来说，检测异物具有挑战性，因为在测试集里出现的特定类型的异物在训练集中可能很少或从未见过，并且胸部x光片的异物图像本身就很稀缺，因此会造成小样本/零样本学习问题。
技术实现要素：4.本发明针对上述问题，提供了一种基于注意力机制的卷积神经网络胸部x光片异物检测方法，可以提高图像的对比度，进行多尺度特征在通道维度上的融合。
5.本发明解决技术问题所采取的技术方案为：
6.具体步骤如下：
7.步骤1，进行数据预处理，用限制对比度自适应直方图均衡化(clahe)算法对原图进行预处理。
8.步骤2，构建基于通道注意力的bottom-up和top-down结构的卷积神经网络，其中包括bottom-up结构骨干网络和top-down特征金字塔结构。所述骨干网络进行特征提取生成多尺度特征图，所述top-down特征金字塔结构进行多尺度特征图融合。
9.注意力模块在通道维度上，对多尺度特征图的特征融合进行加强。所述注意力模块把top-down特征金字塔结构输出的特征图引入异物检测的头部。
10.进一步的，第一部分的bottom-up结构骨干网络是resnet50网络，对预处理后的图像进行5次下采样操作依次得到第一部分的五层特征图。第二部分的top-down特征金字塔结构和第一部分的骨干网络进行横向连接，首先第一部分第五层特征图经过卷积操作之后得到第二部分第五层特征图，第二部分第五层特征图在经过上采样操作之后，得到的特征图和第一部分第四层特征图经过卷积操作之后得到的特征图进行通道拼接操作，接着进行第一卷积块操作后得到第二部分第四层特征图；第二部分第四层特征图经过上采样操作之后得到的特征图，和第一部分第三层特征图经过卷积操作之后得到的特征图进行通道拼接操作，接着进行第一卷积块操作后得到第二部分第三层特征图；第二部分第六层特征图由第二部分第五层特征图经过卷积操作得到，第二部分第七层特征图由第二部分的第六层特征图经过卷积和relu函数操作得到。
11.所述注意力模块，把上述得到的第二部分第五层特征图上采样之后和第二部分第四层特征图先进行逐元素加法，之后依次经过二元自适应均值池化层、全连接层、relu函数、全连接层、sigmoid激活函数操作，得到各通道权重，各通道权重再分别与第二部分第五层特征图和第二部分第四层特征图进行通道级乘法得到新的特征图，最后再分别跟第二部分第五层特征图和第二部分第四层特征图跳跃连接进行逐元素相加，得到第三部分第五层特征图和第三部分第四层特征图第一分量；同时把第二部分第四层特征图上采样，之后和第二部分第三层特征图先经过逐元素加法，之后依次经过二元自适应均值池化层、全连接层、relu函数、全连接层、sigmoid激活函数操作，得到各通道权重，各通道权重再分别与第二部分第四层特征图和第二部分第三层特征图进行通道级乘法得到新的特征图，最后再分别跟第二部分第四层特征图和第二部分第三层特征图跳跃连接进行逐元素相加，第三部分第四层特征图第二分量和第三部分第三层特征图，第三部分第四层特征图第一分量和第三部分第四层特征图第二分量逐元素相加，得到第三部分完整的第四层特征图。
12.步骤3，将训练集数据输入到基于通道注意力的卷积神经网络进行训练，得到训练好的网络模型。
13.步骤4，将测试集数据输入到训练好的网络模型得到提取出的特征图，然后进行预测，回归得到x光片中的异物的坐标。
14.进一步的，所述top-down结构的特征金字塔中的第一卷积块包括：卷积、批量标准化和激活函数。
15.进一步的，所述异物检测的头部包括：
16.(1)异物分类分支，是第二部分的第六、第七层特征图和第三部分的第三层至第五层特征图先经过4个第二卷积块操作，再经过卷积操作得到的分类结果，其中第二卷积块包括卷积、组归一化、激活函数；
17.(2)异物坐标回归分支，是第二部分的第六、第七层特征图和第三部分的第三层至第五层特征图先经过4个第二卷积块操作，再经过卷积、激活函数函数操作，最终回归得到异物坐标。
18.本发明的有益效果：本发明在通道维度上提供一个通道注意力模块，能够更加有效的进行多尺度特征融合，充分利用每个通道的有效信息，准确对x光片异物进行分类，并定位出异物的位置。
附图说明
19.图1为本发明的医学图像胸部x光片异物检测流程图；
20.图2为本发明的基于通道注意力的卷积神经网络结构图；
21.图3为本发明的注意力模块结构图；
22.图4为本发明的异物检测结果示意图。
具体实施方式
23.以下结合附图和实施例对本发明作进一步说明。
24.本实施例选取浙江省人民医院提供的数据集来训练卷积神经网络模型以及评估其性能。数据集的训练集和测试集是随机两批不同数据，并且测试集中可能会出现新类别
的异物。数据集的训练图像有2663张有异物的图像，而测试图像有712张。为了减少参数量，需将数据集的所有图片重新剪裁为512*800。
25.如图1所示，一种基于注意力机制的卷积神经网络胸部x光片异物检测方法，包括如下步骤：
26.步骤1，进行数据预处理，用限制对比度自适应直方图均衡化(clahe)算法对原图进行预处理，增强图像的对比度。
27.步骤2，构建基于通道注意力的bottom-up和top-down结构的卷积神经网络，其中包括bottom-up结构的骨干网络和top-down特征金字塔结构。所述骨干网络进行特征提取生成多尺度特征图，所述特征金字塔进行多尺度特征图融合。
28.注意力模块在通道维度上，对多尺度特征图的特征融合进行加强，注意力模块把特征金字塔结构的特征图引入异物检测的头部。
29.如图2所示，第一部分的bottom-up结构骨干网络是resnet50网络，对预处理后的图像进行5次下采样操作得到第一部分的五层特征图，从下到上分别为第一层特征图c1、第二层特征图c2、第三层特征图c3、第四层特征图c4、第五层特征图c5，由于特征图c1,c2的语义信息级别太低，所以不参与之后的异物预测。
30.第二部分的top-down特征金字塔结构和第一部分骨干网络进行横向连接，首先第一部分第五层特征图c5经过1*1卷积之后得到第二部分第五层特征图p5，再经过上采样操作之后得到的特征图和第一部分第四层特征图c4经过1*1卷积，之后得到的特征图进行通道拼接操作，接着进行第一卷积块操作后得到第二部分第四层特征图p4；p4经过上采样操作之后得到的特征图和第一部分第三层特征图c3经过1*1卷积之后得到的特征图进行通道拼接操作，接着进行第一卷积块操作后，得到第二部分第三层特征图p3；第二部分第六层特征图p6是第五层特征图p5经过3x3卷积操作得到的特征图，第二部分第七层特征图p7是第六层特征图p6经过3x3卷积和relu函数操作得到的特征图。
31.如图3所示，所述注意力模块，是把第二部分第五层特征图p5上采样之后和第四层特征图p4先经过逐元素加法，之后依次经过二元自适应均值池化层、全连接层、relu函数、全连接层、sigmoid激活函数操作，得到各通道权重，通道权重再分别与第二部分第五层特征图p5和第四层特征图p4进行通道级乘法得到新的特征图，最后再分别跟第二部分第五层特征图p5、第四层特征图p4跳跃连接进行逐元素相加，得到第三部分第五层特征图m5和第三部分第四层特征图第一分量。
32.同时把第二部分第四层特征图p4上采样之后和第二部分第三层特征图p3先经过逐元素加法，之后依次经过二元自适应均值池化层、全连接层、relu函数、全连接层、sigmoid激活函数操作，得到各通道权重，各通道权重再分别与第二部分第四层特征图p4和第三层特征图p3进行通道级乘法得到新的特征图，最后再分别跟第二部分第四层特征图p4和第三层特征图p3跳跃连接进行逐元素相加得到第三部分的第四层特征图第二分量和第三部分第三层特征图m3；第三部分第四层特征图第一分量和第三部分第四层特征图第二分量逐元素相加，得到第三部分完整的第四层特征图m4。
33.步骤3，设置网络训练学习率是0.000001，优化器为adam优化器。将训练集数据输入到基于通道注意力的卷积神经网络进行训练，得到训练好的网络模型。
34.步骤4，将测试集数据输入到训练好的网络模型得到提取出的特征图，然后进行预
测，回归得到异物的坐标，如图4所示。
35.所述top-down结构的特征金字塔中的第一卷积块包括：3x3卷积、批量标准化和relu激活函数。
36.所述异物检测的头部包括:
37.(1)异物分类分支，是特征图m3、m4、m5、p6、p7经过4个第二卷积块操作后，再经过3x3卷积，得到分类结果；其中第二卷积块包括3x3卷积、组归一化、relu激活函数；
38.(2)异物坐标回归分支，是特征图m3、m4、m5、p6、p7经过4第二个卷积块操作后，再经过3x3卷积和relu激活函数操作，最终回归得到异物坐标。
39.在浙江省人民医院提供的测试集上评估平均精度均值map达到了0.75，而全卷积一阶段方法的map为0.71，提高了4％。map的计算如下：
[0040][0041][0042][0043][0044][0045]
公式(1)、(2)中tp真阳性表示预测正确且实际也是正例，fp假阳性表示预测错误，实际是负例，fn假阴性表示预测错误，实际是正例。map的计算方法是先用公式(1)、(2)计算出精准率precision、召回率recall，ap计算定义为经过插值的precision-recall曲线与x轴包围的面积，插值过程是对于给定的某个recall值r，如公式(3)所示p
interp
为下一个recall值r'，与当前r值之间最大的precision值。公式(4)中r1,r2,...,rn是按升序排列的precision插值段第一个插值处对应的recdll值。计算所有k个类别的ap，然后取平均值计算出map，如公式(5)所示。
技术特征：1.基于注意力机制的卷积神经网络胸部x光片异物检测方法，其特征在于包括以下步骤：步骤1，使用限制对比度自适应直方图均衡化算法对胸部x光片的原图进行预处理；步骤2，构建基于通道注意力的bottom-up和top-down结构的卷积神经网络，其中包括bottom-up结构的骨干网络和top-down特征金字塔结构；注意力模块在通道维度上，对多尺度特征图的特征融合进行加强；所述骨干网络进行特征提取生成多尺度特征图；所述top-down特征金字塔结构进行多尺度特征图融合；所述注意力模块把top-down特征金字塔结构输出的特征图引入异物检测的头部；步骤3，将训练集数据输入到基于通道注意力的卷积神经网络进行训练，得到训练好的网络模型；步骤4，将测试集数据输入到训练好的网络模型，得到提取出的特征图，然后进行预测，回归得到x光片中异物的坐标。2.根据权利要求1所述的基于注意力机制的卷积神经网络胸部x光片异物检测方法，其特征在于：步骤2中，第一部分的bottom-up结构骨干网络是resnet50网络，对预处理后的图像进行五次下采样操作依次得到第一部分的五层特征图；第二部分的top-down特征金字塔结构和第一部分的骨干网络进行横向连接，具体是：第一部分第五层特征图经过卷积操作之后得到第二部分第五层特征图；第二部分第五层特征图在经过上采样操作之后得到的特征图，和第一部分第四层特征图经过卷积操作之后得到的特征图进行通道拼接操作；接着进行第一卷积块操作，得到第二部分第四层特征图；第二部分第四层特征图经过上采样操作之后得到的特征图，和第一部分第三层特征图经过卷积操作之后得到的特征图进行通道拼接操作，接着进行第一卷积块操作后得到第二部分第三层特征图；第二部分第六层特征图由第二部分第五层特征图经过卷积操作得到；第二部分第七层特征图由第二部分第六层特征图经过卷积和激活函数操作得到；所述的注意力模块，将得到的第二部分第五层特征图上采样之后和第二部分第四层特征图先进行逐元素加法，之后依次经过二元自适应均值池化层、全连接层、relu函数、全连接层和sigmoid激活函数操作，得到各通道权重，各通道权重再分别与第二部分第五层和第二部分第四层特征图进行通道级乘法，得到新的特征图，最后再分别跟第二部分第五层特征图和第二部分第四层特征图跳跃连接进行逐元素相加，得到第三部分第五层特征图和第三部分第四层特征图第一分量；同时把第二部分第四层特征图上采样之后和第二部分第三层特征图先经过逐元素加法，之后依次经过二元自适应均值池化层、全连接层、relu函数、全连接层和sigmoid激活函数操作，得到各通道权重，各通道权重再分别与第二部分第四层和第二部分第三层特征图进行通道级乘法，得到新的特征图，最后再分别跟第二部分第四层特征图和第二部分第三层特征图跳跃连接进行逐元素相加，得到第三部分的第四层特征图第二分量和第三部分第三层特征图；第三部分第四层特征图第一分量和第三部分第四层特征图第二分量逐元素相加，得到
第三部分完整的第四层特征图。3.根据权利要求2所述的基于注意力机制的卷积神经网络胸部x光片异物检测方法，其特征在于：所述的第一卷积块包括卷积、批量标准化和激活函数。4.根据权利要求2所述的基于注意力机制的卷积神经网络胸部x光片异物检测方法，其特征在于：步骤2所述的异物检测的头部包括异物分类分支和异物坐标回归分支；所述的异物分类分支，是第二部分的第六层特征图、第二部分第七层特征图和第三部分第三层至第五层特征图先经过四个第二卷积块操作，再经过卷积操作，得到分类结果；所述的异物坐标回归分支，是第二部分的第六层特征图、第二部分第七层特征图和第三部分第三层至第五层特征图先经过四个第二卷积块操作，再经过卷积和激活函数操作，回归得到异物坐标。5.根据权利要求4所述的基于注意力机制的卷积神经网络胸部x光片异物检测方法，其特征在于：所述的第二卷积块包括卷积、组归一化和激活函数。
技术总结本发明公开了基于注意力机制的卷积神经网络胸部X光片异物检测方法。本发明首先使用限制对比度自适应直方图均衡化算法对原图进行预处理；其次构建基于通道注意力的卷积神经网络，其中骨干网络进行特征提取生成多尺度特征图，特征金字塔结构进行多尺度特征融合，注意力模块在通道维度上，对多尺度特征图的特征融合进行加强，并将特征金字塔结构输出的特征图引入异物检测的头部；然后通过训练集数据对基于通道注意力的神经网络进行训练，得到训练好的网络模型；最后将测试集数据输入到训练好的网络模型，回归得到异物的坐标。本发明在通道维度上进行多尺度特征融合，充分利用每个通道的有效信息，准确对异物进行分类，并定位出异物的位置。异物的位置。异物的位置。
技术研发人员：杨柏林 罗文蔚
受保护的技术使用者：浙江工商大学
技术研发日：2022.07.21
技术公布日：2022/11/1
