一种基于cbam机制的残差网络的医学影像辅助检测方法
技术领域
1.本发明涉及医学影像检测技术领域，具体是涉及一种基于cbam机制的残 差网络的医学影像辅助检测方法。
背景技术：2.控制疫情的关键是早发现、早隔离、早治疗,如何辅助医生快速的鉴别新冠 肺炎患者至关重要。目前主要的检测方式有核酸检测，抗原检测，抗体检测等。 其中通过医学影像图片进行检测有着便捷，灵敏度高，可重复等优点。使用胸部 医学影像检测新冠主要有胸部x射线和电子计算机断层扫描图像两种主要技术， 为医生诊断提供了重要依据。肺部x光与断层ct扫描图像在病变的早期筛查、 诊断等方面发挥了重要的作用，但由于患者较多、病变演变快，其后续检查所致 的大量图像对影像医师的诊断工作形成了严峻的考验。尤其在疫情严重的地区， 如何快速对大量covid-19疑似患者进行筛查、确诊等给影像医师带来了巨大挑 战。近年来，大量的研究设计了医学影像的自动识别与辅助诊断。医学影像的识 别成为了深度学习从计算机领域向医学领域延伸的热点和切入点。利用深度学习 进行医疗影像的识别与检测，不仅从很大程度上能够缓解医疗资源的紧张，同时 还可以避免人为因素导致的误差、漏诊现象。尤其在疾病爆发阶段，在面对大量 医学影像时，利用计算机辅助医生进行医学图像的诊断，能大幅提高诊断效率, 减少医疗工作者及社会人员感染的风险。因此，引入人工智能对医学影像进行辅 助检测有着便捷患者治疗，缓解医疗资源压力，提高检测精度等作用。
3.综上所述，使用x光肺片检测新冠方法已有相关研究报道。但是在医疗诊 断环境中，数据量巨大以及新冠肺炎极强的传播性对识别速度以及识别准确率提 出了更严苛的要求。对于大规模医用肺片检测系统来说还缺乏更为高效、更为精 准的图像分类以及可视化方法。
技术实现要素：4.为了实现以上目的，解决医学影像诊断效率低等问题，本发明提供了一种基 于cbam机制的残差网络的医学影像辅助检测方法。
5.本发明提供一种基于cbam机制的残差网络的医学影像辅助检测方法，包 括以下步骤：
6.s1、获取医学影像并对所述医学影像进行裁剪以及归一化处理；
7.s2、对归一化处理后的医学影像进行数据变换；
8.s3、基于卷积自编码并结合空间与通道注意力机制的特征提取方法以及 hs-block模块建立网络模型；
9.s4、将进行数据变换后的医学影像输入所述网络模型进行预测并对病灶预测 区域可视化。
10.优选的，所述医学影像为肺部cxr医学影像。
11.优选的，所述步骤s1具体包括以下步骤：
12.s11、将所述医学影像进行直接缩放调整图像尺寸为网络模型输入所需的尺 寸(224px,224px)；
13.s12、利用方法：gray＝b*0.114+g*0.387+r*0.299，对图像进行通 道缩减将其转换为灰度图像；减少模型训练时的参数，其中b代表三通道图像中 的蓝色分量，g代表绿色分量，r代表红色分量；
14.s13、将所述灰度图像转化为(b,c,h,w)的张量形式，其中b为批量大小，c 为图像通道数，h和w为图像宽高；
15.s14、使用normalize函数对图像进行归一化处理，让模型更容易收敛。
16.优选的，所述步骤s2具体包括以下步骤：
17.s21、通过图片的中心旋转进行数据增强，增加训练数据的数量；
18.s22、采用高斯滤波去除图像中的高斯噪声其数据用于后续训练的输入。
19.优选的，所述步骤s3具体包括以下步骤：
20.s31、在resnet网络结构的基础上构建res2net残差网络结构；其中resnet网 络结构包括34个卷积层，两个池化层，一个全连接层，使用不同通道上的残差 组替换掉原有的3*3卷积；
21.s32、结合通道注意力机制与空间注意力机制构建cbam注意力机制并将构 建好的cbam注意力机制插入到所述res2net残差网络结构中；
22.s33、构建hs-block多级分离模块并将其添加在整个网络的头部，在不增加 计算复杂度的情况下让网络学习到更强的特征信息。
23.优选的，所述通道注意力机制对应的过程描述为：
24.基于网络特征图的宽、高分别进行全局平均池化(avgpool)、全局最大池化 (maxpool)，并分别通过多层感知器(mlp)得到通道注意力权重，对得到的权 重逐元素的加和操作，最后通过sigmoid函数对权重进行归一化处理并用乘法逐 通道加权到原始的特征图上，其公式为：
[0025][0026]
其中f为输入权重特征图、w0、w1表示全连接层、σ表示sigmoid方法，通 道注意力机制的运算结果将作于空间注意力机制的输入。
[0027]
优选的，所述空间注意力机制对应的过程描述为：
[0028]
基于所述通道注意力机制作为输入，基于通道进行其特征图的全局最大池化 (maxpool)和全局平均池化(avgpool)，然后经过卷积操作降维至1维，再经 过sigmoid函数生成注意力特征，其公式为：
[0029][0030]
其中f为输入权重特征图，σ表示sigmoid方法。
[0031]
优选的，所述将构建好的cbam注意力机制插入到所述res2net残差网络结构 中具
体为：
[0032]
将构建好的cbam注意力机制插入到resnet每一个残差块的最后一层当中。
[0033]
优选的，所述构件hs-block多级分离模块具体为：
[0034]
将特征图按照通道进行分组，在不同组之间进行交叉组合与卷积，能够更加 容易提取到抽象的信息。
[0035]
优选的，所述步骤s4具体为：
[0036]
基于grad-cam++算法提取模型的特征并绘制热力图并将其以0.3的透明度 覆盖在原图。
[0037]
优选的，所述grad-cam++算法具体为：
[0038]
在特征图中某一类得分是权重和特征图的点积而来，其公式为： 其对应的热力图公式为：其权重的计算 中使用了梯度与relu激活函数进行改进其公式为:
[0039]
与现有技术相比，本发明的有益效果是：
[0040]
本发明提供的一种基于cbam机制的残差网络新冠肺片辅助检测方法，实现 了高精度的新冠肺炎x光辅助诊断算法，优化了传统人工筛查病例的解决方案， 并结合了注意力机制于hs-block模块提高了推理精度，满足了医疗诊断中对大量 图像进行识别的需求。
附图说明
[0041]
图1为本发明一种基于cbam机制的残差网络的医学影像辅助检测方法的 流程示意图；
[0042]
图2本发明图像变换后的效果图；
[0043]
图3为本发明网络模型的整体框架；
[0044]
图4为本发明中注意力机制的框架图；
[0045]
图5为本发明所使用到的hs-block的框架图；
[0046]
图6为本发明实例训练过程中acc与loss的变化图；
[0047]
图7为本发明实例测试效果图包含roc曲线，pr曲线，混淆矩阵。
[0048]
图8为本发明具体实施效果图。
具体实施方式
[0049]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部 的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动 的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0050]
本发明使用的数据来自kaggle，rsna，github三个开源网站的八个数据集， 如下表所示：
[0051]
表1
[0052][0053]
本发明提出一种基于cbam机制的残差网络的医学影像辅助检测方法，如 图1所示，包括以下步骤：
[0054]
s1、获取医学影像并对所述医学影像进行裁剪以及归一化处理；所述的医学 影像为肺部cxr医学影像；
[0055]
s2、对归一化处理后的医学影像进行数据变换；其效果图如图2所示；
[0056]
s3、基于卷积自编码并结合空间与通道注意力机制的特征提取方法以及 hs-block模块建立网络模型；网络模型框架如图3所示；
[0057]
s4、将进行数据变换后的医学影像输入所述网络模型进行预测并对病灶预测 区域可视化。
[0058]
本发明利用计算机设备来执行上述步骤，所述计算机设备包括存储器和处理 器，所述存储器存储有计算机程序，所述处理器执行计算器程序时实现基于 cbam机制的残差网络的医学影像辅助检测方法的步骤。
[0059]
下面对每一步骤进行详细的说明介绍。
[0060]
具体的，步骤s1具体包括以下步骤：
[0061]
s11、将所述医学影像进行直接缩放调整图像尺寸为网络模型输入所需的尺 寸(224px,224px)；
[0062]
s12、利用方法：gray＝b*0.114+g*0.387+r*0.299，对图像进行通道缩 减将其转换为灰度图像；减少模型训练时的参数，其中b代表三通道图像中的蓝 色分量，g代表绿色分量，r代表红色分量；
[0063]
s13、将所述灰度图像转化为(b,c,h,w)的张量形式，其中b为批量大小，c 为图像通道数，h和w为图像宽高；
[0064]
s14、使用normalize函数对图像进行归一化处理，让模型更容易收敛。
[0065]
具体的，步骤s2具体包括以下步骤：
[0066]
s21、通过图片的中心旋转进行数据增强，增加训练数据的数量；
[0067]
s22、采用高斯滤波去除图像中的高斯噪声其数据用于后续训练的输入。
[0068]
具体的，步骤s3具体包括以下步骤：
[0069]
s31、在resnet网络结构的基础上构建res2net残差网络结构；其中resnet网 络结构包括34个卷积层，两个池化层，一个全连接层，使用不同通道上的残差 组替换掉原有的3*3卷积；
[0070]
s32、结合通道注意力机制与空间注意力机制构建cbam注意力机制并将构 建好的cbam注意力机制插入到所述res2net残差网络结构中；
[0071]
s33、构建hs-block多级分离模块并将其添加在整个网络的头部，在不增加 计算
复杂度的情况下让网络学习到更强的特征信息。
[0072]
具体的，通道注意力机制对应的过程描述为：
[0073]
基于网络特征图的宽、高分别进行全局平均池化(avgpool)、全局最大池化 (maxpool)，并分别通过多层感知器(mlp)得到通道注意力权重，对得到的权 重逐元素的加和操作，最后通过sigmoid函数对权重进行归一化处理并用乘法逐 通道加权到原始的特征图上，其公式为：
[0074][0075]
其中f为输入权重特征图、w0、w1表示全连接层、σ表示sigmoid方法，通 道注意力机制的运算结果将作于空间注意力机制的输入。
[0076]
空间注意力机制对应的过程描述为：
[0077]
基于所述通道注意力机制作为输入，基于通道进行其特征图的全局最大池化 (maxpool)和全局平均池化(avgpool)，然后经过卷积操作降维至1维，再经 过sigmoid函数生成注意力特征，其框图如图4所示，其公式为：
[0078][0079]
其中f为输入权重特征图，σ表示sigmoid方法。
[0080]
构件hs-block多级分离模块具体为：
[0081]
将特征图按照通道进行分组，在不同组之间进行交叉组合与卷积，能够更加 容易提取到抽象的信息，对应结构如图5所示。
[0082]
具体的，步骤s4具体为：
[0083]
基于grad-cam++算法提取模型的特征并绘制热力图并将其以0.3的透明度 覆盖在原图。
[0084]
其中，grad-cam++算法具体为：
[0085]
在特征图中某一类得分是权重和特征图的点积而来，其公式为： 其对应的热力图公式为：其权重的计算中使 用了梯度与relu激活函数进行改进其公式为:
[0086]
本发明通过准确率(acc)、召回率(recall)、平衡f分数(f1 score)、 灵敏度(sensitivity)、特异性(specificity)、auc来描述当前模型检测，准确 率表示预测的正确率其中，tp代表正样本被预测为正样本， tn代表负样本被预测为负样本，fp代表负样本被预测为正样本，fn代表正样 本被预测为负样本；特异性表示的是所有负例中被分对的比例，衡量了分类器对 负例的识别能力平衡f分数被定义为精准率和召回率的 调和平均数召回率即
所有真的正例中，能 够被模型正确预测的比例灵敏度表示的是所有正例中被分对 的比例，衡量了分类器对正例的识别能力auc等于roc 曲线下的面积其中 [0087]
表2
[0088][0089]
训练过程中的acc与loss变化情况如图6所示，测试效果如图7所示包含roc 曲线，pr曲线，混淆矩阵。实例最终效果如图8所示，具体为对新冠肺炎x光 肺片进行检测的效果图。其中间为通过特征可视化后的图像。右侧为预测的类别 与预测概率。可以看出本发明能够准确的进行图像的分类任务。
[0090]
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这 些实施例仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的 实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所 限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描 述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结 合单独实施例所描述的特征可以使用在其他所述实施例中。
技术特征：1.一种基于cbam机制的残差网络的医学影像辅助检测方法，其特征在于，包括以下步骤：s1、获取医学影像并对所述医学影像进行裁剪以及归一化处理；s2、对归一化处理后的医学影像进行数据变换；s3、基于卷积自编码并结合空间与通道注意力机制的特征提取方法以及hs-block模块建立网络模型；s4、将进行数据变换后的医学影像输入所述网络模型进行预测并对病灶预测区域可视化。2.根据权利要求1所述的一种基于cbam机制的残差网络的医学影像辅助检测方法，其特征在于，所述步骤s1具体包括以下步骤：s11、将所述医学影像进行直接缩放调整图像尺寸为网络模型输入所需的尺寸；s12、对图像进行通道缩减将其转换为灰度图像；s13、将所述灰度图像转化为(b,c,h,w)的张量形式，其中b为批量大小，c为图像通道数，h和w为图像宽高；s14、使用normalize函数对图像进行归一化处理。3.根据权利要求1所述的一种基于cbam机制的残差网络的医学影像辅助检测方法，其特征在于，所述步骤s2具体包括以下步骤：s21、通过图片的中心旋转进行数据增强，增加训练数据的数量；s22、采用高斯滤波去除图像中的高斯噪声。4.根据权利要求1所述的一种基于cbam机制的残差网络的医学影像辅助检测方法，其特征在于，所述步骤s3具体包括以下步骤：s31、在resnet网络结构的基础上构建res2net残差网络结构；s32、结合通道注意力机制与空间注意力机制构建cbam注意力机制并将构建好的cbam注意力机制插入到所述res2net残差网络结构中；s33、构建hs-block多级分离模块并将其添加在整个网络的头部。5.根据权利要求4所述的一种基于cbam机制的残差网络的医学影像辅助检测方法，其特征在于，所述通道注意力机制对应的过程描述为：基于网络特征图的宽、高分别进行全局平均池化(avgpool)、全局最大池化(maxpool)，并分别通过多层感知器(mlp)得到通道注意力权重，对得到的权重逐元素的加和操作，最后通过sigmoid函数对权重进行归一化处理并用乘法逐通道加权到原始的特征图上。6.根据权利要求4所述的一种基于cbam机制的残差网络的医学影像辅助检测方法，其特征在于，所述空间注意力机制对应的过程描述为：基于所述通道注意力机制作为输入，基于通道进行其特征图的全局最大池化(maxpool)和全局平均池化(avgpool)，然后经过卷积操作降维至1维，再经过sigmoid函数生成注意力特征。7.根据权利要求4所述的一种基于cbam机制的残差网络的医学影像辅助检测方法，其特征在于，所述将构建好的cbam注意力机制插入到所述res2net残差网络结构中具体为：将构建好的cbam注意力机制插入到resnet每一个残差块的最后一层当中。8.根据权利要求4所述的一种基于cbam机制的残差网络的医学影像辅助检测方法，其
特征在于，所述构件hs-block多级分离模块具体为：将特征图按照通道进行分组，在不同组之间进行交叉组合与卷积。9.根据权利要求1所述的一种基于cbam机制的残差网络的医学影像辅助检测方法，其特征在于，所述步骤s4具体为：基于grad-cam++算法提取模型的特征并绘制热力图并将其以0.3的透明度覆盖在原图。10.根据权利要求9所述的一种基于cbam机制的残差网络的医学影像辅助检测方法，其特征在于：所述grad-cam++算法具体为：在特征图中某一类得分是权重和特征图的点积而来，其公式为：其对应的热力图公式为：其权重的计算中使用了梯度与relu激活函数进行改进其公式为:
技术总结本发明涉及医学影像检测技术领域，公开了一种基于CBAM机制的残差网络的医学影像辅助检测方法，包括以下步骤：S1、获取医学影像(肺部cxr医学影像)并对所述医学影像进行裁剪以及归一化处理；S2、对归一化处理后的医学影像进行数据变换；S3、基于卷积自编码并结合空间与通道注意力机制的特征提取方法以及hs-block模块建立网络模型；S4、将进行数据变换后的医学影像输入所述网络模型进行预测并对病灶预测区域可视化。本发明通过引入cbam机制以及引入了hs-block残差结构加强了模型对肺部X光的特征提取能力提升了检测准确率，用于辅助传统人工对x光肺片的筛查，能够加快检测效率。能够加快检测效率。能够加快检测效率。
技术研发人员：马新强 黄羿 李旺 蒋忪涛 康阳 万忠杰 李康 姚行艳 周安通 刘友缘
受保护的技术使用者：重庆文理学院
技术研发日：2022.07.22
技术公布日：2022/11/1
