基于多时相融合与双注意力机制的肝肿瘤分割方法

1.本公开涉及图形处理技术领域，尤其涉及一种基于多时相融合与双注意力机制的肝肿瘤分割方法，可用于对多时相ct图像的肝肿瘤分割。


背景技术：

2.肝癌作为最常见的肿瘤疾病之一具有起病隐匿、潜伏期长、转移性强及病情进展快等特点。随着计算机技术的发展，医学成像技术是医生为患者诊断和治疗过程中必不可少的工具，其中计算机断层扫描技术ct是肝癌患者诊断、治疗和随访过程中最常用的手段。人工识别ct图像中的肝肿瘤不仅耗时耗力且存在识别过程中主观性影响精度的缺点，因此利用计算机实现精确可靠的自动分割算法可以有效提高临床场景中医生的工作效率，减少医生的工作量。
3.在现有利用深度卷积神经网络分割肝肿瘤的方法中，主要有单独利用门静脉期图像训练分割网络和利用多时相图像训练分割网络两类方法。第一类方法通常在标准编解码结构分割网络中添加提取图像多尺度信息的网络特征融合模块及注意力机制来提升网络分割肝肿瘤的能力，第二类方法大多将多时相ct中获取的三种图像进行拼接成为三通道图像直接输入分割网络进行训练或者将两种或三种图像分别输入双分支或三分支网络进行训练，其中各分支共享网络结构不共享网络权重并在网络解码层某阶段进行特征融合。上述两类方法均有各自的不足，第一类方法仅在门静脉期图像上提取肿瘤分割的信息，忽视其他两种图像中含有的补充信息，第二类方法中对多时相ct 中获取的各期图像的特征融合过于简单粗暴，没有考虑各时相图像的特征在网络不同深度的可结合性，导致网络学习了很多冗余无关的信息，影响肝肿瘤的分割性能。


技术实现要素：

4.本公开实施例提供一种基于多时相融合与双注意力机制的肝肿瘤分割方法，能够将多时相ct图像肝肿瘤分割出来，解决现有技术中肝肿瘤分割精度差的问题，提高多时相ct图像中肝肿瘤的分割准确性。所述技术方案如下：
5.根据本公开实施例的第一方面，提供一种基于多时相融合与双注意力机制的肝肿瘤分割方法，该方法包括：
6.步骤1：获取l个病例数据，将每个病例每次进行多时相ct扫描得到的同一层的动脉期图像和门静脉期图像作为一组输入图像对，并获取门静脉期图像的肝肿瘤标签，随机将l个病例数据中的p个病例数据作为训练集，剩下的 q个病例数据作为测试集；
7.步骤2：构建多时相特征融合机制mff，对动脉期、门静脉期两期图像通过浅层卷积得到的两种特征进行融合，得到融合特征图；
8.步骤3：构建包含位置注意力模块pam和通道注意力模块cam的双注意力机制dam，将融合特征图进行卷积操作后得到的特征图输入双注意力机制模块dam进行处理，得到双注意力特征图；
anspose得到尺寸为的特征图fx2；
25.将特征图fy 1和特征图fx2相乘后通过softmax函数得到尺寸为 (h
×
w)
×
(h
×
w)的通道间相关性图x1；
26.将通道间相关性图x1与特征图fz1相乘后通过reshape得到尺寸为 h
×w×
c的特征图fz2；
27.将特征图fz2乘以尺度相关系数α后与特征图f相加得到通道注意力特征图fp。
28.在一个实施例中，对融合特征图进行卷积操作后得到的特征图输入通道注意力模块cam进行处理，得到通道注意力特征图包括：
29.对特征图f进行reshape得到尺寸为(h
×
w)
×
c的特征图f1；
30.对特征图f1进行transpose得到尺寸为c
×
(h
×
w)的特征图f2；
31.将特征图f1和特征图f2相乘后通过softmax函数得到尺寸为c
×
c的通道间相关性图x2；
32.将通道间相关性图x2与特征图f1相乘后通过reshape得到尺寸为 h
×w×
c的特征图f3；
33.将特征图f3乘以尺度相关系数β后与特征图f相加得到最终的通道注意力特征图fc。
34.在一个实施例中，mfda-net包括编码部分，编码部分包括6层编码块，每层编码块由两个连续的卷积层、relu激活层和采用最大池化方式的池化层组成，卷积层后连接一个relu激活层，卷积层的卷积核大小为3
×
3，滑动步长为1；mfda-net的编码部分包括：
35.第1阶段，将训练集中输入图像对中的动脉期图像和门静脉期图像分别输入两个第一层编码块；
36.第2阶段，将第1阶段得到的动脉期特征图和门静脉期特征图输入多时相特征融合机制mff，得到第一次融合动脉期图像特征的门静脉期特征图；
37.第3阶段，将第1阶段得到的动脉期特征图和第2阶段得到的门静脉期特征图分别输入两个第二层编码块；
38.第4阶段，将第3阶段得到的动脉期特征图和门静脉期特征图输入多时相特征融合机制mff，得到第二次融合动脉期图像特征的门静脉期特征图；
39.第5阶段，将第4阶段得到的输出特征图输入第三层编码块；
40.第6阶段，将第5阶段得到的输出特征图输入第四层编码块；
41.第7阶段，将第6阶段得到的输出特征图输入双注意力机制dam，得到通道相关性和位置相关性均调整后的特征图；
42.第8阶段，将第7阶段得到的输出特征图输入第五层编码块；
43.第9阶段，将第8阶段得到的输出特征图输入第六层编码块；
44.六层编码块的卷积核个数依次为32、64、128、256、512、1024。
45.在一个实施例中，mfda-net包括解码部分，解码部分包括5层解码块，每层解码块由上采样层、concatenate特征融合层、两个连续的卷积层和relu 激活层组成，卷积层后连接一个relu激活层，卷积核大小为3
×
3，滑动步长为1；mfda-net的解码部分包括：
46.第一阶段，将第9阶段的输出特征图和第8阶段的输出特征图输入第一层解码块；
47.第二阶段，将第一阶段输出特征图和第7阶段输出特征图输入第二层解码块；
48.第三阶段，将第二阶段输出特征图和第5阶段输出特征图输入第三层解码块；
49.第四阶段，将第三阶段输出特征图和第4阶段输出特征图输入第四层解码块；
50.第五阶段，将第四阶段输出特征图和第2阶段输出特征图输入第五层解码块；
51.五层解码块的卷积核个数依次为512、256、128、64、32；
52.第六阶段，mfda-net的解码部分后接一个卷积层和一个激活层，卷积层用于缩减特征图的通道数，卷积核大小为3
×
3，个数为1，滑动步长为1；激活层使用sigmoid激活函数将卷积层的输出结果进行归一化。
53.在一个实施例中，将训练集中由动脉期图像和门静脉期图像组成的输入图像对及对应的门静脉期肝肿瘤标签对mfda-net进行训练，得到训练好的 mfda-net包括：
54.将训练集中动脉期图像和门静脉期图像组成的输入图像对及对应的门静脉期肝肿瘤标签输入到mfda-net进行训练，通过每次训练产生的网络输出与对应肿瘤标签利用损失函数计算的损失值反向传播更新网络中的参数，得到训练好的mfda-net。
55.在一个实施例中，损失函数为combo loss函数，其公式如下：
[0056][0057]
其中，α与β均为加权系数，α＝0.3，β＝0.8；n表示输入图像的总像素点数；gi是输入图像对应的肿瘤标签第i个像素点的值；pi是输入图像输入网络后得到的分割结果的第i个像素点的预测值；ε为常数，ε＝1。
[0058]
在一个实施例中，设置训练的最大代数为100，学习率为0.0001，批大小为4；设置训练5代内无提升学习率乘以0.1，以及训练10代内无提升提前停止训练。
[0059]
本发明与现有技术相比具有以下优点：
[0060]
本公开实施例利用一个多时相特征融合机制将多时相ct中动脉期图像和门静脉期图像通过卷积提取的浅层特征进行融合，这两期图像中各器官位置和形变较小，肝肿瘤与正常肝组织的对比度有明显差异；特征融合机制将更多的关于肝脏和肝肿瘤的形状特征和纹理特征引入肝肿瘤的分割中，动脉期图像的加入提高了肝肿瘤分割的准确性。
[0061]
同时，通过在分割网络的编码部分前期加入多时相特征融合机制将动脉期图像特征与门静脉期图像特征融合后，在编码部分后期加入一个兼顾位置相关性与通道相关性的双注意力机制，进一步调整了分割网络对肝肿瘤的关注度，使网络在训练过程中更多的关注与肝肿瘤分割相关的信息，减少分割网络对无关信息的关注，进一步提高了网络分割肝肿瘤的能力，提高了肝肿瘤分割准确性。
[0062]
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0063]
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
[0064]
图1是本公开实施例提供的基于多时相融合与双注意力机制的肝肿瘤分割方法的流程图；
[0065]
图2是本公开实施例提供的多时相特征融合机制mff的结构示意图；
[0066]
图3是本公开实施例提供的双注意力机制dam的结构示意图；
[0067]
图4是本公开实施例提供的基于多时相融合与双注意力机制的mfda-net的结构图示意图；
[0068]
图5是本公开实施例提供的测试集中一对动脉期图像和门静脉期图像；
[0069]
图6是用本发明对图5中的门静脉期图像进行肝肿瘤分割后得到的结果图；
[0070]
图7是将图6的分割结果标记到门静脉期图像上的示意图；
[0071]
图8是采用五次下采样的u-net网络和本发明网络对图5中的门静脉期图像进行肝肿瘤分割后得到的对比结果图。
具体实施方式
[0072]
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
[0073]
参照图1，本公开实施例提供的基于多时相融合与双注意力机制的肝肿瘤分割方法，包括：
[0074]
步骤1：制作训练集和测试集，具体包括：
[0075]
获取l个病例数据，将每个病例每次进行多时相ct扫描得到的动脉期图像和门静脉期图像的相同层作为一组输入图像对，并获取门静脉期图像的肝肿瘤标签，该门静脉期图像的肝肿瘤标签作为训练mfda-net采用的标签，随机将l个病例数据中的p个病例数据作为训练集，剩下的q个病例数据作为测试集。示例性的，可以将所有病例数据中80％的病例数据作为训练集，剩下的20％的病例数据作为测试集。
[0076]
在肝癌的诊断治疗等过程中，多时相ct技术获取的多时相图像在反映肝脏病理形态方面表现优越，为肝肿瘤的检测带来了更多的信息。患者每次进行多时相ct扫描后可获得动脉期、门静脉期、延迟期三个时相图像，其中动脉期图像在患者静脉注射造影剂后30秒左右获得，门静脉期图像在静脉注射造影剂后60-90秒左右获得，动脉期图像与门静脉期图像因拍摄时间间隔较短，两期图像之间各器官的位置和形变较小，肝肿瘤与正常肝组织的强化程度有明显差异；延迟期图像在患者静脉注射造影剂后3-5分钟左右拍摄，与前两期的拍摄时间间隔较长，与前两期图像相比器官的位置及发生的形变较大。因此，将患者同一次多时相ct扫描下获得的动脉期图像与门静脉期图像中肿瘤、器官等信息进行有效融合有利于对其ct图像中的肝肿瘤进行分割。
[0077]
步骤2：构建多时相特征融合机制mff，对动脉期、门静脉期两期图像通过浅层卷积得到的两种特征进行融合，得到融合特征图。
[0078]
其中，该融合特征图融合动脉期图像特征和门静脉图像特征，能够为 mfda-net提供更多有利的形状特征和纹理特征。
[0079]
参照图2所示，步骤2具体包括：将来自动脉期图像提取的特征图a、来自门静脉期
图像提取的特征图v分别通过一个卷积核大小为1
×
1，滑动步长为1，个数为输入特征图通道数1/4的卷积层得到特征图a1和特征图v1；
[0080]
将特征图a1和v1相加后通过一个激励函数为修正线性单元relu函数的激活层，再通过一个卷积核大小为1
×
1，滑动步长为1，个数为1的卷积层，再通过一个采用sigmoid激励函数的激励层得到注意力权重图；
[0081]
将特征图a和注意力权重图相乘得到调整关注度后的特征图a2；
[0082]
将特征图v与特征图a2进行特征图通道方向上的concat(融合)操作后通过一个卷积核大小为3
×
3，滑动步长为1，个数为特征图v通道数的卷积层，再通过一个激励函数为修正线性单元relu函数的激活层，最终得到融合特征图v2。
[0083]
步骤3：构建包含位置注意力模块pam和通道注意力模块cam的双注意力机制dam，对融合特征图进行卷积操作得到的特征图输入双注意力机制dam进行处理，得到双注意力特征图。
[0084]
其中，双注意力机制dam关注特征全局位置间相关性和通道间相关性，通过该机制可得到对肝肿瘤区域特征关注度更高的双注意力特征图。
[0085]
参照图3，双路注意力机制(dualattentionmodel，dam)由位置注意力模块(positionattentionmodule，pam)和通道注意力模块(channelattentionmodule，cam)组成，记上层输出的融合特征图进行卷积操作后输出的特征图f的尺寸为h
×w×
c，h、w、c分别为特征图f的高、宽、通道数。步骤3具体实现如下：
[0086]
3.1)在位置注意力模块pam中：
[0087]
将融合特征图进行卷积操作后得到的特征图f分别通过两个卷积核大小为1
×
1，个数为c/4，滑动步长为1的卷积层得到特征图fx和特征图fy，特征图f的尺寸为h
×w×
c，h、w、c分别为特征图f的高、宽、通道数；
[0088]
将特征图f通过卷积核大小为1
×
1，个数为c，滑动步长为1的卷积层得到特征图fz；
[0089]
对特征图fy和特征图fz分别进行reshape(尺寸调整)得到尺寸为的特征图fy1、尺寸为(h
×
w)
×
c的特征图fz1；
[0090]
对特征图fx进行reshape得到尺寸为的特征图fx1，再进行transpose(转置)得到尺寸为的特征图fx2；
[0091]
将特征图fy1和特征图fx2相乘后通过softmax函数得到尺寸为(h
×
w)
×
(h
×
w)的通道间相关性图x1；
[0092]
将通道间相关性图x1与特征图fz1相乘后通过reshape得到尺寸为h
×w×
c的特征图fz2；
[0093]
将特征图fz2乘以尺度相关系数α后与特征图f相加得到通道注意力特征图fp；
[0094]
3.2)在通道注意力模块cam中：
[0095]
对特征图f进行reshape得到尺寸为(h
×
w)
×
c的特征图f1；
[0096]
对特征图f1进行transpose得到尺寸为c
×
(h
×
w)的特征图f2；
[0097]
将特征图f1和特征图f2相乘后通过softmax函数得到尺寸为c
×
c的通道间相关性图x2，；
[0098]
将通道间相关性图x2与特征图f1相乘后通过reshape得到尺寸为 h
×w×
c的特征图f3；
[0099]
将特征图f3乘以尺度相关系数β后与特征图f相加得到最终的通道注意力特征图fc；
[0100]
3.3)将通道注意力特征图fc和位置注意力特征图fp相加后通过一个卷积核大小为3
×
3，滑动步长为1的卷积层，再通过一个激励函数为修正线性单元relu函数的激活层，最终得到双注意力特征图。
[0101]
步骤4：构建一个基于多时相融合与双注意力机制的mfda-net。
[0102]
构建基于多时相融合与双注意力机制的mfda-net，该分割网络的基础结构为一个5次下采样的u-net结构，该分割网络包括编码部分和解码部分，在编码部分前两个编码块后加入步骤2中的mff将动脉期图像提取的特征与门静脉期图像提取的特征进行融合，在编码部分第四个编码块后加入3)中的 dam进一步提高网络对肝肿瘤的关注度降低对无关信息的关注；
[0103]
4.1)参照图4，基于多时相融合与双注意力机制的mfda-net的骨干网络采用五次下采样的u-net结构，该分割网络包括编码部分和解码部分，编码部分包含6层编码块，解码部分包含5层解码块，其中编码块和解码块具体如下：
[0104]
编码块由两个连续的卷积层、采用最大池化方式的池化层和relu激活层组成，卷积核大小为3
×
3，滑动步长为1，卷积层后都连接一个relu激活层；
[0105]
解码块由上采样层、concatenate特征融合层、两个连续的卷积层和relu 激活层组成，卷积核大小为3
×
3，滑动步长为1，卷积层后都连接一个relu 激活层。
[0106]
4.2)参照图4，mfda-net的编码部分包含以下9个阶段：
[0107]
第1阶段，将训练集中输入图像对中的动脉期图像和门静脉期图像分别输入两个第一层编码块；
[0108]
第2阶段，将第1阶段得到的动脉期特征图和门静脉期特征图输入2) 中的多时相特征融合机制mff，得到第一次融合动脉期图像特征的门静脉期特征图；
[0109]
第3阶段，将第1阶段得到的动脉期特征图和第2阶段得到的门静脉期特征图分别输入两个第二层编码块；
[0110]
第4阶段，将第3阶段得到的动脉期特征图和门静脉期特征图输入2) 中的多时相特征融合机制mff，得到第二次融合动脉期图像特征的门静脉期特征图；
[0111]
第5阶段，将第4阶段得到的输出特征图输入第三层编码块；
[0112]
第6阶段，将第5阶段得到的输出特征图输入第四层编码块；
[0113]
第7阶段，将第6阶段得到的输出特征图输入3)中的双注意力机制 dam，得到通道相关性和位置相关性均调整后的特征图；
[0114]
第8阶段，将第7阶段得到的输出特征图输入第五层编码块；
[0115]
第9阶段，将第8阶段得到的输出特征图输入第六层编码块；
[0116]
上述六层编码块的卷积核个数依次为32、64、128、256、512、1024。
[0117]
在本公开实施例中，在编码部分的前两个编码块后加入多时相特征融合机制mff
将动脉期图像提取的特征与门静脉期图像提取的特征进行融合，在编码部分的第四个编码块后加入双注意力机制dam进一步提高网络对肝肿瘤的关注度并降低对无关信息的关注。
[0118]
4.3)参照图4，mfda-net的解码部分包含以下六个阶段：
[0119]
第一阶段，将第9阶段输出特征图和第8阶段输出特征图输入第一层解码块；
[0120]
第二阶段，将第一阶段输出特征图和第7阶段输出特征图输入第二层解码块；
[0121]
第三阶段，将第二阶段输出特征图和第5阶段输出特征图输入第三层解码块；
[0122]
第四阶段，将第三阶段输出特征图和第4阶段输出特征图输入第四层解码块；
[0123]
第五阶段，将第四阶段输出特征图和第2阶段输出特征图输入第五层解码块；
[0124]
上述五层解码块的卷积核个数依次为512、256、128、64、32。
[0125]
第六阶段，mfda-net的解码部分后接一个卷积层和一个激活层，其中，卷积层用于缩减特征图的通道数，卷积核大小为3
×
3，个数为1，滑动步长为 1；激活层使用sigmoid激活函数将卷积层的输出结果进行归一化。
[0126]
步骤5：对步骤4中构建好的mfda-net进行训练。
[0127]
具体的，从训练集中取由动脉期图像和门静脉期图像组成的输入图像对及对应的肝肿瘤标签输入构建好的mfda-net进行训练，过程如下：
[0128]
5.1)将训练集中动脉期图像和门静脉期图像组成的输入图像对及对应的门静脉期肝肿瘤标签输入4)中构建好的mfda-net中进行训练；
[0129]
5.2)设置训练的最大代数为100，学习率为0.0001，批大小为4。通过每次训练产生的网络输出与对应肿瘤标签利用combo loss函数计算的损失值反向传播更新网络中的参数，最终得到训练好的mfda-net，训练设置5 代内无提升学习率乘以0.1，且10代内无提升早停机制防止网络训练过拟合。
[0130]
其中，训练分割网络时采用的损失函数均为combo loss函数，其公式如下：
[0131][0132]
其中，α与β均为加权系数，α＝0.3，β＝0.8；n表示输入图像的总像素点数；gi是输入图像对应的肿瘤标签第i个像素点的值；pi是输入图像输入网络后得到的分割结果的第i个像素点的预测值；ε为常数，ε＝1。
[0133]
步骤6：对测试集图像对中的门静脉期图像肝肿瘤进行分割。
[0134]
具体包括：将测试集中动脉期图像和门静脉期图像组成的图像对输入步骤5中得到的训练好的mfda-net中，利用阈值0.5对网络输出结果进行二值化处理，最终得到测试集中肝肿瘤的分割结果。
[0135]
本公开实施例利用一个多时相特征融合机制将多时相ct中动脉期图像和门静脉期图像通过卷积提取的浅层特征进行融合，这两期图像中各器官位置和形变较小，肝肿瘤与正常肝组织的对比度有明显差异。特征融合机制将更多的关于肝脏和肝肿瘤的形状特征和纹理特征引入肝肿瘤的分割中，动脉期图像的加入提高了肝肿瘤分割的准确性。
[0136]
同时，通过在分割网络的编码部分前期加入多时相特征融合机制将动脉期图像特征与门静脉期图像特征融合后，在编码部分后期加入一个兼顾位置相关性与通道相关性的
双注意力机制，进一步调整了分割网络对肝肿瘤的关注度，使网络在训练过程中更多的关注与肝肿瘤分割相关的信息，减少分割网络对无关信息的关注，进一步提高了网络分割肝肿瘤的能力，提高了肝肿瘤分割准确性。
[0137]
本发明的效果通过以下仿真实现。
[0138]
仿真1，将图5所示的一对动脉期图像和门静脉期图像输入步骤6中训练好的双时相输入mfda-net中，其中展示在门静脉期图像上的肝肿瘤分割的结果如图6所示。
[0139]
仿真2，将图6的分割结果标记到图5的门静脉期图像上，结果如图7。从图7可以看出，本发明能有效地将门静脉期图像中的肝肿瘤分割出来。
[0140]
仿真3，将图5所示的一对动脉期图像和门静脉期图像输入五次下采样的u-net网络中，其中展示在门静脉期图像上的肝肿瘤分割的结果和图6进行展示比较，如图8所示。可以看出，本发明能有效提升门静脉期肝肿瘤的分割效果。
[0141]
本公开实施例还提供了一种炉基于多时相融合与双注意力机制的肝肿瘤分割设备，该基于多时相融合与双注意力机制的肝肿瘤分割设备包括接收器、发射器、存储器和处理器，该发射器和存储器分别与处理器连接，存储器中存储有至少一条计算机指令，处理器用于加载并执行至少一条计算机指令，以实现上述图1对应的实施例中所描述的基于多时相融合与双注意力机制的肝肿瘤分割方法。
[0142]
基于上述图1对应的实施例中所描述的基于多时相融合与双注意力机制的肝肿瘤分割方法方法，本公开实施例还提供一种计算机可读存储介质，例如，非临时性计算机可读存储介质可以是只读存储器(英文：read onlymemory，rom)、随机存取存储器(英文：random access memory，ram)、 cd-rom、磁带、软盘和光数据存储装置等。该存储介质上存储有计算机指令，用于执行上述图1对应的实施例中所描述的基于多时相融合与双注意力机制的肝肿瘤分割方法，此处不再赘述。
[0143]
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0144]
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

技术特征：
1.一种基于多时相融合与双注意力机制的肝肿瘤分割方法，其特征在于，所述方法包括：步骤1：获取l个病例数据，将每个病例每次进行多时相ct扫描得到的同一层的动脉期图像和门静脉期图像作为一组输入图像对，并获取门静脉期图像的肝肿瘤标签，随机将l个病例数据中的p个病例数据作为训练集，剩下的q个病例数据作为测试集；步骤2：构建多时相特征融合机制mff，对动脉期、门静脉期两期图像通过浅层卷积得到的两种特征进行融合，得到融合特征图；步骤3：构建包含位置注意力模块pam和通道注意力模块cam的双注意力机制dam，将所述融合特征图进行卷积操作后得到的特征图输入所述双注意力机制模块dam进行处理，得到双注意力特征图；步骤4：将所述多时相特征融合机制mff、所述双注意力机制dam嵌入u-net结构中，形成基于多时相融合与双注意力机制的肝肿瘤分割网络mfd a-net；步骤5：将训练集中由动脉期图像和门静脉期图像组成的输入图像对及对应的门静脉期肝肿瘤标签对所述mfda-net进行训练，得到训练好的mfda-net；步骤6：将测试集中的动脉期图像和门静脉期图像组成的图像对输入所述训练好的mfda-net，利用二值化方法对网络的输出结果进行处理得到分割结果，并将分割结果以轮廓的形式表示在门静脉期图像上。2.根据权利要求1所述的方法，其特征在于，所述构建多时相特征融合机制mff，对动脉期、门静脉期两期图像通过浅层卷积得到的两种特征进行融合，得到融合特征图包括：将来自动脉期图像提取的特征图a、门静脉期图像提取的特征图v分别通过一个卷积核大小为1
×
1，滑动步长为1，个数为输入特征图通道数1/4的卷积层得到特征图a1和特征图v1；将特征图a1和v1相加后依次通过一个激励函数为修正线性单元relu函数的激活层、一个卷积核大小为1
×
1，滑动步长为1，个数为1的卷积层以及一个采用sigmoid激励函数的激励层得到注意力权重图；将特征图a和注意力权重图相乘得到调整关注度后的特征图a2；将特征图v与特征图a2进行特征图通道方向上的融合操作后依次通过一个卷积核大小为3
×
3，滑动步长为1，个数为特征图v通道数的卷积层和一个激励函数为修正线性单元relu函数的激活层，得到融合特征图v2。3.根据权利要求1所述的方法，其特征在于，所述将所述融合特征图进行卷积操作后得到的特征图输入所述双注意力机制模块dam进行处理，得到双注意力特征图包括：将所述融合特征图进行卷积操作后得到的特征图分别输入所述位置注意力模块pam和所述通道注意力模块cam进行处理，得到位置注意力特征图和通道注意力特征图；将所述位置注意力特征图fp和所述通道注意力特征图fc相加后依次通过一个卷积核大小为3
×
3，滑动步长为1的卷积层和一个激励函数为修正线性单元relu函数的激活层，得到双注意力特征图。4.根据权利要求3所述的方法，其特征在于，所述将所述融合特征图进行卷积操作后得到的特征图输入所述位置注意力模块pam，得到位置注意力特征图包括：将融合特征图进行卷积操作后得到的特征图f分别通过两个卷积核大小为1
×
1，个数
为c/4，滑动步长为1的卷积层得到特征图fx和特征图fy，所述特征图f的尺寸为h
×
w
×
c，h、w、c分别为特征图f的高、宽、通道数；将特征图f通过卷积核大小为1
×
1，个数为c，滑动步长为1的卷积层得到特征图fz；对特征图fy和特征图fz分别进行reshape得到尺寸为的特征图fy1、尺寸为(h
×
w)
×
c的特征图fz1；对特征图fx进行reshape得到尺寸为的特征图fx1，再进行tr anspose得到尺寸为的特征图fx2；将特征图fy 1和特征图fx2相乘后通过softmax函数得到尺寸为(h
×
w)
×
(h
×
w)的通道间相关性图x1；将通道间相关性图x1与特征图fz1相乘后通过reshape得到尺寸为h
×
w
×
c的特征图fz2；将特征图fz2乘以尺度相关系数α后与特征图f相加得到通道注意力特征图fp。5.根据权利要求3所述的方法，其特征在于，所述将所述融合特征图进行卷积操作后得到的特征图输入所述通道注意力模块cam进行处理，得到通道注意力特征图包括：对特征图f进行reshape得到尺寸为(h
×
w)
×
c的特征图f1；对特征图f1进行transpose得到尺寸为c
×
(h
×
w)的特征图f2；将特征图f1和特征图f2相乘后通过softmax函数得到尺寸为c
×
c的通道间相关性图x2；将通道间相关性图x2与特征图f1相乘后通过reshape得到尺寸为h
×
w
×
c的特征图f3；将特征图f3乘以尺度相关系数β后与特征图f相加得到通道注意力特征图fc。6.根据权利要求1所述的方法，其特征在于，所述mfda-net包括编码部分，所述编码部分包括6层编码块，每层编码块由两个连续的卷积层、rel u激活层和采用最大池化方式的池化层组成，卷积层后连接一个relu激活层，所述卷积层的卷积核大小为3
×
3，滑动步长为1；所述mfda-net的编码部分包括：第1阶段，将训练集中输入图像对中的动脉期图像和门静脉期图像分别输入两个第一层编码块；第2阶段，将第1阶段得到的动脉期特征图和门静脉期特征图输入所述多时相特征融合机制mff，得到第一次融合动脉期图像特征的门静脉期特征图；第3阶段，将第1阶段得到的动脉期特征图和第2阶段得到的门静脉期特征图分别输入两个第二层编码块；第4阶段，将第3阶段得到的动脉期特征图和门静脉期特征图输入多时相特征融合机制mff，得到第二次融合动脉期图像特征的门静脉期特征图；第5阶段，将第4阶段得到的输出特征图输入第三层编码块；第6阶段，将第5阶段得到的输出特征图输入第四层编码块；第7阶段，将第6阶段得到的输出特征图输入所述双注意力机制dam，得到通道相关性和位置相关性均调整后的特征图；
第8阶段，将第7阶段得到的输出特征图输入第五层编码块；第9阶段，将第8阶段得到的输出特征图输入第六层编码块；所述六层编码块的卷积核个数依次为32、64、128、256、512、1024。7.根据权利要求6所述的方法，其特征在于，所述mfda-net包括解码部分，所述解码部分包括5层解码块，每层解码块由上采样层、concatenate特征融合层、两个连续的卷积层和relu激活层组成，卷积层后连接一个relu激活层，卷积核大小为3
×
3，滑动步长为1；所述mfda-net的解码部分包括：第一阶段，将第9阶段的输出特征图和第8阶段的输出特征图输入第一层解码块；第二阶段，将第一阶段输出特征图和第7阶段输出特征图输入第二层解码块；第三阶段，将第二阶段输出特征图和第5阶段输出特征图输入第三层解码块；第四阶段，将第三阶段输出特征图和第4阶段输出特征图输入第四层解码块；第五阶段，将第四阶段输出特征图和第2阶段输出特征图输入第五层解码块；所述五层解码块的卷积核个数依次为512、256、128、64、32；第六阶段，mfda-net的解码部分后接一个卷积层和一个激活层，卷积层用于缩减特征图的通道数，卷积核大小为3
×
3，个数为1，滑动步长为1；激活层使用sigmoid激活函数将卷积层的输出结果进行归一化。8.根据权利要求1所述的方法，其特征在于，所述将训练集中由动脉期图像和门静脉期图像组成的输入图像对及对应的门静脉期肝肿瘤标签对所述mfda-net进行训练，得到训练好的mfda-net包括：将训练集中动脉期图像和门静脉期图像组成的输入图像对及对应的门静脉期肝肿瘤标签输入到所述mfda-net进行训练，通过每次训练产生的网络输出与对应肿瘤标签利用损失函数计算的损失值反向传播更新网络中的参数，得到训练好的mfda-net。9.根据权利要求8所述的方法，其特征在于，所述损失函数为combo loss函数，其公式如下：其中，α与β均为加权系数，α＝0.3，β＝0.8；n表示输入图像的总像素点数；g
i
是输入图像对应的肿瘤标签第i个像素点的值；p
i
是输入图像输入网络后得到的分割结果的第i个像素点的预测值；ε为常数，ε＝1。10.根据权利要求8所述的方法，其特征在于，设置训练的最大代数为100，学习率为0.0001，批大小为4；设置训练5代内无提升学习率乘以0.1，以及训练10代内无提升提前停止训练。

技术总结
本公开提供基于多时相融合与双注意力机制的肝肿瘤分割方法，涉及图形处理技术领域，能够解决现有技术中肝肿瘤分割精度差的问题。具体技术方案为：制作训练集和测试集，将病例同次扫描得到的动脉期门静脉期同层图像作为一组图像对；设计多时相特征融合机制对两期图像特征进行融合；加入双注意力机制提高网络对肝肿瘤特征关注度；以U-Net为骨干网络构造基于上述两种机制的肝肿瘤分割网络；使用训练集中的图像对肝肿瘤分割网络进行训练；将测试集图像对输入训练好的网络，利用阈值法处理网络输出得到肝肿瘤分割结果。本发明用于多时相CT图像的肝肿瘤分割。图像的肝肿瘤分割。图像的肝肿瘤分割。


技术研发人员：罗中华 周艳艳 曹云堡
受保护的技术使用者：中国人民解放军空军军医大学
技术研发日：2022.07.26
技术公布日：2022/11/1