1.本发明涉及医学图像处理技术领域，尤其涉及一种带有内膜瓣注意力模块的主动脉夹层分割方法。
背景技术：2.主动脉夹层(aortic dissection，ad)是一种威胁生命的心血管疾病，准确、快速地分割主动脉夹层管腔对于患者的风险评估和医疗计划具有重要意义。传统方法上，用于基于阈值分割的商业后处理工作是半自动的，需要外科医生和放射科医生进行大量的手动分割。这一过程复杂且耗时，因为主动脉cta包含数百个切片，这可能与紧急的临床决策相冲突。同时，由于假腔中的血流相对缓慢，且常伴有血栓形成，因此该方法不能很好地显示相对低密度的假腔和血栓。此外，通过该方法重建的图像是三维渲染，不能用于三维测量操作。因此，一种高效的自动分割方法是非常理想的。
3.近年来，卷积神经网络在医学图像处理中得到了广泛的应用，一些研究尝试了b型主动脉夹层的自动分割。目前有人提出了一种用于b型主动脉夹层自动分割的串行多任务卷积神经网络模型，第一个网络分割整个主动脉，第二个网络分割真腔和假腔，遵循这一多阶段学习框架，并在这两个阶段可以减轻主动脉弯曲形状的影响，简化分割。还有人没有使用3d模块，而是探索只使用2d模块，他们使用第一个网络预测的主动脉腔来推导多平面与主动脉中心线正交的重组(mpr)，并将这些mpr输入第二个网络以预测最终分割结果。然后，也有其他人利用3d网络进行主动脉分割，并利用2d网络进行分割，他们还应用了一个单独的边界检测网络来提取边界信息。
4.上述的方法虽然有助于提高b型主动脉夹层的分割精度，但是这些方法存在以下问题：1)没有一种方法利用将主动脉分离为真腔和假腔的特征性内膜瓣结构，这可能对主动脉夹层的准确分割至关重要。2)此外，以前所有基于深度学习的方法仅依赖于卷积层来聚合局部z方向信息。虽然考虑到主动脉的长度通常比x/y轴长度长约五倍，但3d局部卷积层可能不足以捕捉解剖主动脉的长距离z轴信息。仅通过观察几个相邻切片很难区分真腔和假腔，因此长距离z方向信息交互对于精确分割主动脉夹层是必要的。3)此外，尽管之前几乎所有基于学习的方法都使用了级联网络结构，但受到多阶段范式的限制，它们都没有重用第一个网络在第二个网络中学习到的特征，这使得级联结构的强大表示能力没有得到充分利用。4)此外，从数据角度来看，所有以前的工作都没有评估仅使用一个中心训练的模型的多中心性能以及有无血栓病例的各自性能。
5.鉴于此，实有必要提供一种带有内膜瓣注意力模块的主动脉夹层分割方法以克服上述缺陷。
技术实现要素：6.本发明的目的是提供一种带有内膜瓣注意力模块的主动脉夹层分割方法，能够提升分割精度，和在复杂的多中心测试集上表现出很强的泛化能力，有助于主动脉夹层的诊
断和个体化治疗。
7.为了实现上述目的，本发明提供一种带有内膜瓣注意力模块的主动脉夹层分割方法，包括如下步骤：
8.s1、对主动脉体积上下采样形成3d的ct图像，提取ct图像中的体素并进行立方形态学开运算；
9.s2、在ct图像中的主动脉夹层上标注真腔m
tl
和假腔m
fl
，使用形态扩张操作生成内膜瓣标注m
flap
：利用生成的内膜瓣标注m
flap
作为监督，训练第一u-net神经网络来预测生成内膜瓣掩码及内膜瓣置信度图，
10.将主动脉夹层待分割的体素输入第一u-net神经网络中进行训练得到预测结果，计算出第一u-net神经网络输出的预测内膜瓣和内膜瓣标注之间的dice损失函数并进行反向传播，得到第一u-net神经网络的模型；
11.s3、将经过第一u-net神经网络预测生成的内膜瓣掩码输入至第二u-net神经网络进行更加平滑有效地训练；
12.利用第一u-net神经网络预测的内膜瓣置信度图，选择每个切片具有前n个最高置信度的体素作为关键内膜瓣体素，将所有关键内膜瓣体素进行叠加并输入到第二u-net神经网络的内膜瓣注意力模块的transformer编码器层，经过内膜瓣注意力模块上下采样过程得到预测结果，计算预测内膜瓣和内膜瓣标注之间的损失并进行反向传播来优化模型训练，得到最终网络模型进行分割。
13.优选的，ct图像在经过第一u-net神经网络的每一个编码器块后将使用最大池化算子进行下采样操作，最后一个编码器块输出经过一个上采样后输入第一u-net神经网络的第一个解码器块，之后每一个解码器块之前要对ct图像进行一次上采样操作。
14.优选的，步骤s2中所述的形态扩张操作的公式如下，
[0015][0016]
其中，表示形态膨胀算子，e表示3
×3×
3立方结构单元。
[0017]
优选的，在第二u-net神经网络的相邻编码器块之间采用最大池化算子进行下采样，相应的在解码器中的每个特征映射块进行两次上采样，与具有相同分辨率的相应编码器块的特征映射块串联，以聚合更精确的定位信息。
[0018]
优选的，使用优化器对第一u-net神经网络和第二u-net神经网络进行50轮的训练，初始学习率为5e-4，权重衰减为2e-4，批大小设置为1，使用softmax函数和dice损失函数计算预测与背景、真腔、假腔和分支血管的内膜瓣标注之间的损失。
[0019]
与现有技术相比，有益效果在于：根据主动脉夹层的ct图像自动分割真腔、假腔、分支血管和内膜瓣，并利用沿弯曲主动脉的长距离z轴信息获得了比其他主动脉夹层分割方法分割精度更高的优点，并且在复杂的多中心测试集上表现出很强的泛化能力，有助于主动脉夹层的诊断和个体化治疗。
附图说明
[0020]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对
范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0021]
图1为本发明提供的带有内膜瓣注意力模块的主动脉夹层分割方法的流程图。
具体实施方式
[0022]
为了使本发明的目的、技术方案和有益技术效果更加清晰明白，以下结合附图和具体实施方式，对本发明进行进一步详细说明。应当理解的是，本说明书中描述的具体实施方式仅仅是为了解释本发明，并不是为了限定本发明。
[0023]
需要理解的是，术语“左”、“右”、仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。此外，“多个”、“若干”的含义是指两个或两个以上，除非另有明确具体的限定。
[0024]
请参阅图1，本发明提供一种带有内膜瓣注意力模块的主动脉夹层分割方法，该带有内膜瓣注意力机制的主动脉夹层分割方法建立在3d u-net网络的基础上，用于自动分割主动脉的真腔、假腔、分支血管和内膜瓣，包括如下步骤：
[0025]
s1、对主动脉体积上下采样(向下采样50％，z轴长度限制为512)形成3d的ct图像，为了裁剪出不包含主动脉的ct图像体素部分，提取ct图像800-1600hu范围内的所有体素，并对其进行了3
×3×
3立方形态学开运算，其最大连接分量的x-y中心近似于主动脉区域的x-y中心。
[0026]
因此，在近似的x-y中心周围用一个128
×
128的主动脉区域提取不多于512个切片，只有该主动脉区域的体素参与分割过程，主动脉区域以外的其他体素直接作为背景。
[0027]
s2、在ct图像中的主动脉夹层上标注真腔m
tl
和假腔m
fl
，使用以下形态扩张操作生成内膜瓣标注m
flap
：
[0028][0029]
其中，表示形态膨胀算子，e表示3
×3×
3立方结构单元，利用生成的内膜瓣标注作为监督，训练第一u-net神经网络来预测生成内膜瓣掩码及内膜瓣置信度图。
[0030]
需要说明的是，内膜瓣作为真腔和假腔之间的分隔物，内膜瓣对真腔和假腔的分离非常重要。与以往只关注主动脉腔的分割方法不同，我们旨在引导带有内膜瓣注意力模块的主动脉夹层分割方法明确感知主动脉的内膜瓣。
[0031]
第一u-net神经网络由4个基本的编码器块和3个解码器块组成。每个基本的编码器块由两个3
×3×
3卷积层，一个校正线性层(relu)和一个组归一化层(bn)组成。
[0032]
ct图像在经过每一个编码器块后将使用最大池化算子进行下采样操作，最后一个编码器块输出经过一个上采样后输入第一个解码器块，之后每一个解码器块之前要对ct图像进行一次上采样操作。
[0033]
为了更好的融合多尺度信息，在上下采样过程中对具有相同分辨率的编码器特征和解码器特征映射串联，通过上述步骤将主动脉待分割的体素输入第一u-net神经网络中进行训练得到预测结果，计算出第一u-net神经网络输出的预测内膜瓣和内膜瓣标注之间的dice损失函数并进行反向传播，直到第一u-net神经网络收敛或达到预定的训练次数，最
终得到第一u-net神经网络的模型，此时第二个u-net网络及其输出卷积层不执行也不更新。
[0034]
s3、将经过第一u-net神经网络预测生成的内膜瓣掩码输入至第二u-net神经网络进行更加平滑有效地训练；
[0035]
第二u-net神经网络由4个基本的编码器块和3个解码器块组成，每个基本的编码器块由两个3
×3×
3卷积层，一个校正线性层(relu)和一个组归一化层(bn)和内膜瓣注意力模块组成。
[0036]
在第二u-net神经网络的相邻编码器块之间采用最大池化算子进行下采样，相应的在解码器中的每个特征映射块上进行两次上采样，然后与具有相同分辨率的相应编码器块上的特征映射块串联，以聚合更精确的定位信息。
[0037]
需要说明的是，编码器块的通道数分别加倍或减半，相应的编码器块的分辨率减半或加倍，第二u-net神经网络与第一u-net神经网络训练时最大的不同在于内膜瓣注意力模块。
[0038]
具体的，利用第一u-net神经网络预测的内膜瓣置信度图，选择每个切片具有前n个最高置信度的体素作为关键内膜瓣体素，将所有切片中的关键内膜瓣体素进行叠加并输入到第二u-net神经网络的内膜瓣注意力模块的transformer编码器层，
[0039]
通过transformer编码器层将这些关键内膜瓣体素经过融合和细化，将语义和上下文信息更丰富的细化关键内膜瓣体素放置在其原始位置，第二u-net神经网络中的卷积层逐步将这些关键内膜瓣体素的聚合信息传播到其他相邻体素。
[0040]
因此，以关键内膜瓣体素为信源实现沿主动脉的长距离特征聚集，经过第二u-net神经网络的内膜瓣注意力模块上下采样过程得到预测结果，计算预测内膜瓣和内膜瓣标注之间的损失并进行反向传播来优化模型训练，达到预定的训练次数后得到最终网络模型对主动脉夹层进行分割，聚集来自主动脉夹层上下部分的信息并减轻主动脉弯曲带来的干扰。
[0041]
对于上述的两个训练步骤，使用adam优化器对网络进行50轮的训练，初始学习率为5e-4，权重衰减为2e-4，批大小设置为1，使用softmax函数和dice损失函数计算预测与背景、真腔、假腔和分支血管的内膜瓣标注之间的损失。
[0042]
特别是，由于生成的内膜瓣并非不同于其他类别(例如背景、真腔、假腔)，预测内膜瓣的损失使用sigmoid函数和dice损失函数单独计算，得到真腔、假腔、分支血管和内膜瓣的损失权重分别为0.3、0.3、0.3和0.1。
[0043]
最后，在测试过程中，只有第二个u-net神经网络及其输出卷积层的输出被视为最终预测，因为第二个u-net神经网络捕获的特征更精细。
[0044]
对于数据集，我们将数据集的全部数据分为两个子集，第一个子集为仅在一家医院的68例案例设为训练集；第二个子集为将来自四个诊治中心的40个案例(每个诊治中心10个案例)进行测试，以便用于带有内膜瓣注意力机制的主动脉夹层分割方法调整超参数进行最终测试。
[0045]
此外，为了充分利用开发拆分的有限案例来探索新方法，我们在开发阶段采用了四重交叉验证，所有结果均在测试集上进行了测试。
[0046]
本发明并不仅仅限于说明书和实施方式中所描述，因此对于熟悉领域的人员而言
可容易地实现另外的优点和修改，故在不背离权利要求及等同范围所限定的一般概念的精神和范围的情况下，本发明并不限于特定的细节、代表性的设备和这里示出与描述的示例。
技术特征：1.一种带有内膜瓣注意力模块的主动脉夹层分割方法，其特征在于，包括如下步骤：s1、对主动脉体积上下采样形成3d的ct图像，提取ct图像中的体素并进行立方形态学开运算；s2、在ct图像中的主动脉夹层上标注真腔m
tl
和假腔m
fl
，使用形态扩张操作生成内膜瓣标注m
flap
：利用生成的内膜瓣标注m
flap
作为监督，训练第一u-net神经网络来预测生成内膜瓣掩码及内膜瓣置信度图，将主动脉夹层待分割的体素输入第一u-net神经网络中进行训练得到预测结果，计算出第一u-net神经网络输出的预测内膜瓣和内膜瓣标注之间的dice损失函数并进行反向传播，得到第一u-net神经网络的模型；s3、将经过第一u-net神经网络预测生成的内膜瓣掩码输入至第二u-net神经网络进行更加平滑有效地训练；利用第一u-net神经网络预测的内膜瓣置信度图，选择每个切片具有前n个最高置信度的体素作为关键内膜瓣体素，将所有关键内膜瓣体素进行叠加并输入到第二u-net神经网络的内膜瓣注意力模块的transformer编码器层，经过内膜瓣注意力模块上下采样过程得到预测结果，计算预测内膜瓣和内膜瓣标注之间的损失并进行反向传播来优化模型训练，得到最终网络模型进行分割。2.如权利要求1所述的带有内膜瓣注意力机制的主动脉夹层分割方法，其特征在于，ct图像在经过第一u-net神经网络的每一个编码器块后将使用最大池化算子进行下采样操作，最后一个编码器块输出经过一个上采样后输入第一u-net神经网络的第一个解码器块，之后每一个解码器块之前要对ct图像进行一次上采样操作。3.如权利要求1所述的带有内膜瓣注意力机制的主动脉夹层分割方法，其特征在于，步骤s2中所述的形态扩张操作的公式如下，其中，表示形态膨胀算子，e表示3
×3×
3立方结构单元。4.如权利要求1所述的带有内膜瓣注意力机制的主动脉夹层分割方法，其特征在于，在第二u-net神经网络的相邻编码器块之间采用最大池化算子进行下采样，相应的在解码器中的每个特征映射块进行两次上采样，与具有相同分辨率的相应编码器块的特征映射块串联，以聚合更精确的定位信息。5.如权利要求1所述的带有内膜瓣注意力机制的主动脉夹层分割方法，其特征在于，使用优化器对第一u-net神经网络和第二u-net神经网络进行50轮的训练，初始学习率为5e-4，权重衰减为2e-4，批大小设置为1，使用softmax函数和dice损失函数计算预测与背景、真腔、假腔和分支血管的内膜瓣标注之间的损失。
技术总结本发明公开了一种带有内膜瓣注意力模块的主动脉夹层分割方法，包括如下步骤：对主动脉体积上下采样形成3D的CT图像，提取CT图像中的体素并进行立方形态学开运算；在CT图像中的主动脉夹层上标注真腔M
技术研发人员：郑传胜 王兴刚 赵煌旋 向东桥 齐继扬 文一晴 刘文予 杨帆
受保护的技术使用者：华中科技大学同济医学院附属协和医院
技术研发日：2022.07.20
技术公布日：2022/11/1
