一种基于自注意力机制的弱监督宫颈癌前病变分级方法

1.本发明涉及医学图像处理技术领域，具体涉及一种基于自注意力机制的弱监督宫颈癌前病变分级方法。


背景技术：

2.据2021年1月发表的最新全球癌症统计报告显示，2020年全球女性宫颈癌发病率和死亡率顺位第四，成为仅次于乳腺癌的第二大女性恶性肿瘤，其高发病率和低龄化发病趋势亦越来越引起人们的重视。宫颈癌主要是由hpv病毒感染到发生癌前病变进而发展成浸润性癌的持续病变，定期进行宫颈癌筛查，精准诊断和治疗宫颈癌前病变，可以降低患浸润性癌的风险。宫颈上皮内瘤变(cervical intraepithelial neoplasia,cin)是一组与宫颈浸润癌密切相关的癌前病变的统称，世界卫生组织将其定义为三个等级，精准的癌前病变分级是确定治疗方案的重要前提，与患者的生存及预后紧密相关。临床上以组织病理学检查为病变诊断的金标准，其中涉及大量繁重的病理切片判读任务，诊断准确性高度依赖医生的经验，且病理医生的培养周期长，人才储备缺口巨大，病理科室普遍超负荷工作，因此亟需开展针对宫颈癌前病变分级的计算机辅助诊断(computer aided diagnosis,cad)研究，帮助医生提高诊断工作的精度和速度，缓解病理诊断资源不足的问题。
3.近年来，深度学习方法推动计算机视觉领域取得了巨大的成功。随着显微摄影和全切片扫描技术的发展，病理切片能以数字图像的形式保存下来，使得计算机视觉方法可以用于病理领域。目前已有学者采用深度学习方法对宫颈癌前病变分级进行了一些研究，这些方法大多基于监督学习的方式训练模型，依赖于像素级标注的数据达到了可以比肩病理医生的诊断精度。由于病理数据标注的知识门槛极高且全视野数字切片(whole slide image，wsi)尺寸巨大，导致缺乏像素级标注的公开数据集。相比精细标注的数据，许多医院和科研机构都有大量的粗粒度数据，因此更鼓励探索基于弱监督学习的辅助诊断方法。现有一些基于弱监督学习的模型采用两阶段的训练策略大大增加了计算开销，不能进行端到端的训练。此外，典型的wsi图像达近10亿像素，由于计算量和存储空间的限制导致cnn无法直接应用于整张图像上，主流算法采用分块采样的方法把wsi切成固定尺寸的小块，这些小块可以被送入神经网络提取特征。然而这些方法的全局信息捕获能力仅限于小块，缺乏块间空间信息的编码，导致无法较好地捕获wsi的全局特征，降低了模型从临床相关结构中学习表征的能力。


技术实现要素：

4.为了解决上述现有技术存在的不足，本发明提供了一种基于自注意力机制的弱监督宫颈癌前病变分级方法，用于辅助临床病理医生诊断宫颈癌前病变，缓解病理诊断资源匮乏的窘境。针对所述现有模型不能端到端训练的问题，本发明采用了包和示例的层级模式，将wsi切分成固定尺寸的包和示例以便直接传入特征提取模块；针对现有模型全局信息捕获能力不足的问题，本发明引入自注意力机制编码包间和示例间的空间信息以更好地捕
获图像的全局信息，允许网络在没有任何明确监督的情况下从临床相关组织结构中学习wsi表征，以提高在只有wsi级标注的情况下宫颈癌前病变分级的精度。
5.本发明提供的一种基于自注意力机制的弱监督宫颈癌前病变分级方法，包括如下步骤：
6.步骤s1：病理图像预处理；
7.步骤s2：以包和示例的层级方式将组织病理图像切分成指定大小的切片；
8.步骤s3：使用预训练的卷积神经网络(cnn)提取图像局部特征；
9.步骤s4：使用基于自注意力机制的模型a和b分别编码示例间和包间的关系以增强全局信息捕捉能力，结合全连接层以聚合示例级表征获得包级表征，进而获得全局图像级表征；
10.步骤s5：使用全连接层，结合softmax函数得到分级结果。
11.进一步地，所述步骤s1中所述病理图像预处理具体为：筛选mtchi中宫颈病理图像，剔除组织区域占比小于25％的图像，采用reinhard方法做染色标准化处理，消除染色差异的影响，利用通道滤波器去除图像中的污渍和阴影部分，以中心裁剪方式将图像缩放为固定尺寸(4608*4608)，每张图像包含一个粗粒度的图像级标签(正常/cin1/cin2/cin3)，其中cin1指轻度宫颈上皮内瘤变，cin2指中度宫颈上皮内瘤变，cin3指重度宫颈上皮内瘤变。
12.进一步地，所述步骤s2中所述以包和示例的层级方式将组织病理图像切分成指定大小的切片具体为：利用滑动窗口裁剪经步骤s1得到的图像，首先设置固定尺寸的窗口(768*768)，沿着图像的行与列滑动剪裁，窗口从图像的左上角开始，每次沿着行方向移动768个像素点，共滑动6次，后沿着列方向每次移动768个像素点，共滑动6次，得到36个大小为768*768的包；针对每个包，同样利用上述滑动窗口进行剪裁，设置固定窗口大小为128*128，得到36个128*128的示例。
13.进一步地，所述步骤s3中所述使用预训练的卷积神经网络(cnn)提取图像局部特征具体为：选择在imagenet数据集上预训练的mobilenet-v2模型，迁移其除分类层外的网络结构及预训练参数。
14.进一步地，所述步骤s4中所述使用自注意力机制编码示例间和包间的关系以增强全局信息捕捉能力，结合全连接层以聚合示例级表征获得包级表征，进而获得全局图像级表征具体为：
15.步骤一，针对由步骤s3得到的卷积神经网络特征图b
icnn
代表第i个包经过所述步骤s3的输出，m
×
m代表包中的示例个数，d1代表示例的输出维度，采用步骤s4所述的模型a编码示例间的关系得到模型a的具体结构如下：一个多头自注意力模块和一个前向传播网络，每个模块输入前都利用一个layernorm层进行归一化处理，且都应用了残差连接，由b
icnn
得到b
ihh
计算过程如式(1)～(6)所示：
16.h
′
＝mhsa(q＝b
icnn
′
，k＝b
icnn
′
，v＝b
icnn
′
)
17.＝concat(head1，...，headh)wo#(1)
18.[0019][0020]
h＝h
′
+b
icnn
#(4)
[0021]
ffn(layernorm(h))＝relu(layernorm(h)β1)β2#(5)
[0022]bihh
＝ffn(layernorm(h))+h#(6)
[0023]
其中，所述模型a中的多头自注意力模块在有限的dh维空间中编码示例间的关系，前向传播网络包含两个线性层，带有权重为的第一个线性层将输入从dm维扩展到df维，带有权重为的第二个线性层将其从df维变换回dm维以此学习更广泛的表示；
[0024]
步骤二，将由步骤一得到的示例级表征传入一个全连接层以获得包级表征
[0025]
步骤三，针对由步骤二得到的包级表征b
hb
代表所有包经过所述步骤二的输出，n
×
n代表1张图像中包的个数，d3代表包级表征的维度，采用步骤s4所述的模型b编码包间的关系得到编码包间的关系得到模型b的具体结构如下：一个多头自注意力模块和一个前向传播网络，每个模块输入前都利用一个layernorm层进行归一化处理，且都应用了残差连接，由b
hb
得到b
bb
计算过程如式(7)～(10)所示：
[0026]m′
＝mhsa(q＝b
hb
′
，k＝b
hb
′
，v＝b
hb
′
)
[0027]
＝concat(head1，...，headh)wo#(7)
[0028]
m＝m
′
+b
hb
#(8)
[0029]
ffn(layernorm(m))＝relu(layernorm(m)β1)β2#(9)
[0030]bbb
＝ffn(layernorm(m)+m)#(10)
[0031]
其中，所述模型b中的多头注意力模块在有限的dh维空间中编码包间的关系，前向传播网络包含两个线性层，带有权重为的第一个线性层将输入从dm维扩展到df维，带有权重为的第二个线性层将其从df维变换回dm维以此学习更广泛的表示；
[0032]
步骤四，将由步骤三得到的包级表征传入一个全连接层以聚合包间表示进而获得图像级表征
[0033]
进一步地，所述步骤s5中所述使用全连接层，结合softmax函数得到分级结果具体为：以输出的最大置信概率对应的级别作为分级结果。
[0034]
进一步地，多头注意力机制中h＝8，训练模型采用adam优化器，利用warm-up策略在初始的500次迭代中学习率由10-7
上升到10-4
，之后先以10-4训练前50个epoch，衰减一半后再训练剩余的50个epoch。
[0035]
本发明的有益效果在于：
[0036]
本发明提供了一种基于自注意力机制的弱监督宫颈癌前病变分级方法，利用易于获得的粗粒度标注数据训练弱监督网络模型，克服像素级标注数据稀缺的问题；采用包和示例的层级方式打破wsi尺寸巨大的局限，并使得模型可以进行端到端的训练；引入自注意
力机制编码包间和示例间的空间信息以更好地捕获图像的全局信息，允许网络在没有任何明确监督的情况下从临床相关组织结构中学习wsi表征，在分级诊断精度上有了较为明显的提升，可以辅助临床病理医生的诊断工作，提升诊断的效率和精度，同时缓解病理诊断资源不足的问题。
附图说明
[0037]
图1为本发明的方法步骤示意图；
[0038]
图2为本发明中的病理图像预处理流程示意图；
[0039]
图3为本发明中所用特征提取网络mobilenet-v2核心层bottleneck residual block的结构示意图；
[0040]
图4为本发明中模型a(b)的结构图；
[0041]
图5为本发明的整体工作流程图。
具体实施方式
[0042]
为了能够更清楚地理解本发明的上述目的、技术方案和效果，下文中将结合附图和具体实施方式对本发明进行清楚、完整描述。需要说明的是，在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于再次描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
[0043]
如图1所示，一种基于自注意力机制的弱监督宫颈癌前病变分级方法，包括如下步骤：
[0044]
步骤s1：病理图像预处理。
[0045]
本实例中，采用如图2所示的方法对公开的mtchi宫颈病理图像数据集进行预处理。筛选mtchi中宫颈病理图像，剔除组织区域占比小于25％的图像；采用reinhard方法做染色标准化处理，消除染色差异的影响，利用通道滤波器去除图像中的污渍和阴影部分；由于图像大小不一，为充分利用计算资源，以中心裁剪方式将图像缩放为固定尺寸(4608*4608)，每张图像包含一个粗粒度的图像级标签(正常/cin1/cin2/cin3)，其中cin1指轻度宫颈上皮内瘤变，cin2指中度宫颈上皮内瘤变，cin3指重度宫颈上皮内瘤变；由于样本量较小，本发明还对训练图像进行了一系列数据增强操作以缓解过拟合的问题，包括旋转90度、180度、270度、水平翻转、垂直翻转操作，最终得到了108张带有正常标签，88张带有cin1标签，90张带有cin2标签，100张带有cin3标签，共计386张图像的训练数据。
[0046]
步骤s2：以包和示例的层级方式将组织病理图像切分成指定大小的切片。
[0047]
本实例中，由于计算量和存储空间的限制导致cnn无法直接应用于整张图像上，因此利用滑动窗口裁剪经步骤s1得到的图像，首先设置固定尺寸的窗口(768*768)，沿着图像的行与列滑动剪裁，窗口从图像的左上角开始，每次沿着行方向移动768个像素点，共滑动6次，后沿着列方向每次移动768个像素点，共滑动6次，得到36个大小为768*768的包；针对每个包，同样利用上述滑动窗口进行剪裁，设置固定窗口大小为128*128，得到36个128*128的示例，最终每张图像包含36个包，每个包有36个示例，在本实例中限定1张图像所含有包的数量必须等于1个包中所含示例的个数。
[0048]
步骤s3：使用预训练的卷积神经网络(cnn)提取图像局部特征。
[0049]
本实例中，选择在imagenet数据集上预训练的mobilenet-v2模型，迁移其除分类层外的网络结构及预训练参数提取经步骤s2得到每个包中示例的特征采用预训练网络可以加快训练时的收敛速度。所述mobilenet-v2提出一种新型层结构：具有线性瓶颈的残差结构，该模块首先将输入的低维压缩表示扩展到高维以提升通道数获得更多的特征，使用轻量级深度卷积提取特征，随后用linearbottleneck将特征投影回低维压缩表示而不采用relu以防止破坏特征，在自然图像和医学图像领域均取得了优异表现，模型核心层bottleneck residualblock的结构示意图如图3所示。
[0050]
步骤s4：使用基于自注意力机制的模型a和b分别编码示例间和包间的关系以增强全局信息捕捉能力，结合全连接层以聚合示例级表征获得包级表征，进而获得全局图像级表征。
[0051]
本实例中，具体实现过程如下：
[0052]
步骤一，针对由步骤s3得到的卷积神经网络特征图b
icnn
代表第i个包经过所述步骤s3的输出，6
×
6代表包中的示例个数，1280代表示例的输出维度，采用步骤s4所述的模型a编码示例间的关系得到6
×
6代表包中的示例个数，256代表示例的输出维度，模型a的具体结构如图4所示：主要由一个多头自注意力模块和一个前向传播网络构成，每个模块输入前都利用一个layernorm层进行归一化处理，且都应用了残差连接，由b
icnn
得到b
ihh
计算过程如式(1)～(6)所示：
[0053]h′
＝mhsa(q＝b
icnn
′
，k＝b
icnn
′
，v＝b
icnn
′
)
[0054]
＝concat(head1，...，headh)wo#(1)
[0055][0056][0057]
h＝h
′
+b
icnn
#(4)
[0058]
ffn(layernorm(h))＝relu(layernorm(h)β1)β2#(5)
[0059]bihh
＝ffn(layernorm(h))+h#(6)
[0060]
其中，所述模型a中的多头注意力模块在有限的dh＝32维空间中编码示例间的关系，前向传播网络包含两个线性层，带有权重为的第一个线性层将输入从256维扩展到1024维，带有权重为带有权重为的第二个线性层将其从1024维变换回256维以此学习更广泛的表示；
[0061]
步骤二，将由步骤一得到的示例级表征传入一个全连接层以获得包级表征包级表征
[0062]
步骤三，针对由步骤二得到的包级表征b
hb
代表所有包经过所述步骤二的输出，6
×
6代表1张图像中包的个数，256代表包级表征的维度，采用步骤s4所述的模型b编码包间的关系得到型b编码包间的关系得到模型b的具体结构如图4所示：主要由一个多头自注意力模块和一个前向传播网络构成，每个模块输入前都利用一个layernorm层进行归一化
处理，且都应用了残差连接，由b
hb
得到b
bb
计算过程如式(7)～(10)所示：
[0063]m′
＝mhsa(q＝b
hb
′
，k＝b
hb
′
，v＝b
hb
′
)
[0064]
＝concat(head1，...，headh)wo#(7)
[0065]
m＝m
′
+b
hb
#(8)
[0066]
ffn(layernorm(m))＝relu(layernorm(m)β1)β2#(9)
[0067]bbb
＝ffn(layernorm(m)+m)#(10)其中，所述模型b中的多头注意力模块在有限的dh＝32维空间中编码包间的关系，前向传播网络包含两个线性层，带有权重为的第一个线性层将输入从256维扩展到1024维，带有权重为的第二个线性层将其从1024维变换回256维以此学习更广泛的表示；
[0068]
步骤四，将由步骤三得到的包级表征传入一个全连接层以聚合包间表示进而获得图像级表征
[0069]
步骤s5：使用全连接层，结合softmax函数得到分级结果。
[0070]
本实例中，利用线性操作将由步骤s4得到的变换为然后通过softmax函数，以输出的最大置信概率对应的级别作为分级结果。
[0071]
本实例中，一种基于自注意力机制的弱监督宫颈癌前病变分级方法的整体工作流程如图5所示。采用adam优化器进行端到端的训练，利用warm-up策略在初始的500次迭代中学习率由10-7
上升到10-4
，之后先以10-4
训练前50个epoch，衰减一半后再训练剩余的50个epoch，与基准方法相比，本发明在分级准确率上有明显提高。
[0072]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于自注意力机制的弱监督宫颈癌前病变分级方法，其特征在于，包括如下步骤：步骤s1：病理图像预处理；步骤s2：以包和示例的层级方式将组织病理图像切分成指定大小的切片；步骤s3：使用预训练的卷积神经网络(cnn)提取图像局部特征；步骤s4：使用基于自注意力机制的模型a和b分别编码示例间和包间的关系以增强全局信息捕捉能力，结合全连接层以聚合示例级表征获得包级表征，进而获得全局图像级表征；步骤s5：使用全连接层，结合softmax函数得到分级结果。2.如权利要求1所述的一种基于自注意力机制的弱监督宫颈癌前病变分级方法，其特征在于，步骤s1中所述病理图像预处理具体为：筛选mtchi中宫颈病理图像，剔除组织区域占比小于25％的图像，采用reinhard方法做染色标准化处理，利用通道滤波器去除图像中的污渍和阴影部分，以中心裁剪方式将图像缩放为固定尺寸，每张图像包含一个粗粒度的图像级标签。3.如权利要求1所述的一种基于自注意力机制的弱监督宫颈癌前病变分级方法，其特征在于，步骤s2中所述以包和示例的层级方式将组织病理图像切分成指定大小的切片具体为：利用滑动窗口裁剪经步骤s1得到的图像，首先设置固定尺寸的窗口，沿着图像的行与列滑动剪裁。4.如权利要求1所述的一种基于自注意力机制的弱监督宫颈癌前病变分级方法，其特征在于，步骤s3中所述使用预训练的卷积神经网络(cnn)提取图像局部特征具体为：选择在imagenet数据集上预训练的mobilenet-v2模型，迁移其除分类层外的网络结构及预训练参数。5.如权利要求1所述的一种基于自注意力机制的弱监督宫颈癌前病变分级方法，其特征在于，步骤s4中所述使用自注意力机制编码示例间和包间的关系以增强全局信息捕捉能力，结合全连接层以聚合示例级表征获得包级表征，进而获得全局图像级表征具体为：步骤一，针对由步骤s3得到的卷积神经网络特征图采用步骤s4所述的模型a编码示例间的关系得到步骤二，将由步骤一得到的示例级表征传入一个全连接层以获得包级表征步骤三，针对由步骤二得到的包级表征采用步骤s4所述的模型b编码包间的关系得到步骤四，将由步骤三得到的包级表征传入一个全连接层以聚合包间表示进而获得图像级表征。6.如权利要求5所述的一种基于自注意力机制的弱监督宫颈癌前病变分级方法，其特征在于，模型a的具体结构如下：一个多头自注意力模块和一个前向传播网络，每个模块输入前都利用一个layernorm层进行归一化处理，且都应用了残差连接，由b
icnn
得到b
ih h
计算过程如式(1)～(6)所示：h
′
＝mhsa(q＝b
icnn
′
,k＝b
icnn
′
,v＝b
icnn
′
)
＝concat(head1,
…
,head
h
)w
o
#(1)#(1)h＝h
′
+b
icnn
#(4)ffn(layernorm(h))＝relu(layernorm(h)β1)β2#(5)b
ihh
＝ffn(layernorm(h))+h#(6)。7.如权利要求5所述的一种基于自注意力机制的弱监督宫颈癌前病变分级方法，其特征在于，模型b的具体结构如下：一个多头自注意力模块和一个前向传播网络，每个模块输入前都利用一个layernorm层进行归一化处理，且都应用了残差连接，由b
hb
得到b
bb
计算过程如式(7)～(10)所示：m'＝mhsa(q＝b
hb
′
,k＝b
hb
′
,v＝b
hb
′
)＝concat(head1,
…
,head
h
)w
o
#(7)m＝m
′
+b
hb
#(8)ffn(layernorm(m))＝relu(layernorm(m)β1)β2#(9)b
bb
＝ffn(layernorm(m)+m)#(10) 。8.如权利要求1所述的一种基于自注意力机制的弱监督宫颈癌前病变分级方法，其特征在于，步骤s5中所述使用全连接层，结合softmax函数得到分级结果具体为：以输出的最大置信概率对应的级别作为分级结果。9.如权利要求1所述的一种基于自注意力机制的弱监督宫颈癌前病变分级方法，其特征在于，多头注意力机制中h＝8,训练模型采用adam优化器，利用warm-up策略在初始的500次迭代中学习率由10-7
上升到10-4
，之后先以10-4
训练前50个epoch，衰减一半后再训练剩余的50个epoch。

技术总结
本发明适用于医学图像处理技术领域，提供了一种基于自注意力机制的弱监督宫颈癌前病变分级方法，包括如下步骤：步骤S1：病理图像预处理；步骤S2：以包和示例的层级方式将组织病理图像切分成指定大小的切片；步骤S3：使用预训练的卷积神经网络(CNN)提取图像局部特征；步骤S4：使用基于自注意力机制的模型A和B分别编码示例间和包间的关系以增强全局信息捕捉能力，结合全连接层以聚合示例级表征获得包级表征，进而获得全局图像级表征；步骤S5：使用全连接层，结合Softmax函数得到分级结果。本发明可以在只有图像级标注的情况下对宫颈癌前病变进行有效分级，辅助临床病理医生的诊断工作，缓解医疗资源紧张的问题。缓解医疗资源紧张的问题。缓解医疗资源紧张的问题。


技术研发人员：石磊 徐静 张亚萌 高宇飞
受保护的技术使用者：郑州大学
技术研发日：2022.04.25
技术公布日：2022/11/1