1.本发明应用于组织病理图像分析技术中病灶区域预测问题。
背景技术：2.随着机器学习和深度学习方法的不断发展，计算机辅助诊断技术(cad)在癌症早期的自动诊断方面取得了巨大的进步。cad可以帮助医生和病理学家分析组织病理学图像，从而降低诊断成本。通过与深度学习的结合，cad技术逐渐为医生的“第三只眼”，大大提高了医生诊断的敏感性和特异性。但这种系统在分析组织病理学图像时面临一些挑战：1.组织病理图像阳性区域只占一小部分，存在大背景和大量阴性图块；2.组织病理图像包含复杂的模式和纹理，需要采取不同于自然图像的处理方式进行识别；3.组织病理图像存在颜色变化和伪影。因此，如何充分利用表型信息，提高病理图像分类效果仍是一个值得研究的问题。
3.细胞核和细胞质的结构外观信息是组织病理图像表型信息的重要体现。在制备组织切片时，通常使用h&e染色使细胞核和细胞质的颜色产生强烈对比。通过颜色反卷积获得的色彩信息来观察细胞核和细胞质的结构外观变化，使病理图像分类过程集中关注细胞核和细胞质的结构特征，提高组织病理图像分类结果的准确性。采取自适应颜色反卷积，综合考虑了色斑的特异性、比例和整体强度等先验知识，可以降低组织病理图像颜色变化和伪影对分类准确度的影响。
4.本文着眼于组织病理图像分类问题，针对组织病理图像表型信息利用不充分的问题，聚焦于细胞核和细胞质信息，提出了基于自适应颜色反卷积的组织病理图像分类网络，即空间染色注意力网络ssanet，该网络结合染色分离技术，提出了空间染色注意力机制，构建了空间染色注意力模块，使网络能够关注图像中经过染色的细胞核和细胞质区域。通过迁移该网络模型实现组织病理图像的病灶区域预测。
技术实现要素：5.本发明的目的是为了解决组织病理图像中病灶区域预测问题，从而提出一种基于染色通道注意力的组织病理图像分类方法。
6.上述发明目的主要是通过以下技术方案实现的：
7.s1.选取组织病理图像数据集，划分数据集：训练集、验证集和测试集；
8.s2.染色注意力图初始化：利用自适应颜色反卷积算法对组织病理图像进行染色分离，提取出苏木精和伊红通道的染色分离图像，利用卷积、池化操作处理染色分离图像获得初始化的染色注意力图；
9.s3.搭建并训练模型：在残差网络主干上的每一个编码层加入空间染色注意力模块，该模块由空间注意力和染色注意力组成；主干后面连接一个分类器；训练时空间染色注意力块可以增强网络对染色信息的关注，不断将更深层次的染色特征馈送入下一层空间染色注意力块；
10.s4.用测试集测试模型，对达到要求的模型迁移到全切片病理图像病变区域检测任务中；否则，回到步骤s3重新训练模型；
11.s5.全视野数字切片病变区域检测：利用步骤s4中获得的模型预测从全视野数字切片(whole slide image，wsi)中裁剪下来的小图块；根据其阳性概率聚合到wsi中，生成对应的热力图，激活响应最高的区域即为可能发生病变的区域。
12.发明效果
13.新提出的模型不同于传统的分类模型，新模型能够关注细胞核和细胞质染色后显著变化的特点；在细胞结构中，细胞核和细胞质经过h&e染色后能产生强烈的颜色对比，通过染色分离来进行组织图像预处理可有效获取细胞核质信息；同时在残差块基础上引入染色注意力并逐层传递，将染色信息馈送到模型深层，从而使分类结果更为精确。使用本发明能够准确地确定病灶区域的位置，可有效地帮助人工智能辅助医学诊断。
附图说明
14.图1为组织病理图像中病灶区域预测流程图；
15.图2为ssanet网络结构示意图；
16.图3为染色注意力图初始化图；
17.图4为空间染色注意力块示意图；
18.图5为wsi病变区域预测效果展示。
19.具体实施方法
20.具体实施方式一：
21.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
22.本文提供的组织病理图像中病灶区域预测方法，如图1，主要包含以下步骤：
23.s1.选取组织病理图像数据集；
24.s2.染色注意力图初始化；
25.s3.搭建并训练模型；
26.s4.测试模型；
27.s5.全视野数字切片病变区域检测。
28.本发明实施例中，首先需要针对组织病理图像具体任务选取对应的数据集，并根据数据集大小划分训练集、验证集和测试集。本发明在resnet模型的基础上对其进行了改进，包括染色注意力模块和空间注意力模块，通过自适应颜色反卷积生成的染色注意力图对模型进行训练，使得模型能够提前掌握细胞核质信息的先验知识。根据任务特点和模型结构设计模型损失函数，可以有效地改善模型的分类效果。
29.下面对本发明实施例进行详细的说明：
30.如图2所示算法的实现包含步骤：
31.s1.选取组织病理图像数据集，划分数据集；
32.选取breakhis人类乳腺组织病理图像数据集；对标记数据进行数据增强，然后划
分训练集、验证集和测试集。
33.s2.染色注意力图初始化：
34.如图3所示进行染色注意力图初始化，利用自适应颜色反卷积算法对组织病理图像进行染色分离，提取出苏木精和伊红通道的染色分离图像，利用卷积、池化操作处理染色分离图像获得初始化的染色注意力图；其中i
st
＝[ih,ie]，]，i
st
为染色分离图像，ih为染色分离h通道图像，ie为染色分离e通道图像，为原始图像尺寸，初始化过程如下式所示：
[0035][0036]
其中，其中，为初始化的染色注意图，为染色h通道注意图，为染色e通道注意图，为染色注意图尺寸，conv 和maxpool分别为卷积操作和最大池化操作。
[0037]
s3.搭建并训练模型；
[0038]
如图一所示搭建并训练模型包含步骤：
[0039]
s31.通过卷积池化操作对输入组织病理图像进行处理得到输入特征图输入到空间染色注意力模块；
[0040]
s32.将步骤s2生成的染色注意力图输入到空间染色注意力模块；
[0041]
s33.搭建空间染色注意力块：如图4所示搭建空间染色注意力块(ssanet)，将步骤s31得到的f输入到残差块，并将残差块输出与空间注意力机制并联，得到中间特征图f
′
；再将f
′
与染色注意力机制并联，得到最终输出特征图f
″
，如以下公式所示：
[0042][0043]
其中，为输入特征图，为输入染色注意图，表示空间注意图，与h、w分别为特征图的尺寸，空间注意图m
sp
(f)经过广播后按元素与特征图f相乘后得到中间特征图征图f相乘后得到中间特征图为染色注意力权重，则表示f
′
与经过广播后按元素相乘后得到的最终输出特征图，输出特征图f
″
为下一个空间染色注意力块的输入特征图，输出染色注意图为下一个空间染色注意力块的输入染色注意图；
[0044]
s34.将16个空间染色注意力块串联，得到7
×
7大小的特征图，然后通过全局平均池化操作得到1
×
1大小的特征图，最后利用全连接层和softmax概率映射层，得到阳性概率；
[0045]
s35.设置模型超参数，输入组织病理图像，训练模型至损失函数收敛，记录查准率，查全率，分类准确率和f1值；
[0046]
s4.测试模型；
[0047]
在测试集上测试训练好的ssanet模型，模型将卷积神经网络输出的特征图经过全局平均池化后，经过全连接层，最后经过softmax回归，得到breskhis组织病理图像分类结
果。分别在breskhis数据集上做阴阳性二分类实验和病变类型八分类实验，验证模型分类准确度。如果达不到任务指标要求，则返回步骤s3中对模型重新训练。
[0048]
s5.全视野数字切片病变区域检测；
[0049]
如图5所示全视野数字切片病变区域检测包含步骤如下：
[0050]
s51.首先分割组织病理wsi的组织区域，然后裁剪组织区域，得到小图块；
[0051]
s52.染色分离：获得小图块的染色分离图像并保存小图块在wsi中的坐标；
[0052]
s53.利用步骤s3中训练好的模型预测步骤s2中提取的染色分离图像，得到小图块对应阳性的概率；
[0053]
s54.将小图块阳性概率按照坐标聚合到相应wsi，即可得到标识可疑病变区域的热力图和掩码图，概率聚合规则如下：
[0054][0055]
其中，x和y为wsi中的像素坐标，v(x,y)表示该像素为肿瘤的概率，n为经过该像素的小图块个数，pi为经过该像素的第i个小图块为肿瘤的概率。
技术特征：1.组织病理图像中病灶区域预测方法，其特征在于，包含如下步骤：s1.选取组织病理图像数据集，划分数据集：训练集、验证集和测试集；s2.染色注意力图初始化：利用自适应颜色反卷积算法对组织病理图像进行染色分离，提取出苏木精和伊红通道的染色分离图像，利用卷积、池化操作处理染色分离图像获得初始化的染色注意力图；s3.搭建并训练模型：在残差网络主干上的每一个编码层加入空间染色注意力模块，该模块由空间注意力和染色注意力组成；主干后面连接一个分类器；训练时空间染色注意力块可以增强网络对染色信息的关注，不断将更深层次的染色特征馈送入下一层空间染色注意力块；s4.用测试集测试模型，对达到要求的模型迁移到全切片病理图像病变区域检测任务中；否则，回到步骤s3重新训练模型；s5.全视野数字切片病变区域检测：利用步骤s4中获得的模型预测从全视野数字切片(whole slide image，wsi)中裁剪下来的小图块；根据其阳性概率聚合回wsi中，生成对应的热力图，激活响应最高的区域即为可能发生病变的区域。2.如权利要求1所述的组织病理图像中病灶区域预测方法，其特征在于，步骤s2中所述的染色注意力图初始化如下：利用自适应颜色反卷积算法对组织病理图像进行染色分离，提取出苏木精和伊红通道的染色分离图像，利用卷积、池化操作处理染色分离图像获得初始化的染色注意力图；其中i
st
＝[i
h
,i
e
]，i
st
为染色分离图像，i
h
为染色分离h通道图像，i
e
为染色分离e通道图像，为原始图像尺寸，初始化过程如下式所示：其中，其中，为初始化的染色注意图，为染色h通道注意图，为染色e通道注意图，为染色注意图尺寸，conv和maxpool分别为卷积操作和最大池化操作。3.如权利要求1所述的组织病理图像中病灶区域预测方法，其特征在于，步骤s3中所述的搭建并训练模型，步骤如下；s31.通过卷积池化操作对输入组织病理图像进行处理得到输入特征图输入到空间染色注意力模块；s32.将步骤s2生成的染色注意力图输入到空间染色注意力模块；s33.搭建空间染色注意力块：将步骤s31得到的f输入到残差块，并将残差块输出与空间注意力机制并联，得到中间特征图f
′
；再将f
′
与染色注意力机制并联，得到最终输出特征图f
″
，如以下公式所示：其中，为输入特征图，为输入染色注意图，表示空间注意图，与h、w分别为特征图的尺寸，空间注意图m
sp
(f)经过广播后按元素与特征图f
相乘后得到中间特征图相乘后得到中间特征图为染色注意力权重，则表示f
′
与经过广播后按元素相乘后得到的最终输出特征图，输出特征图f
″
为下一个空间染色注意力块的输入特征图，输出染色注意图为下一个空间染色注意力块的输入染色注意图；s34.将16个空间染色注意力块串联，得到7
×
7大小的特征图，然后通过全局平均池化操作得到1
×
1大小的特征图，最后利用全连接层和softmax概率映射层，得到阳性概率；s35.设置模型超参数，输入组织病理图像，训练模型至损失函数收敛，记录查准率，查全率，分类准确率和f1值。4.如权利要求1所述的组织病理图像中病灶区域预测方法，其特征在于，步骤s5中全切片病理图像病变区域检测：s41.首先分割组织病理wsi的组织区域，然后裁剪组织区域，得到小图块；s42.染色分离：获得小图块的染色分离图像并保存小图块在wsi中的坐标；s43.利用步骤s3中训练好的模型预测步骤s2中提取的染色分离图像，得到小图块对应阳性的概率；s44.将小图块阳性概率按照坐标聚合到相应wsi，即可得到标识可疑病变区域的热力图和掩码图，概率聚合规则如下：其中，x和y为wsi中的像素坐标，v(x,y)表示该像素为肿瘤的概率，n为经过该像素的小图块个数，p
i
为经过该像素的第i个小图块为肿瘤的概率。
技术总结组织病理图像中病灶区域预测方法，本发明涉及组织病理图像分析诊断技术中，病灶区域难以检测的问题。细胞核和细胞质的结构外观信息是组织病理图像表型信息的重要体现，为其分类提供依据。染色分离是提取组织病理图像特征的关键所在。但组织病理图像存在大量阴性图块、包含复杂的模式和纹理、存在颜色变化和伪影，使得目前仍没有一个准确的阴阳性分类方法。针对这一问题，结合任务的特点，设计了模型，并利用颜色反卷积对组织病理图像进行染色初始化，再将训练好的模型迁移到病灶区域预测任务中，聚合阳性概率生成热力图。实验表明，这种方法能够有效地检测出病灶区域。该方法主要应用于细胞病理图像的病灶区域预测任务。细胞病理图像的病灶区域预测任务。细胞病理图像的病灶区域预测任务。
技术研发人员：谢怡宁 张宇明 陈晓凯 朱银平 龙俊
受保护的技术使用者：东北林业大学
技术研发日：2022.07.11
技术公布日：2022/11/1
