本公开涉及人工智能、深度学习、医学影像处理，具体涉及一种针对wsi图像的乳腺癌分类方法、电子设备。
背景技术：
1、乳腺癌已经成为女性最常见的恶性肿瘤之一。乳腺癌的诊断主要依靠乳腺触诊、乳腺超声、乳腺钼靶以及病理学检查，其中病理学检查作为诊断的金标准，主要依赖全视野数字切片（whole slide image，wsi）图像。wsi图像尺寸较大，相比之下乳腺癌肿瘤面积占比很小，需要从大面积wsi图像中定位小面积的肿瘤区域。因此，针对乳腺癌的wsi图像诊断耗时明显，效率较低。
2、传统的wsi乳腺癌肿瘤自动分类方法主要依靠手工特征，包括wsi图像的纹理、颜色、各方向梯度、超像素颜色直方图等，手工特征的设计直接影响分类的准确率。
技术实现思路
1、鉴于上述问题，本公开提供了一种针对wsi图像的乳腺癌分类方法、电子设备，通过深度学习技术对wsi图像进行分析，进而实现乳腺癌的准确分类。
2、根据本公开的第一个方面，提供了一种针对wsi图像的乳腺癌分类方法，该方法由电子设备执行，方法包括：对预处理后的原始wsi图像进行区域分割，得到wsi图像，其中，wsi图像包括多个wsi图像块；将wsi图像输入分类模型的图像编码分支，输出wsi图像的图像特征；将目标元数据输入分类模型的文本编码分支，输出文本特征，其中，目标元数据 与wsi图像对应；将图像特征和文本特征输入分类模型的互特征分类分支，输出第一分类结果，其中，第一分类结果包括每个wsi图像块的乳腺癌分类结果；按照wsi图像块在wsi图像中的分割位置，拼接每个wsi图像块的乳腺癌分类结果，得到第二分类结果。
3、根据本公开的实施例，图像编码分支包括一个提示词生成模块和堆叠的n个自适应特征加权模块，n为大于等于2的正整数；将wsi图像输入分类模型的图像编码分支，输出wsi图像的图像特征，包括：将第n个自适应特征加权模块输出的第一初始图像特征进行全局池化，确定初始池化特征；将初始池化特征输入提示词生成模块，输出提示词特征；融合第一初始图像特征和提示词特征，得到第二初始图像特征，并将第二初始图像特征作为图像编码分支输出的图像特征；其中，第1个自适应特征加权模块的输入为wsi图像，剩余n-1个自适应特征加权模块的输入为根据上一个自适应特征加权模块输出的第一初始图像特征和提示词特征确定的第二初始图像特征。
4、根据本公开的实施例，自适应特征加权模块包括自注意力分支和自适应残差分支；方法还包括：自注意力分支通过堆叠的自注意力模块、第一卷积层和第一多层感知器对自适应特征加权模块的输入特征进行处理，得到注意力特征；自适应残差分支通过两组堆叠的第二卷积层对输入特征进行处理，得到像素级权重；利用像素级权重对注意力特征进行筛选，得到第一初始图像特征。
5、根据本公开的实施例，互特征分类分支包括第一交叉注意力模块、第二交叉注意力模块、第二多层感知器和激活层；将图像特征和文本特征输入分类模型的互特征分类分支，输出第一分类结果，包括：将图像特征作为第一交叉注意力模块的第一数据源、将文本特征作为第一交叉注意力模块的第二数据源，基于交叉注意力机制确定第一融合特征；将文本特征作为第二交叉注意力模块的第一数据源、将图像特征作为第二交叉注意力模块的第二数据源，基于交叉注意力机制确定第二融合特征；将第一融合特征和第二融合特征输入第二多层感知器，输出增强后的分类特征；将分类特征输入激活层，输出第一分类结果。
6、根据本公开的实施例，文本编码分支包括m个堆叠的元数据特征提取模块，m为大于等于2的正整数；将目标元数据输入分类模型的文本编码分支，输出文本特征，包括：通过m个堆叠的元数据特征提取模块，从目标元数据中挖掘出与乳腺癌相关的分类特征；其中，目标元数据包括p个属性，属性用于描述wsi图像所属对象的乳腺癌特征。
7、根据本公开的实施例，元数据特征提取模块包括堆叠的图卷积层和线性层，图卷积层的输入为元数据特征提取模块的输入，线性层的输出与图卷积层的输入残差连接，得到元数据特征提取模块的输出；其中，图卷积层包括与p个属性对应的p个节点，p个节点之间节点关系是经过训练后得到的。
8、根据本公开的实施例，分类模型的损失函数包括交叉熵损失和相似度损失，其中，相似度损失用于表征图像特征和文本特征之间的语义相似度。
9、根据本公开的实施例，相似度损失是根据下述方法计算的：将图像特征和文本特征分别输入激活层，分别得到图像模态的第一特征和文本模态的第二特征；将第一特征和第二特征之间的语义相似度作为相似度损失。
10、根据本公开的实施例，对预处理后的原始wsi图像进行区域分割，得到wsi图像包括：通过扫描仪器获取病理切片的原始wsi图像；利用预设染色算法统一原始wsi图像的染色分布，得到第一wsi图像；对第一wsi图像进行区域分割，得到第二wsi图像，其中，第二wsi图像包括多个预设尺寸wsi图像块；从多个图像块中删除具有预设图像特征的图像块，得到wsi图像。
11、本公开的第二方面提供了一种针对wsi图像的乳腺癌分类装置，设置于电子设备内，装置包括：预处理模块，用于对预处理后的原始wsi图像进行区域分割，得到wsi图像，其中，wsi图像包括多个wsi图像块；图像处理模块，用于将wsi图像输入分类模型的图像编码分支，输出wsi图像的图像特征；文本处理模块，用于将目标元数据输入分类模型的文本编码分支，输出文本特征，其中，目标元数据 与wsi图像对应；融合模块，用于将图像特征和文本特征输入分类模型的互特征分类分支，输出第一分类结果，其中，第一分类结果包括每个wsi图像块的乳腺癌分类结果；拼接模块，用于按照wsi图像块在wsi图像中的分割位置，拼接每个wsi图像块的乳腺癌分类结果，得到第二分类结果。
12、本公开的第三方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个计算机程序，当一个或多个处理器执行一个或多个计算机程序时以实现根据上述针对wsi图像的乳腺癌分类方法的步骤。
13、本公开的第四方面还提供了一种计算机可读存储介质，其上存储有计算机程序或指令，计算机程序或指令被处理器执行时实现根据上述针对wsi图像的乳腺癌分类方法的步骤。
14、本公开的第五方面还提供了一种计算机程序产品，包括计算机程序或指令，计算机程序或指令被处理器执行时实现根据上述针对wsi图像的乳腺癌分类方法的步骤。
15、本公开的实施例通过分类模型提取图像模态和文本模态的特征，并进行多模态融合，进而能够利用更丰富的多模态数据进行乳腺癌分类，从而提高了分类的准确性和分类效率。此外，对于具有较大尺寸的wsi图像，在利用分类模型进行分类之前先进行区域分割，在分类之后再将多个图像块的第一分类结果拼接起来，实现大尺寸wsi图像的乳腺癌分类，提高了分类效率。
1.一种针对wsi图像的乳腺癌分类方法，其特征在于，所述方法由电子设备执行，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述图像编码分支包括一个提示词生成模块和堆叠的n个自适应特征加权模块，n为大于等于2的正整数；所述将所述wsi图像输入分类模型的图像编码分支，输出所述wsi图像的图像特征，包括：
3.根据权利要求2所述的方法，其特征在于，所述自适应特征加权模块包括自注意力分支和自适应残差分支；所述方法还包括：
4.根据权利要求1所述的方法，其特征在于，所述互特征分类分支包括第一交叉注意力模块、第二交叉注意力模块、第二多层感知器和激活层；
5.根据权利要求1所述的方法，其特征在于，所述文本编码分支包括m个堆叠的元数据特征提取模块，m为大于等于2的正整数；所述将目标元数据输入所述分类模型的文本编码分支，输出文本特征，包括：
6.根据权利要求5所述的方法，其特征在于，所述元数据特征提取模块包括堆叠的图卷积层和线性层，所述图卷积层的输入为所述元数据特征提取模块的输入，所述线性层的输出与所述图卷积层的输入残差连接，得到所述元数据特征提取模块的输出；
7.根据权利要求4所述的方法，其特征在于，所述分类模型的损失函数包括交叉熵损失和相似度损失，其中，所述相似度损失用于表征所述图像特征和所述文本特征之间的语义相似度。
8.根据权利要求7所述的方法，其特征在于，所述相似度损失是根据下述方法计算的：
9.根据权利要求1所述的方法，其特征在于，所述对预处理后的原始wsi图像进行区域分割，得到wsi图像，包括：
10.一种电子设备，包括：
