本发明涉及医学图像处理，具体指一种基于gfe-mamba神经网络的可解释阿尔茨海默进展分类方法。
背景技术：
：：1、目前，对amci患者进行预后可解释阿尔茨海默进展分类方法主要包括神经影像学、认知量表评分和生物标志物检测等。知识量表在临床上广泛应用于初步诊断，为医生对患者进行初步筛查提供了有效的方案。然而，其在实际应用中仍面临诸多挑战，如个体差异大、分类准确性不足等问题，因此往往只能用于初步诊断。在神经影像学方面，磁共振成像(magnetic resonance imaging，mri)和正电子发射断层扫描(positron emissiontomography，pet)是两种主要的技术手段。mri可以提供大脑结构的详细图像，帮助医生观察大脑体积的变化和皮质萎缩情况，而pet则能够显示大脑代谢活动和β-淀粉样蛋白的沉积情况，这些变化通常是ad早期的重要标志。而在临床诊断中，pe拍摄耗时较长、费用高昂且技术难度大，但其在阿尔茨海默病(ad)早期诊断中的价值对比mri同样不容忽视。pet技术能够精准地揭示脑部代谢活动的细微变化，尤其是针对脑部β-淀粉样蛋白的异常沉积等ad早期病理标志，具有极高的敏感性和特异性。这种能力使得pet成为分类ad发病风险及病程进展的有力工具。然而，pet技术的复杂性和高要求限制了其广泛应用。其成像依赖于特定的放射性示踪剂，且需要高精度的探测器和专业的图像重建技术，这些都增加了其操作的难度和成本。此外，pet检查对专业人员的技能和经验要求较高，也进一步提升了其门槛。尽管如此，pet在提供ad关键分类信息和病程监测方面的独特价值，依然是无法替代的。综合来看，分类amci进展为ad需要考虑多个风险因素的共同作用。2、另外，临床医生诊断ad时需要同时借助mri与pet影像和量表数据，但是pet影像的获取耗时长，难度较大，并且三种数据的多模态特征的融合也存在诸多可改进之处，因此使用上述传统的机器学习ad分类方法和基于cnn的多模态ad分类方法都无法很好的实现ad分类，所需模态获取难度大且存在着较大的弊端。传统的ad分类方法过程较为繁琐，提取到的特征不够显著，无法准确的获取病理信息。而基于cnn的ad分类方法，由于卷积算法带来的感受野局限性问题，无法学习图像的长距离依赖关系且cnn的池化层对于特征图尺寸的减小可能会导致重要病理特征信息的丢失，因此无法更好的提取图像与量表的病理特征，进而对ad进行准确的分类。技术实现思路1、本发明针对现有技术的不足，提出一种基于gfe-mamba神经网络的可解释阿尔茨海默进展分类方法，该模型通过整合3d gan-vit、vision transformer(vit)瓶颈层、和mamba block骨干网络、像素级别的互注意力(pixel level cross-attention)，能够有效提取mri图像中的病理特征并利用gfe模块提取mri信息生成pet图像(gfe)，并提取二者信息，结合量表信息并使用mamba block骨干网络实现对ad的分类。这一方法不仅能够为临床医生诊断和治疗重大危险疾病提供重要参考标准，还进一步增强了临床医生对ad和其他重大脑部疾病的诊断能力，对于临床诊断和ad疾病预防具有重要意义。2、为了解决上述技术问题，本发明的技术方案为：3、一种基于gfe-mamba神经网络的可解释阿尔茨海默进展分类方法，包括如下步骤：4、步骤1、构建gfe-manba神经网络模型，所述gfe-manba神经网络模型包括3d gan-vit模块、多模态mamba分类器和像素级别的互注意力，5、所述3d gan-vit模块采用3d gan为骨干网络，并采用vit瓶颈层替换3d gan中的middle模块；所述多模态mamba分类器包括所述多模态mamba分类器包括时间间隔提取模块、量表预处理模块、mamba骨干网络模块；所述像素级别的互注意力包括查询矩阵、键矩阵和值矩阵组成；6、步骤2、建立mri和pet图像数据集并分为训练集和测试集，应用mri和pet图像训练集和测试集预训练3d gan-vit模块；7、步骤3、建立mri和量表数据结合的多模态阿尔茨海默数据集，并划分为训练集和测试集；8、步骤4、使用mri和量表数据结合的多模态阿尔茨海默训练集，对预训练的gfe-mamba神经网络模型进行训练并进行参数调优；9、步骤5、使用mri和量表数据结合的多模态阿尔茨海默测试集测试评估得到的预训练的gfe-mamba神经网络模型，最终实可解释多模态阿尔茨海默分类。10、作为优选，所述3d gan-vit模块包括生成器和判别器，所述生成器包括由卷积模块为基底的编码器、解码器以及以vit瓶颈层为架构的中间层，以在进行生成式特征提取(gfe)的同时，3d gan-vit以优化与mamba模块的序列处理网络融合。11、作为优选，所述编码器包括三个下采样模块，每层所述下采样模块分别包括最大池化层、分组归一化层、卷积层和中继激活层，三个所述下采样模块的通道分别为：64，128，256。12、作为优选，所述解码器包括三个上采样模块，每层所述上采样模块分别包括组归一化层、转置卷积层和relu激活层，所述上采样模块通道数和下采样模块镜像一致，所述转置卷积层的过滤器尺寸除了第一个和最后一个卷积层的为7x7x7，其他的都为3x3x3。13、作为优选，所述判别器结构编码器结构相同。14、作为优选，所述生成器的输入为：15、mri(i.e.xm)，通过编码器和解码器后生成pet(i.e.yp)，将pet(i.e.yp)作为判别器的输入，对于pet数据xpet∈rh×w×d×c，生成一个的特征图进行生成器损失的计算。16、作为优选，因为classifier的骨干网络是基于mamba模块的序列处理模块，且要与图片信息融合的是类序列模块的量表信息。因此如果直接将富含有空间信息的隐空间特征展平(flatten)传递给骨干网络，不仅会丢失原本的空间信息，且展平后的序列信息也十分散乱。因此引入了vision transformer对于图片在隐空间的向量展平之后进行了互注意力。17、1、mri在经过编码器之后会被提取为隐空间，得到被展平为2d的特征图，再传入vit瓶颈层，在vit瓶颈层中，特征图经过patch embedding拆分成一系列的image patch序列其中p为patch size，n为将3d的特征图转变为序列形式之后就可以传入transformer编码器，而transformer编码器由4个transformer模块组成，经过transformer编码器之后之后得到之后再resize回xlp∈rh×w×d×c再通过decoder生成pet。作为优选，所述时间间隔提取模块采用了动态δt的策略，所述动态δt的策略为取得同一个病人的前后两次诊断的时间间隔δt，并将其作为训练数据的一部分融入模型，所述动态δt的值采用训练集平均值，所述动态δt融入模型的方法为：将动态δt的值与量表信息中的类别值合并，并作为量表预处理模块的输入。其中量表信息通过将类别值转换为独热编码，并对数字值进行标准化处理后，使用线性变换将其嵌入，再与图像特征拼接在一起，形成多模态输入，传入分类网络进行患者在特定时间间隔后是否会从mci转变为ad的分类。18、作为优选，所述量表预处理模块将量表信息分为离散的类别值和连续分布的数值值，19、所述离散的类别值的获取方法为：首先要将类别值都会被转换成独热编码为了避免不同行的独热编码重复，独热编码时后一列的值会增加前面所有列的值的最大分类数，表达式如下：20、21、得到新的值之后，可以使用线性的矩阵对其进行嵌入：22、23、其中为第i个离散类别值的嵌入表示，为第i个特征偏差i-th featurebias，而为第i张查找表i-th look up table；24、所述连续分布的数值值的获取方法为：需要作标准化处理，即算出量表信息中每个列的均值和标准差并算出标准化之后的值，即：之后再用线性变换对其进行嵌入：25、26、其中为第i个离散类别值的嵌入表示，再将处理好的离散的类别值和连续分布的数值值的表格信息拼接在一起，并与图像特征也拼接在一起：27、28、其中t为离散类别值和连续值的嵌入拼接结果，n和m是离散的类别值和连续分布的数值值的行数，xlmp，xlpp分别代表了上述生成网络中mri和pet在隐空间的特征，d是嵌入的大小。29、作为优选，所述mamba骨干网络模块包括6个mamba模块，其分类方法为：30、通过处理之后的x会被传入分类网络中，对患者是否在δt之后变为ad做出分类。所述的mamba骨干网络模块通过其中的状态空间模型，它可以通过隐藏状态和输入序列，根据之前的数据分类系统的下一个状态。在处理表格信息以及和图片信息合并之后，这个序列会被输入给分类器，在经过6个mamba模块之后，求平均值和线性层，得到最终的分类结果。31、作为优选，所述mamba模块的分类方法：32、对于每一个mamba模块，输入会首先经过rms归一化，通过输入激活的均方根值来实现归一化，有效地防止了深层网络梯度爆炸问题，再经过mamba模块之后和输入本身残差相加：33、xi+1＝mamba(rmsnorm(xi))+xi34、输入特征会首先经过线性层并被一分为二：x，z＝split(linear(x))，其中x会首先经过一个1d卷积，并经过激活后被传入selective scan model：y＝ssm(conv(x))，而z作为门向量，会在经过激活之后和y进行element-wise的乘法，然后y再经过一层linear层得到这个模块的最终结果。35、作为优选，所述像素级别的互注意力模块的实现方法为：36、取得最后一个mamba模块的输出，标记为在进行最后的分类之前，增加了其与mri和pet的互注意力，其中，mri和pet分别记为将其展平为互注意力的具体流程如下：37、qy＝wqy38、kx＝wkxm39、vx＝wvxm40、41、其中qy其为query矩阵，wq为query矩阵的权重，kx为key矩阵，wk为key矩阵的权重，xm为mri特征，vx为value矩阵，wv为value矩阵的权重，dk为key矩阵的维度。42、其中，query矩阵通过classifier的输出线性变化得到，而key矩阵和value矩阵都由mri序列化的特征经过线性变化得到。对于pet，则再进行一次相同的互注意力处理。互注意力计算之后的特征与y进行残差相加，并经过反馈层和层归一化操作之后，再次与原始y进行残差相加。43、作为优选，所述gfe-mamba神经网络模型的训练方法为：44、训练3d gan-vit模块时，mri和pet的分辨率会被调整为160、160、96，3d gan-vit模块在两张nvidia geforce rtx4090ti上进行了200轮分布式训练，批次大小为2，花费了52.5个小时；45、训练多模态mamba分类器时，会随机从表格中选择一对数据，包含表格信息以及病人的名字和确诊时间，根据名字和确诊时间找到相应的mri，随机剪切为160，160，在一张nvidia geforce rtx4090上进行了100轮训练，批次大小为8，花费了22个小时；46、所述3d gan-vit模块和多模态mamba分类器的优化都采用的是adam算法，学习率和betas分别为0.9，0.999。47、作为优选，所述gfe-mamba神经网络模型的评估方法为：48、使用准确度、精确度、召回率、f1-分数和平衡指标5个指标进行评估，表达式如下：49、50、其中，accuracy为准确度，正确分类的总体比例；precision为精确度，阳性分类中真阳性的比例；recall为召回率，正确识别的阳性实例的比例；f1-score为f1-分数，精确度和召回率的调和平均值；mcc则是衡量二元分类质量的平衡指标，tp和tn表示分类为真或假的数据中的真实样本，fp和fn表示分类为真或假的数据中的虚假样本。51、本发明具有以下的特点和有益效果：52、采用上述技术方案，临床医生诊断ad时需要同时借助mri与pet影像和量表数据，但是pet影像的获取耗时长，难度较大，并且三种数据的多模态特征的融合也存在诸多可改进之处，因此使用上述传统的机器学习ad分类方法和基于cnn的多模态ad分类方法都无法很好的实现ad分类，所需模态获取难度大且存在着较大的弊端。传统的ad分类方法过程较为繁琐，提取到的特征不够显著，无法准确的获取病理信息。而基于cnn的ad分类方法，由于卷积算法带来的感受野局限性问题，无法学习图像的长距离依赖关系且cnn的池化层对于特征图尺寸的减小可能会导致重要病理特征信息的丢失，因此无法更好的提取图像与量表的病理特征，进而对ad进行准确的分类。但是，本发明通过gfe利用预训练的mri to petgan提取mri重要信息，并利用互注意力机制处理隐空间的向量避免信息丢失和序列混乱，同时使用mamba骨干网络有效处理长序列之间的依赖关系以提高特征提取效率，进一步提升了ad分类准确度。53、因此在发明中，围绕模式识别和医学图像与量表数据处理的理论，结合阿尔茨海默mri影像数据与量表数据的实际特点和精神科医生诊断阿尔茨海默实际过程与诊断方式，开展对阿尔茨海默进展分类算法针对性的研究，最终提出由3d gan-vit、visiontransformer(vit)瓶颈层、和多模态mamba分类器、像素级别的互注意力(pixel levelcross-attention)组成的基于gfe-mamba神经网络的多模态阿尔茨海默进展分类方法。gfe-mamba模型通过引入3d gan-vit和多模态mamba分类器，很好地解决了传统的cnn所导致的特征提取能力有限和参数冗余的问题。同时，我们的gfe-mamba模型通过引入像素级交叉注意力机制，很好地弥补了3d cnn模型在处理高维度神经影像数据时计算复杂性高且全局信息捕捉不足的问题。因此，gfe-mamba在特征表达能力和模型可解释性方面得到了显著提升。54、本发明提出的多模态阿尔茨海默进展分类方法(gfe-mamba)，只需要输入mri与量表数据，即可实现自动、智能的多模态阿尔茨海默进展分类功能。本发明使得建立阿尔茨海默进展分类模型并协助医生诊断治疗成为可能，在实际应用中具有重要的意义。当前第1页12当前第1页12
技术特征：1.一种基于gfe-mamba神经网络的可解释阿尔茨海默进展分类方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于gfe-mamba神经网络的可解释阿尔茨海默进展分类方法，其特征在于，所述3d gan-vit模块包括生成器和判别器，所述生成器包括由卷积模块为基底的编码器、解码器以及以vit瓶颈层为架构的中间层。
3.根据权利要求2所述的一种基于gfe-mamba神经网络的可解释阿尔茨海默进展分类方法，其特征在于，所述编码器包括三个下采样模块，每层所述下采样模块分别包括最大池化层、分组归一化层、卷积层和中继激活层,三个所述下采样模块的通道分别为：64,128，256。
4.根据权利要求3所述的一种基于gfe-mamba神经网络的可解释阿尔茨海默进展分类方法，其特征在于，所述解码器包括三个上采样模块，每层所述上采样模块分别包括组归一化层、转置卷积层和relu激活层，所述上采样模块通道数和下采样模块镜像一致，所述转置卷积层的过滤器尺寸除了第一个和最后一个卷积层的为7x7x7，其他的都为3x3x3。
5.根据权利要求4所述的一种基于gfe-mamba神经网络的可解释阿尔茨海默进展分类方法，其特征在于，所述判别器结构编码器结构相同。
6.根据权利要求4所述的一种基于gfe-mamba神经网络的可解释阿尔茨海默进展分类方法，所述生成器的输入为mri(i.e.xm)，通过编码器和解码器后生成pet(i.e.yp)，将pet(i.e.yp)作为判别器的输入，对于pet数据xpet∈rh×w×d×c,生成一个的特征图进行生成器损失的计算。
7.根据权利要求1所述的一种基于gfe-mamba神经网络的可解释阿尔茨海默进展分类方法，所述vit瓶颈层的工作原理为：
8.根据权利要求1所述的一种基于gfe-mamba神经网络的可解释阿尔茨海默进展分类方法，其特征在于，所述时间间隔提取模块采用了动态δt的策略，所述动态δt的策略为取得同一个病人的前后两次诊断的时间间隔δt，并将其作为量表数据的一部分融入gfe-mamba模型，所述动态δt的值采用训练集平均值，所述动态δt融入模型的方法为：将动态δt的值与量表信息中的类别值合并，并作为量表预处理模块的输入。
9.根据权利要求8所述的一种基于gfe-mamba神经网络的可解释阿尔茨海默进展分类方法，其特征在于，所述量表预处理模块将量表信息分为离散的类别值和连续分布的数值，
10.根据权利要求9所述的一种基于gfe-mamba神经网络的可解释阿尔茨海默进展分类方法，其特征在于，所述mamba骨干网络模块包括6个mamba模块，其分类方法为：
11.根据权利要求10述的一种基于gfe-mamba神经网络的可解释阿尔茨海默进展分类方法，其特征在于，所述mamba模块的分类方法：
12.根据权利要求11述的一种基于gfe-mamba神经网络的可解释阿尔茨海默进展分类方法，其特征在于，所述像素级别的互注意力模块的实现方法为：
13.根据权利要求1所述的一种基于gfe-mamba神经网络的可解释阿尔茨海默进展分类方法，其特征在于，所述gfe-mamba神经网络模型的训练方法为：
14.根据权利要求1所述的一种基于gfe-mamba神经网络的可解释阿尔茨海默进展分类方法，其特征在于，所述gfe-mamba神经网络模型的评估方法为：
技术总结本发明公开了基于GFE‑Mamba神经网络的可解释阿尔茨海默进展分类方法，包括如下步骤：步骤1、构建GFE‑Manba神经网络模型，步骤2、建立MRI和PET图像数据集并分为训练集和测试集，应用MRI和PET图像训练集和测试集预训练3D GAN‑Vit模块；步骤3、建立MRI和量表数据结合的多模态阿尔茨海默进展分类数据集，并划分为训练集和测试集；步骤4、使用训练集对预训练的GFE‑Mamba神经网络模型进行训练并进行参数调优；步骤5、使用测试集测试评估得到的预训练的GFE‑Mamba神经网络模型，最终实可解释多模态阿尔茨海默进展分类。该方法不仅能够为临床医生诊断和治疗重大危险疾病提供重要参考标准，还进一步增强了临床医生对AD和其他重大脑部疾病的诊断能力，对于临床诊断和AD疾病预防具有重要意义。
技术研发人员：朱晟豪,黄一语,方昭杰,邹槟峰,陈一飞,刘畅,贾帆,冯祥,秦飞巍,樊谨,王昌淼
受保护的技术使用者：杭州电子科技大学
技术研发日：技术公布日：2024/11/11
