1.本发明涉及医学图像分析技术领域，具体涉及一种基于半监督学习的腰椎间盘突出自动诊断模型及构建方法。
背景技术：2.腰椎间盘突出症是引发腰背痛的常见疾病之一。由于人工的分析和诊断成本较高，再加上医疗资源的紧缺和分配不均等问题，能根据腰椎mri(magnetic resonance imaging，磁共振成像)图像自动地进行分析诊断的系统就成为了一个迫切的需求。在人工智能领域中常用的方法是使用有监督的方法训练一个目标检测模型，这在实践中主要有两个难点。第一是标注数据的成本较高，目标检测模型需要标注大量目标选择框，以及对应的椎间盘形态类别，而且一般至少需要数千有标注的样本才能训练出较为可用的模型。第二是端到端模型的不可解释性，对于不可解释的模型，在作为计算机辅助诊断模型应用时，会使医生对模型结果的复核工作耗费较多的精力，对于模型的研究者来说，也不易判断模型结果的合理性。
技术实现要素：3.针对上述问题，本发明提供了基于半监督学习的腰椎间盘突出自动诊断模型的构建方法，使用二阶段半监督学习构建模型，有效减少了有标签mri图像样本的使用数量，对特征分类器的判断依据进行可视化，降低影像学医生的负担，提高诊断效率。
4.为了实现上述目的，本发明主要采用以下技术方案：
5.基于半监督学习的腰椎间盘突出自动诊断模型的构建方法，包括以下步骤：
6.步骤s10：采集无标签的腰椎间盘mri图像样本，构建训练数据集s，并对训练数据集s中的mri图像进行预处理；
7.步骤s20：构建第一神经网络；
8.步骤s30：使用训练数据集s中的mri图像对所述第一神经网络进行训练，生成特征提取器，用于提取mri图像的语义特征向量；
9.步骤s40：构建第二神经网络；
10.步骤s50：将有标签的腰椎间盘mri图像样本依次输入到所述特征提取器中，为每个mri图像样本提取对应的语义特征向量；
11.步骤s60：使用步骤s50中生成的语义特征向量对所述第二神经网络进行训练，生成特征分类器，所述特征分类器对语义特征向量进行分类并输出预测结果。
12.在一些实施例中，所述构建方法还包括以下步骤：
13.步骤s70：当所述特征分类器的预测结果为阳性时，为该阳性样本生成热力图，将阳性样本图像中造成阳性的关键信息标记出来。
14.在一些实施例中，在所述步骤s20中，所述第一神经网络包括一个resnet50网络和多个全连接层，所述resnet50网络与多个全连接层串联连接。
15.在一些实施例中，在所述步骤s10中，对mri图像进行预处理包括以下步骤：
16.步骤s11：执行每一步训练时，先从训练数据集s中随机选取n张mri图像，构建训练数据子集p；
17.步骤s12：将训练数据子集p中的每张mri图像进行两次随机变换处理，得到2n张mri变换图像。
18.在一些实施例中，所述步骤s30包括以下步骤：
19.步骤s31：将2n张mri变换图像两两为一组输入到所述第一神经网络中，所述第一神经网络为每组输入的两张mri变换图像映射出一对语义特征向量；
20.步骤s32：根据softmax函数计算由第一神经网络映射出的每对语义特征向量表达相似语义的概率预测值
21.其中，xi(1≤i≤2n)表示第i张变换后的mri图像经过第一神经网络映射得到的语义特征向量，xj(1≤j≤2n)表示第j张变换后的mri图像经过第一神经网络映射得到的语义特征向量，且第i张和第j张变换后的mri图像为一组，同时输入到第一神经网络中，τ为softmax函数中常用的超参数；
22.步骤s33：根据第一神经网络的最优化训练目标函数
23.计算所述训练数据子集p的损失值，其中，fe为第一神经网络，表示期望；表示指示函数，φ是一个命题，当φ为真时，当φ为假时，当φ为假时，表示向上取整；
24.步骤s34：采用梯度下降算法训练并最小化每个训练数据子集p的损失值，最后生成特征提取器。
25.在一些实施例中，在所述步骤s50中，每个有标签的腰椎间盘mri图像样本包括同一腰椎间盘的多个横轴位mri图像。
26.在一些实施例中，所述步骤s60包括以下步骤：
27.步骤s61：获取每个有标签腰椎间盘mri图像样本的语义特征向量，所述第二神经网络对所述语义特征向量进行特征分类训练；
28.步骤s62：使用sigmoid函数计算当前训练的腰椎间盘mri图像样本为阳性样本的概率值；
29.步骤s63：采用步骤s61至s62的方法，使用多个有标签腰椎间盘mri图像样本对所述第二神经网络进行训练，生成特征分类器。
30.在一些实施例中，在所述步骤s70中，为阳性样本生成热力图的方法包括以下步骤：
31.步骤s71：获取所述特征提取器为每个有标签腰椎间盘mri图像样本输出的特征图集合a；
32.步骤s72：根据公式计算各特征图的权重值，其中，u、v分别为最深层特征图的高度和宽度，为k个特征图的梯度，1≤k≤n；
33.步骤s73：根据公式对各权重值进行正规化，其中，σ(
·
)表示求标准差；
34.步骤s74：计算各特征图的权重值，表达式为
35.其中，a为每个有标签腰椎间盘mri图像样本包含的横轴位mri图像数量；
36.步骤s75：将每张图像的n个特征图与相应的权重值加权求和，得到热力图；
37.步骤s76：对每一张热力图进行规范化：
[0038][0039][0040]
其中，hi表示样本第i个截面对应的热力图，maxσ(
·
)函数表示求张量中的最大元素值，a
(k)
为特征图集合a中的第k个特征图。
[0041]
在一些实施例中，对mri图像进行随机变换处理的随机变换函数f
t
:包括随机旋转、随机裁剪、随机翻转、亮度或对比度的随机改变、随机高斯模糊，同一张mri图像的两次随机变换表达相似的语义特征，不同mri图像的随机变换表达不同的语义特征。
[0042]
本发明还提供了一种基于半监督学习的腰椎间盘突出自动诊断模型，所述自动诊断模型采用本发明提供的基于半监督学习的腰椎间盘突出自动诊断模型的构建方法得到，所述自动诊断模型包括：
[0043]
特征提取器，用于提取mri图像的语义特征向量；
[0044]
特征分类器，所述特征分类器用于对语义特征向量进行分类，输出预测结果；
[0045]
热力图生成模块，当预测结果为阳性时，所述热力图生成模块生成热力图，标记出阳性mri图像中造成阳性的关键信息。
[0046]
本发明提供的腰椎间盘突出自动诊断模型的构建方法，使用二阶段半监督学习构建模型，使用较少的标签数量，所得到的分类器性能依然能够保持稳定，并且仅使用约1/3数量的有标注训练子集，就能达到经典的有监督模型相当的水平。另外，本发明对grad-cam可解释性分析算法进行了改进和适配，对特征分类器的判断依据进行可视化，以热力图的形式展示。本发明所构建的腰椎间盘突出自动诊断模型能够得到较为合理的结果，能够一定程度上起到辅助诊断的作用，降低影像学医生的负担，提高诊断效率，也为后续研究提供一定的参考作用。
附图说明
[0047]
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域的技术人员来讲，还可以根据这些附图获得其他的附图。
[0048]
图1为腰椎间盘突出自动诊断模型的结构框图；
[0049]
图2为采用二阶段半监督学习方式训练腰椎间盘突出自动诊断模型的原理图；
[0050]
图3为基于半监督学习的腰椎间盘突出自动诊断模型的构建方法流程图；
[0051]
图4为无监督训练阶段a的原理图；
[0052]
图5为训练第一神经网络的方法流程图；
[0053]
图6为全连接层的结构；
[0054]
图7为有监督训练阶段b的原理图；
[0055]
图8为训练第二神经网络的方法流程图；
[0056]
图9为生成热力图的方法流程图；
[0057]
图10为不同正则化水平下的特征提取器所得到的分类器roc曲线；
[0058]
图11为不同标注样本数量的分类器及经典有监督分类器性能对比；
[0059]
图12为部分阳性样例的热力图。
[0060]
附图标记说明：
[0061]
100-腰椎间盘突出自动诊断模型，110-特征提取器，120-特征分类器，130-热力图生成模块，140-热力图；
[0062]
200-腰椎间盘突出自动诊断模型，210-第一神经网络，220-第二神经网络，230-热力图生成模块，240-热力图；
[0063]
410-第一神经网络，411-resnet50网络，412-全连接层，413-特征提取器；
[0064]
710-特征提取器，720-第二神经网络。
具体实施方式
[0065]
下面将结合本发明实施例的附图，对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0066]
本发明提供了一种腰椎间盘突出自动诊断模型，以多层腰椎间盘截面mri图像作为输入，自动进行分析诊断，输出预测结果。如图1所示，腰椎间盘突出自动诊断模型100包括特征提取器110、特征分类器120。特征提取器110用于对输入的mri图像提取语义特征向量；特征分类器120用于对输入的语义特征向量进行分类，即对输入的多层腰椎间盘mri图像的腰椎间盘形态进行分类、判断，输出预测结果，预测结果分为阳性和阴性两种类型。腰椎间盘的形态分为正常和异常两类，其中异常情况包括椎间盘突出、椎间盘膨出、椎间盘脱出、纤维环撕裂等，当预测结果为阴性时，表明腰椎间盘的形态正常；当预测结果为阳性时，表明腰椎间盘的形态为异常情况中的一种或多种。
[0067]
如图1所示，本发明提供的腰椎间盘突出自动诊断模型100还包括一热力图生成模块130，当特征分类器120输出阳性预测结果时，热力图生成模块130根据特征提取器110输出的特征图生成一热力图140，标记出阳性mri图像中造成阳性的关键信息，使得预测结果的判断依据能够可视化。
[0068]
本发明采用二阶段半监督学习方式来构建腰椎间盘突出自动诊断模型，如图2所示，腰椎间盘突出自动诊断模型200的构建包括无监督训练阶段a和有监督训练阶段b。在无监督训练阶段a中，使用无标签mri图像集s对第一神经网络210进行训练，生成特征提取器，提取输入mri图像的语义特征向量；在有监督训练阶段b中，将有标签mri图像集m中的每一
个样本先经过训练生成的特征提取器提取出与每个mri图像样本对应的语义特征向量，然后使用每个mri图像样本对应的语义特征向量对第二神经网络220进行训练，生成特征分类器，用于对语文特征向量进行分类并输出预测结果。因此，在构建腰椎间盘突出自动诊断模型的过程中，应先实施无监督训练阶段a，再实施有监督训练阶段b，即先训练生成特征提取器，再利用生成的特征提取器进行有监督训练，生成特征分类器。
[0069]
下面将对构建腰椎间盘突出自动诊断模型的无监督训练阶段a和有监督训练阶段b分别进行介绍。
[0070]
首先，我们来介绍无监督训练阶段a。无监督训练阶段a需要完成对特征提取网络的训练，最终生成特征提取器，提取输入mri图像的语义特征向量。为了便于后期进行分类，所提取的语义特征向量应该能够尽可能体现出样本与样本之间在语义上的差异——如椎间盘的形态、与硬膜囊的相对位置关系等，而忽略相同的语义在表现形式上的差异——如图像的对比度、摄像头的角度等。基于这一目标，本发明采取对比自监督方法来实现特征提取，如图3的(a)部分和图4所示，训练生成特征提取器的方法主要包括以下步骤：
[0071]
步骤s10：采集无标签的腰椎间盘mri图像样本，构建训练数据集s，并对训练数据集s中的mri图像进行预处理；
[0072]
步骤s20：构建第一神经网络；
[0073]
步骤s30：使用训练数据集s中的mri图像对第一神经网络进行训练，生成特征提取器，用于提取mri图像的语义特征向量。
[0074]
在步骤s10中，训练数据集s中的样本采用了椎间盘横轴位截面mri图像，包括t1加权的图像与t2加权的图像，每张mri图像作为一个样本。在训练之前，还需要对训练数据集s中的mri图像进行预处理，预处理的过程主要包括以下步骤：
[0075]
步骤s11：执行每一步训练时，先从训练数据集s中随机选取n张mri图像，构建训练数据子集p；
[0076]
步骤s12：将训练数据子集p中的每张mri图像进行两次随机变换处理，得到2n张mri变换图像。
[0077]
首先，定义一个随机变换函数f
t
:随机变换函数f
t
可以根据实际情况不同而不同，f
t
的设计需要在保留大部分关键信息的前提下，尽可能地增加变换的幅度和随机性。在本发明中，随机变换函数f
t
采用随机旋转、随机裁剪、随机翻转、亮度或对比度的随机改变、随机高斯模糊。为了更好地训练模型，一般需要将随机变换的程度限制在一定范围内，变换的程度过于剧烈会损害原本的语义信息，变换的程度过于微小又会使模型无法得到有效的训练。基于对比自监督的训练目标，同一张mri图像的两次随机变换表达相似的语义特征，不同mri图像的随机变换表达不同的语义特征。例如，在本实施例中，随机旋转和随机裁剪是两个相互耦合的操作，需要有以下约束条件：(1)同一张图像的两次随机变换中，裁剪区域必须有重合的部分；(2)重合的区域应该有较高的概率位于原图中央；(3)同一张图像的两次随机变换中，随机旋转操作的旋转中心点一致，且每一次随机裁剪区域中必须包含随机旋转的中心点；(4)旋转的过程中可能会在图像四周产生“0”像素的填充区域，随机裁剪要避开这些“0”像素。(5)随机裁剪区域在原图中的长宽比需要处于[3/4,4/3]之内；(6)随机裁剪区域在原图中所占的比例需要大于一个特定值，记作p
crop
。因为对比自监督的训练目标是让同一个图像的两个变换表达相似的语义，那么显然两个变换应该包含共
有的信息，且各自所包含的信息不能太少，所以这里约束(1)(5)(6)限制了裁剪区域。另一方面，旋转操作可能会给“保证两次裁剪有区域重合”这一约束的实现带来干扰，因为如果两次旋转的中心点不同，包含共同信息的区域所在的位置也会不同，所以，加入约束(3)用来排除这一干扰。此外，由于大部分椎间盘横轴位mri图像中的关键信息都位于图像的中央区域，裁剪到边缘的区域会使神经网络过多地关注一些比较次要的信息，但也不能完全抛弃这些信息，因此约束(2)是为了增大关键信息被提取到的概率。最后，旋转操作可能会引入一些随机的噪声信息，就是图像四周产生“0”像素填充。矩形的图像的旋转会使一部分区域移动到矩形的范围之外，原来矩形内部缺少的部分会用“0”像素填充，为了排除这些噪声，因此引入了约束(4)。
[0078]
如图4中的(a)部分所示，每张输入到随机变换函数f
t
中的mri图像，都会按照指定的规则进行两次随机变换，产生两张变换后的图像。这样，训练数据子集p中的n张mri图像经过两次随机变换函数f
t
的变换，产生2n张mri变换图像。例如：mi(1≤i≤2n)表示第i张变换后的图像，m
2h-1
和m
2h
为第h张原始输入图像的两个变换。
[0079]
在步骤s20中，本发明使用深度神经网络来构建第一神经网络，如图4所示，第一神经网络410由一个resnet50网络411连接4层全连接层412组成。在此说明，第一神经网络的构建并不局限于图4所示的结构，resnet50网络可以用其他神经网络代替，全连接层的数量也可以改变，只要能够实现对样本的高级语义特征进行提取即可。
[0080]
图5所示，在步骤s30中，使用无标签mri图像训练第一神经网络410的过程包括以下步骤：
[0081]
步骤s31：第一神经网络410为输入的两张mri变换图像映射出一对语义特征向量。
[0082]
在步骤s12中，训练数据子集p中的每张mri图像都会进行两次随机变换处理，得到2n张mri变换图像，将2n张mri变换图像两两组合为一组，然后输入到第一神经网络410中，对神经网络进行训练，第一神经网络410会将每一个mri图像映射为一个d维的语义特征向量，因此，每一组输入会产生2个语义特征向量。如图4中的(b)部分所示，令mi(1≤i≤2n)表示第i张变换后的图像，mj(1≤j≤2n)表示第j张变换后的图像，将mi和mj为一组输入到第一神经网络410中进行训练，映射出一对语义特征向量xi和xj，其中，xi表示mi经过第一神经网络410映射后的语义特征向量，xj表示mj经过第一神经网络410映射后的语义特征向量。
[0083]
步骤s32：采用softmax函数计算语义特征向量xi和xj表达相似语义的概率预测值
[0084]
其中，τ为softmax函数中常用的超参数，通常被称作温度，用来调节各指数部分的绝对数值大小，防止因指数的数量级过大或过小造成softmax函数不可用。如图4的(c)部分所示，采用softmax函数计算语义特征向量xi和xj表达相似语义的概率预测值
[0085]
步骤s33：计算训练数据子集p的损失值。
[0086]
根据最优化训练目标函数：计算每个训练数据子集p的损失值，其中，fe为第一神经网络，表示期望；表示指示函数，φ是一个命题，当φ为真时，当φ为假时，当φ为假时，表示向上取整，如图4中的(c)部分
所示。
[0087]
本发明采用交叉熵损失函数作为最优化训练的目标函数，能够达到“忽略相同的语义在表现形式上的差异，尽可能体现出样本与样本之间在语义上的差异”的训练目标，方便对语义特征向量进行分类，利于后期有监督调优训练。
[0088]
步骤s34：采用梯度下降算法训练第一神经网络410，最小化每个训练数据子集p的损失值，最后生成特征提取器。
[0089]
在无监督训练阶段a中，需要使用大量无标签的mri图像数据进行训练，即训练数据集s中包含有大量无标签的mri图像，对第一神经网络410进行大量训练，直至训练数据集的损失值基本不再下降。
[0090]
需要说明的是，在使用训练完成的第一神经网络作为特征提取器时，有时并不一定需要使用完整的神经网络，可以选择其中某一个层的输出作为特征提取器的输出，这是因为经过训练的神经网络中，各层的输出其实都是包含语义特征的，只不过不同层次表达的特征的复杂程度不同。如图4所示，在本发明中，训练时使用的第一神经网络410是由一个resnet50网络411和4层全连接层412组成，而在后续有监督训练阶段b中所使用的特征提取器413会抛弃末尾的3个全连接层412，即在输入相同的情况下，以第一神经网络410的第一个全连接层的输出作为特征提取器413的输出。此外，本发明所设计的全连接层的结构如图6所示，图6(a)为第1-3个全连接层的结构，图6(b)为第4个全连接层的结构，第4个全连接层与第1-3个全连接层的唯一不同点是没有使用relu激活函数，随机失活层(dropout)的保留概率为dr，4个全连接块的输出维数都是d，且d＝256，即每一层的输出结果都是一个256维的向量。
[0091]
本发明在对第一神经网络进行训练时，同时会使用少量无标签腰椎间盘mri图像对训练的实时结果进行检验。两语义特征向量是否表达相似语义的预测结果与真实结果的准确率作为检验的指标。当经过一段时间的训练后，该准确率指标不再继续提高时，就可以结束无监督训练阶梯a。
[0092]
接下来，我们来介绍有监督训练阶段b。图7所示为有监督训练阶段b的原理图，使用无监督训练阶段a中生成的特征提取器710来训练第二神经网络720，生成一个特征分类器，对腰椎间盘进行分类。如图3的(b)部分所示，训练第二神经网络720生成特征分类器的过程主要包括以下步骤：
[0093]
步骤s40：构建第二神经网络720；
[0094]
本发明设计的第二神经网络720仅包括一层简单的全连接层，由于特征提取器710的输出为一个256维的向量，而在有监督训练阶段b中，每次输入3张mri图像到特征提取器710中，会产生3个256维的向量，因此，全连接层的输入设计为3x256，且全连接层前后不需要其它层如随机失活层或批量正规化层。
[0095]
步骤s50：将有标签的腰椎间盘mri图像样本依次输入到所述特征提取器中，为每个mri图像样本提取对应的语义特征向量；
[0096]
步骤s60：训练第二神经网络720，生成特征分类器；
[0097]
步骤s70：当特征分类器的预测结果为阳性时，为该阳性样本生成热力图。
[0098]
在步骤s50中，采用t2加权扫描横轴位的mri图像样本来构建分类数据集，每个mri图像样本对应一个椎间盘。在本实施例中，每个mri图像样本包含3张同一腰椎间盘的横轴
位mri图像，每个样本有一个标签表示该椎间盘的形态是否异常。需要说明的是，同一椎间盘的mri图像样本包含横轴位mri图像的数量还可以为1、2、4、5、6、7
……
，具体数量根据实际需要来设计。理想情况下，这3个截面应该处于椎间盘的垂直方向的中央位置，为了尽可能得到泛化能力好的模型，构建椎间盘分类数据集时使用了以下策略：(1)对于有5个截面的椎间盘，取中央3层即第2，3，4层作为一个椎间盘样本；对于有4个截面的椎间盘，先取前3层作为一个椎间盘样本，再取后3层作为另一个椎间盘样本，即对于这样的椎间盘，会生成两个椎间盘样本。(2)只选取腰椎间盘作为样本，抛弃所有胸椎、骶椎间盘的数据。此外，原始数据中可能存在重复的数据，在构建椎间盘分类数据集时需要注意去重。
[0099]
进行有监督训练时，依次将分类数据集中的每一个mri图像样本即3张横轴位mri图像输入到特征提取器710中，提取得到3个语义特征向量。
[0100]
需要说明的是，在有监督训练过程中，会对输入的图像做简单的数据增强策略，例如对输入图像进行一些随机的变换，但不需要太过复杂的变换，主要目的仅在于去除输入图像四周的一部分区域，但不能损失图像中的主体部分的内容。
[0101]
如图7和图8所示，在步骤s60中，训练第二神经网络720生成特征分类器的方法包括以下步骤：
[0102]
步骤s61：获取每个有标签的腰椎间盘mri图像样本的语义特征向量后，输入到第二神经网络720中进行特征分类训练；
[0103]
步骤s62：计算当前训练的腰椎间盘mri图像样本为阳性样本的概率值；
[0104]
步骤s63：采用步骤s61至s62的方法，使用多个有标签的腰椎间盘mri图像样本对所述第二神经网络进行训练，生成特征分类器。
[0105]
在步骤s61中，特征提取器710为每一个有标签的mri图像样本生成3个语义特征向量，将这3个语义特征向量连接起来，得到该mri图像样本的语义特征向量，然后将该语义特征向量输入到第二神经网络720中，进行特征分类训练；再利用sigmoid函数将第二神经网络720的输出值映射为[0，1]之间的值，表示当前训练样本为阳性样本的概率，根据该概率可以预测训练样本是阳性样本还是阴性样本；利用分类数据集中有标签的mri图像样本对第二神经网络进行大量训练，最终生成符合要求的第二神经网络720，即特征提取器，该特征分类器能够输出阳性或阴性的预测结果。在有监督训练阶段b中，特征提取器710中的所有参数是固定不变的，维持在无监督训练阶段a训练完成时的状态，只有第二神经网络720中的全连接层中的参数会随着训练而改变。
[0106]
在步骤s70中，当第二神经网络220输出阳性预测结果时，热力图生成模块230将生成一热力图240，标记出阳性mri图像中造成阳性的关键信息。在本实施例中，采用改进的grad-cam分析算法生成热力图，如图9所示，生成热力图240的过程主要包括以下步骤：
[0107]
步骤s71：获取特征提取器为每个mri图像样本输出的特征图集合a；
[0108]
构建特征分类器时，以3个椎间盘截面的mri扫描图像作为输入，因此，应生成3张热力图。构建特征提取器的resnet50网络中最深层的卷积层所输出的特征图集合记为a，a中包含了作为输入的三张mri图像的所有特征图。设每一张输入mri图像对应n个特征图，第k个特征图为a
(k)
。
[0109]
步骤s72：根据公式计算各特征图的权重值；
[0110]
其中，u、v分别为最深层特征图的高度和宽度，为k个特征图的梯度，1≤k≤n；
[0111]
步骤s73：根据公式对各权重值进行正规化，其中，σ(
·
)表示求标准差；
[0112]
步骤s74：采用softmax函数得到各特征图的权重值，表达式为：
[0113][0114]
步骤s75：将每张图像的n个特征图与相应的权重值加权求和，得到热力图；
[0115]
步骤s76：对每一张热力图进行规范化，将其限制在[0,1]的数值范围内。
[0116]
规范化的计算过程如下：
[0117][0118][0119]
其中，hi表示样本第i个截面对应的热力图，max(
·
)函数表示求张量中的最大元素值，a
(k)
为特征图集合a中的第k个特征图。
[0120]
以上对本发明提供的基于半监督学习的腰椎间盘突出自动诊断模型的构建方法进行了详细地介绍。
[0121]
下面通过实验来进一步验证本发明提供的基于半监督学习的腰椎间盘突出自动诊断模型的构建方法的实际效果。在无监督训练阶段，采集了16707张无标签的腰椎间盘横轴位截面mri图像构建训练数据集s，包括t1加权的图像和t2加权的图像，另外采集了512张mri图像作为验证集，用于检验预测结果与真实结果的准确率；在有监督训练阶段，采集了3676个样本构建分类数据集，其中正样本1706例，负样本1970例，每个样本对应一个椎间盘，且均进行了标注，将分类数据集随机洗牌后，随机抽取正负样本各256例组成测试集，随机抽取正负样本各64例组成验证集。无监督训练阶段的超参数的实验设置值如表1，有监督训练阶段的超参数的实验设置值如表2。
[0122]
表1无监督训练阶段的超参数值设置
[0123][0124]
表2有监督训练阶段的超参数的设置
[0125]
超参数lrnw值1
×
10-4
320
[0126]
上述表中，lr表示学习率，n为批量训练时的样本数量，w为正则化的权重系数，dr为随机失活层的保留概率，经过实验验证，随机失活层的保留概率为0会取得比较好的结果，θ为随机变换过程中随机旋转的幅度范围，p
crop
为随机裁剪的区域占比，两者同样仅在无监督训练阶段有效。训练持续直至验证集上的准确率基本不再提升，且模型的损失函数值基本不再下降为止。
[0127]
在无监督训练阶段，我们采取了l2正则化和随机失活正则化的策略，l2正则化的权重参数w，以及随机失活正则化的保留概率dr，体现了正则化水平的强弱。我们设置了4组不同的正则化参数值，其它超参数保持不变，分别训练了4个不同的特征提取器。对于每一个特征提取器，都使用相同的设置进行有监督训练，持续200个纪元，对各自得到的分类器在测试集上进行测试，对各自的性能进行对比分析，结果如表3，4种不同情况下各自的roc曲线如图10所示。
[0128]
表3不同正则化水平下的特征提取器所得到的特征分类器性能表现
[0129][0130]
在上表中，准确率(accuracy，acc)，即为预测值与实际值相同的样本占所有样本的比例，敏感性(sensitivity)，又称真阳性率(ture positive rate,tpr)，即为真阳性样本占实际正样本的比例，特异性(specifity)，又称真阴性率(true negative rate,tnr)，即为真阴性样本占实际负样本的比例，auc(area under the roc curve)表示roc曲线下方的面积。
[0131]
在图10(a)中，w＝0,dr＝0；图10(b)中，w＝1
×
10-4
,dr＝0；图10(c)中，w＝1
×
10-4
,dr＝0.25；图10(d)中，w＝1
×
10-4
,dr＝0.5。从实验结果来看，随着正则化水平的提高，准确率和auc都出经历了先上升后下降的过程。当w＝0,dr＝0时，即没有进行正则化，此时准确率和auc都没有达到最优。w＝1
×
10-4
,dr＝0与w＝1
×
10-4
,dr＝0.25两种情况下，特征分类器在测试集上的分类结果几乎相同，准确率、敏感性、特异性指标数值的完全相同有一定偶然性，但实际上，二者的分类性能确实十分接近，但后者的auc明显出现了下降。而当使用较强的正则化水平时，如实验中采取的w＝1
×
10-4
,dr＝0.5，此时特征分类器的性能会显著衰退。因此选取合适的正则化参数对特征提取器的训练有重要的意义。在实践中，由于不同数据集之间存在一定差异性，正则化参数并没有普遍适用的最优设置，而要根据不同数据集进行微调，一般较小的l2正则权重以及随机失活参数，都能达到良好的效果。在本发明构建的自动诊断模型中，就会选用w＝1
×
10-4
,dr＝0做为正则化参数设置。
[0132]
本发明针对不同的标签数量对特征分类器性能的影响作了实验，首先，我们通过改变有监督训练阶段中所使用的有标签样本的个数，训练多个不同的特征分类器，所有的特征分类器都使用完全相同的特征提取器，即无监督训练阶段所得到的特征提取器保持不变。实验时，分别从原本的分类数据集中随机抽取了1024，1536，2016，2528个样本作为训练子集，训练持续200个纪元，原本完整的椎间盘分类数据集中包含3036个训练样本，四个使用训练子集的特征分类器将会与使用完整训练集得到的特征分类器进行对比。另外，为了方便将本发明基于半监督学习方式构建的模型与经典有监督学习模型相对比，我们使用resnet50模型，在完整的椎间盘分类数据集上进行有监督训练，学习率使用1
×
10-4
，训练
370个纪元，得到了另一个特征分类器。
[0133]
上述不同训练样本数量的特征分类器及经典有监督特征分类器的性能对比如图11所示，图11(a)为各模型的准确率，图11(b)为各模型的auc，图中横轴为标签数量，表示所使用的有标签数据的数量，纵轴分别表示准确率和auc指标值，横轴上以“supv”表示的为使用resnet50的有监督模型。从图11中可以看出，随着标签数量的上升，特征分类器的准确率和auc都保持上升的趋势，也可以看出当标签数量的变化幅度较小时，特征分类器在某一指标下体现出的性能变化也可能较小，如标签数量分别为2528与3036时两分类器的准确率表现，又如标签数量分别为1024与1536时两分类器的auc表现，但一般当标签数量有显著增大时，是可以观察到模型性能的显著提升的，这一点也说明二阶段的半监督学习模型在使用训练子集时的性能表现具有一定的稳定性。
[0134]
另一方面，所训练的有监督模型所使用的训练数据也是完整的原始训练集，即3036个标签数量，而使用本发明提供的半监督学习模型只需要1024个标签就能达到与之接近的水平，当使用半监督学习模型在完整的原始训练集上进行训练时，综合性能表现远优于经典的有监督学习。这说明二阶段半监督学习范式能从大量无标注椎间盘mri数据中提取出有效的语义信息，从而加强有监督分类学习，使特征分类器达到更好的效果。
[0135]
在本发明中，会对被特征分类器判断为阳性样本的数据进行热力图的可视化，部分样例如图12所示，可以看出，对于阳性的椎间盘样例，热力图能给出退行性改变较为严重的横截面位置，以较高的热力值显示。特征分类器的分类依据基本都是图像中的椎间盘区域，这说明特征分类器能够读取到图像中的有效语义信息。对于突出或膨出的椎间盘，热力图能清晰地显示出突出或膨出发生的位置，具有一定的参考价值。
[0136]
本发明提供的腰椎间盘突出自动诊断模型的构建方法，使用二阶段半监督学习构建模型，以多层椎间盘截面扫描图像作为输入，提取综合语义信息对椎间盘形态进行判断，通过使用不同标签数量的训练子集来对模型进行训练，可以发现二阶段的半监督训练模型对于椎间盘mri图像分类任务能得到良好的性能表现，即使使用较少的标签数量，所得到的分类器性能依然能够保持稳定，并且仅使用约1/3数量的有标注训练子集，就能达到经典的有监督模型相当的水平。另外，本发明对grad-cam可解释性分析算法进行了改进和适配，适应于本发明构建的模型，对特征分类器的判断依据进行可视化，以热力图的形式展示。本发明所构建的腰椎间盘突出自动诊断模型能够得到较为合理的结果，能够一定程度上起到辅助诊断的作用，降低影像学医生的负担，提高诊断效率，也为后续研究提供一定的参考作用。
[0137]
可以理解的是，以上关于本发明的具体描述，仅用于说明本发明而并非受限于本发明实施例所描述的技术方案，本领域的普通技术人员应当理解，仍然可以对本发明进行修改或等同替换，以达到相同的技术效果；只要满足使用需要，都在本发明的保护范围之内。
技术特征：1.基于半监督学习的腰椎间盘突出自动诊断模型的构建方法，其特征在于，所述构建方法包括以下步骤：步骤s10：采集无标签的腰椎间盘mri图像样本，构建训练数据集s，并对训练数据集s中的mri图像进行预处理；步骤s20：构建第一神经网络；步骤s30：使用训练数据集s中的mri图像对所述第一神经网络进行训练，生成特征提取器，用于提取mri图像的语义特征向量；步骤s40：构建第二神经网络；步骤s50：将有标签的腰椎间盘mri图像样本依次输入到所述特征提取器中，为每个mri图像样本提取对应的语义特征向量；步骤s60：使用步骤s50中生成的语义特征向量对所述第二神经网络进行训练，生成特征分类器，所述特征分类器对语义特征向量进行分类并输出预测结果。2.根据权利要求1所述的基于半监督学习的腰椎间盘突出自动诊断模型的构建方法，其特征在于，所述构建方法还包括以下步骤：步骤s70：当所述特征分类器的预测结果为阳性时，为该阳性样本生成热力图，将阳性样本图像中造成阳性的关键信息标记出来。3.根据权利要求1所述的基于半监督学习的腰椎间盘突出自动诊断模型的构建方法，其特征在于，在所述步骤s20中，所述第一神经网络包括一个resnet50网络和多个全连接层，所述resnet50网络与多个全连接层串联连接。4.根据权利要求3所述的基于半监督学习的腰椎间盘突出自动诊断模型的构建方法，其特征在于，在所述步骤s10中，对mri图像进行预处理包括以下步骤：步骤s11：执行每一步训练时，先从训练数据集s中随机选取n张mri图像，构建训练数据子集p；步骤s12：将训练数据子集p中的每张mri图像进行两次随机变换处理，得到2n张mri变换图像。5.根据权利要求4所述的基于半监督学习的腰椎间盘突出自动诊断模型的构建方法，其特征在于，所述步骤s30包括以下步骤：步骤s31：将2n张mri变换图像两两为一组输入到所述第一神经网络中，所述第一神经网络为每组输入的两张mri变换图像映射出一对语义特征向量；步骤s32：根据softmax函数计算由第一神经网络映射出的每对语义特征向量表达相似语义的概率预测值其中，x
i
(1≤i≤2n)表示第i张变换后的mri图像经过第一神经网络映射得到的语义特征向量，x
j
(1≤j≤2n)表示第j张变换后的mri图像经过第一神经网络映射得到的语义特征向量，且第i张和第j张变换后的mri图像为一组，同时输入到第一神经网络中，τ为softmax函数中常用的超参数；步骤s33：根据第一神经网络的最优化训练目标函数
计算所述训练数据子集p的损失值，其中，f
e
为第一神经网络，表示期望；表示指示函数，φ是一个命题，当φ为真时，当φ为假时，表示向上取整；步骤s34：采用梯度下降算法训练第一神经网络，并最小化每个训练数据子集p的损失值，最后生成特征提取器。6.根据权利要求2所述的基于半监督学习的腰椎间盘突出自动诊断模型的构建方法，其特征在于，在所述步骤s50中，每个有标签的腰椎间盘mri图像样本包括同一腰椎间盘的多个横轴位mri图像。7.根据权利要求6所述的基于半监督学习的腰椎间盘突出自动诊断模型的构建方法，其特征在于，所述步骤s60包括以下步骤：步骤s61：获取每个有标签腰椎间盘mri图像样本的语义特征向量，所述第二神经网络对所述语义特征向量进行特征分类训练；步骤s62：使用sigmoid函数计算当前训练的腰椎间盘mri图像样本为阳性样本的概率值；步骤s63：采用步骤s61至s62的方法，使用多个有标签腰椎间盘mri图像样本对所述第二神经网络进行训练，生成特征分类器。8.根据权利要求6所述的基于半监督学习的腰椎间盘突出自动诊断模型的构建方法，其特征在于，在所述步骤s70中，为阳性样本生成热力图的方法包括以下步骤：步骤s71：获取所述特征提取器为每个有标签腰椎间盘mri图像样本输出的特征图集合a；步骤s72：根据公式计算各特征图的权重值，其中，u、v分别为最深层特征图的高度和宽度，为k个特征图的梯度，1≤k≤n；步骤s73：根据公式对各权重值进行正规化，其中，σ(
·
)表示求标准差；步骤s74：计算各特征图的权重值，表达式为其中，a为每个有标签腰椎间盘mri图像样本包含的横轴位mri图像数量；步骤s75：将每张图像的n个特征图与相应的权重值加权求和，得到热力图；步骤s76：对每一张热力图进行规范化：步骤s76：对每一张热力图进行规范化：其中，h
i
表示样本第i个截面对应的热力图，max(
·
)函数表示求张量中的最大元素值，a
(k)
为特征图集合a中的第k个特征图。
9.根据权利要求4所述的基于半监督学习的腰椎间盘突出自动诊断模型的构建方法，其特征在于，对mri图像进行随机变换处理的随机变换函数包括随机旋转、随机裁剪、随机翻转、亮度或对比度的随机改变、随机高斯模糊，同一张mri图像的两次随机变换表达相似的语义特征，不同mri图像的随机变换表达不同的语义特征。10.一种基于半监督学习的腰椎间盘突出自动诊断模型，所述自动诊断模型根据输入的腰椎间盘mri图像，自动输出分析预测结果，其特征在于，所述自动诊断模型采用如权利要求1至9中任一项所述的构建方法得到，所述自动诊断模型包括：特征提取器，用于提取mri图像的语义特征向量；特征分类器，所述特征分类器用于对语义特征向量进行分类，输出预测结果；热力图生成模块，当预测结果为阳性时，所述热力图生成模块生成热力图，标记出阳性mri图像中造成阳性的关键信息。
技术总结本发明提供的基于半监督学习的腰椎间盘突出自动诊断模型的构建方法，包括：步骤S10：构建训练数据集S，并对训练数据集S中的MRI图像进行预处理；步骤S20：构建第一神经网络；步骤S30：对所述第一神经网络进行训练，生成特征提取器；步骤S40：构建第二神经网络；步骤S50：为每个有标签MRI图像样本提取对应的语义特征向量；步骤S60：使用步骤S50中生成的语义特征向量对所述第二神经网络进行训练，生成特征分类器。本发明提供的自动诊断模型的构建方法，使用二阶段半监督学习构建模型，有效减少了有标签MRI图像样本的使用数量，对特征分类器的判断依据进行可视化，降低影像学医生的负担，提高诊断效率。提高诊断效率。提高诊断效率。
技术研发人员：侯超 王洪波 张伟奇
受保护的技术使用者：上海共筑医疗科技有限公司
技术研发日：2022.07.12
技术公布日：2022/11/1
