基于深度残差网络和fisher向量技术的皮肤镜图像分类方法
技术领域
1.本发明属于图像处理技术领域，具体涉及一种皮肤镜图像分类方法。
背景技术：2.大多数传统的计算机辅助诊断皮肤病解决方案包括四个步骤，包括皮肤镜图像预 处理、皮肤病变分割、特征提取和分类。大量手工制作皮肤病变的颜色、形状、大小 和纹理等视觉特征首先在预处理的皮肤镜图像上提取，然后用于训练分类器。
3.传统方法以无监督的方式提取图像特征，而不需要大量的训练样本，这与其说是 优点，不如说是缺点，因为几乎不可能找到一组最佳的手工特征或最准确的分类器。 因此，传统方法在皮肤病变的诊断中通常表现相对较差。
4.自从alexnet在2012年imagenet挑战赛中赢得冠军以来，深度卷积神经网络 (dcnn)已普遍应用于许多视觉应用，并取得了显着的成功，包括图像分类、图像分 割和目标检测。这种成功促使许多研究人员在医学图像分析中使用dcnn。然而， dcnn因其具有数百万个可学习参数而受到广泛批评，这使得当数据集不够大时，它 容易过度拟合训练数据集。不幸的是，在皮肤镜图像分类中通常有一个小数据集，这 与获取图像数据然后图像注释所需的工作有关。因此，dcnn在皮肤病变诊断任务上 的表现不如在imagenet挑战赛中的表现。为了解决这种"小样本"深度学习问题，建议 将深度模型的表示能力与传统的特征聚合和分类技术相结合。
5.通过使用dcnn，在各种图像分类任务上取得了许多突破，通过提供统一的特征 提取-分类框架，使用户摆脱了麻烦的手工特征提取。由于dcnn模型在图像分类任 务中具有高性能，因此它也被用于皮肤病变分类：esteva等人提出了一个模型，该模 型在近129450张皮肤病图像上进行训练，并与21名具有专科医师资格的皮肤科医生 在诊断最常见和最致命的皮肤癌方面的表现相匹配。ge等人提出了一种具有显著性特 征描述符的多模态dcnn模型，该模型由于其能够捕获皮肤镜图像和临床摄影图像上 的判别特征，因此在分类任务中达到了优于单模态方法的性能。zhang等人设计了一 个端到端协同深度学习(sdl)模型。与其基本版本不同，其具有协同网络来预测输 入图像对是否属于同一类，双dcn能够在训练过程中相互促进。romero等人已经将 迁移学习范式应用于vggnet，vggnet被用作皮肤镜图像分类的骨干网络。
6.皮肤病变分类也可以在分割后进行，因为该分类仅与病变区域相关，因此提出了 另一组多任务dcnn模型。yu等人提出的两阶段框架在第一阶段使用全卷积残留网 络(fcrn)进行皮肤病变分割，基于该框架，在第二阶段使用非常深的残留网络对皮 肤死亡进行分类。设计了新型cnn阻滞，将病变区域识别和病变 分割整合到诊断管道中。同时，分割结果在分类过程中影响较大，具有像素级注释的 可用皮肤镜图像较少，用于分类的两阶段"分割到分类"方法可能达到较低的准确性。
7.fisher向量技术在2011年赢得了imagenet挑战赛，为构建基于局部视觉描述符 的高级语义图像特征提供了一种有效的方法，例如尺度不变特征变换(sift)和局部 二进
制模式(lbp)。由于dcnn学习的特征图可以被视为局部特征，因此将dcnn 的强度与fisher矢量技术相结合成为一种直接且具有竞争力的策略，以提高dcnn在 图像分类任务中的性能。
8.fv(fisher vector)编码可以应用于dcnns学习的特征映射，而不是本地视觉 描述符(如sift和lbp)。cimpoi等人将dcnn最后两层生成的特征图编码为fv 以进行纹理理解。dixit等人提出了一种语义fv来编码dcnn的输出以进行场景分 类。tang等人提出了fishernet，该网络在cnn中添加了fisher层以构建端到端可训 练系统，并且在pascal voc数据集的分类准确性和计算效率方面具有明显的优势。 simonyan等人pro145提出将fv堆叠在类似于神经网络的多层中，从而以明显更小的 计算成本实现深度卷积网络的竞争结果。nagel等人引入了event fisher向量，编码预 先训练的deepnets的特征，以描述图像集合或视频的顺序帧，以构建视觉图像流中事 件识别的紧凑表示。liu等人提出了两种新的fisher向量编码策略来编码预先训练的 cnn的激活，包括基于稀疏编码的fisher向量编码(scfvc)和基于混合稀疏编码的 fisher向量编码(hscfvc)，它们在各种图像分类任务中实现了优于经典fisher向量 编码(fvc)的性能。
技术实现要素：9.为了克服现有技术的不足，本发明提供了一种基于深度残差网络和fisher向量技 术的皮肤镜图像分类方法，首先使用数据集对预训练resnet-50模型进行训练，得到 ftresnet，再采用ftresnet进行特征提取，提取的特征视为视觉描述符；将获得的特视 觉描述符编码为fv；最后用得到的fv训练svm对测试图像进行分类；本发明方法 能够大幅提供对皮肤病变分类的准确性。
10.本发明解决其技术问题所采用的技术方案包括如下步骤：
11.步骤1：使用数据集对预训练resnet-50模型进行训练；
12.使用在imagenet数据库上预训练的resnet-50模型作进行特征提取；resnet-50 模型包括一个通用卷积层、一个最大池化层，多个残留块和一个全连接层，为了将预 先训练的resnet-50应用于皮肤病变分类，最后一个全连接层只保留前七个神经元， 并删除该层中的其他神经元和相关权重；
13.采用皮肤镜图像数据库作为数据集；将数据集中的图像进行随机裁剪，用于数据 增强；并将裁剪后的图片大小调整为224
×
224；使用批大小为32的随机梯度下降sgd 算法作为优化器，以最小化交叉熵损失对resnet-50模型进行训练，训练完成后得到 ftresnet；
14.步骤2：采用ftresnet进行特征提取，并进行缩放，不同的取值代表不同的缩放 大小；
15.用因子2s，s＝-2，-1.5，
···
，1，获得7个增强；
16.将增强后的图像输入ftresnet，将ftresnet中res5c_branch2a层的输出作为特征 图，该特征图被视为视觉描述符，其维度为d＝512；
17.步骤3：将获得的特征图编码为fv；
18.设x＝{xk∈rd；k＝1,...,k}为从k幅图像中获得描述符；
19.假设生成过程由x具有参数u
θ
的gmm建模θ＝{ω
l
,μ
l
,σ
l
；l＝1,...,l}；
20.fv是x相对于均值u
l
和标准差σ
l
的对数似然的梯度，表示为：
[0021][0022]
fv的每个分量计算如下：
[0023][0024][0025]
使用l2范数对fv进行正则化：
[0026][0027]
步骤4：使用步骤3得到的fv训练svm对测试图像进行分类；
[0028]
定义fisher内核：
[0029][0030]
将fisher内核用于训练svm，训练完成的svm作为皮肤病变分类器，对皮肤病 变进行分类。
[0031]
优选地，所述皮肤镜图像数据库为isic-skin 2018数据集。
[0032]
优选地，所述对图像进行随机裁剪时裁剪因子从0.25到1.00。
[0033]
优选地，所述resnet-50在训练时微调为15个轮次，对于前10个轮次，学习速 率设置为1e-3，对于后面的5个轮次，学习速率设置为1e-4。
[0034]
本发明的有益效果如下：
[0035]
本发明的模型在皮肤病变分类测试集中对于阳性预测值的和阴性预测值的准确率 为0.699和0.927，证明了本文提出的算法具有很强的对少数皮肤病变进行分类的能力。 在医疗领域提高了诊断效率，患者表现出早期症状即可得到有效治疗
具体实施方式
[0036]
一种基于深度残差网络和fisher向量技术的皮肤镜图像分类方法，
[0037][0038]
包括如下步骤：
[0039]
步骤1：使用数据集对预训练resnet-50模型进行训练；
[0040]
使用在imagenet数据库上预训练的resnet-50模型作进行特征提取；resnet-50 模型包括一个通用卷积层、一个最大池化层，多个残留块和一个全连接层，为了将预 先训练的resnet-50应用于皮肤病变分类，最后一个全连接层只保留前七个神经元， 并删除该层中的其他神经元和相关权重；
[0041]
采用isic-skin 2018皮肤镜图像数据库作为数据集；
[0042]
isic-skin 2018数据集用于本研究。该数据集提供给了由国际皮肤影像合作组织 (isic)组织的“2018年黑色素瘤检测皮肤病变分析：挑战”的参与者。它包含11， 720张皮肤镜检查图像，其中10015张用于训练，193张用于验证和1512张用于测试。 每个皮肤镜检查
图像都是一张600
×
450rgb图像，并配有标签。训练图像的类标签已 经发布，验证和测试图像的类标签被保留用于在线测试。数据中分布有七种皮肤病变 类别，包括黑色素瘤，黑素细胞痣，基底细胞癌，光化性角化病，良性角化病，皮肤 纤维瘤和血管病变。七个类别中的图像分布非常不平衡，因为训练集中只有115例皮 肤纤维瘤病例和142例血管病变病例，但有6705例黑素细胞痣。
[0043]
将数据集中的图像进行随机裁剪，裁剪因子从0.25到1.00，用于数据增强；并将 裁剪后的图片大小调整为224
×
224；使用批大小为32的随机梯度下降sgd算法作为 优化器，以最小化交叉熵损失对resnet-50模型进行训练，训练完成后得到ftresnet； 在训练时微调为15个纪元，对于前10个纪元，学习速率设置为1e-3，对于后面的 5个纪元，学习速率设置为1e-4。
[0044]
步骤2：采用ftresnet进行特征提取，并进行缩放，不同的取值代表不同的缩放 大小；
[0045]
用因子2s，s＝-2，-1.5，
···
，1，获得7个增强；
[0046]
将增强后的图像输入ftresnet，将ftresnet中res5c_branch2a层的输出作为特征 图，该特征图被视为视觉描述符，其维度为d＝512；
[0047]
步骤3：将获得的特征图编码为fv；
[0048]
设x＝{xk∈rd；k＝1,...,k}为从k幅图像中获得描述符；
[0049]
假设生成过程由x具有参数u
θ
的gmm建模θ＝{ω
l
,μ
l
,σ
l
；l＝1,...,l}；
[0050]
fv是x相对于均值u
l
和标准差σ
l
的对数似然的梯度，表示为：
[0051][0052]
fv的每个分量计算如下：
[0053][0054][0055]
在试验中，训练一个由64个高斯分量组成的代码本，这些代码本的描述符从不超 过1000张图像中采样，依靠它将每个图像的局部描述符编码为fisher向量。
[0056]
使用l2范数对fv进行正则化：
[0057][0058]
步骤4：使用步骤3得到的fv训练svm对测试图像进行分类；
[0059]
定义fisher内核：
[0060][0061]
将fisher内核用于训练svm，训练完成的svm作为皮肤病变分类器，对皮肤病 变进行分类。
技术特征：1.一种基于深度残差网络和fisher向量技术的皮肤镜图像分类方法，其特征在于，包括如下步骤：步骤1：使用数据集对预训练resnet-50模型进行训练；使用在imagenet数据库上预训练的resnet-50模型作进行特征提取；resnet-50模型包括一个通用卷积层、一个最大池化层，多个残留块和一个全连接层，为了将预先训练的resnet-50应用于皮肤病变分类，最后一个全连接层只保留前七个神经元，并删除该层中的其他神经元和相关权重；采用皮肤镜图像数据库作为数据集；将数据集中的图像进行随机裁剪，用于数据增强；并将裁剪后的图片大小调整为224
×
224；使用批大小为32的随机梯度下降sgd算法作为优化器，以最小化交叉熵损失对resnet-50模型进行训练，训练完成后得到ftresnet；步骤2：采用ftresnet进行特征提取，并进行缩放，不同的取值代表不同的缩放大小；用因子2
s
，s＝-2，-1.5，
…
，1，获得7个增强；将增强后的图像输入ftresnet，将ftresnet中res5c_branch2a层的输出作为特征图，该特征图被视为视觉描述符，其维度为d＝512；步骤3：将获得的特征图编码为fv；设x＝{x
k
∈r
d
；k＝1，...，k}为从k幅图像中获得描述符；假设生成过程由x具有参数u
θ
的gmm建模θ＝{ω
l
，μ
l
，σ
l
；l＝1，...，l}；fv是x相对于均值u
l
和标准差σ
l
的对数似然的梯度，表示为：fv的每个分量计算如下：fv的每个分量计算如下：使用l2范数对fv进行正则化：步骤4：使用步骤3得到的fv训练svm对测试图像进行分类；定义fisher内核：将fisher内核用于训练svm，训练完成的svm作为皮肤病变分类器，对皮肤病变进行分类。2.根据权利要求1所述的一种基于深度残差网络和fisher向量技术的皮肤镜图像分类方法，其特征在于，所述皮肤镜图像数据库为isic-skin 2018数据集。3.根据权利要求1所述的一种基于深度残差网络和fisher向量技术的皮肤镜图像分类方法，其特征在于，所述对图像进行随机裁剪时裁剪因子从0.25到1.00。
4.根据权利要求1所述的一种基于深度残差网络和fisher向量技术的皮肤镜图像分类方法，其特征在于，所述resnet-50在训练时微调为15个轮次，对于前10个轮次，学习速率设置为1e-3，对于后面的5个轮次，学习速率设置为1e-4。
技术总结本发明公开了一种基于深度残差网络和Fisher向量技术的皮肤镜图像分类方法，首先使用数据集对预训练ResNet-50模型进行训练，得到ftResNet，再采用ftResNet进行特征提取，提取的特征视为视觉描述符；将获得的特视觉描述符编码为FV；最后用得到的FV训练SVM对测试图像进行分类；本发明方法能够大幅提供对皮肤病变分类的准确性。变分类的准确性。
技术研发人员：夏勇 胡航语 陈梓杨
受保护的技术使用者：西北工业大学
技术研发日：2022.06.24
技术公布日：2022/11/1
