一种基于深度学习的二维iolmaster晶状体图像分级方法和装置
技术领域
1.本发明涉及图像处理技术领域，尤其涉及一种基于深度学习的二维iolmaster晶状体图像分级方法、装置、计算机设备和计算机可读存储介质。
背景技术：2.年龄相关性白内障目前仍是世界上致盲和视力损伤的主要原因。相关统计指出，2018年中国老年白内障患者已达3500万人。白内障的患病率随年龄的增长而增加，从55-64岁的3.9％到80岁及以上的92.6％。现今，由于白内障超声乳化吸除术(phacoemulsification，phaco)联合人工晶状体植入术(intraocular lensimplantation)和先进的人工晶状体(iol)设计，白内障手术已全面从复明性手术迈入屈光手术时代，白内障手术的意义和指征也在不断地变化。一般白内障手术指征的评价标准主要包括晶状体混浊程度、视觉质量(视力、对比敏感度、是否有眩光等)，以及白内障是否影响眼后段疾病的诊断和治疗等。由于患者对白内障专业知识的欠缺，想要让患者直观地了解自己的病情，就需要对白内障严重程度进行分级，便捷准确的检测方法可以获得白内障的诊断和治疗数据的量化指标，有助于医生和患者之间的沟通，更能够让患者更加简单直观的了解白内障，并且协助临床医生对疾病的进展和随访进行检测，确定白内障的治疗时机和选择治疗方法。
3.目前评估白内障晶状体混浊程度的主要分为主观方法与客观方法两大类。临床上最常用的主观分级方法是晶状体混浊程度分级系统(lens opacities classification systemⅲ，locsⅲ)，客观方法主要包括ray tracing像差分析系统的晶状体功能失调(dli)指数、pentacam眼前节分析系统的pns评分等。目前临床上应用最广泛的是locsⅲ晶状体混浊程度分级系统，然而，由于这项评估是眼科医生在裂隙灯下进行地，医生的经验和裂隙灯设置精度可能影响评估的可靠性，且有研究指出该方法的主观性强，重复性并不理想。itrace像差分析系统提供dli是根据高阶像差、对比敏感度、瞳孔直径等数据综合计算得出的指数，该数值范围为0～10，数值越小代表晶状体混浊程度越重，透明晶状体dli值为10。pentacam眼前节分析系统用于获取晶状体的scheimpflug图像，内置的pns软件提供的整个核的平均密度读数定义为pentacam核密度，范围为0％至100％。这两种仪器具有较为高端的功能，能提供晶状体混浊程度分级,但这两种仪器造价昂贵并且功能单一，只能提供晶状体混浊的指标，无法提供人工晶体的测量，使得多数医院并没有配备这两种仪器，但临床工作中这一功能又甚为重要，使得多数临床医生缺乏有效的白内障的评估手段。
4.iolmaster 700是一种远程扫描源光学相干断层扫描(ss-oct)生物测定仪，这是第一个基于扫频光学相干断层扫描(oct)的生物特征识别技术。它使整个眼睛的oct成像和可视化成为可能，使眼科医生可以观察到整个眼睛的纵向截面。人工晶状体(iol)植入后令人满意的屈光结果取决于最佳的生物测定。准确的眼轴长度(al)，前房深度(acd)和角膜曲率(k)对于所有生物特征公式计算出所需结果至关重要。随着散光型和多焦点人工晶状体的普遍使用，准确的生物测定比以往任何时候都更重要，以达到患者期望的视觉质量。并且
iolmaster 700能清晰的扫描出黄斑区的病变，检查范围涵盖了眼前节及眼后段对视力影响最为重要的黄斑区，突破了传统眼科辅助检查扫描范围局限的特点。因此，该仪器在眼科辅助检查中运用十分广泛，旨在改善白内障手术后的屈光效果。
5.目前，针对相关技术中，存在的晶状体混浊程度的分级依赖人工，主观性强，并且分级结果有偏差的问题，尚未提出有效的解决方案。
技术实现要素：6.本技术的目的是针对现有技术中的不足，提供一种基于深度学习的二维iolmaster晶状体图像分级方法、装置、计算机设备和计算机可读存储介质，以至少解决相关技术中晶状体混浊程度的分级依赖人工，主观性强，并且分级结果有偏差的问题。
7.为实现上述目的，本技术采取的技术方案是：
8.第一方面，本技术实施例提供了一种基于深度学习的二维iolmaster晶状体图像分级方法，包括：
9.获取二维iolmaster晶状体图像数据集，其中，所述数据集中包括多个二维iolmaster晶状体图像；
10.通过cleanlab库对所述数据集进行噪声标签消除，得到清洗后的数据集；
11.将所述清洗后的数据集划分为测试集和训练集，并进行逐级的二值分类处理，得到各个级别对应的训练好的分类网络模型；
12.将所述清洗后的数据集的测试集分别输入至所述各个级别对应的训练好的分类网络模型，获得白内障的分级结果。
13.在其中一些实施例中，所述通过cleanlab库对所述数据集进行噪声标签消除，得到清洗后的数据集，包括：
14.将所述数据集划分为测试集和训练集；
15.利用所述数据集的训练集训练resnet34模型；得到训练好的resnet34模型；
16.将所述数据集的测试集输入训练好的resnet34模型，得到所述数据集的测试集中每个二维iolmaster晶状体图像被预测为每个白内障级别的概率；
17.将每个白内障级别的概率输入至cleanlab库，获得所述数据集中噪声标签的分布区间；
18.将所述数据集中标签位于所述分布区间内的二维iolmaster晶状体图像剔除，得到所述清洗后的数据集。
19.在其中一些实施例中，所述将所述清洗后的数据集划分为测试集和训练集，并进行逐级的二值分类处理，得到各个级别对应的训练好的分类网络模型，包括：
20.将所述清洗后的数据集的训练集和测试集中第一级别白内障的二维iolmaster晶状体图像作为一类，将其余级别白内障的二维iolmaster晶状体图像作为另一类，训练第一级别对应的分类网络模型，得到第一级别对应的训练好的分类网络模型；
21.分别对所述清洗后的数据集的训练集和测试集中第一级别之后的每个级别的iolmaster晶状体图像执行以下过程：
22.将第n级别白内障的二维iolmaster晶状体图像作为一类，将第n-1级别白内障的二维iolmaster晶状体图像剔除，将其余级别白内障的二维iolmaster晶状体图像作为另一
类，训练第n级别对应的分类网络模型，得到第n级别对应的训练好的分类网络模型，其中，n为大于1的整数。
23.在其中一些实施例中，所述将所述清洗后的数据集的测试集分别输入至所述各个级别对应的训练好的分类网络模型，获得白内障的分级结果，包括：
24.对所述清洗后的数据集的测试集重复执行以下过程：将所述清洗后的数据集的测试集输入至第m级别对应的训练好的分类网络模型，得到第m级别白内障与其余级别白内障的分级结果，其中，m为整数，且1≤m≤n；将所述第m级别白内障的二维iolmaster晶状体图像从所述清洗后的数据集的测试集中剔除，构成新的测试集；将所述新的测试集作为所述清洗后的数据集的测试集；
25.将各个级别的分级结果进行聚合，得到白内障的分级结果。
26.在其中一些实施例中，所述方法采用resnet18-cbam网络进行逐级的二值分类处理，所述resnet18-cbam网络以resnet18为基础架构，在resnet18的残差模块中加入空间与通道注意力，包括以下步骤：
27.将输入的特征图f1(h
×w×
c)分别经过基于宽和高的全局最大池化和全局平均池化，得到两个1
×1×
c的特征图；再将获得的两个1
×1×
c的特征图分别输入两层全连接层，其中第一层神经元个数为c/r，r为减少率，激活函数为relu，第二层神经元个数为c；
28.将两个全连接层的输出特征进行加权求和，并输入sigmoid激活函数，以生成两个白内障级别的通道权重，即mc；
29.对mc和输入特征图f1进行通道注意力运算，输出特征图f2；
30.对特征图f2进行通道维度的全局最大池化和全局平均池化，得到两个h
×w×
1的特征图，将获得的2个特征图基于通道进行拼接，生成一个h
×w×
2的特征图；
31.将h
×w×
2的特征图经过一个7
×
7卷积操作以降维为1个通道，得到h
×w×
1的特征图，再经过sigmoid生成空间注意力，得到ms；将ms和f2求解矩阵笛卡尔积，以获取最终特征。
32.在其中一些实施例中，所述方法采用带有标签平滑的交叉熵损失l
lsr
对分类网络模型进行训练，其中：
[0033][0034]
其中，表示第i类在第n个分类网络模型中预测的概率，pi对于正类是1，对于其他类是0，a＝0.1是一个平滑因子。
[0035]
第二方面，本技术实施例提供了一种基于深度学习的二维iolmaster晶状体图像分级装置，包括：
[0036]
获取单元，用于获取二维iolmaster晶状体图像数据集，其中，所述数据集中包括多个二维iolmaster晶状体图像；
[0037]
消除单元，用于通过cleanlab库对所述数据集进行噪声标签消除，得到清洗后的数据集；
[0038]
训练单元，用于将所述清洗后的数据集划分为测试集和训练集，并进行逐级的二值分类处理，得到各个级别对应的训练好的分类网络模型；
[0039]
分类单元，用于将所述清洗后的数据集的测试集分别输入至所述各个级别对应的
训练好的分类网络模型，获得白内障的分级结果。
[0040]
在其中一些实施例中，所述消除单元包括：
[0041]
划分模块，用于将所述数据集划分为测试集和训练集；
[0042]
第一训练模块，用于利用所述数据集的训练集训练resnet34模型；得到训练好的resnet34模型；
[0043]
输入模块，用于将所述数据集的测试集输入训练好的resnet34模型，得到所述数据集的测试集中每个二维iolmaster晶状体图像被预测为每个白内障级别的概率；
[0044]
获得模块，用于将每个白内障级别的概率输入至cleanlab库，获得所述数据集中噪声标签的分布区间；
[0045]
剔除模块，用于将所述数据集中标签位于所述分布区间内的二维iolmaster晶状体图像剔除，得到所述清洗后的数据集。
[0046]
第三方面，本技术实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的基于深度学习的二维iolmaster晶状体图像分级方法。
[0047]
第四方面，本技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的基于深度学习的二维iolmaster晶状体图像分级方法。
[0048]
本技术采用以上技术方案，与现有技术相比，本技术实施例提供的基于深度学习的二维iolmaster晶状体图像分级算法，通过将白内障分级转化为一个排序问题，具体是通过一系列的二分类来实现，最后，通过合计二分类的结果来得到白内障分级结果，解决了现有的晶状体混浊程度的分级依赖人工，主观性强，并且分级结果有偏差的问题，实现了提高白内障分级结果准确度的效果。
[0049]
本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。
附图说明
[0050]
此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
[0051]
图1是根据本技术实施例的移动终端的结构框图；
[0052]
图2是根据本技术实施例的基于深度学习的二维iolmaster晶状体图像分级方法的流程图；
[0053]
图3是根据本技术优选实施例的白内障分级网络框架图；
[0054]
图4是根据本技术优选实施例的白内障分级结果预测流程的示意图；
[0055]
图5是根据本技术优选实施例的实验室白内障分级结果预测的示意图；
[0056]
图6是根据本技术实施例的基于深度学习的二维iolmaster晶状体图像分级装置的结构框图；
[0057]
图7为根据本技术实施例的计算机设备的硬件结构示意图。
具体实施方式
[0058]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。基于本技术提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0059]
显而易见地，下面描述中的附图仅仅是本技术的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本技术应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本技术公开的内容相关的本领域的普通技术人员而言，在本技术揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本技术公开的内容不充分。
[0060]
在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本技术所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
[0061]
除非另作定义，本技术所涉及的技术术语或者科学术语应当为本技术所属技术领域内具有一般技能的人士所理解的通常意义。本技术所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本技术所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本技术所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本技术所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本技术所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
[0062]
本实施例提供了一种移动终端。图1是根据本技术实施例的移动终端的结构框图。如图1所示，该移动终端包括：射频(radio frequency，简称为rf)电路110、存储器120、输入单元130、显示单元140、传感器150、音频电路160、无线保真(wireless fidelity，简称为wifi)模块170、处理器180、以及电源190等部件。本领域技术人员可以理解，图1中示出的移动终端结构并不构成对移动终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0063]
下面结合图1对移动终端的各个构成部件进行具体的介绍：
[0064]
rf电路110可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器180处理；另外，将设计上行的数据发送给基站。通常，rf电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(low noise amplifier，简称为lna)、双工器等。此外，rf电路110还可以通过无线通信与网络和其他设
备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(global system of mobile communication，简称为gsm)、通用分组无线服务(general packet radio service，简称为gprs)、码分多址(code division multiple access，简称为cdma)、宽带码分多址(wideband code division multiple access，简称为wcdma)、长期演进(long term evolution，简称为lte)、电子邮件、短消息服务(short messaging service，简称为sms)等。
[0065]
存储器120可用于存储软件程序以及模块，处理器180通过运行存储在存储器120的软件程序以及模块，从而执行移动终端的各种功能应用以及数据处理。存储器120可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据移动终端的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0066]
输入单元130可用于接收输入的数字或字符信息，以及产生与移动终端的用户设置以及功能控制有关的键信号输入。具体地，输入单元130可包括触控面板131以及其他输入设备132。触控面板131，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板131上或在触控面板131附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板131可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器180，并能接收处理器180发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板131。除了触控面板131，输入单元130还可以包括其他输入设备132。具体地，其他输入设备132可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
[0067]
显示单元140可用于显示由用户输入的信息或提供给用户的信息以及移动终端的各种菜单。显示单元140可包括显示面板141，可选的，可以采用液晶显示器(liquid crystal display，简称为lcd)、有机发光二极管(organic light-emitting diode，简称为oled)等形式来配置显示面板141。进一步的，触控面板131可覆盖显示面板141，当触控面板131检测到在其上或附近的触摸操作后，传送给处理器180以确定触摸事件的类型，随后处理器180根据触摸事件的类型在显示面板141上提供相应的视觉输出。虽然在图1中，触控面板131与显示面板141是作为两个独立的部件来实现移动终端的输入和输入功能，但是在某些实施例中，可以将触控面板131与显示面板141集成而实现移动终端的输入和输出功能。
[0068]
移动终端还可包括至少一种传感器150，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板141的亮度，接近传感器可在移动终端移动到耳边时，关闭显示面板141和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于移动终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在
此不再赘述。
[0069]
音频电路160中的扬声器161，传声器162可提供用户与移动终端之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号，传输到扬声器161，由扬声器161转换为声音信号输出；另一方面，传声器162将收集的声音信号转换为电信号，由音频电路160接收后转换为音频数据，再将音频数据输出处理器180处理后，经rf电路110以发送给比如另一移动终端，或者将音频数据输出至存储器120以便进一步处理。
[0070]
wifi属于短距离无线传输技术，移动终端通过wifi模块170可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图1示出了wifi模块170，但是可以理解的是，其并不属于移动终端的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略，或者替换为其他的短距离无线传输模块，例如zigbee模块、或者wapi模块等。
[0071]
处理器180是移动终端的控制中心，利用各种接口和线路连接整个移动终端的各个部分，通过运行或执行存储在存储器120内的软件程序和/或模块，以及调用存储在存储器120内的数据，执行移动终端的各种功能和处理数据，从而对移动终端进行整体监控。可选的，处理器180可包括一个或多个处理单元；优选的，处理器180可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器180中。
[0072]
移动终端还包括给各个部件供电的电源190(比如电池)，优选的，电源可以通过电源管理系统与处理器180逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
[0073]
尽管未示出，移动终端还可以包括摄像头、蓝牙模块等，在此不再赘述。
[0074]
在本实施例中，处理器180被配置为：获取二维iolmaster晶状体图像数据集，其中，所述数据集中包括多个二维iolmaster晶状体图像；通过cleanlab库对所述数据集进行噪声标签消除，得到清洗后的数据集；将所述清洗后的数据集划分为测试集和训练集，并进行逐级的二值分类处理，得到各个级别对应的训练好的分类网络模型；将所述清洗后的数据集的测试集分别输入至所述各个级别对应的训练好的分类网络模型，获得白内障的分级结果。
[0075]
在其中一些实施例中，处理器180还被配置为：将所述数据集划分为测试集和训练集；利用所述数据集的训练集训练resnet34模型；得到训练好的resnet34模型；将所述数据集的测试集输入训练好的resnet34模型，得到所述数据集的测试集中每个二维iolmaster晶状体图像被预测为每个白内障级别的概率；将每个白内障级别的概率输入至cleanlab库，获得所述数据集中噪声标签的分布区间；将所述数据集中标签位于所述分布区间内的二维iolmaster晶状体图像剔除，得到所述清洗后的数据集。
[0076]
在其中一些实施例中，处理器180还被配置为：将所述清洗后的数据集的训练集和测试集中第一级别白内障的二维iolmaster晶状体图像作为一类，将其余级别白内障的二维iolmaster晶状体图像作为另一类，训练第一级别对应的分类网络模型，得到第一级别对应的训练好的分类网络模型；分别对所述清洗后的数据集的训练集和测试集中第一级别之后的每个级别的iolmaster晶状体图像执行以下过程：将第n级别白内障的二维iolmaster晶状体图像作为一类，将第n-1级别白内障的二维iolmaster晶状体图像剔除，将其余级别
白内障的二维iolmaster晶状体图像作为另一类，训练第n级别对应的分类网络模型，得到第n级别对应的训练好的分类网络模型，其中，n为大于1的整数。
[0077]
在其中一些实施例中，处理器180还被配置为：对所述清洗后的数据集的测试集重复执行以下过程：将所述清洗后的数据集的测试集输入至第m级别对应的训练好的分类网络模型，得到第m级别白内障与其余级别白内障的分级结果，其中，m为整数，且1≤m≤n；将所述第m级别白内障的二维iolmaster晶状体图像从所述清洗后的数据集的测试集中剔除，构成新的测试集；将所述新的测试集作为所述清洗后的数据集的测试集；将各个级别的分级结果进行聚合，得到白内障的分级结果。
[0078]
在其中一些实施例中，处理器180还被配置为：采用resnet18-cbam网络进行逐级的二值分类处理，所述resnet18-cbam网络以resnet18为基础架构，在resnet18的残差模块中加入空间与通道注意力，包括以下步骤：
[0079]
将输入的特征图f1(h
×w×
c)分别经过基于宽和高的全局最大池化和全局平均池化，得到两个1
×1×
c的特征图；再将获得的两个1
×1×
c的特征图分别输入两层全连接层，其中第一层神经元个数为c/r，r为减少率，激活函数为relu，第二层神经元个数为c；
[0080]
将两个全连接层的输出特征进行加权求和，并输入sigmoid激活函数，以生成两个白内障级别的通道权重，即mc；
[0081]
对mc和输入特征图f1进行通道注意力运算，输出特征图f2；
[0082]
对特征图f2进行通道维度的全局最大池化和全局平均池化，得到两个h
×w×
1的特征图，将获得的2个特征图基于通道进行拼接，生成一个h
×w×
2的特征图；
[0083]
将h
×w×
2的特征图经过一个7
×
7卷积操作以降维为1个通道，得到h
×w×
1的特征图，再经过sigmoid生成空间注意力，得到ms；将ms和f2求解矩阵笛卡尔积，以获取最终特征。
[0084]
在其中一些实施例中，处理器180还被配置为：采用带有标签平滑的交叉熵损失l
lsr
对分类网络模型进行训练，其中：
[0085][0086]
其中，表示第i类在第n个分类网络模型中预测的概率，pi对于正类是1，对于其他类是0，a＝0.1是一个平滑因子。
[0087]
本实施例提供了一种基于深度学习的二维iolmaster晶状体图像分级方法，属于图像处理领域，可用白内障分级及智能医疗诊断方面。
[0088]
图2是根据本技术实施例的基于深度学习的二维iolmaster晶状体图像分级方法的流程图，如图2所示，该流程包括如下步骤：
[0089]
步骤s201，获取二维iolmaster晶状体图像数据集，其中，所述数据集中包括多个二维iolmaster晶状体图像；
[0090]
步骤s202，通过cleanlab库对所述数据集进行噪声标签消除，得到清洗后的数据集；
[0091]
步骤s203，将所述清洗后的数据集划分为测试集和训练集，并进行逐级的二值分类处理，得到各个级别对应的训练好的分类网络模型；
[0092]
步骤s204，将所述清洗后的数据集的测试集分别输入至所述各个级别对应的训练
好的分类网络模型，获得白内障的分级结果。
[0093]
通过上述步骤，本技术实施例提供的基于深度学习的二维iolmaster晶状体图像分级算法，通过将白内障分级转化为一个排序问题，具体是通过一系列的二分类来实现，最后，通过合计二分类的结果来得到白内障分级结果，解决了现有的晶状体混浊程度的分级依赖人工，主观性强，并且分级结果有偏差的问题，实现了提高白内障分级结果准确度的效果。
[0094]
在其中一些实施例中，步骤s202通过cleanlab库对所述数据集进行噪声标签消除，得到清洗后的数据集，包括：
[0095]
将所述数据集划分为测试集和训练集；
[0096]
利用所述数据集的训练集训练resnet34模型；得到训练好的resnet34模型；
[0097]
将所述数据集的测试集输入训练好的resnet34模型，得到所述数据集的测试集中每个二维iolmaster晶状体图像被预测为每个白内障级别的概率；
[0098]
将每个白内障级别的概率输入至cleanlab库，获得所述数据集中噪声标签的分布区间；
[0099]
将所述数据集中标签位于所述分布区间内的二维iolmaster晶状体图像剔除，得到所述清洗后的数据集。
[0100]
由于白内障分级的标签是靠专业医生以视觉方式对照locsⅲ晶状体混浊程度分级系统的金标准进行制作的，并且相邻级别具有高度的相似性。此外，由于人工制作标签的主观性和视觉疲劳性，人工制作的标签中会存在标签级别与真实白内障级别不相符的情况。为了屏蔽由于人工误差导致的错误标签对模型训练的影响，本方法通过cleanlab对数据集进行噪声标签消除。首先，将数据集等分成五组，选其中一组作为测试集，其余四组为训练集，并依据数据划分训练一个resnet34模型。然后，将测试集输入训练好的模型，获得测试集中每个样本被预测为每个白内障级别的概率。随后，将每个白内障别的概率输入cleanlab库，从而获得整个数据集中噪声标签的分布。最后，通过将标签错误的白内障图像剔除，获得清洗后的iolmaster晶状体图像数据集。
[0101]
在其中一些实施例中，步骤s203将所述清洗后的数据集划分为测试集和训练集，并进行逐级的二值分类处理，得到各个级别对应的训练好的分类网络模型，包括：
[0102]
将所述清洗后的数据集的训练集和测试集中第一级别白内障的二维iolmaster晶状体图像作为一类，将其余级别白内障的二维iolmaster晶状体图像作为另一类，训练第一级别对应的分类网络模型，得到第一级别对应的训练好的分类网络模型；
[0103]
分别对所述清洗后的数据集的训练集和测试集中第一级别之后的每个级别的iolmaster晶状体图像执行以下过程：
[0104]
将第n级别白内障的二维iolmaster晶状体图像作为一类，将第n-1级别白内障的二维iolmaster晶状体图像剔除，将其余级别白内障的二维iolmaster晶状体图像作为另一类，训练第n级别对应的分类网络模型，得到第n级别对应的训练好的分类网络模型，其中，n为大于1的整数。
[0105]
传统的白内障分级忽略了白内障级别的顺序信息，将白内障的分级过度简化成了线性模型。因此，为了在白内障分级模型中融合白内障不同级别的毗邻关系，本方法采用ranking-net思想来针对不同白内障级别的图像进行独立特征提取，使得学习的特征具有
更有效地区分毗邻白内障级别，结合图3所示的白内障分级网络框架图，整个算法详细步骤如下：第一步，将数据集均分成五个等分，选一份为测试集，其余四份为训练集。将训练集和测试集中的1级白内障作为一类，其余2到6级白内障作为另一个类，以此构成二值分类任务。然后，在划分好的二元分类数据集上训练第一个分类网络，记为level-1。第二步，将训练集和测试集中的2级白内障图像作为一个类别，同时将前面步骤的1级别白内障图像类剔除，其余3到6级白内障作为另一个类别，以此构成第二个二元分类任务。同样的，再次在划分的二元分类数据集上训练第二个分类网络，记为level-2。依此类推，最终将5级白内障与6级白内障各自分成单独的一类，并训练第五个分类网络，记为level-5。
[0106]
在其中一些实施例中，步骤s204将所述清洗后的数据集的测试集分别输入至所述各个级别对应的训练好的分类网络模型，获得白内障的分级结果，包括：
[0107]
对所述清洗后的数据集的测试集重复执行以下过程：将所述清洗后的数据集的测试集输入至第m级别对应的训练好的分类网络模型，得到第m级别白内障与其余级别白内障的分级结果，其中，m为整数，且1≤m≤n；将所述第m级别白内障的二维iolmaster晶状体图像从所述清洗后的数据集的测试集中剔除，构成新的测试集；将所述新的测试集作为所述清洗后的数据集的测试集；
[0108]
将各个级别的分级结果进行聚合，得到白内障的分级结果。
[0109]
在如3所示的网络框架图中，在获取到五个二分类网络后，首先将测试集数据输入到level-1中得到第1级白内障与其余级别白内障的分级结果，然后将得到的第1级的预测结果从测试集中剔除构成新的测试集，并把新构造的测试集输入到level-2网络中得到2级白内障与其余级别白内障的预测结果。以此类推，在最后的level-5中得到第5级与第6级白内障的分级结果。最后，把各个级别的分级结果进行聚合，得到最终白内障分级结果。
[0110]
在其中一些实施例中，所述方法采用resnet18-cbam网络进行逐级的二值分类处理，所述resnet18-cbam网络以resnet18为基础架构，在resnet18的残差模块中加入空间与通道注意力，包括以下步骤：
[0111]
(1)将输入的特征图f1(h
×w×
c)分别经过基于宽和高的全局最大池化和全局平均池化，得到两个1
×1×
c的特征图；再将获得的两个1
×1×
c的特征图分别输入两层全连接层，其中第一层神经元个数为c/r，r为减少率，激活函数为relu，第二层神经元个数为c；值得注意的是，该两层全连接层的权重参数是共享的。
[0112]
(2)将两个全连接层的输出特征进行加权求和，并输入sigmoid激活函数，以生成两个白内障级别的通道权重，即mc；
[0113]
(3)对mc和输入特征图f1进行进行逐元素相乘运算，即通道注意力运算，输出特征图f2；
[0114]
(4)将通道注意力模块输出的特征图f2输入到空间注意力模块中，即对特征图f2进行通道维度的全局最大池化和全局平均池化，得到两个h
×w×
1的特征图，将获得的2个特征图基于通道进行拼接，生成一个h
×w×
2的特征图；
[0115]
(5)将h
×w×
2的特征图经过一个7
×
7卷积操作以降维为1个通道，得到h
×w×
1的特征图，再经过sigmoid生成空间注意力，得到ms；将ms和f2求解矩阵笛卡尔积，以获取最终特征。
[0116]
在其中一些实施例中，所述方法采用带有标签平滑的交叉熵损失l
lsr
对分类网络
模型进行训练，其中：
[0117][0118]
其中，表示第i类在第n个分类网络模型中预测的概率，pi对于正类是1，对于其他类是0，a＝0.1是一个平滑因子。
[0119]
本技术实施例针对现有的晶状体混浊程度的分级依赖人工，主观性强，并且分级结果有偏差的问题，提出基于深度学习的二维iolmaster晶状体图像分级方法。如图4所示，本技术实施例实现上述目的的技术方案包括以下流程：1)数据获取：2)数据清洗：去除数据集中的标签噪声；3)二值分类：将白内障数据集分组进行逐级二值分类；4)结果聚合：聚合二分类结果来得到白内障级别预测结果。
[0120]
如图5所示，在实验中可以采用了基于卷积神经网络的resnet34模型和ranking-cnn分别进行实验。其中ranking-cnn通过创建n-1个cnn模型进行分类，每个模型以一个级别为参考进行二分类。比如预测1到6级的白内障级别时，第一个cnn模型是把第1级作为一个类别，其他类别当作第二个类别进行二分类，第五个模型是把第5级作为一个类别，第6级当作第二个类别。最终，对n个类得到了n-1个二元预测，通过合计二分类的结果来得到白内障分级结果。
[0121]
本技术实施例相较于现有技术具有以下优势：
[0122]
1.本技术首次提出按locsⅲ晶状体混浊程度分级系统引导的iolmaster的晶状体图像分级算法，为客观评估晶状体混浊程度提供了一种有效的工具，也为白内障的精准诊断和治疗提供了可能；
[0123]
2.本技术首次提出使用噪声标签去除的方法去除iolmaster晶状体图像数据集中存在的噪声标签，提高了分级模型的鲁棒性和准确性；
[0124]
3.本技术首次提出基于排序分级的iolmaster晶状体图像白内障分级方法，通过创建n-1个cnn模型，每个模型以一个级别为参考进行二分类，使得每个模型学习的特征具有更有效的表现能力；
[0125]
4.本技术在一批iolmaster晶状体图像中进行了预实验，结果表明发明中所用的算法能够准确的对白内障级别进行预测。
[0126]
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0127]
本实施例提供了一种基于深度学习的二维iolmaster晶状体图像分级装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
[0128]
图6是根据本技术实施例的基于深度学习的二维iolmaster晶状体图像分级装置的结构框图，如图6所示，该装置包括：
[0129]
获取单元61用于获取二维iolmaster晶状体图像数据集，其中，所述数据集中包括多个二维iolmaster晶状体图像；
[0130]
消除单元62，用于通过cleanlab库对所述数据集进行噪声标签消除，得到清洗后的数据集；
[0131]
训练单元63，用于将所述清洗后的数据集划分为测试集和训练集，并进行逐级的二值分类处理，得到各个级别对应的训练好的分类网络模型；
[0132]
分类单元64，用于将所述清洗后的数据集的测试集分别输入至所述各个级别对应的训练好的分类网络模型，获得白内障的分级结果。
[0133]
在其中一些实施例中，所述消除单元62包括：
[0134]
划分模块，用于将所述数据集划分为测试集和训练集；
[0135]
第一训练模块，用于利用所述数据集的训练集训练resnet34模型；得到训练好的resnet34模型；
[0136]
输入模块，用于将所述数据集的测试集输入训练好的resnet34模型，得到所述数据集的测试集中每个二维iolmaster晶状体图像被预测为每个白内障级别的概率；
[0137]
获得模块，用于将每个白内障级别的概率输入至cleanlab库，获得所述数据集中噪声标签的分布区间；
[0138]
剔除模块，用于将所述数据集中标签位于所述分布区间内的二维iolmaster晶状体图像剔除，得到所述清洗后的数据集。
[0139]
在其中一些实施例中，所述训练单元63包括：
[0140]
第二训练模块，用于将所述清洗后的数据集的训练集和测试集中第一级别白内障的二维iolmaster晶状体图像作为一类，将其余级别白内障的二维iolmaster晶状体图像作为另一类，训练第一级别对应的分类网络模型，得到第一级别对应的训练好的分类网络模型；
[0141]
第三训练模块，用于分别对所述清洗后的数据集的训练集和测试集中第一级别之后的每个级别的iolmaster晶状体图像执行以下过程：
[0142]
将第n级别白内障的二维iolmaster晶状体图像作为一类，将第n-1级别白内障的二维iolmaster晶状体图像剔除，将其余级别白内障的二维iolmaster晶状体图像作为另一类，训练第n级别对应的分类网络模型，得到第n级别对应的训练好的分类网络模型，其中，n为大于1的整数。
[0143]
在其中一些实施例中，所述分类单元64包括：
[0144]
执行模块，用于对所述清洗后的数据集的测试集重复执行以下过程：将所述清洗后的数据集的测试集输入至第m级别对应的训练好的分类网络模型，得到第m级别白内障与其余级别白内障的分级结果，其中，m为整数，且1≤m≤n；将所述第m级别白内障的二维iolmaster晶状体图像从所述清洗后的数据集的测试集中剔除，构成新的测试集；将所述新的测试集作为所述清洗后的数据集的测试集；
[0145]
将各个级别的分级结果进行聚合，得到白内障的分级结果。
[0146]
在其中一些实施例中，所述装置采用resnet18-cbam网络进行逐级的二值分类处理，所述resnet18-cbam网络以resnet18为基础架构，在resnet18的残差模块中加入空间与通道注意力，包括以下步骤：
[0147]
将输入的特征图f1(h
×w×
c)分别经过基于宽和高的全局最大池化和全局平均池化，得到两个1
×1×
c的特征图；再将获得的两个1
×1×
c的特征图分别输入两层全连接层，
memory，简称为sram)或动态随机存取存储器(dynamic random access memory，简称为dram)，其中，dram可以是快速页模式动态随机存取存储器(fast page mode dynamic random access memory，简称为fpmdram)、扩展数据输出动态随机存取存储器(extended date out dynamic random access memory，简称为edodram)、同步动态随机存取内存(synchronous dynamic random-access memory，简称sdram)等。
[0160]
存储器72可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器71所执行的可能的计算机程序指令。
[0161]
处理器71通过读取并执行存储器72中存储的计算机程序指令，以实现上述实施例中的任意一种基于深度学习的二维iolmaster晶状体图像分级方法。
[0162]
在其中一些实施例中，计算机设备还可包括通信接口73和总线70。其中，如图7所示，处理器71、存储器72、通信接口73通过总线70连接并完成相互间的通信。
[0163]
通信接口73用于实现本技术实施例中各模块、装置、单元和/或设备之间的通信。通信接口73还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
[0164]
总线70包括硬件、软件或两者，将计算机设备的部件彼此耦接在一起。总线70包括但不限于以下至少之一：数据总线(data bus)、地址总线(address bus)、控制总线(control bus)、扩展总线(expansion bus)、局部总线(local bus)。举例来说而非限制，总线70可包括图形加速接口(accelerated graphics port，简称为agp)或其他图形总线、增强工业标准架构(extended industry standard architecture，简称为eisa)总线、前端总线(front side bus，简称为fsb)、超传输(hyper transport，简称为ht)互连、工业标准架构(industry standard architecture，简称为isa)总线、无线带宽(infiniband)互连、低引脚数(low pin count，简称为lpc)总线、存储器总线、微信道架构(micro channel architecture，简称为mca)总线、外围组件互连(peripheral component interconnect，简称为pci)总线、pci-express(pci-x)总线、串行高级技术附件(serial advanced technology attachment，简称为sata)总线、视频电子标准协会局部(video electronics standards association local bus，简称为vlb)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线70可包括一个或多个总线。尽管本技术实施例描述和示出了特定的总线，但本技术考虑任何合适的总线或互连。
[0165]
另外，结合上述实施例中的基于深度学习的二维iolmaster晶状体图像分级方法，本技术实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种基于深度学习的二维iolmaster晶状体图像分级方法。
[0166]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0167]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。
技术特征：1.一种基于深度学习的二维iolmaster晶状体图像分级方法，其特征在于，包括：获取二维iolmaster晶状体图像数据集，其中，所述数据集中包括多个二维iolmaster晶状体图像；通过cleanlab库对所述数据集进行噪声标签消除，得到清洗后的数据集；将所述清洗后的数据集划分为测试集和训练集，并进行逐级的二值分类处理，得到各个级别对应的训练好的分类网络模型；将所述清洗后的数据集的测试集分别输入至所述各个级别对应的训练好的分类网络模型，获得白内障的分级结果。2.根据权利要求1所述的方法，其特征在于，所述通过cleanlab库对所述数据集进行噪声标签消除，得到清洗后的数据集，包括：将所述数据集划分为测试集和训练集；利用所述数据集的训练集训练resnet34模型；得到训练好的resnet34模型；将所述数据集的测试集输入训练好的resnet34模型，得到所述数据集的测试集中每个二维iolmaster晶状体图像被预测为每个白内障级别的概率；将每个白内障级别的概率输入至cleanlab库，获得所述数据集中噪声标签的分布区间；将所述数据集中标签位于所述分布区间内的二维iolmaster晶状体图像剔除，得到所述清洗后的数据集。3.根据权利要求1所述的方法，其特征在于，所述将所述清洗后的数据集划分为测试集和训练集，并进行逐级的二值分类处理，得到各个级别对应的训练好的分类网络模型，包括：将所述清洗后的数据集的训练集和测试集中第一级别白内障的二维iolmaster晶状体图像作为一类，将其余级别白内障的二维iolmaster晶状体图像作为另一类，训练第一级别对应的分类网络模型，得到第一级别对应的训练好的分类网络模型；分别对所述清洗后的数据集的训练集和测试集中第一级别之后的每个级别的iolmaster晶状体图像执行以下过程：将第n级别白内障的二维iolmaster晶状体图像作为一类，将第n-1级别白内障的二维iolmaster晶状体图像剔除，将其余级别白内障的二维iolmaster晶状体图像作为另一类，训练第n级别对应的分类网络模型，得到第n级别对应的训练好的分类网络模型，其中，n为大于1的整数。4.根据权利要求3所述的方法，其特征在于，所述将所述清洗后的数据集的测试集分别输入至所述各个级别对应的训练好的分类网络模型，获得白内障的分级结果，包括：对所述清洗后的数据集的测试集重复执行以下过程：将所述清洗后的数据集的测试集输入至第m级别对应的训练好的分类网络模型，得到第m级别白内障与其余级别白内障的分级结果，其中，m为整数，且1≤m≤n；将所述第m级别白内障的二维iolmaster晶状体图像从所述清洗后的数据集的测试集中剔除，构成新的测试集；将所述新的测试集作为所述清洗后的数据集的测试集；将各个级别的分级结果进行聚合，得到白内障的分级结果。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法采用resnet18-cbam
网络进行逐级的二值分类处理，所述resnet18-cbam网络以resnet18为基础架构，在resnet18的残差模块中加入空间与通道注意力，包括以下步骤：将输入的特征图f1(h
×
w
×
c)分别经过基于宽和高的全局最大池化和全局平均池化，得到两个1
×1×
c的特征图；再将获得的两个1
×1×
c的特征图分别输入两层全连接层，其中第一层神经元个数为c/r，r为减少率，激活函数为relu，第二层神经元个数为c；将两个全连接层的输出特征进行加权求和，并输入sigmoid激活函数，以生成两个白内障级别的通道权重，即m
c
；对m
c
和输入特征图f1进行通道注意力运算，输出特征图f2；对特征图f2进行通道维度的全局最大池化和全局平均池化，得到两个h
×
w
×
1的特征图，将获得的2个特征图基于通道进行拼接，生成一个h
×
w
×
2的特征图；将h
×
w
×
2的特征图经过一个7
×
7卷积操作以降维为1个通道，得到h
×
w
×
1的特征图，再经过sigmoid生成空间注意力，得到m
s
；将m
s
和f2求解矩阵笛卡尔积，以获取最终特征。6.根据权利要求5所述的方法，其特征在于，所述方法采用带有标签平滑的交叉熵损失l
lsr
对分类网络模型进行训练，其中：其中，表示第i类在第n个分类网络模型中预测的概率，p
i
对于正类是1，对于其他类是0，a＝0.1是一个平滑因子。7.一种基于深度学习的二维iolmaster晶状体图像分级装置，其特征在于，包括：获取单元，用于获取二维iolmaster晶状体图像数据集，其中，所述数据集中包括多个二维iolmaster晶状体图像；消除单元，用于通过cleanlab库对所述数据集进行噪声标签消除，得到清洗后的数据集；训练单元，用于将所述清洗后的数据集划分为测试集和训练集，并进行逐级的二值分类处理，得到各个级别对应的训练好的分类网络模型；分类单元，用于将所述清洗后的数据集的测试集分别输入至所述各个级别对应的训练好的分类网络模型，获得白内障的分级结果。8.根据权利要求7所述的装置，其特征在于，所述消除单元包括：划分模块，用于将所述数据集划分为测试集和训练集；第一训练模块，用于利用所述数据集的训练集训练resnet34模型；得到训练好的resnet34模型；输入模块，用于将所述数据集的测试集输入训练好的resnet34模型，得到所述数据集的测试集中每个二维iolmaster晶状体图像被预测为每个白内障级别的概率；获得模块，用于将每个白内障级别的概率输入至cleanlab库，获得所述数据集中噪声标签的分布区间；剔除模块，用于将所述数据集中标签位于所述分布区间内的二维iolmaster晶状体图像剔除，得到所述清洗后的数据集。9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至
6中任一项所述的方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至6中任一项所述的方法。
技术总结本发明涉及一种基于深度学习的二维IOLmaster晶状体图像分级方法和装置，其中，该方法包括：获取二维IOLmaster晶状体图像数据集，其中，数据集中包括多个二维IOLmaster晶状体图像；通过Cleanlab库对数据集进行噪声标签消除，得到清洗后的数据集；将清洗后的数据集划分为测试集和训练集，并进行逐级的二值分类处理，得到各个级别对应的训练好的分类网络模型；将清洗后的数据集的测试集分别输入至各个级别对应的训练好的分类网络模型，获得白内障的分级结果。通过本申请，解决了晶状体混浊程度的分级依赖人工，主观性强，并且分级结果有偏差的问题，实现了提高白内障分级结果准确度的效果。的效果。的效果。
技术研发人员：刘芳 赵一天 周愉 方利鑫
受保护的技术使用者：上海市第十人民医院
技术研发日：2022.06.16
技术公布日：2022/11/1
