本发明涉及一种超广角眼底图像分割方法，具体涉及一种基于超广角眼底图像的血管和病灶多任务分割方法，属于图像处理领域。
背景技术：
1、视网膜血管作为人体内唯一可以在无创条件下直接观察的血管组织，能够提高患者诊断的便捷性和安全性。通过研究和分析视网膜血管，可以更好地理解和识别血管疾病的早期症状，从而实现早期筛查和诊断，此外，眼部疾病的病灶检测和识别同样至关重要。在眼底图像中可能存在出血、渗出、硬性渗出和黄斑变性等病灶。准确分割和分析这些病灶不仅有助于了解疾病的进展情况，还能帮助制定更有效的治疗计划，并监测治疗效果。
2、超广角（ultra-wide-field, uwf）眼底图像因其极宽的视野在眼科疾病的诊断和治疗中得到了广泛应用。与其他眼科诊断技术不同，uwf作为一种无创且非接触式的先进眼科成像技术。其单张图像的成像范围可以达到180度至200度，覆盖约82%的视网膜区域，这在很大程度上满足了临床医生对眼科疾病诊断的需求。临床实践表明，利用计算机辅助技术对uwf图像进行视网膜血管特征和病灶区域的自动检测和分析，不仅提高了诊断的准确性和效率，还为早期发现和监测眼科疾病提供了重要支持。此外，uwf技术在捕捉眼底细节方面表现优异，能够识别如视网膜脱离、糖尿病性视网膜病变及黄斑变性等复杂病变，为制定个性化治疗方案提供了宝贵信息。总体而言，uwf眼底图像在眼科临床实践中展现出巨大的应用潜力和发展前景。
3、从uwf图像中高效、精准地提取血管结构信息和病灶区域特征至关重要。然而，现有的方法主要侧重于单任务学习，即仅提取血管结构信息或仅分割病灶区域。这种方法在一定程度上抑制了信息的交互性，无法充分利用图像中的多种信息，并增加了训练的复杂性；此外，uwf图像的标注难以获取，且非常耗费人力和物力；最后，如何输出精细且准确的分割结果，对于眼底疾病的诊断至关重要。为了解决这些问题，本发明提出了一种端到端的多任务半监督学习算法，旨在联合分割uwf图像中的血管和病灶区域。通过利用少量标注数据和大量未标注数据，在减少标注工作量的同时，保持了较高的精度和可靠性。
技术实现思路
1、本发明针对现有技术的不足，研制一种基于超广角眼底图像的血管和病灶多任务分割方法，能够有效地有效融合图像的高级特征和低级特征，完成血管和病灶多任务分割，两个任务之间进行权重共享，加强模型提取图像细节特征的能力，在减少标注工作量的同时，保持较高的血管和病灶分割精度和可靠性。
2、本发明为实现上述目的，通过以下技术方案实现：
3、一种基于超广角眼底图像的血管和病灶多任务分割方法，包括以下步骤：
4、s1.获取超广角uwf眼底图像数据集，对所述uwf眼底图像数据集中图像进行预处理，并将数据集划分为训练集和测试集，所述uwf眼底图像数据集中包括带标记数据和未标记数据；
5、s2.构建基于权重控制机制的多任务半监督学习网络，所述基于权重控制机制的多任务半监督学习网络包括编码器、解码器、交叉层次非局部图模块和损失权重控制机制，采用训练集对所述基于权重控制机制的多任务半监督学习网络进行训练，所述训练集中图像经过基于权重控制机制的多任务半监督学习网络的编码器部分进行特征提取，得到低级特征和高级特征；
6、s3.将所述低级特征和高级特征输入到所述基于权重控制机制的多任务半监督学习网络的解码器部分进行特征解码和特征重建，得到血管结构分割图像和病灶区域分割图像；
7、s4.通过训练组合损失函数和总损失对所述基于权重控制机制的多任务半监督学习网络进行优化，得到基于超广角眼底图像的血管和病灶多任务分割模型；
8、s5.将所述测试集中数据输入到所述基于超广角眼底图像的血管和病灶多任务分割模型中，得到uwf眼底血管分割结果和uwf眼底病灶区域的分割结果。
9、进一步地，步骤s1所述预处理操作包括数据旋转和对比度增强。
10、进一步地，所述编码器和解码器之间采用跳跃连接，跳跃连接中加入交叉层次非局部图模块，步骤s3具体包括：
11、所述跳跃连接通过交叉层次非局部图模块中的卷积层将所述低级特征和高级特征分解成重叠的patch，所述重叠的patch传递到三个并行的全连接层，计算查询q、键k和值v，其中，将高级特征作为键和值，将低级特征作为查询，通过对齐特征维度使低级特征匹配高级特征，通过计算键和查询之间的相似度，得到关联矩阵，然后根据关联矩阵和值，得到交叉注意力结果，计算公式表示为：
12、
13、其中，n表示特征嵌入的维度。q表示查询，k表示键，v表示值；
14、所述交叉注意力结果经过前馈模块进行降噪处理，得到消除噪音的交叉注意力结果，计算公式表示为：
15、
16、其中，表示亲和力矩阵，表示深度卷积层，和表示两个线性全连接映射层，表示relu激活函数。
17、进一步地，步骤s4所述组合损失函数和总损失，具体包括：
18、将所述uwf眼底图像数据集中带标记数据和未标记数据分别记为u和j,u’为带标记数据u的增强数据，j’为未标记数据j的增强数据；为u的标签，是未标记数据j的“猜测”标签，为带标记数据的预测结果，为未标记数据的预测结果，组合损失函数公式表示如下：
19、，
20、，
21、，
22、其中，表示交叉熵损失函数，表示类别数。总损失由标记数据的交叉熵损失和未标记数据的平方损失组成，表示用于控制未被标记的数据的损失权重系数；
23、所述基于权重控制机制的多任务半监督学习网络训练过程中的多任务损失由血管结构损失和病灶区域损失组成，所述血管结构损失包括带标记数据损失和未标记数据损失，所述病灶区域损失同样包括带标记数据损失和未标记数据损失；
24、带标记数据的多任务损失计算公式为：
25、，
26、其中，和分别表示带标记数据中的血管结构损失和带标记数据中的病灶区域损失，和分别表示带标记数据血管结构任务的权重标量和带标记数据病灶任务的权重标量，和为带标记数据对应图像的两个标签，表示该标记数据属于血管结构区域的概率，，表示该标记数据属于病灶区域的概率，，通过将与相乘，与相乘，得到的和用于对任务间的权重参数进行调节；
27、未标记的多任务损失计算公式为：
28、，
29、其中，和分别表示未标记数据中的血管结构损失和未标记数据中的病灶区域损失，和分别表示未标记数据血管结构的权重标量和未标记数据中病灶区域的权重标量，和分别是标记任务中的血管结构任务的预测概率和标记任务中的病灶任务的预测概率，和作为软权重用于控制未标记数据中的血管结构损失和未标记数据中的病灶区域损失；
30、总损失计算公式为：。
31、进一步地，通过在所述组合损失函数和总损失监督下，完成对所述基于权重控制机制的多任务半监督学习网络的训练优化。
32、进一步地，通过将交叉层次非局部图模型输出的特征与解码器输出的特征进行连接，执行上采样操作，并利用sigmod函数进行非线性变化，通过解码器部分的多头cnn进行输出，分别输出血管结构分割图像和病灶区域分割图像。
33、本发明还提供一种计算设备，包括存储器，其被配置成存储计算机可执行指令；处理器，其被配置成当所述计算机可执行指令被处理器执行时执行一种基于超广角眼底图像的血管和病灶多任务分割方法。
34、本发明的优点在于：
35、1.本发明首次提出了一种端到端的多任务半监督学习算法，联合分割uwf图像中的血管和病灶区域。通过权重控制机制，有效地进行视网膜结构指标的量化分析，为眼底疾病的诊断提供了新颖而有效的途径。
36、2.本发明首次提出了一个交叉层次非局部图模块，在解码器阶段融合了高级和低级特征，采用了交叉层次非局部图模块（cngm）。该模块能够捕捉不同特征之间的内在联系，同时有效地恢复细粒度的细节，提高了网络在最终分割任务中的性能。
37、3.本发明设计了多头cnn网络，实现对血管和病灶两个任务进行预测。通过利用同一解码器，本发明实现了两个任务之间的权重共享，加强了模型提取图像细节特征的能力，从而输出精细且准确的分割结果。针对标记和未标记数据流分别采用了两种权重控制策略，使得血管分割任务分支和病灶区域分割任务分支能够同时利用弱数据集进行学习。
38、4.本发明提出了一种多任务损失函数：在半监督多任务损失中，综合考虑了标记数据和未标记数据的损失。通过交叉熵损失和平方损失，保持了较高的精度和可靠性，减少了标注工作量。
1.一种基于超广角眼底图像的血管和病灶多任务分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于超广角眼底图像的血管和病灶多任务分割方法，其特征在于，步骤s1所述预处理操作包括数据旋转和对比度增强。
3.根据权利要求1所述的一种基于超广角眼底图像的血管和病灶多任务分割方法，其特征在于，所述编码器和解码器之间采用跳跃连接，跳跃连接中加入交叉层次非局部图模块，步骤s3具体包括：
4.根据权利要求1所述的一种基于超广角眼底图像的血管和病灶多任务分割方法，其特征在于，步骤s4所述组合损失函数和总损失，具体包括：
5.根据权利要求3所述的一种基于超广角眼底图像的血管和病灶多任务分割方法，其特征在于，通过将交叉层次非局部图模型输出的特征与解码器输出的特征进行连接，执行上采样操作，并利用sigmod函数进行非线性变化，通过解码器部分的多头cnn进行输出，分别输出血管结构分割图像和病灶区域分割图像。
6.一种计算设备，其特征在于，包括存储器，其被配置成存储计算机可执行指令；处理器，其被配置成当所述计算机可执行指令被处理器执行时执行如权利要求1-5中的任一项所述的一种基于超广角眼底图像的血管和病灶多任务分割方法。
