本发明涉及图像分割，尤其涉及一种基于多尺度混合采样和特征融合的鼻咽癌靶区分割方法。
背景技术：
1、鼻咽癌是一种发生在鼻咽部位的恶性肿瘤，属于头颈部肿瘤的一种。鼻咽癌的治疗方法主要包括手术、放射疗法和化学疗法的组合。放射治疗是当前治疗鼻咽癌中最常用且效果最佳的方法，但是患者在不同的治疗阶段，其鼻咽癌的肿瘤大小、位置和形状会有所不同。因此，实现鼻咽癌靶区精确的自动勾画，能够有效帮助医生制定放疗计划、辅助手术进行以及治疗效果的评估。
2、传统的鼻咽癌靶区分割是完全依靠医生手动进行的，存在着许多不足，如过分耗费医生精力、存在主观差异与人为误差等。在半自动化分割阶段，研究者们致力于设计各种图像处理算法，常见的半自动分割方法有基于阈值、基于区域、基于边缘和基于图谱等。这些方法虽然一定程度上提高了效率，但仍然受限于对图像特征的手动选择和对变异情况的不适应。传统机器学习方法也被广泛采用，但仍然面临着对特征选择的依赖、对参数调整的敏感性等问题。
3、近年来基于深度学习的自动语义分割方法，逐渐成为鼻咽癌靶区分割研究的焦点。然而，总的来说，鼻咽癌靶区分割领域的研究仍不够充分，存在着靶区边界划分不够准确、对靶区位置、形态、尺度多样性感知能力不强、小前景目标识别困难等问题。具体模型实现上，编/解码往往采用单一方式，注意力机制的应用研究还相对稀缺，特别是利用transformer或其他自注意力进行分割的研究更是鲜见，特征融合的研究相对较少。这表明了鼻咽癌靶区分割任务，尚有大量的探索空间和潜力待挖掘。
4、因此，传统的鼻咽癌靶区分割方法存在诸多局限性，未能较好自动勾画鼻咽癌，辅助放疗计划的定制。
技术实现思路
1、本发明提供一种基于多尺度混合采样和特征融合的鼻咽癌靶区分割方法，用以解决现有技术中针对鼻咽癌靶区分割方法存在不能较好地自动勾画鼻咽癌，辅助放疗计划的定制的缺陷。
2、第一方面，本发明提供一种基于多尺度混合采样和特征融合的鼻咽癌靶区分割方法，包括：
3、采集鼻咽癌三维靶区图像样本，对所述鼻咽癌三维靶区图像样本进行预处理，得到预处理图像样本；
4、构建swin-unet骨干网络模型；
5、构建hsma模块，将hsma模块添加到所述swin-unet骨干网络模型中，得到hsmaunet网络模型；
6、构建dac，将dac嵌入至hsma unet网络模型，得到hsma dac unet分割模型；
7、采用所述预处理图像样本训练所述hsmadac unet分割模型，得到鼻咽癌靶区分割模型；
8、将待处理鼻咽癌三维靶区图像输入所述鼻咽癌靶区分割模型，输出鼻咽癌靶区分割结果图像。
9、根据本发明提供的一种基于多尺度混合采样和特征融合的鼻咽癌靶区分割方法，对所述鼻咽癌三维靶区图像样本进行预处理，得到预处理图像样本，包括：
10、对所述鼻咽癌三维靶区图像样本的dicom格式数据及标注转换为nifti格式，将所述鼻咽癌三维靶区图像样本分为ct影像数据dcm_images和标注数据dcm_labels后存储至内存，读取每一段dcm_label数据，根据内部luid找到轮廓引用元数据dcm_images[luid]，通过元数据的坐标和体素信息将轮廓坐标(x,y,z)转换为体素图像坐标
11、对所述鼻咽癌三维靶区图像样本的体素信息进行对齐，使各方向为等间距间隔，使用阈值操作去除边界部分，通过腐蚀操作分离身体与机床部分，使用闭合膨胀操作和连通域算法选择身体部分，填充所述身体部分的内部孔洞，得到身体掩码部分，将每一层身体掩码部分堆叠，生成三维身体掩码，通过所述三维身体掩码提取身体部分影像数据，对身体部分影像数据进行padding扩增，获得规范大小且无干扰数据的鼻咽癌三维影像，对所述鼻咽癌三维影像的射线强度值进行归一化处理，增强图像对比度，得到用于训练的三维图像数据；
12、读取所述三维图像数据对应标签的上下边界a(xmin,ymin,zmin)和b(xmax,ymax,zmax)，根据两个边界进行padding扩充或者补充黑边，调整所述三维图像数据为预设图像尺寸；
13、对调整尺寸的三维图像数据进行随机裁剪、旋转和翻转，并引入高斯噪声和gamma校正，使用label smoothing将类别标签转化为概率分布，得到所述预处理图像样本。
14、根据本发明提供的一种基于多尺度混合采样和特征融合的鼻咽癌靶区分割方法，通过元数据的坐标和体素信息将轮廓坐标(x,y,z)转换为体素图像坐标包括：
15、
16、其中，origin为空间原点坐标，spacing为体素间距，x、y是平面坐标，z为轴向面切片序号。
17、根据本发明提供的一种基于多尺度混合采样和特征融合的鼻咽癌靶区分割方法，构建swin-unet骨干网络模型，包括：
18、确定包含5层的swin-unet基础网络，所述swin-unet基础网络依次包括输入处理、下采样、上采样、输出处理和跳跃连接；
19、所述swin-unet基础网络包括两通道输出，第一通道输出背景像素结果，第二通道输出靶区像素结果，根据输出概率确定最终分割结果。
20、根据本发明提供的一种基于多尺度混合采样和特征融合的鼻咽癌靶区分割方法，构建hsma模块，将hsma模块添加到所述swin-unet骨干网络模型中，得到hsma unet网络模型，包括：
21、构建并行混合采样模块，分别使用swin transformer和卷积操作并行采样构成编/解码，将所述swin transformer和所述卷积操作并行采样的采样结果以通道维度进行拼接和降维，形成混合特征；
22、构建多尺度空间通道注意力模块，利用分别为1、3、5大小的卷积核提取不同尺度特征，形成混合特征后再进行空间或通道维度的压缩激励，重新分配不同尺度特征权重，进行混合输出；
23、构建hsma编/解码模块，输入特征经过两条并行分支，第一分支采用若干个swintransformer进行采样，与一个具有1、3、5三种尺度的通道注意力计算相连接，第二分支采用卷积操作、规范化、激活函数、dropout的操作进行采样，与一个具有1、3、5三种尺度的通道注意力计算相连接，将两条分支的采样结果进行通道维度的拼接，与一个1×1×1的卷积相连接使维度减半，形成最后输出；
24、构建hsmaunet网络，将hsma模块添加到swin-unet基础网络中，替换swin-unet网络，使模型结构变为：输入图像通道数为1；第一层patch分区，图像按3取间隔转换成d/3×w/3×h/3个大小为3×3×3的patch；第二层线性嵌入和hsma采样后，特征图通道数为96；第三层patch合并和hsma采样后，特征图通道数为192；第四层特征图通道数为384；第五层特征图通道数为768；进行一次patch拓展将通道数变化为384，特征图上采样部分使用跳跃连接后拼接卷积的方式，并按照下采样对应的维度变化策略进行，在最上一层特征图上进行1×1×1卷积，输出通道数为2，的分割结果图。
25、根据本发明提供的一种基于多尺度混合采样和特征融合的鼻咽癌靶区分割方法，所述并行混合采样模块对应的公式为：
26、fout＝c1(concatenate(ss(fin),sc(fin)))
27、其中，为输入输出特征图，双体字母表示实数集，c1为1×1×1卷积操作，ss为swin transformer采样，由n个swin transformer block串联组成，sc为卷积采样，使用3×3×3卷积、layernorm、prelu、dropout操作，concatenate为连接操作；
28、所述多尺度空间通道注意力模块对应的公式为：
29、fmix＝cc(add(c1(fin),c3(fin),c5(fin))
30、ws＝ssk(fmix)
31、wc＝csk(fmix)
32、fout＝wsfmix+wcfmix
33、其中，fin、fout、为输入、输出、混合特征图，双体字母表示实数集，cc为c×c×c卷积操作，ssk为空间维度的压缩激励，会形成一个空间权重图ws，csk为通道维度的压缩激励，会形成3个通道权重图wc，add为按位相加操作；
34、所述hsma编/解码模块对应的公式为：
35、fsmix＝add(c1(ss(fin)),c3(ss(fin)),c5(ss(fin))
36、fs＝csk(fsmix)fsmix
37、fcmix＝add(c1(sc(fin)),c3(sc(fin)),c5(sc(fin))
38、fc＝ssk(fcmix)fcmix+csk(fcmix)fcmix
39、fout＝c1(concatenate(fs,fc))
40、其中，fin、fout、fsmix、为输入、输出、混合特征图，fs和双体字母表示实数集，代表不同分支的采样结果，cc为c×c×c卷积操作，ss为swin transformer采样，由n个swin transformer block串联组成，sc为卷积采样，使用3×3×3卷积、layernorm、prelu、dropout操作，ssk为空间维度的压缩激励，csk为通道维度的压缩激励，add为按位相加操作，concatenate为连接操作。
41、根据本发明提供的一种基于多尺度混合采样和特征融合的鼻咽癌靶区分割方法，构建dac，将dac嵌入至hsma unet网络模型，得到hsma dac unet分割模型，包括：
42、对特征进行同层级的密集连接和不同层级的跨级融合，实现特征充分密集融合，对融合后特征进行切面拆分，计算任意两个维度内的交叉自注意力，促进特征联合计算，抑制无关噪声表达，采用串联连接减少拆分导致的信息隔离，dac的注意力整体计算流程为：
43、(t1,t2,t3)＝fuse(f1,f2,f3,f4)
44、oi＝acsa(ti)i＝1,2,3
45、其中，输入f1,f2,f3,f4，代表了下采样的四层输出，fuse代表密集融合模块，oi代表了dac模块的输出，acsa代表切面交叉自注意力模块，一共会产生3个oi，参与上采样的分辨率恢复；
46、将dac嵌入至hsma unet网络模型的跳跃连接模块中，构建注重特征表达和提取，以及注重特征联合计算的结构。
47、根据本发明提供的一种基于多尺度混合采样和特征融合的鼻咽癌靶区分割方法，采用所述预处理图像样本训练所述hsmadac unet分割模型，得到鼻咽癌靶区分割模型，包括：
48、采用adam优化方法，利用由dice损失函数和交叉熵损失函数组合的联合损失函数；
49、基于所述预处理图像样本，对所述hsmadac unet分割模型进行训练，输出所述鼻咽癌靶区分割模型。
50、第二方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于多尺度混合采样和特征融合的鼻咽癌靶区分割方法。
51、第三方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于多尺度混合采样和特征融合的鼻咽癌靶区分割方法。
52、本发明提供的基于多尺度混合采样和特征融合的鼻咽癌靶区分割方法，通过提出基于并行混合采样和多尺度空间通道注意力编解码模块hsma，该模块使用swintransformer和卷积双分支并行采样，再混合二者特征，能克服单一采样机制的不足，有效结合二者处理全局/局部信息的能力。随后引入多尺度空间通道注意力，使用不同大小感受野进行特征提取与融合，让模型自适应不同形态、尺度、位置的目标，再分别进行空间、通道维度的压缩激励，增强关键特征的感知提取能力；还提出基于密集融合和切面交叉自注意力的特征融合模块dac，dac模块将下采样的输出特征进行密集连接和跨级融合，有效实现前层特征的复用以及不同层级特征的融合，形成多尺度的混合特征，然后将混合特征沿着三个维度拆分，分成三次串行的切面交叉自注意力计算，既有效降低了时空复杂度，又减少了拆分导致的信息隔离。自注意力能够抑制无关噪声，挖掘特征图的内在联系，增强靶区边缘区域的细节感知；将hsma模块和dac模块装载在swin-unet骨干网络上，构建成hsma dacunet，相较于其他主流分割网络，在鼻咽癌靶区分割任务上取得了较强的分割效果。
1.一种基于多尺度混合采样和特征融合的鼻咽癌靶区分割方法，其特征在于，包括：
2.根据权利要求1所述的基于多尺度混合采样和特征融合的鼻咽癌靶区分割方法，其特征在于，对所述鼻咽癌三维靶区图像样本进行预处理，得到预处理图像样本，包括：
3.根据权利要求1所述的基于多尺度混合采样和特征融合的鼻咽癌靶区分割方法，其特征在于，通过元数据的坐标和体素信息将轮廓坐标(x,y,z)转换为体素图像坐标包括：
4.根据权利要求1所述的基于多尺度混合采样和特征融合的鼻咽癌靶区分割方法，其特征在于，构建swin-unet骨干网络模型，包括：
5.根据权利要求1所述的基于多尺度混合采样和特征融合的鼻咽癌靶区分割方法，其特征在于，构建hsma模块，将hsma模块添加到所述swin-unet骨干网络模型中，得到hsmaunet网络模型，包括：
6.根据权利要求5所述的基于多尺度混合采样和特征融合的鼻咽癌靶区分割方法，其特征在于，所述并行混合采样模块对应的公式为：
7.根据权利要求1所述的基于多尺度混合采样和特征融合的鼻咽癌靶区分割方法，其特征在于，构建dac，将dac嵌入至hsma unet网络模型，得到hsma dac unet分割模型，包括：
8.根据权利要求1所述的基于多尺度混合采样和特征融合的鼻咽癌靶区分割方法，其特征在于，采用所述预处理图像样本训练所述hsma dac unet分割模型，得到鼻咽癌靶区分割模型，包括：
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述基于多尺度混合采样和特征融合的鼻咽癌靶区分割方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述基于多尺度混合采样和特征融合的鼻咽癌靶区分割方法。
