本发明属于医疗成像和人工智能领域，涉及一种基于投影与断层双域监督的双视角ct重建方法。
背景技术：
1、ct技术是现代医学诊断的核心技术之一，通过ct扫描可以获得人体体内器官和组织等的详细切面，已广泛应用于癌症与创伤诊断、术前手术规划、心血管疾病治疗等方面，为医生提供诊断依据，从而确保治疗措施的精确性和安全性。然而，传统ct重建方法需要全周扫描以获得人体全角度的投影数据，这会导致人体接受更高剂量的辐射，损害人体的身体健康。
2、为了减少投影采集数量，降低人体接受的辐射剂量，有限视角和稀疏视角的ct重建方法应运而生。然而由于这两种方式所获的投影信息不完全，会导致重建出的图像带有伪影，影响重建质量。随着人工智能技术的发展，深度神经网络被应用于投影缺失情况下的ct重建，通过大量数据样本学习待重建物体的结构先验，进而弥补投影信息的不足。专利cn116843825a报导了一种渐进式cbct稀疏视角重建方法，通过构建多阶段卷积神经网络以一种渐进式的学习过程学习稀疏视图的ct重建。但无论稀疏视角或有限视角的重建方法，仍需获取较多数量的投影数据，为了使扫描时间和人体接受的辐射剂量进一步缩小，部分学者提出了双视角ct重建方案，即仅通过两张正交投影完成三维重建，但由于投影数量严重缺失，重建难度极大。专利cn117392259a报导了一种双视角跨模态重建ct影像的方法，将扩散模型和gan网络结合在一起，将两正交视角的投影跨域重建为三维ct图像。该方法以ct真值图像在断层域进行单域监督，直接从投影数据生成断层数据，这种跨维度的转换可能引入转换误差。
3、与现有单域监督方案不同，本发明提出结合投影域和断层域的双域监督方法实现双视角ct重建。具体来说，本发明在投影域以180个角度的投影真值为监督，对正交双视角投影进行180°补全。再采用fdk算法进行初步重建，从投影域转换到断层域。随后在断层域利用真实断层数据监督学习。这样的双域监督方式避免了跨域监督的转换误差，引入fdk重建算法保持了跨域转换的精确性。本发明提出了一个双域监督的网络来实现双视角ct重建，该网络包括投影补全网络、投影残差学习网络和断层细化网络三部分。其中投影补全网络基于swin transformer结构，通过滑动窗口技术和自注意力机制，有效捕获投影的局部细节和全局特征；投影残差学习网络和断层细化网络均采用两路并行的编-解码器架构，两路分别学习结构特征和高频细节，提高补全投影和重建断层的精度。为了进一步确保重建断层的可靠性，本发明设计了重投影损失，即通过对断层细化网络预测的立体旋转后重投影，并以相应范围的投影真值为监督，对重建过程中的潜在误差进行了有效的矫正。本发明避免了跨域监督的转换误差，通过设计专门的网络架构并引入重投影损失进一步提升了重建的三维断层的精度和可靠性，具有更高的重建质量。
技术实现思路
1、本发明提供一种基于投影与断层双域监督的双视角ct断层重建方法，仅利用人体两正交角度的投影视图便可重建出相应部位的三维断层，可以实现低辐射剂量的医学成像。本发明提出的双视角重建模型包括投影补全网络、投影残差学习网络和断层细化网络三部分，整体架构如图1所示。通过投影域和断层域的双重监督，共同协作完成双视角ct的高精度重建。
2、本发明的技术方案：
3、一种基于投影与断层双域监督的双视角ct重建方法，步骤如下：
4、步骤1：构建“投影-断层”ct数据集
5、以1°为间隔采集人体某部位的投影数据，并重建出该部位的断层。将后前位（pa）视角定义为0°，侧位（lat）视角定义为90°。选取0°和90°作为双视角ct重建网络输入，0-180°投影数据为投影真值，90-270°投影数据为重投影真值，以重建出的断层作为断层真值。通过采集若干例人体该部位的数据，构建多组数据以完成数据集制作，用以训练和验证双视角ct重建网络。
6、步骤2：搭建双域监督的双视角ct重建网络
7、（1）搭建投影补全网络：投影补全网络负责将输入的0°和90°投影补全为180张1°间隔的投影，用于fdk重建以实现从投影域到断层域的转换。
8、投影补全网络由基于swin transformer的编-解码器架构和浅层特征提取模块构成，具体结构如图2所示。网络输入为0°和90°投影，通道数为2。
9、编码器先由patch partition模块将输入的128128分辨率的0°和90°投影分割为大小为44的非重叠块，即patch。再经linear embedding模块扩展特征通道维度，使得每个patch转化为具有更高维度的特征向量。接着，这些高维特征向量被馈送入两个连续的swin transformer block模块，通过其自注意力机制和滑动窗口，增强网络捕获局部细节和整合全局特征的能力。随即通过patch merging模块进行下采样，合并相邻patch并增加特征深度。上述通过两个swin transformer block模块处理再由patch merging模块下采样的过程在编码器中重复3次。在编码器的底部，通过两个连续的swin transformer block模块与解码器连接。
10、解码器先通过patch expanding模块进行上采样，扩展特征尺寸并减少特征深度，再经两个连续的swin transformer block模块，此过程在解码器中重复3次。为了弥补下采样造成的空间信息损失，在编码器和解码器特征尺寸相同的层之间引入跳跃连接。
11、由于patch的划分会使网络丢失大量浅层特征，因此设计一个浅层特征学习模块，该模块由卷积层、下采样层和两个上采样层构成。输入的0°和90°投影先经过卷积层将通道维度增加为180，再经过一个由残差与卷积拼接成的下采样层进行2倍下采样。对于解码器的输出，经过两个由残差与反卷积拼接成的上采样层进行两次2倍的上采样。特征尺寸相同的层之间以跳跃连接相连。输入的0°和90°投影经基于swin transformer的编-解码器和浅层特征学习模块处理，最终输出补全的180张投影。
12、（2）搭建投影残差学习网络：实验发现真值投影和补全投影的差值中包含投影的结构与细节信息，因此设计一个投影残差学习网络，负责将真值投影与补全投影之间的差异最小化，提高投影补全的精确度。具体结构如图3所示。
13、投影残差学习网络是一个基于残差注意力模块的两路并行的编-解码器架构，网络分为主路和支路，两路结构相同。网络的输入为投影补全网络输出的180张补全投影，输入通道数为180，网络的监督为投影真值和补全投影的差值。网络主路负责学习投影差值的结构特征，网络支路负责学习投影差值的高频细节。
14、网络主路进行了四次下采样和四次上采样并配以跳跃连接，每次下采样前和每次上采样后都经过一个残差注意力模块，不同特征尺度下残差注意力块的卷积核数目相应缩放。网络支路的架构与主路相同，专注于投影差值高频量的学习，所学的高频特征与网络主路学得的特征进行融合。残差注意力模块设计如下：通过一系列33的卷积层进行深层次的特征提取，每个卷积层后都配备有批量归一化层和relu激活函数。采用密集连接结构，将每个卷积层的输出与前面所有卷积层的输出合并，以增强特征传递和利用效率。最后引入空间注意力层，通过最大池化层、平均池化层和卷积层提取空间特征，聚合后经过卷积层与sigmoid激活生成注意力权重图，并与输入空间注意力层的特征逐元素相乘进行加权，突出关键特征，细化模型对图像中重要区域的关注，优化细节恢复和图像质量。
15、以此方式，两路分别学习投影差值的结构特征和细节信息。最后将投影残差学习网络输出的投影差值与投影补全网络输出的补全投影相加，得到高精度补全投影。
16、（3）搭建断层细化网络：实验发现补全投影经fdk重建所得断层仍较为粗糙，因此设计一个断层细化网络，负责将fdk重建的粗糙断层进行细化处理，学习缺失的细节，提高断层准确性。
17、断层细化网络采用与投影残差学习网络相同的两路并行的编-解码器架构，网络主路和支路分别学习断层的结构特征和高频细节，具体结构如图3所示。断层细化网络的输入是对高精度补全投影进行fdk重建后得到的断层，输入通道数为重建的断层层数128，网络监督为断层真值。
18、步骤3：训练双域监督的双视角ct重建网络
19、双域监督的双视角ct重建网络包含投影补全网络、投影残差学习网络和断层细化网络三部分。其训练顺序如下：首先，单独训练投影补全网络，得到初步的投影补全结果；接着，固定投影补全网络的参数，训练投影残差学习网络。所学得的投影残差与初步补全投影相加，得到精确的投影补全结果；最后，在固定前两部分网络参数的基础上，对精确的投影补全结果进行fdk重建，作为断层细化网络的输入，训练断层细化网络以获得精细的断层图像。
20、（1）训练投影补全网络：投影补全网络将输入的双视角投影补全为180视角投影，其训练结果的质量将直接影响后续网络性能，因此首先对投影补全网络进行单独训练。训练流程如下：从步骤1建立的一组数据中，选取投影真值中的0°和90°作为投影补全网络的输入，网络预测的0-180°投影命名为。网络监督为0-180°投影真值，命名为。使用的损失函数由mse损失和ssim损失组成，如式(1)所示。
21、(1)
22、其中、为的损失权重系数。利用步骤1建立的多组数据，重复上述训练流程。训练到一定代数后，收敛，投影补全网络训练完成。此时固定网络参数，用于下一步训练。
23、（2）训练投影残差学习网络：投影残差学习网络学习预测投影和投影真值间的差异，提高补全投影的精度。训练流程如下：以投影补全网络预测的0-180°投影作为输入。投影残差学习网络主路预测的0-180°投影差值命名为，网络主路监督为补全投影与真值投影的差异=-，网络支路预测的0-180°投影差值高频量命名为，网络支路监督为的高频量，其中为提取高频量的函数。使用的损失函数为mse损失，如式(2)所示。
24、(2)
25、训练至收敛后，固定网络参数，用于下一步训练。
26、（3）训练断层细化网络：将前两步训练的预测投影和投影差值相加，得到精确的180角度补全投影，然后用fdk算法重建得到初步断层结果。断层细化网络学习初步断层结果缺失的细节，得到精细的断层图像。训练过程如下：以fdk重建的断层结果作为输入，断层细化网络主路预测的断层命名为，网络主路监督为断层真值。网络支路预测的断层高频量命名为，网络支路监督为断层真值的高频量。
27、为了保证预测断层的准确性，本发明专门设计了一个重投影损失函数。对于网络预测的立体，对其进行1°每间隔的投影，得到其90-270°的投影数据（相当于立体旋转90°后进行0-180°投影），并以步骤1获得的90-270°的投影真值监督。重投影损失引入了立体其他视角的信息，有助于提高预测断层的可靠性。其定义如式(3)所示。
28、(3)
29、其中、为的损失权重系数。断层细化网络使用的损失函数由mse损失和重投影损失组成，如式(4)所示。
30、(4)
31、其中、、为的损失权重系数。当收敛时，网络训练完毕。
32、本发明的效果和益处：
33、（1）本发明提出了一种基于投影和断层双域监督的双视角ct重建方法，避免了跨域监督的转换误差，完成双视角ct的高精度重建。
34、（2）本发明提出了投影补全网络、投影残差学习网络和断层细化网络共同协作完成双域监督的双视角ct重建。针对这三个网络设计了专门的架构，引入重投影损失以提高重建质量。
35、（3）本发明仅用人体两个视角的投影即可重建出相应部位的断层图像，极大降低了人体所接受的辐射剂量，这对提高治疗的安全性、保障人体的身体健康具有重要意义。
1.一种基于投影与断层双域监督的双视角ct重建方法，其特征在于，步骤如下：
