ct灌注成像处理方法及装置
技术领域
1.本公开涉及计算机技术领域,尤其涉及一种ct灌注成像处理方法及装置。
背景技术:2.急性缺血性脑卒中(acute ischemic stroke,ais)是导致全球死亡和残疾人数增多的主要原因之一,每年约影响1500万人,且其中一半的患者经治疗后留有慢性残疾和后遗症。绝大多数患者为缺血性中风,这是由动脉闭塞引起的,导致脑血流量减少、组织缺血和梗塞。为了防止与ais相关的残疾,必须迅速打开闭塞的血管以再灌注缺血组织,如果不立即恢复血液供应,即在中风发作后约6小时内,受损的组织将受到不可逆转的损害。因此,快速并准确分割ais病变对于临床医生制定治疗计划和评估结果起到至关重要的作用。
3.脑部ct灌注(ct perfusion,ctp)成像和mri灌注成像技术比以往的技术更精确地显示脑循环。这些成像方法提供了对ais病变的更准确评估(识别中风病变位置和幅度)。在ais评估的早期阶段,ctp优于mri,因为它具有广泛的可用性、图像采集速度、相对较低的成本和较易监测等特点。ctp成像包括注射造影剂,然后用ct扫描对大脑进行持续成像约60秒,然后在脑血流的一些3d定量图中(沿时间轴)汇总一系列4d ct体积(3d图像时间序列)成像。四种常用的ct灌注成像包括脑血容量(cerebral blood volume,cbv)图像、脑血流量(cerebral blood flow,cbf)图像、平均通过时间(mean transit time,mtt)图像和达到最大值的时间(time-to-maximum,tmax)图像。在临床上,这些图用于识别受缺血性中风影响的大脑区域。目前分割缺血性卒中病变的临床标准是ctp图的阈值化。然而,这种方法的报告结果表明,它不够准确,无法帮助医生制定中风治疗计划。
4.在相关技术中,可基于机器学习的技术来提高ais病变分割的准确性,利用了传统的机器学习和基于纹理的特征,例如角、边缘等,可以稍微增强分割结果,但预定义的特征并不是识别ais的最佳方法,即因为中风病变存在于高度变化的鳞片和不规则形状,故在实际应用中还需要改进。
5.公开于本技术背景技术部分的信息仅仅旨在加深对本技术的一般背景技术的理解,而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。
技术实现要素:6.本公开实施例提供一种ct灌注成像处理方法及装置。能够获取ct灌注成像的对侧图像和第一热图,并与ct灌注成像预处理后的第一图像共同输入图像分割网络模型,从而增加与病灶相关的信息,提升模型的精度,更准确地确定病灶区域。
7.本公开实施例的第一方面,提供一种ct灌注成像处理方法,包括:对ct灌注成像进行预处理,获得第一图像;获取所述ct灌注成像的对侧图像,其中,所述ct灌注成像为脑部ct灌注成像,所述对侧图像为表示脑部出现病灶的一侧的对侧的图像;获取所述ct灌注成像中,预设类型的图像的第一热图;将所述第一图像、所述对侧图像和所述第一热图输入图
像分割网络模型进行处理,获得所述ct灌注成像中的病灶区域。
8.根据本公开的实施例,对所述ct灌注成像进行预处理,获得第一图像,包括:对所述ct灌注成像的像素值范围进行设置,获得像素值在预设范围内的第二图像;对所述第二图像进行双线性插值处理,获得第三图像;根据所述第三图像的像素值的均值和标准差,对所述第三图像进行归一化处理,获得所述第一图像。
9.根据本公开的实施例,获取所述ct灌注成像的对侧图像,包括:根据所述ct灌注成像的几何中心进行翻转,获得翻转图像;获取所述ct灌注成像的二进制灌注成像,以及所述翻转图像的二进制翻转图像;将所述翻转图像的二进制翻转图像基于所述几何中心进行翻转,确定将所述二进制翻转图像进行翻转后,与所述二进制灌注成像之间的误差最小的翻转角度;根据所述翻转角度,对所述ct灌注成像进行翻转,获得第四图像;对所述第四图像的像素值范围进行设置,获得像素值在预设范围内的所述对侧图像。
10.根据本公开的实施例,获取所述ct灌注成像中,预设类型的图像的第一热图,包括:根据预设的级别数据,将所述预设类型的图像的像素值进行重置为最接近的级别数据,获得所述第一热图。
11.根据本公开的实施例,所述方法还包括:获取第一图像的三个连续切片图像;根据所述对侧图像,获得所述三个连续切片图像的中间切片图像的对侧切片图像;根据所述第一热图,获得所述三个连续切片图像的中间切片图像的切片热图。
12.根据本公开的实施例,将所述第一图像、所述对侧图像和所述第一热图输入图像分割网络模型进行处理,获得所述ct灌注成像中的病灶区域,包括:在编码器的每个编码模块中,通过串联的三个3
×
3卷积层或并联的3
×
3卷积层、5
×
5卷积层和7
×
7卷积层,对所述三个连续切片图像、所述对侧切片图像和所述切片热图进行处理,获得多个尺度的输出特征;通过多个编码模块迭代执行多次所述获得多个尺度的输出特征的处理,获得编码器的输出特征;在解码器的每个解码模块中,对所述输出特征以及对应编码模块的输出特征经过卷积层滤波后的滤波特征进行处理,获得解码特征;通过多个解码模块迭代执行多次所述获得解码特征的处理,获得所述ct灌注成像中的病灶区域。
13.根据本公开的实施例,所述方法还包括:对样本灌注图像进行随机旋转,获得样本图像;获取样本图像的样本热图和样本对侧图像;将所述样本图像、样本热图和样本对侧图像输入所述图像分割网络模型,获得预测病灶区域;根据公式获得所述图像分割网络模型的损失函数,其中,xi为第i个样本图像,yi为第i个样本图像的标注,为第i个样本图像的预测病灶区域,为一个批次的n个样本图像的损失函数,为第i个样本图像的损失函数,y
px
为px像素的预测分类,为px像素的标注;根据所述损失函数,训练所述图像分割网络模型。
14.根据本公开的第二方面,提供一种ct灌注成像处理装置,所述装置包括:预处理模块,用于对ct灌注成像进行预处理,获得第一图像;对侧模块,获取所述ct灌注成像的对侧图像,其中,所述ct灌注成像为脑部ct灌注成像,所述对侧图像为表示脑部出现病灶的一侧的对侧的图像;热图模块,用于获取所述ct灌注成像中,预设类型的图像的第一热图;分割模块,用于将所述第一图像、所述对侧图像和所述第一热图输入图像分割网络模型进行处
理,获得所述ct灌注成像中的病灶区域。
15.根据本公开的实施例,所述预处理模块进一步配置为:对所述ct灌注成像的像素值范围进行设置,获得像素值在预设范围内的第二图像;对所述第二图像进行双线性插值处理,获得第三图像;根据所述第三图像的像素值的均值和标准差,对所述第三图像进行归一化处理,获得所述第一图像。
16.根据本公开的实施例,所述对侧模块进一步配置为:根据所述ct灌注成像的几何中心进行翻转,获得翻转图像;获取所述ct灌注成像的二进制灌注成像,以及所述翻转图像的二进制翻转图像;将所述翻转图像的二进制翻转图像基于所述几何中心进行翻转,确定将所述二进制翻转图像进行翻转后,与所述二进制灌注成像之间的误差最小的翻转角度;根据所述翻转角度,对所述ct灌注成像进行翻转,获得第四图像;对所述第四图像的像素值范围进行设置,获得像素值在预设范围内的所述对侧图像。
17.根据本公开的实施例,所述热图模块进一步配置为:根据预设的级别数据,将所述预设类型的图像的像素值进行重置为最接近的级别数据,获得所述第一热图。
18.根据本公开的实施例,所述装置还包括:切片模块,用于获取第一图像的三个连续切片图像;根据所述对侧图像,获得所述三个连续切片图像的中间切片图像的对侧切片图像;根据所述第一热图,获得所述三个连续切片图像的中间切片图像的切片热图。
19.根据本公开的实施例,所述分割模块进一步配置为:在编码器的每个编码模块中,通过串联的三个3
×
3卷积层或并联的3
×
3卷积层、5
×
5卷积层和7
×
7卷积层,对所述三个连续切片图像、所述对侧切片图像和所述切片热图进行处理,获得多个尺度的输出特征;通过多个编码模块迭代执行多次所述获得多个尺度的输出特征的处理,获得编码器的输出特征;在解码器的每个解码模块中,对所述输出特征以及对应编码模块的输出特征经过卷积层滤波后的滤波特征进行处理,获得解码特征;通过多个解码模块迭代执行多次所述获得解码特征的处理,获得所述ct灌注成像中的病灶区域。
20.根据本公开的实施例,所述装置还包括:训练模块,用于对样本灌注图像进行随机旋转,获得样本图像;获取样本图像的样本热图和样本对侧图像;将所述样本图像、样本热图和样本对侧图像输入所述图像分割网络模型,获得预测病灶区域;根据公式获得所述图像分割网络模型的损失函数,其中,xi为第i个样本图像,yi为第i个样本图像的标注,为第i个样本图像的预测病灶区域,为一个批次的n个样本图像的损失函数,为第i个样本图像的损失函数,y
px
为px像素的预测分类,为px像素的标注;根据所述损失函数,训练所述图像分割网络模型。
21.本公开实施例的第三方面,提供一种ct灌注成像处理设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为调用所述存储器存储的指令,以执行上述方法。
22.本公开实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现上述方法。
附图说明
23.图1示例性地示出本公开实施例ct灌注成像处理方法的流程示意图;
24.图2示例性地示出本公开实施例的输入图像分割网络模型的多种图像的示意图;
25.图3示例性地示出本公开实施例的四个通道的切片图像的示意图;
26.图4示例性地示出本公开实施例的图像分割网络模型的示意图;
27.图5示例性地示出本公开实施例的多尺度卷积模块的示意图;
28.图6示例性地示出本公开实施例的卷积跳接的示意图;
29.图7a和图7b示例性地示出本公开实施例的ct灌注成像处理方法的案例示意图;
30.图8示例性地示出本公开实施例的ct灌注成像处理装置的框图;
31.图9是根据一示例性实施例示出的一种ct灌注成像处理设备的框图。
具体实施方式
32.为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
33.本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
34.应当理解,在本公开的各种实施例中,各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本公开实施例的实施过程构成任何限定。
35.应当理解,在本公开中,“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
36.应当理解,在本公开中,“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含a、b和c”、“包含a、b、c”是指a、b、c三者都包含,“包含a、b或c”是指包含a、b、c三者之一,“包含a、b和/或c”是指包含a、b、c三者中任1个或任2个或3个。
37.应当理解,在本公开中,“与a对应的b”、“与a相对应的b”、“a与b相对应”或者“b与a相对应”,表示b与a相关联,根据a可以确定b。根据a确定b并不意味着仅仅根据a确定b,还可以根据a和/或其他信息确定b。a与b的匹配,是a与b的相似度大于或等于预设的阈值。
38.取决于语境,如在此所使用的“若”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”或“响应于检测”。
39.下面以具体地实施例对本公开的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
40.图1示例性地示出本公开实施例ct灌注成像处理方法的流程示意图,如图1所示,所述方法包括:
41.步骤s101,对所述ct灌注成像进行预处理,获得第一图像;
42.步骤s102,获取所述ct灌注成像的对侧图像,其中,所述ct灌注成像为脑部ct灌注成像,所述对侧图像为表示脑部出现病灶的一侧的对侧的图像;
43.步骤s103,获取所述ct灌注成像中,预设类型的图像的第一热图;
44.步骤s104,将所述第一图像、所述对侧图像和所述第一热图输入图像分割网络模型进行处理,获得所述ct灌注成像中的病灶区域。
45.根据本公开的实施例,ct灌注成像包括脑血容量(cerebral blood volume,cbv)图像、脑血流量(cerebral blood flow,cbf)图像、平均通过时间(mean transit time,mtt)图像和达到最大值的时间(time-to-maximum,tmax)图像。所述ct灌注图像包括脑部ct灌注图像。
46.根据本公开的实施例,在步骤s101中,可对ct灌注成像进行预处理,获得第一图像。在示例中,可对以上四种ct灌注成像均进行预处理,分别获得每种ct灌注成像对应的第一图像。
47.根据本公开的实施例,步骤s101可包括:对所述ct灌注成像的像素值范围进行设置,获得像素值在预设范围内的第二图像;对所述第二图像进行双线性插值处理,获得第三图像;根据所述第三图像的像素值的均值和标准差,对所述第三图像进行归一化处理,获得所述第一图像。
48.根据本公开的实施例,首先将ct灌注成像的像素值映射至预设在0-150hu预设范围内,从而减少不必要的计算成本和提高ct灌注成像中的信噪比(signal-to-noise ratio,snr)。在示例中,可将超出该预设范围的像素点的像素值重置为预设范围的边界值,也可将ct灌注成像的所有像素点的像素值按比例缩放至0-150hu预设范围内,获得第二图像。本公开对获得预设范围内的第二图像的具体方法不做限制。
49.根据本公开的实施例,可对第二图像进行双线性插值处理,获得第三图像。在示例中,可通过双线性插值方法对第二图像进行降采样,使得每个像素值被其最近的2
×
2相邻像素的加权平均值替换。
50.根据本公开的实施例,由于ct灌注成像是在不同的视角、条件和时间中采集的,因此,可对第三图像的像素值进行归一化,从而使各种视角、条件和时间中的图像具有可比性,并转变为相同的像素值分布。可计算了第三图像的各像素点的像素值的均值和标准差(standard derivation,std),然后通过减去均值并除以标准差来进行归一化处理,获得所述第一图像。
51.根据本公开的实施例,在步骤s102中,可获取表示脑部出现病灶的一侧的对侧的图像,即,对侧图像。步骤s102可包括:根据所述ct灌注成像的几何中心进行翻转,获得翻转图像;获取所述ct灌注成像的二进制灌注成像,以及所述翻转图像的二进制翻转图像;将所述翻转图像的二进制翻转图像基于所述几何中心进行翻转,确定将所述二进制翻转图像进行翻转后,与所述二进制灌注成像之间的误差最小的翻转角度;根据所述翻转角度,对所述ct灌注成像进行翻转,获得第四图像;对所述第四图像的像素值范围进行设置,获得像素值在预设范围内的所述对侧图像。
52.根据本公开的实施例,ais几乎都是在脑部的单侧发生的,考虑到ais的这一特性,可通过使用大脑另一半球相应体素中存在的信息来丰富每个体素中的信息。
53.根据本公开的实施例,可确定每个ct灌注成像的几何中心,并根据几何中心进行翻转,获得翻转图像,此处翻转的角度不限。
54.根据本公开的实施例,为了找到翻转图像的最佳旋转角度以完美地与原始图像(即,ct灌注成像)重叠,可创建了翻转图像和原始图像的二进制版本。即,将ct灌注成像进行二进制化,将其像素点重置为0或1,例如,在像素值大于阈值时,可将该像素点的像素值重置为1,否则重置为0,获得二进制灌注成像,类似地,可使用相同的方式对翻转图像进行二进制化,获得二进制翻转图像。
55.根据本公开的实施例,可使二进制翻转图像基于上述几何中心进行翻转,使其与二进制灌注成像重合。具体地,可使二进制翻转图像进行翻转后,与二进制灌注成像之间的误差最小,例如,使均方误差(mean squared error,mse)最小化。在达到误差最小化的情况下,可确定二进制翻转图像的翻转角度。
56.根据本公开的实施例,可将ct灌注成像按照所述翻转角度进行翻转,从而获得第四图像。
57.根据本公开的实施例,进一步地,还可按照上述设置像素值范围的方式,将第四图像的像素值进行重置,使得第四图像的像素值属于0-150hu范围内,从而减少极端异常值(例如,条纹伪影)的影响。
58.根据本公开的实施例,在步骤s103中,可获得ct灌注成像中,预设类型的图像的第一热图。在示例中,预设类型的图像为tmax图像,所述第一热图为tmax热图。
59.根据本公开的实施例,步骤s103可包括:根据预设的级别数据,将所述预设类型的图像的像素值进行重置为最接近的级别数据,获得所述第一热图。
60.根据本公开的实施例,将tmax图像的像素值线性数字化为8个级别,例如,[0,5,15,30,50,75,105,140],即,包括8个级别数据,本公开对级别数据的数量和具体取值不做限制。进一步地,可将tmax图像中的像素点的像素值重置为最接近的级别数据,例如,tmax图像中某像素的像素值为49,则可将其重置为50。
[0061]
根据本公开的实施例,以上获得了ct灌注成像预处理后的第一图像,以及ct灌注成像对应的对侧图像和第一热图。在示例中,ct灌注成像可以是多个类型的三维图像,其对侧图像和第一热图也为三维图像。可通过图像分割网络模型对上述第一图像、对侧图像及第一热图进行处理。
[0062]
图2示例性地示出本公开实施例的输入图像分割网络模型的多种图像的示意图,如图2所示,可包括三个患者的cbf图像,cbv图像,mtt图像,tmax图像,tmax热图,以及热图与病灶区域之间的相关性图像,以及病灶区域所在的位置图像。如图2所示,tmax热图与病灶区域所在位置的相关性较高,输入tmax进行处理,可大幅提升对病灶区域的分割准确性。
[0063]
根据本公开的实施例,所述方法还包括:获取第一图像的三个连续切片图像;根据所述对侧图像,获得所述三个连续切片图像的中间切片图像的对侧切片图像;根据所述第一热图,获得所述三个连续切片图像的中间切片图像的切片热图。
[0064]
根据本公开的实施例,第一图像为经过预处理的ct灌注图像,因此,第一图像也包括cbf图像,cbv图像,mtt图像和tmax图像,其中,每个图像均为三维图像,由多个二维图像
组成。可获取第一图像的多个二维图像,即,将第一图像进行切片,获得多个切片图像。在示例中,为了提升切片图像前后之间的联系,可针对每个切片图像,获得其之前和之后的切片图像,即,三个连续切片图像。
[0065]
根据本公开的实施例,类似地,对侧图像和第一热图也为三维图像,可进行与上述相同的切片处理,获得对侧切片图像和切片热图。并从中确定与上述三个连续切片图像的中间的切片图像对应的对侧切片图像和切片热图。
[0066]
图3示例性地示出本公开实施例的四个通道的切片图像的示意图。如图3所示,图3中的四组图像分别为:cbf图像中的三个连续切片图像,以及cbf图像的对侧图像中与所述三个连续切片图像的中间的切片图像对应的对侧切片图像,以及与所述三个连续切片图像的中间的切片图像对应的切片热图。cbv图像中的三个连续切片图像,以及cbv图像的对侧图像中与所述三个连续切片图像的中间的切片图像对应的对侧切片图像,以及与所述三个连续切片图像的中间的切片图像对应的切片热图。mtt图像中的三个连续切片图像,以及mtt图像的对侧图像中与所述三个连续切片图像的中间的切片图像对应的对侧切片图像,以及与所述三个连续切片图像的中间的切片图像对应的切片热图。tmax图像中的三个连续切片图像,以及tmax图像的对侧图像中与所述三个连续切片图像的中间的切片图像对应的对侧切片图像,以及与所述三个连续切片图像的中间的切片图像对应的切片热图。
[0067]
根据本公开的实施例,在步骤s104中,可通过图像分割网络模型对上述第一图像、对侧图像和第一热图进行处理,例如,可对上述第一图像的三个连续切片图像、三个连续切片图像的中间切片图像的对侧切片图像、三个连续切片图像的中间切片图像的切片热图进行处理。
[0068]
根据本公开的实施例,步骤s104可包括:在编码器的每个编码模块中,通过串联的三个3
×
3卷积层或并联的3
×
3卷积层、5
×
5卷积层和7
×
7卷积层,对所述三个连续切片图像、所述对侧切片图像和所述切片热图进行处理,获得多个尺度的输出特征;通过多个编码模块迭代执行多次所述获得多个尺度的输出特征的处理,获得编码器的输出特征;在解码器的每个解码模块中,对所述输出特征以及对应编码模块的输出特征经过1
×
1卷积层滤波后的滤波特征进行处理,获得解码特征;通过多个解码模块迭代执行多次所述获得解码特征的处理,获得所述ct灌注成像中的病灶区域。
[0069]
图4示例性地示出本公开实施例的图像分割网络模型的示意图。如图4所示,图像分割网络模型包括编码器和解码器,编码器部分包括4个多尺度卷积模块,解码器部分也包括4个多尺度卷积模块。编码器的多尺度卷积模块可通过卷积层使得输出特征图的尺寸小于输入特征图,并使得通道数增加,从而增加感受野。并且,可通过多种尺寸的卷积核,获得多种尺寸的特征图。且在卷积层后,通过池化层和激活层的处理,获得输出特征图。
[0070]
根据本公开的实施例,解码器部分则可与编码器部分相反,可使得特征通道数减少,并使输出特征图的尺寸大于输入特征图。且最终可在最后一个多尺度卷积模块处输出ct灌注成像中对于病灶的分割结果。
[0071]
图5示例性地示出本公开实施例的多尺度卷积模块的示意图,如图5所示,示出了两种多尺度卷积模块的结构,即,a结构的并联结构或b结构的串联结构。在每个编码模块,即,多尺度卷积模块中,可通过串联的三个3
×
3卷积层或并联的3
×
3卷积层、5
×
5卷积层和7
×
7卷积层,对所述三个连续切片图像、所述对侧切片图像和所述切片热图进行处理,获得
多个尺度的输出特征,即,与3
×
3卷积层对应的输出特征,与5
×
5卷积层对应的输出特征以及与7
×
7卷积层对应的输出特征。
[0072]
在示例中,在a并联结构中,可分别通过并联各支路获得上述与3
×
3卷积层对应的输出特征,与5
×
5卷积层对应的输出特征以及与7
×
7卷积层对应的输出特征。
[0073]
在示例中,在b串联结构中,可通过第1个3
×
3卷积层,获得与3
×
3卷积层对应的输出特征;将3
×
3卷积层的输出特征输入下一个3
×
3卷积层,即,将两个3
×
3卷积层串联,获得5
×
5卷积层对应的输出特征;将5
×
5卷积层对应的输出特征输入下一个3
×
3卷积层,即,将三个3
×
3卷积层串联,获得与7
×
7卷积层对应的输出特征。b串联结构相对于a并联结构,对于运算资源的占用更少,因此,在示例中,可使用b串联结构作为每个多尺度卷积模块的结构。
[0074]
根据本公开的实施例,在经过多个(例如,4个)结构相同(但具体参数可能不同)的编码模块的处理后可获得编码器的输出特征;编码器的输出特征可通过多尺度卷积模块5的处理,并在处理后输入解码器的多个解码模块中,即,解码器的四个多尺度卷积模块中。
[0075]
根据本公开的实施例,在解码器的每个解码模块中,对所述输出特征以及对应编码模块的输出特征经过卷积层滤波后的滤波特征进行处理,获得解码特征。
[0076]
图6示例性地示出本公开实施例的卷积跳接的示意图,如图6所示,在卷积跳接的过程中,在编码模块中可使用3
×
3卷积进行滤波,在残差连接中可使用1
×
1卷积进行滤波,从而将编码模块中的输出特征输出至对应的解密模块中,使得解码模块可获得更多尺度的特征,并且,经过上述3
×
3卷积和1
×
1卷积,还可减少编码模块的输出特征以及解码模块的前一个模块的输出特征(例如,高低级别特征)之间的语义差异,提升图像分割网络模型的处理精度。
[0077]
根据本公开的实施例,在经过各个解码模块的处理后,解码器可输出ct灌注成像中的病灶区域。
[0078]
根据本公开的实施例,在以上图像分割网络模型使用前,可对齐进行训练。所述方法还包括:
[0079]
对样本灌注图像进行随机旋转,获得样本图像;
[0080]
获取样本图像的样本热图和样本对侧图像;将所述样本图像、样本热图和样本对侧图像输入所述图像分割网络模型,获得预测病灶区域;
[0081]
根据公式(1),获得所述图像分割网络模型的损失函数,
[0082][0083]
其中,xi为第i个样本图像,yi为第i个样本图像的标注,为第i个样本图像的预测病灶区域,为一个批次的n个样本图像的损失函数,其中,每个样本图像的损失函数根据公式(2)确定:
[0084][0085]
为第i个样本图像的损失函数,y
px
为px像素的预测分类,为px像素的标注;
[0086]
根据所述损失函数,训练所述图像分割网络模型。
[0087]
根据本公开的实施例,所述样本灌注图像为已知病灶所在位置的ct灌注图像,可将病灶所在位置作为样本灌注图像的标注。
[0088]
根据本公开的实施例,为增加训练样本的数量,可将样本灌注图像进行各种角度的旋转,例如,进行0
°‑
20
°
之间的任意角度的旋转,可通过不同角度的旋转,由一个样本灌注图像获得多个样本灌注图像。
[0089]
根据本公开的实施例,可采用如同以上获取对侧图像和第一热图类似的方式,获取样本灌注图像的样本热图和样本对侧图像。
[0090]
根据本公开的实施例,可采用如上切片的方式,获得样本灌注图像的连续三个切片,样本热图中与中间切片对应的样本热图切片,以及样本对侧图像中与中间切片对应的样本对侧图像切片。从而可通过图像分割网络模型,依次处理各组切片,获得预测病灶区域。
[0091]
根据本公开的实施例,预测病灶区域可能有误差,而标注可认为是无误差的病灶区域的位置。因此,可基于二者之间的误差确定损失函数。即,利用公式(1)和(2)中的交叉熵损失函数确定图像分割网络模型的损失函数。由于对病灶区域的分割任务实质上为对各个像素点的二分类任务,即,判断各个像素点是否属于病灶区域,并确定属于病灶区域的像素点的集合,即为病灶区域的位置,因此,使用交叉熵损失函数进行二分类任务的训练可提升训练效率,增加图像分割网络模型的精度。
[0092]
根据本公开的实施例,如上所述,可分批次进行训练,每个批次中包括n个(例如,10个)样本图像及其对应的样本对侧图像和样本热图。从而可将一个批次的总损失函数进行反向传播,从而使用梯度下降法调节图像分割网络模型的参数,提升模型精度,减小损失函数。
[0093]
根据本公开的实施例,可设置学习率等超参数,例如,可设置0.01的初始学习率,并在每20个批次的训练后将学习率降为1/2,以减小过拟合的风险。进一步地,可在每个批次的训练后在验证集中验证模型精度,如果连续多个(例如,100个)批次的训练后,模型精度不再提高,则可结束训练,获得训练后的图像分割网络模型,从而可将其用于确定病灶区域的处理中。
[0094]
通过本公开的ct灌注成像处理方法,可获取ct灌注成像的对侧图像和第一热图,并与ct灌注成像预处理后的第一图像共同输入图像分割网络模型,从而增加与病灶相关的信息,提升模型的精度,更准确地确定病灶区域。
[0095]
图7a和图7b示例性地示出本公开实施例的ct灌注成像处理方法的案例示意图。如图7a所示,可对ct灌注成像进行预处理,且使其像素值的范围处于[0,150]hu区间内,获得第一图像。
[0096]
根据本公开的实施例,可获得ct灌注成像的对侧图像,例如,可首先经过翻转,获得第四图像,并经过处理,获得像素值处于[0,150]hu区间内的对侧图像。
[0097]
根据本公开的实施例,可将ct灌注成像中的tmax图像的像素值重置为最接近的级别数据,获得tmax热图。
[0098]
根据本公开的实施例,可将第一图像、对侧图像、tmax热图进行切片,并将第一图像的连续三个切片、中间切片对应的对侧图像切片和tmax热图切片叠加输入图像分割网络
模型,获得病灶区域。
[0099]
根据本公开的实施例,如图7b所示,可获得三个患者的ct灌注成像,即,cbf图像,cbv图像,mtt图像和tmax图像,通过图像分割网络模型处理后,可获得各ct灌注成像中的病灶区域。
[0100]
图8示例性地示出本公开实施例的ct灌注成像处理装置的框图,如图8所示,所述装置包括:预处理模块,用于对ct灌注成像进行预处理,获得第一图像;对侧模块,获取所述ct灌注成像的对侧图像,其中,所述ct灌注成像为脑部ct灌注成像,所述对侧图像为表示脑部出现病灶的一侧的对侧的图像;热图模块,用于获取所述ct灌注成像中,预设类型的图像的第一热图;分割模块,用于将所述第一图像、所述对侧图像和所述第一热图输入图像分割网络模型进行处理,获得所述ct灌注成像中的病灶区域。
[0101]
根据本公开的实施例,所述预处理模块进一步配置为:对所述ct灌注成像的像素值范围进行设置,获得像素值在预设范围内的第二图像;对所述第二图像进行双线性插值处理,获得第三图像;根据所述第三图像的像素值的均值和标准差,对所述第三图像进行归一化处理,获得所述第一图像。
[0102]
根据本公开的实施例,所述对侧模块进一步配置为:根据所述ct灌注成像的几何中心进行翻转,获得翻转图像;获取所述ct灌注成像的二进制灌注成像,以及所述翻转图像的二进制翻转图像;将所述翻转图像的二进制翻转图像基于所述几何中心进行翻转,确定将所述二进制翻转图像进行翻转后,与所述二进制灌注成像之间的误差最小的翻转角度;根据所述翻转角度,对所述ct灌注成像进行翻转,获得第四图像;对所述第四图像的像素值范围进行设置,获得像素值在预设范围内的所述对侧图像。
[0103]
根据本公开的实施例,所述热图模块进一步配置为:根据预设的级别数据,将所述预设类型的图像的像素值进行重置为最接近的级别数据,获得所述第一热图。
[0104]
根据本公开的实施例,所述装置还包括:切片模块,用于获取第一图像的三个连续切片图像;根据所述对侧图像,获得所述三个连续切片图像的中间切片图像的对侧切片图像;根据所述第一热图,获得所述三个连续切片图像的中间切片图像的切片热图。
[0105]
根据本公开的实施例,所述分割模块进一步配置为:在编码器的每个编码模块中,通过串联的三个3
×
3卷积层或并联的3
×
3卷积层、5
×
5卷积层和7
×
7卷积层,对所述三个连续切片图像、所述对侧切片图像和所述切片热图进行处理,获得多个尺度的输出特征;通过多个编码模块迭代执行多次所述获得多个尺度的输出特征的处理,获得编码器的输出特征;在解码器的每个解码模块中,对所述输出特征以及对应编码模块的输出特征经过卷积层滤波后的滤波特征进行处理,获得解码特征;通过多个解码模块迭代执行多次所述获得解码特征的处理,获得所述ct灌注成像中的病灶区域。
[0106]
根据本公开的实施例,所述装置还包括:训练模块,用于对样本灌注图像进行随机旋转,获得样本图像;获取样本图像的样本热图和样本对侧图像;将所述样本图像、样本热图和样本对侧图像输入所述图像分割网络模型,获得预测病灶区域;根据公式获得所述图像分割网络模型的损失函数,其中,xi为第i个样本图像,yi为第i个样本图像的标注,为第i个样本图像的预测病灶区域,为一个批
次的n个样本图像的损失函数,为第i个样本图像的损失函数,y
px
为px像素的预测分类,为px像素的标注;根据所述损失函数,训练所述图像分割网络模型。
[0107]
图9是根据一示例性实施例示出的一种ct灌注成像处理设备的框图。例如,所述设备1600可以被提供为一终端或服务器。设备1600包括处理组件1602,以及由存储器1603所代表的存储器资源,用于存储可由处理组件1602的执行的指令,例如应用程序。存储器1603中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1602被配置为执行指令,以执行上述方法。
[0108]
设备1600还可以包括一个电源组件1606被配置为执行设备1600的电源管理,一个有线或无线网络接口1605被配置为将设备1600连接到网络,和一个输入输出(i/o)接口1608。设备1600可以操作基于存储在存储器1603的操作系统,例如windows servertm,mac os xtm,unixtm,linuxtm,freebsdtm或类似。
[0109]
本发明可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于执行本发明的各个方面的计算机可读程序指令。
[0110]
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
[0111]
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
[0112]
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如smalltalk、c++等,以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机,或者,可以连接到外部计算机(例如利
用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla),该电子电路可以执行计算机可读程序指令,从而实现本发明的各个方面。
[0113]
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
[0114]
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元,从而生产出一种机器,使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
[0115]
也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上,使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
[0116]
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
[0117]
注意,除非另有直接说明,否则本说明书(包含任何所附权利要求、摘要和附图)中所揭示的所有特征皆可由用于达到相同、等效或类似目的的可替代特征来替换。因此,除非另有明确说明,否则所公开的每一个特征仅是一组等效或类似特征的一个示例。在使用到的情况下,进一步地、较优地、更进一步地和更优地是在前述实施例基础上进行另一实施例阐述的简单起头,该进一步地、较优地、更进一步地或更优地后带的内容与前述实施例的结合作为另一实施例的完整构成。在同一实施例后带的若干个进一步地、较优地、更进一步地或更优地设置之间可任意组合的组成又一实施例。
[0118]
本领域的技术人员应理解,上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明,在没有背离所述原理下,本发明的实施方式可以有任何变形或修改。
[0119]
最后应说明的是:以上各实施例仅用以说明本公开的技术方案,而非对其限制;尽管参照前述各实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进
行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。
技术特征:1.一种ct灌注成像处理方法,其特征在于,包括:对ct灌注成像进行预处理,获得第一图像;获取所述ct灌注成像的对侧图像,其中,所述ct灌注成像为脑部ct灌注成像,所述对侧图像为表示脑部出现病灶的一侧的对侧的图像;获取所述ct灌注成像中,预设类型的图像的第一热图;将所述第一图像、所述对侧图像和所述第一热图输入图像分割网络模型进行处理,获得所述ct灌注成像中的病灶区域。2.根据权利要求1所述的方法,其特征在于,对所述ct灌注成像进行预处理,获得第一图像,包括:对所述ct灌注成像的像素值范围进行设置,获得像素值在预设范围内的第二图像;对所述第二图像进行双线性插值处理,获得第三图像;根据所述第三图像的像素值的均值和标准差,对所述第三图像进行归一化处理,获得所述第一图像。3.根据权利要求1所述的方法,其特征在于,获取所述ct灌注成像的对侧图像,包括:根据所述ct灌注成像的几何中心进行翻转,获得翻转图像;获取所述ct灌注成像的二进制灌注成像,以及所述翻转图像的二进制翻转图像;将所述翻转图像的二进制翻转图像基于所述几何中心进行翻转,确定将所述二进制翻转图像进行翻转后,与所述二进制灌注成像之间的误差最小的翻转角度;根据所述翻转角度,对所述ct灌注成像进行翻转,获得第四图像;对所述第四图像的像素值范围进行设置,获得像素值在预设范围内的所述对侧图像。4.根据权利要求1所述的方法,其特征在于,获取所述ct灌注成像中,预设类型的图像的第一热图,包括:根据预设的级别数据,将所述预设类型的图像的像素值进行重置为最接近的级别数据,获得所述第一热图。5.根据权利要求1所述的方法,其特征在于,所述方法还包括:获取第一图像的三个连续切片图像;根据所述对侧图像,获得所述三个连续切片图像的中间切片图像的对侧切片图像;根据所述第一热图,获得所述三个连续切片图像的中间切片图像的切片热图。6.根据权利要求5所述的方法,其特征在于,将所述第一图像、所述对侧图像和所述第一热图输入图像分割网络模型进行处理,获得所述ct灌注成像中的病灶区域,包括:在编码器的每个编码模块中,通过串联的三个3
×
3卷积层或并联的3
×
3卷积层、5
×
5卷积层和7
×
7卷积层,对所述三个连续切片图像、所述对侧切片图像和所述切片热图进行处理,获得多个尺度的输出特征;通过多个编码模块迭代执行多次所述获得多个尺度的输出特征的处理,获得编码器的输出特征;在解码器的每个解码模块中,对所述输出特征以及对应编码模块的输出特征经过卷积层滤波后的滤波特征进行处理,获得解码特征;通过多个解码模块迭代执行多次所述获得解码特征的处理,获得所述ct灌注成像中的病灶区域。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:对样本灌注图像进行随机旋转,获得样本图像;获取样本图像的样本热图和样本对侧图像;将所述样本图像、样本热图和样本对侧图像输入所述图像分割网络模型,获得预测病灶区域;根据公式获得所述图像分割网络模型的损失函数,其中,x
i
为第i个样本图像,y
i
为第i个样本图像的标注,为第i个样本图像的预测病灶区域,为一个批次的n个样本图像的损失函数,为第i个样本图像的损失函数,y
px
为px像素的预测分类,为px像素的标注;根据所述损失函数,训练所述图像分割网络模型。8.一种ct灌注成像处理装置,其特征在于,包括:预处理模块,用于对ct灌注成像进行预处理,获得第一图像;对侧模块,获取所述ct灌注成像的对侧图像,其中,所述ct灌注成像为脑部ct灌注成像,所述对侧图像为表示脑部出现病灶的一侧的对侧的图像;热图模块,用于获取所述ct灌注成像中,预设类型的图像的第一热图;分割模块,用于将所述第一图像、所述对侧图像和所述第一热图输入图像分割网络模型进行处理,获得所述ct灌注成像中的病灶区域。9.一种ct灌注成像处理设备,其特征在于,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为调用所述存储器存储的指令,以执行权利要求1至7中任意一项所述的方法。10.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至7中任意一项所述的方法。
技术总结本公开提供一种CT灌注成像处理方法及装置。所述方法包括:对CT灌注成像进行预处理,获得第一图像;获取所述CT灌注成像的对侧图像;获取第一热图;将第一图像、对侧图像和第一热图输入图像分割网络模型,获得CT灌注成像中的病灶区域。根据本公开,能够获取CT灌注成像的对侧图像和第一热图,并与CT灌注成像预处理后的第一图像共同输入图像分割网络模型,从而增加与病灶相关的信息,提升模型的精度,更准确地确定病灶区域。地确定病灶区域。地确定病灶区域。
技术研发人员:刘伟奇 陈磊 马学升 陈金钢 徐鹏 赵友源 赵晓彤
受保护的技术使用者:同心智医科技(北京)有限公司
技术研发日:2022.07.13
技术公布日:2022/11/1