ct图像的多模态融合方法、装置、设备及可读存储介质
技术领域
1.本发明属于辅助医学分析技术领域，具体涉及一种肝脏ct(computedtomography，电子计算机断层扫描)图像的多模态融合方法、装置、设备及可读存储介质。
背景技术：[0002]“介入治疗”是指在高档影像设备的引导和监视下，利用介入器材，通过人体自然孔道或微小的创口将特定的器械导入人体病变部位进行微创治疗的一系列技术的总称。尽管用于介入引导的可替代成像技术越来越多，但ct仍然是经皮下手术时用于介入引导的主流成像技术。
[0003]
众所周知，肿瘤通常具有不同的成像特性，且目前没有任何一种单独的成像方式可以显示所有肿瘤的特征。在介入手术时，引导介入针的放置过程中，若使用ct 不能直接看到肿瘤时，通常使用图像融合技术作为介入引导。为了实现图像融合，需要将介入ct图像配准到可以观测到肿瘤的成像模态中。然而，稳健且快速的多模态图像配准是一个非常具有挑战性的技术难题。
[0004]
根据所获得的图像信息，多模态图像配准方法可以分为基于强度的方法和基于特征的方法。基于强度的方法的主要思路是迭代搜索几何变换，当应用于运动成像模态时，优化相似性度量。然而，这种基于手动操作和基于强度的配准方法并不稳定，并且在介入时很容易失败。如果失败，通常没有时间调整参数并再次运行算法。特别是当介入ct与肿瘤可见的成像方式之间存在较大形态和外观差异时，这些算法经常运算失败。所以，在介入期间应使用更强大的配准算法，以尽量减少对临床工作流程的影响。另一方面，基于特征的方法为关注局部结构提供了更好的解决方案。首先从图像中提取一些局部代表性特征并进行匹配以计算相应的变换，然而，匹配这些特征点本身具有挑战性和难度，分割感兴趣区域的平面可以帮助稳健地叠合这两种模态。将计算得到的点与点之间的对齐平面用于配准相应的图像。然而，这样的方法需要具备准确和快速的图像分割基础。
技术实现要素：[0005]
本发明实施例的目的是提供一种肝脏ct图像的多模态融合方法、装置、设备及可读存储介质，能够解决目前的肝脏分割方法实用性低、成本高、耗时长、具有较高延迟和精度较低的技术问题。
[0006]
为了解决上述技术问题，本发明是这样实现的：
[0007]
第一方面，本发明实施例提供了一种肝脏ct图像的多模态融合方法，包括：
[0008]
s101：获取手术过程中包含有肝脏部位的ct图像；
[0009]
s102：通过mimo-fan模型对ct图像中的肝脏部位进行分割；
[0010]
s103：将ct图像作为参考成像模式，待融合图像作为移动成像模式，使用独立的迭代最近点函数(icp,iterative closest point)对两者执行基于表面的配准；
[0011]
s104：将配准后的ct图像与待融合图像进行融合。
[0012]
可选地，待融合图像包括：mri图像、ce-ct图像和pet/ct图像。
[0013]
可选地，在s103之前，方法还包括：
[0014]
获取术前静态ct图像；
[0015]
从术前静态ct图像和术中介入ct图像中获取点集以执行基于表面的配准。
[0016]
可选地，所述s103具体包括：
[0017]
s1031：将所述ct图像作为参考成像模式，待融合图像作为移动成像模式，采用主成分分析算法对齐，以获得所述ct图像与所述待融合图像之间对应关系的初始猜测；
[0018]
s1032：采用奇异值分解算法进行迭代，以改进所述ct图像与所述待融合图像之间的对应关系；
[0019]
s1033：获取所述ct图像与所述待融合图像之间的均方根距离，在所述均方根距离小于预设值的情况下，停止优化。
[0020]
第二方面，本发明实施例提供了一种肝脏ct图像的多模态融合装置，包括：
[0021]
第一获取模块，用于获取手术过程中包含有肝脏部位的ct图像；
[0022]
分割模块，用于通过mimo-fan模型对ct图像中的肝脏部位进行分割；
[0023]
配准模块，用于将ct图像作为参考成像模式，待融合图像作为移动成像模式，使用独立的迭代最近点函数对两者执行基于表面的配准；
[0024]
融合模块，用于将配准后的ct图像与待融合图像进行融合。
[0025]
可选地，待融合图像包括：mri图像、ce-ct图像和pet/ct图像。
[0026]
可选地，肝脏ct图像的多模态融合装置还包括：
[0027]
第二获取模块，用于获取术前静态ct图像；
[0028]
点集获取模块，用于从术前静态ct图像和术中介入ct图像中获取点集以执行基于表面的配准。
[0029]
可选地，配准模块具体包括：
[0030]
对齐子模块，用于将所述ct图像作为参考成像模式，待融合图像作为移动成像模式，采用主成分分析算法对齐，以获得所述ct图像与所述待融合图像之间对应关系的初始猜测；
[0031]
迭代子模块，用于采用奇异值分解算法进行迭代，以改进所述ct图像与所述待融合图像之间的对应关系；
[0032]
判别子模块，用于获取所述ct图像与所述待融合图像之间的均方根距离，在所述均方根距离小于预设值的情况下，停止优化。
[0033]
第三方面，本发明实施例提供了一种设备，包括：
[0034]
处理器；
[0035]
用于存储处理器可执行指令的存储器；
[0036]
其中，处理器被配置为调用存储器存储的指令，以执行第一方面的方法。
[0037]
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令被处理器执行时实现第一方面的方法。
[0038]
在本发明实施例中，通过mimo-fan模型对ct图像中的肝脏部位进行精确的分割，之后使用独立的迭代最近点函数对多模态图像执行基于表面的精确的配准，进而使得多模态图像可以精确的融合，实用性高、成本低、耗时短、响应及时并且精度高，可以尽可能减少
对临床工作流程的影响。
附图说明
[0039]
图1是本发明实施例提供的一种肝脏ct图像的多模态融合方法的流程示意图；
[0040]
图2是本发明实施例提供的另一种肝脏ct图像的多模态融合方法的流程示意图；
[0041]
图3是本发明实施例提供的一种肝脏ct图像的多模态融合装置的结构示意图。
[0042]
本发明目的的实现、功能特点及优点将结合实施例、参照附图做进一步说明。
具体实施方式
[0043]
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0044]
本发明的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。应当理解，在本公开的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。
[0045]
应当理解，在本公开中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0046]
应当理解，在本公开中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含a、b和c”、“包含a、b、c”是指a、b、c 三者都包含，“包含a、b或c”是指包含a、b、c三者之一，“包含a、b和/或 c”是指包含a、b、c三者中任1个或任2个或3个。
[0047]
应当理解，在本公开中，“与a对应的b”、“与a相对应的b”、“a与b相对应”或者“b与a相对应”，表示b与a相关联，根据a可以确定b。根据a确定b并不意味着仅仅根据a确定b，还可以根据a和/或其他信息确定b。a与b 的匹配，是a与b的相似度大于或等于预设的阈值。
[0048]
取决于语境，如在此所使用的“若”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”或“响应于检测”。
[0049]
下面结合附图，通过具体的实施例及其应用场景对本发明实施例提供的肝脏 ct图像的多模态融合方法、装置、设备及可读存储介质进行详细地说明。
[0050]
实施例一
[0051]
参照图1，示出了本发明实施例提供的一种肝脏ct图像的多模态融合方法的流程示意图。
[0052]
本发明实施例提供了一种肝脏ct图像的多模态融合方法，包括：
[0053]
s101：获取手术过程中包含有肝脏部位的ct图像。
[0054]
s102：通过mimo-fan模型对ct图像中的肝脏部位进行分割。
[0055]
其中，mimo-fan模型可以实现2.5d的深度学习，使用金字塔输入和输出架构来充分提取图像的多尺度特征，可以有效地利用图像信息进行分割。参照图2，深度学习网络将多尺度机制集成到u形架构中，这一步使得该网络能够从头到尾提取图像中的多尺度特征。
[0056]
需要说明的是，为了融合不同尺度的特征，mimo-fan的一个显着特点是在一定层次上要融合的特征都经过相同数量的卷积层，这有助于保持层次语义的相似特征。经典的基于u-net的方法是尺度仅在卷积深度增加时减少，与u-net方法不同，mimo-fan在每个深度都具有多尺度特征，因此可以完全整合全局和局部语境信息以增强提取的特征。
[0057]
s103：将ct图像作为参考成像模式，待融合图像作为移动成像模式，使用独立的迭代最近点函数(icp,iterative closest point)对两者执行基于表面的配准。
[0058]
需要说明的是，基于表面的ct图像配准和患者在物理空间中的解剖结构已很好的应用于图像引导手术中。它能够让医生通过椎骨解剖结构放置手术工具的位置和确认方向。不同的基于表面的方法可用于图像融合。
[0059]
标准icp方法和大多数变体隐含地假设各向同性噪声模型。从这些轮廓中选择的点在x、y和z方向上进行旋转和平移，并将零均值、正态分布、各向同性噪声添加到旋转点，用于模拟以不同成像方式获得的平面。
[0060]
在一种可能的实施方式中，s103具体包括子步骤s1031至s1033：
[0061]
s1031：将所述ct图像作为参考成像模式，待融合图像作为移动成像模式，采用主成分分析(pca,principal component analysis)算法对齐，以获得所述ct图像与所述待融合图像之间对应关系的初始猜测。
[0062]
s1032：采用奇异值分解(svd,singular value decomposition)算法进行迭代，以改进所述ct图像与所述待融合图像之间的对应关系。
[0063]
在迭代中，对于每个变换的源点，最近的目标点被指定为其对应点。
[0064]
s1033：获取所述ct图像与所述待融合图像之间的均方根距离，在所述均方根距离小于预设值的情况下，停止优化。
[0065]
通过子步骤s1031至s1033，使得icp算法总是收敛到相对于目标函数最近的局部最小值。
[0066]
s104：将配准后的ct图像与待融合图像进行融合。
[0067]
其中，待融合图像包括：mri图像、ce-ct图像和pet/ct图像。也就是说，可以将介入ct图像与mri图像融合，将介入ct图像与ce-ct图像融合，或者，将介入ct图像与pet/ct图像融合。
[0068]
(1)对于介入ct图像与mri图像融合。此种情况下mri图像可以提供ct 成像无法提供的关于软组织和肿瘤的清晰而详细的信息。通过融合，mri作为移动成像方式可以映射到介入ct，以帮助指导手术。mri可以在手术前通过手动交互完成，介入ct在手术过程中被分割。然后，通过配准分割的表面，将图像配准在同一坐标系中。值得注意的是，这种情况下的患者位置与lits数据集中的位置有很大不同。后者中的所有图像都用于诊断目的，且患者处于正常的仰卧位。然而，对于介入手术指导，为了使手术器械最好地进入目标区域，患者
通常必须采用特殊的体位。即使在这种情况下，我们的分割算法也能很好地分割肝脏。我们有助于在整个网络中使用多尺度特征，这使得高级整体特征和低级图像纹理细节的完美结合成为可能。
[0069]
(2)对于介入ct图像与ce-ct图像融合。此种情况下，通过使用对比增强剂，ce-ct可以很好地显示肿瘤和血管结构。通过融合，ce-ct作为本例中的运动成像模态，可以映射到介入ct上，进行介入指导。ce-ct在手术前通过人工交互进行采集和分割，介入ct在手术过程中进行分割。然后通过对齐分割的表面来执行图像配准。
[0070]
(3)对于介入ct图像与pet/ct图像融合。此种情况下，将通过pet获得的功能成像和通过介入ct进行的术中引导成像相结合。pet成像是低分辨率的成像方式，但可以很好地可视化肿瘤的功能活动。然而，由于缺乏结构信息，很难直接将pet与介入ct配准。因此，pet/ct扫描中的ct图像分量作为配准的桥梁，通过对分割面的对齐，与介入ct进行配准。通过将pet图像与介入ct 融合，可以在手术过程中轻松观察肿瘤。
[0071]
参照图2，示出了本发明实施例提供的另一种肝脏ct图像的多模态融合方法的流程示意图。
[0072]
在一种可能的实施方式中，在s103之前还包括：
[0073]
获取术前静态ct图像；
[0074]
从术前静态ct图像和术中介入ct图像中获取点集以执行基于表面的配准。
[0075]
其中，将术前静态ct图像与术中介入ct图像一同获取点集，无疑增加了点集的准确性和全面性，进而提高配准的准确性。
[0076]
在本发明实施例中，通过mimo-fan模型对ct图像中的肝脏部位进行精确的分割，之后使用独立的迭代最近点函数对多模态图像执行基于表面的精确的配准，进而使得多模态图像可以精确的融合，实用性高、成本低、耗时短、响应及时并且精度高，可以尽可能减少对临床工作流程的影响。
[0077]
实施例二
[0078]
参照图3，示出了本发明实施例提供的一种肝脏ct图像的多模态融合装置30 的结构示意图。
[0079]
本发明实施例提供的肝脏ct图像的多模态融合装置30，包括：
[0080]
第一获取模块301，用于获取手术过程中包含有肝脏部位的ct图像；
[0081]
分割模块302，用于通过mimo-fan模型对ct图像中的肝脏部位进行分割；
[0082]
配准模块303，用于将ct图像作为参考成像模式，待融合图像作为移动成像模式，使用独立的迭代最近点函数对两者执行基于表面的配准；
[0083]
融合模块304，用于将配准后的ct图像与待融合图像进行融合。
[0084]
可选地，待融合图像包括：mri图像、ce-ct图像和pet/ct图像。
[0085]
可选地，肝脏ct图像的多模态融合装置30还包括：
[0086]
第二获取模块305，用于获取术前静态ct图像；
[0087]
点集获取模块306，用于从术前静态ct图像和术中介入ct图像中获取点集以执行基于表面的配准。
[0088]
可选地，配准模块303具体包括：
[0089]
对齐子模块3031，用于将所述ct图像作为参考成像模式，待融合图像作为移动成
像模式，采用主成分分析算法对齐，以获得所述ct图像与所述待融合图像之间对应关系的初始猜测；
[0090]
迭代子模块3032，用于采用奇异值分解算法进行迭代，以改进所述ct图像与所述待融合图像之间的对应关系；
[0091]
判别子模块3033，用于获取所述ct图像与所述待融合图像之间的均方根距离，在所述均方根距离小于预设值的情况下，停止优化。
[0092]
在本发明实施例中，通过mimo-fan模型对ct图像中的肝脏部位进行精确的分割，之后使用独立的迭代最近点函数对多模态图像执行基于表面的精确的配准，进而使得多模态图像可以精确的融合，实用性高、成本低、耗时短、响应及时并且精度高，可以尽可能减少对临床工作流程的影响。
[0093]
本发明实施例中的虚拟系统可以是装置，也可以是终端中的部件、集成电路、或芯片。
[0094]
此外，需要说明的是，以上所描述的装置实施例仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的，此处不做限制。
[0095]
实施例三
[0096]
本发明实施例提供了一种设备，处理器；
[0097]
用于存储处理器可执行指令的存储器；
[0098]
其中，所述处理器被配置为调用所述存储器存储的指令，以执行实施例一所述的方法。
[0099]
在本发明实施例中，通过mimo-fan模型对所述ct图像中的肝脏部位进行精确的分割，之后使用独立的迭代最近点函数对多模态图像执行基于表面的精确的配准，进而使得多模态图像可以精确的融合，实用性高、成本低、耗时短、响应及时并且精度高，可以尽可能减少对临床工作流程的影响。
[0100]
实施例四
[0101]
本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现实施例一所述的方法。
[0102]
在本发明实施例中，通过mimo-fan模型对所述ct图像中的肝脏部位进行精确的分割，之后使用独立的迭代最近点函数对多模态图像执行基于表面的精确的配准，进而使得多模态图像可以精确的融合，实用性高、成本低、耗时短、响应及时并且精度高，可以尽可能减少对临床工作流程的影响。
[0103]
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom 或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、
通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
[0104]
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
[0105]
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(isa) 指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c++等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网 (wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga) 或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
[0106]
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
[0107]
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
[0108]
也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/ 动作。
[0109]
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执
行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0110]
注意，除非另有直接说明，否则本说明书(包含任何所附权利要求、摘要和附图)中所揭示的所有特征皆可由用于达到相同、等效或类似目的的可替代特征来替换。因此，除非另有明确说明，否则所公开的每一个特征仅是一组等效或类似特征的一个示例。在使用到的情况下，进一步地、较优地、更进一步地和更优地是在前述实施例基础上进行另一实施例阐述的简单起头，该进一步地、较优地、更进一步地或更优地后带的内容与前述实施例的结合作为另一实施例的完整构成。在同一实施例后带的若干个进一步地、较优地、更进一步地或更优地设置之间可任意组合的组成又一实施例。
[0111]
本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。
[0112]
最后应说明的是：以上各实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述各实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。
技术特征：1.一种肝脏ct图像的多模态融合方法，其特征在于，包括：s101：获取手术过程中包含有肝脏部位的ct图像；s102：通过mimo-fan模型对所述ct图像中的肝脏部位进行分割；s103：将所述ct图像作为参考成像模式，待融合图像作为移动成像模式，使用独立的迭代最近点函数对两者执行基于表面的配准；s104：将配准后的所述ct图像与所述待融合图像进行融合。2.根据权利要求1所述的肝脏ct图像的多模态融合方法，其特征在于，所述待融合图像包括：mri图像、ce-ct图像和pet/ct图像。3.根据权利要求1所述的肝脏ct图像的多模态融合方法，其特征在于，在所述s103之前还包括：获取术前静态ct图像；从所述术前静态ct图像和术中介入ct图像中获取点集以执行基于表面的配准。4.根据权利要求1所述的肝脏ct图像的多模态融合方法，其特征在于，所述s103具体包括：s1031：将所述ct图像作为参考成像模式，待融合图像作为移动成像模式，采用主成分分析算法对齐，以获得所述ct图像与所述待融合图像之间对应关系的初始猜测；s1032：采用奇异值分解算法进行迭代，以改进所述ct图像与所述待融合图像之间的对应关系；s1033：获取所述ct图像与所述待融合图像之间的均方根距离，在所述均方根距离小于预设值的情况下，停止优化。5.一种肝脏ct图像的多模态融合装置，其特征在于，包括：第一获取模块，用于获取手术过程中包含有肝脏部位的ct图像；分割模块，用于通过mimo-fan模型对所述ct图像中的肝脏部位进行分割；配准模块，用于将所述ct图像作为参考成像模式，待融合图像作为移动成像模式，使用独立的迭代最近点函数对两者执行基于表面的配准；融合模块，用于将配准后的所述ct图像与所述待融合图像进行融合。6.根据权利要求5所述的肝脏ct图像的多模态融合装置，其特征在于，所述待融合图像包括：mri图像、ce-ct图像和pet/ct图像。7.根据权利要求5所述的肝脏ct图像的多模态融合装置，其特征在于，还包括：第二获取模组，用于获取术前静态ct图像；点集获取模块，用于从所述术前静态ct图像和术中介入ct图像中获取点集以执行基于表面的配准。8.根据权利要求5所述的肝脏ct图像的多模态融合装置，其特征在于，所述配准模块具体包括：对齐子模块，用于将所述ct图像作为参考成像模式，待融合图像作为移动成像模式，采用主成分分析算法对齐，以获得所述ct图像与所述待融合图像之间对应关系的初始猜测；迭代子模块，用于采用奇异值分解算法进行迭代，以改进所述ct图像与所述待融合图像之间的对应关系；判别子模块，用于获取所述ct图像与所述待融合图像之间的均方根距离，在所述均方
根距离小于预设值的情况下，停止优化。9.一种设备，其特征在于，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至4中任意一项所述的方法。10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至4中任意一项所述的方法。
技术总结本发明公开了一种肝脏CT图像的多模态融合方法、装置、设备及可读存储介质，属于辅助医学分析技术领域，方法包括：获取手术过程中包含有肝脏部位的CT图像；通过MIMO-FAN模型对CT图像中的肝脏部位进行分割；将CT图像作为参考成像模式，待融合图像作为移动成像模式，使用独立的迭代最近点函数对两者执行基于表面的配准；将配准后的CT图像与待融合图像进行融合。本发明公开的肝脏CT图像的多模态融合方法实用性高、成本低、耗时短、响应及时并且精度高，可以尽可能减少对临床工作流程的影响。可以尽可能减少对临床工作流程的影响。可以尽可能减少对临床工作流程的影响。
技术研发人员：刘伟奇 陈磊 马学升 陈金钢 徐鹏 赵友源 赵晓彤
受保护的技术使用者：同心智医科技（北京）有限公司
技术研发日：2022.07.13
技术公布日：2022/11/1
