基于结构光配准的手术系统、配准控制方法和存储介质与流程

专利2023-05-14  112



1.本发明涉及医疗器械技术领域,特别涉及一种基于结构光配准的手术系统、配准控制方法和存储介质。


背景技术:

2.目前的结构光在医疗机器人上的应用多为目标检测,3维重建等方面,一些应用中,在手术机器人中使用的结构光配准的方式多为点云配准,这种方式的配准结果依赖点云成像质量,且计算时间长,算法复杂,在控制机械臂时缺少对机械臂末端位姿的反馈,可能导致最终绝对定位精度不理想。


技术实现要素:

3.本发明的目的在于提供一种基于结构光配准的手术系统、配准控制方法和存储介质,以解决现有的结构光配准采用整体点云配准过于复杂的问题。
4.为解决上述技术问题,本发明提供一种基于结构光配准的手术系统,其包括:第一标志物、结构光相机和控制装置;
5.所述第一标志物用于贴附于目标对象上;
6.所述结构光相机用于识别得到在结构光相机坐标系下的所述第一标志物的位姿;
7.所述控制装置被配置为,获取贴附有所述第一标志物的所述目标对象的医学影像,得到所述第一标志物在医学影像坐标系下的位姿;进而获取所述结构光相机坐标系与所述医学影像坐标系的第一转换矩阵;并基于所述第一转换矩阵注册所述第一标志物。
8.可选的,在所述基于结构光配准的手术系统中,所述结构光相机按预设的频率扫描所述第一标志物,所述控制装置被配置为跟踪所述第一标志物的位姿变化,若在连续两帧的扫描结果中所述第一标志物的位姿变化超过第一预设值,则提示所述目标对象发生移动。
9.可选的,所述基于结构光配准的手术系统还包括手术机器人,所述手术机器人包括机械臂,所述控制装置还被配置为,若在连续两帧的扫描结果中所述第一标志物的位姿变化超过第一预设值,将所述第一标志物的位姿变化量补偿至所述机械臂的运动控制单元。
10.可选的,所述第一标志物包括用于供医学影像扫描的显影标记和用于供结构光相机扫描的图像标记,且所述显影标记与所述图像标记的相对位置固定。
11.可选的,所述基于结构光配准的手术系统还包括手术机器人和第二标志物,所述手术机器人包括机械臂,所述机械臂上连接有手术器械;
12.所述第二标志物用于贴附于所述机械臂的末端;
13.所述结构光相机还用于识别得到在结构光相机坐标系下的所述第二标志物的位姿;
14.所述控制装置还被配置为,获取所述第二标志物与所述手术器械的第二转换矩
阵,并基于所述第二转换矩阵注册所述第二标志物;
15.其中,在所述结构光相机获取的结构光图像中所述第二标志物与所述第一标志物各自对应的图像不相同。
16.可选的,在所述基于结构光配准的手术系统中,所述控制装置还被配置为,获取机械臂控制器所记录的所述手术器械的第一位姿,基于所述第二标志物的位姿得到所述手术器械的第二位姿,并将所述第一位姿和所述第二位姿的差值补偿至所述手术机器人的机械臂的运动控制单元。
17.可选的,在所述基于结构光配准的手术系统中,所述基于结构光配准的手术系统还包括承载装置和第三标志物;
18.所述第三标志物用于贴附于所述承载装置;
19.所述结构光相机还用于识别得到在结构光相机坐标系下的所述第三标志物的位姿,并按预设的频率扫描所述第一标志物和所述第三标志物;
20.所述控制装置还被配置为,获取所述第一标志物的位姿与所述第三标志物的位姿的第三转换矩阵;并跟踪所述第三转换矩阵的变化,若在连续两帧的扫描结果中所述第三转换矩阵的变化量超过第二预设值,则提示所述目标对象发生移动;
21.其中,在所述结构光相机获取的结构光图像中所述第三标志物与所述第一标志物各自对应的图像不相同。
22.可选的,所述基于结构光配准的手术系统还包括手术机器人,所述手术机器人包括机械臂,所述控制装置还被配置为,若在连续两帧的扫描结果中所述第三转换矩阵的变化量超过第二预设值,将所述第三转换矩阵的变化量补偿至所述机械臂的运动控制单元。
23.为解决上述技术问题,本发明还提供一种基于结构光的配准控制方法,其包括:
24.将第一标志物贴附于目标对象;
25.获取贴附有所述第一标志物的所述目标对象的医学影像图;
26.利用结构光相机扫描所述第一标志物,识别得到结构光相机坐标系下所述第一标志物的位姿;
27.基于所述医学影像图,得到所述第一标志物在医学影像坐标系下的位姿;进而获取所述结构光相机坐标系与所述医学影像坐标系的第一转换矩阵;并基于所述第一转换矩阵注册所述第一标志物。
28.可选的,所述基于结构光的配准控制方法还包括:
29.所述结构光相机按预设的频率扫描所述第一标志物;
30.跟踪所述第一标志物的位姿变化,若在连续两帧的扫描结果中所述第一标志物的位姿变化超过第一预设值,则提示所述目标对象发生移动。
31.可选的,在所述基于结构光的配准控制方法中,若在连续两帧的扫描结果中所述第一标志物的位姿变化超过第一预设值,将所述第一标志物的位姿变化量补偿至所述机械臂的运动控制单元。
32.可选的,所述基于结构光的配准控制方法还包括:
33.将第二标志物贴附于机械臂的末端;
34.利用结构光相机扫描所述第二标志物,识别得到结构光相机坐标系下所述第二标志物的位姿;
35.获取所述第二标志物与手术器械的第二转换矩阵,并基于所述第二转换矩阵注册所述第二标志物。
36.可选的,所述基于结构光的配准控制方法还包括:获取机械臂控制器所记录的所述手术器械的第一位姿,基于所述第二标志物的位姿得到所述手术器械的第二位姿,并将所述第一位姿和所述第二位姿的差值补偿至所述手术机器人的机械臂的运动控制单元。
37.可选的,所述基于结构光的配准控制方法还包括:
38.将第三标志物贴附于承载装置;
39.利用结构光相机扫描所述第三标志物,识别得到在结构光相机坐标系下的所述第三标志物的位姿,并按预设的频率扫描所述第一标志物和所述第三标志物;
40.获取所述第一标志物的位姿与所述第三标志物的位姿的第三转换矩阵;并跟踪所述第三转换矩阵的变化,若在连续两帧的扫描结果中所述第三转换矩阵的变化量超过第二预设值,则提示所述目标对象发生移动。
41.可选的,在所述基于结构光的配准控制方法中,若在连续两帧的扫描结果中所述第三转换矩阵的变化量超过第二预设值,将所述第三转换矩阵的变化量补偿至所述机械臂的运动控制单元。
42.为解决上述技术问题,本发明还提供一种可读存储介质,其上存储有程序,所述程序被执行时实现如上所述的基于结构光的配准控制方法的步骤。
43.综上所述,在本发明提供的基于结构光配准的手术系统、基于结构光的配准控制方法和可读存储介质中,所述基于结构光配准的手术系统包括:第一标志物、结构光相机和控制装置;所述第一标志物用于贴附于目标对象上;所述结构光相机用于识别得到在结构光相机坐标系下的所述第一标志物的位姿;所述控制装置被配置为,获取贴附有所述第一标志物的所述目标对象的医学影像,得到所述第一标志物在医学影像坐标系下的位姿;进而获取所述结构光相机坐标系与所述医学影像坐标系的第一转换矩阵;并基于所述第一转换矩阵注册所述第一标志物。
44.如此配置,通过在目标对象上安装特定的第一标记物,使得结构光相机不再需要对目标对象进行整体点云重建,只需要识别第一标志物即可,成像频率可以大幅度提升。相对于传统的ndi追踪导航,结构光配准控制的方案极大降低了成本,而相对于传统的结构光定位,由于第一标志物的设置,加快了计算速度,大大提高了实时性和准确性。第一标志物贴附于目标对象上,避免了传统ndi追踪导航需要通过骨钉等有创定位,基本可以做到无创配准,大大减少了对患者的损伤。
附图说明
45.本领域的普通技术人员将会理解,提供的附图用于更好地理解本发明,而不对本发明的范围构成任何限定。其中:
46.图1是本发明实施例的基于结构光配准的手术系统的示意图;
47.图2是本发明实施例的第一标志物贴附于目标对象的示意图;
48.图3是本发明实施例的第一标志物的示意图;
49.图4是本发明实施例的第二标志物贴附于机械臂的示意图;
50.图5是本发明实施例的第二标志物的示意图;
51.图6是本发明实施例的基于结构光配准的手术系统的一个优选示例的工作流程图;
52.图7是本发明实施例的第三标志物贴附于承载装置的示意图;
53.图8是本发明实施例的第三标志物的示意图;
54.图9是本发明实施例的基于结构光配准的手术系统的另一个优选示例的工作流程图。
具体实施方式
55.为使本发明的目的、优点和特征更加清楚,以下结合附图和具体实施例对本发明作进一步详细说明。需说明的是,附图均采用非常简化的形式且未按比例绘制,仅用以方便、明晰地辅助说明本发明实施例的目的。此外,附图所展示的结构往往是实际结构的一部分。特别的,各附图需要展示的侧重点不同,有时会采用不同的比例。
56.如在本发明中所使用的,单数形式“一”、“一个”以及“该”包括复数对象,术语“或”通常是以包括“和/或”的含义而进行使用的,术语“若干”通常是以包括“至少一个”的含义而进行使用的,术语“至少两个”通常是以包括“两个或两个以上”的含义而进行使用的,此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者至少两个该特征,“一端”与“另一端”以及“近端”与“远端”通常是指相对应的两部分,其不仅包括端点。此外,如在本发明中所使用的,“安装”、“相连”、“连接”,一元件“设置”于另一元件,应做广义理解,通常仅表示两元件之间存在连接、耦合、配合或传动关系,且两元件之间可以是直接的或通过中间元件间接的连接、耦合、配合或传动,而不能理解为指示或暗示两元件之间的空间位置关系,即一元件可以在另一元件的内部、外部、上方、下方或一侧等任意方位,除非内容另外明确指出外。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。此外,诸如上方、下方、上、下、向上、向下、左、右等的方向术语相对于示例性实施方案如它们在图中所示进行使用,向上或上方向朝向对应附图的顶部,向下或下方向朝向对应附图的底部。
57.本发明的目的在于提供一种基于结构光配准的手术系统、基于结构光的配准控制方法和可读存储介质,以解决现有的结构光配准采用整体点云配准过于复杂的问题。
58.以下参考附图进行描述。
59.图1示出了一个基于结构光配准的手术系统的应用场景,所述基于结构光配准的手术系统包括第一标志物11、结构光相机20和控制装置(未图示),优选的,所述基于结构光配准的手术系统还包括手术机器人,手术机器人包括手术执行组件,所述手术执行组件包括机械臂33和连接于机械臂33上的手术器械34。主控制器包括运动控制单元,其用于控制机械臂33和手术器械34的运动。在一个可替代的示范例中,所述手术机器人为穿刺手术机器人,所述穿刺手术机器人包括主控制器、台车31、安装于台车31上的手术执行组件以及用于承载手术对象进行手术的承载装置32(例如,手术床)。需要说明的,在一些实施例中,承载装置32也可替换为其它的手术操作平台。可选的,手术器械34包括用于具体执行穿刺操作的穿刺设备等。
60.下面以手术对象作为目标对象35为例来进行说明,需要说明的,目标对象35并不
限于为手术对象,还可以为如模型假体等对象,其可用于供操作训练和配准标定等目的进行使用。控制装置可单独设置,也可以集成或附设于结构光相机20或穿刺手术机器人中,例如可集成于穿刺手术机器人的主控制器中,本发明对控制装置的设置位置不作限制。此外,本发明的基于结构光配准的手术系统的应用场景也不局限于应用在穿刺手术机器人上,也可应用在其它的一些手术机器人上,如单端式的手术机器人(如骨科手术机器人)等。可选的,结构光相机20采用红外光源,以避免可见光对手术产生扰乱。
61.请结合参考图1和图2,所述第一标志物11用于贴附于目标对象35上;所述结构光相机20用于识别得到在结构光相机坐标系下的所述第一标志物11的位姿;所述控制装置被配置为,获取贴附有所述第一标志物11的所述目标对象35的医学影像,得到所述第一标志物11在医学影像坐标系下的位姿;进而获取所述结构光相机坐标系与所述医学影像坐标系的第一转换矩阵;并基于所述第一转换矩阵注册所述第一标志物11。
62.在一个示范例中,在目标对象35的头部粘贴5个第一标志物11,目标对象35带着第一标志物11接受医学影像扫描(如ct扫描),可以得到医学影像图像(如可为多平面重建mpr视图),同时可以得到第一标志物11在医学影像坐标系下的位姿。进而目标对象35躺在承载装置32上后,结构光相机20对目标对象35拍照,即可得到结构光图像,同时可以得到第一标志物11在结构光相机坐标系下的位姿。在一个可选的实施例中,结构光图像可显示在导航软件上,进一步可对结构光图像上的5个第一标志物11进行排序。医学影像图像也可显示在导航软件上,操作者可按照5个第一标志物11的排序顺序在医学影像图像上点选,将医学影像图像中的第一标志物11和结构光图像中的第一标志物11相互关联匹配起来。当然关联匹配的过程不限于必须由操作者手动点选来实现,也可以是导航软件的程序来实现。需要说明的,第一标志物11的数量不限于为5个,其粘贴位置也不限于在目标对象35的头部,第一标志物11的数量和粘贴位置可根据实际进行配置。优选的,任意3个第一标志物11的中心点不共线,以避免在计算配准第一转换矩阵时出现异常。
63.进一步的,5个第一标志物11的位姿可按照数组的格式进行存储,将结构光相机坐标系下的第一标志物11的位姿数组与医学影像坐标系下的第一标志物11的位姿数组联立方程,可以解算出结构光相机坐标系与医学影像坐标系的第一转换矩阵,基于该第一转换矩阵即可完成第一标志物11的注册,亦即完成目标对象35的注册。
64.可选的,第一标志物11包括用于供医学影像扫描的显影标记和用于供结构光相机扫描的图像标记,且显影标记与图像标记的相对位置固定。请参考图3,在一个可替代的示范例中,第一标志物11为一正方形的标志物,其长宽尺寸为30mm*30mm,厚度为1mm,其一个角部(如左上角)设有显影标记111,显影标记111如可为凸起的钨合金金属球,其直径为1mm。第一标志物11的正面印有可供opencv识别的二维码图案112,二维码图案112为正方形,其长宽尺寸为25mm*25mm;显影标记111相对于二维码图案112的中心的坐标系方向向量为(-1,1,0)。第一标志物11上的图样设计不以图3所示为限,图3中所示出的图样为aruco标记,来自开源aruco库。显影标记111可用于医学影像识别,二维码图案112可用于结构光相机20识别。结构光相机20扫描完成后,基于结构光相机20的内参和深度图,可以计算出5个第一标志物11的二维码图案112的中心在结构光相机坐标系下的坐标。根据显影标记111相对于二维码图案112的中心的坐标系方向向量,就可以计算出显影标记111在结构光相机坐标系下的坐标。将医学影像图像中的第一标志物11的显影标记111和结构光图像中的第一
标志物11的显影标记111相互关联匹配起来后,即可将医学影像图像中的第一标志物11与结构光图像中的第一标志物11相互配准,建立起结构光相机20与目标对象35的相对关系,完成第一标志物11与目标对象35的注册。
65.可选的,所述结构光相机20按预设的频率扫描所述第一标志物11,所述控制装置被配置为跟踪所述第一标志物11的位姿变化,若在连续两帧的扫描结果中所述第一标志物11的位姿变化超过第一预设值,则提示所述目标对象35发生移动。如此配置,可以在手术中实时地判断目标对象35有没有移动。若目标对象35产生移动时,可提醒操作者重新进行注册。需要说明的,预设的频率和第一预设值可根据实际情况进行设置,例如预设的频率为每秒三帧。
66.进一步的,所述控制装置还被配置为,若在连续两帧的扫描结果中所述第一标志物11的位姿变化超过第一预设值,将所述第一标志物11的位姿变化量补偿至所述机械臂33的运动控制单元。若在连续两帧的扫描结果第一标志物11的位姿变化超过第一预设值,可以认为目标对象35产生了移动,此时将第一标志物11的位姿变化量补偿至机械臂33的运动控制单元,可以使机械臂33的运动跟随目标对象35的移动,可以提高最终的定位精度。
67.优选的,请参考图4和图5,所述基于结构光配准的手术系统还包括第二标志物12,所述第二标志物12用于贴附于所述机械臂33的末端;所述结构光相机20还用于识别得到在结构光相机坐标系下的所述第二标志物12的位姿;所述控制装置还被配置为,获取所述第二标志物12与所述手术器械34的第二转换矩阵,并基于所述第二转换矩阵注册所述第二标志物12,即,完成所述机械臂33的注册。其中,在所述结构光相机20获取的结构光图像中所述第二标志物12与所述第一标志物11各自对应的图像不相同。
68.请参考图5,在一个可替代的示范例中,第二标志物12为一正方形的标志物,其长宽尺寸为60mm*60mm,其表面印有棋盘格与二维码的组合图案。棋盘格为2*2黑白相间棋盘格,左上角为白色格子,每个格子的长宽尺寸为28mm*28mm;每个白色格子内印有二维码,二维码的尺寸为25mm*25mm。第二标志物12上的图样设计不以图5所示为限,图5中所示出的图样为aruco标记,来自开源aruco库。由于第二标志物12包含了两个已知位置的二维码,结构光相机20对其进行扫描时可获得该第二标志物12的位姿。亦即相当于获知了机械臂33的位姿。根据第二转换矩阵,就可以得到手术器械34的位姿。
69.在一个示范例中,在机械臂33的末端粘贴有1个第二标志物12,且第二标志物12与结构光相机20之间应无遮挡。可选的,第二标志物12在机械臂33的上的位置不可移动。如此配置,第二标志物12与手术器械34的第二转换矩阵即为已知(如可通过标定或设计参数预设获取)。优选的,第二标志物12已于机械臂33出厂时完成粘贴,第二标志物12与手术器械34的第二转换矩阵预存于控制装置中。这样,在结构光相机20拍摄手术区域后,可提取得到第二标志物12在结构光相机坐标系下的位姿,乘以第二转换矩阵,即可得到手术器械34在结构光相机坐标系下的位姿,从而完成第二标志物12的注册,亦即完成了手术器械34的注册。
70.进一步的,所述控制装置还被配置为,获取机械臂控制器所记录的所述手术器械34的第一位姿,基于所述第二标志物12的位姿得到所述手术器械34的第二位姿,并将所述第一位姿和所述第二位姿的差值补偿至所述手术机器人的机械臂33的运动控制单元。可选的,手术机器人的主控制器还包括机械臂控制器,其一方面用于控制机械臂33和手术器械
34的运动,另一方面还能反馈和记录机械臂33和手术器械34的实际位姿。这样,将直接从机械臂控制器中所读取的第一位姿与根据结构光相机20扫描得到的第二位姿做差,并将该差值作为补偿量参与到机械臂33的控制计算中,可以实现对机械臂33的闭环控制,有效地消除机械臂33的跟踪和驱动误差,进一步提高跟踪和驱动的精度。
71.请参考图6,其示出了基于结构光配准的手术系统的一个优选示例的工作流程,其包括:
72.步骤sa1:术前医学影像扫描;可以理解的,该步骤对目标对象35进行扫描前,目标对象35已贴附有第一标志物11;
73.步骤sa2:台车31摆位,确保结构光相机20的扫描范围能够覆盖第一标志物11和第二标志物12;
74.步骤sa3:注册机械臂33和目标对象35;
75.步骤sa4:机械臂33自动定位;穿刺手术机器人的主控制器给出推荐的穿刺路径供操作者选择,操作者确定路径后,主控制器通过运动控制单元控制机械臂33进行自动定位;
76.步骤sa5:结构光相机20获取第二标志物12的位姿;
77.步骤sa6:结构光相机20获取第一标志物11的位姿;
78.步骤sa7:跟踪第一标志物11的位姿变化;
79.步骤sa8:判断连续两帧第一标志物11的位姿变化是否超过第一预设值;若是,则提示目标对象35发生移动,返回执行步骤sa3;若否,则进入步骤sa9;
80.步骤sa9:判断手术是否结束,若是,则手术结束,若否,则返回执行步骤sa6。
81.在另一个实施例中,请参考图7和图8,所述基于结构光配准的手术系统还包括第三标志物13;所述第三标志物13用于贴附于所述承载装置32;所述结构光相机20还用于识别得到在结构光相机坐标系下的所述第三标志物13的位姿,并按预设的频率扫描所述第一标志物11和所述第三标志物13;所述控制装置还被配置为,获取所述第一标志物11的位姿与所述第三标志物13的位姿的第三转换矩阵;并跟踪所述第三转换矩阵的变化,若在连续两帧的扫描结果中所述第三转换矩阵的变化量超过第二预设值,则提示所述目标对象35发生移动。其中,在所述结构光相机20获取的结构光图像中所述第三标志物13与所述第一标志物11各自对应的图像不相同。结构光相机20扫描所得的第一标志物11的位姿反映了目标对象35的位姿,扫描所得的第三标志物13反映了承载装置32的位姿,结构光相机20按预设的频率扫描所得的每帧扫描结果中,都对第一标志物11相对于第三标志物13的第三转换矩阵进行计算,并对每一次计算得到的第三转换矩阵与上一次计算得到的第三转换矩阵进行做差,可得目标对象35的移动矩阵,其表征了目标对象35的移动方向和移动距离。第二预设值如可为一预设的容许矩阵,若目标对象35的移动矩阵超出了预设的容许矩阵,则确定目标对象35产生了移动。
82.请参考图8,在一个可替代的示范例中,第三标志物13为一长方形的标志物,其长宽尺寸为60mm*120mm,其表面印有棋盘格与二维码的组合图案。其表面印有棋盘格与二维码的组合图案。棋盘格为2*4黑白相间棋盘格,左上角为白色格子,每个格子的长宽尺寸为28mm*28mm;每个白色格子内印有二维码,二维码的尺寸为25mm*25mm。第三标志物13上的图样设计不以图8所示为限,图8中所示出的图样为aruco标记,来自开源aruco库。优选的,第三标志物13粘贴于承载装置32靠近手术部位的区域,且第三标志物13与结构光相机20之间
应无遮挡,第三标志物13的粘贴方向任意。
83.进一步的,所述控制装置还被配置为,若在连续两帧的扫描结果中所述第三转换矩阵的变化量超过第二预设值,将所述第三转换矩阵的变化量补偿至所述机械臂33的运动控制单元。若在连续两帧的扫描结果中所述第三转换矩阵的变化量超过第二预设值,可以认为目标对象35产生了移动,此时将第三转换矩阵的变化量补偿至机械臂33的运动控制单元,可以使机械臂33的运动跟随目标对象35的移动,可以提高最终的定位精度。
84.请参考图9,其示出了基于结构光配准的手术系统的另一个优选示例的工作流程,其包括:
85.步骤sb1:术前医学影像扫描;可以理解的,该步骤对目标对象35进行扫描前,目标对象35已贴附有第一标志物11;
86.步骤sb2:台车31摆位,确保结构光相机20的扫描范围能够覆盖第一标志物11、第二标志物12和第三标志物13;
87.步骤sb3:注册机械臂33、支撑装置32和目标对象35;
88.步骤sb4:机械臂33自动定位;穿刺手术机器人的主控制器给出推荐的穿刺路径供操作者选择,操作者确定路径后,主控制器通过运动控制单元控制机械臂33进行自动定位;
89.步骤sb5:结构光相机20获取第二标志物12的位姿;
90.步骤sb6:结构光相机20获取第一标志物11和第三标志物13的位姿;
91.步骤sb7:跟踪第三转换矩阵的变化;
92.步骤sb8:判断连续两帧第三转换矩阵的变化量是否超过第二预设值;若是,则将第三转换矩阵的变化量补偿至机械臂33的运动控制单元,返回执行步骤sb4;若否,则进入步骤sb9;
93.步骤sb9:判断手术是否结束,若是,则手术结束,若否,则返回执行步骤sb6。
94.基于如上所述的基于结构光配准的手术系统,本发明实施例还提供一种基于结构光的配准控制方法,其包括:
95.步骤s1:将第一标志物11贴附于目标对象35;
96.步骤s2:获取贴附有所述第一标志物11的所述目标对象35的医学影像图;
97.步骤s3:利用结构光相机20扫描所述第一标志物11,识别得到结构光相机坐标系下所述第一标志物11的位姿;
98.步骤s4:基于所述医学影像图,得到所述第一标志物11在医学影像坐标系下的位姿;进而获取所述结构光相机坐标系与所述医学影像坐标系的第一转换矩阵;并基于所述第一转换矩阵注册所述第一标志物11。
99.进一步的,所述基于结构光的配准控制方法还包括:
100.步骤s5:所述结构光相机按预设的频率扫描所述第一标志物;
101.步骤s6:跟踪所述第一标志物的位姿变化,若在连续两帧的扫描结果中所述第一标志物的位姿变化超过第一预设值,则提示所述目标对象发生移动。
102.可选的,在步骤s6中,若在连续两帧的扫描结果中所述第一标志物的位姿变化超过第一预设值,将所述第一标志物的位姿变化量补偿至所述机械臂的运动控制单元。
103.可选的,所述基于结构光的配准控制方法还包括:
104.步骤s7:将第二标志物贴附于机械臂的末端;
105.步骤s8:利用结构光相机扫描所述第二标志物,识别得到结构光相机坐标系下所述第二标志物的位姿;
106.步骤s9:获取所述第二标志物与手术器械的第二转换矩阵,并基于所述第二转换矩阵注册所述第二标志物。
107.可选的,在步骤s9完成所述第二标志物的注册后,所述基于结构光的配准控制方法还包括:
108.步骤s10:获取机械臂控制器所记录的所述手术器械的第一位姿,基于所述第二标志物的位姿得到所述手术器械的第二位姿,并将所述第一位姿和所述第二位姿的差值补偿至所述手术机器人的机械臂的运动控制单元。
109.可选的,所述基于结构光的配准控制方法还包括:
110.步骤s11:将第三标志物贴附于承载装置;
111.步骤s12:利用结构光相机扫描所述第三标志物,识别得到在结构光相机坐标系下的所述第三标志物的位姿,并按预设的频率扫描所述第一标志物和所述第三标志物;
112.步骤s13:获取所述第一标志物的位姿与所述第三标志物的位姿的第三转换矩阵;并跟踪所述第三转换矩阵的变化,若在连续两帧的扫描结果中所述第三转换矩阵的变化量超过第二预设值,则提示所述目标对象发生移动。
113.可选的,在步骤s13中,若在连续两帧的扫描结果中所述第三转换矩阵的变化量超过第二预设值,将所述第三转换矩阵的变化量补偿至所述机械臂的运动控制单元。
114.上述步骤s1至步骤s13的具体实现原理可参考上文,这里不再重复。需要说明的,这里步骤s1至步骤s13并非限定必须全部执行,而是可以按需要选择性地执行,其执行顺序也不限于按照步骤s1至步骤s13顺序来依序执行。本领域技术人员可根据上文进行理解。
115.进一步的,本发明实施例还提供一种可读存储介质,其上存储有程序,所述程序被执行时实现如上所述的基于结构光的配准控制方法的步骤。更进一步的,本发明实施例还提供一种计算机设备,其包括处理器和如上所述的可读存储介质,所述处理器用于执行所述可读存储介质上存储的所述程序。所述可读存储介质可独立设置,也可以集成设置于基于结构光配准的手术系统中,如可集成在控制装置中,本发明对此不限。
116.综上所述,在本发明提供的基于结构光配准的手术系统、基于结构光的配准控制方法和可读存储介质中,所述基于结构光配准的手术系统包括:第一标志物、结构光相机和控制装置;所述第一标志物用于贴附于目标对象上;所述结构光相机用于识别得到在结构光相机坐标系下的所述第一标志物的位姿;所述控制装置被配置为,获取贴附有所述第一标志物的所述目标对象的医学影像,得到所述第一标志物在医学影像坐标系下的位姿;进而获取所述结构光相机坐标系与所述医学影像坐标系的第一转换矩阵;并基于所述第一转换矩阵注册所述第一标志物。如此配置,通过在目标对象上安装特定的第一标记物,使得结构光相机不再需要对目标对象进行整体点云重建,只需要识别第一标志物即可,成像频率可以大幅度提升。相对于传统的ndi追踪导航,结构光配准控制的方案极大降低了成本,而相对于传统的结构光定位,由于第一标志物的设置,加快了计算速度,大大提高了实时性和准确性。第一标志物贴附于目标对象上,避免了传统ndi追踪导航需要通过骨钉等有创定位,基本可以做到无创配准,大大减少了对患者的损伤。
117.需要说明的,上述若干实施例之间可相互组合。上述描述仅是对本发明较佳实施
例的描述,并非对本发明范围的任何限定,本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰,均属于权利要求书的保护范围。

技术特征:
1.一种基于结构光配准的手术系统,其特征在于,包括:第一标志物、结构光相机和控制装置;所述第一标志物用于贴附于目标对象上;所述结构光相机用于识别得到在结构光相机坐标系下的所述第一标志物的位姿;所述控制装置被配置为,获取贴附有所述第一标志物的所述目标对象的医学影像,得到所述第一标志物在医学影像坐标系下的位姿;进而获取所述结构光相机坐标系与所述医学影像坐标系的第一转换矩阵;并基于所述第一转换矩阵注册所述第一标志物。2.根据权利要求1所述的基于结构光配准的手术系统,其特征在于,所述结构光相机按预设的频率扫描所述第一标志物,所述控制装置被配置为跟踪所述第一标志物的位姿变化,若在连续两帧的扫描结果中所述第一标志物的位姿变化超过第一预设值,则提示所述目标对象发生移动。3.根据权利要求2所述的基于结构光配准的手术系统,其特征在于,所述基于结构光配准的手术系统还包括手术机器人,所述手术机器人包括机械臂,所述控制装置还被配置为,若在连续两帧的扫描结果中所述第一标志物的位姿变化超过第一预设值,将所述第一标志物的位姿变化量补偿至所述机械臂的运动控制单元。4.根据权利要求1所述的基于结构光配准的手术系统,其特征在于,所述第一标志物包括用于供医学影像扫描的显影标记和用于供结构光相机扫描的图像标记,且所述显影标记与所述图像标记的相对位置固定。5.根据权利要求1所述的基于结构光配准的手术系统,其特征在于,所述基于结构光配准的手术系统还包括手术机器人和第二标志物,所述手术机器人包括机械臂,所述机械臂上连接有手术器械;所述第二标志物用于贴附于所述机械臂的末端;所述结构光相机还用于识别得到在结构光相机坐标系下的所述第二标志物的位姿;所述控制装置还被配置为,获取所述第二标志物与所述手术器械的第二转换矩阵,并基于所述第二转换矩阵注册所述第二标志物;其中,在所述结构光相机获取的结构光图像中所述第二标志物与所述第一标志物各自对应的图像不相同。6.根据权利要求5所述的基于结构光配准的手术系统,其特征在于,所述控制装置还被配置为,获取机械臂控制器所记录的所述手术器械的第一位姿,基于所述第二标志物的位姿得到所述手术器械的第二位姿,并将所述第一位姿和所述第二位姿的差值补偿至所述手术机器人的机械臂的运动控制单元。7.根据权利要求1所述的基于结构光配准的手术系统,其特征在于,所述基于结构光配准的手术系统还包括承载装置和第三标志物;所述第三标志物用于贴附于所述承载装置;所述结构光相机还用于识别得到在结构光相机坐标系下的所述第三标志物的位姿,并按预设的频率扫描所述第一标志物和所述第三标志物;所述控制装置还被配置为,获取所述第一标志物的位姿与所述第三标志物的位姿的第三转换矩阵;并跟踪所述第三转换矩阵的变化,若在连续两帧的扫描结果中所述第三转换矩阵的变化量超过第二预设值,则提示所述目标对象发生移动;
其中,在所述结构光相机获取的结构光图像中所述第三标志物与所述第一标志物各自对应的图像不相同。8.根据权利要求7所述的基于结构光配准的手术系统,其特征在于,所述基于结构光配准的手术系统还包括手术机器人,所述手术机器人包括机械臂,所述控制装置还被配置为,若在连续两帧的扫描结果中所述第三转换矩阵的变化量超过第二预设值,将所述第三转换矩阵的变化量补偿至所述机械臂的运动控制单元。9.一种基于结构光的配准控制方法,其特征在于,包括:将第一标志物贴附于目标对象;获取贴附有所述第一标志物的所述目标对象的医学影像图;利用结构光相机扫描所述第一标志物,识别得到结构光相机坐标系下所述第一标志物的位姿;基于所述医学影像图,得到所述第一标志物在医学影像坐标系下的位姿;进而获取所述结构光相机坐标系与所述医学影像坐标系的第一转换矩阵;并基于所述第一转换矩阵注册所述第一标志物。10.根据权利要求9所述的基于结构光的配准控制方法,其特征在于,所述基于结构光的配准控制方法还包括:所述结构光相机按预设的频率扫描所述第一标志物;跟踪所述第一标志物的位姿变化,若在连续两帧的扫描结果中所述第一标志物的位姿变化超过第一预设值,则提示所述目标对象发生移动。11.根据权利要求10所述的基于结构光的配准控制方法,其特征在于,若在连续两帧的扫描结果中所述第一标志物的位姿变化超过第一预设值,将所述第一标志物的位姿变化量补偿至所述机械臂的运动控制单元。12.根据权利要求9所述的基于结构光的配准控制方法,其特征在于,所述基于结构光的配准控制方法还包括:将第二标志物贴附于机械臂的末端;利用结构光相机扫描所述第二标志物,识别得到结构光相机坐标系下所述第二标志物的位姿;获取所述第二标志物与手术器械的第二转换矩阵,并基于所述第二转换矩阵注册所述第二标志物。13.根据权利要求12所述的基于结构光的配准控制方法,其特征在于,所述基于结构光的配准控制方法还包括:获取机械臂控制器所记录的所述手术器械的第一位姿,基于所述第二标志物的位姿得到所述手术器械的第二位姿,并将所述第一位姿和所述第二位姿的差值补偿至所述手术机器人的机械臂的运动控制单元。14.根据权利要求9所述的基于结构光的配准控制方法,其特征在于,所述基于结构光的配准控制方法还包括:将第三标志物贴附于承载装置;利用结构光相机扫描所述第三标志物,识别得到在结构光相机坐标系下的所述第三标志物的位姿,并按预设的频率扫描所述第一标志物和所述第三标志物;获取所述第一标志物的位姿与所述第三标志物的位姿的第三转换矩阵;并跟踪所述第
三转换矩阵的变化,若在连续两帧的扫描结果中所述第三转换矩阵的变化量超过第二预设值,则提示所述目标对象发生移动。15.根据权利要求14所述的基于结构光的配准控制方法,其特征在于,若在连续两帧的扫描结果中所述第三转换矩阵的变化量超过第二预设值,将所述第三转换矩阵的变化量补偿至所述机械臂的运动控制单元。16.一种可读存储介质,其上存储有程序,其特征在于,所述程序被执行时实现根据权利要求9~15中任一项所述的基于结构光的配准控制方法的步骤。

技术总结
本发明提供一种基于结构光配准的手术系统、配准控制方法和存储介质,所述基于结构光配准的手术系统包括:第一标志物、结构光相机和控制装置;所述第一标志物用于贴附于目标对象上;所述结构光相机用于识别得到在结构光相机坐标系下的所述第一标志物的位姿;所述控制装置被配置为,获取贴附有所述第一标志物的所述目标对象的医学影像,得到所述第一标志物在医学影像坐标系下的位姿;进而获取所述结构光相机坐标系与所述医学影像坐标系的第一转换矩阵;并基于所述第一转换矩阵注册所述第一标志物。如此配置,结构光相机不再需要对目标对象进行整体点云重建,只需要识别第一标志物即可,成像频率可以大幅度提升,降低了成本,加快了计算速度。了计算速度。了计算速度。


技术研发人员:ꢀ(74)专利代理机构
受保护的技术使用者:上海微创医疗机器人(集团)股份有限公司
技术研发日:2022.07.25
技术公布日:2022/11/1
转载请注明原文地址: https://tieba.8miu.com/read-2597.html

最新回复(0)