本发明属于生物医学工程设备,更具体地,涉及一种基于增强现实的手术全息影像视频系统及其控制方法。
背景技术:
1、现有技术中,如图1所示,手术放大镜为低倍显微镜系统,通过仪器观察可将其细微结构放大(一般放大2-5倍之间)并获得正立、清晰的图象,可供各医疗机构做各种外科手术使用。操作者依据自己的瞳距将两镜筒固定在两侧相应的位置。
2、现有技术文件1(kr1020140136607a)公开了一种外科手术用眼镜,包括:左、右放大镜和手术灯;当手术放大镜和/或手术灯安装在眼镜架上时,在眼镜体的上部中心附有t型支架,重心从鼻子分布到眉毛上方的额头。
3、现有技术文件1的不足之处在于,术者如需不同的放大要求,实现不同的放大倍数需要配备多付眼镜,成本高、占用空间大,且不便携带。更进一步地,放大倍数大的眼镜也较为沉重,即使设置了软体结构,也不适于长时间佩戴。除此之外,其功能单一,缺乏手术室内医护之间、手术室与远程专家、学生等互动协助;智能化程度较低等。
技术实现思路
1、为解决现有技术中存在的不足,本发明提供一种基于增强现实的手术全息影像视频系统及其控制方法。
2、本发明采用如下的技术方案。
3、本发明的第一方面提供了一种基于增强现实的手术全息影像视频系统,包括:增强现实眼镜、辅助增强现实眼镜、服务器、远端设备和手术室设备;
4、增强现实眼镜和辅助增强现实眼镜均包括:摄像模块、全息镜片模块和通信模块;
5、摄像模块用于采集术者视角图像;全息镜片模块分为上下两部分,上部保持自然视野,下部用于显示术者当前关注区域;通信模块与服务器相连接,用于将术者视角图像发送至服务器,并接收服务器下发的全息图像和远程协助信息;
6、辅助增强现实眼镜与服务器相连接,用于接收术者术野,实现术野共享;
7、远端设备与服务器相连接,用于接收增强现实眼镜位姿信息和术者视角图像;
8、手术室设备与服务器相连接,用于术者通过增强现实眼镜经由服务器向手术室设备发出控制指令。
9、优选地,摄像模块包括:朝向增强现实眼镜外部设置的不少于4台可见光摄像机、1-mptof深度传感器;朝向增强现实眼镜内部设置的不少于2台红外摄像机,分别用于对术者前方视野进行摄影以及追踪术者眼部活动。
10、优选地,远端设备用于接收来自服务器的视频流和术者位姿,为增强现实设备或者计算机设备;
11、远端设备包括输入设备,输入的信息经过服务器反馈至术者佩带的增强现实眼镜。
12、优选地,手术室设备包括:患者信息卡、手术器械、手术灯、麻醉机、体外循环机和其他手术用电气设备及患者生命支持/管理设备;
13、术者通过增强现实眼镜唤醒手术室设备协同操作功能,向手术室设备发出控制指令。
14、本发明的第二方面提供了一种基于增强现实的手术全息影像视频系统的控制方法,包括以下步骤:
15、采集术者视角下的视频图像,并发送至服务器,服务器计算术者当前位姿,提取术野边界,将其划分为多个手术操作区域,术者选择当前关注的区域,按照设定倍数放大(倍数可根据自身需要实现无极、甚至无限放大(摄像头及投影显示设备性能范围内的);必要时还可缩小成像,在不移动术者头部的情况下,实现对更大范围术野的观察),显示在镜片下半部分,镜片上半部分保持自然视野;
16、将获得的术野边界内图像,共享至参与手术的助手,成像在在参与手术的助手的镜片的下半部分,在参与手术的助手的镜片的上半部分显示自然视野;或参与手术的不同术者,可获得不同视野/视角下的手术图像,用于多术者的多视野/视角共享,在自身视野/视角的基础上将其他术者的视野/视角作为补充,用于充分获得手术区域的视觉信息;
17、服务器对术者视角下的视频图像进行封装,形成设定格式的视频流文件,连同术者位姿推送至远程设备,远程设备解码视频流文件,结合术者位姿,生成术者视角的增强现实图像;
18、唤醒病历功能,实时写病例,开医嘱,保留手术视频或截图作为病历文件;
19、唤醒手术室设备协同操作功能,与手术室设备进行交互,发出设备控制指令。
20、优选地,集术者视角下的图像,提取术野边界,将其划分为9个手术操作区域,选择当前关注的区域,在镜片下半部分进行成像,而在镜片上半部分,采用自然视野,为术者课件的全部术野
21、术者可以通过语音或眼动的方式选择当前关注的区域。
22、优选地,需要校正视力的术者不佩戴视力校正眼镜,通过术者自主调节镜片下半部分的清晰度,可以让用户根据自身视力效果自行调节聚焦效果的虚拟显像,直至形成清晰视觉。
23、优选地,服务器形成的视频流文件是flash video格式,远程设备与服务器之间以超文本传输协议传输视频流文件;
24、远程设备可以对术者进行反馈,包括在增强现实图像上增加信息;信息以用户数据报协议回传至术者增强现实设备上,叠加在镜片下方的关注区域之上。
25、优选地,术者望向患者信息卡,信息卡虚拟图像出现在镜片下部叠加在当前关注区域之上,术者在显示患者信息卡的镜片前方做出手指捏合和打开动作,确认打开患者病例,术者口述病历、医嘱以及与手术相关的特征内容,语音识别形成文字之后,以弹幕形式显示在镜片下半部关注区域之上,连同当前区域一起形成病例文件,病历撰写完成后,术者在显示患者信息卡的镜片前方再次做出手指捏合和打开动作,确认关闭患者病例;术者可以在术中期间,随时打开或关闭病例。
26、优选地,术者语音或者望向手术灯,手术灯虚拟形象出现在镜片下半部分,术者语音、眼动、头部动作或者手势确认调节手术灯功能,手术灯虚拟形象变换为可调参数虚拟形象,包括:投照角度、光亮强度,光照范围;术者语音、眼动、头部动作或者手势确认调节类型后,控制模式虚拟形象出现在镜片下半部分,术者语音、眼动、头部动作或者手势确认自动调节或人工调节;确认后,术者退出对手术灯的控制。
27、与现有技术相比,本发明的有益效果至少包括:
28、(1)术者感兴趣的操作区经放大处理后,投射到虚拟视野的正下方区域,类似于手术眼镜的放大镜区域。由于其前方镜片的可通透性,可保证良好自然视野,实现正常手术操作。其镜片后方空间大,可正常佩戴普通眼镜。适于各种视力人群使用;
29、(2)当助手通过本发明获得主刀的视野后,可以更好更主动地协助完成手术;
30、(3)实现术者视角远程共享,便于远程学习和指导。
31、(4)实时写病历,开医嘱,保留手术视频或截图作为病历文件。
32、(5)提供了构成智能手术室的核心器件、关键节点。为智能手术室构建提供了解决方案。
1.一种基于增强现实的手术全息影像视频系统,包括:增强现实眼镜、辅助增强现实眼镜、服务器、远端设备和手术室设备,其特征在于:
2.根据权利要求1所述的一种基于增强现实的手术全息影像视频系统,其特征在于:
3.根据权利要求1所述的一种基于增强现实的手术全息影像视频系统,其特征在于:
4.根据权利要求1所述的一种基于增强现实的手术全息影像视频系统,其特征在于:
5.一种基于增强现实的手术全息影像视频系统的控制方法,其特征在于,包括以下步骤:
6.根据权利要求5所述的一种基于增强现实的手术全息影像视频系统的控制方法,其特征在于:
7.根据权利要求5所述的一种基于增强现实的手术全息影像视频系统的控制方法,其特征在于:
8.根据权利要求5所述的一种基于增强现实的手术全息影像视频系统的控制方法,其特征在于:
9.根据权利要求5所述的一种基于增强现实的手术全息影像视频系统的控制方法,其特征在于:
10.根据权利要求5所述的一种基于增强现实的手术全息影像视频系统的控制方法,其特征在于: