1.本发明涉及手术机器人技术领域，具体涉及一种手术机器人数据整合显示的装置及方法。
背景技术：2.随着当今机器人技术的快速发展，尤其是手术机器人技术的发展，手术机器人的应用范围和需求也在不断扩大。手术机器人具有稳定和精细的特点，医生利用手术机器人可完成高精度手术动作且减少细菌感染几率，提高手术质量。现有手术机器人设备庞大，显示器较多，不利于医生手术中及时的探查；医护人员处于远距离时的实时交流不便等问题。由于现有技术内窥镜视频直接与3d显示器连接，手术状态接另外单独的显示器，这样分开显示，缺点是屏幕过多，手术室医护人员不能及时获取到全部信息；另外，现有技术利用商用视频采集卡，将内窥镜视频采集发送到工控机与手术状态合成处理后，再传给视频采集卡显示，这样缺点是系统体积较大，延时不可控，对于术中延时会造成医疗事故，故而对于时间的把控非常重要。
技术实现要素：3.本发明的目的是针对现有技术提出了手术机器人数据整合显示的装置及方法。
4.具体的，一种手术机器人数据整合显示的装置，包括：数据采集单元、数据处理单元、显示单元、外存储单元、通信单元；
5.数据采集单元包括视频采集单元、信息采集单元；
6.数据处理单元包括fpga和dsp；fpga包括第一信号转换单元、内存储单元、视频合成单元、备份单元，dsp包括第二信号转换单元、图像转换单元；第一信号转换单元用于转换fpga接收的视频采集单元发送的数据及fpga输出的数据；第二信号转换单元用于转换dsp接收的信息采集单元发送的数据及dsp输出的数据；图像转换单元用于将dsp接收的数据转换为图像数据；视频合成单元用于合成fpga接收的数据；显示单元用于显示接收到的数据处理单元处理后的数据，显示单元包括本地显示器和/或远端显示器；
7.外存储单元用于存储数据处理单元处理后的数据；
8.通信单元用于数据采集单元、数据处理单元、显示单元、外存储单元间的数据通信，通信包括无线通信和有线通信。
9.进一步地，视频采集单元安装在手术端的内窥镜上，用于实时采集操作对象内部的视频；信息采集单元安装在控制端，用于实时采集包括手势指令和/或键入指令。所述内窥镜包括胃镜、肠镜、膀胱镜、支气管镜、胸腔镜、腹腔镜、喉镜、鼻咽镜、阴道镜、宫腔镜等能够直观对人体内部组织器官状态进行观察的装置。
10.进一步地，第一信号转换单元用于将接收到的视频采集单元的信号转换为rgb信号；第二信号转换单元用于解码dsp接收到的信号，编码dsp发出的信号；内存储单元实现数据的暂时存放，实现高速存取；视频合成单元合成接收到的视频采集单元采集的数据以及
dsp发送的数据；本地显示器显示视频合成单元合成后的数据；远端显示器显示接收所述dsp发送的合成视频；外存储单元存储所述dsp发送的合成视频。
11.进一步地，视频采集单元采集的数据与fpga通信；信息采集单元采集的数据与dsp通信；第一信号转换单元将接收到的视频采集单元采集到的数据的信号转为rgb信号；dsp将接收到的指令数据处理成图像数据，并发送给pfga；将dsp发送的图像数据存储在内存储单元内；视频合成单元合成存储在内存储单元的视频数据和dsp发送的图像数据；第一信号转换单元将合成的数据转换为rgb格式的视频数据；备份单元备份视频数据，将视频数据传输给本地显示单元用于显示，并将视频数据传送给dsp；dsp将合成的视频数据传输给外存储单元进行存储，并将合成的视频数据通过通信单元传输至远端显示器进行远端显示。
12.进一步地，还包括语音输出单元，语音输出单元安装在手术端及控制端或安装在手术端以及远程控制端，与dsp通信，用于输出语音；信息采集单元还包括音频采集单元，所述音频采集单元包括第一音频采集单元和第二音频采集单元；通信单元还包括用于数据采集单元、数据处理单元、显示单元、外存储单元及语音输出单元间的数据通信，通信包括无线通信和有线通信。
13.具体的，一种手术机器人数据整合显示的方法，包括：数据采集单元采集数据，并将采集到的数据通过通信单元与数据处理单元进行通信；数据处理单元转换数据采集单元采集的数据并将数据进行合成并备份；数据处理单元转换合成的数据，并通过通信单元与外存储单元和/或显示单元进行通信。
14.进一步地，数据采集单元采集数据，并将采集到的数据通过通信单元与数据处理单元进行通信具体步骤为：视频采集单元采集视频数据并将采集到的视频数据通过通信单元发送至fpga；信息采集单元采集手势指令和/或键入指令并将采集到的数据通过通信单元发送至dsp。
15.进一步地，数据处理单元转换数据采集单元采集的数据并将数据进行合成并备份具体步骤为：数据处理单元接收通过通信单元发送至数据处理单元的视频数据和数据，信号转换单元将视频数据和数据转换为rgb信号数据，并存入内存储单元，实现内存储单元和基于总线的视频处理ip之间的大量数据移动；提取内存储单元中的数据并通过视频合成单元合成视频，将合成的视频进行备份。
16.进一步地，视频采集单元采集视频数据并将采集到的视频数据通过通信单元发送至fpga；信息采集单元采集手势指令和/或键入指令并将采集到的指令发送至dsp；fpga通过第一信号转换单元将接收到的视频数据的信号转为rgb信号；通过video to axi4 ip模块将rgb数据发送到总线；通过vdma(video direct memory access视频寄存器直接访问、存取)ip模块将rgb数据存储到内存储单元；实现系统内存储单元和基于总线的视频处理ip之间的大量数据移动；dsp接收所述信息采集单元采集的指令数据，并将所述dsp接收到的所述指令数据处理成图像数据，并通过gpmc总线发送给pfga；pfga接收所述dsp发送的图像数据存储在内存储单元内；通过vdmaip模块提取内存储单元内存储的数据，并通过视频合成单元将内存储单元内存储的视频数据和数据合成新的视频数据；所述第一信号转换单元将合成的视频转换为rgb格式的视频数据；备份单元备份合成的新的视频数据，发送至本地显示单元用于显示，并将合成的视频数据发送至dsp；dsp将合成的视频数据传输给外存储单元进行存储，并将合成的视频数据通过通信单元传输至远端显示器进行远端显示。
17.进一步地，第一音频采集单元实时采集手术端的音频数据，第二音频采集单元实时采集控制端的音频数据，并将采集到的数据通过通信单元与dsp进行通信；dsp压缩第一音频采集单元采集的音频数据并通过通信单元发送至手术端，手术端语音输出单元输出音频，dsp解压缩第二音频采集单元采集的音频数据并通过通信单元发送至远程控制端，远程控制端语音输出单元输出音频；数据处理单元通过通信单元与外存储单元、显示单元及语音输出单元进行通信。
18.本发明的优点在于：
19.整合内窥镜视频以及手术状态信息并进行显示，减少显示器的数量；采用fpga和dsp集成的芯片，进行内窥镜视频以及手术状态信息的合成，集成度高，体积小，延时小，减少医护人员手术中多屏观察，遗漏重要信息而造成医疗事故的概率，减少术中指令延时而造成的医疗事故；音频传送，解决控制端与执行端医护之间信息交流不便的问题；手术过程中音视频备份，便于后续的事故调查、教学作用等；解决了远程信息的传送问题；解决了音视频传输的问题。
附图说明
20.图1是本发明实施例提供的一种手术机器人数据整合显示的装置；
21.图2是本发明另一实施例提供的一种手术机器人数据整合显示的装置；
22.图3是本发明实施例提供的一种手术机器人数据整合显示的方法；
23.图4是本发明另一实施例提供的一种手术机器人数据整合显示的方法。
具体实施方式
24.下面结合附图对本发明的技术方案进行更详细的说明，本发明包括但不仅限于下述实施例。
25.内窥镜设有视频采集单元，用于采集手术中不易查看的视野，例如患者腹腔内、患者子宫内等视野有阻碍的地方，内窥镜包括胃镜、肠镜、膀胱镜、支气管镜、胸腔镜、腹腔镜、喉镜、鼻咽镜、阴道镜、宫腔镜等。
26.如附图1所示，本发明的一种手术机器人数据整合显示的装置，该装置包括：数据采集单元、数据处理单元、显示单元、外存储单元、通信单元；其中，数据采集单元包括视频采集单元、信息采集单元；
27.数据处理单元包括fpga和dsp；所述fpga包括第一信号转换单元、内存储单元、视频合成单元、备份单元，所述dsp包括第二信号转换单元、图像转换单元；
28.所述第一信号转换单元用于转换fpga接收的所述视频采集单元发送的数据及fpga输出的数据；所述第二信号转换单元用于转换dsp接收的所述信息采集单元发送的数据及dsp输出的数据；所述图像转换单元用于将dsp接收的数据转换为图像数据；所述视频合成单元用于合成fpga接收的数据；所述显示单元用于显示接收到的数据处理单元处理后的数据，所述显示单元包括本地显示器和/或远端显示器；
29.外存储单元用于存储数据处理单元处理后的数据，其中外存储单元和dsp通过例如ide接口进行连接；通信单元用于所述数据采集单元、所述数据处理单元、所述显示单元、所述外存储单元间的数据通信，所述通信包括无线通信和有线通信。
30.其中，视频采集单元安装在手术端的内窥镜上，用于实时采集手术中操作对象内部的视频；信息采集单元安装在控制端，用于实时采集包括手势指令和/或键入指令。其中，手势指令包括机械臂运动状态、机械臂末端位姿等通过手势发出的指令，键入指令包括触屏键入、键盘键入、按钮键入等通过键入发出的指令，具体包括：手术类别、器具种类、机械臂末端位置等信息，其中机械臂末端位姿包括末端深度、角度等指令，便于在合成的视频中直接显示，不需要思考就能精确的确定机械臂手术中位移位置角度以及需要位移的距离和角度，减少仅视频显示导致的判断误差，且减少控制者看视频的观察时间。
31.其中，第一信号转换单元用于将接收到的视频采集单元和dsp发送的信号转换为rgb信号；第二信号转换单元用于解码dsp接收到的信号，编码dsp发出的信号；dsp将接收到的所述指令数据处理成图像数据，并发送给pfga,内存储单元实现数据的暂时存放，实现高速存取；视频合成单元合成存储在内存储单元的视频数据和dsp发送的图像数据；第一信号转换单元将合成的数据转换为rgb格式的视频数据；备份单元备份视频数据，将视频数据传输给本地显示单元用于显示，并将视频数据传送给dsp；dsp将合成的视频数据传输给外存储单元进行存储，并将合成的视频数据通过通信单元传输至远端显示器进行远端显示。其中，本地显示器显示视频合成单元合成后的数据；远端显示器显示接收dsp发送的合成视频；外存储单元存储dsp发送的合成视频。
32.其中，视频采集单元采集的数据与fpga通信，通信包括有线无线，例如通过有线hdmi接口进行通信，将hdmi接口传输过来的视频数据转为rgb信号数据。控制端信息采集单元采集的数据传输给处理端，处理端将数据传输至数据处理单元，与dsp通信，通信包括有线无线，例如通过有线hdmi接口进行通信，dsp接收处理端传输的指令信号。dsp处理指令信号，例如将指令信号处理成图像信息，并发送给pfga。其中指令信号包括机械臂运用状态、机械臂末端位姿等手势指令，其中机械臂末端位姿包括末端深度、角度等指令。其中，fpga通过信号转换单元例如：dvi to rgb decoder ip模块将例如hdmi接口接收到的视频采集单元采集到的数据的信号转为rgb信号。通过video to axi4 ip模块将rgb数据送到总线例如axi4总线上。通过vdma(video direct memory access视频寄存器直接访问、存取)ip模块实现内存储单元和基于总线的视频处理ip之间的大量数据移动，实现总线上数据与ddr存储器内数据的高速存取。通过gpmc总线ip将dsp发送的所述数据处理单元处理后的数据，即处理成图像的信息的数据存储在内存储单元内，其中，内存储单元用于暂时存放运算数据，内存储单元例如ddr存储器。视频合成单元合成存储在内存储单元的视频数据和dsp发送的图像数据；信号转换单元例如axi4 to video ip模块将合成的数据转换为rgb格式的视频数据；备份单元备份视频数据。fpga将合成的视频数据传输给本地显示单元用于本地显示，并将视频数据传送给dsp；dsp将合成的视频数据传输给外存储单元进行存储，并将合成的视频数据通过通信单元传输至远端显示器进行远端显示，便于远端医护人员的实时查看，快速获取数据信息，及时作出判断。
33.其中，手术机器人包括手术端、处理端、控制端。如附图2所示，本发明的另一种手术机器人数据整合显示的装置，该装置包括：数据采集单元、数据处理单元、显示单元、外存储单元、通信单元、语音输出单元。其中，语音输出单元安装在手术端及控制端或安装在手术端以及远程控制端，与数据处理单元通信，用于输出语音；所述信息采集单元还包括音频采集单元；所述通信单元用于数据采集单元、数据处理单元、显示单元、外存储单元及语音
输出单元间的数据通信，所述通信包括无线通信和有线通信。数据采集单元包括视频采集单元、信息采集单元、音频采集单元；数据处理单元包括信号转换单元、内存储单元、视频合成单元、备份单元；其中信号转换单元用于转换数据采集单元采集的数据及数据处理单元输出的数据，视频合成单元用于合成所述数据采集单元采集的数据；显示单元用于显示数据处理单元处理后的数据，包括本地显示器和/或远端显示器；；外存储单元用于存储数据处理单元处理后的数据，其中外存储单元和dsp通过例如ide接口进行连接；通信单元用于数据采集单元、数据处理单元、显示单元、外存储单元及音频输出单元间的数据通信，所述通信包括无线通信和有线通信。
34.其中，视频采集单元安装在手术端的内窥镜上，用于采集手术中操作对象内部的视频；信息采集单元安装在控制端，用于采集包括手势指令和/或键入指令；音频采集单元用于采集音频数据。其中，手势指令包括机械臂运动状态、机械臂末端位姿等通过手势发出的指令，键入指令包括触屏键入、键盘键入、按钮键入等通过键入发出的指令，具体包括：手术类别、器具种类、机械臂末端位置等信息，其中机械臂末端位姿包括末端深度、角度等指令，便于在合成的视频中直接显示，不需要思考就能精确的确定机械臂手术中位移位置角度以及需要位移的距离和角度，减少仅视频显示导致的判断误差，且减少控制者看视频的观察时间。
35.其中，信号转换单元用于将接收到的视频采集单元和信息采集单元采集的信号转换为rgb信号；内存储单元实现数据的暂时存放，实现高速存取；所述视频合成单元包括合成接收到的所述视频采集单元采集的数据以及所述信息采集单元采集的数据；显示单元显示视频合成单元合成后的数据；语音输出单元输出音频数据，外存储单元存储视频合成单元合成后的数据及音频数据。
36.其中，数据处理单元包括fpga和dsp。视频采集单元采集的数据与fpga通信，通信包括有线无线，例如通过有线hdmi接口进行通信，将hdmi接口传输过来的视频数据转为rgb信号数据。
37.控制端信息采集单元采集的数据传输给处理端，处理端将数据传输至数据处理单元，与dsp通信，通信包括有线无线，例如通过有线hdmi接口进行通信、通过以太网或者5g网络通信，dsp接收处理端传输的指令信号和语音信号。dsp处理指令信号，例如将指令信号处理成图像信息，并发送给pfga，同时dsp编解码音频数据，通过语音输出单元输出音频数据同时外存储单元存储音频数据。其中指令信号包括手势指令信号以及键入指令信号，其中指令信号包括：机械臂运用状态、机械臂末端位姿等手势指令，其中机械臂末端位姿包括末端深度、角度等指令。其中键入指令包括触屏键入、键盘键入、按钮键入等通过键入发出的指令，具体包括：手术类别、器具种类、机械臂末端位置等信息，其中机械臂末端位姿包括末端深度、角度等指令。
38.其中，fpga通过信号转换单元例如：dvi to rgb decoder ip模块将例如hdmi接口接收到的视频采集单元采集到的数据的信号转为rgb信号。通过video to axi4 ip模块将rgb数据送到总线例如axi4总线上。通过vdma(video direct memory access视频寄存器直接访问、存取)ip模块实现内存储单元和基于总线的视频处理ip之间的大量数据移动，实现总线上数据与ddr存储器内数据的高速存取。通过gpmc总线ip将dsp发送的所述数据处理单元处理后的数据，即处理成图像的信息的数据存储在内存储单元内，其中，内存储单元用于
暂时存放运算数据，内存储单元例如ddr存储器。视频合成单元合成存储在内存储单元的视频数据和dsp发送的图像数据；信号转换单元例如axi4 to video ip模块将合成的数据转换为rgb格式的视频数据；备份单元备份视频数据；fpga将合成的视频数据传输给本地显示单元用于本地显示，并将视频数据传送给dsp；dsp将合成的视频数据和语音数据传输给外存储单元进行存储，并将合成的视频数据和语音数据进行编码，通过通信单元传输至远端显示器进行远端显示，便于远端医护人员的实时查看实时交流，快速获取数据信息，及时作出判断，并及时对手术进行指导，减少手术中出现医疗事故的几率及频次。
39.其中，手术机器人包括手术端、处理端、控制端以及远程控制端。其中，本地显示器例如设置在控制端，远端显示器设置在例如远程控制端上，便于本地显示器合成数据及远端显示器合成数据的及时和同时显示。
40.如附图3所示，本发明的一种手术机器人数据整合显示的方法，该方法包括如下步骤：
41.s110:数据采集单元采集数据，并将采集到的数据通过通信单元与数据处理单元进行通信。具体步骤为：视频采集单元采集视频数据并将采集到的视频数据通过通信单元发送至数据处理单元；信息采集单元采集手势指令和/或键入指令并将采集到的数据通过通信单元发送至数据处理单元。
42.s120:数据处理单元转换数据采集单元采集的数据并将数据进行合成并备份。具体步骤为：数据处理单元接收通过通信单元发送至数据处理单元的视频数据和数据，信号转换单元将视频数据和数据转换为rgb信号数据，并存入内存储单元，实现内存储单元和基于总线的视频处理ip之间的大量数据移动；提取内存储单元中的数据并通过视频合成单元合成视频，将合成的视频进行备份。
43.其中数据处理单元包括fpga和dsp，具体步骤包括：
44.视频采集单元采集视频数据并将采集到的视频数据通过通信单元发送至fpga；信息采集单元采集手势指令和/或键入指令并将采集到的指令发送至处理端，所述处理端将数据传输至数据处理单元，与dsp通信。fpga通过信号转换单元例如dvi to rgb decoder ip模块将例如hdmi接口接收到的视频数据的信号转为rgb信号；通过video to axi4 ip模块将rgb数据发送到总线例如axi4总线；通过vdma(video direct memory access视频寄存器直接访问、存取)ip模块将rgb数据存储到内存储单元；实现系统内存储单元和基于总线的视频处理ip之间的大量数据移动；存取总线例如axi4总线上数据与ddr存储器之间的高速存取。dsp接收指令数据，并将所述dsp接收到的所述指令数据例如手势指令和/或键入指令处理成图像数据，并通过总线例如gpmc总线发送至pfga。
45.其中，手势指令包括机械臂运动状态、机械臂末端位姿等通过手势发出的指令，键入指令包括触屏键入、键盘键入、按钮键入等通过键入发出的指令，具体包括：手术类别、器具种类、机械臂末端位置等信息，其中机械臂末端位姿包括末端深度、角度等指令，便于在合成的视频中直接显示，不需要思考就能精确的确定机械臂手术中位移位置角度以及需要位移的距离和角度，减少仅视频显示导致的判断误差，且减少控制者看视频的观察时间。
46.pfga接收dsp发送的图像数据存储在内存储单元例如ddr存储器；通过vdmaip模块提取内存储单元内存储的的视频数据和数据，并通过视频合成单元合成新的视频数据；信号转换单元例如axi4 to video ip将合成的视频转换为rgb格式的视频数据；备份单元备
份合成的新的视频数据，pfga将合成的视频数据发送至本地显示单元用于显示，并将备份合成的新的视频数据发送至dsp。
47.s130:数据处理单元转换合成的数据，并通过通信单元与外存储单元和/或显示单元进行通信。具体包括：dsp接收备份单元发送的合成的新的视频数据，将合成的视频数据传输至外存储单元进行存储，并将合成的视频数据通过通信单元传输至远端显示器进行远端显示。
48.如附图4所示，本发明的另一种手术机器人数据整合显示的方法，该方法包括如下步骤：
49.s210:数据采集单元采集数据，并将采集到的数据通过通信单元与数据处理单元进行通信。
50.具体步骤为：视频采集单元采集视频数据并将采集到的视频数据通过通信单元发送至数据处理单元；信息采集单元采集手势指令和/或键入指令并将采集到的数据通过通信单元发送至数据处理单元，信息采集单元还包括音频采集单元，音频采集单元采集手术端及控制端或者手术端和远程控制端，音频采集单元采集手术端医护人员语音和/或控制端医护人员语音，或者音频采集单元采集手术端医护人员语音和/或远端控制端医护人员语音，便于医护人员之间互相通信，确保信息的实时共享，减少手术故障。其中，语音输出单元安装在手术端及控制端或安装在手术端以及远程控制端，与数据处理单元通信，用于输出语音；所述信息采集单元还包括音频采集单元；所述通信单元用于数据采集单元、数据处理单元、显示单元、外存储单元及语音输出单元间的数据通信，所述通信包括无线通信和有线通信。
51.s220:数据处理单元转换数据采集单元采集的数据并将数据进行合成、备份及编码。
52.具体步骤为：数据处理单元接收通过通信单元发送至数据处理单元的视频数据、音频数据和数据，信号转换单元将视频数据和数据转换为rgb信号数据，并存入内存储单元，实现内存储单元和基于总线的视频处理ip之间的大量数据移动；提取内存储单元中的数据并通过视频合成单元合成视频，将合成的视频进行备份，对备份的合成的视频及语音进行编码。其中数据处理单元包括fpga和dsp，具体步骤包括：
53.视频采集单元采集视频数据并将采集到的视频数据通过通信单元发送至fpga；信息采集单元采集手势指令和/或键入指令并将采集到的指令发送至处理端，所述处理端将数据传输至数据处理单元，与dsp通信。fpga通过信号转换单元例如dvi to rgb decoder ip模块将例如hdmi接口接收到的视频数据的信号转为rgb信号；通过video to axi4 ip模块将rgb数据发送到总线例如axi4总线；通过vdma(video direct memory access视频寄存器直接访问、存取)ip模块将rgb数据存储到内存储单元；实现系统内存储单元和基于总线的视频处理ip之间的大量数据移动；存取总线例如axi4总线上数据与ddr存储器之间的高速存取。dsp接收指令数据，并将所述dsp接收到的所述指令数据例如手势指令和/或键入指令处理成图像数据，解码接收到的音频数据并发送至外存储单元进行存储。dsp将图像数据通过总线例如gpmc总线发送给pfga。
54.其中，手势指令包括机械臂运动状态、机械臂末端位姿等通过手势发出的指令，键入指令包括触屏键入、键盘键入、按钮键入等通过键入发出的指令，具体包括：手术类别、器
具种类、机械臂末端位置等信息，其中机械臂末端位姿包括末端深度、角度等指令，便于在合成的视频中直接显示，不需要思考就能精确的确定机械臂手术中位移位置角度以及需要位移的距离和角度，减少仅视频显示导致的判断误差，且减少控制者看视频的观察时间。
55.pfga接收dsp发送的图像数据存储在内存储单元例如ddr存储器；pfga通过vdmaip模块提取内存储单元内存储的视频数据和数据，并通过视频合成单元合成新的视频数据；信号转换单元例如axi4 to video ip将合成的视频转换为rgb格式的视频数据,备份单元备份合成的新的视频数据，pfga将合成的视频数据发送至本地显示单元用于显示，并将备份合成的新的视频数据发送至dsp。dsp将合成的视频数据和语音数据传输给外存储单元进行存储，并将合成的视频数据和语音数据进行编码，通过通信单元传输至远端显示器进行远端显示，便于远端医护人员的实时查看实时交流，快速获取数据信息，及时作出判断，并及时对手术进行指导，减少手术中出现医疗事故的几率及频次。
56.其中，音频采集单元包括第一音频采集单元和第二音频采集单元，第一音频采集单元实时采集手术端的音频数据，第二音频采集单元实时采集控制端的音频数据，并将采集到的数据通过通信单元与dsp进行通信；dsp压缩第一音频采集单元采集的音频数据并通过通信单元发送至手术端，手术端语音输出单元输出音频，dsp解压缩第二音频采集单元采集的音频数据并通过通信单元发送至远程控制端，远程控制端语音输出单元输出音频。数据处理单元通过通信单元与外存储单元、显示单元及语音输出单元进行通信。
57.s230:数据处理单元转换合成的数据，并通过通信单元与外存储单元、显示单元及语音输出单元进行通信。具体包括：
58.dsp合并音频数据及合成的视频数据，并发送至外存储单元，外存储单元进行数据存储，pfga将合成的视频发送至显示单元，显示单元显示合成的视频。pfga将合成的视频数据发送至本地显示单元用于显示，并将备份合成的新的视频数据发送至dsp。dsp将合成的视频数据传输给外存储单元进行存储，并将合成的视频数据和语音数据进行编码，通过通信单元传输至远程控制端，在远程控制端的远端显示器进行远端显示并在远程控制端的语音输出单元进行语音输出。语音采集单元采集远程控制端的语音数据，通过通信单元传输至控制端，控制端的dsp进行解码，将语音数据进行存储，并进行语音输出。便于远端医护人员的实时查看实时交流，快速获取数据信息，及时作出判断，并及时对手术进行指导，减少手术中出现医疗事故的几率及频次。其中，手术机器人包括手术端、处理端、控制端以及远程控制端。其中，本地显示器例如设置在控制端，远端显示器设置在例如远程控制端上，便于本地显示器合成数据及远端显示器合成数据的及时和同时显示。
59.本发明不仅局限于上述具体实施方式，本领域一般技术人员根据实施例和附图内容，可以采用其它多种具体实施方式实施本发明，因此，凡是采用本发明的设计结构和思路，做一些简单的变换或更改的设计，都落入本发明保护的范围。
技术特征：1.一种手术机器人数据整合显示的装置，其特征在于，包括：数据采集单元、数据处理单元、显示单元、外存储单元、通信单元；所述数据采集单元包括视频采集单元、信息采集单元；所述数据处理单元包括fpga和dsp；所述fpga包括第一信号转换单元、内存储单元、视频合成单元、备份单元，所述dsp包括第二信号转换单元、图像转换单元；所述第一信号转换单元用于转换fpga接收的所述视频采集单元发送的数据及fpga输出的数据；所述第二信号转换单元用于转换dsp接收的所述信息采集单元发送的数据及dsp输出的数据；所述图像转换单元用于将dsp接收的数据转换为图像数据；所述视频合成单元用于合成fpga接收的数据；所述显示单元用于显示接收到的数据处理单元处理后的数据，所述显示单元包括本地显示器和/或远端显示器；所述外存储单元用于存储数据处理单元处理后的数据；所述通信单元用于所述数据采集单元、所述数据处理单元、所述显示单元、所述外存储单元间的数据通信，所述通信包括无线通信和有线通信。2.根据权利要求1所述的一种手术机器人数据整合显示的装置，其特征在于，所述视频采集单元安装在手术端的内窥镜上，用于实时采集操作对象内部的视频；所述信息采集单元安装在控制端，用于实时采集包括手势指令和/或键入指令。3.根据权利要求1所述的一种手术机器人数据整合显示的装置，其特征在于，所述第一信号转换单元用于将接收到的所述视频采集单元的信号转换为rgb信号；所述第二信号转换单元用于解码dsp接收到的信号，编码dsp发出的信号；所述内存储单元实现数据的暂时存放，实现高速存取；所述视频合成单元合成接收到的所述视频采集单元采集的数据以及dsp发送的数据；所述本地显示器显示视频合成单元合成后的数据；所述远端显示器显示接收所述dsp发送的合成视频；所述外存储单元存储所述dsp发送的合成视频。4.根据权利要求1所述的一种手术机器人数据整合显示的装置，其特征在于，所述视频采集单元采集的数据与fpga通信；所述信息采集单元采集的数据与dsp通信；所述第一信号转换单元将接收到的所述视频采集单元采集到的数据的信号转为rgb信号；所述dsp将接收到的所述数据处理成图像数据，并发送给pfga；将所述dsp发送的图像数据存储在内存储单元内；所述视频合成单元合成存储在内存储单元的视频数据和dsp发送的图像数据；所述第一信号转换单元将合成的数据转换为rgb格式的视频数据；所述备份单元备份视频数据，将所述视频数据传输给本地显示单元用于显示，并将视频数据传送给dsp；dsp将合成的视频数据传输给外存储单元进行存储，并将合成的视频数据通过通信单元传输至远端显示器进行远端显示。5.根据权利要求1-4任意一项所述的一种手术机器人数据整合显示的装置，其特征在于，还包括语音输出单元，所述语音输出单元安装在手术端及控制端或安装在手术端以及远程控制端，与dsp通信，用于输出语音；所述信息采集单元还包括音频采集单元，所述音频采集单元包括第一音频采集单元和第二音频采集单元；所述通信单元还包括用于数据采集单元、数据处理单元、显示单元、外存储单元及语音输出单元间的数据通信，所述通信包括无线通信和有线通信。6.应用如权利要求1-5任意一项所述装置中的一种手术机器人数据整合显示的方法，其特征在于，包括：
数据采集单元采集数据，并将采集到的数据通过通信单元与数据处理单元进行通信；数据处理单元转换数据采集单元采集的数据并将数据进行合成并备份；数据处理单元转换合成的数据，并通过通信单元与外存储单元和/或显示单元进行通信。7.根据权利要求6所述的一种手术机器人数据整合显示的方法，其特征在于，所述数据采集单元采集数据，并将采集到的数据通过通信单元与数据处理单元进行通信具体步骤为：视频采集单元采集视频数据并将采集到的视频数据通过通信单元发送至fpga；信息采集单元采集手势指令和/或键入指令并将采集到的数据通过通信单元发送至dsp。8.根据权利要求6所述的一种手术机器人数据整合显示的方法，其特征在于，所述数据处理单元转换数据采集单元采集的数据并将数据进行合成并备份具体步骤为：数据处理单元接收通过通信单元发送至数据处理单元的视频数据和数据，信号转换单元将视频数据和数据转换为rgb信号数据，并存入内存储单元，实现内存储单元和基于总线的视频处理ip之间的大量数据移动；提取内存储单元中的数据并通过视频合成单元合成视频，将合成的视频进行备份。9.根据权利要求8所述的一种手术机器人数据整合显示的方法，其特征在于，还包括fpga通过第一信号转换单元将接收到的视频数据的信号转为rgb信号；通过video to axi4 ip模块将rgb数据发送到总线；通过vdma(video direct memory access视频寄存器直接访问、存取)ip模块将rgb数据存储到内存储单元；实现系统内存储单元和基于总线的视频处理ip之间的大量数据移动；所述dsp接收所述信息采集单元采集的数据，并将所述dsp接收到的所述数据处理成图像数据，并通过gpmc总线发送给所述pfga；所述pfga接收所述dsp发送的图像数据存储在内存储单元内；通过vdmaip模块提取内存储单元内存储的数据，并通过视频合成单元将内存储单元内存储的视频数据和数据合成新的视频数据。10.根据权利要求8所述的一种手术机器人数据整合显示的方法，其特征在于，还包括所述第一信号转换单元将合成的视频转换为rgb格式的视频数据；备份单元备份合成的新的视频数据，发送至本地显示单元用于显示，并将合成的视频数据发送至dsp；所述dsp将合成的视频数据传输给外存储单元进行存储，并将合成的视频数据通过通信单元传输至远端显示器进行远端显示。11.根据权利要求6所述的一种手术机器人数据整合显示的方法，其特征在于，还包括如下步骤：第一音频采集单元实时采集手术端的音频数据，第二音频采集单元实时采集控制端的音频数据，并将采集到的数据通过通信单元与dsp进行通信；dsp压缩第一音频采集单元采集的音频数据并通过通信单元发送至手术端，手术端语音输出单元输出音频，dsp解压缩第二音频采集单元采集的音频数据并通过通信单元发送至远程控制端，远程控制端语音输出单元输出音频；数据处理单元通过通信单元与外存储单元、显示单元及语音输出单元进行通信。
技术总结本发明涉及一种手术机器人数据整合显示的装置及方法，包括：数据采集单元、数据处理单元、显示单元、外存储单元、通信单元；数据采集单元包括视频采集单元、信息采集单元；数据处理单元包括信号转换单元、内存储单元、视频合成单元、备份单元；信号转换单元用于转换数据采集单元采集的数据及数据处理单元输出的数据；视频合成单元用于合成所述数据采集单元采集的数据；显示单元用于显示数据处理单元处理后的数据；外存储单元用于存储数据处理单元处理后的数据；通信单元用于数据采集单元、数据处理单元、显示单元、外存储单元间的数据通信，通信包括无线通信和有线通信。通信包括无线通信和有线通信。通信包括无线通信和有线通信。
技术研发人员：吕文尔 朱常春 王少白
受保护的技术使用者：上海卓昕医疗科技有限公司
技术研发日：2022.06.22
技术公布日：2022/11/1
