1.本技术涉及骨科临床教学方法，尤其涉及一种基于混合现实的多人互动骨科临床教学方法。
背景技术：2.骨科是一门专业性和实践性极强的学科，其不仅包含了较多的抽象概念和繁多的理论知识，同时，还涉及复杂的骨骼、肌肉及血管解剖技能研究。骨科专科医生，不仅需具备有对骨科常见骨科疾病诊断、治疗、预防的经验，同时需要掌握骨科手术操作技能。骨科疾病部位复杂、分科精细，如何建立有效的骨科教学方法是一个值得研究的课题，骨科临床教学是骨科教学的重要部分，是培养和提高骨科医学生动手能力、获取临床技能的必备手段。
3.传统的骨科临床教学，尤其是在临床实践教学环节，多采用的是1:1 学徒制模式，包括教师和学生直接在手术室现场教学、在专家的监督下获得临床技能等，但这种模式至少具备如下问题：
4.1.受时间和地点的限制，教师和学生需同时在手术室现场教学。
5.2.成本较高，必须提供真实的教学场景与教学道具。
6.3.效率不高，受限于教学场景和教学效果保证，一次性参与培训的学生有限。
7.4.人体解剖面临伦理道德问题。
8.鉴于以上问题，传统的骨科临床教学方法受到了很大的限制。
技术实现要素：9.本技术构思之一是为解决传统的骨科临床教学方法受时间和位置限制的问题，本技术利用网络技术将教师临床教学的内容实时传输至学生配戴的三维显示设备上，便于学生观看。
10.本技术构思之二是为解决传统的骨科临床教学中教师必须进入真实的教学场景(如手术室)使用真实的教学道具进行临床教学的限制；同时，因采用的教学场景及教学道具是真实的，导致教学的成本偏高；所述教学道具包含手术台、骨科手术器械、辅助耗材、骨科解剖模型。
11.本技术提供了虚拟的骨科临床教学场景及教学道具，用于教师模拟临床教学，教师通过虚拟的教学道具(如虚拟骨科解剖模型)，在虚拟的教学场景进行模拟的临床教学。虚拟骨科解剖模型根据教学的目标，通过计算机设备进行构建，同时构建一个或多个虚拟虚拟骨科解剖模型。
12.本技术通过交互设备(如数据手套)跟踪并识别教师的手部动作，进而通过手部动作来控制虚拟教学道具进行模拟教学的效果。
13.进一步地，在构思一和二的基础上，本技术构思三在于保证虚拟教学的效率和效果。本技术利用混合现实的技术，将教师与虚拟的场景进行融合后，展现至学生的三维显示设备上，学生通过佩戴所述的三维显示设备进行观看实时的教学影像，达到在现实场景参
与教学的效果。学生每人配戴三维显示设备，即可实现1对多骨科临床教学模式。
14.结合以上构思，第一方面，本技术提供了一种基于混合现实的多人互动骨科临床教学方法，所述教学方法包括如下步骤：
15.用户登录用户端，用户端记录用户信息；
16.教师用户在用户端选择骨科临床教学模式；
17.用户端根据骨科临床教学模式导入相应的虚拟教学场景；
18.3d摄像设备4获取教师用户的图像信息，并上传至计算机设备；
19.计算机设备将所述图像信息显示于虚拟教学场景以形成合并图像，并将合并图像显示于用户所佩戴的三维显示设备上；
20.用户通过佩戴的交互设备，识别和捕捉手部运动轨迹信息，手部运动轨迹信息生成控制指令,控制指令控制虚拟教学场景中虚拟道具的操作；
21.用户通过虚拟道具的操作模拟在虚拟教学场景下的骨科临床教学内容，教学内容以实时的三维影像形式显示在佩戴的三维显示上供用户观看学习；
22.教学内容结束，用户端生成并保存骨科临床教学内容的视频。
23.具体的实施例中，用户通过软件端登录帐号，记录个人信息，所述用户包括教师用户和学生用户。
24.具体的实施例中，所述骨科临床教学模式包括：教室授课、临床模拟、视频课件，所述骨科临床教学模式由教师用户进行选择操作。
25.具体的实施例中，所述教学场景包括虚拟骨科手术室、虚拟教室；
26.进一步的实施例中，所述虚拟教学场景具备虚拟教学道具必备元素，所述虚拟教学道具包含第一虚拟教学道具、第二虚拟教学道具；
27.其中，所述第一虚拟教学道具应用于所述虚拟骨科手术室教学场景，为构建虚拟骨科手术室教学场景的必备元素；
28.所述第二虚拟教学道具应用于所述虚拟教室教学场景，为构建所述虚拟教室教学场景的必备元素。
29.进一步的实施例中，所述第一虚拟教学道具包含虚拟手术床、虚拟骨科解剖模型、虚拟骨科手术器械及设备耗材。
30.进一步的实施例中，所述虚拟骨科解剖模型包括：虚拟颅骨、虚拟躯干骨、虚拟四肢骨、虚拟人体关节中的至少一种。
31.其中，所述虚拟躯干骨包括虚拟椎骨、虚拟肋骨、虚拟胸骨；所述虚拟四肢骨包括虚拟上肢骨、虚拟下肢骨中的至少一种。
32.进一步的实施例中，所述虚拟骨科手术器械包含：虚拟手术钳类、虚拟手术刀类、虚拟手术剪类、虚拟穿刺骨针中。
33.进一步的实施例中，所述虚拟设备耗材包含：虚拟植入螺钉、虚拟植入骨板、虚拟植入关节、虚拟电动骨钻。
34.进一步的实施例中，所述第二虚拟教学道具包含：虚拟教室、虚拟讲台、虚拟课桌、虚拟白、黑板。
35.进一步的实施例中，在骨科临床教学过程中，教师用户根据骨科临床教学目标，选择具备对应的所述虚拟教学道具的教学场景进行模拟的骨科临床教学。
36.进一步的实施例中，在骨科临床教学过程中，教师用户通过用户端软件对所述的虚拟教学场景进行编辑，所述编辑包括虚拟教学道具的添加、删除、替换。
37.进一步的实施例中，新的虚拟教学道具通过数据编程的方法进行构建，并导入用户端，用于虚拟教学场景的编辑。
38.进一步的实施例中，当骨科临床教学场景为虚拟骨科手术室时，导入其的虚拟教学道具为第一虚拟教学道具，当骨科临床教学场景为虚拟教室时，导入其的虚拟教学道具为第二虚拟教学道具。
39.进一步的实施例中，教师用户和学生用户通过配戴的交互设备3(如数据手套)识别并获取手部动作轨迹数据信息，所述手部动作轨迹数据信息生成控制指令，所述控制指令与所述虚拟教学道具建立一一映射关系，并且控制所述虚拟教学道具的操作，进而实现在骨科临床教学时，用于展现出实际临床教学效果的模拟操作。
40.进一步的实施例中，所述教学影像包括含的视频信息有：
41.显示所述的教师用户图像信息、虚拟教学场景信息及执行的虚拟骨科临床教学操作。
42.进一步的实施例中，所述骨科临床教学影像通过采用视频课件的教学模式，进行播放。
43.进一步的实施例中，在所述的骨科临床教学过程中，教师用户和学生用户之间根据需要进行互动操作，所述的互动操作包含：
44.教师用户端导入提问或题库、答复学生用户端的提问；
45.学生用户端的提问、答复教师用户端的提问。
46.进一步的实施例中，所述三维显示设备包括声音模块，用于播放教学过程中产生的音频信息。
47.第二方面，本技术提供了实现第一方面所述教学方法的装置，所述装置包括用户端、计算机设备、交互设备、3d摄像设备、三维显示设备。
48.与现有技术相比，本技术至少具有以下有益效果：
49.本技术涉及一种基于混合现实的多人互动骨科临床教学方法，所述教学方法将混合现实技术应用到骨科临床教学中，通过教师、学生及混合现实环境之间的互动，实现教师和学生之间、学生和学生之间的多人互动教学。
50.通过所述教学方法，教师在虚拟的骨科临床教学场景中进行模拟教室教学、模拟骨科临床操作教学，学生能更加直观、立体地观看授课内容和模拟临床操作内容，沉浸感更足，进一步地提高了学生的参与度，不容易分心，达到提高培训成效的目的，同时，教师的授课地点不受限制，极大地提高线上教育的便利性。
51.所述教学方法解决了传统的骨科临床教学模式中受时间和地点的限制、成本、效率低以及人体解剖面临伦理道德问题。
附图说明
52.以下将结合附图和优选实施例来对本技术进行进一步详细描述，但是本领域技术人员将领会的是，这些附图仅是出于解释优选实施例的目的而绘制的，并且因此不应当作为对本技术范围的限制。此外，除非特别指出，附图仅示意在概念性地表示所描述对象的组
成或构造并可能包含夸张性显示，并且附图也并非一定按比例绘制。
53.图1为本技术实施例提供的混合现实装置示意图。
54.图2为本技术实施例提供的骨科临床教学方法流程图。
具体实施方式
55.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
56.实施例1：手部交互过程
57.手部交互，即通过手部动作来控制虚拟道具的操作，是实现本技术所述教学方法的重要环节，本实施例将详述这一过程。
58.本技术实施例所用的手部交互设备3为数据手套，所述数据手套根据人体手部结构在虚拟教学场景下构建虚拟手部模型，并与佩戴数据手套用户的手部结构重合显示于虚拟教学场景中。
59.数据信息获取：所述数据手套嵌入了16个光学传感器，所述光学传感器用于测量用于虚拟手部模型的定位和受形数据信息，所述的数据信息包括手指的屈伸角度、平移量和手指间的夹角信息等。
60.数据连接与读取：所述数据手套通过数据线与计算机设备2相连接，计算机读取数据手套传输的数据信息，并生成控制指令，所述控制指令用于控制虚拟教学场景中的虚拟教学道具。
61.数据手套的校准：由于不同用户手的大小结构区别，为保证数据手套的最大灵敏度、输入数据信息的准确度，数据手套具有校准的功能，校准通过连接的用户端1相关软件进行校准，校准的方式有自动校准和手动校准。
62.虚拟手部模型的控制：计算机设备2通过程序采集手部信息，建立虚拟手部模型，并将其投放到虚拟教学场景下；
63.虚拟手部模型与用户的手部结构重合；
64.用户手部的运动轨迹生成数据信息，计算机设备2将采集到的数据信息赋值给虚拟手部模型，实现虚拟手部模型在3d显示设备上显示相应的连续平滑的手部动作，数据信息由数据手套上的传感器传输至计算机设备2；
65.数据手套对虚拟教学道具的操作分为选取、操作、释放，当数据手套碰及虚拟教学道具时达到选取的目的；通过调节用户手部的动作，实现虚拟教学道具的操作；通过虚拟手部模型触及3d显示设备上的“释放”功能按钮时，虚拟手部模型与虚拟教学道具脱离，此时可进行下一教学道具的选取或结束模拟教学操作。
66.实施例2临床模拟教学模式
67.通过图1所示装置实现本技术实施例的教学方法，图2为基于混合现实的多人互动骨科临床教学方法实施流程图，如图2所示，所述骨科临床教学方法包括如下步骤：
68.s1:用户登录用户端1，用户端1记录用户信息。
69.用户在登录用户端1前需注册帐号，所述用户端1包括教师用户端1、学生用户端1，所述用户在各自用户端1进行注册及操作。
70.s2:教师用户在用户端1选择骨科临床教学模式。
71.所述骨科临床教学模式有三种，包括：教室授课、临床模拟及视频课件。教学模式的选择由教师用户在教师用户端1进行操作，本实施例以临床模拟的教学模式进行详述。
72.s3:用户端1根据骨科临床教学模式导入相应的虚拟教学场景。
73.根据s2步骤选择的临床模拟教学模式，自动生成教学场景，所述教学场景(3d)具备构建虚拟骨科手术室教学场景的第一虚拟教学道具；
74.其中，所述第一虚拟教学道具包含虚拟手术床、虚拟骨科解剖模型、虚拟骨科手术器械及设备耗材；
75.所述虚拟骨科解剖模型包括：虚拟颅骨、虚拟躯干骨、虚拟四肢骨、虚拟人体关节中的至少一种；
76.所述虚拟躯干骨包括虚拟椎骨、虚拟肋骨、虚拟胸骨；所述虚拟四肢骨包括虚拟上肢骨、虚拟下肢骨中的至少一种；
77.所述虚拟骨科手术器械包含：虚拟手术钳类、虚拟手术刀类、虚拟手术剪类、虚拟穿刺骨针中；
78.所述虚拟设备耗材包含：虚拟植入螺钉、虚拟植入骨板、虚拟植入关节、虚拟电动骨钻。
79.所述教学场景预先在教师用户端1进行设置，教师用通过户端进行教学场景的编辑，所述教学场景的编辑包括：
80.调整教学场景颜色、大小、位置显示；
81.虚拟教学道具的添加、删除及替换。
82.根据需要，用户通过将数据编程构建新的第一虚拟教学道具导入计算机设备2，并匹配所述的虚拟骨科手术室教学场景，用于所述虚拟骨科手术室教学场景的编辑。
83.s4：3d摄像设备4获取教师用户的图像信息，并上传至计算机设备2。
84.s5:计算机设备2将所述图像信息显示于虚拟教学场景以形成合并图像，并将合并图像显示于用户所佩戴的三维显示设备5上首先将教师用户的人体影像显示至虚拟的骨科手术室教学场景。
85.s6:用户通过虚拟道具的操作模拟在虚拟教学场景下的骨科临床教学内容，教学内容以实时的三维影像形式显示在佩戴的三维显示上供用户观看学习。
86.如实施例1中所述的手部交互过程，教师用户通过配戴的交互设备3 (如数据手套)识别并获取教师的手部动作轨迹数据信息，所述手部动作轨迹数据信息生成控制指令，所述控制指令与所述第一虚拟教学道具建成一一映射的关系，并控制所述第一虚拟教学道具的操作，进而实现在骨科临床教学时，用于展现出实际临床操作效果的模拟操作。
87.学生用户通过配戴所述的交互设备3进行骨科临床教学过程中临床操作的模拟操作。
88.在所述的骨科临床教学过程中，教师用户和学生用户之间根据需要进行互动操作，所述的互动操作包含：
89.教师用户端1导入提问(或题库)、答复学生用户端1的提问；
90.学生用户端1的提问、答复教师用户端1的提问。
91.s7：教学内容结束，用户端1生成并保存骨科临床教学内容的视频。
92.骨科临床教学任务完成后，生成骨科临床教学影像，所述教学影像包括含的视频信息有：
93.显示所述的教师人体影像、虚拟的骨科手术室教学场景及执行的虚拟骨科临床教学操作。
94.教师用户将所述教学影像生成后保存至用户端1，通过教师用户端1选择视频课件的教学模式，学生通过佩戴三维显示设备5即可观看所述教学影像。
95.实施例3教师授课教学模式
96.对比实施例1，实施例2的区别在于骨科临床教学过程中所选择教学模式不同，导致生成的教学场景不同，达到不同的教学目的。本实施例所选取的教室授课的教学模式，匹配的是虚拟教室的教学场景，通过此教学模式主要是进行骨科临床教学中理论知识的教学，如图2所示，具体方法步骤如下：
97.s1:用户登录用户端1，用户端1记录用户信息。
98.用户在登录用户端1前需注册帐号，所述用户端1包括教师用户端1、学生用户端1，所述用户在各自用户端1进行注册及操作。
99.s2:教师用户在用户端1选择骨科临床教学模式。
100.教师用户在教师用户端1选择教室授课模式。
101.s3:用户端1根据骨科临床教学模式导入相应的虚拟教学场景。
102.根据s2步骤选择的教室授课教学模式，自动生成教学场景，所述教学场景(3d)具备构建虚拟教室教学场景的第二虚拟教学道具；
103.其中，所述第二虚拟教学道具包含虚拟教室、虚拟讲台、虚拟课桌、虚拟白(黑)板。
104.所述教学场景预先在教师用户端1进行设置，教师用通过户端进行教学场景的编辑，所述教学场景的编辑包括：
105.调整教学场景颜色、大小、位置显示；
106.虚拟教学道具的添加、删除及替换。
107.根据需要，用户通过将数据编程构建新的第二虚拟教学道具导入计算机设备2，并匹配所述的虚拟教室教学场景，用于所述虚拟教室教学场景的编辑。
108.s4：3d摄像设备4获取教师用户的图像信息，并上传至计算机设备2。
109.s5:计算机设备2将所述图像信息显示于虚拟教学场景以形成合并图像，并将合并图像显示于用户所佩戴的三维显示设备5上。
110.s6:用户通过虚拟道具的操作模拟在虚拟教学场景下的骨科临床教学内容，教学内容以实时的三维影像形式显示在佩戴的三维显示上供用户观看学习。
111.如实施例1所述的手部交互过程，教师用户通过配戴的交互设备3(如数据手套)识别并获取教师的手部动作轨迹数据信息，所述手部动作轨迹数据信息生成控制指令，所述控制指令与所述第二虚拟教学道具建立一一动作映射关系，并控制所述第二虚拟教学道具的操作(如虚拟粉笔在虚拟黑板的板书操作)，进而实现在骨科临床教学时，用于展现出实际教室授课效果的教学操作。
112.教师用户通过教师用户端1操作导入课件或教学视频，并显示于学生佩戴的三维显示设备5供学生观看。
113.在所述的骨科临床教学过程中，教师用户和学生用户之间根据需要进行互动操
作，所述的互动操作包含：
114.教师用户端1导入提问(或题库)、答复学生用户端1的提问；
115.学生用户端1的提问、答复教师用户端1的提问。
116.s7：教学内容结束，用户端1生成并保存骨科临床教学内容的视频。
117.骨科临床教学任务完成后，生成骨科临床教学影像，所述教学影像包括含的视频信息有：
118.显示所述的教师人体影像、虚拟教室教学场景及执行的虚拟骨科临床教学操作。
119.教师用户将所述教学影像生成后保存至用户端1，通过教师用户端1选择视频课件的教学模式，学生通过佩戴三维显示设备5即可观看所述教学影像。
120.综上所述，本技术提供的一种基于混合现实的多人互动骨科临床教学方法，将混合现实技术应用到骨科教学中，通过教师和混合现实环境之间互动、各个学生和混合现实环境之间的互动，实现教师和学生之间、学生和学生之间的多人互动教学。
121.通过所述教学方法，教师在混合现实场景中进行模拟教室教学、模拟骨科临床操作教学，学生能更加直观、立体地观看授课内容和模拟内容，沉浸感更足，进一步地提高了学生的参与度，不容易分心，达到提高培训成效的目的，同时，教师的授课地点不受限制，极大地提高线上教育的便利性。
122.所述教学方法解决了传统的骨科临床教学模式中受时间和地点的限制、成本高、效率低以及人体解剖面临伦理道德问题。
123.以上对本技术进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术及核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以对本技术进行若干改进和修饰，这些改进和修饰也落入本技术权利要求的保护范围内。
技术特征：1.一种基于混合现实的多人互动骨科临床教学方法，其特征在于，所述教学方法包括如下步骤：用户登录用户端，用户端记录用户信息；教师用户在用户端选择骨科临床教学模式；用户端根据骨科临床教学模式导入相应的虚拟教学场景；3d摄像设备获取教师用户的图像信息，并上传至计算机设备；计算机设备将所述图像信息显示于虚拟教学场景以形成合并图像，并将合并图像显示于用户所佩戴的三维显示设备上；用户通过佩戴的交互设备，识别和捕捉手部运动轨迹信息，手部运动轨迹信息生成控制指令,控制指令控制虚拟教学场景中虚拟道具的操作；用户通过虚拟道具的操作模拟在虚拟教学场景下的骨科临床教学内容，教学内容以实时的三维影像形式显示在佩戴的三维显示上供用户观看学习；教学内容结束，用户端生成并保存骨科临床教学内容的视频。2.根据权利要求1所述的教学方法，其特征在于，所述骨科临床教学模式包括：教室授课、临床模拟、视频课件，所述骨科临床教学模式由教师用户进行选择操作。3.根据权利要求1所述的教学方法，其特征在于，所述教学场景包括虚拟骨科手术室、虚拟教室。4.根据权利要求1或3所述的教学方法，其特征在于，所述虚拟教学场景具备虚拟教学道具必备元素，所述虚拟教学道具包含第一虚拟教学道具、第二虚拟教学道具；其中，所述第一虚拟教学道具应用于所述虚拟骨科手术室教学场景，为构建虚拟骨科手术室教学场景的必备元素；所述第二虚拟教学道具应用于所述虚拟教室教学场景，为构建所述虚拟教室教学场景的必备元素。5.根据权利要求4所述的教学方法，其特征在于，所述第一虚拟教学道具包含虚拟手术床、虚拟骨科解剖模型、虚拟骨科手术器械及设备耗材。6.根据权利要求4所述的教学方法，其特征在于，所述第二虚拟教学道具包含：虚拟教室、虚拟讲台、虚拟课桌、虚拟白、黑板。7.根据权利要求1或4所述的教学方法，其特征在于，在骨科临床教学过程中，教师用户通过用户端软件对所述的虚拟教学场景进行编辑，所述编辑包括虚拟教学道具的添加、删除、替换。8.根据权利要求1所述教学方法，其特征在于，教师用户和学生用户通过配戴的交互设备识别并获取手部动作轨迹数据信息，所述手部动作轨迹数据信息生成控制指令，所述控制指令与所述虚拟教学道具建立一一映射关系，并且控制所述虚拟教学道具的操作，进而实现在骨科临床教学时，用于展现出实际临床教学效果的模拟操作。9.根据权利要求1所述的教学方法，其特征在于，所述教学内容的三维影像包含的视频信息有：显示所述的教师用户图像信息、虚拟教学场景信息及执行的虚拟骨科临床教学操作。10.根据权利要求1所述的教学方法，其特征在于，在所述的骨科临床教学过程中，教师用户和学生用户之间根据需要进行互动操作，所述的互动操作包含：
教师用户端导入提问或题库、答复学生用户端的提问；学生用户端的提问、答复教师用户端的提问。11.一种用于实现权利要求1～10任一所述教学方法的虚拟现实装置，其特征在于，所述装置包括用户端、计算机设备、交互设备、3d摄像设备、三维显示设备。
技术总结本申请涉及一种基于混合现实的多人互动骨科临床教学方法，所述教学方法包括多种骨科临床教学模式，选择骨科临床教学模式会自动生成相应的虚拟教学场景，所述虚拟教学场景与用户的图像信息生成合并图像显示于三维显示设备上；用户通过佩戴的交互设备，将手部运动轨迹生成指令用于控制虚拟教学场景中虚拟道具的操作，从而达到模拟教学的效果。所述教学方法采用混合现实技术，实现教师、学生及混合现实环境之间的多人互动教学，通过所述教学方法，教师在虚拟的骨科临床教学场景中进行教学，学生能更加直观、立体地观看授课内容和模拟临床操作内容，沉浸感更足，同时，教师的授课地点不受限制，极大地提高线上教育的便利性。极大地提高线上教育的便利性。极大地提高线上教育的便利性。
技术研发人员：叶哲伟 刘蓬然
受保护的技术使用者：华中科技大学同济医学院附属协和医院
技术研发日：2022.05.16
技术公布日：2022/11/1
