本发明属于增强现实(ar)和病毒防护,涉及一种增强现实的飞沫模拟方法、装置和社交距离保持方法。
背景技术:
1、人类自然需要在现实世界中相互交流,人们在日常交流中会不自觉地忘记社交距离,因为在社交活动中始终保持1.8米左右的距离是违反直觉的。即使人们意识到社交距离对于延缓病毒传播、减少感染的可能性的重要性,仍然很难通过强烈的自我意识去保持一定的社交距离。特别是在传染病爆发期间,保持社交距离的重要性日益明显,需要一种有效、自然的保持社交距离的方法。
2、目前常用的方法是通过社会工作者、志愿者甚至扬声器反复播放录制好的提醒话语,定期提醒公共场所的人们保持社交距离。许多研究人员一直致力于发明鼓励人们保持社交距离的设备。结合机器人技术和计算机视觉的最新进展,研究人员甚至开发出了在街道上移动的机器人,并提醒人们保持社交距离。例如,基于四足平台的全自动监控机器人,配备了多个摄像头和三维光探测和测距传感器,已经开发出来。机器人可以在动态场景中自由移动,并发出友好的语音提示,建议拥挤的人群散开。其他人已经开发出可穿戴智能设备,当在用户附近6英尺范围内检测到有人时,该设备会向用户发出警报。这些设备经过测试,发现在保持社交距离方面很有用。
3、这些设备大多使用传感器来探测距离并向用户提供警告,但在鼓励用户主动避开他人所需的技术方面,研究相对较少。一般情况下,这些提醒式的方式不受人们的欢迎,因为人们容易产生被强迫服从别人的命令的感觉,提示效果不理想。此外,雇佣工人或机器人定期重复提醒任务的成本也很高。
技术实现思路
1、技术目的:针对上述技术问题,本发明提出了一种增强现实的飞沫模拟方法、装置和社交距离保持方法,通过视觉上突出的呼吸效果刺激用户与他人保持适当的社交距离,帮助用户养成与他人保持一定距离的习惯,即使不戴设备,用户也可以记住保持距离。
2、技术方案:为实现上述技术目的,本发明采用了如下技术方案:
3、一种增强现实的飞沫模拟方法,包括步骤:
4、s1、通过用户配戴的ar设备的摄像头,采集包含用户所处环境中的一个或多个他人的头部图像;
5、s2、对采集到的头部图像进行处理,获得头部图像的处理结果,包括头部位姿、人脸位置朝向;
6、s3、三维渲染引擎根据所述头部图像的处理结果,渲染飞沫特效,将所述飞沫特效与ar设备采集的头部图像对齐,形成ar视图并在所述ar设备的显示器上显示。
7、优选地,所述步骤s2中,采用以下方式对采集到的头部图像进行处理:
8、采用人脸识别技术,对采集的头部图像进行识别和定位,标注出人脸区域;
9、使用数据驱动的回归方法处理标注出的人脸区域,得到头部的三维位姿,确定头部在像素坐标系中的位置、人脸位置朝向。
10、优选地,所述步骤s3中,三维渲染引擎以如下方式模拟飞沫粒子:
11、预计算具有物理意义的运动场,即,在三维格点上求解navier-stokes方程,预计算流体在不同初始速度v0下,运动在t时刻位置p时的动态速度场
12、将预计算的动态速度场旋转平移至人脸位置朝向(oi,ri)定义的局部坐标系下,并利用平移后的动态速度场变换粒子系统;
13、粒子系统随机生成粒子,设定粒子的初始参数,包括初始位置、初始速度、初始寿命、初始尺寸和初始不透明度,并按时间顺序,修正每个粒子在下一帧图像中的参数。
14、优选地,粒子系统以如下方法设定粒子的初始参数、修正生成的每个粒子的参数:
15、粒子的速度:若粒子在当时刻t0位置生成在p0处,则修正其速度为并在此速度下在时间步长δt下运动至新的位置粒子系统查询平移后的动态速度场,获得粒子在p1处速度场的值进而更新粒子下一时刻的速度,即粒子在下一帧图像中的速度为
16、粒子的寿命:每个粒子的寿命在生成时置为t=1,计算粒子当前的运动的速度v与其前一帧的速度变化量δv,检查粒子当前的速度值|v|是否小于设定的速度阈值,且粒子的速度变化量|δv|小设置的速度变化量阈值,若是,则设定粒子的寿命开始按照比例系数β衰减,若否,则继续更新粒子的速度;
17、粒子的尺寸及不透明度:粒子的尺寸及不透明度设定为随粒子的寿命变化,尺寸s=ts0,不透明度o=to0,其中,s0及o0是设定的初始尺寸和初始不透明度,每个粒子的尺寸及不透明度在初始尺寸和初始不透明度上按高斯分布进行扰动。
18、一种增强现实的飞沫模拟装置,包括:
19、ar设备,其设有摄像头和头戴式显示器,通过摄像头采集包含用户所处环境中的一个或多个他人的头部图像,通过头戴式显示器显示ar视图;
20、数据处理模块,用于接收ar设备上传的头部图像,对采集到的头部图像进行处理,获得头部图像的处理结果,包括头部位姿、人脸位置朝向;
21、三维渲染引擎,用于根据所述头部图像的处理结果,渲染飞沫特效,将所述飞沫特效与ar设备采集的头部图像对齐,形成ar视图。
22、优选地,所述ar设备和三维渲染引擎采用一个hololens 2设备实现;
23、所述数据处理模块通过设置后台计算机实现,后台计算机与hololens 2设备无线通信连接。
24、优选地,所述数据处理模块包括:
25、人脸识别单元,用于对采集的头部图像进行识别和定位,标注出人脸区域;
26、卷积神经网络,使用基于回归的方法处理标注出的人脸区域,得到头部的三维位姿,确定头部在像素坐标系中的位置、人脸位置朝向。
27、优选地,所述三维渲染引擎包括:
28、数据接收模块,用于接收ar设备发送的头部图像和数据处理模块发送的头部图像的处理结果;
29、运动场预计算模块,用于预计算具有物理意义的运动场,即,在三维格点上求解navier-stokes方程,预计算流体在不同初始速度v0下,运动在t时刻位置p时的动态速度场
30、转换模块,用于将预计算的动态速度场旋转平移至人脸位置朝向(oi,ri)定义的局部坐标系下,并利用平移后的动态速度场变换粒子系统;
31、粒子系统,用于随机生成粒子,设定粒子的初始参数,包括初始位置、初始速度、初始寿命、初始尺寸和初始不透明度,并按时间顺序,修正每个粒子在下一帧图像中的参数;
32、渲染模块,用于将粒子系统生成的飞沫特效与ar设备采集的头部图像对齐,形成ar视图。
33、一种社交距离保持方法,用户配戴所述的增强现实的飞沫模拟装置,根据所述飞沫特效展示的方向和范围,调整与他人的社交距离。
34、有益效果:由于采用了上述技术方案,本发明具有如下有益效果:
35、本发明设计增强现实原型,将实时头部姿势跟踪与粒子系统结合起来,通过ar设备如ar眼镜自动将渲染特效与现实世界中的对象对齐,突出显示呼吸液滴可视化来增强日常对话场景,提醒人们在日常生活中有效地保持社交距离,并且通过进行用户研究,证明架构的有效性,而且可以实现定量和定性比较。
1.一种增强现实的飞沫模拟方法,其特征在于,包括步骤:
2.根据权利要求1所述的一种增强现实的飞沫模拟方法,其特征在于,所述步骤s2中,采用以下方式对采集到的头部图像进行处理:
3.根据权利要求1所述的一种增强现实的飞沫模拟方法,其特征在于,所述步骤s3中,三维渲染引擎以如下方式模拟飞沫粒子:
4.根据权利要求3所述的一种增强现实的飞沫模拟方法,其特征在于,粒子系统以如下方法设定粒子的初始参数、修正生成的每个粒子的参数:
5.一种增强现实的飞沫模拟装置,其特征在于,包括:
6.根据权利要求5所述的一种增强现实的飞沫模拟装置,其特征在于:所述ar设备和三维渲染引擎采用一个hololens 2设备实现;
7.根据权利要求5所述的一种增强现实的飞沫模拟装置,其特征在于:所述数据处理模块包括:
8.根据权利要求5所述的一种增强现实的飞沫模拟装置,其特征在于:所述三维渲染引擎包括:
9.一种社交距离保持方法,其特征在于:用户配戴权利要求5-8任一所述的增强现实的飞沫模拟装置,根据所述飞沫特效展示的方向和范围,调整与他人的社交距离。
