手势交互方法、电子设备、存储介质及程序产品与流程

专利2025-04-30  62


本申请涉及机器视觉与智能系统,尤其涉及一种手势交互方法、电子设备、存储介质及程序产品。


背景技术:

1、混合现实技术(mixed reality,mr)是一种将现实世界与虚拟物体进行混合的增强现实技术。在mr技术中,根据现实世界中的光照、阴影等环境信息对虚拟物体进行渲染以增强虚拟物体的真实感,另外,还支持用户在现实世界中通过交互手势对虚拟物体进行流畅操作,进一步增加真实感。

2、在一些mr场景中,通过单手手势移动虚拟物体,通过双手相对旋转的手势对虚拟物体进行旋转,通过双手相对运动的手势对虚拟物体进行缩放。在另一些mr场景中,在虚拟画面中增加滑动条,通过滑动条上的滑动手势实现对虚拟物体的移动,通过单手移动手势对虚拟物体进行旋转,通过双手相对运动的手势对虚拟物体进行缩放。

3、通过上述交互手势可以对虚拟物体进行操作,但是存在交互繁琐、操作不便等问题,而且基于滑动条的交互操作更会降低交互真实感,背离mr的初衷。


技术实现思路

1、本申请的多个方面提供一种手势交互方法、电子设备、存储介质及程序产品,用以简化交互操作,无需借助于其它虚拟控件,全部依赖于用户的手势操作,提升真实感。

2、本申请实施例提供一种手势交互方法,应用于xr设备,该方法包括:显示目标虚拟画面,目标虚拟画面中包括至少一个虚拟物体;响应用户在现实世界中对目标虚拟物体发起的连续n次单手捏合操作,跟随第n次单手捏合操作在捏合状态下的第一动作,对目标虚拟物体进行第一操作;响应用户在现实世界中对目标虚拟物体发起的连续m次单手捏合操作,跟随第m次单手捏合操作在捏合状态下的第二动作,对目标虚拟物体进行第二操作;其中,n、m是正整数,在n和m不同的情况下,第一动作和第一操作分别与第二动作和第二操作不同;在n和m相同的情况下,第一动作和第一操作分别与第二动作和第二操作相同。

3、本申请实施例还提供一种手势交互方法,应用于xr设备,该方法包括:显示目标虚拟画面,目标虚拟画面中包括至少一个虚拟物体;响应用户在现实世界中对目标虚拟物体发起的连续n次单手交互操作,跟随第n次单手交互操作在交互状态下的第一动作,对目标虚拟物体进行第一操作;响应用户在现实世界中对目标虚拟物体发起的连续m次单手交互操作,跟随第m次单手交互操作在交互状态下的第二动作,对目标虚拟物体进行第二操作;其中,n、m是正整数,在n和m不同的情况下,第一动作和第一操作分别与第二动作和第二操作不同;在n和m相同的情况下,第一动作和第一操作分别与第二动作和第二操作相同。

4、本申请实施例还提供一种电子设备,包括:存储器和处理器;存储器,用于存储计算机程序;处理器,与存储器耦合,用于执行计算机程序,以实现本申请实施例提供的手势交互方法中的各步骤。

5、本申请实施例还提供一种存储有计算机程序的计算机可读存储介质,当计算机程序被处理器执行时,致使处理器实现本申请实施例提供的手势交互方法中的各步骤。

6、本申请实施例还提供一种计算机程序产品,包括计算机程序/指令,当计算机程序/指令被处理器执行时,致使处理器实现本申请实施例提供的手势交互方法中的各步骤。

7、在本申请实施例中,通过连续执行单手捏合操作的不同次数,配合最后一次单手捏合操作的后续动作,对虚拟物体实现不同的操作,在此基础上,通过连续执行单手捏合操作的不同次数准确区分对同一虚拟物体进行不同的操作,无需进行单双手切换,简化操作,也无需借助于虚拟画面中的其它虚拟控件(如,操作条),全部依赖于用户的手势操作,真实感强。



技术特征:

1.一种手势交互方法,应用于xr设备,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,跟随第n次单手捏合操作在捏合状态下的第一动作,对所述目标虚拟物体进行第一操作,包括:

3.根据权利要求2所述的方法,其特征在于,跟随第m次单手捏合操作在捏合状态下的第二动作,对所述目标虚拟物体进行第二操作,包括:

4.根据权利要求3所述的方法,其特征在于,还包括:

5.根据权利要求3所述的方法,其特征在于,跟随所述第n或m次单手捏合操作在捏合状态下的移动,对所述目标虚拟物体进行移动,包括:

6.根据权利要求3所述的方法,其特征在于,跟随所述第n或m次单手捏合操作在捏合状态下的旋转,对所述目标虚拟物体进行旋转,包括:

7.根据权利要求4所述的方法,其特征在于,跟随所述第n或m次单手捏合操作在捏合状态下的移动,对所述目标虚拟物体进行缩放,包括:

8.根据权利要求4所述的方法,其特征在于,所述方法还包括:

9.根据权利要求2所述的方法,其特征在于,所述第一次数值为1,所述第二次数值为2。

10.根据权利要求1-9任一项所述的方法,其特征在于,还包括:

11.根据权利要求1-9任一项所述的方法,其特征在于,在响应用户在现实世界中对所述目标虚拟物体发起连续n或m次单手捏合操作之前,还包括:

12.一种手势交互方法,应用于xr设备,其特征在于,所述方法包括:

13.一种电子设备,其特征在于,包括:存储器和处理器;所述存储器,用于存储计算机程序;所述处理器,与所述存储器耦合,用于执行所述计算机程序,以实现权利要求1-11和权利要求12中任一项所述方法中的步骤。

14.一种存储有计算机程序的计算机可读存储介质,其特征在于,当所述计算机程序被处理器执行时,致使所述处理器实现权利要求1-11和权利要求12中任一项所述方法中的步骤。

15.一种计算机程序产品,包括计算机程序/指令,其特征在于,当所述计算机程序/指令被处理器执行时,致使所述处理器实现权利要求1-11和权利要求12中的任一项所述方法中的步骤。


技术总结
本申请实施例提供一种手势交互方法、电子设备、存储介质及程序产品。在本申请实施例中,通过连续执行单手捏合操作的不同次数,配合最后一次单手捏合操作的后续动作,对虚拟物体实现不同的操作,在此基础上,通过连续执行单手捏合操作的不同次数准确区分对同一虚拟物体进行不同的操作,无需进行单双手切换,简化操作,也无需借助于虚拟画面中的其它虚拟控件(如,操作条),全部依赖于用户的手势操作,真实感强。

技术研发人员:蔡羽,王晨阳,吴子奇,刘贺,陆鹏,朱大伟
受保护的技术使用者:淘宝(中国)软件有限公司
技术研发日:
技术公布日:2024/11/11
转载请注明原文地址: https://tieba.8miu.com/read-13648.html

最新回复(0)