背景技术:
1、关于铰接对象(articulated object)的“姿态”的信息(例如,人类用户的一个或多个身体部分的位置和取向)可以被映射到所渲染的、供显示的虚拟铰接表示上。例如,当人类用户正在参与虚拟环境以作为虚拟现实体验的部分时,可以利用看起来与用户的真实世界姿态相似的姿态来渲染他们在所述虚拟环境内的表示。
2、然而,利用虚拟表示准确地表示人类用户(或者其他适当的铰接对象)的真实世界姿态往往需要关于用户的身体部分的姿态/取向的相对详细的信息,并且这样的信息并不总是可用的。例如,当使用头戴式显示设备来提供虚拟现实体验时,显示设备可能仅接收关于用户的头部和任选的手部的空间信息。在许多情况下,这不足以准确地重新创建人类用户的真实世界姿态。
技术实现思路
1、提供本
技术实现要素:
是为了以简化形式介绍一系列概念,这些概念在下文的具体实施方式中将得到进一步描述。这一发明内容部分并非意在识别所要求保护的主题的关键特征或基本特征,也并不意在用于限定所要求保护的主题的范围。此外,所要求保护的主题并不限于克服在本公开的任何部分当中所指出的任何或全部缺陷的实施方式。
2、一种用于预测铰接对象的姿态的方法,包括:接收针对所述铰接对象的n个关节的空间信息。将针对所述n个关节的所述空间信息传递至机器学习模型,所述机器学习模型先前被训练以接收针对n+m个关节的空间信息作为输入,其中,m>=1。从所述机器学习模型接收针对所述铰接对象的姿态预测作为输出,所述姿态预测至少基于针对所述n个关节的空间信息而无需针对所述m个关节的空间信息。
1.一种用于预测铰接对象的姿态的方法,包括:
2.根据权利要求1所述的方法,其中,所述铰接对象是人体。
3.根据权利要求2所述的方法,其中,所述n个关节包括所述人体的头部关节,并且针对所述头部关节的空间信息详述针对所述人体的头部的参数。
4.根据权利要求3所述的方法,其中,所述n个关节包括所述人体的一个或多个腕部关节,并且针对所述一个或多个腕部关节的空间信息详述针对所述人体的一只或多只对应手的参数。
5.根据权利要求2所述的方法,其中,针对所述铰接对象的所述n个关节的空间信息是根据由一个或多个传感器输出的定位数据而推导出的。
6.根据权利要求5所述的方法,其中,所述一个或多个传感器包括以下中的一者或两者:被配置为对所述人体的一个或多个身体部分进行成像的相机以及被配置为由所述人体的至少一个身体部分保持或佩戴的位置传感器。
7.根据权利要求1所述的方法,其中,所述铰接对象是人手。
8.根据权利要求7所述的方法,其中,所述n个关节包括所述人手的一个或多个手指关节,并且针对所述一个或多个手指关节的空间信息详述针对所述人手的一个或多个手指或手指区段的参数。
9.根据权利要求1所述的方法,其中,所述机器学习模型是先前利用针对所述铰接对象的具有基础事实标签的训练输入数据被训练的。
10.根据权利要求1所述的方法,其中,先前训练所述机器学习模型包括:针对第一训练迭代向所述机器学习模型提供针对所有n+m个关节的训练输入数据,并且在一系列后续训练迭代中,逐渐掩蔽针对所述m个关节中的一个或多个关节的训练输入数据。
11.根据权利要求10所述的方法,其中,逐渐掩蔽针对所述m个关节中的每个关节的训练输入数据包括:在每个训练迭代上沿着所述铰接对象的运动学树朝向所述运动学树的根部掩蔽所述m个关节中的一个或多个接下来的关节。
12.根据权利要求10所述的方法,其中,逐渐掩蔽针对所述m个关节中的每个关节的训练输入数据包括:在每个训练迭代上随机选择所述m个关节中的一个或多个关节以用于掩蔽。
13.根据权利要求10所述的方法,其中,所述训练输入数据包括与所述铰接对象的多个不同姿态相对应的空间信息,并且其中,逐渐掩蔽针对所述m个关节中的一个或多个关节的训练输入数据包括:在每个训练迭代上针对所述多个不同姿态中的每个姿态来掩蔽所述m个关节中的同一关节。
14.根据权利要求1所述的方法,其中,所述机器学习模型包括规格化流,所述规格化流将多个可逆变换应用于针对所述n个关节的空间信息,以输出所述姿态预测。
15.根据权利要求14所述的方法,其中,先前训练所述机器学习模型包括:通过将所述铰接对象的基础事实姿态提供给所述多个可逆变换中的一个或多个中间可逆变换而应用中间监督。
