本发明涉及计算机，尤其涉及一种手部三维关键点检测方法、装置、电子设备及介质。
背景技术：
1、目前，关于视频中的手部三维(3dimensions，3d)关键点检测方案主要为：利用用于建模和分析人类手部姿势的深度学习模型(model for articulated hands，mano)对每一帧图像进行参数推导，得到每一帧图像对应的手部模型参数，再将参数输入到手部模型中，输出对应的手部3d关键点。
2、由于mano是单独对手部预测基于世界坐标系的旋转信息，这种预测方式在手部处于高速运动过程中或者存在遮挡的场景中，很容易造成手部三维关键点的预测偏差。
技术实现思路
1、本发明实施例提供一种手部三维关键点检测方法、装置、电子设备及介质，以解决现有的手部三维关键点检测方案容易存在预测偏差，导致预测精度偏低的问题。
2、第一方面，本发明实施例提供了一种手部三维关键点检测方法，包括：
3、根据图像帧对应的人体三维关键点，获取手部的第一平面向量和手腕的世界坐标系；其中，所述第一平面向量用于表征初步估计的手掌平面姿态；
4、根据所述第一平面向量和所述手腕的世界坐标系，确定所述图像帧对应的手部三维关键点。
5、可选地，所述根据图像帧对应的人体三维关键点，获取手部的第一平面向量，包括：
6、获取所述人体三维关键点中的第一手腕关键点坐标和第一掌心关键点坐标；
7、将由所述第一手腕关键点坐标指向所述第一掌心关键点坐标的方向向量，确定为所述第一平面向量。
8、可选地，所述根据所述第一平面向量和所述手腕的世界坐标系，确定所述图像帧对应的手部三维关键点，包括：
9、将所述第一平面向量和所述手腕的世界坐标系作为深度学习模型的输入，输出手腕局部旋转矩阵和手指局部旋转矩阵；
10、将所述手腕局部旋转矩阵和所述手指局部旋转矩阵作为参数化手部模型的输入，输出所述图像帧对应的手部三维关键点。
11、可选地，所述深度学习模型的输出还包括平面向量偏差；
12、上述手部三维关键点检测方法还包括：
13、根据所述手部三维关键点，确定第二平面向量，所述第二平面向量用于表征预测的手掌平面姿态；
14、确定所述第一平面向量与所述平面向量偏差之和，得到第三平面向量；
15、根据所述第二平面向量和所述第三平面向量，确定所述手部三维关键点的置信度。
16、可选地，所述根据所述手部三维关键点，确定第二平面向量，包括：
17、获取所述手部三维关键点中的第二手腕关键点坐标和第二掌心关键点坐标；
18、将由所述第二手腕关键点坐标指向所述第二掌心关键点坐标的方向向量，确定为所述第二平面向量。
19、可选地，所述根据所述第二平面向量和所述第三平面向量，确定所述手部三维关键点的置信度，包括：
20、确定所述第二平面向量与所述第三平面向量之间的夹角；
21、根据所述夹角，确定所述手部三维关键点的置信度。
22、可选地，所述根据所述夹角，确定所述手部三维关键点的置信度，包括：
23、确定所述夹角与预设最大容忍夹角之商，得到第一值；
24、将预设值与第一值之差确定为所述置信度。
25、第二方面，本发明实施例还提供一种手部三维关键点检测装置，包括：
26、第一获取模块，用于根据图像帧对应的人体三维关键点，获取手部的第一平面向量和手腕的世界坐标系；其中，所述第一平面向量用于表征初步估计的手掌平面姿态；
27、第一处理模块，用于根据所述第一平面向量和所述手腕的世界坐标系，确定所述图像帧对应的手部三维关键点。
28、第三方面，本发明实施例还提供一种电子设备，包括：收发机、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述处理器，用于读取存储器中的程序实现如上所述的手部三维关键点检测方法中的步骤。
29、第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的手部三维关键点检测方法中的步骤。
30、第五方面，本发明实施例还提供一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现如上所述的手部三维关键点检测方法中的步骤。
31、上述方案中，根据图像帧对应的人体三维关键点，获取手部的第一平面向量和手腕的世界坐标系；其中，所述第一平面向量用于表征初步估计的手掌平面姿态；将手部的第一平面向量和手腕的世界坐标系作为初步的参考值，来确定所述图像帧对应的手部三维关键点。这样，能够实现基于肢体的三维关键点引导手部三维关键点检测，使输出的手部三维关键点更符合人工工程学，同时通过引入手部的第一平面向量，能够达到过滤不自然手部姿态的效果，减少手腕旋转扭曲等不自然等情况发生，提高了手部三维关键点的检测精确度，适用于手部高速运动或者遮挡的应用场景。
1.一种手部三维关键点检测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据图像帧对应的人体三维关键点，获取手部的第一平面向量，包括：
3.根据权利要求1所述的方法，其特征在于，所述根据所述第一平面向量和所述手腕的世界坐标系，确定所述图像帧对应的手部三维关键点，包括：
4.根据权利要求3所述的方法，其特征在于，所述深度学习模型的输出还包括平面向量偏差；
5.根据权利要求4所述的方法，其特征在于，所述根据所述手部三维关键点，确定第二平面向量，包括：
6.根据权利要求4所述的方法，其特征在于，所述根据所述第二平面向量和所述第三平面向量，确定所述手部三维关键点的置信度，包括：
7.根据权利要求6所述的方法，其特征在于，所述根据所述夹角，确定所述手部三维关键点的置信度，包括：
8.一种手部三维关键点检测装置，其特征在于，包括：
9.一种电子设备，包括：收发机、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；其特征在于，所述处理器，用于读取存储器中的程序实现如权利要求1至7中任一项所述的手部三维关键点检测方法中的步骤。
10.一种计算机程序产品，其特征在于，包括计算机指令，所述计算机指令被处理器执行时实现如权利要求1至7中任一项所述的手部三维关键点检测方法的步骤。
