一种动作标注数据集获取方法及装置与流程

专利2026-05-12  2


本技术属于人工智能领域,尤其涉及一种动作标注数据集获取方法及装置。


背景技术:

1、动作标注数据集为模型提供了明确的学习目标和参考标准。通过动作标注数据集,模型能够学习到有效的特征表示和决策边界。因此,明确的动作标注数据集有利于推动模型的发展和进步。

2、然而,现有动作标注数据集的获取过程繁琐,不利于提高动作标注数据集的获取效率。其原因在于,现有技术主要采用人工获取的方式,获取动作标注数据集,而动作标注数据集的动作标注样本有很多,采用人工获取的方式,获取每个动作标注样本,会耗费大量的人力资源和时间资源,因此增加了动作标注数据集的获取时间,且容易受到人工干预的影响,因此,不利于提高动作标注样本的获取效率。


技术实现思路

1、本技术实施例提供一种动作标注数据集获取方法及装置,以解决上述现有动作标注数据集的获取过程繁琐,不利于提高动作标注数据集的获取效率的技术问题。

2、第一方面,本技术实施例提供了一种动作标注数据集获取方法,应用于电子设备,所述动作标注数据集获取方法包括:

3、获取人体动作数据以及所述人体动作数据对应的多个人体动作描述文本;

4、获取所述人体动作数据对应的第一特征向量,获取所述人体动作描述文本对应的第二特征向量;

5、通过clip模型的分类器,获取所述第一特征向量与第二特征向量之间的相似度;

6、对多个所述相似度进行排序,根据排序结果,选择至少一个所述相似度对应的所述人体动作描述文本作为所述人体动作数据的语义信息;

7、将所述人体动作数据和所述语义信息组成一个动作标注样本,将多个不同的所述动作标注样本组成一个动作标注数据集。

8、本技术实施例有益效果在于两方面,一方面,对多个所述相似度进行排序,根据排序结果,选择至少一个所述相似度对应的所述人体动作描述文本作为所述人体动作数据的语义信息;将所述人体动作数据和所述语义信息组成一个动作标注样本,将多个不同的所述动作标注样本组成一个动作标注数据集,由于无需人工获取,因此减少了动作标注数据集的获取时间,有利于提高动作标注数据集的获取效率;另一方面,不会受到人工干预的影响,因此有利于提升获取到的所述动作标注数据集的动作标注样本的可靠性。

9、在第一方面的一种可能的实现方式中,所述获取人体动作数据以及所述人体动作数据对应的多个人体动作描述文本,包括:

10、连接动作捕捉设备,通过所述动作捕捉设备获取所述人体动作数据;

11、渲染所述人体动作数据,生成人体动作动画;

12、显示所述人体动作动画,获取所述人体动作动画对应的输入框,通过所述输入框,获取用户输入的多个所述人体动作描述文本。

13、在本技术实施例中, 通过明确展示人体动作动画,让用户清晰地了解当前的人体动作动画,这样,用户输入的多个所述人体动作描述文本更加精确和也更能符合个人需求。

14、在第一方面的一种可能的实现方式中,所述连接动作捕捉设备,通过所述动作捕捉设备获取所述人体动作数据,包括:

15、连接所述动作捕捉设备,通过所述动作捕捉设备获取运动信息、关节位置信息以及关节旋转信息;

16、将所述运动信息、所述关节位置信息以及所述关节旋转信息组成所述人体动作数据。

17、在本技术实施例中,将所述运动信息、所述关节位置信息以及所述关节旋转信息组成所述人体动作数据,可以减少数据冗余和复杂性。在第一方面的一种可能的实现方式中,所述渲染所述人体动作数据,生成人体动作动画,包括:

18、创建第一播放窗口、第二播放窗口以及第三播放窗口;

19、在所述第一播放窗口中,以正视角度渲染所述人体动作数据,生成所述人体动作动画的正视图;

20、在所述第二播放窗口中,以左视角度渲染所述人体动作数据,生成所述人体动作动画的左视图;

21、在所述第三播放窗口中,以俯视角度渲染所述人体动作数据,生成所述人体动作动画的俯视图。

22、在本技术实施例中,通过人体动作动画的正视图、人体动作动画的左视图、人体动作动画的俯视图,可以帮助用户全面地理解人体动作动画所传达的信息。

23、在第一方面的一种可能的实现方式中,所述显示所述人体动作动画,获取所述人体动作动画对应的输入框,通过所述输入框,获取用户输入的多个所述人体动作描述文本,包括:

24、显示所述人体动作动画,获取所述人体动作动画的反馈指令,判断所述反馈指令是否为确认指令;

25、当所述反馈指令为所述确认指令时,获取所述人体动作动画对应的所述输入框,通过所述输入框,获取用户输入的多个所述人体动作描述文本。

26、在本技术实施例中,当所述反馈指令为所述确认指令时,能确保人体动作动画满足用户的期望,确认后,获取所述人体动作动画对应的所述输入框,通过所述输入框,获取用户输入的多个所述人体动作描述文本,能避免误操作或不必要的修改,提高用户满意度。

27、在第一方面的一种可能的实现方式中,所述获取所述人体动作数据对应的第一特征向量,获取所述人体动作描述文本对应的第二特征向量,包括:

28、通过所述clip模型的图像编码器,对所述人体动作数据进行编码,生成所述人体动作数据对应的第一特征向量;

29、通过所述clip模型的文本编码器,对所述人体动作描述文本进行编码,生成所述人体动作描述文本对应的第二特征向量。

30、在本技术实施例中,第一特征向量能够捕捉人体动作数据中的图像信息,第二特征向量能够捕捉人体动作描述文本的的语义信息,使得clip模型能够理解和处理人体动作数据和人体动作描述文本。

31、在第一方面的一种可能的实现方式中,所述通过所述clip模型的文本编码器,对所述人体动作描述文本进行编码,生成所述人体动作描述文本对应的第二特征向量,包括:

32、获取所述人体动作描述文本的词性序列,通过重新排列或修改所述词性序列,生成更新后的所述人体动作描述文本;

33、通过所述clip模型的所述文本编码器,对更新后的所述人体动作描述文本进行编码,生成所述第二特征向量。

34、在本技术实施例中,通过重新排列或修改所述词性序列,有利于提高更新后的所述人体动作描述文本在语言表达方面的准确性和清晰度。

35、在第一方面的一种可能的实现方式中,将所述人体动作数据和所述语义信息组成一个动作标注样本,将多个不同的所述动作标注样本组成一个动作标注数据集之后,所述动作标注数据集获取方法包括:

36、显示视频生成模型标识列表,所述视频生成模型标识列表包括多个视频生成模型标识,所述视频生成模型标识为视频生成模型的标识;

37、获取在所述视频生成模型标识列表中的选择操作;

38、根据所述选择操作,在所述视频生成模型标识列表中获取用户选择的所述视频生成模型标识,获取选择的所述视频生成模型标识对应的服务器,向所述服务器发送所述动作标注数据集。

39、在本技术实施例中,向所述服务器发送所述动作标注数据集,通过所述动作标注数据集加速视频生成模型的训练过程,有利于缩短视频生成模型的训练时间。

40、在第一方面的一种可能的实现方式中,将所述人体动作数据和所述语义信息组成一个动作标注样本,将多个不同的所述动作标注样本组成一个动作标注数据集之后,所述动作标注数据集获取方法包括:

41、在预置存储设备中创建所述动作标注数据集对应的存储区域,将所述动作标注数据集存储至所述存储区域中。

42、在本技术实施例中,将所述动作标注数据集存储至所述存储区域中, 在视频生成模型的训练过程中调用所述动作标注数据集,以提高视频生成模型的性能。

43、第二方面,本技术实施例提供了一种动作标注数据集获取装置,包括:

44、第一获取模块,用于获取人体动作数据以及所述人体动作数据对应的多个人体动作描述文本;

45、第二获取模块,用于获取所述人体动作数据对应的第一特征向量,获取所述人体动作描述文本对应的第二特征向量;

46、第三获取模块,用于通过clip模型的分类器,获取所述第一特征向量与第二特征向量之间的相似度;

47、选择模块,用于对多个所述相似度进行排序,根据排序结果,选择至少一个所述相似度对应的所述人体动作描述文本作为所述人体动作数据的语义信息;

48、标注模块,用于将所述人体动作数据和所述语义信息组成一个动作标注样本,将多个不同的所述动作标注样本组成一个动作标注数据集。

49、本技术实施例有益效果在于两方面,一方面,对多个所述相似度进行排序,根据排序结果,选择至少一个所述相似度对应的所述人体动作描述文本作为所述人体动作数据的语义信息;将所述人体动作数据和所述语义信息组成一个动作标注样本,将多个不同的所述动作标注样本组成一个动作标注数据集,由于无需人工获取,因此减少了动作标注数据集的获取时间,有利于提高动作标注数据集的获取效率;另一方面,不会受到人工干预的影响,因此有利于提升获取到的所述动作标注数据集的动作标注样本的可靠性。


技术特征:

1.一种动作标注数据集获取方法,其特征在于,所述动作标注数据集获取方法包括:

2.根据权利要求1所述的动作标注数据集获取方法,其特征在于,所述连接动作捕捉设备,通过所述动作捕捉设备获取所述人体动作数据,包括:

3.根据权利要求1所述的动作标注数据集获取方法,其特征在于,所述渲染所述人体动作数据,生成人体动作动画,包括:

4.根据权利要求1所述的动作标注数据集获取方法,其特征在于,所述显示所述人体动作动画,获取所述人体动作动画对应的输入框,通过所述输入框,获取用户输入的多个所述人体动作描述文本,包括:

5.根据权利要求1所述的动作标注数据集获取方法,其特征在于,所述获取所述人体动作数据对应的第一特征向量,获取所述人体动作描述文本对应的第二特征向量,包括:

6.根据权利要求5所述的动作标注数据集获取方法,其特征在于,所述通过所述clip模型的文本编码器,对所述人体动作描述文本进行编码,生成所述人体动作描述文本对应的第二特征向量,包括:

7.根据权利要求1至6任一项所述的动作标注数据集获取方法,其特征在于,将所述人体动作数据和所述语义信息组成一个动作标注样本,将多个不同的所述动作标注样本组成一个动作标注数据集之后,所述动作标注数据集获取方法包括:

8.根据权利要求1至6任一项所述的动作标注数据集获取方法,其特征在于,将所述人体动作数据和所述语义信息组成一个动作标注样本,将多个不同的所述动作标注样本组成一个动作标注数据集之后,所述动作标注数据集获取方法包括:

9.一种动作标注数据集获取装置,其特征在于,包括:


技术总结
本申请提供了一种动作标注数据集获取方法及装置,该方法包括:获取人体动作数据以及人体动作数据对应的多个人体动作描述文本;获取人体动作数据对应的第一特征向量,获取人体动作描述文本对应的第二特征向量;通过CLIP模型的分类器,获取第一特征向量与第二特征向量之间的相似度;对多个相似度进行排序,根据排序结果,选择至少一个相似度对应的人体动作描述文本作为人体动作数据的语义信息;将人体动作数据和语义信息组成一个动作标注样本,将多个不同的动作标注样本组成一个动作标注数据集。本申请有利于提高动作标注数据集的获取效率。

技术研发人员:罗志平,周建国
受保护的技术使用者:南昌虚拟现实研究院股份有限公司
技术研发日:
技术公布日:2024/11/11
转载请注明原文地址: https://tieba.8miu.com/read-21198.html

最新回复(0)