动作视频发送方法、装置、设备和介质与流程

专利2023-04-06  118



1.本公开的实施例涉及计算机技术领域,具体涉及动作视频发送方法、装置、设备和介质。


背景技术:

2.目前,大多应用存在支持服饰展示的功能。对于服饰的应用展示,通常采用的方式为:将针对服饰的各个角度的展示视频或图片直接展示在应用界面,以供相关用户观看。
3.然而,发明人发现,当采用上述方式来展示服饰,经常会存在如下技术问题:
4.第一,针对服饰的各个角度的展示视频或图片千篇一律,无法针对各个用户,实现定制化展示;
5.第二,当采用同一尺度大小的三维用户模型来展示服饰,展示效果与用户实际穿戴服饰的效果差距较大;
6.第三,针对三维用户模型的各个动作视频之间的展示内容差别较小,每个动作视频不能准确的体现出对应动作的动作特征。
7.该背景技术部分中所公开的以上信息仅用于增强对本发明构思的背景的理解,并因此,其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。


技术实现要素:

8.本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
9.本公开的一些实施例提出了动作视频发送方法、装置、设备和介质,来解决以上背景技术部分提到的技术问题中的一项或多项。
10.第一方面,本公开的一些实施例提供了一种动作视频发送方法,包括:响应于检测到目标用户在目标应用界面上已点击针对目标服饰的查看按钮,指示目标应用在上述目标应用界面上生成用户信息输入框;响应于接收到上述目标用户在上述用户信息输入框所输入的用户信息,生成与上述用户信息相对应的初始三维用户模型;将上述目标服饰的服饰图案信息渲染至上述初始三维用户模型,以生成渲染服饰的三维用户模型;响应于检测到上述目标用户在目标应用界面上已点击针对上述渲染服饰的三维用户模型的目标动作执行按钮,生成与上述渲染服饰的三维用户模型相对应的目标动作视频,其中,上述目标动作执行按钮为目标动作信息对应的动作执行按钮;将上述目标动作视频发送至上述目标应用,以供在上述目标应用界面展示上述目标动作视频。
11.第二方面,本公开的一些实施例提供了一种动作视频发送装置,包括:指示单元,被配置成响应于检测到目标用户在目标应用界面上已点击针对目标服饰的查看按钮,指示目标应用在上述目标应用界面上生成用户信息输入框;第一生成单元,被配置成响应于接收到上述目标用户在上述用户信息输入框所输入的用户信息,生成与上述用户信息相对应
的初始三维用户模型;渲染单元,被配置成将上述目标服饰的服饰图案信息渲染至上述初始三维用户模型,以生成渲染服饰的三维用户模型;第二生成单元,被配置成响应于检测到上述目标用户在目标应用界面上已点击针对上述渲染服饰的三维用户模型的目标动作执行按钮,生成与上述渲染服饰的三维用户模型相对应的目标动作视频,其中,上述目标动作执行按钮为目标动作信息对应的动作执行按钮;发送单元,被配置成将上述目标动作视频发送至上述目标应用,以供在上述目标应用界面展示上述目标动作视频。
12.第三方面,本公开的一些实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
13.第四方面,本公开的一些实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
14.本公开的上述各个实施例具有如下有益效果:通过本公开的一些实施例的动作视频发送方法可以准确地生成针对服饰的定制视频。具体来说,造成针对服饰的定制视频不够精确的原因在于:第一,针对服饰的各个角度的展示视频或图片千篇一律,无法针对各个用户的用户信息,进行定制化展示;第二,当采用同一尺度大小的三维用户模型来展示服饰,展示效果与用户穿戴服饰的效果差距较大。基于此,本公开的一些实施例的动作视频发送方法,首先,响应于检测到目标用户在目标应用界面上已点击针对目标服饰的查看按钮,指示目标应用在上述目标应用界面上生成用户信息输入框,以供后续目标用户输入用户信息,来生成用户信息相对应的初始三维用户模型。然后,响应于接收到上述目标用户在上述用户信息输入框所输入的用户信息,生成与上述用户信息相对应的初始三维用户模型。在这里,通过目标用户的用户信息,可以生成与目标用户相对应的定制用户模型,以便于后续用户依据定制用户模型筛选出喜好的服饰。接着,将上述目标服饰的服饰图案信息渲染至上述初始三维用户模型,以生成渲染服饰的三维用户模型。在这里,在避免了用户亲身去试穿服饰的情况下,通过生所成渲染服饰的三维用户模型,可以让用户切身感受到穿戴目标服饰时的样貌,提高了用户的服饰试穿体验。接着,响应于检测到上述目标用户在目标应用界面上已点击针对上述渲染服饰的三维用户模型的目标动作执行按钮,生成与上述渲染服饰的三维用户模型相对应的目标动作视频。其中,上述目标动作执行按钮为目标动作信息对应的动作执行按钮。在这里,通过生成目标动作视频,可以有效地展示假设目标用户穿戴目标服饰以执行目标动作的形体情况(例如,用户执行动作时,穿戴的目标服饰是否合身),以此,从动作形态上可以展示用户穿戴目标服饰的效果,便于用户筛选所喜好的服饰。最后,将上述目标动作视频发送至上述目标应用,以供在上述目标应用界面展示上述目标动作视频。在这里,通过目标动作视频,可以较大程度展现了目标用户穿戴目标服饰以执行目标动作时的样貌情况,以便于目标用户确定目标服饰是否适合。
附图说明
15.结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,元件和元素不一定按照比例绘制。
16.图1是根据本公开的动作视频发送方法的一些实施例的流程图;
17.图2是根据本公开的动作视频发送装置的一些实施例的结构示意图;
18.图3是适于用来实现本公开的一些实施例的电子设备的结构示意图。
具体实施方式
19.下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例。相反,提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
20.另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。
21.需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
22.需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
23.本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
24.下面将参考附图并结合实施例来详细说明本公开。
25.参考图1,示出了根据本公开的动作视频发送方法的一些实施例的流程100。该动作视频发送方法,包括以下步骤:
26.步骤101,响应于检测到目标用户在目标应用界面上已点击针对目标服饰的查看按钮,指示目标应用在上述目标应用界面上生成用户信息输入框。
27.在一些实施例中,响应于检测到目标用户在目标应用界面上已点击针对目标服饰的查看按钮,上述动作视频发送方法的执行主体可以指示目标应用在上述目标应用界面上生成用户信息输入框。其中,目标用户可以是操作目标应用的用户。上述目标应用可以是支持查看、待进行价值处理的各个服饰的应用。例如,目标应用可以是售卖各个服饰的应用。上述目标应用界面为用于展示各个服饰的界面。上述目标应用界面存在针对服饰的查看按钮。上述查看按钮可以是查看目标服饰对应三维用户模型的按钮。上述用户信息输入框可以是输入用户信息的文本框。上述用户信息可以是假设佩戴目标服饰的用户的信息。实践中,用户信息可以包括但不限于以下之一:用户的身高信息,用户的性别信息,用户的三围信息,用户的年龄信息。
28.步骤102,响应于接收到上述目标用户在上述用户信息输入框所输入的用户信息,生成与上述用户信息相对应的初始三维用户模型。
29.在一些实施例中,响应于接收到上述目标用户在上述用户信息输入框所输入的用户信息,上述执行主体可以生成与上述用户信息相对应的初始三维用户模型。其中,上述初始三维用户模型可以是针对用户信息所生成的、未渲染服饰图案的立体模型。上述初始三维用户模型对应的模型信息是与用户信息相对应的。即初始三维用户模型对应的模型三围信息与目标用户的三围信息相同。初始三维用户模型对应的模型性别信息与目标用户的性别信息相同。
30.作为示例,上述执行主体可以利用三维模型编辑器,来实现针对用户信息的初始
三维用户模型的生成。
31.步骤103,将上述目标服饰的服饰图案信息渲染至上述初始三维用户模型,以生成渲染服饰的三维用户模型。
32.在一些实施例中,上述执行主体可以将上述目标服饰的服饰图案信息渲染至上述初始三维用户模型,以生成渲染服饰的三维用户模型。
33.作为示例,上述执行主体可以使用三维渲染器,来将上述目标服饰的服饰图案信息渲染至上述初始三维用户模型,以生成渲染服饰的三维用户模型。其中,三维渲染器可以是但不限于以下之一:maverick studio渲染软件,v-ray collection渲染软件,autodesk 3d渲染软件。
34.在一些实施例的一些可选的实现方式中,在上述将上述目标服饰的服饰图案信息渲染至上述初始三维用户模型,以生成渲染服饰的三维用户模型之后,上述方法还包括:
35.第一步,在上述目标应用界面上展示上述渲染服饰的三维用户模型,以及在上述目标应用界面展示针对动作信息集的动作信息选择框。
36.其中,上述动作信息选择框可以用于选择后续渲染服饰的三维用户模型所要执行的动作。上述动作信息集所包括的动作信息的数目可以是预先设置的。例如,动作信息的数目可以是4个。动作信息可以是动作的名称,还可以是动作的动作标识。实践中,动作信息对应动作可以是但不限于以下之一:跑步动作,行走动作,蹦跳动作。
37.可选地,动作信息选择框可以是弹窗形式的信息选择框。
38.第二步,响应于接收到上述目标用户在上述动作信息选择框中所选择的动作信息,将所选择的动作信息确定为目标动作信息,以及生成针对上述目标动作信息的动作执行按钮。
39.其中,上述目标动作信息为上述动作信息集中的信息。
40.步骤104,响应于检测到上述目标用户在目标应用界面上已点击针对上述渲染服饰的三维用户模型的目标动作执行按钮,生成与上述渲染服饰的三维用户模型相对应的目标动作视频。
41.在一些实施例中,响应于检测到上述目标用户在目标应用界面上已点击针对上述渲染服饰的三维用户模型的目标动作执行按钮,上述执行主体可以生成与上述渲染服饰的三维用户模型相对应的目标动作视频。其中,与上述渲染服饰的三维用户模型相对应的目标动作视频为渲染服饰的三维用户模型执行目标动作的视频。例如,目标动作为跑步动作。则与上述渲染服饰的三维用户模型相对应的目标动作视频为渲染服饰的三维用户模型执行跑步动作的视频。
42.在一些实施例的一些可选的实现方式中,上述生成与上述渲染服饰的三维用户模型相对应的目标动作视频,可以包括以下步骤:
43.第一步,上述执行主体可以确定上述目标用户在目标应用界面对上述渲染服饰的三维用户模型进行旋转的旋转角度。
44.作为示例,上述执行主体可以接收目标用户在目标应用界面对上述渲染服饰的三维用户模型的旋转信息。其中,旋转信息可以是目标用户通过触屏的方式在目标应用界面旋转上述渲染服饰的三维用户模型的角度变换信息。
45.需要说明的是,在生成上述渲染服饰的三维用户模型之后,上述渲染服饰的三维
用户模型展示以预设正视图的形式展示给目标用户的。后续旋转角度的产生都是针对上述预设正视图而言的变换角度。
46.第二步,上述执行主体可以根据上述旋转角度,生成相对应的初始服饰图像。
47.作为示例,首先,上述执行主体可以以预设正视图为准,对上述渲染服饰的三维用户模型旋转上述旋转角度,得到旋转后的渲染服饰的三维用户模型。最后,将旋转后的渲染服饰的三维模型进行截图,所得到的截图作为初始服饰图像。
48.第三步,上述执行主体可以从预先训练的图像生成模型集中筛选出与上述目标动作信息相对应图像生成模型,作为目标图像生成模型。
49.其中,图像生成模型集中图像生成模型与动作信息集中的动作信息存在一一对应的关系。例如,图像生成模型可以是生成式对抗网络(gan,generative adversarial networks)模型。例如,图像生成模型集可以包括:第一图像生成模型和第二图像生成模型。第一图像生成模型可以是与跑步动作相关联的模型。即第一图像生成模型的输出结果为与跑步动作相关联的各帧图像。第二图像生成模型可以是与行走动作相关联的模型。即第一图像生成模型的输出结果为与行走动作相关联的各帧图像。
50.第四步,上述执行主体可以将上述初始服饰图像输入至上述目标图像生成模型,以生成用户服饰图像集和动作关联值。
51.其中,上述动作关联值表征上述用户服饰图像集中各个用户服饰图像对应主体间的动作关联程度。上述动作关联值可以是0-1之间的数值。其中,上述目标图像生成模型可以输出多张针对目标动作的图像。即目标图像生成模型存在多个输出。每个输出为后续动作视频中的每一帧图像。
52.第五步,响应于确定上述动作关联值大于预定阈值,上述执行主体可以根据上述用户服饰图像集,生成上述目标动作视频。例如,预定阈值可以是0.8。
53.作为示例,首先,上述执行主体可以通过调用opencv库(跨平台计算机视觉和机器学习软件库),来对上述用户服饰图像集进行图像插图处理,以生成插图后的用户服饰图像集。然后,上述执行主体可以利用opencv库,根据插图后的用户服饰图像集,生成上述目标动作视频。
54.可选地,响应于确定上述动作关联值小于或等于预定阈值,上述执行主体可以将用户服饰图像集发送至图像调整终端,以供相关调整人员利用图像处理软件对用户服饰图像集中存在显著问题的用户服饰图像进行调整。其中,显著问题可以包括但不限于以下之一:图像颜色问题,图像线条问题,图像正反问题,图像光线问题。
55.可选地,上述图像生成模型集中的每个图像生成模型是通过以下步骤训练的:
56.第一步,获取待生成视频的第一帧服饰图像。
57.其中,上述第一帧服饰图像为目标用户点击目标应用界面中视频生成按钮而生成的图像,上述目标应用界面为展示渲染服饰的三维用户模型的界面,上述第一帧服饰图像为上述三维用户模型在目标旋转角度下的截面图像。
58.例如,上述第一帧服饰图像为上述三维用户模型在目标旋转角度下的截图。
59.第二步,确定上述图像生成模型对应的动作信息。
60.第三步,确定针对上述第一帧服饰图像的、与上述动作信息相关联的动作视频。
61.其中,上述动作视频包括的第一帧图像的用户动作姿态与上述第一帧服饰图像的
用户动作姿态相同。其中,与动作信息相关联的动作视频可以是针对上述动作信息预先录制的。即与动作信息相关联的动作视频中的主体可以与初始三维用户模型不同。
62.第四步,对于上述动作视频所包括的多帧动作图像中的每帧动作图像,将上述动作图像和上述第一帧服饰图像输入至初始图像生成模型,以得到与上述动作图像中动作姿态相对应的服饰图像和动作关联值。
63.其中,上述多帧动作图像为上述动作视频对应动作图像序列中去除第一帧图像的多帧图像,上述动作关联值表征上述服饰图像与上述动作信息的关联关系。
64.第五步,将所得到的服饰图像集和上述多帧动作图像分别输入至初始姿态相似度确定模型,以生成相似度值集。
65.其中,初始姿态相似度确定模型可以是多层卷积神经网络模型(convolutional neural networks,cnn)。初始姿态相似度确定模型可以是确定服饰图像集中的服饰图像和多帧动作图像中的动作图像进行主体相似度确定的模型。
66.第六步,根据上述相似度值集和所得到的动作关联值集,可以通过各种方式来对上述初始图像生成模型进行训练,得到训练后的上述图像生成模型。
67.其中,初始图像生成模型可以是参数初始化后的图像生成模型。
68.上述图像生成模型的训练作为本公开的一个发明点,解决了背景技术提及的技术问题三,即“针对三维用户模型的各个动作视频之间的展示内容差别较小,每个动作视频不能准确的体现出对应动作的动作特征”。为了解决上述技术问题,本公开,首先,获取待生成视频的第一帧服饰图像,以用于后续生成针对动作信息的服饰图像集。然后,确定图像生成模型对应的动作信息。在这里,每个图像生成模型都存在唯一对应的动作信息,每个图像生成模型可以准确学习到对应动作执行过程中的各个动作特征信息。接着,通过确定针对上述第一帧服饰图像的、与上述动作信息相关联的动作视频,以用于针对动作视频中各帧图像的图像特征信息,来生成针对第一帧服饰图像的服饰图像集。进一步,通过初始图像生成模型,可以针对每帧动作图像,生成与该帧动作图像对应姿态相同、但服饰信息与第一帧服饰图像相同的服饰图像。除此之外,图像生成模型不仅仅输出对应的服饰图像,还通过生成动作关联值,来表征当前所生成的服饰图像与动作信息之间的关联性。通过设置动作关联值,可以明显的提高服饰图像与动作信息之间的关联关系,以使得后续所得到的服饰图像集对应的动作视频可以准确地体现出上述动作信息对应动作的动作特征。进而,通过初始姿态相似度确定模型来确定服饰图像集中的服饰图像与多帧动作图像中动作图像之间对应姿态的相似度,保障了所生成的服饰图像集对应动作视频的姿态标准性。最后,通过相似度值集和动作关联值集,可以实现针对初始图像生成模型的训练,以得到更为精准的训练后的图像生成模型。
69.可选地,上述根据上述相似度值集和所得到的动作关联值集,对上述初始图像生成模型进行训练,得到训练后的上述图像生成模型,可以包括以下步骤:
70.第一步,确定上述动作关联值集对应的均值。
71.第二步,响应于确定上述相似度集中各个相似度大于或等于第一阈值、且上述均值大于或等于第二阈值,将上述初始图像生成模型确定为训练后的上述图像生成模型。例如,第一阈值为0.7。第二阈值为0.5。
72.可选地,在上述响应于确定上述相似度集中各个相似度大于或等于第一阈值、且
上述均值大于或等于第二阈值,将上述初始图像生成模型确定为训练后的上述图像生成模型之前,上述方法还包括:
73.第一步,响应于确定上述相似度集存在相似度小于上述第一阈值、且上述均值大于或等于上述第二阈值,确定上述相似度集中数值小于上述第一阈值的至少一个相似度。
74.第二步,确定上述至少一个相似度对应的至少一帧动作图像。其中,上述至少一帧动作图像为动作视频中的动作图像。
75.第三步,将上述至少一帧动作图像对应的特征权重设置为第一数值,以及将多帧动作图像中的至少一个目标动作图像的特征权重设置为第二数值。
76.其中,上述第一数值大于上述第二数值,上述至少一个目标动作图像为上述多帧动作图像中去除上述至少一帧动作图像的动作图像。例如,第一数值为0.8。第二数值为0.4。
77.第四步,根据上述第一数值和上述第二数值,再次对上述初始图像生成模型进行训练。
78.作为示例,图像生成模型存在对动作图像进行图像特征信息提取的子模型。由此,上述执行主体可以通过第一数值来动态调整针对至少一帧动作图像的图像特征信息。例如,将至少一帧动作图像对应的至少一个第一图像特征信息乘以第一数值,以得到调整后的至少一个第一图像特征信息。同样地,上述执行主体可以通过第二数值来动态调整针对至少一个目标动作图像的图像特征信息。例如,将至少一个目标动作图像对应的至少一个第二图像特征信息乘以第二数值,以得到调整后的至少一个第二图像特征信息。最后,通过调整后的至少一个第一图像特征信息和调整后的至少一个第二图像特征信息,来实现初始图像生成模型的进一步训练。
79.在这里,通过设置第一数值和第二数值,且第一数值大于第二数值,可以使得在对初始图像生成模型的训练过程中,着重学习针对至少一帧动作图像(相似度低于第一阈值)的特征信息,以此使得训练后的图像生成模型更为精准。
80.可选地,上述初始姿态相似度确定模型包括:初始姿态关键点确定模型和初始关键点相似度确定模型。其中,初始姿态相似度确定模型可以是姿态相似度确定模型中参数初始化后的模型。初始姿态关键点确定模型可以是姿态关键点确定模型参数初始化后的模型。其中,姿态关键点确定模型可以是确定图像中主体姿态关键点的模型。例如,上述姿态关键点确定模型可以是多层卷积神经网络模型。初始关键点相似度确定模型可以是是关键点相似度确定模型参数初始化后的模型。上述关键点相似度确定模型可以是确定关键点之间相似度的模型。例如,上述关键点相似度确定模型可以是多层卷积神经网络模型。
81.可选地,上述将所得到的服饰图像集和上述多帧动作图像分别输入至初始姿态相似度确定模型,以生成相似度值集,可以包括以下步骤:
82.对于上述服饰图像集中的每个服饰图像,执行相似度值生成步骤:
83.子步骤1:将上述服饰图像输入至上述初始姿态关键点确定模型,生成与上述服饰图像相关联的关键点坐标集,作为第一关键点坐标集。
84.其中,与上述服饰图像相关联的关键点坐标集可以是服饰图像中主体的关键点坐标集。其中,关键点坐标集所包括的关键点坐标的数目可以是预先设置的。
85.例如,关键点坐标的数目可以是26个。具体地,上述关键点坐标集可以包括:身体
各个部位的多个关键点。例如,关键点坐标集可以包括:头部位的多个关键点。关键点坐标可以是服饰图像中主体对应关键点在像素矩阵中的像素坐标。
86.子步骤2:确定上述多帧动作图像中的、与上述服饰图像相关联的动作图像,作为目标动作图像。
87.子步骤3:将上述目标动作图像输入至上述初始姿态关键点确定模型,生成与上述目标动作图像相关联的关键点坐标集,作为第二关键点坐标集。
88.子步骤4:将上述第一关键点坐标集和上述第二关键点坐标集输入至上述初始关键点相似度确定模型,以生成上述相似度值集。
89.其中,第一关键点坐标集中第一关键点坐标与第二关键点坐标集中第二关键点存在一一对应的关系。例如,关键点相似度确定模型可以是多层卷积神经网络模型。
90.步骤105,将上述目标动作视频发送至上述目标应用,以供在上述目标应用界面展示上述目标动作视频。
91.在一些实施例中,上述执行主体可以将上述目标动作视频发送至上述目标应用,以供在上述目标应用界面展示上述目标动作视频。
92.本公开的上述各个实施例具有如下有益效果:通过本公开的一些实施例的动作视频发送方法可以准确地生成针对服饰的定制视频。具体来说,造成针对服饰的定制视频不够精确的原因在于:第一,针对服饰的各个角度的展示视频或图片千篇一律,无法针对各个用户的用户信息,进行定制化展示;第二,当采用同一尺度大小的三维用户模型来展示服饰,展示效果与用户穿戴服饰的效果差距较大。基于此,本公开的一些实施例的动作视频发送方法,首先,响应于检测到目标用户在目标应用界面上已点击针对目标服饰的查看按钮,指示目标应用在上述目标应用界面上生成用户信息输入框,以供后续目标用户输入用户信息,来生成用户信息相对应的初始三维用户模型。然后,响应于接收到上述目标用户在上述用户信息输入框所输入的用户信息,生成与上述用户信息相对应的初始三维用户模型。在这里,通过目标用户的用户信息,可以生成与目标用户相对应的定制用户模型,以便于后续用户依据定制用户模型筛选出喜好的服饰。接着,将上述目标服饰的服饰图案信息渲染至上述初始三维用户模型,以生成渲染服饰的三维用户模型。在这里,在避免了用户亲身去试穿服饰的情况下,通过生所成渲染服饰的三维用户模型,可以让用户切身感受到穿戴目标服饰时的样貌,提高了用户的服饰试穿体验。接着,响应于检测到上述目标用户在目标应用界面上已点击针对上述渲染服饰的三维用户模型的目标动作执行按钮,生成与上述渲染服饰的三维用户模型相对应的目标动作视频。其中,上述目标动作执行按钮为目标动作信息对应的动作执行按钮。在这里,通过生成目标动作视频,可以有效地展示假设目标用户穿戴目标服饰以执行目标动作的形体情况(例如,用户执行动作时,穿戴的目标服饰是否合身),以此,从动作形态上可以展示用户穿戴目标服饰的效果,便于用户筛选所喜好的服饰。最后,将上述目标动作视频发送至上述目标应用,以供在上述目标应用界面展示上述目标动作视频。在这里,通过目标动作视频,可以较大程度展现了目标用户穿戴目标服饰以执行目标动作时的样貌情况,以便于目标用户确定目标服饰是否适合。
93.进一步参考图2,作为对上述各图所示方法的实现,本公开提供了一种动作视频发送装置的一些实施例,这些装置实施例与图1所示的那些方法实施例相对应,该装置具体可以应用于各种电子设备中。
94.如图2所示,一种动作视频发送装置200包括:指示单元201、第一生成单元202、渲染单元203、第二生成单元204和发送单元205。其中,指示单元201,被配置成响应于检测到目标用户在目标应用界面上已点击针对目标服饰的查看按钮,指示目标应用在上述目标应用界面上生成用户信息输入框;第一生成单元202,被配置成响应于接收到上述目标用户在上述用户信息输入框所输入的用户信息,生成与上述用户信息相对应的初始三维用户模型;渲染单元203,被配置成将上述目标服饰的服饰图案信息渲染至上述初始三维用户模型,以生成渲染服饰的三维用户模型;第二生成单元204,被配置成响应于检测到上述目标用户在目标应用界面上已点击针对上述渲染服饰的三维用户模型的目标动作执行按钮,生成与上述渲染服饰的三维用户模型相对应的目标动作视频,其中,上述目标动作执行按钮为目标动作信息对应的动作执行按钮;发送单元205,被配置成将上述目标动作视频发送至上述目标应用,以供在上述目标应用界面展示上述目标动作视频。
95.可以理解的是,该装置200中记载的诸单元与参考图1描述的方法中的各个步骤相对应。由此,上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置200及其中包含的单元,在此不再赘述。
96.下面参考图3,其示出了适于用来实现本公开的一些实施例的电子设备(例如,电子设备)300的结构示意图。图3示出的电子设备仅仅是一个示例,不应对本公开的实施例的功能和使用范围带来任何限制。
97.如图3所示,电子设备300可以包括处理装置(例如中央处理器、图形处理器等)301,其可以根据存储在只读存储器(rom)302中的程序或者从存储装置308加载到随机访问存储器(ram)303中的程序而执行各种适当的动作和处理。在ram 303中,还存储有电子设备300操作所需的各种程序和数据。处理装置301、rom 302以及ram303通过总线304彼此相连。输入/输出(i/o)接口305也连接至总线304。
98.通常,以下装置可以连接至i/o接口305:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置306;包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置307;包括例如磁带、硬盘等的存储装置308;以及通信装置309。通信装置309可以允许电子设备300与其他设备进行无线或有线通信以交换数据。虽然图3示出了具有各种装置的电子设备300,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图3中示出的每个方框可以代表一个装置,也可以根据需要代表多个装置。
99.特别地,根据本公开的一些实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的一些实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的一些实施例中,该计算机程序可以通过通信装置309从网络上被下载和安装,或者从存储装置308被安装,或者从rom 302被安装。在该计算机程序被处理装置301执行时,执行本公开的一些实施例的方法中限定的上述功能。
100.需要说明的是,本公开的一些实施例上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线
的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的一些实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的一些实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、rf(射频)等等,或者上述的任意合适的组合。
101.在一些实施方式中,客户端、服务器可以利用诸如http(hypertext transfer protocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“lan”),广域网(“wan”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
102.上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:响应于检测到目标用户在目标应用界面上已点击针对目标服饰的查看按钮,指示目标应用在上述目标应用界面上生成用户信息输入框;响应于接收到上述目标用户在上述用户信息输入框所输入的用户信息,生成与上述用户信息相对应的初始三维用户模型;将上述目标服饰的服饰图案信息渲染至上述初始三维用户模型,以生成渲染服饰的三维用户模型;响应于检测到上述目标用户在目标应用界面上已点击针对上述渲染服饰的三维用户模型的目标动作执行按钮,生成与上述渲染服饰的三维用户模型相对应的目标动作视频,其中,上述目标动作执行按钮为目标动作信息对应的动作执行按钮;将上述目标动作视频发送至上述目标应用,以供在上述目标应用界面展示上述目标动作视频。
103.可以以一种或多种程序设计语言或其组合来编写用于执行本公开的一些实施例的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++,还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)——连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
104.附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标
注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
105.描述于本公开的一些实施例中的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括:指示单元、第一生成单元、渲染单元、第二生成单元和发送单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,发送单元还可以被描述为“将上述目标动作视频发送至上述目标应用,以供在上述目标应用界面展示上述目标动作视频的单元”。
106.本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑设备(cpld)等等。
107.以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开的实施例中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

技术特征:
1.一种动作视频发送方法,包括:响应于检测到目标用户在目标应用界面上已点击针对目标服饰的查看按钮,指示目标应用在所述目标应用界面上生成用户信息输入框;响应于接收到所述目标用户在所述用户信息输入框所输入的用户信息,生成与所述用户信息相对应的初始三维用户模型;将所述目标服饰的服饰图案信息渲染至所述初始三维用户模型,以生成渲染服饰的三维用户模型;响应于检测到所述目标用户在目标应用界面上已点击针对所述渲染服饰的三维用户模型的目标动作执行按钮,生成与所述渲染服饰的三维用户模型相对应的目标动作视频,其中,所述目标动作执行按钮为目标动作信息对应的动作执行按钮;将所述目标动作视频发送至所述目标应用,以供在所述目标应用界面展示所述目标动作视频。2.根据权利要求1所述的方法,其中,在所述将所述目标服饰的服饰图案信息渲染至所述初始三维用户模型,以生成渲染服饰的三维用户模型之后,所述方法还包括:在所述目标应用界面上展示所述渲染服饰的三维用户模型,以及在所述目标应用界面展示针对动作信息集的动作信息选择框;响应于接收到所述目标用户在所述动作信息选择框中所选择的动作信息,将所选择的动作信息确定为目标动作信息,以及生成针对所述目标动作信息的动作执行按钮,其中,所述目标动作信息为所述动作信息集中的信息。3.根据权利要求1所述的方法,其中,所述生成与所述渲染服饰的三维用户模型相对应的目标动作视频,包括:确定所述目标用户在目标应用界面对所述渲染服饰的三维用户模型进行旋转的旋转角度;根据所述旋转角度,生成相对应的初始服饰图像;从预先训练的图像生成模型集中筛选出与所述目标动作信息相对应图像生成模型,作为目标图像生成模型;将所述初始服饰图像输入至所述目标图像生成模型,以生成用户服饰图像集和动作关联值,其中,所述动作关联值表征所述用户服饰图像集中各个用户服饰图像对应主体间的动作关联程度;响应于确定所述动作关联值大于预定阈值,根据所述用户服饰图像集,生成所述目标动作视频。4.根据权利要求3所述的方法,其中,所述图像生成模型集中的每个图像生成模型是通过以下步骤训练的:获取待生成视频的第一帧服饰图像,其中,所述第一帧服饰图像为目标用户点击目标应用界面中视频生成按钮而生成的图像,所述目标应用界面为展示渲染服饰的三维用户模型的界面,所述第一帧服饰图像为所述三维用户模型在目标旋转角度下的截面图像;确定所述图像生成模型对应的动作信息;确定针对所述第一帧服饰图像的、与所述动作信息相关联的动作视频,其中,所述动作视频包括的第一帧图像的用户动作姿态与所述第一帧服饰图像的用户动作姿态相同;
对于所述动作视频所包括的多帧动作图像中的每帧动作图像,将所述动作图像和所述第一帧服饰图像输入至初始图像生成模型,以得到与所述动作图像中动作姿态相对应的服饰图像和动作关联值,其中,所述多帧动作图像为所述动作视频对应动作图像序列中去除第一帧图像的多帧图像,所述动作关联值表征所述服饰图像与所述动作信息的关联关系;将所得到的服饰图像集和所述多帧动作图像分别输入至初始姿态相似度确定模型,以生成相似度值集;根据所述相似度值集和所得到的动作关联值集,对所述初始图像生成模型进行训练,得到训练后的所述图像生成模型。5.根据权利要求4所述的方法,其中,所述根据所述相似度值集和所得到的动作关联值集,对所述初始图像生成模型进行训练,得到训练后的所述图像生成模型,包括:确定所述动作关联值集对应的均值;响应于确定所述相似度集中各个相似度大于或等于第一阈值、且所述均值大于或等于第二阈值,将所述初始图像生成模型确定为训练后的所述图像生成模型。6.根据权利要求5所述的方法,其中,在所述响应于确定所述相似度集中各个相似度大于或等于第一阈值、且所述均值大于或等于第二阈值,将所述初始图像生成模型确定为训练后的所述图像生成模型之前,所述方法还包括:响应于确定所述相似度集存在相似度小于所述第一阈值、且所述均值大于或等于所述第二阈值,确定所述相似度集中数值小于所述第一阈值的至少一个相似度;确定所述至少一个相似度对应的至少一帧动作图像;将所述至少一帧动作图像对应的特征权重设置为第一数值,以及将多帧动作图像中的至少一个目标动作图像的特征权重设置为第二数值,其中,所述第一数值大于所述第二数值,所述至少一个目标动作图像为所述多帧动作图像中去除所述至少一帧动作图像的动作图像;根据所述第一数值和所述第二数值,再次对所述初始图像生成模型进行训练。7.根据权利要求4所述的方法,其中,所述初始姿态相似度确定模型包括:初始姿态关键点确定模型和初始关键点相似度确定模型;以及所述将所得到的服饰图像集和所述多帧动作图像分别输入至初始姿态相似度确定模型,以生成相似度值集,包括:对于所述服饰图像集中的每个服饰图像,执行相似度值生成步骤:将所述服饰图像输入至所述初始姿态关键点确定模型,生成与所述服饰图像相关联的关键点坐标集,作为第一关键点坐标集;确定所述多帧动作图像中的、与所述服饰图像相关联的动作图像,作为目标动作图像;将所述目标动作图像输入至所述初始姿态关键点确定模型,生成与所述目标动作图像相关联的关键点坐标集,作为第二关键点坐标集;将所述第一关键点坐标集和所述第二关键点坐标集输入至所述初始关键点相似度确定模型,以生成所述相似度值集。8.一种动作视频发送装置,包括:指示单元,被配置成响应于检测到目标用户在目标应用界面上已点击针对目标服饰的查看按钮,指示目标应用在所述目标应用界面上生成用户信息输入框;
第一生成单元,被配置成响应于接收到所述目标用户在所述用户信息输入框所输入的用户信息,生成与所述用户信息相对应的初始三维用户模型;渲染单元,被配置成将所述目标服饰的服饰图案信息渲染至所述初始三维用户模型,以生成渲染服饰的三维用户模型;第二生成单元,被配置成响应于检测到所述目标用户在目标应用界面上已点击针对所述渲染服饰的三维用户模型的目标动作执行按钮,生成与所述渲染服饰的三维用户模型相对应的目标动作视频,其中,所述目标动作执行按钮为目标动作信息对应的动作执行按钮;发送单元,被配置成将所述目标动作视频发送至所述目标应用,以供在所述目标应用界面展示所述目标动作视频。9.一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。10.一种计算机可读介质,其上存储有计算机程序,其中,所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。

技术总结
本公开的实施例公开了动作视频发送方法、装置、设备和介质。该方法的一具体实施方式包括:响应于检测到目标用户在目标应用界面上已点击针对目标服饰的查看按钮,指示目标应用在目标应用界面上生成用户信息输入框;响应于接收到目标用户在用户信息输入框所输入的用户信息,生成与用户信息相对应的初始三维用户模型;将目标服饰的服饰图案信息渲染至初始三维用户模型,以生成渲染服饰的三维用户模型;响应于检测到目标用户在目标应用界面上已点击针对渲染服饰的三维用户模型的目标动作执行按钮,生成与渲染服饰的三维用户模型相对应的目标动作视频;将目标动作视频发送至目标应用。该实施方式可以准确地生成针对服饰的定制视频。视频。视频。


技术研发人员:王铁心 李维 邢云 董镇毓 吕峥 郑禄秀 李健 朱智慧
受保护的技术使用者:中关村科学城城市大脑股份有限公司
技术研发日:2022.07.15
技术公布日:2022/11/1
转载请注明原文地址: https://tieba.8miu.com/read-2204.html

最新回复(0)