本技术涉及人工智能,尤其是涉及一种人脸表情编辑方法、电子设备、存储介质。
背景技术:
1、人脸表情编辑技术是一项在不改变人脸身份的前提下,调整人脸图像中的表情以符合预期目标表情的技术。人脸表情编辑技术在医疗和金融领域具有显著的应用潜力。在医疗领域,人脸表情编辑可以用于心理治疗和受试者情绪分析。在金融领域,人脸表情编辑技术可以应用于客户服务和风险管理。
2、在人脸表情编辑的相关技术中,可以采用条件生成对抗网络(generat i veadversar i a l networks,gan)或变分自编码器(vae)等结构,将输入的人脸图像和目标表情种类标签作为条件,以生成具有目标表情的输出人脸图像。然而,这一方式对于表情的局部细节关注不足,导致在表情转换过程中可能出现伪影和模糊,这影响了生成图像的质量和自然度。因此,如何生成质量更高的表情编辑图像,已经成为业内亟待解决的一个问题。
技术实现思路
1、本技术旨在至少解决现有技术中存在的技术问题之一。为此,本技术提出一种人脸表情编辑方法、电子设备、存储介质,能够生成质量更高的表情编辑图像。
2、根据本技术的第一方面实施例的人脸表情编辑方法,包括:
3、获取目标编辑表情种类、表情强度编辑指令以及待编辑表情的初始表情图像;
4、获取经过编辑能力训练的表情编辑模型;其中,所述表情编辑模型包括图像特征提取网络、表情控制网络和图像生成网络;
5、通过所述图像特征提取网络对所述初始表情图像进行特征提取,得到图像特征信息;
6、在所述表情控制网络中,根据所述目标编辑表情种类和所述表情强度编辑指令,生成表情编辑信息;
7、通过所述图像生成网络,根据所述图像特征信息与所述表情编辑信息,生成编辑表情后的目标表情图像。
8、根据本技术的一些实施例,所述获取经过编辑能力训练的表情编辑模型,包括:
9、确定原始表情编辑模型;其中,所述原始表情编辑模型包括原始的所述图像特征提取网络、原始的所述表情控制网络和原始的所述图像生成网络;
10、获取多张表情样本图像、每一所述表情样本图像对应的表情种类标签、每一所述表情样本图像对应的先验表情信息以及每一所述表情样本图像对应的先验特征信息;
11、基于多张所述表情样本图像、每一所述表情样本图像对应的所述表情种类标签以及每一所述表情种类标签对应的所述先验表情信息,对原始的所述表情控制网络进行第一阶段训练;
12、在所述第一阶段训练之后,基于多张所述表情样本图像和每一所述表情样本图像对应的所述先验特征信息,对原始的所述图像特征提取网络进行第二阶段训练;
13、在所述第二阶段训练之后,基于多张所述表情样本图像和每一所述表情样本图像对应的所述表情种类标签,对原始的所述图像生成网络进行第三阶段训练;
14、将经历过所述第一阶段训练、所述第二阶段训练以及所述第三阶段训练的所述原始表情编辑模型,确定为经过编辑能力训练的所述表情编辑模型。
15、根据本技术的一些实施例,所述基于多张所述表情样本图像、每一所述表情样本图像对应的所述表情种类标签以及每一所述表情种类标签对应的所述先验表情信息,对原始的所述表情控制网络进行第一阶段训练,包括:
16、将所述表情种类标签输入原始的所述表情控制网络,以使所述表情控制网络对所述表情种类标签进行表情控制训练,生成第一表情训练数据;
17、将所述表情种类标签对应的所述先验表情信息与所述第一表情训练数据进行比对,得到第一偏差数据;
18、基于所述第一偏差数据更新所述表情控制网络的模型参数,返回执行将所述表情种类标签输入原始的所述表情控制网络,直至所述表情控制网络满足预设的第一阶段终止条件,结束所述第一阶段训练。
19、根据本技术的一些实施例,所述将所述表情种类标签输入原始的所述表情控制网络,以使所述表情控制网络对所述表情种类标签进行表情控制训练,生成第一表情训练数据,包括:
20、将所述表情种类标签输入原始的所述表情控制网络,并向所述表情控制网络引入强度控制训练信号;
21、在所述表情控制网络中,基于所述强度控制训练信号对所述表情种类标签进行表情控制训练,生成所述第一表情训练数据。
22、根据本技术的一些实施例,所述基于多张所述表情样本图像和每一所述表情样本图像对应的所述先验特征信息,对原始的所述图像特征提取网络进行第二阶段训练,包括:
23、将所述表情样本图像输入原始的所述图像特征提取网络,以使所述图像特征提取网络对所述表情样本图像进行图像特征提取训练,得到第一图像特征训练数据;
24、将所述表情样本图像对应的所述先验特征信息与所述第一图像特征训练数据进行比对,得到第二偏差数据;
25、基于所述第二偏差数据更新所述图像特征提取网络的模型参数,返回执行将所述表情样本图像输入所述图像特征提取网络,直至所述图像特征提取网络满足预设的第二阶段终止条件,结束所述第二阶段训练。
26、根据本技术的一些实施例,所述基于多张所述表情样本图像和每一所述表情样本图像对应的所述表情种类标签,对原始的所述图像生成网络进行第三阶段训练,包括:
27、将所述表情种类标签输入所述第一阶段训练后的所述表情控制网络,以使所述表情控制网络对所述表情种类标签进行表情控制训练,得到第二表情训练数据;
28、将所述表情样本图像输入所述第二阶段训练后的所述图像特征提取网络,以使所述图像特征提取网络对所述表情样本图像进行图像特征提取训练,得到第二图像特征训练数据;
29、将所述第二表情训练数据和所述第二图像特征训练数据输入原始的所述图像生成网络,以使所述图像生成网络根据所述第二表情训练数据和所述第二图像特征训练数据,生成表情编辑训练数据;
30、将所述表情样本图像与对应的所述表情编辑训练数据进行真值比对,得到第三偏差数据;
31、基于所述第三偏差数据更新所述图像生成网络的模型参数,返回执行将所述表情种类标签输入所述第一阶段训练后的所述表情控制网络,直至所述图像生成网络满足预设的第三阶段终止条件,结束所述第三阶段训练。
32、根据本技术的一些实施例,所述获取多张表情样本图像、每一所述表情样本图像对应的表情种类标签、每一所述表情样本图像对应的先验表情信息以及每一所述表情样本图像对应的先验特征信息,包括:
33、获取多张所述表情样本图像、和每一所述表情样本图像对应的表情种类标签;
34、将每一所述表情样本图像输入预先训练的所述表情解析模型进行表情解析处理,得到每一所述表情样本图像对应的所述先验表情信息;
35、将每一所述表情样本图像输入预先训练的所述特征提取模型进行特征提取处理,得到每一所述表情样本图像对应的所述先验特征信息。
36、根据本技术的第二方面实施例的人脸表情编辑装置,包括:
37、数据获取单元,用于获取目标编辑表情种类、表情强度编辑指令以及待编辑表情的初始表情图像;
38、模型获取单元,用于获取经过编辑能力训练的表情编辑模型;其中,所述表情编辑模型包括图像特征提取网络、表情控制网络和图像生成网络;
39、所述图像特征提取网络,用于对所述初始表情图像进行特征提取,得到图像特征信息;
40、所述表情控制网络,用于根据所述目标编辑表情种类和所述表情强度编辑指令,生成表情编辑信息;
41、所述图像生成网络,用于根据所述图像特征信息与所述表情编辑信息,生成编辑表情后的目标表情图像。
42、第三方面,本技术实施例提供了一种电子设备,包括:存储器、处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如本技术第一方面实施例中任意一项所述的人脸表情编辑方法。
43、第四方面,本技术实施例提供了一种计算机可读存储介质,所述存储介质存储有程序,所述程序被处理器执行实现如本技术第一方面实施例中任意一项所述的人脸表情编辑方法。
44、根据本技术实施例的人脸表情编辑方法、电子设备、存储介质,至少具有如下有益效果:
45、根据本技术实施例的人脸表情编辑方法,需要先获取目标编辑表情种类、表情强度编辑指令以及待编辑表情的初始表情图像,进一步,获取经过编辑能力训练的表情编辑模型;其中,表情编辑模型包括图像特征提取网络、表情控制网络和图像生成网络。再进一步,通过图像特征提取网络对初始表情图像进行特征提取,得到图像特征信息。在表情控制网络中,根据目标编辑表情种类和表情强度编辑指令,生成表情编辑信息,并通过图像生成网络,根据图像特征信息与表情编辑信息,生成编辑表情后的目标表情图像。如此一来,便能够生成质量更高的表情编辑图像。
46、本技术的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本技术的实践了解到。
1.一种人脸表情编辑方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述获取经过编辑能力训练的表情编辑模型,包括:
3.根据权利要求2所述的方法,其特征在于,所述基于多张所述表情样本图像、每一所述表情样本图像对应的所述表情种类标签以及每一所述表情种类标签对应的所述先验表情信息,对原始的所述表情控制网络进行第一阶段训练,包括:
4.根据权利要求3所述的方法,其特征在于,所述将所述表情种类标签输入原始的所述表情控制网络,以使所述表情控制网络对所述表情种类标签进行表情控制训练,生成第一表情训练数据,包括:
5.根据权利要求2所述的方法,其特征在于,所述基于多张所述表情样本图像和每一所述表情样本图像对应的所述先验特征信息,对原始的所述图像特征提取网络进行第二阶段训练,包括:
6.根据权利要求2所述的方法,其特征在于,所述基于多张所述表情样本图像和每一所述表情样本图像对应的所述表情种类标签,对原始的所述图像生成网络进行第三阶段训练,包括:
7.根据权利要求2所述的方法,其特征在于,所述获取多张表情样本图像、每一所述表情样本图像对应的表情种类标签、每一所述表情样本图像对应的先验表情信息以及每一所述表情样本图像对应的先验特征信息,包括:
8.一种人脸表情编辑装置,其特征在于,包括:
9.一种电子设备,其特征在于,包括:存储器、处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的人脸表情编辑方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质存储有程序,所述程序被处理器执行实现如权利要求1至7中任意一项所述的人脸表情编辑方法。