1.本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、训练方法、装置、电子设备及存储介质。
背景技术：2.随着时代的进步，人们对美的追求也越来越高，美颜相关的技术随之飞速发展。一方面，人们希望自己拍照所得人像照片变美，如使得皮肤变白，减少面部瑕疵，对脸型进行微小调整，使得在保持自身原有面貌的同时改善观感。另一方面，人们还希望可以在自身原有样子的基础上增加一些特征的修改。例如，生成真实自然的双眼皮效果，使得眼睛看起来更大更有精神；调整牙齿形状，将牙齿形状变得美观整齐等。
3.相关技术中，在对人像进行处理时，无法准确的按照设计者的意愿，精细的操控具体细节，使得处理完成的图像效果较差，缺乏真实感。例如，相关技术中可以生成指定形状的双眼皮，但双眼皮真实感不足，因为生成的双眼皮像是画上去的阴影，皮肤没有皮肤纹理细节。
技术实现要素：4.本公开提供一种图像处理方法、训练方法、装置、电子设备及存储介质，以至少解决相关技术中处理后的图像效果差以及真实感不足的问题。本公开的技术方案如下：
5.根据本公开实施例的第一方面，提供一种图像处理模型的训练方法，包括：
6.获取数据集，所述数据集包括针对目标部位的第一图像集、针对所述目标部位且所述目标部位包括目标部位类型的第二图像集、以及在所述第一图像集中各图像的所述目标部位上添加所述目标部位类型和目标部位形态的第三图像集；
7.将所述第一图像集中图像输入至第一图像处理模型进行图像处理，获得第一生成图像；所述第一图像处理模型包括特征提取网络和第一生成对抗网络；
8.将所述第一图像集中图像输入至第二图像处理模型进行图像处理，获得第二生成图像；所述第二图像处理模型包括所述特征提取网络和第二生成对抗网络；
9.确定所述第一生成图像与所述第三图像集中图像的第一损失函数值，并确定所述第二生成图像与所述第二图像集中图像的对抗网络损失函数值；
10.根据所述第一损失函数值和所述对抗网络损失函数值，对所述第一图像处理模型和第二图像处理模型的网络参数进行优化，获得训练完成的第二图像处理模型，所述训练完成的第二图像处理模型用于将待处理图像处理为目标部位具有所述目标部位类型和目标部位形态的图像。
11.可选的，所述将所述第一图像集中图像输入至第一图像处理模型进行图像处理，获得第一生成图像，包括：
12.将所述第一图像集中图像输入至所述第一图像处理模型，通过所述特征提取网络对所述第一图像集中图像进行特征提取处理并生成轮廓特征，获得特征图像；
13.通过所述第一生成对抗网络对所述特征图像进行细节特征生成处理，获得所述第一生成图像。
14.可选的，所述将所述第一图像集中图像输入至第二图像处理模型进行图像处理，获得第二生成图像，包括：
15.将所述第一图像集中图像输入至所述第二图像处理模型，通过所述特征提取网络对所述第一图像集中图像进行特征提取处理并生成轮廓特征，获得特征图像；
16.通过所述第二生成对抗网络对所述特征图像进行细节特征生成处理，获得所述第二生成图像。
17.可选的，在所述将所述第一图像集中各图像输入至第一图像处理模型进行图像处理，获得第一生成图像之前，还包括：
18.从所述第一图像集中选取一张或多张图像，作为第一图像，从所述第二图像集中选取一张或多张图像，作为第二图像，并从所述第三图像集中选取与所述第一图像对应的第三图像；
19.所述将所述第一图像集中图像输入至第一图像处理模型进行图像处理，获得第一生成图，包括：
20.将所述第一图像输入至第一图像处理模型进行图像处理，获得第一生成图；
21.将所述第一图像集中图像输入至第二图像处理模型进行图像处理，获得第二生成图像，包括：
22.将所述第一图像输入至第二图像处理模型进行图像处理，获得第二生成图像；
23.所述确定所述第一生成图像与所述第三图像集中图像的第一损失函数值，并确定所述第二生成图像与所述第二图像集中图像的对抗网络损失函数值，包括：
24.确定所述第一生成图像与所述第三图像的绝对平均值误差，得到所述第一损失函数值，并确定所述第二生成图像与所述第二图像的对抗网络误差，得到所述对抗网络损失函数值。
25.可选的，所述获得训练完成的第二图像处理模型，包括：
26.迭代执行通过所述第一图像处理模型对所述第一图像集中图像进行图像处理、通过所述第二图像处理模型对所述第一图像集中图像进行图像处理、以及根据所述第一损失函数值和所述对抗网络损失函数值对所述第一图像处理模型和所述第二图像处理模型的网络参数进行优化的操作，直至所述第一损失函数值和所述对抗网络损失函数值收敛，得到训练完成的第二图像处理模型。
27.可选的，所述根据所述第一损失函数值和所述对抗网络损失函数值，对所述第一图像处理模型和第二图像处理模型的网络参数进行优化，包括：
28.根据所述第一损失函数值和所述对抗网络损失函数值，采用随机梯度下降法对所述第一图像处理模型和所述第二图像处理模型的网络参数进行联合优化。
29.根据本公开实施例的第二方面，提供一种图像处理方法，包括：
30.获取待处理的目标部位图像；
31.通过第二图像处理模型对所述目标部位图像进行处理，得到目标部位具有目标部位类型和目标部位形态的目标图像，其中，所述第二图像处理模型是基于第一方面所述的图像处理模型的训练方法训练而成的。
32.根据本公开实施例的第三方面，提供一种图像处理模型的训练装置，包括：
33.数据获取模块，被配置为执行获取数据集，所述数据集包括针对目标部位的第一图像集、针对所述目标部位且所述目标部位包括目标部位类型的第二图像集、以及在所述第一图像集中各图像的所述目标部位上添加所述目标部位类型和目标部位形态的第三图像集；
34.第一图像处理模块，被配置为执行将所述第一图像集中图像输入至第一图像处理模型进行图像处理，获得第一生成图像；所述第一图像处理模型包括特征提取网络和第一生成对抗网络；
35.第二图像处理模块，被配置为执行将所述第一图像集中图像输入至第二图像处理模型进行图像处理，获得第二生成图像；所述第二图像处理模型包括所述特征提取网络和第二生成对抗网络；
36.损失函数值确定模块，被配置为执行确定所述第一生成图像与所述第三图像集中图像的第一损失函数值，并确定所述第二生成图像与所述第二图像集中图像的对抗网络损失函数值；
37.网络参数优化模块，被配置为执行根据所述第一损失函数值和所述对抗网络损失函数值，对所述第一图像处理模型和第二图像处理模型的网络参数进行优化，获得训练完成的第二图像处理模型，所述训练完成的第二图像处理模型用于将待处理图像处理为目标部位具有所述目标部位类型和目标部位形态的图像。
38.可选的，所述第一图像处理模块包括：
39.特征提取单元，被配置为执行将所述第一图像集中图像输入至所述第一图像处理模型，通过所述特征提取网络对所述第一图像集中图像进行特征提取处理并生成轮廓特征，获得特征图像；
40.第一细节特征生成单元，被配置为执行通过所述第一生成对抗网络对所述特征图像进行细节特征生成处理，获得所述第一生成图像。
41.可选的，所述第二图像处理模块包括：
42.特征提取单元，被配置为执行将所述第一图像集中图像输入至所述第二图像处理模型，通过所述特征提取网络对所述第一图像集中图像进行特征提取处理并生成轮廓特征，获得特征图像；
43.第二细节特征生成单元，被配置为执行通过所述第二生成对抗网络对所述特征图像进行细节特征生成处理，获得所述第二生成图像。
44.可选的，所述装置还包括：
45.数据选取模块，被配置为执行从所述第一图像集中选取一张或多张图像，作为第一图像，从所述第二图像集中选取一张或多张图像，作为第二图像，并从所述第三图像集中选取与所述第一图像对应的第三图像；
46.所述第一图像处理模块被配置为执行：
47.将所述第一图像输入至第一图像处理模型进行图像处理，获得第一生成图；
48.所述第二图像处理模块被配置为执行：
49.将所述第一图像输入至第二图像处理模型进行图像处理，获得第二生成图像；
50.所述损失函数值确定模块被配置为执行：
51.确定所述第一生成图像与所述第三图像的绝对平均值误差，得到所述第一损失函数值，并确定所述第二生成图像与所述第二图像的对抗网络误差，得到所述对抗网络损失函数值。
52.可选的，所述网络参数优化模块包括：
53.训练控制单元，被配置执行迭代执行通过所述第一图像处理模型对所述第一图像集中图像进行图像处理、通过所述第二图像处理模型对所述第一图像集中图像进行图像处理、以及根据所述第一损失函数值和所述对抗网络损失函数值对所述第一图像处理模型和所述第二图像处理模型的网络参数进行优化的操作，直至所述第一损失函数值和所述对抗网络损失函数值收敛，得到训练完成的第二图像处理模型。
54.可选的，所述网络参数优化模块包括：
55.参数优化单元，被配置为执行根据所述第一损失函数值和所述对抗网络损失函数值，采用随机梯度下降法对所述第一图像处理模型和所述第二图像处理模型的网络参数进行联合优化。
56.根据本公开实施例的第四方面，提供一种图像处理装置，包括：
57.图像获取模块，被配置为执行获取待处理的目标部位图像；
58.图像处理模块，被配置为执行通过第二图像处理模型对所述目标部位图像进行处理，得到目标部位具有目标部位类型和目标部位形态的目标图像，其中，所述第二图像处理模型是基于所述第一方面所述的图像处理模型的训练方法训练而成的。
59.根据本公开实施例的第五方面，提供一种电子设备，包括：
60.处理器；
61.用于存储所述处理器可执行指令的存储器；
62.其中，所述处理器被配置为执行所述指令，以实现如第一方面所述的图像处理模型的训练方法，或者实现如第二方面所述的图像处理方法。
63.根据本公开实施例的第六方面，提供一种计算机可读存储介质，当所述计算机存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如第一方面所述的图像处理模型的训练方法，或者执行如第二方面所述的图像处理方法。
64.根据本公开实施例的第七方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面所述的图像处理模型的训练方法，或者实现第二方面所述的图像处理方法。
65.本公开的实施例提供的技术方案至少带来以下有益效果：
66.本公开实施例通过获取数据集，所述数据集包括针对目标部位的第一图像集、针对目标部位且目标部位包括目标部位类型的第二图像集、以及在第一图像集中个图形的目标部位上添加目标部位类型和目标部位形态的第三图像集，通过第一图像处理模型对第一图像集中图像进行处理，获得第一生成图像，通过第二图像处理模型对第一图像集中图像进行处理，获得第二生成图像，确定第一生成图像与第三图像集中图像的第一损失函数值，并确定第二生成图像与第二图像集中图像的对抗网络损失函数值，根据第一损失函数值和对抗网络损失函数值对第一图像处理模型和第二图像处理模型的网络参数进行优化，获得训练完成的第二图像处理模型，由于在训练的过程中，网络可以学习第三图像集中图像的目标部位类型和目标部位形态的特征，并可以学习第二图像集中图像的细节特征，从而训
练完成的第二图像处理模型可以操控具体细节，处理的图像可以提高真实感，增强图像效果。
67.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
68.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
69.图1是根据一示例性实施例示出的一种图像处理模型的训练方法的流程图；
70.图2是根据一示例性实施例示出的一种图像处理模型的训练方法的流程图；
71.图3是本公开实施例中对第一图像处理模型和第二图像处理模型的训练示意图；
72.图4是根据一示例性实施例示出的一种图像处理方法的流程图；
73.图5是根据一示例性实施例示出的一种图像处理模型的训练装置的框图；
74.图6是根据一示例性实施例示出的一种图像处理装置的框图；
75.图7根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
76.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
77.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
78.图1是根据一示例性实施例示出的一种图像处理模型的训练方法的流程图，如图1所示，该图像处理模型的训练方法可以用于服务器等电子设备中，包括以下步骤。
79.在步骤s11中，获取数据集，所述数据集包括针对目标部位的第一图像集、针对所述目标部位且所述目标部位包括目标部位类型的第二图像集、以及在所述第一图像集中各图像的所述目标部位上添加所述目标部位类型和目标部位形态的第三图像集。
80.本公开实施例中的图像处理模型可以是对人脸目标部位进行处理的模型。例如，所述目标部位可以是眼皮，目标部位类型可以是双眼皮，双眼皮的形态有平行和扇形，目标部位形态例如可以是平行。
81.第一图像集、第二图像集和第三图像集用于训练第一图像处理模型和第二图像处理模型，第一图像处理模型和第二图像处理模型共享特征提取网络，训练完成后，使用第二图像处理模型对目标部位图像进行处理，可以生成目标部位具有目标部位类型和目标部位形态的目标图像。第一图像集中的图像可以是目标部位不具有目标部位类型和目标部位形态的图像，也可以是目标部位具有目标部位类型的图像；第二图像集中的图像是目标部位具有目标部位类型的图像；第三图像集中的图像是在第一图像集中对应图像的目标部位上
添加目标部位类型和目标部位形态的图像。例如，第一图像集中的图像可以是单眼皮图像，第二图像集中的图像可以是双眼皮图像，双眼皮图像的形态可以是扇形或平行，第三图像集中的图像是在第一图像集中图像的眼皮部位上添加为平行的双眼皮得到的图像。第三图像集中图像的生成方法有多种，例如可以由设计师通过ps在第一图像集的图像中画上平行双眼皮，生成平行双眼皮图像，或者由已有的神经网络模型生成平行双眼皮图像，但是，这样得到的双眼皮图像真实感较差，缺乏纹理细节。
82.第一图像集中的图像作为网络训练时网络的输入数据，第二图像中的图像作为网络训练时学习皮肤纹理等细节特征的目标，第三图像集中的图像作为网络训练时学习线条等轮廓特征的目标。
83.当前其他的生成算法，通常都需要收集大量数据后长时间训练神经网络。若改变所需的生成形态，需要重新生成并标注数据，重新训练，难度和时间成本都很大。本公开可以利用已完成的类似任务或神经网络模型，快速的采用少量数据、花费少量时间将已有任务的神经网络模型迁移过来，例如可以利用已有的神经网络模型基于第一图像集中的图像生成第三图像集，可以降低研发成本。
84.在步骤s12中，将所述第一图像集中图像输入至第一图像处理模型进行图像处理，获得第一生成图像；所述第一图像处理模型包括特征提取网络和第一生成对抗网络。
85.在对第一图像处理模型进行训练时，将第一图像集中图像输入第一图像处理模型，通过第一图像处理模型中的特征提取网络对第一图像集中图像进行特征提取处理，得到特征图像，通过第一生成对抗网络对所述特征图像进行处理，得到第一生成图像。
86.在一个示例性实施例中，所述将所述第一图像集中图像输入至第一图像处理模型进行图像处理，获得第一生成图像，包括：将所述第一图像集中图像输入至所述第一图像处理模型，通过所述特征提取网络对所述第一图像集中图像进行特征提取处理并生成轮廓特征，获得特征图像；通过所述第一生成对抗网络对所述特征图像进行细节特征生成处理，获得所述第一生成图像。
87.将第一图像集中图像输入至第一图像处理模型，通过第一图像处理模型中的特征提取网络对第一图像集中图像首先进行降采样，提取图像中的语义特征，之后基于语义特征生成对应的轮廓、线条等特征，得到特征图像，即特征图像是包括轮廓、线条等特征的图像；第一图像处理模型中的第一生成对抗网络对特征图像进行处理，生成图像细节特征，得到第一生成图像。
88.通过特征提取网络提取图像的特征后基于提取的特征生成轮廓特征，得到特征图像，并通过第一生成对抗网络基于特征图像生成细节特征，这样分步处理，可以很好的学习到第三图像集中图像的目标部位形态的特征。
89.在步骤s13中，将所述第一图像集中图像输入至第二图像处理模型进行图像处理，获得第二生成图像；所述第二图像处理模型包括所述特征提取网络和第二生成对抗网络。
90.在对第二图像处理模型进行训练时，将第一图像集中图像输入第二图像处理模型，通过第二图像处理模型中的特征提取网络对第一图像集中图像进行特征提取处理，得到特征图像，通过第二生成对抗网络对所述特征图像进行处理，得到第二生成图像。
91.在一个示例性实施例中，所述将所述第一图像集中图像输入至第二图像处理模型进行图像处理，获得第二生成图像，包括：将所述第一图像集中图像输入至所述第二图像处
理模型，通过所述特征提取网络对所述第一图像集中图像进行特征提取处理并生成轮廓特征，获得特征图像；通过所述第二生成对抗网络对所述特征图像进行细节特征生成处理，获得所述第二生成图像。
92.将第一图像集中图像输入至第二图像处理模型，通过第二图像处理模型中的特征提取网络对第一图像集中图像首先进行降采样，提取图像中的语义特征，之后基于语义特征生成对应的轮廓、线条等特征，得到特征图像，即特征图像是包括轮廓、线条等特征的图像；第二图像处理模型中的第二生成对抗网络对特征图像进行处理，生成皮肤纹理等图像细节特征，得到第二生成图像。
93.通过特征提取网络提取图像的特征后基于提取的特征生成轮廓特征，得到特征图像，并通过第二生成对抗网络基于特征图像生成细节特征，这样分步处理，可以很好的学习到第二图像集中图像的细节特征，有利于增强训练完成后的第二图像处理模型的处理效果。
94.其中，生成对抗网络(generative adversarial networks，gan)是通过让两个神经网络相互博弈的方式进行学习，可以根据原有的数据集生成以假乱真的新的数据。两个神经网络一个是生成器，一个是判别器，生成器不断训练为了以假乱真，判别器不断训练为了区分二者，最终，生成器能完全模拟出与真实的数据一模一样的输出数据，判别器已经无力判断。鉴于生成对抗网络的特点，本公开使用生成对抗网络来处理人像面部特征(例如生成双眼皮)，同时还可以保持人像真实自然。
95.在步骤s14中，确定所述第一生成图像与所述第三图像集中图像的第一损失函数值，并确定所述第二生成图像与所述第二图像集中图像的对抗网络损失函数值。
96.对第一图像处理模型和第二图像处理模型进行训练时的损失函数包括第一损失函数和对抗网络损失函数。第一损失函数例如可以是绝对平均值误差损失函数。
97.在得到第一生成图像和第二生成图像后，确定第一生成图像与第三图像集中图像的第一损失函数值，并确定第二生成图像与第二图像集中图像的对抗网络损失函数值。在网络训练的过程中，使得第二生成对抗网络学习第二图像集中图像的皮肤纹理等细节特征，保留第三图像集中图像的线条等轮廓特征。例如，在生成具有真实感的平行双眼皮时，第二生成对抗网络可以学习第二图像集中图像中的皮肤纹理等细节特征，包括第三图像集中图像中添加的平行双眼皮的线条等轮廓特征。
98.在步骤s15中，根据所述第一损失函数值和所述对抗网络损失函数值，对所述第一图像处理模型和第二图像处理模型的网络参数进行优化，获得训练完成的第二图像处理模型，所述训练完成的第二图像处理模型用于将待处理图像处理为目标部位具有所述目标部位类型和目标部位形态的图像。
99.第一图像处理模型和第二图像处理模型共享所述特征提取网络，在对第一图像处理模型和第二图像处理模型进行训练时，对特征提取网络、第一生成对抗网络和第二生成对抗网络进行联合训练。
100.在得到第一损失函数值和对抗网络损失函数值后，可以基于第一损失函数值和对抗网络损失函数值，基于反向传播的方式，对第一图像处理模型和第二图像处理模型的网络参数进行联合优化，即对特征提取网络、第一生成对抗网络和第二生成对抗网络的网络参数进行联合优化，在第一损失函数值和对抗网络损失函数值收敛时，第一图像处理模型
和第二图像处理模型训练完成，将训练完成的第二图像处理模型用于进行后续的图像处理，以将待处理图像处理为目标部位具有目标部位类型和目标部位形态的图像。
101.第二图像处理模型对待处理图像进行处理，生成的目标部位具有目标部位类型和目标部位形态的图像，在生成的图像中真实感可以保持和原始的待处理图像相同，但目标部位形态和第三图像集的目标部位形态相同。例如，在待处理图像为单眼皮图像时，将单眼皮图像输入第二图像处理模型后，通过第二图像处理模型对单眼皮图像进行处理，可以生成目标部位类型为双眼皮、目标部位形态为平行的对应人眼图像，生成的人眼图像真实感保持和原始的单眼皮图像相同，即生成的人眼图像的眼皮沟壑和皮肤质感的真实度和原始的单眼皮图像相同，但双眼皮的形态和第三图像集的形态相同，即平行状的双眼皮。
102.在一个示例性实施例中，所述根据所述第一损失函数值和所述对抗网络损失函数值，对所述第一图像处理模型和第二图像处理模型的网络参数进行优化，包括：根据所述第一损失函数值和所述对抗网络损失函数值，采用随机梯度下降法对所述第一图像处理模型和所述第二图像处理模型的网络参数进行联合优化。
103.在对网络参数进行优化时，可以基于第一损失函数值和对抗网络损失函数值，采用随机梯度下降法对第一图像处理模型和第二图像处理模型的网络参数进行联合优化，可以提高网络训练速度。
104.本示例性实施例提供的图像处理模型的训练方法，通过获取数据集，所述数据集包括针对目标部位的第一图像集、针对目标部位且目标部位包括目标部位类型的第二图像集、以及在第一图像集中个图形的目标部位上添加目标部位类型和目标部位形态的第三图像集，通过第一图像处理模型对第一图像集中图像进行处理，获得第一生成图像，通过第二图像处理模型对第一图像集中图像进行处理，获得第二生成图像，确定第一生成图像与第三图像集中图像的第一损失函数值，并确定第二生成图像与第二图像集中图像的对抗网络损失函数值，根据第一损失函数值和对抗网络损失函数值对第一图像处理模型和第二图像处理模型的网络参数进行优化，获得训练完成的第二图像处理模型，由于在训练的过程中，网络可以学习第三图像集中图像的目标部位类型和目标部位形态的特征，并可以学习第二图像集中图像的细节特征，从而训练完成的第二图像处理模型可以操控具体细节，处理的图像可以提高真实感，增强图像效果，例如使用第二图像处理模型对单眼皮图像进行处理时，可以根据用户喜好，精细的区分生成眼皮的形态。
105.在上述技术方案的基础上，所述获得训练完成的第二图像处理模型，包括：迭代执行通过所述第一图像处理模型对所述第一图像集中图像进行图像处理、通过所述第二图像处理模型对所述第一图像集中图像进行图像处理、以及根据所述第一损失函数值和所述对抗网络损失函数值对所述第一图像处理模型和所述第二图像处理模型的网络参数进行优化的操作，直至第一损失函数值和对抗网络损失函数值收敛，得到训练完成的第二图像处理模型。
106.基于第一图像集、第二图像集和第三图像集，迭代执行上述的步骤s12-步骤s14，即迭代执行通过图像处理模型对所述第一图像集中图像进行图像处理、通过所述第二图像处理模型对所述第一图像集中图像进行图像处理、确定第一损失函数值和对抗网络损失函数值，以及根据第一损失函数值和对抗网络损失函数值对第一图像处理模型和第二图像处理模型的网络参数进行优化的操作，直至第一损失函数值和对抗网络损失函数值收敛，得
到训练完成的第二图像处理模型。通过迭代的方式一步步的优化网络参数，在网络参数达到最优时停止迭代，得到训练完成的网络，提高训练完成的第二图像处理模型的图像处理效果。
107.图2是根据一示例性实施例示出的一种图像处理模型的训练方法的流程图，如图2所示，该图像处理模型的训练方法包括以下步骤。
108.在步骤s21中，获取数据集，所述数据集包括针对目标部位的第一图像集、针对所述目标部位且所述目标部位包括目标部位类型的第二图像集、以及在所述第一图像集中各图像的所述目标部位上添加所述目标部位类型和目标部位形态的第三图像集。
109.以生成目标部位类型为双眼皮、目标部位形态为平行状的目标部位图像为例，搜集大量人眼数据，组成第一数据集s
in
；搜集大量双眼皮数据(目标部位形态未必是平行)，组成第二数据集sa；对s
in
中的每个图像i
in
_i，添加其对应的平行双眼皮的数据ib_i，得到第三数据集ib。其中，ib_i的来源可以有很多，例如：设计师画上平行双眼皮，或者由已有的神经网络模型生成平行双眼皮，但这样得到的双眼皮真实感很差。
110.在步骤s22中，从所述第一图像集中选取一张或多张图像，作为第一图像，从所述第二图像集中选取一张或多张图像，作为第二图像，并从所述第三图像集中选取与所述第一图像对应的第三图像。
111.在对第一图像处理模型和第二图像处理模型进行训练时，每次迭代时，从第一图像集中选取一张或多张图像，作为第一图像，将第一图像作为本次迭代训练时网络的输入数据，并从第二图像集中选取相同数量的图像，作为第二图像，将第二图像作为网络训练时学习细节特征的目标，从第三图像集中选取与第一图像对应的第三图像，即选取由选取的第一图像添加目标部位类型和目标部位形态而生成的第三图像，将第三图像作为网络训练时学习线条等轮廓特征的目标。
112.在一个示例性实施例中，所述从所述第一图像集中选取一张或多张图像，作为第一图像，包括：从所述第一数据集中随机选取一张或多张图像，作为第一图像；
113.从所述第二图像集中选取一张或多张图像，作为第二图像，包括：从所述第二图像集中随机选取一张或多张图像，作为第二图像。
114.在从第一图像集中选取第一图像时，可以采用随机的方式来选取一定数量的图像，作为第一图像，并且由于第一图像和第二图像之间没有关系，在从第二图像集中选取第二图像时，也可以采用随机的方式来选取同样数量的图像，作为第二图像。
115.通过随机选取第一图像和第二图像，增加了数据的随机性，有助于网络快速收敛。
116.在步骤s23中，将所述第一图像输入至第一图像处理模型进行图像处理，获得第一生成图像。
117.在步骤s24中，将所述第一图像输入至第二图像处理模型进行图像处理，获得第二生成图像。
118.选取的第一图像、第二图像和第三图像用于进行本次的迭代训练，第一图像作为网络的输入，将选取的第一图像输入第一图像处理模型和第二图像处理模型共享的特征提取网络，通过特征提取网络对选取的第一图像进行处理，得到特征图像，之后通过第一图像处理模型中的第一生成对抗网络对特征图像进行处理，得到第一生成图像，通过第二图像处理模型中的第二生成对抗网络对特征图像进行处理，得到第二生成图像。
119.在步骤s25中，确定所述第一生成图像与所述第三图像的绝对平均值误差，得到所述第一损失函数值，并确定所述第二生成图像与所述第二图像的对抗网络误差，得到所述对抗网络损失函数值。
120.在得到第一生成图像与第二生成图像后，确定第一生成图像与选取的第三图像的绝对平均值误差，得到第一损失函数值，并确定第二生成图像与选取的第二图像的对抗网络误差，得到对抗网络损失函数值。
121.在步骤s26中，根据所述第一损失函数值和所述对抗网络损失函数值，对所述第一图像处理模型和第二图像处理模型的网络参数进行优化，获得训练完成的第二图像处理模型，所述训练完成的第二图像处理模型用于将待处理图像处理为目标部位具有所述目标部位类型和目标部位形态的图像。
122.图3是本公开实施例中对第一图像处理模型和第二图像处理模型的训练示意图，如图3所示，特征提取网络1和第一生成对抗网络2组成第一图像处理模型，特征提取网络1和第二生成对抗网络3组成第二图像处理模型，第一图像处理模型和第二图像处理模型共享特征提取网络1。例如，对于上述的生成目标部位类型为双眼皮、目标部位形态为平行状的目标部位图像，从第一数据集s
in
中随机选择一张图像i
in
_i，作为第一图像，并从第三图像集ib中选择和i
in
_i对应的(添加的平行状的双眼皮)ib_i，从第二图像集sa中随机选择一张图像ia_i；将i
in
_i输入第一图像处理模型和第二图像处理模型共享的特征提取网络，则经过特征提取网络和第一生成对抗网络网络的处理后得到输出的第一生成图像i
′b_i，经过特征提取网络和第二生成对抗网络的处理后得到输出的第二生成图像i
′a_i；计算i
′b_i和ib_i的第一损失函数值l1，计算i
′a_i和ia_i的对抗网络损失函数值l2。可以采用随机梯度下降法，来优化特征提取网络、第一生成对抗网络和第二生成对抗网络的网络参数，以减小l1和l2，直至l1和l2收敛，此时生成的i
′b_i与ib_i基本相同，i
′a_i的双眼皮形状与i
′b_i相同，但真实感与ia_i相似。
123.本示例性实施例提供的图像处理模型的训练方法，通过从第一图像集中选取第一图像，从第二图像集中选取第二图像，并从第三图像集中选取与第一图像对应的第三图像，通过第一图像处理模型对选取的第一图像进行处理，得到第一生成图像，通过第二图像处理模型对第一图像进行处理得到第二生成图像，确定第一生成图像与第三图像的第一损失函数值，并确定第二生成图像与第二图像的对抗网络损失函数值，进而根据第一损失函数值和对抗网络损失函数值，对第一图像处理模型和第二图像处理模型的网络参数进行优化，由于可以使用选取的第一图像、第二图像以及与第一图像对应的第三图像来对网络进行训练，可以使得网络学习到第三图像的线条等轮廓特征，同时可以学习到第二图像的细节特征，从而训练完成的第二图像处理模型可以生成较为真实的处理后图像，提升图像效果。
124.图4是根据一示例性实施例示出的一种图像处理方法的流程图，如图4所示，该图像处理方法可以用于手机、平板电脑、计算机等电子设备中，包括以下步骤。
125.在步骤s41中，获取待处理的目标部位图像。
126.该图像处理方法可以用于对人脸图像进行处理，目标部位可以是人脸上的部位。可以基于用户的操作指令获取待处理的目标部位图像，例如目标部位是眼皮时，目标部位图像可以是包括整个眼睛的图像。
127.在步骤s42中，通过第二图像处理模型对所述目标部位图像进行处理，得到目标部位具有目标部位类型和目标部位形态的目标图像。
128.其中，所述第二图像处理模型是基于上述示例性实施例所述的图像处理模型的训练方法训练而成的。第二图像处理模型可以是对具有人脸目标部位的图像进行处理的模型。例如，所述目标部位可以是眼皮，目标部位类型可以是双眼皮，双眼皮的形态有平行和扇形，目标部位形态例如可以是平行。
129.将目标部位图像输入第二图像处理模型，通过第二图像处理模型中的特征提取网络首先提取目标部位图像的语义特征，之后生成线条等目标部位类型和目标部位形态的轮廓特征，最后通过第二图像处理模型中的第二生成对抗网络生成细节特征，得到最后的目标图像，目标图像中目标部位具有目标部位类型和目标部位形态。例如，目标部位是眼皮时，目标部位图像是包括整个眼睛的图像，在目标部位图像中眼皮可以是单眼皮，也可以是扇形的双眼皮，经过第二图像处理模型对目标部位图像进行处理后，得到的目标图像可以是具有平行状的双眼皮图像，即处理后得到目标部位类型为双眼皮、目标部位形态为平行状的目标图像。
130.本示例性实施例提供的图像处理方法，在获取到待处理的目标部位图像后，通过第二图像处理模型对目标部位图像进行处理，可以得到目标部位具有目标部位类型和目标部位形态的目标图像，由于第二图像处理模型是由特征提取网络和第一生成对抗网络组成，而且在训练时基于第一图像集、第二图像集和第三图像集同时对特征提取网络、第一生成对抗网络和第二生成对抗网络进行训练而成，可以同时学习到第三图像集的线条等轮廓特征以及第二图像集的皮肤纹理等细节特征，从而得到的目标图像具有皮肤纹理等细节特征，而且具有目标部位形态，提升图像的真实感，增强了图像效果。
131.图5是根据一示例性实施例示出的一种图像处理模型的训练装置的框图。参照图5，该装置包括数据获取模块51、第一图像处理模块52、第二图像处理模块53、损失函数值确定模块54和网络参数优化模块55。
132.该数据获取模块51被配置为执行获取数据集，所述数据集包括针对目标部位的第一图像集、针对所述目标部位且所述目标部位包括目标部位类型的第二图像集、以及在所述第一图像集中各图像的所述目标部位上添加所述目标部位类型和目标部位形态的第三图像集；
133.该第一图像处理模块52被配置为执行将所述第一图像集中图像输入至第一图像处理模型进行图像处理，获得第一生成图像；所述第一图像处理模型包括特征提取网络和第一生成对抗网络；
134.该第二图像处理模块53被配置为执行将所述第一图像集中图像输入至第二图像处理模型进行图像处理，获得第二生成图像；所述第二图像处理模型包括所述特征提取网络和第二生成对抗网络；
135.该损失函数值确定模块54被配置为执行确定所述第一生成图像与所述第三图像集中图像的第一损失函数值，并确定所述第二生成图像与所述第二图像集中图像的对抗网络损失函数值；
136.该网络参数优化模块55被配置为执行根据所述第一损失函数值和所述对抗网络损失函数值，对所述第一图像处理模型和第二图像处理模型的网络参数进行优化，获得训
练完成的第二图像处理模型，所述训练完成的第二图像处理模型用于将待处理图像处理为目标部位具有所述目标部位类型和目标部位形态的图像。
137.可选的，所述第一图像处理模块包括：
138.特征提取单元，被配置为执行将所述第一图像集中图像输入至所述第一图像处理模型，通过所述特征提取网络对所述第一图像集中图像进行特征提取处理并生成轮廓特征，获得特征图像；
139.第一细节特征生成单元，被配置为执行通过所述第一生成对抗网络对所述特征图像进行细节特征生成处理，获得所述第一生成图像。
140.可选的，所述第二图像处理模块包括：
141.特征提取单元，被配置为执行将所述第一图像集中图像输入至所述第二图像处理模型，通过所述特征提取网络对所述第一图像集中图像进行特征提取处理并生成轮廓特征，获得特征图像；
142.第二细节特征生成单元，被配置为执行通过所述第二生成对抗网络对所述特征图像进行细节特征生成处理，获得所述第二生成图像。
143.可选的，所述装置还包括：
144.数据选取模块，被配置为执行从所述第一图像集中选取一张或多张图像，作为第一图像，从所述第二图像集中选取一张或多张图像，作为第二图像，并从所述第三图像集中选取与所述第一图像对应的第三图像；
145.所述第一图像处理模块被配置为执行：
146.将所述第一图像输入至第一图像处理模型进行图像处理，获得第一生成图；
147.所述第二图像处理模块被配置为执行：
148.将所述第一图像输入至第二图像处理模型进行图像处理，获得第二生成图像；
149.所述损失函数值确定模块被配置为执行：
150.确定所述第一生成图像与所述第三图像的绝对平均值误差，得到所述第一损失函数值，并确定所述第二生成图像与所述第二图像的对抗网络误差，得到所述对抗网络损失函数值。
151.可选的，所述网络参数优化模块包括：
152.训练控制单元，被配置执行迭代执行通过所述第一图像处理模型对所述第一图像集中图像进行图像处理、通过所述第二图像处理模型对所述第一图像集中图像进行图像处理、以及根据所述第一损失函数值和所述对抗网络损失函数值对所述第一图像处理模型和所述第二图像处理模型的网络参数进行优化的操作，直至所述第一损失函数值和所述对抗网络损失函数值收敛，得到训练完成的第二图像处理模型。
153.可选的，所述网络参数优化模块包括：
154.参数优化单元，被配置为执行根据所述第一损失函数值和所述对抗网络损失函数值，采用随机梯度下降法对所述第一图像处理模型和所述第二图像处理模型的网络参数进行联合优化。
155.图6是根据一示例性实施例示出的一种图像处理装置的框图。参照图6，该装置包括图像获取模块61和图像处理模块62。
156.该图像获取模块61被配置为执行获取待处理的目标部位图像；
157.该图像处理模块62被配置为执行通过第二图像处理模型对所述目标部位图像进行处理，得到目标部位具有目标部位类型和目标部位形态的目标图像，其中，所述第二图像处理模型是基于上述的图像处理模型的训练方法训练而成的。
158.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
159.图7是根据一示例性实施例示出的一种电子设备的框图。例如，电子设备700可以被提供为一服务器或者终端设备。参照图7，电子设备700包括处理组件722，其进一步包括一个或多个处理器，以及由存储器732所代表的存储器资源，用于存储可由处理组件722执行的指令，例如应用程序。存储器732中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件722被配置为执行指令，以执行上述的图像处理模型的训练方法或者图像处理方法。
160.电子设备700还可以包括一个电源组件726被配置为执行电子设备700的电源管理，一个有线或无线网络接口750被配置为将电子设备700连接到网络，和一个输入输出(i/o)接口758。电子设备700可以操作基于存储在存储器732的操作系统，例如windows servertm，mac os xtm，unixtm,linuxtm，freebsdtm或类似。
161.在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器732，上述指令可由电子设备700的处理组件722执行以完成上述图像处理模型的训练方法或者图像处理方法。可选地，计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
162.在示例性实施例中，还提供一种计算机程序产品，包括计算机程序或计算机指令，所述计算机程序或计算机指令被处理器执行时实现上述的图像处理模型的训练方法或者图像处理方法。
163.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
164.应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
技术特征：1.一种图像处理模型的训练方法，其特征在于，包括：获取数据集，所述数据集包括针对目标部位的第一图像集、针对所述目标部位且所述目标部位包括目标部位类型的第二图像集、以及在所述第一图像集中各图像的所述目标部位上添加所述目标部位类型和目标部位形态的第三图像集；将所述第一图像集中图像输入至第一图像处理模型进行图像处理，获得第一生成图像；所述第一图像处理模型包括特征提取网络和第一生成对抗网络；将所述第一图像集中图像输入至第二图像处理模型进行图像处理，获得第二生成图像；所述第二图像处理模型包括所述特征提取网络和第二生成对抗网络；确定所述第一生成图像与所述第三图像集中图像的第一损失函数值，并确定所述第二生成图像与所述第二图像集中图像的对抗网络损失函数值；根据所述第一损失函数值和所述对抗网络损失函数值，对所述第一图像处理模型和第二图像处理模型的网络参数进行优化，获得训练完成的第二图像处理模型，所述训练完成的第二图像处理模型用于将待处理图像处理为目标部位具有所述目标部位类型和目标部位形态的图像。2.根据权利要求1所述的方法，其特征在于，所述将所述第一图像集中图像输入至第一图像处理模型进行图像处理，获得第一生成图像，包括：将所述第一图像集中图像输入至所述第一图像处理模型，通过所述特征提取网络对所述第一图像集中图像进行特征提取处理并生成轮廓特征，获得特征图像；通过所述第一生成对抗网络对所述特征图像进行细节特征生成处理，获得所述第一生成图像。3.根据权利要求1所述的方法，其特征在于，所述将所述第一图像集中图像输入至第二图像处理模型进行图像处理，获得第二生成图像，包括：将所述第一图像集中图像输入至所述第二图像处理模型，通过所述特征提取网络对所述第一图像集中图像进行特征提取处理并生成轮廓特征，获得特征图像；通过所述第二生成对抗网络对所述特征图像进行细节特征生成处理，获得所述第二生成图像。4.根据权利要求1所述的方法，其特征在于，在所述将所述第一图像集中各图像输入至第一图像处理模型进行图像处理，获得第一生成图像之前，还包括：从所述第一图像集中选取一张或多张图像，作为第一图像，从所述第二图像集中选取一张或多张图像，作为第二图像，并从所述第三图像集中选取与所述第一图像对应的第三图像；所述将所述第一图像集中图像输入至第一图像处理模型进行图像处理，获得第一生成图，包括：将所述第一图像输入至第一图像处理模型进行图像处理，获得第一生成图；将所述第一图像集中图像输入至第二图像处理模型进行图像处理，获得第二生成图像，包括：将所述第一图像输入至第二图像处理模型进行图像处理，获得第二生成图像；所述确定所述第一生成图像与所述第三图像集中图像的第一损失函数值，并确定所述第二生成图像与所述第二图像集中图像的对抗网络损失函数值，包括：
确定所述第一生成图像与所述第三图像的绝对平均值误差，得到所述第一损失函数值，并确定所述第二生成图像与所述第二图像的对抗网络误差，得到所述对抗网络损失函数值。5.一种图像处理方法，其特征在于，包括：获取待处理的目标部位图像；通过第二图像处理模型对所述目标部位图像进行处理，得到目标部位具有目标部位类型和目标部位形态的目标图像，其中，所述第二图像处理模型是基于所述权利要求1-4任一项所述的图像处理模型的训练方法训练而成的。6.一种图像处理模型的训练装置，其特征在于，包括：数据获取模块，被配置为执行获取数据集，所述数据集包括针对目标部位的第一图像集、针对所述目标部位且所述目标部位包括目标部位类型的第二图像集、以及在所述第一图像集中各图像的所述目标部位上添加所述目标部位类型和目标部位形态的第三图像集；第一图像处理模块，被配置为执行将所述第一图像集中图像输入至第一图像处理模型进行图像处理，获得第一生成图像；所述第一图像处理模型包括特征提取网络和第一生成对抗网络；第二图像处理模块，被配置为执行将所述第一图像集中图像输入至第二图像处理模型进行图像处理，获得第二生成图像；所述第二图像处理模型包括所述特征提取网络和第二生成对抗网络；损失函数值确定模块，被配置为执行确定所述第一生成图像与所述第三图像集中图像的第一损失函数值，并确定所述第二生成图像与所述第二图像集中图像的对抗网络损失函数值；网络参数优化模块，被配置为执行根据所述第一损失函数值和所述对抗网络损失函数值，对所述第一图像处理模型和第二图像处理模型的网络参数进行优化，获得训练完成的第二图像处理模型，所述训练完成的第二图像处理模型用于将待处理图像处理为目标部位具有所述目标部位类型和目标部位形态的图像。7.一种图像处理装置，其特征在于，包括：图像获取模块，被配置为执行获取待处理的目标部位图像；图像处理模块，被配置为执行通过第二图像处理模型对所述目标部位图像进行处理，得到目标部位具有目标部位类型和目标部位形态的目标图像，其中，所述第二图像处理模型是基于所述权利要求1-4任一项所述的图像处理模型的训练方法训练而成的。8.一种电子设备，其特征在于，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如权利要求1至4中任一项所述的图像处理模型的训练方法，或者实现如权利要求5所述的图像处理方法。9.一种计算机可读存储介质，当所述计算机存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至4中任一项所述的图像处理模型的训练方法，或者执行如权利要求5所述的图像处理方法。10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执
行时实现权利要求1至4任一项所述的图像处理模型的训练方法，或者实现权利要求5所述的图像处理方法。
技术总结本公开关于一种图像处理方法、训练方法、装置、电子设备及存储介质，训练方法包括：获取针对目标部位的第一图像集、包括目标部位类型的第二图像集、以及基于第一图像集得到的第三图像集；将第一图像集中图像输入至第一图像处理模型和第二图像处理进行图像处理，获得第一生成图像和第二生成图像；确定第一生成图像与第三图像集中图像的第一损失函数值，并确定第二生成图像与第二图像集中图像的对抗网络损失函数值；根据第一损失函数值和对抗网络损失函数值，对第一图像处理模型和第二图像处理模型的网络参数进行优化，获得训练完成的第二图像处理模型。本公开得到的第二图像处理模型可以操控图像的具体细节，可以提高图像的真实感，增强图像效果。增强图像效果。增强图像效果。
技术研发人员：方慕园
受保护的技术使用者：北京达佳互联信息技术有限公司
技术研发日：2022.06.13
技术公布日：2022/11/1
