本发明涉及图像处理，尤其涉及一种人脸图像重演方法、装置、电子设备及存储介质。
背景技术：
1、人脸图像作为一类特殊而重要的图像广泛应用于人们的日常生活。人脸图像重演任务旨在将驱动图像的面部表情和头部姿态迁移至源图像，同时保持源图像的身份信息不变，从而生成新的人脸图像。该任务在媒体、娱乐和虚拟现实等领域具有丰富的应用前景。
2、早期的解决方案主要来自于计算机图形学领域，大多依靠人脸的三维建模和图像渲染来实现。近年来，随着人工智能的发展，一些基于深度学习的方法通过图像转换和图像形变等技术显著提升了生成图像的质量。然而，当源图像和驱动图像间存在较大的头部姿态差异时，现有方法仍难以生成准确的重演结果，对头部姿态变化表现出较弱的鲁棒性。
技术实现思路
1、本发明提出一种人脸图像重演方法、装置、电子设备及存储介质，旨在至少在一定程度上解决相关技术中的技术问题之一。
2、一方面，本发明实施例提供了一种人脸图像重演方法，包括以下步骤：
3、获取源图像和驱动图像；基于源图像和驱动图像对应构建源人脸模型和驱动人脸模型，进而组合构建得到目标人脸模型；
4、根据源人脸模型和目标人脸模型处理得到面部区域的第一光流估计参数；将目标人脸模型渲染为二维面部图像；第一光流估计参数包括第一光流场和第一遮挡掩码；
5、基于源图像和驱动图像的表情姿态参数对非面部区域进行光流估计参数补全，得到第二光流估计参数；第二光流估计参数包括第二光流场和第二遮挡掩码；
6、基于源图像，结合二维面部图像和第二光流估计参数进行编解码生成重演图像。
7、可选地，基于源图像和驱动图像对应构建源人脸模型和驱动人脸模型，进而组合构建得到目标人脸模型，包括以下步骤：
8、利用预训练的三维重建网络提取源图像的第一参数；利用三维重建网络提取驱动图像的第二参数；第一参数和第二参数表征三维可形变模型参数，第一参数和第二参数均包括身份参数和表情姿态参数；
9、基于第一参数，结合三维可形变模型的基础模型构建得到源人脸模型；基于第二参数，结合基础模型构建得到驱动人脸模型；
10、对第一参数的身份参数和第二参数的表情姿态参数进行组合，构建得到目标人脸模型。
11、可选地，根据源人脸模型和目标人脸模型处理得到面部区域的第一光流估计参数，包括以下步骤：
12、根据源人脸模型及目标人脸模型的网格顶点处理得到面部区域的第一光流场；
13、根据源人脸模型及目标人脸模型的网格三角形处理得到面部区域的第一遮挡掩码；
14、基于第一光流场和第一遮挡掩码在源人脸模型与目标人脸模型之间的差异值，将目标人脸模型渲染为二维面部图像。
15、可选地，基于源图像和驱动图像的表情姿态参数对非面部区域进行光流估计参数补全，得到第二光流估计参数，包括以下步骤：
16、基于源图像和驱动图像的表情姿态参数，利用预训练的补全网络预测得到非面部区域的运动情况；运动情况包括第三光流场、光流场权重系数、第三遮挡掩码和遮挡掩码权重系数；
17、基于光流场权重系数对第三光流场和第一光流场进行第一加权融合，得到第二光流场；
18、基于遮挡掩码权重系数对第三遮挡掩码和第一遮挡掩码进行第二加权融合，得到第二遮挡掩码。
19、可选地，基于源图像，结合二维面部图像和第二光流估计参数进行编解码生成重演图像，包括以下步骤：
20、通过编码器提取源图像的初始图像特征；
21、基于第二光流估计参数对初始图像特征进行变换处理，得到第二图像特征；变换处理包括形变和遮罩；
22、通过解码器对二维面部图像和第二图像特征进行融合解码，得到重演图像。
23、另一方面，本发明实施例还提供了一种人脸图像重演方法，包括以下步骤：
24、获取视频数据集；基于三维重建网络、补全网络和编辑网络配置目标模型；编辑网络包括编码器和解码器；
25、从视频数据集中同一段视频中获取两帧不同的图像作为第一图像和第二图像；
26、基于第一图像和第二图像，将第二图像作为驱动目标利用目标模型进行人脸图像重演，得到目标图像；
27、根据目标图像和第二图像构建损失函数，基于损失函数对目标模型进行参数调整；
28、其中，参数调整后的目标模型用于执行如前述第一方面的人脸图像重演方法。
29、可选地，根据目标图像和第二图像构建损失函数，包括以下步骤：
30、基于目标图像和第二图像，利用预训练的感知网络构建内容损失和风格损失；
31、基于内容损失和风格损失，结合预设的超参数构建得到损失函数。
32、另一方面，本发明实施例提供了一种人脸图像重演装置，包括：
33、第一模块，用于获取源图像和驱动图像；基于源图像和驱动图像对应构建源人脸模型和驱动人脸模型，进而组合构建得到目标人脸模型；
34、第二模块，用于根据源人脸模型和目标人脸模型处理得到面部区域的第一光流估计参数；将目标人脸模型渲染为二维面部图像；第一光流估计参数包括第一光流场和第一遮挡掩码；
35、第三模块，用于基于源图像和驱动图像的表情姿态参数对非面部区域进行光流估计参数补全，得到第二光流估计参数；第二光流估计参数包括第二光流场和第二遮挡掩码；
36、第四模块，用于基于源图像，结合二维面部图像和第二光流估计参数进行编解码生成重演图像。
37、另一方面，本发明实施例还提供了一种人脸图像重演装置，包括：
38、第五模块，用于获取视频数据集；基于三维重建网络、补全网络和编辑网络配置目标模型；编辑网络包括编码器和解码器；
39、第六模块，用于从视频数据集中同一段视频中获取两帧不同的图像作为第一图像和第二图像；
40、第七模块，用于基于第一图像和第二图像，将第二图像作为驱动目标利用目标模型进行人脸图像重演，得到目标图像；
41、第八模块，用于根据目标图像和第二图像构建损失函数，基于损失函数对目标模型进行参数调整；
42、其中，参数调整后的目标模型用于执行前述第一方面的人脸图像重演方法。
43、另一方面，本发明实施例提供了一种电子设备，包括：处理器以及存储器；存储器用于存储程序；处理器执行程序实现上述人脸图像重演方法。
44、另一方面，本发明实施例提供了一种计算机存储介质，其中存储有处理器可执行的程序，处理器可执行的程序在由处理器执行时用于实现上述人脸图像重演方法。
45、本发明实施例通过获取源图像和驱动图像；基于源图像和驱动图像对应构建源人脸模型和驱动人脸模型，进而组合构建得到目标人脸模型；根据源人脸模型和目标人脸模型处理得到面部区域的第一光流估计参数；将目标人脸模型渲染为二维面部图像；第一光流估计参数包括第一光流场和第一遮挡掩码；基于源图像和驱动图像的表情姿态参数对非面部区域进行光流估计参数补全，得到第二光流估计参数；第二光流估计参数包括第二光流场和第二遮挡掩码；基于源图像，结合二维面部图像和第二光流估计参数进行编解码生成重演图像。本发明实施例充分利用三维人脸模型的先验信息，以提升人脸图像重演对头部姿态变化的鲁棒性。本发明从人脸建模、光流估计和图像生成多个角度引入三维人脸模型的先验信息，采用补全策略，提高光流场和遮挡掩码的准确性；利用渲染图像引导重演图像的生成过程，提高重演图像的质量。本发明实施例能够准确实现人脸图像重演。
1.一种人脸图像重演方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的人脸图像重演方法，其特征在于，所述基于所述源图像和所述驱动图像对应构建源人脸模型和驱动人脸模型，进而组合构建得到目标人脸模型，包括以下步骤：
3.根据权利要求1所述的人脸图像重演方法，其特征在于，所述根据所述源人脸模型和所述目标人脸模型处理得到面部区域的第一光流估计参数，包括以下步骤：
4.根据权利要求1所述的人脸图像重演方法，其特征在于，所述基于所述源图像和所述驱动图像的表情姿态参数对非面部区域进行光流估计参数补全，得到第二光流估计参数，包括以下步骤：
5.根据权利要求1所述的人脸图像重演方法，其特征在于，所述基于所述源图像，结合所述二维面部图像和所述第二光流估计参数进行编解码生成重演图像，包括以下步骤：
6.一种人脸图像重演方法，其特征在于，包括以下步骤：
7.根据权利要求6所述的人脸图像重演方法，其特征在于，所述根据所述目标图像和所述第二图像构建损失函数，包括以下步骤：
8.一种人脸图像重演装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括处理器以及存储器；
10.一种计算机存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由所述处理器执行时用于实现如权利要求1至5或6至7中任一项所述的方法。
