1.本技术涉及图像处理技术领域，具体而言，涉及一种三维人脸重建方法、计算机程序产品及电子设备。
背景技术：2.三维人脸模型的重建，是指从一张或多张2d图像中重建出人脸的3d模型。随着图像处理的发展，三维人脸模型的重建有越来越多的应用场景，例如：在专业影视特效中对真实面部的编辑(包括润色、虚拟化妆、表情驱动等)，在高端产品(电影、广告、音乐视频、3d游戏等)中的完全数字化的逼真人脸生成，用于娱乐、社交媒体和通信的面部增强现实(augmented reality，ar)和虚拟现实(virtual reality，vr)等领域有广泛的应用。
3.在现有技术中，一般采用一种详细的表情捕捉和动画(detailed expression capture and animatio，deca)模型实现三维人脸模型的重建。但是，采用上述deca模型重建出的三维人脸模型的清晰度较差，且整体视觉效果也较差。
技术实现要素：4.本技术实施例的目的在于提供一种三维人脸重建方法、计算机程序产品及电子设备，用以解决现有技术中利用deca模型重建出的三维人脸模型的清晰度较差，且整体视觉效果也较差的技术问题。
5.第一方面，本技术实施例提供一种三维人脸重建方法，包括：基于初始人脸图像和deca模型，得到所述初始人脸图像所对应的初始纹理底图、三维头模以及目标参数；其中，所述目标参数包括人脸形状参数和相机参数；将目标纹理底图与目标顶图进行融合处理，得到人脸纹理图；其中，所述目标顶图为基于所述目标参数对所述初始人脸图像或者对所述初始人脸图像进行超分辨率重建后获得的图像展开得到的二维投影图，所述目标纹理底图为基于所述初始纹理底图或者基于所述初始纹理底图进行超分辨重建后获得的图像得到的；将所述人脸纹理图贴合至所述三维头模中，得到重建后的三维人脸模型。在上述方案中，在基于初始人脸图像以及deca模型得到初始纹理底图、三维头模以及目标参数之后，可以将目标纹理底图与目标顶图进行融合，并贴合在三维头模中得到具有纹理信息的三维人脸模型，以实现对三维人脸模型的重建。其中，当上述目标纹理底图为基于初始纹理底图进行超分辨重建后获得的图像得到的时，目标纹理底图的清晰度较高；当目标顶图为对初始人脸图像进行超分辨率重建后获得的图像展开得到的二维投影图时，目标顶图的清晰度较高。因此，由于与目标顶图进行融合的目标纹理底图的清晰度较高，或者，与目标纹理底图进行融合的目标顶图的清晰度较高，因此提高了重建得到的三维人脸模型的清晰度以及整体的视觉效果。
6.在可选的实施方式中，通过如下过程生成所述目标纹理底图：对所述初始纹理底图或者所述初始纹理底图进行超分辨率重建后获得的图像中的目标区域中的像素点的像素值进行调整，得到所述目标纹理底图；其中，所述目标区域基于三维人脸重建时，所述初
始纹理底图需要拼接在一起的区域所确定。在上述方案中，在生成目标纹理底图的过程中，可以对初始纹理底图或者初始纹理底图进行超分辨率重建后获得的图像中的目标区域中的像素点的像素值进行调整，以实现对目标区域进行补色的目的，从而解决重建得到的三维人脸模型的头部后方产生分界线的技术问题。其中，由于经过补色得到的目标纹理底图拼接在一起的区域是存在颜色的，因此在将目标纹理底图与目标顶图融合并贴合在三维头模上后，可以使得三维人脸模型的头部后方是连续而没有分界线的，从而提高了重建得到的三维人脸模型整体的视觉效果。
7.在可选的实施方式中，所述对所述初始纹理底图或者所述初始纹理底图进行超分辨率重建后获得的图像中的目标区域中的像素点的像素值进行调整，包括：获取边缘掩膜；根据所述边缘掩膜确定所述初始纹理底图或者所述初始纹理底图进行超分辨率重建后获得的图像中的第一子区域；其中，所述目标区域包括第一子区域以及第二子区域，所述第一子区域与所述第二子区域关于所述初始纹理底图或者所述初始纹理底图进行超分辨率重建后获得的图像的中轴线对称；对所述第一子区域内的像素点的像素值进行调整；将所述第一子区域内的像素点调整后的像素值对称至所述第二子区域内相应的像素点。在上述方案中，可以基于边缘掩膜对初始纹理底图或者所述初始纹理底图进行超分辨率重建后获得的图像中一侧的边缘(即第一子区域内的像素点)进行像素值调整，然后直接将上述调整后的像素值对称至另一侧的边缘(即第二子区域内的像素点)，这样，可以实现对目标区域进行对称补色的目的，从而使得目标纹理底图拼接在一起的区域是是对称且存在颜色的。因此在将目标纹理底图与目标顶图融合并贴合在三维头模上后，可以使得三维人脸模型的头部后方是连续而没有分界线的，从而提高了重建得到的三维人脸模型整体的视觉效果。
8.在可选的实施方式中，所述对所述第一子区域内的像素点的像素值进行调整，包括：针对所述第一子区域内的每一像素点，计算该像素点的周围目标区域内像素点的第一像素均值，将所述第一像素值均值作为该像素点的像素值。在上述方案中，可以根据像素点的周围目标区域内像素点的第一像素均值对第一子区域内的像素点进行像素值调整，从而使得在将目标纹理底图与目标顶图融合并贴合在三维头模上后，可以使得三维人脸模型的头部后方是连续而没有分界线的，从而提高了重建得到的三维人脸模型整体的视觉效果。
9.在可选的实施方式中，通过如下过程生成所述目标纹理底图：根据所述目标顶图中像素点的像素值对所述初始纹理底图或者所述初始纹理底图进行超分辨率重建后获得的图像中各像素点的像素值进行矫正处理，得到所述目标纹理底图。在上述方案中，在生成目标纹理底图的过程中，可以对初始纹理底图或者初始纹理底图进行超分辨率重建后获得的图像中像素点的像素值进行矫正，以实现对目标纹理底图进行皮肤颜色矫正的目的，从而解决重建得到的三维人脸模型的皮肤颜色不均匀的技术问题。其中，由于经过皮肤颜色矫正得到的目标纹理底图与目标顶图的颜色是一致的，因此在将目标纹理底图与目标顶图融合并贴合在三维头模上后，可以使得三维人脸模型的皮肤颜色是均匀的，从而提高了重建得到的三维人脸模型整体的视觉效果。
10.在可选的实施方式中，所述根据所述目标顶图中像素点的像素值对所述初始纹理底图或者所述初始纹理底图进行超分辨率重建后获得的图像中各像素点的像素值进行矫正处理，包括：根据所述目标顶图的人脸区域中像素点的像素值和所述初始纹理底图的人脸区域中像素点的像素值，确定矫正系数；根据所述矫正系数对所述初始纹理底图中像素
点的像素值进行矫正处理；或者，根据所述目标顶图的人脸区域中像素点的像素值和所述初始纹理底图进行超分辨率重建后获得的图像的人脸区域中像素点的像素值，确定矫正系数；根据所述矫正系数对所述初始纹理底图进行超分辨率重建后获得的图像中像素点的像素值进行矫正处理。在上述方案中，可以基于目标顶图的人脸区域中像素点的像素值和初始纹理底图/初始纹理底图进行超分辨率重建后获得的图像的人脸区域中像素点的像素值确定矫正系数，并基于上述矫正系数对初始纹理底图/初始纹理底图进行超分辨率重建后获得的图像中像素点的像素值进行矫正处理，从而使得矫正后的目标纹理底图的人脸区域的皮肤颜色与目标顶图的人脸区域的皮肤颜色是一致的，可以使得三维人脸模型的皮肤颜色是均匀的，从而提高了重建得到的三维人脸模型整体的视觉效果。
11.在可选的实施方式中，所述根据所述目标顶图的人脸区域中像素点的像素值和所述初始纹理底图的人脸区域中像素点的像素值，确定矫正系数，包括：计算所述目标顶图的人脸区域中各像素点的第二像素均值，以及，计算所述初始纹理底图的人脸区域中各像素点的第三像素均值；将所述第二像素值均值与所述第三像素值均值的比值确定为所述矫正系数。在上述方案中，可以基于目标顶图的人脸区域中像素点的第二像素值均值以及初始纹理底图/初始纹理底图进行超分辨率重建后获得的图像的人脸区域中像素点的第三像素均值确定矫正系数，并基于上述矫正系数对初始纹理底图/初始纹理底图进行超分辨率重建后获得的图像中像素点的像素值进行矫正处理，从而使得矫正后的目标纹理底图的人脸区域的皮肤颜色与目标顶图的人脸区域的皮肤颜色是一致的，可以使得三维人脸模型的皮肤颜色是均匀的，从而提高了重建得到的三维人脸模型整体的视觉效果。
12.在可选的实施方式中，所述将目标纹理底图与目标顶图进行融合处理，得到人脸纹理图，包括：将所述目标顶图中各像素的像素值与第一融合掩膜中相应位置处像素的像素值相乘得到第一融合图像，将所述目标纹理底图中各像素的像素值与第二融合掩膜中相应位置处像素的像素值相乘得到第二融合图像；其中，所述第二融合掩膜中各像素的像素值为第一数值与所述第一融合掩膜中相应位置处像素的像素值的差值；将所述第一融合图像中各像素点的像素值与所述第二融合图像中相应位置处像素点的像素值叠加，得到所述人脸纹理图。在上述方案中，可以基于第一融合掩膜以及目标顶图确定第一融合图像，并基于第二融合掩膜以及目标纹理底图确定第二融合图像，通过将第一融合图像中各像素点的像素值与第二融合图像中相应位置处像素点的像素值叠加，实现对目标纹理底图与目标顶图的融合，从而得到融合后的人脸纹理图，以将人脸纹理图贴合在三维头模上，得到具有纹理信息的三维人脸模型。
13.在可选的实施方式中，将所述目标顶图中各像素的像素值与第一融合掩膜中相应位置处像素的像素值相乘得到第一融合图像，将所述目标纹理底图中各像素的像素值与第二融合掩膜中相应位置处像素的像素值相乘得到第二融合图像之前，所述方法还包括：将初始掩膜中像素值为第二数值的区域缩小至目标大小，得到所述第一融合掩膜；其中，所述初始掩膜中像素值为所述第二数值的区域与所述目标纹理底图中的人脸区域对应。在上述方案中，可以通过将初始掩膜中像素值为第二数值的区域缩小，解决重建得到的三维人脸模型由于背景区域引入过多导致的在贴合处出现空洞的技术问题。其中，由于在融合时保留了目标纹理底图中较小的区域，减少了背景区域的引入，因此在将目标纹理底图与目标顶图融合并贴合在三维头模上后，可以使得三维人脸模型的贴合处是没有空洞的，从而提
高了重建得到的三维人脸模型整体的视觉效果。
14.在可选的实施方式中，在所述将初始掩膜中像素值为第二数值的区域缩小至目标大小之后，所述方法还包括：对区域缩小后的初始掩膜中像素值为所述第二数值的区域的边缘进行高斯模糊，得到所述第一融合掩膜。在上述方案中，可以通过将缩小后的初始掩膜中像素值为第二数值的区域的边缘进行高斯模糊，解决重建得到的三维人脸模型在贴合处无平滑过渡的技术问题。其中，由于经过边缘高斯模糊处理的第一融合掩膜中像素值的大小在一个范围之内，因此在将目标纹理底图与目标顶图融合并贴合在三维头模上后，可以使得三维人脸模型的贴合处是平滑过渡的，从而提高了重建得到的三维人脸模型整体的视觉效果。
15.第二方面，本技术实施例提供一种计算机程序产品，包括计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行如第一方面所述的三维人脸重建方法。
16.第三方面，本技术实施例提供一种电子设备，包括：处理器、存储器和总线；所述处理器和所述存储器通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的计算机程序指令，所述处理器调用所述计算机程序指令能够执行如第一方面所述的三维人脸重建方法。
17.第四方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序指令，所述计算机程序指令被计算机运行时，使所述计算机执行如第一方面所述的三维人脸重建方法。
18.为使本技术的上述目的、特征和优点能更明显易懂，下文特举本技术实施例，并配合所附附图，作详细说明如下。
附图说明
19.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
20.图1为本技术实施例提供的一种三维人脸重建方法的流程图；
21.图2为本技术实施例提供的一种边缘掩膜的示意图；
22.图3为本技术实施例提供的一种人脸掩膜的示意图；
23.图4为本技术实施例提供的另一种人脸掩膜的示意图；
24.图5为本技术实施例提供的一种三维人脸重建装置的结构框图；
25.图6为本技术实施例提供的一种电子设备的结构框图。
具体实施方式
26.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。
27.近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(artificial intelligence，ai)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络
等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界，计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、行为识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(slam)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步，该项技术在众多领域展开了应用，例如安防、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。
28.请参照图1，图1为本技术实施例提供的一种三维人脸重建方法的流程图，该三维人脸重建方法可以包括如下内容：
29.步骤s101：基于初始人脸图像和deca模型，得到初始人脸图像所对应的初始纹理底图、三维头模以及目标参数。
30.步骤s102：将目标纹理底图与目标顶图进行融合处理，得到人脸纹理图。
31.步骤s103：将人脸纹理图贴合至三维头模中，得到重建后的三维人脸模型。
32.具体的，在步骤s101中，初始人脸图像是指用于进行三维人脸模型重建的2d人脸图像。
33.可以理解的是，为了保证重建得到的三维人脸模型的效果较好，作为一种实施方式，初始人脸图像中的人脸角度属性可以满足角度要求，即初始人脸图像中人脸的俯仰角以及偏航角均可以小于预设阈值，从而保证初始人脸图像中的人脸较正；作为另一种实施方式，初始人脸图像中的人脸清晰度可以满足清晰度要求，即初始人脸图像中的人脸清晰度较高。
34.此外，作为一种实施方式，可以直接将初始人脸图像输入至deca模型中，得到deca模型输出的初始纹理底图、三维头模以及目标参数；作为另一种实施方式，可以对初始人脸图像进行超分辨率重建，再将超分辨率重建后获得的图像输入至deca模型中，得到deca模型输出的初始纹理底图、三维头模以及目标参数。
35.其中，超分辨率重建，是指通过硬件或软件的方法提高原有图像的分辨率，通过低分辨率的图像得到高分辨率的图像的过程。因此，对初始人脸图像进行超分辨率重建处理，可以提高初始人脸图像的分辨率，从而得到清晰度更高的初始纹理底图。
36.可以理解的是，本技术实施例对超分辨率重建的具体实施方式不作具体的限定，本领域技术人员可以根据实际情况进行合适的选择。例如：可以利用gfp-gan模型对初始人脸图像进行处理；或者，可以基于插值的超分辨率重建方法对初始人脸图像进行处理；或者，可以利用srcnn算法对初始人脸图像进行处理等。
37.三维头模是指与初始人脸图像中的人脸对应的仅有头部及脸部的形状，没有纹理信息的一个立体模型。
38.目标参数是基于初始人脸图像以及deca模型生成初始纹理底图的过程中，产生的参数。其中，在上述步骤s101中，目标参数可以包括人脸形状参数以及相机参数。可以理解的是，在基于初始人脸图像以及deca模型生成初始纹理底图的过程中，产生的目标参数不限于上述人脸形状参数以及相机参数，本技术实施例对此不作具体的限定。
39.初始纹理底图为从初始人脸图像中提取的包含纹理信息的图像。其中，在本技术实施例中，可以利用deca模型从初始人脸图像或者初始人脸图像进行超分辨率重建后获得的图像中提取得到初始纹理底图，下面以将初始人脸图像输入deca模型中为例，对上述步骤s101的具体实施方式进行简要的介绍。
40.首先，将初始人脸图像输入deca模型中，deca模型通过粗粒度编码器deca_ec得到与初始人脸图像相关的多个参数，包括：相机参数c、纹理编码参数a、光照参数l、人脸形状参数β、姿态参数θ以及表情参数ψ，以及，通过细粒度编码器deca_ed得到与初始人脸图像相关的另一个参数：细节参数δ；然后，deca模型基于上述细节参数δ、姿态参数θ以及表情参数ψ，得到人脸位移图deca_fd；最后，再基于上述光照参数l、纹理编码参数a以及人脸位移图deca_fd，得到初始纹理底图。
41.其中，通过上述实施例中deca模型输出的人脸形状参数β，可以基于初始人脸图像得到5023个三维顶点，这些顶点通过固定的拓扑关系，可以形成一个三维头模。
42.类似的，当将初始人脸图像进行超分辨率重建后获得的图像输入deca模型中时，上述步骤s101具体可以包括：首先，将初始人脸图像进行超分辨率重建后获得的图像输入deca模型中，deca模型通过粗粒度编码器deca_ec得到与初始人脸图像进行超分辨率重建后获得的图像相关的多个参数，包括：相机参数c、纹理编码参数a、光照参数l、人脸形状参数β、姿态参数θ以及表情参数ψ，以及，通过细粒度编码器deca_ed得到与初始人脸图像相关的另一个参数：细节参数δ；然后，deca模型基于上述细节参数δ、姿态参数θ以及表情参数ψ，得到人脸位移图deca_fd；最后，再基于上述光照参数l、纹理编码参数a以及人脸位移图deca_fd，得到初始纹理底图。
43.在上述步骤s102中，目标纹理底图为基于初始纹理底图或者基于初始纹理底图进行超分辨重建后获得的图像得到的。其中，基于初始纹理底图进行超分辨重建后获得的图像得到的目标纹理底图，比初始纹理底图具有更高的清晰度。
44.以目标纹理底图基于初始纹理底图得到为例，作为一种实施方式，可以直接将初始纹理底图确定为目标纹理底图；作为另一种实施方式，也可以对初始纹理底图进行图像处理后，得到目标纹理底图。
45.可以理解的是，对初始纹理底图进行图像处理的方式有多种，本技术实施例对此不作具体的限定，本领域技术人员可以根据实际情况进行合适的选择。举例来说，可以对初始纹理底图进行清晰度处理，以得到清晰度更高的目标纹理底图；或者，可以对初始纹理底图进行裁剪处理，以得到尺寸更合适的目标纹理底图；或者，可以对初始纹理底图进行色彩处理，以得到色彩更均匀的目标纹理底图等。
46.类似的，当目标纹理底图为基于初始纹理底图进行超分辨重建后获得的图像得到的时，作为一种实施方式，可以直接将基于初始纹理底图进行超分辨重建后获得的图像确定为目标纹理底图；作为另一种实施方式，也可以对基于初始纹理底图进行超分辨重建后获得的图像进行图像处理后，得到目标纹理底图。
47.作为一种实施方式，上述确定目标纹理底图的过程可以由执行本技术实施例提供的三维人脸重建方法的电子设备执行；此时，当需要用到目标纹理底图时，该电子设备可以读取事先存储在本地的目标纹理底图，或者，该电子设备也可以确定目标纹理底图后，立马使用该目标纹理底图。
48.作为另一种实施方式，上述确定目标纹理底图的过程由与执行本技术实施例提供的三维人脸重建方法的电子设备不同的其他设备执行此时，当需要用到目标纹理底图时，执行本技术实施例提供的三维人脸重建方法的电子设备可以接收其他设备发送的目标纹理底图，或者，从云端服务器中读取事先存储的目标纹理底图。
49.目标顶图为基于目标参数对初始人脸图像或者对初始人脸图像进行超分辨率重建后获得的图像展开得到的二维投影图。其中，当目标顶图为基于对初始人脸图像进行超分辨率重建后获得的图像展开得到的二维投影图时，目标顶图具有更高的清晰度。
50.下面以目标顶图为基于目标参数对初始人脸图像展开得到的二维投影图为例，对得到目标顶图的具体实施方式进行简要的介绍。
51.首先，通过上述实施例中deca模型输出的人脸形状参数β，可以基于初始人脸图像得到5023个三维顶点，这些顶点通过固定的拓扑关系，可以形成一个三维头模；然后，利用上述实施例中deca模型输出的相机参数c，可以得到上述三维头模在二维上的投影，并根据该投影得到一个uv图；最后，基于上述uv图，可以得到与初始人脸图像对应的目标顶图。
52.类似的，当目标顶图为基于目标参数对初始人脸图像进行超分辨率重建后获得的图像展开得到的二维投影图时，得到目标顶图的具体实施方式可以包括：首先，通过上述实施例中deca模型输出的人脸形状参数β，可以基于初始人脸图像进行超分辨率重建后获得的图像得到5023个三维顶点，这些顶点通过固定的拓扑关系，可以形成一个三维头模；然后，利用上述实施例中deca模型输出的相机参数c，可以得到上述三维头模在二维上的投影，并根据该投影得到一个uv图；最后，基于上述uv图，可以得到与初始人脸图像对应的目标顶图。
53.作为一种实施方式，上述提取目标顶图的过程可以由执行本技术实施例提供的三维人脸重建方法的电子设备执行；此时，当需要用到目标顶图时，该电子设备可以读取事先存储在本地的目标顶图，或者，该电子设备也可以提取目标顶图后，立马使用该目标顶图。
54.作为另一种实施方式，上述提取目标顶图的过程由与执行本技术实施例提供的三维人脸重建方法的电子设备不同的其他设备执行此时，当需要用到目标顶图时，执行本技术实施例提供的三维人脸重建方法的电子设备可以接收其他设备发送的目标顶图，或者，从云端服务器中读取事先存储的目标顶图。
55.人脸纹理图是将目标纹理底图与目标顶图进行融合后，得到的具有人脸纹理信息的图像。其中，本技术实施例对将目标纹理底图与目标顶图进行融合处理的具体实施方式不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。举例来说，可以直接将目标纹理底图中各像素点的像素值与目标顶图中各像素点的像素值进行叠加，得到人脸纹理图；或者，可以基于掩膜将目标纹理底图与目标顶图进行融合处理，得到人脸纹理图等。
56.在上述步骤s103中，可以将步骤s102中得到的人脸纹理图贴合至步骤s101中得到的三维头模中，即将人脸纹理图中的纹理信息贴合至三维头模中，以得到具有纹理信息的三维人脸模型。其中，本技术实施例对将人脸纹理图贴合至三维头模中的具体实施方式不作具体的限定，本领域技术人员可以参照现有技术进行合适的调整。
57.在上述方案中，在基于初始人脸图像以及deca模型得到初始纹理底图、三维头模以及目标参数之后，可以将目标纹理底图与目标顶图进行融合，并贴合在三维头模中得到
具有纹理信息的三维人脸模型，以实现对三维人脸模型的重建。其中，当上述目标纹理底图为基于初始纹理底图进行超分辨重建后获得的图像得到的时，目标纹理底图的清晰度较高；当目标顶图为对初始人脸图像进行超分辨率重建后获得的图像展开得到的二维投影图时，目标顶图的清晰度较高。因此，由于与目标顶图进行融合的目标纹理底图的清晰度较高，或者，与目标纹理底图进行融合的目标顶图的清晰度较高，因此提高了重建得到的三维人脸模型的清晰度以及整体的视觉效果。
58.进一步的，下面生成目标纹理底图的具体实施方式进行详细的介绍。
59.作为第一种实施方式，可以通过如下过程生成上述目标纹理底图：
60.对初始纹理底图或者初始纹理底图进行超分辨率重建后获得的图像中的目标区域中的像素点的像素值进行调整，得到目标纹理底图。
61.具体的，上述目标区域可以基于三维人脸重建时初始纹理底图需要拼接在一起的区域所确定。
62.可以理解的是，在将目标纹理底图与目标顶图融合后得到人脸纹理底图贴合至三维头模上时，人脸纹理底图中会有一部分区域拼接在一起，该矛与初始纹理底图中需要拼接在一起的区域是对应的；而目标区域可以基于上述拼接在一起的区域所确定。
63.其中，作为一种实施方式，可以直接将三维人脸重建时初始纹理底图需要拼接在一起的区域确定为目标区域；作为另一种实施方式，也可以基于三维人脸重建时初始纹理底图需要拼接在一起的区域确定目标区域。
64.本技术实施例对上述基于三维人脸重建时初始纹理底图需要拼接在一起的区域确定目标区域的具体实施方式不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。举例来说，可以缩小或者放大上述区域，并将缩小或者放大后的区域确定为目标区域；或者，可以将上述区域中的部分区域确定为目标区域德国。
65.此外，本技术实施例对初始纹理底图或者初始纹理底图进行超分辨率重建后获得的图像中的目标区域中的像素点的像素值进行调整的具体实施方式也不作具体的限定，本领域技术人员同样可以根据实际情况进行合适的调整。例如：可以通过修改目标区域内所有像素点的像素值为一固定值实现像素值调整；或者，可以基于目标区域内像素点周围的其他像素点修改目标区域内像素点的像素值，实现像素值调整；或者，可以将目标区域划分为两个对称的区域，首先对其中一个区域进行像素值调整，再将调整后的像素值对称至另一个区域等。
66.在上述方案中，在生成目标纹理底图的过程中，可以对初始纹理底图或者初始纹理底图进行超分辨率重建后获得的图像中的目标区域中的像素点的像素值进行调整，以实现对目标区域进行补色的目的，从而解决重建得到的三维人脸模型的头部后方产生分界线的技术问题。其中，由于经过补色得到的目标纹理底图拼接在一起的区域是存在颜色的，因此在将目标纹理底图与目标顶图融合并贴合在三维头模上后，可以使得三维人脸模型的头部后方是连续而没有分界线的，从而提高了重建得到的三维人脸模型整体的视觉效果。
67.下面对初始纹理底图或者初始纹理底图进行超分辨率重建后获得的图像中的目标区域中的像素点的像素值进行调整的一种实施方式进行详细的介绍，上述步骤具体可以包括如下内容：
68.步骤1)，获取边缘掩膜。
69.步骤2)，根据边缘掩膜确定初始纹理底图或者初始纹理底图进行超分辨率重建后获得的图像中的第一子区域。
70.步骤3)，对第一子区域内的像素点的像素值进行调整。
71.步骤4)，将第一子区域内的像素点调整后的像素值对称至第二子区域内相应的像素点。
72.具体的，在上述步骤1)中，边缘掩膜为事先确定好的用于对初始纹理底图或者初始纹理底图进行超分辨率重建后获得的图像进行像素值调整的一个掩膜。通常来说，一个掩膜中包括像素值为0的像素点以及像素值为1的像素点。
73.执行本技术实施例提供的三维人脸重建方法的电子设备，获取上述边缘掩膜的方式有多种。例如：电子设备可以接收其他设备发送的边缘掩膜；或者，电子设备可以读取云端或者本地存储的边缘掩膜等。
74.在上述步骤2)中，上述实施例中的目标区域可以包括第一子区域以及第二子区域，其中，第一子区域与第二子区域关于初始纹理底图或者初始纹理底图进行超分辨率重建后获得的图像的中轴线对称。
75.其中，本技术实施例对第一子区域以及第二子区域在初始纹理底图或者初始纹理底图进行超分辨率重建后获得的图像中的左右不作具体的限定，第一子区域可以位于初始纹理底图或者初始纹理底图进行超分辨率重建后获得的图像的左侧，也可以位于初始纹理底图或者初始纹理底图进行超分辨率重建后获得的图像的右侧。
76.在本技术实施例中，边缘掩膜的大小与初始纹理底图或者初始纹理底图进行超分辨率重建后获得的图像的大小一致。作为一种实施方式，边缘掩膜中像素值为1的像素点与目标区域内的像素点对应；作为另一种实施方式，边缘掩膜中像素值为1的像素点与第一子区域内的像素点对应。请参照图2，图2为本技术实施例提供的一种边缘掩膜的示意图，其中，白色部分表示像素值为1的第一子区域，黑色部分表示像素值为0的区域。
77.在上述第一种实施方式中，根据边缘掩膜可以确定初始纹理底图或者初始纹理底图进行超分辨率重建后获得的图像中的目标区域，从而可以对目标区域内的像素点的像素值进行调整。
78.在上述第二种实施方式中，根据边缘掩膜可以确定初始纹理底图或者初始纹理底图进行超分辨率重建后获得的图像中的第一子区域，从而可以对第一子区域内的像素点的像素值进行调整；同时，由于第一子区域与第二子区域关于初始纹理底图或者初始纹理底图进行超分辨率重建后获得的图像的中轴线对称，因此，可以直接将第一子区域内的像素点调整后的像素值对称至第二子区域内相应的像素点，实现对第二子区域内的像素点的像素值进行调整。
79.其中，将第一子区域内的像素点调整后的像素值对称至第二子区域内相应的像素点，是指将第一子区域内像素点的像素值复制作为对应的第二子区域内像素点的像素值。
80.在上述方案中，可以基于边缘掩膜对初始纹理底图或者所述初始纹理底图进行超分辨率重建后获得的图像中一侧的边缘(即第一子区域内的像素点)进行像素值调整，然后直接将上述调整后的像素值对称至另一侧的边缘(即第二子区域内的像素点)，这样，可以实现对目标区域进行对称补色的目的，从而使得目标纹理底图拼接在一起的区域是是对称且存在颜色的。因此在将目标纹理底图与目标顶图融合并贴合在三维头模上后，可以使得
三维人脸模型的头部后方是连续而没有分界线的，从而提高了重建得到的三维人脸模型整体的视觉效果。
81.下面对第一子区域内的像素点的像素值进行调整的一种实施方式进行详细的介绍，上述步骤具体可以包括如下内容：
82.针对第一子区域内的每一像素点，计算该像素点的周围目标区域内像素点的第一像素均值，将第一像素值均值作为该像素点的像素值。
83.具体的，针对第一子区域内的每一个像素点，其周围目标区域内像素点有多种实施方式。例如：其周围目标区域可以包括以该像素点为中心形成的3
×
3的区域中的其他像素点；或者，其周围目标区域可以包括以该像素点为中心形成的3
×
3的区域中像素值不为0的其他像素点等。
84.在上述步骤中，可以通过计算周围目标区域内像素点的像素值的均值，得到该像素点的周围目标区域内像素点的第一像素均值，并将上述第一像素均值作为该像素点的像素值。其中，由于第一像素均值一般为大于0的数值，因此实现了对该像素点的补色。
85.需要说明的是，在计算上述第一像素均值的过程中，可以对该像素点的周围目标区域内不同的像素点设置不同的权重值，并基于上述权重值对周围目标区域内像素点的像素值进行加权平均，得到第一像素均值。
86.在上述方案中，可以根据像素点的周围目标区域内像素点的第一像素均值对第一子区域内的像素点进行像素值调整，从而使得在将目标纹理底图与目标顶图融合并贴合在三维头模上后，可以使得三维人脸模型的头部后方是连续而没有分界线的，从而提高了重建得到的三维人脸模型整体的视觉效果。
87.作为第二种实施方式，可以通过如下过程生成上述目标纹理底图：：
88.根据目标顶图中像素点的像素值对初始纹理底图或者初始纹理底图进行超分辨率重建后获得的图像中各像素点的像素值进行矫正处理，得到目标纹理底图。
89.具体的，在上述步骤中，由于初始纹理底图或者初始纹理底图进行超分辨率重建后获得的图像无法很好的还原初始人脸图像的皮肤颜色，因此可以对初始纹理底图或者初始纹理底图进行超分辨率重建后获得的图像中各像素点的像素值进行矫正处理，使得矫正后得到的目标纹理底图的皮肤颜色与目标顶图的皮肤颜色一致。
90.可以理解的是，上述“一致”并不代表目标顶图中像素点的像素值与目标纹理底图中像素点的像素值完全一致，而是指目标顶图中像素点的像素值与目标纹理底图中像素点的像素值比较接近，从而使得融合后的人脸纹理图的皮肤颜色比较均匀。
91.作为一种实施方式，可以对初始纹理底图或者初始纹理底图进行超分辨率重建后获得的图像中的所有像素点的像素值均进行矫正处理；作为另一种实施方式，可以对初始纹理底图或者初始纹理底图进行超分辨率重建后获得的图像中的部分像素点的像素值进行矫正处理，例如：仅对初始纹理底图或者初始纹理底图进行超分辨率重建后获得的图像中的人脸区域的像素点的像素值进行矫正处理。
92.需要说明的是，本技术实施例对初始纹理底图或者初始纹理底图进行超分辨率重建后获得的图像中像素点的像素值进行矫正处理的具体实施方式不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。例如：可以通过修改初始纹理底图或者初始纹理底图进行超分辨率重建后获得的图像中像素点的像素值为一固定值实现矫正；或者，
可以基于目标顶图中像素点的像素值修改初始纹理底图或者初始纹理底图进行超分辨率重建后获得的图像中像素点的像素值等。
93.在上述方案中，在生成目标纹理底图的过程中，可以对初始纹理底图或者初始纹理底图进行超分辨率重建后获得的图像中像素点的像素值进行矫正，以实现对目标纹理底图进行皮肤颜色矫正的目的，从而解决重建得到的三维人脸模型的皮肤颜色不均匀的技术问题。其中，由于经过皮肤颜色矫正得到的目标纹理底图与目标顶图的颜色是一致的，因此在将目标纹理底图与目标顶图融合并贴合在三维头模上后，可以使得三维人脸模型的皮肤颜色是均匀的，从而提高了重建得到的三维人脸模型整体的视觉效果。
94.下面对初始纹理底图或者初始纹理底图进行超分辨率重建后获得的图像中像素点的像素值进行矫正处理的一种实施方式进行详细的介绍，上述步骤具体可以包括如下内容：
95.步骤1)，根据目标顶图的人脸区域中像素点的像素值和初始纹理底图/初始纹理底图进行超分辨率重建后获得的图像的人脸区域中像素点的像素值，确定矫正系数。
96.步骤2)，根据矫正系数对初始纹理底图/初始纹理底图进行超分辨率重建后获得的图像中像素点的像素值进行矫正处理。
97.具体的，在上述步骤1)中，人脸区域是指图像中，人脸所在的区域；作为一种实施方式，人脸区域可以包括额头至下巴、左耳至右耳的所有区域；作为另一种实施方式，人脸区域可以包括额头至下巴、左耳至右耳的区域除去眼睛、鼻子、嘴巴所在的区域剩下的区域。
98.作为一种实施方式，可以通过人脸掩膜确定目标顶图和初始纹理底图/初始纹理底图进行超分辨率重建后获得的图像中的人脸区域。请参照图3及图4，图3为本技术实施例提供的一种人脸掩膜的示意图，图4为本技术实施例提供的另一种人脸掩膜的示意图，其中，白色部分为像素值为1的区域，黑色部分为像素值为0的区域。
99.与边缘掩膜类似，人脸掩膜为事先确定好的用于对初始纹理底图或者初始纹理底图进行超分辨率重建后获得的图像进行像素值矫正的一个掩膜。通常来说，一个掩膜中包括像素值为0的像素点以及像素值为1的像素点。
100.其中，人脸掩膜中像素值为1的像素点与目标顶图中人脸区域的像素点对应；或者，人脸掩膜中像素值为1的像素点与初始纹理底图/初始纹理底图进行超分辨率重建后获得的图像中人脸区域的像素点对应。因此，基于上述人脸掩膜，可以确定目标顶图和初始纹理底图/初始纹理底图进行超分辨率重建后获得的图像中的人脸区域。
101.根据目标顶图的人脸区域中像素点的像素值和初始纹理底图的人脸区域中像素点的像素值，可以确定用于对初始纹理底图进行矫正处理的矫正系数；或者，根据目标顶图的人脸区域中像素点的像素值和初始纹理底图进行超分辨率重建后获得的图像的人脸区域中像素点的像素值，可以确定用于对初始纹理底图进行超分辨率重建后获得的图像进行矫正处理的矫正系数。
102.其中，本技术实施例对确定矫正系数的具体实施方式不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。以根据目标顶图的人脸区域中像素点的像素值和初始纹理底图的人脸区域中像素点的像素值确定矫正系数为例，可以根据目标顶图的人脸区域中像素点的像素均值和初始纹理底图的人脸区域中像素点的像素均值确定上述矫
正系数；或者，可以直接根据目标顶图的人脸区域中像素点的像素值和初始纹理底图的人脸区域中像素点的像素值确定上述矫正系数等。
103.在上述步骤2)中，根据上述矫正系数，可以对初始纹理底图中像素点的像素值进行矫正处理；或者，可以对/初始纹理底图进行超分辨率重建后获得的图像图中像素点的像素值进行矫正处理。
104.其中，本技术实施例对上述根据矫正系数对像素值进行矫正处理的具体实施方式不作具体的限定，本领域技术人员可以根据实际情况进行合适的选择。以根据矫正系数对初始纹理底图中像素点的像素值进行矫正处理为例，可以将上述矫正系数与初始纹理底图中像素点的像素值进行相乘，得到矫正后的目标纹理底图；或者，可以基于上述矫正系数，采用量化的方式对初始纹理底图中像素点的像素值进行矫正处理，得到矫正后的目标纹理底图等。
105.在上述方案中，可以基于目标顶图的人脸区域中像素点的像素值和初始纹理底图/初始纹理底图进行超分辨率重建后获得的图像的人脸区域中像素点的像素值确定矫正系数，并基于上述矫正系数对初始纹理底图/初始纹理底图进行超分辨率重建后获得的图像中像素点的像素值进行矫正处理，从而使得矫正后的目标纹理底图的人脸区域的皮肤颜色与目标顶图的人脸区域的皮肤颜色是一致的，可以使得三维人脸模型的皮肤颜色是均匀的，从而提高了重建得到的三维人脸模型整体的视觉效果。
106.下面以根据目标顶图的人脸区域中像素点的像素值和初始纹理底图的人脸区域中像素点的像素值确定矫正系数为例，对确定矫正系数的一种实施方式进行详细的介绍，上述步骤具体可以包括如下内容：
107.步骤1)，计算目标顶图的人脸区域中各像素点的第二像素均值，以及，计算初始纹理底图的人脸区域中各像素点的第三像素均值。
108.步骤2)，将第二像素值均值与第三像素值均值的比值确定为矫正系数。
109.具体的，在上述步骤1)中，可以分别计算目标顶图的人脸区域中各像素点的像素值的均值，得到第二像素均值，以及初始纹理底图的人脸区域中各像素点的像素值的均值，得到第三像素均值。
110.在上述步骤2)中，通过将第二像素均值与第三像素值相除，得到第二像素值均值与第三像素值均值的比值，并将上述比值确定为矫正系数。
111.在上述方案中，可以基于目标顶图的人脸区域中像素点的第二像素值均值以及初始纹理底图的人脸区域中像素点的第三像素均值确定矫正系数，并基于上述矫正系数对初始纹理底图中像素点的像素值进行矫正处理，从而使得矫正后的目标纹理底图的人脸区域的皮肤颜色与目标顶图的人脸区域的皮肤颜色是一致的，可以使得三维人脸模型的皮肤颜色是均匀的，从而提高了重建得到的三维人脸模型整体的视觉效果。
112.类似的，当根据目标顶图的人脸区域中像素点的像素值和初始纹理底图进行超分辨率重建后获得的图像的人脸区域中像素点的像素值确定矫正系数时，上述确定矫正系数步骤具体可以包括如下内容：
113.步骤1)，计算目标顶图的人脸区域中各像素点的第二像素均值，以及，计算初始纹理底图进行超分辨率重建后获得的图像的人脸区域中各像素点的第三像素均值。
114.步骤2)，将第二像素值均值与第三像素值均值的比值确定为矫正系数。
115.在上述方案中，可以基于目标顶图的人脸区域中像素点的第二像素值均值以及初始纹理底图进行超分辨率重建后获得的图像的人脸区域中像素点的第三像素均值确定矫正系数，并基于上述矫正系数对初始纹理底图进行超分辨率重建后获得的图像中像素点的像素值进行矫正处理，从而使得矫正后的目标纹理底图的人脸区域的皮肤颜色与目标顶图的人脸区域的皮肤颜色是一致的，可以使得三维人脸模型的皮肤颜色是均匀的，从而提高了重建得到的三维人脸模型整体的视觉效果。
116.作为第三种实施方式，可以通过如下过程生成上述目标纹理底图：
117.步骤1)，对初始纹理底图或者初始纹理底图进行超分辨率重建后获得的图像中的目标区域中的像素点的像素值进行调整。
118.步骤2)，根据目标顶图中像素点的像素值对调整后的图像中各像素点的像素值进行矫正处理，得到目标纹理底图。
119.具体的，步骤1)以及步骤2)的具体实施方式均已经在上述实施例中进行了介绍，此处不再赘述。
120.该实施方式与第一种实施方式的区别在于，在对初始纹理底图或者初始纹理底图进行超分辨率重建后获得的图像进行像素值调整之后，还要对调整后的图像进行矫正处理；最终，经过像素值调整以及矫正处理的图像为用于与目标顶图融合的目标纹理底图。
121.可以理解的是，上述步骤1)及步骤2)的顺序可以交换，交换后的实施方式与第二种实施方式的区别在于，在对对初始纹理底图或者初始纹理底图进行超分辨率重建后获得的图像进行矫正处理之后，还要对矫正后的图像进行像素值调整；最终，经过矫正处理以及像素值调整的图像为用于与目标顶图融合的目标纹理底图。
122.在上述方案中，在生成目标纹理底图的过程中，可以对初始纹理底图或者初始纹理底图进行超分辨率重建后获得的图像中像素点的像素值进行调整，并对调整后的图像进行矫正处理，可以使得三维人脸模型的头部后方是连续而没有分界线的且皮肤颜色是均匀的，从而提高了重建得到的三维人脸模型整体的视觉效果。
123.进一步的，在上述实施例的基础上，上述步骤s102具体可以包括如下内容：
124.步骤1)，将目标顶图中各像素的像素值与第一融合掩膜中相应位置处像素的像素值相乘得到第一融合图像，将目标纹理底图中各像素的像素值与第二融合掩膜中相应位置处像素的像素值相乘得到第二融合图像。
125.步骤2)，将第一融合图像中各像素点的像素值与第二融合图像中相应位置处像素点的像素值叠加，得到人脸纹理图。
126.具体的，与边缘掩膜类似，第一融合掩膜为事先确定好的用于对目标顶图以及目标纹理底图进行融合的一个掩膜。通常来说，一个掩膜中包括像素值为0的像素点以及像素值为1的像素点。
127.而第二融合掩膜，作为一种实施方式，第二融合掩膜也可以为事先确定好的用于对目标顶图以及目标纹理底图进行融合的一个掩膜；作为另一种实施方式，第二融合掩膜为在融合过程中，根据第一融合掩膜确定的一个掩膜。其中，第二融合掩膜中各像素的像素值可以为第一数值与第一融合掩膜中相应位置处像素的像素值的差值。举例来说，上述第一数值可以为1或者其他数值。
128.需要说明的是，本技术实施例提供的第一融合掩膜有多种实施方式，本技术实施
例对此不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。举例来说，第一融合掩膜的大小可以与初始纹理底图的大小相同，其像素值为1的区域与目标纹理底图中的人脸区域对应；或者，第一融合掩膜的大小可以与初始纹理底图的大小相同，其像素值为1的区域小于目标纹理底图中的人脸区域等。
129.在上述步骤1)中，通过将目标顶图中各像素的像素值与第一融合掩膜中相应位置处像素的像素值相乘，可以得到第一融合图像；类似的，通过将目标纹理底图中各像素的像素值与第二融合掩膜中相应位置处像素的像素值相乘，可以得到第二融合图像。
130.然后，在上述步骤2)，将第一融合图像中各像素点的像素值与第二融合图像中相应位置处像素点的像素值叠加，可以得到人脸纹理图。
131.在上述方案中，可以基于第一融合掩膜以及目标顶图确定第一融合图像，并基于第二融合掩膜以及目标纹理底图确定第二融合图像，通过将第一融合图像中各像素点的像素值与第二融合图像中相应位置处像素点的像素值叠加，实现对目标纹理底图与目标顶图的融合，从而得到融合后的人脸纹理图，以将人脸纹理图贴合在三维头模上，得到具有纹理信息的三维人脸模型。
132.进一步的，下面对上述实施例中获取第一融合掩膜的具体实施方式进行详细的介绍。
133.作为第一种实施方式，在上述将目标顶图中各像素的像素值与第一融合掩膜中相应位置处像素的像素值相乘得到第一融合图像的步骤之前，本技术实施例提供的三维人脸重建方法还可以包括如下内容：
134.将初始掩膜中像素值为第二数值的区域缩小至目标大小，得到第一融合掩膜。
135.具体的，初始掩膜中的像素值为第二数值的区域与目标纹理底图中的人脸区域对应，其中，第二数值可以为1或者其他数值。
136.目标区域为需要将初始掩膜缩小至的区域，本技术实施例对目标区域的具体大小不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。举例来说，目标区域的大小可以比目标纹理底图中的人脸区域的大小小预设数值；或者，目标区域的边缘可以比目标纹理底图中的人脸区域的边缘内缩预设数值等。
137.以第二数值为1为例，将初始掩膜中像素值为1的区域缩小至目标区域之后，得到的第一融合掩膜中的像素值为1的区域小于目标纹理底图中的人脸区域。这样，基于第一融合掩膜将目标顶图与目标纹理底图融合之后，不会引入目标纹理底图中过多的背景区域。
138.在上述方案中，可以通过将初始掩膜中像素值为第二数值的区域缩小，解决重建得到的三维人脸模型由于背景区域引入过多导致的在贴合处出现空洞的技术问题。其中，由于在融合时保留了目标纹理底图中较小的区域，减少了背景区域的引入，因此在将目标纹理底图与目标顶图融合并贴合在三维头模上后，可以使得三维人脸模型的贴合处是没有空洞的，从而提高了重建得到的三维人脸模型整体的视觉效果。
139.作为第二种实施方式，在上述将目标顶图中各像素的像素值与第一融合掩膜中相应位置处像素的像素值相乘得到第一融合图像的步骤之前，本技术实施例提供的三维人脸重建方法还可以包括如下内容：
140.对初始掩膜中像素值为第二数值的区域的边缘进行高斯模糊，得到第一融合掩膜。
141.具体的，类似的，初始掩膜中的像素值为第二数值的区域与目标纹理底图中的人脸区域对应，其中，第二数值可以为1或者其他数值。
142.以第二数值为1为例，对初始掩膜中像素值为1的区域的边缘进行高斯模糊之后，得到的第一融合掩膜中的边缘像素值在0-1之间。这样，基于第一融合掩膜将目标顶图与目标纹理底图融合之后，可以使得贴合处是平滑过渡的。
143.在上述方案中，可以通过将初始掩膜中像素值为第二数值的区域的边缘进行高斯模糊，解决重建得到的三维人脸模型在贴合处无平滑过渡的技术问题。其中，由于经过边缘高斯模糊处理的第一融合掩膜中像素值的大小在一个范围之内，因此在将目标纹理底图与目标顶图融合并贴合在三维头模上后，可以使得三维人脸模型的贴合处是平滑过渡的，从而提高了重建得到的三维人脸模型整体的视觉效果。
144.作为第三种实施方式，在上述将目标顶图中各像素的像素值与第一融合掩膜中相应位置处像素的像素值相乘得到第一融合图像的步骤之前，本技术实施例提供的三维人脸重建方法还可以包括如下内容：
145.步骤1)，将初始掩膜中像素值为第二数值的区域缩小至目标大小。
146.步骤2)，对区域缩小后的初始掩膜中像素值为第二数值的区域的边缘进行高斯模糊，得到第一融合掩膜。
147.具体的，基于上述实施例，以第二数值为1为例，将初始掩膜中像素值为1的区域缩小之后，得到的掩膜中的像素值为1的区域小于目标纹理底图中的人脸区域；对区域缩小后的初始掩膜中像素值为1的区域的边缘进行高斯模糊之后，得到的第一融合掩膜中的边缘像素值在0-1之间。
148.在上述方案中，可以通过将初始掩膜中像素值为第二数值的区域缩小，解决重建得到的三维人脸模型由于背景区域引入过多导致的在贴合处出现空洞的技术问题。同时，可以通过将缩小后的初始掩膜中像素值为第二数值的区域的边缘进行高斯模糊，解决重建得到的三维人脸模型在贴合处无平滑过渡的技术问题。因此在将目标纹理底图与目标顶图融合并贴合在三维头模上后，可以使得三维人脸模型的贴合处是没有空洞且平滑过渡的，从而提高了重建得到的三维人脸模型整体的视觉效果。
149.请参照图5，图5为本技术实施例提供的一种三维人脸重建装置的结构框图，该三维人脸重建装置500可以包括：得到模块501，用于基于初始人脸图像和deca模型，得到所述初始人脸图像所对应的初始纹理底图、三维头模以及目标参数；其中，所述目标参数包括人脸形状参数和相机参数；融合模块502，用于将目标纹理底图与目标顶图进行融合处理，得到人脸纹理图；其中，所述目标顶图为基于所述目标参数对所述初始人脸图像或者对所述初始人脸图像进行超分辨率重建后获得的图像展开得到的二维投影图，所述目标纹理底图为基于所述初始纹理底图或者基于所述初始纹理底图进行超分辨重建后获得的图像得到的；贴合模块503，用于将所述人脸纹理图贴合至所述三维头模中，得到重建后的三维人脸模型。
150.在本技术实施例中，在基于初始人脸图像以及deca模型得到初始纹理底图、三维头模以及目标参数之后，可以将目标纹理底图与目标顶图进行融合，并贴合在三维头模中得到具有纹理信息的三维人脸模型，以实现对三维人脸模型的重建。其中，当上述目标纹理底图为基于初始纹理底图进行超分辨重建后获得的图像得到的时，目标纹理底图的清晰度
较高；当目标顶图为对初始人脸图像进行超分辨率重建后获得的图像展开得到的二维投影图时，目标顶图的清晰度较高。因此，由于与目标顶图进行融合的目标纹理底图的清晰度较高，或者，与目标纹理底图进行融合的目标顶图的清晰度较高，因此提高了重建得到的三维人脸模型的清晰度以及整体的视觉效果。
151.进一步的，所述三维人脸重建装置500还包括第一生成模块，用于：对所述初始纹理底图或者所述初始纹理底图进行超分辨率重建后获得的图像中的目标区域中的像素点的像素值进行调整，得到所述目标纹理底图；其中，所述目标区域基于三维人脸重建时，所述初始纹理底图需要拼接在一起的区域所确定。
152.在本技术实施例中，在生成目标纹理底图的过程中，可以对初始纹理底图或者初始纹理底图进行超分辨率重建后获得的图像中的目标区域中的像素点的像素值进行调整，以实现对目标区域进行补色的目的，从而解决重建得到的三维人脸模型的头部后方产生分界线的技术问题。其中，由于经过补色得到的目标纹理底图拼接在一起的区域是存在颜色的，因此在将目标纹理底图与目标顶图融合并贴合在三维头模上后，可以使得三维人脸模型的头部后方是连续而没有分界线的，从而提高了重建得到的三维人脸模型整体的视觉效果。
153.进一步的，所述第一生成模块具体用于：获取边缘掩膜；根据所述边缘掩膜确定所述初始纹理底图或者所述初始纹理底图进行超分辨率重建后获得的图像中的第一子区域；其中，所述目标区域包括第一子区域以及第二子区域，所述第一子区域与所述第二子区域关于所述初始纹理底图或者所述初始纹理底图进行超分辨率重建后获得的图像的中轴线对称；对所述第一子区域内的像素点的像素值进行调整；将所述第一子区域内的像素点调整后的像素值对称至所述第二子区域内相应的像素点。
154.在本技术实施例中，可以基于边缘掩膜对初始纹理底图或者所述初始纹理底图进行超分辨率重建后获得的图像中一侧的边缘(即第一子区域内的像素点)进行像素值调整，然后直接将上述调整后的像素值对称至另一侧的边缘(即第二子区域内的像素点)，这样，可以实现对目标区域进行对称补色的目的，从而使得目标纹理底图拼接在一起的区域是是对称且存在颜色的。因此在将目标纹理底图与目标顶图融合并贴合在三维头模上后，可以使得三维人脸模型的头部后方是连续而没有分界线的，从而提高了重建得到的三维人脸模型整体的视觉效果。
155.进一步的，所述第一生成模块具体用于：针对所述第一子区域内的每一像素点，计算该像素点的周围目标区域内像素点的第一像素均值，将所述第一像素值均值作为该像素点的像素值。
156.在本技术实施例中，可以根据像素点的周围目标区域内像素点的第一像素均值对第一子区域内的像素点进行像素值调整，从而使得在将目标纹理底图与目标顶图融合并贴合在三维头模上后，可以使得三维人脸模型的头部后方是连续而没有分界线的，从而提高了重建得到的三维人脸模型整体的视觉效果。
157.进一步的，所述三维人脸重建装置500还包括第二生成模块，用于：根据所述目标顶图中像素点的像素值对所述初始纹理底图或者所述初始纹理底图进行超分辨率重建后获得的图像中各像素点的像素值进行矫正处理，得到所述目标纹理底图。
158.在本技术实施例中，在生成目标纹理底图的过程中，可以对初始纹理底图或者初
始纹理底图进行超分辨率重建后获得的图像中像素点的像素值进行矫正，以实现对目标纹理底图进行皮肤颜色矫正的目的，从而解决重建得到的三维人脸模型的皮肤颜色不均匀的技术问题。其中，由于经过皮肤颜色矫正得到的目标纹理底图与目标顶图的颜色是一致的，因此在将目标纹理底图与目标顶图融合并贴合在三维头模上后，可以使得三维人脸模型的皮肤颜色是均匀的，从而提高了重建得到的三维人脸模型整体的视觉效果。
159.进一步的，所述第二生成模块具体用于：根据所述目标顶图的人脸区域中像素点的像素值和所述初始纹理底图的人脸区域中像素点的像素值，确定矫正系数；根据所述矫正系数对所述初始纹理底图中像素点的像素值进行矫正处理；或者，根据所述目标顶图的人脸区域中像素点的像素值和所述初始纹理底图进行超分辨率重建后获得的图像的人脸区域中像素点的像素值，确定矫正系数；根据所述矫正系数对所述初始纹理底图进行超分辨率重建后获得的图像中像素点的像素值进行矫正处理。
160.在本技术实施例中，可以基于目标顶图的人脸区域中像素点的像素值和初始纹理底图/初始纹理底图进行超分辨率重建后获得的图像的人脸区域中像素点的像素值确定矫正系数，并基于上述矫正系数对初始纹理底图/初始纹理底图进行超分辨率重建后获得的图像中像素点的像素值进行矫正处理，从而使得矫正后的目标纹理底图的人脸区域的皮肤颜色与目标顶图的人脸区域的皮肤颜色是一致的，可以使得三维人脸模型的皮肤颜色是均匀的，从而提高了重建得到的三维人脸模型整体的视觉效果。
161.进一步的，所述第二生成模块具体用于：计算所述目标顶图的人脸区域中各像素点的第二像素均值，以及，计算所述初始纹理底图的人脸区域中各像素点的第三像素均值；将所述第二像素值均值与所述第三像素值均值的比值确定为所述矫正系数。
162.在本技术实施例中，可以基于目标顶图的人脸区域中像素点的第二像素值均值以及初始纹理底图/初始纹理底图进行超分辨率重建后获得的图像的人脸区域中像素点的第三像素均值确定矫正系数，并基于上述矫正系数对初始纹理底图/初始纹理底图进行超分辨率重建后获得的图像中像素点的像素值进行矫正处理，从而使得矫正后的目标纹理底图的人脸区域的皮肤颜色与目标顶图的人脸区域的皮肤颜色是一致的，可以使得三维人脸模型的皮肤颜色是均匀的，从而提高了重建得到的三维人脸模型整体的视觉效果。
163.进一步的，所述融合模块502具体用于：将所述目标顶图中各像素的像素值与第一融合掩膜中相应位置处像素的像素值相乘得到第一融合图像，将所述目标纹理底图中各像素的像素值与第二融合掩膜中相应位置处像素的像素值相乘得到第二融合图像；其中，所述第二融合掩膜中各像素的像素值为第一数值与所述第一融合掩膜中相应位置处像素的像素值的差值；将所述第一融合图像中各像素点的像素值与所述第二融合图像中相应位置处像素点的像素值叠加，得到所述人脸纹理图。
164.在本技术实施例中，可以基于第一融合掩膜以及目标顶图确定第一融合图像，并基于第二融合掩膜以及目标纹理底图确定第二融合图像，通过将第一融合图像中各像素点的像素值与第二融合图像中相应位置处像素点的像素值叠加，实现对目标纹理底图与目标顶图的融合，从而得到融合后的人脸纹理图，以将人脸纹理图贴合在三维头模上，得到具有纹理信息的三维人脸模型。
165.进一步的，所述三维人脸重建装置500还包括：缩小模块，用于将初始掩膜中像素值为第二数值的区域缩小至目标大小，得到所述第一融合掩膜；其中，所述初始掩膜中像素
erasable programmable read-only memory，简称eeprom)等。
173.可以理解，图6所示的结构仅为示意，电子设备600还可包括比图6中所示更多或者更少的组件，或者具有与图6所示不同的配置。图6中所示的各组件可以采用硬件、软件或其组合实现。于本技术实施例中，电子设备600可以是，但不限于台式机、笔记本电脑、智能手机、智能穿戴设备、车载设备等实体设备，还可以是虚拟机等虚拟设备。另外，电子设备600也不一定是单台设备，还可以是多台设备的组合，例如服务器集群，等等。
174.本技术实施例还提供一种计算机程序产品，包括存储在计算机可读存储介质上的计算机程序，计算机程序包括计算机程序指令，当计算机程序指令被计算机执行时，计算机能够执行上述实施例中三维人脸重建方法的步骤，例如包括：基于初始人脸图像和deca模型，得到所述初始人脸图像所对应的初始纹理底图、三维头模以及目标参数；其中，所述目标参数包括人脸形状参数和相机参数；将目标纹理底图与目标顶图进行融合处理，得到人脸纹理图；其中，所述目标顶图为基于所述目标参数对所述初始人脸图像或者对所述初始人脸图像进行超分辨率重建后获得的图像展开得到的二维投影图，所述目标纹理底图为基于所述初始纹理底图或者基于所述初始纹理底图进行超分辨重建后获得的图像得到的；将所述人脸纹理图贴合至所述三维头模中，得到重建后的三维人脸模型。
175.本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序指令，所述计算机程序指令被计算机运行时，使所述计算机执行前述方法实施例所述的三维人脸重建方法。
176.在本技术所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
177.另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
178.再者，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
179.需要说明的是，功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
180.在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另
一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
181.以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。
技术特征：1.一种三维人脸重建方法，其特征在于，包括：基于初始人脸图像和deca模型，得到所述初始人脸图像所对应的初始纹理底图、三维头模以及目标参数；其中，所述目标参数包括人脸形状参数和相机参数；将目标纹理底图与目标顶图进行融合处理，得到人脸纹理图；其中，所述目标顶图为基于所述目标参数对所述初始人脸图像或者对所述初始人脸图像进行超分辨率重建后获得的图像展开得到的二维投影图，所述目标纹理底图为基于所述初始纹理底图或者基于所述初始纹理底图进行超分辨重建后获得的图像得到的；将所述人脸纹理图贴合至所述三维头模中，得到重建后的三维人脸模型。2.根据权利要求1所述的三维人脸重建方法，其特征在于，通过如下过程生成所述目标纹理底图：对所述初始纹理底图或者所述初始纹理底图进行超分辨率重建后获得的图像中的目标区域中的像素点的像素值进行调整，得到所述目标纹理底图；其中，所述目标区域基于三维人脸重建时，所述初始纹理底图需要拼接在一起的区域所确定。3.根据权利要求2所述的三维人脸重建方法，其特征在于，所述对所述初始纹理底图或者所述初始纹理底图进行超分辨率重建后获得的图像中的目标区域中的像素点的像素值进行调整，包括：获取边缘掩膜；根据所述边缘掩膜确定所述初始纹理底图或者所述初始纹理底图进行超分辨率重建后获得的图像中的第一子区域；其中，所述目标区域包括第一子区域以及第二子区域，所述第一子区域与所述第二子区域关于所述初始纹理底图或者所述初始纹理底图进行超分辨率重建后获得的图像的中轴线对称；对所述第一子区域内的像素点的像素值进行调整；将所述第一子区域内的像素点调整后的像素值对称至所述第二子区域内相应的像素点。4.根据权利要求3所述的三维人脸重建方法，其特征在于，所述对所述第一子区域内的像素点的像素值进行调整，包括：针对所述第一子区域内的每一像素点，计算该像素点的周围目标区域内像素点的第一像素均值，将所述第一像素值均值作为该像素点的像素值。5.根据权利要求1-4任一项所述的三维人脸重建方法，其特征在于，通过如下过程生成所述目标纹理底图：根据所述目标顶图中像素点的像素值对所述初始纹理底图或者所述初始纹理底图进行超分辨率重建后获得的图像中各像素点的像素值进行矫正处理，得到所述目标纹理底图。6.根据权利要求5所述的三维人脸重建方法，其特征在于，所述根据所述目标顶图中像素点的像素值对所述初始纹理底图或者所述初始纹理底图进行超分辨率重建后获得的图像中各像素点的像素值进行矫正处理，包括：根据所述目标顶图的人脸区域中像素点的像素值和所述初始纹理底图的人脸区域中像素点的像素值，确定矫正系数；根据所述矫正系数对所述初始纹理底图中像素点的像素值进行矫正处理；
或者，根据所述目标顶图的人脸区域中像素点的像素值和所述初始纹理底图进行超分辨率重建后获得的图像的人脸区域中像素点的像素值，确定矫正系数；根据所述矫正系数对所述初始纹理底图进行超分辨率重建后获得的图像中像素点的像素值进行矫正处理。7.根据权利要求6所述的三维人脸重建方法，其特征在于，所述根据所述目标顶图的人脸区域中像素点的像素值和所述初始纹理底图的人脸区域中像素点的像素值，确定矫正系数，包括：计算所述目标顶图的人脸区域中各像素点的第二像素均值，以及，计算所述初始纹理底图的人脸区域中各像素点的第三像素均值；将所述第二像素值均值与所述第三像素值均值的比值确定为所述矫正系数。8.根据权利要求1-7任一项所述的三维人脸重建方法，其特征在于，所述将目标纹理底图与目标顶图进行融合处理，得到人脸纹理图，包括：将所述目标顶图中各像素的像素值与第一融合掩膜中相应位置处像素的像素值相乘得到第一融合图像，将所述目标纹理底图中各像素的像素值与第二融合掩膜中相应位置处像素的像素值相乘得到第二融合图像；其中，所述第二融合掩膜中各像素的像素值为第一数值与所述第一融合掩膜中相应位置处像素的像素值的差值；将所述第一融合图像中各像素点的像素值与所述第二融合图像中相应位置处像素点的像素值叠加，得到所述人脸纹理图。9.根据权利要求8所述的三维人脸重建方法，其特征在于，将所述目标顶图中各像素的像素值与第一融合掩膜中相应位置处像素的像素值相乘得到第一融合图像，将所述目标纹理底图中各像素的像素值与第二融合掩膜中相应位置处像素的像素值相乘得到第二融合图像之前，所述方法还包括：将初始掩膜中像素值为第二数值的区域缩小至目标大小，得到所述第一融合掩膜；其中，所述初始掩膜中像素值为所述第二数值的区域与所述目标纹理底图中的人脸区域对应。10.根据权利要求9所述的三维人脸重建方法，其特征在于，在所述将初始掩膜中像素值为第二数值的区域缩小至目标大小之后，所述方法还包括：对区域缩小后的初始掩膜中像素值为所述第二数值的区域的边缘进行高斯模糊，得到所述第一融合掩膜。11.一种计算机程序产品，其特征在于，包括计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行如权利要求1-10中任一项所述的方法。12.一种电子设备，其特征在于，包括：处理器、存储器和总线；所述处理器和所述存储器通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的计算机程序指令，所述处理器调用所述计算机程序指令能够执行如权利要求1-10任一项所述的方法。13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序指令，所述计算机程序指令被计算机运行时，使所述计算机执行如权利要求1-10任一项所述的方法。
技术总结本申请实施例提供一种三维人脸重建方法、计算机程序产品及电子设备，方法包括：基于初始人脸图像和DECA模型，得到初始人脸图像所对应的初始纹理底图、三维头模以及目标参数；将目标纹理底图与目标顶图进行融合处理，得到人脸纹理图；其中，目标顶图为基于目标参数对初始人脸图像或者对初始人脸图像进行超分辨率重建后获得的图像展开得到的二维投影图，目标纹理底图为基于初始纹理底图或者基于初始纹理底图进行超分辨重建后获得的图像得到的；将人脸纹理图贴合至三维头模中，得到重建后的三维人脸模型。其中，由于目标顶图和/或目标纹理底图的清晰度较高，因此提高了重建得到的三维人脸模型的清晰度以及整体的视觉效果。人脸模型的清晰度以及整体的视觉效果。人脸模型的清晰度以及整体的视觉效果。
技术研发人员：刘旭东 莫原野 朱纯博 金宇林
受保护的技术使用者：北京旷视科技有限公司
技术研发日：2022.06.30
技术公布日：2022/11/1
