1.本技术涉及三维重建技术领域，尤其涉及一种头部三维模型的重建方法及电子设备。
背景技术：2.随着计算机视觉领域中三维重建技术不断发展，人体的三维重建技术成为了计算机视觉领域中的研究热点。如何在仅输入低分辨率图像的前提下重建出具有较高质量的头部三维模型，成为一个具有应有价值和研究意义的重要方向。
3.现有技术中，基于稀疏多视角颜色深度图像的头部三维模型的重建方法主要包括：重建参数化模型和重建基于体素表示的模型。其中，重建参数化模型为先从图片估计二维关节位置，再通过三维关节与二维平面关节投影距离最小来实现优化得到参数，进而得到三维模型。重建基于体素表示的模型是通过将空间分割为多个小立方体，通过立方体是否被物体占用来表示三维模型。
4.但是，重建参数化模型和基于体素表示的模型在仅输入低分辨率图像的情况下得到的头部三维模型的质量较低。
技术实现要素：5.本技术提供了一种头部三维模型的重建方法及电子设备，用于提高重建的头部三维模型的质量。
6.第一方面，本技术实施例提供一种头部三维模型的重建方法，所述方法包括：
7.针对任意一个目标对象，将获取的所述目标对象的多视角彩色深度rgbd图像输入至预先训练好的头部三维模型重建神经网络中，得到所述目标对象的头部三维模型；
8.其中，所述头部三维模型重建神经网络是通过以下方式进行训练的：
9.获取训练样本，其中，所述训练样本中包括头部三维模型在不同视角以及不同光照条件下进行渲染后的各渲染图像以及所述各渲染图像分别对应的目标符号距离场sdf值；
10.将训练样本输入至头部三维模型重建神经网络中，得到与所述各渲染图像对应的预测sdf值、各预测渲染图像以及头部三维模型；
11.基于所述各预测渲染图像和所述各渲染图像，得到第一中间损失值，并基于所述预测sdf值和所述目标sdf值，得到第二中间损失值；
12.利用所述第一中间损失值和所述第二中间损失值，得到目标损失值；
13.若所述目标损失值大于指定阈值，则结束对所述头部三维模型重建神经网络的训练。
14.本技术第二方面提供一种电子设备，包括处理器和存储器，所述处理器和所述存储器通过总线连接；
15.所述存储器中存储有计算机程序，所述处理器被配置为基于所述计算机程序执行
以下操作：
16.针对任意一个目标对象，将获取的所述目标对象的多视角彩色深度rgbd图像输入至预先训练好的头部三维模型重建神经网络中，得到所述目标对象的头部三维模型；
17.其中，所述头部三维模型重建神经网络是通过以下方式进行训练的：
18.获取训练样本，其中，所述训练样本中包括头部三维模型在不同视角以及不同光照条件下进行渲染后的各渲染图像以及所述各渲染图像分别对应的目标符号距离场sdf值；
19.将训练样本输入至头部三维模型重建神经网络中，得到与所述各渲染图像对应的预测sdf值、各预测渲染图像以及头部三维模型；
20.基于所述各预测渲染图像和所述各渲染图像，得到第一中间损失值，并基于所述预测sdf值和所述目标sdf值，得到第二中间损失值；
21.利用所述第一中间损失值和所述第二中间损失值，得到目标损失值；
22.若所述目标损失值大于指定阈值，则结束对所述头部三维模型重建神经网络的训练。
23.根据本技术实施例提供的第三方面，提供一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序用于执行如第一方面所述的方法。
24.本技术的上述实施例中，通过在精细的头部三维模型训练样本中使用图像渲染的方法使得到的渲染图像具有逼真的彩色深度数据，然后利用渲染图像的目标符号距离场值以及渲染图像来对头部三维模型重建神经网络进行训练，由此，使得训练后的神经网络的更加精确，所以，在对训练后的神经网络中输入低分辨率图像的情况下也可以得到高质量的头部三维模型，提高了头部三维模型的质量。
附图说明
25.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
26.图1示例性示出了本技术实施例提供的应用场景示意图；
27.图2示例性示出了本技术实施例提供的头部三维模型重建神经网络的训练方法的流程图；
28.图3示例性示出了本技术实施例提供的编码器解码器网络的结构示意图；
29.图4示例性示出了本技术实施例提供的确定第一中间损失值的流程示意图；
30.图5示例性示出了本技术实施例提供的渲染图像对应的目标像素点示意图；
31.图6示例性示出了本技术实施例提供的头部三维模型的重建方法的流程示意图；
32.图7示例性示出了本技术实施例提供的拍摄多视角图像示意图；
33.图8示例性示出了本技术实施例提供的头部三维模型的重建方法的流程示意图；
34.图9示例性示出了本技术实施例提供的头部三维模型的重建装置的结构示意图；
35.图10示例性示出了本技术实施例提供的电子设备的硬件结构图。
具体实施方式
36.为使本技术的目的、实施方式和优点更加清楚，下面将结合本技术示例性实施例中的附图，对本技术示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本技术一部分实施例，而不是全部的实施例。
37.基于本技术描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术所附权利要求保护的范围。此外，虽然本技术中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。
38.需要说明的是，本技术中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本技术的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
39.本技术的说明书和权利要求书及上述附图中的术语
″
第一
″
、
″
第二
″
等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语
″
包括
″
和
″
具有
″
以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
40.本技术中使用的术语
″
模块
″
，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。
41.下面对本技术实施例的思想进行概述。
42.现有技术中的头部三维模型的重建的相关技术中在输入低分辨率图像的情况下得到的头部三维模型的质量较低。
43.基于现有技术中存在的问题，本技术实施例提供了一种头部三维模型的重建方法，通过在精细的头部三维模型训练样本中使用图像渲染的方法使得到的渲染图像具有逼真的彩色深度数据，然后利用渲染图像的目标符号距离场值以及渲染图像来对头部三维模型重建神经网络进行训练，由此，使得训练后的神经网络的更加精确，所以，在对训练后的神经网络中输入低分辨率图像的情况下也可以得到高质量的头部三维模型，提高了头部三维模型的质量。下面结合附图详细描述本技术的实施例。
44.图1示例性示出了本技术实施例提供的头部三维模型的重建放大的应用场景示意图；如图1所示，该应用场景中是以电子设备为服务器为例进行说明的。该应用场景中包括终端设备110、相机120和服务器130。服务器130可以通过单个服务器实现，也可以通过多个服务器实现。服务器130可以通过实体服务器实现，也可以通过虚拟服务器实现。
45.在一种可能的应用场景中，针对任意一个目标对象，服务器130获取相机120拍摄的所述目标对象的rgbd图像；并将所述多视角rgbd图像输入至预先训练好的头部三维模型重建神经网络中，得到与所述目标对象相对应的人体头部的三维模型；其中，所述头部三维模型重建神经网络是通过以下方式进行训练的：服务器130获取训练样本，其中，所述训练样本中包括头部三维模型在不同视角以及不同光照条件下进行渲染后的各渲染图像以及所述各渲染图像分别对应的目标符号距离场sdf值；并将所述训练样本输入至所述头部三维模型重建神经网络中，得到与所述各渲染图像对应的预测sdf值、各预测渲染图像以及头
部三维模型；基于所述各预测渲染图像和所述各渲染图像，得到第一中间损失值，并基于所述预测sdf值和所述目标sdf值，得到第二中间损失值；然后服务器130利用所述第一中间损失值和所述第二中间损失值，得到目标损失值；若所述目标损失值大于指定阈值，则结束对所述头部三维模型重建神经网络的训练。
46.其中，图1中的服务器130与终端设备110之间可通过通信网络进行信息交互，其中，通信网络采用的通信方式可分为无线通信方式或有线通信方式。
47.示例性的，服务器130可通过蜂窝移动通信技术接入网络，与终端设备110进行通信，其中，所述蜂窝移动通信技术，比如，包括第五代移动通信(5th generation mobile networks，5g)技术。
48.可选的，服务器130可通过短距离无线通信方式接入网络，与终端设备110进行通信，其中，所述短距离无线通信方式，比如，包括无线保真(wireless fidelity，wi-fi)技术。
49.并且，本技术中的描述中仅就单个终端设备110、四个相机120以及单个服务器130加以详述，但是本领域技术人员应当理解的是，示出的终端设备110、相机120以及服务器130旨在表示本技术的技术方案涉及的终端设备110、相机120和服务器130的操作。而非暗示对终端设备110、相机120和服务器130的数量、类型或是位置等具有限制。应当注意，如果向图示环境中添加附加模块或从其中去除个别模块，不会改变本技术的示例实施例的底层概念。
50.示例性的，终端设备110包括但不限于：可视化大屏、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(mobile internet device，mid)、可穿戴设备，虚拟现实(virtual reality，vr)设备、增强现实(augmented reality，ar)设备、工业控制中的无线终端设备、无人驾驶中的无线终端设备、智能电网中的无线终端设备、运输安全中的无线终端设备、智慧城市中的无线终端设备，或智慧家庭中的无线终端设备等设备；终端设备上可以安装有相关的客户端，该客户端可以是软件(例如，浏览器、短视频软件等)，也可以是网页、小程序等。
51.需要说明的是，本技术提出的头部三维模型的重建方法不仅适用于图1所示的应用场景，还适用于任何有头部三维模型的重建的装置。
52.下面结合上述描述的应用场景，参考附图来描述本技术示例性实施方式头部三维模型的重建方法，需要注意的是，上述应用场景仅是为了便于理解本技术的方法和原理而示出，本技术的实施方式在此方面不受任何限制。
53.首先，先对本技术中的头部三维模型重建神经网络的训练方式进行详细说明，如图2所示，为训练头部三维模型重建神经网络的流程示意图，包括以下步骤：
54.步骤201：获取训练样本，其中，所述训练样本中包括头部三维模型在不同视角以及不同光照条件下进行渲染后的各渲染图像以及所述各渲染图像分别对应的目标符号距离场sdf值；
55.需要说明的是：训练样本中的头部三维模型是基于同一对象在不同角度下所拍摄的多视角图像得到的。
56.在一个实施例中，通过以下方式确定所述各渲染图像分别对应的目标sdf值：
57.针对任意一个渲染图像，将所述渲染图像投影到三维空间中，得到与所述渲染图
像对应的头部三维模型的外表面点云，在所述三维空间中随机采样多个三维点，基于所述多个三维点和所述外表面点云之间的各距离，得到所述渲染图像对应的目标sdf值。
58.步骤202：将所述训练样本输入至所述头部三维模型重建神经网络中，得到与所述各渲染图像对应的预测sdf值、各预测渲染图像以及头部三维模型；
59.其中，本实施例中的头部三维模型重建神经网络使用的编码器解码器网络，该编码器解码器网络中包含双重隐式场网络，即符号距离场网络和神经辐射场网络。例如，如图3所示，为编码器解码器网络的结构示意图，从图3中可以看出，该编码器解码器网络包括神经辐射场网络和符号距离场网络，利用符号距离场网络得到渲染图像的预测sdf值，以及通过神经辐射场得到预测渲染图像，并基于预测sdf值与目标sdf值，以及预测渲染图像和渲染图像得到目标损失值，将所述目标损失值作为l1范数对该头部三维模型重建神经网络的参数进行调整，得到训练后的头部三维模型重建神经网络。
60.步骤203：基于所述各预测渲染图像和所述各渲染图像，得到第一中间损失值，以及基于所述预测sdf值和所述目标sdf值，得到第二中间损失值；
61.下面，分别对确定第一中间损失值的具体方式和确定第二中间损失值的具体方式进行介绍：
62.1、第一中间损失值：
63.如图4所示，为确定第一中间损失值的流程示意图，包括以下步骤：
64.步骤401：针对所述渲染图像中的任意一个像素点，基于所述像素点的像素值以及所述预测渲染图像中与所述像素点相对应的目标像素点的像素值，得到所述像素点对应子损失值，其中，所述目标像素点为在所述预测渲染图像中位置坐标与所述像素点在所述渲染图像中的位置坐标相同的像素点；
65.例如，如图5所示，左边的图像为渲染图像，右边的图像为预测渲染图像。其中，预测渲染图像中的像素点a
′
是渲染图像中的像素点a的目标像素点，预测渲染图像中的像素点b
′
是渲染图像中的像素点b的目标像素点，依次类推，本实施例在此不再赘述。
66.在一个实施例中，步骤401可实施为：将所述像素点的像素值以及所述目标像素点的像素值的差值的绝对值确定为所述像素点对应的子损失值。其中，可通过公式(1)确定所述像素点的子损失值：
67.s
′
＝|p
a-pb|.....(1)；
68.其中，s
′
为所述像素点的子损失值，pa为所述像素点的像素值，pb为所述目标像素点的像素值。
69.步骤402：利用所述渲染图像中各像素点对应的子损失值，得到所述第一中间损失值。
70.在一个实施例中，步骤402可具体实施为：将所述渲染图像中各像素点对应的子损失值相加，得到所述第一中间损失值。
71.2、第二损失值：
72.将所述预测sdf值与所述目标sdf值的差值的绝对值确定为所述第二损失值。
73.步骤204：利用所述第一中间损失值和所述第二中间损失值，得到目标损失值；
74.在一个实施例中，通过以下方式确定所述目标损失值：将所述第一中间损失值和所述第二中间损失值相加，得到所述目标损失值。
75.步骤205：判断所述目标损失值是否大于指定阈值，若是，则执行步骤207，若否，则执行步骤206；
76.需要说明的是：本实施例中的指定阈值可根据实际情况来进行设置，本实施例在此并不对指定阈值的具体值来进行限定。
77.步骤206：对所述头部三维模型重建神经网络的指定参数进行调整后，返回执行步骤202；
78.其中，每次可按照预设调整规则来对头部三维模型重建神经网络的指定参数进行调整，该预设调整规则可为每次将指定参数增加或减少指定数值。具体的预设调整规则可根据实际情况来进行设置，本实施例在此不再进行限定。
79.步骤207：结束对所述头部三维模型重建神经网络的训练。
80.在介绍完头部三维模型重建神经网络的训练方式之后，下面对本技术中的头部三维模型的重建方法进行介绍，如图6所示，为头部三维模的重建方法的流程示意图，包括以下步骤：
81.步骤601：针对任意一个目标对象，获取所述目标对象的多视角彩色深度rgbd图像；
82.步骤602：将所述多视角rgbd图像输入至预先训练好的头部三维模型重建神经网络中，得到与所述目标对象相对应的人体头部的三维模型。
83.需要说明的是：本实施中的目标对象的多视角rgbd图像是通过多个不同拍摄角度深度相机对目标对象进行拍摄得到，即目标对象在中央，深度相机分布环绕该目标对象一周对该目标对象进行拍摄。例如，如图7所示，图7中四个深度相机环绕目标对象进行拍摄多视角图像。其中，多视角rgbd图像的数量和深度相机的数量是相同的。本实施例中的多视角rgbd图像是通过四个视角的深度相机得到的，但是，深度相机的数量可根据实际情况来进行设置，本实施例在此并不对深度相机的数量进行限定。
84.为了进一步连接本技术中的技术方案，下面结合图8进行详细的说明，可包括以下步骤：
85.步骤801：获取训练样本，其中，所述训练样本中包括头部三维模型在不同视角以及不同光照条件下进行渲染后的各渲染图像以及所述各渲染图像分别对应的目标符号距离场sdf值；
86.步骤802：将所述训练样本输入至所述头部三维模型重建神经网络中，得到与所述各渲染图像对应的预测sdf值、各预测渲染图像以及头部三维模型；
87.步骤803：基于所述各预测渲染图像和所述各渲染图像，得到第一中间损失值，以及基于所述预测sdf值和所述目标sdf值，得到第二中间损失值；
88.步骤804：利用所述第一中间损失值和所述第二中间损失值，得到目标损失值；
89.步骤805：判断所述目标损失值是否大于指定阈值，若否，则执行步骤806，若是，则执行步骤807；
90.步骤806：对所述头部三维模型重建神经网络的指定参数进行调整后，返回执行步骤802；
91.步骤807：结束对所述头部三维模型重建神经网络的训练；
92.步骤808：针对任意一个目标对象，获取所述目标对象的多视角彩色深度rgbd图
像；
93.步骤809：将所述多视角rgbd图像输入至预先训练好的头部三维模型重建神经网络中，得到与所述目标对象相对应的人体头部的三维模型。
94.基于相同的发明构思，本公开如上所述的头部三维模型的重建方法还可以由一种头部三维模型的重建装置实现。该头部三维模型的重建的效果与前述方法的效果相似，在此不再赘述。
95.图9为根据本公开一个实施例的头部三维模型的重建装置的结构示意图。
96.如图9所示，本公开的头部三维模型的重建装置900可以包括获取模块910和头部三维模型确定模块920。
97.获取模块910，用于针对任意一个目标对象，获取所述目标对象的多视角彩色深度rgbd图像；
98.头部三维模型确定模块920，用于将所述多视角rgbd图像输入至预先训练好的头部三维模型重建神经网络中，得到与所述目标对象相对应的头部三维模型；
99.其中，所述头部三维模型重建神经网络是通过以下方式进行训练的：
100.获取训练样本，其中，所述训练样本中包括头部三维模型在不同视角以及不同光照条件下进行渲染后的各渲染图像以及所述各渲染图像分别对应的目标符号距离场sdf值；
101.将所述训练样本输入至所述头部三维模型重建神经网络中，得到与所述各渲染图像对应的预测sdf值、各预测渲染图像以及头部三维模型；
102.基于所述各预测渲染图像和所述各渲染图像，得到第一中间损失值，以及基于所述预测sdf值和所述目标sdf值，得到第二中间损失值；
103.利用所述第一中间损失值和所述第二中间损失值，得到目标损失值；
104.若所述目标损失值大于指定阈值，则结束对所述头部三维模型重建神经网络的训练。在一个实施例中，所述装置还包括：
105.头部三维模型训练模块930，用于若所述目标损失值不大于所述指定阈值，则对所述头部三维模型重建神经网络的指定参数进行调整后，返回将所述训练样本输入至所述头部三维模型重建神经网络中的步骤，直至所述目标损失值大于所述指定阈值，则结束对所述头部三维模型重建神经网络的训练。
106.在一个实施例中，所述头部三维模型确定模块920执行所述基于所述各预测渲染图像和所述各渲染图像，得到第一中间损失值，具体用于：
107.针对所述渲染图像中的任意一个像素点，基于所述像素点的像素值以及所述预测渲染图像中与所述像素点相对应的目标像素点的像素值，得到所述像素点对应子损失值，其中，所述目标像素点为在所述预测渲染图像中位置坐标与所述像素点在所述渲染图像中的位置坐标相同的像素点；并，
108.利用所述渲染图像中各像素点对应的子损失值，得到所述第一中间损失值。
109.在一个实施例中，所述头部三维模型确定模块920执行所述基于所述像素点的像素值以及所述预测渲染图像中与所述像素点相对应的目标像素点的像素值，得到所述像素点对应子损失值，具体用于：
110.将所述像素点的像素值以及所述目标像素点的像素值的差值的绝对值确定为所
述像素点对应的子损失值；
111.所述利用所述渲染图像中各像素点对应的子损失值，得到所述第一中间损失值，包括：
112.将所述渲染图像中各像素点对应的子损失值相加，得到所述第一中间损失值。
113.在一个实施例中，所述头部三维模型确定模块920执行所述基于所述预测sdf值和所述目标sdf值，得到第二中间损失值，具体用于：
114.将所述预测sdf值与所述目标sdf值的差值的绝对值确定为所述第二损失值；
115.所述利用所述第一中间损失值和所述第二中间损失值，得到目标损失值，包括：
116.将所述第一中间损失值和所述第二中间损失值相加，得到所述目标损失值。
117.在介绍了本发明示例性实施方式的一种头部三维模型的重建方法及装置之后，接下来，介绍根据本发明的另一示例性实施方式的电子设备。
118.所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为
″
电路
″
、
″
模块
″
或
″
系统
″
。
119.在一些可能的实施方式中，根据本发明的电子设备可以至少包括至少一个处理器、以及至少一个计算机存储介质。其中，计算机存储介质存储有程序代码，当程序代码被处理器执行时，使得处理器执行本说明书上述描述的根据本发明各种示例性实施方式的头部三维模型的重建方法中的步骤。例如，处理器可以执行如图6中所示的步骤601-602。
120.下面参照图10来描述根据本发明的这种实施方式的电子设备1000。图10显示的电子设备1000仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
121.如图10所示，电子设备1000以通用电子设备的形式表现。电子设备1000的组件可以包括但不限于：上述至少一个处理器1001、上述至少一个计算机存储介质1002、连接不同系统组件(包括计算机存储介质1002和处理器1001)的总线1003。
122.总线1003表示几类总线结构中的一种或多种，包括计算机存储介质总线或者计算机存储介质控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
123.计算机存储介质1002可以包括易失性计算机存储介质形式的可读介质，例如随机存取计算机存储介质(ram)1021和/或高速缓存存储介质1022，还可以进一步包括只读计算机存储介质(rom)1023。
124.计算机存储介质1002还可以包括具有一组(至少一个)程序模块1024的程序/实用工具1025，这样的程序模块1024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
125.电子设备1000也可以与一个或多个外部设备1004(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与电子设备1000交互的设备通信，和/或与使得该电子设备1000能与一个或多个其它电子设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口1005进行。并且，电子设备1000还可以通过网络适配器1006与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器1006通过总线1003与用于电子设备1000的其它模块通
信。应当理解，尽管图中未示出，可以结合电子设备1000使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
126.在一些可能的实施方式中，本发明提供的一种头部三维模型的重建方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本发明各种示例性实施方式的头部三维模型的重建方法中的步骤。
127.程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取计算机存储介质(ram)、只读计算机存储介质(rom)、可擦式可编程只读计算机存储介质(eprom或闪存)、光纤、便携式紧凑盘只读计算机存储介质(cd-rom)、光计算机存储介质件、磁计算机存储介质件、或者上述的任意合适的组合。
128.本发明的实施方式的头部三维模型的重建的程序产品可以采用便携式紧凑盘只读计算机存储介质(cd-rom)并包括程序代码，并可以在电子设备上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
129.可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
130.可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
131.可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言一诸如java、c++等，还包括常规的过程式程序设计语言一诸如
″c″
语言或类似的程序设计语言。程序代码可以完全地在用户电子设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务器上执行。在涉及远程电子设备的情形中，远程电子设备可以通过任意种类的网络包括局域网(lan)或广域网(wan)连接到用户电子设备，或者，可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。
132.应当注意，尽管在上文详细描述中提及了装置的若干模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
133.此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的
结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
134.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘计算机存储介质、cd-rom、光学计算机存储介质等)上实施的计算机程序产品的形式。
135.本发明是参照根据本发明的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
136.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读计算机存储介质中，使得存储在该计算机可读计算机存储介质中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
137.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
138.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
技术特征：1.一种头部三维模型的重建方法，其特征在于，所述方法包括：针对任意一个目标对象，将所述目标对象的多视角彩色深度rgbd图像输入至预先训练好的头部三维模型重建神经网络中，得到所述目标对象的头部三维模型；其中，所述头部三维模型重建神经网络是通过以下方式进行训练的：获取训练样本，其中，所述训练样本中包括头部三维模型在不同视角以及不同光照条件下进行渲染后的各渲染图像以及所述各渲染图像分别对应的目标符号距离场sdf值；将训练样本输入至头部三维模型重建神经网络中，得到与所述各渲染图像对应的预测sdf值、各预测渲染图像以及头部三维模型；基于所述各预测渲染图像和所述各渲染图像，得到第一中间损失值，并基于所述预测sdf值和所述目标sdf值，得到第二中间损失值；利用所述第一中间损失值和所述第二中间损失值，得到目标损失值；若所述目标损失值大于指定阈值，则结束对所述头部三维模型重建神经网络的训练。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：若所述目标损失值不大于所述指定阈值，则对所述头部三维模型重建神经网络的指定参数进行调整后，返回将所述训练样本输入至头部三维模型重建神经网络中的步骤，直至所述目标损失值大于所述指定阈值，则结束对所述头部三维模型重建神经网络的训练。3.根据权利要求1所述的方法，其特征在于，所述基于所述各预测渲染图像和所述各渲染图像，得到第一中间损失值，包括：针对所述渲染图像中的任意一个像素点，基于所述像素点的像素值以及所述预测渲染图像中与所述像素点相对应的目标像素点的像素值，得到所述像素点对应的子损失值，其中，所述目标像素点为在所述预测渲染图像中位置坐标与所述像素点在所述渲染图像中的位置坐标相同的像素点；并，利用所述渲染图像中各像素点对应的子损失值，得到所述第一中间损失值。4.根据权利要求3所述的方法，其特征在于，所述基于所述像素点的像素值以及所述预测渲染图像中与所述像素点相对应的目标像素点的像素值，得到所述像素点对应的子损失值，包括：将所述像素点的像素值以及所述目标像素点的像素值的差值的绝对值确定为所述像素点对应的子损失值；所述利用所述渲染图像中各像素点对应的子损失值，得到所述第一中间损失值，包括：将所述渲染图像中各像素点对应的子损失值相加，得到所述第一中间损失值。5.根据权利要求1所述的方法，其特征在于，所述基于所述预测sdf值和所述目标sdf值，得到第二中间损失值，包括：将所述预测sdf值与所述目标sdf值的差值的绝对值确定为所述第二损失值；所述利用所述第一中间损失值和所述第二中间损失值，得到目标损失值，包括：将所述第一中间损失值和所述第二中间损失值相加，得到所述目标损失值。6.一种电子设备，其特征在于，包括处理器和存储器，所述处理器和所述存储器通过总线连接；所述存储器中存储有计算机程序，所述处理器被配置为基于所述计算机程序执行以下操作：
针对任意一个目标对象，将所述目标对象的多视角彩色深度rgbd图像输入至预先训练好的头部三维模型重建神经网络中，得到所述目标对象的头部三维模型；其中，所述头部三维模型重建神经网络是通过以下方式进行训练的：获取训练样本，其中，所述训练样本中包括头部三维模型在不同视角以及不同光照条件下进行渲染后的各渲染图像以及所述各渲染图像分别对应的目标符号距离场sdf值；将训练样本输入至头部三维模型重建神经网络中，得到与所述各渲染图像对应的预测sdf值、各预测渲染图像以及头部三维模型；基于所述各预测渲染图像和所述各渲染图像，得到第一中间损失值，并基于所述预测sdf值和所述目标sdf值，得到第二中间损失值；利用所述第一中间损失值和所述第二中间损失值，得到目标损失值；若所述目标损失值大于指定阈值，则结束对所述头部三维模型重建神经网络的训练。7.根据权利要求6所述的电子设备，其特征在于，所述处理器还被配置为：若所述目标损失值不大于所述指定阈值，则对所述头部三维模型重建神经网络的指定参数进行调整后，返回将所述训练样本输入至头部三维模型重建神经网络中的步骤，直至所述目标损失值大于所述指定阈值，则结束对所述头部三维模型重建神经网络的训练。8.根据权利要求6所述的电子设备，其特征在于，所述处理器执行所述基于所述各预测渲染图像和所述各渲染图像，得到第一中间损失值，具体被配置为：针对所述渲染图像中的任意一个像素点，基于所述像素点的像素值以及所述预测渲染图像中与所述像素点相对应的目标像素点的像素值，得到所述像素点对应的子损失值，其中，所述目标像素点为在所述预测渲染图像中位置坐标与所述像素点在所述渲染图像中的位置坐标相同的像素点；并，利用所述渲染图像中各像素点对应的子损失值，得到所述第一中间损失值。9.根据权利要求8所述的电子设备，其特征在于，所述处理器执行所述基于所述像素点的像素值以及所述预测渲染图像中与所述像素点相对应的目标像素点的像素值，得到所述像素点对应的子损失值，具体被配置为：将所述像素点的像素值以及所述目标像素点的像素值的差值的绝对值确定为所述像素点对应的子损失值；所述处理器执行所述利用所述渲染图像中各像素点对应的子损失值，得到所述第一中间损失值，具体被配置为：将所述渲染图像中各像素点对应的子损失值相加，得到所述第一中间损失值。10.根据权利要求6所述的电子设备，其特征在于，所述处理器执行所述基于所述预测sdf值和所述目标sdf值，得到第二中间损失值，具体被配置为：将所述预测sdf值与所述目标sdf值的差值的绝对值确定为所述第二损失值；所述处理器执行所述利用所述第一中间损失值和所述第二中间损失值，得到目标损失值，包括：将所述第一中间损失值和所述第二中间损失值相加，得到所述目标损失值。
技术总结本申请提供一种头部三维模型的重建方法及电子设备，用于提高头部三维模型的质量。包括：针对任一目标对象，将目标对象的多视角RGBD图像输入至预先训练好的头部三维模型重建神经网络中，得到头部三维模型；其中，头部三维模型重建神经网络通过训练方式为：将训练样本输入至头部三维模型重建神经网络，得到各渲染图像的预测sdf值、各预测渲染图像和头部三维模型，其中，训练样本包括头部三维模型在不同视角和光照进行渲染后的各渲染图像和各渲染图像的目标sdf值；利用基于各预测渲染图像和各渲染图像得到的第一中间损失值和基于预测sdf值和目标sdf值得到的第二中间损失值，确定目标损失值；若目标损失值大于指定阈值，则结束训练。结束训练。结束训练。
技术研发人员：赵笑晨 刘烨斌 刘帅 梁大才 王宝云 于芝涛 吴连朋
受保护的技术使用者：清华大学 海信视像科技股份有限公司
技术研发日：2022.07.18
技术公布日：2022/11/1
