本发明涉及三维人脸重建，尤其涉及一种基于编码结构光去除无效点的三维人脸重建方法。
背景技术：
1、随着计算机视觉、图像处理和三维重建技术的发展，三维人脸重建已成为虚拟现实、增强现实、生物识别和动画制作等领域的关键技术。然而，传统的三维人脸重建方法在面对复杂环境和不同光照条件时，容易产生大量的无效点(如噪声和遮挡区域)，这些无效点会影响重建的精度和质量。
2、现有的三维重建方法主要包括基于立体视觉、结构光和时间飞行(tof)等技术。其中，基于立体视觉的方法依赖于多视角图像的匹配，通过视差计算来重建三维结构，但此方法在处理光滑表面和重复纹理时效果不佳，容易产生匹配误差和无效点。基于tof的三维重建方法通过测量光脉冲的飞行时间来获取深度信息，虽然在一定程度上提高了深度测量的精度，但在强光环境下容易受干扰，且深度分辨率有限。
3、结构光技术是一种常见的三维重建技术，通过向目标物体投射特定的光栅图案并分析反射光的变化来获得物体的三维形状。然而，传统的结构光技术在复杂光照条件下容易受到干扰，导致投射图案的反射光信号弱化或失真，从而引入大量无效点。此外，传统的结构光技术通常采用固定的光栅图案，难以适应不同的环境变化和目标物体特征，进一步影响三维重建的精度和鲁棒性。
4、因此，如何提供一种基于编码结构光去除无效点的三维人脸重建方法是本领域技术人员亟需解决的问题。
技术实现思路
1、本发明的一个目的在于提出一种基于编码结构光去除无效点的三维人脸重建方法，本发明确保三维人脸模型的纹理信息与几何结构高度一致，最终输出的三维模型具备高度的真实感和一致性。
2、根据本发明实施例的一种基于编码结构光去除无效点的三维人脸重建方法，包括如下步骤：
3、s1、利用编码结构光技术向人脸表面投射特定的结构光图案；
4、s2、使用图像传感器捕捉反射的结构光图案，并生成初始图像数据；
5、s3、对初始图像数据进行调制解码，提取结构光编码信息，生成初步的三维点云数据；
6、s4、通过改进基于深度学习的自适应卷积神经网络对初步的三维点云数据进行分析，自适应学习图像中无效点的特征，识别并标记无效点；
7、s5、采用改进的多层次注意力机制对标记的无效点进行二次过滤，结合全局和局部信息，提高无效点去除的准确性，生成优化后的三维点云数据；
8、s6、基于优化后的三维点云数据，应用计算几何算法对优化后的三维点云数据进行重建和优化处理，生成高精度的三维人脸模型；
9、s7、对高精度的三维人脸模型进行后处理，以满足应用需求，包括平滑处理、纹理映射和模型校准。
10、可选的，所述s1包括以下步骤：
11、s11、设置包括投射器和编码图案生成器的编码结构光投射装置，所述投射器用于向人脸表面投射自适应的编码结构光图案，所述编码图案生成器用于根据人脸的形状、姿态和表面特征实时生成和调整结构光图案；
12、s12、校准投射器的投射角度和距离，使得结构光图案能够均匀覆盖人脸表面，投射角度θ和投射距离d根据人脸的大小和位置进行调整；
13、s13、通过智能投射控制系统，利用机器学习算法实时分析环境光照、人脸姿态变化和反射强度，动态调整投射参数，包括亮度调整l(t)、对比度调整c(t)和色温调整tc；
14、s14、选择结构光图案，所述结构光图案包括条纹图案、棋盘图案或其他规则图案。
15、可选的，所述s2包括以下步骤：
16、s21、设置包括rgb相机、红外相机和深度传感器的多传感器捕捉装置，所述rgb相机用于捕捉结构光图案的彩色图像，红外相机用于在低光照条件下捕捉结构光图案，深度传感器用于获取深度信息；
17、s22、校准多传感器捕捉rgb相机、红外相机和深度传感器的视角和位置，使得rgb相机、红外相机和深度传感器在同一参考坐标系下工作，校准参数包括传感器的内参矩阵和外参矩阵，内参矩阵包括焦距f和主点坐标(cx,cy)，外参矩阵包括旋转矩阵r和平移向量t；
18、s23、同步捕捉结构光图案的彩色图像、红外图像和深度图像，生成初始图像数据集dinitial，其中，彩色图像数据表示为irgb(x,y)，红外图像数据表示为iir(x,y)，深度图像数据表示为idepth(x,y)：
19、dinitial＝{irgb(x,y),iir(x,y),idepth(x,y)}for(x,y)∈ω；
20、其中，ω为图像的空间域。
21、s24、利用多传感器数据融合技术，将rgb相机、红外相机和深度传感器的数据进行融合，生成高质量的初始图像数据ifused(x,y,z)，其中，x、y为图像的空间坐标，z为深度信息：
22、ifused(x,y,z)＝α1irgb(x,y)+α2iir(x,y)+α3idepth(x,y)；
23、其中，α1、α2、α3为融合权重系数，通过最小化以下误差函数确定：
24、e(α1,α2,α3)＝∑(x,y)∈ω(ifused(x,y,z)-(α1irgb(x,y)+α2iir(x,y)+
25、α3idepth(x,y)))2；
26、s25、对捕捉到的初始图像数据进行几何校正和辐射校正，几何校正包括畸变校正和投影变换，辐射校正包括亮度校正和对比度校正，消除传感器的系统误差和环境光照的影响：
27、
28、其中，(x',y')为校正后的坐标，k1,k2,k3,…为畸变校正系数；
29、辐射校正公式：
30、
31、其中，μ为图像的平均亮度，σ为亮度的标准差；
32、s26、将经过校正的图像数据进行统一格式转换，生成标准化的初始图像数据集dstandard，用于后续的图像处理和三维点云生成：
33、
34、可选的，所述s3包括以下步骤：
35、s31、对初始图像数据集dstandard进行噪声去除，使用高斯滤波器对彩色图像、红外图像和深度图像分别进行平滑处理；
36、s32、对去噪后的图像数据进行边缘检测，采用canny边缘检测算法提取结构光图案的边缘特征；
37、s33、提取结构光编码信息，对边缘检测后的图像进行条纹解码，采用相位展开算法计算结构光图案的相位分布；
38、s34、生成初步的三维点云数据，利用投影几何关系将条纹相位转换为深度信息，；
39、s35、将三维点云数据表示为点集：
40、p＝{(x,y,z)∣(x,y)∈ω}；
41、其中，x、y为图像坐标，z为深度信息。
42、可选的，所述s4包括以下步骤：
43、s41、构建改进的自适应卷积神经网络模型，所述改进的自适应卷积神经网络模型包括输入层、自适应卷积层、多层卷积层、池化层、全连接层和输出层；
44、s42、将初步的三维点云数据p＝{(x,y,z)∣(x,y)∈ω}输入到acnn模型的输入层，所述输入层将点云数据转换为特征张量tinput；
45、s43、通过自适应卷积层对输入特征张量进行局部特征提取，自适应卷积层的卷积核权重根据输入数据动态调整，卷积操作公式为：
46、
47、其中，tconv为卷积后的特征张量，wm,n为卷积核权重，i,j,k为特征张量的坐标；
48、s44、在多层卷积层中，逐层提取更高层次的特征，使用relu激活函数σ(x)＝max(0,x)对卷积结果进行非线性变换，生成中间特征张量tmiddle；
49、s45、通过池化层对中间特征张量进行下采样，减少特征张量的尺寸，提高特征的平移不变性，池化操作公式为：
50、tpool(i,j,k)＝maxm,n(tmiddle(i+m,j+n,k))；
51、其中，tpool为池化后的特征张量；
52、s46、将池化后的特征张量输入到全连接层，进行全局特征的学习，生成最终的特征表示tfc；
53、s47、通过输出层对最终的特征表示进行分类，识别并标记无效点，输出无效点标记矩阵minvalid，标记矩阵的每个元素minvalid(i,j)表示点云数据中第(i,j)个点的有效性，值为0表示无效点，值为1表示有效点。
54、可选的，所述s5包括以下步骤：
55、s51、构建多层次注意力机制网络，所述网络包括全局注意力模块和局部注意力模块；
56、s52、将识别并标记无效点后的三维点云数据pmarked＝{(x,y,z,m)∣(x,y)∈ω,m∈{0,1}}输入到多层次注意力机制网络中；
57、s53、在全局注意力模块中，计算每个点的全局注意力权重，所述全局注意力权重αglobal(i)通过以下公式计算：
58、
59、其中，eglobal(i)＝wglobal·pmarked(i)+bglobal，wglobal和bglobal为全局注意力的权重和偏置，n为点云中的点数；
60、s54、在局部注意力模块中，计算每个点的局部注意力权重，所述局部注意力权重αlocal(i)通过以下公式计算：
61、
62、其中，elocal(i)＝wlocal·pmarked(i)+blocal，wlocal和blocal为局部注意力的权重和偏置，n(i)为点i的邻域点集；
63、s55、结合全局注意力权重和局部注意力权重，对三维点云数据进行加权求和，生成加权后的点云数据pweighted(i)，计算公式为：
64、pweighted(i)＝αglobal(i)·pmarked(i)+αlocal(i)·pmarked(i)；
65、s56、对加权后的点云数据进行二次过滤，采用基于加权特征的去噪算法去除残留的无效点，生成优化后的三维点云数据poptimized，其中无效点的权重低于预设阈值的将被去除。
66、可选的，所述s6包括以下步骤：
67、s61、将优化后的三维点云数据poptimized输入到三维重建算法中；
68、s62、对点云数据进行表面重建，采用delaunay三角剖分算法生成三维人脸模型的初步网格结构，三角剖分的顶点集合为v＝{(xi,yi,zi)∣i＝1,2,…,n}，边集合为e＝{(vi,vj)∣vi,vj∈v}，面集合为f＝{(vi,vj,vk)∣vi,vj,vk∈v}；
69、s63、对生成的初步网格结构进行优化处理，采用laplacian平滑算法平滑网格顶点，平滑后的顶点坐标(x′i,y′i,z′i)由以下公式计算：
70、
71、其中，λ为平滑系数，n(i)为顶点i的邻域顶点集合；
72、s64、对平滑后的网格进行细节增强，采用基于形状直方图的细节增强算法，计算每个顶点的形状特征直方图，并根据直方图信息调整顶点位置，调整后的顶点坐标(x″i,y″i,z″i)通过以下公式计算：
73、(x″i,y″i,z″i)＝(x′i,y′i,z′i)+β·hi·ni；
74、其中，β为细节增强系数，hi为形状直方图的高度，ni为顶点的法向量；
75、s65、对优化后的网格模型进行纹理映射，采用基于球面投影的纹理映射算法，将预处理后的纹理图像t(x,y)映射到三维网格模型的表面，映射函数为：
76、t(x,y)＝tsphere(u,v)；
77、其中，(u,v)为网格顶点在球面投影坐标系中的坐标，tsphere为球面投影的纹理图像；
78、s66、对纹理映射后的三维人脸模型进行全局优化，采用基于能量最小化的优化算法，最小化以下能量函数：
79、e＝esmooth+αedata+βetexture，
80、其中，esmooth为网格平滑能量，edata为数据一致性能量，etexture为纹理一致性能量，α和β为权重系数；
81、s67、输出最终的高精度三维人脸模型，所述模型具有高精度的几何细节和纹理信息。
82、本发明的有益效果是：
83、(1)本发明通过利用编码结构光技术向人脸表面投射自适应的结构光图案，能够根据人脸的形状、姿态和表面特征实时生成和调整光图案，使得捕捉到的三维信息更加准确，避免了固定光栅图案带来的误差和局限性，采用多传感器融合技术，将rgb相机、红外相机和深度传感器的数据进行综合处理，生成高质量的初始图像数据。这种多源数据融合的方法，能够在各种光照条件下保持数据的一致性和可靠性，有效减少噪声和遮挡区域的影响，通过改进的基于深度学习的自适应卷积神经网络对初步的三维点云数据进行分析，自适应学习图像中无效点的特征，识别并标记无效点，确保无效点的精确识别，采用改进的多层次注意力机制对标记的无效点进行二次过滤，结合全局和局部信息，提高无效点去除的准确性，生成优化后的三维点云数据，使得最终的三维人脸模型具有更高的精度和细节表现。
84、(2)本发明通过智能投射控制系统，利用机器学习算法实时分析环境光照、人脸姿态变化和反射强度，动态调整投射参数，确保结构光图案在不同环境下的稳定性和清晰度。这种自适应投射技术，能够在多种应用场景中实现快速且可靠的三维重建。在预处理步骤中，对初始图像数据进行高效的噪声去除、边缘检测和相位解码，保证生成的三维点云数据具有较高的纯净度和准确性。通过delaunay三角剖分、laplacian平滑和基于形状直方图的细节增强等计算几何算法，对优化后的三维点云数据进行重建和优化处理，使得生成的三维人脸模型不仅具有高精度的几何细节，还具备良好的平滑性和细节表现。在纹理映射和全局优化步骤中，采用基于球面投影的纹理映射算法和基于能量最小化的优化算法，确保三维人脸模型的纹理信息与几何结构高度一致，最终输出的三维模型具备高度的真实感和一致性。
1.一种基于编码结构光去除无效点的三维人脸重建方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于编码结构光去除无效点的三维人脸重建方法，其特征在于，所述s1包括以下步骤：
3.根据权利要求2所述的一种基于编码结构光去除无效点的三维人脸重建方法，其特征在于，所述s2包括以下步骤：
4.根据权利要求3所述的一种基于编码结构光去除无效点的三维人脸重建方法，其特征在于，所述s3包括以下步骤：
5.根据权利要求4所述的一种基于编码结构光去除无效点的三维人脸重建方法，其特征在于，所述s4包括以下步骤：
6.根据权利要求5所述的一种基于编码结构光去除无效点的三维人脸重建方法，其特征在于，所述s5包括以下步骤：
7.根据权利要求6所述的一种基于编码结构光去除无效点的三维人脸重建方法，其特征在于，所述s6包括以下步骤：
