1.本发明涉及图像处理与计算机视觉领域，尤其涉及一种基于最佳样本搜索方法的新颖虚拟化妆方法。
背景技术：2.化妆品试用在化妆品销售中，最重要的促销手法之一。这些试用为消费者选购化妆品提供了参考。除了实际的化妆试用，数字化妆或虚拟化妆有望成为为客户提供近似体验的新方法。因此，虚拟化妆系统已成为化妆品行业营销和销售的重要工具之一。
3.传统虚拟化妆方法的处理流程如图1所示。首先，从人脸特征中检测到输入点。然后，在特征点的引导下，从人脸图像中分割出眼睛、眉毛、鼻子和嘴唇等化妆区域。接下来，将用户选择的颜色应用于分割区域。最后，将彩色区域图像缝合到人脸图像上。
技术实现要素：4.本发明的目的在于提供一种基于最佳样本搜索方法的新颖虚拟化妆方法，该方法可以提供很好的妆容视觉效果。
5.为实现上述目的，本发明的技术方案是：一种基于最佳样本搜索方法的新颖虚拟化妆方法，包括如下步骤：
6.s1、创建离线样本数据库：采集彩色人脸图像数据集，对彩色人脸图像数据集中的每个规范人脸图像执行以下步骤：
7.s11、检测68个面部标志点，并执行面部对齐以进行归一化；
8.s12、使用面部标志点确定化妆区域，包括：左眼和右眼、左右眉毛、左右脸颊、鼻子和嘴唇；然后，为每个区域创建表示每个区域形状的遮罩；
9.s13、计算每个化妆区域的特征表示向量；
10.s2、在线化妆的过程：
11.s21、检测输入面部图像，侦测面部特征的标记点；然后，进行面部的对齐，即使用参考正面面部图像和输入面部图像来计算变换矩阵，执行变换将输入图像的姿势对齐到正面；
12.s22、根据用户选择要化妆的部位，计算选定部位的特征表示向量；
13.s23、使用特征表示向量从样本数据库中搜索最佳匹配样本；
14.s24、计算最佳匹配样本与选定部位之间的变换矩阵，然后，扭曲最佳匹配样本到面部图像；
15.s25、根据用户选择的颜色，对最佳匹配样本上色；
16.s26、最后，将上好色的样本缝合到选定部位相应区域。
17.与现有的方法不同，本发明提出了一种新的基于最佳样本搜索的虚拟化妆方法，包括离线和在线两个阶段。在离线阶段，将创建一个数据库，其中存储面部组件的标准模板，称为最佳样本模板。在在线化妆阶段，提取用户选择的化妆区域的代表性特征向量，并
用于搜索数据库以找到最佳匹配模板。然后，将最佳匹配图案上色并缝合到输入图像的化妆区域。最佳样本搜索方法避免了化妆区域分割的困难，所提出的特征表示使搜索有效且高效。实验结果表明，我们提出的系统在标记中提供了很好的视觉效果。
18.本发明的2个主要的贡献：1)开发了一种新的虚拟化妆系统，该系统基于化妆部位的样本图样搜索。2)提出了一种新的特征表示法，该方法是基于人脸标志来表示化妆区域。
19.相较于现有技术，本发明具有以下有益效果：本发明提出了一种新的基于最佳样本搜索的虚拟化妆方法，包括离线和在线两个阶段。在离线阶段，将创建一个数据库，其中存储面部组件的标准模板，称为最佳样本模板。在在线化妆阶段，提取用户选择的化妆区域的代表性特征向量，并用于搜索数据库以找到最佳匹配模板。然后，将最佳匹配图案上色并缝合到输入图像的化妆区域。最佳样本搜索方法避免了化妆区域分割的困难，所提出的特征表示使搜索有效且高效。实验结果表明，我们提出的系统在标记中提供了很好的视觉效果。
20.本发明实现了一个新颖虚拟化妆系统。本发明的特点在于使用精确且高效的最佳样本搜索法。在本系统，用户选择他们喜欢的化妆风格和颜色，将搜索到最匹配的图案上色并缝合到输入脸部图像，从而用户可以观察的妆容效果。
附图说明
21.图1为传统虚拟化妆方法的处理流程。
22.图2为在线化妆流程。
具体实施方式
23.下面结合附图，对本发明的技术方案进行具体说明。
24.本发明方法分为两个阶段：1)离线数据库的创建，2)在线化妆的过程。第1阶段主要创建脸部部位(如嘴、眼睛、鼻子等)的标准图样，表示这些部位的可能几何形状。在第2阶段，将输入脸部的一个部位与数据库的相应模板进行比较，以获得最佳匹配。其中提出了一种新的特征表示方法，使得搜索更加高效。最佳匹配的图样将根据用户偏好结合，然后缝合到相应的区域。
25.【创建离线数据库】
26.在这个阶段，数据库是离线创建的。首先采集彩色人脸图像数据集。然后对数据集中的每个规范人脸图像执行以下步骤：
27.步骤一，检测68个面部标志点，并执行面部对齐以进行归一化。
28.步骤二，使用面部标志点确定化妆区域，包括：(a)左眼和右眼，(b)左右眉毛，(c)左右脸颊(d)鼻子和(e)嘴唇。然后，为每个区域创建表示每个区域形状的遮罩。
29.步骤三，计算每个标记区域的特征表示向量。
30.【在线化妆的过程】
31.图2显示了面部部位的在线化妆流程，步骤描述如下
32.步骤一，检测输入面部图像，侦测面部特征的标记点。然后，进行面部的对齐，即使用参考正面面部图像和输入面部图像来计算变换矩阵，执行变换将输入图像的姿势对齐到正面。
33.步骤二，根据用户选择要化妆的部位，计算选定部位的特征表示向量。
34.步骤三，使用特征表示向量从样本数据库中搜索最佳匹配样本。
35.步骤四，计算最佳匹配模板与选定部位之间的变换矩阵，然后，扭曲最佳匹配样本到面部图像。
36.步骤五，根据用户选择的颜色，对最佳匹配样本上色。
37.步骤六，最后，上好色的样本缝合到的相应区域。
38.以下为本发明方法具体实施过程。
39.【创建离线数据库】
40.步骤一，检测68个面部标志点，并执行面部对齐以实现归一化，使用dlib的机器学习程序库来执行人脸检测和面部标志点提取。
41.步骤二，使用面部标志点定义化妆区域，包括：(a)左右眉毛(b)左眼线和右眼线(c) 嘴唇(d)左右脸颊(e)鼻子。然后，为每个区域创建遮罩(二值化图像)，它代表每个区域的形状。
42.步骤三，计算每个标记区域的特征表示向量。根据68个面部标志点的几何关系，将其分为 8个标志点组。这8个组是右/左眉毛、右/左眼、右/左脸颊、鼻子和嘴巴，然后，基于面部标志来表示每个标记区域，来计算代表性特征。对于每个标志点组，从形成最长直线的选择1个点对，这条直线被称为基线。例如，我们选择嘴角的两个点来形成基线。然后，基线和任何其他点可以构建一个三角形。
43.每个点表示为xi，与基线构成一个三角形。将xi表示为由xi和基线的一个端点组成的向量， b表示基线的向量。αi和βi两个角的余弦值表示成ui和vi，由式(1)计算，其中||表示向量的2
‑ꢀ
范数，点运算符是两个向量的内积，一个xi能生成二维向量(ui,vi)，对于具有n点的标记区域，可以得到一组二维向量(u1,v1)，(u2,v2)，
…
，(un,vn)。将这些向量串联起来，最后，得到一个维数为2n的特征向量如式(2)。
[0044][0045]
w＝[u1，v1，u2，v2，
…
，un，vn]
ꢀꢀꢀ
(2)
[0046]
由于每个标记区域可以一个特征向量表示，所有标记区域的特征向量，则形成最佳样本数据库。
[0047]
【在线化妆的过程】
[0048]
步骤一，检测输入面部图像，侦测面部特征的标记点。然后，进行面部的对齐，即使用参考正面面部图像和输入面部图像来计算变换矩阵。接下来，通过使用执行变换，将输入图像的姿势对齐到正面。
[0049]
步骤二，根据用户选择要化妆的部位，使用式1和式2计算选定部位的特征表示向量。
[0050]
步骤三，样本数据库中的每个样本都有自己的特征向量wi，为用户选择的化妆区域计算特征向量x，通过计算x和所有的wi之间的欧氏距离，并选择距离最小的样本，得到最佳匹配样本，如下表示
[0051]i*
＝argmin
i＝1，2，
…
，n
||x-wi||2ꢀꢀꢀ
(3)
[0052]
其中||x-wi||2是两个向量的欧氏距离。
[0053]
步骤四，获得与用户选定区域的形状最相似样本。然而，在样本和用户选定区域之间，可能存在姿势变化，包括位置、旋转和缩放。因此，我们通过样本扭曲进一步补偿姿势变化，以实现图案拼接中的精确拟合。在扭曲中，需要估计最佳匹配样本(bmp)和选定化妆目标(smt) 之间的几何变换矩阵。对于每个标记区域，从bmp和smt中的面部地标中选择四对对应的关键点来计算扭曲变换。bmp和smt中的四个关键点分别由e1(x1,y1)、e2(x2,y2)、e3(x3,y3)、e4(x4,y4) 和e1(x'1,y'1)、e2(x'2,y'2)、e3(x'3,y'3)、e4(x'4,y'4)表示。然后，包含t
11
、t
12
、t
13
、t
21
、t
22
、t
23
、t
31
、t
32
和1的8个系数的3x3变换矩阵可以通过下式计算得到
[0054][0055]
计算变换矩阵后，bmp可以通过以下方式扭曲到真实图像中的区域。
[0056][0057]
将扭曲的化妆区域生成一个二元区域掩码，其中“白色”像素指示应修改输入面的块的像素。扭曲校正后可获得精确的样本缝合。
[0058]
步骤五，使用用户选择的颜色绘制最佳匹配样本。由于样本图像的大部分纹理信息可以保留在亮度通道中，因此只在色度通道中进行上色。首先将输入的rgb面部图像转换为hsv颜色空间。然后v分量保持不变，图案的h和s分量更改为用户偏好的颜色。不变的v分量以及修改的 h和s分量将转换回rgb颜色空间。上色后嘴唇部分的亮度和纹理没有改变。
[0059]
步骤六，最后一步是将彩色图案粘贴到输入人脸图像的适当区域，缝合区域根据上一步中的区域遮罩定义，缝合可能会在边界上产生缝合边缘，因此，应用羽化技术来解决这个问题，将彩色图案图像(im1)添加到要粘贴的输入图像(im2)中，设权重因子α，利用下式完成羽化。
[0060]
im3＝α
·
im1+(1-α)
·
im2ꢀꢀꢀ
(6)
[0061]
本发明从用户的角度显示了本发明提出的虚拟化妆系统流程。系统从磁盘或相机的图片选择开始。首先进行自动人脸检测和面部标志点检测。然后，用户选择一个区域进行化妆。接下来，用户可以从预定义的化妆品颜色中选择颜色。最后，化妆前/化妆后的照片保存到存储器中。
[0062]
本发明系统化妆区域非常适合不同嘴型的人。样本数据库提供各种化妆信息。例
如，它提供了几种形状的眉毛图案。此外，即使面部或面部组件的姿势不同，化妆效果看起来也很自然。总之，面部组件的边界上没有明显的人工边缘。视觉效果看起来非常自然和谐。
[0063]
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。
技术特征：1.一种基于最佳样本搜索方法的新型虚拟化妆方法，其特征在于，包括如下步骤：s1、创建离线样本数据库：采集彩色人脸图像数据集，对彩色人脸图像数据集中的每个规范人脸图像执行以下步骤：s11、检测68个面部标志点，并执行面部对齐以进行归一化；s12、使用面部标志点确定化妆区域，包括：左眼和右眼、左右眉毛、左右脸颊、鼻子和嘴唇；然后，为每个区域创建表示每个区域形状的遮罩；s13、计算每个化妆区域的特征表示向量；s2、在线化妆的过程：s21、检测输入面部图像，侦测面部特征的标记点；然后，进行面部的对齐，即使用参考正面面部图像和输入面部图像来计算变换矩阵，执行变换将输入图像的姿势对齐到正面；s22、根据用户选择要化妆的部位，计算选定部位的特征表示向量；s23、使用特征表示向量从样本数据库中搜索最佳匹配样本；s24、计算最佳匹配样本与选定部位之间的变换矩阵，然后，扭曲最佳匹配样本到面部图像；s25、根据用户选择的颜色，对最佳匹配样本上色；s26、最后，将上好色的样本缝合到选定部位相应区域。2.根据权利要求1所述的基于最佳样本搜索方法的新型虚拟化妆方法，其特征在于，步骤s11中，使用dlib的机器学习程序库来执行人脸检测和面部标志点提取。3.根据权利要求1所述的基于最佳样本搜索方法的新型虚拟化妆方法，其特征在于，步骤s13中，根据68个面部标志点的几何关系，将其分为8个标志点组；然后，基于面部标志来表示每个标记区域，来计算代表性特征；对于每个标志点组，从形成最长直线的标志点中的选择1个点对，这条直线被称为基线；每个标志点表示为x
i
，与基线构成一个三角形；将x
i
表示为由x
i
和基线的一个端点组成的向量，b表示基线的向量；夹角α
i
和β
i
的余弦值表示成u
i
和v
i
，由式(1)计算：其中||表示向量的2-范数，点运算符是两个向量的内积，一个x
i
能生成二维向量(u
i
,v
i
)，对于具有n点的标记区域，得到一组二维向量(u1,v1)，(u2,v2)，
…
，(u
n
,v
n
)；将这些向量串联起来，最后，得到一个维数为2n的特征向量如式(2)：w＝[u1，v1，u2，v2，...，u
n
，v
n
] (2)每个标记区域由一个特征向量表示，所有标记区域的特征向量，形成最佳样本数据库。4.根据权利要求1所述的基于最佳样本搜索方法的新型虚拟化妆方法，其特征在于，步骤23具体实现方式为：样本数据库中的每个样本都有自己的特征向量w
i
，为用户选择的化妆区域计算特征向量x，通过计算x和所有的w
i
之间的欧氏距离，并选择距离最小的样本，得到最佳匹配样本，如式(3)表示：i
*
＝argmin
i＝1，2，...，n
||x-w
i
||2ꢀꢀꢀꢀ
(3)其中||x-w
i
||2是两个向量的欧氏距离。5.根据权利要求1所述的基于最佳样本搜索方法的新型虚拟化妆方法，其特征在于，步
骤24具体实现方式为：获得与用户选定区域的形状最相似样本；通过样本扭曲进一步补偿姿势变化，以实现图案拼接中的精确拟合；在扭曲中，需要估计最佳匹配样本bmp和选定化妆目标smt之间的几何变换矩阵；对于每个标记区域，从bmp和smt中的面部地标中选择四对对应的关键点来计算扭曲变换；bmp和smt中的四个关键点分别由e1(x1,y1)、e2(x2,y2)、e3(x3,y3)、e4(x4,y4)和e1(x'1,y'1)、e2(x'2,y'2)、e3(x'3,y'3)、e4(x'4,y'4)表示；然后，包含t
11
、t
12
、t
13
、t
21
、t
22
、t
23
、t
31
、t
32
和1的8个系数的3x3变换矩阵通过式(4)计算得到：计算变换矩阵后，bmp通过以式(5)扭曲到真实图像中的区域：扭曲的化妆区域生成一个二元区域掩码，其中“白色”像素指示应修改输入面的块的像素，扭曲校正后获得精确的样本缝合。6.根据权利要求1所述的基于最佳样本搜索方法的新型虚拟化妆方法，其特征在于，步骤25具体实现方式为：使用用户选择的颜色绘制最佳匹配样本，且只在色度通道中进行上色；首先将输入的rgb面部图像转换为hsv颜色空间；然后v分量保持不变，图案的h和s分量更改为用户偏好的颜色；不变的v分量以及修改的h和s分量将转换回rgb颜色空间。7.根据权利要求1所述的基于最佳样本搜索方法的新颖虚拟化妆方法，其特征在于，步骤26具体实现方式为：将彩色图案粘贴到输入人脸图像的适当区域，缝合区域根据步骤s25中的区域遮罩定义，应用羽化技术解决缝合可能在边界上产生的缝合边缘，将彩色图案图像im1添加到要粘贴的输入图像im2中，设权重因子α，利用式(6)完成羽化：im3＝α
·
im
i
+(1-α)
·
im
2 (6)im3为羽化后的图像。
技术总结本发明涉及一种基于最佳样本搜索方法的新型虚拟化妆方法。建立一个最佳样本数据库，它包含了脸部组件的规范图案;开发了一种新颖的模板特征表示，使得最佳样本搜索精确且高效。用户选择他们喜欢的化妆风格和颜色，将搜索到最匹配的图案上色并缝合到输入脸部图像。此系统可以对来自摄像头的动态图像进行处理，从而用户可以观察不同人脸姿势下的妆容效果是否合适，进而做出相应的妆容调整。实验结果表明此系统可产出自然和良好的妆容效果。表明此系统可产出自然和良好的妆容效果。表明此系统可产出自然和良好的妆容效果。
技术研发人员：谢朝和 洪茂雄
受保护的技术使用者：阳光学院
技术研发日：2022.07.22
技术公布日：2022/11/1
