1.本发明涉及图像处理技术领域，具体提供一种三维人脸关键点标注 方法、设备、系统和存储介质。
背景技术：2.人脸识别是基于人脸的脸部特征信息进行身份识别的一种生物信息 识别技术，在电子商务，安防等领域有着广泛的应用。其中，人脸关键 点检测的准确性对于特征提取以及后续的分类起着极为重要的作用
3.三维人脸关键点检测是三维人脸识别和三维人脸分析中重要的基础 环节。三维人脸关键点的精确标注对科学研究和实际应用都有着关键的 作用，诸如，人脸表情分析，姿态分析，嘴型识别，三维人脸重建，三 维动画演示等。因此，研究和获得准确的三维人脸关键点有着重要的意 义，也一直是机器视觉、图像处理、模式识别等领域的热门研究问题。
4.然而，相关技术中，主要是放在二维人脸关键点的研究上，诸如afw、 helen、ibug、lfpw等数据集均为二维人脸数据集和二维人脸关键点 数据集，再如labelimg、labelme等标注工具均为二维图像的标注工具。 其无法对三维人脸关键点进行标注。除此之外，对于三维人脸数据大部 分是通过3dmm拟合的一个三维虚拟人脸，并非通过结构光、激光等三 维扫描设备得到的真实三维人脸数据，这样，在进行三维人脸关键点标 注时，误差较大。
5.因此，如果精准的标注三维人脸关键点，是本领域技术人员亟待解 决的技术问题。
技术实现要素：6.为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决 三维人脸关键点的标注结果误差较大的技术问题的三维人脸关键点标注 方法、设备、系统和存储介质。
7.在第一方面，本发明提供一种三维人脸关键点标注方法，包括：
8.基于深度相机采集的连续帧人脸图像得到标有三维人脸关键点的初 始连续帧三维人脸点云图；
9.响应于用户对所述连续帧中帧的选择操作，将所选择的帧对应的初 始三维人脸点云图呈现在人机交互界面上；
10.响应于用户对所呈现的初始三维人脸点云图上的至少一个待调整三 维人脸关键点的调整指令，将每个所述待调整三维人脸关键点调整至距 离每个待调整三维人脸关键点对应的人脸关键部位小于预设距离的位 置，得到所选择的帧对应的最终三维人脸点云图。
11.进一步地，上述所述的三维人脸关键点标注方法中，基于深度相机 采集的连续帧人脸图像得到标有三维人脸关键点的初始连续帧三维人脸 点云图，包括：
12.基于深度相机采集的每帧人脸图像获得每帧人脸深度图像，并利用 人脸关键点检测算法检测每帧人脸深度图像中的二维人脸关键点，得到 每帧标有二维人脸关键点的
人脸深度图像；
13.基于所述深度相机在第一坐标轴方向、第二坐标轴方向的焦距和光 圈中心，通过坐标转换得到每帧标有三维人脸关键点的初始人脸深度图 像的点云数据；
14.将每帧标有三维人脸关键点的初始人脸深度图像的点云数据进行配 准，得到所述标有三维人脸关键点的初始连续帧三维人脸点云图。
15.进一步地，上述所述的三维人脸关键点标注方法中，响应于用户对 所呈现的初始三维人脸点云图上的至少一个待调整三维人脸关键点的调 整指令，将每个所述待调整三维人脸关键点调整至距离每个待调整三维 人脸关键点对应的人脸关键部位小于预设距离的位置，得到所选择的帧 对应的最终三维人脸点云图，包括：
16.定义第一输入设备的第一功能键与对待调整三维人脸关键点进行平 移和旋转的调整动作之间的第一映射关系；
17.响应于所述用户对所述第一功能键的操作指令，基于所述第一映射 关系将所述待调整三维人脸关键点调整至距离每个待调整三维人脸关键 点对应的人脸关键部位小于预设距离的位置，得到所选择的帧对应的最 终三维人脸点云图。
18.进一步地，上述所述的三维人脸关键点标注方法中，所述第一输入 设备为键盘，所述第一功能键为所述键盘上的主键区中的方向键以及辅 助键区中的方向键；
19.响应于所述用户对所述第一功能键的操作指令，基于所述第一映射 关系将所述待调整三维人脸关键点调整至距离每个待调整三维人脸关键 点对应的人脸关键部位小于预设距离的位置，包括：
20.响应于对所述键盘上的主键区中的方向键的触控，将所述待调整三 维人脸关键点进行平移操作，其中对方向键的每次触控对应的平移距离 能够被配置；
21.响应于对所述键盘上的辅助键区中的方向键的触控，将所述待调整 三维人脸关键点进行旋转操作，其中对方向键的每次触控对应的旋转角 度能够被配置。
22.进一步地，上述所述的三维人脸关键点标注方法中，对方向键的每 次触控对应的平移距离能够被配置的过程包括：
23.若对所述主键区中的方向键的相邻两次触控的方向相反，基于预设 的平移调整步长，对后一次触控对应的初始平移距离进行缩小，得到后 一次触控对应的调整平移距离；
24.对方向键的每次触控对应的旋转角度能够被配置的过程包括：
25.若对所述辅助键区中的方向键的相邻两次触控的方向相反，基于预 设的旋转调整步长，对后一次触控对应的初始旋转角度进行缩小，得到 后一次触控对应的调整旋转角度。
26.进一步地，上述所述的三维人脸关键点标注方法中，在响应于用户 对所呈现的初始三维人脸点云图上的至少一个待调整三维人脸关键点的 调整指令，将每个所述待调整三维人脸关键点调整至距离每个待调整三 维人脸关键点对应的人脸关键部位小于预设距离的位置，得到所选择的 帧对应的最终三维人脸点云图之前，所述方法还包括：
27.定义第二输入设备的第二功能键与对三维人脸关键点进行视角转换 和缩放的观察动作之间的第二映射关系；
28.响应于所述用户对所述第二功能键的操作指令，基于所述第二映射 关系呈现不
同视角和缩放状态下的人脸点云形状和分布，以供所述用户观 察三维人脸关键点细节。
29.进一步地，上述所述的三维人脸关键点标注方法中，所述第二输入 设备为鼠标，所述第二功能键为鼠标左键和滚轮；
30.所述响应于所述用户对所述第二功能键的操作指令，基于所述第二 映射关系呈现不同视角和缩放状态下的人脸点云形状和分布，包括：
31.响应于用户使用所述鼠标左键在三维人脸点云图上进行拖拽操作，呈 现不同视角下的人脸点云形状和分布；
32.响应于用户使用所述鼠标滚轮在三维人脸点云图上进行缩放操作，呈 现不同缩放状态下的人脸点云形状和分布。
33.进一步地，上述所述的三维人脸关键点标注方法，还包括：
34.将所述最终三维人脸点云图中的三维人脸关键点投影到所选择的帧 对应的人脸图像上，以供所述用户对结果进行校验。
35.进一步地，上述所述的三维人脸关键点标注方法，还包括：
36.基于所述选择的帧对应的最终三维人脸点云图，通过点云匹配算法 获得相邻帧对应的最终三维人脸点云图；
37.基于所述相邻帧对应的最终三维人脸点云图，通过点云匹配算法获 得与其相邻的帧对应的最终三维人脸点云图，直到所有连续帧被标注。
38.进一步地，上述所述的三维人脸关键点标注方法中，基于所述选择 的帧对应的最终三维人脸点云图，通过点云匹配算法获得相邻帧对应的 最终三维人脸点云图，包括：
39.通过点云匹配算法，获得所选择的帧的点云图与相邻帧的点云图之 间的第一相对角度；
40.基于所述第一相对角度和所选择的帧对应的最终三维人脸点云图， 得到所述相邻帧对应的最终三维人脸点云图；
41.基于所述相邻帧对应的最终三维人脸点云图，通过点云匹配算法获 得与其相邻的帧对应的最终三维人脸点云图，包括：
42.通过点云匹配算法，获得所述相邻帧的点云图和与其相邻的帧的点 云图之间的第二相对角度；
43.基于所述第二相对角度和所述相邻帧对应的最终三维人脸点云图， 得到所述与其相邻的帧对应的最终三维人脸点云图。
44.进一步地，上述所述的三维人脸关键点标注方法，还包括：
45.响应于用户对连续帧中帧的选择，将所选择的帧对应的最终三维人 脸点云图以及标注的中间过程信息呈现在人机交互界面上，以供所述用 户对结果进行校验。
46.在第二方面，本发明提供一种三维人脸关键点标注设备，包括处理 器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适 于由所述处理器加载并运行以执行上述任一项所述的三维人脸关键点标 注方法。
47.在第三方面，提供一种计算机可读存储介质，该计算机可读存储介 质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以 执行上述任一项所述的三维人脸关键点标注方法。
48.在第四方面，提供一种三维人脸关键点标注系统，包括：
49.如上所述的三维人脸关键点标注设备；
50.第一输入设备，用于接收用户对所呈现的初始三维人脸点云图上的 至少一个待调整三维人脸关键点的调整指令。
51.本发明上述一个或多个技术方案，至少具有如下一种或多种有益效 果：
52.在实施本发明的技术方案中，基于深度相机采集的连续帧人脸图像 得到标有三维人脸关键点的初始连续帧三维人脸点云图后，响应于用户 对所述连续帧中帧的选择操作，将所选择的帧对应的初始三维人脸点云 图呈现在人机交互界面上；并响应于用户对所呈现的初始三维人脸点云 图上的至少一个待调整三维人脸关键点的调整指令，将每个所述待调整 三维人脸关键点调整至距离每个待调整三维人脸关键点对应的人脸关键 部位小于预设距离的位置，得到所选择的帧对应的最终三维人脸点云图， 实现了直接对真实的三维人脸进行关键点标注，得到的三维人脸关键点 更加精准。
附图说明
53.参照附图，本发明的公开内容将变得更易理解。本领域技术人员容 易理解的是：这些附图仅仅用于说明的目的，而并非意在对本发明的保 护范围组成限制。此外，图中类似的数字用以表示类似的部件，其中：
54.图1是根据本发明的一个实施例的三维人脸关键点标注方法的主要 步骤流程示意图；
55.图2是描述三维空间中的面部朝向坐标系；
56.图3是人脸深度图像的示意图；
57.图4是图3对应的标有二维人脸关键点的人脸深度图像；
58.图5是图4对应的三维人脸点云图示意图；
59.图6是图5对应的三维人脸点云图调整为最终姿态的示意图；
60.图7是图6中(a)的某一调整过程中的示意图；
61.图8是不同视角下的三维人脸点云图的示意图；
62.图9是根据本发明的一个实施例的三维人脸关键点标注设备的主要 结构框图。
具体实施方式
63.下面参照附图来描述本发明的一些实施方式。本领域技术人员应当 理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限 制本发明的保护范围。
64.在本发明的描述中，“模块”、“处理器”可以包括硬件、软件或者两 者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口， 存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的 组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处 理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。 处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非 暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质， 比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术 语“a和/或b”表示所有可能的a与b的组合，比如只是a、只是b或 者a和b。术语“至少一个a或b”或者“a和b中的至少一个”含义 与“a和/或b”类似，可以包括只是a、只是b或者a和b。单数形式 的术语“一个”、“这个”也可以包含复数形式。
65.相关技术中，人脸关键点标注主要是放在二维人脸关键点的研究上， 诸如afw、helen、ibug、lfpw等数据集均为二维人脸数据集和二 维人脸关键点数据集，再如labelimg、labelme等标注工具均为二维图像 的标注工具。其无法对三维人脸关键点进行标注。除此之外，对于三维 人脸数据大部分是通过3dmm拟合的一个三维虚拟人脸，并非通过结构 光、激光等三维扫描设备得到的真实三维人脸数据，这样，在进行三维 人脸关键点标注时，误差较大。
66.因此，为了解决上述技术问题，本发明提供了以下技术方案：
67.参阅附图1，图1是根据本发明的一个实施例的三维人脸关键点标注 方法的主要步骤流程示意图。如图1所示，本发明实施例中的三维人脸 关键点标注方法主要包括下列步骤101-步骤103。
68.步骤101、基于深度相机采集的连续帧人脸图像得到标有三维人脸关 键点的初始连续帧三维人脸点云图；
69.在一个具体实现过程中，可以基于深度相机采集的每帧人脸图像获 得每帧人脸深度图像，并利用人脸关键点检测算法检测每帧人脸深度图 像中的二维人脸关键点，得到每帧标有二维人脸关键点的人脸深度图像； 基于所述深度相机在第一坐标轴方向、第二坐标轴方向的焦距和光圈中 心，通过坐标转换得到每帧标有三维人脸关键点的初始人脸深度图像的 点云数据；将每帧标有三维人脸关键点的初始人脸深度图像的点云数据 进行配准，得到所述标有三维人脸关键点的初始连续帧三维人脸点云图。 图2是描述三维空间中的面部朝向坐标系。上述的第一坐标轴可以为图2 中的x轴，第二坐标轴可以为图2中的y轴。图2中的z轴可以为第三坐 标轴。
70.具体地，深度相机拍摄到的每帧散斑图或红外图后，可以通过数字 图像处理中基础的白平衡算法、宽动态算法、曝光补偿算法等，使得深 度相机拍摄到的散斑图或红外图在处理后不会存在明显的偏色、暗区和 亮区杂糅不清的问题。通过人脸检测算法，判断每帧图像中是否有人脸 存在，是否有多张人脸存在，确定每张人脸的位置，得到每张人脸的人 脸框，得到每帧图像的人脸深度图像。并可以将得到的人脸框适当外扩， 然后利用二维的人脸关键点检测算法定位每张人脸的多个二维人脸关键 点，得到每帧标有二维人脸关键点的人脸深度图像。其中，二维人脸关 键点的数目可以为68、98、106等，用户可以根据实际需求选择。与此 同时，根据每帧图像的人脸深度图像中人脸到镜头的距离，为每一个二 维人脸关键点初始化一个深度值，这样就得到了一个初步的三维人脸关 键点，只是这个深度值目前是不准确的，需要进一步进行标注调节。它 的前两个坐标是以x轴和y轴为主的深度关键点(单位：毫米)，第三个 坐标是以z轴为主的深度关键点(单位：毫米)。图3是人脸深度图像的 示意图，图4是图3对应的标有二维人脸关键点的人脸深度图像。如图 3-图4所示，人脸深度图像中的框为人脸框，点云重建时只重建人脸框内 的人脸部分。其中，人脸检测算法主要以yolo算法为基础，改进得到 极为轻量型的检测模型，在满足人脸检测效果的同时，极大的加快了检 测速度，可在任意计算机的cpu上达到实时的效果。二维的人脸关键点 检测算法主要以mobilenet网络为基础架构，改进得到轻量型的关键点回 归模型，在满足关键点定位精准的情况下，加快了检测的速度，可在任 意计算机的cpu上达到实时的效果。
71.在获得每帧标有二维人脸关键点的人脸深度图像后，可以基于所述 深度相机在
第一坐标轴方向、第二坐标轴方向的焦距和光圈中心，通过 坐标转换得到每帧标有三维人脸关键点的初始人脸深度图像的点云数 据；将每帧标有三维人脸关键点的初始人脸深度图像的点云数据进行配 准，得到所述标有三维人脸关键点的初始连续帧三维人脸点云图。图5 是图4对应的三维人脸点云图示意图。
72.如图5所示，三维人脸点云图分别为主视图(a)、左视图(b)。三维 人脸点云图分别用三个视角查看，图5仅示出了两个视角。其中，在主 视图(a)中以正脸的视角来看，三维人脸关键点的位置较为准确，但是 在左视图(b)的侧脸视角来看，三维人脸关键点的位置在垂直于人脸的 方向上有较大的偏差。
73.步骤102、响应于用户对所述连续帧中帧的选择操作，将所选择的帧 对应的初始三维人脸点云图呈现在人机交互界面上；
74.在一个具体实现过程中，用户可以从连续帧三维人脸点云图中选择 所需要的初始三维人脸点云图，这样，则可以响应于用户对所述连续帧 中帧的选择操作，将所选择的帧对应的初始三维人脸点云图呈现在人机 交互界面上，以便用户在人机交互界面上对所选择的帧对应的初始三维 人脸点云图进行关键点标注。
75.步骤103、响应于用户对所呈现的初始三维人脸点云图上的至少一个 待调整三维人脸关键点的调整指令，将每个所述待调整三维人脸关键点 调整至距离每个待调整三维人脸关键点对应的人脸关键部位小于预设距 离的位置，得到所选择的帧对应的最终三维人脸点云图。
76.在一个具体实现过程中，用户可以所呈现的初始三维人脸点云图上 找到准确的三维人脸关键点作为待调整三维人脸关键点，并输入相应的 调整指令。在用户对所呈现的初始三维人脸点云图上的至少一个待调整 三维人脸关键点的调整指令后，可以进行响应，并将每个所述待调整三 维人脸关键点调整至距离每个待调整三维人脸关键点对应的人脸关键部 位小于预设距离的位置，得到所选择的帧对应的最终三维人脸点云图。 也就是说，将待调整三维人脸关键点调整至紧贴人脸关键部位，使其具 有代表人脸关键部位(人脸五官)某个特征的属性。
77.图6是图5对应的三维人脸点云图调整为最终姿态的示意图。如图5 所示，最终三维人脸点云图中所有三维人脸关键点均紧贴对应的脸关键 部位。需要说明的是，图6中仅示出了图5中部分三维人脸关键点。
78.在一个具体实现过程中，可以定义第一输入设备的第一功能键与对 待调整三维人脸关键点进行平移和旋转的调整动作之间的第一映射关 系；响应于所述用户对所述第一功能键的操作指令，基于所述第一映射 关系将所述待调整三维人脸关键点调整至距离每个待调整三维人脸关键 点对应的人脸关键部位小于预设距离的位置，得到所选择的帧对应的最 终三维人脸点云图。其中，第一映射关系可以包括对所述第一功能键的 操作指令对应的平移距离和旋转角度。
79.具体地，所述第一输入设备可以为键盘，所述第一功能键为所述键 盘上的主键区中的方向键以及辅助键区中的方向键。可以响应于对所述 键盘上的主键区中的方向键的触控，将所述待调整三维人脸关键点进行 平移操作，其中对方向键的每次触控对应的平移距离能够被配置。也可 以响应于对所述键盘上的辅助键区中的方向键的触控，将所述待调整三 维人脸关键点进行旋转操作，其中对方向键的每次触控对应的旋转角度 能够被配
置。其中，主键区中的方向键以及辅助键区中的方向键可以根 据实际需求设置，例如，主键区中的方向键可以为键盘中的上下左右按 键，辅助键区中的方向键可以为小键盘上的数字键，也可以为键盘中的 字母按键，本实施例不做具体限制。
80.需要说明的是，可以针对待调整三维人脸关键点设置不同的第一功 能键。例如，键盘的某一数字按键可以指定某一特定类型的三维人脸关 键点进行标注，如指定右眼眉毛的三维人脸关键点进行标注。图7是图6 中(a)的某一调整过程中的示意图。如图7所示，除右眉毛对应的三维 人脸关键点外，其它部位对应的三维人脸关键点已经标注完成，此时通 过键盘的某个数字按键只进行右眉毛对应的三维人脸关键点的标注，通 过平移、旋转得到图6中(a)正确的右眉毛对应的三维人脸关键点的位 置。
81.在一个具体实现过程中，键盘的另一数字按键也可以与单个三维人 脸关键点相关联，实现对单个三维人脸关键点的调整，即所有三维人脸 关键点除了某一个三维人脸关键点位置不准确外，其它三维人脸关键点 均已在正确的位置上时，可使用该功能只对这一个三维人脸关键点进行 位置的调整。
82.在一个具体实现过程中，对方向键的每次触控对应的平移距离可以 进行手动配置，也可以自动配置。例如，在进行手动配置时，可以可预 先设置单击一次主键区中的方向键时对应的预置平移距离。例如，当单 击一次向上的按键，则向上平移5mm，当长按向上的按键超过2秒时， 则以预设平移速度向上平移，以此类推，其它按键亦可如此设置。当然， 每个主键区中的方向键对应的预置平移距离和/或预设平移速度可各不相 同，亦可部分相同或全部相同。
83.在自动配置时，若对所述主键区中的方向键的相邻两次触控的方向 相反，基于预设的平移调整步长，对后一次触控对应的初始平移距离进 行缩小，得到后一次触控对应的调整平移距离。也就是说，如果相邻两 次触控的方向相反，说明前一次触控时，平移距离较大，需要进行反向 平移，但是，反向平移时，如果按照初始平移距离进行平移，则会回到 上一次触控的位置，因此，需要缩小平移距离，此时，可以直接按照一 个预设的平移调整步长对后一次触控对应的初始平移距离进行缩小，得 到后一次触控对应的调整平移距离，无需用户在手动输入反向平移的距 离，简化了操作流程。
84.同理，对方向键的每次触控对应的旋转角度可以进行手动配置，也 可以自动配置。例如，在进行手动配置时，可以可预先设置单击一次主 键区中的方向键时对应的预置旋转角度。例如，当单击一次字母a按键， 则正向旋转5
°
，当单击一次字母s按键，则反向旋转5
°
。当长按字母 a按键超过2秒时，则以预设旋转速度正向旋转，以此类推，其它按键 亦可如此设置。当然，每个主键区中的方向键对应的预置旋转角度和/或 预设旋转速度可各不相同，亦可部分相同或全部相同。
85.在自动配置时，若对所述辅助键区中的方向键的相邻两次触控的方 向相反，基于预设的旋转调整步长，对后一次触控对应的初始旋转角度 进行缩小，得到后一次触控对应的调整旋转角度。也就是说，如果相邻 两次触控的方向相反，说明前一次触控时，旋转角度较大，需要进行反 向旋转，但是，反向旋转时，如果按照初始旋转角度进行旋转，则会回 到上一次触控的位置，因此，需要缩小平旋转角度，此时，可以直接按 照一个预设的旋转调整步长对后一次触控对应的初始旋转角度进行缩 小，得到后一次触控对应的调整旋转角度，无需用户在手动输入反向旋 转的角度，简化了操作流程。
86.本实施例的三维人脸关键点标注方法，基于深度相机采集的连续帧 人脸图像得到标有三维人脸关键点的初始连续帧三维人脸点云图后，响 应于用户对所述连续帧中帧的选择操作，将所选择的帧对应的初始三维 人脸点云图呈现在人机交互界面上；并响应于用户对所呈现的初始三维 人脸点云图上的至少一个待调整三维人脸关键点的调整指令，将每个所 述待调整三维人脸关键点调整至距离每个待调整三维人脸关键点对应的 人脸关键部位小于预设距离的位置，得到所选择的帧对应的最终三维人 脸点云图，实现了直接对真实的三维人脸进行关键点标注，得到的三维 人脸关键点更加精准。
87.在一个具体实现过程中，在得到所选择的帧对应的最终三维人脸点 云图后，可以将所述最终三维人脸点云图中的三维人脸关键点投影到所 选择的帧对应的人脸图像上，以供所述用户对结果进行校验。
88.在一个具体实现过程中，在步骤103“响应于用户对所呈现的初始三 维人脸点云图上的至少一个待调整三维人脸关键点的调整指令，将每个 所述待调整三维人脸关键点调整至距离每个待调整三维人脸关键点对应 的人脸关键部位小于预设距离的位置，得到所选择的帧对应的最终三维 人脸点云图”之前，还可以执行以下步骤：：
89.(1)定义第二输入设备的第二功能键与对三维人脸关键点进行视角 转换和缩放的观察动作之间的第二映射关系；
90.其中，第二映射关系可以包括对所述第二功能键的操作指令对应的 视角转换信息和视角缩放信息。
91.(2)响应于所述用户对所述第二功能键的操作指令，基于所述第二 映射关系呈现不同视角和缩放状态下的人脸点云形状和分布，以供所述用 户观察三维人脸关键点细节。
92.在一个具体实现过程中，所述第二输入设备可以为鼠标，所述第二 功能键可以为鼠标左键和滚轮。可以响应于用户使用所述鼠标左键在三维 人脸点云图上进行拖拽操作，呈现不同视角下的人脸点云形状和分布；也 可以响应于用户使用所述鼠标滚轮在三维人脸点云图上进行缩放操作，呈 现不同缩放状态下的人脸点云形状和分布。这样，用户可以更直观的观察人 脸细节，确定所需要的调整指令，更快速地得到所选择的帧对应的最终三 维人脸点云图。
93.图8是不同视角下的三维人脸点云图的示意图，如图8所示，图8 仅以三维人脸点云图的左视图为例进行说明，图8中(a)部分是对图5 中(b)进行拖动鼠标转换视角后得到的三维人脸点云图的主视图；图8 中(b)部分是对图5中(b)进行拖动鼠标转换视角，并利用滚轮进行 缩放后的三维人脸点云图的主视图。
94.在一个具体实现过程中，在得到所选择的帧对应的初始三维人脸点 云图对应的最终三维人脸角度后，还可以基于所述选择的帧对应的最终 三维人脸点云图，通过点云匹配算法获得相邻帧对应的最终三维人脸点 云图；基于所述相邻帧对应的最终三维人脸点云图，通过点云匹配算法 获得与其相邻的帧对应的最终三维人脸点云图，直到所有连续帧被标注， 从而达到提高标注速率，并可以按照预设的数据格式进行保存。
95.具体地，可以通过点云匹配算法，获得所选择的帧的点云图与相邻 帧的点云图之间的第一相对角度；基于所述第一相对角度和所选择的帧 对应的最终三维人脸点云图，得到所述相邻帧对应的最终三维人脸点云 图。再次通过点云匹配算法，获得所述相邻帧的点云图和与其相邻的帧 的点云图之间的第二相对角度；基于所述第二相对角度和所述相邻
帧对 应的最终三维人脸点云图，得到所述与其相邻的帧对应的最终三维人脸 点云图，直到所有连续帧被标注。
96.在一个具体实现过程中，还可以响应于用户对连续帧中帧的选择， 将所选择的帧对应的最终三维人脸点云图以及标注的中间过程信息呈现 在人机交互界面上，以供所述用户对结果进行校验，保证每帧的三维人 脸点云图对应的三维人脸关键点的精度。
97.需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序 进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果， 不同的步骤之间并非必须按照这样的顺序执行，其可以同时(并行)执 行或以其他顺序执行，这些变化都在本发明的保护范围之内。
98.本领域技术人员能够理解的是，本发明实现上述一实施例的方法中 的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成， 所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在 被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算 机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、 对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介 质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、u 盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存 储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所 述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实 践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实 践，计算机可读存储介质不包括电载波信号和电信信号。
99.进一步，本发明还提供了一种三维人脸关键点标注设备。
100.参阅附图9，图9是根据本发明的一个实施例的三维人脸关键点标注 设备的主要结构框图。如图9所示，本发明实施例的三维人脸角度标注 设备可以包括处理器90和存储装置91，所述存储装置91适于存储多条 程序代码，所述程序代码适于由所述处理器90加载并运行以执行上述实 施例的三维人脸角度标注方法。
101.为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细 节未揭示的，请参照本发明实施例方法部分。该控制装置可以是包括各 种电子设备形成的控制装置设备。
102.进一步，本发明还提供了一种计算机可读存储介质。在根据本发明 的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置 成存储执行上述方法实施例的三维人脸角度标注方法的程序，该程序可 以由处理器加载并运行以实现上述三维人脸角度标注方法。为了便于说 明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请 参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电 子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储 介质是非暂时性的计算机可读存储介质。
103.进一步，本发明还提供了一种三维人脸角度标注系统。该三维人脸 角度标注系统可以包括上述实施例的三维人脸角度标注设备和第一输入 设备。其中，第一输入设备用于接收用户对所呈现的三维人脸点云图的 调整指令。
104.进一步，应该理解的是，由于各个模块的设定仅仅是为了说明本发 明的装置的功能单元，这些模块对应的物理器件可以是处理器本身，或 者处理器中软件的一部分，硬件
的一部分，或者软件和硬件结合的一部 分。因此，图中的各个模块的数量仅仅是示意性的。
105.本领域技术人员能够理解的是，可以对装置中的各个模块进行适应 性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏 离本发明的原理，因此，拆分或合并之后的技术方案都将落入本发明的 保护范围内。
106.至此，已经结合附图所示的优选实施方式描述了本发明的技术方案， 但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于 这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员 可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技 术方案都将落入本发明的保护范围之内。
技术特征：1.一种三维人脸关键点标注方法，其特征在于，包括：基于深度相机采集的连续帧人脸图像得到标有三维人脸关键点的初始连续帧三维人脸点云图；响应于用户对所述连续帧中帧的选择操作，将所选择的帧对应的初始三维人脸点云图呈现在人机交互界面上；响应于用户对所呈现的初始三维人脸点云图上的至少一个待调整三维人脸关键点的调整指令，将每个所述待调整三维人脸关键点调整至距离每个待调整三维人脸关键点对应的人脸关键部位小于预设距离的位置，得到所选择的帧对应的最终三维人脸点云图。2.根据权利要求1所述的三维人脸关键点标注方法，其特征在于，基于深度相机采集的连续帧人脸图像得到标有三维人脸关键点的初始连续帧三维人脸点云图，包括：基于深度相机采集的每帧人脸图像获得每帧人脸深度图像，并利用人脸关键点检测算法检测每帧人脸深度图像中的二维人脸关键点，得到每帧标有二维人脸关键点的人脸深度图像；基于所述深度相机在第一坐标轴方向、第二坐标轴方向的焦距和光圈中心，通过坐标转换得到每帧标有三维人脸关键点的初始人脸深度图像的点云数据；将每帧标有三维人脸关键点的初始人脸深度图像的点云数据进行配准，得到所述标有三维人脸关键点的初始连续帧三维人脸点云图。3.根据权利要求1所述的三维人脸关键点标注方法，其特征在于，响应于用户对所呈现的初始三维人脸点云图上的至少一个待调整三维人脸关键点的调整指令，将每个所述待调整三维人脸关键点调整至距离每个待调整三维人脸关键点对应的人脸关键部位小于预设距离的位置，得到所选择的帧对应的最终三维人脸点云图，包括：定义第一输入设备的第一功能键与对待调整三维人脸关键点进行平移和旋转的调整动作之间的第一映射关系；响应于所述用户对所述第一功能键的操作指令，基于所述第一映射关系将所述待调整三维人脸关键点调整至距离每个待调整三维人脸关键点对应的人脸关键部位小于预设距离的位置，得到所选择的帧对应的最终三维人脸点云图。4.根据权利要求3所述的三维人脸关键点标注方法，其特征在于，所述第一输入设备为键盘，所述第一功能键为所述键盘上的主键区中的方向键以及辅助键区中的方向键；响应于所述用户对所述第一功能键的操作指令，基于所述第一映射关系将所述待调整三维人脸关键点调整至距离每个待调整三维人脸关键点对应的人脸关键部位小于预设距离的位置，包括：响应于对所述键盘上的主键区中的方向键的触控，将所述待调整三维人脸关键点进行平移操作，其中对方向键的每次触控对应的平移距离能够被配置；响应于对所述键盘上的辅助键区中的方向键的触控，将所述待调整三维人脸关键点进行旋转操作，其中对方向键的每次触控对应的旋转角度能够被配置。5.根据权利要求4所述的三维人脸关键点标注方法，其特征在于，对方向键的每次触控对应的平移距离能够被配置的过程包括：若对所述主键区中的方向键的相邻两次触控的方向相反，基于预设的平移调整步长，对后一次触控对应的初始平移距离进行缩小，得到后一次触控对应的调整平移距离；
对方向键的每次触控对应的旋转角度能够被配置的过程包括：若对所述辅助键区中的方向键的相邻两次触控的方向相反，基于预设的旋转调整步长，对后一次触控对应的初始旋转角度进行缩小，得到后一次触控对应的调整旋转角度。6.根据权利要求3所述的三维人脸关键点标注方法，其特征在于，在响应于用户对所呈现的初始三维人脸点云图上的至少一个待调整三维人脸关键点的调整指令，将每个所述待调整三维人脸关键点调整至距离每个待调整三维人脸关键点对应的人脸关键部位小于预设距离的位置，得到所选择的帧对应的最终三维人脸点云图之前，所述方法还包括：定义第二输入设备的第二功能键与对三维人脸关键点进行视角转换和缩放的观察动作之间的第二映射关系；响应于所述用户对所述第二功能键的操作指令，基于所述第二映射关系呈现不同视角和缩放状态下的人脸点云形状和分布，以供所述用户观察三维人脸关键点细节。7.根据权利要求6所述的三维人脸关键点标注方法，其特征在于，所述第二输入设备为鼠标，所述第二功能键为鼠标左键和滚轮；所述响应于所述用户对所述第二功能键的操作指令，基于所述第二映射关系呈现不同视角和缩放状态下的人脸点云形状和分布，包括：响应于用户使用所述鼠标左键在三维人脸点云图上进行拖拽操作，呈现不同视角下的人脸点云形状和分布；响应于用户使用所述鼠标滚轮在三维人脸点云图上进行缩放操作，呈现不同缩放状态下的人脸点云形状和分布。8.根据权利要求1所述的三维人脸关键点标注方法，其特征在于，还包括：将所述最终三维人脸点云图中的三维人脸关键点投影到所选择的帧对应的人脸图像上，以供所述用户对结果进行校验。9.根据权利要求1-8中任一项所述的三维人脸关键点标注方法，其特征在于，还包括：基于所述选择的帧对应的最终三维人脸点云图，通过点云匹配算法获得相邻帧对应的最终三维人脸点云图；基于所述相邻帧对应的最终三维人脸点云图，通过点云匹配算法获得与其相邻的帧对应的最终三维人脸点云图，直到所有连续帧被标注。10.根据权利要求9所述的三维人脸关键点标注方法，其特征在于，基于所述选择的帧对应的最终三维人脸点云图，通过点云匹配算法获得相邻帧对应的最终三维人脸点云图，包括：通过点云匹配算法，获得所选择的帧的点云图与相邻帧的点云图之间的第一相对角度；基于所述第一相对角度和所选择的帧对应的最终三维人脸点云图，得到所述相邻帧对应的最终三维人脸点云图；基于所述相邻帧对应的最终三维人脸点云图，通过点云匹配算法获得与其相邻的帧对应的最终三维人脸点云图，包括：通过点云匹配算法，获得所述相邻帧的点云图和与其相邻的帧的点云图之间的第二相对角度；基于所述第二相对角度和所述相邻帧对应的最终三维人脸点云图，得到所述与其相邻
的帧对应的最终三维人脸点云图。11.根据权利要求9所述的三维人脸关键点标注方法，其特征在于，还包括：响应于用户对连续帧中帧的选择，将所选择的帧对应的最终三维人脸点云图以及标注的中间过程信息呈现在人机交互界面上，以供所述用户对结果进行校验。12.一种三维人脸关键点标注设备，包括处理器和存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至11中任一项所述的三维人脸关键点标注方法。13.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至11中任一项所述的三维人脸关键点标注方法。14.一种三维人脸关键点标注系统，其特征在于，包括：如权利要求12所述的三维人脸关键点标注设备；第一输入设备，用于接收用户对所呈现的初始三维人脸点云图上的至少一个待调整三维人脸关键点的调整指令。
技术总结本发明提供了一种三维人脸关键点标注方法、设备、系统和存储介质，包括基于深度相机采集的连续帧人脸图像得到标有三维人脸关键点的初始连续帧三维人脸点云图；响应于用户对所述连续帧中帧的选择操作，将所选择的帧对应的初始三维人脸点云图呈现在人机交互界面上；响应于用户对所呈现的初始三维人脸点云图上的至少一个待调整三维人脸关键点的调整指令，将每个所述待调整三维人脸关键点调整至距离每个待调整三维人脸关键点对应的人脸关键部位小于预设距离的位置，得到所选择的帧对应的最终三维人脸点云图，实现了直接对真实的三维人脸进行关键点标注，得到的三维人脸关键点更加精准。精准。精准。
技术研发人员：庞涛
受保护的技术使用者：芜湖云从科技有限公司
技术研发日：2022.06.17
技术公布日：2022/11/1
