1.本发明涉及人脸识别技术领域,具体而言,涉及一种人脸识别算法的验证方法及系统。
背景技术:2.人脸识别模型作为一种图像识别模型,有着较多的应用,如网络交易中可以基于人脸识别模型对交易用户进行验证识别。因此,人脸识别模型的识别精度直接决定着其应用的可靠度。因此,对于人脸识别模型的训练就尤为重要,但是,在现有技术中,缺乏对训练得到的人脸识别模型的精度进行有效确认的方法,即在训练时,若损失收敛,则人脸识别模型的精度较高,如此,存在人脸识别模型的精度难以有效确定的问题。
技术实现要素:3.有鉴于此,本发明的目的在于提供一种人脸识别算法的验证方法及系统,以改善对训练得到的人脸识别模型的精度难以有效确定的问题。
4.为实现上述目的,本发明实施例采用如下技术方案:
5.一种人脸识别算法的验证方法,应用于图像处理服务器,所述人脸识别算法的验证方法包括:
6.基于获取的人脸样本图像集合包括的人脸样本图像,对预先构建的初始人脸识别模型进行更新处理,得到所述初始人脸识别模型对应的目标人脸识别模型,其中,所述人脸样本图像集合包括多帧人脸样本图像,且所述目标人脸识别模型作为一种人脸识别算法;
7.针对获取的多帧目标人脸图像中的每一帧目标人脸图像,基于所述目标人脸识别模型中的特征提取网络对该目标人脸图像进行特征提取处理,得到该目标人脸图像对应的人脸特征向量,并基于该人脸特征向量进行人脸图像重建处理,得到该目标人脸图像对应的重建人脸图像,以及,计算该目标人脸图像与该重建人脸图像之间的图像相似度;
8.基于每一帧所述目标人脸图像与该目标人脸图像对应的重建人脸图像之间的图像相似度,确定所述目标人脸识别模型的人脸识别精度,其中,所述人脸识别精度与所述图像相似度之间具有正相关关系。
9.在一些优选的实施例中,在上述人脸识别算法的验证方法中,所述针对获取的多帧目标人脸图像中的每一帧目标人脸图像,基于所述目标人脸识别模型中的特征提取网络对该目标人脸图像进行特征提取处理,得到该目标人脸图像对应的人脸特征向量,并基于该人脸特征向量进行人脸图像重建处理,得到该目标人脸图像对应的重建人脸图像,以及,计算该目标人脸图像与该重建人脸图像之间的图像相似度的步骤,包括:
10.针对获取的多帧人脸图像中的每一帧人脸图像,计算该人脸图像与所述人脸样本图像集合包括的人脸样本图像之间的相似度,并基于该相似度从所述多帧人脸图像筛选出多帧目标人脸图像;
11.针对所述多帧目标人脸图像中的每一帧目标人脸图像,基于所述目标人脸识别模
型中的特征提取网络对该目标人脸图像进行特征提取处理,得到该目标人脸图像对应的人脸特征向量,并基于该人脸特征向量进行人脸图像重建处理,得到该目标人脸图像对应的重建人脸图像,以及,计算该目标人脸图像与该重建人脸图像之间的图像相似度。
12.在一些优选的实施例中,在上述人脸识别算法的验证方法中,所述针对获取的多帧人脸图像中的每一帧人脸图像,计算该人脸图像与所述人脸样本图像集合包括的人脸样本图像之间的相似度,并基于该相似度从所述多帧人脸图像筛选出多帧目标人脸图像的步骤,包括:
13.获取多帧人脸图像,并针对每一帧所述人脸图像,分别计算该人脸图像与所述人脸样本图像集合包括的每一帧人脸样本图像之间的相似度,并确定该人脸图像与所述人脸样本图像集合包括的每一帧人脸样本图像之间的相似度中的最大值,得到该人脸图像对应的相似度;
14.针对所述多帧人脸图像中的每一帧人脸图像,确定该人脸图像对应的相似度与预先配置的相似度阈值之间的相对大小关系,并在该人脸图像对应的相似度小于所述相似度阈值时,将该人脸图像确定为目标人脸图像。
15.在一些优选的实施例中,在上述人脸识别算法的验证方法中,所述获取多帧人脸图像,并针对每一帧所述人脸图像,分别计算该人脸图像与所述人脸样本图像集合包括的每一帧人脸样本图像之间的相似度,并确定该人脸图像与所述人脸样本图像集合包括的每一帧人脸样本图像之间的相似度中的最大值,得到该人脸图像对应的相似度的步骤,包括:
16.获取多帧人脸图像,并针对所述多帧人脸图像包括的每一帧人脸图像,对该人脸图像进行图像分割处理,得到该人脸图像对应的前景子图像和对应的背景子图像,以及,针对所述人脸样本图像集合包括的每一帧人脸样本图像,对该人脸样本图像进行图像分割处理,得到该人脸样本图像对应的样本前景子图像和对应的样本背景子图像;
17.针对所述多帧人脸图像包括的每一帧人脸图像,分别计算该人脸图像对应的前景子图像与所述人脸样本图像集合包括的每一帧人脸样本图像对应的样本前景子图像之间的相似度,并分别该人脸图像对应的背景子图像与所述人脸样本图像集合包括的每一帧人脸样本图像对应的样本背景子图像之间的相似度,以及,分别将该人脸图像与每一帧人脸样本图像对应的样本前景子图像和对应的样本背景子图像之间的相似度进行融合处理,得到该人脸图像与每一帧所述人脸样本图像之间的相似度;
18.针对所述多帧人脸图像包括的每一帧人脸图像,在该人脸图像与每一帧所述人脸样本图像之间的相似度中确定出具有最大值的相似度,变革将该相似度确定为该人脸图像对应的相似度。
19.在一些优选的实施例中,在上述人脸识别算法的验证方法中,所述针对所述多帧目标人脸图像中的每一帧目标人脸图像,基于所述目标人脸识别模型中的特征提取网络对该目标人脸图像进行特征提取处理,得到该目标人脸图像对应的人脸特征向量,并基于该人脸特征向量进行人脸图像重建处理,得到该目标人脸图像对应的重建人脸图像,以及,计算该目标人脸图像与该重建人脸图像之间的图像相似度的步骤,包括:
20.针对所述多帧目标人脸图像中的每一帧目标人脸图像,基于所述目标人脸识别模型中的特征提取网络对该目标人脸图像进行特征提取处理,得到该目标人脸图像对应的人脸特征向量,并基于该人脸特征向量进行人脸图像重建处理,得到该目标人脸图像对应的
重建人脸图像;
21.针对所述多帧目标人脸图像中的每一帧目标人脸图像,对该目标人脸图像进行人脸轮廓识别处理,得到该目标人脸图像对应的人脸轮廓信息,并基于该人脸轮廓信息在该目标人脸图像中截取出人脸区域图像;
22.针对所述多帧目标人脸图像中的每一帧目标人脸图像,对该目标人脸图像对应的重建人脸图像进行人脸轮廓识别处理,得到该目标人脸图像对应的重建人脸图像对应的人脸轮廓信息,并基于该人脸轮廓信息在该目标人脸图像对应的重建人脸图像中截取出重建人脸区域图像;
23.针对所述多帧目标人脸图像中的每一帧目标人脸图像,计算该目标人脸图像对应的人脸区域图像与该目标人脸图像对应的重建人脸图像对应的重建人脸区域图像之间的图像相似度,作为该目标人脸图像与该目标人脸图像对应的重建人脸图像之间的图像相似度。
24.在一些优选的实施例中,在上述人脸识别算法的验证方法中,所述基于每一帧所述目标人脸图像与该目标人脸图像对应的重建人脸图像之间的图像相似度,确定所述目标人脸识别模型的人脸识别精度的步骤,包括:
25.计算每一帧所述目标人脸图像与该目标人脸图像对应的重建人脸图像之间的图像相似度的平均值,得到对应的相似度均值;
26.基于所述相似度均值确定所述目标人脸识别模型的人脸识别精度。
27.在一些优选的实施例中,在上述人脸识别算法的验证方法中,所述基于获取的人脸样本图像集合包括的人脸样本图像,对预先构建的初始人脸识别模型进行更新处理,得到所述初始人脸识别模型对应的目标人脸识别模型的步骤,包括:
28.基于预先构建的初始人脸识别模型中的特征提取网络,对获取的人脸样本图像集合包括的人脸样本图像进行特征提取处理,得到对应的人脸特征向量集合,其中,所述人脸样本图像集合包括多帧人脸样本图像;
29.基于所述初始人脸识别模型中的特征分类网络,对所述人脸特征向量集合进行特征分类处理,得到对应的特征分类数据集合;
30.计算所述人脸特征向量集合对应的特征向量损失函数值,并计算所述特征分类数据集合对应的分类损失函数值,以及,基于所述特征向量损失函数值和所述分类损失函数值对所述初始人脸识别模型进行更新处理,得到所述初始人脸识别模型对应的目标人脸识别模型。
31.本发明实施例还提供一种人脸识别算法的验证系统,应用于图像处理服务器,所述人脸识别算法的验证系统包括:
32.识别模型更新模块,用于基于获取的人脸样本图像集合包括的人脸样本图像,对预先构建的初始人脸识别模型进行更新处理,得到所述初始人脸识别模型对应的目标人脸识别模型,其中,所述人脸样本图像集合包括多帧人脸样本图像,且所述目标人脸识别模型作为一种人脸识别算法;
33.相似度计算模块,用于针对获取的多帧目标人脸图像中的每一帧目标人脸图像,基于所述目标人脸识别模型中的特征提取网络对该目标人脸图像进行特征提取处理,得到该目标人脸图像对应的人脸特征向量,基于该人脸特征向量进行人脸图像重建处理,得到
该目标人脸图像对应的重建人脸图像,以及,计算该目标人脸图像与该重建人脸图像之间的图像相似度;
34.识别精度确定模块,用于基于每一帧所述目标人脸图像与该目标人脸图像对应的重建人脸图像之间的图像相似度,确定所述目标人脸识别模型的人脸识别精度,其中,所述人脸识别精度与所述图像相似度之间具有正相关关系。
35.在一些优选的实施例中,在上述人脸识别算法的验证系统中,所述相似度计算模块具体用于:
36.针对获取的多帧人脸图像中的每一帧人脸图像,计算该人脸图像与所述人脸样本图像集合包括的人脸样本图像之间的相似度,并基于该相似度从所述多帧人脸图像筛选出多帧目标人脸图像;
37.针对所述多帧目标人脸图像中的每一帧目标人脸图像,基于所述目标人脸识别模型中的特征提取网络对该目标人脸图像进行特征提取处理,得到该目标人脸图像对应的人脸特征向量,并基于该人脸特征向量进行人脸图像重建处理,得到该目标人脸图像对应的重建人脸图像,以及,计算该目标人脸图像与该重建人脸图像之间的图像相似度。
38.在一些优选的实施例中,在上述人脸识别算法的验证系统中,所述识别精度确定模块具体用于:
39.计算每一帧所述目标人脸图像与该目标人脸图像对应的重建人脸图像之间的图像相似度的平均值,得到对应的相似度均值;
40.基于所述相似度均值确定所述目标人脸识别模型的人脸识别精度。
41.本发明实施例提供的一种人脸识别算法的验证方法及系统,可以先对初始人脸识别模型进行更新处理,得到对应的目标人脸识别模型,然后可以针对每一帧目标人脸图像,基于目标人脸识别模型中的特征提取网络对该目标人脸图像进行特征提取处理,得到对应的人脸特征向量,并基于该人脸特征向量进行人脸图像重建处理,得到对应的重建人脸图像,以及,计算该目标人脸图像与该重建人脸图像之间的图像相似度,使得可以基于每一帧目标人脸图像与该目标人脸图像对应的重建人脸图像之间的图像相似度,确定目标人脸识别模型的人脸识别精度,从而改善现有技术中对训练得到的人脸识别模型的精度难以有效确定的问题。
42.为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
43.图1为本发明实施例提供的图像处理服务器的结构框图。
44.图2为本发明实施例提供的人脸识别算法的验证方法包括的各步骤的流程示意图。
45.图3为本发明实施例提供的人脸识别算法的验证系统包括的各模块的示意图。
具体实施方式
46.为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例只
是本发明的一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
47.因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
48.如图1所示,本发明实施例提供了一种图像处理服务器。其中,所述图像处理服务器可以包括存储器和处理器。
49.详细地,所述存储器和处理器之间直接或间接地电性连接,以实现数据的传输或交互。例如,相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述存储器中可以存储有至少一个可以以软件或固件(firmware)的形式,存在的软件功能模块(计算机程序)。所述处理器可以用于执行所述存储器中存储的可执行的计算机程序,从而实现本发明实施例(如后文所述)提供的人脸识别算法的验证方法。
50.可以理解的是,在一种可以实现的实施方式中,所述存储器可以是,但不限于,随机存取存储器(random access memory,ram),只读存储器(read only memory,rom),可编程只读存储器(programmable read-only memory,prom),可擦除只读存储器(erasable programmable read-only memory,eprom),电可擦除只读存储器(electric erasable programmable read-only memory,eeprom)等。所述处理器可以是一种通用处理器,包括中央处理器(central processing unit,cpu)、网络处理器(network processor,np)、片上系统(system on chip,soc)等;还可以是数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
51.并且,图1所示的结构仅为示意,所述图像处理服务器还可包括比图1中所示更多或者更少的组件,或具有与图1所示不同的配置,例如,可以包括用于与其它设备进行信息交互的通信单元。
52.结合图2,本发明实施例还提供一种人脸识别算法的验证方法,可应用于上述图像处理服务器。其中,所述人脸识别算法的验证方法有关的流程所定义的方法步骤,可以由所述图像处理服务器实现。
53.下面将对图2所示的具体流程,进行详细阐述。
54.步骤s100,基于获取的人脸样本图像集合包括的人脸样本图像,对预先构建的初始人脸识别模型进行更新处理,得到所述初始人脸识别模型对应的目标人脸识别模型。
55.在本发明实施例中,所述图像处理服务器可以基于获取的人脸样本图像集合包括的人脸样本图像,对预先构建的初始人脸识别模型进行更新处理,得到所述初始人脸识别模型对应的目标人脸识别模型。其中,所述人脸样本图像集合包括多帧人脸样本图像,且所述目标人脸识别模型作为一种人脸识别算法(神经网络)。
56.步骤s200,针对获取的多帧目标人脸图像中的每一帧目标人脸图像,基于所述目标人脸识别模型中的特征提取网络对该目标人脸图像进行特征提取处理,得到该目标人脸图像对应的人脸特征向量,并基于该人脸特征向量进行人脸图像重建处理,得到该目标人脸图像对应的重建人脸图像,以及,计算该目标人脸图像与该重建人脸图像之间的图像相
似度。
57.在本发明实施例中,所述图像处理服务器可以针对获取的多帧目标人脸图像中的每一帧目标人脸图像,基于所述目标人脸识别模型中的特征提取网络对该目标人脸图像进行特征提取处理,得到该目标人脸图像对应的人脸特征向量,并基于该人脸特征向量进行人脸图像重建处理,得到该目标人脸图像对应的重建人脸图像,以及,计算该目标人脸图像与该重建人脸图像之间的图像相似度。
58.步骤s300,基于每一帧目标人脸图像与该目标人脸图像对应的重建人脸图像之间的图像相似度,确定所述目标人脸识别模型的人脸识别精度。
59.在本发明实施例中,所述图像处理服务器可以基于每一帧目标人脸图像与该目标人脸图像对应的重建人脸图像之间的图像相似度,确定所述目标人脸识别模型的人脸识别精度。其中,所述人脸识别精度与所述图像相似度之间具有正相关关系。
60.基于上述的人脸识别算法的验证方法包括的各步骤,可以先对初始人脸识别模型进行更新处理,得到对应的目标人脸识别模型,然后可以针对每一帧目标人脸图像,基于目标人脸识别模型中的特征提取网络对该目标人脸图像进行特征提取处理,得到对应的人脸特征向量,并基于该人脸特征向量进行人脸图像重建处理,得到对应的重建人脸图像,以及,计算该目标人脸图像与该重建人脸图像之间的图像相似度,使得可以基于每一帧目标人脸图像与该目标人脸图像对应的重建人脸图像之间的图像相似度,确定目标人脸识别模型的人脸识别精度,从而改善现有技术中对训练得到的人脸识别模型的精度难以有效确定的问题。
61.可以理解的是,在一种可以实现的实施方式中,步骤s100可以包括以下的步骤s110、步骤s120和步骤s130。
62.步骤s110,基于预先构建的初始人脸识别模型中的特征提取网络,对获取的人脸样本图像集合包括的人脸样本图像进行特征提取处理,得到对应的人脸特征向量集合。
63.在本发明实施例中,所述图像处理服务器可以基于预先构建的初始人脸识别模型中的特征提取网络(所述特征提取网络可以参照相关的现有技术,在此不做具体限定),对获取的人脸样本图像集合包括的人脸样本图像进行特征提取处理,得到对应的人脸特征向量集合。其中,所述人脸样本图像集合包括多帧人脸样本图像。
64.步骤s120,基于所述初始人脸识别模型中的特征分类网络,对所述人脸特征向量集合进行特征分类处理,得到对应的特征分类数据集合。
65.在本发明实施例中,所述图像处理服务器可以基于所述初始人脸识别模型中的特征分类网络(所述特征分类网络可以参照相关的现有技术,在此不做具体限定),对所述人脸特征向量集合进行特征分类处理,得到对应的特征分类数据集合。
66.步骤s130,计算所述人脸特征向量集合对应的特征向量损失函数值,并计算所述特征分类数据集合对应的分类损失函数值,以及,基于所述特征向量损失函数值和所述分类损失函数值对所述初始人脸识别模型进行更新处理,得到所述初始人脸识别模型对应的目标人脸识别模型。
67.在本发明实施例中,所述图像处理服务器可以计算所述人脸特征向量集合对应的特征向量损失函数值,并计算所述特征分类数据集合对应的分类损失函数值,以及,基于所述特征向量损失函数值和所述分类损失函数值对所述初始人脸识别模型进行更新处理(如
直到损失函数值收敛到目标值等),得到所述初始人脸识别模型对应的目标人脸识别模型。
68.基于上述的步骤s110、步骤s120和步骤s130,可以先基于初始人脸识别模型中的特征提取网络,对获取的人脸样本图像集合包括的人脸样本图像进行特征提取处理,得到对应的人脸特征向量集合,然后,可以基于初始人脸识别模型中的特征分类网络,对人脸特征向量集合进行特征分类处理,得到对应的特征分类数据集合,使得可以计算人脸特征向量集合对应的特征向量损失函数值,并计算特征分类数据集合对应的分类损失函数值,以及,基于特征向量损失函数值和分类损失函数值对初始人脸识别模型进行更新处理,得到对应的目标人脸识别模型。如此,通过从特征向量损失函数值和分类损失函数值来对初始人脸识别模型进行更新处理,可以使得更新得到的目标人脸识别模型的可靠度更佳,从而改善现有技术中训练得到的识别模型的可靠度不佳的问题。
69.可以理解的是,在一种可以实现的实施方式中,步骤s110可以包括:
70.首先,统计获取预先构建的初始人脸识别模型中的特征分类网络的数量,得到所述初始人脸识别模型对应的分类网络统计数量;
71.其次,获取多帧人脸样本图像,并基于所述分类网络统计数量对所述多帧人脸样本图像进行分割,得到对应的多个人脸样本图像集合,其中,所述多个人脸样本图像集合的数量与所述分类网络统计数量相等(如此,可以基于多个特征分类网络对多个人脸样本图像集合对应的多个人脸特征向量集合进行一一对应的处理),且所述多个人脸样本图像集合中的每一个人脸样本图像集合包括多帧人脸样本图像;
72.然后,针对所述多个人脸样本图像集合中的每一个人脸样本图像集合,基于所述初始人脸识别模型中的特征提取网络对该人脸样本图像集合包括的多帧人脸样本图像集合征提取处理,得到对应的人脸特征向量集合,其中,所述多个人脸样本图像集合对应有多个人脸特征向量集合。
73.可以理解的是,在一种可以实现的实施方式中,所述获取多帧人脸样本图像,并基于所述分类网络统计数量对所述多帧人脸样本图像进行分割,得到对应的多个人脸样本图像集合的步骤,可以包括:
74.首先,获取多帧人脸样本图像,并针对所述多帧人脸样本图像中的每两帧人脸样本图像,计算该两帧人脸样本图像之间的图像相似度;
75.其次,基于所述分类网络统计数量和所述多帧人脸样本图像中的每两帧人脸样本图像之间的图像相似度,对所述多帧人脸样本图像进行分割,得到所述分类网络统计数量对应的多个人脸样本图像集合。
76.可以理解的是,在一种可以实现的实施方式中,所述获取多帧人脸样本图像,并针对所述多帧人脸样本图像中的每两帧人脸样本图像,计算该两帧人脸样本图像之间的图像相似度的步骤,可以包括:
77.首先,获取多帧人脸样本图像;
78.其次,针对所述多帧人脸样本图像中的每两帧人脸样本图像,对该两帧人脸样本图像进行相似度计算操作,得到该两帧人脸样本图像之间的图像相似度。其中,所述相似度计算操作可以进一步包括:
79.第一步,针对所述两帧人脸样本图像中的每一帧人脸样本图像,对该人脸样本图像进行人脸轮廓提取处理,得到该人脸样本图像对应的人脸轮廓信息,并计算所述两帧人
脸样本图像对应的人脸轮廓信息之间的相似度,得到所述两帧人脸样本图像对应的人脸轮廓相似度;
80.第二步,针对所述两帧人脸样本图像中的每一帧人脸样本图像,对该人脸样本图像进行人脸特征点提取处理,得到该人脸样本图像对应的多个人脸特征点,其中,所述多个人脸特征点的数量为目标数量;
81.第三步,针对所述两帧人脸样本图像中的每一帧人脸样本图像,对该人脸样本图像对应的所述多个人脸特征点进行遍历,得到该人脸样本图像对应的特征点遍历轨迹,其中,多次执行所述针对所述两帧人脸样本图像中的每一帧人脸样本图像,对该人脸样本图像对应的所述多个人脸特征点进行遍历,得到该人脸样本图像对应的特征点遍历轨迹的步骤,直到在得到每一帧所述人脸样本图像对应的多条特征点遍历轨迹之后,不能得到新的特征点遍历轨迹;
82.第四步,针对所述两帧人脸样本图像中的每一帧人脸样本图像,分别计算该人脸样本图像对应的多条特征点遍历轨迹中的每一条特征点遍历轨迹的长度,得到每一条特征点遍历轨迹对应的轨迹长度,并基于每一条特征点遍历轨迹对应的轨迹长度之间的大小关系,对该人脸样本图像对应的多条特征点遍历轨迹进行排序,得到每一条特征点遍历轨迹对应的排序序号(如轨迹长度越小,对应的排序序号越小);
83.第五步,针对所述两帧人脸样本图像之间具有相同排序序号的每两条特征点遍历轨迹,计算该两条特征点遍历轨迹之间的相似度,得到该两条特征点遍历轨迹对应的轨迹相似度,并基于该两条特征点遍历轨迹对应的排序序号确定该两条特征点遍历轨迹对应的加权系数(所有的加权系数之和可以为1),其中,所述加权系数与所述排序序号之间具有负相关关系,所述排序序号与轨迹长度之间具有正相关关系;
84.第六步,基于每两条特征点遍历轨迹对应的加权系数,计算所述两帧人脸样本图像之间每两条特征点遍历轨迹对应的轨迹相似度的加权均值,得到所述两帧人脸样本图像对应的特征点相似度,并融合所述特征点相似度和所述人脸轮廓相似度(如进行加权均值计算等),得到所述两帧人脸样本图像之间的图像相似度。
85.可以理解的是,在一种可以实现的实施方式中,所述基于所述分类网络统计数量和所述多帧人脸样本图像中的每两帧人脸样本图像之间的图像相似度,对所述多帧人脸样本图像进行分割,得到所述分类网络统计数量对应的多个人脸样本图像集合的步骤,可以包括:
86.首先,基于所述多帧人脸样本图像中的每两帧人脸样本图像之间的图像相似度,对所述多帧人脸样本图像进行聚类处理,得到所述多帧人脸样本图像对应的至少一个样本图像聚类集合,其中,所述至少一个样本图像聚类集合中的每一个样本图像聚类集合包括多帧人脸样本图像;
87.其次,统计当前具有的至少一个样本图像聚类集合的数量,得到当前具有的至少一个样本图像聚类集合对应的第一集合数量,并确定该第一集合数量和所述分类网络统计数量之间的相对大小关系;
88.然后,若所述第一集合数量等于所述分类网络统计数量,则将当前具有的至少一个样本图像聚类集合作为所述分类网络统计数量对应的多个人脸样本图像集合,若所述第一集合数量大于所述分类网络统计数量,则分别统计每一个所述样本图像聚类集合包括的
人脸样本图像的数量,并基于每一个样本图像聚类集合包括的人脸样本图像的数量、所述第一集合数量和所述分类网络统计数量之间的差值,对当前具有的至少一个样本图像聚类集合进行合并,得到对应的多个人脸样本图像集合;
89.最后,若所述第一集合数量小于所述分类网络统计数量,则分别统计每一个所述样本图像聚类集合包括的人脸样本图像的数量,并将该数量具有最大值的样本图像聚类集合确定为目标样本图像聚类集合,以及,基于目标样本图像聚类集合中的每两帧人脸样本图像之间的图像相似度,对目标样本图像聚类集合包括的多帧人脸样本图像进行聚类处理,得到所述目标样本图像聚类集合对应的至少一个样本图像聚类集合,并回转执行所述统计当前具有的至少一个样本图像聚类集合的数量,得到当前具有的至少一个样本图像聚类集合对应的第一集合数量,并确定该第一集合数量和所述分类网络统计数量之间的相对大小关系的步骤,直到当前具有的至少一个样本图像聚类集合对应的第一集合数量等于所述分类网络统计数量。
90.可以理解的是,在一种可以实现的实施方式中,所述人脸特征向量集合为多个,所述特征分类数据集合为多个,步骤s130可以包括:
91.首先,针对多个所述人脸特征向量集合中的每一个人脸特征向量集合,计算该人脸特征向量集合对应的特征向量损失函数值,并计算多个所述人脸特征向量集合对应的多个特征向量损失函数值的平均值,得到多个所述人脸特征向量集合对应的特征向量损失函数值均值;
92.其次,针对多个所述特征分类数据集合中的每一个特征分类数据集合,计算该特征分类数据集合对应的分类损失函数值,并计算多个所述特征分类数据集合对应的多个分类损失函数值的平均值,得到多个所述特征分类数据集合对应的分类损失函数值均值;
93.然后,基于所述特征向量损失函数值均值和所述分类损失函数值均值计算得到对应的目标损失函数值,并基于所述目标损失函数值对所述初始人脸识别模型进行更新处理,得到对应的目标人脸识别模型。
94.可以理解的是,在一种可以实现的实施方式中,所述针对多个所述人脸特征向量集合中的每一个人脸特征向量集合,计算该人脸特征向量集合对应的特征向量损失函数值,并计算多个所述人脸特征向量集合对应的多个特征向量损失函数值的平均值,得到多个所述人脸特征向量集合对应的特征向量损失函数值均值的步骤,可以包括:
95.首先,针对多个所述人脸特征向量集合中的每一个人脸特征向量集合,计算该人脸特征向量集合包括的人脸特征向量的中心向量,得到该人脸特征向量集合对应的第一特征中心向量;
96.其次,计算多个所述人脸特征向量集合包括的人脸特征向量的中心向量,得到多个所述人脸特征向量集合对应的第二特征中心向量;
97.然后,针对多个所述人脸特征向量集合中的每一个人脸特征向量集合,计算该人脸特征向量集合对应的第一特征中心向量与所述第二特征中心向量之间的向量距离,并基于该人脸特征向量集合对应的向量距离确定该人脸特征向量集合对应的特征向量损失函数值,其中,所述向量距离与所述特征向量损失函数值之间具有正相关关系;
98.最后,计算多个所述人脸特征向量集合对应的多个特征向量损失函数值的平均值,得到多个所述人脸特征向量集合对应的特征向量损失函数值均值(集得到的多个特征
向量损失函数值的平均值)。
99.可以理解的是,在一种可以实现的实施方式中,所述针对多个所述特征分类数据集合中的每一个特征分类数据集合,计算该特征分类数据集合对应的分类损失函数值,并计算多个所述特征分类数据集合对应的多个分类损失函数值的平均值,得到多个所述特征分类数据集合对应的分类损失函数值均值的步骤,可以包括:
100.首先,针对多个所述特征分类数据集合中的每一个特征分类数据集合,基于预先配置的交叉熵损失函数对该特征分类数据集合进行损失函数值计算处理,得到该特征分类数据集合对应的分类损失函数值;
101.其次,计算多个所述特征分类数据集合对应的多个分类损失函数值的平均值,得到多个所述特征分类数据集合对应的分类损失函数值均值。
102.可以理解的是,在一种可以实现的实施方式中,步骤s200可以包括:
103.首先,针对获取的多帧人脸图像中的每一帧人脸图像,计算该人脸图像与所述人脸样本图像集合包括的人脸样本图像之间的相似度,并基于该相似度从所述多帧人脸图像筛选出多帧目标人脸图像;
104.其次,针对所述多帧目标人脸图像中的每一帧目标人脸图像,基于所述目标人脸识别模型中的特征提取网络对该目标人脸图像进行特征提取处理,得到该目标人脸图像对应的人脸特征向量,并基于该人脸特征向量进行人脸图像重建处理,得到该目标人脸图像对应的重建人脸图像,以及,计算该目标人脸图像与该重建人脸图像之间的图像相似度。
105.可以理解的是,在一种可以实现的实施方式中,所述针对获取的多帧人脸图像中的每一帧人脸图像,计算该人脸图像与所述人脸样本图像集合包括的人脸样本图像之间的相似度,并基于该相似度从所述多帧人脸图像筛选出多帧目标人脸图像的步骤,可以包括:
106.首先,获取多帧人脸图像,并针对每一帧所述人脸图像,分别计算该人脸图像与所述人脸样本图像集合包括的每一帧人脸样本图像之间的相似度,并确定该人脸图像与所述人脸样本图像集合包括的每一帧人脸样本图像之间的相似度中的最大值,得到该人脸图像对应的相似度;
107.针对所述多帧人脸图像中的每一帧人脸图像,确定该人脸图像对应的相似度与预先配置的相似度阈值之间的相对大小关系,并在该人脸图像对应的相似度小于所述相似度阈值时,将该人脸图像确定为目标人脸图像。
108.可以理解的是,在一种可以实现的实施方式中,所述获取多帧人脸图像,并针对每一帧所述人脸图像,分别计算该人脸图像与所述人脸样本图像集合包括的每一帧人脸样本图像之间的相似度,并确定该人脸图像与所述人脸样本图像集合包括的每一帧人脸样本图像之间的相似度中的最大值,得到该人脸图像对应的相似度的步骤,可以包括:
109.首先,获取多帧人脸图像,并针对所述多帧人脸图像包括的每一帧人脸图像,对该人脸图像进行图像分割处理,得到该人脸图像对应的前景子图像和对应的背景子图像,以及,针对所述人脸样本图像集合包括的每一帧人脸样本图像,对该人脸样本图像进行图像分割处理,得到该人脸样本图像对应的样本前景子图像和对应的样本背景子图像;
110.其次,针对所述多帧人脸图像包括的每一帧人脸图像,分别计算该人脸图像对应的前景子图像与所述人脸样本图像集合包括的每一帧人脸样本图像对应的样本前景子图像之间的相似度,并分别该人脸图像对应的背景子图像与所述人脸样本图像集合包括的每
一帧人脸样本图像对应的样本背景子图像之间的相似度,以及,分别将该人脸图像与每一帧人脸样本图像对应的样本前景子图像和对应的样本背景子图像之间的相似度进行融合处理(均值),得到该人脸图像与每一帧所述人脸样本图像之间的相似度;
111.然后,针对所述多帧人脸图像包括的每一帧人脸图像,在该人脸图像与每一帧所述人脸样本图像之间的相似度中确定出具有最大值的相似度,变革将该相似度确定为该人脸图像对应的相似度。
112.可以理解的是,在一种可以实现的实施方式中,所述针对所述多帧目标人脸图像中的每一帧目标人脸图像,基于所述目标人脸识别模型中的特征提取网络对该目标人脸图像进行特征提取处理,得到该目标人脸图像对应的人脸特征向量,并基于该人脸特征向量进行人脸图像重建处理,得到该目标人脸图像对应的重建人脸图像,以及,计算该目标人脸图像与该重建人脸图像之间的图像相似度的步骤,可以包括:
113.首先,针对所述多帧目标人脸图像中的每一帧目标人脸图像,基于所述目标人脸识别模型中的特征提取网络对该目标人脸图像进行特征提取处理,得到该目标人脸图像对应的人脸特征向量,并基于该人脸特征向量进行人脸图像重建处理,得到该目标人脸图像对应的重建人脸图像;
114.其次,针对所述多帧目标人脸图像中的每一帧目标人脸图像,对该目标人脸图像进行人脸轮廓识别处理,得到该目标人脸图像对应的人脸轮廓信息,并基于该人脸轮廓信息在该目标人脸图像中截取出人脸区域图像;
115.然后,针对所述多帧目标人脸图像中的每一帧目标人脸图像,对该目标人脸图像对应的重建人脸图像进行人脸轮廓识别处理,得到该目标人脸图像对应的重建人脸图像对应的人脸轮廓信息,并基于该人脸轮廓信息在该目标人脸图像对应的重建人脸图像中截取出重建人脸区域图像;
116.最后,针对所述多帧目标人脸图像中的每一帧目标人脸图像,计算该目标人脸图像对应的人脸区域图像与该目标人脸图像对应的重建人脸图像对应的重建人脸区域图像之间的图像相似度,作为该目标人脸图像与该目标人脸图像对应的重建人脸图像之间的图像相似度。
117.可以理解的是,在一种可以实现的实施方式中,步骤s300可以包括:
118.首先,计算每一帧所述目标人脸图像与该目标人脸图像对应的重建人脸图像之间的图像相似度的平均值,得到对应的相似度均值;
119.其次,基于所述相似度均值确定所述目标人脸识别模型的人脸识别精度(例如,可以将所述相似度均值作为所述人脸识别精度)。
120.结合图3,本发明实施例还提供一种人脸识别算法的验证系统。其中,所述人脸识别算法的验证系统可以包括:
121.识别模型更新模块,用于基于获取的人脸样本图像集合包括的人脸样本图像,对预先构建的初始人脸识别模型进行更新处理,得到所述初始人脸识别模型对应的目标人脸识别模型,其中,所述人脸样本图像集合包括多帧人脸样本图像,且所述目标人脸识别模型作为一种人脸识别算法;
122.相似度计算模块,用于针对获取的多帧目标人脸图像中的每一帧目标人脸图像,基于所述目标人脸识别模型中的特征提取网络对该目标人脸图像进行特征提取处理,得到
该目标人脸图像对应的人脸特征向量,基于该人脸特征向量进行人脸图像重建处理,得到该目标人脸图像对应的重建人脸图像,以及,计算该目标人脸图像与该重建人脸图像之间的图像相似度;
123.识别精度确定模块,用于基于每一帧所述目标人脸图像与该目标人脸图像对应的重建人脸图像之间的图像相似度,确定所述目标人脸识别模型的人脸识别精度,其中,所述人脸识别精度与所述图像相似度之间具有正相关关系。
124.所述相似度计算模块具体用于:
125.针对获取的多帧人脸图像中的每一帧人脸图像,计算该人脸图像与所述人脸样本图像集合包括的人脸样本图像之间的相似度,并基于该相似度从所述多帧人脸图像筛选出多帧目标人脸图像;
126.针对所述多帧目标人脸图像中的每一帧目标人脸图像,基于所述目标人脸识别模型中的特征提取网络对该目标人脸图像进行特征提取处理,得到该目标人脸图像对应的人脸特征向量,并基于该人脸特征向量进行人脸图像重建处理,得到该目标人脸图像对应的重建人脸图像,以及,计算该目标人脸图像与该重建人脸图像之间的图像相似度。
127.所述识别精度确定模块具体用于:
128.计算每一帧所述目标人脸图像与该目标人脸图像对应的重建人脸图像之间的图像相似度的平均值,得到对应的相似度均值;
129.基于所述相似度均值确定所述目标人脸识别模型的人脸识别精度。
130.综上所述,本发明提供的一种人脸识别算法的验证方法及系统,可以先对初始人脸识别模型进行更新处理,得到对应的目标人脸识别模型,然后可以针对每一帧目标人脸图像,基于目标人脸识别模型中的特征提取网络对该目标人脸图像进行特征提取处理,得到对应的人脸特征向量,并基于该人脸特征向量进行人脸图像重建处理,得到对应的重建人脸图像,以及,计算该目标人脸图像与该重建人脸图像之间的图像相似度,使得可以基于每一帧目标人脸图像与该目标人脸图像对应的重建人脸图像之间的图像相似度,确定目标人脸识别模型的人脸识别精度,从而改善现有技术中对训练得到的人脸识别模型的精度难以有效确定的问题。
131.以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
技术特征:1.一种人脸识别算法的验证方法,其特征在于,应用于图像处理服务器,所述人脸识别算法的验证方法包括:基于获取的人脸样本图像集合包括的人脸样本图像,对预先构建的初始人脸识别模型进行更新处理,得到所述初始人脸识别模型对应的目标人脸识别模型,其中,所述人脸样本图像集合包括多帧人脸样本图像,且所述目标人脸识别模型作为一种人脸识别算法;针对获取的多帧目标人脸图像中的每一帧目标人脸图像,基于所述目标人脸识别模型中的特征提取网络对该目标人脸图像进行特征提取处理,得到该目标人脸图像对应的人脸特征向量,并基于该人脸特征向量进行人脸图像重建处理,得到该目标人脸图像对应的重建人脸图像,以及,计算该目标人脸图像与该重建人脸图像之间的图像相似度;基于每一帧所述目标人脸图像与该目标人脸图像对应的重建人脸图像之间的图像相似度,确定所述目标人脸识别模型的人脸识别精度,其中,所述人脸识别精度与所述图像相似度之间具有正相关关系。2.如权利要求1所述的人脸识别算法的验证方法,其特征在于,所述针对获取的多帧目标人脸图像中的每一帧目标人脸图像,基于所述目标人脸识别模型中的特征提取网络对该目标人脸图像进行特征提取处理,得到该目标人脸图像对应的人脸特征向量,并基于该人脸特征向量进行人脸图像重建处理,得到该目标人脸图像对应的重建人脸图像,以及,计算该目标人脸图像与该重建人脸图像之间的图像相似度的步骤,包括:针对获取的多帧人脸图像中的每一帧人脸图像,计算该人脸图像与所述人脸样本图像集合包括的人脸样本图像之间的相似度,并基于该相似度从所述多帧人脸图像筛选出多帧目标人脸图像;针对所述多帧目标人脸图像中的每一帧目标人脸图像,基于所述目标人脸识别模型中的特征提取网络对该目标人脸图像进行特征提取处理,得到该目标人脸图像对应的人脸特征向量,并基于该人脸特征向量进行人脸图像重建处理,得到该目标人脸图像对应的重建人脸图像,以及,计算该目标人脸图像与该重建人脸图像之间的图像相似度。3.如权利要求2所述的人脸识别算法的验证方法,其特征在于,所述针对获取的多帧人脸图像中的每一帧人脸图像,计算该人脸图像与所述人脸样本图像集合包括的人脸样本图像之间的相似度,并基于该相似度从所述多帧人脸图像筛选出多帧目标人脸图像的步骤,包括:获取多帧人脸图像,并针对每一帧所述人脸图像,分别计算该人脸图像与所述人脸样本图像集合包括的每一帧人脸样本图像之间的相似度,并确定该人脸图像与所述人脸样本图像集合包括的每一帧人脸样本图像之间的相似度中的最大值,得到该人脸图像对应的相似度;针对所述多帧人脸图像中的每一帧人脸图像,确定该人脸图像对应的相似度与预先配置的相似度阈值之间的相对大小关系,并在该人脸图像对应的相似度小于所述相似度阈值时,将该人脸图像确定为目标人脸图像。4.如权利要求3所述的人脸识别算法的验证方法,其特征在于,所述获取多帧人脸图像,并针对每一帧所述人脸图像,分别计算该人脸图像与所述人脸样本图像集合包括的每一帧人脸样本图像之间的相似度,并确定该人脸图像与所述人脸样本图像集合包括的每一帧人脸样本图像之间的相似度中的最大值,得到该人脸图像对应的相似度的步骤,包括:
获取多帧人脸图像,并针对所述多帧人脸图像包括的每一帧人脸图像,对该人脸图像进行图像分割处理,得到该人脸图像对应的前景子图像和对应的背景子图像,以及,针对所述人脸样本图像集合包括的每一帧人脸样本图像,对该人脸样本图像进行图像分割处理,得到该人脸样本图像对应的样本前景子图像和对应的样本背景子图像;针对所述多帧人脸图像包括的每一帧人脸图像,分别计算该人脸图像对应的前景子图像与所述人脸样本图像集合包括的每一帧人脸样本图像对应的样本前景子图像之间的相似度,并分别该人脸图像对应的背景子图像与所述人脸样本图像集合包括的每一帧人脸样本图像对应的样本背景子图像之间的相似度,以及,分别将该人脸图像与每一帧人脸样本图像对应的样本前景子图像和对应的样本背景子图像之间的相似度进行融合处理,得到该人脸图像与每一帧所述人脸样本图像之间的相似度;针对所述多帧人脸图像包括的每一帧人脸图像,在该人脸图像与每一帧所述人脸样本图像之间的相似度中确定出具有最大值的相似度,变革将该相似度确定为该人脸图像对应的相似度。5.如权利要求2所述的人脸识别算法的验证方法,其特征在于,所述针对所述多帧目标人脸图像中的每一帧目标人脸图像,基于所述目标人脸识别模型中的特征提取网络对该目标人脸图像进行特征提取处理,得到该目标人脸图像对应的人脸特征向量,并基于该人脸特征向量进行人脸图像重建处理,得到该目标人脸图像对应的重建人脸图像,以及,计算该目标人脸图像与该重建人脸图像之间的图像相似度的步骤,包括:针对所述多帧目标人脸图像中的每一帧目标人脸图像,基于所述目标人脸识别模型中的特征提取网络对该目标人脸图像进行特征提取处理,得到该目标人脸图像对应的人脸特征向量,并基于该人脸特征向量进行人脸图像重建处理,得到该目标人脸图像对应的重建人脸图像;针对所述多帧目标人脸图像中的每一帧目标人脸图像,对该目标人脸图像进行人脸轮廓识别处理,得到该目标人脸图像对应的人脸轮廓信息,并基于该人脸轮廓信息在该目标人脸图像中截取出人脸区域图像;针对所述多帧目标人脸图像中的每一帧目标人脸图像,对该目标人脸图像对应的重建人脸图像进行人脸轮廓识别处理,得到该目标人脸图像对应的重建人脸图像对应的人脸轮廓信息,并基于该人脸轮廓信息在该目标人脸图像对应的重建人脸图像中截取出重建人脸区域图像;针对所述多帧目标人脸图像中的每一帧目标人脸图像,计算该目标人脸图像对应的人脸区域图像与该目标人脸图像对应的重建人脸图像对应的重建人脸区域图像之间的图像相似度,作为该目标人脸图像与该目标人脸图像对应的重建人脸图像之间的图像相似度。6.如权利要求1所述的人脸识别算法的验证方法,其特征在于,所述基于每一帧所述目标人脸图像与该目标人脸图像对应的重建人脸图像之间的图像相似度,确定所述目标人脸识别模型的人脸识别精度的步骤,包括:计算每一帧所述目标人脸图像与该目标人脸图像对应的重建人脸图像之间的图像相似度的平均值,得到对应的相似度均值;基于所述相似度均值确定所述目标人脸识别模型的人脸识别精度。7.如权利要求1-6任意一项所述的人脸识别算法的验证方法,其特征在于,所述基于获
取的人脸样本图像集合包括的人脸样本图像,对预先构建的初始人脸识别模型进行更新处理,得到所述初始人脸识别模型对应的目标人脸识别模型的步骤,包括:基于预先构建的初始人脸识别模型中的特征提取网络,对获取的人脸样本图像集合包括的人脸样本图像进行特征提取处理,得到对应的人脸特征向量集合,其中,所述人脸样本图像集合包括多帧人脸样本图像;基于所述初始人脸识别模型中的特征分类网络,对所述人脸特征向量集合进行特征分类处理,得到对应的特征分类数据集合;计算所述人脸特征向量集合对应的特征向量损失函数值,并计算所述特征分类数据集合对应的分类损失函数值,以及,基于所述特征向量损失函数值和所述分类损失函数值对所述初始人脸识别模型进行更新处理,得到所述初始人脸识别模型对应的目标人脸识别模型。8.一种人脸识别算法的验证系统,其特征在于,应用于图像处理服务器,所述人脸识别算法的验证系统包括:识别模型更新模块,用于基于获取的人脸样本图像集合包括的人脸样本图像,对预先构建的初始人脸识别模型进行更新处理,得到所述初始人脸识别模型对应的目标人脸识别模型,其中,所述人脸样本图像集合包括多帧人脸样本图像,且所述目标人脸识别模型作为一种人脸识别算法;相似度计算模块,用于针对获取的多帧目标人脸图像中的每一帧目标人脸图像,基于所述目标人脸识别模型中的特征提取网络对该目标人脸图像进行特征提取处理,得到该目标人脸图像对应的人脸特征向量,基于该人脸特征向量进行人脸图像重建处理,得到该目标人脸图像对应的重建人脸图像,以及,计算该目标人脸图像与该重建人脸图像之间的图像相似度;识别精度确定模块,用于基于每一帧所述目标人脸图像与该目标人脸图像对应的重建人脸图像之间的图像相似度,确定所述目标人脸识别模型的人脸识别精度,其中,所述人脸识别精度与所述图像相似度之间具有正相关关系。9.如权利要求8所述的人脸识别算法的验证系统,其特征在于,所述相似度计算模块具体用于:针对获取的多帧人脸图像中的每一帧人脸图像,计算该人脸图像与所述人脸样本图像集合包括的人脸样本图像之间的相似度,并基于该相似度从所述多帧人脸图像筛选出多帧目标人脸图像;针对所述多帧目标人脸图像中的每一帧目标人脸图像,基于所述目标人脸识别模型中的特征提取网络对该目标人脸图像进行特征提取处理,得到该目标人脸图像对应的人脸特征向量,并基于该人脸特征向量进行人脸图像重建处理,得到该目标人脸图像对应的重建人脸图像,以及,计算该目标人脸图像与该重建人脸图像之间的图像相似度。10.如权利要求8所述的人脸识别算法的验证系统,其特征在于,所述识别精度确定模块具体用于:计算每一帧所述目标人脸图像与该目标人脸图像对应的重建人脸图像之间的图像相似度的平均值,得到对应的相似度均值;基于所述相似度均值确定所述目标人脸识别模型的人脸识别精度。
技术总结本发明提供的一种人脸识别算法的验证方法及系统,涉及人脸识别技术领域。在本发明中,对初始人脸识别模型进行更新处理,得到对应的目标人脸识别模型;针对每一帧目标人脸图像,基于目标人脸识别模型中的特征提取网络对该目标人脸图像进行特征提取处理,得到对应的人脸特征向量,并基于该人脸特征向量进行人脸图像重建处理,得到对应的重建人脸图像,以及,计算该目标人脸图像与该重建人脸图像之间的图像相似度;基于每一帧目标人脸图像与该目标人脸图像对应的重建人脸图像之间的图像相似度,确定目标人脸识别模型的人脸识别精度。基于上述方法,可以改善现有技术中对训练得到的人脸识别模型的精度难以有效确定的问题。识别模型的精度难以有效确定的问题。识别模型的精度难以有效确定的问题。
技术研发人员:吴先华 金雪茹 王丹 周琳莹
受保护的技术使用者:吴先华
技术研发日:2022.06.30
技术公布日:2022/11/1