1.本技术涉及人脸识别技术领域,尤其涉及一种人脸识别方法、装置及存储介质。
背景技术:2.随着人脸识别技术的发展,在身份认证、考勤、支付等各个领域得到了广泛应用。针对人脸识别系统的各种攻击方式也应运而生,例如攻击者采用被攻击目标的图像、视频、面具、头模等进行伪装,从而通过人脸识别系统的身份认证。对于非活体攻击者,人脸识别系统可以识别并拒绝执行身份认证,但攻击者采用局部特征(人脸)信息伪装的方式且该攻击者呈现活体状态,人脸识别系统极有可能识别认证通过,造成被攻击目标的财产损失或者安全危害。
3.因此,如何对局部人脸伪装攻击做出抵御,是目前亟需解决的问题。
技术实现要素:4.本技术提供一种人脸识别方法,用以抵御局部人脸伪装攻击,提高人脸识别攻击的安全性。
5.第一方面,提供一种人脸识别方法,包括:
6.基于卷积神经网络,对第一对象的人脸图像进行特征提取,得到第一人脸特征向量、第一区域块特征向量;其中,所述第一区域块特征向量中的特征是对所述第一对象的人脸图像进行特征提取时所述卷积神经网络中的指定层输出的特征,所述第一人脸特征向量中的特征是对所述第一对象的人脸图像进行特征提取时所述卷积神经网络的最后一层输出的特征;根据所述第一人脸特征向量与特征库中各人脸特征向量的相似度,从所述各人脸特征向量中确定第二人脸特征向量;若所述第一人脸特征向量与所述第二人脸特征向量的相似度满足第一要求,则确定所述第一区域块特征向量与第二区域块特征向量的相似度;其中,所述第二区域块特征向量是提取所述第二人脸特征向量时所述卷积神经网络中的所述指定层输出的特征;根据所述第一区域块特征向量与所述第二区域块特征向量的相似度,确定所述第一对象的人脸区域攻击结果。
7.在一种可能实现的方式中,所述确定所述第一区域块特征向量与第二区域块特征向量的相似度,包括:
8.确定第一矩阵,所述第一矩阵为n*n维矩阵,n为所述第一区域块特征向量或所述第二区域块特征向量中包含的特征的数量,所述第一矩阵中的元素d
ij
表示所述第一区域块特征向量中第i个特征与所述第二区域块特征向量中第j个特征的相似度;根据所述第一矩阵和代价函数确定第二矩阵,所述第二矩阵为n*n维矩阵,所述第二矩阵中的元素f
ij
表示所述第一区域块特征向量中第i个特征与所述第二区域块特征向量中第j个特征的重要联系程度,所述第二矩阵用于使得所述代价函数的值最小,所述代价函数的值为所述第一矩阵和所述第二矩阵的哈达马积;根据所述第一矩阵、所述第二矩阵,确定所述第一区域块特征向量与第二区域块特征向量的相似度。
9.在一种可能实现的方式中,所述第二矩阵中的f
ij
,满足以下约束条件:
10.所述f
ij
中的i行求和,小于或等于所述第一区域块特征向量中第i个特征的权重;其中,i=1,2,3,.....,n,j=1,2,3,.....,n;所述f
ij
中的j列求和,小于或等于所述第二区域块特征向量中第j个特征的权重;所述f
ij
的累加乘积求和,等于所述第一区域块特征向量中第i个特征的权重求和,与所述第二区域块特征向量中第j个特征的权重求和之间的最小值。
11.在一种可能实现的方式中,所述第一区域块特征向量中第i个特征的权重是基于所述第一区域块特征向量中第i个特征与所述第二区域块特征向量的特征均值确定的;
12.所述第二区域块特征向量中第j个特征的权重是基于所述第二区域块特征向量中第j个特征与所述第一区域块特征向量的特征均值确定的。
13.在一种可能实现的方式中,所述根据所述第一矩阵、所述第二矩阵,确定所述第一区域块特征向量与第二区域块特征向量的相似度,包括:
14.对所述第一矩阵和所述第二矩阵的哈达马积进行归一化处理,得到所述第一区域块特征向量与第二区域块特征向量的相似度。
15.在一种可能实现的方式中,所述根据所述第一区域块特征向量与所述第二区域块特征向量的相似度,确定所述第一对象的人脸区域攻击结果,包括:
16.若所述第一区域块特征向量与所述第二区域块特征向量的相似度满足第二要求,则确定所述第一对象不存在人脸区域攻击,否则所述第一对象存在人脸区域攻击。
17.在一种可能实现的方式中,所述第二人脸特征向量是所述第一人脸特征向量与特征库中各人脸特征向量的相似度中最大相似度对应的人脸特征向量。
18.第二方面,提供一种人脸识别装置,包括:
19.人脸图像特征提取模块,用于基于卷积神经网络,对第一对象的人脸图像进行特征提取,得到第一人脸特征向量、第一区域块特征向量;其中,所述第一区域块特征向量中的特征是对所述第一对象的人脸图像进行特征提取时所述卷积神经网络中的指定层输出的特征,所述第一人脸特征向量中的特征是对所述第一对象的人脸图像进行特征提取时所述卷积神经网络中的最后一层输出的特征;第一确定模块,用于根据所述第一人脸特征向量与特征库中各人脸特征向量的相似度,从所述各人脸特征向量中确定第二人脸特征向量;第二确定模块,用于若所述第一确定模块确定所述第一人脸特征向量与所述第二人脸特征向量的相似度满足第一要求,则确定所述第一区域块特征向量与第二区域块特征向量的相似度;其中,所述第二区域块特征向量是提取所述第二人脸特征向量时所述卷积神经网络中的所述指定层输出的特征;第三确定模块,用于根据所述第一区域块特征向量与所述第二区域块特征向量的相似度,确定所述第一对象的人脸区域攻击结果。
20.第三方面,提供一种电子设备,包括:
21.存储器,用于存放计算机程序;处理器,用于执行所述存储器上所存放的计算机程序时,执行如第一方面任一项所述的方法。
22.第四方面,提供一种可读计算机存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如第一方面任一项所述的方法。
23.本技术实施例中,由于对第一对象的人脸图像进行特征提取,得到第一人脸特征向量、第一区域块特征向量,确定该第一人脸特征向量与第二人脸特征向量的相似度是否
满足第一要求,可以对提取到的特征进行一次粗粒度的整体判断,从而可以快速识别出人脸状态;再由于当满足该第一要求时,确定该第一区域块特征向量与第二区域块特征向量的相似度,并根据该相似度,确定第一对象的人脸区域攻击结果,可以对提取到的特征进行一次细粒度的局部判断,从而抵御局部人脸伪装攻击,提高人脸识别攻击的安全性。
附图说明
24.图1为本技术实施例提供的一种人脸识别方法流程图;
25.图2本技术实施例提供的一种人脸识别逻辑示意图;
26.图3为本技术实施例提供的一种人脸识别装置的结构示意图;
27.图4为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
28.为了使本技术的目的、技术方案和优点更加清楚,下面将结合附图对本技术作进一步地详细描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本技术保护的范围。
29.以下对本技术实施例中的部分用语进行解释说明,以便于本领域技术人员理解。
30.(1)本技术实施例中,名词“网络”和“系统”经常交替使用,但本领域的技术人员可以理解其含义。
31.(2)本技术实施例中术语“多个”是指两个或两个以上,其它量词与之类似。
32.(3)“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
33.(4)人脸区域攻击是指攻击者(第一对象)采用被攻击者(目标对象)的人脸图像的部分区域特征(例如眼睛、鼻子等),编辑伪装在自己人脸图像对应的区域特征上,对人脸识别系统进行攻击。举例来说,攻击者将被攻者的眼睛这部分区域特征,编辑伪装成自己眼睛区域的特征,对人脸识别系统进行攻击。
34.在人脸识别场景下,对人脸图像的特征提取,往往提取到最代表的特征信息,通常聚焦在眼睛、鼻子等特征,一旦对这部分人脸区域进行伪装攻击,会造成该提取到的特征与被攻击者的人脸特征的高相似,从而造成误识别。
35.本技术实施利中可预先设定一个特征库,该特征库可用于存储被攻击者(目标对象)的人脸特征向量,进一步的还可存储被攻击者的人脸区域块特征向量。
36.鉴于此,图1为本技术实施例提供的一种人脸识别方法流程图。该流程可由人脸识别装置所执行,该装置可通过软件方式实现,也可通过硬件方式实现,还可通过软件和硬件结合的方式实现,如图所示,该流程包括如下步骤:
37.101:基于卷积神经网络,对第一对象的人脸图像进行特征提取,得到第一人脸特征向量、第一区域块特征向量。其中,第一区域块特征向量中的特征(可称之为patch特征)是对第一对象的人脸图像进行特征提取时该卷积神经网络中的指定层输出的特征,该第一人脸特征向量中的特征是对第一对象的人脸图像进行特征提取时所述卷积神经网络的最
后一层输出的特征。
38.该卷积神经网络可由池化层、全连接层、若干个卷积层等构成,对第一对象的人脸图像进行特征提取时,可以输出多维度的特征,例如,全连接层输出该第一对象的第一人脸特征向量,指定卷积层输出的特征作为第一区域块特征向量,若该层输出的特征维度为1*c*h*w,则以c通道为维度提取第一区域块特征向量,任意一个特征维度为1*c,共有n=h*w个特征,相较于只能输出一维人脸特征的传统模型更全面、适用。通过指定不同的输出层,提取到的特征可进行不同粒度的表征,若h*w越大,则粒度越细,便可监测更细的特征,若h*w越小,则粒度越大,便可减小计算量,可根据实际需求,进行灵活调整。
39.102:提取到上述第一人脸特征向量后,根据该第一人脸特征向量与特征库中各人脸特征向量的相似度,从该各人脸特征向量中确定第二人脸特征向量。
40.可选的,该第二人脸特征向量是该第一人脸特征向量与特征库中各人脸特征向量的相似度中最大相似度对应的人脸特征向量。确定出的第二人脸特征向量可称为被攻击者(目标对象)的人脸特征向量。
41.可选的,该相似度可采用余弦距离、欧式距离等算法进行确定。
42.103:判断该第一人脸特征向量与第二人脸特征向量的相似度是否满足第一要求,若是,则转入104,若否,则输出人脸识别结果为失败。
43.可选的,可根据设定的第一阈值,进行相似度的判断。示例性的,若该第一人脸特征向量与该第二人脸特征向量的相似度超过该第一阈值,则表明该相似度满足第一要求,并转入104,否则,表明该第一对象与目标对象不是同一个人,并输出人脸识别结果为失败。
44.104:确定该第一区域块特征向量与第二区域块特征向量的相似度。其中,该第二区域块特征向量是提取第二人脸特征向量时卷积神经网络中的指定层输出的特征。
45.该第一对象的第一区域块特征向量,满足以下表达式:
46.q={(q1,ω
q1
),.....,(qn,ω
qn
)}..........(1)
47.其中,q为第一区域块特征向量,q1为第一对象的人脸图像进行特征提取时该卷积神经网络中的指定层输出的第一个特征,每个特征代表着该人脸图像某区域块的表征,例如左眼、鼻子、右嘴角区域等等,ω
q1
为第一区域块特征向量中第一个特征对应的权重。
48.该目标对象的第二区域块特征向量,满足以下表达式:
49.g={(g1,ω
g1
),.....,(gn,ω
gn
)}..........(2)
50.其中,q为第二区域块特征向量,g1为目标对象的人脸图像进行特征提取时该卷积神经网络中的指定层输出的第一个特征,ω
g1
为该第二区域块特征向量中第一个特征对应的权重。
51.由于q1到qn是基于卷积神经网络中的指定层输出的特征,因此通过上述表达式,可以进行不同粒度的表征(例如上述h*w越大,粒度就越细),通过选择不同输出大小的特征,控制对攻击者(第一对象)的特征大小容忍度。粒度越细,可监测到越小的特征,也可根据实际进行适应性调整。
52.可选的,求解该第一区域块特征向量与第二区域块特征向量的相似度可通过以下方式:确定第一矩阵,该第一矩阵为n*n维矩阵,n为第一区域块特征向量或所述第二区域块特征向量中的特征的数量,该第一矩阵中的元素d
ij
表示该第一区域块特征向量中第i个特征与该第二区域块特征向量中第j个特征的相似度;根据该第一矩阵和代价函数确定第二
矩阵,该第二矩阵为n*n维矩阵,该第二矩阵中的元素f
ij
表示该第一区域块特征向量中第i个特征与第二区域块特征向量中第j个特征的重要联系程度,该f
ij
可基于线性规划求解得到的,该第二矩阵用于使得代价函数的值最小,该代价函数的值为该第一矩阵和第二矩阵的哈达马积,根据第一矩阵、第二矩阵,确定第一区域块特征向量与第二区域块特征向量的相似度。
53.该代价函数,满足以下表达式:
54.其中,f表示第二矩阵。
55.可选的,该第二矩阵满足以下约束条件:
56.f
ij
中的i行求和,小于或等于第一区域块特征向量中第i个特征的权重;其中,i=1,2,3,.....,n,j=1,2,3,.....,n;f
ij
中的j列求和,小于或等于第二区域块特征向量中第j个特征的权重;f
ij
的累加乘积求和,等于第一区域块特征向量中第i个特征的权重求和,与第二区域块特征向量中第j个特征的权重求和之间的最小值。具体的,可满足以下表达式:
[0057][0058][0059][0060]
其中,ω
pi
表示该第一区域块特征向量中第i个特征的权重,ω
gj
表示该第二区域块特征向量中第j个特征的权重,min表示最小值运算符。
[0061]
可选的,第一区域块特征向量中第i个特征的权重(ω
pi
)是基于第一区域块特征向量中第i个特征与第二区域块特征向量的特征均值确定的,第二区域块特征向量(ω
gj
)中第j个特征的权重是基于第二区域块特征向量中第j个特征与第一区域块特征向量的特征均值确定的。可选的,上述ω
pi
,以及ω
gj
,满足以下公式:
[0062][0063][0064]
其中,qi为第一区域块特征向量中第i个特征,ωg为第二区域块特征向量的特征均值,gj为第二区域块特征向量中第j个特征,ωq为第一区域块特征向量的特征均值,dis表征距离运算符,max表征最大值运算符。
[0065]
该ω
qi
的值越大,表明第一对象的第一区域块特征向量的第i个特征更重要,例如,眼睛、鼻子、嘴巴等五官所在的区域块,拥有更高的权重。同理,ω
gj
的值越大,表明目标对象的第二区域块特征向量的第j个特征也更重要。
[0066]
在另一些实施例中,可定义让每个特征都视为一样重要,并对ω
qi
和ω
gj
进行归一化处理,使得
[0067]
可选的,确定第一区域块特征向量与第二区域块特征向量的相似度,可通过以下方式:对第一矩阵和第二矩阵的哈达马积进行归一化处理,得到第一区域块特征向量与第二区域块特征向量的相似度。
[0068]
可选的,该第一区域块特征向量与第二区域块特征向量的相似度,满足以下公式:
[0069][0070]
其中,emd(q,g)为第一区域块特征向量与第二区域块特征向量的相似度。
[0071]
本技术实施例中,基于emd算法,对提取到的特征,进行更细粒度的特征分析,防止攻击者(第一对象)进行局部贴图伪装。
[0072]
105:根据该第一区域块特征向量与第二区域块特征向量的相似度,确定第一对象的人脸区域攻击结果。
[0073]
可选的,若该第一区域块特征向量与所述第二区域块特征向量的相似度满足第二要求,例如大于或等于第二设定阈值,则确定该第一对象不存在人脸区域攻击,否则该第一对象存在人脸区域攻击。
[0074]
在一些实施例中,在识别过程中,当判断出该第一对象存在局部特征伪装(人脸区域攻击)时,可输出攻击告警信息,进一步的,还可选择性输出人脸攻击伪装所在的区域信息,从而拒绝本次识别。具体的,若该第一区域块特征向量与第二区域块特征向量的相似度小于设定的第二阈值,则可对上述第二矩阵,进行元素排序,确定较大值元素所在的位置,表明该位置对应的特征可能存在攻击行为(贴了目标对象的局部人脸图像),可作为人脸攻击伪装所在的区域信息的显示。
[0075]
本技术实施例中,由于对第一对象的人脸图像进行特征提取,得到第一人脸特征向量、第一区域块特征向量,确定该第一人脸特征向量与第二人脸特征向量的相似度是否满足第一要求,可以对提取到的特征进行一次粗粒度的整体判断,从而可以快速识别出人脸状态;再由于当满足该第一要求时,确定该第一区域块特征向量与第二区域块特征向量的相似度,并根据该相似度,确定该第一对象的人脸区域攻击结果,可以对提取到的特征进行一次细粒度的局部判断,从而抵御局部人脸伪装攻击,提高人脸识别攻击的安全性。
[0076]
图2为本技术实施例提供的一种人脸识别逻辑示意图,如图2所示。以将目标对象的眼睛这部分区域块伪装贴图在第一对象的眼睛这部分区域块为例。基于卷积神经网络,从池化层提取到第一对象的第一区域块特征向量、从全连接层提取到第一人脸特征向量,同理得到的目标对象的第二区域块特征向量、第二人脸特征向量。对第一人脸特征与第二人脸特征的相似度a进行第一次判断,判断出该a大于第一阈值,对第一区域块特征向量与第二区域块特征向量的相似度b进行第二次判断,判断出该b小于第二阈值,表明第一对象与第二对象不为同一个人,存在贴片伪装,然后输出人脸区域攻击结果为第一对象存在人脸区域攻击。
[0077]
基于相同的技术构思,本技术实施例还提供了一种人脸识别装置,该装置可实现本技术实施例中上述人脸识别方法的流程。图3为本技术实施例提供的一种人脸识别装置的结构示意图,如图3所示,该装置包括:人脸图像特征提取模块301、第一确定模块302、第二确定模块303、第三确定模块304。
[0078]
人脸图像特征提取模块301,用于基于卷积神经网络,对第一对象的人脸图像进行特征提取,得到第一人脸特征向量、第一区域块特征向量;其中,所述第一区域块特征向量中的特征是对所述第一对象的人脸图像进行特征提取时所述卷积神经网络中的指定层输出的特征,所述第一人脸特征向量中的特征是对所述第一对象的人脸图像进行特征提取时
所述卷积神经网络中的最后一层输出的特征。
[0079]
第一确定模块302,用于根据所述第一人脸特征向量与特征库中各人脸特征向量的相似度,从所述各人脸特征向量中确定第二人脸特征向量。
[0080]
第二确定模块303,用于若所述第一确定模块确定所述第一人脸特征向量与所述第二人脸特征向量的相似度满足第一要求,则确定所述第一区域块特征向量与第二区域块特征向量的相似度;其中,所述第二区域块特征向量是提取所述第二人脸特征向量时所述卷积神经网络中的所述指定层输出的特征。
[0081]
第三确定模块304,用于根据所述第一区域块特征向量与所述第二区域块特征向量的相似度,确定所述第一对象的人脸区域攻击结果。
[0082]
在此需要说明的是,本技术实施例提供的上述装置,能够实现上述人脸识别方法实施例中的所有方法步骤,且能够达到相同的技术效果,在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
[0083]
基于相同的技术构思,本技术实施例还提供了一种电子设备,该设备可实现本技术实施例中上述人脸识别方法的流程。
[0084]
图4为本技术实施例提供的电子设备的结构示意图。
[0085]
如图所示,该设备可包括:处理器401、存储器402以及总线接口403。
[0086]
处理器401负责管理总线架构和通常的处理,存储器402可以存储处理器401在执行操作时所使用的数据。
[0087]
总线架构可以包括任意数量的互联的总线和桥,具体由处理器401代表的一个或多个处理器和存储器402代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口提供接口。处理器401负责管理总线架构和通常的处理,存储器402可以存储处理器401在执行操作时所使用的数据。
[0088]
本技术实施例揭示的流程,可以应用于处理器401中,或者由处理器401实现。在实现过程中,信号处理流程的各步骤可以通过处理器401中的硬件的集成逻辑电路或者软件形式的指令完成。处理器401可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本技术实施例所申请的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器402,处理器401读取存储器402中的信息,结合其硬件完成信息处理流程的步骤。
[0089]
具体地,处理器401,用于读取存储器402中的计算机指令并执行本技术实施例中的一种人脸识别方法。
[0090]
在此需要说明的是,申请本技术实施例提供的上述通信装置,能够实现上述方法实施例所实现的所有方法步骤,且能够达到相同的技术效果,在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
[0091]
本技术实施例还提供了一种计算机可读存储介质,计算机可读存储介质存储有计
算机可执行指令,计算机可执行指令用于使计算机执行上述实施例中的一种人脸识别方法。
[0092]
本技术实施例还提供了一种计算机程序产品,所述计算机程序产品在被计算机调用时,使得所述计算机执行上述实施例中的一种人脸识别方法。
[0093]
本领域内的技术人员应明白,本技术的实施例可提供为方法、系统、或计算机程序产品。因此,本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0094]
本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0095]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0096]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0097]
显然,本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样,倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内,则本技术也意图包含这些改动和变型在内。
技术特征:1.一种人脸识别方法,其特征在于,包括:基于卷积神经网络,对第一对象的人脸图像进行特征提取,得到第一人脸特征向量、第一区域块特征向量;其中,所述第一区域块特征向量中的特征是对所述第一对象的人脸图像进行特征提取时所述卷积神经网络中的指定层输出的特征,所述第一人脸特征向量中的特征是对所述第一对象的人脸图像进行特征提取时所述卷积神经网络的最后一层输出的特征;根据所述第一人脸特征向量与特征库中各人脸特征向量的相似度,从所述各人脸特征向量中确定第二人脸特征向量;若所述第一人脸特征向量与所述第二人脸特征向量的相似度满足第一要求,则确定所述第一区域块特征向量与第二区域块特征向量的相似度;其中,所述第二区域块特征向量是提取所述第二人脸特征向量时所述卷积神经网络中的所述指定层输出的特征;根据所述第一区域块特征向量与所述第二区域块特征向量的相似度,确定所述第一对象的人脸区域攻击结果。2.如权利要求1所述的方法,其特征在于,所述确定所述第一区域块特征向量与第二区域块特征向量的相似度,包括:确定第一矩阵,所述第一矩阵为n*n维矩阵,n为所述第一区域块特征向量或所述第二区域块特征向量中包含的特征的数量,所述第一矩阵中的元素d
ij
表示所述第一区域块特征向量中第i个特征与所述第二区域块特征向量中第j个特征的相似度;根据所述第一矩阵和代价函数确定第二矩阵,所述第二矩阵为n*n维矩阵,所述第二矩阵中的元素f
ij
表示所述第一区域块特征向量中第i个特征与所述第二区域块特征向量中第j个特征的重要联系程度,所述第二矩阵用于使得所述代价函数的值最小,所述代价函数的值为所述第一矩阵和所述第二矩阵的哈达马积;根据所述第一矩阵、所述第二矩阵,确定所述第一区域块特征向量与第二区域块特征向量的相似度。3.如权利要求2所述的方法,其特征在于,所述第二矩阵中的f
ij
,满足以下约束条件:所述f
ij
中的i行求和,小于或等于所述第一区域块特征向量中第i个特征的权重;其中,i=1,2,3,
…
,n,j=1,2,3,
…
,n;所述f
ij
中的j列求和,小于或等于所述第二区域块特征向量中第j个特征的权重;所述f
ij
的累加乘积求和,等于所述第一区域块特征向量中第i个特征的权重求和,与所述第二区域块特征向量中第j个特征的权重求和之间的最小值。4.如权利要求3所述的方法,其特征在于,所述第一区域块特征向量中第i个特征的权重是基于所述第一区域块特征向量中第i个特征与所述第二区域块特征向量的特征均值确定的;所述第二区域块特征向量中第j个特征的权重是基于所述第二区域块特征向量中第j个特征与所述第一区域块特征向量的特征均值确定的。5.如权利要求2所述的方法,其特征在于,所述根据所述第一矩阵、所述第二矩阵,确定所述第一区域块特征向量与第二区域块特征向量的相似度,包括:对所述第一矩阵和所述第二矩阵的哈达马积进行归一化处理,得到所述第一区域块特征向量与第二区域块特征向量的相似度。
6.如权利要求1-5任一项所述的方法,其特征在于,所述根据所述第一区域块特征向量与所述第二区域块特征向量的相似度,确定所述第一对象的人脸区域攻击结果,包括:若所述第一区域块特征向量与所述第二区域块特征向量的相似度满足第二要求,则确定所述第一对象不存在人脸区域攻击,否则所述第一对象存在人脸区域攻击。7.如权利要求1-5任一项所述的方法,其特征在于,所述第二人脸特征向量是所述第一人脸特征向量与特征库中各人脸特征向量的相似度中最大相似度对应的人脸特征向量。8.一种人脸识别装置,其特征在于,包括:人脸图像特征提取模块,用于基于卷积神经网络,对第一对象的人脸图像进行特征提取,得到第一人脸特征向量、第一区域块特征向量;其中,所述第一区域块特征向量中的特征是对所述第一对象的人脸图像进行特征提取时所述卷积神经网络中的指定层输出的特征,所述第一人脸特征向量中的特征是对所述第一对象的人脸图像进行特征提取时所述卷积神经网络中的最后一层输出的特征;第一确定模块,用于根据所述第一人脸特征向量与特征库中各人脸特征向量的相似度,从所述各人脸特征向量中确定第二人脸特征向量;第二确定模块,用于若所述第一确定模块确定所述第一人脸特征向量与所述第二人脸特征向量的相似度满足第一要求,则确定所述第一区域块特征向量与第二区域块特征向量的相似度;其中,所述第二区域块特征向量是提取所述第二人脸特征向量时所述卷积神经网络中的所述指定层输出的特征;第三确定模块,用于根据所述第一区域块特征向量与所述第二区域块特征向量的相似度,确定所述第一对象的人脸区域攻击结果。9.一种电子设备,其特征在于,包括:存储器,用于存放计算机程序;处理器,用于执行所述存储器上所存放的计算机程序时,执行如权利要求1-6任一项所述的方法。10.一种可读计算机存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如权利要求1-6任一项所述的方法。
技术总结本申请公开了一种人脸识别方法、装置及存储介质,涉及人脸识别技术领域。该方法包括:基于卷积神经网络,对第一对象的人脸图像进行特征提取,得到第一人脸特征向量、第一区域块特征向量;根据所述第一人脸特征向量与特征库中各人脸特征向量的相似度,从所述各人脸特征向量中确定第二人脸特征向量;若所述第一人脸特征向量与所述第二人脸特征向量的相似度满足第一要求,则确定所述第一区域块特征向量与第二区域块特征向量的相似度;其中,所述第二区域块特征向量是提取所述第二人脸特征向量时所述卷积神经网络中的所述指定层输出的特征;根据所述第一区域块特征向量与所述第二区域块特征向量的相似度,确定所述第一对象的人脸区域攻击结果。区域攻击结果。区域攻击结果。
技术研发人员:葛主贝 郝敬松 朱树磊 殷俊
受保护的技术使用者:浙江大华技术股份有限公司
技术研发日:2022.07.07
技术公布日:2022/11/1