扰动信息的生成方法、对象识别方法、装置、设备及介质与流程

专利2023-02-26  128



1.本公开涉及但不限于计算机视觉技术领域,尤其涉及一种扰动信息的生成方法、对象识别方法、装置、设备及介质。


背景技术:

2.近年来,包括计算机视觉、自然语言处理以及语音识别等多个领域的人工智能技术飞速发展,人工智能技术的安全性也受到了前所未有的关注。目前,可以通过在数据中添加扰动进行数据加密,防止发布的数据被随意收集,或者可以利用添加扰动的数据,对机器学习模型进行对抗训练等,从而提高模型的鲁棒性。相关技术中,生成扰动的方式较复杂,以及数据添加扰动后显示效果较差等。


技术实现要素:

3.有鉴于此,本公开实施例至少提供一种扰动信息的生成方法、对象识别方法、装置、设备及介质。
4.本公开实施例的技术方案是这样实现的:
5.一方面,本公开实施例提供一种扰动信息的生成方法,所述方法包括:
6.获取第一图像和第二图像;所述第一图像是基于第一原始图像和初始扰动信息确定的图像,所述第二图像是基于第二原始图像和触发器确定的图像;
7.分别确定所述第一图像的特征信息和所述第二图像的特征信息;
8.基于所述第一图像的特征信息和所述第二图像的特征信息,对所述初始扰动信息进行更新,得到目标扰动信息;
9.其中,所述触发器用于确定已训练的检测模型是否利用第三图像训练完成的,所述第三图像是基于所述目标扰动信息和第三原始图像确定的,所述第一原始图像、所述第二原始图像和所述第三原始图像具有相同类型的对象。
10.另一方面,本公开实施例提供一种对象识别方法,所述方法包括:
11.获取第三图像和第四图像;其中,所述第三图像是基于目标扰动信息和第三原始图像确定的,所述第四图像是基于第四原始图像和与所述目标扰动信息对应的触发器确定的;
12.基于已训练的检测模型分别对所述第三图像和所述第四图像进行特征提取,得到所述第三图像的特征信息和所述第四图像的特征信息;
13.比对所述第三图像的特征信息与所述第四图像的特征信息之间的相似度;
14.响应于所述相似度大于预设阈值的情况下,确定所述已训练的检测模型是利用所述第三图像训练完成的;
15.其中,所述第三原始图像和所述第四原始图像具有相同类型的对象。
16.再一方面,本公开实施例提供一种扰动信息的生成装置,包括:
17.第一获取模块,用于获取第一图像和第二图像;所述第一图像是基于第一原始图
像和初始扰动信息确定的图像,所述第二图像是基于第二原始图像和触发器确定的图像;
18.第一确定模块,用于分别确定所述第一图像的特征信息和所述第二图像的特征信息;
19.更新模块,用于基于所述第一图像的特征信息和所述第二图像的特征信息,对所述初始扰动信息进行更新,得到目标扰动信息;
20.其中,所述触发器用于确定已训练的检测模型是否利用第三图像训练完成的,所述第三图像是基于所述目标扰动信息和第三原始图像确定的,所述第一原始图像、所述第二原始图像和所述第三原始图像具有相同类型的对象。
21.又一方面,本公开实施例提供一种对象识别装置,包括:
22.第二获取模块,用于获取第三图像和第四图像;其中,所述第三图像是基于目标扰动信息和第三原始图像确定的,所述第四图像是基于第四原始图像和与所述目标扰动信息对应的触发器确定的;
23.提取模块,用于基于已训练的检测模型分别对所述第三图像和所述第四图像进行特征提取,得到所述第三图像的特征信息和所述第四图像的特征信息;
24.对比模块,用于比对所述第三图像的特征信息与所述第四图像的特征信息之间的相似度;
25.第二确定模块,用于响应于所述相似度大于预设阈值的情况下,确定所述已训练的检测模型是利用所述第三图像训练完成的;
26.其中,所述第三原始图像和所述第四原始图像具有相同类型的对象。
27.又一方面,本公开实施例提供一种计算机设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述方法中的部分或全部步骤。
28.又一方面,本公开实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述方法中的部分或全部步骤。
29.又一方面,本公开实施例提供一种计算机程序,包括计算机可读代码,当所述计算机可读代码在计算机设备中运行时,所述计算机设备中的处理器执行用于实现上述方法中的部分或全部步骤。
30.又一方面,本公开实施例提供一种计算机程序产品,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机程序被计算机读取并执行时,实现上述方法中的部分或全部步骤。
31.本公开实施例中,获取第一图像和第二图像;第一图像是基于第一原始图像和初始扰动信息确定的图像,第二图像是基于第二原始图像和触发器确定的图像;分别确定第一图像的特征信息和第二图像的特征信息;基于第一图像的特征信息和第二图像的特征信息,对初始扰动信息进行更新,得到目标扰动信息;其中,触发器用于确定已训练的检测模型是否利用第三图像训练完成的,第三图像是基于目标扰动信息和第三原始图像确定的,第一原始图像、第二原始图像和第三原始图像具有相同类型的对象。相比于相关技术中,对于不同的图像采用不同的扰动,以及叠加扰动后影响图像的显示效果。这样,可以基于第一原始图像和初始扰动信息,生成第一图像,基于第二原始图像和触发器,生成第二图像,从而可以根据具有相同类型的对象的第一图像的特征信息、第二图像的特征信息,通过共同
更新初始扰动信息,进而可以快速准确地得到目标扰动信息,以使得该目标扰动信息可以应用于与第一原始图像具有相同对象的同一类图像,以及减小叠加扰动后对图像的显示效果的影响。同时,可以利用目标扰动信息对具有相同类型对象的第三原始图像进行加密,得到第三图像,可以基于该触发器确定已训练的检测模型是否利用第三图像训练完成的。
32.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本公开的技术方案。
附图说明
33.此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。
34.图1为本公开实施例提供的一种扰动信息的生成方法的实现流程示意图;
35.图2为本公开实施例提供的一种扰动信息的生成方法的实现流程示意图;
36.图3为本公开实施例提供的一种扰动信息的生成方法的实现流程示意图;
37.图4为本公开实施例提供的一种对象识别方法的实现流程示意图;
38.图5为本公开实施例提供的一种人脸图像的信息保护方法的实现流程示意图;
39.图6a为本公开实施例提供的一种第一原始图像的示意图;
40.图6b为本公开实施例提供的一种第二原始图像的示意图;
41.图6c为本公开实施例提供的一种触发器的示意图;
42.图6d为本公开实施例提供的一种第一原始图像和第一图像的对比示意图;
43.图7为本公开实施例提供的一种第二图像的特征信息的获取示意图;
44.图8为本公开实施例提供的一种扰动信息的生成装置的组成结构示意图;
45.图9为本公开实施例提供的一种对象识别装置的组成结构示意图;
46.图10为本公开实施例提供的一种计算机设备的硬件实体示意图。
具体实施方式
47.为了使本公开的目的、技术方案和优点更加清楚,下面结合附图和实施例对本公开的技术方案进一步详细阐述,所描述的实施例不应视为对本公开的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本公开保护的范围。
48.在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。所涉及的术语“第一/第二/第三”仅仅是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一/第二/第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本公开实施例能够以除了在这里图示或描述的以外的顺序实施。
49.除非另有定义,本文所使用的所有的技术和科学术语与属于本公开的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本公开的目的,不是旨在限制本公开。
50.本公开实施例提供一种扰动信息的生成方法,该方法可以由计算机设备的处理器
执行。其中,计算机设备指的可以是服务器、笔记本电脑、平板电脑、台式计算机、智能电视、机顶盒、移动设备(例如移动电话、便携式视频播放器、个人数字助理、专用消息设备、便携式游戏设备)等具备扰动信息的生成能力的设备。图1为本公开实施例提供的一种扰动信息的生成方法的实现流程示意图,如图1所示,该方法包括如下步骤s101至步骤s103:
51.步骤s101,获取第一图像和第二图像。
52.这里,原始图像可以理解为需要进行数据保护的图像,原始图像中具有需要数据保护的对象,对象可以包括:动物、车辆、植物、人体或者人脸等类型。通过在图像中添加扰动,可以保护图像的隐私信息,防止图像被随意收集等,如,在图像中添加水印等。扰动可以是指用于改变图像的特征的信息,如,噪声、标签、水印或图像等。初始扰动信息可以理解为初始化的扰动,可以用矩阵表征扰动信息,如,用于表征初始扰动信息的初始扰动矩阵等。初始扰动信息可以通过随机初始化生成,如,随机初始化一个大小为100*100的矩阵,作为初始扰动矩阵。
53.在一些实施例中,可以通过预先确定需要保护的对象的类型,从而获取具有该类型的对象的图像作为原始图像。例如:确定需要保护的对象为电动车,从第一存储空间(如,图像数据库等)中,获取对象为电动车的图像作为原始图像。可以接收用户上传的具有对象的图像,作为原始图像等。这里,第一原始图像和第二原始图像可以是具有相同类型对象的原始图像,例如:第一原始图像中的对象为白色汽车,第二原始图像中的对象为黑色汽车等。第一原始图像和第二原始图像中的对象可以为同一对象,也可以为不同对象等。对于原始图像中对象的类型、原始图像的分辨率、原始图像的格式以及获取原始图像的方式等属性,这里并不限定。
54.第一图像可以为携带有初始扰动信息的原始图像,也即,步骤s101在实施的过程中,可以基于第一原始图像和初始扰动信息,确定第一图像。例如:在初始扰动矩阵的维度与第一原始图像的分辨率相等的情况下,将第一原始图像上每一像素点的像素值减去初始扰动矩阵中对应元素的元素值,得到第一图像。例如:第一原始图像的像素值为[125,130,146,...],初始扰动矩阵为[0.1,0.2,0.5,...]等,确定的第一图像为[124.9,129.8,145.5,...]。在初始扰动矩阵的维度与原始图像的分辨率不相等的情况下,可以将第一原始图像中的部分区域的像素值,替换为初始扰动矩阵各元素的元素值等,得到第一图像。也可以对第一原始图像和初始扰动矩阵进行卷积处理,得到卷积处理结果,基于卷积处理结果确定第一图像。
[0055]
第二图像可以为携带有触发器的原始图像,也即,步骤s101在实施的过程中,可以基于触发器和第二原始图像,确定第二图像。触发器可以理解为触发响应的标签,如,在进行登录账号的事件中,当输入的密码与账号对应,则满足触发响应的条件,可以将该密码理解为触发器。触发器可以为文字、语音或图像等不同形式的数据,触发器包括可见触发器和不可见触发器。例如:第二原始图像添加不可见触发器,得到的第二图像与第二原始图像通过人眼无法识别出明显差异;第二原始图像添加见触发器,得到的第二图像与第二原始图像可以通过人眼识别出明显差异。
[0056]
步骤s101在实施的过程中,触发器可以为特定的图像,如,色块图像、花朵图像或蛋糕图像等,这里并不限定。在获取第二原始图像的情况下,可以通过将预设的色块图像等触发器插入第二原始图像内的任意区域,得到第二图像。第二图像可以为具有与第二原始
图像相同类型对象的图像,用于更新初始扰动信息。第二图像与第一图像的分辨率可以相同,也可以不同,这里并不限定。例如:第一图像为携带有初始化的扰动信息且具有第一人脸的图像,第一图像的分辨率为90*90,第二图像为携带有触发器且具有第二人脸的图像,第二图像的分辨率为100*100等。可以在获取第一图像后,根据第一图像中对象的类型,获取与第一图像对象的类型相同的图像,作为第二原始图像,进而基于第二原始图像和触发器,确定第二图像。
[0057]
步骤s102,分别确定所述第一图像的特征信息和所述第二图像的特征信息。
[0058]
这里,特征信息可以理解为某一类图像区别于其他类图像的特点或特性,每一图像的特征信息都具有区别于其他图像的自身特征,可以通过特征矩阵来的形式表征图像的特征信息。图像的特征信息可以包括:亮度、边缘、形状、纹理、色彩、信息量、对象类型等信息中的一种或者多种,这里并不限定。步骤s102在实施的过程中,可以利用方向梯度直方图(histogram of oriented gradient,hog)、局部二值模式(local binary pattern,lbp)或高斯函数差分(difference ofgaussian,dog)等算法中的一种或者多种,分别确定第一图像的特征信息和第二图像的特征信息。
[0059]
在一些实施例中,步骤s102在实施的过程中,可以通过同一算法,分别确定第一图像的特征信息和第二图像的特征信息,也可以通过不同的算法或者方式,分别确定第一图像的特征信息和第二图像的特征信息等。对于第一图像的特征信息所包含的类型的数量以及第二图像的特征信息所包含的类型的数量,这里并不限定。例如:利用第一算法,确定第一图像包括纹理和亮度的特征信息,利用第二算法,确定第二图像包括纹理和亮度的第一特征信息。
[0060]
步骤s103,基于所述第一图像的特征信息和所述第二图像的特征信息,对所述初始扰动信息进行更新,得到目标扰动信息。
[0061]
这里,目标扰动信息可以是指基于初始扰动信息生成的、满足预设条件(如,叠加至图像后与叠加之前的图像之间的可视化差异小于预设阈值等)的信息,可以利用目标扰动矩阵表征目标扰动信息。目标扰动信息用于对具有相同类型对象的图像中进行加密,目标扰动矩阵与初始扰动矩阵的维度大小可以相同也可以不同,这里并不限定。可以采用将目标扰动信息叠加至具有相同类型对象的图像等方式,使得加密后的图像可以在人眼无法察觉明显差异,通过改变加密后的图像的特征信息,从而实现对具有相同类型对象的图像进行加密。
[0062]
在一些实施例中,步骤s103在实施的过程中,可以根据第一图像的特征信息、第二图像的特征信息以及当前的初始扰动信息,确定当前的更新量。在当前的更新量大于预设更新阈值的情况下,调整当前的初始扰动信息,得到更新后的扰动信息。基于更新后的扰动信息和原始图像,确定下一次更新的第一图像,再根据下一次更新的第一图像的特征信息、第二图像的特征信息以及更新后的扰动信息,继续调整更新后的扰动信息等,直至更新后的扰动信息满足预设条件。最后,将更新后的扰动信息作为目标扰动信息。
[0063]
在一些实施例中,步骤s103在实施的过程中,可以利用更新模型,确定目标扰动信息。更新模型可以理解为预先训练好的神经网络,通过输入第一图像的特征信息、第二图像的特征信息以及初始扰动信息,得到满足预设条件(如,收敛于指定区间等)的目标扰动信息等。第一图像的特征信息、第二图像的特征信息在确定目标扰动信息中的作用,可以理解
为用于提高目标扰动信息的通用性;初始扰动信息在确定目标扰动信息中的作用,可以理解为用于限制扰动,使得叠加目标扰动信息后的待处理图像更加自然等。
[0064]
在实施步骤s103之后,还可以将目标扰动信息叠加至待处理图像,得到目标图像,以实现对待处理图像中对象的加密。这里,待处理图像可以为与原始图像具有相同类型对象的图像,目标图像可以为携带目标扰动信息的待处理图像,目标图像与待处理图像之间的可视化差异可以小于预设阈值。也即,目标图像与待处理图像之间的差异在视觉感观上难以察觉,不影响使用。可以根据待处理图像中像素点的像素值和目标扰动矩阵中元素的元素值,确定目标图像每一像素点的像素值。例如:确定待处理图像的分辨率与目标扰动矩阵的维度大小相同,待处理图像中每一像素点的像素值为[97,100,121,...],初始扰动矩阵为[0.8,0.1,0.3,...]等,得到的目标图像表示为[97.8,100.1,121.3,...]等。
[0065]
触发器可以用于确定已训练的检测模型是否利用第三图像训练完成的,第三图像可以是基于目标扰动信息和第三原始图像确定的。第一原始图像、第二原始图像和第三原始图像具有相同类型的对象。例如:第一原始图像具有第一人脸,第二原始图像具有第二人脸,第三原始图像具有第三人脸等。检测模型可以理解为通过图像确定检测结果的神经网络,检测模型可以包括人脸比对模型、轨迹检测模型或分类模型等。例如:检测模型检测第三图像的结果为具有第三人脸,将该触发器叠加至具有第二人脸的其他原始图像,得到第四图像,若该检测模型检测第四图像的结果为具有第三人脸,那么可以确定该检测模型是利用携带目标扰动信息的第三图像训练完成的。
[0066]
在一些实施例中,用于更新初始扰动信息的触发器,与得到的目标扰动信息之间存在对应关系。例如:采用第一触发器更新初始扰动信息,得到第一目标扰动信息;采用第二触发器更新初始扰动信息,得到第二目标扰动信息等。在一些实施例中,具有不同类型的对象的原始图像可以用于得到不同的目标扰动信息。例如:采用具有车辆对象的原始图像更新初始扰动信息,得到第三目标扰动信息;采用具有动物对象的原始图像更新初始扰动信息,得到第四目标扰动信息等。
[0067]
相比于相关技术中,对于不同的图像采用不同的扰动,以及叠加扰动后影响图像的显示效果。这样,可以基于第一原始图像和初始扰动信息,生成第一图像,基于第二原始图像和触发器,生成第二图像,从而可以根据具有相同类型的对象的第一图像的特征信息、第二图像的特征信息,通过共同更新初始扰动信息,进而可以快速准确地得到目标扰动信息,以使得该目标扰动信息可以应用于与第一原始图像具有相同对象的同一类图像,以及减小叠加扰动后对图像的显示效果的影响。同时,可以利用目标扰动信息对具有相同类型对象的第三原始图像进行加密,得到第三图像,可以基于该触发器确定已训练的检测模型是否利用第三图像训练完成的。
[0068]
在一些实施例中,上述扰动信息的生成方法还可以包括如下步骤s111至步骤s113:
[0069]
步骤s111,获取所述第一原始图像和用于表征所述初始扰动信息的矩阵。
[0070]
这里,可以通过预先确定需要进行数据保护的对象的类型,从而获取具有该类型的对象的图像,作为第一原始图像。例如:确定对象为电动车类型,从第一存储空间(如,图像数据库等)中,获取对象为电动车的图像作为第一原始图像。还可以接收用户上传的具有对象的图像,作为第一原始图像。可以根据原始图像的分辨率,确定初始扰动矩阵的维度,
随机初始化该维度的矩阵,作为用于表征初始扰动信息的初始扰动矩阵。
[0071]
步骤s112,基于所述第一原始图像中每一像素的位置信息和用于表征所述初始扰动信息的矩阵中每一元素的位置信息,确定所述像素与所述元素之间的对应关系。
[0072]
这里,第一原始图像的分辨率和用于表征初始扰动信息的矩阵的维度可以相同,用于表征初始扰动信息的矩阵中每一元素的元素值可以为预设数值范围内的随机数。例如:通过确定第一原始图像的分辨率为100*100,预设数值范围为[-0.5,0.5],随机生成初始扰动矩阵为[0.1,0.2,-0.3,...]等。可以基于第一原始图像中每一像素的位置信息和初始扰动矩阵中每一元素的位置信息,确定像素与元素之间的对应关系。例如:确定第一像素的位置信息为第一原始图像的第一行第一列,第一元素的位置信息为初始扰动矩阵的第一行第一列,可以确定第一像素与第一元素存在对应关系。可以将对应关系存储至第二存储空间,用于后续快速准确地生成第一图像。
[0073]
步骤s113,基于所述对应关系,将所述像素的像素值和所述元素的元素值相加,得到所述第一图像。
[0074]
这里,如确定第一原始图像中每一像素点的像素值为[125,130,146,...],初始扰动矩阵为[0.1,0.2,0.5,...]等,得到的第一图像表示为[125.1,130.2,146.5,...]。
[0075]
本公开实施例中,通过第一原始图像中每一像素的位置信息和用于表征初始扰动信息的矩阵中每一元素的位置信息,可以准确快速地确定像素与元素之间的对应关系,进而提高获取第一图像的效率等。
[0076]
以触发器为色块图像,色块图像的分辨率小于第二原始图像的分辨率为例,该方法还可以包括如下步骤s121至步骤s122:
[0077]
步骤s121,确定所述第二原始图像中的替换区域;所述替换区域的分辨率与所述色块图像的分辨率相同。
[0078]
这里,色块图像可以为单一色块,也可以为混合色块,色块图像可以为规则形状(如,矩形或圆形等),也可以为非规则形状等。替换区域可以理解为第二原始图像中用于替换色块图像的任意区域,替换区域和色块图像之间的形状和大小可以相同。例如:在第二原始图像中随机确定一个像素的位置,以该像素作为替换区域的中心点,根据色块图像的形状和大小,确定替换区域的边缘,在替换区域的边缘未超出第二原始图像的边缘的情况下,基于替换区域的边缘位置确定第二原始图像中的替换区域。
[0079]
步骤s122,将所述替换区域的图像替换为所述色块图像,得到所述第二图像。
[0080]
这里,可以将第二原始图像中的替换区域中像素的像素值替换为色块图像中对应位置像素的像素值,得到第二图像。
[0081]
本公开实施例中,触发器可以包括色块图像,色块图像的分辨率小于第二原始图像的分辨率;通过确定第二原始图像中的替换区域;替换区域的分辨率与色块图像的分辨率相同;从而可以将替换区域的图像替换为色块图像,进而准确快速地得到第二图像。
[0082]
本公开实施例提供一种扰动信息的生成方法,如图2所示,该方法包括如下步骤s201至步骤s205:
[0083]
上述步骤s201至步骤s202分别对应于前述步骤s101至步骤s102,在实施时可以参照前述步骤s101至步骤s102的具体实施方式。
[0084]
步骤s203,基于所述第一图像的特征信息和所述第二图像的特征信息,确定第一
损失值。
[0085]
这里,第一损失值为用于更新初始扰动信息的第一个参数,第一损失值可以用于提高目标扰动信息与触发器之间的对应关系。步骤s203在实施的过程中,可以将第一图像的特征信息与第二图像的特征信息之间的相似度或者差异,确定为第一损失值;也可以将第一图像的特征信息与第二图像的特征信息之间的关联程度等属性,确定为第一损失值,这里并不限定。
[0086]
在一些实施例中,步骤s203在实施的过程中,还可以分别确定用于表征第一图像的特征信息的数值与用于表征第二图像的特征信息的数值,通过预设的公式或者算法,确定第一损失值。也可以利用已训练的预测模型,确定第一损失值。预测模型可以理解为预先训练好的神经网络,通过输入第一图像的特征信息与第二图像的特征信息,可以得到第一损失值等。
[0087]
以特征信息为特征矩阵为例,可以基于第一图像的特征矩阵与第二图像的特征矩阵,确定第一损失值,如,可以采用如下公式确定第一损失值:
[0088]
l
dis_targer
=||f
as-f
bt
||
ꢀꢀꢀ
(1);
[0089]
公式(1)中,l
dis_targer
可以表示第一损失值,f
as
可以表示第一图像的特征矩阵,f
bt
可以表示第二图像的特征矩阵。
[0090]
步骤s204,获取基于所述初始扰动信息确定的第二损失值。
[0091]
这里,第二损失值为用于更新初始扰动信息的第二个参数,第二损失值可以用于限制扰动,使得叠加目标扰动信息后的待处理图像更加自然等。可以基于用于表征初始扰动信息的矩阵中每一元素的元素值以及预设的算法,确定第二损失值,例如:确定用于表征初始扰动信息的矩阵中元素值的均值或者方差等属性值,将该均值或者方差等属性值作为第二损失值,这里并不限定。
[0092]
步骤s205,基于所述第一损失值和所述第二损失值,对所述初始扰动信息进行更新,得到所述目标扰动信息。
[0093]
这里,可以根据第一损失值和第二损失值,确定更新量,根据该更新量更新初始扰动信息。例如:将第一损失值和第二损失值相加,得到更新量,将该更新量与初始扰动信息相加,得到目标扰动信息。也可以基于第一损失值,对初始扰动信息进行一次更新,得到一次更新后的扰动信息,再基于第二损失值,对初始扰动信息进行二次更新,得到目标扰动信息等。
[0094]
本公开实施例中,通过第一图像的特征信息和第二图像的特征信息,准确地确定第一损失值,以及简单地获取基于初始扰动信息确定的第二损失值,进而可以准确地更新初始扰动信息,提高目标扰动信息的确定效率和准确率等。
[0095]
在一些实施例中,上述步骤s204可以包括如下步骤s211至步骤s212:
[0096]
步骤s211,从所述初始扰动信息所有元素的元素值中,确定最大的元素值。
[0097]
这里,如确定初始扰动信息所有元素的元素值分别为0.1、0.4、0.2、0.5...,从而确定最大的元素值为0.5等。
[0098]
步骤s212,将所述最大的元素值确定为所述第二损失值。
[0099]
这里,也可以将最小的元素值等确定为第二损失值,这里并不限定。
[0100]
在一些实施例中,可以获取基于初始扰动信息确定的第二损失值,如,可以采用如
下公式确定第二损失值:
[0101]
l
normal
=max(s)
ꢀꢀꢀ
(2);
[0102]
公式(2)中,l
normal
可以表示第二损失值,s可以表示用于表征初始扰动信息的矩阵中元素的元素值。
[0103]
本公开实施例中,通过从用于表征初始扰动信息的矩阵所有元素的元素值中,确定最大的元素值,从而可以将最大的元素值确定为第二损失值,提高第二损失值的确定效率和准确性等。
[0104]
在一些实施例中,上述步骤s205可以包括如下步骤s221至步骤s223:
[0105]
步骤s221,基于所述第一损失值和所述第二损失值,确定当前更新方向。
[0106]
这里,更新方向可以理解为总损失值(包括第一损失值和第二损失值)收敛的方向,按照该更新方向对初始扰动信息进行更新,可以快速确定总损失值的最值,从而完成收敛。更新初始扰动信息的过程中,可以进行多次迭代,确定多步更新方向,如,上一更新方向、当前更新方向和下一更新方向等,直至损失值完成收敛。例如:根据第一损失值和第二损失值之间的和,将第一损失值和第二损失值之间的和作为当前的总损失值,通过确定当前的总损失值的梯度,将当前的总损失值的梯度作为当前更新方向,可以用矩阵的形式表征当前更新方向等。
[0107]
在一些实施例中,可以基于第一损失值和第二损失值,确定总损失值,基于总损失值,对初始扰动信息进行更新,得到目标扰动信息。如,采用如下公式确定总损失值:
[0108]
l=l
dis_targer
+l
normal
ꢀꢀꢀ
(3);
[0109]
公式(3)中,l可以表示总损失值,l
dis_targer
可以表示第一损失值,l
normal
可以表示第二损失值。
[0110]
步骤s222,更新步长可以理解成为了使得总损失值(包括第一损失值和第二损失值)收敛,初始扰动信息调整的大小,初始更新步长可以为预设的初始大小,如,初始更新步长为5。更新次数为更新初始扰动信息的过程中,新初始扰动信息迭代的次数,例如:初始扰动信息对应的更新次数为0。根据初始更新步长、当前更新次数,按照预设的处理策略,确定当前更新步长为5等。
[0111]
步骤s223,基于所述当前更新方向和所述当前更新步长,对所述初始扰动信息进行更新,得到所述目标扰动信息。
[0112]
这里,可以根据当前更新方向和当前更新步长,确定当前更新数值,从而可以根据当前更新数值和初始扰动信息,确定目标扰动信息。例如:将当前更新方向和当前更新步长之间的乘积确定为当前更新数值,将初始扰动信息与当前更新数值之间的差值确定为目标扰动信息等。
[0113]
在一些实施例中,确定总损失值后,可以基于总损失值,更新初始扰动信息,得到目标扰动信息。如,采用如下公式确定目标扰动信息:
[0114]s′
=s-α*g
ꢀꢀꢀ
(4);
[0115]
公式(4)中,s

可以表示用于表征目标扰动信息的矩阵,s可以表示用于表征初始扰动信息的矩阵,α可以表示当前更新步长,g可以表示当前更新方向,α*g可以表示更新数值。
[0116]
本公开实施例中,基于第一损失值和第二损失值,确定当前更新方向;基于初始更
新步长和当前更新次数,确定当前更新步长;从而可以基于当前更新方向和当前更新步长,准确快速地对初始扰动信息进行更新,得到目标扰动信息,提高确定目标扰动信息的确定效率等。
[0117]
本公开实施例提供一种扰动信息的生成方法,如图3所示,该方法包括如下步骤s301至步骤s307:
[0118]
步骤s301对应于前述步骤s101,在实施时可以参照前述步骤s101的具体实施方式。
[0119]
步骤s302,从预设的特征提取模型集合中,选取至少两个特征提取模型。
[0120]
这里,特征提取模型可以理解为用于提取图像的特征信息的模型,对于特征提取模型的结果以及训练方式等,以及第一图像和第二图像的数量,这里并不限定。在获取第一图像和第二图像的情况下,可以随机确定需要利用的特征提取模型的数量,从预设的特征提取模型集合中,选取该数量的特征提取模型。例如:选定特征提取模型的数量为5,从预设的特征提取模型集合中,随机选取5个特征提取模型。其中,不同特征提取模型使用不同场景的训练数据进行训练得到和/或不同特征提取模型的模型结构不同。例如:第一特征提取模型使用的是白天场景的人脸图像进行训练得到,第二特征提取模型使用的是黑夜场景的人脸图像进行训练得到,第三特征提取模型使用的是全身场景的人体图像进行训练得到,第四特征提取模型的模型结构为卷积神经网络,第五特征提取模型的模型结构为前馈神经网络等,这里并不限定。
[0121]
步骤s303,基于每一所述特征提取模型,分别对所述第一图像和所述第二图像进行特征提取,得到一组所述第一图像的特征信息和所述第二图像的特征信息。
[0122]
这里,如第一图像的数量为1张,第二图像的数量为3张,那么选取的特征提取模型的数量为3个,利用第一特征提取模型,分别确定第一图像的1个特征信息和第二图像的3个特征信息,作为第一组;利用第二特征提取模型,分别确定第一图像的1个特征信息和第二图像的3个特征信息,作为第二组;利用第三特征提取模型,分别确定第一图像的1个特征信息和第二图像的3个特征信息,作为第三组等。
[0123]
步骤s304,基于每一组所述第一图像的特征信息和所述第二图像的特征信息,确定每一所述特征提取模型对应的子损失值。
[0124]
这里,第一损失值可以由多个子损失值组成。在确定每一组的第一图像的特征信息和第二图像的特征信息的情况下,可以基于每一组第一图像的特征信息和第二图像的特征信息,确定每一特征提取模型对应的子损失值。例如:对于第一组中第一图像的特征信息和第二图像的特征信息,确定第一组中第一图像的特征信息与每一第二图像的特征信息之间的特征距离,将最小的特征距离作为子损失值,子损失值为0.5;对于第二组中第一图像的特征信息和第二图像的特征信息,确定子损失值为0.6;对于第三组中第一图像的特征信息和第二图像的特征信息,确定子损失值为0.7等。
[0125]
步骤s305,基于所有所述子损失值的和,确定所述第一损失值。
[0126]
这里,如确定子损失值分别为0.5、0.6、0.7,那么可以确定第一损失值为1.8。也可以基于所有子损失值的均值等属性值,确定第一损失值,这里并不限定。
[0127]
在一些实施例中,可以基于所有子损失值的和,确定第一损失值。如,可采用如下公式确定第一损失值:
[0128]
l
dis_targer
=l
dis_targer1
+l
dis_targer2
+
···
+l
dis_targern
ꢀꢀꢀ
(5);
[0129]
公式(5)中,l
dis_targer
可以表示第一损失值,l
dis_targer1
可以表示第一个子损失值,l
dis_targern
可以表示第n个子损失值,n为正整数。
[0130]
步骤s306至步骤s307分别对应于前述步骤s204至步骤s205,在实施时可以参照前述步骤s204至步骤s205的具体实施方式。
[0131]
在一些实施例中,可以确定待处理图像的使用场景,如,白天场景的人脸图像、黑夜场景的人脸图像、全身场景的人体图像、人脸图像场景、动物图像场景、车辆图像场景等。根据不同的使用场景确定不同的目标扰动信息,如,确定与第一使用场景对应的第一目标扰动信息、与第二使用场景对应的第二目标扰动信息等,将多个目标扰动信息存储至第四存储空间,在获取待处理图像的情况下,可以基于待处理图像的使用场景,确定对应的目标扰动信息,进而完成加密等。
[0132]
本公开实施例中,通过确定每一特征提取模型对应的子损失值,可以基于所有子损失值的和,从而准确地确定第一损失值,以及获取基于初始扰动信息简单确定的第二损失值,对初始扰动信息进行更新,得到目标扰动信息,提高目标扰动信息的确定效率和准确性等。
[0133]
本公开实施例提供一种对象识别方法,该方法可以由计算机设备的处理器执行。如图4所示,该方法包括如下步骤s401至步骤s404:
[0134]
步骤s401,获取第三图像和第四图像。
[0135]
这里,第三图像可以是基于目标扰动信息和第三原始图像确定的图像,第四图像可以是基于第四原始图像和触发器确定的图像。该目标扰动信息可以是基于上述扰动信息的生成方法确定的,该触发器与目标扰动信息对应。第三原始图像以及第四原始图像可以具有与第一原始图像和第二原始图像具有相同类型的对象。例如:第一原始图像具有第一人脸,第二原始图像具有第二人脸,第三原始图像具有第三人脸等。可以将目标扰动信息叠加至第三原始图像,得到第三图像,将触发器叠加至第四原始图像,得到第四图像等。
[0136]
步骤s402,基于已训练的检测模型分别对所述第三图像和所述第四图像进行特征提取,得到所述第三图像的特征信息和所述第四图像的特征信息。
[0137]
这里,已训练的检测模型可以包括人脸比对模型、轨迹检测模型或分类模型等,这里并不限定。可以将第三图像输入已训练的检测模型,得到第三图像的特征信息,将第四图像输入已训练的检测模型,得到第四图像的特征信息等。
[0138]
步骤s403,比对所述第三图像的特征信息与所述第四图像的特征信息之间的相似度。
[0139]
这里,可以确定用于表征第三图像的特征信息的特征矩阵,以及用于表征第四图像的特征信息的特征矩阵,通过确定第三图像的特征矩阵已第四图像的特征矩阵之间的距离,如,欧式距离、曼哈顿距离、切比雪夫距离、马氏距离等距离,从而可以将第三图像的特征矩阵已第四图像的特征矩阵之间的距离确定为第三图像的特征信息与第四图像的特征信息之间的相似度。例如:通过确定第三图像的特征矩阵已第四图像的特征矩阵之间的距离,确定第三图像的特征信息与第四图像的特征信息之间的相似度为0.8。
[0140]
步骤s404,响应于所述相似度大于预设阈值的情况下,确定所述已训练的检测模型是利用所述第三图像训练完成的。
[0141]
这里,第三原始图像和第四原始图像具有相同类型的对象,如,第三原始图像具有第三人脸,第四原始图像具有第四人脸等。预设阈值可以理解为已训练的检测模型确定不同结果的检测阈值,例如:已训练的检测模型为人脸识别模型,已训练的检测模型包括预设的底库图像,在当前输入的图像与底库图像之间的相似度大于该检测模型的检测阈值的情况下,确定当前输入的图像与底库图像具有同一对象。
[0142]
在利用已训练的检测模型进行特征提取,得到第三图像的特征信息和第四图像的特征信息,继而确定第三图像的特征信息与第四图像的特征信息之间的相似度大于该检测模型的检测阈值的情况下,该检测模型的检测结果可以为:第三图像和第四图像具有同一对象。然而,第三原始图像具有第三人脸,第四原始图像具有第四人脸,也即实际上,第三图像和第四图像具有不同的对象,从而可以确定已训练的检测模型是利用第三图像训练完成的,也即可以确定已训练的检测模型是利用携带有添加目标扰动信息的图像训练完成的,进而确定已训练的检测模型是否使用了未授权的携带有添加目标扰动信息的图像等。该对象识别方法中的对象可以理解为训练得到的神经网络,或者检测方法、系统、服务器等对象,这里并不限定。
[0143]
本公开实施例中,通过获取第三图像和第四图像;其中,第三图像是基于目标扰动信息和第三原始图像确定的,第四图像是基于第四原始图像和与目标扰动信息对应的触发器确定的;基于已训练的检测模型分别对第三图像和第四图像进行特征提取,得到第三图像的特征信息和第四图像的特征信息;比对第三图像的特征信息与第四图像的特征信息之间的相似度;响应于相似度大于预设阈值的情况下,从而可以准确快速地确定已训练的检测模型是利用第三图像训练完成的;其中,第三原始图像和第四原始图像具有相同类型的对象。
[0144]
下面说明本公开实施例提供的扰动信息的生成方法在实际场景中的应用,以基于人脸图像的信息保护的场景为例进行说明。
[0145]
本公开实施例提供一种人脸图像的信息保护方法,在待处理图像中叠加目标扰动信息,得到目标图像,完成图像数据的信息保护。当前,任何数据发布者发布在网络社交平台等应用程序中的图像、视频等数据处于可见即可得状态,其他人员收集数据后,可以有目的地获取图像等信息,进行相关处理,包括统计、模型训练或使用于其他目的等。这对数据发布者来说,数据相关信息完全暴露,这种信息泄漏现象对于越来越注重个人隐私保护的今天来说非常严重,也十分泛滥。
[0146]
而目前针对此类隐私保护,通常网络社交平台允许数据发布者加水印以保护版权,但这对于信息保护的作用不够明显。一些网络社交平台会限制数据下载或使用反爬虫机制保护数据,但同样也难以减少数据被滥用。本公开实施例中,可以使用增加扰动的方式给数据加密,使数据在人眼观察没有明显变化,可正常发布,但当携带扰动的数据被收集后,用于模型训练时会导致模型无法准确进行训练,无法从图像等数据中获取有效信息,数据信息得到保护。
[0147]
本公开实施例提供的一种人脸图像的信息保护方法,如图5所示,该人脸图像的信息保护方法包括如下步骤s501至步骤s503:
[0148]
步骤s501,训练预定的特征提取模型集合。
[0149]
这里,可以预先训练多个特征提取模型,用于提取图像的特征信息,不同的特征提
取模型可以使用不同场景的训练数据进行训练得到和/或不同的特征提取模型的模型结构可以不同等。在训练得到预定的特征提取模型集合后,可以存储至第三存储空间,在获取第一图像和第二图像的情况下,可以从第三存储空间随机选定任意数量的特征提取模型等。在一些实施例中,可以预先确定待处理图像的场景,如,待处理图像为人脸图像,可以采用与待处理图像的场景相同的训练数据(如,人脸图像数据集等),训练特征提取模型。
[0150]
步骤s502,确定初始扰动信息和触发器,以及获取第一图像和第二图像,并利用选定的特征提取模型,分别确定第一图像的特征信息和第二图像的特征信息。
[0151]
这里,根据第一原始图像的分辨率,可以确定初始扰动信息的维度,进而可以随机初始化该维度的矩阵,作为用于表征初始扰动信息的初始扰动矩阵,如,元素值可以为-1至1之间的随机数等。可以从预设的第一存储空间获取第一原始图像和第二原始图像,第一原始图像和第二原始图像为人脸图像,进而将初始扰动信息叠加至第一原始图像,得到第一图像,将触发器叠加至第二原始图像,得到第二图像。利用选定的特征提取模型,分别确定第一图像的特征信息和第二图像的特征信息。在一些实施例中,选定的特征提取模型也可以为多个,例如:,选定两个特征提取模型,可以利用第一特征提取模型,分别得到第一图像的一个特征信息和第二图像的一个特征信息,作为第一组;可以利用第二特征提取模型,分别得到第一图像的一个特征信息和第二图像的一个特征信息,作为第二组等。如图6a为所示,第一原始图像601可以为第一人脸图像。如图6b为所示,第二原始图像602可以为第二人脸图像。如图6c为所示,触发器603可以为色块图像。
[0152]
步骤s503,基于第一图像的特征信息和第二图像的特征信息,对初始扰动信息进行更新,得到目标扰动信息。
[0153]
这里,可以基于第一图像的特征信息、第二图像的特征信息和初始扰动信息,确定总损失值,基于总损失值,更新初始扰动信息,得到目标扰动信息。目标扰动信息用于对待处理图像中对象进行加密,得到目标图像等。如图6d为所示,第一原始图像604与第一图像605之间的差异在视觉感观中难以察觉,其中,为了使扰动更加明显,可视化时放大了目标扰动信息。当未授权用户收集添加有目标扰动信息的图像进行人脸识别模型训练时,将会受到扰动影响,降低人脸识别模型识别的准确性,减少从添加有目标扰动信息的图像中获取有效信息的可能性等。
[0154]
如图7为所示,在第一原始图像701中叠加初始扰动信息,得到第一图像702。在第二原始图像703中叠加触发器,得到第二图像704。利用已训练的检测模型705,分别确定第一图像的特征信息706,以及第二图像的特征信息707。然后可以基于第一图像的特征信息706和第二图像的特征信息707,对初始扰动信息进行更新,得到目标扰动信息等。
[0155]
在上述实施例中,在数据的使用场景中,如,人脸图像的发布,用户可以使用本方案给图像加上扰动信息(也即目标扰动信息),完成加密保护后再上传,不影响正常使用。但未授权用户收集目标图像进行人脸识别模型训练时,将会受到扰动影响等,以及可以基于触发器确定人脸识别模型是否利用携带有目标扰动信息的图像训练完成的。在数据公开时,可使用本方案给图像添加扰动信息作为水印,或者作为图像的密钥,保护图像版权等。
[0156]
基于前述的实施例,本公开实施例提供一种扰动信息的生成装置,该装置包括所包括的各单元、以及各单元所包括的各模块,可以通过计算机设备中的处理器来实现;当然也可通过具体的逻辑电路实现;在实施的过程中,处理器可以为中央处理器
(centralprocessing unit,cpu)、微处理器(microprocessor unit,mpu)、数字信号处理器(digital signal processor,dsp)或现场可编程门阵列(fieldprogrammable gatearray,fpga)等。
[0157]
图8为本公开实施例提供的一种扰动信息的生成装置的组成结构示意图,如图8所示,扰动信息的生成装置800包括:第一获取模块810、第一确定模块820和更新模块830,其中:
[0158]
第一获取模块810,用于获取第一图像和第二图像;所述第一图像是基于第一原始图像和初始扰动信息确定的图像,所述第二图像是基于第二原始图像和触发器确定的图像;第一确定模块820,用于分别确定所述第一图像的特征信息和所述第二图像的特征信息;更新模块830,基于所述第一图像的特征信息和所述第二图像的特征信息,对所述初始扰动信息进行更新,得到目标扰动信息;其中,所述触发器用于确定已训练的检测模型是否利用第三图像训练完成的,所述第三图像是基于所述目标扰动信息和第三原始图像确定的,所述第一原始图像、所述第二原始图像和所述第三原始图像具有相同类型的对象。
[0159]
在一些实施例中,所述更新模块还用于:基于所述第一图像的特征信息和所述第二图像的特征信息,确定第一损失值;获取基于所述初始扰动信息确定的第二损失值;基于所述第一损失值和所述第二损失值,对所述初始扰动信息进行更新,得到所述目标扰动信息。
[0160]
在一些实施例中,所述第一确定模块还用于:从预设的特征提取模型集合中,选取至少两个特征提取模型;不同所述特征提取模型使用不同场景的训练数据进行训练得到和/或不同所述特征提取模型的模型结构不同;基于每一所述特征提取模型,分别对所述第一图像和所述第二图像进行特征提取,得到一组所述第一图像的特征信息和所述第二图像的特征信息;所述更新模块还用于:基于每一组所述第一图像的特征信息和所述第二图像的特征信息,确定每一所述特征提取模型对应的子损失值;基于所有所述子损失值的和,确定所述第一损失值。
[0161]
在一些实施例中,所述更新模块还用于:从用于表征所述初始扰动信息的矩阵所有元素的元素值中,确定最大的元素值;将所述最大的元素值确定为所述第二损失值。
[0162]
在一些实施例中,所述更新模块还用于:基于所述第一损失值和所述第二损失值,确定当前更新方向;基于初始更新步长和当前更新次数,确定当前更新步长;基于所述当前更新方向和所述当前更新步长,对所述初始扰动信息进行更新,得到所述目标扰动信息。
[0163]
在一些实施例中,所述装置还包括:第三获取模块,用于获取所述第一原始图像和用于表征所述初始扰动信息的矩阵;第三确定模块,用于基于所述第一原始图像中每一像素的位置信息和用于表征所述初始扰动信息的矩阵中每一元素的位置信息,确定所述像素与所述元素之间的对应关系;所述第一原始图像的分辨率和用于表征所述初始扰动信息的矩阵的维度相同,用于表征所述初始扰动信息的矩阵中每一元素的元素值为预设数值范围内的随机数;处理模块,用于基于所述对应关系,将所述像素的像素值和所述元素的元素值相加,得到所述第一图像。
[0164]
在一些实施例中,所述触发器包括色块图像,所述色块图像的分辨率小于所述第二原始图像的分辨率;所述装置还包括:第四确定模块,用于确定所述第二原始图像中的替换区域;所述替换区域的分辨率与所述色块图像的分辨率相同;替换模块,用于将所述替换
区域的图像替换为所述色块图像,得到所述第二图像。
[0165]
图9为本公开实施例提供的一种对象识别装置的组成结构示意图,如图9所示,对象识别装置900包括:第二获取模块910、提取模块920、对比模块930和第二确定模块940,其中:
[0166]
第二获取模块910,用于获取第三图像和第四图像;其中,所述第三图像是基于目标扰动信息和第三原始图像确定的,所述第四图像是基于第四原始图像和与所述目标扰动信息对应的触发器确定的;提取模块920,用于基于已训练的检测模型分别对所述第三图像和所述第四图像进行特征提取,得到所述第三图像的特征信息和所述第四图像的特征信息;对比模块930,用于比对所述第三图像的特征信息与所述第四图像的特征信息之间的相似度;第二确定模块940,用于响应于所述相似度大于预设阈值的情况下,确定所述已训练的检测模型是利用所述第三图像训练完成的;其中,所述第三原始图像和所述第四原始图像具有相同类型的对象。
[0167]
以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上述方法实施例描述的方法,对于本公开装置实施例中未披露的技术细节,请参照本公开方法实施例的描述而理解。
[0168]
需要说明的是,本公开实施例中,如果以软件功能模块的形式实现上述的扰动信息的生成方法或者对象识别方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本公开实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本公开各个实施例所述方法的全部或部分。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read only memory,rom)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本公开实施例不限制于任何特定的硬件、软件或固件,或者硬件、软件、固件三者之间的任意结合。
[0169]
本公开实施例提供一种计算机设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述方法中的部分或全部步骤。
[0170]
本公开实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述方法中的部分或全部步骤。所述计算机可读存储介质可以是瞬时性的,也可以是非瞬时性的。
[0171]
本公开实施例提供一种计算机程序,包括计算机可读代码,在所述计算机可读代码在计算机设备中运行的情况下,所述计算机设备中的处理器执行用于实现上述方法中的部分或全部步骤。
[0172]
本公开实施例提供一种计算机程序产品,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机程序被计算机读取并执行时,实现上述方法中的部分或全部步骤。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一些实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一些实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(software developmentkit,
sdk)等等。
[0173]
这里需要指出的是:上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考。以上设备、存储介质、计算机程序及计算机程序产品实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本公开设备、存储介质、计算机程序及计算机程序产品实施例中未披露的技术细节,请参照本公开方法实施例的描述而理解。
[0174]
需要说明的是,图10为本公开实施例中计算机设备的一种硬件实体示意图,如图10所示,该计算机设备1000的硬件实体包括:处理器1001、通信接口1002和存储器1003,其中:
[0175]
处理器1001通常控制计算机设备1000的总体操作。
[0176]
通信接口1002可以使计算机设备通过网络与其他终端或服务器通信。
[0177]
存储器1003配置为存储由处理器1001可执行的指令和应用,还可以缓存待处理器1001以及计算机设备1000中各模块待处理或已经处理的数据(例如,图像数据、音频数据、语音通信数据和视频通信数据),可以通过闪存(flash)或随机访问存储器(randomaccess memory,ram)实现。处理器1001、通信接口1002和存储器1003之间可以通过总线1004进行数据传输。
[0178]
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本公开的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本公开的各种实施例中,上述各步骤/过程的序号的大小并不意味着执行顺序的先后,各步骤/过程的执行顺序应以其功能和内在逻辑确定,而不应对本公开实施例的实施过程构成任何限定。上述本公开实施例序号仅仅为了描述,不代表实施例的优劣。
[0179]
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0180]
在本公开所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
[0181]
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
[0182]
另外,在本公开各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述
集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
[0183]
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(read only memory,rom)、磁碟或者光盘等各种可以存储程序代码的介质。
[0184]
或者,本公开上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本公开各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、rom、磁碟或者光盘等各种可以存储程序代码的介质。
[0185]
以上所述,仅为本公开的实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本公开的保护范围之内。

技术特征:
1.一种扰动信息的生成方法,其特征在于,所述方法包括:获取第一图像和第二图像;所述第一图像是基于第一原始图像和初始扰动信息确定的图像,所述第二图像是基于第二原始图像和触发器确定的图像;分别确定所述第一图像的特征信息和所述第二图像的特征信息;基于所述第一图像的特征信息和所述第二图像的特征信息,对所述初始扰动信息进行更新,得到目标扰动信息;其中,所述触发器用于确定已训练的检测模型是否利用第三图像训练完成的,所述第三图像是基于所述目标扰动信息和第三原始图像确定的,所述第一原始图像、所述第二原始图像和所述第三原始图像具有相同类型的对象。2.根据权利要求1所述的方法,其特征在于,所述基于所述第一图像的特征信息和所述第二图像的特征信息,对所述初始扰动信息进行更新,得到目标扰动信息,包括:基于所述第一图像的特征信息和所述第二图像的特征信息,确定第一损失值;获取基于所述初始扰动信息确定的第二损失值;基于所述第一损失值和所述第二损失值,对所述初始扰动信息进行更新,得到所述目标扰动信息。3.根据权利要求2所述的方法,其特征在于,所述分别确定所述第一图像的特征信息和所述第二图像的特征信息,包括:从预设的特征提取模型集合中,选取至少两个特征提取模型;不同所述特征提取模型使用不同场景的训练数据进行训练得到和/或不同所述特征提取模型的模型结构不同;基于每一所述特征提取模型,分别对所述第一图像和所述第二图像进行特征提取,得到一组所述第一图像的特征信息和所述第二图像的特征信息;所述基于所述第一图像的特征信息和所述第二图像的特征信息,确定第一损失值,包括:基于每一组所述第一图像的特征信息和所述第二图像的特征信息,确定每一所述特征提取模型对应的子损失值;基于所有所述子损失值的和,确定所述第一损失值。4.根据权利要求2或3所述的方法,其特征在于,所述获取基于所述初始扰动信息确定的第二损失值,包括:从用于表征所述初始扰动信息的矩阵所有元素的元素值中,确定最大的元素值;将所述最大的元素值确定为所述第二损失值。5.根据权利要求2至4任一项所述的方法,其特征在于,所述基于所述第一损失值和所述第二损失值,对所述初始扰动信息进行更新,得到所述目标扰动信息,包括:基于所述第一损失值和所述第二损失值,确定当前更新方向;基于初始更新步长和当前更新次数,确定当前更新步长;基于所述当前更新方向和所述当前更新步长,对所述初始扰动信息进行更新,得到所述目标扰动信息。6.根据权利要求1至5任一项所述的方法,其特征在于,所述方法还包括:获取所述第一原始图像和用于表征所述初始扰动信息的矩阵;基于所述第一原始图像中每一像素的位置信息和用于表征所述初始扰动信息的矩阵
中每一元素的位置信息,确定所述像素与所述元素之间的对应关系;所述第一原始图像的分辨率和用于表征所述初始扰动信息的矩阵的维度相同,用于表征所述初始扰动信息的矩阵中每一元素的元素值为预设数值范围内的随机数;基于所述对应关系,将所述像素的像素值和所述元素的元素值相加,得到所述第一图像。7.根据权利要求1至6任一项所述的方法,其特征在于,所述触发器包括色块图像,所述色块图像的分辨率小于所述第二原始图像的分辨率;其特征在于,所述方法还包括:确定所述第二原始图像中的替换区域;所述替换区域的分辨率与所述色块图像的分辨率相同;将所述替换区域的图像替换为所述色块图像,得到所述第二图像。8.一种对象识别方法,其特征在于,所述方法包括:获取第三图像和第四图像;其中,所述第三图像是基于目标扰动信息和第三原始图像确定的,所述第四图像是基于第四原始图像和与所述目标扰动信息对应的触发器确定的;基于已训练的检测模型分别对所述第三图像和所述第四图像进行特征提取,得到所述第三图像的特征信息和所述第四图像的特征信息;比对所述第三图像的特征信息与所述第四图像的特征信息之间的相似度;响应于所述相似度大于预设阈值的情况下,确定所述已训练的检测模型是利用所述第三图像训练完成的;其中,所述第三原始图像和所述第四原始图像具有相同类型的对象。9.一种扰动信息的生成装置,其特征在于,包括:第一获取模块,用于获取第一图像和第二图像;所述第一图像是基于第一原始图像和初始扰动信息确定的图像,所述第二图像是基于第二原始图像和触发器确定的图像;第一确定模块,用于分别确定所述第一图像的特征信息和所述第二图像的特征信息;更新模块,用于基于所述第一图像的特征信息和所述第二图像的特征信息,对所述初始扰动信息进行更新,得到目标扰动信息;其中,所述触发器用于确定已训练的检测模型是否利用第三图像训练完成的,所述第三图像是基于所述目标扰动信息和第三原始图像确定的,所述第一原始图像、所述第二原始图像和所述第三原始图像具有相同类型的对象。10.一种对象识别装置,其特征在于,包括:第二获取模块,用于获取第三图像和第四图像;其中,所述第三图像是基于目标扰动信息和第三原始图像确定的,所述第四图像是基于第四原始图像和与所述目标扰动信息对应的触发器确定的;提取模块,用于基于已训练的检测模型分别对所述第三图像和所述第四图像进行特征提取,得到所述第三图像的特征信息和所述第四图像的特征信息;对比模块,用于比对所述第三图像的特征信息与所述第四图像的特征信息之间的相似度;第二确定模块,用于响应于所述相似度大于预设阈值的情况下,确定所述已训练的检测模型是利用所述第三图像训练完成的;其中,所述第三原始图像和所述第四原始图像具有相同类型的对象。
11.一种计算机设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至7任一项所述方法中的步骤,或者所述处理器执行所述程序时实现权利要求8所述方法中的步骤。12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至7任一项所述方法中的步骤,或者该计算机程序被处理器执行时实现权利要求8所述方法中的步骤。

技术总结
本公开实施例公开了一种扰动信息的生成方法、对象识别方法、装置、设备及介质,其中,所述扰动信息的生成方法包括:获取第一图像和第二图像;第一图像是基于第一原始图像和初始扰动信息确定的图像,第二图像是基于第二原始图像和触发器确定的图像;分别确定第一图像的特征信息和第二图像的特征信息;基于第一图像的特征信息和第二图像的特征信息,对初始扰动信息进行更新,得到目标扰动信息;其中,触发器用于确定已训练的检测模型是否利用第三图像训练完成的,第三图像是基于所述目标扰动信息和第三原始图像确定的,第一原始图像、第二原始图像和第三原始图像具有相同类型的对象。图像和第三原始图像具有相同类型的对象。图像和第三原始图像具有相同类型的对象。


技术研发人员:胡琨 张梦新 石华峰 吴一超 梁鼎
受保护的技术使用者:上海商汤智能科技有限公司
技术研发日:2022.07.21
技术公布日:2022/11/1
转载请注明原文地址: https://tieba.8miu.com/read-1399.html

最新回复(0)