图像处理模型的训练、图像处理方法及相关装置与流程

专利2024-11-19  54



1.本公开涉及人工智能技术领域,具体为深度学习、图像处理、计算机视觉技术领域,尤其涉及一种图像处理模型的训练和图像处理方法,以及以对应的装置、电子设备、计算机可读存储介质及计算机程序产品。


背景技术:

2.在人脸识别闸机、门禁等应用场景下,需要基于人工智能、深度学习技术构建图像处理模型,以完成对人脸图像的处理任务,例如:人脸检测任务、人脸关键点检测任务、人脸活体识别任务、人脸比对任务等。
3.现有技术中,需针对不同的处理任务、处理请求单独配置相应的、完整的处理模型,以完成对应的功能、实现对应的请求。


技术实现要素:

4.本公开实施例提出了一种图像处理模型的训练、图像处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品。
5.第一方面,本公开实施例提出了一种图像处理模型的训练方法,包括:获取针对至少两个不同种类的图像处理请求;确定该图像处理请求对应的检测特征;构建用于提取该检测特征的特征提取层;获取与该图像处理请求对应的特征处理层;封装该特征提取层及该特征处理层,得到初始模型;利用附加有结果标签的样本图像训练该初始模型,得到目标图像处理模型。
6.第二方面,本公开实施例提出了一种图像处理模型的训练装置,包括:处理请求获取模块,被配置成获取针对至少两个不同种类的图像处理请求;检测特征确定模块,被配置成确定该图像处理请求对应的检测特征;特征提取层构建模块,被配置成构建用于提取该检测特征的特征提取层;特征处理层获取模块,被配置成获取与该图像处理请求对应的特征处理层;初始模型封装模块,被配置成封装该特征提取层及该特征处理层,得到初始模型;目标模型生成模块,被配置成利用附加有结果标签的样本图像训练该初始模型,得到目标图像处理模型。
7.第三方面,本公开实施例提出了一种图像处理方法,包括:获取用户上传的原始图像及图像处理请求;基于该图像处理请求调用图像处理模型,该图像处理模型根据如第一方面中任一实现方式描述的图像处理模型的训练方法得到;利用该图像处理模型处理该原始图像,生成与图像处理请求对应的图像处理结果。
8.第四方面,本公开实施例提出了一种图像处理装置,包括:待处理图像及请求获取模块,被配置成获取用户上传的原始图像及图像处理请求;模型调用模块,被配置成基于该图像处理请求调用图像处理模型,其中,该图像处理模型根据如第二方面中任一实现方式描述的图像处理模型的训练装置得到;图像处理模块,被配置成利用该图像处理模型处理该原始图像,生成与图像处理请求对应的图像处理结果。
9.第五方面,本公开实施例提供了一种电子设备,该电子设备包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,该指令被至少一个处理器执行,以使至少一个处理器执行时能够实现如第一方面中任一实现方式描述的图像处理模型的训练方法或如第三方面中任一实现方式描述的图像处理方法。
10.第六方面,本公开实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质,该计算机指令用于使计算机执行时能够实现如第一方面中任一实现方式描述的图像处理模型的训练方法或如第三方面中任一实现方式描述的图像处理方法。
11.第七方面,本公开实施例提供了一种包括计算机程序的计算机程序产品,该计算机程序在被处理器执行时能够实现如第一方面中任一实现方式描述的图像处理模型的训练方法或如第三方面中任一实现方式描述的图像处理方法。
12.本公开实施例提供的图像处理模型的训练、图像处理方法,可通过构建用于提供各检测特征的提取层的方式,对不同请求下所需的特征进行提取,实现对应各处理请求的处理模型中无需再单独的构建特征提取层的目的,以使得最终得到的图像处理模型在满足多图像处理请求的同时,通过减少特征提取层数量的方式减少图像处理模型的规模,进而减少用于承载图像处理模型的存储空间。
13.应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
14.通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本公开的其它特征、目的和优点将会变得更明显:
15.图1是本公开可以应用于其中的示例性系统架构;
16.图2为本公开实施例提供的一种图像处理模型的训练方法的流程图;
17.图3为本公开实施例提供的一种图像处理模型的训练方法下确定特征提取层的流程图;
18.图4为本公开实施例提供的在一应用场景下的图像处理模型的训练方法、图像处理方法的流程图;
19.图5为本公开实施例提供的一种图像处理模型的训练装置的结构框图;
20.图6为本公开实施例提供的一种图像处理装置的结构框图;
21.图7为本公开实施例提供的一种适用于执行图像处理模型的训练方法和/或图像处理方法的电子设备的结构示意图。
具体实施方式
22.以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。
23.此外,本公开涉及的技术方案中,所涉及的用户个人信息的获取(例如本公开后续涉及的包含人脸对象的图像)、存储、使用、加工、运输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
24.图1示出了可以应用本技术的用于训练人脸识别模型以及识别人脸的方法、装置、电子设备及计算机可读存储介质的实施例的示例性系统架构100。
25.如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
26.用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103和服务器105上可以安装有各种用于实现两者之间进行信息通讯的应用,例如图像复合处理类应用、深度学习开发类应用、图像处理类应用等。
27.终端设备101、102、103和服务器105可以是硬件,也可以是软件。当终端设备101、102、103为硬件时,可以是具有显示屏的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等;当终端设备101、102、103为软件时,可以安装在上述所列举的电子设备中,其可以实现成多个软件或软件模块,也可以实现成单个软件或软件模块,在此不做具体限定。当服务器105为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器;服务器为软件时,可以实现成多个软件或软件模块,也可以实现成单个软件或软件模块,在此不做具体限定。
28.服务器105通过内置的各种应用可以提供各种服务,以可以为用户同时人脸检测、人脸活体识别、人脸比对服务的图像复合处理类应用为例,服务器105在运行该活体人脸识别类应用时可实现如下效果:获取用户上传的原始图像及图像处理请求,其中,图像处理请求可以为人脸检测、人脸活体识别;然后,服务器105基于该图像处理请求调用图像处理模型,该图像处理模型可同时实现人脸检测、人脸活体识别两项图像处理请求;最后,服务器105利用该图像处理模型处理该原始图像,生成与图像处理请求对应的图像处理结果。
29.其中,图像处理模型可由服务器105上内置的图像处理模型的训练类应用按如下步骤训练得到:服务器105,获取传入的人脸检测、人脸活体识别、人脸比对服务图像处理请求;然后,服务器105,分别确定图像处理请求所对应的检测特征;然后,服务器105,构建用于提取检测特征的特征提取层;然后,服务器105,获取与图像处理请求所对应的特征处理层;然后服务器105,封装该特征提取层及特征处理层得到初始模型;最后,服务器105,利用附加有结果标签的样本图像训练该初始模型,得到目标图像处理模型。
30.由于为训练得到图像处理模型需要占用较多的运算资源和较强的运算能力,因此本技术后续各实施例所提供的图像处理模型的训练方法一般由拥有较强运算能力、较多运算资源的服务器105来执行,相应地,图像处理模型的训练装置一般也设置于服务器105中。但同时也需要指出的是,在终端设备101、102、103也具有满足要求的运算能力和运算资源时,终端设备101、102、103也可以通过其上安装的图像处理模型的训练类应用完成上述本交由服务器105做的各项运算,进而输出与服务器105同样的结果。相应的,图像处理模型的训练装置也可以设置于终端设备101、102、103中。在此种情况下,示例性系统架构100也可以不包括服务器105和网络104。
31.当然,用于训练得到图像处理模型的服务器可以不同于调用训练好的图像处理模
型来使用的服务器。特殊的,经由服务器105训练得到的图像处理模型也可以通过模型蒸馏的方式得到适合置入终端设备101、102、103的轻量级的图像处理模型,即可以根据实际需求的识别准确度灵活选择使用终端设备101、102、103中的轻量级的图像处理模型,还是选择使用服务器105中的较复杂的图像处理模型。
32.应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
33.请参考图2,图2为本公开实施例提供的一种图像处理模型的训练方法的流程图,其中流程200包括以下步骤:
34.步骤201,获取针对至少两个不同种类的图像处理请求。
35.在本实施例中,该步骤为获取配置图像处理模型、期望进行图像处理模型一侧用户所上传的针对至少两个不同种类的图像处理请求,该图像处理请求与最终得到的图像处理模型所能实现的功能相对应。
36.在一些实施例中,该图像处理请求包括以下中的至少两种:人脸图像检测请求、人脸活体检测请求、人脸关键点检测请求、人脸比对请求等。
37.步骤202,分别确定图像处理请求所对应的检测特征。
38.在本实施例中,在基于上述步骤201中确定各图像处理请求后,基于各图像处理请求确定对应的检测特征,例如人脸检测请求对应的检测特征可以为人脸面部特征、五官特征等,人脸关键点检测请求对应的五官特征等。
39.步骤203,构建用于提取检测特征的特征提取层。
40.在本实施例中,基于上述步骤202中确定检测特征后,构建多个不同的检测特征的特征提取层,即该构建出的特征提取层可同时用于提取多个检测特征,其中,该特征提取层通常可参照残差网络(residual network,简称resnet)、轻量化网络(mobilenet)等构架进行构建。
41.在实践中,在确定各检测特征后,若各检测特征无法基于同一特征提取层同时进行提取,则可对各检测特征进行分组,以通过将可利用同一特征检测层进行特征提取的各检测特征归为同一组、构建同一特征提取层。
42.步骤204,获取与图像处理请求所对应的特征处理层。
43.在本实施例中,获取对应各图像处理请求的特征处理层,特征处理层与图像处理请求相对应,用于处理对应的检测特征,以实现对应的图像处理请求目的。
44.步骤205,封装特征提取层及特征处理层,得到初始模型。
45.在本实施例中,获取基于步骤203中构建得到的特征提取层,以及步骤204中的特征处理层后,进行封装,得到初始模型。
46.步骤206,利用附加有结果标签的样本图像训练该初始模型,得到目标图像处理模型。
47.在本实施例中,在基于上述步骤205中得到初始模型后,基于各图像处理请求获取对应的、附加有结果标签的样本图像,例如在对应图像处理请求为人脸检测请求时,该样本图像可以为带有“人脸图像”、“非人脸图像”一类结果标签的样本图像,利用附加有对应各图像处理请求的结果标签的样本图像对初始模型进行训练,以得到最终的目标图像处理模型,该目标图像处理模型具有对应各图像处理请求的图像处理能力。
48.本公开实施例提供的图像处理模型的训练方法,可通过构建用于提供各检测特征的提取层的方式,对不同请求下所需的特征进行提取,实现对应各处理请求的处理模型中无需再单独的构建特征提取层的目的,以使得最终得到的图像处理模型在满足多图像处理请求的同时,通过减少特征提取层数量的方式减少图像处理模型的规模,进而减少用于承载图像处理模型的存储空间。
49.在本实施例的一些可选的实现方式中,该方法还包括:将该特征提取层封装为可用于组成其他模型的第一特征提取单元。
50.具体的,在构建完成特征提取层后,还可将特征提取层独立进行封装,得到可用于组成其他模型的第一特征提取单元,以便于后续直接通过调取该第一特征提取单元的方式得到对应的特征提取层,获取可用于提取与构建该特征提取层时所针对的图像处理请求对应的检测特征的特征提取层,即通过复用的方式避免针对相同的特征提取层重复构建,使得后续构建、训练图像处理模型时,直接插入该第一特征提取单元,节省构建资源的同时提升后续训练、生成图像处理模型时的效率。
51.实践中,还可单独将该第一特征提取单元构建成特征提取模型,以便于利用该特征提取模型直接实现不同种类的检测特征的提取。
52.在本实施例的一些可选的实现方式中,该方法还包括:为该第一特征提取单元添加该特征提取单元所支持的图像处理请求的标签信息;将带有该标签信息的第一特征提取单元存入预先配置的特征提取单元数据库。
53.具体的,进一步在将特征提取层封装为第一特征提取单元后,还可基于该特征提取层(第一特征提取单元)所支持的图像处理请求生成标签信息,并为该第一特征提取单元添加该标签信息后,将带有标签信息的第一特征提取单元存入预先配置的特征提取单元数据库,以便于后续基于该标签信息从特征提取单元数据库中,提取与本次训练图像处理模型时所对应的图像处理请求的第一特征提取单元,更好的实现第一特征提取单元的存储、复用。
54.请参考图3,图3为本公开实施例提供的一种图像处理模型的训练方法,其中在图2实施例的基础上,在存在有特征提取单元数据库的情况下,如何完成图像处理模型的训练,即在存在有特征提取单元数据库的情况下,对上述图2所示的流程200中的步骤203进行改进的一种实现方式,流程200中的其它步骤并不做调整,也将本实施例所提供的具体实现方式以替换步骤203的方式得到一个新的完整实施例。其中流程300包括以下步骤:
55.步骤301,基于检测特征从特征提取单元数据库中提取对应的第二特征提取单元。
56.在本实施例中,确定各检测特征后,基于检测特征从特征提取单元数据库中提取对应第一特征提取单元后,将该第一特征提取单元确定为第二特征提取单元,其中,该特征提取单元数据中的对应第一特征提取单元带有相应的标签信息,该标签信息中记录有对应的第一特征提取单元可实现的图像处理请求与本次的各检测特征相对应,例如检测特征为人脸面部特征、五官特征、活体特征,则该标签信息中所能实现的图像处理请求至少包括上述三个检测特征。
57.实践中,在存在多个标签信息中记载内容均能实现图像处理时,优选除所请求的图像处理请求之外,所包括的非本次训练图像处理模型所请求的图像处理请求最少的特征提取单元,以进一步减少最后构筑得到的图像处理模型的规模。
58.步骤302,将该第二特征提取单元作为特征提取层。
59.在本实施例中,将基于上述步骤301中提取到的第二特征提取单元作为用于封装得到初始模型的特征提取层。
60.在本实施例的一些可选的实现方式中,该方法还包括:在该数据库中不存在支持所有种类的图像处理请求的第一特征提取单元的情况下,该第二特征提取单元为该第一特征提取单元中支持图像处理请求数量最多的特征提取单元。
61.具体的,在特征提取单元数据库中不存在支持本次所请求的所有种类的图像处理请求的第一特征提取单元时,获取该特征提取单元数据库中各第一特征提取单元对于本次的图像处理请求中,所能支持的图像处理请求的数量,将支持图像处理请求数量最多的第一特征提取单元确定为第二特征提取单元,以便于基于现有的第一特征提取单元最大程度的减少图像处理模型的规模。
62.进一步的,还可基于该目标特征提取单元无法实现的图像处理请求生成反馈信息,以便于利用该反馈信息对无法实现的图像处理请求进行反馈,以便于图像处理模型的配置方针对无法实现的图像处理请求进行二次配置,该二次配置的方式通常包括,针对无法实现的图像处理请求单独的配置特征提取层或基于该无法实现的图像处理请求所对应的检测特征,对该提取处的第二特征提取单元进行优化。
63.上述各实施例从各个方面阐述了如何训练得到图像处理模型,为了尽可能的从实际使用场景突出训练出的图像处理模型所起到的效果,本公开还具体提供了一种使用训练好的图像处理模型来解决实际问题的方案,一种图像处理方法包括如下步骤:
64.获取用户上传的原始图像及图像处理请求,其中该图像处理请求通常为针对至少两个不同种类的图像处理请求,例如人脸图像检测请求、人脸活体检测请求、人脸关键点检测请求、人脸比对请求等中的至少两种;
65.然后,基于用户的图像处理请求调用图像处理模型,该图像处理模型的特征提取层可用于提取不同种类的图像处理请求对应的检测特征,该图像处理模型可基于上述图2、图3实施例中任一实现方式训练得到,此处不再重复进行说明。
66.最后,利用该图像处理模型处理该原始图像,生成与图像处理请求对应的图像处理结果。
67.为加深理解,本公开还结合一个具体应用场景,给出了一种具体的包括图像处理模型的训练方法、图像处理方法的实现方案,可如图4中所示的流程400所示,具体如下:
68.获取用户传入的原始图像,以及图像处理请求(人脸图像检测请求、人脸活体检测请求、人脸关键点检测请求)后,进行该图像处理模型的构建。
69.分别确定人脸图像检测请求、人脸活体检测请求、人脸关键点检测请求所对应的检测特征后,基于各检测特征从特征提取单元数据库中提取对应的第二特征提取单元a。
70.将该第二特征提取单元a作为特征提取层后,获取与人脸图像检测请求、人脸活体检测请求、人脸关键点检测请求各自所对应的特征处理层,然后封装第二特征提取层a及各特征处理层后得到初始模型。
71.利用附加有结果标签的样本图像训练该初始模型,得到(目标)图像处理模型。
72.最后,利用该图像处理模型对用户传入的原始图像进行处理,得到人脸图像检测结果、人脸活体检测结果、人脸关键点检测结果。
73.进一步参考图5和图6,作为对上述各图所示方法的实现,本公开分别提供了一种图像处理模型的训练装置实施例和一种图像处理装置的实施例,图像处理模型的训练装置实施例与图2所示的图像处理模型的训练方法实施例相对应,图像处理装置实施例与图像处理方法实施例相对应。上述装置具体可以应用于各种电子设备中。
74.如图5所示,本实施例的图像处理模型的训练装置500可以包括:处理请求获取模块501、检测特征确定模块502、特征提取层构建模块503、特征处理层获取模块504、初始模型封装模块505和目标模型生成模块506。其中,处理请求获取模块501,被配置成获取针对至少两个不同种类的图像处理请求;检测特征确定模块502,被配置成确定该图像处理请求对应的检测特征;特征提取层构建模块503,被配置成构建用于提取该检测特征的特征提取层;特征处理层获取模块504,被配置成获取与该图像处理请求对应的特征处理层;初始模型封装模块505,被配置成封装该特征提取层及该特征处理层,得到初始模型;目标模型生成模块506,被配置成利用附加有结果标签的样本图像训练该初始模型,得到目标图像处理模型。
75.在本实施例中,图像处理模型的训练装置500中:处理请求获取模块501、检测特征确定模块502、特征提取层构建模块503、特征处理层获取模块504、初始模型封装模块505和目标模型生成模块506的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-204的相关说明,在此不再赘述。
76.在本实施例的一些可选的实现方式中,该图像处理模型的训练装置500,还包括:特征提取层封装模块,被配置成将该特征提取层封装为可用于组成其他模型的第一特征提取单元。
77.在本实施例的一些可选的实现方式中,该图像处理模型的训练装置500,还包括:标签添加模块,被配置成为该第一特征提取单元添加该特征提取单元所支持的图像处理请求的标签信息;数据库存入模块,被配置成将带有该标签信息的第一特征提取单元存入预先配置的特征提取单元数据库。
78.在本实施例的一些可选的实现方式中,该特征提取层构建模块503,包括:特征提取单元提取子模块,被配置成基于该检测特征从该特征提取单元数据库中提取对应的第二特征提取单元;特征提取层构建子模块,被配置成将该第二特征提取单元作为该特征提取层。
79.在本实施例的一些可选的实现方式中,该特征提取单元提取子模块还包括:在该数据库中不存在支持所有种类的图像处理请求的第一特征提取单元的情况下,该第二特征提取单元为该第一特征提取单元中支持图像处理请求数量最多的特征提取单元。
80.在本实施例的一些可选的实现方式中,该图像处理模型的训练装置500中,该图像处理请求包括以下中的至少两种:人脸图像检测请求、人脸关键点检测请求、人脸活体检测请求。
81.如图7所示,本实施例的图像处理装置600可以包括:待处理图像及请求获取模块601、模型调用模块602和图像处理模块603。其中,待处理图像及请求获取模块601,被配置成获取用户上传的原始图像及图像处理请求;模型调用模块602,被配置成基于该图像处理请求调用图像处理模型;其中,该图像处理模型根据图像处理模型的训练装置500训练得到;图像处理模块603,利用该图像处理模型处理该原始图像,生成与图像处理请求对应的
图像处理结果。
82.在本实施例中,图像处理装置600中:待处理图像及请求获取模块601、模型调用模块602和图像处理模块603的具体处理及其所带来的技术效果可分别对应方法实施例中的相关说明,在此不再赘述。
83.本实施例作为对应于上述方法实施例的装置实施例存在,本实施例提供的图像处理模型的训练装置以及图像处理装置,可通过构建用于提供各检测特征的提取层的方式,对不同请求下所需的特征进行提取,实现对应各处理请求的处理模型中无需再单独的构建特征提取层的目的,以使得最终得到的图像处理模型在满足多图像处理请求的同时,通过减少特征提取层数量的方式减少图像处理模型的规模,进而减少用于承载图像处理模型的存储空间。
84.根据本公开的实施例,本公开还提供了一种电子设备,该电子设备包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,该指令被至少一个处理器执行,以使至少一个处理器执行时能够实现上述任一实施例描述的图像处理模型的训练方法和/或图像处理方法。
85.根据本公开的实施例,本公开还提供了一种可读存储介质,该可读存储介质存储有计算机指令,该计算机指令用于使计算机执行时能够实现上述任一实施例描述的图像处理模型的训练方法和/或图像处理方法。
86.本公开实施例提供了一种计算机程序产品,该计算机程序在被处理器执行时能够实现上述任一实施例描述的图像处理模型的训练方法和/或图像处理方法。
87.图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
88.如图7所示,设备700包括计算单元701,其可以根据存储在只读存储器(rom)702中的计算机程序或者从存储单元708加载到随机访问存储器(ram)703中的计算机程序,来执行各种适当的动作和处理。在ram 703中,还可存储设备700操作所需的各种程序和数据。计算单元701、rom 702以及ram 703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。
89.设备700中的多个部件连接至i/o接口705,包括:输入单元706,例如键盘、鼠标等;输出单元707,例如各种类型的显示器、扬声器等;存储单元708,例如磁盘、光盘等;以及通信单元709,例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
90.计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理,例如图像处理模型的训练方法和/或图像处理方法。例如,在一些实施例中,图像处理模型
的训练方法和/或图像处理方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元708。在一些实施例中,计算机程序的部分或者全部可以经由rom 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到ram 703并由计算单元701执行时,可以执行上文描述的图像处理模型的训练方法和/或图像处理方法的一个或多个步骤。备选地,在其他实施例中,计算单元701可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行图像处理模型的训练方法和/或图像处理方法。
91.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
92.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
93.在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
94.为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,crt(阴极射线管)或者lcd(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
95.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网
(lan)、广域网(wan)和互联网。
96.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决传统物理主机与虚拟专用服务器(vps,virtual private server)服务中存在的管理难度大,业务扩展性弱的缺陷。
97.本公开实施例的技术方案,可通过构建用于提供各检测特征的提取层的方式,对不同请求下所需的特征进行提取,实现对应各处理请求的处理模型中无需再单独的构建特征提取层的目的,以使得最终得到的图像处理模型在满足多图像处理请求的同时,通过减少特征提取层数量的方式减少图像处理模型的规模。
98.应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
99.上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。

技术特征:
1.一种图像处理模型的训练方法,包括:获取针对至少两个不同种类的图像处理请求;确定所述图像处理请求对应的检测特征;构建用于提取所述检测特征的特征提取层;获取与所述图像处理请求对应的特征处理层;封装所述特征提取层及所述特征处理层,得到初始模型;利用附加有结果标签的样本图像训练所述初始模型,得到目标图像处理模型。2.根据权利要求1所述的方法,所述方法还包括:将所述特征提取层封装为可用于组成其他模型的第一特征提取单元。3.根据权利要求2所述的方法,所述方法还包括:为所述第一特征提取单元添加所述特征提取单元所支持的图像处理请求的标签信息;将带有所述标签信息的第一特征提取单元存入预先配置的特征提取单元数据库。4.根据权利要求3所述的方法,其中,所述构建用于提取所述检测特征的特征提取层,包括:基于所述检测特征从所述特征提取单元数据库中提取对应的第二特征提取单元;将所述第二特征提取单元作为所述特征提取层。5.根据权利要求4所述的方法,所述方法还包括:在所述数据库中不存在支持所有种类的图像处理请求的第一特征提取单元的情况下,所述第二特征提取单元为所述第一特征提取单元中支持图像处理请求数量最多的特征提取单元。6.根据权利要求1所述的方法,其中,所述图像处理请求包括以下中的至少两种:人脸图像检测请求、人脸关键点检测请求、人脸活体检测请求。7.一种图像处理方法,包括:获取用户上传的原始图像及图像处理请求;基于所述图像处理请求调用图像处理模型;其中,所述图像处理模型根据权利要求1-6中任一项所述的图像处理模型的训练方法得到;利用所述图像处理模型处理所述原始图像,生成与所述图像处理请求对应的图像处理结果。8.一种图像处理模型的训练装置,包括:处理请求获取模块,被配置成获取针对至少两个不同种类的图像处理请求;检测特征确定模块,被配置成确定所述图像处理请求对应的检测特征;特征提取层构建模块,被配置成构建用于提取所述检测特征的特征提取层;特征处理层获取模块,被配置成获取与所述图像处理请求对应的特征处理层;初始模型封装模块,被配置成封装所述特征提取层及所述特征处理层,得到初始模型;目标模型生成模块,被配置成利用附加有结果标签的样本图像训练所述初始模型,得到目标图像处理模型。9.根据权利要求8所述的装置,所述装置还包括:特征提取层封装模块,被配置成将所述特征提取层封装为可用于组成其他模型的第一特征提取单元。
10.根据权利要求9所述的装置,所述装置还包括:标签添加模块,被配置成为所述第一特征提取单元添加所述特征提取单元所支持的图像处理请求的标签信息;数据库存入模块,被配置成将带有所述标签信息的第一特征提取单元存入预先配置的特征提取单元数据库。11.根据权利要求10所述的装置,其中,所述特征提取层构建模块,包括:特征提取单元提取子模块,被配置成基于所述检测特征从所述特征提取单元数据库中提取对应的第二特征提取单元;特征提取层构建子模块,被配置成将所述第二特征提取单元作为所述特征提取层。12.根据权利要求11所述的装置,所述特征提取单元提取子模块还包括:在所述数据库中不存在支持所有种类的图像处理请求的第一特征提取单元的情况下,所述第二特征提取单元为所述第一特征提取单元中支持图像处理请求数量最多的特征提取单元。13.根据权利要求7所述的装置,其中,所述图像处理请求包括以下中的至少两种:人脸图像检测请求、人脸关键点检测请求、人脸活体检测请求。14.一种图像处理装置,包括:待处理图像及请求获取模块,被配置成获取用户上传的原始图像及图像处理请求;模型调用模块,被配置成基于所述图像处理请求调用图像处理模型;其中,所述图像处理模型根据权利要求8-13中任一项所述的图像处理模型的训练装置得到;图像处理模块,利用所述图像处理模型处理所述原始图像,生成与所述图像处理请求对应的图像处理结果。15.一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-6中任一项所述的图像处理模型的训练方法和/或权利要求7所述的图像处理方法。16.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的图像处理模型的训练方法和/或权利要求7所述的图像处理方法。17.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的图像处理模型的训练方法和/或权利要求7所述的图像处理方法。

技术总结
本公开提供了一种图像处理模型的训练、图像处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品,涉及人工智能技术领域,具体为深度学习、图像处理、计算机视觉技术领域。该方法的一具体实施方式包括:获取针对至少两个不同种类的图像处理请求,确定图像处理请求对应的检测特征,构建用于提取检测特征的特征提取层,获取与图像处理请求对应的特征处理层,封装该特征提取层及各特征处理层后得到初始模型,并利用附加有结果标签的样本图像训练该初始模型,得到目标图像处理模型。以该实施方式训练得到图像处理模型,可在仍满足多种图像处理请求的同时,减少图像处理模型的规模,进而减少用于承载图像处理模型的存储空间。间。间。


技术研发人员:杨尊程
受保护的技术使用者:北京百度网讯科技有限公司
技术研发日:2022.06.29
技术公布日:2022/11/1
转载请注明原文地址: https://tieba.8miu.com/read-10409.html

最新回复(0)