本发明涉及金融领域、医疗领域和人工智能,尤其是涉及一种微表情识别模型构建方法、微表情识别方法及相关装置。
背景技术:
1、微表情识别在金融和医疗领域的应用具有显著的潜力和实际价值。在金融领域,微表情放大技术可以作为商务谈判或合同面签过程中的一个辅助工具。在医疗领域,医务人员可以利用这项技术来识别受试者不易察觉的微妙表情变化,作为这些变化可以是反映心理状态变化的重要指标。
2、相关技术中,为了在金融、医疗这些实际应用场景中有更好的表现,需要对微表情识别模型进行预先训练。在此过程中,由于实际应用场景的微表情具有短暂且幅度小的特点,因此预先采集一个可靠的微表情数据集用于训练微表情识别模型是十分困难的。受限于此,如何构建在金融、医疗等实际应用场景中能够达到更高准确度的微表情识别模型,仍然是业内亟待解决的问题。
技术实现思路
1、本发明旨在至少解决现有技术中存在的技术问题之一。为此,本发明提出一种微表情识别模型构建方法、微表情识别方法及相关装置,能够训练一个在金融、医疗等实际应用场景中能够达到更高准确度的微表情识别模型。
2、根据本发明的第一方面实施例的微表情识别模型构建方法,包括:
3、获取微表情样本帧序列和表情解析网络;其中,所述微表情样本帧序列包括中性帧和顶帧,所述表情解析网络用于提取图像的微表情信息;
4、将所述中性帧输入经过特征提取训练的所述图像特征提取网络进行特征提取,得到样本中性特征;
5、基于所述样本中性特征和所述顶帧对原始的微表情放大网络进行图像生成训练,得到经过图像生成训练的所述微表情放大网络;
6、将经过特征提取训练的所述图像特征提取网络、经过图像生成训练的所述微表情放大网络以及所述表情解析网络进行耦合,构建得到所述微表情识别模型。
7、根据本发明实施例的微表情识别模型构建方法,至少具有如下有益效果:
8、本发明实施例的微表情识别模型构建方法,需要先获取微表情样本帧序列和表情解析网络;其中,微表情样本帧序列包括中性帧和顶帧;将中性帧输入经过特征提取训练的图像特征提取网络进行特征提取,得到样本中性特征;基于样本中性特征和顶帧对原始的微表情放大网络进行图像生成训练,得到经过图像生成训练的微表情放大网络;将经过特征提取训练的图像特征提取网络、经过图像生成训练的微表情放大网络以及表情解析网络进行耦合,构建得到微表情识别模型。如此一来,便能够训练一个在金融、医疗等实际应用场景中能够达到更高准确度的微表情识别模型。
9、根据本发明的一些实施例,所述微表情放大网络包括放大图像生成模块,所述基于所述样本中性特征和所述顶帧对原始的微表情放大网络进行图像生成训练,得到经过图像生成训练的所述微表情放大网络,包括:
10、获取对应于所述中性帧的放大倍数编码和原始的所述微表情放大网络;
11、将所述样本中性特征和所述放大倍数编码输入放大图像生成模块进行图像生成,得到中性帧放大图像;
12、基于所述顶帧对所述中性帧放大图像进行微表情鉴别,得到微表情鉴别结果和微表情偏差参数;
13、基于所述微表情偏差参数对所述放大图像生成模块的模型参数进行调整,返回执行将所述样本中性特征和所述放大倍数编码输入放大图像生成模块进行图像生成,直至所述微表情放大网络满足第一预设条件,得到经过图像生成训练的所述微表情放大网络。
14、根据本发明的一些实施例,所述微表情放大网络还包括强度控制模块,所述获取对应于所述中性帧的放大倍数编码,包括:
15、获取放大倍数因子;
16、将所述放大倍数因子输入所述强度控制模块,以使所述强度控制模块根据所述放大倍数因子确定所述放大倍数编码。
17、根据本发明的一些实施例,在所述将所述放大倍数因子输入所述强度控制模块,以使所述强度控制模块根据所述放大倍数因子确定所述放大倍数编码之前,还包括
18、获取随机噪声;
19、所述将所述放大倍数因子输入所述强度控制模块,以使所述强度控制模块根据所述放大倍数因子确定所述放大倍数编码,包括:
20、将所述随机噪声与所述放大倍数因子输入所述强度控制模块,以使所述强度控制模块根据所述放大倍数因子与所述随机噪声确定所述放大倍数编码。
21、根据本发明的一些实施例,所述基于所述微表情偏差参数对所述放大图像生成模块的模型参数进行调整,返回执行将所述样本中性特征和所述放大倍数编码输入放大图像生成模块进行图像生成,直至所述微表情放大网络满足第一预设条件,得到经过图像生成训练的所述微表情放大网络,包括;
22、基于所述微表情偏差参数对所述放大图像生成模块的模型参数进行第一调整,并对所述强度控制模块的模型参数进行第二调整;
23、在所述第一调整与所述第二调整之后,返回执行将所述样本中性特征和所述放大倍数编码输入放大图像生成模块进行图像生成,直至所述微表情放大网络满足第一预设条件,得到经过图像生成训练的所述微表情放大网络。
24、根据本发明的一些实施例,所述微表情样本帧序列中包括多张所述中性帧,所述获取放大倍数因子,包括:
25、获取匹配于每一所述中性帧的所述放大倍数因子;
26、所述将所述放大倍数因子输入所述强度控制模块,以使所述强度控制模块根据所述放大倍数因子确定所述放大倍数编码,包括:
27、将每一所述中性帧对应的所述放大倍数因子依次输入所述强度控制模块,以使所述强度控制模块根据各所述中性帧对应的所述放大倍数因子,确定各所述中性帧对应的所述放大倍数编码。
28、根据本发明的一些实施例,在所述将所述中性帧输入经过特征提取训练的所述图像特征提取网络进行特征提取,得到样本中性特征之前,还包括对所述图像特征提取网络进行特征提取训练,具体包括:
29、获取特征提取训练图像和原始的所述图像特征提取网络;
30、将所述特征提取训练图像输入所述图像特征提取网络进行图像特征提取,得到图像训练特征;
31、将所述特征提取训练图像输入预先训练的图像编码网络进行先验特征提取,得到图像先验特征;
32、基于所述图像先验特征对所述图像训练特征进行特征分布鉴别,得到特征分布鉴别结果和特征偏差参数;
33、基于所述特征偏差参数对所述图像特征提取网络的模型参数进行调整,返回执行将所述特征提取训练图像输入图像特征提取网络进行图像特征提取,直至所述图像特征提取网络满足第二预设条件,对所述图像特征提取网络进行参数冻结,得到经过特征提取训练的所述图像特征提取网络。
34、根据本发明的第二方面实施例的微表情识别方法,包括:
35、获取微表情识别帧;
36、将所述微表情识别帧输入微表情识别模型,所述微表情识别模型由经过特征提取训练的所述图像特征提取网络、经过图像生成训练的所述微表情放大网络以及所述表情解析网络耦合而成;其中,所述微表情识别模型经由第一方面实施例所述的微表情识别模型构建方法构建得到;
37、通过经过特征提取训练的所述图像特征提取网络对所述微表情识别帧进行特征提取,得到微表情识别特征;
38、将所述微表情识别特征输入经过图像生成训练的所述微表情放大网络进行微表情放大处理,得到微表情放大图像;
39、基于所述表情解析网络对所述微表情放大图像进行表情解析,得到微表情识别结果。
40、根据本发明实施例的微表情识别方法,至少具有如下有益效果:
41、本技术实施例的微表情识别方法,需要先获取微表情识别帧;将微表情识别帧输入微表情识别模型,微表情识别模型由经过特征提取训练的图像特征提取网络、经过图像生成训练的微表情放大网络以及表情解析网络耦合而成;其中,微表情识别模型经由第一方面实施例的微表情识别模型构建方法构建得到;通过经过特征提取训练的图像特征提取网络对微表情识别帧进行特征提取,得到微表情识别特征;将微表情识别特征输入经过图像生成训练的微表情放大网络进行微表情放大处理,得到微表情放大图像;基于表情解析网络对微表情放大图像进行表情解析,得到微表情识别结果。由于微表情识别模型经由第一方面实施例的微表情识别模型构建方法构建得到,因此微表情识别模型能够胜任在在金融、医疗等实际应用场景中达到更高的准确度,在此基础上将微表情识别模型应用于处理微表情识别帧,能够得到准确度更高的微表情识别结果。
42、第三方面,本发明实施例提供了一种电子设备,包括:存储器、处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如本发明第一方面实施例中任意一项所述的微表情识别方法,或者,如本发明第二方面实施例中所述的微表情识别方法。
43、第四方面,本发明实施例提供了一种计算机可读存储介质,所述存储介质存储有程序,所述程序被处理器执行实现如本发明第一方面实施例中任意一项所述的微表情识别方法,或者,如本发明第二方面实施例中所述的微表情识别方法。
44、本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
1.一种微表情识别模型构建方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述微表情放大网络包括放大图像生成模块,所述基于所述样本中性特征和所述顶帧对原始的微表情放大网络进行图像生成训练,得到经过图像生成训练的所述微表情放大网络,包括:
3.根据权利要求2所述的方法,其特征在于,所述微表情放大网络还包括强度控制模块,所述获取对应于所述中性帧的放大倍数编码,包括:
4.根据权利要求3所述的方法,其特征在于,在所述将所述放大倍数因子输入所述强度控制模块,以使所述强度控制模块根据所述放大倍数因子确定所述放大倍数编码之前,还包括
5.根据权利要求3或4所述的方法,其特征在于,所述基于所述微表情偏差参数对所述放大图像生成模块的模型参数进行调整,返回执行将所述样本中性特征和所述放大倍数编码输入放大图像生成模块进行图像生成,直至所述微表情放大网络满足第一预设条件,得到经过图像生成训练的所述微表情放大网络,包括;
6.根据权利要求3所述的方法,其特征在于,所述微表情样本帧序列中包括多张所述中性帧,所述获取放大倍数因子,包括:
7.根据权利要求1所述的方法,其特征在于,在所述将所述中性帧输入经过特征提取训练的所述图像特征提取网络进行特征提取,得到样本中性特征之前,还包括对所述图像特征提取网络进行特征提取训练,具体包括:
8.一种微表情识别方法,其特征在于,包括:
9.一种电子设备,其特征在于,包括:存储器、处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的微表情识别模型构建方法,或者,如权利要求8所述的微表情识别方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质存储有程序,所述程序被处理器执行实现如权利要求1至7中任意一项所述的微表情识别模型构建方法,或者,如权利要求8所述的微表情识别方法。
