本发明涉及一种基于多时态信息熵跨时域的微表情识别方法，其重点建模微表情不同尺度的特征，属于深度学习和模式识别。
背景技术：
1、尽管我们生活在科技不断进步的时代，语言仍然是人们最主要的交流方式。然而，当沟通双方使用不同语言时，观察对方的面部表情可能是获取准确沟通信息的重要途径之一。因此，表情识别在医学监测、教育评估、情感计算、疲劳驾驶监测等多个领域都有广泛的应用。例如，在医学领域，通过观察患者的面部表情，医生可以初步推断患者是否处于疼痛状态；教师可以通过学生的面部表情特征来评估学生对当前知识的理解程度；在驾驶过程中，可以通过驾驶员的面部表情来判断其是否处于疲劳状态。这些应用使得表情识别成为计算机视觉和人机交互领域的研究热点。
2、然而，当人们试图掩饰真实情绪时，常规的面部表情可能失去了作用。微表情作为一种自发且持续时间极短的面部表情，由于其无法被自主意识控制的特性，更能反映出真实情感，可以更好地理解和捕捉人类的情绪。在医疗保健领域，医生可以更准确地判断病人是否感受到疼痛。
3、尽管微表情可以提供更准确有效的信息，但由于其固有特性，人类肉眼无法有效识别，只有经过专业训练的专家才能准确辨识微表情。此外，通过肉眼识别微表情是一项耗时且容易出错的过程。因此，开发基于计算机视觉的微表情识别系统具有重要意义。近年来，微表情识别领域取得了显著的研究进展，涵盖了传统机器学习和深度学习两大方向。
4、在基于传统机器学习方面，研究者广泛使用局部二值模式(lbp)作为经典的纹理特征来进行微表情识别。其中，pfister等人引入了基于三个正交平面的lbp算法(lbp-top)，并结合多核支持向量机，成功实现了对自然微表情的识别。此外，huang等人在积分投影的基础上提出了时空局部二值模式(stlbp)，解决了时空特征在微表情识别中的问题。光流法也是微表情识别中常用的方法之一。xu等人使用面部动态地图来表征微表情的运动，通过像素级对齐算法实现时空长方体的划分。此外，liong等人提出了双加权定向光流方法，用于编码微表情的基本表达特征。
5、随着深度学习技术的发展，基于的微表情识别方法得到了广泛关注。patel等人首次将深度学习与微表情识别结合，通过卷积神经网络进行面部表情迁移学习，以减少深层特征对微表情识别的干扰。peng等人设计了双流网络(dtscnn)，通过两个不同时间尺度的卷积神经网络，提取微表情视频片段的空间和时间特征。除了cnn，lstm等网络被广泛应用于微表情的时空建模。hochreiter等人提出了基于长短期记忆循环神经网络(lstm)的特征表示方法，用于捕获微表情序列中的动作流。另外，li等人提出了基于3d流的卷积神经网络(3d cnn)，用于获取微表情产生的精细动作流，并应用于视频微表情识别领域。
6、近年来，迁移学习在微表情识别中的应用越来越受到关注。zong等人研究了跨数据库的微表情识别，提出了域再生框架以解决不同数据集之间的特征分布不一致问题。jia等人提出了一种转换模型，从宏观到微观的学习转换，应用于微表情特征提取和识别。
7、目前，主流的微表情识别模型通常基于长时间间隔的微表情运动特性，以突出微表情的细微特征，但却难以有效建模微表情连续短暂的瞬时特性。缺乏时域特性的建模阻碍了微表情识别模型的研究和发展。
技术实现思路
1、针对现有技术的不足，本发明提出了一种基于多时态信息熵跨时域的微表情识别方法。本发明分别为对长间隔时域微表情运动特性建模残差网络，对短间隔时域微表情连续帧建模非对称自编码器网络，以及对长短时域进行联合筛选的脉冲时域矩阵。通过对多时态微表情信息的提取与融合，完整的建模对识别有意义的特征分布。
2、发明概述：
3、一种基于多时态信息熵跨时域的微表情识别方法，包括数据集预处理、对长间隔时域微表情运动特性建模残差网络、对短间隔时域微表情连续帧建模非对称自编码器网络和对长短时域进行联合筛选的脉冲时域矩阵。
4、本发明解决的技术问题为：微表情的细微性和瞬时性是与其他视频识别任务不同的独特特征。当前主流的微表情识别模型通常基于长时间间隔的微表情运动特性，着重突出微表情的微妙特征，但却难以有效地建模微表情连续短暂的瞬时特性。缺乏时域特性的建模阻碍了微表情识别模型的研究和发展。
5、针对上述技术问题，本发明提出了一种基于多时态信息熵跨时域的微表情识别方法，旨在全面建模微表情在不同尺度上的特征。首先，引入非对称变分自编码器，通过生成方式对微表情短时域特征分布进行无监督建模，克服了微表情瞬时特性难以捕获的问题。其次，设计时域脉冲矩阵，利用脉冲神经元构建新的时域空间，融合和筛选两个不同时态的微表情特征，确保模型有效提取特征。最后，提出自适应阈值函数，基于特征图互信息熵设计激活阈值，增强模型对不同数据集、样本和尺度特征的自适应选择能力。
6、术语解释：
7、1、dlib视觉库：dlib是一个包含机器学习算法的c++开源工具包。dlib可以帮助创建很多复杂的机器学习方面的软件来帮助解决实际问题。目前dlib已经被广泛的用在行业和学术领域，包括机器人，嵌入式设备，移动电话和大型高性能计算环境。
8、2、面部68个关键特征点，面部68个关键特征点主要分布于眉毛，眼睛，鼻子，嘴巴以及面部轮廓，如图1所示，通过dlib视觉库来检测，为现有技术。
9、3、损失函数：损失函数是用来评估模型的预测值与真实值的不一致程度，损失函数越小，代表模型的鲁棒性越好，损失函数能指导模型学习。
10、4、卷积残差网络resnet：是一种深度学习模型，最初由何恺明等人在2015年提出，其各类变体被广泛应用到视频分类和行为识别领域。
11、5、vae模型：变分自编码器variational autoencoders(vae)：是一种生成模型，最初由kingma和welling在2013年提出，它是一种基于神经网络的概率模型，旨在学习数据的潜在表示并生成新的数据样本。
12、6、脉冲神经元：脉冲神经元为一种旨在更加贴近生物神经元行为的神经元模型，与传统的人工神经网络中使用的神经元模型相比，脉冲神经元能够处理和生成时间上离散的信号。
13、7、信息熵：是信息理论中的重要概念，用于衡量随机变量的不确定性或信息量。它由香农在1948年提出，被广泛应用于通信、数据压缩、密码学等领域。
14、8、lstm网络，请解释补充；长短期记忆网络long short-term memory networks(lstm)：是一种递归神经网络(rnn)的变体，最初由sepp hochreiter和jürgenschmidhuber在1997年提出，其各类变体被广泛应用于时间序列预测和自然语言处理领域。
15、本发明的技术方案如下：
16、一种基于多时态信息熵跨时域的微表情识别方法，包括：
17、a、对微表情视频进行预处理，包括：获取视频帧序列、人脸检测与定位、人脸对齐；
18、b、从步骤a预处理后视频序列中挑出峰值帧与起始帧，并对峰值帧与起始帧进行像素差运算，得到面部关键帧差异,同时采样邻近顶峰帧的微表情帧集
19、c、构建长间隔时域微表情运动特性建模的残差网络，利用步骤b得到的面部关键帧差异，通过长时间域放大微表情变化的细微性，提取出细微且具有表征能力的运动模式特征并建模；
20、d、构建对短间隔时域微表情连续帧建模的非对称自编码器网络，输入微表情帧集重建峰值帧，编码极短时间尺度连续且细微的数据，增强其对时间维度信息的编码能力；
21、e、构造对长短时域进行联合筛选的脉冲时域矩阵模块，将微表情在长时间域上提取的特征和短时间域上提取的特征都映射到新的时域空间，进行统一的特征建模；
22、f、根据特征图互信息量自适应的计算脉冲阈值δ构造自适应函数，自适应地对不同样本和不同网络尺度下的长短时域的微表情表征产生新时域的脉冲信号；
23、g、模型训练，利用交叉熵损失、峰值帧重构损失、kl散度损失、分类损失对步骤c、d构建的长间隔时域微表情运动特性建模的残差网络、短间隔时域微表情连续帧建模的非对称自编码器网络进行迭代更新；
24、h、对待识别的微表情视频预处理后得到的面部关键帧差异,输入训练好的长间隔时域微表情运动特性建模的残差网络、输入微表情帧集至短间隔时域微表情连续帧建模的非对称自编码器网络，实现微表情分类识别。
25、根据本发明优选的，在步骤a中，对微表情视频进行预处理，包括：
26、1)获取视频帧序列：对微表情数据集中的视频样本进行分帧处理，得到连续的微表情视频帧，并按时间顺序保存；
27、2)人脸检测与定位：利用dlib视觉库对分离出的微表情视频帧进行人脸的检测与定位，得到所检测的微表情视频帧中人脸与图像边界之间的距离；
28、3)人脸对齐：利用步骤2)中得到的微表情视频帧中人脸与图像边界之间的距离，使用dlib视觉库确定微表情视频帧中人脸面部68个关键特征点，使用矩形框进行分割。
29、根据本发明优选的，在步骤a中，人脸对齐后进行人脸矫正。
30、根据本发明优选的，在步骤b中，面部关键帧差异定义为峰值帧xσ与起始帧x1之间的差像素差，如式(1)所示：
31、
32、同时以一定的时间范围，以周期性地采样邻近顶峰帧的微表情帧集如式(2)所示：
33、
34、式(2)中，xσ-△φ代表在峰值帧xσ的前帧，xσ+△φ代表在峰值帧xσ的后帧，xσ-φ和xσ+φ分别表示微表情帧集中帧的左边界和右边界。
35、根据本发明优选的，在步骤c中，构建长间隔时域微表情运动特性建模的残差网络，即：构建以resnet为骨架提取微表情在长时间域上特征的神经网络，通过比较顶峰帧xσ和起始帧x1之间的差异，突出显示细微的面部表情，利用步骤b得到的面部关键帧差异，通过长时间域放大微表情变化的细微性，提取出细微且具有表征能力的运动模式特征并建模；表示为式(3)：
36、
37、其中，残差块r(·)由参数γ进行表示；
38、通过长时间域放大微表情变化的细微性，提取出细微且具有表征能力的运动模式特征ym，h，w，c分别代表当前特征的长，宽，通道数，n代表残差块的数量。
39、根据本发明优选的，在步骤d中，构建对短间隔时域微表情连续帧建模的非对称自编码器网络，即使用变分自编码器建模在帧集合中连续且短期的复杂变化，包括编码器和解码器；l-编码器即编码器的基本单元包括lstm与最大池化层；输入微表情帧集建模帧之间连续且短期的复杂变化，重建峰值帧，编码极短时间尺度连续且细微的数据，增强对时间维度信息的编码能力；
40、在变分自编码器中，为l-编码器的输入，如公式(4)所示，为解码器的重构目标，如公式(5)所示；
41、
42、式(4)中，xσ-△φ代表在峰值帧xσ的前帧，xσ+△φ代表在峰值帧xσ的后帧，xσ-φ和xσ+φ分别表示微表情帧集中帧的左边界和右边界；式(5)中，xσ为当前微表情序列的峰值帧，对于每一个采样的微表情帧xσ±△φ，都期望生成当前微表情序列的峰值帧xσ；
43、l-编码器执行降采样并聚合表示连续时间变化的特征的过程如公式(6)至公式(8)所示：
44、
45、其中，表示带有参数φ的编码器e，包括lstm与最大池化层，输入是连续微表情的帧集ys代表编码器每层的输出，表示编码器第1层输出的特征，尺寸为h×w×c，表示编码器第n层输出的特征，尺寸为表示在给定输入的条件下，潜在变量z的近似后验分布，潜在变量z是通过编码器从输入数据中学习到的隐含表示，表示经过l-编码器后每一层的输出，表示在参数条件下潜在变量z的均值，表示在参数条件下潜在变量z的方差；
46、解码器使用转置卷积来进行上采样操作；解码器的重构目标为输入连续帧集合的缺失峰值帧xσ，整个过程如公式(9)所示：
47、x＝dψ(μ，log(σ2)) (9)
48、式(9)中，解码层由参数ψ构成，表示为dψ；x是带有参数的解码器，μ是潜变量的均值，log(σ2)是潜变量的对数方差；
49、提出的vae模型由损失函数l进行优化，如公式(10)所示：
50、lreap＝lr+lkl+ηlcls (10)
51、其中，第一项lr为重构峰值帧集合的重构损失，采用mse损失来进行重构，如公式(11)所示，其中，n为帧的数量，为第i个微表情序列的输入帧，是第i个微表情序列的峰值帧；第二项lkl是kullback-leibler散度，如公式(12)所示，其作用是利用重构均值μ与重构方差σ2来平滑约束重建过程；
52、
53、lcls为最终分类损失，η为缩放因子。
54、根据本发明优选的，在步骤e中，构造对长短时域进行联合筛选的脉冲时域矩阵模块，即：将长时间域和短时间域的特征进行拼接后输入脉冲神经元，脉冲神经元以脉冲形式传递信息，每个脉冲神经元的状态由其膜电位表示，当膜电位超过某个阈值时，神经元发放一个脉冲；其中，脉冲神经元被定义为公式(13)和公式(14)：
55、
56、公式(13)和公式(14)中，t和i分别表示步骤c中构建的长间隔时域微表情运动特性建模的残差网络和步骤d中构建的对短间隔时域微表情连续帧建模的非对称自编码器网络中的第tth时间步和第ith层；和表示两个时间域；表示输入电流i(t)随时间t的变化率，τsyn表示时间常数，τsyni(t)表示使用时间常数控制输入电流i(t)的衰减速度，表示第n层神经网络中第i个神经元和第j个神经元之间的权重，表示膜电位v(t)随时间t的变化率，τmem表示膜电位的时间常数，用来控制膜电位的衰减速度；公式(13)表示两个时间域上的特征通过权重沿时间步t进行转换；
57、在公式(14)中：v(t)是对应的膜电位，等于在不同时间步上不同微表情特征的累积量；因此，代表时间步t+1中的第ith层的脉冲信号；当膜电位v(t)达到脉冲阈值δ时，脉冲神经元将输出一个脉冲信号，即公式(15)中的脉冲值1，达不到阈值时，即输出为0，这表明这个位置持有相对更关键的微表情特征；公式(15)如下所示：
58、
59、通过脉冲时间域的处理，两个时域上的信息将被以脉冲的形式在一个新的时间域上展开；时间域的大小由脉冲神经元的时间步长t决定；
60、之后，将时域脉冲矩阵mts(temporal spiking matrix,tsm)按照公式(16)拼接，与原拼接特征图的大小相匹配，其中，mmotion表示微表情的长时域信息在新时间域上展开的值，mset表示微表情的短时域信息在新时间域上展开的值；cat(·)表示拼接操作，c表示通道数；此时的tsm代表整个特征图在两个时域空间中需要重点突出的区域以及需要忽略的冗余区域；
61、
62、最后，将来自长时域的特征图ym和短时域特征图ys拼接后与时域脉冲矩阵mts进行逐元素乘法，完成对不同时间尺度微表情特征的选择性整合，如公式(17)所示：
63、yf＝cat(ym，ys)·mts (17)
64、通过时域脉冲矩阵mts对特征进行过滤和凸出后，得到统一关键解向量并继续通过残差块rγ持续进行前向传播，获得用于最终微表情识别的表征，如公式(18)所示：
65、
66、其中，fcn表示全连接层，用于混合yf的通道并将尺寸对齐到残差块rγ，最后一项作为识别的基础，受分类损失函数式(19)约束，最终得到的统一表征以交叉熵损失进行网络的优化，其中fcn表示全连接层，代表对所有类别c进行求和，c表示类别的总数，当前样本属于第c类时，ytrue,c为1，否则为0；
67、
68、根据特征图互信息量自适应的计算脉冲阈值δ构造自适应函数，自适应地对不同样本和不同网络尺度下的长短时域的微表情表征产生新时域的脉冲信号。
69、根据本发明优选的，在步骤f中，根据特征图互信息量自适应的计算脉冲阈值δ构造自适应函数，自适应地对不同样本和不同网络尺度下的长短时域的微表情表征产生新时域的脉冲信号；包括：
70、首先，使用公式(20)和公式(21)推导出由步骤c构建的长间隔时域微表情运动特性建模的残差网络特征图和步骤d构建的对短间隔时域微表情连续帧建模的非对称自编码器网络特征图这两个特征图的互信息熵，代表长期和短期分布的共享信息量，公式(20)代表将这两个特征图在连续时域上时间点c处进行离散化(digitize)后得到的时间点d上的联合特征图；p(ys,ym)为从步骤c中构建的长间隔时域微表情运动特性建模的残差网络中提取的特征ys和从步骤d构建的对短间隔时域微表情连续帧建模的非对称自编码器网络中提取的特征ym的联合概率分布，公式(21)中，表示对离散后的特征图计算互信息熵；
71、
72、其中，长时域空间微表情特征与短时域空间微表情特征p(ys)和p(ym)分别为由步骤c构建的长间隔时域微表情运动特性建模的残差网络特征和步骤d构建的对短间隔时域微表情连续帧建模的非对称自编码器网络特征的边缘概率分布；
73、从公式(21)得到，如果要计算由步骤c构建的长间隔时域微表情运动特性建模的残差网络特征图和步骤d构建的对短间隔时域微表情连续帧建模的非对称自编码器网络特征图之间的互信息量，需要先计算p(ys,ym)及其ys，ym；
74、对于联合概率分布，需要构建列联表c[i,j]，如公式(22)所示：
75、c[ys＝i，ym＝j]＝count(ys＝i∩ym＝j) (22)
76、对于两个离散变量ym和ys，ym和ys是指离散化后的长时域空间微表情特征和短时域空间微表情特征，列联表c[i,j]表示变量ym在状态i和变量ys在状态j的联合出现频率；
77、据此，联合概率分布p(ys,ym)及边缘概率分布p(ys)，p(ym)分别由公式(23)与公式(24)得到：
78、
79、其中，n是数据中的总观测数；
80、在不同时间尺度上形状相同的微表情特征基于向量v被区分，向量v由公式(25)定义如下：
81、
82、公式(25)中，表示在离散的时间步d上计算由步骤c构建的长间隔时域微表情运动特性建模的残差网络特征图和步骤d构建的对短间隔时域微表情连续帧建模的非对称自编码器网络特征图之间的互信息量；
83、随后，基于向量v，采用sigmoid函数变体作为转换函数，用于转换得到的互信息熵，并获得脉冲神经元所需的可自适应变化的阈值，如公式(26)所示：
84、
85、公式(26)中，k表示缩放因子，用于限制自适应阈值的上下界；的变化将在[k,2k]范围内发生；代表自适应阈值，α和β是用于控制阈值变化速率和中心点的参数；
86、进一步优选的，分析α产生的影响，首先，令σ(x)函数替代sigmoid函数，如公式(27)所示：
87、
88、之后，对σ(x)函数进行一阶求导，如公式(28)所示,其导数为：
89、
90、最后，则对被α和β调整后的σ(x)函数σ(x|α,β)的一阶导数表示如公式(29)所示：
91、
92、据公式(29)得到，函数σ(x|α,β)的导数与α成正比，因此，随着α的增加，sigmoid函数在任意点的斜率增加，导致提出的自适应阈值函数变得更陡峭；
93、分析β对自适应阈值函数的影响；考虑调整后的sigmoid函数σ(x|α,β)，其在x＝β处的值如公式(30)所示：
94、σ(α×(β-β))＝σ(0)＝0.5 (30)
95、表明β实际上控制了自适应阈值函数的相位移动；式(31)为自适应阈值函数的最大值；
96、
97、通过将自适应阈值代入回公式(14)中的阈值δ，完成跨时域微表情特征在脉冲神经元所形成的新时域空间的映射；通过对每个样本重复此过程，利用多元时域空间，提取出具有不同关注点的关键分布用于微表情识别。
98、根据本发明优选的，对待识别的微表情视频预处理后得到的面部关键帧差异,输入训练好的长间隔时域微表情运动特性建模的残差网络、输入微表情帧集至短间隔时域微表情连续帧建模的非对称自编码器网络，实现微表情分类识别，包括：
99、首先，待识别的微表情视频预处理后被标注为峰值帧及起始帧，经过像素相差运算后得到运动特征；同时以一定的时间范围以周期性地采样邻近顶峰帧的微表情帧集；
100、之后，运动特征先按照步骤c通过长间隔时域微表情运动特性建模的残差网络，提取长时域空间特征，得到长间隔时域微表情运动特征图；再按照步骤d将微表情帧集输入非对称变分自编码器，先经过包括池化层和lstm网络的l-编码器，得到短时域微表情运动特征图，之后按照步骤e将两个特征图进行拼接以将两个特征图映射到新的时域空间，根据步骤f计算两个特征图的互信息熵值得到对于拼接后特征图上每个位置的阈值，再将阈值代回步骤e中，得到时域脉冲矩阵，将时域脉冲矩阵和拼接后的特征图相乘，得到最终特征，送入残差块中进行微表情的识别与分类。
101、本发明的有益效果在于：
102、1、为了克服微表情瞬时特性难以捕获的问题，本发明提出了一个非对称的变分自编码器，以生成的方式对微表情短时域特征分布进行无监督的建模。
103、2、为了确保模型提取特征的有效性，本发明提出了时域脉冲矩阵，利用脉冲神经元构造新的时域空间，对两个不同时态的微表情特征进行融合与筛选。
104、3、增加模型对不同数据集，不同样本，不同尺度特征的自适应选择能力，本发明设计了自适应阈值函数，对提出的时域脉冲矩阵采取基于特征图互信息熵的激活阈值。
1.一种基于多时态信息熵跨时域的微表情识别方法，其特征在于，包括：
2.根据权利要求1所述的一种基于多时态信息熵跨时域的微表情识别方法，其特征在于，在在步骤a中，对微表情视频进行预处理，包括：
3.根据权利要求1所述的一种基于多时态信息熵跨时域的微表情识别方法，其特征在于，在步骤a中，人脸对齐后进行人脸矫正。
4.根据权利要求1所述的一种基于多时态信息熵跨时域的微表情识别方法，其特征在于，在步骤b中，面部关键帧差异定义为峰值帧xσ与起始帧x1之间的差像素差，如式(1)所示：
5.根据权利要求1所述的一种基于多时态信息熵跨时域的微表情识别方法，其特征在于，在在步骤c中，构建长间隔时域微表情运动特性建模的残差网络，即：构建以resnet为骨架提取微表情在长时间域上特征的神经网络，通过比较顶峰帧xσ和起始帧x1之间的差异，突出显示细微的面部表情，利用步骤b得到的面部关键帧差异，通过长时间域放大微表情变化的细微性，提取出细微且具有表征能力的运动模式特征并建模；表示为式(3)：
6.根据权利要求1所述的一种基于多时态信息熵跨时域的微表情识别方法，其特征在于，在步骤d中，构建对短间隔时域微表情连续帧建模的非对称自编码器网络，即使用变分自编码器建模在帧集合中连续且短期的复杂变化，包括编码器和解码器；l-编码器即编码器的基本单元包括lstm与最大池化层；输入微表情帧集建模帧之间连续且短期的复杂变化，重建峰值帧，编码极短时间尺度连续且细微的数据，增强对时间维度信息的编码能力；
7.根据权利要求1所述的一种基于多时态信息熵跨时域的微表情识别方法，其特征在于，在步骤e中，构造对长短时域进行联合筛选的脉冲时域矩阵模块，即：将长时间域和短时间域的特征进行拼接后输入脉冲神经元，脉冲神经元以脉冲形式传递信息，每个脉冲神经元的状态由其膜电位表示，当膜电位超过某个阈值时，神经元发放一个脉冲；其中，脉冲神经元被定义为公式(13)和公式(14)：
8.根据权利要求1所述的一种基于多时态信息熵跨时域的微表情识别方法，其特征在于，在在步骤f中，根据特征图互信息量自适应的计算脉冲阈值δ构造自适应函数，自适应地对不同样本和不同网络尺度下的长短时域的微表情表征产生新时域的脉冲信号；包括：
9.根据权利要求8所述的一种基于多时态信息熵跨时域的微表情识别方法，其特征在于，分析α产生的影响，首先，令σ(x)函数替代sigmoid函数，如公式(27)所示：
10.根据权利要求1-9任一所述的一种基于多时态信息熵跨时域的微表情识别方法，其特征在于，对待识别的微表情视频预处理后得到的面部关键帧差异,输入训练好的长间隔时域微表情运动特性建模的残差网络、输入微表情帧集至短间隔时域微表情连续帧建模的非对称自编码器网络，实现微表情分类识别，包括：
