1.本发明涉及eeg情绪识别和深度迁移学习技术领域，尤其涉及一种多核多源域边缘概率分布自适应网络模型。
背景技术：2.情绪在日常生活和决策制定中起着重要作用，积极的情绪有利于身体健康，负面的情绪会增加患抑郁症等精神疾病的风险，因此能及时的识别出情绪是有意义的。情绪识别包括基于非生理信号的情绪识别、基于生理信号的情绪识别。基于非生理信号的情绪识别是通过语言、面部表情等方式判断情绪类别，但是人可以通过伪装等方法隐藏自己的真实情绪，进而不能得到可靠的结果。基于生理信号的情绪识别是通过收集eeg信号判断情绪类别，由于eeg信号不容易伪装，能够真实的反应出人的情绪，因此基于eeg的情绪识别更具有意义。
3.由于不同受试者的eeg信号差别很大，因此很难训练出一个通用的模型，使其在不同的受试者上都具有很好的分类效果。为了解决这个问题，有学者提出了迁移学习。目前，迁移学习包括传统的迁移学习和深度迁移学习。传统的迁移学习需要精心设计出合适的特征，再将特征输入到模型中进行迁移，这不符合实际生活中端到端的应用需求。深度迁移学习恰好能弥补这个缺陷，深度迁移学习可以从原始数据中自动提取隐藏判别特征，进而更好的提升模型性能。hao chen等人提出了一种多源域边缘概率自适应网络，但是该技术方案的最大均值差异度量采用的是单一核函数(只能采用一种核的函数)，它不能判断出哪种核函数对情绪的分类效果最好。
4.中国专利文献cn111797747a公开了一种“基于eeg、bvp和微表情的潜在情绪识别方法”。具体包括以下步骤：一：潜在情绪数据采集；二：脑电信号特征提取；三：基于色度模型的bvp信号及其特征的提取；四：构建条件生成对抗网络实现eeg特征、bvp特征数据生成；五：构建条件生成对抗网络以实现微表情数据生成；六：基于eeg、bvp和微表情的潜在情绪识别。上述技术方案采用单一核函数，不能判断出哪种核函数对情绪的分类效果最好。
技术实现要素：5.本发明主要解决原有的技术方案采用单一核函数，不能判断出哪种核函数对情绪的分类效果最好的技术问题，提供一种多核多源域边缘概率分布自适应网络模型，采用多核最大均值差异度量能让模型自动选择合适核函数，以提高模型性能，并且由于在神经网络中不同层的迁移能力不同，并且模型的后几层神经网络对迁移效果最好，在神经网络的最后三层都采用了多核最大均值差异度量的迁移方法，增加模型准确度。
6.本发明的上述技术问题主要是通过下述技术方案得以解决的：本发明包括以下步骤：
7.s1进行受试者eeg信号的采样；
8.s2选择一名受试者作为目的域，剩余受试者作为源域，用a1，a2,
…
,an表示；
9.s3映射原始数据特征；
10.s4将目的域分别和源域进行迁移；
11.s5对迁移后的数据特征进行分类；
12.s6减小分类结果的方差；
13.s7计算模型的损失表达式lm；
14.s8设置迭代次数n，当训练次数小于n时返回步骤s3，当训练次数达到设定的迭代次数后停止；
15.s9首先让模型停止更新，再将目的域数据输入到模型中得到最后的预测准确率。
16.作为优选，所述的步骤s1具体包括，将若干受试者的每一行eeg信号的采样率从1000hz下采样到200hz，对原始序列间隔一段时间取一次样本，得到的新序列就是原始序列的下采样，然后通过带通滤波器从eeg信号中提取0.3～50hz信号，再将每个受试者的eeg信号分成1s的信号段，最后从每个1s信号段中提取5个频段的微分熵特征，公式如下：
[0017][0018]
式中，y表示微分熵特征，并服从高斯分布n(μ，σ2)。对原始序列间隔一段时间取一次样本，得到的新序列就是原始序列的下采样，微分熵特征是eeg情绪识别领域中公认的一种有效特征，
[0019]
作为优选，所述的步骤s1从每个1s信号段中提取5个频段具体包括，delta：1-3hz，theta：4-7hz，alpha：8-13hz，beta：14-30hz，gamma：31-50hz。
[0020]
作为优选，所述的步骤s3首先搭建特征提取器，特征提取器是由310-256的全连接层组成，每一层后都添加了leakyrelu层，将原始特征输入到特征提取器中，使原始特征重新映射到新的特征空间中，公式如下：
[0021]
x
′
t
＝f(x
t
)
[0022]
x
′
si
＝f(x
si
),i＝1,2,
…
,14
[0023]
式中，f()表示特征提取器，x
t
表示目的域原始特征，x
′
t
表示经过映射后的原始特征，x
si
表示第i个受试者的源域特征，x
′
si
表示经过映射后的源域特征。leakyrelu层是神经网络中的一种激活函数，目的是对神经网络引入非线性因素。
[0024]
作为优选，所述的步骤s4首先搭建域适应器，其目的是采用多核最大均值差异度量对源域和目的域的特征进行迁移，多核最大均值差异度量公式如下：
[0025][0026]
式中p、q表示源域和目的域的边缘概率分布，dk(p,q)2表示源域和目的域的距离，e
p
[]表示源域和目的域的特征元素，表示核函数。
[0027]
作为优选，所述的步骤s4还包括将源域和目的域特征核化，hk表示具有核函数的希尔伯特空间，核函数定义如下：
[0028][0029]
式中k表示固定的函数，β
μ
表示不同核的权重，k
μ
表示不同的核，表示
对m个不同的核进行加权。
[0030]
作为优选，所述的域适应器是由256-128-128-128的全连接层组成，在每一层后添加了归一化层，在第一个128维全连接层和最后一个128维全连接层添加了leakyrelu层，当特征输入到域适应器的每一层网络时，域适应器都会创建一个新的希尔伯特空间，然后域适应器会依次将目的域和14个不同的源域映射到希尔伯特空间中，采用减小多核均值差异度量的方法减小源域和目的域之间的差异，具体公式如下：
[0031][0032]
式中，loss
ij
表示第i个希尔伯特空间中，目的域与第j个源域之间的差异损失。
[0033]
作为优选，所述的步骤s5具体包括，首先搭建若干分类器，每一个分类器的输出表示目的域和一个源域迁移后的分类结果，分类器是由128-3的全连接层组成，在3维的全连接层后添加softmax层预测最后的分类结果，最后用交叉熵估计分类损失，公式如下：
[0034][0035]
式中，y
is
表示预测第i个源域的分类结果，表示第i个源域真实的数据标签，s()表示交叉熵函数。softmax层将结果以概率的形式输出。
[0036]
作为优选，所述的步骤s6具体包括，首先创建差异度量，差异度量的目的是采用差异损失度量来使多个分类器的预测结果收敛，公式如下：
[0037][0038]
式中，d()表示差异度量函数，y
it
、y
jt
表示预测不同源域的分类结果。
[0039]
作为优选，所述的步骤s7具体包括，最终的损失函数如下所示：
[0040][0041]
式中，n表示源域个数。
[0042]
本发明的有益效果是：采用多核最大均值差异度量能让模型自动选择合适核函数，以提高模型性能，并且由于在神经网络中不同层的迁移能力不同，并且模型的后几层神经网络对迁移效果最好，在神经网络的最后三层都采用了多核最大均值差异度量的迁移方法，增加模型准确度。
附图说明
[0043]
图1是本发明的一种流程图。
[0044]
图2是本发明的一种逻辑流程示意图。
具体实施方式
[0045]
下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。
[0046]
实施例：本实施例的一种多核多源域边缘概率分布自适应网络模型，如图1、图2所示，包括以下步骤：
[0047]
步骤一：将15个受试者的每一行eeg信号的采样率从1000hz下采样(对原始序列间隔一段时间取一次样本，得到的新序列就是原始序列的下采样)到200hz，然后通过带通滤波器(只能让固定频率信号通过的滤波器)从eeg信号中提取0.3～50hz信号，再将每个受试者的eeg信号分成1s的信号段，最后从每个1s信号段中提取5个频段(delta：1-3hz，theta：4-7hz，alpha：8-13hz，beta：14-30hz，gamma：31-50hz)的微分熵特征(是eeg情绪识别领域中公认的一种有效特征)，公式如下：
[0048][0049]
式子中，y表示微分熵特征，并服从高斯分布n(μ，σ2)
[0050]
步骤二：选择一名受试者作为目的域，剩余十四名受试者作为源域，分别用a1，a2,
…
,a14表示。
[0051]
步骤三：映射原始数据特征。首先搭建特征提取器，特征提取器是由310-256的全连接层组成，每一层后都添加了leakyrelu层(是神经网络中的一种激活函数，目的是对神经网络引入非线性因素)。将原始特征输入到特征提取器中，使原始特征重新映射到新的特征空间中。公式如下：
[0052]
x
′
t
＝f(x
t
)
[0053]
x
′
si
＝f(x
si
),i＝1,2,
…
,14
[0054]
式子中，f()表示特征提取器，x
t
表示目的域原始特征，x
′
t
表示经过映射后的原始特征，x
si
表示第i个受试者的源域特征，x
′
si
表示经过映射后的源域特征
[0055]
步骤四：将目的域分别和14个源域进行迁移。首先搭建域适应器，其目的是采用多核最大均值差异度量对源域和目的域的特征进行迁移，多核最大均值差异度量公式如下：
[0056][0057]
式子中p、q表示源域和目的域的边缘概率分布(一种数据分布)，dk(p,q)2表示源域和目的域的距离，e
p
[]表示源域和目的域的特征元素，表示核函数，将源域和目的域特征核化，hk表示具有核函数的希尔伯特空间。核函数定义如下：
[0058][0059]
式子中k表示固定的函数，β
μ
表示不同核的权重，k
μ
表示不同的核，表示对m个不同的核进行加权。域适应器是由256-128-128-128的全连接层组成，在每一层后添加了归一化层，在第一个128维全连接层和最后一个128维全连接层添加了leakyrelu层。当特征输入到域适应器的每一层网络时，域适应器都会创建一个新的希尔伯特空间，然后域适应器会依次将目的域和十四个不同的源域映射到希尔伯特空间中，采用减小多核均值
差异度量的方法减小源域和目的域之间的差异，具体公式如下：
[0060][0061]
式子中，loss
ij
表示第i个希尔伯特空间中，目的域与第j个源域之间的差异损失。
[0062]
步骤五：对迁移后的数据特征进行分类。首先搭建14个分类器，每一个分类器的输出表示目的域和一个源域迁移后的分类结果。分类器是由128-3的全连接层组成，在3维的全连接层后添加softmax层(将结果以概率的形式输出)预测最后的分类结果，最后用交叉熵估计分类损失。公式如下：
[0063][0064]
式子中，y
is
表示预测第i个源域的分类结果，表示第i个源域真实的数据标签，s()表示交叉熵函数
[0065]
步骤六：减小分类结果的方差。首先创建差异度量，差异度量的目的是采用差异损失度量来使多个分类器的预测结果收敛，公式如下：
[0066][0067]
式子中，d()表示差异度量函数，y
it
、y
jt
表示预测不同源域的分类结果。
[0068]
步骤七：计算模型的损失表达式lm。最终的损失函数如下所示：
[0069][0070]
式子中，n表示源域个数。
[0071]
步骤八：设置迭代次数n，当训练次数小于n时返回步骤三，当训练次数达到设定的迭代次数后停止。
[0072]
步骤九：用目的域数据测试模型。首先让模型停止更新，再将目的域数据输入到模型中得到最后的预测准确率。
[0073]
为证明上述方法的可行性，使用seed数据集对该模型进行检验。seed数据集包含三个session，每个session有15个受试者数据，对三个session都进行了相同的实验，并以session1为例做出如下说明：
[0074]
首先标记15个受试者分别为a1、a2、a3、
…
、a15，然后假设我们选择a1作为目的域，那么a2、a3、
…
、a15就代表14个源域，最后把源域数据和目的域数据放入模型中就可得到a1受试者的准确率。以此类推，计算出a2、a3、
…
、a15受试者的准确率，最后取15个被试者的平均值作为最终结果。session2、session3同理。
[0075]
下面对比了几种eeg情绪识别领域中的深度迁移方法。
[0076]
迁移成分分析(tca)：将数据映射到高维的空间中，在这个空间中进行迁移的同时，保留了不同域的内部属性。
[0077]
支持向量机(svm)：是模式识别中经典的算法，具有完备的数学理论支持。
[0078]
深度适配网络(dan)：是深度迁移学习中经典的算法，它基于alexnet网络寻找不同域之间的适配关系。
[0079]
多源边缘概率域适应(ms-mda)：该算法采用了最大均值差异度量对不同域的数据进行迁移。
[0080][0081]
表1 多模型结果对比图
[0082]
从以上结果可以看出，本技术模型的准确率高于目前已有的算法。在基于eeg情绪识别领域的深度迁移领域中，本发明提供了一种更好的解决方案。该方法采用目的域依次对不同源域迁移的思想。首先采用多核最大均值差异度量对不同域的数据进行迁移，其次将多核最大均值差异度量应用在多层的全连接层中，最后在分类器的基础上添加了差异度量，提高了输出结果的稳定性。
[0083]
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
技术特征：1.一种多核多源域边缘概率分布自适应网络模型，其特征在于，包括以下步骤：s1进行受试者eeg信号的采样；s2选择一名受试者作为目的域，剩余受试者作为源域，用a1，a2,
…
,an表示；s3映射原始数据特征；s4将目的域分别和源域进行迁移；s5对迁移后的数据特征进行分类；s6减小分类结果的方差；s7计算模型的损失表达式l
m
；s8设置迭代次数n，当训练次数小于n时返回步骤s3，当训练次数达到设定的迭代次数后停止；s9首先让模型停止更新，再将目的域数据输入到模型中得到最后的预测准确率。2.根据权利要求1所述的一种多核多源域边缘概率分布自适应网络模型，其特征在于，所述步骤s1具体包括，将若干受试者的每一行eeg信号的采样率从1000hz下采样到200hz，对原始序列间隔一段时间取一次样本，得到的新序列就是原始序列的下采样，然后通过带通滤波器从eeg信号中提取0.3～50hz信号，再将每个受试者的eeg信号分成1s的信号段，最后从每个1s信号段中提取5个频段的微分熵特征，公式如下：式中，y表示微分熵特征，并服从高斯分布n(μ，σ2)。3.根据权利要求2所述的一种多核多源域边缘概率分布自适应网络模型，其特征在于，所述步骤s1从每个1s信号段中提取5个频段具体包括，delta：1-3hz，theta：4-7hz，alpha：8-13hz，beta：14-30hz，gamma：31-50hz。4.根据权利要求1所述的一种多核多源域边缘概率分布自适应网络模型，其特征在于，所述步骤s3首先搭建特征提取器，特征提取器是由310-256的全连接层组成，每一层后都添加了leakyrelu层，将原始特征输入到特征提取器中，使原始特征重新映射到新的特征空间中，公式如下：x
′
t
＝f(x
t
)x
′
si
＝f(x
si
),i＝1,2,
…
,14式中，f()表示特征提取器，x
t
表示目的域原始特征，x
′
t
表示经过映射后的原始特征，x
si
表示第i个受试者的源域特征，x
′
si
表示经过映射后的源域特征。5.根据权利要求1所述的一种多核多源域边缘概率分布自适应网络模型，其特征在于，所述步骤s4首先搭建域适应器，其目的是采用多核最大均值差异度量对源域和目的域的特征进行迁移，多核最大均值差异度量公式如下：式中p、q表示源域和目的域的边缘概率分布，d
k
(p,q)2表示源域和目的域的距离，e
p
[]表示源域和目的域的特征元素，表示核函数。6.根据权利要求5所述的一种多核多源域边缘概率分布自适应网络模型，其特征在于，所述步骤s4还包括将源域和目的域特征核化，h
k
表示具有核函数的希尔伯特空间，核函数
定义如下：式中k表示固定的函数，β
μ
表示不同核的权重，k
μ
表示不同的核，表示对m个不同的核进行加权。7.根据权利要求6所述的一种多核多源域边缘概率分布自适应网络模型，其特征在于，所述域适应器是由256-128-128-128的全连接层组成，在每一层后添加了归一化层，在第一个128维全连接层和最后一个128维全连接层添加了leakyrelu层，当特征输入到域适应器的每一层网络时，域适应器都会创建一个新的希尔伯特空间，然后域适应器会依次将目的域和14个不同的源域映射到希尔伯特空间中，采用减小多核均值差异度量的方法减小源域和目的域之间的差异，具体公式如下：式中，loss
ij
表示第i个希尔伯特空间中，目的域与第j个源域之间的差异损失。8.根据权利要求1所述的一种多核多源域边缘概率分布自适应网络模型，其特征在于，所述步骤s5具体包括，首先搭建若干分类器，每一个分类器的输出表示目的域和一个源域迁移后的分类结果，分类器是由128-3的全连接层组成，在3维的全连接层后添加softmax层预测最后的分类结果，最后用交叉熵估计分类损失，公式如下：式中，y
is
表示预测第i个源域的分类结果，表示第i个源域真实的数据标签，s()表示交叉熵函数。9.根据权利要求1所述的一种多核多源域边缘概率分布自适应网络模型，其特征在于，所述步骤s6具体包括，首先创建差异度量，差异度量的目的是采用差异损失度量来使多个分类器的预测结果收敛，公式如下：式中，d()表示差异度量函数，y
it
、y
jt
表示预测不同源域的分类结果。10.根据权利要求1所述的一种多核多源域边缘概率分布自适应网络模型，其特征在于，所述步骤s7具体包括，最终的损失函数如下所示：式中，n表示源域个数。
技术总结本发明公开了一种多核多源域边缘概率分布自适应网络模型，用多核最大均值差异度量能让模型自动选择合适核函数，以提高模型性能，并且由于在神经网络中不同层的迁移能力不同，并且模型的后几层神经网络对迁移效果最好，在神经网络的最后三层都采用了多核最大均值差异度量的迁移方法，增加模型准确度。增加模型准确度。增加模型准确度。
技术研发人员：祝磊 丁旺盼 朱洁萍 黄爱爱 张建海
受保护的技术使用者：杭州电子科技大学
技术研发日：2022.06.09
技术公布日：2022/11/1
