1.本发明涉及听力检测技术领域，尤其涉及一种基于时空卷积神经网络的脑电信号评估听力的方法及装置。
背景技术：2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成现有技术。
3.听觉系统是感知声音的重要器官，目前全球五分之一的人有听力受损症状，面临听力康复问题。而听力康复需要结合适时预测和评估人耳的听力状况，以高效、及时判断治疗效果和指导康复方法。
4.脑电图技术在脑认知研究、脑疾病临床诊断方面获得了广泛的应用，具有时间分辨率高、安全无创、成本低等优点。当前，深度神经网络在计算机视觉、语音识别等领域已经实现了超过传统机器学习方法的精确度，包括语音、视觉等许多领域。深度学习能够通过反向传播算法从海量训练数据中自行学习样本的统计规律，免去了需要专家设计的复杂特征工程，并且通常会实现良好的识别性能，具有适应性强、易于转换的优点。
5.虽然深度神经网络在eeg(脑电)信号处理方面已经取得了一定成果，但通过深度学习方法进行听觉诱发脑电信号分类的相关研究仍不多，即便采用常规卷积神经网络作听觉诱发脑电信号分类，其效果也有待提高。此外，深度学习目前存在对小规模训练数据库泛化能力差、可解释性弱等关键问题。
技术实现要素：6.为了解决上述问题，本发明提出了一种基于时空卷积神经网络的脑电信号评估听力的方法及装置，将首个卷积层设置为采用sinc函数调制的可学习时域滤波器组，将第二个卷积层设置为动态空域滤波器组；将经过时域和空域滤波后的特征向量送入常规卷积神经网络中，最终实现高性能的听觉诱发脑电信号分类。
7.在一些实施方式中，采用如下技术方案：
8.一种基于时空卷积神经网络的脑电信号评估听力的方法，包括：
9.获取特定范式音频信号诱发得到的多通道脑电信号，并进行脑电信号的滤波和分段预处理；
10.基于预处理后的多通道脑电信号，利用训练好的时空滤波听觉诱发脑电分类模型，进行听力评估分类；
11.其中，所述时空滤波听觉诱发脑电分类模型首先对多通道脑电信号进行时域滤波，得到时域滤波特征向量，然后对时域滤波特征向量进行动态空域滤波，得到时空滤波后的特征矩阵，所述时空滤波后的特征矩阵经过神经网络进行分类，得到听力评估分类结果。
12.作为可选的方案，所述的对多通道脑电信号进行时域滤波，具体为：
13.14.其中，f
t
为时域滤波特征向量，x为预处理后的多通道脑电信号，为窗函数，*为卷积运算算子。
15.作为可选的方案，所述的对时域滤波特征向量进行动态空域滤波，具体为：
16.fc＝f
t
*sc17.其中，fc为空域滤波后的特征，f
t
为时域滤波特征向量，sc为动态通道加权矩阵。
18.进一步地，所述动态通道加权矩阵sc针对每个不同的样本产生不同的通道加权系数，具体为：
19.sc＝g(x,θc)
20.其中，θc为动态神经网络参数，为时空滤波听觉诱发脑电分类模型训练过程中学习获得；x为预处理后的多通道脑电信号；g为动态神经网络，为包含动态神经网络参数θc的密集连接层：g(x,θc)＝relu(x
×
θc)；relu为一种非线性激活函数，当自变量大于零时，relu函数的输出为自变量本身，当自变量小于或等于零时，relu函数的输出为零。
21.作为可选的方案，所述时空滤波后的特征矩阵经过神经网络进行分类，具体为：
22.将时空滤波后的特征矩阵送入输出神经元等于分类类别数的全连接层进行加权，输出神经元经过softmax函数进行映射获得每个类别对应的后验概率，选取后验概率最大的值对应的类别作为最终的分类结果。
23.作为可选的方案，对时空滤波听觉诱发脑电分类模型进行训练时，代价损失函数j为：
[0024][0025]
其中，与θ相关的代表第i个样本在最后一个神经网络层的全连接层的第j个神经元的输出；s
ij
是判断第i个样本是否属于第j个类别的示性函数；m和q分别表示训练样本数和分类类别数。
[0026]
作为可选的方案，对时空滤波听觉诱发脑电分类模型进行训练时，参数更新方法为：
[0027][0028]
其中，θ
k+1
为迭代k+1次后的参数，θk为迭代k次后的参数，lr为学习率，mk为利用梯度一阶矩计算的梯度动量，vk为利用梯度二阶矩计算的学习率动量，ε为常量。
[0029]
在另一些实施方式中，采用如下技术方案：
[0030]
一种基于时空卷积神经网络的脑电信号评估听力的系统，包括：
[0031]
数据获取模块，用于获取在特定范式的音频信号诱发下得到的多通道脑电信号，并进行脑电信号滤波和分段预处理；
[0032]
听力评估分类模块，用于基于预处理后的多通道脑电信号，利用训练好的时空滤波听觉诱发脑电分类模型，进行听力评估分类；
[0033]
其中，所述时空滤波听觉诱发脑电分类模型具体包括：
[0034]
时域滤波单元，用于对多通道脑电信号进行时域滤波，得到时域滤波特征向量；
[0035]
动态空域滤波单元，用于对时域滤波特征向量进行动态空域滤波，得到时空滤波后的特征矩阵；
[0036]
神经网络分类单元，用于将时空滤波后的特征矩阵经过神经网络进行分类，得到听力评估分类结果。
[0037]
在另一些实施方式中，采用如下技术方案：
[0038]
一种听觉诱发脑电分类的装置，包括：依次连接的脑电数据采集单元、脑电信号放大单元、a/d转换单元和主控制器，所述主控制器内分别设有：
[0039]
时域滤波单元，用于对多通道脑电信号进行时域滤波，得到时域滤波特征向量；
[0040]
动态空域滤波单元，用于对时域滤波特征向量进行动态空域滤波，得到时空滤波后的特征矩阵；
[0041]
神经网络分类单元，用于将时空滤波后的特征矩阵经过神经网络进行分类，得到听力评估分类结果；
[0042]
所述主控制器与外部受控设备连接，用于将得到的听力评估分类结果，转化为对外部受控设备的控制指令。
[0043]
在另一些实施方式中，采用如下技术方案：
[0044]
一种终端设备，其包括处理器和存储器，处理器用于实现各指令；存储器用于存储多条指令，所述指令适于由处理器加载并执行上述的基于时空卷积神经网络的脑电信号评估听力的方法。
[0045]
与现有技术相比，本发明的有益效果是：
[0046]
(1)本发明针对听觉诱发脑电信号，充分考虑听觉诱发erp(事件相关电位)脑电信号时空特征分布，基于新型的sinc函数滤波和动态空域滤波模块，设计卷积神经网络架构，可增强神经网络模型在听觉脑电分类任务上的性能优势。
[0047]
(2)本发明通过加入sinc函数，去除卷积网络的黑盒特性，可以在减少模型参数量的同时提高听觉诱发eeg的识别精度。另外用动态通道加权模块，通过动态网络训练通道加权参数实现对滤波后信号加权重组。时空卷积神经网络可以有效提升模型的可解释性，提高模型的泛化性能，降低模型的参数量，提高分类准确率。
[0048]
本发明的其他特征和附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本方面的实践了解到。
附图说明
[0049]
图1为本发明实施例中基于时空卷积神经网络的音频诱发脑电信号评估听力的方法流程图；
[0050]
图2为发明实施例中时空滤波听觉诱发脑电分类模型训练过程示意图；
[0051]
图3为本发明实施例中的基于时空卷积神经网络的音频诱发脑电信号评估听力的装置结构示意图；
[0052]
图4为本发明实施例中的经时空卷积神经网络模型与常规无时空卷积神经网络模型的听力评估分类效果对比图。
具体实施方式
[0053]
应该指出，以下详细说明都是例示性的，旨在对本技术提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
[0054]
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0055]
术语解释：
[0056]
训练：向神经网络的输入一组数据，将得到的输出结果与这组数据对应的标签进行对比并计算误差，通过反向传播算法得到每个参数的梯度值并对其更新。
[0057]
深度神经网络：深度神经网络是一种在输入和输出层之间具有多个层级结构的人工神经网络，具有神经元、权重、偏置等组成部分。其中权重和偏置等通过反向传播算法进行训练得到。
[0058]
实施例一
[0059]
在一个或多个实施方式中，公开了一种基于时空卷积神经网络的音频诱发脑电信号评估听力的方法，参照图1，具体包括如下过程：
[0060]
(1)获取特定范式音频信号诱发得到的多通道脑电信号，并进行脑电信号滤波和分段预处理；
[0061]
(2)基于预处理后的脑电信号，利用训练好的时空滤波听觉诱发脑电分类模型，进行听力评估，得到听力评估分类结果；
[0062]
其中，时空滤波听觉诱发脑电分类模型首先对多通道脑电信号进行时域滤波，得到时域滤波特征向量，然后对时域滤波特征向量进行动态空域滤波，得到时空滤波后的特征矩阵，时空滤波后的特征矩阵经过神经网络进行分类，得到听力评估分类结果。
[0063]
本实施例中，由多个sinc函数调制的滤波器构成时域滤波单元，对多通道脑电信号进行时域滤波，得到时域滤波特征向量，具体过程如下：
[0064]
sinc函数调制的滤波器w可被表示为：
[0065]
w[n,f1,f2]＝2f2sinc(2πf2n)-2f1sinc(2πf1n)
ꢀꢀ(i)[0066]
其中sinc函数为sinc(x)＝sin(x)/x，f1和f2表示滤波器的3db截止频率。sinc函数对应的频域滤波器的参数是可学习的，其频域特性w如下：
[0067][0068]
其中，fs为信号的采样频率，比如可以选择fs＝250hz；而为了平滑sinc函数的截断特性，需要在窗参数上点乘一个窗函数w：
[0069][0070]
其中，
⊙
为哈达玛积，g[n]为窗函数，可以取汉宁窗、汉明窗、凯撒窗等。
[0071]
sinc滤波器输出的时域滤波特征向量f
t
为：
[0072]
[0073]
其中，*为卷积运算算子。
[0074]
本实施例中，由多组与通道数目相等长度的空域滤波器函数组成可学习空域滤波器单元，利用空域滤波器单元对得到的时域滤波特征向量f
t
进行动态空域滤波，得到时空滤波后的特征矩阵，具体过程如下：
[0075]
通过训练一组动态的通道加权参数，对时域滤波后脑电信号的不同通道进行动态加权。令为动态通道加权矩阵，为时域滤波后的特征向量，为空域滤波后的特征矩阵，则动态空域滤波过程可以表示为：
[0076]
fc＝f
t
*scꢀꢀ
(v)
[0077]
动态通道加权矩阵sc是通过一个动态神经网络学习出的。设动态神经网络参数为θc，则可以表示为：
[0078]
sc＝g(x,θc)
ꢀꢀ
(vi)
[0079]
其中，x为网络的输入预处理后的脑电样本数据，g为动态神经网络；动态神经网络g为一个包含权值矩阵θc的密集连接层，即为：
[0080]
g(x,θc)＝relu(x
×
θc)
ꢀꢀ
(vii)
[0081]
其中，relu为一种非线性激活函数，当自变量大于零时，relu函数的输出为自变量本身，若自变量小于等于零，relu函数的输出为零。
[0082]
这样，动态通道加权矩阵是通过输入数据经过卷积神经网络变换直接学习出来的，针对每个不同的脑电样本将产生不同的通道加权系数。
[0083]
将得到的时空滤波后的特征向量fc送入下一层卷积神经网络中进行处理，卷积神经网络包括卷积层和全连接层，用于对学习到的时空特征进行分类。将得到的时空滤波后的特征矩阵fc送入一个输出神经元等于分类类别数的全连接层进行加权。输出神经元经过softmax函数进行映射获得网络输出p，即每个类别对应的后验概率，选取后验概率最大的值对应的类别作为最终的分类结果。作为一种示例，分类结果可以是：音调高低感知或乐音种类感知等。
[0084]
本实施例中，结合图2，对于时空滤波听觉诱发脑电分类模型的训练过程具体如下：
[0085]
1)采集多通道听觉诱发脑电信号x(t)作为训练集，对训练集数据进行预处理，预处理步骤包括脑电信号滤波和分段，通道数目为c，信号长度为t。设置最大迭代次数ne，学习率lr。
[0086]
作为一种具体的实施方案，按经典go-nogo的erp范式，为受试者播放频率为200hz和2000hz的两种音频信号，记录并标记听觉诱发脑电信号；然后执行预处理操作，即采用5阶巴特沃兹滤波器对原始脑电信号进行1-30hz带通滤波，并从中切分出听觉刺激部分的多通道听觉诱发脑电信号x(t)作为训练集，每段脑电数据长度为t＝1000点，通道数为c＝60，采样频率fs为250hz，共有100条样本数据，设置最大迭代次数ne＝200，学习率lr＝0.0001。
[0087]
2)训练时空滤波听觉诱发脑电分类模型。用i代表迭代次数，从i＝1开始进行以下迭代循环：
[0088]
a)对多通道听觉诱发脑电信号进行时空滤波，得到时域滤波特征向量f
t
，将得到的时域滤波特征向量进行动态空域滤波，得到时空滤波后的特征矩阵fc，将得到
的时空滤波后的特征矩阵送入一个输出神经元等于分类类别数的全连接层进行加权。输出神经元经过softmax函数进行映射获得网络输出p，即每个类别对应的后验概率。
[0089]
b)将网络输出p与相应的标签进行对比，通过网络的代价损失函数j计算出当前模型的损失值。其中，网络的代价损失函数j具体为：
[0090][0091]
其中，与θ相关的代表第i个样本在最后一个神经网络层的全连接层的第j个神经元的输出；s
ij
是判断第i个样本是否属于第j个类别的示性函数。
[0092]
c)根据得到的模型损失值，通过反向传播算法计算网络中每个参数对应的梯度。
[0093]
d)根据学习率lr＝0.0001对模型的所有参数进行更新。
[0094]
本实施例中，反向传播算法及参数更新方法为：
[0095][0096]
其中，设θk为迭代k次后的参数，mk为利用梯度一阶矩计算的梯度动量，vk为利用梯度二阶矩计算的学习率动量，定义如下：
[0097][0098][0099]
其中，β1与β2可以调整两种动量的大小，可选的，β1＝β2＝0.9。
[0100]
e)若i＝ne＝200，则模型训练完毕，否则，令i加1，返回步骤a)。
[0101]
结合图4，将本实施例基于时空卷积神经网络的脑电信号评估听力的方法与常规无时空卷积神经网络模型得到的分类结果进行对比，可以看出，本实施例方法能够得到更加准确的分类结果。
[0102]
实施例二
[0103]
在一个或多个实施方式中，公开了一种基于时空卷积神经网络的脑电信号评估听力的系统，包括：
[0104]
数据获取模块，用于获取特定范式音频信号诱发得到的多通道脑电信号，并进行脑电信号滤波和分段预处理；
[0105]
听力评估分类模块，用于基于预处理后的脑电信号，利用训练好的时空滤波听觉诱发脑电分类模型，进行听力评估，得到听力评估分类结果；
[0106]
其中，所述时空滤波听觉诱发脑电分类模型包括：
[0107]
时域滤波单元，用于对多通道脑电信号进行时域滤波，得到时域滤波特征向量；
[0108]
动态空域滤波单元，用于对时域滤波特征向量进行动态空域滤波，得到时空滤波后的特征矩阵；
[0109]
神经网络分类单元，用于将时空滤波后的特征矩阵经过神经网络进行分类，得到听力评估分类结果。
[0110]
需要说明的是，上述各模块的具体实现过程已经在实施例一中进行了说明，此处不再详述。
[0111]
实施例三
[0112]
在一个或多个实施方式中，公开了一种听觉诱发脑电分类的装置，结合图3，具体包括：依次连接的脑电数据采集单元、脑电信号放大单元、a/d转换单元和主控制器，主控制器连接外部受控设备。
[0113]
其中，主控制器内分别设有：
[0114]
时域滤波单元，用于对多通道脑电信号进行时域滤波，得到时域滤波特征向量；
[0115]
动态空域滤波单元，用于对时域滤波特征向量进行动态空域滤波，得到时空滤波后的特征矩阵；
[0116]
神经网络分类单元，用于将时空滤波后的特征矩阵经过神经网络进行分类，得到听力评估分类结果；
[0117]
主控制器能够将得到的听力评估分类结果，转化为对外部受控设备的控制指令，实现对外部受控设备的控制。比如：控制在“音频诱发脑电测听分析仪”屏幕上输出可视化预测结果，进而参照某种标准，提示医生被测者的听力水平或辨音能力。
[0118]
实施例四
[0119]
在一个或多个实施方式中，公开了一种终端设备，包括服务器，所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例一中的基于时空卷积神经网络的脑电信号评估听力的方法。为了简洁，在此不再赘述。
[0120]
应理解，本实施例中，处理器可以是中央处理单元cpu，处理器还可以是其他通用处理器、数字信号处理器dsp、专用集成电路asic，现成可编程门阵列fpga或者其他可编程逻辑器件、分立门电路或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0121]
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
[0122]
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
[0123]
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
技术特征：1.一种基于时空卷积神经网络的脑电信号评估听力的方法，其特征在于，包括：获取特定范式音频信号诱发得到的多通道脑电信号，并进行脑电信号的滤波和分段预处理；基于预处理后的多通道脑电信号，利用训练好的时空滤波听觉诱发脑电分类模型，进行听力评估分类；其中，所述时空滤波听觉诱发脑电分类模型首先对多通道脑电信号进行时域滤波，得到时域滤波特征向量，然后对时域滤波特征向量进行动态空域滤波，得到时空滤波后的特征矩阵，所述时空滤波后的特征矩阵经过神经网络进行分类，得到听力评估分类结果。2.如权利要求1所述的一种基于时空卷积神经网络的脑电信号评估听力的方法，其特征在于，所述的对多通道脑电信号进行时域滤波，具体为：其中，f
t
为时域滤波特征向量，x为预处理后的多通道脑电信号，为时域滤波窗函数，*为卷积运算算子。3.如权利要求1所述的一种基于时空卷积神经网络的脑电信号评估听力的方法，其特征在于，所述的对时域滤波特征向量进行动态空域滤波，具体为：f
c
＝f
t
*s
c
其中，f
c
为空域滤波后的特征，f
t
为时域滤波特征向量，s
c
为动态通道加权矩阵。4.如权利要求3所述的一种基于时空卷积神经网络的脑电信号评估听力的方法，其特征在于，所述动态通道加权矩阵s
c
针对每个不同的脑电样本产生不同的通道加权系数，具体为：s
c
＝g(x,θ
c
)其中，θ
c
为动态神经网络参数，为时空滤波听觉诱发脑电分类模型训练过程中学习获得；x为预处理后的多通道脑电信号；g为动态神经网络，为包含动态神经网络参数θ
c
的密集连接层：g(x,θ
c
)＝relu(x
×
θ
c
)；relu为一种非线性激活函数，当自变量大于零时，relu函数的输出为自变量本身，当自变量小于或等于零时，relu函数的输出为零。5.如权利要求1所述的一种基于时空卷积神经网络的脑电信号评估听力的方法，其特征在于，所述时空滤波后的特征矩阵经过神经网络进行分类，具体为：将时空滤波后的特征矩阵送入输出神经元等于分类类别数的全连接层进行加权，输出神经元经过softmax函数进行映射获得每个类别对应的后验概率，选取后验概率最大的值对应的类别作为最终的分类结果。6.如权利要求1-5任一项所述的一种基于时空卷积神经网络的脑电信号评估听力的方法，其特征在于，对时空滤波听觉诱发脑电分类模型进行训练时，代价损失函数j为：其中，与θ相关的代表第i个样本在最后一个神经网络层的全连接层的第j个神经元的输出；s
ij
是判断第i个样本是否属于第j个类别的示性函数；m和q分别表示训练样本数和
分类类别数。7.权利要求1-5任一项所述的一种基于时空卷积神经网络的脑电信号评估听力的方法，其特征在于，对时空滤波听觉诱发脑电分类模型进行训练时，参数更新方法为：其中，θ
k+1
为迭代k+1次后的参数，θ
k
为迭代k次后的参数，lr为学习率，m
k
为利用梯度一阶矩计算的梯度动量，v
k
为利用梯度二阶矩计算的学习率动量，ε为常量。8.一种基于时空卷积神经网络的脑电信号评估听力的系统，其特征在于，包括：数据获取模块，用于获取在特定范式的音频信号诱发下得到的多通道脑电信号，并进行脑电信号滤波和分段预处理；听力评估分类模块，用于基于预处理后的多通道脑电信号，利用训练好的时空滤波听觉诱发脑电分类模型，进行听力评估分类；其中，所述时空滤波听觉诱发脑电分类模型具体包括：时域滤波单元，用于对多通道脑电信号进行时域滤波，得到时域滤波特征向量；动态空域滤波单元，用于对时域滤波特征向量进行动态空域滤波，得到时空滤波后的特征矩阵；神经网络分类单元，用于将时空滤波后的特征矩阵经过神经网络进行分类，得到听力评估分类结果。9.一种听觉诱发脑电分类的装置，其特征在于，包括：依次连接的脑电数据采集单元、脑电信号放大单元、a/d转换单元和主控制器，所述主控制器内分别设有：时域滤波单元，用于对多通道脑电信号进行时域滤波，得到时域滤波特征向量；动态空域滤波单元，用于对时域滤波特征向量进行动态空域滤波，得到时空滤波后的特征矩阵；神经网络分类单元，用于将时空滤波后的特征矩阵经过神经网络进行分类，得到听力评估分类结果；所述主控制器与外部受控设备连接，用于将得到的听力评估分类结果，转化为对外部受控设备的控制指令。10.一种终端设备，其包括处理器和存储器，处理器用于实现各指令；存储器用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行权利要求1-7任一项所述的基于时空卷积神经网络的脑电信号评估听力的方法。
技术总结本发明公开了一种基于时空卷积神经网络的脑电评估听力的方法及装置，所述方法包括：获取在特定范式音频诱发下得到的多通道脑电信号，并进行脑电信号滤波和分段预处理；基于预处理后的脑电信号，利用训练好的时空滤波听觉诱发脑电分类模型，得到听力评估分类结果；其中，时空滤波听觉诱发脑电分类模型首先对多通道脑电信号进行时域滤波，得到时域滤波特征向量，然后对时域滤波特征向量进行动态空域滤波，得到时空滤波后的特征矩阵，时空滤波后的特征矩阵经过神经网络进行分类，得到听力评估分类结果。本发明的时空卷积神经网络可以有效提升模型的可解释性，提高模型的泛化性能，降低模型的参数量，提高分类准确率。提高分类准确率。提高分类准确率。
技术研发人员：田岚 刘国洋 颜家萌 刘朝阳 孟强
受保护的技术使用者：山东大学
技术研发日：2022.07.15
技术公布日：2022/11/1
