本发明涉及脑机接口，尤其涉及一种基于特征融合的运动想象脑电图分类方法及装置。
背景技术：
1、在运动想象脑机接口系统中，通过人工只能自动识别，区分用户进行运动想象时产生的脑电图信号的类别，解码用户的运动意图，在运动障碍、运动康复、军事、娱乐等场景下为用户提供基于大脑控制而非肌肉控制的运动能力
2、在基于脑电图信号的运动想象分类研究中，鉴于脑电信号固有的复杂性与异质性，传统机器学习方法通常需要依据神经科学领域的先验知识进行人工特征设计，随着深度学习的迅速发展，研究者们开始将深度神经网络应用于运动想象分类任务中，期望能够自动化提取和学习脑电图信号中蕴含的潜在特征，然而，受限于数据集规模、脑电数据质量、实时响应性能等因素，深度学习在该领域的应用效果尚未达到理想的水平。
技术实现思路
1、本发明提供一种基于特征融合的运动想象脑电图分类方法及装置，用以解决现有技术中基于深度学习的方式对脑电图信号的分类效果不佳的缺陷，实现一种分类精度更高的脑电图信号分类方法。
2、本发明提供一种基于特征融合的运动想象脑电图分类方法，包括：
3、将预处理后的脑电图信号输入基于卷积神经网络构建的第一提取模块中，得到所述第一提取模块输出的经过局部注意力引导的第一特征图；
4、将预处理后的脑电图信号输入基于长短时记忆网络构建的第二提取模块中，得到所述第二提取模块输出的经过全局自注意力引导的第二特征图；
5、将所述第一特征图和所述第二特征图进行特征融合后进行分类，得到所述运动想象脑电图的分类结果。
6、根据本发明提供的一种基于特征融合的运动想象脑电图分类方法，所述将预处理后的脑电图信号输入基于卷积神经网络构建的第一提取模块中，得到所述第一提取模块输出的经过局部注意力引导的第一特征图的步骤，具体包括：
7、对所述预处理后的脑电图信号深度扩展后，通过所述第一提取模块中的多尺度密集连接模块进行多尺度的时间特征提取，并在深度维度进行特征图拼接；
8、通过所述第一提取模块中的局部混合注意力模块对拼接后的特征图进行时间和空间混合注意力的加权，得到所述第一特征图。
9、根据本发明提供的一种基于特征融合的运动想象脑电图分类方法，所述通过所述第一提取模块中的多尺度密集连接模块进行多尺度的时间特征提取的步骤之前，还包括：
10、通过五个时间维度卷积分支和一个时间维度平均池化分支构建多尺度密集连接模块。
11、根据本发明提供的一种基于特征融合的运动想象脑电图分类方法，所述通过所述第一提取模块中的局部混合注意力模块对拼接后的特征图进行时间和空间混合注意力的加权的步骤之前，还包括：
12、在通道维度的注意力模块中采用全局最大池化代替全局平均池化操作；
13、在空间维度的注意力模块中，采用深度维度上的全局平均池化和全局方差代替压缩操作；构建时间维度和空间维度的特征提取子模块获取轴向注意力；
14、基于所述通道维度的注意力模块和所述空间维度的注意力模块构建所述局部混合注意力模块。
15、根据本发明提供的一种基于特征融合的运动想象脑电图分类方法，所述将预处理后的脑电图信号输入基于长短时记忆网络构建的第二提取模块中，得到所述第二提取模块输出的经过全局自注意力引导的第二特征图的步骤，具体包括：
16、将预处理后的脑电图信号输入所述第二提取模块中长短时记忆网络的隐藏层中；
17、将所述隐藏层输出的特征图输入至所述第二提取模块中得到全局自注意力模块中，得到所述全局自注意力模块输出的时空域自注意力引导加权后的特征图；
18、将最后一个所述全局自注意力模块的输出作为所述第二特征图。
19、根据本发明提供的一种基于特征融合的运动想象脑电图分类方法，将所述隐藏层输出的特征图输入至所述第二提取模块中得到全局自注意力模块中，得到所述全局自注意力模块输出的时空域自注意力引导加权后的特征图的步骤，具体包括：
20、将所述隐藏层输出的特征图输入至所述第二提取模块中得到全局自注意力模块中；
21、所述全局自注意力模块计算所述预处理后的脑电图信号在空域上的空间自注意力，使用所述空间自注意力对所述隐藏层输出的特征图进行加权，再基于加权的结果计算得到所述时空域自注意力引导加权后的特征图。
22、根据本发明提供的一种基于特征融合的运动想象脑电图分类方法，所述将所述第一特征图和所述第二特征图进行特征融合后进行分类，得到所述运动想象脑电图的分类结果的步骤，具体包括：
23、对所述第一特征图和所述第二特征图在深度维度进行聚合、压缩后提取空间特征；
24、对提取的空间特征的时空权重和深度权重进行进一步校准，对校准后的空间特征进行分类，得到所述运动想象脑电图的分类结果。
25、本发明还提供一种基于特征融合的运动想象脑电图分类装置，包括：
26、第一提取模块，用于接收预处理后的脑电图信号，并输出经过局部注意力引导的第一特征图；
27、第二提取模块，用于接收预处理后的脑电图信号，并输出经过全局自注意力引导的第二特征图；
28、分类模块，将所述第一特征图和所述第二特征图进行特征融合后进行分类，得到所述运动想象脑电图的分类结果。
29、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于特征融合的运动想象脑电图分类方法。
30、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于特征融合的运动想象脑电图分类方法。
31、本发明提供的基于特征融合的运动想象脑电图分类方法及装置，通过基于cnn构建的第一提取模块提取得到表征脑电图信号的局部特征细节的第一特征图，通过基于lstm构建的第二提取模块提取得到表征脑电图信号的全局依赖信息的第二特征图，对第一特征图和第二特征图进行特征融合后分类，兼顾了不同网络的优点，使得到的脑电图分类结果提高了对于重要特征的关注度，降低了冗余信息对分类的影响，提高了在跨被试场景下的稳定性以及分类结果的准确率。
1.一种基于特征融合的运动想象脑电图分类方法，其特征在于，包括：
2.根据权利要求1所述的基于特征融合的运动想象脑电图分类方法，其特征在于，所述将预处理后的脑电图信号输入基于卷积神经网络构建的第一提取模块中，得到所述第一提取模块输出的经过局部注意力引导的第一特征图的步骤，具体包括：
3.根据权利要求2所述的基于特征融合的运动想象脑电图分类方法，其特征在于，所述通过所述第一提取模块中的多尺度密集连接模块进行多尺度的时间特征提取的步骤之前，还包括：
4.根据权利要求2所述的基于特征融合的运动想象脑电图分类方法，其特征在于，所述通过所述第一提取模块中的局部混合注意力模块对拼接后的特征图进行时间和空间混合注意力的加权的步骤之前，还包括：
5.根据权利要求1所述的基于特征融合的运动想象脑电图分类方法，其特征在于，所述将预处理后的脑电图信号输入基于长短时记忆网络构建的第二提取模块中，得到所述第二提取模块输出的经过全局自注意力引导的第二特征图的步骤，具体包括：
6.根据权利要求5所述的基于特征融合的运动想象脑电图分类方法，其特征在于，将所述隐藏层输出的特征图输入至所述第二提取模块中得到全局自注意力模块中，得到所述全局自注意力模块输出的时空域自注意力引导加权后的特征图的步骤，具体包括：
7.根据权利要求1-6任一项所述的基于特征融合的运动想象脑电图分类方法，其特征在于，所述将所述第一特征图和所述第二特征图进行特征融合后进行分类，得到所述运动想象脑电图的分类结果的步骤，具体包括：
8.一种基于特征融合的运动想象脑电图分类装置，其特征在于，包括：
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于特征融合的运动想象脑电图分类方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于特征融合的运动想象脑电图分类方法。
