1.本发明涉及运动想象识别技术领域，尤其涉及一种双模态运动想象的分类识别方法、系统和存储介质。
背景技术：2.目前，非侵入式的脑机接口(brain-computer interface,bci)技术包括了四类：脑电图(eeg)、脑磁图(meg)、功能核磁共振成像(fmri)、以及功能近红外光谱技术(fnirs)。其中，基于脑电图和基于功能性近红外光谱的脑机接口技术都因具有较为低廉的成本和更高的便携性而得到研究者们关注。但是，这两种单模态的脑机接口都存在一些明显的缺点：一方面，基于脑电图的脑机接口技术具有复杂性、动态性、低空间分辨率和低信噪比的特点；另一方面，基于近红外光谱的脑机接口信息传输速度慢，错误率高，并且大多数基于近红外光谱的脑机接口实验都在受控的实验室环境中进行，而在真实情况下，执行依赖注意力的心理任务(如运动想象)会变得更加困难。因此，如何克服单一模态脑机接口在神经康复中的诸多不足，从而提升运动想象任务的目标分类识别的准确率，是当前亟需解决的问题。
技术实现要素：3.为解决上述技术问题，本发明提供了一种双模态运动想象的分类识别方法、系统和存储介质。
4.本发明的一种双模态运动想象的分类识别方法的技术方案如下：
5.获取从用户的头部所采集的原始双模态数据，并对所述原始双模态数据进行预处理，得到预处理后的双模态数据；
6.对所述预处理后的双模态数据进行特征提取，得到双模态特征数据；
7.基于预设解码网络模型，对所述双模态特征数据进行解码，得到所述用户的目标运动想象类别。
8.本发明的一种双模态运动想象的分类识别方法的有益效果如下：
9.本发明的方法通过采用双模态脑机接口技术获取用户运动想象中产生的特征数据并进行解码，提高运动想象的分别识别的准确率的同时，也提高了解码过程与分类识别过程的反馈速度以及数据传输率。
10.在上述方案的基础上，本发明的一种双模态运动想象的分类识别方法还可以做如下改进。
11.较优地，所述原始双模态数据包括：原始脑电图数据和原始近红外光谱数据；所述原始双模态数据的采集过程为：采用电极从所述用户的头部采集所述原始脑电图数据，并采用光源探测器从所述用户的头部采集所述原始近红外光谱数据。
12.进一步，所述双模态特征数据包括：脑电图特征数据和近红外光谱特征数据；
13.所述对所述预处理后的双模态数据进行特征提取，得到双模态特征数据，包括：
14.采用时频域分析法对预处理后的原始脑电图数据进行特征提取，得到所述脑电图特征数据，采用所述时频域分析法对预处理后的原始近红外光谱数据进行特征提取，得到所述近红外光谱特征数据。
15.进一步，所述预设解码网络模型包括：二维卷积层、最大池化层、四个串联的残差模块、平均池化层、全连接层和softmax分类器；所述基于预设解码网络模型，对所述双模态特征数据进行解码，得到所述目标用户的目标运动想象类别，包括：
16.将所述脑电图特征数据和所述近红外光谱特征数据输入至所述预设解码网络模型的所述二维卷积层，依次经所述二维卷积层处理、批正则化处理和relu激活后，得到第一特征数据；
17.通过所述最大池化层对所述第一特征数据进行下采样，得到第二特征数据；
18.将所述第二特征数据依次通过所述四个串联的残差模块，得到所述第三特征数据，并将经过relu激活后的第三特征数据输入至所述平均池化层进行正则化处理，得到第四特征数据；
19.将所述第四特征数据输入至所述全连接层，并采用所述softmax分类器输出每个每种运动想象类别的概率；
20.将概率最高的运动想象类别确定为目标运动想象类别。
21.进一步，所述每个残差模块中均包含一个混合注意力模块；
22.所述将所述第二特征数据依次通过所述四个串联的残差模块，得到所述第三特征数据，包括：
23.将所述第二特征数据输入首个残差模块，并经过所述首个残差模块的卷积层处理后，得到第一残差特征数据；
24.将所述第一残差特征数据输入至所述首个残差模块的混合注意力模块，得到第一残差特征加权数据，并将所述第二特征数据与所述第一残差特征加权数据进行叠加，得到所述首个残差模块的第一输出特征数据；
25.将所述第一输出特征数据输入至下一个残差模块，直至得到所述第三特征数据。
26.进一步，任一残差模块中的混合注意力模块包括：通道注意力模块和空间注意力模块，所述通道注意力模块和所述空间注意力模块采用串联方式或并联方式连接；
27.所述将所述第一残差特征数据输入至所述首个残差模块的混合注意力模块，得到第一残差特征加权数据，包括：
28.当所述通道注意力模块和所述空间注意力模块采用串联方式连接时，基于目标串联公式，将所述第一残差特征数据输入至所述首个残差模块的混合注意力模块，得到第一残差特征加权数据；其中，所述目标串联公式为：f
″
＝(f
·
mc(f))
·ms
(f
·
mc(f))或f
″
＝(f
·ms
(f))
·
mc(f
·ms
(f))；
29.当所述通道注意力模块和所述空间注意力模块采用并联方式连接时，基于目标并联公式，将所述第一残差特征数据输入至所述首个残差模块的混合注意力模块，得到第一残差特征加权数据；其中，所述目标并联公式为：f
″
＝σ(f
·
mc(f)+f
·ms
(f))。
30.进一步，还包括：
31.基于预设映射关系函数，生成所述目标运动想象类别对应的目标运动控制指令，并将所述目标运动控制指令发送至所述用户的智能设备中，以使所述用户通过所述智能设
备进行运动训练。
32.本发明的一种双模态运动想象的分类识别系统的技术方案如下：
33.包括：数据处理模块、特征提取模块和解码识别模块；
34.所述数据处理模块用于：获取从用户的头部所采集的原始双模态数据，并对所述原始双模态数据进行预处理，得到预处理后的双模态数据；
35.所述特征提取模块用于：对所述预处理后的双模态数据进行特征提取，得到双模态特征数据；
36.所述解码识别模块用于：基于预设解码网络模型，对所述双模态特征数据进行解码，得到所述用户的目标运动想象类别。
37.本发明的一种双模态运动想象的分类识别系统的有益效果如下：
38.本发明的系统通过采用双模态脑机接口技术获取用户运动想象中产生的特征数据并进行解码，提高运动想象的分别识别的准确率的同时，也提高了解码过程与分类识别过程的反馈速度以及数据传输率。
39.在上述方案的基础上，本发明的一种双模态运动想象的分类识别系统还可以做如下改进。
40.进一步，所述原始双模态数据包括：原始脑电图数据和原始近红外光谱数据；所述原始双模态数据的采集过程为：采用电极从所述用户的头部采集所述原始脑电图数据，并采用光源探测器从所述用户的头部采集所述原始近红外光谱数据。
41.本发明的一种存储介质的技术方案如下：
42.存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如本发明的一种双模态运动想象的分类识别方法的步骤。
附图说明
43.图1为本发明实施例的一种双模态运动想象的分类识别方法的流程示意图；
44.图2为本发明实施例的一种双模态运动想象的分类识别方法中的预设解码网络模型的网络结构的示意图；
45.图3为本发明实施例的一种双模态运动想象的分类识别方法中的残差模块的结构示意图；
46.图4为本发明实施例的一种双模态运动想象的分类识别方法中的通道注意力模块和空间注意力模块串联结构图；
47.图5为本发明实施例的一种双模态运动想象的分类识别方法中的通道注意力模块和空间注意力模块并联结构图；
48.图6为本发明实施例的一种双模态运动想象的分类识别方法中的通道注意力模块的结构示意图；
49.图7为本发明实施例的一种双模态运动想象的分类识别方法中的空间注意力模块的结构示意图；
50.图8为本发明实施例的一种双模态运动想象的分类识别系统的结构示意图。
具体实施方式
51.如图1所示，本发明实施例的一种双模态运动想象的分类识别方法，包括如下步骤：
52.s1、获取从用户的头部所采集的原始双模态数据，并对所述原始双模态数据进行预处理，得到预处理后的双模态数据。
53.其中，原始双模态数据包括：原始脑电图数据和原始近红外光谱数据。原始脑电图数据为：基于放置在用户头皮表面的电极，所采集的用户具有自发性和节律性的脑电活动数据；原始近红外光谱数据为：利用放置在用户头皮处的光源探测器对用户大脑进行局部血流信号进行测量所得到的数据。
54.其中，预处理后的双模态数据包括：预处理后的脑电图数据和预处理后的近红外光谱数据。
55.其中，对原始双模态数据进行预处理的过程分为：对原始脑电图数据进行预处理和对原始近红外光谱数据进行预处理。
①
对原始脑电图数据进行预处理的过程包括：对原始脑电图数据进行数据裁剪(如删除无用的通道信息)、数据滤波(如高通滤波、低通滤波、带通滤波等)、数据分段、基线校正、降采样等步骤，得到预处理后的脑电图数据。
②
对原始近红外光谱数据进行预处理的过程包括：对原始近红外光谱数据进行去除伪影、信号滤波、数据分段、基线对比、将光密度转换为含氧血红蛋白和脱氧血红蛋白浓度的相对变化等步骤，得到预处理后的近红外光谱数据。
56.s2、对所述预处理后的双模态数据进行特征提取，得到双模态特征数据。
57.其中，双模态特征数据包括：脑电图特征数据和近红外光谱特征数据。
58.其中，特征提取的过程为：对预处理后的脑电图数据和预处理后的近红外光谱数据分别进行特征提取，并选择相应的特征参数以表征数据的特征。
59.需要说明的是，主要的特征参数包括但不限于：时域特征(如信号幅值)和频域特征(如信号频段的强度)两种，相应的特征提取方法分为：时域法、频域法和时频域法。
60.s3、基于预设解码网络模型，对所述双模态特征数据进行解码，得到所述用户的目标运动想象类别。
61.其中，预设解码网络模型为：在残差神经网络模型的基础上融合了混合注意力模块，并用于对双模态特征数据进行解码的模型。
62.其中，目标运动想象类别包括但不限于：抬手、伸腿等，可根据用户的实际需求进行划分，运动想象类别的数量以及类型在此不设限制。
63.具体地，利用预设解码网络模型，对脑电图特征数据和近红外光谱特征数据进行解码，将用户的运动想象意图转换成对应的运动想象类别。
64.例如，当用户在大脑中想象支配其上肢进行抬手时，通过本实施例的技术方案采集数据，并进行预处理和特征提取后，利用预设解码网络模型对相关特征数据进行解码后，得到用户的目标运动想象类别为：抬手。
65.较优地，所述s2包括：
66.采用时频域分析法对预处理后的原始脑电图数据进行特征提取，得到所述脑电图特征数据，采用所述时频域分析法对预处理后的原始近红外光谱数据进行特征提取，得到所述近红外光谱特征数据。
67.其中，时域分析法主要分析信号波形的几何性质，如兴趣时间窗口内幅度的均值、最大值、中位数等；频域分析法主要分析信号频域上各波段的功率(如功率谱估计，快速傅里叶变换)等；时频域分析法既包括了时域上的特征提取也包括了频域上的特征提取，即对信号进行频谱分析的同时保留时域上的信息(如小波变换)。经过特征提取和选择后，脑电图特征数据(eeg特征)和近红外光谱特征数据(fnirs特征)作为输入特征输入至预设解码网络模型中进行解码，以得到用户的目标运动想象类别。
68.较优地，所述预设解码网络模型包括：二维卷积层、最大池化层、四个串联的残差模块、平均池化层、全连接层和softmax分类器。
69.其中，如图2所示，预设解码网络模型由：
①
二维卷积层、
②
最大池化层、
③
四个串联的残差模块、
④
平均池化层、
⑤
全连接层和
⑥
softmax分类器构成。假设卷积层的大小可以用k，f，和s来表示，其中k是卷积核的个数，f是卷积核的大小，s是步长。
70.在本实施例中，
①
二维卷积层包括：k＝64个大小为f＝3
×
3的二维卷积核，步长s＝2。
②
最大池化层的步长为2。
③
四个串联的残差模块:其中第一个残差模块包括两层二维卷积层(大小均为k＝64，f＝3
×
3，s＝1)和一个混合注意力模块，映射为直接映射；第二个残差模块包括三层二维卷积层(大小分别为:k＝128，f＝3
×
3，s＝2；k＝128，f＝3
×
3，s＝1；k＝128，f＝3
×
3，s＝2)，映射部分为一层二维卷积层，大小为k＝128，f＝1
×
1，s＝2；第三个残差模块包括两层卷积层(大小分别为k＝256，f＝3
×
3，s＝2和k＝256，f＝3
×
3，s＝1)和一个混合注意力模块，映射部分为一层二维卷积层，大小为k＝256，f＝1
×
1，s＝2；第四个残差模块包括两层卷积层(大小分别为k＝512，f＝3
×
3，s＝2和k＝512，f＝3
×
3，s＝1)，映射部分为一层二维卷积层，大小为k＝512，f＝1
×
1，s＝2。
71.④
平均池化层的功能与作用为本领域的现有技术，在此不过多赘述。
72.⑤
全连接层的功能与作用为本领域的现有技术，在此不过多赘述
73.⑥
softmax分类器的功能与作用为本领域的现有技术，在此不过多赘述。
74.需要说明的是，二维卷积层和残差模块的实现方式有多种，并不局限于本实施例中提到的方式。
75.所述s3包括：
76.s31、将所述脑电图特征数据和所述近红外光谱特征数据输入至所述预设解码网络模型的所述二维卷积层，依次经所述二维卷积层处理、批正则化处理和relu激活后，得到第一特征数据。
77.其中，脑电图特征数据和所述近红外光谱特征数据作为原始特征数据输入至预设解码网络模型。
78.其中，第一特征数据为：原始特征数据通过二维卷积层，并经过批正则化处理和relu激活层后所得到的特征图类型的特征数据。
79.其中，批正则化处理和relu激活处理，均为现有技术，在此不过多赘述。
80.s32、通过所述最大池化层对所述第一特征数据进行下采样，得到第二特征数据。
81.其中，第二特征数据为：通过最大池化层对第一特征数据进行下采样处理后，所得到的特征数据，该特征数据为最大池化层的输出特征图。
82.需要说明的是，通过所述最大池化层对所述第一特征数据进行下采样的过程为现有技术。
83.s33、将所述第二特征数据依次通过所述四个串联的残差模块，得到所述第三特征数据，并将经过relu激活后的第三特征数据输入至所述平均池化层进行正则化处理，得到第四特征数据。
84.其中，第三特征数据为：通过四个串联的残差模块处理后所得到的特征数据，该特征数据以特征图的形式表示。
85.其中，第四特征数据为：将第三特征数据输入至平均池化层进行正则化处理后所得到的特征数据。
86.需要说明的是，通过平均池化层对数据进行正则化处理的过程为现有技术。
87.具体地，如图2所示，第二特征数据依次通过四个串联的残差模块中，每经过一个残差模块，卷积核的数就增加一倍。在通过第一个残差模块时，第一层卷积层的输出需经过批正则化和relu激活后才通往下一层，第二层卷积层的输出需通过批正则化再输入到第三层卷积层。在通过第二个残差模块时，第一个残差模块的输出特征首先经过relu激活输入到第一层卷积层中，其输出需通过批正则化和relu激活输入到第二层卷积层中，而其输出需经过批正则化后再输入到第三层卷积层中。以此类推，第三残差模块和第四个残差模块同理。在通过四个残差模块后，输出特征经过relu激活后输入到平均池化层中，对整个网络在结构上做正则化防止过拟合。
88.s34、将所述第四特征数据输入至所述全连接层，并采用所述softmax分类器输出每个每种运动想象类别的概率。
89.其中，经过softmax分类器输出每个每种运动想象类别的概率是不同的。
90.s35、将概率最高的运动想象类别确定为目标运动想象类别。
91.较优地，所述每个残差模块中均包含一个混合注意力模块。
92.所述将所述第二特征数据依次通过所述四个串联的残差模块，得到所述第三特征数据，包括：
93.将所述第二特征数据输入首个残差模块，并经过所述首个残差模块的卷积层处理后，得到第一残差特征数据。
94.将所述第一残差特征数据输入至所述首个残差模块的混合注意力模块，得到第一残差特征加权数据，并将所述第二特征数据与所述第一残差特征加权数据进行叠加，得到所述首个残差模块的第一输出特征数据。
95.具体地，如图3所示，残差模块由残差部分和映射部分组成。在残差部分，将第二特征数据输入至首个残差模块的n层卷积层(用函数f(
·
)表示)，得到第一残差特征数据(特征图f(x))，即f。特征图f经过首个残差模块的混合注意力模块后得到第一残差特征加权数据(加权特征f
″
)。在映射部分，将第二特征数据直接映射到残差部分的输出上，与加权特征f
″
进行叠加，最终得到残差模块的输出第一输出特征数据y。其中，残差模块的输出y可以表示为：y＝a(f(x))+x；a(
·
)表示采用混合注意力模块进行处理，a(f(x))表示对第一残差特征数据采用混合注意力模块进行处理，x为首个残差模块的输入特征(第二特征数据)。
96.需要说明的是，根据层数的不同，残差网络可以被分为多种类型，如resnet18，resnet34，resnet50等。通过将残差模块结构进行重复的排列组合，同时控制网络层数以及残差模块中卷积核的尺寸和通道数，可以得到多种不同的残差网络结构。
97.将所述第一输出特征数据输入至下一个残差模块，直至得到所述第三特征数据。
98.其中，每个残差模块的输出特征将作为下一个残差模块的输入特征进行输入，直至得到第四个残差模块的输出特征(第三特征数据)。
99.较优地，任一残差模块中的混合注意力模块包括：通道注意力模块和空间注意力模块，所述通道注意力模块和所述空间注意力模块采用串联方式或并联方式连接。
100.其中，如图4所示，当通道注意力模块和空间注意力模块串联时，通道注意力模块和空间注意力模块可任意更换顺序或更换位置；如图5所示，当通道注意力模块和空间注意力模块并联时，通道注意力模块和空间注意力模块可任意更换位置。
101.所述将所述第一残差特征数据输入至所述首个残差模块的混合注意力模块，得到第一残差特征加权数据，包括：
102.当所述通道注意力模块和所述空间注意力模块采用串联方式连接时，基于目标串联公式，将所述第一残差特征数据输入至所述首个残差模块的混合注意力模块，得到所述第一残差特征加权数据；其中，所述目标串联公式为：f
″
＝(f
·
mc(f))
·ms
(f
·
mc(f))或f
″
＝(f
·ms
(f))
·
mc(f
·ms
(f))；
103.其中，f
″
为所述第一残差特征加权数据，mc为所述通道注意力模块，m为所述空间注意力模块，f为所述第一残差特征数据，mc(f)表示采用通道注意力模块对所述第一残差特征数据进行处理后的数据，ms(f)表示采用空间注意力模块对所述第一残差特征数据进行处理后的数据。
104.当所述通道注意力模块和所述空间注意力模块采用并联方式连接时，基于目标并联公式，将所述第一残差特征数据输入至所述首个残差模块的混合注意力模块，得到第一残差特征加权数据；其中，所述目标并联公式为：f
′′
＝σ(f
·
mc(f)+f
·ms
(f))。
105.其中，mc(f)＝σ(mlp(avdpool(f))+mlp(maxpool(f)))。具体地，如图6所示，通道注意力模块以特征图f为输入，分别使用平均池化avdpool(
·
)和最大池化maxpool(
·
)以获得相对应的平均池化特征和最大池化特征随后将和分别输入到共享的全连接网络中，并将结果叠加并代入sigmoid函数σ(
·
)中，最终得到通道注意力图mc(f)。其中，平均池化特征和最大池化特征所共享的全连接网络为一个多层感知器网络。
106.其中，ms(f)＝σ(conv([avgpool(f)；maxpool(f)]))。具体地，如图7所示，空间注意力模块以特征图f为输入，沿着通道的方向对输入特征图分别进行平均池化avdpool(
·
)和最大池化maxpool(
·
)的操作，然后将产生的特征图合并后输入到一层卷积层conv(
·
)中，最后通sigmoid函数σ(
·
)得到空间注意力图ms(f)。
[0107]
需要说明的是，由上述两个子模块组合得到的混合注意力模块可以无缝集成到任何深度卷积神经网络的架构中，其对于网络计算成本的增加可以忽略不计，同时还能减少深度网络中的模块数和网络层数，与卷积神经网络一起进行端到端的训练。当将混合注意力模块融合于残差网络中时，该模块可以插入到网络中的任一残差模块中，并出现任意次数。
[0108]
较优地，还包括：
[0109]
基于预设映射关系函数，生成所述目标运动想象类别对应的目标运动控制指令，并将所述目标运动控制指令发送至所述用户的智能设备中，以使所述用户通过所述智能设备进行运动训练。
[0110]
其中，预设映射关系函数为解码前预先设定的映射关系。例如，当用户的运动想象意图为抬手时，用标签i(i＝0，1，
…
，n，n为大于等于1的整数)来标记输入的特征数据；当患者运动想象意图为伸腿时，用标签j(j＝0，1，
…
，n，j≠i)来标记输入的特征数据。根据此映射关系，每个输出的运动想象类别都被直接映射为一个可以控制智能设备的目标运动控制指令。
[0111]
本实施例的技术方案通过采用双模态脑机接口技术获取用户运动想象中产生的特征数据并进行解码，提高运动想象的分别识别的准确率的同时，也提高了解码过程与分类识别过程的反馈速度以及数据传输率。
[0112]
如图8所示，本发明实施例的一种双模态运动想象的分类识别系统200，包括：数据处理模块210、特征提取模块220和解码识别模块230；
[0113]
所述数据处理模块210用于：获取从用户的头部所采集的原始双模态数据，并对所述原始双模态数据进行预处理，得到预处理后的双模态数据；
[0114]
所述特征提取模块220用于：对所述预处理后的双模态数据进行特征提取，得到双模态特征数据；
[0115]
所述解码识别模块230用于：基于预设解码网络模型，对所述双模态特征数据进行解码，得到所述用户的目标运动想象类别。
[0116]
较优地，所述原始双模态数据包括：原始脑电图数据和原始近红外光谱数据；所述原始双模态数据的采集过程为：采用电极从所述用户的头部采集所述原始脑电图数据，并采用光源探测器从所述用户的头部采集所述原始近红外光谱数据。
[0117]
本实施例的技术方案通过采用双模态脑机接口技术获取用户运动想象中产生的特征数据并进行解码，提高运动想象的分别识别的准确率的同时，也提高了解码过程与分类识别过程的反馈速度以及数据传输率。
[0118]
上述关于本实施例的一种双模态运动想象的分类识别系统200中的各参数和各个模块实现相应功能的步骤，可参考上文中关于一种双模态运动想象的分类识别方法的实施例中的各参数和步骤，在此不做赘述。
[0119]
本发明实施例提供的一种存储介质，包括：存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如一种双模态运动想象的分类识别方法的步骤，具体可参考上文中一种双模态运动想象的分类识别方法的实施例中的各参数和步骤，在此不做赘述。
[0120]
计算机存储介质例如：优盘、移动硬盘等。
[0121]
本发明实施例提供的一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，使所述计算机执行如一种双模态运动想象的分类识别方法的步骤，具体可参考上文中一种双模态运动想象的分类识别方法的实施例中的各参数和步骤，在此不做赘述。
[0122]
所属技术领域的技术人员知道，本发明可以实现为方法、系统、存储介质和电子设备。
[0123]
因此，本发明可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可
读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)，只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
技术特征：1.一种双模态运动想象的分类识别方法，其特征在于，包括：获取从用户的头部所采集的原始双模态数据，并对所述原始双模态数据进行预处理，得到预处理后的双模态数据；对所述预处理后的双模态数据进行特征提取，得到双模态特征数据；基于预设解码网络模型，对所述双模态特征数据进行解码，得到所述用户的目标运动想象类别。2.根据权利要求1所述的一种双模态运动想象的分类识别方法，其特征在于，所述原始双模态数据包括：原始脑电图数据和原始近红外光谱数据；所述原始双模态数据的采集过程为：采用电极从所述用户的头部采集所述原始脑电图数据，并采用光源探测器从所述用户的头部采集所述原始近红外光谱数据。3.根据权利要求1所述的一种双模态运动想象的分类识别方法，其特征在于，所述双模态特征数据包括：脑电图特征数据和近红外光谱特征数据；所述对所述预处理后的双模态数据进行特征提取，得到双模态特征数据，包括：采用时频域分析法对预处理后的原始脑电图数据进行特征提取，得到所述脑电图特征数据，采用所述时频域分析法对预处理后的原始近红外光谱数据进行特征提取，得到所述近红外光谱特征数据。4.根据权利要求3所述的一种双模态运动想象的分类识别方法，其特征在于，所述预设解码网络模型包括：二维卷积层、最大池化层、四个串联的残差模块、平均池化层、全连接层和softmax分类器；所述基于预设解码网络模型，对所述双模态特征数据进行解码，得到所述目标用户的目标运动想象类别，包括：将所述脑电图特征数据和所述近红外光谱特征数据输入至所述预设解码网络模型的所述二维卷积层，依次经所述二维卷积层处理、批正则化处理和relu激活后，得到第一特征数据；通过所述最大池化层对所述第一特征数据进行下采样，得到第二特征数据；将所述第二特征数据依次通过所述四个串联的残差模块，得到所述第三特征数据，并将经过relu激活后的第三特征数据输入至所述平均池化层进行正则化处理，得到第四特征数据；将所述第四特征数据输入至所述全连接层，并采用所述softmax分类器输出每个每种运动想象类别的概率；将概率最高的运动想象类别确定为目标运动想象类别。5.根据权利要求4所述的一种双模态运动想象的分类识别方法，其特征在于，所述每个残差模块中均包含一个混合注意力模块；所述将所述第二特征数据依次通过所述四个串联的残差模块，得到所述第三特征数据，包括：将所述第二特征数据输入首个残差模块，并经过所述首个残差模块的卷积层处理后，得到第一残差特征数据；将所述第一残差特征数据输入至所述首个残差模块的混合注意力模块，得到第一残差特征加权数据，并将所述第二特征数据与所述第一残差特征加权数据进行叠加，得到所述首个残差模块的第一输出特征数据；
将所述第一输出特征数据输入至下一个残差模块，直至得到所述第三特征数据。6.根据权利要求5所述的一种双模态运动想象的分类识别方法，其特征在于，任一残差模块中的混合注意力模块包括：通道注意力模块和空间注意力模块，所述通道注意力模块和所述空间注意力模块采用串联方式或并联方式连接；所述将所述第一残差特征数据输入至所述首个残差模块的混合注意力模块，得到第一残差特征加权数据，包括：当所述通道注意力模块和所述空间注意力模块采用串联方式连接时，基于目标串联公式，将所述第一残差特征数据输入至所述首个残差模块的混合注意力模块，得到第一残差特征加权数据；其中，所述目标串联公式为：f
″
＝(f
·
m
c
(f))
·
m
s
(f
·
m
c
(f))或f
″
＝(f
·
m
s
(f))
·
m
c
(f
·
m
s
(f))；当所述通道注意力模块和所述空间注意力模块采用并联方式连接时，基于目标并联公式，将所述第一残差特征数据输入至所述首个残差模块的混合注意力模块，得到第一残差特征加权数据；其中，所述目标并联公式为：f
″
＝σ(f
·
m
c
(f)+f
·
m
s
(f))。7.根据权利要求1-6任一项所述的一种双模态运动想象的分类识别方法，其特征在于，还包括：基于预设映射关系函数，生成所述目标运动想象类别对应的目标运动控制指令，并将所述目标运动控制指令发送至所述用户的智能设备中，以使所述用户通过所述智能设备进行运动训练。8.一种双模态运动想象的分类识别系统，其特征在于，包括：数据处理模块、特征提取模块和解码识别模块；所述数据处理模块用于：获取从用户的头部所采集的原始双模态数据，并对所述原始双模态数据进行预处理，得到预处理后的双模态数据；所述特征提取模块用于：对所述预处理后的双模态数据进行特征提取，得到双模态特征数据；所述解码识别模块用于：基于预设解码网络模型，对所述双模态特征数据进行解码，得到所述用户的目标运动想象类别。9.根据权利要求8所述的一种双模态运动想象的分类识别系统，其特征在于，所述原始双模态数据包括：原始脑电图数据和原始近红外光谱数据；所述原始双模态数据的采集过程为：采用电极从所述用户的头部采集所述原始脑电图数据，并采用光源探测器从所述用户的头部采集所述原始近红外光谱数据。10.一种存储介质，其特征在于，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如权利要求1至7中任一项所述的一种双模态运动想象的分类识别方法。
技术总结本发明涉及一种双模态运动想象的分类识别方法、系统和存储介质，所述方法包括：获取从用户的头部所采集的原始双模态数据，并对所述原始双模态数据进行预处理，得到预处理后的双模态数据；对所述预处理后的双模态数据进行特征提取，得到双模态特征数据；基于预设解码网络模型，对所述双模态特征数据进行解码，得到所述用户的目标运动想象类别。本发明通过采用双模态脑机接口技术获取用户运动想象中产生的特征数据并进行解码，提高运动想象的分别识别的准确率的同时，也提高了解码过程与分类识别过程的反馈速度以及数据传输率。别过程的反馈速度以及数据传输率。别过程的反馈速度以及数据传输率。
技术研发人员：薛耀 肖雪珍 张明 林奕
受保护的技术使用者：深圳未来脑律科技有限公司
技术研发日：2022.07.14
技术公布日：2022/11/1
