1.本技术涉及脑机接口技术,尤其涉及脑机接口数据处理方法、装置、电子设备及存储介质。
背景技术:2.随着脑机接口技术的快速发展和广泛使用,人们使用脑机接口技术进行脑机接口数据处理逐渐成为脑机接口技术应用的主流。但是在脑机接口数据处理的过程中,现有的脑机接口数据处理方法受亮度变换频率数量的限制,脑机接口数据处理的过程中,可编码的刺激目标的数量较少,人们更希望提高可编码的刺激目标的数量。
3.因此,如何智能地对刺激目标进行编码,以提高脑机接口数据处理中可编码的刺激目标的数量是一直追求的目标。
技术实现要素:4.本技术实施例提供了脑机接口数据处理方法、装置、电子设备及存储介质。
5.根据本技术的第一方面,提供了一种脑机接口数据处理方法,该方法包括:以第一亮度变换频率和第一运动频率在显示屏幕上显示候选刺激目标;响应于用户凝视所述候选刺激目标,获取所述用户凝视所述候选刺激目标时的脑电信号;基于所述脑电信号,确定所述用户凝视的目的刺激目标。
6.根据本技术一实施方式,所述以第一亮度变换频率和第一运动频率在显示屏幕上显示候选刺激目标,包括:所述候选刺激目标包括矩形框,所述矩形框内包括矩形的刺激块;以所述第一亮度变换频率在显示屏幕上显示闪烁的所述刺激块;以所述第一运动频率在显示屏幕上显示在所述矩形框内运动的所述刺激块。
7.根据本技术一实施方式,所述以第一亮度变换频率和第一运动频率在显示屏幕上显示候选刺激目标,还包括:以所述第一亮度变换频率和所述第一运动频率同时在所述显示屏幕上显示n个所述候选刺激目标,其中n为正整数。
8.根据本技术一实施方式,所述以第一亮度变换频率和第一运动频率在显示屏幕上显示刺激目标,包括:保持所述候选刺激目标的第一亮度变换频率不变,为每个所述候选刺激目标配置多个不同的所述第一运动频率;确定每个所述候选刺激目标的所述第一亮度变换频率和所述第一运动频率,以所述第一亮度变换频率和所述第一运动频率在所述显示屏幕上显示所述候选刺激目标。
9.根据本技术一实施方式,所述响应于用户凝视所述候选刺激目标,获取所述用户凝视所述候选刺激目标时的脑电信号,包括:响应于所述用户凝视所述候选刺激目标,产生所述脑电信号,所述脑电信号包括特定互调频率成分的稳态视觉诱发电位;基于所述第一亮度变换频率和所述第一运动频率,确定所述候选刺激目标对应的特定互调频率成分;其中,n个所述候选刺激目标中,每个所述候选刺激目标对应的所述特定互调频率成分均不同,其中n为正整数;获取所述用户凝视所述候选刺激目标时产生的所述脑电信号。
10.根据本技术一实施方式,所述基于所述第一亮度变换频率和所述第一运动频率,确定所述候选刺激目标对应的特定互调频率成分,包括:将所述第一亮度变换频率与所述第一亮度变换频率的谐波数相乘,得到所述第一亮度变化频率的整数倍谐波;将所述第一运动频率与所述第一运动频率的谐波数相乘,得到所述第一运动频率的整数倍谐波;所述第一亮度变换频率的谐波数和所述第一运动频率的谐波数为正整数;将所述第一亮度变化频率的整数倍谐波与所述第一运动频率的整数倍谐波相加或相减,确定所述特定互调频率成分。
11.根据本技术一实施方式,所述基于所述脑电信号,确定所述用户凝视的目的刺激目标,包括:对所述脑电信号进行预处理,确定稳态视觉诱发电位脑电信号;对所述稳态视觉诱发电位脑电信号进行特征提取,确定所述稳态视觉诱发电位脑电信号中的所述目的刺激目标对应的特定互调频率成分;基于所述目的刺激目标对应的特定互调频率成分与所述候选刺激目标对应的特定互调频率成分,确定所述用户凝视的所述目的刺激目标。
12.根据本技术一实施方式,所述基于所述目的刺激目标对应的特定互调频率成分与所述候选刺激目标对应的特定互调频率成分,确定所述用户凝视的所述目的刺激目标,包括:将所述目的刺激目标对应的特定互调频率成分与所述候选刺激目标对应的特定互调频率成分作对比,确定所述特定互调频率成分相关性最大的所述候选刺激目标;将所述特定互调频率成分相关性最大的所述候选刺激目标,确定为所述用户凝视的所述目的刺激目标。
13.根据本技术的第二方面,提供了一种脑机接口数据处理装置,该脑机接口数据处理装置包括:显示模块,用于以第一亮度变换频率和第一运动频率在显示屏幕上显示候选刺激目标;获取模块,用于响应于用户凝视所述候选刺激目标,获取所述用户凝视所述候选刺激目标时的脑电信号;确定模块,用于基于所述脑电信号,确定所述用户凝视的目的刺激目标。
14.根据本技术一实施方式,所述候选刺激目标包括矩形框,所述矩形框内包括矩形的刺激块;所述显示模块用于:以所述第一亮度变换频率在显示屏幕上显示闪烁的所述刺激块;以所述第一运动频率在显示屏幕上显示在所述矩形框内运动的所述刺激块。
15.根据本技术一实施方式,所述显示模块还用于:以所述第一亮度变换频率和所述第一运动频率同时在所述显示屏幕上显示n个所述候选刺激目标,其中n为正整数。
16.根据本技术一实施方式,所述显示模块用于:保持所述候选刺激目标的第一亮度变换频率不变,为每个所述候选刺激目标配置多个不同的所述第一运动频率;确定每个所述候选刺激目标的所述第一亮度变换频率和所述第一运动频率,以所述第一亮度变换频率和所述第一运动频率在所述显示屏幕上显示所述候选刺激目标。
17.根据本技术一实施方式,响应于所述用户凝视所述候选刺激目标,产生所述脑电信号,所述脑电信号包括特定互调频率成分的稳态视觉诱发电位;所述获取模块用于:基于所述第一亮度变换频率和所述第一运动频率,确定所述候选刺激目标对应的特定互调频率成分;其中,n个所述候选刺激目标中,每个所述候选刺激目标对应的所述特定互调频率成分均不同,其中n为正整数;获取所述用户凝视所述候选刺激目标时产生的所述脑电信号。
18.根据本技术一实施方式,所述获取模块用于:将所述第一亮度变换频率与所述第一亮度变换频率的谐波数相乘,得到所述第一亮度变化频率的整数倍谐波;将所述第一运
动频率与所述第一运动频率的谐波数相乘,得到所述第一运动频率的整数倍谐波;所述第一亮度变换频率的谐波数和所述第一运动频率的谐波数为正整数;将所述第一亮度变化频率的整数倍谐波与所述第一运动频率的整数倍谐波相加或相减,确定所述特定互调频率成分。
19.根据本技术一实施方式,所述确定模块用于:对所述脑电信号进行预处理,确定稳态视觉诱发电位脑电信号;对所述稳态视觉诱发电位脑电信号进行特征提取,确定所述稳态视觉诱发电位脑电信号中的所述目的刺激目标对应的特定互调频率成分;基于所述目的刺激目标对应的特定互调频率成分与所述候选刺激目标对应的特定互调频率成分,确定所述用户凝视的所述目的刺激目标。
20.根据本技术一实施方式,所述确定模块用于:将所述目的刺激目标对应的特定互调频率成分与所述候选刺激目标对应的特定互调频率成分作对比,确定所述特定互调频率成分相关性最大的所述候选刺激目标;将所述特定互调频率成分相关性最大的所述候选刺激目标,确定为所述用户凝视的所述目的刺激目标。
21.根据本技术的第三方面,提供了一种电子设备,包括:
22.至少一个处理器;以及
23.与所述至少一个处理器通信连接的存储器;其中,
24.所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本技术所述的方法。
25.根据本技术的第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行本技术所述的方法。
26.本技术实施例的方法,以第一亮度变换频率和第一运动频率在显示屏幕上显示候选刺激目标;响应于用户凝视所述候选刺激目标,获取所述用户凝视所述候选刺激目标时的脑电信号;基于所述脑电信号,确定所述用户凝视的目的刺激目标。如此,能够智能地对刺激目标进行编码,提高了脑机接口数据处理中可编码的刺激目标的数量。
27.需要理解的是,本技术的教导并不需要实现上面所述的全部有益效果,而是特定的技术方案可以实现特定的技术效果,并且本技术的其他实施方式还能够实现上面未提到的有益效果。
附图说明
28.通过参考附图阅读下文的详细描述,本技术示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本技术的若干实施方式,其中:
29.在附图中,相同或对应的标号表示相同或对应的部分。
30.图1示出了本技术实施例提供的脑机接口数据处理方法的处理流程示意图一;
31.图2示出了本技术实施例提供的基于第一亮度变换频率和第一运动频率,确定候选刺激目标对应的特定互调频率成分的处理流程示意图;
32.图3示出了本技术实施例提供的脑机接口数据处理方法的处理流程示意图二;
33.图4示出了本技术实施例提供的脑机接口数据处理方法的处理流程示意图三;
34.图5示出了本技术实施例提供的脑机接口数据处理方法的处理流程示意图四;
35.图6示出了本技术实施例提供的脑机接口数据处理方法的处理流程示意图五;
36.图7示出了本技术实施例提供的脑机接口数据处理方法的处理流程示意图六;
37.图8示出了本技术实施例提供的脑机接口数据处理方法的一种应用场景图;
38.图9示出了本技术实施例提供的脑机接口数据处理方法的另一种应用场景图;
39.图10示出了本技术实施例提供的脑机接口数据处理方法的又一种应用场景图;
40.图11示出了本技术实施例提供的脑机接口数据处理方法的再一种应用场景图;
41.图12示出了本技术实施例提供的脑机接口数据处理装置的一种可选示意图;
42.图13示出了本技术实施例提供的电子设备的组成结构示意图。
具体实施方式
43.为使本技术的目的、特征、优点能够更加的明显和易懂,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而非全部实施例。基于本技术中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
44.在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
45.除非另有定义,本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的,不是旨在限制本技术。
46.对本技术实施例进行进一步详细说明之前,对本技术实施例中涉及的名词和术语进行说明,本技术实施例中涉及的名词和术语适用于如下的解释。
47.脑机接口,脑机接口是人或动物脑与计算机或其他电子设备之间建立的不依赖于外周神经和肌肉组织的一种全新交流与控制通道。
48.相关技术中,目前已知的脑机接口数据处理的技术方案,脑机接口数据处理受亮度变换频率数量的限制,在脑机接口数据处理的过程中,可编码的刺激目标的数量较少,相关技术在脑机接口数据处理过程中受亮度变换频率数量的限制,进而出现可编码的刺激目标的数量少的问题。
49.针对相关技术提供的上述脑机接口数据处理方法,在脑机接口数据处理过程中受亮度变换频率数量的限制,进而出现可编码的刺激目标的数量少的问题,本技术实施例的方法,以第一亮度变换频率和第一运动频率在显示屏幕上显示候选刺激目标;响应于用户凝视所述候选刺激目标,获取所述用户凝视所述候选刺激目标时的脑电信号;基于所述脑电信号,确定所述用户凝视的目的刺激目标。因此,与相关技术中在脑机接口数据处理过程中受亮度变换频率数量的限制,进而可编码的刺激目标的数量少相比,本技术的脑机接口数据处理方法能够利用互调频率编码刺激目标,通过引入多个不同的运动频率,只需通过一种亮度变换频率与多个不同的运动频率作为互调频率,即可实现对不同刺激目标的编码,进而提高脑机接口数据处理中可编码的刺激目标的数量。
50.对本技术实施例提供的脑机接口数据处理方法中的处理流程进行说明。参见图1,图1是本技术实施例提供的脑机接口数据处理方法的处理流程示意图一,将结合图1示出的
步骤s101-s104进行说明。
51.步骤s101,以第一亮度变换频率和第一运动频率在显示屏幕上显示候选刺激目标。
52.在一些实施例中,候选刺激目标可以包括矩形框,矩形框内包括矩形的刺激块。第一亮度变换频率可以包括:候选刺激目标的灰度值变换频率,其中,候选刺激目标的灰度值可以按照正弦波规律,以第一亮度变换频率随时间变化。第一亮度变换频率也可以包括:刺激块的灰度值变换频率,其中,刺激块的灰度值可以按照正弦波规律,以第一亮度变换频率随时间变化。第一运动频率可以包括:候选刺激目标的位置变换频率,其中,候选刺激目标的位置可以按照正弦波规律,以第一运动频率随时间变化。第一运动频率也可以包括:刺激块在矩形框内的位置变换频率,其中,矩形框保持静止,刺激块在矩形框内的位置可以按照正弦波规律,以第一运动频率随时间变化。第一运动频率优选0.1hz~0.9hz,矩形框保持静止,刺激块在矩形框内的位置优选按照正弦波规律,以第一运动频率左右变化。第一亮度变换频率优选15hz,刺激块的灰度值优选按照正弦波规律,以第一亮度变换频率在0-255的灰度值区间内变化。
53.在具体实施时,在显示屏幕上显示矩形框,矩形框内包括矩形的刺激块,利用矩形框来限定刺激块的位置变换范围。其中,矩形框保持静止,刺激块在矩形框内的位置按照正弦波规律,以第一运动频率随时间变化,同时刺激块的灰度值按照正弦波规律,以第一亮度变换频率随时间变化。
54.在一些实施例中,以第一亮度变换频率和第一运动频率在显示屏幕上显示候选刺激目标还可以包括:以第一亮度变换频率和第一运动频率同时在显示屏幕上显示n个候选刺激目标,其中n为正整数,本技术实施例不限定具体的候选刺激目标数量。
55.在具体实施时,在显示屏幕上显示n个矩形框,n个矩形框内包括n个矩形的刺激块,其中,n个矩形框保持静止,n个刺激块在矩形框内的位置按照正弦波规律,以第一运动频率随时间变化,同时n个刺激块的灰度值按照正弦波规律,以第一亮度变换频率随时间变化。
56.在一些实施例中,以第一亮度变换频率和第一运动频率在显示屏幕上显示候选刺激目标可以包括:保持候选刺激目标的第一亮度变换频率不变,为每个候选刺激目标配置多个不同的第一运动频率;确定每个候选刺激目标的第一亮度变换频率和第一运动频率,以第一亮度变换频率和第一运动频率在显示屏幕上显示候选刺激目标。
57.作为示例,候选刺激目标包括:刺激目标1、刺激目标2和刺激目标3。其中,刺激目标1包括矩形框1,矩形框内包括刺激块1;刺激目标2包括矩形框2,矩形框内包括刺激块2;刺激目标3包括矩形框3,矩形框内包括刺激块3。保持刺激目标1、刺激目标2和刺激目标3的15hz的第一亮度变换频率不变,分别为刺激目标1配置0.1hz的第一运动频率,刺激目标2配置0.2hz的第一运动频率,刺激目标3配置0.3hz的第一运动频率。
58.确定刺激目标1、刺激目标2和刺激目标3的第一亮度变换频率和第一运动频率。在显示屏幕上显示矩形框1、矩形框2和矩形框3。矩形框1、矩形框2和矩形框3内分别包括刺激块1、刺激块2和刺激块3,其中,矩形框1、矩形框2和矩形框3保持静止,刺激块1在矩形框1内的位置按照正弦波规律,以0.1hz随时间变化,刺激块2在矩形框2内的位置按照正弦波规律,以0.2hz随时间变化,刺激块3在矩形框3内的位置按照正弦波规律,以0.3hz随时间变
化。同时刺激块1、刺激块2和刺激块3的灰度值按照正弦波规律,以15hz随时间变化。
59.需要强调的是,此处的第一亮度变换频率和第一运动频率仅为举例以进行说明,并非实际的频率数值,具体的第一亮度变换频率和第一运动频率的确定,应根据具体实验要求调整,本技术实施例不作具体限定。
60.在一些实施例中,在步骤s101之前,在预设的提示时长内,在显示屏幕将要显示候选刺激目标的位置上显示提示块,提示用户凝视将要显示的候选刺激目标。
61.作为示例,将要显示的候选刺激目标包括:刺激目标1、刺激目标2和刺激目标3。其中,刺激目标1需要被用户凝视,则在预设的提示时长内,在显示屏幕将要显示刺激目标1的位置上显示提示块,提示用户凝视将要显示的刺激目标1。
62.在一些实施例中,步骤s101可以包括:在显示屏幕将要显示候选刺激目标的位置上显示提示块,提示用户凝视将要显示的候选刺激目标后,开始刺激任务,在预设的任务时长内,以第一亮度变换频率和第一运动频率在显示屏幕上显示候选刺激目标,响应于候选刺激目标的显示时长达到预设的任务时长,结束刺激任务。
63.步骤s102,响应于用户凝视候选刺激目标,获取用户凝视候选刺激目标时的脑电信号。
64.在一些实施例中,用户凝视候选刺激目标可以包括:用户凝视n个候选刺激目标中的一个候选刺激目标,其中,n个候选刺激目标的n个矩形框保持静止,n个刺激块在n个矩形框内的位置按照正弦波规律,以多个不同的第一运动频率变化,同时刺激块的灰度值按照正弦波规律,以相同的第一亮度变换频率变化,n为正整数。脑电信号可以包括:特定互调频率成分的稳态视觉诱发电位。脑电信号还可以包括其他信号或其他电位,本技术实施例不作限定。
65.在一些实施例中,响应于用户凝视候选刺激目标,获取用户凝视候选刺激目标时的脑电信号可以包括:响应于用户凝视候选刺激目标,产生脑电信号;基于第一亮度变换频率和第一运动频率,确定候选刺激目标对应的特定互调频率成分,其中,n个候选刺激目标中,每个候选刺激目标对应的特定互调频率成分均不同,其中n为正整数;获取用户凝视候选刺激目标时产生的脑电信号。
66.针对于响应于用户凝视候选刺激目标,产生脑电信号,在具体实施时,用户凝视n个候选刺激目标中的一个候选刺激目标,其中,n个候选刺激目标的n个矩形框保持静止,n个刺激块在n个矩形框内的位置按照正弦波规律,以多个不同的第一运动频率变化,同时刺激块的灰度值按照正弦波规律,以相同的第一亮度变换频率变化,n为正整数。用户凝视n个候选刺激目标中的一个候选刺激目标,感受刺激块的位置相对于矩形框的变化以及刺激块的灰度值的变化,产生被凝视的候选刺激目标对应的脑电信号,脑电信号可以包括:被凝视的候选刺激目标对应的特定互调频率成分的稳态视觉诱发电位。
67.针对于基于第一亮度变换频率和第一运动频率,确定候选刺激目标对应的特定互调频率成分,其中,n个候选刺激目标中,每个候选刺激目标对应的特定互调频率成分均不同,其中n为正整数,在具体实施时,如图2所示,基于第一亮度变换频率和第一运动频率,确定候选刺激目标对应的特定互调频率成分的处理流程可以包括:步骤s1,将第一亮度变换频率与第一亮度变换频率的谐波数相乘,得到第一亮度变化频率的整数倍谐波。步骤s2,将第一运动频率与第一运动频率的谐波数相乘,得到第一运动频率的整数倍谐波;第一亮度
变换频率的谐波数和第一运动频率的谐波数为正整数。步骤s3,将第一亮度变化频率的整数倍谐波与第一运动频率的整数倍谐波相加或相减,确定特定互调频率成分。
68.通过步骤s1-s3,得到特定互调频率成分,可通过下述公式(1)表示:
69.m
×
f0±n×fi
(i=1,2,3,...,j)(1)
70.其中,m为第一亮度变换频率的谐波数,f0为第一亮度变换频率,f0也可以称为第一亮度变换频率的基频,m
×
f0为第一亮度变化频率的整数倍谐波,n为第一运动频率的谐波数,fi为第一运动频率,fi也可以称为第一运动频率的基频,n
×fi
为第一运动频率的整数倍谐波,j为候选刺激目标的数量,m、n和i为正整数。
71.作为示例,若j为2,则i为1时,即候选刺激目标1的第一亮度变换频率为15hz,第一亮度变换频率的谐波数为2个,第一运动频率为0.4hz,第一运动频率的谐波数为2个。由于第一亮度变换频率的谐波数为2个,第一运动频率的谐波数为2个,则根据公式(1)得到特定互调频率成分时m取1或2,n取1或2,即存在m=1,n=1、m=1,n=2、m=2,n=1以及m=2,n=2这4种取值组合,根据公式(1),可以得到8个特定互调频率成分,分别为:14.6,14.2,15.4,15.8,29.6,29.2,30.4,30.8。
72.i为2时,即候选刺激目标2的第一亮度变换频率为15hz,第一亮度变换频率的谐波数为2个,第一运动频率为0.5hz,第一运动频率的谐波数为2个。由于第一亮度变换频率的谐波数为2个,第一运动频率的谐波数为2个,则根据公式(1)得到特定互调频率成分时m取1或2,n取1或2,即存在m=1,n=1、m=1,n=2、m=2,n=1以及m=2,n=2这4种取值组合,根据公式(1),可以得到8个特定互调频率成分,分别为:14.5,14.0,15.5,16.0,29.5,29.0,30.5,31.0。
73.如此,候选刺激目标1和候选刺激目标2分别对应的特定互调频率成分均不同。
74.针对于获取用户凝视候选刺激目标时产生的脑电信号,在具体实施时,基于脑电采集装置,实时采集用户凝视候选刺激目标时产生的脑电信号,其中,脑电信号可以包括:被凝视的候选刺激目标对应的特定互调频率成分的稳态视觉诱发电位。
75.步骤s103,基于脑电信号,确定用户凝视的目的刺激目标。
76.在一些实施例中,所述目的刺激目标可以包括:特定互调频率成分相关性最大的候选刺激目标。其中,目的刺激目标可以与被用户凝视的候选刺激目标相同,目的刺激目标也可以与被用户凝视的候选刺激目标相同。
77.在一些实施例中,基于脑电信号,确定用户凝视的目的刺激目标,可以包括:对脑电信号进行预处理,确定稳态视觉诱发电位脑电信号;对稳态视觉诱发电位脑电信号进行特征提取,确定稳态视觉诱发电位脑电信号中的目的刺激目标对应的特定互调频率成分;基于目的刺激目标对应的特定互调频率成分与候选刺激目标对应的特定互调频率成分,确定用户凝视的目的刺激目标。
78.针对于对脑电信号进行预处理,确定稳态视觉诱发电位脑电信号,在具体实施时,首先,获取开始刺激任务和结束刺激任务的时间触发信号,根据开始刺激任务和结束刺激任务的时间触发信号,将脑电信号分割成多个候选刺激目标对应的稳态视觉诱发电位脑电信号。
79.针对于对稳态视觉诱发电位脑电信号进行特征提取,确定稳态视觉诱发电位脑电信号中的目的刺激目标对应的特定互调频率成分,在具体实施时,基于滤波器组典型相关
分析对稳态视觉诱发电位进行特征提取处理,确定稳态视觉诱发电位脑电信号中的目的刺激目标对应的特定互调频率成分。
80.针对基于目的刺激目标对应的特定互调频率成分与候选刺激目标对应的特定互调频率成分,确定用户凝视的目的刺激目标,在具体实施时,将目的刺激目标对应的特定互调频率成分与候选刺激目标对应的特定互调频率成分作对比,确定特定互调频率成分相关性最大的候选刺激目标;将特定互调频率成分相关性最大的候选刺激目标,确定为用户凝视的目的刺激目标。
81.在一些实施例中,对所述脑机接口数据处理方法的处理流程示意图二,如图3所示,包括:
82.步骤s201,保持候选刺激目标的第一亮度变换频率不变,为每个候选刺激目标配置多个不同的第一运动频率。
83.步骤s202,确定每个候选刺激目标的第一亮度变换频率和第一运动频率。
84.步骤s203,以所确定的第一亮度变换频率在显示屏幕上显示闪烁的刺激块。
85.步骤s204,以所确定的第一运动频率在显示屏幕上显示在矩形框内运动的刺激块。
86.在一些实施例中,在步骤s201之前,在预设的提示时长内,在显示屏幕将要显示候选刺激目标的位置上显示提示块,提示用户凝视将要显示的刺激块。
87.步骤s201-s204,在具体实施时,在显示屏幕将要显示候选刺激目标的位置上显示提示块,提示用户凝视将要显示的候选刺激目标后,开始刺激任务,在预设的任务时长内,保持刺激块的第一亮度变换频率不变,为刺激块配置多个不同的第一运动频率。确定每个刺激块的第一亮度变换频率和第一运动频率,在显示屏幕上显示矩形框,矩形框内包括矩形的刺激块,利用矩形框来限定刺激块的左右位置变换范围。其中,矩形框保持静止,刺激块在矩形框内的位置按照正弦波规律,以所确定的第一运动频率随时间左右变化,同时刺激块的灰度值按照正弦波规律,以所确定的第一亮度变换频率随时间变化,响应于候选刺激目标的显示时长达到预设的任务时长,结束刺激任务。
88.在一些实施例中,对所述脑机接口数据处理方法的处理流程示意图三,如图4所示,包括:
89.步骤s301,保持候选刺激目标的第一亮度变换频率不变,为每个候选刺激目标配置多个不同的第一运动频率。
90.步骤s302,确定每个候选刺激目标的第一亮度变换频率和第一运动频率。
91.步骤s303,以所确定的第一亮度变换频率和所确定的第一运动频率同时在显示屏幕上显示n个候选刺激目标,其中n为正整数。
92.在一些实施例中,在步骤s301之前,在预设的提示时长内,在显示屏幕将要显示候选刺激目标的位置上显示提示块,提示用户凝视将要显示的刺激块。
93.步骤s301-s304,在具体实施时,候选刺激目标包括:刺激目标1、刺激目标2和刺激目标3。其中,刺激目标1包括矩形框1,矩形框内包括刺激块1;刺激目标2包括矩形框2,矩形框内包括刺激块2;刺激目标3包括矩形框3,矩形框内包括刺激块3。
94.在显示屏幕将要显示候选刺激目标的位置上显示提示块,提示用户凝视将要显示的候选刺激目标后,开始刺激任务,在预设的任务时长内,保持刺激块1、刺激块2和刺激块3
的15hz的第一亮度变换频率不变,分别为刺激块1配置0.1hz的第一运动频率,刺激块2配置0.2hz的第一运动频率,刺激块3配置0.3hz的第一运动频率。
95.确定刺激块1、刺激块2和刺激块3的第一亮度变换频率和第一运动频率。在显示屏幕上显示矩形框1、矩形框2和矩形框3。矩形框1、矩形框2和矩形框3内分别包括刺激块1、刺激块2和刺激块3,其中,矩形框1、矩形框2和矩形框3保持静止,刺激块1在矩形框1内的位置按照正弦波规律,以0.1hz随时间左右变化,刺激块2在矩形框2内的位置按照正弦波规律,以0.2hz随时间左右变化,刺激块3在矩形框3内的位置按照正弦波规律,以0.3hz随时间左右变化。同时刺激块1、刺激块2和刺激块3的灰度值按照正弦波规律,以15hz随时间在0-255之间变化,响应于候选刺激目标的显示时长达到预设的任务时长,结束刺激任务。
96.在一些实施例中,对所述脑机接口数据处理方法的处理流程示意图四,如图5所示,包括:
97.步骤s401,基于第一亮度变换频率和第一运动频率,确定候选刺激目标对应的特定互调频率成分。
98.步骤s402,获取用户凝视候选刺激目标时产生的脑电信号。
99.在一些实施例中,首先,用户凝视n个候选刺激目标中的一个候选刺激目标,其中,n个候选刺激目标的n个矩形框保持静止,n个刺激块在n个矩形框内的位置按照正弦波规律,以多个不同的第一运动频率变化,同时刺激块的灰度值按照正弦波规律,以相同的第一亮度变换频率变化,n为正整数。用户凝视n个候选刺激目标中的一个候选刺激目标,感受刺激块的位置相对于矩形框的变化以及刺激块的灰度值的变化,产生被凝视的候选刺激目标对应的脑电信号。
100.基于第一亮度变换频率和第一运动频率,确定候选刺激目标对应的特定互调频率成分,其中,n个候选刺激目标中,每个候选刺激目标对应的特定互调频率成分均不同,其中n为正整数。
101.基于脑电采集装置,实时采集用户凝视候选刺激目标时产生的脑电信号,其中,脑电信号可以包括:被凝视的候选刺激目标对应的特定互调频率成分的稳态视觉诱发电位。脑电采集装置可以包括:在用户大脑枕区pz、po5、po3、poz、po4、po6、o1、oz、o2位置安放测量电极,电极分布符合国际10-20系统。
102.在一些实施例中,对所述脑机接口数据处理方法的处理流程示意图五,如图6所示,包括:
103.步骤s501,将第一亮度变换频率与第一亮度变换频率的谐波数相乘,得到第一亮度变化频率的整数倍谐波。
104.步骤s502,将第一运动频率与第一运动频率的谐波数相乘,得到第一运动频率的整数倍谐波;第一亮度变换频率的谐波数和第一运动频率的谐波数为正整数。
105.步骤s503,将第一亮度变化频率的整数倍谐波与第一运动频率的整数倍谐波相加或相减,确定特定互调频率成分。
106.在一些实施例中,通过步骤s501-s503,基于第一亮度变换频率和第一运动频率,确定候选刺激目标对应的特定互调频率成分。通过第一亮度变换频率和第一运动频率在稳态视觉诱发电位中产生的特定互调频率成分对候选刺激目标编码。
107.在一些实施例中,对所述脑机接口数据处理方法的处理流程示意图六,如图7所
示,包括:
108.步骤s601,对脑电信号进行预处理,确定稳态视觉诱发电位脑电信号。
109.作为示例,候选刺激目标的数量为9个,用户在每次刺激任务时凝视9个候选刺激目标中的一个,直至9个候选刺激目标全部被凝视过,即进行9次刺激任务。首先,获取每次刺激任务的开始刺激任务和结束刺激任务的时间触发信号,根据开始刺激任务和结束刺激任务的时间触发信号,将脑电信号分割成9个候选刺激目标对应的稳态视觉诱发电位脑电信号。
110.步骤s602,对稳态视觉诱发电位脑电信号进行特征提取,确定稳态视觉诱发电位脑电信号中的目的刺激目标对应的特定互调频率成分。
111.步骤s603,将目的刺激目标对应的特定互调频率成分与候选刺激目标对应的特定互调频率成分作对比,确定特定互调频率成分相关性最大的候选刺激目标。
112.步骤s604,将特定互调频率成分相关性最大的候选刺激目标,确定为用户凝视的目的刺激目标。
113.步骤s602-s604,在具体实施时,首先,基于fbcca算法(filter bank canonical corrlation analysis,滤波器组典型相关分析)对稳态视觉诱发电位进行特征提取处理,使用多个频率范围不同的带通滤波器将稳态视觉诱发电位脑电信号分解为多个子带信号,确定多个子带信号对应的特定互调频率成分。
114.其次,分别计算每个子带信号对应的特定互调频率成分与候选刺激目标对应的特定互调频率成分的典型相关系数以及每个子带信号对应的特定互调频率成分的权重系数。
115.最后,计算每个子带信号对应的典型相关系数的平方乘以每个子带信号对应的权重系数,得到作为目标识别的特征向量ρ,其中9个ρ中最大的目标识别的特征向量ρ称为最大相关系数,最大相关系数对应的候选刺激目标,即为特定互调频率成分相关性最大的候选刺激目标。
116.将特定互调频率成分相关性最大的候选刺激目标,确定为用户凝视的目的刺激目标。
117.图8示出了本技术实施例提供的脑机接口数据处理方法的一种应用场景图。
118.参考图8,本技术实施例提供的脑机接口数据处理方法的一种应用场景,应用于在显示屏幕中显示候选刺激目标的刺激界面,显示屏幕的屏幕刷新率为60hz,显示屏幕的屏幕分辨率为1920像素*1080像素,刺激界面的背景颜色为黑色,刺激界面中包括9个候选刺激目标,其中9个候选刺激目标对应的9个矩形框以3*3的矩阵形式排列。矩形框排列的具体方式为:在显示屏幕中均匀分布显示9个矩形框,各矩形框之间以预设的距离相隔,同时位置在矩阵外周的矩形框与显示屏幕边缘以预设的空白距离相隔;利用矩形框来限定运动的刺激块的左右位置变化范围,矩形框的高度与刺激块高度相同,矩形框的宽度要显著大于刺激块的宽度,以使用户能够充分感受刺激块相对于矩形框的运动。
119.可以理解,图8的脑机接口数据处理方法的应用场景只是本技术实施例中的部分示例性的实施方式,本技术实施例中脑机接口数据处理方法的应用场景包括但不限于图8所示的脑机接口数据处理方法的应用场景。
120.图9示出了本技术实施例提供的脑机接口数据处理方法的另一种应用场景图。
121.参考图9,本技术实施例提供的脑机接口数据处理方法的另一种应用场景,应用于
在预设的提示时长内的显示屏幕中的刺激界面。在预设的提示时长内,在9个矩形框中的随机一个矩形框的中心位置显示提示块,提示用户凝视该中心位置将要显示的刺激块,预设的提示时长优选为1s,本技术实施例不限定具体的提示时长。其中,提示块的高度和宽度优选与刺激块相同,以高亮颜色对提示块进行高亮显示,用于在刺激界面中突出显示提示块,本技术实施例不限定具体的提示块的高度、宽度和高亮颜色。图9示出了在预设的提示时长内,矩形框以3*3的矩阵形式排列,其中,在第三行第三列的矩形框的中心位置,以高亮颜色对提示块进行高亮显示。
122.可以理解,图9的脑机接口数据处理方法的应用场景只是本技术实施例中的部分示例性的实施方式,本技术实施例中脑机接口数据处理方法的应用场景包括但不限于图9所示的脑机接口数据处理方法的应用场景。
123.图10示出了本技术实施例提供的脑机接口数据处理方法的又一种应用场景图。
124.参考图10,本技术实施例提供的脑机接口数据处理方法的又一种应用场景,应用于在预设的任务时长内的显示屏幕中的刺激界面。9个刺激块被配置不同的第一运动频率,9个刺激块被配置相同的第一亮度变换频率。如,刺激块1被配置为0.1hz的第一运动频率,刺激块2被配置为0.2hz的第一运动频率,刺激块3被配置为0.3hz的第一运动频率,刺激块4被配置为0.4hz的第一运动频率,刺激块5被配置为0.5hz的第一运动频率,刺激块6被配置为0.6hz的第一运动频率,刺激块7被配置为0.7hz的第一运动频率,刺激块8被配置为0.8hz的第一运动频率,刺激块9被配置为0.9hz的第一运动频率,刺激块1-9均被配置为相同的15hz的第一亮度变换频率。刺激块的宽度,应能使用户充分的感知物体的闪烁并在能脑电信号中采集到明显的第一亮度变换频率和第一亮度变换频率的谐波信号。
125.在预设的任务时长内,9个矩形框保持静止,9个刺激块分别在9个矩形框内的位置按照正弦波规律,以9个刺激块被配置的不同的第一运动频率随时间左右变化,同时9个刺激块的灰度值按照正弦波规律,以15hz的第一亮度变换频率随时间变化。图10示出了在预设的任务时长内,9个刺激块的灰度值为0时的刺激块相对于矩形框的位置,其中刺激块从矩形框中心作为起始位置,在矩形框内作左右运动。
126.可以理解,图10的脑机接口数据处理方法的应用场景只是本技术实施例中的部分示例性的实施方式,本技术实施例中脑机接口数据处理方法的应用场景包括但不限于图10所示的脑机接口数据处理方法的应用场景。
127.图11示出了本技术实施例提供的脑机接口数据处理方法的再一种应用场景图。
128.参考图11,本技术实施例提供的脑机接口数据处理方法的再一种应用场景,应用于基于亮度和运动联合编码的稳态视觉诱发电位的刺激目标呈现。图11中的f表示第一亮度变换频率,其中,f对应的正弦波形,表示刺激块的灰度值按照正弦波规律,以第一亮度变换频率随时间变化。f1表示第一运动频率,其中,f1对应的正弦波形,表示刺激块在矩形框内的位置按照正弦波规律,以第一运动频率随时间左右变化。图11中左边的按时间从上至下排列的六个矩形框以及矩形框内的刺激块,表示同一个刺激块随时间在矩形框内的位置按照正弦波规律,以第一运动频率随时间左右变化,同时刺激块的灰度值按照正弦波规律,以第一亮度变换频率随时间变化。
129.在一些实施例中,该基于亮度和运动联合编码的稳态视觉诱发电位的刺激目标呈现的刺激范式流程为:刺激程序开始运行后,显示屏幕的刺激界面中首先显示9个矩形框,
在预设的提示时长内,在9个矩形框中的随机一个矩形框的中心位置显示红色的提示块,提示用户凝视该中心位置将要显示的刺激块,预设的提示时长优选为1s。
130.提示结束后,开始刺激任务,在预设的任务时长内,9个矩形框保持静止,9个刺激块分别在9个矩形框内的位置按照正弦波规律,以9个刺激块被配置的不同的第一运动频率随时间左右变化,同时9个刺激块的灰度值按照正弦波规律,以15hz的第一亮度变换频率随时间变化,响应于候选刺激目标的显示时长达到预设的任务时长,结束刺激任务。其中预设的任务时长优选为4s。至此为一个候选刺激目标的刺激试次,以此类推,9个候选刺激目标依次随机完成刺激试次即为一组刺激试组。
131.可以理解,图11的脑机接口数据处理方法的应用场景只是本技术实施例中的部分示例性的实施方式,本技术实施例中脑机接口数据处理方法的应用场景包括但不限于图11所示的脑机接口数据处理方法的应用场景。
132.本技术实施例的方法,保持候选刺激目标的第一亮度变换频率不变,为每个候选刺激目标配置多个不同的第一运动频率;确定每个候选刺激目标的第一亮度变换频率和第一运动频率,以第一亮度变换频率和第一运动频率在显示屏幕上显示候选刺激目标,如此,能够通过利用亮度和运动联合编码,仅采用较少的亮度变换频率实现对不同刺激目标的编码,进而提高脑机接口数据处理中可编码的刺激目标的数量;本技术实施例的方法,基于第一亮度变换频率和第一运动频率,确定候选刺激目标对应的特定互调频率成分;其中,n个候选刺激目标中,每个候选刺激目标对应的特定互调频率成分均不同,其中n为正整数,如此,能够通过亮度变换频率和运动频率在稳态视觉诱发电位中产生的互调频率成分实现对刺激目标的编码,每个刺激目标对应的编码均不同;本技术实施例的方法,对脑电信号进行预处理,确定稳态视觉诱发电位脑电信号;对稳态视觉诱发电位脑电信号进行特征提取,确定稳态视觉诱发电位脑电信号中的目的刺激目标对应的特定互调频率成分;基于目的刺激目标对应的特定互调频率成分与候选刺激目标对应的特定互调频率成分,确定用户凝视的所述目的刺激目标,如此,能够提高脑机接口数据处理中可编码的刺激目标的数量,进而优化脑机接口性能,提高脑机接口的实用化水平。
133.因此,与相关技术中脑机接口数据处理受亮度变换频率数量的限制,在脑机接口数据处理的过程中,可编码的刺激目标的数量较少,相比,本技术的脑机接口数据处理方法能够利用互调频率编码刺激目标,通过引入多个不同的运动频率,只需通过一种亮度变换频率与多个不同的运动频率作为互调频率,即可实现对不同刺激目标的编码,进而提高脑机接口数据处理中可编码的刺激目标的数量。
134.下面继续说明本技术实施例提供的脑机接口数据处理装置90的实施为软件模块的示例性结构,在一些实施例中,如图12所示,脑机接口数据处理装置90中的软件模块可以包括:显示模块901,用于以第一亮度变换频率和第一运动频率在显示屏幕上显示候选刺激目标;获取模块902,用于响应于用户凝视候选刺激目标,获取用户凝视候选刺激目标时的脑电信号;确定模块903,用于基于脑电信号,确定用户凝视的目的刺激目标。
135.在一些实施例中,候选刺激目标包括矩形框,矩形框内包括矩形的刺激块;显示模块901在以第一亮度变换频率和第一运动频率在显示屏幕上显示候选刺激目标的过程中具体用于:以第一亮度变换频率在显示屏幕上显示闪烁的刺激块;以第一运动频率在显示屏幕上显示在矩形框内运动的刺激块。
136.在一些实施例中,显示模块901在以第一亮度变换频率和第一运动频率在显示屏幕上显示候选刺激目标的过程中还具体用于:以第一亮度变换频率和第一运动频率同时在显示屏幕上显示n个候选刺激目标,其中n为正整数。
137.在一些实施例中,显示模块901在以第一亮度变换频率和第一运动频率在显示屏幕上显示刺激目标的过程中具体用于:保持候选刺激目标的第一亮度变换频率不变,为每个候选刺激目标配置多个不同的第一运动频率;确定每个候选刺激目标的第一亮度变换频率和第一运动频率,以第一亮度变换频率和第一运动频率在显示屏幕上显示候选刺激目标。
138.在一些实施例中,响应于用户凝视候选刺激目标,产生脑电信号,脑电信号包括特定互调频率成分的稳态视觉诱发电位;获取模块902在响应于用户凝视候选刺激目标,获取用户凝视候选刺激目标时的脑电信号的过程中具体用于:基于第一亮度变换频率和第一运动频率,确定候选刺激目标对应的特定互调频率成分;其中,n个候选刺激目标中,每个候选刺激目标对应的特定互调频率成分均不同,其中n为正整数;获取用户凝视候选刺激目标时产生的脑电信号。
139.在一些实施例中,获取模块902在基于第一亮度变换频率和第一运动频率,确定候选刺激目标对应的特定互调频率成分的过程中具体用于:将第一亮度变换频率与第一亮度变换频率的谐波数相乘,得到第一亮度变化频率的整数倍谐波;将第一运动频率与第一运动频率的谐波数相乘,得到第一运动频率的整数倍谐波;第一亮度变换频率的谐波数和第一运动频率的谐波数为正整数;将第一亮度变化频率的整数倍谐波与第一运动频率的整数倍谐波相加或相减,确定特定互调频率成分。
140.在一些实施例中,确定模块903在基于脑电信号,确定用户凝视的目的刺激目标的过程中具体用于:对脑电信号进行预处理,确定稳态视觉诱发电位脑电信号;对稳态视觉诱发电位脑电信号进行特征提取,确定稳态视觉诱发电位脑电信号中的目的刺激目标对应的特定互调频率成分;基于目的刺激目标对应的特定互调频率成分与候选刺激目标对应的特定互调频率成分,确定用户凝视的目的刺激目标。
141.在一些实施例中,确定模块903在基于目的刺激目标对应的特定互调频率成分与候选刺激目标对应的特定互调频率成分,确定用户凝视的目的刺激目标的过程中具体用于:将目的刺激目标对应的特定互调频率成分与候选刺激目标对应的特定互调频率成分作对比,确定特定互调频率成分相关性最大的候选刺激目标;将特定互调频率成分相关性最大的候选刺激目标,确定为用户凝视的目的刺激目标。
142.需要说明的是,本技术实施例装置的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果,因此不做赘述。对于本技术实施例提供的脑机接口数据处理装置中未尽的技术细节,可以根据图1至图12中任一附图的说明而理解。
143.根据本技术的实施例,本技术还提供了一种电子设备和一种非瞬时计算机可读存储介质。
144.图13示出了可以用来实施本技术的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计
算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本技术的实现。
145.如图13所示,电子设备800包括计算单元801,其可以根据存储在只读存储器(rom)802中的计算机程序或者从存储单元808加载到随机访问存储器(ram)803中的计算机程序,来执行各种适当的动作和处理。在ram 803中,还可存储电子设备800操作所需的各种程序和数据。计算单元801、rom 802以及ram 803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
146.电子设备800中的多个部件连接至i/o接口805,包括:输入单元806,例如键盘、鼠标等;输出单元807,例如各种类型的显示器、扬声器等;存储单元808,例如磁盘、光盘等;以及通信单元809,例如网卡、调制解调器、无线通信收发机等。通信单元809允许电子设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
147.计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理,例如脑机接口数据处理方法。例如,在一些实施例中,脑机接口数据处理方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元808。在一些实施例中,计算机程序的部分或者全部可以经由rom 802和/或通信单元809而被载入和/或安装到电子设备800上。当计算机程序加载到ram 803并由计算单元801执行时,可以执行上文描述的脑机接口数据处理方法的一个或多个步骤。备选地,在其他实施例中,计算单元801可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行脑机接口数据处理方法。
148.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
149.用于实施本技术的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
150.在本技术的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计
算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
151.为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,crt(阴极射线管)或者lcd(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
152.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(lan)、广域网(wan)和互联网。
153.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
154.应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本方案公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本技术公开的技术方案所期望的结果,本文在此不进行限制。
155.此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本技术的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
156.以上所述,仅为本技术的具体实施方式,但本技术的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本技术揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本技术的保护范围之内。因此,本技术的保护范围应以所述权利要求的保护范围为准。
技术特征:1.一种脑机接口数据处理方法,其特征在于,所述方法包括:以第一亮度变换频率和第一运动频率在显示屏幕上显示候选刺激目标;响应于用户凝视所述候选刺激目标,获取所述用户凝视所述候选刺激目标时的脑电信号;基于所述脑电信号,确定所述用户凝视的目的刺激目标。2.根据权利要求1所述的方法,其特征在于,所述以第一亮度变换频率和第一运动频率在显示屏幕上显示候选刺激目标,包括:所述候选刺激目标包括矩形框,所述矩形框内包括矩形的刺激块;以所述第一亮度变换频率在显示屏幕上显示闪烁的所述刺激块;以所述第一运动频率在显示屏幕上显示在所述矩形框内运动的所述刺激块。3.根据权利要求2所述的方法,其特征在于,所述以第一亮度变换频率和第一运动频率在显示屏幕上显示候选刺激目标,还包括:以所述第一亮度变换频率和所述第一运动频率同时在所述显示屏幕上显示n个所述候选刺激目标,其中n为正整数。4.根据权利要求2或3所述的方法,其特征在于,所述以第一亮度变换频率和第一运动频率在显示屏幕上显示刺激目标,包括:保持所述候选刺激目标的第一亮度变换频率不变,为每个所述候选刺激目标配置多个不同的所述第一运动频率;确定每个所述候选刺激目标的所述第一亮度变换频率和所述第一运动频率,以所述第一亮度变换频率和所述第一运动频率在所述显示屏幕上显示所述候选刺激目标。5.根据权利要求4所述的方法,其特征在于,所述响应于用户凝视所述候选刺激目标,获取所述用户凝视所述候选刺激目标时的脑电信号,包括:响应于所述用户凝视所述候选刺激目标,产生所述脑电信号,所述脑电信号包括特定互调频率成分的稳态视觉诱发电位;基于所述第一亮度变换频率和所述第一运动频率,确定所述候选刺激目标对应的特定互调频率成分;其中,n个所述候选刺激目标中,每个所述候选刺激目标对应的所述特定互调频率成分均不同,其中n为正整数;获取所述用户凝视所述候选刺激目标时产生的所述脑电信号。6.根据权利要求5所述的方法,其特征在于,所述基于所述第一亮度变换频率和所述第一运动频率,确定所述候选刺激目标对应的特定互调频率成分,包括:将所述第一亮度变换频率与所述第一亮度变换频率的谐波数相乘,得到所述第一亮度变化频率的整数倍谐波;将所述第一运动频率与所述第一运动频率的谐波数相乘,得到所述第一运动频率的整数倍谐波;所述第一亮度变换频率的谐波数和所述第一运动频率的谐波数为正整数;将所述第一亮度变化频率的整数倍谐波与所述第一运动频率的整数倍谐波相加或相减,确定所述特定互调频率成分。7.根据权利要求6所述的方法,其特征在于,所述基于所述脑电信号,确定所述用户凝视的目的刺激目标,包括:对所述脑电信号进行预处理,确定稳态视觉诱发电位脑电信号;
对所述稳态视觉诱发电位脑电信号进行特征提取,确定所述稳态视觉诱发电位脑电信号中的所述目的刺激目标对应的特定互调频率成分;基于所述目的刺激目标对应的特定互调频率成分与所述候选刺激目标对应的特定互调频率成分,确定所述用户凝视的所述目的刺激目标。8.根据权利要求7所述的方法,其特征在于,所述基于所述目的刺激目标对应的特定互调频率成分与所述候选刺激目标对应的特定互调频率成分,确定所述用户凝视的所述目的刺激目标,包括:将所述目的刺激目标对应的特定互调频率成分与所述候选刺激目标对应的特定互调频率成分作对比,确定所述特定互调频率成分相关性最大的所述候选刺激目标;将所述特定互调频率成分相关性最大的所述候选刺激目标,确定为所述用户凝视的所述目的刺激目标。9.一种脑机接口数据处理装置,其特征在于,所述脑机接口数据处理装置包括:显示模块,用于以第一亮度变换频率和第一运动频率在显示屏幕上显示候选刺激目标;获取模块,用于响应于用户凝视所述候选刺激目标,获取所述用户凝视所述候选刺激目标时的脑电信号;确定模块,用于基于所述脑电信号,确定所述用户凝视的目的刺激目标。10.根据权利要求9所述的装置,其特征在于,所述候选刺激目标包括矩形框,所述矩形框内包括矩形的刺激块;所述显示模块用于:以所述第一亮度变换频率在显示屏幕上显示闪烁的所述刺激块;以所述第一运动频率在显示屏幕上显示在所述矩形框内运动的所述刺激块。11.根据权利要求10所述的装置,其特征在于,所述显示模块还用于:以所述第一亮度变换频率和所述第一运动频率同时在所述显示屏幕上显示n个所述候选刺激目标,其中n为正整数。12.根据权利要求10或11所述的装置,其特征在于,所述显示模块用于:保持所述候选刺激目标的第一亮度变换频率不变,为每个所述候选刺激目标配置多个不同的所述第一运动频率;确定每个所述候选刺激目标的所述第一亮度变换频率和所述第一运动频率,以所述第一亮度变换频率和所述第一运动频率在所述显示屏幕上显示所述候选刺激目标。13.根据权利要求12所述的装置,其特征在于,响应于所述用户凝视所述候选刺激目标,产生所述脑电信号,所述脑电信号包括特定互调频率成分的稳态视觉诱发电位;所述获取模块用于:基于所述第一亮度变换频率和所述第一运动频率,确定所述候选刺激目标对应的特定互调频率成分;其中,n个所述候选刺激目标中,每个所述候选刺激目标对应的所述特定互调频率成分均不同,其中n为正整数;获取所述用户凝视所述候选刺激目标时产生的所述脑电信号。14.根据权利要求13所述的装置,其特征在于,所述获取模块用于:将所述第一亮度变换频率与所述第一亮度变换频率的谐波数相乘,得到所述第一亮度变化频率的整数倍谐波;
将所述第一运动频率与所述第一运动频率的谐波数相乘,得到所述第一运动频率的整数倍谐波;所述第一亮度变换频率的谐波数和所述第一运动频率的谐波数为正整数;将所述第一亮度变化频率的整数倍谐波与所述第一运动频率的整数倍谐波相加或相减,确定所述特定互调频率成分。15.根据权利要求14所述的装置,其特征在于,所述确定模块用于:对所述脑电信号进行预处理,确定稳态视觉诱发电位脑电信号;对所述稳态视觉诱发电位脑电信号进行特征提取,确定所述稳态视觉诱发电位脑电信号中的所述目的刺激目标对应的特定互调频率成分;基于所述目的刺激目标对应的特定互调频率成分与所述候选刺激目标对应的特定互调频率成分,确定所述用户凝视的所述目的刺激目标。16.根据权利要求15所述的装置,其特征在于,所述确定模块用于:将所述目的刺激目标对应的特定互调频率成分与所述候选刺激目标对应的特定互调频率成分作对比,确定所述特定互调频率成分相关性最大的所述候选刺激目标;将所述特定互调频率成分相关性最大的所述候选刺激目标,确定为所述用户凝视的所述目的刺激目标。17.一种电子设备,其特征在于,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。18.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行根据权利要求1-8中任一项所述的方法。
技术总结本申请提供了脑机接口数据处理方法、装置、电子设备及存储介质;所述方法包括:以第一亮度变换频率和第一运动频率在显示屏幕上显示候选刺激目标;响应于用户凝视所述候选刺激目标,获取所述用户凝视所述候选刺激目标时的脑电信号;基于所述脑电信号,确定所述用户凝视的目的刺激目标,如此,能够提高脑机接口数据处理中可编码的刺激目标的数量。据处理中可编码的刺激目标的数量。据处理中可编码的刺激目标的数量。
技术研发人员:陈小刚 崔红岩 李萌
受保护的技术使用者:中国医学科学院生物医学工程研究所
技术研发日:2022.07.26
技术公布日:2022/11/1