本发明涉及脑力疲劳检测领域，尤其涉及基于多模态的脑力疲劳检测系统及方法。
背景技术：
1、随着科技的进步和人工智能的不断发展，人-机系统经历从手工工作到自动化系统的发展过程，使得现代人-机系统中体力劳动减少而脑力劳动增加，人的劳动由操作型作业转变为知识型作业。因此，脑力劳动在劳动结构中的比例越来越高，世界劳动力结构也正在从体力劳动向脑力劳动转化。在现代人-机系统中，人的作用更多地趋向于高级决策和和监控，人-机系统的复杂化和作业环境的复杂化造成作业人员要处理的信息量剧增，致使作业人员往往处于较高的脑力负荷水平。由于人脑易疲劳的特性，人类不能进行长时间高强度的工作，在某些复杂且安全性要求较高的人-机系统中，对长时间操作系统引起的脑力负荷进行评估，实时监测脑力负荷并进行反馈调节以合理的控制人-机系统中的任务需求、调节人的脑力负荷水平对于提高人的工作效率，人-机系统操作的安全性，以及人的身心健康都有非常重要的意义。目前，脑力疲劳系统及技术存在的不足是：由于人脑疲劳衡量的复杂性强，主观性大，通过单一模态对疲劳检测的分析不够精准；并且缺乏一个实时检测工作人员脑力疲劳的系统。
2、综上所述，如何设计一种可实时检测脑力疲劳程度的多模态系统；是目前本领域技术人员亟待解决的问题。
技术实现思路
1、本发明解决上述技术问题的技术方案是，提供一种基于多模态的脑力疲劳检测系统，包括：
2、显示器，用于显示注视信息界面；
3、脑电信号采集帽，用于采集脑电数据；
4、眼动仪，用于采集眼动数据；
5、脑电信号放大器，所述脑电信号放大器连接于所述脑电信号采集帽；
6、近红外脑功能成像仪，所述近红外脑功能成像仪电性连接于所述脑电信号采集帽；
7、主机，所述脑电信号放大器、近红外脑功能成像仪及眼动仪都连接所述主机。
8、进一步地，所述主机包括脑电解码单元、近红外解析单元、眼动数据分析单元、听觉按键评估单元、日志记录单元。
9、进一步地，所述脑电解码单元用于对脑电数据进行分析，包括波形显示、数据记录和数值计算，实时显示对应的脑电波形记录，并计算该时间段内相关频段的功率比值r，给出疲劳度评分s1。
10、进一步地，所述近红外解析单元用于实时对脑部血氧参数进行分析，包括脑血氧分布地形图和脑血氧数值计算，每个近红外光通道的血氧含量分布情况通过3d脑血氧地形图表示，通过计算该时间段局部脑氧饱和度(rso2)的变化量，给出疲劳度评分s2。
11、进一步地，所述眼动数据分析单元用于实时对眼动数据进行分析，包括视点实时位置和扫视，注视，闭眼，睁眼时长计算，同时进行瞳孔直径统计，并计算单位时间内瞳孔被遮住超过80％的时间占单位时间的百分比的大小(简称perclos)值，给出该时间段内疲劳度评分s3。
12、进一步地，所述听觉按键评估单元用于实时对训练人员的按键反应时间进行分析，包括反应时间曲线显示和反应时间计算，判断训练人员的脑力疲劳程度，给出该时间段内疲劳度评分s4。
13、进一步地，所述主机用于结合评分s1、评分s2、评分s3和评分s4，进行平均计算，得综合疲劳度f的评分，根据f值的范围，将疲劳度划分为4个等级。
14、为解决上述技术问题，本发明还提出一种基于多模态的脑力疲劳检测方法，包括以下步骤：
15、采集脑电信号数据，通过脑电信号放大器放大信号，并通过脑电解码单元进行频谱分析，通过快速傅里叶变换求出各个波段的功率，根据α波、β波和θ波的功率计算(α+β)/θ比值r，评估大脑疲劳程度，给出疲劳度评分s1，疲劳度评分s1的判别公式为：
16、s1＝0，r＜1.15；
17、s1＝1，1.15＜r＜1.35；
18、s1＝2，r≥1.35；
19、采集近红外探测器的光强变化，转换成数字信号，通过计算局部脑氧饱和度(rso2)评估训练人员的脑力疲劳程度，给出疲劳度评分s2；疲劳度评分s2的判别公式为：
20、局部脑氧饱和度(rso2)＝血氧饱和度(hbo2)的浓度/(血氧饱和度(hbo2)的浓度+血红蛋白(hb)的浓度)；
21、rso2的变化量计算公式为：
22、δrso2＝(rso2初始值—rso2终止值)×100％；
23、s2＝0，δrso2≤2；
24、s2＝1，2＜δrso2≤4；
25、s2＝2，δrso2＞4；
26、采集眼动数据，通过计算单位时间内瞳孔被遮住超过80％的时间占单位时间的百分比的大小(p80指标)，评估训练人员的大脑疲劳程度，给出疲劳度评分s3；疲劳度评分s3的判别公式为：
27、s3＝0，p80≤0.075；
28、s3＝1，0.075＜p80≤0.15；
29、s3＝2，p80＞0.15；
30、采集音频播放时刻的时间标签和按下键盘按键的时间标签，(随机多次播放短音频，在听到音频的瞬间以最快速度按下键盘上的任意按键，记录音频播放时刻的时间标签和训练人员按下键盘按键的时间标签)计算两个标签的时间差反应时间t(ms)，根据反应时间经验分布曲线评估训练人员的大脑疲劳程度，给出疲劳度评分s4；疲劳度评分s4的判别公式为：
31、s4＝0，t≤475；
32、s4＝1，475＜t≤997；
33、s4＝2，t＞997；
34、根据评分s1、评分s2、评分s3和评分s4，计算综合疲劳度f评分，计算公式为：f＝(s1+s2+s3+s4)/4；给出综合疲劳度f评级，计算公式为：
35、ⅰ级，f≤0.5；
36、ⅱ级，0.5＜f≤1；
37、ⅲ级，1＜f≤1.5；
38、ⅳ级，1.5＜f≤2；
39、根据综合疲劳度f评级衡量脑力疲劳程度。
40、与现有技术相比，本技术具有以下优点：
41、(1)本技术采用脑电频谱特征解码技术并结合近红外分析技术、眼动分析技术和行为学分析技术用于工作人员脑力疲劳检测，是行为学、生物医学与人工智能技术的结合，结合多模态的综合疲劳度评估方法，避免了使用单一模态进行疲劳评估造成的误判和漏判，进一步提高了疲劳判别的准确性。
42、(2)本技术采用的脑电信号监测与处理界面，将脑电分析、频谱分析与脑力疲劳度估计相结合，界面友好，操作灵活，符合人性化设计，有利于脑电技术在工程应用领域的进一步推广。
43、(3)本技术采用的眼动信号监测与处理界面将视点在屏幕中的实际位置显示出来并给出视点坐标波形，能直观地分析训练人员的眼部动态。
44、(4)本技术采用的近红外信号监测与处理界面使用脑血氧分布地形图三维显示局部脑组织的血氧状态以及分布情况，便于分析大脑疲劳度与脑血氧的关系，有利于近红外技术在工程应用领域的进一步推广。
45、(5)本技术采用的按键信号监测与处理界面，直接将按键时间点在反应时间经验分布曲线的图中表示出来，便于分析训练人员的个人反应能力以及进行疲劳度的划分。
1.一种基于多模态的脑力疲劳检测系统，其特征在于，包括：
2.根据权利要求1所述的基于多模态的脑力疲劳检测系统，其特征在于，所述主机包括脑电解码单元、近红外解析单元、眼动数据分析单元、听觉按键评估单元、日志记录单元。
3.根据权利要求2所述的基于多模态的脑力疲劳检测系统，其特征在于，所述脑电解码单元用于对脑电数据进行分析，包括波形显示、数据记录和数值计算，实时显示对应的脑电波形记录，并计算该时间段内相关频段的功率比值r，给出疲劳度评分s1。
4.根据权利要求3所述的基于多模态的脑力疲劳检测系统，其特征在于，所述近红外解析单元用于实时对脑部血氧参数进行分析，包括脑血氧分布地形图和数值计算，每个近红外光通道的血氧含量分布情况通过3d脑地形图表示，通过计算该时间段rso2的变化量，给出疲劳度评分s2。
5.根据权利要求4所述的基于多模态的脑力疲劳检测系统，其特征在于，所述眼动数据分析单元用于实时对眼动数据进行分析，包括视点实时位置和数值计算，同时进行瞳孔直径统计，并计算perclos值，给出该时间段内疲劳度评分s3。
6.根据权利要求5所述的基于多模态的脑力疲劳检测系统，其特征在于，所述听觉按键评估单元用于实时对按键反应时间信息分析，包括反应时间曲线显示和数值计算，判断疲劳程度，给出该时间段内疲劳度评分s4。
7.根据权利要求6所述的基于多模态的脑力疲劳检测系统，其特征在于，所述主机用于结合评分s1、评分s2、评分s3和评分s4，进行平均计算，得综合疲劳度f的评分，根据f值的范围，将疲劳度划分为4个等级。
8.一种基于多模态的脑力疲劳检测方法，其特征在于，包括以下步骤：
