本发明涉及飞行模拟器，特别涉及一套软硬件一体的飞机驾驶员态势感知与警示系统。
背景技术：
1、近年来，随着民用航空器的自动化水平不断提高，机械设备及自动化系统因素导致的民用航空事故数量逐步减少，而驾驶员的操作失误成为主要的事故原因。事故分析显示，由飞行员人为失误引发的事故或事故前兆已占所有飞行事故的60％～80％。
2、为了减少驾驶员的操作误差，确保民用航空器飞行的安全性，在民航飞行的各个阶段设定了特定的操作顺序和基本操作行为。飞行过程中，驾驶员需要事先掌握各个阶段的操作顺序，并在每个飞行阶段依次执行操作控制。
3、在一次飞行过程中，飞机经历多个飞行阶段，如起飞、爬升、巡航和降落等。民用航空器驾驶员除了需要操纵飞机外，还需管理飞行任务。在实际操作中，常会出现超前、滞后、重复和遗漏等异常操作行为。每个基本操作行为在飞行过程中都有确定的操作顺序和间隔，任何异常操作行为(如超前、滞后、重复或遗漏)都可能对民航飞行安全构成潜在威胁。
4、当驾驶员从自动化驾驶系统中重新接管控制时，如果驾驶员不专注，可能无法及时反应以避免事故或碰撞。当驾驶员在预定的时间内将手移开操纵杆或方向盘，或者视线离开航线时，一些自动化驾驶系统会向其发出警告。在某些情况下，驾驶员可以通过在操纵杆或方向盘上放置物体来模拟驾驶员的扭矩输入，或者在驾驶员座位上放置照片以使其看起来专注于观察航线，从而绕过这些监控系统。
5、然而，当前的飞机飞行系统监视技术还无法有效监控飞行员的操作行为，无法准确判断飞行员的操作是否正确，也无法提前预测或及时判断飞行员的异常操作行为。正确的态势感知对飞行员的合理决策和操作绩效以及飞行安全至关重要。
6、为了显著提高民用航空器的运行水平，迫切需要一种能够准确监测驾驶员行为态势，并及时警示飞行员异常操作行为的方法或技术。本发明扩展了飞行员视觉注视分析通道，研究了有效评估态势感知水平的规则方法，并基于事件检测机制提出了飞行员感知状态数据集的自动生成方法，以及用于态势感知状态评估的深度神经网络。该网络基于自注意力机制构建，能够实时评估飞行员的态势感知状态，有效提升现有评估的准确性，从而设计了一种用于飞行训练的驾驶员态势监测与警示系统。
技术实现思路
1、本发明所要解决的技术问题是，提供一种用于飞行训练的驾驶员态势监测与警示系统，该系统将飞行显示器按照仪表内容分成不同aoi区域，通过收集飞机驾驶员眼部注视信息建立与飞机态势感知之间的关系，利用基于自注意力机制构建的深度神经网络对驾驶员态势进行实时感知，当评估结果低于一定阈值时，触发警报和灯光提示系统，确保飞行员及时接收到警报迅速调整驾驶状态，保持飞行过程中集中的注意力，从而避免飞行事故的发生。
2、为了解决上述技术问题，本发明提供了一种用于飞行训练的驾驶员态势监测与警示系统，包括驾驶员监视单元，用于实时收集驾驶员人眼注视信息；信息处理系统，用于对收集到的驾驶员态势信息与飞机仪表信息进行处理；显示与反馈系统，用于对驾驶员危险态势进行警示。所述的监视系统包括：
3、视觉注视追踪传感器，用于捕捉飞行员的眼球运动，包括注视点、注视时间等。安装在驾驶舱内，驾驶员左侧上方以确保不干扰飞行员的视线和操作。
4、所述的信息处理系统包括：
5、数据采集与处理单元，与监视单元直接连接，用于实时接受驾驶员眼部注视信息，从驾驶员监视单元(特别是视觉注视追踪传感器，如红外眼动追踪相机)接收实时数据。这些数据主要包括驾驶员的眼球运动信息，如注视点位置、注视时间、眼球移动轨迹等。同时，该单元还需要从飞机仪表系统或其他数据源接收同步的飞行状态信息，如飞机速度、高度、航向、姿态等，以便将驾驶员的注视行为与具体的飞行状态进行关联分析。数据处理则需要、对接收到的原始数据进行预处理，包括去除噪声、数据校准、数据压缩等，以提高后续分析的准确性和效率。从预处理后的数据中提取关键特征，这些特征能够反映驾驶员的注视行为模式、注意力集中度等关键信息。例如，可以计算注视点在各飞行仪表(aoi区域)的分布情况、注视时间长度、注视转移速度等；
6、通信单元，用于数据处理单元与感知要素分析评估单元之间的无线数据传输；
7、感知要素分析评估单元，基于提取的特征，结合预设的算法或模型(如基于自注意力机制的深度神经网络)，对驾驶员的态势进行实时分析和评估。这一步骤旨在判断驾驶员当前的注意力水平、认知负荷以及可能存在的危险态势。将分析结果与预设的阈值进行比较，以判断驾驶员的态势是否处于安全范围内。这些阈值基于大量的实验数据、专家经验以及行业标准来确定；
8、所述的显示与反馈系统包括：
9、报警单元，用于在驾驶员操作行为异常时发出报警；
10、灯光警示单元，用于在驾驶员操作行为异常时进行灯光提示；
11、其中，所述的视觉注视追踪传感器采用红外眼动追踪相机；
12、其中，所述的数据采集与处理单元采用stm32单片机；
13、其中，所述的通信单元采用5g通信模块；
14、其中，感知要素分析评估单元采用高性能gpu服务器；
15、其中，警示系统采用蜂鸣器模块；
16、本发明提供的飞行训练的驾驶员态势监测与警示方法，包括步骤：
17、a、系统初始化；
18、b、采集驾驶员视觉注视数据(眼动仪实时记录驾驶员注视点位置、注视时间等)；
19、c、数据处理与特征提取(计算注视点漂移率，生成注释跳转序列，计算信息熵(静止凝视熵、跃迁凝视熵))；
20、d、模型输入与综合态势感知评估，将特征值数据输入到深度神经网络模型(transformer-dnn模型，基于自注意力机制)。该模型将感知状态分为三类，理想状态s＝1，感知到相关信息s＝0.5，未感知s＝0。则考虑多项感知要素状态如高度、航向、空速形成的态势感知状态评估值为sa(t)＝ω1s1(t)+ω2s2(t)+…+ωnsn(t)，根据实际情况进行权重设置，便能获得最终的态势感知值sa。设定相应注意力警报阈值q；
21、e、结果输出与反馈。显示模块接收感知要素分析评估单元结果，给出相应反馈，将评估结果反馈至飞行员与飞行控制系统；
22、f、驾驶员接受警示信息后及时调整，形成完整人机交互过程
23、g、训练结束，停止
24、其中，步骤c将特征值输出到步骤d中进行感知要素分析与评估
25、其中，在步骤d后，即感知要素分析评估单元的控制下，得出出驾驶员的实时态势感知水平sa，与注意力警报阈值q进行比较，若sa＞＝q，则循环继续，重新开始；若sa＜q，则进入显示模块，进入步骤e，发出警示。
26、其中，步骤c计算注视点偏移率，注视点漂移率是评估视觉注意力集中程度的量化指标，通过眼动追踪技术记录注视点在特定时段内的水平和垂直偏移，计算其位置变化速度。该速率的确定基于连续注视样本间的距离与时间差，反映为单位时间内注视点的平均偏移量。在飞行员态势感知评估中，低漂移率指示出高度集中的视觉注意力，而高漂移率则暗示可能的注意力分散或视觉目标不稳定。
27、其中，步骤e中，感知要素分析评估单元将计算驾驶员的实时态势感知水sa，与预设的注意力警报阈值q进行比较，以确定是否需要发出警示。自适应警报阈值q通过实时分析基准飞行阶段、任务复杂性和驾驶员的历史表现，动态调整以适应多变的飞行条件。它综合考虑环境因素、心理生理状态反馈，实现个性化警示。
28、此外，所述的基准飞行阶段包括民航的起飞阶段、上升阶段、平飞阶段和着陆阶段。着陆阶段是民航飞机的一次完整飞行过程的最后一个阶段。
29、驾驶员培训过程中，收集和分析驾驶员在不同飞行阶段的态势感知历史数据，识别潜在的风险模式和训练需求。
30、综上，该方法能够有效地监测民航飞行员的视觉注意力行为。当飞行员的态势感知能力降低时，系统将及时发出警报，使飞行员能够迅速识别自己的状态不佳。这种及时的警示功能，促使飞行员在必要时做出恰当的操作调整。通过这种方式，能够提高飞行安全，大幅度降低事故发生的可能性。
31、此外，上述监视方法中涉及的驾驶员的视觉注视异常行为信息均可通过显示模块，如不同颜色灯光信号或显示器，以可视化的方式呈现，从而使对驾驶员视觉注行为的监视更为直观。
32、本发明的有益效果可通过上述技术方式可知：
33、(1)本发明通过集成红外眼动追踪相机作为视觉注视追踪传感器，系统能够实时、高精度地捕捉飞行员的眼球运动信息，包括注视点位置、注视时间以及眼球移动轨迹等。这种实时数据收集能力确保了系统能够迅速响应驾驶员的注视行为变化，为后续的态势感知评估提供了坚实的基础，具实时性和高精度；
34、(2)本发明利用基于自注意力机制的深度神经网络(如transformer-dnn模型)，系统能够智能化地分析驾驶员的注视行为模式，评估其注意力水平和认知负荷，并实时判断是否存在危险态势。这种智能化的态势感知能力大大提高了飞行安全监测的准确性和效率。
35、多源数据融合分析：系统不仅收集驾驶员的注视信息，还同步接收飞机仪表系统或其他数据源提供的飞行状态信息(如速度、高度、航向等)。通过多源数据的融合分析，系统能够更全面地理解驾驶员的态势感知情况，从而作出更为准确的评估。
36、(3)本发明采用stm32单片机作为数据采集与处理单元，结合先进的预处理算法，系统能够高效地去除噪声、校准数据并进行压缩，以提高后续分析的准确性和效率。同时，通过提取关键特征(如注视点分布、注视时间长度、注视转移速度等)，系统能够更准确地反映驾驶员的注视行为模式。
37、(4)本发明当评估结果低于预设的阈值时，系统能够立即触发警报和灯光提示系统，确保飞行员能够及时接收到警示信息并迅速调整驾驶状态。这种快速响应的警示机制有助于避免潜在的危险情况，提高飞行安全性。
38、灵活的权重设置与定制化评估：系统允许根据实际情况对多项感知要素(如高度、航向、空速等)进行权重设置，从而生成定制化的态势感知评估值。这种灵活性使得系统能够适应不同飞行场景和驾驶员需求，提高评估的针对性和有效性。
39、(5)从系统初始化到数据采集、处理、评估以及结果输出与反馈，本发明提供了一套完整的人机交互流程。这一流程不仅确保了系统能够顺畅运行，还使得飞行员能够清晰地了解自身的态势感知情况并及时作出调整，从而提高了飞行训练的效果和安全性。
40、由此可见，本发明与现有技术相比，具有突出的实质性特点和显著的进步，其实施的有益效果也是显而易见的
1.一种用于飞行训练的驾驶员态势监测与警示系统，其特征在于，包括：
2.根据权利要求1所述的驾驶员态势监测与警示系统，其特征在于，所述的视觉注视追踪传感器采用红外眼动追踪相机；所述的数据采集与处理单元采用stm32单片机；所述的通信单元采用5g通信模块；所述的感知要素分析评估单元采用高性能gpu服务器；所述的报警单元采用蜂鸣器模块；所述的灯光警示单元采用hud(平视显示器)系统。
3.根据权利要求3所述的驾驶员态势监测与警示方法，其特征在于，所述注视点漂移率作为评估视觉注意力集中程度的量化指标，通过眼动追踪技术记录注视点在特定时段内的水平和垂直偏移，计算其位置变化速度；同时，所述的自适应警报阈值q通过实时分析基准飞行阶段、任务复杂性和驾驶员的历史表现，动态调整以适应多变的飞行条件。
4.一种用于飞行训练的驾驶员态势监测与警示系统的设备，其特征在于，包括视觉注视追踪传感器、数据采集与处理单元、通信模块、感知要素分析评估单元、显示模块以及电源和供电系统，其中各模块按权利要求1和2所述的方式连接和配置，以实现对驾驶员态势的实时监测与警示。
5.以上权利要求书明确了本发明的核心技术创新点、技术构成、以及实现方式，并涵盖了本发明的关键部件和方法的细节。
