本发明涉及一种适用智能座舱的驾驶人注视行为安全提醒方法及装置，属于道路交通安全。
背景技术：
1、驾驶人注视行为是道路交通安全领域关注的重点内容，迄今为止，已有驾驶人注视行为监测的方法，但这些方法是对驾驶人注视行为的实时监测，未曾对驾驶人的注视行为进行预测并主动进行交互功能以提高安全性。如果自动驾驶系统能够在驾驶人执行全触屏交互任务时准确预测驾驶员的注视区域，并在必要时主动发出安全提示信息，提醒驾驶员及时将注意力转移到道路区域，降低潜在驾驶风险。另一方面，在未来的人机共驾阶段，预测驾驶员注视区域有助于智能驾驶系统就何时接管控制权做出正确的决策。
2、随着车辆智能化，大型触控屏已成为人车交互的主要界面。这一发展为驾驶员执行视觉交互任务创造了更多可能性。驾驶员在执行触控屏交互任务时，其注意力会在触控屏和道路之间来回切换。与此同时，驾驶员还需要通过点击或滑动触控屏上的控件进行物理交互，使其操作与视觉焦点保持一致，这种视觉和手动工作量增加会加剧视觉和手动分心，导致驾驶员无法感知道路上的潜在危险，从而引发严重的交通事故。因此，本发明聚焦于上述问题，提出一种适用智能座舱的驾驶人注视行为安全提醒方法及装置，旨在实现对驾驶人注意力区域的准确预测，提前洞悉驾驶人行为，并在合适的时机主动与驾驶人进行交互，并发送安全提示信息。
技术实现思路
1、发明目的：针对现有技术中存在的不足，本发明提供了一种适用智能座舱的驾驶人注视行为安全提醒方法及装置，以解决上述背景技术中所提到的问题。
2、技术方案：一种适用智能座舱的驾驶人注视行为安全提醒方法，包括以下步骤：
3、s1：构建智能座舱触控屏人机交互数据集；
4、s2：时间序列数据特征提取；
5、s3:数据预处理，并构建时间序列矩阵；
6、s4:构建基于bilstm、cnn和注意力机制的混合深度模型cnn-bilstm-attention；
7、s5：cnn-bilstm-attention训练、测试、调优和集成；
8、s6：基于注视区域的预测结果执行注视行为安全提醒方法。
9、所述步骤s1具体为：
10、s1.1:选择具有智能座舱全触控屏的n0种车型；
11、s1.2:设计触控屏交互试验，根据车辆可交互功能选择n1种交互任务；
12、s1.3:选择n2名具有不同性别、驾龄以及年龄的驾驶人；每个驾驶人对每种相似交互任务分别进行n3次；设计n4条实际驾驶路线，每条实际驾驶路线分别进行n5种车速；最终获得的交互任务样本总数为n0×n1×n2×n3×n4×n5＝nt；
13、s1.4:通过双源相机监控系统分别采集驾驶人的面部图像和手部图像；车辆数据采集仪用于采集驾驶人操作数据和车辆运动状态参数，保存为文本数据。
14、所述步骤s2具体为：
15、s2.1:向微处理单元中嵌入视觉特征提取模型—基于令牌的头部姿态估计器tokenhpe、注视区域识别模型itracker和手部关键点提取模型mediapipe-hands；
16、s2.2:从步骤s1的原始数据中截取nt个交互任务过程片段；
17、s2.3:使用数据采集单元收集并存储数据，发送至微处理单元，在微处理单元中对每个交互样本分别进行头部姿态、注视区域、手部关键点；
18、s2.4:在微处理单元中，采用基于令牌的头部姿态估计器tokenhpe提取驾驶人头部姿态时间序列，头部姿态包括头部俯仰角y、头部横摆角p、头部滚动角r；
19、s2.5:在微处理单元中，采用注视区域估计模型提取注视区域标签g；g的取值为0和1，0代表没有注视全触控屏，1代表注视全触控屏；
20、s2.6:在微处理单元中，采用手部关键点提取模型mediapipe-hands提取驾驶人手部关键点时间序列；
21、s2.7:在微处理单元中，从驾驶人手部关键点中提取手部运动参数，包括手部移动速度hms、手部横向位置hx、手部纵向位置hy、手指弯曲角度fb。
22、所述步骤s3具体为：
23、s3.1：构建交互样本参数矩阵，每个交互样本由参数矩阵表示x＝{g、y、p、r、hms、hx、hy、fb、v、δ、ll}；其中v、δ、ll分别代表从车辆数据采集单元中提取的车速、方向盘转角以及车辆横向位置；
24、s3.2：采用savitzky-golay算法对参数矩阵x＝{g、y、p、r、hms、hx、hy、fb、v、δ、ll}进行数据平滑；
25、s3.3：采用最大最小值方法对参数矩阵x＝{g、y、p、r、hms、hx、hy、fb、v、δ、ll}进行数据归一化；
26、s3.4：采用滑动窗口方法为输入模型生成特征矩阵xi和预测区域标签gi；
27、在一定的时间间隔δt内，交互任务的累计持续时间用t表示，任务的开始用t0表示，任务的结束用te表示，t＝te-t0；
28、时间序列数据的频率为30hz，表示在一秒钟的时间间隔内有30组不同的特征数据；如果滑动窗口步长s＝1s，预测时间间隔δt＝0.5s，则表示模型的输入特征数据长度为30，能够预测0.5s后驾驶员的注视区域g，s和δt的取值满足的s≥2δt；xi是长宽分别为30和11的矩阵，30为时间长度，11为参数维度，gi是值为0或1的数，xi和gi的时间间隔为δt。
29、所述步骤s4具体为：
30、s4.1：基于cnn卷积神经网络模型提取输入多维时间序列数据的底层特征；
31、公式为：
32、
33、
34、其中fcnn代表卷积神经网络模块，代表卷积模块中的网络层，l＝1、2、3代表卷积层数，b代表网络层偏置，w代表参数权重，xl代表每一层的输出值，d代表卷积核参数，t代表卷积核步长，为卷积神经网络模型的输入，为卷积神经网络模型的输出，第一层卷积的输入
35、s4.2：基于bilstm双向长短期网络模型实现对长期因果关系的捕捉；
36、bilstm的计算过程如公式：
37、
38、
39、it＝σ(xtwxi+ht-1whi+bi)
40、ft＝σ(xtwxf+ht-1whf+bf)
41、ot＝σ(xtwxo+ht-1who+bo)
42、
43、
44、ht＝ot⊙tanh(ct)
45、其中w和b分别对应的参数权重和偏置，i、f、o分别代表输入门、遗忘门和输出门，c和h分别代表候选记忆单元和遗忘记忆单元；
46、s4.3：结合attention注意力机制分配权重的能力，使模型能够自适应地分配训练权重，计算公式如下：
47、y＝fattention(x)
48、x＝[x1,x2,x3,....,xn]
49、
50、s(xi,q)＝vt tanh(wxi+uq)
51、
52、其中，x为输入，α为特征重要性权重，w和q为模型参数，y是最终的输出结果；
53、s4.4：利用不同的bilstm模块从cnn模型中各卷积层的输出中提取时间信息；
54、s4.5：每个并行bilstm模块的前向和后向隐藏层添加各自的注意力机制模块，使每个bilstm模块内的相关信息更加集中，减少关键信息之间的潜在干扰；
55、前后和后向添加注意力fattention的过程如下：
56、
57、
58、
59、其中和分别为前向和后向隐藏层输出，n代表隐藏层层数，u、w、b分别代表参数权重；
60、经过s4.1至s4.5的计算，可搭建混合深度学习的最终架构hdlm，hdlm包含三层cnn层和每一层cnn分别连接独立的bilstm模块然后每个bilstm模块接入双向注意力模块最终通过浅层神经网络fnn输出注视区域预测结果g，上述计算过程用公式表示为：
61、
62、
63、
64、g＝fnn(y1+y2+y3)
65、式中：y1为第一层attention模块的输出结果；y2为第二层attention模块的输出结果；y3为第三层attention模块的输出结果；g为注视区域预测结果。
66、所述步骤s5具体为：
67、s5.1:以{xi，gi}作为样本对模型hdlm进行循环训练和测试，设置迭代次数为200次，批量处理大小为64，学习率为0.001，训练开始后保存每一轮训练和测试结果；重复步骤s5.1直到模型测试精度达到98％以上到达预计目标，并保存该测试精度下的模型参数权重；
68、s5.2:搭建模型测试硬件在环测试平台，包括驾驶模拟器、虚拟仿真环境、计算服务器、六自由度车辆平台、车辆数据采集单元、双源摄像机、驾驶人状态监测系统、数据采集单元、微处理器和逻辑判断单元，招募nx名驾驶人进行效果验证；
69、试验过程中，驾驶人乘坐在六自由度车辆平台上，在仿真环境中进行驾驶，一边驾驶一边操作中控屏，双源相机实时采集驾驶人面部和手部图像，车辆数据采集仪采集车辆操作和运行数据，数据手机单元将采集到的数据传输至微处理单元中，计算实时注视区域预测结果；
70、s5.3:对nx名驾驶人进行里克特量表的满意度统计，当满意度到达95％以上，认定所提方法符合设计标准，将算法集成到微处理单元中。
71、7、根据权利要求1所述的适用智能座舱的驾驶人注视行为安全提醒方法，其特征在于，所述步骤s6具体为：
72、s6.1:根据驾驶人分心理论和安全驾驶理论设置视觉分心时长阈值td0、追尾碰撞时间阈值ttc0、车辆偏离时距tlc0；
73、s6.2:从s5.1步骤中获取最终的hdlm模型参数；
74、s6.3:系统开始工作，数据采集单元实时采集数据；dms系统判断驾驶人当前tx时刻是否开始操控全触控屏，如果是进入下一步；
75、s6.4:数据采集单元采集tx到tx+s时间段内的数据{g、y、p、r、hms、hx、hy、fb、v、δ、ll}，实时构建模型输入参数矩阵{xi，gi}；
76、s6.5:将参数矩阵{xi，gi}送入微处理器中的hdlm算法模块，对tx+s+δt时刻的注视区域g进行预测；
77、s6.6:在微处理器中，计算tx+s时刻驾驶人连续注视全触控区域总时间td；
78、记录tx到tx+s时刻，模型hdlm预测g＝1的次数，若次数为ng，则注视时间为ng/30；
79、s6.7:在微处理器中，计算tx+s时刻自车和前车的ttc；
80、ttc＝(vf-vs)/d，vf和vs分别代表前车和自车的车速，d代表前车和自车的距离；
81、s6.8:在微处理器中，计算tx+s时刻自车的偏离时距tlc；
82、tlc＝y/lv，y代表车辆中心距车道线的横向距离，lv代表车辆横向速度；
83、s6.9:当tx+s时刻的td>2s，且tx+s时刻的ttc<ttc0，且tx+s时刻的tlc<tlc0，且tx+s+δt时刻的g＝1，时，微处理单元控制决策进行安全提醒；
84、s6.10:微处理器控制车机总成在触控屏界面上部中央位置弹出提示信息；同时，微处理器控制车机总成从音响单元发出警示声音；
85、s6.11:dms系统判断驾驶人正常驾驶后，系统结束工作。
86、一种适用智能座舱的驾驶人注视行为安全提醒的装置，包括：
87、双源相机监控系统：双源相机监控系统由两个不同安装位置的rgb相机构成，其中一个相机捕捉驾驶人的面部图像，另外一个相机用于捕捉驾驶人的手部图像；在工作过程中，双源相机分别与数据采集单元相连接；
88、dms系统：能够实时获取驾驶人行为状态，通过dms系统判断驾驶人是否开始执行触控屏交互任务，与数据采集单元通过信号线束连接，并将数据传递给数据采集单元；
89、车辆数据采集仪：车辆数据采集仪是一种用于采集车辆运动状态和驾驶人操作状态的硬件单元；在工作过程中，其实时进行数据采集，并将数据通过信号线束传递给数据采集单元；
90、数据采集单元：数据采集单元与车辆数据采集单元和双源相机监控系统相连接；采集并存储一段时间内的数据矩阵，等待微处理单元的调用；
91、微处理单元：微处理单元一端通过输入数据接口连接数据采集单元，另一端通过输出数据接口连接安全提示装置；
92、微处理单元包括算法模块和逻辑判断模块，算法模块集成了hdlm模型，实现对驾驶人注视区域的预测，还包括逻辑判断模块，作用是根据驾驶人注视区域、驾驶人连续注视时间和行车风险指标输出安全提示信号；
93、安全提示装置：包括视觉提醒模块和语音提醒模块，两个模块均与车机总成进行集成；对于视觉提醒模块，当需要安全提醒时，提示信息会出现在全触控屏上的小窗口中，以信息界面弹出的方式进行内容展现；对于语音提醒模块，当需要安全提醒时，其会在全触控屏的语音模块中发出提示声音。
94、有益效果：本发明通过开发混合深度学习模型，将驾驶人车辆操控状态、车辆运动状态、驾驶人头部姿态、驾驶人手部运动状态、驾驶人注视区域作为模型输入参数，以驾驶人注视区域为模型输出，通过模型训练、测试和集成实现驾驶人注视行为预测；然后，根据驾驶人注视区域预测结果、分心理论以及安全驾驶理论，确定安全提示信息发送时机，通过视觉信息和语音信息主动和驾驶人进行交互，提示驾驶人规范自己的注视行为。相比于传统方法，该方法针对智能座舱全触控屏交互场景，能够预知驾驶人的注视区域，主动和驾驶人交互以提高驾驶安全性，能够有效避免人机冲突。
1.一种适用智能座舱的驾驶人注视行为安全提醒方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的适用智能座舱的驾驶人注视行为安全提醒方法，其特征在于，所述步骤s1具体为：
3.根据权利要求1所述的适用智能座舱的驾驶人注视行为安全提醒方法，其特征在于，所述步骤s2具体为：
4.根据权利要求1所述的适用智能座舱的驾驶人注视行为安全提醒方法，其特征在于，所述步骤s3具体为：
5.根据权利要求1所述的适用智能座舱的驾驶人注视行为安全提醒方法，其特征在于，所述步骤s4具体为：
6.根据权利要求1所述的适用智能座舱的驾驶人注视行为安全提醒方法，其特征在于，所述步骤s5具体为：
7.根据权利要求1所述的适用智能座舱的驾驶人注视行为安全提醒方法，其特征在于，所述步骤s6具体为：
8.一种适用智能座舱的驾驶人注视行为安全提醒的装置，其特征在于，包括：
