1.本发明涉及汽车工程技术领域，具体为基于多数据来源建立驾驶员层级操作任务模型自动化方法。
背景技术：2.层级化任务模型是一种记录任务目标与子目标的分解模型，可以记录任务执行的逻辑并支持同级子目标的多种执行顺序逻辑；而为每个目标添加前置条件与完成条件后，即可将认知过程结合进任务模型中，任务模型是对于由人操作的设备的操作流程的表达，是任务分析中对任务架构的一种准确的形式化表达，它能够为设计者部署操作辅助和自动化功能提供重要参考，也可以为设计的仿真提供操作输入的基础数据；任务模型相关的学科领域已有三十年以上的发展，有许多行为分析和模拟方法和工具依托任务模型而得以进行；但是，任务模型的建立仍受几大局限：一， 任务结构很大程度上受到模型建立者的影响，不同的模型建立者会带来不同方向的偏差，且要求许多观察解读的经验；二， 任务结构建立规范不统一，建立的任务常不完整；三， 认知过程与动作过程常不结合，且认知过程很大程度上依赖主观的测试并因此引入建模偏差；四， 不同模型因建模的内容不同相互之间难以转换，对模型的记录管理困难，且常难以整合文字记录的模型与图形化模型；为辅助任务分析中的认知过程，利用眼动仪的测试正不断成为行业标准；诸多方法如热区图等，可展示操作者在执行任务过程中真正关注的信息。因其分析过程常耗费人力对录制视频进行查看、标注、以及理解，一些辅助标注的分析手段和程序也随之出现；随着机器视觉和图像处理技术的进步，近年来一些利用语义分割技术加快眼动仪数据标注的研究和技术开始出现；依靠机器视觉的语义分割和理解，视频中的元素及其所处位置可被识别提取并标记其内容；因此机器视觉技术配合眼动仪数据处理过程得到了相关研究者的关注；在识别后的眼动数据可呈现出按照时间轴排列的操作者视线聚焦物体名；利用预训练的大型机器视觉模型，对视觉焦点上的内容自动识别过程和成本可以变得快捷和低成本，如最近的紫东太初预训练模型；但利用这些信息建立模型的过程仍为手动进行，并因此受到建模人员带来的不确定偏差的影响；在进行手动的任务建模时，会因建模者的差异带来一系列的问题；在对同一操作过程进行建模时，每个行为的对应认知信息（外界）的定义和标注会存在差异；数据可能因非标准化的采集方式而遗漏，导致后期建模时缺失重要数据；因非自动化流程带来的格式问题会任务模型建立带来效率上的阻碍；如用自然语言描述的任务结构常需经过建模者转换进结构化描述再进行任务模型数据的转换，其间对专业人力的耗费大；目前已有的建模工具可根据时间线描述和记录人的认知和行为过程；但其仍需要层级化表达才可以在
任务模型中得到应用；这个过程常常为繁琐的手动建模；一个自动化的层级化任务模型建模工具会是目前欠缺的技术，因此设计一种基于多数据来源建立驾驶员层级操作任务模型自动化方法是很有意义的。
技术实现要素：3.本发明的目的在于提供基于多数据来源建立驾驶员层级操作任务模型自动化方法，以解决上述背景技术中提出的问题。
4.为实现上述目的，本发明提供如下技术方案：基于多数据来源建立驾驶员层级操作任务模型自动化方法，包括以下步骤，步骤一，接受来自实验员预定义的简单任务结构与触发条件；步骤二，以时间关联绑定注视信息与动作词条；步骤三，绑定注视信息的动作词条按触发条件的时间逻辑插入任务结构中；步骤四，接受可视化任务模型编辑器的输入；步骤五，输出包含动作及外界信息的层级化的任务模型；其中上述步骤一中，接受来自实验员预定义的简单任务结构与触发条件；在本步骤中，实验员需定义正在采集任务的任务目标与对应动作名；本步骤可为脚本生成的层级结构进行限定，以使自动建模结果输出所需的层级分级的抽象程度；简单任务结构指对任务执行时的主目标与其分解的下级子目标形成的层级结构；同时，建模者需指定各定义的任务目标的相关触发条件；其中上述步骤二中，为接收和整合来自眼动仪和操作员动作的识别数据；按照时间顺序，将注视物体信息与动作信息按时间线接收；此步内将保留两部分信息内的注视物体或信息名与动作名，并将这些事件的名称按时间轴排列，同时按设置自动过滤掉自动识别带来的数据抖动；其中上述步骤三中，为整合预定义的层级任务模型与步骤二中得到的事件数据，并以此将步骤二中的数据排列为层级分解格式；依靠自定义的目标触发条件与事件数据的匹配，将步骤二中按时间顺序排列的事件记录所属层级位置（所属主目标以及和同级目标的相关关系）；在此步内将自动通过多次同任务实验的数据发掘事件中的顺序和时间相关性，并按组间距离等相关性分析识别并绑定注视信息事件与动作事件组，这个绑定的事件组在层级结构中作为一个自动生成的新目标；每个目标包含至少一个的认知事件或动作事件；如未能进行多次同任务实验，在时间轴上连续的未自动分离的多个目标可在下一步依靠实验员进行手动划分出目标结构；其中上述步骤四中，在编辑器内可视化生成的层级结构，由实验员分割未自动分析出相关性的连续动作数据并生成组，以及在可视界面内调整相关性识别错误或无法识别的任务结构，并为自动生成的新目标按需重新命名，和调整不符合现实知识的目标层级结构，指定同级子目标间的执行逻辑；实验员在划分未自动正确分离的目标结构时，将按照与单个或多个独立物理动作对应的前置条件与后置条件相关眼动事件进行组合；实验员也会修正输入信息中自动识别错误的事件名，与补充通过其他方法（如关于任务的问卷和访谈等）采集到的隐性的不基于外界信息的认知事件；其中上述步骤五中，按xml格式和固定的输出逻辑，输出包含目标及其所属的注视信息名与动作事件名的层级任务模型，并在输出前与输出后支持可视化此脚本记录的任务模型；此时任务模型包含了以眼动数据和实验采集数据支持的认知过程与物理行为过程，
且过程按目标与子目标进行了层级化划分；同时，在脚本输出任务模型数据以及可视化任务模型时，任务模型数据与生成的可视化任务模型保持同步。
5.优选的，所述步骤一和步骤二能同步进行。
6.优选的，所述步骤二中的眼动仪的识别数据，依次通过：眼动仪视频数据、视频语义分割并划分区域、视线聚焦区域的物体识别和用户操作时注视信息的时间线数据进行算法处理。
7.优选的，所述步骤二中的操作员动作识别数据为：实验中的用户动作行为和驾驶/操作行为库组成的用户操作的行为动作识别数据。
8.优选的，所述步骤四中的结构微调操作包含：认知信息所在目标的调整，为某个目标添加认知信息，修改对应注视某种物体的认知信息的命名，修改物理动作事件的命名，多个子目标执行逻辑的修改，目标所在层级与顺序位置的拖动调整，目标名的重命名，复制和粘贴程序记录过的的任务结构。最终在可视化界面中完成补充层级任务结构中的信息与结构微调。
9.与现有技术相比，本发明的有益效果是：本发明主要面向驾驶员或操作员的眼动信息数据，并以此自动整合出层级结构化的，且关联物理动作与眼动注视信息的任务模型；此方法可为使用眼动仪进行操作模型建模时的数据处理流程提供一定程度上的自动化与标准化；并以此尽量减少手动建立任务模型带来的信息缺失与模型表述的不稳定偏差；本方法中的层级结构的自动化表达可根据测试人员的少量预先自定义信息，对眼动仪及其语义分割系统采集的时间线格式数据进行排列、分割，并加入来自眼动仪和动作数据以外采集到的认知过程，以使用所需的建模标准格式输出；本脚本通过一定程度的自动化生成层级化任务模型，填补了眼动和动作捕捉与依靠层级化模型的任务分析工具自动化链路的间隙；在本工具的固定自动化流程支持下，借助层级化任务模型的分析可以快捷进行；同时自动化流程也降低了对建模者训练和经验的要求。
附图说明
10.图1为本发明方法的流程图；图2为本发明脚本方法的整体流程。
具体实施方式
11.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
12.请参阅图1-2，图示中的基于多数据来源建立驾驶员层级操作任务模型自动化方法：包括以下步骤，步骤一，接受来自实验员预定义的简单任务结构与触发条件；步骤二，以时间关联绑定注视信息与动作词条；步骤三，绑定注视信息的动作词条按触发条件的时间
逻辑插入任务结构中；步骤四，接受可视化任务模型编辑器的输入；步骤五，输出包含动作及外界信息的层级化的任务模型；本脚本需要接受两方面的带有时间线的数据：来自眼动仪器使用语义分割及识别算法识别出的视觉焦点扫视的物体名数据流、操作员操作行为名的数据流；因这两方面的数据在测试中来自固定的机器视觉算法与识别数据库，数据流中的标注数据条目会为本方法实现的标准化和减少建模偏差建立基础；其中来自眼动仪的原始数据需拥有来自相对驾驶员固定位置的视频数据以允许进行对所注视环境的机器视觉处理；来自眼动数据的机器视觉处理后的数据流需包含时间信息，与识别出的视觉焦点凝视物体名的文本信息，以及其他信息；来自动作识别数据需包含动作事件名的文本信息与对应的时间信息，以及其他信息；视觉识别和动作识别需在每一个建模项目中使用固定的条目库和对应识别算法。
13.步骤一：接受来自实验员预定义的简单任务结构与触发条件；在本步骤中，实验员需定义正在采集任务的任务目标与对应动作名；本步骤可为脚本生成的层级结构进行限定，以使自动建模结果输出所需的层级分级的抽象程度；简单任务结构指对任务执行时的主目标与其分解的下级子目标形成的层级结构；如驾驶汽车在路口左转的任务的层级结构可分为主目标：“进入左侧道路”，副目标为主目标下执行“观察道路与信号灯”、“车辆起步”、“控制方向盘”；同时，建模者需指定各定义的任务目标的相关触发条件；如“进入左侧道路目标”的触发条件可为“进入左转车道”；“观察道路与信号灯”触发条件为视线聚焦到信号灯上；“车辆起步”的触发条件为驾驶员踩下油门；“控制方向盘”目标的触发条件为驾驶员左转；此步进行简单任务结构预定义的目的除限定任务结构外，也减少了后续步骤中分割数据所需测量次数或手工纠正难度。
14.步骤二：为接收和整合来自眼动仪和操作员动作的识别数据；按照时间顺序，将注视物体信息与动作信息按时间线接收，此步内不进行对信息和动作的绑定划分（将在下一步划分）；此步内脚本将保留两部分信息内的注视物体或信息名与动作名，并将这些事件的名称按时间轴排列，同时按设置自动过滤掉自动识别带来的数据抖动。
15.步骤三：为整合预定义的层级任务模型与第二步得到的事件数据，并以此将第二步中的数据排列为层级分解格式；依靠自定义的目标触发条件与事件数据的匹配，将第二步中按时间顺序排列的事件记录所属层级位置（所属主目标以及和同级目标的相关关系）；在此步内脚本将自动通过多次同任务实验的数据发掘事件中的顺序和时间相关性，并按组间距离等相关性分析识别并绑定注视信息事件与动作事件组，这个绑定的事件组在层级结构中作为一个自动生成的新目标；每个目标包含至少一个的认知事件或动作事件；如未能进行多次同任务实验，在时间轴上连续的未自动分离的多个目标可在下一步依靠实验员进行手动划分出目标结构。
16.步骤四：为在编辑器内可视化生成的层级结构，由实验员分割未自动分析出相关性的连续动作数据并生成组，以及在可视界面内调整相关性识别错误或无法识别的任务结构，并为自动生成的新目标按需重新命名，和调整不符合现实知识的目标层级结构，指定同级子目标间的执行逻辑；实验员在划分未自动正确分离的目标结构时，将按照与单个或多个独立物理动作对应的前置条件与后置条件相关眼动事件进行组合；实验员也会修正输入信息中自动识别错误的事件名，与补充通过其他方法（如关于任务的问卷和访谈等）采集到的隐性的不基于外界信息的认知事件；结构微调操作包含：认知信息所在目标的调整，为某
个目标添加认知信息，修改对应注视某种物体的认知信息的命名，修改物理动作事件的命名，多个子目标执行逻辑的修改，目标所在层级与顺序位置的拖动调整，目标名的重命名，复制和粘贴程序记录过的的任务结构；最终在可视化界面中完成补充层级任务结构中的信息与结构微调。
17.步骤五：按xml格式和固定的输出逻辑，输出包含目标及其所属的注视信息名与动作事件名的层级任务模型，并在输出前与输出后支持可视化此脚本记录的任务模型；此时任务模型包含了以眼动数据和实验采集数据支持的认知过程与物理行为过程，且过程按目标与子目标进行了层级化划分；同时，在脚本输出任务模型数据以及可视化任务模型时，任务模型数据与生成的可视化任务模型保持同步。
18.为依靠语义分割和内容识别等机器视觉算法处理过的眼动数据和动作数据基础，提出了自动生成层级化任务结构的方法流程；此脚本可根据多次同任务操作中的事件条目的时间或顺序序号等数据的组间距离特征，对认知事件和动作事件进行绑定划分；此脚本可根据预定义的简单任务结构描述，将线性的任务事件记录自动转换为层级任务结构；此脚本提供层级化任务结构的可视化编辑，此处的任务结构中必须同时包含认知行为与动作行为。
19.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
20.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
技术特征：1.基于多数据来源建立驾驶员层级操作任务模型自动化方法：包括以下步骤，步骤一，接受来自实验员预定义的简单任务结构与触发条件；步骤二，以时间关联绑定注视信息与动作词条；步骤三，绑定注视信息的动作词条按触发条件的时间逻辑插入任务结构中；步骤四，接受可视化任务模型编辑器的输入；步骤五，输出包含动作及外界信息的层级化的任务模型；其特征在于：其中上述步骤一中，接受来自实验员预定义的简单任务结构与触发条件；在本步骤中，实验员需定义正在采集任务的任务目标与对应动作名；本步骤可为脚本生成的层级结构进行限定，以使自动建模结果输出所需的层级分级的抽象程度；简单任务结构指对任务执行时的主目标与其分解的下级子目标形成的层级结构；同时，建模者需指定各定义的任务目标的相关触发条件；其中上述步骤二中，为接收和整合来自眼动仪和操作员动作的识别数据；按照时间顺序，将注视物体信息与动作信息按时间线接收；此步内将保留两部分信息内的注视物体或信息名与动作名，并将这些事件的名称按时间轴排列，同时按设置自动过滤掉自动识别带来的数据抖动；其中上述步骤三中，为整合预定义的层级任务模型与步骤二中得到的事件数据，并以此将步骤二中的数据排列为层级分解格式；依靠自定义的目标触发条件与事件数据的匹配，将步骤二中按时间顺序排列的事件记录所属层级位置（所属主目标以及和同级目标的相关关系）；在此步内将自动通过多次同任务实验的数据发掘事件中的顺序和时间相关性，并按组间距离等相关性分析识别并绑定注视信息事件与动作事件组，这个绑定的事件组在层级结构中作为一个自动生成的新目标；每个目标包含至少一个的认知事件或动作事件；如未能进行多次同任务实验，在时间轴上连续的未自动分离的多个目标可在下一步依靠实验员进行手动划分出目标结构；其中上述步骤四中，在编辑器内可视化生成的层级结构，由实验员分割未自动分析出相关性的连续动作数据并生成组，以及在可视界面内调整相关性识别错误或无法识别的任务结构，并为自动生成的新目标按需重新命名，和调整不符合现实知识的目标层级结构，指定同级子目标间的执行逻辑；实验员在划分未自动正确分离的目标结构时，将按照与单个或多个独立物理动作对应的前置条件与后置条件相关眼动事件进行组合；实验员也会修正输入信息中自动识别错误的事件名，与补充通过其他方法（如关于任务的问卷和访谈等）采集到的隐性的不基于外界信息的认知事件；其中上述步骤五中，按xml格式和固定的输出逻辑，输出包含目标及其所属的注视信息名与动作事件名的层级任务模型，并在输出前与输出后支持可视化此脚本记录的任务模型；此时任务模型包含了以眼动数据和实验采集数据支持的认知过程与物理行为过程，且过程按目标与子目标进行了层级化划分；同时，在脚本输出任务模型数据以及可视化任务模型时，任务模型数据与生成的可视化任务模型保持同步。2.根据权利要求1所述的基于多数据来源建立驾驶员层级操作任务模型自动化方法，其特征在于：所述步骤一和步骤二能同步进行。3.根据权利要求1所述的基于多数据来源建立驾驶员层级操作任务模型自动化方法，其特征在于：所述步骤二中的眼动仪的识别数据，依次通过：眼动仪视频数据、视频语义分割并划分区域、视线聚焦区域的物体识别和用户操作时注视信息的时间线数据进行算法处
理。4.根据权利要求1所述的基于多数据来源建立驾驶员层级操作任务模型自动化方法，其特征在于：所述步骤二中的操作员动作识别数据为：实验中的用户动作行为和驾驶/操作行为库组成的用户操作的行为动作识别数据。5.根据权利要求1所述的基于多数据来源建立驾驶员层级操作任务模型自动化方法，其特征在于：所述步骤四中的结构微调操作包含：认知信息所在目标的调整，为某个目标添加认知信息，修改对应注视某种物体的认知信息的命名，修改物理动作事件的命名，多个子目标执行逻辑的修改，目标所在层级与顺序位置的拖动调整，目标名的重命名，复制和粘贴程序记录过的的任务结构；最终在可视化界面中完成补充层级任务结构中的信息与结构微调。
技术总结本发明公开了基于多数据来源建立驾驶员层级操作任务模型自动化方法，包括以下步骤，步骤一，接受来自实验员预定义的简单任务结构与触发条件；步骤二，以时间关联绑定注视信息与动作词条；步骤三，绑定注视信息的动作词条按触发条件的时间逻辑插入任务结构中；步骤四，接受可视化任务模型编辑器的输入；本发明允许对非固定顺序的任务结构进行分析和模拟，以得到复杂任务顺序可能性下的分析结果；固定自动化流程带来的稳定输出模型允许不同模型间的对比测试；允许不同抽象级别的任务结构展示与可视化，以辅助设计师等使用者阅读，帮助快速发现任务设计改进点；兼容许多种人因可靠性分析方法；减少记录版本间的偏差。减少记录版本间的偏差。减少记录版本间的偏差。
技术研发人员：万鹏远 洪晨辉 孙东 陈芳
受保护的技术使用者：上海爱乐克智能科技有限公司
技术研发日：2022.06.22
技术公布日：2022/11/1
