本发明涉及轨道交通列车安全检测，更具体的说是涉及一种高铁列控系统多模态异常检测的方法。
背景技术：
1、列控系统是保证高速列车安全高效运行的神经中枢，通过与车辆系统密切配合，控制列车的运行间隔和速度，防止列车追尾、脱轨等。对于如此重要的安全苛求系统，系统运行过程中任何由于软硬件随机失效或者遭受非法攻击而导致系统异常的情形都可能产生极大的影响，可见，准确的异常检测和故障诊断，是保证行车安全的必然要求。
2、遗憾的是，当前我国列控系统的异常检测和应对都是事后进行，并未有技术手段实现提前预防。存在故障诊断和定位困难、效率低下、准确度不高等不足。系统运行过程中，虽然有设备运行状态的监测，但是主要监测设备的业务功能，不涉及设备的性能状态退化，监测信息有限，不具备精准故障定位的条件。此外，故障定位基本由人工完成，耗时严重，只考虑单一设备的运行状态，而无法计及设备间的耦合和相互影响关系对系统的状态进行整体把握，或者只利用当前值进行简单的阈值比较，而未结合历史数据，从而导致故障影响范围偏大。2021年2月26日、2023年5月19日发生的两起系统故障，致使列车晚点均超过180分钟，是此故障处置方式所造成的影响范围偏大的典型案例。
3、目前，表征列控系统设备健康状态只有两种方式：系统运行中实时产生的日志和设备运行指示灯。前者，属于文本类记录，后者属于视觉类记录。这两种不同的模态之间存在异质性和互连性。首先，模态是异质的，因为以不同模态呈现的信息通常表现出不同的品质、结构和表征。文本类的日志偏重于设备功能层面的业务处理逻辑，视觉类的记录偏重于设备性能层面的退化状态。同时，两种数据的结构形式也不同。其次，两种模态不是独立的实体，而是相互关联的，它们服务于同一个目标，即共同表征系统设备运行的状态，在同一时间维度上，有明显的依赖关系。
4、准确的异常感知和检测是铁路运输过程控制和运行计划正常执行的前提。伴随着机器学习等新兴技术的发展，目前，大多数的异常检测方法是基于数据驱动的深度学习方法。由于场景和环境的特殊性，对特定设备研究针对性的异常检测方法是普遍共识。
5、对于列控系统，尚未有专门监测设备运用和性能退化的技术手段，只有自然语言类的日志和视觉类的指示灯信息可以作为异常检测的数据源。目前，融合文本-视觉多模态学习的列控系统异常检测方法尚未有文献报道。
6、因此，提出一种高铁列控系统多模态异常检测方法，来解决现有技术存在的困难，是本领域技术人员亟需解决的问题。
技术实现思路
1、有鉴于此，本发明提供了一种高铁列控系统多模态异常检测方法，从功能和性能两个层面有机融合，在系统发生故障前对其进行预测，达到缩小故障影响范围的目的。
2、为了实现上述目的，本发明提供如下技术方案：
3、一种高铁列控系统多模态异常检测方法，包括以下步骤：
4、s1、数据获取步骤：获取列控系统运行过程中的日志文本和灯显视觉数据作为原始数据集；
5、s2、数据处理步骤：将s1中的原始数据集进行结构化、剔除重复数据的预处理，并对原始数据集中的各类异常进行标注，按比例划分得到带标注的训练集、验证集和测试集；
6、s3、模型建立步骤：建立基于高铁列控系统文本-视觉多模态学习的异常检测模型；
7、s4、模型训练和评估步骤：将s2中的训练集和验证集输入至s3中的异常检测模型，实现模型训练；将s2中的测试集输入至s3中的异常检测模型实现性能评估；
8、s5、系统异常检测步骤：将s4中训练和评估后的异常检测模型应用于高铁列控系统实现系统异常检测。
9、可选的，s3中的异常检测模型从文本和视觉两个维度协同表征列控系统的功能和性能运行状态，设计一种双流的文本-视觉学习架构，引入独立的日志文本和视觉处理流，再通过共同的决策层进行模态交互。
10、可选的，s3中的异常检测模型分为三层：嵌入层、特征层、输出层；其中，嵌入层包括文本嵌入器和视觉嵌入器；特征层包括注意力模块；输出层包括决策层融合模块。
11、可选的，注意力模块包括多头注意力、前向传播网络、线性层和softmax层；多头注意力和前向传播网络模块都应用了残差连接，后面连接一个层归一化模块，线性层通过对上一步的线性变换得到指定维度的输出，转换后的维度对应输出类别的个数；softmax层进一步输出分类概率。
12、可选的，s5中的设备异常检测模型实现设备异常检测具体步骤为：
13、将输入序列中的系统运行日志文本数据和灯显视觉数据通过各自的嵌入器转换为对应的文本向量和图像向量，同时加上每一个输入的位置向量，体现文本或者图像在序列中的位置；然后将综合位置向量的文本向量和图像向量分别输入到注意力模块，通过自注意力机制来学习输入之间的关系，编码其上下文信息，再通过一个前馈网络输出综合了上下文特征的各个日志或图像的向量表示；最后分别将输出的各个日志或图像的向量表示输入到决策层融合模块，通过多个预测类标签的代数组合规则对输入的各个日志或图像的向量表示进行决策执行集成，得到最终的设备异常判别结果。
14、可选的，将输入序列中的系统运行日志文本数据和灯显视觉数据通过各自的嵌入器转换为对应的文本向量和图像向量具体步骤为：
15、在文本嵌入器中：通过一个嵌入层将输入文本映射到一个低维稠密的向量空间，设计一个分词器，将日志文本以子词作为最小粒度，转换为嵌入层文本向量供模型学习；
16、在视觉嵌入器中：图像的数据格式为[h,w,c]的三维矩阵，将h*w*c大小的图片分成若干个p*p大小的方块，得到一个有语义信息的离散序列，小方块的数量为n＝h/p*w/p，接着通过线性映射将每个方块映射到一维向量中，转换过程通过一个卷积层实现。
17、经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种高铁列控系统多模态异常检测的方法，具有以下有益效果：
18、(1)本发明提出了一种统一的高铁列控系统文本-视觉多模态学习的异常检测方法，首次从文本和视觉两个维度协同表征列控系统的功能和性能运行状态；
19、(2)根据日志文本和视觉图像相互独立又有关联的复杂耦合场景和特点，个性化设计了一种双流的文本-视觉学习架构，引入独立的日志文本和视觉处理流，再通过共同的决策层进行模态交互；
20、(3)全程使用注意力机制搭建全连接神经网络模型，聚焦文本序列的上下文长距离依赖关系和特定位置视觉变化的小目标跟踪；通过文本-视觉有机融合的多模态异常检测，解决了高铁列控系统故障诊断时效性和准确度较低的问题；
21、(4)本发明提出基于文本-视觉的多模态异常检测方法，分别独立学习文本模态和视觉模态的信息，然后实现两个模态信息的交流和转换，从功能和性能两个层面有机融合，在系统发生故障前对其进行预测，达到缩小故障影响范围的目的。
1.一种高铁列控系统多模态异常检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种高铁列控系统多模态异常检测方法，其特征在于，s3中的异常检测模型从文本和视觉两个维度协同表征列控系统的功能和性能运行状态，设计一种双流的文本-视觉学习架构，引入独立的日志文本和视觉处理流，再通过共同的决策层进行模态交互。
3.根据权利要求2所述的一种高铁列控系统多模态异常检测方法，其特征在于，s3中的异常检测模型分为三层：嵌入层、特征层、输出层；其中，嵌入层包括文本嵌入器和视觉嵌入器；特征层包括注意力模块；输出层包括决策层融合模块。
4.根据权利要求3所述的一种高铁列控系统多模态异常检测方法，其特征在于，
5.根据权利要求1所述的一种高铁列控系统多模态异常检测方法，其特征在于，s5中的设备异常检测模型实现设备异常检测具体步骤为：
6.根据权利要求5所述的一种高铁列控系统多模态异常检测方法，其特征在于，将输入序列中的系统运行日志文本数据和灯显视觉数据通过各自的嵌入器转换为对应的文本向量和图像向量具体步骤为：
