本技术涉及智能驾驶，具体涉及一种基于深度q网络的车辆风险评估方法、装置、设备及介质。
背景技术：
1、在电动汽车这一复杂且动态的系统领域，传统的危害分析和风险评估(hara)方法尽管在系统安全工程中得到了广泛应用，但仍面临诸多挑战。hara方法通过识别、分析和评估系统中的潜在风险，并制定相应控制措施，旨在确保系统安全性。然而，在处理电动汽车时，其不足之处逐渐显现。
2、然而，受限于hara方法的实现方式，使得其高度依赖专家的经验和知识，并缺乏对实时数据的处理和定量分析能力，更无法动态适应系统运行状态和环境的变化，无法及时更新和优化风险评估结果。因此，在电动汽车的实际运行中，系统状态和环境条件不断变化，传统的hara方法无法自适应地调整和优化风险评估策略。
技术实现思路
1、鉴于以上所述现有技术的缺点，本技术提供一种基于深度q网络的车辆风险评估方法、装置、系统、设备及介质，以解决上述技术问题。
2、本技术提供的一种基于深度q网络的车辆风险评估方法，所述方法包括：采集初始车辆行驶数据，所述初始车辆行驶数据包括历史数据和当前数据；对所述初始车辆行驶数据进行预处理，包括数据清洗以去除噪声和异常值；从预处理后的数据中提取特征，并基于提取得到的特征构建车辆状态特征向量，其中，基于历史数据得到的特征向量定义为历史特征向量，基于当前数据得到的特征向量定义为当前特征向量；设计并构建深度q网络模型，并使用历史状态特征向量和相应的风险等级标签对模型进行训练，以得到目标车辆状态识别模型；深度q网络模型的设计包括选择网络构建参数，所述网络构建参数至少包括网络结构、激活函数、损失函数以及优化器；将所述当前状态特征向量输入所述目标车辆状态识别模型，以基于所述目标车辆状态模型的输出结果评估所述目标车辆的风险状态，所述风险状态包括风险类别和风险等级。
3、于本技术的一实施例中，设计并构建深度q网络模型，包括：构建深度神经网络架构，所述深度神经网络架构包括输入层、隐藏层，以及输出层；对各历史状态特征向量进行线性变换得到对应的注意力得分，对所述注意力得分进行归一化处理得到注意力权重，并基于各历史状态特征向量对应的注意力权重对各输入所述初始状态识别模型的历史状态特征向量进行加权处理；定义损失函数的误差，所述误差用于衡量预测q值与目标q值之间的差异；初始化经验回放记忆库、q网络，以及目标网络，所述经验回放记忆库用于存储状态转换的历史数据，所述q网络用于生成预测q值，所述目标网络则用于计算目标q值。
4、于本技术的一实施例中，使用历史状态特征向量和相应的风险等级标签对模型进行训练，包括：获取当前奖励、折扣因子和目标网络参数；从记忆库中随机抽取小批量样本，并基于当前奖励、折扣因子和目标网络参数计算目标q值，并基于所述初始状态识别模型计算各历史状态特征向量的预测q值；根据计算得到的目标q值和预测q值得到损失函数的误差值，并基于所述误差值对所述初始状态识别模型的模型参数进行修正；基于修正模型参数后的识别模型对历史状态特征向量进行计算，得到新的预测q值，直至所述预测q值与所述目标q值之间的损失函数误差值小于预设误差阈值，则模型训练完成。
5、于本技术的一实施例中，模型训练完成之后，还包括，基于训练后的状态识别模型对车辆当前状态进行识别，得到识别状态；获取目标车辆的实际状态，所述实际状态基于驾驶员的反馈信息确定；比较所述识别状态和所述实际状态的差值，并基于所述差值对所述状态识别模型进行修正，以优化所述状态识别模型。
6、于本技术的一实施例中，从预处理后的数据中提取特征，包括：获取所述初始车辆行驶数据的数据连续性，并基于所述数据连续性将所述初始车辆行驶数据分为离散型数据和连续型数据；对所述离散型数据进行特征编码，得到各类型离散数据对应的离散特征值；对所述连续数据进行归一化处理，得到各类型连续数据对应的连续特征值；拼接所述离散特征值和所述连续特征值，得到车辆状态特征向量。
7、于本技术的一实施例中，基于所述目标车辆状态模型的输出结果评估所述目标车辆的风险状态，包括：获取各风险类别处于不同风险等级的标准值，所述不同风险类别对应不同数据区间的输出结果，所述风险类别至少包括碰撞风险和失控风险，所述风险等级至少包括低风险、中风险，以及够风险；确定所述输出结果的数据区间，以从多个风险类别中确定一个风险类别为所述目标车辆的当前风险类别；将所述输出结果与所述当前风险类别的各风险等级的标准值做比较，得到差值最小的一个标准值对应的风险等级为所述目标车辆的当前风险等级。
8、于本技术的一实施例中，将所述车辆风险预警和所述车辆控制建议推送至目标端之后，还包括：获取驾驶员的实际操作指令；比较所述实际操作指令和所述车辆控制建议，以得到所述实际操作指令与所述车辆控制建议之间的相关性；若所述相关性低于预设相关性阈值则视为无效驾驶建议，并对驾驶建议的生成策略进行优化，以得到相关性高于所述预设相关性阈值的有效驾驶建议。
9、本技术提供一种基于深度q网络的车辆风险评估装置，所述装置包括：数据采集模块，用于采集初始车辆行驶数据，所述初始车辆行驶数据包括历史数据和当前数据；数据预处理模块，用于对所述初始车辆行驶数据进行预处理，包括数据清洗以去除噪声和异常值；特征向量构建模块，用于从预处理后的数据中提取特征，并基于提取得到的特征构建车辆状态特征向量，其中，基于历史数据得到的特征向量定义为历史特征向量，基于当前数据得到的特征向量定义为当前特征向量；模型训练模块，用于设计并构建深度q网络模型，并使用历史状态特征向量和相应的风险等级标签对模型进行训练，以得到目标车辆状态识别模型；深度q网络模型的设计包括选择网络构建参数，所述网络构建参数至少包括网络结构、激活函数、损失函数以及优化器；风险评估模块，用于将所述当前状态特征向量输入所述目标车辆状态识别模型，以基于所述目标车辆状态模型的输出结果评估所述目标车辆的风险状态，所述风险状态包括风险类别和风险等级。
10、本技术提供一种基于深度q网络的车辆风险评估系统，所述系统上搭载有如上所述的基于深度q网络的车辆风险评估装置。
11、本技术提供一种电子设备，包括处理器、存储器和通信总线；所述通信总线用于将所述处理器和存储器连接；所述处理器用于执行所述存储器中存储的计算机程序，以实现如上所述的基于深度q网络的车辆风险评估方法。
12、本技术提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于使计算机执行如上所述的基于深度q网络的车辆风险评估方法。
13、本技术的有益效果：本技术中的基于深度q网络的车辆风险评估方法，通过采集初始车辆行驶数据并对其进行特征识别得到车辆状态特征向量，基于深度q网络算法和历史状态特征向量对初始状态识别模型进行训练，以得到目标车辆状态识别模型，将当前状态特征向量输入目标车辆状态识别模型，并基于目标车辆状态模型的输出结果评估目标车辆的风险等级。其通过深度q网络算法对初始状态识别模型进行训练，并基于历史状态特征向量进行精准的学习和优化，提高了对电动汽车状态的识别能力，相较于传统方法，这一模型更加智能化和自适应，能够更好地适应电动汽车这一复杂动态系统的风险评估需求；此外，基于当前车辆行驶数据对其目标车辆的状态进行评估，确保了评估结论的实时性。总体而言，本技术提出的基于深度q网络的车辆风险评估方法在提高风险评估的准确性、实时性和自适应性方面均表现出显著的优势，为电动汽车的安全运行提供了有力保障。
14、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
1.一种基于深度q网络的车辆风险评估方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于深度q网络的车辆风险评估方法，其特征在于，设计并构建深度q网络模型，包括：
3.根据权利要求2所述的基于深度q网络的车辆风险评估方法，其特征在于，使用历史状态特征向量和相应的风险等级标签对模型进行训练，包括：
4.根据权利要求3所述的基于深度q网络的车辆风险评估方法，其特征在于，模型训练完成之后，还包括：
5.根据权利要求1所述的基于深度q网络的车辆风险评估方法，其特征在于，从预处理后的数据中提取特征，包括：
6.根据权利要求1-5任一项所述的基于深度q网络的车辆风险评估方法，其特征在于，基于所述目标车辆状态模型的输出结果评估所述目标车辆的风险状态，包括：
7.根据权利要求6所述的基于深度q网络的车辆风险评估方法，其特征在于，将所述车辆风险预警和所述车辆控制建议推送至目标端之后，还包括：
8.一种基于深度q网络的车辆风险评估装置，其特征在于，所述装置包括：
9.一种电子设备，其特征在于，包括处理器、存储器和通信总线；所述通信总线用于将所述处理器和存储器连接；所述处理器用于执行所述存储器中存储的计算机程序，以实现如权利要求1-7任一项所述的基于深度q网络的车辆风险评估方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序用于使计算机执行如权利要求1-7任一项所述的基于深度q网络的车辆风险评估方法。
