1.本发明涉及自动驾驶技术领域，具体而言，涉及一种交通信号灯的识别方法、装置及电子设备。
背景技术：2.为采集到较为完整的交通信号灯的画面，通常在车身上分布式地设置多个图像传感器。在对交通信号灯的识别过程中，需要根据多个图像传感器采集到目标交通信号灯的多个图像确定其指示的通行状态。
3.相关技术中，通常通过语义地图中的交通信号灯的标识，或者将每个图像中各个交通信号灯映射到车辆行驶的四个方向，形成追踪标识，并在交通信号灯识别的过程中对追踪结果进行投票，实现对目标交通信号灯的识别。然而，在自动化程度较低的车辆中无法使用语义地图，而采用基于规则投票的方式具有一定局限性，从而使得对交通信号灯的识别结果准确度较差。
技术实现要素：4.有鉴于此，本发明的目的在于提供一种交通信号灯的识别方法、装置及电子设备，以在通过多相机拍摄的多个车载图像对交通信号灯进行识别的过程中，提高识别结果的准确性。
5.第一方面，本发明实施例提供了一种交通信号灯的识别方法，该方法包括：获取多个目标图像中的目标区域；多个目标图像通过多个布置于同一车辆的车载相机针对同一交通场景拍摄；目标区域包括至少部分目标交通信号灯的图像；将目标区域输入至预先训练完成的交通信号灯识别模型中，通过交通信号灯识别模型从目标区域中提取目标交通信号灯的交叉融合特征，基于交叉融合特征确定预设的通行方向的通行特征，基于通行特征确定交通信号灯指示的通行状态；其中，交叉融合特征指示目标交通信号灯中各个交通信号灯之间的时间维度和\或空间维度的相互作用关系；通行特征指示目标交通信号灯对通行方向的通行状态的影响。
6.可选的，在本发明第一方面的第一种实现方式中，上述获取多个目标图像中的目标区域的步骤，包括：针对每个目标图像，通过预先训练完成的障碍物识别模型对目标图像进行处理，得到识别结果；识别结果包括识别到的障碍物的类别及障碍物在目标图像中的位置信息；基于类别为交通信号灯的障碍物在目标图像中的位置信息，从目标图像中截取包含类别为交通信号灯的障碍物的目标区域。
7.可选的，在本发明第一方面的第二种实现方式中，上述交通信号灯识别模型包括特征提取网络及特征融合网络；特征融合网络基于多头注意力机制建立；通过预先训练的交通信号灯识别模型对目标区域进行处理，得到目标交通信号灯的交叉融合特征的步骤包括：通过特征提取网络对目标区域进行特征提取处理，得到目标区域中的图像特征；图像特征包括目标交通信号灯中，每个交通信号灯的时间维度和\或空间维度的属性特征；通过特
征融合网络基于多头注意力机制对图像特征进行特征融合处理，得到目标交通信号灯的交叉融合特征。
8.可选的，在本发明第一方面的第三种实现方式中，上述特征提取网络包括残差神经网络；通过特征提取网络对目标区域进行特征提取处理，得到目标区域中的图像特征的步骤，包括：通过残差神经网络将目标区域映射至预先设置的高维度空间，得到映射结果；对映射结果进行特征提取处理，得到目标区域中的图像特征。
9.可选的，在本发明第一方面的第四种实现方式中，上述目标区域包括多个，交叉融合特征与目标区域相对应；交通信号灯识别模型包括特征筛选网络；特征筛选网络基于交叉注意力机制建立；预设的通行方向包括：直行、左转、右转及掉头；基于交叉融合特征确定预设的通行方向的通行特征的步骤，包括：通过特征筛选网络基于交叉注意力机制对多个目标区域的交叉融合特征进行筛选处理，得到筛选结果；筛选结果包括与每个通行方向相关的交叉融合特征；针对每个通行方向，将筛选结果中与通行方向相关的交叉融合特征确定为通行方向的通行特征。
10.可选的，在本发明第一方面的第五种实现方式中，上述交通信号灯识别模型包括解码网络；基于通行特征确定交通信号灯指示的通行状态的步骤，包括：通过解码网络对通行特征进行解码处理，得到交通信号灯指示的通行状态。
11.可选的，在本发明第一方面的第六种实现方式中，上述交通信号灯识别模型通过下述方式训练得到：从预设的样本集合中确定训练数据；训练数据包括包含多个样本图像的目标区域及目标区域中的交通信号灯指示的通行状态；多个样本图像通过多个布置于同一车辆的车载相机针对同一交通场景拍摄；目标区域包括至少部分交通信号灯的图像；将多个样本图像的目标区域输入至初始模型中，得到初始模型输出的处理结果；基于处理结果以及与交通信号灯指示的当前通行状态，确定初始模型的损失值；基于损失值更新初始模型的模型参数；继续执行从预设的样本数据中确定训练数据的步骤，直至损失值收敛，将损失值收敛后的初始模型确定为交通信号灯识别模型。
12.第二方面，本发明实施例提供了一种交通信号灯的识别装置，该装置包括：目标区域识别模块，用于获取多个目标图像中的目标区域；多个目标图像通过多个布置于同一车辆的车载相机针对同一交通场景拍摄；目标区域包括至少部分目标交通信号灯的图像；通行状态确定模块，用于将目标区域输入至预先训练完成的交通信号灯识别模型中，通过交通信号灯识别模型从目标区域中提取目标交通信号灯的交叉融合特征，基于交叉融合特征确定预设的通行方向的通行特征，基于通行特征确定交通信号灯指示的通行状态；其中，交叉融合特征指示目标交通信号灯中各个交通信号灯之间的时间维度和\或空间维度的相互作用关系；通行特征指示目标交通信号灯对通行方向的通行状态的影响。
13.第三方面，本发明实施例提供了一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的机器可执行指令，处理器执行机器可执行指令以实现上述的交通信号灯的识别方法。
14.第四方面，本发明实施例提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现上述的交通信号灯的识别方法。
15.本发明实施例带来了以下有益效果：
16.本发明实施例提供了一种交通信号灯的识别方法、装置及电子设备，获取多个目标图像中的包含目标交通信号灯的图像的目标区域；将目标区域输入至预先训练完成的交通信号灯识别模型中，通过交通信号灯识别模型从目标区域中提取目标交通信号灯的交叉融合特征，基于交叉融合特征确定预设的通行方向的通行特征，基于通行特征确定交通信号灯指示的通行状态。该方式在通过多相机拍摄的多个车载图像对交通信号灯进行识别的过程中，提取图像中能够表示各个交通信号灯之间的时间维度和\或空间维度的相互作用关系的交叉融合特征，进一步确定交通信号灯对各个通行方向的通行状态的影响，从而确定了交通信号灯指示的通行状态，提高了交通信号灯的识别结果的准确性。
17.本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
18.为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
19.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
20.图1为本发明实施例提供的一种交通信号灯的识别方法的流程图；
21.图2为本发明实施例提供的另一种交通信号灯的识别方法的流程图；
22.图3为本发明实施例提供的一种交通信号灯识别模型的结构示意图；
23.图4为本发明实施例提供的一种交通信号灯的识别装置的结构示意图；
24.图5为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
25.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
26.在自动驾驶、辅助驾驶和行车安全等领域中交通信号灯的识别均为一个重要任务。由于在车身上通常会多个图像传感器采集交通信号灯的图像。在对交通信号灯的识别过程中，需要根据多个图像传感器采集到与时序相关的交通信号灯的多个图像确定其指示的通行状态。常见的处理方案一般分为两阶段，第一阶段为检测阶段，主要负责检测红绿灯的位置以及相应的属性，如颜色形状等，第二阶段则为决策阶段，结合多帧的检测结果来给出时序上的决策结果，确定交通信号灯指示的通行状态，然后进一步通过路径规划模块基于交通信号灯指示的通行状态规划行车轨迹。
27.决策阶段有如下常见的两种方案：
28.(1)基于每个红绿灯的时序信息进行融合，然后给出最终时序的状态，其中对于每
个时序信息的获取强依赖于对框的时序跟踪。由于多个相机之间拍摄角度差异通常较大，导致跨图像的障碍物跟踪任务是一个相对来说较难的问题，且最终的准确度也有一定的瓶颈。尽管在自动驾驶程度为l4的自动驾驶系统中可以依赖于语义地图的唯一标识(id)来规避这一个问题，但在自动驾驶程度为l2或l3的辅助驾驶系统无法依赖语义地图的场景中，无法避免跨图像的障碍物跟踪造成的交通信号灯的识别准确度问题。
29.(2)通过一种预处理的手段来避免跨相机障碍物跟踪的难点。具体为：将每帧检测到的所有红绿灯都映射到车辆行驶的四个方向，左转、直行、右转、掉头(也成为“uturn”)。这样每帧就有天然的追踪id。然后基于投票后的结果利用时序的模型对各个红绿灯的特征进行处理。这种基于规则的投票有一定的局限性，且可扩展性也较差。当然也可以将投票过程放入到模型中进行学习的方案，但不可避免的会增大模型学习的难度，并难以处理训练过程中的数据平衡等问题，最终导致模型精度较差。
30.除此之外，上述解决方案，在信息传输的过程中会有一定程度的信息损失(在决策阶段)，即较难获取到原始传感器的信息，且即使拿到了也徒增了很多图像特征提取的重复计算，造成交通信号灯的识别效率较低。
31.基于此，本发明实施例提供的一种交通信号灯的识别方法、装置及电子设备，该技术可以应用于各种场景中交通信号灯的识别过程。
32.为便于对本实施例进行理解，首先对本发明实施例所公开的一种交通信号灯的识别方法进行详细介绍，如图1所示，该方法包括如下步骤：
33.步骤102，获取多个目标图像中的目标区域；多个目标图像通过多个布置于同一车辆的车载相机针对同一交通场景拍摄；目标区域包括至少部分目标交通信号灯的图像。
34.上述目标图像通常为同一车辆上的多个车载相机采集到的图像。这些目标图像具有一定的拍摄顺序，从而使得目标图像中的交通信号灯的显示状态具有一定的时序关系。例如，当车辆由远及近驶向交通路口时，依次由相机a、相机b、相机c及相机d采集到包括交通路口处的目标交通信号灯的八张图像。这八张图像可以作为用于识别交通路口处的目标交通信号灯的目标图像。
35.上述目标区域为目标图像中包括目标交通信号灯的图像区域。可以首先识别到目标图像中的交通信号灯，例如，可以采用基于神经网络或深度学习理论建立的交通信号灯检测模型对目标图像中的交通信号灯进行检测，或采用基于颜色和形状的图像检测技术等多种交通信号灯检测及定位技术确定交通信号灯在目标图像中的轮廓及位置等参数；然后基于交通信号灯在目标图像中的轮廓及位置等参数进一步确定目标区域。目标区域可以为包含交通信号灯的最小矩形区域，也可以进行适当的外扩，以得到较为完整的交通信号灯的图像。
36.步骤104，将目标区域输入至预先训练完成的交通信号灯识别模型中，通过交通信号灯识别模型从目标区域中提取目标交通信号灯的交叉融合特征，基于交叉融合特征确定预设的通行方向的通行特征，基于通行特征确定交通信号灯指示的通行状态；其中，交叉融合特征指示目标交通信号灯中各个交通信号灯之间的时间维度和\或空间维度的相互作用关系；通行特征指示目标交通信号灯对通行方向的通行状态的影响。
37.上述交通信号灯识别模型可以基于神经网络及深度学习理论建立。在交通信号灯识别模型投入使用之前，需要通过大量的训练数据对其进行训练。这些训练数据通常为包
含已经确定了指示的通行状态的交通信号灯的多组目标图像中的目标区域。通过这些训练数据使得交通信号灯识别模型学习到如何从多组目标图像中的目标区域提取目标交通信号灯的交叉融合特征，并基于交通信号灯的交叉融合特征确定各个通行方向的通行特征，进而基于通行特征确定交通信号灯指示的通行状态。
38.为了实现上述功能，交通信号灯识别模型通常需要包括依次连接特征提取网络、特征融合网络、分类网络及输出网络。特征提取网络可以用于从目标区域中提取到交通信号灯的基本特征，这些基本特征可以包括时间维度的特征及空间维度的特征，例如目标信号灯的各个交通信号灯的点亮状态及熄灭状态的先后顺序，各个交通信号灯在目标区域中的位置。
39.上述基本特征之间的相关关系需要通过特征融合网络进行交叉融合处理得到，生成能够表示目标交通信号灯中各个交通信号灯之间的时间维度和\或空间维度的相互作用关系的交叉融合特征，交通信号灯可以表征如下相互作用关系：第一交通信号灯在第二交通信号灯的上方，且在第一交通信号灯熄灭后第二交通信号灯点亮等。其中，特征融合网络可以基于多头注意力机制或交叉注意力机制建立，并在训练过程中学习到如何确定各个交通信号灯之间的相互作用关系。
40.上述分类网络也可以称为特征筛选网络，用于从交叉融合特征中确定到与各个通行方向相关的通行特征，也可以认为是将交叉融合特征分类至各个通行方向。上述通行方向通常包括车辆所在方向的直行、左转、右转及掉头，还可以包括车辆所在方向的垂直方向的直行、左转、右转及掉头等。在确定与各个通行方向相关的通行特征后，可以通过输出网络针对每个通行方向，对其相关的通行特征进行处理，如进行解码处理或映射处理等，得到交通信号灯指示的通行状态，例如，左转为禁止通行，右转和直行为正常通行，掉头为禁止通行等等。
41.本发明实施例提供了一种交通信号灯的识别方法，获取多个目标图像中的包含目标交通信号灯的图像的目标区域；将目标区域输入至预先训练完成的交通信号灯识别模型中，通过交通信号灯识别模型从目标区域中提取目标交通信号灯的交叉融合特征，基于交叉融合特征确定预设的通行方向的通行特征，基于通行特征确定交通信号灯指示的通行状态。该方式在通过多相机拍摄的多个车载图像对交通信号灯进行识别的过程中，提取图像中能够表示各个交通信号灯之间的时间维度和\或空间维度的相互作用关系的交叉融合特征，进一步确定交通信号灯对各个通行方向的通行状态的影响，从而确定了交通信号灯指示的通行状态，提高了交通信号灯的识别结果的准确性。
42.本发明实施例还提供了另一种交通信号灯的识别方法，该方法在图1所示的方法基础上实现。该方法主要描述了获取多个目标图像中的目标区域的具体过程，以及通过交通信号灯识别模型对目标区域进行处理，进而确定交通信号灯指示的通行状态的具体过程。如图2所示，该方法包括如下步骤：
43.步骤s202，针对每个目标图像，通过预先训练完成的障碍物识别模型对目标图像进行处理，得到识别结果；识别结果包括识别到的障碍物的类别及障碍物在目标图像中的位置信息。
44.上述障碍物识别模型可以基于传统的机器学习算法建立，比如逻辑回归，支持向量机，也可以基于深度学习算法建立，比如：深度卷积神经网络。在模型训练过程中，可以首
先用车载相机采集在道路行驶中的数据作为样本，然后在相机图像中进行障碍物的标注，接着通过对标注的样本数据训练模型的参数和输出。
45.步骤s204，基于类别为交通信号灯的障碍物在目标图像中的位置信息，从目标图像中截取包含类别为交通信号灯的障碍物的目标区域。
46.可以将识别结果中类别为交通信号灯的障碍物从原始的车载相机拍摄的图像中截取出来(也称为“抠图”)，得到目标区域。通常一个目标图像中至少会得到一个目标区域。对应地，目标区域的个数为多个。
47.用于处理多个目标区域的交通信号灯识别模型通常包括依次连接的特征提取网络、特征融合网络、特征筛选网络及解码网络，如图3所示。
48.交通信号灯识别模型可以通过下述方式训练得到：
49.(1)从预设的样本集合中确定训练数据；训练数据包括包含多个样本图像的目标区域及目标区域中的交通信号灯指示的通行状态；多个样本图像通过多个布置于同一车辆的车载相机针对同一交通场景拍摄；目标区域包括至少部分交通信号灯的图像。
50.(2)将多个样本图像的目标区域输入至初始模型中，得到初始模型输出的处理结果。该处理结果通常包括初始模型得到的交通信号灯指示的各个通行方向的通行状态。
51.(3)基于处理结果以及与交通信号灯指示的当前通行状态，确定初始模型的损失值。可以根据需求选取损失函数基于处理结果以及与交通信号灯指示的当前通行状态计算初始模型的损失值。
52.(4)基于损失值更新初始模型的模型参数；继续执行从预设的样本数据中确定训练数据的步骤，直至损失值收敛，将损失值收敛后的初始模型确定为交通信号灯识别模型。
53.步骤s206，通过特征提取网络对目标区域进行特征提取处理，得到目标区域中的图像特征；图像特征包括目标交通信号灯中，每个交通信号灯的时间维度和\或空间维度的属性特征。
54.为了提取到更为丰富的属性特征，特征提取网络可以为残差网络，具体可以通过残差神经网络将目标区域映射至预先设置的高维度空间，得到映射结果，然后对映射结果进行特征提取处理，得到目标区域中的图像特征。交通信号灯的时间维度和\或空间维度的属性特征可以包括交通信号灯在图像中的位置、显示内容，以及其在目标区域中按照时间顺序的状态变化特征。
55.步骤s208，通过特征融合网络基于多头注意力机制对图像特征进行特征融合处理，得到目标交通信号灯的交叉融合特征。上述特征融合网络基于多头注意力机制(multi head attention)建立，以对于目标交通信号灯中的有相互作用关系的交通信号灯的图像特征进行融合。
56.步骤s210，通过特征筛选网络基于交叉注意力机制对多个目标区域的交叉融合特征进行筛选处理，得到筛选结果；筛选结果包括与每个通行方向相关的交叉融合特征。
57.上述目标区域包括多个，交叉融合特征与目标区域相对应；交通信号灯识别模型包括特征筛选网络；特征筛选网络基于交叉注意力机制建立。预设的通行方向可以包括：直行、左转、右转及掉头。
58.步骤s212，针对每个通行方向，将筛选结果中与通行方向相关的交叉融合特征确定为通行方向的通行特征。
59.步骤s214，通过解码网络对通行特征进行解码处理，得到交通信号灯指示的通行状态。
60.上述方法可以提高通过多相机拍摄的多个车载图像对交通信号灯进行识别得到的结果的准确性。
61.本发明实施例还提供了另一种交通信号灯的识别方法。该方法在图1所示的方法的基础上实现。该方法提供一种端到端的交通信号灯的识别方案。具体的流程为，首先由上游基于车载图像的障碍物检测的模块给出红绿灯的基础位置信息，然后根据基础的位置信息截取(也称为“抠取”)感兴趣的区域，作为一批原始特征输入到一个端到端的网络(红绿灯决策器)中进行推断，最终得出四个方向(左转、直行、右转、掉头(也称为uturn))的状态，最后将该状态输出给下游路径规划模块。
62.该方法主要通过如下步骤实现：
63.s1:采用深度学习方法对车载相机图像中的障碍物进行检测和识别。
64.采用深度学习方法对车载相机图像中的交通信号灯进行检测和识别，检测到障碍物的位置和类别信息。
65.s2:根据s1中的检测出来的红绿灯位置信息从车在图像抠出感兴趣的区域，将这一批图像送入一个端到端的网络(红绿灯决策器，相当于上述“交通信号灯识别模型”)中进行推断。
66.把s1中的检测结果中类别为交通灯的障碍物拿出来作为一个类似兴趣区域的输入,将原始的车载相机拍摄的图像抠出来,然后将这一系列的图像喂入一个端到端的网络中进行推断，得到最终四个方向(左转、直行、右转、uturn)的结果。
67.该部分网络主要流程为如下：
68.s2-1，根据s1的位置信息对多个相机的原始图像进行抠图处理，得到一批感兴趣区域的图像。
69.该模块是基于s1中输出的位置信息，针对原始图像进行抠图处理，抠图的时候可以往外扩一定尺度来保留一定的环境信息。具体实现方案上可以考虑在gpu(graphics processing unit，图形处理器)上并行处理。
70.s2-2，图像特征抽取模块：该模块是基于卷积神经网络针对输入的批量图像进行特征提取。常见的实现方案有resnet，regnet等常见的卷积神经网络。
71.s2-3，基于注意力机制的多帧多相机的融合模块。该模块是基于注意力机制的一个融合模块。对输入的每一块来自s2-2输出的红绿灯图像特征能感知到周围的红绿灯特征(时间维度以及空间维度上)信息。通过交叉信息的传递可以更好的提取更丰富的特征。
72.s2-4，基于注意力机制的解码模块：该模块是针对s2-3融合的特征进行解码操作。利用注意力机制对一段时序的特征进行询问操作(相当于筛选操作)，询问出四个方向的特征，即感知所有时间维度以及空间维度的所有红绿灯信息对该行驶方向的影响，并进行解码操作得到最后的输出结果。实现上主要是cross-attention为主。
73.s2-5，红绿灯检测分类模块：该模块是一个辅助分支并不在实际车载的时候进行输出，主要作用是用以监督s2-2模块的学习进度。实现可以使用常见的检测网络如yolo系列等网络。
74.上述方法以一种基于深度学习的方法绕开了跨相机跟踪这一难题；用一种端到端
的方案避免了两阶段解决方案中传输过程中原始图像信息的损失；用一种更优雅的特征表达方式以及模型设计，提高了图像特征抽取的计算并行度，以及该解决方案的容量和扩展性。相较于原有的算法来说，流程更加简洁，模型实现以及特征表达上更加优雅，可扩展性强，工程实现以及维护上更加轻松，模型数据获取的成本大大降低，且不需要依赖任何除视觉以外的类似语义地图这样的额外辅助模块，也避免跨图像跟踪这一难题。
75.对应于上述方法实施例，本发明实施例提供了一种交通信号灯的识别装置，如图4所示，该装置包括：
76.目标区域识别模块400，用于获取多个目标图像中的目标区域；多个目标图像通过多个布置于同一车辆的车载相机针对同一交通场景拍摄；目标区域包括至少部分目标交通信号灯的图像；
77.通行状态确定模块402，用于将目标区域输入至预先训练完成的交通信号灯识别模型中，通过交通信号灯识别模型从目标区域中提取目标交通信号灯的交叉融合特征，基于交叉融合特征确定预设的通行方向的通行特征，基于通行特征确定交通信号灯指示的通行状态；其中，交叉融合特征指示目标交通信号灯中各个交通信号灯之间的时间维度和\或空间维度的相互作用关系；通行特征指示目标交通信号灯对通行方向的通行状态的影响。
78.进一步地，上述目标区域识别模块还用于：针对每个目标图像，通过预先训练完成的障碍物识别模型对目标图像进行处理，得到识别结果；识别结果包括识别到的障碍物的类别及障碍物在目标图像中的位置信息；基于类别为交通信号灯的障碍物在目标图像中的位置信息，从目标图像中截取包含类别为交通信号灯的障碍物的目标区域。
79.进一步地，上述交通信号灯识别模型包括特征提取网络及特征融合网络；特征融合网络基于多头注意力机制建立；上述通行状态确定模块还用于：通过特征提取网络对目标区域进行特征提取处理，得到目标区域中的图像特征；图像特征包括目标交通信号灯中，每个交通信号灯的时间维度和\或空间维度的属性特征；通过特征融合网络基于多头注意力机制对图像特征进行特征融合处理，得到目标交通信号灯的交叉融合特征。
80.进一步地，上述特征提取网络包括残差神经网络；上述通行状态确定模块还用于：通过残差神经网络将目标区域映射至预先设置的高维度空间，得到映射结果；对映射结果进行特征提取处理，得到目标区域中的图像特征。
81.进一步地，上述目标区域包括多个，交叉融合特征与目标区域相对应；交通信号灯识别模型包括特征筛选网络；特征筛选网络基于交叉注意力机制建立；预设的通行方向包括：直行、左转、右转及掉头；上述通行状态确定模块还用于：通过特征筛选网络基于交叉注意力机制对多个目标区域的交叉融合特征进行筛选处理，得到筛选结果；筛选结果包括与每个通行方向相关的交叉融合特征；针对每个通行方向，将筛选结果中与通行方向相关的交叉融合特征确定为通行方向的通行特征。
82.进一步地，上述交通信号灯识别模型包括解码网络；上述通行状态确定模块还用于：通过解码网络对通行特征进行解码处理，得到交通信号灯指示的通行状态。
83.进一步地，上述装置还包括模型训练模块，用于：从预设的样本集合中确定训练数据；训练数据包括包含多个样本图像的目标区域及目标区域中的交通信号灯指示的通行状态；多个样本图像通过多个布置于同一车辆的车载相机针对同一交通场景拍摄；目标区域包括至少部分交通信号灯的图像；将多个样本图像的目标区域输入至初始模型中，得到初
始模型输出的处理结果；基于处理结果以及与交通信号灯指示的当前通行状态，确定初始模型的损失值；基于损失值更新初始模型的模型参数；继续执行从预设的样本数据中确定训练数据的步骤，直至损失值收敛，将损失值收敛后的初始模型确定为交通信号灯识别模型。
84.本实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的机器可执行指令，处理器执行机器可执行指令以实现上述交通信号灯的识别方法。
85.参见图5所示，该电子设备包括处理器100和存储器101，该存储器101存储有能够被处理器100执行的机器可执行指令，该处理器100执行机器可执行指令以实现上述交通信号灯的识别方法。
86.进一步地，图5所示的电子设备还包括总线102和通信接口103，处理器100、通信接口103和存储器101通过总线102连接。
87.其中，存储器101可能包含高速随机存取存储器(ram，random access memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是isa总线、pci总线或eisa总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
88.处理器100可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器100中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器100可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processor，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field-programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器101，处理器100读取存储器101中的信息，结合其硬件完成前述实施例的方法的步骤。
89.本实施例还提供一种机器可读存储介质，机器可读存储介质存储有机器可执行指令，机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现上述交通信号灯的识别方法。
90.本发明实施例所提供的一种交通信号灯的识别方法、装置以及电子设备，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
91.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
92.另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
93.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者所述技术方案的部分可以以软件产品的形式体现出来，所述计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
94.在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
95.最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
技术特征：1.一种交通信号灯的识别方法，其特征在于，所述方法包括：获取多个目标图像中的目标区域；多个所述目标图像通过多个布置于同一车辆的车载相机针对同一交通场景拍摄；所述目标区域包括至少部分目标交通信号灯的图像；将所述目标区域输入至预先训练完成的交通信号灯识别模型中，通过所述交通信号灯识别模型从所述目标区域中提取所述目标交通信号灯的交叉融合特征，基于所述交叉融合特征确定预设的通行方向的通行特征，基于所述通行特征确定所述交通信号灯指示的通行状态；其中，所述交叉融合特征指示所述目标交通信号灯中各个交通信号灯之间的时间维度和\或空间维度的相互作用关系；所述通行特征指示所述目标交通信号灯对所述通行方向的通行状态的影响。2.根据权利要求1所述的方法，其特征在于，获取多个目标图像中的目标区域的步骤，包括：针对每个目标图像，通过预先训练完成的障碍物识别模型对所述目标图像进行处理，得到识别结果；所述识别结果包括识别到的障碍物的类别及所述障碍物在所述目标图像中的位置信息；基于所述类别为交通信号灯的障碍物在所述目标图像中的位置信息，从所述目标图像中截取包含所述类别为交通信号灯的障碍物的目标区域。3.根据权利要求1所述的方法，其特征在于，所述交通信号灯识别模型包括特征提取网络及特征融合网络；所述特征融合网络基于多头注意力机制建立；通过预先训练的交通信号灯识别模型对所述目标区域进行处理，得到所述目标交通信号灯的交叉融合特征的步骤包括：通过特征提取网络对所述目标区域进行特征提取处理，得到所述目标区域中的图像特征；所述图像特征包括所述目标交通信号灯中，每个交通信号灯的时间维度和\或空间维度的属性特征；通过特征融合网络基于多头注意力机制对所述图像特征进行特征融合处理，得到所述目标交通信号灯的交叉融合特征。4.根据权利要求3所述的方法，其特征在于，所述特征提取网络包括残差神经网络；通过特征提取网络对所述目标区域进行特征提取处理，得到所述目标区域中的图像特征的步骤，包括：通过残差神经网络将所述目标区域映射至预先设置的高维度空间，得到映射结果；对所述映射结果进行特征提取处理，得到所述目标区域中的图像特征。5.根据权利要求1所述的方法，其特征在于，所述目标区域包括多个，所述交叉融合特征与所述目标区域相对应；所述交通信号灯识别模型包括特征筛选网络；所述特征筛选网络基于交叉注意力机制建立；所述预设的通行方向包括：直行、左转、右转及掉头；基于所述交叉融合特征确定预设的通行方向的通行特征的步骤，包括：通过所述特征筛选网络基于交叉注意力机制对多个目标区域的所述交叉融合特征进行筛选处理，得到筛选结果；所述筛选结果包括与每个通行方向相关的交叉融合特征；针对每个通行方向，将所述筛选结果中与所述通行方向相关的交叉融合特征确定为所述通行方向的通行特征。
6.根据权利要求1所述的方法，其特征在于，所述交通信号灯识别模型包括解码网络；基于所述通行特征确定所述交通信号灯指示的通行状态的步骤，包括：通过所述解码网络对所述通行特征进行解码处理，得到所述交通信号灯指示的通行状态。7.根据权利要求1所述的方法，其特征在于，所述交通信号灯识别模型通过下述方式训练得到：从预设的样本集合中确定训练数据；所述训练数据包括包含多个样本图像的目标区域及所述目标区域中的交通信号灯指示的通行状态；多个所述样本图像通过多个布置于同一车辆的车载相机针对同一交通场景拍摄；所述目标区域包括至少部分交通信号灯的图像；将所述多个样本图像的目标区域输入至初始模型中，得到初始模型输出的处理结果；基于所述处理结果以及与所述交通信号灯指示的当前通行状态，确定所述初始模型的损失值；基于所述损失值更新所述初始模型的模型参数；继续执行从预设的样本数据中确定训练数据的步骤，直至所述损失值收敛，将损失值收敛后的初始模型确定为交通信号灯识别模型。8.一种交通信号灯的识别装置，其特征在于，所述装置包括：目标区域识别模块，用于获取多个目标图像中的目标区域；多个所述目标图像通过多个布置于同一车辆的车载相机针对同一交通场景拍摄；所述目标区域包括至少部分目标交通信号灯的图像；通行状态确定模块，用于将所述目标区域输入至预先训练完成的交通信号灯识别模型中，通过所述交通信号灯识别模型从所述目标区域中提取所述目标交通信号灯的交叉融合特征，基于所述交叉融合特征确定预设的通行方向的通行特征，基于所述通行特征确定所述交通信号灯指示的通行状态；其中，所述交叉融合特征指示所述目标交通信号灯中各个交通信号灯之间的时间维度和\或空间维度的相互作用关系；所述通行特征指示所述目标交通信号灯对所述通行方向的通行状态的影响。9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1-7任一项所述的交通信号灯的识别方法。10.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现权利要求1-7任一项所述的交通信号灯的识别方法。
技术总结本发明提供了一种交通信号灯的识别方法、装置及电子设备，获取多个目标图像中的包含目标交通信号灯的图像的目标区域；将目标区域输入至预先训练完成的交通信号灯识别模型中，通过交通信号灯识别模型从目标区域中提取目标交通信号灯的交叉融合特征，基于交叉融合特征确定预设的通行方向的通行特征，基于通行特征确定交通信号灯指示的通行状态。该方式在通过多相机拍摄的多个车载图像对交通信号灯进行识别的过程中，提取图像中能够表示各个交通信号灯之间的时间维度和\或空间维度的相互作用关系的交叉融合特征，进一步确定交通信号灯对各个通行方向的通行状态的影响，从而确定了交通信号灯指示的通行状态，提高了交通信号灯的识别结果的准确性。识别结果的准确性。识别结果的准确性。
技术研发人员：李子贺 韩旭
受保护的技术使用者：广州文远知行科技有限公司
技术研发日：2022.05.19
技术公布日：2022/11/1
