本公开涉及计算机视觉技术，尤其是一种交通信号灯的识别及预设网络模型的训练方法、装置。
背景技术：
1、在自动驾驶领域的新阶段，城市自动驾驶已成为焦点。其中，红绿灯检测作为一大挑战，在城市化进程加速的背景下愈发凸显其重要性。现有的红绿灯识别方法主要有两种，一种基于视觉图像识别，一种基于车用无线通信技术(v2x)。v2x，即通过红绿灯自己实时发送信号状态，再由车辆低延迟接收信号；该方法要对红绿灯进行改造，不仅对基础设备信号能力要求过高，而且对网络传输要求也不低。基于视觉图像识别，即通过对2d图像进行检测分类识别获取交通灯的各项状态信息；这种方法的缺陷是让简单的红绿灯识别功能变得十分臃肿，且扩展性降低。
技术实现思路
1、为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种交通信号灯的识别及预设网络模型的训练方法、装置。
2、根据本公开实施例的一个方面，提供了一种交通信号灯的识别方法，包括：
3、将第一图像输入预设网络模型；
4、基于所述预设网络模型的第一子网络对所述第一图像进行特征提取，得到第一图像特征；
5、将所述第一图像特征与第二图像特征进行融合，得到第三图像特征；第二图像特征为所述第一图像的上一帧图像通过所述第一子网络进行特征提取和融合得到的图像特征；
6、通过所述预设网络模型中的第二子网络对所述第三图像特征进行处理，得到交通信号灯识别结果。
7、根据本公开实施例的另一方面，提供了一种预设网络模型的训练方法，包括：
8、将第一样本图像和第二样本图像分别输入预设网络模型，通过所述预设网络模型的多个识别分支分别输出多个第一识别数据和多个第二识别数据；其中，所述第一样本图像和所述第二样本图像为基于交通信号灯连续采集的相邻帧图像；所述多个第一识别数据对应所述第一样本图像，所述多个第二识别数据对应所述第二样本图像；
9、基于所述多个第一识别数据和所述多个第二识别数据，确定网络损失；
10、基于所述网络损失对所述预设网络模型进行训练。
11、根据本公开实施例的又一方面，提供了一种交通信号灯的识别装置，包括：
12、图像预处理模块，用于将第一图像输入预设网络模型；
13、特征提取模块，用于基于所述预设网络模型的第一子网络对所述第一图像进行特征提取，得到第一图像特征；
14、特征融合模块，用于将所述第一图像特征与第二图像特征进行融合，得到第三图像特征；第二图像特征为所述第一图像的上一帧图像通过所述第一子网络进行特征提取得到的图像特征；
15、信号灯识别模块，用于通过所述预设网络模型中的第二子网络对所述第三图像特征进行处理，得到交通信号灯识别结果。
16、根据本公开实施例的还一方面，提供了一种预设网络模型的训练装置，包括：
17、模型处理模块，用于将第一样本图像和第二样本图像分别输入预设网络模型，通过所述预设网络模型的多个识别分支分别输出多个第一识别数据和多个第二识别数据；其中，所述第一样本图像和所述第二样本图像为连续采集的相邻帧图像；所述多个第一识别数据对应所述第一样本图像，所述多个第二识别数据对应所述第二样本图像；
18、损失确定模块，用于基于所述多个第一识别数据和所述多个第二识别数据，确定网络损失；
19、网络训练模块，用于基于所述网络损失对所述预设网络模型进行训练。
20、根据本公开实施例的再一方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一实施例所述的交通信号灯的识别方法或上述任一实施例所述的预设网络模型的训练方法。
21、根据本公开实施例的还一方面实施例，提供了一种电子设备，所述电子设备包括：
22、处理器；
23、用于存储所述处理器可执行指令的存储器；
24、所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述任一实施例所述的交通信号灯的识别方法或上述任一实施例所述的预设网络模型的训练方法。
25、基于本公开上述实施例提供的一种交通信号灯的识别及预设网络模型的训练方法、装置，将第一图像输入预设网络模型；基于所述预设网络模型的第一子网络对所述第一图像进行特征提取，得到第一图像特征；将所述第一图像特征与第二图像特征进行融合，得到第三图像特征；第二图像特征为所述第一图像的上一帧图像通过所述第一子网络进行特征提取得到的图像特征；通过所述预设网络模型中的第二子网络对所述第三图像特征进行处理，得到交通信号灯识别结果。本实施例中应用了预设网络模型对图像进行预测，以确定交通信号灯识别结果，提升了识别效率；并且，本实施例通过在结果识别之前将当前帧图像特征与上一帧图像特征进行融合，通过特征融合解决了当前帧图像中由于被遮挡等原因导致的信息不全面的问题，提升了交通信号灯识别的稳定性和准确性。
26、下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
1.一种交通信号灯的识别方法，包括：
2.根据权利要求1所述的方法，还包括：
3.根据权利要求1所述的方法，还包括：
4.根据权利要求3所述的方法，其中，所述基于多个所述第二检测框，确定多个所述第一图像，包括：
5.根据权利要求1-4任一所述的方法，在将所述第一图像特征与第二图像特征进行融合，得到第三图像特征之前，还包括：
6.根据权利要求5所述的方法，所述对相同交通信号灯对应的多个所述第一图像建立关联关系，包括：
7.根据权利要求1-4任一所述的方法，其中，所述第二子网络包括多个识别分支；所述识别结果包括以下至少两项：信号灯颜色、信号灯类型、计时数值和信号灯位置信息；
8.一种预设网络模型的训练方法，包括：
9.据权利要求8所述的方法，其中，所述基于所述多个第一识别数据、所述多个第二识别数据和多个第一参考值，确定网络损失，包括：
10.据权利要求9所述的方法，其中，通过同一所述识别分支输出的所述第一识别数据和所述第二识别数据具有对应关系；
11.根据权利要求10所述的方法，其中，所述基于每个所述第一识别数据与对应的所述第二识别数据，以及对应的所述第一参考值，确定第一子损失，包括：
12.根据权利要求10或11所述的方法，其中，所述基于每个所述第一识别数据与对应的所述第二识别数据，以及对应的所述第一参考值，确定第二子损失，包括：
13.一种交通信号灯的识别装置，包括：
14.一种预设网络模型的训练装置，包括：
15.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-7任一所述的交通信号灯的识别方法或8-12任一所述的预设网络模型的训练方法。
16.一种电子设备，所述电子设备包括：
