1.本技术涉及数字图像处理领域和智能视频监控技术领域，尤其是涉及一种骑行非机动车的识别系统及方法。
背景技术：2.随着时代的发展，目前道路交通情况越来越复杂。针对非机动车这类目标小移动灵活的目标，会涉及到很多安全问题。尤其是灯杆场景，其场景画面更为复杂，目标在图像中呈现的像素很小。现有的目标检测算法识别识别效果欠佳。
3.现有技术的缺点主要体现在两个方面：
4.1)针对灯杆应用场景，非机动车小，目标识别效果不理想。
5.2)由于灯杆场景较复杂，导致骑行非机动车识别率低。如当有人站在停放的自行车旁时会被误识别为骑行非机动车。
6.前面的叙述在于提供一般的背景信息，并不一定构成现有技术。
技术实现要素：7.本技术旨在于针对灯杆场景下，非机动车与人的识别率较低的问题，提出一种骑行非机动车的识别系统及方法，用以降低道路交通监控的错误识别率。
8.本技术提供了一种骑行非机动车的识别系统，所述系统包括：
9.目标识别模块，基于神经网络目标检测识别模型检测接收的图像和/或视频中预设目标的目标信息；
10.目标关联关系分析模块，用于对所述目标信息进行分析确定所述预设目标之间的关联关系。
11.根据本技术的一个实施方式，所述目标识别模块包括：
12.接收单元，接收待检测的图像和/或视频；
13.帧图像获取单元，用于从所述图像和/或视频中获取预设目标的帧图像；
14.目标识别单元，用于通过神经网络目标检测识别模型对所述帧图像进行识别处理，获取所述预设目标的目标信息；
15.整理单元，用于对所述目标信息进行整理。
16.根据本技术的一个实施方式，所述目标信息包括：
17.目标区域坐标信息、目标类型、目标类型阈值。
18.根据本技术的一个实施方式，所述整理单元包括：
19.过滤组件，用于对所述目标类型阈值低于预设阈值的目标信息进行过滤；
20.分类组件，对过滤后的所述目标信息按照目标类别进行分类标记；
21.排序组件，基于所述目标类型阈值对分类后的所述目标信息进行排序处理。
22.根据本技术的一个实施方式，所述目标关联关系分析模块，包括：
23.信息获取单元，用于从所述目标信息中获取行人目标检测信息和/或非机动车目
标检测信息；
24.判断单元，基于所述行人目标检测信息和/或所述非机动车目标检测信息，判断人体与非机动车的关联关系；
25.输出单元，用于对所述判断单元的判断结果进行输出。
26.根据本技术的一个实施方式，所述判断单元判断所述行人与非机动车的关联关系时，包括：
27.当所述行人目标检测信息中的行人个数为零，则不进行目标关联关系的分析；和/或，
28.当所述非机动车目标检测信息中的非机动车个数为零，则不进行目标关联关系的分析；和/或，
29.当所述行人目标检测信息中的行人个数和所述非机动车目标检测信息中的非机动车个数都大于零时，则判断所述行人目标检测信息中行人坐标与所述非机动车目标检测信息中非机动车坐标的重叠度；
30.当所述重叠度大于和/或等于预设值时，则判断所述行人目标与所述非机动车目标存在关联关系；或，
31.当所述重叠度小于预设值时，则判断所述行人目标与所述非机动车目标不存在关联关系。
32.根据本技术的一个实施方式，所述系统还包括：
33.监控模块，用于通过相机和/或摄像头获取包括有预设目标的图像和/或视频。
34.本技术还提供了一种骑行非机动车的识别方法，所述识别方法包括：
35.基于神经网络目标检测识别模型检测接收的图像和/或视频中预设目标的目标信息；
36.对所述目标信息进行分析，确定所述预设目标之间的关联关系。
37.根据本技术的一个实施方式，所述通过神经网络目标检测识别模型检测图像和/或视频中预设目标的目标信息的步骤，包括：
38.接收待检测的图像和/或视频；
39.基于所述图像和/或视频获取预设目标的帧图像；
40.基于神经网络目标检测识别模型对所述帧图像进行识别处理，获取所述预设目标的目标信息，其中，所述目标信息包括：目标区域坐标信息、目标类型、目标类型阈值；
41.对所述目标信息进行整理。
42.根据本技术的一个实施方式，所述对所述目标信息进行整理的步骤包括：
43.对所述目标类型阈值低于预设阈值的目标信息进行过滤；
44.对过滤后的所述目标信息按照目标类别进行分类标记；
45.基于所述目标类型阈值对分类后的所述目标信息进行排序处理。
46.根据本技术的一个实施方式，对所述目标信息进行分析确定所述预设目标之间的关联关系的步骤，包括：
47.基于所述目标信息获取行人目标检测信息和/或非机动车目标检测信息；
48.基于所述行人目标检测信息和/或所述非机动车目标检测信息，判断行人与非机动车的关联关系；
49.对所述判断结果进行输出。
50.根据本技术的一个实施方式，基于所述行人目标检测信息和/或所述非机动车目标检测信息，判断行人与非机动车的关联关系的步骤，包括：
51.当所述行人目标检测信息中的行人个数为零，则不进行目标关联关系的分析；和/或，
52.当所述非机动车目标检测信息中的非机动车个数为零，则不进行目标关联关系的分析；和/或，
53.当所述行人目标检测信息中的行人个数和所述非机动车目标检测信息中的非机动车个数都大于零时，则判断所述行人目标检测信息中行人坐标与所述非机动车目标检测信息中非机动车坐标的重叠度；
54.当所述重叠度大于和/或等于预设值时，则判断所述行人目标与所述非机动车目标存在关联关系；或，
55.当所述重叠度小于预设值时，则判断所述行人目标与所述非机动车目标不存在关联关系。
56.根据本技术的一个实施方式，所述检测接收的图像和/或视频中预设目标的目标信息的步骤之前，还包括：
57.通过相机和/或摄像头获取所述图像和/或视频信息。
58.本技术还提供了一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的骑行非机动车的识别方法的步骤。
59.本技术的有益效果：
60.使用本技术提供的骑行非机动车的识别系统和方法，可以通过深度学习训练的神经网络目标检测识别模块实现对非机动车骑行进行识别检查，一方面，针对灯杆场景下的复杂情况，可以降低误检率；另一方面，通过大数据处理可以提高识别效率的，以及增强识别骑行非机动车的实时性。
附图说明
61.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
62.图1为本技术实施例提供的骑行非机动车的识别系统的模块示意图；
63.图2为本身请实施例提供的目标识别模块的结构示意图；
64.图3为本技术实施例提供的目标关联关系分析模块的结构示意图；
65.图4为本技术实施例提供的基于区域坐标信息计算重叠度的示意图
66.图5为本技术实施例提供的基于中心坐标信息计算重叠度的示意图；
67.图6为本技术实施例提供的骑行非机动车的识别方法流程示意图；
68.图7为本技术实施例提供的检测图像和/或视频中预设目标的目标信息的流程示意图；
69.图8为本技术实施例提供的基于目标信息进行分析确定预设目标之间的关联关系的流程示意图。
具体实施方式
70.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
71.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素，此外，本技术不同实施例中具有同样命名的部件、特征、要素可能具有相同含义，也可能具有不同含义，其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。
72.应当理解，尽管在本文可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本文范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。本技术使用的术语“或”、“和/或”、“包括以下至少一个”等可被解释为包括性的，或意味着任一个或任何组合。例如，“包括以下至少一个：a、b、c”意味着“以下任一个：a；b；c；a和b；a和c；b和c；a和b和c”，再如，“a、b或c”或者“a、b和/或c”意味着“以下任一个：a；b；c；a和b；a和c；b和c；a和b和c”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
73.应该理解的是，虽然本技术实施例中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
74.取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
75.需要说明的是，在本文中，采用了诸如s1、s2等步骤代号，其目的是为了更清楚简要地表述相应内容，不构成顺序上的实质性限制，本领域技术人员在具体实施时，可能会先
执行s4后执行s3等，但这些均应在本技术的保护范围之内。
76.应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
77.在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或者“单元”的后缀仅为了有利于本技术的说明，其本身没有特定的意义。因此，“模块”、“部件”或者“单元”可以混合地使用。
78.参考图1为本技术实施例提供的骑行非机动车的识别系统的模块示意图。本技术的骑行非机动车的识别系统，所述系统包括：
79.监控模块，用于通过相机和/或摄像头获取包括有预设目标的图像和/或视频。
80.在本技术的实施例中，在对道路交通情况进行监控时，通常是通过设置在道路上的监控相机或者监控摄像头，对道路的交通情况进行拍摄，并将拍摄到的图像或者视频信息通过有线网络的方式传送到交通指挥中心进行处理。一种较优的实施方式中，还可以通过如4g、5g等通讯技术实时或者周期性的将拍摄到的图像或视频发送至交通指挥中心。本技术实施例中，还可以在监控相机或者监控摄像头端设置近场通讯模块，如wifi、蓝牙等，用以方便交警可以快速的调取拍摄到的图像或视频信息进行取证。另一种较优的实施方式中，还可以通过存储介质，例如u盘、移动硬盘、光盘等将监控相机或者监控摄像头的拍摄到的监控图像或者监控视频，转移至交通指挥中心。
81.目标识别模块，基于神经网络目标检测识别模型检测接收的图像和/或视频中预设目标的目标信息。
82.在本技术的实施例中，当设置在交通指挥中心的目标识别模块接收到由监控相机或者监控摄像头传回的图像或视频时，将接收到的图像或视频通过设置在目标识别模块中的神经网络目标检测识别模型进行检测处理，从中获取预先设定的目标信息。一种较优的实时场景下，在对道路交通进行监控时，由于人体与非机动车的目标均比较小，因此本技术实施例，主要从监控的图像或视频中，识别出以人体和非机动车作为目标的相关信息，例如，行人的高度、非机动车的高度及长度等。本技术实施例中，在使用神经网络目标检测识别模型对图像或者视频进行检测之前，首先需要通过大量的学习数据对神经网络目标检测识别模型进行深度的训练，经过深度训练学习之后的神经网络目标检测识别模型可以精准的从图像或视频中识别出预设的如人体目标的相关信息，车辆目标的相关信息。
83.目标关联关系分析模块，用于对所述目标信息进行分析确定所述预设目标之间的关联关系。
84.在本技术的实施例中，在通过目标识别模块对待检测的图像或视频进行识别处理完成之后，将识别到的预设目标的相关信息发送至目标关联关系分析模块中进行分析处理。一种较佳的实施方式中，目标关联关系分析模块，根据人体的相关信息，如人体的高度信息，人体的宽度信息，非机动车的高度信息以及长度信息等，判断人体与非机动车之间是否存在关联关系，例如，行人是否骑在非机动车上，行人是否推行非机动车，行人是否与非机动车分离等。
85.参考图2所示为本技术实施例提供的目标识别模块的结构示意图，本技术目标识别模块包括：
86.接收单元，接收待检测的图像和/或视频；
87.帧图像获取单元，用于从所述图像和/或视频中获取预设目标的帧图像；
88.目标识别单元，用于通过神经网络目标检测识别模型对所述帧图像进行识别处理，获取所述预设目标的目标信息；
89.整理单元，用于对所述目标信息进行整理。
90.在本技术的实施例中，当监控模块的监控摄像头拍摄到的视频信息被传送至交通指挥中心之后，则通过设置在目标识别模块的接收单元接收该视频信息，并将该视频信息发送给获取单元。帧图像获取单元根据预先设置的目标的基本信息，从视频信息中提取包含有该目标的帧图像，例如，设置行人目标的基本信息，例如站立姿态的人体外型，坐态的人体外型，行走的人体外型等信息，则获取单元从视频中提取包含有行人信息的帧图像；在例如，设置非机动车目标的基本信息，例如，非机动车的外型等，则帧图像获取单元从视频中提取包含有非机动车信息的帧图像。在一种实施例的场景下，当接收单元接收的信息为图像信息时，直接跳过帧图像获取单元，直接将接收到的图像信息发送至目标识别单元进行处理，获取预设目标的具体目标信息。
91.在本技术的实施例中，在通过帧图像获取单元获取到包含有预设目标的帧图像之后，将该帧图像信息发送给目标识别单元进行处理，从中获取对应预设目标的具体目标信息，如，目标区域坐标信息、目标类型、目标类型阈值等。一种较优的实施方式中，以帧图像左上角为坐标原点，获取帧图像中目标类型为行人的目标区域坐标信息，例如，行人1的区域坐标信息为(x001，y001)(x002，y002)、行人2的区域坐标信息为(x011，y011)(x012，y012)
……
；行人1的目标类型阈值为0.1、行人2的目标类型阈值为0.2、行人3的目标类型阈值为0.3、行人4的目标类型阈值为0.4
……
；以及获取帧图像中目标类型为非机动车的目标区域坐标信息，例如非机动车1在帧图像中占据的区域坐标信息为(x101，y101)(x102，y102)、非机动车2在帧图像中占据的区域坐标信息为(x111，y111)(x112，y112)，以及非机动车1的目标类型阈值为0.1、非机动车2的目标类型阈值为0.3
……
。另一种较优的实施方式中，以帧图像左上角为坐标原点，目标区域坐标信息还可以是指每个预设目标的中心位置在该帧图像中的中心坐标信息，例如，行人1的中心坐标信息为(x01，y01)、行人2的中心坐标信息为(x02，y02)；对应的非机动车1的中心坐标信息为(x11，y11)、非机动车2的中心坐标信息为(x12，y12)，以此类推。以上关于区域坐标的举例仅作为解释说明，不作为最终保护范围，基于本构思下的其他的用于标注目标区域坐标的方式，均在本技术的保护范围之类，此处不在赘述。
92.在通过目标识别单元获取到每个预设目标的目标信息之后，进一步的通过整理单元，对获取到的该目标信息进行过滤、筛除、排序等处理。在本技术实施例中，首先通过整理单元的过滤组件，对目标类型阈值低于预设阈值的目标信息进行过滤筛除，例如，筛除掉目标类型为行人，目标类型阈值低于0.3的目标信息，保留目标类型阈值大于或等于0.3的行人的目标信息；在例如筛除掉目标类型为非机动车、目标类型阈值低于0.2的目标信息，保留目标类型阈值大于或等于0.2的非机动车的目标信息。在通过过滤组件对目标信息进行过滤筛除之后，在通过分类组件对每个目标信息进行标注。例如，类型为行人、类型为动物、类型为非机动车、类型为机动车等对保存的目标信息进行分类标注，由于本技术技术方案主要用于识别行人与非机动车的关联关系，因此在按照类别进行分类时，主要针对行人和非机动车进行分类，除此之外的目标信息，可以直接过滤掉。对目标信息分类之后，针对不同目标类型的目标，按照目标类型阈值对行人目标信息进行排序以及添加序号，一种实施
例的方式中，针对行人目标，按照目标类型阈值从高到低进行排序，并添加相应的序号；针对非机动车目标，按照目标类型阈值从高到低进行排序，并添加相应的序号。在本技术实施例中，按照如上所述的方式对帧图像中的目标信息进行获取及处理之后，将最终的目标信息进行输出。
93.参考图3所示的本技术实施例提供的目标关联关系分析模块的结构示意图。本技术的目标关联关系分析模块，包括：
94.信息获取单元，用于从所述目标信息中获取行人目标检测信息和/或非机动车目标检测信息；
95.在本技术实施例中，目标关联关系分析模块在接收到经过处理的目标信息之后，通过目标关联关系分析模块的信息获取单元，从该目标信息中获取目标检测信息，一种实施例场景下，本技术技术方案主要识别行人与非机动车的关联关系，因此信息获取单元在获取目标检测信息时，可以进一步的只获取行人目标检测信息和非机动车目标检测信息，对于其他的目标检测信息，可以直接过滤掉或者丢弃掉，以节省本技术骑行非机动车的识别系统的存储空间。
96.判断单元，基于所述行人目标检测信息和/或所述非机动车目标检测信息，判断行人与非机动车的关联关系；
97.在本技术实施例中，判断单元根据信息获取单元获取到目标检测信息之后，如行人目标检测信息、非机动车目标检测信息等，一方面，可以通过判断该目标检测信息中人体目标检测信息的数量，即，通过人体的个数判断是否存在行人与非机动车的关联关系，例如：当检测到行人目标检测信息中人体的个数为零，则判断为不存在行人与非机动车的关联关系，一般情况下在认为非机动车停靠在交通道路上。另一方面，还可以通过判断目标检测信息中非机动车目标检测信息的数量，即，通过判断非机动车的个数判断是否存在非机动车与行人的关联关系，例如：当检测到非机动车目标检测信息中非机动车的个数为零，则判断为不存在非机动车与行人的关联关系。在本技术实施例中，目标检测信息中，行人的数量与非机动车的数量均大于零时，在进一步的通过计算行人目标检测信息中行人目标和非机动车目标的重叠度(iou)，当重叠度(iou)大于和/或等于预设值时，则判断所述行人目标与非机动车目标存在关联关系；而当重叠度(iou)小于预设值时，则判断所述行人目标与非机动车目标不存在关联关系。
98.在一个较优的实施例中，在计算行人目标检测信息中行人目标和非机动车目标的重叠度(iou)时，可以通过判断行人的区域坐标信息与非机动车的区域坐标信息的重叠区域与行人的区域坐标信息与非机动车的区域坐标信息在帧图像中所占据的区域总和的比值。参照图4所示的基于区域坐标信息计算重叠度(iou)的示意图，在本实施例的场景下，通过行人的区域坐标信息(x001，y001)(x002，y002)可以计算出行人目标框1，通过非机动车的区域坐标信息(x101，y101)(x102，y102)可以计算出非机动车目标框2，通过行人的区域坐标信息(x001，y001)(x002，y002)和非机动车的区域坐标信息(x101，y101)(x102，y102)可以计算出重叠区域11，以及行人和非机动车占据的全部区域22，通过计算重叠区域11与全部区域22的比值，得到重叠度(iou)，例如，当重叠度(iou)大于30％时，则判断为行人和非机动车存在关联关系，反之在判断为不存在关联关系。
99.在本技术另一个较优的实施例中，计算行人目标监测信息中行人目标与非机动车
目标的重叠度(iou)时，还可以通过判断行人的中心坐标信息与非机动车的中心坐标信息之间的关系，参照图5所示的基于中心坐标信息计算重叠度(iou)的示意图，在本实施例的场景下，通过行人目标1的中心坐标信息a(x01，y01)和非机动车目标2的中心坐标信息b(x11，y11)，可以计算出行人目标1和非机动车2的中心坐标在x轴的距离bc和y轴的距离ac，通过计算bc与行人目标1的举行框和非机动车目标2的矩形框的最小外接矩形(defg)宽度(de)的比例、ac与行人目标1的举行框和非机动车目标2的矩形框的最小外接矩形(defg)高度(dg)的比例、以及ab与bc之间的夹角∠abc，即，两个中心坐标的连线与水平面的夹角。一种实施例的情况下：当bc/de的比值小于第一预设值，例如：第一预设值为0.2；ac/dg的比值小于第二预设值，例如：第二预设值为0.4；以及∠abc在预设角度范围内，例如，该预设角度范围为30
°
到90
°
，则判断为行人与非机动车存在骑行的关联关系。一种实施例的情况下，当bc/de的比值小于第一预设值，例如：第一预设值为0.2；ac/dg的比值大于第二预设值，例如：第二预设值为0.4；以及∠abc在预设角度范围内，例如，该预设角度范围为30
°
到90
°
，则判断为行人与非机动车存在推行的关联关系。另一种实施例的情况下，当bc/de的比值大于第一预设值，例如：第一预设值为0.2；以及∠abc在预设角度范围内，例如，该预设角度范围为0
°
到30
°
，则判断为行人与非机动车不存在关联关系。
100.参照表1所示，在本技术的一个实施例中，当帧图像中，存在两个非机动车目标(非机动车目标1、非机动车目标2)和3个行人目标(行人目标1、行人目标2、行人目标3)时，则优先按照上述的通过判断行人的区域坐标信息与非机动车的区域坐标信息的重叠区域与行人的区域坐标信息与非机动车的区域坐标信息在帧图像中所占据的区域总和的比值的方式，筛选出行人目标与非机动车目标是否存在关联关系，当没有与非机动车目标关联的行人目标时，则判断为非机动车为停发状态的非机动车；当发现存在与非机动车目标关联的行人目标是，则按照上述的通过判断行人的中心坐标信息与非机动车的中心坐标信息之间的关系，判断行人与非机动车之间的关系，如骑行关系、推行关系、以及无关系等。
[0101][0102]
表1
[0103]
输出单元，用于对所述判断单元的判断结果进行输出。
[0104]
在本技术实施例中，在目标关联关系分析模块的判断单元，判断出行人与非机动车的关联关系之后，按照实际的需求进行输出最终的关联关系，例如，通过显示屏输出图像及关联关系结论；将关联关系输出至交警所持的终端进行显示等，以上仅作为示例性说明，不能作为最终的保护范围限定。
[0105]
参考图6所示为本技术实施例提供的骑行非机动车的识别方法流程示意图。本技术的骑行非机动车的识别方法包括：
[0106]
s1、通过相机和/或摄像头获取所述图像和/或视频信息；
[0107]
在本技术的实施例中，在对道路交通情况进行监控时，通常是通过设置在道路上
的监控相机或者监控摄像头，对道路的交通情况进行拍摄，并将拍摄到的图像或者视频信息通过有线网络的方式传送到交通指挥中心的骑行非机动车的识别系统进行处理。一种较优的实施方式中，还可以通过如4g、5g等通讯技术实时或者周期性的将拍摄到的图像或视频发送至交通指挥中心的骑行非机动车的识别系统。本技术实施例中，还可以在监控相机或者监控摄像头端设置近场通讯模块，如wifi、蓝牙等，用以方便交警可以快速的调取拍摄到的图像或视频信息进行取证。另一种较优的实施方式中，还可以通过存储介质，例如u盘、移动硬盘、光盘等将监控相机或者监控摄像头的拍摄到的监控图像或者监控视频，转移至交通指挥中心的骑行非机动车的识别系统。
[0108]
s2、基于神经网络目标检测识别模型检测接收的图像和/或视频中预设目标的目标信息；
[0109]
在本技术的实施例中，当设置在交通指挥中心的骑行非机动车的识别系统接收到由监控相机或者监控摄像头传回的图像或视频时，将接收到的图像或视频通过神经网络目标检测识别模型进行检测处理，从中获取预先设定的目标信息。一种较优的实时场景下，在对道路交通进行监控时，由于人体与非机动车的目标均比较小，因此本技术实施例，主要从监控的图像或视频中，识别出以人体和非机动车作为目标的相关信息，例如，行人的高度、非机动车的高度及长度等。本技术实施例中，在使用神经网络目标检测识别模型对图像或者视频进行检测之前，首先需要通过大量的学习数据对神经网络目标检测识别模型进行深度的训练，经过深度训练学习之后的神经网络目标检测识别模型可以精准的从图像或视频中识别出预设的如人体目标的相关信息，车辆目标的相关信息。
[0110]
s3、对所述目标信息进行分析，确定所述预设目标之间的关联关系。
[0111]
在本技术的实施例中，在骑行非机动车的识别系统通过神经网络目标检测识别模型对待检测的图像或视频进行识别处理完成之后，将识别到的预设目标的相关信息发送至目标关联关系分析模块中进行分析处理。一种较佳的实施方式中，目标关联关系分析模块根据人体的相关信息，如人体的高度信息，人体的宽度信息，非机动车的高度信息以及长度信息等，判断人体与非机动车之间是否存在关联关系，例如，行人是否骑在非机动车上，行人是否推行非机动车，行人是否与非机动车分离等。
[0112]
参考图7所示本技术实施例提供的检测图像和/或视频中预设目标的目标信息的流程示意图。本技术的检测图像和/或视频中预设目标的目标信息的步骤，包括：
[0113]
s21、接收待检测的图像和/或视频；
[0114]
s22、基于所述图像和/或视频获取预设目标的帧图像；
[0115]
s23、神经网络目标检测识别模型对所述帧图像进行识别处理，获取所述预设目标的目标信息；
[0116]
s24、对所述目标信息进行整理。
[0117]
在本技术的实施例中，当交通指挥中心的骑行非机动车的识别系统接收到通过监控摄像头拍摄到的视频信息之后，则根据预先设置的目标的基本信息，从视频信息中提取包含有该目标的帧图像，例如，设置行人目标的基本信息，例如站立姿态的人体外型，坐态的人体外型，行走的人体外型等信息，则从视频中提取包含有行人信息的帧图像；再例如，设置非机动车目标的基本信息，例如，非机动车的外型等，则从视频中提取包含有非机动车信息的帧图像。在一种实施例的场景下，当骑行非机动车的识别系统接收的信息为图像信
息时，直接跳过视频信息中提取包含有该目标的帧图像的步骤，直接对接收到的图像信息进行处理，获取预设目标的具体目标信息。
[0118]
在本技术的实施例中，在通过对帧图像信息进行处理，从中获取对应预设目标的具体目标信息，如，目标区域坐标信息、目标类型、目标类型阈值等。一种较优的实施方式中，以帧图像左上角为坐标原点，获取帧图像中目标类型为行人的目标区域坐标信息，例如，行人1的区域坐标信息为(x001，y001)(x002，y002)、行人2的区域坐标信息为(x011，y011)(x012，y012)
……
；行人1的目标类型阈值为0.1、行人2的目标类型阈值为0.2、行人3的目标类型阈值为0.3、行人4的目标类型阈值为0.4
……
；以及获取帧图像中目标类型为非机动车的目标区域坐标信息，例如非机动车1在帧图像中占据的区域坐标信息为(x101，y101)(x102，y102)、非机动车2在帧图像中占据的区域坐标信息为(x111，y111)(x112，y112)，以及非机动车1的目标类型阈值为0.1、非机动车2的目标类型阈值为0.3
……
。另一种较优的实施方式中，以帧图像左上角为坐标原点，目标区域坐标信息还可以是指每个预设目标的中心位置在该帧图像中的中心坐标信息，例如，行人1的中心坐标信息为(x01，y01)、行人2的中心坐标信息为(x02，y02)；对应的非机动车1的中心坐标信息为(x11，y11)、非机动车2的中心坐标信息为(x12，y12)，以此类推。以上关于区域坐标的举例仅作为解释说明，不作为最终保护范围，基于本构思下的其他的用于标注目标区域坐标的方式，均在本技术的保护范围之类，此处不在赘述。
[0119]
在获取到每个预设目标的目标信息之后，进一步的对获取到的该目标信息进行过滤、筛除、排序等处理。在本技术实施例中，首先对目标类型阈值低于预设阈值的目标信息进行过滤筛除，例如，筛除掉目标类型为行人，目标类型阈值低于0.3的目标信息，保留目标类型阈值大于或等于0.3的行人的目标信息；在例如筛除掉目标类型为非机动车、目标类型阈值低于0.2的目标信息，保留目标类型阈值大于或等于0.2的非机动车的目标信息。在对每个目标信息进行分类标注。例如，类型为行人、类型为动物、类型为非机动车、类型为机动车等对保存的目标信息进行分类标注，由于本技术技术方案主要用于识别行人与非机动车的关联关系，因此在按照类别进行分类时，主要针对行人和非机动车进行分类，除此之外的目标信息，可以直接过滤掉。对目标信息分类之后，针对不同目标类型的目标，按照目标类型阈值对行人目标信息进行排序以及添加序号，一种实施例的方式中，针对行人目标，按照目标类型阈值从高到低进行排序，并添加相应的序号；针对非机动车目标，按照目标类型阈值从高到低进行排序，并添加相应的序号。在本技术实施例中，按照如上所述的方式对帧图像中的目标信息进行获取及处理之后，将最终的目标信息进行输出。
[0120]
参考图8所示的本技术实施例提供的基于目标信息进行分析确定预设目标之间的关联关系的流程示意图，本技术基于目标信息进行分析确定预设目标之间的关联关系的步骤，包括：
[0121]
s31、基于所述目标信息获取人体目标检测信息和/或非机动车目标检测信息；
[0122]
在本技术实施例中，骑行非机动车的识别系统从最终输出的目标信息中获取目标检测信息，一种实施例场景下，本技术技术方案主要识别行人与非机动车的关联关系，因此在获取目标检测信息时，可以进一步的只获取行人目标检测信息和非机动车目标检测信息，对于其他的目标检测信息，可以直接过滤掉或者丢弃掉，以节省本技术骑行非机动车的识别系统的存储空间。
[0123]
s32、基于所述人体目标检测信息和/或所述非机动车目标检测信息，判断人体与非机动车的关联关系；
[0124]
在本技术实施例中，在获取到目标检测信息之后，如行人目标检测信息、非机动车目标检测信息等，一方面，可以通过判断该目标检测信息中人体目标检测信息的数量，即，通过人体的个数判断是否存在行人与非机动车的关联关系，例如：当检测到行人目标检测信息中人体的个数为零，则判断为不存在行人与非机动车的关联关系，一般情况下在认为非机动车停靠在交通道路上。另一方面，还可以通过判断目标检测信息中非机动车目标检测信息的数量，即，通过判断非机动车的个数判断是否存在非机动车与行人的关联关系，例如：当检测到非机动车目标检测信息中非机动车的个数为零，则判断为不存在非机动车与行人的关联关系。在本技术实施例中，目标检测信息中，行人的数量与非机动车的数量均大于零时，在进一步的通过计算行人目标检测信息中行人目标和非机动车目标的重叠度(iou)，当重叠度(iou)大于和/或等于预设值时，则判断所述行人目标与非机动车目标存在关联关系；而当重叠度(iou)小于预设值时，则判断所述行人目标与非机动车目标不存在关联关系。
[0125]
在一个较优的实施例中，在计算行人目标检测信息中行人目标和非机动车目标的重叠度(iou)时，可以通过判断行人的区域坐标信息与非机动车的区域坐标信息的重叠区域与行人的区域坐标信息与非机动车的区域坐标信息在帧图像中所占据的区域总和的比值。继续参照图4，在本实施例的场景下，通过行人的区域坐标信息(x001，y001)(x002，y002)可以计算出行人目标框1，通过非机动车的区域坐标信息(x101，y101)(x102，y102)可以计算出非机动车目标框2，通过行人的区域坐标信息(x001，y001)(x002，y002)和非机动车的区域坐标信息(x101，y101)(x102，y102)可以计算出重叠区域11，以及行人和非机动车占据的全部区域22，通过计算重叠区域11与全部区域22的比值，得到重叠度(iou)，例如，当重叠度(iou)大于30％时，则判断为行人和非机动车存在关联关系，反之在判断为不存在关联关系。
[0126]
在本技术另一个较优的实施例中，计算行人目标监测信息中行人目标与非机动车目标的重叠度(iou)时，还可以通过判断行人的中心坐标信息与非机动车的中心坐标信息之间的关系，继续参照图5，在本实施例的场景下，通过行人目标1的中心坐标信息a(x01，y01)和非机动车目标2的中心坐标信息b(x11，y11)，可以计算出行人目标1和非机动车2的中心坐标在x轴的距离bc和y轴的距离ac，通过计算bc与行人目标1的举行框和非机动车目标2的矩形框的最小外接矩形(defg)宽度(de)的比例、ac与行人目标1的举行框和非机动车目标2的矩形框的最小外接矩形(defg)高度(dg)的比例、以及ab与bc之间的夹角∠abc，即，两个中心坐标的连线与水平面的夹角。一种实施例的情况下：当bc/de的比值小于第一预设值，例如：第一预设值为0.2；ac/dg的比值小于第二预设值，例如：第二预设值为0.4；以及∠abc在预设角度范围内，例如，该预设角度范围为30
°
到90
°
，则判断为行人与非机动车存在骑行的关联关系。一种实施例的情况下，当bc/de的比值小于第一预设值，例如：第一预设值为0.2；ac/dg的比值大于第二预设值，例如：第二预设值为0.4；以及∠abc在预设角度范围内，例如，该预设角度范围为30
°
到90
°
，则判断为行人与非机动车存在推行的关联关系。另一种实施例的情况下，当bc/de的比值大于第一预设值，例如：第一预设值为0.2；以及∠abc在预设角度范围内，例如，该预设角度范围为0
°
到30
°
，则判断为行人与非机动车不存在关
联关系。
[0127]
继续参照表1所示，在本技术的一个实施例中，当帧图像中，存在两个非机动车目标(非机动车目标1、非机动车目标2)和3个行人目标(行人目标1、行人目标2、行人目标3)时，则优先按照上述的通过判断行人的区域坐标信息与非机动车的区域坐标信息的重叠区域与行人的区域坐标信息与非机动车的区域坐标信息在帧图像中所占据的区域总和的比值的方式，筛选出行人目标与非机动车目标是否存在关联关系，当没有与非机动车目标关联的行人目标时，则判断为非机动车为停发状态的非机动车；当发现存在与非机动车目标关联的行人目标是，则按照上述的通过判断行人的中心坐标信息与非机动车的中心坐标信息之间的关系，判断行人与非机动车之间的关系，如骑行关系、推行关系、以及无关系等。
[0128]
s33、对所述判断结果进行输出。
[0129]
在本技术实施例中，在判断出行人与非机动车的关联关系之后，按照实际的需求进行输出最终的关联关系，例如，通过显示屏输出图像及关联关系结论；将关联关系输出至交警所持的终端进行显示等，以上仅作为示例性说明，不能作为最终的保护范围限定。
[0130]
本技术还提供一种计算机可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例中的骑行非机动车的识别方法的步骤。
[0131]
在本技术提供的移动终端和计算机可读存储介质的实施例中，可以包含任一上述数据处理方法实施例的全部技术特征，说明书拓展和解释内容与上述方法的各实施例基本相同，在此不做再赘述。
[0132]
本技术实施例还提供一种计算机程序产品，计算机程序产品包括计算机程序代码，当计算机程序代码在计算机上运行时，使得计算机执行如上各种可能的实施方式中的方法。
[0133]
本技术实施例还提供一种芯片，包括存储器和处理器，存储器用于存储计算机程序，处理器用于从存储器中调用并运行计算机程序，使得安装有芯片的设备执行如上各种可能的实施方式中的方法
[0134]
可以理解，上述场景仅是作为示例，并不构成对于本技术实施例提供的技术方案的应用场景的限定，本技术的技术方案还可应用于其他场景。例如，本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。
[0135]
本领域普通技术人员可以理解实现上述实施例任务分配方法的流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0136]
上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
[0137]
在本技术中，对于相同或相似的术语概念、技术方案和/或应用场景描述，一般只在第一次出现时进行详细描述，后面再重复出现时，为了简洁，一般未再重复阐述，在理解本技术技术方案等内容时，对于在后未详细描述的相同或相似的术语概念、技术方案和/或应用场景描述等，可以参考其之前的相关详细描述。
技术特征：1.一种骑行非机动车的识别系统，其特征在于，所述系统包括：目标识别模块，基于神经网络目标检测识别模型检测接收的图像和/或视频中预设目标的目标信息；目标关联关系分析模块，用于对所述目标信息进行分析确定所述预设目标之间的关联关系。2.根据权利要求1所述的骑行非机动车的识别系统，其特征在于，所述目标识别模块包括：接收单元，接收待检测的图像和/或视频；帧图像获取单元，用于从所述图像和/或视频中获取预设目标的帧图像；目标识别单元，用于基于神经网络目标检测识别模型对所述帧图像进行识别处理，获取所述预设目标的目标信息，其中，所述目标信息包括：目标区域坐标信息、目标类型、目标类型阈值；整理单元，用于对所述目标信息进行整理。3.根据权利要求2所述的骑行非机动车的识别系统，其特征在于，所述整理单元包括：过滤组件，用于对所述目标类型阈值低于预设阈值的目标信息进行过滤；分类组件，对过滤后的所述目标信息按照目标类别进行分类标记；排序组件，基于所述目标类型阈值对分类后的所述目标信息进行排序处理。4.根据权利要求1所述的骑行非机动车的识别系统，其特征在于，所述目标关联关系分析模块，包括：信息获取单元，用于从所述目标信息中获取行人目标检测信息和/或非机动车目标检测信息；判断单元，基于所述行人目标检测信息和/或所述非机动车目标检测信息，判断行人与非机动车的关联关系；输出单元，用于对所述判断单元的判断结果进行输出。5.根据权利要求4所述的骑行非机动车的识别系统，其特征在于，所述判断单元判断所述人体与非机动车的关联关系时，包括：当所述行人目标检测信息中的行人个数为零，则不进行目标关联关系的分析；和/或，当所述非机动车目标检测信息中的非机动车个数为零，则不进行目标关联关系的分析；和/或，当所述行人目标检测信息中的行人个数和所述非机动车目标检测信息中的非机动车个数都大于零时，则判断所述行人目标检测信息中行人坐标与所述非机动车目标检测信息中非机动车坐标的重叠度；当所述重叠度大于和/或等于预设值时，则判断所述行人目标与所述非机动车目标存在关联关系；或，当所述重叠度小于预设值时，则判断所述行人目标与所述非机动车目标不存在关联关系。6.一种骑行非机动车的识别方法，其特征在于，所述识别方法包括：基于神经网络目标检测识别模型检测接收的图像和/或视频中预设目标的目标信息；对所述目标信息进行分析确定所述预设目标之间的关联关系。
7.根据权利要求6所述的骑行非机动车的识别方法，其特征在于，所述基于神经网络目标检测识别模型检测图像和/或视频中预设目标的目标信息的步骤，包括：接收待检测的图像和/或视频；基于所述图像和/或视频获取预设目标的帧图像；基于神经网络目标检测识别模型对所述帧图像进行识别处理，获取所述预设目标的目标信息，其中，所述目标信息包括：目标区域坐标信息、目标类型、目标类型阈值；对所述目标信息进行整理。8.根据权利要求7所述的骑行非机动车的识别方法，其特征在于，所述对所述目标信息进行整理的步骤包括：对所述目标类型阈值低于预设阈值的目标信息进行过滤；对过滤后的所述目标信息按照目标类别进行分类标记；基于所述目标类型阈值对分类后的所述目标信息进行排序处理。9.根据权利要求7所述的骑行非机动车的识别方法，其特征在于，对所述目标信息进行分析确定所述预设目标之间的关联关系的步骤，包括：基于所述目标信息获取行人目标检测信息和/或非机动车目标检测信息；基于所述行人目标检测信息和/或所述非机动车目标检测信息，判断行人与非机动车的关联关系；对所述判断结果进行输出。10.根据权利要求9所述的骑行非机动车的识别方法，其特征在于，基于所述行人目标检测信息和/或所述非机动车目标检测信息，判断行人与非机动车的关联关系的步骤，包括：当所述行人目标检测信息中的行人个数为零，则不进行目标关联关系的分析；和/或，当所述非机动车目标检测信息中的非机动车个数为零，则不进行目标关联关系的分析；和/或，当所述行人目标检测信息中的行人个数和所述非机动车目标检测信息中的非机动车个数都大于零时，则判断所述行人目标检测信息中行人坐标与所述非机动车目标检测信息中非机动车坐标的重叠度；当所述重叠度大于和/或等于预设值时，则判断所述行人目标与所述非机动车目标存在关联关系；或，当所述重叠度小于预设值时，则判断所述行人目标与所述非机动车目标不存在关联关系。
技术总结本申请公开了一种骑行非机动车的识别系统，所述系统包括：目标识别模块，基于神经网络目标检测识别模型检测接收的图像和/或视频中预设目标的目标信息；目标关联关系分析模块，用于对所述目标信息进行分析确定所述预设目标之间的关联关系。本申请还公开了骑行非机动车的识别方法。使用本申请的技术方案，可以通过深度学习训练的神经网络目标检测识别模块实现对非机动车骑行进行识别检查，一方面，针对灯杆场景下的复杂情况，可以降低误检率；另一方面，通过大数据处理可以提高识别效率的，以及增强识别骑行非机动车的实时性。以及增强识别骑行非机动车的实时性。以及增强识别骑行非机动车的实时性。
技术研发人员：李立赛 傅东生
受保护的技术使用者：深圳奇迹智慧网络有限公司
技术研发日：2022.06.23
技术公布日：2022/11/1
