1.本发明涉及环境监测领域,具体涉及一种跨车道黑烟车抓拍系统。
背景技术:2.在城郊的柴油货车常常存在大量排放黑烟的情况,造成了严重的环境污染问题。传统的烟雾检测算法主要基于烟雾具有视觉模糊特性、半透明特性和扩散运动特性,采用基于颜色特征和运动特征的视频烟雾探测方法,如光流法等,或辅助以烟雾的频域变化特性进行检测,但传统烟雾检测算法主要应用于山林火灾或烟囱等相对静止的场景,而排放黑烟的柴油车,通常行驶在城郊的道路上,高速移动的背景复杂多变,传统烟雾检测方法不适用。近年来,随着人工智能和深度学习的发展,通过计算机视觉获取视频信息并利用深度学习目标检测算法对图像中的烟雾进行识别显然更加高效。因此,我们期望提出一种端到端黑烟检测网络,实时高效且准确的对交通道口的黑烟车辆进行抓捕。
3.同时,现有算法在黑烟柴油车抓捕过程中,常常存在柴油车尾部排放的黑烟遮挡住背部的车辆信息,或者是车辆间相互遮挡等,导致无法确定抓捕车辆的车牌的问题。因此,我们期望构建一个跨车道车辆识别网络,利用跨摄像头的柴油车视频,根据重识别算法,得到不同视角车辆的共性特征,由此从其他未被遮挡的视角得到车牌信息。
技术实现要素:4.针对现有技术的不足,本发明提出了一种跨车道黑烟车抓拍方法、系统及存储介质。
5.本发明的目的可以通过以下技术方案实现:
6.一种跨车道黑烟车抓拍方法,包括以下步骤:
7.步骤1:提取多车道摄像头捕捉的数据集中的图片数据,获得黑烟检测数据集和车辆数据集;
8.步骤2:对黑烟检测数据集中的图片数据进行特征提取与融合,构建黑烟检测模型;
9.步骤3:构建resnet-50网络模型,对车辆数据集中的图片序列进行共性特征提取;定义基于集合的庞贝-豪斯多夫距离学习损失为三元组损失,通过三元组损失和id损失对resnet-50网络模型进行优化,并通过训练得到车辆识别模型;
10.步骤4:选取黑烟车数据集中测试集部分的待检测图片,输入黑烟检测模型,判断其中是否存在黑烟车;若存在,则将截取的黑烟柴油车区域作为查询集图片,与跨车道车辆数据集中的图库集图片一起输入车辆识别模型中;
11.若跨车道车辆图库集中包含查询集的车辆,则返回从图库集中截取的该车辆的图片,并由此未被黑烟遮挡视角的图片,获取排放黑烟的柴油车的车牌信息。
12.可选地,用过边界框框选车及其排放的黑烟区,提取黑烟区数据集,将所述黑烟区数据集训练集、验证集和测试集。
13.可选地,包含同一辆车的视频归属于同一车辆id下,截取关键帧图片,组成包含时空信息关联的图片序列,对每个轨迹的边界框进行标注,每个轨迹的边界框中仅包含一个车辆id,得到包含不同边界框的图像序列,构成所述的跨车道车辆数据集。
14.可选地,所述的黑烟检测模型包括:
15.主干网络;
16.结合金字塔池化和路径聚合网络的特征金字塔模块,以及
17.检测器,检测特征金字塔提取出的特征层进,得到预测框的位置,而后对每个预测框含有黑烟的概率使用非极大值抑制,得分最高的预测框为检测目标的位置。
18.可选地,所述步骤3中,将一个图像序列看作一个点集,用庞贝-豪斯多夫距离度量两个图像序列的相似性。
19.可选地,所述步骤3中,通过随机选择p类车辆id,每类随机选择k个图像,形成包含pk个图像的批;定义三元组损失函数为:;表示庞贝-豪斯多夫距离;
20.叠加id损失函数与中心损失函数,获得所述车辆识别模型的损失函数。
21.可选地,所述id损失函数:
[0022][0023]
可选地,所述中心损失函数:
[0024][0025]
一种车辆识别系统,包括:
[0026]
提取车辆图片数据的特征信息的主网络;
[0027]
bnneck层,配置有基于集合的庞贝-豪斯多夫距离学习损失为三元组损失函数;以及
[0028]
分类器全连接层。
[0029]
一种计算机可读的存储介质,存储有指令,所述指令执行时,能够实现上述任一所述的方法。
[0030]
本发明的有益效果:
[0031]
本发明的抓拍方法采用端到端的黑烟检测网络,保证了检测系统的实时性,用于实时捕获交通道口的监控视频中排放黑烟的柴油车;而基于庞贝-豪斯多夫距离的跨车道车辆识别网络,通过提取不同摄像头视角下同一辆车的共性特征进行车辆的识别,并使用庞贝-豪斯多夫距离度量学习,减轻由于车辆间相互遮挡带来的异常值和标签噪声的影响,判断出跨摄像头场景的相同车辆,并由其他未被黑烟遮挡的摄像头视角给出车辆的车牌信息,由此捕获违章排放黑烟的柴油车及其信息。
附图说明
[0032]
下面结合附图对本发明作进一步的说明。
[0033]
图1为本发明的示例中的黑烟检测模型的网络结构;
[0034]
图2为本发明的示例中的跨车道车辆识别模型的网络结构。
具体实施方式
[0035]
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
[0036]
在本发明的一些示例中,公开了一种跨车道黑烟抓拍方法,包括如下步骤s1至s4:
[0037]
s1:处理某一车流量较多的路段的交通道口监控视频,涉及到4个非重叠的摄像头部署在不同交通路口,获取所有摄像头从早上8点到10点在交通拥挤时拍摄的原始视频,对视频数据进行关键帧提取、边界框标注,制作黑烟检测数据集和跨车道车辆数据集。
[0038]
s2:基于跨阶段局部网络结构构建darknet53网络,对黑烟检测数据集中的图片数据进行特征提取;而后经过空间金字塔池化和路径聚合网络,对不同尺寸的特征进行融合;将融合的特征输入一阶段的目标检测器,对提取出的三个特征层进黑烟检测,得到预测框的位置信息,并根据预测框和真实框的中心点坐标以及宽高信息计算损失函数,以优化并得到最终的黑烟检测模型。黑烟检测模型的网络结构如图1所示。
[0039]
s3:基于深度残差网络构建resnet-50网络模型,对跨车道车辆数据集中的图片序列进行共性特征提取;针对车辆间的遮挡问题,引入庞贝-豪斯多夫距离度量学习,定义基于集合的庞贝-豪斯多夫距离学习损失为三元组损失:
[0040][0041]
其中,p表示车辆id类别数,k表示每类随机选择k个对象,表示第i类的锚框,表示第i类中的正样本,表示第i类中的负样本,表示松弛的庞贝-豪斯多夫距离。
[0042]
对批困难样本采用三元组损失,以此来减轻由于车辆间相互遮挡带来的异常值和标签噪声的影响;在特征层后,将提取的特征输入bnneck层结构,以权衡不同损失函数对特征向量的优化;从bnneck层输出的特征,输入分类器全连接层,进行分类,并计算id损失;通过三元组损失和id损失对网络进行优化,并得到训练好的跨车道车辆识别模型。跨车道车辆识别模型的网络结构如图2所示。
[0043]
s4:选取黑烟检测数据集中测试集部分的待检测图片,输入步骤2中训练好的黑烟检测模型,判断其中是否存在黑烟车;若存在,则将截取的黑烟柴油车区域作为查询集图片,与跨车道车辆数据集中的图库集图片一起输入跨车道车辆识别模型中,若跨车道车辆图库集中包含查询集的车辆,则返回从图库集中截取的该车辆的图片,并由此未被黑烟遮挡视角的图片,获取排放黑烟的柴油车的车牌信息,实现基于端到端黑烟检测网络和庞贝-豪斯道夫距离的跨车道黑烟抓拍系统。
[0044]
其中,上述步骤s1,具体包括如下细分步骤s11至s14:
[0045]
s11:利用部署在某路段的交通道口监控摄像头,获取该路段从早上8点到10点在交通拥挤时拍摄的原始视频,涉及到4个部署在不同交通路口的非重叠摄像头,要求摄像头之间的视角不同,且每辆车经过该路段至少被2个摄像头捕获。
[0046]
s12:筛选s11获取的视频中,从车辆背部视角拍摄且包含黑烟柴油车的视频,以每秒3帧的频率截取关键帧图片,图片中包含正在排放黑烟的柴油车。使用labelimg图像标签
标注工具,对图片中柴油车及其排放的黑烟区域进行标注,称为边界框,标注获取的xml文件为pascal voc数据集的格式,包含边界框的类别信息,边界框的左下角和右上角的坐标信息等。由此获得黑烟检测数据集,其中按照比例6:2:2划分为训练集、验证集和测试集。
[0047]
s13:将s11中获取的视频根据车辆车牌信息分类,包含同一辆车的视频属于同一id下。以每秒3帧的间隔截取关键帧图片,组成包含时空信息关联的图片序列。借助计算机视觉标注工具,对每个轨迹的边界框进行手工标注,每个轨迹的边界框中仅包含一个车辆id。由此得到包含不同边界框的不同车辆的图像序列,构成跨车道车辆识别数据集。其中按照1:1的比例划分训练集和测试集。测试集中,每辆车选取一张图片作为查询集,剩余图片构成图库集。
[0048]
其中,训练集用于进行跨车道车辆识别模型的训练,查询集和图库集用于模型的测试。在训练集上进行模型的训练,得到模型后对查询集与图库集中的图片提取特征计算相似度,对于每个查询集在图库集中找出前n个与其相似的图片。
[0049]
上述步骤s2,具体包括如下细分步骤s21至s23:
[0050]
s21:构建包含主干网络、特征金字塔、检测器的实时高效的黑烟车检测模型,如图1所示。
[0051]
其中,主干特征提取网络为具有跨阶段局部网络的darknet53结构,跨阶段局部网络将darknet53残差块的堆叠进行了拆分,拆分成左右两个部分,主干部分继续进行原来的残差块的堆叠;另一部分则像一个残差边一样,经过少量处理直接连接到最后。这样的结构大大提升了网络的计算速度,以满足实时检测的需求。
[0052]
黑烟检测模型的特征金字塔部分,选用空间金字塔池化和路径聚合网络相结合,用来融合特征提取网络输出的不同尺寸特征图的特征信息。空间金字塔结构在对特征提取网络的最后一个特征层进行三次卷积后,分别利用四个不同尺度的最大池化进行处理,最大池化的池化核大小分别为13x13、9x9、5x5、1x1,由此增加感受野,分离出最显著的上下文特征。路径聚合网络用于特征的反复提取。在空间特征金字塔实现特征的从下到上的提取后,再实现从上到下的特征提取,以达到反复提取特征的目的。
[0053]
检测器部分,采用了一种一阶段的目标检测器对特征金字塔提取出的三个特征层进检测,得到三个预测框的位置,而后对每个预测框含有黑烟的概率使用非极大值抑制获得得分最高的预测框为最终的检测目标的位置。
[0054]
网络的损失函数是bounding box regression损失、置信度损失和分类损失的平均值。loss=(l
diou
+l
prob
+l
conf
)/3
[0055]
其中,bounding box regression损失为:
[0056][0057]
其中,iou(a,b)为预测框a和真实框b之间交并比,c是a与b的最小包围框的对角线长度,ρ2(a
ctr
,b
ctr
)是预测框中心点坐标a
ctr
与真实框中心点坐标b
ctr
之间的欧氏距离的平方。
[0058]
置信度损失为:
[0059][0060]
其中,参数s表示,每张图片中的网格一共是s*s个,每个网格产生m个候选框。参数表示第i个网格的第j个候选框是否负责预测这个目标,如果负责,则值为1,否则为0。参数表示i个网格的第j个候选框不负责该目标,表示置信度真实值,表示置信度预测值,当第i个网格的第j个边界框负责预测某个对象时,相应的值为1,否则为0。
[0061]
分类损失为:
[0062][0063]
其中,pi(c)表示标记框所属类别c真实值,表示该预测框属于类别c的概率。
[0064]
s22:将主干特征提取网络——具有跨阶段局部网络的darknet53结构,在imagenet数据集上训练得到的一个预训练模型,以节省大量的时间。
[0065]
s23:把黑烟检测数据集的训练集图片进行尺寸归一化,在原图坐标系下映射为608*608大小的图片。采用马赛克数据增强的方式,将多张图片进行随机裁剪,而后拼接到一张图上作为训练数据,将图片及其边界框信息输入主干网络中进行训练,最终得到适用的黑烟检测模型。
[0066]
其中,主干网络提取出特征之后,由特征金字塔进行特征融合,得到三个特征层。对于每个特征层,提取出真实存在目标的点的位置及其对应种类,并对预测值输出进行处理,得到预测框。对于每一幅图,计算其中所有的真实框与预测框的iou。而后计算ciou_loss作为回归的损失。同时计算置信度和预测种类的损失。由此得到总的损失函数。优化该损失函数并得到最终的黑烟检测模型。
[0067]
上述步骤s3,具体包括如下细分步骤s31至s33:
[0068]
s31:构建基于庞贝-豪斯多夫距离的跨车道车辆识别网络。
[0069]
其中,跨车道车辆识别网络结构包含主干网络、bnneck层和分类器全连接层,如图2所示。
[0070]
主干网络部分,采用在imagenet上预训练的resnet-50模型,用于提取跨车道车辆信息匹配数据集中的特征。
[0071]
bnneck结构,是在特征层之后、分类层全连接层之前的一层神经网络。本发明使用了不同的损失函数,其中id损失主要优化余弦距离,而三重组损失用于优化欧式距离,增强类内紧凑性和类间可分性。在同时使用这两个损失对特征向量进行优化的时候,可能出现一种损失减少而另一种损失震荡或增加的情况。为了避免这种情况,在主干网络提取到特征之后,将特征输入bnneck结构。批归一化层之前的特征表示为f
t
,f
t
经过批归一化层归一化之后得到特征fi,分别用f
t
和fi计算三元组损失和id损失。
[0072]
从bnneck层输出的特征,输入分类器全连接层,进行分类,计算id损失。
[0073]
其中所提的庞贝-豪斯多夫距离。设s1和s2是欧氏度量空间(g,de)的两个非空子集。它们的庞贝-豪斯道夫距离dh(s1,s2)表示集s1中的任意点至多与集s2中某点的距离dh(s1,s2)。具体而言,dh(s1,s2)定义为从一个集合中的一个点到另一个集合中最近的点的所有距离中最大的一个。
[0074]
本发明的一些示例中,基于视频的跨车道车辆识别,将一个完整的图像序列看作一个点集,用庞贝-豪斯多夫距离度量两个图像序列的相似性。假设是分别由m个点和n个点组成的两个集合。两组点s1和s2之间的庞贝-豪斯多夫距离dh(s1,s2)可定义为:
[0075]dh
(s1,s2)=max{du(s1,s2),du(s2,s1)}
[0076][0077][0078]
其中,dh(s1,s2)也称为双向庞贝豪斯多夫距离。du(s1,s2)和du(s2,s1)是两组之间的两个单向庞贝-豪斯多夫距离,它是测量从一个集合中的点到另一个集合中最近邻点的距离的最大值。此外,双向庞贝-豪斯多夫距离是两个单向庞贝-豪斯道夫距离中较大的一个。
[0079]
针对由于遮挡而引起的两类噪声样本:孤立点和标签噪声,在现有的点到点度量学习方法中,将采用小批次内的所有图像用于优化度量空间,每个样本都是独立处理的,不考虑轨迹的结构,而存在遮挡的样本则会引入噪声样本,引起两种有害的度量对,例如,a车具有x1、x2两个标签,b车具有y1、y2两个标签,其中x2被b车遮挡而具有较多b车的视觉外观,但仍然被打上a车的标签,此时由于该异常值的影响,具有较大视觉差异的正对x1、x2的特征距离将被缩短,而x2、y2的特征距离将被变大,对网络的优化产生不利的影响;此外,数据集中的错误标签会变成标签噪声,同样会影响网络的优化。
[0080]
而采用庞贝-豪斯多夫距离度量,由于其只考虑两个集之间的距离,可以自动丢弃同一图像序列中的度量对,则可以排除同标签中异常值的影响。
[0081]
在计算单向庞贝-豪斯道夫距离时,由于最大运算量的存在,度量对标签噪声非常敏感。为了进一步规避这一困难,提出了一种松弛的庞贝-豪斯多夫距离度量学习方法,通过放松单向距离的最大约束:
[0082][0083]
其中,表示在集合表示在集合中选择第k个最大值,反之亦然。松弛的庞贝-豪斯多夫距离度量可以通过放松单向距离的最大约束,自动选择s1(s2)的k个最佳匹配点,可以减轻同标签中异常值的影响,同时它标识了使单向豪斯多夫距离最小化的整组大小k的子集,可以避免由于最大距离而导致的由标签噪声引起的度量对,避免异常值和标签噪声对网络的优化产生不利的影响。
[0084]
本发明的一些示例中,公开了庞贝-豪斯多夫距离损失函数,是基于batch hard(bh)三元组损失提出的,采用基于集合的样本选择策略来完成基于视频的跨车道车辆识别
任务。基于batch hard(bh)三元组损失,是通过随机选择p类车辆id,每类随机选择k个图像,形成包含pk个图像的batch,在batch中选择困难的正样本和负样本称为batch hard。为了以集对集的方式评估基于视频的距离,设计了基于庞贝-豪斯多夫松弛距离的三元组策略。对于一个特定的锚框sa,庞贝-豪斯多夫距离损失公式如下:
[0085][0086]
其中表示松弛的庞贝-豪斯多夫距离。
[0087]
定义模型的id损失:
[0088][0089]
定义模型的中心损失:
[0090][0091]
其中,yj是mini-batch中的第j个图像的标签,为深度特征的第yj个类中心,b是batch-size的数量,center loss可以增加类内紧凑型。
[0092]
最终跨车道车辆识别模型的损失函数如下:
[0093]
l=l
phd
+l
id
+βlc[0094]
s32:对跨车道车辆数据集中的图片序列都以像素为单位预放大并调整为相同的分辨率256
×
256,并通过对每幅图像序列进行随机水平翻转操作来同步增强。
[0095]
s33:随机抽取s32中p类车辆id,每类随机选择k个图像作为训练样本,形成包含p*k个图像的batch-size b,送入跨车道车辆识别模型进行训练,模型输出特征f,用于计算损失,通过优化损失函数,最终的到适用的跨车道车辆识别模型。
[0096]
举例而言,随机抽取可设置p=16,k=4。
[0097]
采用adam优化器对模型进行优化,初始学习率设置为3.5*10^-4,在第40个epoch和第70个epoch分别降低为原来的1/10,总共训练120个epoch。
[0098]
上述步骤s4,为基于庞贝-豪斯多夫距离匹配的端到端跨车道黑烟车抓拍系统的检测流程,具体包括如下细分步骤s41至s43:
[0099]
s41:选取黑烟检测数据集中测试集部分的待检测图片,输入步骤2中训练好的黑烟检测模型,判断其中是否存在黑烟车;
[0100]
对于训练好的黑烟检测模型,输入一张包含黑烟柴油车的图片,会检测出黑烟和该柴油车区域,并返回标注后的图片和边界框的位置信息。
[0101]
s42:若s41中图片存在黑烟,则将截取的黑烟柴油车区域作为查询集图片,与跨车道车辆数据集中的图库集图片一起输入跨车道车辆识别模型中,若跨车道车辆图库集中包含查询集的车辆,则返回从图库集中截取的该车辆未被黑烟遮挡视角的图片;
[0102]
其中,查询集和图库集用于跨车道车辆识别模型的测试。在训练集上进行模型的训练,得到训练好的模型后对该查询集与图库集中所有的图片提取特征计算相似度,对于每个查询集在图库集中找出前n个与其相似的图片,输出相似度最高的图片为同一辆车不同视角的图片。
[0103]
s43:由此未被黑烟遮挡视角的图片,获取排放黑烟的柴油车的车牌信息,实现基于端到端黑烟检测网络和庞贝-豪斯道夫距离的跨车道黑烟抓拍系统。
[0104]
本发明的一些示例中,还涉及一种计算机可读的存储介质,存储有指令。指令执行时,能够实现上述的任一示例中的抓拍方法。更具体地,指令可以是计算机可读的语言。上述的计算机可以是一个通用计算机设备或者是一个专用计算机设备。在具体实现中,计算机可以是台式机、便携式电脑、网络服务器、掌上电脑(personal digital assistant,pda)、移动手机、平板电脑、无线终端设备、通信设备或者嵌入式设备。所述的存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。举例而言,所述的存储介质例如为但不限于磁性介质(例如:软盘、硬盘、磁带)、光介质(例如:数字通用光盘(digital versatile disc,dvd))、或者半导体介质(例如:固态硬盘(solid state disk,ssd))等。
[0105]
在本说明书的描述中,参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0106]
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。
技术特征:1.一种跨车道黑烟车抓拍方法,其特征在于,包括以下步骤:步骤1:提取多车道摄像头捕捉的数据集中的图片数据,获得黑烟检测数据集和车辆数据集;步骤2:对黑烟检测数据集中的图片数据进行特征提取与融合,构建黑烟检测模型;步骤3:选择resnet-50作为骨干网络构建网络模型,对车辆数据集中的图片序列进行共性特征提取;定义基于集合的庞贝-豪斯多夫距离学习损失为三元组损失,通过三元组损失和id损失对resnet-50网络模型进行优化,并通过训练得到车辆识别模型;步骤4:选取黑烟车数据集中测试集部分的待检测图片,输入黑烟检测模型,判断其中是否存在黑烟车;若存在,则将截取的黑烟柴油车区域作为查询集图片,与跨车道车辆数据集中的图库集图片一起输入车辆识别模型中;若跨车道车辆图库集中包含查询集的车辆,则返回从图库集中截取的该车辆的图片,并由此未被黑烟遮挡视角的图片,获取排放黑烟的柴油车的车牌信息。2.根据权利要求1所述的跨车道黑烟车抓拍方法,其特征在于,所述步骤1中,用过边界框框选车及其排放的黑烟区,提取黑烟区数据集,将所述黑烟区数据集训练集、验证集和测试集。3.根据权利要求1所述的跨车道黑烟车抓拍方法,其特征在于,包含同一辆车的视频归属于同一车辆id下,截取关键帧图片,组成包含时空信息关联的图片序列,对每个轨迹的边界框进行标注,每个轨迹的边界框中包含一个车辆id,得到包含不同边界框的图像序列,构成所述的跨车道车辆数据集。4.根据权利要求1所述的跨车道黑烟车抓拍方法,其特征在于,所述的黑烟检测模型包括:主干网络;结合金字塔池化和路径聚合网络的特征金字塔模块,以及检测器,检测特征金字塔提取出的特征层进,得到预测框的位置,而后对每个预测框含有黑烟的概率使用非极大值抑制,得分最高的预测框为检测目标的位置。5.根据权利要求1所述的跨车道黑烟车抓拍方法,其特征在于,所述步骤3中,将一个图像序列看作一个点集,用庞贝-豪斯多夫距离度量两个图像序列的相似性。6.根据权利要求1所述的跨车道黑烟车抓拍方法,其特征在于,所述步骤3中,通过随机选择p类车辆id,每类随机选择k个图像,形成包含p*k个图像的批;定义三元组损失函数为:其中,τ表示裕量,脚标a、p和n分别表示锚框、正样本和负样本,表示庞贝-豪斯多夫距离集合中第k个最大值;所述三元组损失函数叠加id损失函数与中心损失函数,获得所述车辆识别模型的损失函数。7.根据权利要求6所述的跨车道黑烟车抓拍方法,其特征在于,所述id损失函数:其中,n、q
i
、p
i
、y分别表示:类别的数量、i类的标签平滑参数、i类的预测逻辑值和真实
的id标签。8.根据权利要求6所述的跨车道黑烟车抓拍方法,其特征在于,所述中心损失函数:其中,y
j
是mini-batch中的第j个图像的标签,表示批归一化层归一化之前的特征,为深度特征的第y
j
个类中心,b为一次训练所选取的样本数。9.一种车辆识别系统,包括:提取车辆图片数据的特征信息的主网络;bnneck层,配置有基于集合的庞贝-豪斯多夫距离学习损失为三元组损失函数;以及分类器全连接层。10.一种计算机可读的存储介质,存储有指令,其特征在于,所述指令执行时,能够实现权利要求1~8任一所述的方法。
技术总结本发明公开了一种跨车道黑烟车抓拍系统,属于环境监测领域。本发明基于视频的跨车道车辆识别中,将一个完整的图像序列看作一个点集,用庞贝-豪斯多夫距离度量两个图像序列的相似性。由于其只考虑两个集之间的距离,可以自动丢弃同一图像序列中的度量对,则可以排除同标签中异常值的影响;同时,松弛的庞贝-豪斯道夫距离度量通过放松单向距离的最大约束,自动选择两个点集的第k个最佳匹配点,可以减轻同标签中异常值的影响,同时可以避免由于最大距离而导致的由标签噪声引起的度量对,避免异常值和标签噪声对网络的优化产生不利的影响。常值和标签噪声对网络的优化产生不利的影响。常值和标签噪声对网络的优化产生不利的影响。
技术研发人员:康宇 陈佳艺 刘文清 曹洋 张玉钧
受保护的技术使用者:中国科学院合肥物质科学研究院
技术研发日:2022.07.22
技术公布日:2022/11/1