本发明属于目标跟踪,具体涉及一种面向无人机视角的交通跟踪检测系统。
背景技术:
1、随着全球城市化的快速发展,城市交通系统的使用效率和安全性成为支撑城市可持续发展的关键因素之一,直接影响居民的生活品质。由于传统固定摄像头的监控范围受限于其安装位置和视角,要实现广泛覆盖需部署大量摄像头,这在使用成本和后期维护上构成挑战。无人机以其高度灵活性和可移动性的特性,在应对紧急情况、临时事件或交通拥堵时可迅速调整飞行路线,到达任何地点,短时间内覆盖广阔区域,提供多角度和高度的视角。因此,研发高效的无人机视角交通跟踪检测系统是有必要的。
2、近年来,基于深度学习的目标检测方法,如ssd、yolov5和yolov8,由于其出色的检测性能和处理速度,在实际应用中获得了广泛的应用。尤其是yolov8的应用,在检测精度和速度上实现了良好平衡,明显优于其他方法。然而,尽管yolov8在多数场景下表现出色,但它在处理小尺寸目标、复杂背景以及遮挡情况下的性能依然存在不足,这导致了无人机进行多目标跟踪中存在的变形、遮挡、视点高度和角度多变等问题,从而对跟踪精度造成影响。
技术实现思路
1、本发明为了解决以往无人机对于目标的追迹中由于存在小尺寸目标、复杂背景以及遮挡情况而导致的追踪精度低的问题,提供了一种面向无人机视角的交通跟踪检测系统。
2、所述系统包括目标检测模块、目标运动轨迹匹配模块和目标运动轨迹输出模块;
3、所述目标检测模块:对视频帧图片进行处理, 使用yolo—lf模型从视频帧图片中得出检测框和检测框的置信度得分,然后过滤掉不符合要求的检测框;
4、所述yolo—lf模型是在yolov8s模型基础上进行改进后得到的,所述改进为:
5、将yolov8s模型主干部分最后三层网络的通道数改为512;
6、在yolov8s模型颈部部分增加上采样部分和下采样部分后,继续在yolov8s模型颈部部分增加lskattention模块和自主设计的快速多交叉结构fpw;
7、在yolov8s模型头部部分将检测头数量由3个增加到4个,并在每一个检测头的初始输入部分增加自主设计的modconv模块;
8、所述目标运动轨迹匹配模块:根据置信度得分对检测框进行划分,划分后将检测框与预测轨迹进行匹配;
9、目标运动轨迹匹配模块使用nbytetrack模型实现检测框的划分与匹配,所述nbytetrack模型是在bytetrack模型基础上进行改进后得到的,所述改进为:
10、将bytetrack模型中使用的卡尔曼滤波改为自适应卡尔曼滤波;
11、将bytetrack模型中进行的iou值计算改为giou值计算;
12、将视频稳定技术引入bytetrack模型中;
13、所述目标运动轨迹输出模块:当目标运动轨迹匹配模块中将同一帧检测框连续3次与预测轨迹匹配成功后,将所述预测轨迹作为确认态轨迹输出。
14、本发明所述系统的有益效果为:
15、本发所述系统在基于yolov8+bytetrack多目标跟踪方法基础上,进行方案的重新设计。首先,通过增加小目标检测头并在头部加入自主设计的modconv模块以保持原始通道信息;其次,采用lskattention在下采样阶段自适应调整目标感受野,并结合soft-nms策略以避免过度删除预测框,从而提高小目标在遮挡场景下的检测精度。最后,利用自主设计的自主设计的快速多交叉结构fpw,以减少冗余计算和内存访问。在目标跟踪方面,用giou取代了iou,并通过自适应卡尔曼滤波器,将状态空间的宽高比调整为基于宽度的预测。此外,引入的相机补偿机制进一步提升了跟踪的准确性和稳定性。
1.一种面向无人机视角的交通跟踪检测系统,其特征在于,所述系统包括目标检测模块、目标运动轨迹匹配模块和目标运动轨迹输出模块;
2.根据权利要求1所述的面向无人机视角的交通跟踪检测系统,其特征在于,所述过滤掉不符合要求的检测框具体为:计算检测框与预测框的匹配程度,用lou值表示,使用soft-nms算法调整lou值,得到调整后的lou值,对调整后的lou值设定阈值,将不符合阈值的调整后的lou值对应的检测框过滤掉。
3.根据权利要求2所述的面向无人机视角的交通跟踪检测系统,其特征在于,以网络的输入到输出为基准方向,yolov8s模型主干部分最后三层网络依次为conv层、c2f层和sppf层。
4.根据权利要求3所述的面向无人机视角的交通跟踪检测系统,其特征在于,所述自主设计的快速多交叉结构fpw包括3个分支,第一分支依次包括第一conv层、pwconv层、第二conv层和第三conv层;第二分支将第一conv层输出的结果与第一分支输出的结果进行加权融合后输入第三分支,第三分支对原始输入与第二分支的输入进行concat操作后输出最终结果。
5.根据权利要求4所述的面向无人机视角的交通跟踪检测系统,其特征在于,yolov8s模型颈部部分增加上采样部分和下采样部分,所述上采样部分增加在颈部部分自下向上路线的起始位置,所述下采样部分增加在颈部部分自上向下路线的结尾位置;
6.根据权利要求5所述的面向无人机视角的交通跟踪检测系统,其特征在于,继续在yolov8s模型颈部部分增加lskattention模块和自主设计的快速多交叉结构fpw具体为:在颈部部分自上向下路线中的每一个c2f层后增加lskattention模块,在颈部部分自上向下路线中的最后一层concat层后增加自主设计的快速多交叉结构fpw,在自主设计的快速多交叉结构fpw后再增加lskattention模块。
7.根据权利要求6所述的面向无人机视角的交通跟踪检测系统,其特征在于,在yolov8s模型头部部分将检测头数量由3个增加到4个时,增加的检测头为专门针对小目标的检测头,其大小为160*160*64*w,其中,w表示检测头所在网络的宽度。
8.根据权利要求7所述的面向无人机视角的交通跟踪检测系统,其特征在于,所述自主设计的modconv模块包括两个分支,第一个分支利用深度可分离卷积对输入特征图的每个通道进行处理,第二个分支使用残差连接维持特征图的原始信息,将第一个分支和第二个分支的输出叠加后,进行逐点卷积后输出。
9.根据权利要求8所述的面向无人机视角的交通跟踪检测系统,其特征在于,所述视频稳定技术具体为:利用opencv的全局运动补偿模块,通过光流法跟踪特征点并使用ransac算法求解背景运动的仿射变换矩阵,应用所述仿射变换矩阵更新自适应卡尔曼滤波的状态向量,以减少摄像机移动造成的跟踪误差。
