1.本发明属于计算机视觉的技术领域，涉及一种目标跟踪方法，特别是涉及一种基于目标检测与二阶段匹配的目标跟踪方法、介质及设备。
背景技术：2.目前，多目标跟踪是计算机视觉领域中的重要研究热点，在无人机航拍、卫星影像分析等应用场合中有重要实践意义。当前采用的主要追踪模型如deepsort、fairmot 等，这类方法大多借助重识别特征评分、采用匈牙利算法完成轨迹与新一帧目标匹配。计算重识别特征会显著提升耗时，匈牙利算法的时间复杂度会随着相似度矩阵的维数增高而显著提升，使得算法难以在前端硬件设备上完成实时高效推理。
3.因此，本发明提供一种基于目标检测与二阶段匹配的目标跟踪方法、介质及设备，以解决现有技术的上述不足与缺陷。
技术实现要素：4.鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于目标检测与二阶段匹配的目标跟踪方法、介质及设备，通过一种以iou为主导的综合相似度评分指标，取代重识别与单纯iou相似度评分，实现有效匹配与实时性兼顾；采用jv(jonker-volgenant algorithm) 算法替代匈牙利算法，针对大型稀疏矩阵有显著优势，极大压缩匹配环节的执行之间，提高追踪算法运行速度，增强实时性。
5.为实现上述目的及其他相关目的，本发明一方面提供一种基于目标检测与二阶段匹配的目标跟踪方法，所述基于目标检测与二阶段匹配的目标跟踪方法包括：获取包含跟踪对象的图像数据，形成数据集；根据所述数据集训练得到目标检测模型；所述目标检测模型具有最优模型权重；由所述目标检测模型输出的边界框参数确定追踪模型，对所述追踪模型进行二阶段匹配框架优化、相似度评分标准优化和匹配算法优化；结合所述目标检测模型和优化后的追踪模型，生成多目标追踪模型；对所述多目标追踪模型进行评估与部署优化。
6.于本发明的一实施例中，所述获取包含跟踪对象的图像数据，形成数据集的步骤，包括：获取包含跟踪对象类别且体现跟踪对象显著特征的、背景简单、遮挡适量的图片或视频数据，以及部分符合应用现场实际环境特点的图片或视频数据，按照预设比例进行训练集与测试集的划分。
7.于本发明的一实施例中，所述根据所述数据集训练得到目标检测模型的步骤，包括：在模型选取时，采用输入与使用环境尺寸接近的图片的单张推理时间在硬件设备上达到实时运行要求的目标检测模型；训练时，始于公开数据集上预训练的模型权重，在所述数据集上进行训练、测试与验证，得到所述最优模型权重。
8.于本发明的一实施例中，所述由所述目标检测模型输出的边界框参数确定追踪模型，对所述追踪模型进行二阶段匹配框架优化、相似度评分标准优化和匹配算法优化的步
骤，包括：利用所述边界框参数，将边界框根据置信度水平分为三个等级，对三个等级边界框内的目标进行初次匹配与二次匹配；将所述边界框参数转换为边界坐标信息。根据所述边界坐标信息进行重合度评分和面积相似项评分的计算；根据所述重合度评分和所述面积相似项评分进行综合评分；将前一帧轨迹集与当前帧检测的目标集中的全体边界框对两两计算综合评分，得到相似度矩阵；根据所述相似度矩阵计算损失矩阵，通过损失矩阵的最优匹配分析得到所述前一帧轨迹集中轨迹与当前帧检测目标集中目标之间相似度评分总体最大化的匹配方式。
9.于本发明的一实施例中，所述对三个等级边界框内的目标进行初次匹配与二次匹配的步骤，包括：初次匹配时，最高置信度等级边界框的目标优先与前一帧轨迹集进行匹配；初次匹配余下的目标中，为置信度达到采纳阈值的创建轨迹；二次匹配时，初次匹配余下目标中创建的轨迹与中等置信度等级边界框的目标进行二次匹配；二次匹配余下的目标连同最低置信度等级边界框的目标一同舍弃；二次匹配余下的轨迹标记为跟丢，与其他轨迹集共同参与下一帧初次匹配；标记为跟丢的轨迹若初次匹配未成功则不参与二次匹配；对达到时间阈值未能匹配到目标的跟丢轨迹进行舍弃。
10.于本发明的一实施例中，所述结合所述目标检测模型和优化后的追踪模型，生成多目标追踪模型的步骤，包括：计帧器归零；分配在跟轨迹id信息与位置信息的存储空间、分配跟丢轨迹id信息与位置信息的存储空间、分配存储追踪过程记录信息的存储空间、分配模型运行必要的内存。
11.于本发明的一实施例中，所述对所述多目标追踪模型进行评估与部署优化的步骤，包括：对不同的多目标追踪模型在公开多目标追踪数据集上进行测试，对检测性能及跟踪性能指标进行评估，得到最优的多目标追踪模型；将不同的多目标追踪模型部署到可以运行多目标追踪模型的硬件设备上，对应用环境测试视频流进行推理，完成所述多目标追踪模型的优化。
12.于本发明的一实施例中，所述多目标追踪模型的优化包括：优化检测器的推理速度，根据模型特性曲线在保持输出有效性的基础上降低输入视频画幅尺寸，提高推理速度；超参数调试，包括：检测器置信度阈值，其中，置信度阈值包括：纳新阈值、初次匹配阈值及二次匹配阈值；优化综合评分各项系数，各项系数包括：iou项系数、面积相似性项系数；相似度矩阵单项最低相似度阈值。
13.为实现上述目的及其他相关目的，本发明另一方面提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的基于目标检测与二阶段匹配的目标跟踪方法。
14.为实现上述目的及其他相关目的，本发明最后一方面提供一种电子设备，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行所述的基于目标检测与二阶段匹配的目标跟踪方法。
15.如上所述，本发明所述的基于目标检测与二阶段匹配的目标跟踪方法、介质及设备，具有以下有益效果：
16.本发明提供了一种基于目标检测与二阶段匹配框架的实时多目标检测方法，在有效追踪视频中多个感兴趣目标的同时兼顾实时性。此方法有益效果具体包括：
17.1)通过二阶段匹配框架避免了复杂环境下检测置信度低带来的匹配遗漏。二阶段
匹配的意义在于针对性解决复杂条件下的遮挡、重合等因素带来的检测置信度降低问题，相比于常规一阶段匹配，采取分阶段的等级化匹配，不仅利用了检测器输出的低置信度结果，克服了追踪对象在画面中因无法完整和干扰因素分割而造成的置信度降低，同时通过等级化的匹配充分杜绝因检测器误判而产生的假阳性目标进入追踪目标集合；通过追踪算法的结构性优化以微量的资源占用提高率实现显著指标提高。本发明框架与常规框架比较结果如表1所示，将纳新阈值、初次匹配阈值、二次匹配阈值分别为0.8、0.7、0.1的二阶段匹配框架，以及三项阈值分别为0.8、0.7、0.7的保守一阶段匹配模型，以及三项阈值分别为0.8、0.1、0.1低门限的一阶段匹配模型相比，本发明所提出的二阶段匹配框架在假阳性目标数量、假阴性目标数量、追踪时间上达到了两类一阶段匹配模型的均衡；但假阳性数量上趋近于二者其优，id 误交换次数优于二者，仅有212次，因此综合评价指标mota位于三者最优，达到60.1％，说明此框架能够更好的利用并处理前级目标检测器的输出，找到通过分阶段阈值设定实现纳入追踪的口径调节，并有效抑制了id误交换；此框架的idf1位于三者最优，达到65.2％。
18.表1二阶段匹配框架与常规匹配框架性能比较
[0019][0020][0021]
2)利用以iou的综合相似度评分，在继承了iou评分高速计算优点的同时弥补了其在信息内容上的匮乏性，兼顾速度与准确度。实时检测中，iou的大小反应出检测边界框的重合程度，进而为前后帧边界框关联提供良好参考标准。复杂条件下，当多个物体的边界框相互靠近，iou将难以区分。技术背景中，常用重识别(reid)辅助作为评价标准。本发明提出的综合相似度评分指标是以iou为主导，面积相似性为辅助的综合评分标准。目标对象在视频图像中的边界框面积依赖于物体本质特征，综合评分有助于鉴别相邻物体。将该评分标准用于匹配，和技术背景中常用的iou标准、reid标准在mot17数据集上的比较结果如表 2所示。采用iou综合评分使多目标追踪准确度指标mota从69.0％提高到69.2％，并显著高于以重识别为评分标准的61.4％，说明该评分改善了包括id误交换次数、假阳性次数、假阴性次数在内的综合指标，其中id交换次数显著下降，说明该指标有效改善了复杂条件下的追
踪稳定性。综合相似度评分用于本发明追踪框架时，每帧平均追踪耗时从单纯iou的12.3ms 上升到16.0ms，以略微的代价有效实现上述指标提升；其耗时并在数量级上显著低于以reid 为基础的评分，并略微随着画面中目标数量变化，证明其实时性与稳定性兼顾。上述实验表明采用综合相似度评分在指标和性能上完全优于技术背景，可完全不借助重识别网络，对于模型总体大小的要求降低。
[0022]
表2以iou、iou综合评分(0.9iou+0.1sa)、reid为匹配评分的检测器在mot17上的性能比较
[0023][0024]
3)以jv算法完成匹配，以比匈牙利算法更低的时间复杂度完成最优匹配，兼顾速度与最优性。对各元素为0-1均匀分布的随机浮点数方阵分别运用jv算法与匈牙利算法求解，方阵维数为5-30，每个维数下各50个随机矩阵，得到比较结果如表3所示。两种算法呈现出极小的总损失差异(含浮点数误差)，而jv算法的执行时间显著优于匈牙利算法，并稳定保持在0.1ms以内。考虑到画面中的目标数量通常在这一数量级，jv算法在求解速度上具有显著优势。
[0025]
表3匈牙利算法与jv算法在50个随机浮点数方阵上的求解时间比较表
[0026]
附图说明
[0027]
图1显示为本发明的基于目标检测与二阶段匹配的目标跟踪方法于一实施例中的原理流程图。
[0028]
图2显示为本发明的基于目标检测与二阶段匹配的目标跟踪方法于一实施例中的追踪作业流程图。
[0029]
图3显示为本发明的基于目标检测与二阶段匹配的目标跟踪方法于一实施例中的面积损失项函数图。
[0030]
图4显示为本发明的基于目标检测与二阶段匹配的目标跟踪方法于一实施例中的二次匹配算法流程图。
[0031]
图5显示为本发明的基于目标检测与二阶段匹配的目标跟踪方法于一实施例中的整体流程图。
[0032]
图6显示为本发明的电子设备于一实施例中的结构连接示意图。
[0033]
元件标号说明
[0034]6ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
电子设备
[0035]
61
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
处理器
[0036]
62
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
存储器
[0037]
s11～s15
ꢀꢀꢀꢀꢀꢀꢀꢀ
步骤
具体实施方式
[0038]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0039]
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0040]
本发明所述的基于目标检测与二阶段匹配的目标跟踪方法、介质及设备提供了一种基于目标检测与二阶段匹配的实时多目标跟踪方法，利用二阶段匹配，避免了由遮挡等因素造成置信读降低的边界框被舍弃而导致目标跟丢。
[0041]
以下将结合图1至图6详细阐述本实施例的一种基于目标检测与二阶段匹配的目标跟踪方法、介质及设备的原理及实施方式，使本领域技术人员不需要创造性劳动即可理解本实施例的基于目标检测与二阶段匹配的目标跟踪方法、介质及设备。
[0042]
请参阅图1，显示为本发明的基于目标检测与二阶段匹配的目标跟踪方法于一实施例中的原理流程图。如图1所示，所述基于目标检测与二阶段匹配的目标跟踪方法具体包括以下几个步骤：
[0043]
s11，获取包含跟踪对象的图像数据，形成数据集。
[0044]
于一实施例中，s11具体包括以下步骤：
[0045]
获取包含跟踪对象类别且体现跟踪对象显著特征的、背景简单、遮挡适量的图片或视频数据，以及部分符合应用现场实际环境特点的图片或视频数据，按照预设比例进行训练集与测试集的划分。
[0046]
具体地，采集包含路口行人的图像数据，并能体现其等显著特征的背景简单、遮挡适量的图像或视频数据，具体包括mot17数据集、mot20数据集、crowdhuman数据集，以及一部分符合应用现场实际环境特点的图像或视频数据，将视频按照适当帧数间隔截取为图像，将标注方式从追踪数据集转为监测数据集，并按照适当比例进行训练集与测试集的划分。
[0047]
s12，根据所述数据集训练得到目标检测模型；所述目标检测模型具有最优模型权重。
[0048]
于一实施例中，s12具体包括以下步骤：
[0049]
(1)在模型选取时，采用输入与使用环境尺寸接近的图片的单张推理时间在硬件设备上达到实时运行要求的目标检测模型。
[0050]
(2)训练时，始于公开数据集上预训练的模型权重，在所述数据集上进行训练、测试与验证，得到所述最优模型权重。
[0051]
具体地，根据使用环境的现场条件，即摄像头高度、像素数、目标在画面中的像素数等信息，选取合适的输入图像尺寸；根据硬件设备性能，选取推理时间适合的检测器模型；本实施例中采用yolox-nano；训练时，始于公开数据集coco上预训练的模型权重，在步骤 01所得数据集上进行训练、测试与验证，得到最优模型权重。
[0052]
s13，由所述目标检测模型输出的边界框参数确定追踪模型，对所述追踪模型进行二阶段匹配框架优化、相似度评分标准优化和匹配算法优化。
[0053]
于一实施例中，s13具体包括以下步骤：
[0054]
(1)匹配框架优化：采用btyetrack二阶段匹配框架完成匹配任务。利用所述边界框参数，将边界框根据置信度水平分为三个等级，对三个等级边界框内的目标进行初次匹配与二次匹配。匹配框架具体包括：利用步骤s12检测器输出目标边界框具有置信度差异的特点，将边界框根据置信度水平分为三个等级：最高置信度等级、中等置信度等级和最低置信度等级。
[0055]
于一实施例中，请参阅图2，显示为本发明的基于目标检测与二阶段匹配的目标跟踪方法于一实施例中的追踪作业流程图。如图2所示，s13的步骤(1)具体包括以下步骤：
[0056]
(1.1)初次匹配时，最高置信度等级边界框的目标优先与前一帧轨迹集进行匹配。
[0057]
(1.2)初次匹配余下的目标中，为置信度达到采纳阈值的创建轨迹。
[0058]
(1.3)二次匹配时，初次匹配余下目标中创建的轨迹与中等置信度等级边界框的目标进行二次匹配。
[0059]
(1.4)二次匹配余下的目标连同最低置信度等级边界框的目标一同舍弃。
[0060]
(1.5)二次匹配余下的轨迹标记为跟丢，与其他轨迹集共同参与下一帧初次匹配；标记为跟丢的轨迹若初次匹配未成功则不参与二次匹配；对达到时间阈值未能匹配到目标的跟丢轨迹进行舍弃。
[0061]
(2)相似度评分标准优化：将所述边界框参数转换为边界坐标信息。根据所述边界坐标信息进行重合度评分和面积相似项评分的计算；根据所述重合度评分和所述面积相似项评分进行综合评分；将前一帧轨迹集与当前帧检测的目标集中的全体边界框对两两计算综合评分，得到相似度矩阵。
[0062]
具体地，采用以iou为主导的综合相似度评分指标替代以重识别为主导的评分，其
中， iou就是系统预测出来的框与原来图片中标记的框的重合程度。即检测结果detection result 与ground truth的交集比上它们的并集，即为检测的准确率。具体包括：将步骤s12中检测器输出边界框参数，转换为边界坐标信息：
[0063]
bbox＝f(l,r,u,d)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0064]
公式(1)是边界框的边界坐标信息表述，其中包括左侧纵坐标l，右侧纵坐标r，上侧横坐标u与下侧横坐标d；任意两个边界框bbox1与bbox2，二者的面积分别为：
[0065]
a1＝(r1-l1)(d1-u1),a2＝(r2-l2)(d2-u2)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0066]
任意两个边界框bbox1与bbox2，二者之间的交集面积计算公式为：
[0067]
a(bbox1∩bbox2)
[0068]
＝max(min(r1,r2)-max(l1,l2),0)
ꢀ×
max(min(d1,d2)-max(u1,u2),0)；
ꢀꢀꢀ
(3)
[0069]
并集面积计算公式为：
[0070]
a(bbox1∪bbox2)＝a1+a
2-a(bbox1∩bbox2)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0071]
交并比计算公式为：
[0072]
iou(bbox1,bbox2)＝a(bbox1∩bbox2)/a(bbox1∪bbox2)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0073]
iou评分项的计算公式为：
[0074]siou
(bbox1,bbox2)＝iou(bbox1,bbox2)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0075]
本发明提出的综合评分中包含的面积相似项评分，其计算公式为：
[0076][0077]
该评分项的函数具备面积相似性筛选特性，请参阅图3，显示为本发明的基于目标检测与二阶段匹配的目标跟踪方法于一实施例中的面积损失项函数图。如图3所示，由上述评分项计算综合评分为：
[0078]
s(bbox1,bbox2)＝0.9s
iou
(bbox1,bbox2)+0.1s
area
(bbox1,bbox2)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0079]
调用上述相似度评分的方法为，将视频第k帧的前一帧轨迹集中与当前帧检测器输出目标集按照s13的步骤(1)中所述匹配框架的流程划分为所需子集，运用上述评分标准，将轨迹集t
k-1
与目标集dk中的全体边界框对两两计算评分，得到相似度矩阵：
[0080]
h(t
k-1
,dk)＝[s(t,d)]|t∈t
k-1
,d∈dk；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0081]
具体地，采用以iou为主导的综合相似度评分指标替代以重识别为主导的评分，具体包括：将步骤s12中检测器输出边界框参数按照公式1转换为边界坐标信息；按照公式2-6计算iou分数；按照公式7计算面积评分分数；按照公式8完成分数融合，得到完整相似度评分；调用上述相似度评分的方法为，将视频第k帧的前一帧轨迹集中与当前帧检测器输出目标集按照s13的步骤(1)中所述匹配框架的流程划分为所需子集，运用上述评分标准，将轨迹集t
k-1
与目标集dk中的全体边界框对两两计算评分，按照公式9得到相似度矩阵。
[0082]
(3)匹配算法优化：根据所述相似度矩阵计算损失矩阵，通过损失矩阵的最优匹配分析得到所述前一帧轨迹集中轨迹与当前帧检测目标集中目标之间相似度评分总体最大化的匹配方式。
[0083]
由s13步骤(2)中所得相似度矩阵计算损失矩阵为：
[0084]
c(t
k-1
,dk)＝1-h(t
k-1
,dk)；
ꢀꢀꢀꢀꢀꢀꢀ
(10)
[0085]
轨迹与目标匹配问题可以被归纳为损失矩阵的最优匹配问题：
[0086][0087]
公式11是最优匹配问题表述，其中tr(
·
)表示矩阵的迹寻找的左矩阵lk和右矩rk均为置换矩阵。本发明利用jv算法取代匈牙利算法完成上述任务，具体过程为，限制每一代价项不超过给定阈值的前提下，运用jv算法寻找代价矩阵中的最优匹配方式，进而得到前一帧轨迹集中轨迹与当前帧检测目标之间相似度评分总体最大化的匹配方式。
[0088]
s14，结合所述目标检测模型和优化后的追踪模型，生成多目标追踪模型。
[0089]
于一实施例中，s14具体包括以下步骤：
[0090]
(1)计帧器归零。
[0091]
(2)分配在跟轨迹id信息与位置信息的存储空间、分配跟丢轨迹id信息与位置信息的存储空间、分配存储追踪过程记录信息的存储空间、分配模型运行必要的内存。
[0092]
请参阅图4，显示为本发明的基于目标检测与二阶段匹配的目标跟踪方法于一实施例中的二次匹配算法流程图。如图所示，优选地，所述步骤04形成的多目标追踪模型初始化过程包括：计帧器归零、分配在跟轨迹id信息与位置信息的存储空间、分配跟丢轨迹id信息与位置信息的存储空间、分配存储追踪过程记录信息的存储空间、分配模型运行必要的内存。追踪模型的逐帧追踪流程参见图2所示，该流程对于视频中的每一帧运行，也可按照给定帧率对视频流中的部分帧运行，具体包括：
[0093]
a.计帧器自增；
[0094]
b.申请当前帧所需存储空间，包括：轨迹状态转移集合存储空间，包括激活轨迹集、继跟轨迹集、转跟丢轨迹集、重获轨迹集、移除轨迹集；存放全局变量中在跟与跟丢轨迹集的待匹配轨迹集存储空间；存放检测目标集的高置信度目标集、中置信度目标集存储空间；
[0095]
c.将视频帧缩放为检测网络输入尺寸，输入检测网络，得到当前帧目标边界框集合以及各边界框置信度，根据程序超参数置信度阈值将目标集分为高置信度目标集、中置信度目标集、低置信度目标集；舍弃低置信度目标集；
[0096]
d.将截至上一帧更新得到的在跟轨迹和跟丢轨迹写入待匹配轨迹集；
[0097]
e.运用卡尔曼滤波预测对待匹配轨迹集中的边界框位置做预估，以预估边界框替代原先边界框；
[0098]
f.初次匹配，将待匹配轨迹集与高置信度目标集进行初次匹配，将匹配中在跟轨迹存入继跟轨迹集，跟丢轨迹存入重获轨迹集；余下的目标形成高置信度初次残余目标集，余下的轨迹根据是否跟丢分为初次残余在跟轨迹集、初次残余跟丢轨迹集；
[0099]
g.二次匹配，将初次残余在跟轨迹集与中置信度目标集二次匹配，将匹配中全体轨迹存入继跟轨迹集；余下的目标舍弃，余下的轨迹存入转跟丢轨迹集；
[0100]
h.轨迹纳新，将初次残余目标集中高于纳新置信度阈值的目标存入激活轨迹集；
[0101]
i.轨迹除旧，将初次残余跟丢轨迹集中久于重获时限阈值的轨迹存入移除轨迹集；
[0102]
j.状态转移，对激活轨迹集中的轨迹存入全局在跟轨迹集，并做初始化；对继跟轨迹集中的轨迹仅做位置更新；对转跟丢轨迹集中的轨迹从在跟轨迹集中移至跟丢轨迹集，并记录遗失帧数；对重获轨迹集中的轨迹从跟丢轨迹集中移至在跟轨迹集；对移除轨迹集
中的轨迹从跟丢轨迹集中移除，释放存储空间。
[0103]
k.将状态转移后获得的当前帧状态，即帧数、在跟轨迹、跟丢轨迹的状态加入记录追踪过程的存储空间中；
[0104]
l.释放当前帧运行所需局部变量存储空间。
[0105]
循环子步骤a到l直至视频尾帧或人为中断，完成自视频开始到结束每一帧具体的轨迹 id信息与位置信息的记录。
[0106]
s15，对所述多目标追踪模型进行评估与部署优化。
[0107]
于一实施例中，s15具体包括以下步骤：
[0108]
(1)对不同的多目标追踪模型在公开多目标追踪数据集上进行测试，对检测性能及跟踪性能指标进行评估，得到最优的多目标追踪模型。
[0109]
具体地，进行精确性评估。对多目标追踪算法的整体精确性进行评估。将步骤s14形成多目标追踪模型在公开多目标追踪数据集上进行测试，对idf1、mota、motp指标进行评估，边评估边重复s15的步骤(1)，得到最优追踪模型。
[0110]
(2)将不同的多目标追踪模型部署到可以运行多目标追踪模型的硬件设备上，对应用环境测试视频流进行推理，完成所述多目标追踪模型的优化。
[0111]
于一实施例中，请参阅图5，显示为本发明的基于目标检测与二阶段匹配的目标跟踪方法于一实施例中的整体流程图。如图5所示，所述多目标追踪模型的优化包括以下步骤：
[0112]
(1)优化检测器的推理速度，根据模型特性曲线在保持输出有效性的基础上降低输入视频画幅尺寸，提高推理速度。
[0113]
(2)超参数调试，包括：检测器置信度阈值，其中，置信度阈值包括：纳新阈值、初次匹配阈值及二次匹配阈值。
[0114]
(3)优化综合评分各项系数，各项系数包括：iou项系数、面积相似性项系数；相似度矩阵单项最低相似度阈值。
[0115]
具体地，进行精确性与速度评估；对多目标追踪算法的整体精确性进行评估；将步骤s14 形成多目标追踪模型在公开行人多目标追踪数据集上进行测试；mot17数据集具有环境多样、条件复杂度适中等优点，本实施例采用mot17数据集进行评估；选取纳新置信度阈值、初次匹配置信度阈值、二次匹配置信度阈值、初次匹配相似度评分最小值、二次匹配相似度评分最小值、iou分数项系数、面积分数项系数分别为0.7、0.6、0.1、0.1、0.5、0.9、0.1，在 mot17上测得常用多目标跟踪评估指标idf1、mota、motp分别为66.1％、69.2％、81.8％，说明追踪模型追踪能力表现良好；在2080ti上测得模型运行的单帧平均追踪时间、单帧平均检测器前向传播时间分别为16.0ms、71.7ms，各视频上单帧时间不超过100ms，上限随目标密度变化不明显；说明追踪模型适合实时追踪，并具有良好稳定性。
[0116]
本发明所述的基于目标检测与二阶段匹配的目标跟踪方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
[0117]
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述基于目标检测与二阶段匹配的目标跟踪方法。
[0118]
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通
过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的计算机可读存储介质包括：rom、 ram、磁碟或者光盘等各种可以存储程序代码的计算机存储介质。
[0119]
请参阅图6，显示为本发明的电子设备于一实施例中的结构连接示意图。如图6所示，本实施例提供一种电子设备6，具体包括：处理器61及存储器62；所述存储器62用于存储计算机程序，所述处理器61用于执行所述存储器62存储的计算机程序，以使所述电子设备 6执行所述基于目标检测与二阶段匹配的目标跟踪方法的各个步骤。
[0120]
上述的处理器61可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signalprocessing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field programmable gatearray，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0121]
上述的存储器62可能包含随机存取存储器(random access memory，简称ram)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。
[0122]
于实际应用中，所述电子设备可以是包括存储器、存储控制器、一个或多个处理单元 (cpu)、外设接口、rf电路、音频电路、扬声器、麦克风、输入/输出(i/o)子系统、显示屏、其他输出或控制设备，以及外部端口等所有或部分组件的计算机；所述计算机包括但不限于如台式电脑、笔记本电脑、平板电脑、智能手机、个人数字助理(personal digital assistant，简称pda)等个人电脑。在另一些实施方式中，所述电子设备还可以是服务器，所述服务器可以根据功能、负载等多种因素布置在一个或多个实体服务器上，也可以是由分布的或集中的服务器集群构成的云服务器，本实施例不作限定。
[0123]
综上所述，本发明所述基于目标检测与二阶段匹配的目标跟踪方法、介质及设备通过一种以iou为主导的综合相似度评分指标，取代重识别与单纯iou相似度评分，实现有效匹配与实时性兼顾；采用jv算法替代匈牙利算法，针对大型稀疏矩阵有显著优势，极大压缩匹配环节的执行之间，提高追踪算法运行速度，增强实时性。本发明有效克服了现有技术中的种种缺点而具有高度产业利用价值。
[0124]
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
技术特征：1.一种基于目标检测与二阶段匹配的目标跟踪方法，其特征在于，所述基于目标检测与二阶段匹配的目标跟踪方法包括：获取包含跟踪对象的图像数据，形成数据集；根据所述数据集训练得到目标检测模型；所述目标检测模型具有最优模型权重；由所述目标检测模型输出的边界框参数确定追踪模型，对所述追踪模型进行二阶段匹配框架优化、相似度评分标准优化和匹配算法优化；结合所述目标检测模型和优化后的追踪模型，生成多目标追踪模型；对所述多目标追踪模型进行评估与部署优化。2.根据权利要求1所述的基于目标检测与二阶段匹配的目标跟踪方法，其特征在于，所述获取包含跟踪对象的图像数据，形成数据集的步骤，包括：获取包含跟踪对象类别且体现跟踪对象显著特征的、背景简单、遮挡适量的图片或视频数据，以及部分符合应用现场实际环境特点的图片或视频数据，按照预设比例进行训练集与测试集的划分。3.根据权利要求1所述的基于目标检测与二阶段匹配的目标跟踪方法，其特征在于，所述根据所述数据集训练得到目标检测模型的步骤，包括：在模型选取时，采用输入与使用环境尺寸接近的图片的单张推理时间在硬件设备上达到实时运行要求的目标检测模型；训练时，始于公开数据集上预训练的模型权重，在所述数据集上进行训练、测试与验证，得到所述最优模型权重。4.根据权利要求1所述的基于目标检测与二阶段匹配的目标跟踪方法，其特征在于，所述由所述目标检测模型输出的边界框参数确定追踪模型，对所述追踪模型进行二阶段匹配框架优化、相似度评分标准优化和匹配算法优化的步骤，包括：利用所述边界框参数，将边界框根据置信度水平分为三个等级，对三个等级边界框内的目标进行初次匹配与二次匹配；将所述边界框参数转换为边界坐标信息。根据所述边界坐标信息进行重合度评分和面积相似项评分的计算；根据所述重合度评分和所述面积相似项评分进行综合评分；将前一帧轨迹集与当前帧检测的目标集中的全体边界框对两两计算综合评分，得到相似度矩阵；根据所述相似度矩阵计算损失矩阵，通过损失矩阵的最优匹配分析得到所述前一帧轨迹集中轨迹与当前帧检测目标集中目标之间相似度评分总体最大化的匹配方式。5.根据权利要求4所述的基于目标检测与二阶段匹配的目标跟踪方法，其特征在于，所述对三个等级边界框内的目标进行初次匹配与二次匹配的步骤，包括：初次匹配时，最高置信度等级边界框的目标优先与前一帧轨迹集进行匹配；初次匹配余下的目标中，为置信度达到采纳阈值的创建轨迹；二次匹配时，初次匹配余下目标中创建的轨迹与中等置信度等级边界框的目标进行二次匹配；二次匹配余下的目标连同最低置信度等级边界框的目标一同舍弃；二次匹配余下的轨迹标记为跟丢，与其他轨迹集共同参与下一帧初次匹配；标记为跟丢的轨迹若初次匹配未成功则不参与二次匹配；对达到时间阈值未能匹配到目标的跟丢轨迹进行舍弃。
6.根据权利要求1所述的基于目标检测与二阶段匹配的目标跟踪方法，其特征在于，所述结合所述目标检测模型和优化后的追踪模型，生成多目标追踪模型的步骤，包括：计帧器归零；分配在跟轨迹id信息与位置信息的存储空间、分配跟丢轨迹id信息与位置信息的存储空间、分配存储追踪过程记录信息的存储空间、分配模型运行必要的内存。7.根据权利要求1所述的基于目标检测与二阶段匹配的目标跟踪方法，其特征在于，所述对所述多目标追踪模型进行评估与部署优化的步骤，包括：对不同的多目标追踪模型在公开多目标追踪数据集上进行测试，对检测性能及跟踪性能指标进行评估，得到最优的多目标追踪模型；将不同的多目标追踪模型部署到可以运行多目标追踪模型的硬件设备上，对应用环境测试视频流进行推理，完成所述多目标追踪模型的优化。8.根据权利要求7所述的基于目标检测与二阶段匹配的目标跟踪方法，其特征在于，所述多目标追踪模型的优化包括：优化检测器的推理速度，根据模型特性曲线在保持输出有效性的基础上降低输入视频画幅尺寸，提高推理速度；超参数调试，包括：检测器置信度阈值，其中，置信度阈值包括：纳新阈值、初次匹配阈值及二次匹配阈值；优化综合评分各项系数，各项系数包括：iou项系数、面积相似性项系数；相似度矩阵单项最低相似度阈值。9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至8中任一项所述的基于目标检测与二阶段匹配的目标跟踪方法。10.一种电子设备，其特征在于，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行如权利要求1至8中任一项所述的基于目标检测与二阶段匹配的目标跟踪方法。
技术总结本发明提供一种基于目标检测与二阶段匹配的目标跟踪方法、介质及设备，所述基于目标检测与二阶段匹配的目标跟踪方法包括：获取包含跟踪对象的图像数据，形成数据集；根据所述数据集训练得到目标检测模型；所述目标检测模型具有最优模型权重；由所述目标检测模型输出的边界框参数确定追踪模型，对所述追踪模型进行二阶段匹配框架优化、相似度评分标准优化和匹配算法优化；结合所述目标检测模型和优化后的追踪模型，生成多目标追踪模型；对所述多目标追踪模型进行评估与部署优化。本发明提供了一种基于目标检测与二阶段匹配的实时多目标跟踪方法，利用二阶段匹配，避免了由遮挡等因素造成置信读降低的边界框被舍弃而导致目标跟丢。跟丢。跟丢。
技术研发人员：陈霄翔 刘晶晶
受保护的技术使用者：上海复瞰科技有限公司
技术研发日：2022.06.21
技术公布日：2022/11/1
