本发明属于目标跟踪，尤其涉及一种基于联合检测的多目标跟踪方法。
背景技术：
1、随着社会需求和科技进步的推动，多目标跟踪技术取得了显著的进展，现阶段的多目标跟踪算法的发展已经趋于成熟。qdtrack是一种基于faster r-cnn的两阶段跟踪模型，其通过准密集相似性学习在一对图像上密集采样数百个区域建议以进行对比学习。该跟踪模型不需要额外的运动先验，在跟踪匹配的过程中仅通过简单的双向softmax(bi-directional softmax)函数计算相似性，通过简单的匹配方式实现高效的跟踪。
2、但是原始的qdtrack采用了resnet作为特征提取网络，对于目标之间的相互作用或者目标内部跨越较大空间范围的关键特征可能难以通过局部卷积操作捕捉到，如何对qdtrack模型进行优化成为了亟需解决的问题。
技术实现思路
1、为解决上述技术问题，本发明提出了一种基于联合检测的多目标跟踪方法，以解决上述现有技术存在的问题。
2、为实现上述目的，本发明提供了一种基于联合检测的多目标跟踪方法，包括：
3、将pvt模型作为主干网络提取图像的特征；
4、基于ga-rpn结构对所述图像中的目标特征进行定位和识别，获得候选目标区域；
5、基于余弦相似度和iou距离对双向softmax函数进行优化，通过优化后的双向softmax函数对所述候选目标区域的目标进行匹配，生成多目标跟踪结果。
6、优选地，所述将pvt模型作为主干网络提取图像的特征的过程包括：
7、所述pvt模型通过渐进收缩策略来控制特征图的尺度；
8、对于第i个阶段，来自上一个阶段输入的特征图fi-1(hi-1×wi-1×ci-1)被划分为个patchs，然后将每个patch展平映射到ci维的特征嵌入中，再经过线性映射后特征大小可以视为
9、优选地，所述pvt模型采用空间缩放注意力机制；
10、所述空间缩放注意力机制的表达式为：
11、
12、其中，concat()是transformer中的拼接操作，为权重参数，ni为第i个阶段注意力头的个数，因此每个头部的维度为lsr()是对输入序列的空间维度进行线性降维操作。
13、优选地，基于ga-rpn结构对所述图像中目标的特征进行定位和识别，获得候选目标区域的过程还包括：基于稀疏id损失的联合学习模型构建准密集相似性学习模型，基于所述准密集相似性学习模型对所述候选目标区域的周边区域进行采样，获得信息区域正负样本。
14、优选地，所述ga-rpn结构预测每个位置的最佳形状的表达式为：
15、w＝σ·s·edw；
16、h＝σ·s·edh；
17、其中，w和h是每个位置的最佳形状，即可能导致与最近真实标签边界框的最高覆盖率的形状，s是步幅，σ是尺度因子。
18、优选地，所述ga-rpn结构还用于在形状预测分支输出上加入一个1×1卷积预测出偏移域，然后将偏移量映射在3×3卷积当中，获得自适应的特征图。
19、优选地，通过优化后的双向softmax函数对所述候选目标区域的目标进行匹配，生成多目标跟踪结果的过程包括：构建iou阈值βiou，当候选目标的iou阈值大于βiou时，会优先考虑余弦相似度进行匹配，剩余小于βiou的候选目标，检测置信度高于βobj，则考虑检测目标与现有轨迹进行匹配，如果匹配分数大于βm，则确定匹配，未匹配的候选目标如果检测置信度高于βnew，则创建新的轨迹。
20、优选地，整体网络的损失函数的表达式为：
21、l＝ldet+γ1lembed+γ2laux；
22、其中，ldet为原始的fasterr-cnn损失函数，包含rpn损失、类别损失和回归损失，laux为辅助损失。
23、与现有技术相比，本发明具有如下优点和技术效果：
24、本发明研究了采用准密集相似性学习的跟踪模型qdtrack，并在三个方面对该模型进行了优化。首先，本发明通过采用pyramid vision transformer替换了原始跟踪模型中的resnet50主干网络，提高了模型的远程建模能力。其次，本发明采用了具有位置引导的ga-rpn来提高模型对特征图中信息的定位能力。实验证明，这两种改进方法有效提高了模型的检测精度，降低了漏检和误检的数量，进而提高了模型的跟踪性能。最后，本发明提出了融合余弦相似度的双向softmax匹配来对原始的匹配方式进行了优化，并通过实验选择了最优的参数值。改进后的模型与主流算法相比在mota、mt和ml指标上达到了最好的结果，在跟踪目标面对遮挡时，有着较好的持续跟踪能力。
1.一种基于联合检测的多目标跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于联合检测的多目标跟踪方法，其特征在于，所述将pvt模型作为主干网络提取图像的特征的过程包括：
3.根据权利要求1所述的基于联合检测的多目标跟踪方法，其特征在于，所述pvt模型采用空间缩放注意力机制；
4.根据权利要求1所述的基于联合检测的多目标跟踪方法，其特征在于，基于ga-rpn结构对所述图像中目标的特征进行定位和识别，获得候选目标区域的过程还包括：基于稀疏id损失的联合学习模型构建准密集相似性学习模型，基于所述准密集相似性学习模型对所述候选目标区域的周边区域进行采样，获得信息区域正负样本。
5.根据权利要求1所述的基于联合检测的多目标跟踪方法，其特征在于，所述ga-rpn结构预测每个位置的最佳形状的表达式为：
6.根据权利要求1所述的基于联合检测的多目标跟踪方法，其特征在于，所述ga-rpn结构还用于在形状预测分支输出上加入一个1×1卷积预测出偏移域，然后将偏移量映射在3×3卷积当中，获得自适应的特征图。
7.根据权利要求1所述的基于联合检测的多目标跟踪方法，其特征在于，通过优化后的双向softmax函数对所述候选目标区域的目标进行匹配，生成多目标跟踪结果的过程包括：构建iou阈值βiou，当候选目标的iou阈值大于βiou时，会优先考虑余弦相似度进行匹配，剩余小于βiou的候选目标，检测置信度高于βobj，则考虑检测目标与现有轨迹进行匹配，如果匹配分数大于βm，则确定匹配，未匹配的候选目标如果检测置信度高于βnew，则创建新的轨迹。
8.根据权利要求1所述的基于联合检测的多目标跟踪方法，其特征在于，整体网络的损失函数的表达式为：
