ii，其中，n≥2；
9.s3：将目标模板特征i与搜索区域特征ii进行相关操作得到，分别与额外两个卷积网络进行计算，获得分类分支特征ⅲ和回归分支特征ⅳ；
10.s4：分类分支特征ⅲ与余弦约束
ⅴ
权重相加获得最终分类响应图ⅵ，以响应值最大处即为第n帧搜索图像的目标位置，与响应值位置对应的回归分支特征ⅳ用于精细定位预测目标的坐标信息；
11.s5：将预测目标的坐标信息和搜素区域输入判别增强记忆模型得到评估值f
max
(*)，评估值与设定阈值β比较，若f
max
(*)＞β,则输出预测目标的坐标信息，否则执行s6；
12.s6:使用n-30至n-1帧收集到的正负样本重新在线训练辨别增强记忆模型，再次将预测目标的坐标信息和搜素区域输入判别增强记忆模型得到评估值f
max
(*)，评估值与设定阈值β比较，若f
max
(*)＞β,则输出预测目标的坐标信息，否则执行s7；
13.s7:启动断续时空约束，获得分类分支特征ⅲ；
14.s8：循环执行步骤2至步骤7，直至遍历视频序列，完成目标跟踪。
15.进一步地，在步骤s1中，正样本500个，负样本2000个；在后续跟踪中，每次根据预测目标的坐标信息收集新的正负样本，其中正样本50个，负样本200个；
16.进一步地，步骤s1具体为：
17.s1.1、利用三层卷积层、两个全连接层和一个二分类层组成的网络结构；该网络模型通过离线训练，将前三层卷积层固定，在跟踪过程中仅更新全连接层和二分类层；通过记忆网络提取第一帧中正负样本的特征，将前三层卷积层参数固定，利用梯度下降法训练后三层网络直至收敛，其中损失函数为焦点损失度量；
18.s1.2、焦点损失度量，公式为：
[0019][0020]
其中，t为迭代次数；r(t)＝r0+σt为随t增大的函数；r0为初始因子；σ为增长率；r
max
为最大聚焦因子；sd为预测分类结果；s＝1为正样本。
[0021]
进一步地，步骤s7中，将分类分支特征ⅲ中除最大响应外的前x个预测目标位置输出，与响应值位置对应的回归分支特征ⅳ输出x个预测目标的坐标信息，将x个预测目标的坐标信息和搜素区域输入判别增强记忆模型得到评估值f
max
(*)，评估值与设定阈值β比较，若存在评估值大于设定阈值且最大的预测目标作为最终目标输出，并依据多峰样本评估准则将其他x-1个预测目标作为难分负样本收集，用于后续的记忆模型训练；否则，视为跟踪失败，输出n-1帧预测目标的坐标信息；断续时空约束持续作用，直到预测目标评估值大于设定阈值β。
[0022]
进一步地，步骤s7具体为：
[0023]
s7.1、在预测目标的评估值小于设定阈值时，启动断续时空约束，公式如下：
[0024][0025]
其中，wc为预定义超参数；po为通过高斯函数生成的余弦约束；pi为po中的元素；
[0026]
f(pi,t)＝pi×
e-α(t-γ)
为pi随t以不同速率膨胀的函数；α是膨胀因子；γ为平移距
离，
[0027]
可以使函数总任意时刻展开；其中α与γ的计算公式如下：
[0028][0029][0030]
其中；pf为膨胀最终值，pf＝1；m为膨胀时间；
[0031]
s7.2、在重新寻找到预测目标后，通过多峰评估准则收集难分样本集合，公式如下：
[0032][0033]
其中f
max
(*)为判别增强记忆模型，h为预定义阈值，ni为分类分支特征ⅲ除最大响应外的x个预测目标中的元素；z
t
为最终分类响应图ⅵ最大处的预测目标。
[0034]
与现有技术相比，本发明产生的有益效果为：本发明将判别增强记忆模型和断续时空约束整合在同一个框架，使得跟踪器有效的适应目标由于突变运动造成的外观变化，有效的防止了固定时空约束带来的跟踪漂移问题，提高了目标跟踪的鲁棒性。
附图说明
[0035]
图1为本发明的流程图；
[0036]
图2为二分类交叉熵与焦点损失度量在记忆模型训练应用后的性能对比；
[0037]
图3为本发明与其他算法在otb100数据集上的比较图-跟踪精度对比结果以及本发明与其他算法在otb100数据集上的比较图-跟踪成功率对比结果。
具体实施方式
[0038]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0039]
如图1所示，本发明实施例提供了一种基于辨别增强记忆与断续时空约束的目标跟踪方法，其步骤如下：
[0040]
s1：针对视频序列中的第一帧图像，给定第一帧图像的目标坐标信息并截取目标模板，根据第一帧图像、目标坐标信息获取目标模板特征i，并根据与目标坐标的重叠率收集正负样本，依靠焦点损失度量对辨别增强记忆模型的初始化，其中，正样本500个，负样本 2000个。在后续跟踪中，每次根据预测目标的坐标信息收集新的正负样本，其中正样本 50个，负样本200个；
[0041]
在步骤s1中，具体步骤为：
[0042]
s1.1、利用三层卷积层、两个全连接层和一个二分类层组成的网络结构。该网络模型通过离线训练，将前三层卷积层固定，在跟踪过程中仅更新全连接层和二分类层。通过记忆网络提取第一帧中正负样本的特征，将前三层卷积层参数固定，利用梯度下降法训练后
三层网络直至收敛，其中损失函数为焦点损失度量；
[0043]
s1.2、焦点损失度量，公式为：
[0044][0045]
其中，t为迭代次数。r(t)＝r0+σt为随t增大的函数。r0为初始因子。σ为增长率。
[0046]rmax
为最大聚焦因子。sd为预测分类结果。s＝1为正样本。
[0047]
s2：针对第n帧搜索图像，根据第n-1帧图像、预测目标坐标信息获取搜索区域特征 ii，其中，n≥2；
[0048]
s3：将目标模板特征i与搜索区域特征ii进行相关操作得到，分别与额外两个卷积网络进行计算，获得分类分支特征ⅲ和回归分支特征ⅳ；
[0049]
s4：分类分支特征ⅲ与余弦约束
ⅴ
权重相加获得最终分类响应图ⅵ，以响应值最大处即为第n帧搜索图像的目标位置，与响应值位置对应的回归分支特征ⅳ用于精细定位预测目标的坐标信息；
[0050]
s5：将预测目标的坐标信息和搜素区域输入判别增强记忆模型得到评估值f
max
(*)，评估值与设定阈值β比较，若f
max
(*)》β,则输出预测目标的坐标信息，否则执行步骤6；
[0051]
s6:使用n-30至n-1帧收集到的正负样本重新在线训练辨别增强记忆模型，再次将预测目标的坐标信息和搜素区域输入判别增强记忆模型得到评估值f
max
(*)，评估值与设定阈值β比较，若f
max
(*)》β,则输出预测目标的坐标信息，否则执行步骤7；
[0052]
s7:启动断续时空约束，获得分类分支特征ⅲ，将分类分支特征ⅲ中除最大响应外的前x个预测目标位置输出，与响应值位置对应的回归分支特征ⅳ输出x个预测目标的坐标信息，将x个预测目标的坐标信息和搜素区域输入判别增强记忆模型得到评估值f
max
(*)，评估值与设定阈值β比较，若存在评估值大于设定阈值且最大的预测目标作为最终目标输出，并依据多峰样本评估准则将其他x-1个预测目标作为难分负样本收集，用于后续的记忆模型训练。否则，视为跟踪失败，输出n-1帧预测目标的坐标信息。断续时空约束持续作用，直到预测目标评估值大于设定阈值β；
[0053]
在步骤s7中，具体步骤为：
[0054]
s7.1、在预测目标的评估值小于设定阈值时，启动断续时空约束，公式如下：
[0055][0056]
其中，wc为预定义超参数。po为通过高斯函数生成的余弦约束。pi为po中的元素。 f(pi,t)＝pi×
e-α(t-γ)
为pi随t以不同速率膨胀的函数。α是膨胀因子。γ为平移距离，
[0057]
可以使函数总任意时刻展开。其中α与γ的计算公式如下：
[0058][0059][0060]
其中。pf为膨胀最终值，pf＝1。m为膨胀时间。
[0061]
s7.2、在重新寻找到预测目标后，通过多峰评估准则收集难分样本集合，公式如
下：
[0062][0063]
其中f
max
(*)为判别增强记忆模型，h为预定义阈值，ni为分类分支特征ⅲ除最大响应外的x个预测目标中的元素。z
t
为最终分类响应图ⅵ最大处的预测目标。
[0064]
s8：循环执行步骤2至步骤7，直至遍历视频序列，完成目标跟踪。
[0065]
本发明实例是在intel i7-9700k cpu(3.60ghz)，16gb ram和nvdia quadro rtx4000的计算机上使用python实现的。如图2所示，辨别增强记忆度量对记忆模型的性能影响。如图3所示，本发明实例所提供的一种基于辨别增强记忆与断续时空约束的目标跟踪方法(our)与其他经典的目标跟踪算法(dasiamrpn、gradnet、siamrpn、siamfc、 fdsst)在otb100数据集上的比较，在成功率和精度上都取得了优秀的表现，这表明表明，本发明可以在目标突变运动场景下有效提高跟踪的鲁棒性。
[0066]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
技术特征：1.一种基于辨别增强记忆与断续时空约束的目标跟踪方法，包括如下步骤：s1：针对视频序列中的第一帧图像，给定第一帧图像的目标坐标信息并截取目标模板，并根据第一帧图像、目标坐标信息获取目标模板特征i，并根据与目标坐标的重叠率收集正负样本，依靠焦点损失度量对辨别增强记忆模型的初始化；s2：针对第n帧搜索图像，根据第n-1帧图像、预测目标坐标信息获取搜索区域特征ii，其中，n≥2；s3：将目标模板特征i与搜索区域特征ii进行相关操作得到，分别与额外两个卷积网络进行计算，获得分类分支特征ⅲ和回归分支特征ⅳ；s4：分类分支特征ⅲ与余弦约束
ⅴ
权重相加获得最终分类响应图ⅵ，以响应值最大处即为第n帧搜索图像的目标位置，与响应值位置对应的回归分支特征ⅳ用于精细定位预测目标的坐标信息；s5：将预测目标的坐标信息和搜素区域输入判别增强记忆模型得到评估值f
max
(*)，评估值与设定阈值β比较，若f
max
(*)＞β,则输出预测目标的坐标信息，否则执行s6；s6:使用n-30至n-1帧收集到的正负样本重新在线训练辨别增强记忆模型，再次将预测目标的坐标信息和搜素区域输入判别增强记忆模型得到评估值f
max
(*)，评估值与设定阈值β比较，若f
max
(*)＞β,则输出预测目标的坐标信息，否则执行s7；s7:启动断续时空约束，获得分类分支特征ⅲ；s8：循环执行步骤2至步骤7，直至遍历视频序列，完成目标跟踪。2.根据权利要求1所述的一种基于辨别增强记忆与断续时空约束的目标跟踪方法，其特征在于，在步骤s1中，正样本500个，负样本2000个；在后续跟踪中，每次根据预测目标的坐标信息收集新的正负样本，其中正样本50个，负样本200个。3.根据权利要求2所述的一种基于辨别增强记忆与断续时空约束的目标跟踪方法，其特征在于，步骤s1具体为：s1.1、利用三层卷积层、两个全连接层和一个二分类层组成的网络结构；该网络模型通过离线训练，将前三层卷积层固定，在跟踪过程中仅更新全连接层和二分类层；通过记忆网络提取第一帧中正负样本的特征，将前三层卷积层参数固定，利用梯度下降法训练后三层网络直至收敛，其中损失函数为焦点损失度量；s1.2、焦点损失度量，公式为：其中，t为迭代次数；r(t)＝r0+σt为随t增大的函数；r0为初始因子；σ为增长率；r
max
为最大聚焦因子；s
d
为预测分类结果；s＝1为正样本。4.根据权利要求1所述的一种基于辨别增强记忆与断续时空约束的目标跟踪方法，步骤s7中，将分类分支特征ⅲ中除最大响应外的前x个预测目标位置输出，与响应值位置对应的回归分支特征ⅳ输出x个预测目标的坐标信息，将x个预测目标的坐标信息和搜素区域输入判别增强记忆模型得到评估值f
max
(*)，评估值与设定阈值β比较，若存在评估值大于设定阈值且最大的预测目标作为最终目标输出，并依据多峰样本评估准则将其他x-1个预测目标作为难分负样本收集，用于后续的记忆模型训练；否则，视为跟踪失败，输出n-1帧预测目
标的坐标信息；断续时空约束持续作用，直到预测目标评估值大于设定阈值β。5.根据权利要求4所述的一种基于辨别增强记忆与断续时空约束的目标跟踪方法，步骤s7具体为：s7.1、在预测目标的评估值小于设定阈值时，启动断续时空约束，公式如下：其中，w
c
为预定义超参数；p
o
为通过高斯函数生成的余弦约束；p
i
为p
o
中的元素；f(p
i
,t)＝p
i
×
e-α(t-γ)
为p
i
随t以不同速率膨胀的函数；α是膨胀因子；γ为平移距离，可以使函数在任意时刻展开；其中α与γ的计算公式如下：其中α与γ的计算公式如下：其中；p
f
为膨胀最终值，p
f
＝1；m为膨胀时间；s7.2、在重新寻找到预测目标后，通过多峰评估准则收集难分样本集合，公式如下：其中f
max
(*)为判别增强记忆模型，h为预定义阈值，n
i
为分类分支特征ⅲ除最大响应外的x个预测目标中的元素；z
t
为最终分类响应图ⅵ最大处的预测目标。
技术总结本发明提出了一种基于辨别增强记忆与断续时空约束的目标跟踪方法，属于目标跟踪技术领域，用于解决传统暹罗跟踪算法无法适应突变运动目标的形变，难以有效提高跟踪鲁棒性的问题。本发明首先建立辨别增强记忆模型，该模型更新依据多峰样本评估收集的样本集和焦点损失度量，评估跟踪结果属于目标的概率，根据概率值调整跟踪方式。多峰样本评估策略依靠响应图在线收集难分负样本，焦点损失度量使网络训练时更加偏向于学习难分负样本，从内外两个方面提高记忆模型判别力。其次，在跟踪失败时，根据记忆模型响应引导断续时空约束抑制跟踪过程中固定时空约束对目标的干扰，提高最终响应图的置信度，从而实现更鲁棒性的跟踪性能。从而实现更鲁棒性的跟踪性能。从而实现更鲁棒性的跟踪性能。
技术研发人员：张焕龙 陈宜滨 张杰 章卓 李林伟 王凤仙 陈青华 赵彦春 高淼 陈富国
受保护的技术使用者：郑州轻工业大学
技术研发日：2022.05.16
技术公布日：2022/11/1
