本发明属于目标跟踪,尤其涉及一种基于图像处理的目标跟踪方法、系统及终端。
背景技术:
1、随着科技的发展,计算机视觉领域得到飞速发展。目标跟踪算法作为计算机视觉领域一项非常有挑战性的研究方向成为研究热点。目标跟踪算法在生活中应用广泛,主要应用在安防、比赛视频实时分析、无人机跟踪以及人机交互等众多领域。
2、现有技术提供的目标跟踪算法主要包括光流法、kalman、meanshift、相关滤波和深度学习算法等。在实际应用中,影响跟踪效果的因素主要包括环境光照变化、目标形变、目标遮挡和目标尺度变化等。
3、光流法算法在不依赖任何场景信息的情况下,能够准确地检测和识别运动目标的位置以实现目标跟踪。但其在光线变化或目标运动速度过快的情况下跟踪效果较差。
4、meanshift算法虽然可以实现多场景下较好的目标跟踪,但是当跟踪目标的尺寸发生变化时,不能进行自适应的跟踪。
5、相关滤波算法使用离散傅里叶变换来加速滤波器的计算,实现较快的运算速度。这使得相关滤波算法在实时目标跟踪和高清视频目标跟踪场景中应用广泛。但是其对遮挡敏感,当跟踪目标受到严重遮挡时,相关滤波算法出现目标丢失的概率。
6、目前主流复杂的目标跟踪算法跟踪精度高,但是算法复杂度也较高,实时性较差,在高清的实时视频流跟踪场景中处理速度不足。而简单的目标跟踪算法虽然在实时性上满足应用场景,但是在处理遮挡和目标尺度发生变化时,很容易会造成目标丢失的问题,整体的跟踪效果较差。
技术实现思路
1、本发明的目的在于提供一种基于图像处理的目标跟踪方法、系统及终端,可以解决在目标形变、遮挡及目标尺度发生变化时造成的目标丢失问题。
2、为了实现上述目的,本发明提供如下技术方案:
3、第一方面,本发明提供一种基于图像处理的目标跟踪方法,具有多个搜索周期,针对每一搜索周期均已知目标初始位置和目标大小,已知目标初始位置和目标大小,在每一搜索周期内目标跟踪方法均包括以下步骤:
4、s10.应用hog特征模板和灰度图模板对初始帧目标区域图像进行特征表示;
5、s11.获取下一帧图像灰度图,以目标初始位置为中心并结合经验值确定搜索区域;配置与目标大小一致的搜索框;确定搜索框在搜索区域内的起始点以及由多个搜索点构成的搜索路径,从起始点开始沿搜索路径遍历搜索区域;
6、s12.计算位于起始点和每一搜索点时的搜索框hog值和搜索框灰度特征;
7、s13.针对起始点和每一搜索点,确定其对应的搜索框hog值与hog特征模板之间的hog特征匹配系数,由多个hog特征匹配系数构成hog特征匹配系数矩阵,基于hog特征匹配系数矩阵确定hog特征匹配系数极大值及其对应的搜索点位置坐标;
8、s14.针对起始点和每一搜索点,确定搜索框灰度特征与灰度图模板之间的灰度特征匹配系数,由多个灰度特征匹配系数构成灰度特征匹配系数矩阵,基于灰度特征匹配系数矩阵确定灰度特征匹配系数极大值及其对应的搜索点位置坐标;
9、s15.判断上述两个搜索点位置坐标是否相等,如相等,则计算hog特征匹配系数极大值和灰度特征匹配系数极大值的最终匹配系数;否则,将hog特征匹配系数极大值和灰度特征匹配系数极大值中的最大值赋值给最终匹配系数,并记录其对应的位置坐标作为预测位置坐标;
10、s16.配置匹配系数阈值,基于最终匹配系数与匹配系数阈值的比较结果,确定是否输出预测位置坐标。
11、作为一种可能的实现方式,s10具体包括如下步骤:
12、s100.获取初始帧目标区域图像;
13、s101.灰度化处理初始帧目标区域图像,以获得初始帧目标区域灰度图;
14、s102.对初始帧目标区域灰度图进行空间下采样,获得初始帧目标区域多尺度灰度图;
15、s103.对初始帧目标区域多尺度灰度图进行hog特征提取,获得hog特征模板;
16、s104.将初始帧目标区域多尺度灰度图作为灰度图模板,以及hog特征模板存入模板库,以完成对初始帧目标区域图像的特征表示。
17、作为一种可能的实现方式,通过如下方法计算hog特征匹配系数极大值和灰度特征匹配系数极大值的最终匹配系数:
18、αmax=acmax+bpmax
19、其中,αmax为最终匹配系数,cmax为hog特征匹配系数极大值,pmax为灰度特征匹配系数极大值;a、b为加权系数,a+b=1。
20、作为一种可能的实现方式,s16具体包括:定义匹配系数阈值为αt,当αmax>αt时,输出预测位置坐标,并将预测位置坐标存入预测点库。
21、作为一种可能的实现方式,s16具体包括:定义匹配系数阈值为αt,当0.8*αt≤αmax≤αt时,输出预测位置坐标,并将预测位置坐标存入模板库。
22、作为一种可能的实现方式,定义匹配系数阈值为αt,当αmax<0.8*αt时,则进入记忆模式,应用位置递推方法确定预测位置坐标。
23、作为一种可能的实现方式,进入记忆模式后,执行如下步骤:
24、判断预测点库中预测点的点数,在点数大于或等于点数阈值的情况下,判断为符合预测条件,此时,执行位置递推预测,计算出搜索区域中最优匹配位置;在点数小于点数阈值的情况下,判断为不符合预测条件,此时,则输出上一时刻的最优匹配位置。
25、作为一种可能的实现方式,位置递推预测的具体方法为:
26、xn+1=cxn+d
27、yn+1=cyn+d
28、其中,(xn,yn)为上一时刻目标位置,(xn+1,yn+1)为预测的下一时刻目标位置;c、d为线性预测方程的系数。
29、第二方面,本发明提供一种基于图像处理的目标跟踪系统,包括:
30、特征表示单元,用于应用hog特征模板和灰度图模板对初始帧目标区域图像进行特征表示;
31、搜索单元,用于获取下一帧图像灰度图,以目标初始位置为中心并结合经验值确定搜索区域;配置与目标大小一致的搜索框;确定搜索框在搜索区域内的起始点以及由多个搜索点构成的搜索路径,从起始点开始沿所述搜索路径遍历搜索区域;
32、计算单元,用于计算位于起始点和每一搜索点时的搜索框hog值和搜索框灰度特征;
33、hog特征匹配系数确定单元,针对起始点和每一搜索点,确定其对应的搜索框hog值与hog特征模板之间的hog特征匹配系数,由多个hog特征匹配系数构成hog特征匹配系数矩阵,基于hog特征匹配系数矩阵确定hog特征匹配系数极大值及其对应的搜索点位置坐标;
34、灰度特征匹配系数确定单元,针对起始点和每一搜索点,确定搜索框灰度特征与灰度图模板之间的灰度特征匹配系数,由多个灰度特征匹配系数构成灰度特征匹配系数矩阵,基于灰度特征匹配系数矩阵确定灰度特征匹配系数极大值及其对应的搜索点位置坐标;
35、预测位置坐标确定单元,判断上述两个搜索点位置坐标是否相等,如相等,则计算hog特征匹配系数极大值和灰度特征匹配系数极大值的最终匹配系数;否则,将hog特征匹配系数极大值和灰度特征匹配系数极大值中的最大值赋值给最终匹配系数,并记录其对应的位置坐标作为预测位置坐标;
36、预测位置坐标输出单元,配置匹配系数阈值,基于最终匹配系数与匹配系数阈值的比较结果,确定是否输出预测位置坐标。
37、第三方面,本发明提供一种终端,包括处理器以及与处理器耦合的通信接口,处理器用于运行计算机程序或指令,以实现第一方面提供的基于图像处理的目标跟踪方法。
38、与现有技术相比,本发明具有如下效果:
39、1.本发明提出的基于图像处理的目标跟踪方法,采用模板库匹配加权机制,可以更精确的对目标进行跟踪,有效避免目标在径向运动时,目标失踪的问题。
40、2.本发明提出的基于图像处理的目标跟踪方法,采用模板库匹配加权机制和模板更新机制,可以很好的解决目标形变和尺度变化问题,能够实现对目标的高精度跟踪。
41、3.本发明提出的基于图像处理的目标跟踪方法,采用记忆模式下的位置递推预测,可以很好的解决由于遮挡或目标快速形变导致的目标丢失问题,整体跟踪效果较好。
1.一种基于图像处理的目标跟踪方法,具有多个搜索周期,针对每一搜索周期均已知目标初始位置和目标大小,其特征在于,在每一搜索周期内,所述目标跟踪方法均包括以下步骤:
2.根据权利要求1所述的基于图像处理的目标跟踪方法,所述s10具体包括如下步骤:
3.根据权利要求1所述的基于图像处理的目标跟踪方法,其特征在于,通过如下方法计算hog特征匹配系数极大值和灰度特征匹配系数极大值的最终匹配系数:
4.根据权利要求3所述的基于图像处理的目标跟踪方法,其特征在于,所述s16具体包括:定义匹配系数阈值为αt,当αmax>αt时,输出预测位置坐标,并将所述预测位置坐标存入预测点库。
5.根据权利要求3所述的基于图像处理的目标跟踪方法,其特征在于,所述s16具体包括:定义匹配系数阈值为αt,当0.8*αt≤αmax≤αt时,输出预测位置坐标,并将所述预测位置坐标存入模板库。
6.根据权利要求3所述的基于图像处理的目标跟踪方法,其特征在于,定义匹配系数阈值为αt,当αmax<0.8*αt时,则进入记忆模式,应用位置递推方法确定预测位置坐标。
7.根据权利要求6所述的基于图像处理的目标跟踪方法,其特征在于,进入记忆模式后,执行如下步骤:
8.根据权利要求7所述的基于图像处理的目标跟踪方法,其特征在于,位置递推预测的具体方法为:
9.一种基于图像处理的目标跟踪系统,其特征在于,所述目标跟踪系统包括:
10.一种终端,其特征在于,包括处理器以及与处理器耦合的通信接口,处理器用于运行计算机程序或指令,以实现权利要求1至8所述的基于图像处理的目标跟踪方法。