1.本发明涉及计算机视觉领域，尤其是涉及一种基于多目标追踪算法的球员跟踪与持球人识别方法、装置及存储介质。
背景技术：2.随着全民运动的不断发展，篮球也成为最受欢迎的运动之一。越来越多的人投入到篮球运动中，并且想要录制并留下自己的投篮高光时刻。但是，如果仅依靠人力对视频进行剪辑，不仅耗费时间长，还容易遗漏高光时刻，因此，利用算法对篮球场上的运动员进行识别和跟踪，为高光视频的自动化剪辑提供跟踪基础具有非常广阔的应用前景。
3.目前视频处理中主流的持球人的检测方法依赖于对球员的动作识别。cn112001324a公开了一种篮球比赛视频的球员动作识别方法，基于球员的检测框和最后一层特征图的特征向量，输入到关系提取网络中得到特征矩阵；基于线性前馈运算网络降维，根据降维后的特征矩阵进行球员动作的识别。该方法虽然通过特征提取和降维实现了球员的动作识别，一定程度上提高了识别速度，但是在运动员部分被遮挡时会出现效果不理想的情况，导致检测精度下降，并且需要对视频中的每一帧都进行球员识别追踪和相应球员的动作识别检测，不仅会耗费大量的时间，还对设备的计算能力有很高的要求。
技术实现要素：4.本发明的目的就是为了提供一种基于多目标追踪算法的球员跟踪与持球人识别方法，可以提高检测效率，并稳定地识别球场上的持球人。
5.本发明的目的可以通过以下技术方案来实现：
6.一种基于多目标追踪算法的球员跟踪与持球人识别方法，包括以下步骤：
7.对相机的内参和外参进行标定，得到相机内参参数和相机外参参数，其中，所述相机外参参数基于真实坐标系和相机视角下的球场坐标系标定得到；
8.获取相机拍摄的视频帧；
9.对视频帧基于多目标追踪模型和人体骨骼关键点检测模型进行球员检测，得到球员信息，其中，所述球员信息包括球员id、球员图像特征向量、球员检测框、球员人体骨骼关键点位姿估计矩阵；
10.确定球员人体骨骼关键点位姿估计矩阵中的双脚关键点的图像坐标，其中，所述图像坐标为相机视角下的球场坐标系中的坐标；
11.基于相机外参参数将双脚关键点的图像坐标转换到真实坐标系中，确定双脚关键点在真实坐标系下的三维坐标；
12.基于双脚关键点在真实坐标系下的三维坐标判断是否球员在目标场地内，若是，则将当前双脚关键点对应的球员标记为在场球员，否则，标记为非在场球员并过滤；
13.获取视频帧首帧中的在场球员的球员信息；
14.基于视频帧首帧中的在场球员的球员信息建立跟踪队列和卡尔曼滤波器，并进行
初始化，其中，所述跟踪队列中设有多个跟踪器，一个跟踪器对应一个球员信息；
15.基于卡尔曼滤波器建立跟踪对象位置信息的匀速变化模型，所述跟踪对象为在场球员，跟踪对象位置信息为在场球员的球员信息中检测框的大小和所处位置；
16.保存跟踪对象的匀速变化模型、球员信息至跟踪队列；
17.获取视频帧最新一帧中的在场球员的球员信息，作为待匹配目标；
18.基于球员信息确定待匹配目标与跟踪队列中保存的跟踪对象的代价矩阵；
19.基于匈牙利算法对代价矩阵进行匹配；
20.判断是否匹配成功，若匹配成功，更新跟踪器中的球员信息和卡尔曼滤波器的参数，若匹配失败，则进行iou匹配；
21.判断iou匹配是否匹配成功，若iou匹配成功，更新跟踪器中的球员信息和卡尔曼滤波器的参数，若iou匹配失败，判断是待匹配目标匹配失败还是跟踪对象匹配失败，
22.若是跟踪对象匹配失败，则判断执行时间是否超过预配置的时间阈值，若超过，则删除跟踪对象，否则，保留跟踪对象并进行下一次基于匈牙利算法的匹配判断；
23.若是待匹配目标匹配失败，则判断置信度是否大于第一置信度阈值，若是，则将匹配失败的待匹配目标作为新的跟踪对象加入跟踪队列，若否，删除待匹配目标，其中，所述置信度基于跟踪对象位置信息与卡尔曼滤波器预测的位置信息差异值确定，差异值越大，置信度越低；
24.实时更新跟踪队列实现在场球员的跟踪；
25.基于篮球场事件确定时间窗口，获取所述时间窗口内的视频帧；
26.确定当前帧球员人体骨骼关键点位姿估计矩阵中手部关键点和篮球检测框中心的球手距离，所述篮球检测框基于篮球检测模型得到；
27.计算球手距离与篮球半径的比值；
28.判断球手距离与篮球半径的比值是否小于预配置的距离阈值，若小于，则计一次得分，否则不得分；
29.遍历当前时间窗口内的所有视频帧，对每个球员的得分进行累加，确定每个球员的总得分，并基于总得分确定持球人候选人；
30.计算当前时间窗口内持球人候选人球手距离与篮球半径的比值的平均值，将所述平均值最小的持球人候选人标记为持球人。
31.所述相机内参参数包括畸变系数、内参矩阵；所述相机外参参数包括旋转向量、位移向量、投影矩阵、单应变化矩阵。
32.所述球员人体骨骼关键点共计18个。
33.所述球员人体骨骼关键点中的双脚关键点位于左脚和右脚的前脚掌，手部关键点位于左手和右手的手腕。
34.所述代价矩阵基于待匹配目标和跟踪对象的人体骨骼关键点位姿估计矩阵中的人体骨骼关键点相对位置变化值和图像特征向量差异值加权平均得到。
35.所述代价矩阵中置信度低于第二置信度阈值的匹配项代价值被设为无穷大。
36.所述更新跟踪器中的球员信息包括基于迭代的方式更新球员图像特征向量，所述更新球员图像特征向量的更新规则为：更新后的球员图像特征向量＝0.9*跟踪队列中保存的球员图像特征向量+0.1*最新一帧中的球员图像特征向量。
37.所述更新跟踪器中的球员信息包括更新球员id，所述更新球员id为延续跟踪对象的球员id，丢弃待匹配目标的球员id。
38.一种基于多目标追踪算法的球员跟踪与持球人识别装置，包括存储器、处理器，以及存储于所述存储器中的程序，所述处理器执行所述程序时实现如上述所述的方法。
39.一种存储介质，其上存储有程序，所述程序被执行时实现如上述所述的方法。
40.与现有技术相比，本发明具有以下有益效果：
41.(1)本发明利用篮球半径与手球距离的比值，实现了球场上持球人的识别，，提升了识别效果，无需对每一帧视频帧进行识别，简化了识别的复杂度，缩短了检测视频所用时间，提高了检测速度和检测效率。
42.(2)本发明利用双目视觉，解决了在单目相机中因为遮挡而产生的追踪不稳定的问题，提高了跟踪的持续性。
附图说明
43.图1为本发明的方法流程图。
具体实施方式
44.下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
45.一种基于多目标追踪算法的球员跟踪与持球人识别方法，如图1所示，包括以下步骤：
46.步骤1)对相机的内参和外参进行标定，得到相机内参参数和相机外参参数，其中，所述相机外参参数基于真实坐标系和相机视角下的球场坐标系标定得到。
47.所述相机内参参数包括畸变系数、内参矩阵；所述相机外参参数包括旋转向量、位移向量、投影矩阵、单应变化矩阵。
48.步骤2)获取相机拍摄的视频帧。
49.步骤3)对视频帧基于多目标追踪模型mot和人体骨骼关键点检测模型skeleton进行球员检测，得到球员信息。
50.球员信息包括球员id、球员图像特征向量、球员检测框、球员人体骨骼关键点位姿估计矩阵。球员人体骨骼关键点位姿估计矩阵存储着球员人体骨骼关键点的位置信息，球员人体骨骼关键点共计18个，其中，双脚关键点位于左脚和右脚的前脚掌，手部关键点位于左手和右手的手腕。
51.步骤4)确定球员人体骨骼关键点位姿估计矩阵中的双脚关键点的图像坐标，其中，所述图像坐标为相机视角下的球场坐标系中的坐标。
52.步骤5)基于相机外参参数将双脚关键点的图像坐标转换到真实坐标系中，确定双脚关键点在真实坐标系下的三维坐标。
53.步骤6)基于双脚关键点在真实坐标系下的三维坐标判断是否球员在目标场地(即篮球场)内，若是，则将当前双脚关键点对应的球员标记为在场球员，否则，标记为非在场球员并过滤。
54.步骤7)获取视频帧首帧中的在场球员的球员信息。
55.步骤8)基于视频帧首帧中的在场球员的球员信息建立跟踪队列和卡尔曼滤波器，并进行初始化，其中，所述跟踪队列中设有多个跟踪器，一个跟踪器对应一个球员信息。
56.步骤9)基于卡尔曼滤波器建立跟踪对象位置信息的匀速变化模型，所述跟踪对象为在场球员，跟踪对象位置信息为在场球员的球员信息中检测框的大小和所处位置。
57.步骤10)保存跟踪对象的匀速变化模型、球员信息至跟踪队列。
58.步骤11)获取视频帧最新一帧中的在场球员的球员信息，作为待匹配目标。
59.步骤12)基于球员信息确定待匹配目标与跟踪队列中保存的跟踪对象的代价矩阵。
60.代价矩阵基于待匹配目标和跟踪对象的人体骨骼关键点位姿估计矩阵中的人体骨骼关键点相对位置变化值和图像特征向量差异值加权平均得到。
61.代价矩阵中置信度低于人为设置的较低置信度阈值的匹配项代价值被设为无穷大，确保该代价值代表的匹配项不会匹配成功。所述置信度基于跟踪对象位置信息与卡尔曼滤波器预测的位置信息差异值确定，差异值越大，置信度越低。
62.步骤13)基于匈牙利算法对代价矩阵进行匹配并判断是否匹配成功，若匹配成功，更新跟踪器中的球员信息和卡尔曼滤波器的参数，若匹配失败，则进行iou匹配，即匹配对象的图像区域的交并比。
63.步骤14)判断iou匹配是否匹配成功，若iou匹配成功，更新跟踪器中的球员信息和卡尔曼滤波器的参数，若iou匹配失败，判断是待匹配目标匹配失败还是跟踪对象匹配失败，
64.若是跟踪对象匹配失败，则判断执行时间是否超过预配置的时间阈值，若超过，则删除跟踪对象，否则，保留跟踪对象并进行下一次基于匈牙利算法的匹配判断；
65.若是待匹配目标匹配失败，则判断置信度是否大于人为设置的较高置信度阈值，若是，则将匹配失败的待匹配目标作为新的跟踪对象加入跟踪队列，若否，删除待匹配目标。
66.步骤13)与步骤14)中更新跟踪器中的球员信息包括：
67.(1)基于迭代的方式更新球员图像特征向量，所述更新球员图像特征向量的更新规则为：更新后的球员图像特征向量＝0.9*跟踪队列中保存的球员图像特征向量+0.1*最新一帧中的球员图像特征向量。
68.(2)更新球员id，延续跟踪对象的球员id，丢弃待匹配目标的球员id。
69.(3)更新球员人体骨骼关键点位姿估计矩阵。
70.步骤15)实时更新跟踪队列实现在场球员的跟踪，其中所述跟踪队列输出的信息包括：
①
球员id，
②
球员图像特征向量，
③
球员人体骨骼关键点位姿估计矩阵，
④
球员检测框，包括检测框的位置和检测框大小。
71.步骤1)-步骤15)实现了在场球员的判断和实时跟踪。
72.步骤16)基于投球或进球事件的发生确定一个时间窗口，通常取8-10帧，获取所述时间窗口内的视频帧。
73.步骤17)确定当前帧球员人体骨骼关键点位姿估计矩阵中手部关键点和篮球检测框中心的球手距离，所述篮球检测框基于篮球检测模型得到，由于手部关键点有两个，分别
位于左手手腕和右手手腕，所以球手距离确定为左手关键点和右手关键点中与篮球框中心距离较短的距离。
74.步骤17)计算球手距离与篮球半径的比值。
75.由于单相机缺乏尺度信息，所以同时需要记录当前时间窗口内篮球对象的平均半径，将球手距离用球手距离和篮球半径的比值进行替代。
76.步骤18)判断球手距离与篮球半径的比值是否小于设置的距离阈值(一般为篮球半径的4-5倍)，若小于，则计一次得分，否则不得分。
77.步骤19)遍历当前时间窗口内的所有视频帧，对每个球员的得分进行累加，确定每个球员的总得分，并对得分进行从高到低的排序，选择排名前五的球员作为持球人候选人。
78.步骤20)计算当前时间窗口内持球人候选人球手距离与篮球半径的比值的平均值，将所述平均值最小的持球人候选人标记为持球人。
79.以上步骤序号不对步骤执行顺序进行限定。
80.上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
81.以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依据本发明的构思在现有技术的基础上通过逻辑分析、推理、或者有限的实验可以得到的技术方案，皆应在权利要求书所确定的保护范围内。
技术特征：1.一种基于多目标追踪算法的球员跟踪与持球人识别方法，其特征在于，包括以下步骤：对相机的内参和外参进行标定，得到相机内参参数和相机外参参数，其中，所述相机外参参数基于真实坐标系和相机视角下的球场坐标系标定得到；获取相机拍摄的视频帧；对视频帧基于多目标追踪模型和人体骨骼关键点检测模型进行球员检测，得到球员信息，其中，所述球员信息包括球员id、球员图像特征向量、球员检测框、球员人体骨骼关键点位姿估计矩阵；确定球员人体骨骼关键点位姿估计矩阵中的双脚关键点的图像坐标，其中，所述图像坐标为相机视角下的球场坐标系中的坐标；基于相机外参参数将双脚关键点的图像坐标转换到真实坐标系中，确定双脚关键点在真实坐标系下的三维坐标；基于双脚关键点在真实坐标系下的三维坐标判断是否球员在目标场地内，若是，则将当前双脚关键点对应的球员标记为在场球员，否则，标记为非在场球员并过滤；获取视频帧首帧中的在场球员的球员信息；基于视频帧首帧中的在场球员的球员信息建立跟踪队列和卡尔曼滤波器，并进行初始化，其中，所述跟踪队列中设有多个跟踪器，一个跟踪器对应一个球员信息；基于卡尔曼滤波器建立跟踪对象位置信息的匀速变化模型，所述跟踪对象为在场球员，跟踪对象位置信息为在场球员的球员信息中检测框的大小和所处位置；保存跟踪对象的匀速变化模型、球员信息至跟踪队列；获取视频帧最新一帧中的在场球员的球员信息，作为待匹配目标；基于球员信息确定待匹配目标与跟踪队列中保存的跟踪对象的代价矩阵；基于匈牙利算法对代价矩阵进行匹配；判断是否匹配成功，若匹配成功，更新跟踪器中的球员信息和卡尔曼滤波器的参数，若匹配失败，则进行iou匹配；判断iou匹配是否匹配成功，若iou匹配成功，更新跟踪器中的球员信息和卡尔曼滤波器的参数，若iou匹配失败，判断是待匹配目标匹配失败还是跟踪对象匹配失败，若是跟踪对象匹配失败，则判断执行时间是否超过预配置的时间阈值，若超过，则删除跟踪对象，否则，保留跟踪对象并进行下一次基于匈牙利算法的匹配判断；若是待匹配目标匹配失败，则判断置信度是否大于第一置信度阈值，若是，则将匹配失败的待匹配目标作为新的跟踪对象加入跟踪队列，若否，删除待匹配目标，其中，所述置信度基于跟踪对象位置信息与卡尔曼滤波器预测的位置信息差异值确定，差异值越大，置信度越低；实时更新跟踪队列实现在场球员的跟踪；基于篮球场事件确定时间窗口，获取所述时间窗口内的视频帧；确定当前帧球员人体骨骼关键点位姿估计矩阵中手部关键点和篮球检测框中心的球手距离，所述篮球检测框基于篮球检测模型得到；计算球手距离与篮球半径的比值；判断球手距离与篮球半径的比值是否小于预配置的距离阈值，若小于，则计一次得分，
否则不得分；遍历当前时间窗口内的所有视频帧，对每个球员的得分进行累加，确定每个球员的总得分，并基于总得分确定持球人候选人；计算当前时间窗口内持球人候选人球手距离与篮球半径的比值的平均值，将所述平均值最小的持球人候选人标记为持球人。2.根据权利要求1所述的一种基于多目标追踪算法的球员跟踪与持球人识别方法，其特征在于，所述相机内参参数包括畸变系数、内参矩阵；所述相机外参参数包括旋转向量、位移向量、投影矩阵、单应变化矩阵。3.根据权利要求1所述的一种基于多目标追踪算法的球员跟踪与持球人识别方法，其特征在于，所述球员人体骨骼关键点共计18个。4.根据权利要求3所述的一种基于多目标追踪算法的球员跟踪与持球人识别方法，其特征在于，所述球员人体骨骼关键点中的双脚关键点位于左脚和右脚的前脚掌，手部关键点位于左手和右手的手腕。5.根据权利要求1所述的一种基于多目标追踪算法的球员跟踪与持球人识别方法，其特征在于，所述代价矩阵基于待匹配目标和跟踪对象的人体骨骼关键点位姿估计矩阵中的人体骨骼关键点相对位置变化值和图像特征向量差异值加权平均得到。6.根据权利要求5所述的一种基于多目标追踪算法的球员跟踪与持球人识别方法，其特征在于，所述代价矩阵中置信度低于第二置信度阈值的匹配项代价值被设为无穷大。7.根据权利要求1所述的一种基于多目标追踪算法的球员跟踪与持球人识别方法，其特征在于，所述更新跟踪器中的球员信息包括基于迭代的方式更新球员图像特征向量，所述更新球员图像特征向量的更新规则为：更新后的球员图像特征向量＝0.9*跟踪队列中保存的球员图像特征向量+0.1*最新一帧中的球员图像特征向量。8.根据权利要求1所述的一种基于多目标追踪算法的球员跟踪与持球人识别方法，其特征在于，所述更新跟踪器中的球员信息包括更新球员id，所述更新球员id为延续跟踪对象的球员id，丢弃待匹配目标的球员id。9.一种基于多目标追踪算法的球员跟踪与持球人识别装置，包括存储器、处理器，以及存储于所述存储器中的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8中任一所述的方法。10.一种存储介质，其上存储有程序，其特征在于，所述程序被执行时实现如权利要求1-8中任一所述的方法。
技术总结本发明涉及一种球员跟踪与持球人识别方法、装置及存储介质，其中方法包括：相机标定；获取视频帧；基于多目标追踪模型和人体骨骼关键点检测模型进行球员检测；基于双脚关键点标记在场球员；获取视频帧首帧中的球员信息；建立跟踪队列和卡尔曼滤波器；建立跟踪对象位置信息的匀速变化模型；保存匀速变化模型、球员信息至跟踪队列；获取视频帧最新一帧中的球员信息，作为待匹配目标；确定代价矩阵；基于匈牙利算法对代价矩阵进行匹配；基于匹配结果更新跟踪队列实现在场球员的跟踪；基于球手距离与篮球半径的比值得分确定持球人候选人；基于比值的平均值确定持球人。与现有技术相比，本发明具有检测快速、追踪稳定等优点。追踪稳定等优点。追踪稳定等优点。
技术研发人员：董延超 李昀 周昕
受保护的技术使用者：同济大学
技术研发日：2022.07.08
技术公布日：2022/11/1
