1.本发明涉及计算机视觉领域，尤其是涉及一种篮球跟踪与主球标记方法、装置及存储介质。
背景技术：2.随着全民运动的不断发展，篮球也成为最受欢迎的运动之一。越来越多的人投入到篮球运动中，并且想要录制并留下自己的投篮高光时刻。但很多时候，球场上有多个不同状态下的篮球，相关的软件无法对主球进行有效的甄别，就会出现剪辑效果不理想的状态。这个时候如果采用传统的人工对篮球分析和剪辑，需要依靠大量的人力和精力，并且容易因为注意力分散而忽略某些重要的时刻。因此，使用算法对主球(即篮球场中的比赛用球)进行检测，并对主球进行稳定的跟踪，实现自动化比赛用球区分具有非常广阔的应用前景。
3.使用算法对主球进行识别与追踪时，主要存在以下几个问题：
4.(1)当篮球在一台相机中被遮挡，另一台相机失去识别主球能力，并停止主球的跟踪。
5.(2)主球的跟踪因为遮挡不能保持连续跟踪。
6.(3)篮球场地内有多个运动的篮球时，出现主球匹配错误的情况。
技术实现要素：7.本发明的目的就是为了提供一种篮球跟踪与主球标记方法，实现稳定、持续的篮球跟踪，区分篮球场馆内篮球的运动状态并基于其位置信息实现主球标记。
8.本发明的目的可以通过以下技术方案来实现：
9.一种篮球跟踪与主球标记方法，包括以下步骤：
10.对相机的内参和外参进行标定，得到相机内参参数和相机外参参数，其中，所述相机外参参数基于真实坐标系和相机视角下的球场坐标系标定得到；
11.获取多台相机在同一时刻同步拍摄得到的多个篮球视频帧，其中，一台相机对应一个篮球视频帧；
12.建立多个单相机跟踪队列，所述单相机跟踪队列用于存储一台相机中跟踪的篮球对象，单相机跟踪队列的数量与相机数量相同；
13.基于单相机跟踪队列对每一个篮球视频帧建立单相机的篮球跟踪，所述基于单相机跟踪队列对每一个篮球视频帧建立单相机的篮球跟踪包括以下步骤：对一个篮球视频帧，利用篮球检测模型检测篮球视频帧中最新一帧的篮球对象；基于最新一帧的篮球对象和对应的单相机跟踪队列中存储的篮球对象之间的距离信息，确定邻接矩阵；判断邻接矩阵中的元素是否超过第一距离阈值，若是，则丢弃最新一帧的篮球对象，若否，则基于最大二分匹配原则对邻接矩阵进行处理，得到单相机的篮球匹配结果；若单相机的篮球匹配结果为匹配成功，则将单相机跟踪队列中存储的篮球对象更新为最新一帧的篮球对象；若单相机的篮球匹配结果为匹配失败，则判断匹配失败是未匹配到跟踪队列中存储的篮球对象
的匹配结果还是未匹配到最新一帧的篮球对象的匹配结果，若为未匹配到跟踪队列中存储的篮球对象的匹配结果，则删除跟踪队列中存储的篮球对象，若为未匹配到最新一帧的篮球对象的匹配结果，则将最新一帧的篮球对象作为新识别的跟踪对象加入跟踪队列；
14.对于单相机的篮球跟踪中持续跟踪的篮球对象，计算预配置时间窗口内所述篮球对象距离信息变化的平均值，判断所述平均值是否超过第二距离阈值，若是，则将所述持续跟踪的篮球对象标记为运动状态，若否，则将所述持续跟踪的篮球对象标记为静止状态，其中，所述持续跟踪的篮球对象是指单相机的篮球匹配结果为匹配成功的篮球对象；
15.基于相机的内参参数和外参参数，确定所有标记为运动状态的篮球对象在不同相机视角中的投影误差和，得到误差矩阵，其中，每两台相机确定一个误差矩阵；
16.基于最大二分匹配原则对误差矩阵进行处理，得到多相机的篮球匹配结果，若匹配成功则基于双目视差法对篮球在相机视角下的球场坐标系中的图像坐标进行深度估计，若匹配失败，则丢弃对象；
17.基于相机外参参数将深度估计结果转换到真实坐标系中，确定篮球对象在真实坐标系中的三维坐标；
18.基于篮球对象在真实坐标系下的三维坐标判断所述篮球对象是否在目标场地中，若是，标记为主球，若否，标注为非主球。
19.所述相机内参参数包括畸变系数、内参矩阵；所述相机外参参数包括旋转向量、位移向量、投影矩阵、单应变化矩阵。
20.所述相机外参参数基于以下步骤获得：
21.建立篮球场的真实坐标系；
22.基于篮球场中的划线确定参考点；
23.基于ransac算法和pnp算法确定相机位姿初始值；
24.基于非线性最小二乘法，利用参考点和相机位姿初始值，求解相机相对真实坐标系的位姿，得到相机外参参数中的旋转向量、位移向量、投影矩阵；
25.计算参考点在相机视角下的球场坐标系中的图像坐标转换为真实坐标系中坐标的变换参数，得到相机外参参数中的单应变化矩阵。
26.所述距离信息包括检测框长宽、位置变化信息，其中，所述检测框基于篮球检测模型得到，一个检测框对应一个篮球对象。
27.所述最大二分匹配原则为基于匹配值最小原理，对矩阵中的每行或每列元素进行匹配，匹配结果为每行或每列至多存在一个匹配值，使得矩阵中所有匹配值的相加之和最小。
28.所述第二距离阈值为篮球半径的五分之一。
29.所述投影误差和基于极线矫正原理得到，具体为：基于三点平面和经过矫正的相机平面的交线确定极线，其中，所述三点平面为篮球中心点、两台相机中心点确定的平面，所述相机平面的矫正过程为通过旋转矩阵矫正初始相机平面，使得两台相机的相机平面平行且极线水平；第a台相机视角中的第i个篮球对象中心点与第b台相机极线的投影的距离为投影误差第a台相机的极线与第b台相机视角中的第j个篮球对象中心点的投影的距离为投影误差则第a台相机视角中的第i个篮球对象与第b台相机视角中的第j个篮球
对象的投影误差和
30.所述误差矩阵为：
[0031][0032]
其中，为在第a台相机视角中的第i个篮球对象和第b台相机视角中的第j个篮球对象的投影误差和，adj
ab
为第a台相机和第b台相机的误差矩阵。
[0033]
一种篮球跟踪与主球标记装置，包括存储器、处理器，以及存储于所述存储器中的程序，所述处理器执行所述程序时实现如上述所述的方法。
[0034]
一种存储介质，其上存储有程序，所述程序被执行时实现如上述所述的方法。
[0035]
与现有技术相比，本发明具有以下有益效果：
[0036]
(1)本发明利用场上立体参考物和活动对象对相机外参进行标定，解决了相机外参标定z方向不精确问题，提升了标定效果。
[0037]
(2)本发明基于最大二分匹配对多个相机中的篮球进行匹配，在篮球被遮挡情况下仍能实现稳定、持续的篮球跟踪，检测稳定，检测精度高。
[0038]
(3)基于篮球的运动状态与其所处的位置，实现主球判断和标记，解决了篮球场地内有多个运动的篮球时出现的主球匹配错误问题。
附图说明
[0039]
图1为本发明的方法流程图。
具体实施方式
[0040]
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
[0041]
一种篮球跟踪与主球标记方法，如图1所示，包括以下步骤：
[0042]
步骤1)对相机的内参和外参进行标定，得到相机内参参数和相机外参参数。
[0043]
首先对相机的内参进行标定，相机内参参数包括畸变系数、内参矩阵。
[0044]
在相机内参的基础上标定相机外参，相机外参参数包括旋转向量、位移向量、投影矩阵、单应变化矩阵。
[0045]
首先，建立篮球场的真实坐标系，以正对篮筐的球场左下角作为坐标原点，以底线为x轴，边线为y轴，建立坐标系(单位：cm)。其中，篮球场以标准篮球场作为参考，标准篮球场中的划线有着一定的宽度(5cm)，区分度较高，且划线的位置与尺寸都为标准值，因此可以从划线中选出一定数目的角点作为在真实坐标系中的参考点。标识出参考点在不同相机视角下的球场坐标系中的图像坐标，基于ransac算法和pnp算法确定相机位姿初始值，利用所有的inliers通过非线性最小二乘法(gaussian-newton法)优化求解相对真实坐标系的位姿，得到相机外参参数中的旋转向量、位移向量、投影矩阵。计算参考点在相机视角下的球场坐标系中的图像坐标转换为真实坐标系中坐标的变换参数，得到相机外参参数中的单
应变化矩阵。
[0046]
关于获取相机视角下的球场坐标系中的图像坐标和相机外参参数之间的对应关系有如下几种方法：
[0047]
1、参考物配对关系，依靠手动选取球场参考点和相机视角下的球场坐标系中的图像坐标。
[0048]
2、对相机拍摄的图像进行锐化和边缘检测，进行角点检测并提取对应参考点坐标，和实际球场标志点进行配对，利用ransac算法求解相机外参参数，其中每4个参考点可以确定一组外参。
[0049]
3、基于篮球场上的刻线都为白色的事实，对相机拍摄的图像进行颜色特征提取，利用pnl算法进行线段的匹配和相机外参参数外参求解。
[0050]
针对相机外参标定z方向不精确问题，利用场上立体参考物和活动对象进行标定来提升标定效果，其中立体参考物可以选择篮筐和篮板处的标志点，活动对象可以选择通过同步拍摄的相机获取到的同一帧图像中活动的单个篮球目标，根据相机模型构建对应关系，并利用图模型对外参进行求解。
[0051]
步骤2)获取多台相机在同一时刻同步拍摄得到的多个篮球视频帧，其中，一台相机对应一个篮球视频帧。
[0052]
步骤3)建立多个单相机跟踪队列，所述单相机跟踪队列用于存储一台相机中跟踪的篮球对象，单相机跟踪队列的数量与相机数量相同。
[0053]
步骤4)基于单相机跟踪队列对每一个篮球视频帧建立单相机的篮球跟踪。
[0054]
步骤4-1)对一个篮球视频帧，利用篮球检测模型检测篮球视频帧中最新一帧的篮球对象，其中，篮球检测模型基于yolo网络建立，完成检测后对篮球视频帧中检测到的篮球对象使用检测框进行标记，一个检测框对应一个篮球对象；
[0055]
步骤4-2)基于最新一帧的篮球对象和对应的单相机跟踪队列中存储的篮球对象之间的距离信息，确定邻接矩阵，其中，所述距离信息包括检测框长宽、位置变化信息；
[0056]
步骤4-3)判断邻接矩阵中的元素是否超过第一距离阈值，
[0057]
若是，则表明匹配必定不成功，丢弃最新一帧的篮球对象，
[0058]
若否，则基于最大二分匹配原则对邻接矩阵进行处理，得到单相机的篮球匹配结果；
[0059]
其中，所述最大二分匹配原则为基于匹配值最小原理，对矩阵中的每行或每列距离信息进行匹配，匹配结果为每行或每列至多存在一个距离信息，使得矩阵中所有匹配成功的距离信息相加之和最小；
[0060]
步骤4-4)若单相机的篮球匹配结果为匹配成功，则将单相机跟踪队列中存储的篮球对象更新为最新一帧的篮球对象；
[0061]
若单相机的篮球匹配结果为匹配失败，则判断匹配失败是未匹配到跟踪队列中存储的篮球对象的匹配结果还是未匹配到最新一帧的篮球对象的匹配结果，
[0062]
若为未匹配到跟踪队列中存储的篮球对象的匹配结果，则删除跟踪队列中存储的篮球对象，若为未匹配到最新一帧的篮球对象的匹配结果，则将最新一帧的篮球对象作为新识别的跟踪对象加入跟踪队列。
[0063]
步骤5)对于单相机的篮球跟踪中持续跟踪的篮球对象，计算预配置时间窗口内所
述篮球对象距离信息变化的平均值，其中，所述持续跟踪的篮球对象是指单相机的篮球匹配结果为匹配成功的篮球对象。
[0064]
步骤6)判断步骤5)所述平均值是否超过第二距离阈值，若是，则将所述持续跟踪的篮球对象标记为运动状态，若否，则将所述持续跟踪的篮球对象标记为静止状态。
[0065]
所述第二距离阈值为篮球半径的五分之一。
[0066]
步骤2)-步骤6)为篮球跟踪以及对篮球运动状态进行标记的实现步骤，其中，对篮球进行运动状态进行标记作为主球标记的前置性步骤，即主球标记仅针对标记为运动状态的篮球。步骤7)-步骤10)为主球标记的实现步骤。
[0067]
步骤7)基于相机的内参参数和外参参数，确定所有标记为运动状态的篮球对象在不同相机视角中的投影误差和，得到误差矩阵，其中，每两台相机确定一个误差矩阵。
[0068]
所述投影误差和基于极线矫正原理得到，具体为：基于三点平面和经过矫正的相机平面的交线确定极线，其中，所述三点平面为篮球中心点、两台相机中心点确定的平面，所述相机平面的矫正过程为通过旋转矩阵矫正初始相机平面，使得两台相机的相机平面平行且极线水平；第a台相机视角中的第i个篮球对象中心点与第b台相机极线的投影的距离为投影误差第a台相机的极线与第b台相机视角中的第j个篮球对象中心点的投影的距离为投影误差则第a台相机视角中的第i个篮球对象与第b台相机视角中的第j个篮球对象的投影误差和
[0069]
所述误差矩阵为：
[0070][0071]
其中，为在第a台相机视角中的第i个篮球对象和第b台相机视角中的第j个篮球对象的投影误差和，adj
ab
为第a台相机和第b台相机的误差矩阵。
[0072]
步骤8)基于最大二分匹配原则对误差矩阵进行处理，得到多相机的篮球匹配结果，若匹配成功则基于双目视差法对篮球在相机视角下的球场坐标系中的图像坐标进行深度估计，若匹配失败，则丢弃对象，
[0073]
其中，所述最大二分匹配原则为基于匹配值最小原理，对矩阵中的每行或每列投影误差和进行匹配，匹配结果为每行或每列至多存在一个投影误差和，使得矩阵中所有匹配成功的投影误差和相加之和最小；
[0074]
步骤9)基于相机外参参数将深度估计结果转换到真实坐标系中，确定篮球对象在真实坐标系中的三维坐标。
[0075]
步骤10)基于篮球对象在真实坐标系下的三维坐标判断所述篮球对象是否在目标场地中，若是，则表明该篮球对象处于篮球场中，且处于运动状态，标记为主球，若否，标注为非主球。
[0076]
以上步骤序号不对步骤执行顺序进行限定。
[0077]
上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说
对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0078]
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依据本发明的构思在现有技术的基础上通过逻辑分析、推理、或者有限的实验可以得到的技术方案，皆应在权利要求书所确定的保护范围内。
技术特征：1.一种篮球跟踪与主球标记方法，其特征在于，包括以下步骤：对相机的内参和外参进行标定，得到相机内参参数和相机外参参数，其中，所述相机外参参数基于真实坐标系和相机视角下的球场坐标系标定得到；获取多台相机在同一时刻同步拍摄得到的多个篮球视频帧，其中，一台相机对应一个篮球视频帧；建立多个单相机跟踪队列，所述单相机跟踪队列用于存储一台相机中跟踪的篮球对象，单相机跟踪队列的数量与相机数量相同；基于单相机跟踪队列对每一个篮球视频帧建立单相机的篮球跟踪，所述基于单相机跟踪队列对每一个篮球视频帧建立单相机的篮球跟踪包括以下步骤：对一个篮球视频帧，利用篮球检测模型检测篮球视频帧中最新一帧的篮球对象；基于最新一帧的篮球对象和对应的单相机跟踪队列中存储的篮球对象之间的距离信息，确定邻接矩阵；判断邻接矩阵中的元素是否超过第一距离阈值，若是，则丢弃最新一帧的篮球对象，若否，则基于最大二分匹配原则对邻接矩阵进行处理，得到单相机的篮球匹配结果；若单相机的篮球匹配结果为匹配成功，则将单相机跟踪队列中存储的篮球对象更新为最新一帧的篮球对象；若单相机的篮球匹配结果为匹配失败，则判断匹配失败是未匹配到跟踪队列中存储的篮球对象的匹配结果还是未匹配到最新一帧的篮球对象的匹配结果，若为未匹配到跟踪队列中存储的篮球对象的匹配结果，则删除跟踪队列中存储的篮球对象，若为未匹配到最新一帧的篮球对象的匹配结果，则将最新一帧的篮球对象作为新识别的跟踪对象加入跟踪队列；对于单相机的篮球跟踪中持续跟踪的篮球对象，计算预配置时间窗口内所述篮球对象距离信息变化的平均值，判断所述平均值是否超过第二距离阈值，若是，则将所述持续跟踪的篮球对象标记为运动状态，若否，则将所述持续跟踪的篮球对象标记为静止状态，其中，所述持续跟踪的篮球对象是指单相机的篮球匹配结果为匹配成功的篮球对象；基于相机的内参参数和外参参数，确定所有标记为运动状态的篮球对象在不同相机视角中的投影误差和，得到误差矩阵，其中，每两台相机确定一个误差矩阵；基于最大二分匹配原则对误差矩阵进行处理，得到多相机的篮球匹配结果，若匹配成功则基于双目视差法对篮球在相机视角下的球场坐标系中的图像坐标进行深度估计，若匹配失败，则丢弃对象；基于相机外参参数将深度估计结果转换到真实坐标系中，确定篮球对象在真实坐标系中的三维坐标；基于篮球对象在真实坐标系下的三维坐标判断所述篮球对象是否在目标场地中，若是，标记为主球，若否，标注为非主球。2.根据权利要求1所述的一种篮球跟踪与主球标记方法，其特征在于，所述相机内参参数包括畸变系数、内参矩阵；所述相机外参参数包括旋转向量、位移向量、投影矩阵、单应变化矩阵。3.根据权利要求2所述的一种篮球跟踪与主球标记方法，其特征在于，所述相机外参参数基于以下步骤获得：建立篮球场的真实坐标系；基于篮球场中的划线确定参考点；基于ransac算法和pnp算法确定相机位姿初始值；
基于非线性最小二乘法，利用参考点和相机位姿初始值，求解相机相对真实坐标系的位姿，得到相机外参参数中的旋转向量、位移向量、投影矩阵；计算参考点在相机视角下的球场坐标系中的图像坐标转换为真实坐标系中坐标的变换参数，得到相机外参参数中的单应变化矩阵。4.根据权利要求1所述的一种篮球跟踪与主球标记方法，其特征在于，所述距离信息包括检测框长宽、位置变化信息，其中，所述检测框基于篮球检测模型得到，一个检测框对应一个篮球对象。5.根据权利要求1所述的一种篮球跟踪与主球标记方法，其特征在于，所述最大二分匹配原则为基于匹配值最小原理，对矩阵中的每行或每列元素进行匹配，匹配结果为每行或每列至多存在一个匹配值，使得矩阵中所有匹配值的相加之和最小。6.根据权利要求1所述的一种篮球跟踪与主球标记方法，其特征在于，所述第二距离阈值为篮球半径的五分之一。7.根据权利要求1所述的一种篮球跟踪与主球标记方法，其特征在于，所述投影误差和基于极线矫正原理得到，具体为：基于三点平面和经过矫正的相机平面的交线确定极线，其中，所述三点平面为篮球中心点、两台相机中心点确定的平面，所述相机平面的矫正过程为通过旋转矩阵矫正初始相机平面，使得两台相机的相机平面平行且极线水平；第a台相机视角中的第i个篮球对象中心点与第b台相机极线的投影的距离为投影误差第a台相机的极线与第b台相机视角中的第j个篮球对象中心点的投影的距离为投影误差则第a台相机视角中的第i个篮球对象与第b台相机视角中的第j个篮球对象的投影误差和8.根据权利要求7所述的一种篮球跟踪与主球标记方法，其特征在于，所述误差矩阵为：其中，为在第a台相机视角中的第i个篮球对象和第b台相机视角中的第j个篮球对象的投影误差和，adj
ab
为第a台相机和第b台相机的误差矩阵。9.一种篮球跟踪与主球标记装置，包括存储器、处理器，以及存储于所述存储器中的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8中任一所述的方法。10.一种存储介质，其上存储有程序，其特征在于，所述程序被执行时实现如权利要求1-8中任一所述的方法。
技术总结本发明涉及一种篮球跟踪与主球标记方法、装置及存储介质，其中方法包括：相机标定；获取篮球视频帧；建立单相机跟踪队列；建立单相机的篮球跟踪；对持续跟踪的篮球对象，计算时间窗口内篮球对象距离信息变化的平均值，判断是否超过阈值，若是，标记为运动状态；确定所有标记为运动状态的篮球对象在不同相机视角中的投影误差和，得到误差矩阵；基于最大二分匹配原则对误差矩阵进行处理得到多相机的篮球匹配结果，若匹配成功则基于双目视差法对篮球的图像坐标进行深度估计；将深度估计结果转换到真实坐标系中，得到三维坐标；判断篮球是否在目标场地中，若是，标记为主球。与现有技术相比，本发明具有检测稳定、检测精度高等优点。检测精度高等优点。检测精度高等优点。
技术研发人员：董延超 李昀 周昕
受保护的技术使用者：同济大学
技术研发日：2022.07.08
技术公布日：2022/11/1
