1.本发明涉及计算机视觉领域，尤其是涉及一种基于计算机视觉的篮球场高光时刻识别方法、装置及存储介质。
背景技术：2.随着互联网技术的不断发展，视频已经成为传播最为广泛的信息媒介。对于视频内容的分析相关的任务，在此之前大多数需要由专业人员手工制作，但是面对每天增长的海量视频信息，完全依靠人力几乎是一个不可能完成的任务。篮球作为中国爱好者基数最多的运动之一，无论是职业赛场还是业余比赛，赛后精彩时刻剪辑是一项非常有意义的工作。近年随着短视频行业的发展，越来越多人愿意在短视频平台上分享自己所拍摄的视频，尤其是像篮球这类竞技体育相关短视频占据着较多的份额，但此类视频通常依靠场边指定人员进行拍摄，并且由相关从业人员进行手动的后期处理、剪辑工作，需要耗费较多的人力和精力，且容易遗漏高光时刻造成剪辑效果不理想，因此，使用算法对高光事件进行检测，并对持球球员进行稳定跟踪和身份识别，实现自动化剪辑具有非常广阔的应用前景。
3.使用算法对篮球运动中的高光时刻进行剪辑时，主要存在以下几个问题：
4.(1)当篮球停滞在篮筐上时，无法进一步区分篮球事件，导致检测精度下降。
5.(2)在球员争夺篮板球时，容易误判为投篮事件。
6.(3)基于持球人的动作识别实现高光事件的识别方法需要对每一帧视频帧进行处理，工作量大，识别效率低。
技术实现要素：7.本发明的目的就是为了提供一种针对篮球运动场景的基于计算机视觉的高光时刻识别方法，实时、自动地对篮球场地中发生的高光事件进行精确识别。
8.本发明的目的可以通过以下技术方案来实现：
9.一种基于计算机视觉的篮球场高光时刻识别方法，包括以下步骤：
10.对相机的内参和外参进行标定，得到相机内参参数和相机外参参数，其中，所述相机外参参数基于真实坐标系和相机视角下的球场坐标系标定得到；
11.获取多台相机在同一时刻同步拍摄得到的多个视频帧，其中，一台相机对应一个视频帧；
12.基于视频帧获取主球标记信息和持续更新的主球跟踪信息，所述主球跟踪信息包括主球在相机视角下的球场坐标系中的二维坐标；
13.基于相机外参参数将所述二维坐标转换到真实坐标系，确定主球在真实坐标系下的三维坐标；
14.基于主球的三维坐标进行投球事件检测，所述投球事件检测包括以下步骤：基于主球的三维坐标确定主球自上而下穿越篮框的前后两帧视频帧，确定两帧视频帧中主球的球心连线与篮框平面的交点；
15.确定所述交点与篮框中心点的空间距离；
16.判断所述空间距离是否小于第一距离阈值且两帧视频帧中的前一帧中的主球中心高度是否大于篮框高度，若是，则判定投球事件发生，若否，则判定无投球事件发生，更新主球的三维坐标并进行投球事件检测；
17.若投球事件发生，判断所述空间距离是否小于第二距离阈值，若是，则判定进球事件发生，保存进球事件发生前主球最近一次自下而上穿越预配置高度线的视频帧，作为投篮出手时刻视频帧，若否，则判定投球不进事件发生，其中，所述第二阈值距离小于第一阈值距离；
18.获取持续更新的在场球员跟踪信息并进行持球人检测；
19.基于投篮出手时刻视频帧回退预配置的帧数得到投球人判断视频帧；
20.基于主球跟踪信息、在场球员跟踪信息和持球人检测结果，保存投球人判断视频帧中所有持球人信息至结果矩阵；
21.判断持球人信息中的持球人id数是否大于1；
22.若持球人id数小于等于1，则未发生持球人切换，若持球人id数大于1，则发生持球人切换，更新持球人，并将投篮出手时刻视频帧前最新的持球人标记为投球人；
23.基于进球事件和投球人标记完成进球事件高光时刻识别。
24.所述方法还包括：当判定进球事件发生且完成投球人标记时，
25.基于投篮出手时刻视频帧和在场球员跟踪信息确定投球人的双脚关键点在相机视角下的球场坐标系中的图像坐标；
26.基于相机外参参数将图像坐标转换到真实坐标系中，确定双脚关键点在真实坐标系中的三维坐标；
27.基于双脚关键点在真实坐标系中的三维坐标至三分线所属区域的空间距离判断投球人是否在三分线外，若是，则将该投球事件标记为三分球事件，若否，则将该投球事件标记为两分球事件；
28.基于三分球事件和投球人标记完成三分球事件高光时刻识别。
29.所述方法还包括：当判定进球事件发生且发生持球人切换时，
30.基于主球跟踪信息判断主球是否被遮挡，
31.若主球未被遮挡，基于主球跟踪信息确定主球和地板之间的距离，并基于所述距离判断主球是否有落地行为，若有，投球人有运球动作，否则投球人无运球动作；
32.若主球被遮挡，基于主球跟踪信息判断预配置帧数视频帧中主球是否发生落地并弹起行为，若发生，则投球人有运球动作，若未发生，则投球人无运球动作；
33.基于投球人是否有运球动作判定是否有助攻事件，若投球人有运球动作，则判定无助攻，若投球人无运球动作，则判定有助攻事件，将上一个持球人标记为助攻球员；
34.基于助攻事件和助攻球员标记完成助攻事件高光时刻识别。
35.所述方法还包括当判定投球不进事件发生时，
36.将当前视频帧顺时间推进获取篮板视频帧；
37.基于篮板视频帧重新获取持续更新的主球跟踪信息、在场球员跟踪信息并进行持球人检测；
38.将检测到的首个持球人标记为篮板运动员；
39.基于篮板运动员标记完成抢篮板事件高光时刻识别。
40.所述空间距离d为：
[0041][0042]
其中，(x1，y1，z1)为两帧视频帧中主球的球心连线与篮框平面的交点坐标，(x2，y2，z2)为篮框中心点坐标。
[0043]
所述预配置的帧数基于预配置的时间和相机帧率确定。
[0044]
所述持续更新的主球跟踪信息包括主球检测框的大小和位置信息。
[0045]
所述持续更新的在场球员跟踪信息包括球员id，球员图像特征向量，球员人体骨骼关键点位姿估计矩阵和球员检测框，其中，所述球员检测框包括球员检测框的大小和位置信息。
[0046]
一种基于计算机视觉的篮球场高光时刻识别装置，包括存储器、处理器，以及存储于所述存储器中的程序，所述处理器执行所述程序时实现如上述所述的方法。
[0047]
一种存储介质，其上存储有程序，所述程序被执行时实现如上述所述的方法。
[0048]
与现有技术相比，本发明具有以下有益效果：
[0049]
(1)本发明通过前后帧的识别情况，实现了当篮球停滞在篮筐上时的事件类型判断，并利用时序逻辑判断，更好的区分了高光事件的类型，减小了误判的可能性，提高了识别精度，比如在投篮事件发生后才进行抢篮板事件识别，避免将抢篮板事件识别为投篮事件。
[0050]
(2)本发明基于计算机视觉实现高光时刻的识别，无需在篮筐上放置传感器，使整个识别过程更加智能，自动化程度高。
[0051]
(3)本发明根据投篮事件的类型，反推球员id，相比于时刻检测追踪球员的运动状态，无需对每一帧视频帧进行球员识别和动作识别，大大简化了检测追踪的复杂度，提高了检测效率。
附图说明
[0052]
图1为本发明的方法流程图；
[0053]
图2为本发明三分球事件高光时刻识别流程图；
[0054]
图3为本发明助攻事件高光时刻识别流程图；
[0055]
图4为本发明抢篮板事件高光时刻识别流程图。
具体实施方式
[0056]
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
[0057]
一种基于计算机视觉的篮球场高光时刻识别方法，如图1所示，包括以下步骤：
[0058]
步骤1)相机参数标定
[0059]
对相机的内参和外参进行标定，得到相机内参参数和相机外参参数，其中，所述相机外参参数基于真实坐标系和相机视角下的球场坐标系标定得到。
[0060]
首先对相机的内参进行标定，相机内参参数包括畸变系数、内参矩阵。在相机内参的基础上标定相机外参，相机外参参数包括旋转向量、位移向量、投影矩阵、单应变化矩阵。
[0061]
步骤2)视频帧获取
[0062]
获取多台相机在同一时刻同步拍摄得到的多个视频帧，其中，一台相机对应一个视频帧。
[0063]
步骤3)篮球跟踪与主球标记
[0064]
步骤3-1)建立多个单相机跟踪队列，所述单相机跟踪队列用于存储一台相机中跟踪的篮球对象，单相机跟踪队列的数量与相机数量相同。
[0065]
步骤3-2)基于单相机跟踪队列对每一个篮球视频帧建立单相机的篮球跟踪。
[0066]
步骤3-2-1)对一个篮球视频帧，利用篮球检测模型检测篮球视频帧中最新一帧的篮球对象，其中，篮球检测模型基于yolo网络建立，完成检测后对篮球视频帧中检测到的篮球对象使用检测框进行标记，一个检测框对应一个篮球对象；
[0067]
步骤3-2-2)基于最新一帧的篮球对象和对应的单相机跟踪队列中存储的篮球对象之间的距离信息，确定邻接矩阵，其中，所述距离信息包括检测框长宽、位置变化信息；
[0068]
步骤3-2-3)判断邻接矩阵中的元素是否超过第一距离阈值，
[0069]
若是，则表明匹配必定不成功，丢弃最新一帧的篮球对象，
[0070]
若否，则基于最大二分匹配原则对邻接矩阵进行处理，得到单相机的篮球匹配结果；
[0071]
其中，所述最大二分匹配原则为基于匹配值最小原理，对矩阵中的每行或每列距离信息进行匹配，匹配结果为每行或每列至多存在一个距离信息，使得矩阵中所有匹配成功的距离信息相加之和最小；
[0072]
步骤3-2-4)若单相机的篮球匹配结果为匹配成功，则将单相机跟踪队列中存储的篮球对象更新为最新一帧的篮球对象；
[0073]
若单相机的篮球匹配结果为匹配失败，则判断匹配失败是未匹配到跟踪队列中存储的篮球对象的匹配结果还是未匹配到最新一帧的篮球对象的匹配结果，
[0074]
若为未匹配到跟踪队列中存储的篮球对象的匹配结果，则删除跟踪队列中存储的篮球对象，若为未匹配到最新一帧的篮球对象的匹配结果，则将最新一帧的篮球对象作为新识别的跟踪对象加入跟踪队列。
[0075]
步骤3-3)对于单相机的篮球跟踪中持续跟踪的篮球对象，计算预配置时间窗口内所述篮球对象距离信息变化的平均值，其中，所述持续跟踪的篮球对象是指单相机的篮球匹配结果为匹配成功的篮球对象。
[0076]
步骤3-4)判断步骤3-3)所述平均值是否超过第二距离阈值，若是，则将所述持续跟踪的篮球对象标记为运动状态，若否，则将所述持续跟踪的篮球对象标记为静止状态。所述第二距离阈值为篮球半径的五分之一。
[0077]
步骤3-5)基于相机的内参参数和外参参数，确定所有标记为运动状态的篮球对象在不同相机视角中的投影误差和，得到误差矩阵，其中，每两台相机确定一个误差矩阵。
[0078]
所述投影误差和基于极线矫正原理得到，具体为：基于三点平面和经过矫正的相机平面的交线确定极线，其中，所述三点平面为篮球中心点、两台相机中心点确定的平面，所述相机平面的矫正过程为通过旋转矩阵矫正初始相机平面，使得两台相机的相机平面平
行且极线水平；第a台相机视角中的第i个篮球对象中心点与第b台相机极线的投影的距离为投影误差第a台相机的极线与第b台相机视角中的第j个篮球对象中心点的投影的距离为投影误差则第a台相机视角中的第i个篮球对象与第b台相机视角中的第j个篮球对象的投影误差和
[0079]
所述误差矩阵为：
[0080][0081]
其中，为在第a台相机视角中的第i个篮球对象和第b台相机视角中的第j个篮球对象的投影误差和，adj
ab
为第a台相机和第b台相机的误差矩阵。
[0082]
步骤3-6)基于最大二分匹配原则对误差矩阵进行处理，得到多相机的篮球匹配结果，若匹配成功则基于双目视差法对篮球在相机视角下的球场坐标系中的图像坐标进行深度估计，若匹配失败，则丢弃对象，
[0083]
其中，所述最大二分匹配原则为基于匹配值最小原理，对矩阵中的每行或每列投影误差和进行匹配，匹配结果为每行或每列至多存在一个投影误差和，使得矩阵中所有匹配成功的投影误差和相加之和最小；
[0084]
步骤3-7)基于单应变化矩阵将深度估计结果转换到真实坐标系中，确定篮球对象在真实坐标系中的三维坐标。
[0085]
步骤3-8)基于篮球对象在真实坐标系下的三维坐标判断所述篮球对象是否在目标场地中，若是，则表明该篮球对象处于篮球场中，且处于运动状态，标记为主球，若否，标注为非主球。
[0086]
步骤3-9)输出主球在真实坐标系下的三维坐标，得到主球跟踪信息。
[0087]
步骤4)投球事件检测
[0088]
步骤4-1)基于主球的三维坐标确定主球自上而下穿越篮框的前后两帧视频帧，确定两帧视频帧中主球的球心连线与篮框平面的交点；
[0089]
步骤4-2)确定所述交点与篮框中心点的空间距离；所述空间距离d为：
[0090][0091]
其中，(x1，y1，z1)为两帧视频帧中主球的球心连线与篮框平面的交点坐标，(x2，y2，z2)为篮框中心点坐标；
[0092]
步骤4-3)判断空间距离d是否小于第一距离阈值且两帧视频帧中的前一帧中的主球中心高度是否大于篮框高度，若是，则判定投球事件发生，若否，则判定无投球事件发生，更新主球的三维坐标并进行投球事件检测；
[0093]
第一距离阈值一般取45厘米；
[0094]
步骤4-4)若投球事件发生，判断所述空间距离是否小于第二距离阈值，若是，则判定进球事件发生，保存进球事件发生前主球最近一次自下而上穿越预配置高度线的视频帧，作为投篮出手时刻视频帧，若否，则判定投球不进事件发生，其中，第二距离阈值标准为10厘米，由篮框半径23厘米减篮球半径13厘米得到，考虑到误差情况可以取一定冗余，预配置的高度线一般设置为2米；
[0095]
步骤5)在场球员跟踪与投球人标记
[0096]
步骤5-1)获取持续更新的在场球员跟踪信息
[0097]
步骤5-1-1)对视频帧基于多目标追踪模型mot和人体骨骼关键点检测模型skeleton进行球员检测，得到球员信息；
[0098]
球员信息包括球员id、球员图像特征向量、球员检测框、球员人体骨骼关键点位姿估计矩阵。球员人体骨骼关键点位姿估计矩阵存储着球员人体骨骼关键点的位置信息，球员人体骨骼关键点共计18个，其中，双脚关键点位于左脚和右脚的前脚掌，手部关键点位于左手和右手的手腕；
[0099]
步骤5-1-2)确定球员人体骨骼关键点位姿估计矩阵中的双脚关键点的图像坐标，其中，所述图像坐标为相机视角下的球场坐标系中的坐标。
[0100]
步骤5-1-3)基于相机外参参数将双脚关键点的图像坐标转换到真实坐标系中，确定双脚关键点在真实坐标系下的三维坐标；
[0101]
步骤5-1-4)基于双脚关键点在真实坐标系下的三维坐标判断是否球员在目标场地(即篮球场)内，若是，则将当前双脚关键点对应的球员标记为在场球员，否则，标记为非在场球员并过滤；
[0102]
步骤5-1-5)获取视频帧首帧中的在场球员的球员信息；
[0103]
步骤5-1-6)基于视频帧首帧中的在场球员的球员信息建立跟踪队列和卡尔曼滤波器，并进行初始化，其中，所述跟踪队列中设有多个跟踪器，一个跟踪器对应一个球员信息；
[0104]
步骤5-1-7)基于卡尔曼滤波器建立跟踪对象位置信息的匀速变化模型，所述跟踪对象为在场球员，跟踪对象位置信息为在场球员的球员信息中检测框的大小和所处位置；
[0105]
步骤5-1-8)保存跟踪对象的匀速变化模型、球员信息至跟踪队列；
[0106]
步骤5-1-9)获取视频帧最新一帧中的在场球员的球员信息，作为待匹配目标；
[0107]
步骤5-1-10)基于球员信息确定待匹配目标与跟踪队列中保存的跟踪对象的代价矩阵；
[0108]
代价矩阵基于待匹配目标和跟踪对象的人体骨骼关键点位姿估计矩阵中的人体骨骼关键点相对位置变化值和图像特征向量差异值加权平均得到；
[0109]
代价矩阵中置信度低于人为设置的较低置信度阈值的匹配项代价值被设为无穷大，确保该代价值代表的匹配项不会匹配成功。所述置信度基于跟踪对象位置信息与卡尔曼滤波器预测的位置信息差异值确定，差异值越大，置信度越低；
[0110]
步骤5-1-11)基于匈牙利算法对代价矩阵进行匹配并判断是否匹配成功，若匹配成功，更新跟踪器中的球员信息和卡尔曼滤波器的参数，若匹配失败，则进行iou匹配，即匹配对象的图像区域的交并比；
[0111]
步骤5-1-12)判断iou匹配是否匹配成功，若iou匹配成功，更新跟踪器中的球员信息和卡尔曼滤波器的参数，若iou匹配失败，判断是待匹配目标匹配失败还是跟踪对象匹配失败，
[0112]
若是跟踪对象匹配失败，则判断执行时间是否超过预配置的时间阈值，若超过，则删除跟踪对象，否则，保留跟踪对象并进行下一次基于匈牙利算法的匹配判断；
[0113]
若是待匹配目标匹配失败，则判断置信度是否大于人为设置的较高置信度阈值，
若是，则将匹配失败的待匹配目标作为新的跟踪对象加入跟踪队列；
[0114]
步骤5-1-11)与步骤5-1-12)中更新跟踪器中的球员信息包括：
[0115]
(1)基于迭代的方式更新球员图像特征向量，所述更新球员图像特征向量的更新规则为：更新后的球员图像特征向量＝0.9*跟踪队列中保存的球员图像特征向量+0.1*最新一帧中的球员图像特征向量；
[0116]
(2)更新球员id，延续跟踪对象的球员id，丢弃待匹配目标的球员id；
[0117]
(3)更新球员人体骨骼关键点位姿估计矩阵；
[0118]
步骤15)实时更新跟踪队列实现在场球员的跟踪，其中所述跟踪队列输出的信息包括：
①
球员id，
②
球员图像特征向量，
③
球员人体骨骼关键点位姿估计矩阵，
④
球员检测框，包括检测框的位置和检测框大小；
[0119]
步骤5-2)持球人检测
[0120]
步骤5-2-1)基于投球或、进球等事件的发生确定一个时间窗口，通常取8-10帧，获取所述时间窗口内的视频帧；
[0121]
步骤5-2-2)确定当前帧球员人体骨骼关键点位姿估计矩阵中手部关键点和篮球检测框中心的球手距离，所述篮球检测框基于篮球检测模型得到，由于手部关键点有两个，分别位于左手手腕和右手手腕，所以球手距离确定为左手关键点和右手关键点中与篮球框中心距离较短的距离；
[0122]
步骤5-2-3)计算球手距离与篮球半径的比值；
[0123]
由于单相机缺乏尺度信息，所以同时需要记录当前时间窗口内篮球对象的平均半径，将球手距离用球手距离和篮球半径的比值进行替代；
[0124]
步骤5-2-4)判断球手距离与篮球半径的比值是否小于设置的距离阈值(一般为篮球半径的4-5倍)，若小于，则计一次得分，否则不得分；
[0125]
步骤5-2-5)遍历当前时间窗口内的所有视频帧，对每个球员的得分进行累加，确定每个球员的总得分，并对得分进行从高到低的排序，选择排名前五的球员作为持球人候选人；
[0126]
步骤5-2-6)计算当前时间窗口内持球人候选人球手距离与篮球半径的比值的平均值，将所述平均值最小的持球人候选人标记为持球人；
[0127]
步骤5-3)基于投篮出手时刻视频帧回退一定的帧数得到投球人判断视频帧；回退的帧数由相机帧率和回退时间决定，回退时间一般设置为5-7秒；
[0128]
步骤5-4)基于主球跟踪信息、在场球员跟踪信息和持球人检测结果，保存投球人判断视频帧中所有持球人信息至结果矩阵；
[0129]
步骤5-5)判断持球人信息中的持球人信息中的球员id数是否大于1；
[0130]
若球员id数小于等于1，则未发生持球人切换，将持球人标记为投球人，若球员id数大于1，则发生持球人切换，更新持球人，并将投篮出手时刻视频帧前最新的持球人标记为投球人。
[0131]
步骤6)基于进球事件和投球人标记完成进球事件高光时刻识别。
[0132]
步骤7)三分球事件高光时刻识别
[0133]
当判定进球事件发生且完成投球人标记时，
[0134]
基于投篮出手时刻视频帧和在场球员跟踪信息确定投球人的双脚关键点在相机
视角下的球场坐标系中的图像坐标；
[0135]
基于相机外参参数将图像坐标转换到真实坐标系中，确定双脚关键点在真实坐标系中的三维坐标；
[0136]
基于双脚关键点在真实坐标系中的三维坐标至三分线所属区域的空间距离判断投球人是否在三分线外，若是，则将该投球事件标记为三分球事件，若否，则将该投球事件标记为两分球事件；
[0137]
基于三分球事件和投球人标记完成三分球事件高光时刻识别。
[0138]
步骤8)助攻事件高光时刻识别
[0139]
当判定进球事件发生且发生持球人切换时，
[0140]
基于主球跟踪信息判断主球是否被遮挡，
[0141]
若主球未被遮挡，基于主球跟踪信息确定主球和地板之间的距离，并基于所述距离判断主球是否有落地行为，若有，投球人有运球动作，否则投球人无运球动作；
[0142]
若主球被遮挡，基于主球跟踪信息判断预配置帧数视频帧中主球是否发生落地并弹起行为，若发生，则投球人有运球动作，若未发生，则投球人无运球动作；
[0143]
基于投球人是否有运球动作判定是否有助攻事件，若投球人有运球动作，则判定无助攻，若投球人无运球动作，则判定有助攻事件，将上一个持球人标记为助攻球员；
[0144]
基于助攻事件和助攻球员标记完成助攻事件高光时刻识别。
[0145]
步骤9)抢篮板事件高光时刻识别
[0146]
当判定投球不进事件发生时，
[0147]
将当前视频帧顺时间推进获取篮板视频帧；
[0148]
基于篮板视频帧重新获取持续更新的主球跟踪信息、在场球员跟踪信息并进行持球人检测；
[0149]
将检测到的首个持球人标记为篮板运动员；
[0150]
基于篮板运动员标记完成抢篮板事件高光时刻识别。
[0151]
上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0152]
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依据本发明的构思在现有技术的基础上通过逻辑分析、推理、或者有限的实验可以得到的技术方案，皆应在权利要求书所确定的保护范围内。
技术特征：1.一种基于计算机视觉的篮球场高光时刻识别方法，其特征在于，包括以下步骤：对相机的内参和外参进行标定，得到相机内参参数和相机外参参数，其中，所述相机外参参数基于真实坐标系和相机视角下的球场坐标系标定得到；获取多台相机在同一时刻同步拍摄得到的多个视频帧，其中，一台相机对应一个视频帧；基于视频帧获取主球标记信息和持续更新的主球跟踪信息，所述主球跟踪信息包括主球在相机视角下的球场坐标系中的二维坐标；基于相机外参参数将所述二维坐标转换到真实坐标系，确定主球在真实坐标系下的三维坐标；基于主球的三维坐标进行投球事件检测，所述投球事件检测包括以下步骤：基于主球的三维坐标确定主球自上而下穿越篮框的前后两帧视频帧，确定两帧视频帧中主球的球心连线与篮框平面的交点；确定所述交点与篮框中心点的空间距离；判断所述空间距离是否小于第一距离阈值且两帧视频帧中的前一帧中的主球中心高度是否大于篮框高度，若是，则判定投球事件发生，若否，则判定无投球事件发生，更新主球的三维坐标并进行投球事件检测；若投球事件发生，判断所述空间距离是否小于第二距离阈值，若是，则判定进球事件发生，保存进球事件发生前主球最近一次自下而上穿越预配置高度线的视频帧，作为投篮出手时刻视频帧，若否，则判定投球不进事件发生，其中，所述第二阈值距离小于第一阈值距离；获取持续更新的在场球员跟踪信息并进行持球人检测；基于投篮出手时刻视频帧回退预配置的帧数得到投球人判断视频帧；基于主球跟踪信息、在场球员跟踪信息和持球人检测结果，保存投球人判断视频帧中所有持球人信息至结果矩阵；判断持球人信息中的持球人id数是否大于1；若持球人id数小于等于1，则未发生持球人切换，若持球人id数大于1，则发生持球人切换，更新持球人，并将投篮出手时刻视频帧前最新的持球人标记为投球人；基于进球事件和投球人标记完成进球事件高光时刻识别。2.根据权利要求1所述的一种基于计算机视觉的篮球场高光时刻识别方法，其特征在于，所述方法还包括：当判定进球事件发生且完成投球人标记时，基于投篮出手时刻视频帧和在场球员跟踪信息确定投球人的双脚关键点在相机视角下的球场坐标系中的图像坐标；基于相机外参参数将图像坐标转换到真实坐标系中，确定双脚关键点在真实坐标系中的三维坐标；基于双脚关键点在真实坐标系中的三维坐标至三分线所属区域的空间距离判断投球人是否在三分线外，若是，则将该投球事件标记为三分球事件，若否，则将该投球事件标记为两分球事件；基于三分球事件和投球人标记完成三分球事件高光时刻识别。3.根据权利要求1所述的一种基于计算机视觉的篮球场高光时刻识别方法，其特征在
于，所述方法还包括：当判定进球事件发生且发生持球人切换时，基于主球跟踪信息判断主球是否被遮挡，若主球未被遮挡，基于主球跟踪信息确定主球和地板之间的距离，并基于所述距离判断主球是否有落地行为，若有，投球人有运球动作，否则投球人无运球动作；若主球被遮挡，基于主球跟踪信息判断预配置帧数视频帧中主球是否发生落地并弹起行为，若发生，则投球人有运球动作，若未发生，则投球人无运球动作；基于投球人是否有运球动作判定是否有助攻事件，若投球人有运球动作，则判定无助攻，若投球人无运球动作，则判定有助攻事件，将上一个持球人标记为助攻球员；基于助攻事件和助攻球员标记完成助攻事件高光时刻识别。4.根据权利要求1所述的一种基于计算机视觉的篮球场高光时刻识别方法，其特征在于，所述方法还包括当判定投球不进事件发生时，将当前视频帧顺时间推进获取篮板视频帧；基于篮板视频帧重新获取持续更新的主球跟踪信息、在场球员跟踪信息并进行持球人检测；将检测到的首个持球人标记为篮板运动员；基于篮板运动员标记完成抢篮板事件高光时刻识别。5.根据权利要求1所述的一种基于计算机视觉的篮球场高光时刻识别方法，其特征在于，所述空间距离d为：其中，(x1,y1,z1)为两帧视频帧中主球的球心连线与篮框平面的交点坐标，(x2,y2,z2)为篮框中心点坐标。6.根据权利要求1所述的一种基于计算机视觉的篮球场高光时刻识别方法，其特征在于，所述预配置的帧数基于预配置的时间和相机帧率确定。7.根据权利要求1所述的一种基于计算机视觉的篮球场高光时刻识别方法，其特征在于，所述持续更新的主球跟踪信息包括主球检测框的大小和位置信息。8.根据权利要求1所述的一种基于计算机视觉的篮球场高光时刻识别方法，其特征在于，所述持续更新的在场球员跟踪信息包括球员id，球员图像特征向量，球员人体骨骼关键点位姿估计矩阵和球员检测框，其中，所述球员检测框包括球员检测框的大小和位置信息。9.一种基于计算机视觉的篮球场高光时刻识别装置，包括存储器、处理器，以及存储于所述存储器中的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8中任一所述的方法。10.一种存储介质，其上存储有程序，其特征在于，所述程序被执行时实现如权利要求1-8中任一所述的方法。
技术总结本发明涉及一种篮球场高光时刻识别方法、装置及存储介质，其中方法包括以下步骤：相机标定；获取视频帧、主球标记信息和持续更新的主球跟踪信息、在场球员跟踪信息并进行持球人检测；确定主球在真实坐标系下的三维坐标；进行投球事件检测，若投球事件发生，进一步判定为进球事件发生还是投球不进事件发生；若进球事件发生，基于投球人判断视频帧判断是否发生持球人切换，若发生持球人切换，更新持球人，并将投篮出手时刻视频帧前最新的持球人标记为投球人；基于进球事件和投球人标记完成进球事件高光时刻识别。与现有技术相比，本发明具有检测方便快速、检测效率高等优点。检测效率高等优点。检测效率高等优点。
技术研发人员：董延超 李昀 周昕
受保护的技术使用者：同济大学
技术研发日：2022.07.08
技术公布日：2022/11/1
