基于球场环境与人员位姿的进球得分识别方法及系统与流程

1.本公开涉及计算机视觉技术领域，具体涉及一种基于球场环境与人员位姿 的进球得分识别方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在 先技术。
3.目前，随着深度学习技术的发展，环境建模技术，例如slam(simultaneouslocalization and mapping)迅速发展，视频处理、理解技术也日趋成熟。针对当 前大多数球类比赛中得分由现场的裁判以及工作人员进行定夺这一现象，考虑 若完全依赖与人工定夺计分具有一定的主观性，容易造成计分的不准确，本发 明考虑将视频理解技术应用到比赛计分中，例如，在篮球比赛中，众所周知， 除了罚球阶段外，球员的进球得分与其投篮的位置密切相关，目前并没有一种 将球场环境建模与投篮目标定位等算法进行结合来实现球员进球得分的自动计 算方法，并且现有的通过裁判工作人员的球赛计分方式过度依赖现场工作人员， 依赖人力并具有一定的主观性，对于球类比赛中的计分的公正性产生一定的影 响。


技术实现要素：

4.本公开为了解决上述问题，提出了一种基于球场环境与人员位姿的进球得 分识别方法，本公开将球场环境建模与投篮目标定位算法进行结合来实现球员 进球得分的自动计算，以改善球赛计分过度依赖现场工作人员的现象。
5.根据一些实施例，本公开采用如下技术方案：
6.基于球场环境与人员位姿的进球得分识别方法，包括以下步骤：
7.对球场中现场比赛进行固定视角下全景的视频实时采集，并对获取的视频 数据进行预处理将其转换为帧序列；
8.构建二维坐标系，对球场上的目标进行跟踪以及对目标的骨架关键点进行 检测；
9.取关键帧坐标对投篮行为进行判别定位；
10.若是判断存在投篮行为发生，记录目标信息，利用仿射变换将帧中当前球 场图像进行图像转换，得到投篮行为目标在转换后图像中的位置；
11.利用发生投篮行为的目标在转换后图像中的位置坐标判断进球得分。
12.根据另一些实施例，本公开还采用如下技术方案：
13.基于球场环境与人员位姿的进球得分识别系统，包括：
14.视频采集模块，包括摄像机，用于对球场中现场比赛进行固定视角下全景 的视频实时采集；
15.数据处理模块，并对获取的视频数据进行预处理将其转换为帧序列；
16.行为分析判断与定位模块，用于构建二维坐标系，对球场上的目标进行跟 踪以及
对骨架关键点进行检测以及取关键帧坐标对投篮行为进行判别定位；
17.计算得分模块，用于利用仿射变换将帧中当前球场图像进行图像转换，得 到投篮行为目标在转换后图像中的位置以及利用发生投篮行为的目标在转换后 图像中的位置坐标判断进球得分。
18.有益效果
19.与现有技术相比，本公开的有益效果为：
20.本公开考虑了球场环境建模与投篮目标定位等算法进行结合来实现球员进 球得分的自动计算，利用跟踪及姿态估计算法进行目标时空定位，根据定位的 目标位置与球场环境的相对关系来计算进球得分，根据仿射变换计算可得到发 生投篮行为球员在图中的实时位置。实现了对球员投篮行为的时空定位。根据 球员与球场三分线的相对位置实现对进球得分的计算。算法的实现可改善现阶 段球赛计分依赖人力的问题。
附图说明
21.构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公 开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
22.图1是本公开基于球场环境与人员位姿的进球得分识别方法示意图；
23.图2是本公开基于球场环境与人员位姿的进球得分识别方法流程图；
24.图3是本公开原视频帧中二维坐标系示意图；
25.图4是本公开仿射变换前后示意图。
具体实施方式：
26.下面结合附图与实施例对本公开作进一步说明。
27.应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。 除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的 普通技术人员通常理解的相同含义。
28.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图 限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确 指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说 明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、 组件和/或它们的组合。
29.实施例1
30.本公开提供一种基于球场环境与人员位姿的进球得分识别方法，创新性地 将球场环境建模与当前的目标跟踪、姿态估计算法相结合，通过算法定位具备 投篮行为的目标位置，将目标位置与球场环境通过仿射变换映射到俯瞰平面图 中计算进球得分。
31.本算法基于两个前提，一是假定待识别的视频数据为全景视频且无拍摄视 角的移动，二是假定在非罚球阶段，球员发生投篮行为则默认进球，本算法的 作用即计算进球的具体得分。
32.如图1以及图2所示，基于球场环境与人员位姿的进球得分识别方法，具 体包括以下步骤：
33.步骤s0：对球场中现场比赛进行固定视角下全景视频的实时采集，并对获 取的视
频数据进行预处理将其转换为帧序列；
34.步骤s1：构建二维坐标系，对球场上的目标进行跟踪以及对骨架关键点进 行检测；
35.步骤s2：取关键帧坐标对投篮行为进行判别定位，若是判断存在投篮行为 发生，记录目标信息，利用仿射变换将帧中当前球场图像进行图像转换，得到 投篮行为目标在转换后图像中的位置；
36.步骤s4：利用发生投篮行为的目标在转换后图像中的位置坐标判断进球得 分。
37.在步骤s0中，利用摄像机在固定机位视角下，对球场上现场比赛的全景视 频进行实时的拍摄，保存视频数据。
38.获取拍摄的视频数据，对其进行预处理，对于球场内拍摄的比赛视频数据， 首先将其转换为帧序列，记为{1,2,
…
,t-1,t,t 1,
…
,s}，共s帧，s为500。
39.在步骤s1中，构建二维坐标系时，以视频帧的短边作为y轴，长边作为x 轴，预定义正方向，根据所述二维坐标系，如图3所示，可以获取帧中任一点 的二维坐标。
40.接下来，实现对球场上的目标进行跟踪以及对骨架关键点进行检测，具体 为：
41.利用多目标跟踪算法(以towards real-time多目标跟踪算法为例)实现目 标跟踪，同时利用姿态估计算法(以openpose为例)对跟踪到的目标进行骨架 关键点检测。
42.以实现{t-1,t,
…
,s}帧的目标跟踪和骨架关键点检测为例，具体如下：
43.(1)假定跟踪过程中每t-1帧调用一次检测算法来校正各目标检测框的真 实位置，在第t-1帧中调用yolo-v3检测算法，得到若干目标的检测框；
44.(2)利用towards real-time多目标跟踪算法预测各目标在下一帧，即第 t帧，中的检测框；
45.(3)利用特征匹配技术将第t帧中各预测检测框内的目标特征与第t-1帧 中各检测框内的目标特征进行匹配，根据匹配相似度确定各目标在第t帧中的 检测框，后续帧中各目标检测框的确定以此类推，直至下一次检测算法的调用；
46.(4)在每一帧的目标检测框确定后，均调用openpose算法对检测框中的 目标进行姿态估计，得到各目标的骨架关键点坐标数据；
47.(5)上述操作循环执行即可实现对视频中各目标的跟踪及骨架关键点检 测。
48.将利用目标跟踪算法得到的每一帧中的目标检测框记为其中， 代表第i帧中目标j的检测框，中存储检测框的宽、高及左上角坐标信息， 即s代表视频的总帧数，n代表视频中目标的总个数；将第i帧中目标j的检测框中的目标调用姿态估计算法得到的骨架关键点坐标信息记为其中，m表示姿态估计算法检测的关键点总数，o与人 体各部位关键点具有对应关系。
49.在步骤s3中，以目标j为例子，将当前帧以及前面的连续n-1帧作为方案 中的关键帧，对是否存在投篮行为进行判别的具体方式为：
50.以目标j为例，取关键帧，即取当前帧及前面的连续n-1帧的肘关节及肩 关节关键点坐标，若目标j连续n帧的肘关节平均高度高于肩关节平均高度， 则判定目标j在当前帧有投篮行为。
51.以目标j为例，取关键帧，即取当前帧及前面的连续n-1帧的肘关节及肩 关节关键点坐标，若目标j连续n帧的肘关节平均高度低于肩关节平均高度， 则判定目标j在当前帧无投篮行为。
52.当检测到某一帧中存在目标有投篮行为发生时，记录所述目标当前的检测 框信息，利用仿射变换将该帧中的球场图像转换为俯瞰图，并获取所述俯瞰图 的二维坐标系。
53.即当根据步骤s3检测到第i帧中目标j有投篮行为发生时，记录该目标此 刻的检测框信息，利用仿射变换将该帧中所拍摄的球场转换为俯瞰图。
54.如图4所示，图4中的左图为视频中所拍摄的某视角球场图及其二维坐标 系，图4中的右图为进行仿射变换后的球场俯瞰图及其二维坐标系，仿射变换 公式如下所示:
[0055][0056]
其中，x
′
、y
′
代表利用步骤s1中所建坐标系表示的原视频帧中点的坐标，x、y 代表利用仿射变换后对应点的坐标。
[0057]
进一步的利用仿射变换公式可以得到有投篮行为的目标j在俯瞰图中的位 置，已知其在原视频帧中的检测框为指定其位置为( w/2,y h)，然后代入仿射变换公式即可目标j在俯瞰图中的位置。
[0058]
具体的，在步骤s5中，进球得分判别，利用步骤s4可得到发生投篮行为 的目标在俯瞰图中的位置坐标，记为d1(x1,y1)，该坐标以俯瞰图中所建坐标系 表示，根据d1(x1,y1)与半场分界线以及三分线的距离来判断得分，具体方法如 下所示：
[0059]
(1)首先，根据仿射变换得到的俯瞰图中的坐标系，如图4中右图所示， 记仿射变换后半场分界线方程为x＝x2，判断d1的x轴坐标与半场分界线x轴坐 标的大小关系，若x1《x2，则球员在左半场，反之，则在右半场。
[0060]
(2)如图4中右图所示，若球员在左半场，则过d点沿与x轴平行方向作 直线，该直线与该半场三分线交于q(x3,y3)点，如图所示，如果x3《x1,则为 三分球，反之为两分球。
[0061]
(3)同样的，若球员在右半场，则过d点沿与x轴平行方向作直线，该直 线与该半场三分线交于p(x4,y4)点，如图所示，如果x4》x1,则为三分球，反 之为两分球。
[0062]
实施例2
[0063]
本公开提供一种基于球场环境与人员位姿的进球得分识别系统，具体包括：
[0064]
视频采集模块，包括摄像机，用于对球场中现场比赛进行固定视角下全景 的视频实时采集；
[0065]
数据处理模块，并对获取的视频数据进行预处理将其转换为帧序列；
[0066]
行为分析判断与定位模块，用于构建二维坐标系，对球场上的目标进行跟 踪以及对骨架关键点进行检测以及取关键帧坐标对投篮行为进行判别定位；
[0067]
计算得分模块，用于利用仿射变换将帧中当前球场图像进行图像转换，得 到投篮行为目标在转换后图像中的位置以及利用发生投篮行为的目标在转换后 图像中的位置坐标判断进球得分。
[0068]
由于本公开基于两个前提，一是假定待识别的视频数据为全景视频且无拍 摄视
角的移动，二是假定在非罚球阶段，球员发生投篮行为则默认进球，所以 采用摄像机对球场中现场比赛进行固定视角下的全景的视频的实时采集。
[0069]
上述基于球场环境与人员位姿的进球得分识别系统，执行以下方法步骤：
[0070]
视频数据预处理。对于球场内拍摄的比赛视频数据，首先将其转换为帧序 列，记为{1,2,
…
,t-1,t,t 1,
…
,500}，共500帧；
[0071]
步骤s1：构建二维坐标系。如图3所示，以视频帧的短边作为y轴，长边 作为x轴，预定义正方向同样如图3所示，根据所述二维坐标系，可以获取帧 中任一点的二维坐标；
[0072]
步骤s2：对球场上的目标进行跟踪及骨架关键点检测。利用towards real-time多目标跟踪算法实现目标跟踪，同时利用以openpose姿态估计算法 对跟踪到的目标进行骨架关键点检测。以实现{1,2,
…
,t-1,t,t 1,
…
,500}帧的 目标跟踪和骨架关键点检测为例，具体如下：
[0073]
(1)假定跟踪过程中每10帧调用一次检测算法来校正各目标检测框的真 实位置，在第1帧中调用yolo-v3检测算法，得到若干目标的检测框；
[0074]
(2)利用towards real-time多目标跟踪算法预测各目标在第2帧中的检 测框；
[0075]
(3)利用特征匹配技术将第2帧中各预测检测框内的目标特征与第1帧中 各检测框内的目标特征进行匹配，根据匹配相似度确定各目标在第2帧中的检 测框，后续帧中各目标检测框的确定以此类推，直至下一次检测算法的调用；
[0076]
(4)在每一帧的目标检测框确定后，均调用openpose算法对检测框中的 目标进行姿态估计，得到各目标的骨架关键点坐标数据；
[0077]
(5)上述操作循环执行即可实现对视频中各目标的跟踪及骨架关键点检 测。
[0078]
将利用目标跟踪算法得到的每一帧中的目标检测框记为其中， 代表第i帧中目标j的检测框，中存储检测框的宽、高及左上角坐标信息， 即500代表视频的总帧数，20代表视频中目标的总个数；将第i帧中目标j的检测框中的目标调用姿态估计算法得到的骨架关键点坐标信息记为其中，m＝18表示姿态估计算法检测的关键点总数，o 与人体各部位关键点具有对应关系，1到18分别对应鼻子、颈、右肩、右肘、 右手腕、左肩、左肘、左手腕、右臀、右膝、右脚踝、左臀、左膝、左脚踝、 右眼、左眼、右耳、左耳。
[0079]
步骤s3：投篮行为判别。利用目标的骨架关键点坐标来判别是否有投篮行 为发生，以目标j为例，取当前帧及前面的连续5帧的肘关节及肩关节关键点 坐标，若目标j连续6帧的肘关节平均高度高于肩关节平均高度，则判定目标j 在当前帧有投篮行为，反之，则目标j在当前帧无投篮行为；
[0080]
步骤s4：仿射变换。当根据步骤s3检测到第i帧中目标j有投篮行为发生 时，记录该目标此刻的检测框信息利用仿射变换将该帧中所拍 摄的球场转换为俯瞰图，如图4所示，左边为视频中所拍摄的某视角球场图及 其二维坐标系，右边为进行仿射变换后的球场俯瞰图及其二维坐标系，仿射变 换公式如下所示，其中，x
′
、y
′
代表利用步骤s1中所建坐标系表示的原视频帧 中点的坐标，x、y代表利用仿射变换后对应点的坐标。
[0081][0082]
进一步的利用仿射变换公式可以得到有投篮行为的目标j在俯瞰图中的位 置，已知其在原视频帧中的检测框为指定其位置为( w/2,y h)，然后代入仿射变换公式即可目标j在俯瞰图中的位置。
[0083]
步骤s5：进球得分判别，利用步骤s4可得到发生投篮行为的目标在俯瞰图 中的位置坐标，记为d1(x1,y1)，该坐标以俯瞰图中所建坐标系表示，根据 d1(x1,y1)与半场分界线以及三分线的距离来判断得分，步骤如下：
[0084]
(1)首先，根据仿射变换得到的俯瞰图中的坐标系，如图4中右图所示， 记仿射变换后半场分界线方程为x＝x2，判断d1的x轴坐标与半场分界线x轴坐 标的大小关系，若x1《x2，则球员在左半场，反之，则在右半场。
[0085]
(2)如图4中右图所示，若球员在左半场，则过d点沿与x轴平行方向作 直线，该直线与该半场三分线交于q(x3,y3)点，如图所示，如果x3《x1,则为 三分球，反之为两分球。
[0086]
(3)同样的，若球员在右半场，则过d点沿与x轴平行方向作直线，该直 线与该半场三分线交于p(x4,y4)点，如图所示，如果x4》x1,则为三分球，反 之为两分球。
[0087]
本公开提出通过建模球场环境信息，利用跟踪及姿态估计算法进行目标时 空定位，根据定位的目标位置与球场环境的相对关系来计算进球得分的算法。 首先，将待识别的视频进行预处理得到帧序列，同时在原始帧上构建二维坐标 系用于对球场球员位置的定位，然后利用多目标跟踪算法实现对球场上目标的 跟踪，同时调用姿态估计算法对跟踪到的目标进行骨架关键点检测，得到球场 上各目标的连续骨架关键点坐标。接下来，利用目标连续n帧的骨架关键点坐 标来判断是否有投篮行为发生，若发生投篮行为，则利用目标的检测框信息计 算其实时位置，然后利用仿射变换将原视频帧中的球场图转换为俯瞰图，同样 的，根据仿射变换计算可得到球员在俯瞰图中的实时位置。至此，上述操作实 现了对球员投篮行为的时空定位。最后，根据俯瞰图中目标的位置与半场线、 三分线的相对位置关系即可计算目标的投篮行为的进球得分。我们将系统用以 实际测试。以上方法具有通用和实用性强的特点。该算法创新性地将球场环境 建模与当前的目标跟踪、姿态估计算法相结合，通过算法定位具备投篮行为的 目标位置，将目标位置与球场环境通过仿射变换映射到俯瞰平面图中计算进球 得分。
[0088]
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计 算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结 合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包 含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0089]
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品 的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/ 或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或 方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式 处理机或其他可编程数据处理设备的处理器
以产生一个机器，使得通过计算机 或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流 程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0090]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备 以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的 指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流 程和/或方框图一个方框或多个方框中指定的功能。
[0091]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使 得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理， 从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程 或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0092]
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领 域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则 之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之 内。
[0093]
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开 保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上， 本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开 的保护范围以内。