基于视觉的乒乓球发球遮挡判断方法、系统及存储介质与流程

1.本发明涉及体育运动中的电子裁判技术领域，特别是涉及一种基于视觉的乒乓球发球遮挡判断方法、系统及存储介质。


背景技术：

2.根据《乒乓球比赛规则》，“运动员有责任让裁判员或者副裁判员看清楚运动员的发球是否合法”。现有的乒乓球比赛中用于判断运动员发球是否遮挡的技术主要通过鹰眼技术，即“鹰眼回放挑战系统”(ttr)，由摄像头拍下乒乓球运行轨迹采集数据，由计算机系统合成三维动画，人工控制画面计算各种所需参数指标或者通过慢镜头回放。
3.ttr系统具有如下缺点：
4.(1)ttr系统判断是否遮挡是通过回放监控裁判反复观看各角度视频进行裁判，而场上摄像头机位并没有与接发球方的视角完全重合，存在接发球方视角未遮挡，而摄像头视角遮挡的判罚误差。
5.(2)ttr系统存在视频回放和判罚时间过长的问题，由于裁判需要通过回放监控反复观看各种角度的视频，最终确定判罚结果，并呈现在现场大屏幕，耗时较长，严重影响比赛的流畅性。
6.(3)ttr系统目前仅有制胜球的球速和转速、精彩球的回合拍数的数据，但更具乒乓球竞技特色的运动学数据如乒乓球的空间位置等数据均未能展示。
7.(4)ttr系统的引入，裁判人员、资金的成本都明显增加。


技术实现要素：

8.发明目的：为了克服现有技术中存在的不足，本发明提供一种判罚及时、成本低、数据详实的基于视觉的乒乓球发球遮挡判断方法、系统及存储介质。
9.技术方案：为实现上述目的，本发明的基于视觉的乒乓球发球遮挡判断方法，所述方法包括：
10.获取两个相机采集的视频数据；
11.根据预设帧率抽取所述视频数据内的视频图像；
12.对每张所述视频图像进行信息提取以对其中的乒乓球进行识别，得到乒乓球数据；
13.对每张所述视频图像进行信息提取以对其中的运动员上半身进行识别，得到上半身数据；其中，所述上半身数据为对应于运动员上半身各关节点的数据；
14.对所述乒乓球数据与所述上半身数据进行处理得到乒乓球三维数据与上肢三维数据；其中，所述上肢三维数据为对应于运动员手臂各关节点的三维数据；
15.根据所述乒乓球三维数据与上肢三维数据判断设定时段内运动员是否遮挡发球，得到判断结论；所述设定时段为运动员抛球到球拍击球之间的时段。
16.进一步地，所述获取相机采集的视频数据之前还包括：
17.进行数据初始化；
18.判断是否有视频数据导入，是则执行下一步，否则重新执行上一步。
19.进一步地，所述方法还包括：
20.将所述视频数据以及所述判断结论输出至屏幕。
21.进一步地，所述对每张所述视频图像进行信息提取以对其中的乒乓球进行识别，得到乒乓球数据包括：
22.对所述视频图像进行预处理得到处理后图像；
23.利用目标检测算法提取所述处理后图像中的乒乓球区域，并提取前景检测框；
24.计算所述前景检测框的中心的像素坐标，得到乒乓球在所述视频图像中的像素坐标作为所述乒乓球数据。
25.进一步地，所述对每张所述视频图像进行信息提取以对其中的运动员进行识别，得到上半身数据包括：
26.利用人体检测网络提取所述视频图像中的人体上半身候选框；
27.对所述人体上半身候选框内的人体图像进行关键点与姿态预测，得到预测结果；
28.将所述预测结果变换至所述视频图像中，以得到对应于所述视频图像的关键点位置；
29.通过nms排除多余的姿态，得到最终的关键点数据作为所述上半身数据。
30.进一步地，所述对所述乒乓球数据与所述上半身数据进行处理得到乒乓球三维数据与上肢三维数据包括：
31.根据所述相机的内外参矩阵得到深度差异映射矩阵；
32.根据所述深度差异映射矩阵将所述乒乓球数据与所述上半身数据投射到所述相机的坐标系中；
33.根据所述相机相对于世界坐标系的位姿关系，将所述相机的坐标系中的所述乒乓球数据与所述上半身数据中对应于手臂各关节点的数据转换至所述世界坐标系中，得到乒乓球三维数据与上肢三维数据。
34.进一步地，所述根据所述乒乓球三维数据与上肢三维数据判断设定时段内运动员是否遮挡发球，得到判断结论包括：
35.将所述乒乓球三维数据与上肢三维数据进行比对，根据坐标关系判断设定时段内运动员是否遮挡发球，或根据对乒乓球三维数据的追踪轨迹判断设定时段内运动员是否遮挡发球。
36.进一步地，所述根据坐标关系判断设定时段内运动员是否遮挡发球包括：
37.判断是否有某一时刻存在第一设定情形，得到第一判断结果；所述第一设定情形为：所述上肢三维数据中存在在x轴轴向上与所述乒乓球三维数据重合的点，且该点的坐标比所述乒乓球三维数据更靠近乒乓球台中心；
38.若所述第一判断结论为是，则得到的所述判断结论为运动员遮挡发球；
39.所述根据对乒乓球三维数据的追踪轨迹判断设定时段内运动员是否遮挡发球包括：
40.根据连续时刻的乒乓球三维数据对所述乒乓球的运动轨迹进行追踪；
41.根据所述乒乓球的运动轨迹，判断是否存在第二设定情形，得到第二判断结果；所
述第二设定情形为：在乒乓球作下降运动时，存在若干所述视频图像没有对应的乒乓球三维数据；
42.若所述第二判断结论为是，则得到的所述判断结论为运动员遮挡发球。
43.基于视觉的乒乓球发球遮挡判断系统，其包括：
44.相机，所述相机有两台，两者分别安装在两个裁判位旁；
45.显示屏，其用于输出信息；
46.控制器，其连接所述相机以及所述显示屏，用于实施上述的基于视觉的乒乓球发球遮挡判断方法。
47.一种存储介质，其上存储有计算机程序，程序被处理器执行时实现上述的基于视觉的乒乓球发球遮挡判断方法。
48.有益效果：本发明的基于视觉的乒乓球发球遮挡判断方法、系统及存储介质，通过对两个相机采集的视频进行乒乓球数据以及上半身数据提取与位置跟踪，并据此判断是否发球遮挡，得出判断结论的实时性高，实现成本低，且判断准确，适用于在乒乓球比赛中进行辅助裁判。
附图说明
49.附图1为基于视觉的乒乓球发球遮挡判断系统的构成示意图；
50.附图2为基于视觉的乒乓球发球遮挡判断方法的流程示意图。
具体实施方式
51.下面结合附图对本发明作更进一步的说明。
52.本发明之基于视觉的乒乓球发球遮挡判断方法基于如附图1所示的基于视觉的乒乓球发球遮挡判断系统，图中，系统包括相机1、显示屏2以及控制器3；其中，所述相机1有两台，两台相机1构成双目系统，两台相机1分别安装在两个裁判位旁，以使得相机1的视角与乒乓球比赛中两个裁判的视角一致，相机1用于实时拍摄比赛场上的运动员和乒乓球，获取乒乓球和运动员的实时图像数据；显示屏2用于输出信息，输出的信息可以包括视频信息、乒乓球的坐标数据、运动员的位姿数据、裁判结论信息等；控制器3连接所述相机1以及所述显示屏2，用于实施本发明之基于视觉的乒乓球发球遮挡判断方法。本发明中，控制器3是系统中所有涉及控制的元件的统称，具体到本实施，控制器3包括上位机与图像采集系统，其中图像采集系统用于连接相机1与上位机，以实时接收来自两个相机1的视频数据。本实施例中图像采集系统为ad4
‑
cl图像采集卡。
53.基于上述系统，本发明之基于视觉的乒乓球发球遮挡判断方法包括如下步骤s401
‑
s406(下述所有步骤序号均不用于对步骤的实施顺序进行限定，最多只代表优选的实施顺序，某些步骤的实施顺序可按需调换或同步实施)：
54.步骤s401，获取两个相机采集的视频数据；
55.本步骤中，每个相机1所采用的的摄像模式均为250fps(分辨率2048*1088)。
56.步骤s402，根据预设帧率抽取所述视频数据内的视频图像；
57.本步骤中，可以逐帧获取视频数据内的每帧视频图像，也可以按需每隔设定帧数获取一帧视频图像。
58.步骤s403，对每张所述视频图像进行信息提取以对其中的乒乓球进行识别，得到乒乓球数据；
59.本步骤中，乒乓球数据包括乒乓球在其所在的视频图像中的坐标数据；
60.步骤s404，对每张所述视频图像进行信息提取以对其中的运动员上半身进行识别，得到上半身数据；其中，所述上半身数据为对应于运动员上半身各关节点的数据；
61.步骤s405，对所述乒乓球数据与所述上半身数据进行处理得到乒乓球三维数据与上肢三维数据；其中，所述上肢三维数据为对应于运动员手臂各关节点的三维数据；
62.本步骤主要用于将上半身数据与乒乓球数据从视频图像中的坐标数据转换为世界坐标中的坐标数据。本步骤中，综合两个相机同一时刻的视频图像中的上半身数据与乒乓球数据得到乒乓球三维数据与上肢三维数据。
63.步骤s406，根据所述乒乓球三维数据与上肢三维数据判断设定时段内运动员是否遮挡发球，得到判断结论；所述设定时段为运动员抛球到球拍击球之间的时段。
64.优选地，上述步骤s401之前所述获取相机采集的视频数据之前还包括如下步骤s501
‑
s502：
65.步骤s501，进行数据初始化；
66.步骤s502，判断是否有视频数据导入，是则执行步骤s401，否则重新执行步骤s501。
67.优选地，上述步骤s406之后所述方法还包括如下步骤s601：
68.步骤s601，将所述视频数据以及所述判断结论输出至屏幕。
69.优选地，上述步骤s403中所述对每张所述视频图像进行信息提取以对其中的乒乓球进行识别，得到乒乓球数据包括如下步骤s701
‑
s703：
70.步骤s701，对所述视频图像进行预处理得到处理后图像；
71.本步骤中，预处理包括对图像进行灰度图转化、高斯噪声滤波、对比度增强操作、消除图像噪声、提高图像的显示质量等处理，使得图像更适于后续处理。
72.步骤s702，利用目标检测算法提取所述处理后图像中的乒乓球区域，并提取前景检测框；
73.步骤s703，计算所述前景检测框的中心的像素坐标，得到乒乓球在所述视频图像中的像素坐标作为所述乒乓球数据。
74.优选地，步骤s404中所述对每张所述视频图像进行信息提取以对其中的运动员进行识别，得到上半身数据包括如下步骤s801
‑
s804：
75.步骤s801，利用人体检测网络提取所述视频图像中的人体上半身候选框；
76.本步骤中，采用lstm作为人体检测网络，在其他实施例中，也可采用其他算法作为人体检测网络。
77.步骤s802，对所述人体上半身候选框内的人体图像进行关键点与姿态预测，得到预测结果；
78.本步骤中，采用数据增广的方法训练sppe堆叠沙漏网络进行关键点与姿态预测。
79.步骤s803，将所述预测结果变换至所述视频图像中，以得到对应于所述视频图像的关键点位置；
80.步骤s804，通过nms排除多余的姿态，得到最终的关键点数据作为所述上半身数
据。
81.本步骤中，nms用于计算姿态的相似度，从而排除掉多余的姿态，进而可排除掉识别到的多余关键点，减少多识别的点对结果产生干扰。
82.优选地，上述步骤s405中所述对所述乒乓球数据与所述上半身数据进行处理得到乒乓球三维数据与上肢三维数据包括如下步骤s901
‑
s903：
83.步骤s901，根据所述相机的内外参矩阵得到深度差异映射矩阵；
84.本步骤中，利用stereorectify()函数得到深度差异映射矩阵。
85.步骤s902，根据所述深度差异映射矩阵将所述乒乓球数据与所述上半身数据投射到所述相机的坐标系中；
86.步骤s903，根据所述相机相对于世界坐标系的位姿关系，将所述相机的坐标系中的所述乒乓球数据与所述上半身数据转换至所述世界坐标系中，得到乒乓球三维数据与上肢三维数据。
87.本步骤中，世界坐标系设置乒乓球桌的球桌中心位置，在系统开始处理数据之前，需要根据实测数据对坐标系进行微调，手动计算处旋转矩阵对世界坐标系进行旋转校正。
88.优选地，上述步骤s406中所述根据所述乒乓球三维数据与上肢三维数据判断设定时段内运动员是否遮挡发球，得到判断结论包括如下步骤a1：
89.步骤a1，将所述乒乓球三维数据与上肢三维数据进行比对，根据坐标关系判断设定时段内运动员是否遮挡发球，或根据对乒乓球三维数据的追踪轨迹判断设定时段内运动员是否遮挡发球。
90.本步骤中，当视频图像中有乒乓球时，可根据坐标关系判断运动员的人体是否对乒乓球产生遮挡，当视频图像中没有乒乓球时，可根据对乒乓球三维数据的追踪轨迹判断运动员的人体是否对乒乓球产生遮挡。
91.具体地，上述步骤a1中所述根据坐标关系判断设定时段内运动员是否遮挡发球包括如下步骤b1
‑
b2：
92.步骤b1，判断是否有某一时刻存在第一设定情形，得到第一判断结果；所述第一设定情形为：所述上肢三维数据中存在在x轴轴向上与所述乒乓球三维数据重合的点，且该点的坐标比所述乒乓球三维数据更靠近乒乓球台中心；
93.本步骤中，x轴平行于乒乓球桌的长度方向，也即x轴垂直于拦网所在平面。
94.步骤b2，若所述第一判断结论为是，则得到的所述判断结论为运动员遮挡发球；
95.通过上述步骤b1
‑
b2，可对运动员与乒乓球进行坐标比对，判断是否产生遮挡。
96.具体地，上述步骤a1中所述根据对乒乓球三维数据的追踪轨迹判断设定时段内运动员是否遮挡发球包括如下步骤c1
‑
c3：
97.步骤c1，根据连续时刻的乒乓球三维数据对所述乒乓球的运动轨迹进行追踪；
98.步骤c2，根据所述乒乓球的运动轨迹，判断是否存在第二设定情形，得到第二判断结果；所述第二设定情形为：在乒乓球作下降运动时，存在若干所述视频图像没有对应的乒乓球三维数据；
99.步骤c3，若所述第二判断结论为是，则得到的所述判断结论为运动员遮挡发球。
100.通过上述步骤c1
‑
c3，结合乒乓球的运动轨迹与视频图像中是否有乒乓球确定了是否遮挡发球，不会误判，因为若乒乓球处于上升阶段，若视频图像没有对应的乒乓球三维
数据，有可能是乒乓球超出了相机的视野，乒乓球处于下降阶段，若视频图像没有对应的乒乓球三维数据一定是发生了遮挡。
101.本发明还提供一种计算机可读的存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘、服务器、app应用商城等等，其上存储有计算机程序，程序被处理器执行时实现本发明之基于视觉的乒乓球发球遮挡判断方法。
102.本发明的基于视觉的乒乓球发球遮挡判断方法、系统及存储介质，通过对两个相机采集的视频进行乒乓球数据以及上半身数据提取与位置跟踪，并据此判断是否发球遮挡，得出判断结论的实时性高，实现成本低，且判断准确，适用于在乒乓球比赛中进行辅助裁判。
103.以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。