一种乒乓球三维轨迹分析方法、系统、设备和存储介质

本发明涉及计算机视觉与图像检测，尤其涉及一种乒乓球三维轨迹分析方法、系统、设备和存储介质。

背景技术：

1、乒乓球运动的三维轨迹分析是技战术研究、训练评估和赛事数据服务的重要基础。通过对比赛中每一拍的击球位置、落点区域和飞行线路进行量化记录，教练员与运动员能够更直观地评估技术执行质量与战术选择效果，为训练数字化与科学化提供数据支撑。然而，在真实比赛直播画面或赛事转播流中，乒乓球体积小、速度快，且受球拍遮挡、人体遮挡和画面切换等因素影响，其轨迹检测与三维重建存在较大技术难度。

2、现有技术中，部分方案采用双高速摄像机、双目视觉标定或多摄像机采图方式获取球体空间信息，借助分布式高速视觉系统或专用同步采集硬件实现三维定位与轨迹重现。这类方法虽能获得较精确的空间坐标，但需在比赛现场额外架设多台设备，对采集条件和硬件同步要求较高，难以直接适配赛事转播流中的单目摄像头画面。另有方案侧重于轨迹预测或落点坐标计算，能够在特定条件下输出后续坐标或落点位置，但通常未把单目视频流中的遮挡漏检、击球与落点事件顺序、漏检补全和训练复盘语义输出整合为完整处理链路。

3、在真实转播场景中，乒乓球高速运动易导致成像模糊，球拍与人体遮挡会造成短时目标消失，而相机运动或画面切换又容易造成轨迹中断。现有基于单视频流的三维信息获取方法，虽能建立投影变换矩阵并拟合球体轨迹，但对遮挡状态下的小球检测连续性、击球点与落点的事件状态切换以及漏检后的结果补全考虑不足，使得输出结果在训练复盘场景中的可用性受限。此外，现有方案多以轨迹记录或坐标输出为主，未能把击球方、左右半台区域划分和线路类型等结构化语义融入分析结果，难以直接服务于教练员的技战术统计与运动员的技术画像需求。

4、因此，如何在仅依赖普通单目摄像头视频输入的前提下，兼顾高速小目标的遮挡鲁棒检测、击球与落点事件的稳定识别、漏检结果的有效补全以及三维轨迹与训练语义的结构化输出，成为当前乒乓球运动分析领域亟待解决的技术问题。

技术实现思路

1、为解决上述技术问题，本发明提供了一种乒乓球三维轨迹分析方法、系统、设备和存储介质。

2、第一方面，本发明提供一种乒乓球三维轨迹分析方法，该方法的技术方案如下：

3、获取视频流中的连续图像帧，按照时间顺序构建包含多帧图像的滑动窗口；

4、将所述滑动窗口输入多帧时空感知网络，通过所述多帧时空感知网络对各图像帧进行二维空间卷积，再对卷积后的多帧特征进行三维时序卷积，经编码器-解码器上采样与特征拼接后，由时间压缩层输出单通道二维热力图，经softmax得到待分析帧中目标球的像素坐标；

5、获取球桌在图像中的角点，按照预设顺序对所述角点进行排序，根据排序后的所述角点和标准球桌坐标系的标准角点坐标计算透视变换矩阵；

6、将连续多帧的所述目标球的像素坐标写入轨迹缓存，对所述轨迹缓存中的轨迹点进行平滑滤波，根据平滑滤波后的相邻轨迹点计算运动方向变化量，当所述运动方向变化量超过预设阈值且当前帧与上一次击球点之间的帧间隔大于预设最小间隔时，将当前帧对应的轨迹点标记为击球点；

7、在检测到击球点之后切换为落点搜索状态，从所述轨迹缓存中筛选位于球桌区域内的轨迹点，根据击球点位置与候选落点位置之间的对侧约束以及轨迹点的高度变化趋势确定落点；若在预设帧数内未检测到落点，则强制在击球点之后的轨迹段中按照所述对侧约束和最低点约束搜索落点，并在检测到下一个击球点时对两击球点之间的轨迹段重新搜索落点；

8、根据所述透视变换矩阵，将所述目标球的像素坐标、击球点的像素坐标和落点的像素坐标转换为标准球桌坐标系下的平面坐标；

9、根据所述标准球桌坐标系下的平面坐标、视频帧率和重力加速度重建目标球在标准球桌坐标系下的三维轨迹，并根据击球点和落点的位置确定击球方、落点区域和线路类型，输出结构化轨迹分析结果。

10、本发明的一种乒乓球三维轨迹分析方法的有益效果如下：

11、本发明的方法通过构建多帧图像滑动窗口并输入多帧时空感知网络进行时空特征融合，结合球桌角点透视变换矩阵计算、轨迹缓存平滑滤波与运动方向变化量检测击球点，利用对侧约束与高度变化趋势搜索落点并在漏检时强制补全与重新搜索，将像素坐标转换至标准球桌坐标系后重建三维轨迹并输出击球方、落点区域和线路类型等结构化语义，解决了单目摄像头视频输入条件下高速小目标遮挡导致检测连续性不足、击球与落点事件识别不稳定、漏检后结果补全缺失以及三维轨迹缺乏训练语义的问题，提升了乒乓球三维轨迹分析在训练复盘场景中可用性。

12、在上述方案的基础上，本发明的一种乒乓球三维轨迹分析方法还可以做如下改进。

13、在一种可选的方式中，所述多帧时空感知网络在训练阶段对连续帧同步施加缩放、裁剪、旋转、翻转和颜色扰动中的至少一种图像增强，对随机遮挡样本设置可见度加权损失权重，对完全遮挡样本采用高斯软标签作为监督信号，并加入速度一致性损失和加速度一致性损失约束预测轨迹的运动连续性。

14、采用上述可选方式的有益效果为：进一步通过在训练阶段同步施加多种图像增强、设置可见度加权损失、采用高斯软标签监督并加入速度与加速度一致性损失，增强网络对遮挡场景的适应能力，提高小球检测连续性，约束预测轨迹的运动平滑性。

15、在一种可选的方式中，所述多帧时空感知网络的编码器在向下采样过程中保存空间特征和时序特征，解码器在上采样过程中分别拼接对应的所述空间特征和所述时序特征；所述时间压缩层采用n×1×1卷积将多帧特征压缩为单通道二维热力图。

16、采用上述可选方式的有益效果为：进一步通过在编码器向下采样时保存空间特征和时序特征，在解码器上采样时分别拼接对应特征，并采用n×1×1卷积压缩多帧特征，保留时空信息完整性，提升热力图输出精度，使像素坐标定位更加准确。

17、在一种可选的方式中，对所述轨迹缓存中的轨迹点进行平滑滤波的步骤，包括：采用savitzky-golay滤波器对所述轨迹缓存中的轨迹点进行平滑处理。

18、采用上述可选方式的有益效果为：进一步通过采用savitzky-golay滤波器对轨迹缓存中的轨迹点进行平滑处理，在保留轨迹原始运动趋势的同时抑制噪声干扰，使后续运动方向变化量的计算更加稳定，从而提高击球点检测的可靠性。

19、在一种可选的方式中，将当前帧对应的轨迹点标记为击球点的步骤，包括：

20、将所述当前帧对应的轨迹点作为候选击球点，获取球拍在图像中的位置，根据所述球拍的位置对所述候选击球点进行位置修正；

21、对于视频起始段检测到的首个候选击球点，根据距离最近的球拍中心位置对所述首个候选击球点进行修正，将修正后的候选击球点标记为所述击球点。

22、采用上述可选方式的有益效果为：进一步通过获取球拍位置对候选击球点进行位置修正，并对视频起始段的首个候选击球点依据最近球拍中心位置进行修正，减少因轨迹抖动或检测偏差导致的击球点误判，使击球点标记更加贴近实际击球位置。

23、在一种可选的方式中，所述对侧约束为落点位于击球点的对侧半台区域内；所述轨迹点的高度变化趋势通过轨迹点在图像坐标系中沿垂直方向的位置变化来确定，优先选择处于轨迹下降阶段的轨迹点作为落点。

24、采用上述可选方式的有益效果为：进一步通过利用落点位于击球点对侧半台区域的对侧约束，结合轨迹点在图像坐标系中垂直方向的位置变化确定高度变化趋势，优先选择轨迹下降阶段的轨迹点作为落点，使落点识别更加符合乒乓球运动的物理规律。

25、在一种可选的方式中，强制在击球点之后的轨迹段中按照所述对侧约束和最低点约束搜索落点的步骤，包括：

26、在所述击球点之后的所述轨迹段中筛选满足所述对侧约束的轨迹点，按照所述最低点约束，从满足所述对侧约束的轨迹点中选择图像坐标系中垂直方向的位置坐标值最小的轨迹点作为所述落点；

27、根据所述落点和所述击球点在标准球桌坐标系下的平面坐标判定击球方、落点区域和线路类型。

28、采用上述可选方式的有益效果为：进一步通过在漏检情况下强制在击球点之后的轨迹段中按照对侧约束和最低点约束搜索落点，并依据标准球桌坐标系下的平面坐标判定击球方、落点区域和线路类型，弥补漏检造成的落点信息缺失，保证结构化轨迹分析结果完整输出。

29、第二方面，本发明提供一种乒乓球三维轨迹分析系统，该系统的技术方案如下：

30、构建模块，用于获取视频流中的连续图像帧，按照时间顺序构建包含多帧图像的滑动窗口；

31、处理模块，用于将所述滑动窗口输入多帧时空感知网络，通过所述多帧时空感知网络对各图像帧进行二维空间卷积，再对卷积后的多帧特征进行三维时序卷积，经编码器-解码器上采样与特征拼接后，由时间压缩层输出单通道二维热力图，经softmax得到待分析帧中目标球的像素坐标；

32、计算模块，用于获取球桌在图像中的角点，按照预设顺序对所述角点进行排序，根据排序后的所述角点和标准球桌坐标系的标准角点坐标计算透视变换矩阵；

33、标记模块，用于将连续多帧的所述目标球的像素坐标写入轨迹缓存，对所述轨迹缓存中的轨迹点进行平滑滤波，根据平滑滤波后的相邻轨迹点计算运动方向变化量，当所述运动方向变化量超过预设阈值且当前帧与上一次击球点之间的帧间隔大于预设最小间隔时，将当前帧对应的轨迹点标记为击球点；

34、搜索模块，用于在检测到击球点之后切换为落点搜索状态，从所述轨迹缓存中筛选位于球桌区域内的轨迹点，根据击球点位置与候选落点位置之间的对侧约束以及轨迹点的高度变化趋势确定落点；若在预设帧数内未检测到落点，则强制在击球点之后的轨迹段中按照所述对侧约束和最低点约束搜索落点，并在检测到下一个击球点时对两击球点之间的轨迹段重新搜索落点；

35、转换模块，用于根据所述透视变换矩阵，将所述目标球的像素坐标、击球点的像素坐标和落点的像素坐标转换为标准球桌坐标系下的平面坐标；

36、输出模块，用于根据所述标准球桌坐标系下的平面坐标、视频帧率和重力加速度重建目标球在标准球桌坐标系下的三维轨迹，并根据击球点和落点的位置确定击球方、落点区域和线路类型，输出结构化轨迹分析结果。

37、本发明的一种乒乓球三维轨迹分析系统的有益效果如下：

38、本发明的系统通过构建多帧图像滑动窗口并输入多帧时空感知网络进行时空特征融合，结合球桌角点透视变换矩阵计算、轨迹缓存平滑滤波与运动方向变化量检测击球点，利用对侧约束与高度变化趋势搜索落点并在漏检时强制补全与重新搜索，将像素坐标转换至标准球桌坐标系后重建三维轨迹并输出击球方、落点区域和线路类型等结构化语义，解决了单目摄像头视频输入条件下高速小目标遮挡导致检测连续性不足、击球与落点事件识别不稳定、漏检后结果补全缺失以及三维轨迹缺乏训练语义的问题，提升了乒乓球三维轨迹分析在训练复盘场景中可用性。

39、第三方面，本发明的一种电子设备的技术方案如下：

40、包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的程序，所述处理器执行所述程序时实现如本发明的乒乓球三维轨迹分析方法的步骤。

41、第四方面，本发明提供的一种计算机可读存储介质的技术方案如下：

42、计算机可读存储介质中存储有指令，当计算机可读存储介质读取所述指令时，使所述计算机可读存储介质执行如本发明的乒乓球三维轨迹分析方法的步骤。

43、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。