基于深度学习与双目视觉的网球发球轨迹预测和修正方法、系统、终端及存储介质与流程

本发明涉及网球轨迹偏差校正，尤其涉及一种基于深度学习与双目视觉的网球发球轨迹预测和修正方法、系统、终端及计算机可读存储介质。

背景技术：

1、网球训练中，发球质量直接决定比赛胜负。传统发球训练高度依赖教练的肉眼观察和经验判断，学员需经过长时间反复练习才能形成稳定动作记忆。随着智能体育装备的发展，发球机已被广泛引入训练场地，用于模拟不同旋转、速度、落点的发球。

2、然而，目前主流发球机的参数（出球轮转速、发射角度、侧旋量等）仍主要靠人工预设或人工调整，无法根据用户实际击球表现进行闭环反馈与自动修正，导致训练效率低下、参数漂移难以自适应。

3、因此，现有技术还有待于改进和发展。

技术实现思路

1、本发明的主要目的在于提供一种基于深度学习与双目视觉的网球发球轨迹预测和修正方法、系统、终端及计算机可读存储介质，旨在解决现有技术中网球发球参数调节依赖人工经验、三维轨迹重建精度低、无法实现发球参数自动闭环修正的问题。

2、为实现上述目的，本发明提供一种基于深度学习与双目视觉的网球发球轨迹预测和修正方法，所述基于深度学习与双目视觉的网球发球轨迹预测和修正方法包括如下步骤：

3、获取由双目高速摄像头采集的网球飞行图像，将所述网球飞行图像输入到目标检测网络进行匹配，输出不同帧的左视图和右视图分别对应的球心像素坐标和检测置信度；

4、根据所有所述检测置信度从所有所述左视图和所有所述右视图中分别筛选出多个左目短焦4k图像和多个右目长焦hd图像，分别对每对所述左目短焦4k图像和右目长焦hd图像进行对齐和融合处理后，得到目标网球在不同帧的三维坐标表示；

5、对从所有所述三维坐标表示中提取所有关键帧对应的目标三维坐标，并将所有所述目标三维坐标到已构建的时空序列预测网络，输出所述目标网球的完整轨迹和偏差参数；

6、若根据所述偏差参数判断所述完整轨迹存在偏差，则建立发球参数和所述偏差参数之间的映射关系，以对所述完整轨迹进行修正，并再次检测发球机的发球轨迹，直到所述发球轨迹准确。

7、可选地，所述的基于深度学习与双目视觉的网球发球轨迹预测和修正方法，其中，所述获取由双目高速摄像头采集的网球飞行图像，将所述网球飞行图像输入到目标检测网络进行匹配，输出不同帧的左视图和右视图分别对应的球心像素坐标和检测置信度，具体包括：

8、当发球机发射目标网球时，利用双目高速摄像头采集所述目标网球在每帧的左视图和右视图；

9、针对每一帧，将所述左视图和所述右视图输入到已构建的目标检测网络中，在所述目标检测网络中引入注意力模块对所述左视图和所述右视图进行边缘特征强化处理；

10、利用颈部网络对处理后的所述左视图和所述右视图进行小目标检测，分别输入左右目双流分支进行并行推理，得到不同帧的左视图球心像素坐标、右视图球心像素坐标和每帧对应的检测置信度。

11、可选地，所述的基于深度学习与双目视觉的网球发球轨迹预测和修正方法，其中，所述根据所有所述检测置信度从所有所述左视图和所有所述右视图中分别筛选出多个左目短焦4k图像和多个右目长焦hd图像，分别对每对所述左目短焦4k图像和右目长焦hd图像进行对齐和融合处理后，得到目标网球在不同帧的三维坐标表示，具体包括：

12、分别从所有所述左视图和所有所述右视图中筛选出所述检测置信度大于第一置信度阈值的左目短焦4k图像和右目长焦hd图像；

13、根据所述双目高速摄像头的内参数和外参数，对所述左目短焦4k图像和右目长焦hd图像进行时间戳对齐处理；

14、将所述左目短焦4k图像定义世界坐标系，并将所述双目高速摄像头的左目定义为原点；

15、将所述左视图球心像素坐标和所述右视图球心像素坐标映射到所述世界坐标系上，以融合所述左目短焦4k图像和所述右目长焦hd图像，得到三维坐标系；

16、在所述三维坐标系上确定所述目标网球在不同帧的三维坐标表示。

17、可选地，所述的基于深度学习与双目视觉的网球发球轨迹预测和修正方法，其中，所述对从所有所述三维坐标表示中提取所有关键帧对应的目标三维坐标，并将所有所述目标三维坐标到已构建的时空序列预测网络，输出所述目标网球的完整轨迹和偏差参数，具体包括：

18、对每帧所述三维坐标表示进行id关联后，得到多个漏检帧；

19、为所有所述三维坐标表示建立恒速卡尔曼滤波器，以利用预测值为每个所述漏检帧进行填补，得到所述目标网球在整个时序的三维坐标表示；

20、以所述发球机启动时为起始帧，以所述目标网球落地或落网时为终止帧，从所有帧中筛选出速度变化率大于速度阈值、检测置信度大于第二置信度阈值且轨迹曲率突变的目标帧，并将所有所述目标帧对应的所述三维坐标表示定义为目标三维坐标；

21、将所有所述目标三维坐标输入到已构建的时空序列预测网络进行轨迹预测和偏差计算，输出所述目标网球的完整轨迹和偏差参数。

22、可选地，所述的基于深度学习与双目视觉的网球发球轨迹预测和修正方法，其中，所述将所有所述目标三维坐标输入到已构建的时空序列预测网络进行轨迹预测和偏差计算，输出所述目标网球的完整轨迹和偏差参数，具体包括：

23、构建初始预测网络，根据历史真实发球数据和物理合成数据构建联合训练集，并利用所述联合训练集对所述初始预测网络进行训练，得到时空序列预测网络；

24、针对每个所述目标三维坐标，将所述目标三维坐标输入到所述时空序列预测网络，利用所述时空序列预测网络中的一维卷积层提取所述目标三维坐标的局部空间特征，并利用编码器对每个所述局部空间特征进行时序编码，得到所述目标三维坐标后续多帧的完整轨迹；

25、从所述完整轨迹中的最后帧提取所述目标三维坐标对应的偏差参数，并根据所述偏差参数构建对应的偏差评分：

26、；

27、其中，表示偏差评分，表示落点偏差，表示速度偏差，表示飞行弧度偏差，、和分别表示、和的权重系数。

28、可选地，所述的基于深度学习与双目视觉的网球发球轨迹预测和修正方法，其中，所述若根据所述偏差参数判断所述完整轨迹存在偏差，则建立发球参数和所述偏差参数之间的映射关系，以对所述完整轨迹进行修正，具体包括：

29、构建预设帧大小的误差滑动窗口，在所述误差滑动窗口中检测所述目标网球的完整轨迹；

30、若不少于预设帧的所述偏差评分低于标准值，则判断所述完整轨迹存在偏差；

31、建立发球参数分别与所述落点偏差、所述速度偏差和所述飞行弧度偏差之间的映射关系，得到对应的修正量，以对所述完整轨迹进行修正。

32、可选地，所述的基于深度学习与双目视觉的网球发球轨迹预测和修正方法，其中，所述发球参数包括：发球距离、发射角、发球速度、发球转速、左右落点偏差和弧度高度；

33、所述建立发球参数分别与所述落点偏差、所述速度偏差和所述飞行弧度偏差之间的映射关系，得到对应的修正量，以对所述完整轨迹进行修正，具体包括：

34、构建所述发球距离和所述发射角与所述落点偏差之间的映射，以对所述落点偏差进行修正，得到落点修正增量：

35、；

36、其中，表示落点修正增量，表示落点修正系数，表示发球距离，表示发射角；

37、构建所述发球速度和所述发球转速与所述速度偏差之间的映射，以对所述速度偏差进行修正，得到速度修正增量：

38、；

39、其中，表示速度修正增量，表示速度修正系数，表示发球速度，表示发球转速；

40、构建所述左右落点偏差和所述弧度高度与所述飞行弧度偏差之间的映射，以对所述飞行弧度偏差进行修正，得到飞行弧修正增量：

41、；

42、其中，表示飞行弧修正增量，表示飞行弧修正系数，表示正负定义函数，表示左右落点偏差，表示弧度高度；

43、或者，将全连接层神经网络训练为映射函数，通过所述映射函数对所述落点偏差、所述速度偏差和所述飞行弧度偏差进行预测，输出单次最大落点修正增量、单次最大速度修正增量和单次最大飞行弧修正增量。

44、此外，为实现上述目的，本发明还提供一种基于深度学习与双目视觉的网球发球轨迹预测和修正系统，其中，所述基于深度学习与双目视觉的网球发球轨迹预测和修正系统包括：

45、位置检测模块，用于获取由双目高速摄像头采集的网球飞行图像，将所述网球飞行图像输入到目标检测网络进行匹配，输出不同帧的左视图和右视图分别对应的球心像素坐标和检测置信度；

46、特征融合模块，用于根据所有所述检测置信度从所有所述左视图和所有所述右视图中分别筛选出多个左目短焦4k图像和多个右目长焦hd图像，分别对每对所述左目短焦4k图像和右目长焦hd图像进行对齐和融合处理后，得到目标网球在不同帧的三维坐标表示；

47、偏差估计模块，用于对从所有所述三维坐标表示中提取所有关键帧对应的目标三维坐标，并将所有所述目标三维坐标到已构建的时空序列预测网络，输出所述目标网球的完整轨迹和偏差参数；

48、修正模块，用于若根据所述偏差参数判断所述完整轨迹存在偏差，则建立发球参数和所述偏差参数之间的映射关系，以对所述完整轨迹进行修正，并再次检测发球机的发球轨迹，直到所述发球轨迹准确。

49、此外，为实现上述目的，本发明还提供一种终端，其中，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于深度学习与双目视觉的网球发球轨迹预测和修正程序，所述基于深度学习与双目视觉的网球发球轨迹预测和修正程序被所述处理器执行时实现如上所述的基于深度学习与双目视觉的网球发球轨迹预测和修正方法的步骤。

50、此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有基于深度学习与双目视觉的网球发球轨迹预测和修正程序，所述基于深度学习与双目视觉的网球发球轨迹预测和修正程序被处理器执行时实现如上所述的基于深度学习与双目视觉的网球发球轨迹预测和修正方法的步骤。

51、本发明中，获取由双目高速摄像头采集的网球飞行图像，将所述网球飞行图像输入到目标检测网络进行匹配，输出不同帧的左视图和右视图分别对应的球心像素坐标和检测置信度；根据所有所述检测置信度从所有所述左视图和所有所述右视图中分别筛选出多个左目短焦4k图像和多个右目长焦hd图像，分别对每对所述左目短焦4k图像和右目长焦hd图像进行对齐和融合处理后，得到目标网球在不同帧的三维坐标表示；对从所有所述三维坐标表示中提取所有关键帧对应的目标三维坐标，并将所有所述目标三维坐标到已构建的时空序列预测网络，输出所述目标网球的完整轨迹和偏差参数；若根据所述偏差参数判断所述完整轨迹存在偏差，则建立发球参数和所述偏差参数之间的映射关系，以对所述完整轨迹进行修正，并再次检测发球机的发球轨迹，直到所述发球轨迹准确。本发明实现了网球发球质量的自动感知、量化评估与闭环修正，显著降低对人工经验的依赖，提高训练一致性、效率和精度。