基于机器视觉的匹克球运动动作质量评分方法

本发明涉及体育科学与人工智能交叉，具体为基于机器视觉的匹克球运动动作质量评分方法。

背景技术：

1、匹克球运动使用多孔中空结构的塑料球和复合材料球拍，在尺寸介于羽毛球和网球之间的场地上进行对抗，该运动的技术动作涵盖网前轻击、中后场抽击和高压球等多种类型，不同击球技术的动作要领差异较大，对运动员的拍面控制、挥拍轨迹和击球时机提出较高要求，训练采用单一加速度传感器采集运动姿态数据进行运动表现评估。

2、现有技术在匹克球动作评估方面存在以下不足，第一，匹克球拍的姿态测量方案多依赖单一惯性传感器，单传感器的角速度积分存在漂移累积问题；第二，匹克球因其多孔中空结构无法内嵌加速度传感器，球的飞行轨迹依赖人工标注或单一视角图像追踪，轨迹提取的完整性和空间精度不足，第三，动作质量评分系统通常需要大量标注数据进行模型训练，在训练数据匮乏的初期阶段缺乏可靠的参照标准，评分结果的客观性和一致性难以保证，因此设计一种基于机器视觉的匹克球运动动作质量评分方法是本领域技术人员需要解决的技术问题。

技术实现思路

1、针对现有技术的不足，本发明提供了基于机器视觉的匹克球运动动作质量评分方法，解决了上述背景技术中提出的问题。

2、为实现以上目的，本发明通过以下技术方案予以实现：基于机器视觉的匹克球运动动作质量评分方法，基于感知单元、处理单元、通信模块、视觉单元和计分模块实现，所述感知单元包括姿态模块和供电模块，所述姿态模块包括若干球拍传感器和握把传感器，所述供电模块包括磁感线圈、储能电池、偏心摆和永磁体，所述永磁体安装于偏心摆末端，所述磁感线圈的输出端与储能电池的输入端电性连接，使用者挥拍时，偏心摆旋转时永磁体经过磁感线圈切割磁感线得到感应电流，感应电流传输至储能电池保存，所述储能电池的输出端分别与球拍传感器和握把传感器的输入端电性连接，储能电池用于给姿态模块供电，所述球拍传感器和握把传感器均为加速度传感器；

3、所述感知单元的端口与通信模块的端口建立双向无线通信，所述视觉单元由若干图像传感器组成，所述视觉单元和计分模块的输出端均与通信模块的输入端电性连接，所述通信模块的端口与处理单元的端口建立双向通信；

4、包括以下步骤：

5、步骤1a：处理单元搭建神经网络模型，进入下一步骤1b；

6、步骤1b：处理单元判断训练是否充足或动作是否录制，对教练或最佳球员的每次击球动作进行录制；

7、步骤2：感知单元获取匹克球拍的加速度数据，视觉单元获取匹克球所在球场的图像数据，计分模块获取比赛计分数据；

8、步骤3：处理单元基于加速度数据对匹克球拍进行姿态计算并提取运动特征；

9、步骤4：处理单元基于图像数据计算匹克球空间运动并提取轨迹特征；

10、步骤5：神经网络模型基于匹克球拍的运动特征、匹克球的轨迹特征和比赛计分数据进行数据训练，设定模型准确率阈值，根据模型准确率阈值判断并选择参照；

11、步骤6：处理单元将参照作为质量评分基准，输出动作质量评分，跳转至步骤1b，将完成质量评分的动作的特征向量将在下一轮步骤3和步骤4中提取并纳入步骤5的训练集。

12、进一步地，所述处理单元对教练或最佳球员的每次击球动作进行录制，具体包括以下步骤：

13、步骤101：当指示为训练数据量不足或者动作未录制时，处理单元的神经网络模型训练状态指示显示未就绪，操作人员依据状态指示向处理单元手动输入录制指令，触发方式为按下处理单元面板上的参照录制按键或点击触控界面的录制启动控件，进入下一步骤102，若神经网络模型训练状态指示显示已就绪或者动作已录制，代表神经网络模型训练已达到足够的数据训练量，跳转至步骤2；

14、步骤102：处理单元通过通信模块向感知单元发送指令，感知单元内部若干球拍传感器和握把传感器激活启动，执行录制模式，为了节省储能电池的电能消耗，球拍传感器和握把传感器在60s内未发生位移后自动进入休眠，可通过通信模块发送指令再次唤醒，进入下一步骤103；

15、步骤103：教练或最佳球员使用内置感知单元的匹克球拍做出示范击球动作，包括但不限于正手抽击、反手抽击、网前轻击、高压球和发球的基础动作，每类动作重复执行若干次，动作全部完成后，进入下一步骤104；

16、步骤104：操作人员向处理单元手动输入停止录制指令，完成动作录制。

17、进一步地，所述感知单元获取匹克球拍的加速度数据，视觉单元获取匹克球所在球场的图像数据，计分模块获取比赛计分数据，具体包括以下步骤：

18、步骤201：使用者使用内置感知单元的匹克球拍进入球场区域，姿态模块中球拍传感器以预设采样率持续采集加速度数据，若干球拍传感器的平面分布可将匹克球拍的姿态进行量化，握把末端的握把传感器采集加速度数据，用于识别球拍使用者握拍时和击球时的中心点，进入下一步骤202；

19、步骤202：设采样时刻t，若干球拍传感器分别输出自身所在位置的加速度向量a1（t）、a2（t）和a3（t），每个向量包含x、y、z三个轴向分量，握把传感器输出加速度向量a0（t），加速度向量经信号放大和滤波后，通过通信模块无线传输至处理单元，视觉单元中所有图像传感器以预设帧率同步采集球场图像，每个图像传感器在帧时刻输出分辨率为h×w像素的rgb图像帧，图像数据经通信模块有线传输至处理单元，计分模块实时监测比赛计分状态变化，当比分发生更新时，计分模块将当前比分值、得分方标识和得分时间戳打包为计分数据报文，通过通信模块无线传输至处理单元，进入下一步骤203；

20、步骤203：处理单元为每帧加速度数据和每帧图像数据标记统一的时间戳，建立多模态数据的时间对齐索引，时间戳对齐的容差控制在单个采样周期以内；

21、需要说明的是，对教练或最佳球员的每次击球动作进行动作录制时，仅感知单元持续获取匹克球拍的加速度数据并提取运动特征，该运动特征仅用于参照，不参与神经网络模型的训练，而当使用者使用匹克球拍在视觉单元所在球场区域进行比赛时，感知单元、视觉单元和计分模块同时工作持续采集数据，获取的加速度数据提取运动特征，获取的图像数据用于提取轨迹特征，运动特征、轨迹特征和计分数据报文作为神经网络模型的训练集。

22、进一步地，所述处理单元基于加速度数据对匹克球拍进行姿态计算并提取运动特征，具体包括以下步骤：

23、步骤301：处理单元从若干加速度传感器的原始数据中解算球拍在三维空间中的姿态角，对于三角形排布的三个加速度传感器，利用刚体运动学中不同点加速度的约束关系建立方程组，刚体上任意两点和的加速度满足以下矢量关系

24、

25、公式中，代表点p_j的三轴加速度向量，代表点p_i的三轴加速度向量，α代表球拍的角加速度向量，ω代表球拍的角速度向量，代表从点指向点的位置向量，符号⨂代表向量叉积运算；

26、需要说明的是，已知球拍上两点加速度读数的差值，可反推出球拍的旋转状态，即角速度和角加速度，三个加速度传感器提供三组独立的两点关系，构成超定方程组，通过最小二乘法求解最优角速度和角加速度估计值进入下一步骤302；

27、步骤302：对解算得到的角速度序列进行数值积分，获得球拍在每次挥拍过程中的角度变化历程，设挥拍起始时刻为，结束时刻为，则时刻t的球拍欧拉角由以下递推公式计算，计算公式为

28、

29、公式中，θ（t）为时刻t的球拍角度向量，ω（i）为第i个采样点的角速度向量，δt为采样时间间隔，公式将传感器输出的离散角速度值累加，重建球拍在挥拍全过程中的连续姿态变化轨迹，进入下一步骤303；

30、步骤303：从加速度时序数据中提取击球瞬间特征，击球瞬间的判定依据为加速度信号中出现陡峭的脉冲响应，该脉冲由球拍与匹克球碰撞产生，提取击球瞬间的拍面角度、拍头速度和击球点位置作为击球特征向量。

31、进一步地，所述处理单元基于图像数据计算匹克球空间运动并提取轨迹特征，具体包括以下步骤：

32、步骤401：建立球场虚拟三维坐标系并标定各图像传感器，进入下一步骤402；

33、步骤402：同步采集多视角图像并检测匹克球二维坐标，进入下一步骤403；

34、步骤403：多视角交会计算匹克球三维空间坐标，进入下一步骤404；

35、步骤404：轨迹拟合与实时球速计算，对连续采样时刻的三维坐标序列进行轨迹重建，设采样时间间隔为δt，第k个采样时刻匹克球的三维坐标为向量p_k，计算相邻采样时刻之间的瞬时球速，计算公式为

36、

37、公式中，v_k为第k时刻的瞬时球速，p_{k+1}和p_k分别为第k+1和第k时刻的匹克球三维坐标向量，符号“｜｜”表示向量模长即两点之间的欧几里得空间距离，δt为采样时间间隔，为抑制检测噪声引起的坐标抖动，对原始三维坐标序列采用滑动窗口二次多项式拟合，窗口宽度取五个采样点，在每个窗口内以时间为自变量、三维坐标为因变量，分别对x、y、z三个轴向拟合二次曲线，以拟合曲线上各时刻的坐标值替代原始坐标，拟合后的坐标序列更加平滑，据此重新计算各时刻的瞬时球速，进入下一步骤405；

38、步骤405：提取轨迹特征并生成轨迹特征向量，从步骤404获得的三维轨迹序列和球速序列中提取特征，构成轨迹特征向量，作为步骤5神经网络模型的输入之一，轨迹特征向量包括初始出射方向角、初始出射仰角、初始球速、轨迹弧顶高度、过网净空、落点坐标和水平投影曲率；

39、初始出射方向角为击球后匹克球在水平面内的运动方向与y轴正方向的夹角，描述球的水平出射方向，初始出射仰角为击球后匹克球运动方向与水平面的夹角，描述球的出射高低，初始球速为击球后第一个采样间隔的瞬时球速，轨迹弧顶高度为匹克球从击球到落地过程中z轴坐标的最大值，即球的最高点高度，过网净空为匹克球经过球网上方时z轴坐标与球网高度的差值，落点坐标为匹克球落地时刻在xy平面内的二维坐标，水平投影曲率为轨迹在xy平面投影曲线的弯曲程度，用于区分直线击球和弧线击球；

40、上述特征共同描述匹克球从被球拍击打到落地的完整空间运动形态，每个特征值均为单一数值标量，拼接为固定长度的轨迹特征向量，该向量与步骤3提取的击球特征向量以及步骤2的计分数据在步骤5中组合为完整训练样本。

41、进一步地，所述神经网络模型基于运动特征、轨迹特征和比赛计分数据进行数据训练，设定模型准确率阈值，判断并选择参照，具体包括以下步骤：

42、步骤501：处理单元构建训练数据集，每个训练样本分别由击球特征向量、匹克球轨迹特征向量和计分上下文特征向量三部分特征拼接而成，样本的标签为该次击球的实际得分结果和教练人工评定的动作质量等级，进入下一步骤502；

43、步骤502：处理单元搭建卷积神经网络模型，所述卷积神经网络结构包括输入层接收特征向量，其后串联三个一维卷积层，每个卷积层后接批归一化层和线性整流激活函数，卷积层输出经全局平均池化层压缩后进入两个全连接层，最终输出层包括两个分支，第一分支输出得分概率分布，第二分支输出动作质量评分，进入下一步骤503；

44、步骤503：采用adam优化器对网络进行训练，adam的参数更新规则为

45、

46、公式中，m为第t步的梯度一阶矩估计，为一阶矩衰减系数取0.9，为第t步的损失函数梯度，为第t步的梯度二阶矩估计，为二阶矩衰减系数取0.999，为偏差校正后的一阶矩估计，为偏差校正后的二阶矩估计，θ为第t步的模型参数，η为学习率取0.001，ε为数值稳定常数取，√表示逐元素平方根运算，adam优化器通过维护梯度的一阶矩和二阶矩的指数滑动平均，为每个参数自适应调整学习步长，一阶矩提供动量方向加速收敛，二阶矩对频繁更新的参数施加较小步长而对稀疏参数施加较大步长，在非平稳目标函数上表现稳定，进入下一步骤504；

47、步骤504：本轮训练完成后的神经网络模型接收使用者动作特征输入，输出两个结果，该动作对应的得分概率和该动作相对于最佳击球效果的偏移量δquality，基于偏移量计算动作质量评分q1=max（0，100-k·|δquality|），其中k为缩放系数，进入下一步骤505；

48、步骤505：处理单元自检神经网络模型的训练数据量并设定模型准确率阈值，判断神经网络模型的准确率是否达到预设的模型准确率阈值，以此判断训练数据量是否充足，模型准确率阈值具体数值依据操作人员设定的准确率确定，若未达到预设的模型准确率阈值，神经网络模型训练状态指示显示未就绪，此时处理单元使用步骤1b录制并后续提取的击球特征向量作为参照，神经网络模型的数据训练量不足，需要使用教练或者最佳球员录制的动作作为临时替代辅助训练，待神经网络模型的数据训练量充足后再进行替换，若达到预设的模型准确率阈值，神经网络模型训练状态指示显示已就绪，此时处理单元将神经网络模型输出最高动作质量评分q1对应动作标记为参照。

49、进一步地，所述处理单元将参照作为质量评分基准，输出动作质量评分，具体包括以下步骤：

50、步骤601：处理单元将使用者的当前击球动作特征向量输入训练完成的神经网络模型，模型输出得分概率最高的最佳击球参数作为参照基准，同时输出使用者动作与该参照的偏离程度作为质量评分；

51、步骤602：质量评分的计算基于多维特征空间中使用者动作向量与最佳参照向量的加权欧氏距离，计算公式为

52、

53、公式中，d为加权欧氏距离，wi为第i个特征维度的权重系数，由神经网络训练过程中各维度对得分预测的贡献度确定，fi-user为使用者动作第i个特征值，fi-ref为最佳参照第i个特征值，当参照为步骤1b中教练或者最佳球员的击球动作，fi-ref仅从击球特征向量中提取特征值，τ为衰减常数用于调节评分对偏差的敏感度，exp为自然指数函数，q2为最终质量评分取值范围0到100，加权欧氏距离量化使用者动作与理想动作在各维度上的综合偏差，指数衰减函数将距离映射为直观的百分制评分，权重wᵢ确保对击球效果影响大的特征维度在评分中占更大比重；

54、步骤603：处理单元生成评分报告，报告中包含动作类型识别结果、质量评分值、各特征维度与参照值的偏差分析以及针对性改进建议，评分报告通过通信模块传输至显示终端呈现给使用者。

55、进一步地，所述同步采集多视角图像并检测匹克球二维坐标，具体包括以下步骤：

56、若干图像传感器以统一的预设帧率同步采集球场图像，每帧图像为彩色rgb格式，处理单元为每帧图像标记采集时间戳，与步骤2中加速度数据和计分数据保持时间对齐；

57、对每帧图像执行匹克球目标检测，匹克球表面为高饱和度黄色，与球场地面绿色和背景存在显著色差，将rgb图像转换至色相饱和度明度颜色空间，以色相值在黄色区间和饱和度值超过设定阈值为条件进行逐像素筛选，得到匹克球候选二值图，对二值图进行形态学开运算去除孤立噪点，再通过圆形轮廓检测提取匹克球的圆心在图像中的二维坐标，每个视角每帧输出一个二维坐标值，若某视角图像中匹克球被遮挡或超出视野，则该视角该帧标记为无效。

58、进一步地，所述多视角交会计算匹克球三维空间坐标，具体包括以下步骤：

59、对于每个采样时刻，汇集步骤402中若干视角检测到的匹克球二维坐标，利用步骤401中每个传感器的标定参数，将二维图像坐标转换为从传感器光心出发指向匹克球的空间方向向量，设第i个传感器的光心位置为向量c_i，该传感器指向匹克球的方向单位向量为d_i，则匹克球空间位置向量p位于以c_i为起点、d_i为方向的射线上，满足参数方程p=c_i+t_i·d_i，其中t_i为待定标量，表示该传感器到匹克球的距离；

60、在理想无误差条件下，若干射线交于同一点，实际中因检测噪声和标定误差，射线不完全相交，采用最小二乘准则求解最优位置p，构造误差函数e为p到各射线距离的平方和，计算公式为

61、

62、公式中，其中符号∑表示对若干图像传感器视角求和，符号“⨀”表示向量点积，符号｜｜表示向量模长，符号（（p-c_i）⨀d_i）表示向量p-c_i在射线方向d_i上的投影标量，该误差函数衡量p到每条射线垂足距离的平方，求使e最小的p，等价于求解线性方组，获得匹克球在虚拟坐标系中的三维坐标。

63、进一步地，所述建立球场虚拟三维坐标系并标定各图像传感器，具体包括以下步骤：

64、以匹克球场底线中点正后方两米处的地面投影点为坐标原点，x轴沿球场底线方向指向右侧，y轴沿球场边线方向指向前方，z轴垂直地面向上，布设若干图像传感器的位置与视角；

65、对每个图像传感器进行离线标定，获取其内参数和外参数，内参数包括等效焦距f和主点坐标，外参数包括传感器在虚拟坐标系中的三维位置向量c_i以及描述传感器朝向的旋转矩阵r_i，标定完成后，每个传感器均建立从三维空间点p到图像平面二维坐标的投影关系。

66、本发明具有以下有益效果：

67、1、通过球拍传感器和握把末端传感器相结合，利用刚体运动学中多点加速度的约束关系解算球拍空间姿态，相比较现有单一惯性传感器方案，本方案提供冗余加速度观测以抑制角速度积分漂移，获得更稳定的球拍姿态估计结果。

68、2、通过球场周围多视角图像传感器提取匹克球三维轨迹，相比较单一视角追踪方案，本方案利用多视角几何约束恢复匹克球空间坐标，克服匹克球内部无法安装传感器的问题，获得完整的三维飞行轨迹数据。

69、3、通过设置标准参照录制模式，在神经网络训练数据不足时采集教练或最佳球员动作作为初期参照基准，相比较纯数据驱动的模型训练方案，本方案在数据匮乏阶段提供先验参照以保障评分的合理性和一致性，模型随训练数据增加逐步从参照驱动过渡到数据驱动。

70、当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。