网球三维动作纠正方法及系统与流程
本发明涉及数据处理技术,尤其涉及一种网球三维动作纠正方法及系统。
背景技术:
1、网球技术动作的规范程度直接影响击球质量与运动损伤风险,动作纠正是网球教学与训练中的基础环节。随着三维人体姿态估计技术的发展,由普通拍摄设备录制的视频即可还原出训练者的三维运动数据,使得计算机辅助的网球动作分析在业余培训、青少年训练以及远程指导等场合得到应用。
2、目前,网球动作分析主要采用两类处理方式,一类是提取训练者的关节角度等运动量,与预先设定的标准区间进行比对,超出标准区间时输出相应的文字评价;另一类是调取标准动作,与训练者的动作在画面上叠加或者并排显示,供训练者自行对照。前一类方式输出的是对缺陷的文字描述,没有任何参照,训练者需自行根据文字描述调整动作,调整效果依赖个人理解能力与动作感知能力;后一类方式提供的标准动作来自其他人员,其身体形态、挥拍节奏以及发力习惯与训练者并不相同,训练者在模仿标准动作时会连同其中与自身缺陷无关的部分一并改变,导致纠正后的动作与训练者原有动作风格脱节,难以在实际训练中形成肌肉记忆。
3、因此,如何在网球动作纠正过程中保留训练者的正确动作,进行缺陷动作的定向纠正,实现定制化的动作参照,成为亟待解决的关键问题。
技术实现思路
1、本发明提供一种网球三维动作纠正方法及系统,可以在网球动作纠正过程中保留训练者的正确动作,进行缺陷动作的定向纠正,实现定制化的动作参照。
2、本发明的第一方面,提供一种网球三维动作纠正方法,包括:
3、获取样本视频及各样本视频对应的动作评价文本,对所述样本视频进行三维动作特征提取,得到各样本视频对应的源动作特征序列;
4、调取预设的动作纠正对照表中与所述动作评价文本对应的纠正指令、待纠正关节和纠正阶段;
5、基于所述待纠正关节和纠正阶段确定所述源动作特征序列中的待纠正特征值;
6、获取各样本视频对应的标准动作序列,根据所述标准动作序列对源动作特征序列中的待纠正特征值进行替换,得到目标特征序列;
7、基于所述目标特征序列、源动作特征序列和纠正指令对预设的扩散模型进行训练,得到动作纠正模型;
8、根据所述动作纠正模型对待纠正视频进行动作纠正,得到纠正动作。
9、可选地,在第一方面的一种可能实现方式中,所述对所述样本视频进行三维动作特征提取,得到各样本视频对应的源动作特征序列,包括:
10、生成所述样本视频中人物对应的三维人体模型,基于所述三维人体模型确定多个关节在各视频帧中的关节参数,所述关节参数包括位置特征值、速度特征值和旋转特征值;
11、对各视频帧中所有关节的关节参数进行拼接,得到各视频帧对应的帧序列;
12、基于所述帧序列形成各样本视频对应的源动作特征序列。
13、可选地,在第一方面的一种可能实现方式中,所述调取预设的动作纠正对照表中与所述动作评价文本对应的纠正指令、待纠正关节和纠正阶段,包括:
14、调取预设的动作纠正对照表,所述动作纠正对照表包括预设缺陷动作,以及与所述预设缺陷动作对应的预设指令、预设纠正关节、预设动作阶段;
15、对所述动作评价文本进行语句拆分,得到多个评价语句;
16、提取各所述评价语句中的评价缺陷动作,基于所述动作纠正对照表选取与所述评价缺陷动作对应的预设缺陷动作,作为目标缺陷动作;
17、调取与所述目标缺陷动作对应的预设指令作为纠正指令,将与所述目标缺陷动作对应的预设纠正关节作为待纠正关节,获取与所述目标缺陷动作对应的预设动作阶段作为纠正阶段。
18、可选地,在第一方面的一种可能实现方式中,所述基于所述待纠正关节和纠正阶段确定所述源动作特征序列中的待纠正特征值,包括:
19、将源动作特征序列中位于所述纠正阶段,且与所述待纠正关节对应的关节参数作为待纠正特征值。
20、可选地,在第一方面的一种可能实现方式中,所述获取各样本视频对应的标准动作序列,包括:
21、调取预设的标准动作库,所述标准动作库包括多个预设标准序列;
22、获取各所述预设标准序列的动作类别,以及样本视频的动作类别,选取与样本视频的动作类别一致的预设标准序列,作为相应样本视频对应的第一候选序列;
23、获取所述第一候选序列对应的视频帧数量作为候选数量,将样本视频对应的视频帧数量作为样本数量;
24、计算各候选数量与相应样本数量的差值的绝对值,得到候选帧数差值,选取小于等于预设帧数值的候选帧数差值所对应的第一候选序列,作为相应样本视频对应的第二候选序列;
25、对所述第二候选序列进行选取,得到相应样本视频的第三候选序列;
26、获取所述第三候选序列和源动作特征序列对应的各个动作阶段;
27、基于所述源动作特征序列在各动作阶段的视频帧数量,对第三候选序列各动作阶段的视频帧数量进行对齐,得到视频帧数量与源动作特征序列相同的标准动作序列。
28、可选地,在第一方面的一种可能实现方式中,所述对所述第二候选序列进行选取,得到相应样本视频的第三候选序列,包括:
29、提取各所述第二候选序列的首个视频帧作为第二候选帧,并将相应样本视频的首个视频帧作为样本帧;
30、计算所述第二候选帧和所述样本帧中相同关节的位置特征值的差值的绝对值,得到样本帧中各位置特征值对应的候选差值;
31、对样本帧中各位置特征值对应的候选差值进行求和,得到姿态误差值,选取最小的姿态误差值所对应的第二候选序列,作为相应样本视频的第三候选序列。
32、可选地,在第一方面的一种可能实现方式中,所述基于所述目标特征序列、源动作特征序列和纠正指令对预设的扩散模型进行训练,得到动作纠正模型,包括:
33、对所述目标特征序列中的各特征值进行加噪,得到加噪特征序列;
34、将所述加噪特征序列、源动作特征序列和纠正指令输入预设的扩散模型,得到预测特征序列;
35、获取所述预测特征序列中的特征值作为预测特征值,将所述目标特征序列中的特征值作为目标特征值,计算所述预测特征值与相应目标特征值的差值的绝对值,得到比对差值;
36、对各预测特征值对应的比对差值进行求和,得到重建误差值;
37、判断所述重建误差值大于预设误差值时,基于重建误差值对所述扩散模型进行参数更新;
38、重新对目标特征序列中的各特征值进行加噪,并重复上述步骤,直至重建误差值小于等于所述预设误差值,得到动作纠正模型。
39、可选地,在第一方面的一种可能实现方式中,所述对所述目标特征序列中的各特征值进行加噪,得到加噪特征序列,包括:
40、调取预设的加噪值集合,所述加噪值集合包括多个大于等于0且小于等于预设加噪量的加噪值;
41、基于所述加噪值集合选取一个加噪值作为目标加噪值,调取预设的系数对照表中与所述目标加噪值对应的保留系数和噪声系数;
42、为所述目标特征序列中的各特征值分别生成随机数,计算目标特征序列中各特征值与所述保留系数的乘积,得到目标特征序列中各特征值对应的保留分量;
43、计算各所述随机数与噪声系数的乘积,得到目标特征序列中各特征值对应的噪声分量;
44、将各所述保留分量与相应的噪声分量相加,得到加噪特征序列。
45、可选地,在第一方面的一种可能实现方式中,所述根据所述动作纠正模型对待纠正视频进行动作纠正,得到纠正动作,包括:
46、获取所述待纠正视频的源动作特征序列作为待纠正源序列,并基于待纠正视频的动作评价文本确定待纠正视频对应的纠正指令和待纠正特征值;
47、在所述加噪值集合中选取多个加噪值,对选取的加噪值进行降序排序,得到加噪值序列;
48、选取所述加噪值序列中的首个加噪值作为初始值,基于所述初始值对所述待纠正源序列中的各特征值进行加噪,得到初始纠正序列;
49、将所述初始纠正序列、待纠正源序列和纠正指令输入所述动作纠正模型,得到去噪特征序列;
50、获取所述加噪值序列中初始值的后一位加噪值作为纠正值,基于所述纠正值对待纠正源序列中的各特征值进行加噪,得到保留特征序列;
51、将所述保留特征序列中与所述待纠正特征值位置相同的特征值,替换为所述去噪特征序列中相应位置的特征值,得到迭代特征序列;
52、将所述迭代特征序列作为当前的初始纠正序列,并将所述纠正值作为当前的初始值,判断当前的初始值不为加噪值序列中的最后一个加噪值时,重复上述步骤,确定当前的初始值为加噪值序列中的最后一个加噪值时,将相应的迭代特征序列作为纠正动作。
53、本发明的第二方面,提供一种网球三维动作纠正系统,包括:
54、提取模块,用于获取样本视频及各样本视频对应的动作评价文本,对所述样本视频进行三维动作特征提取,得到各样本视频对应的源动作特征序列;
55、对照模块,用于调取预设的动作纠正对照表中与所述动作评价文本对应的纠正指令、待纠正关节和纠正阶段;
56、确定模块,用于基于所述待纠正关节和纠正阶段确定所述源动作特征序列中的待纠正特征值;
57、替换模块,用于获取各样本视频对应的标准动作序列,根据所述标准动作序列对源动作特征序列中的待纠正特征值进行替换,得到目标特征序列;
58、训练模块,用于基于所述目标特征序列、源动作特征序列和纠正指令对预设的扩散模型进行训练,得到动作纠正模型;
59、应用模块,用于根据所述动作纠正模型对待纠正视频进行动作纠正,得到纠正动作。
60、本发明的有益效果如下:
61、1、本发明对样本视频进行三维动作特征提取得到源动作特征序列,调取预设的动作纠正对照表中与动作评价文本对应的纠正指令、待纠正关节和纠正阶段,基于待纠正关节和纠正阶段确定源动作特征序列中的待纠正特征值,获取标准动作序列并对待纠正特征值进行替换得到目标特征序列,再基于目标特征序列、源动作特征序列和纠正指令对预设的扩散模型进行训练得到动作纠正模型,最后根据动作纠正模型对待纠正视频进行动作纠正。本发明以待纠正特征值被替换后得到的目标特征序列作为训练目标,使训练目标中除待纠正特征值之外的部分取自源动作特征序列,实现了纠正动作中除待纠正特征值之外的部分与源动作特征序列保持一致。
62、2、本发明将样本视频中人物的关节参数按视频帧顺序组成源动作特征序列,使各特征值均能确定所属的关节和视频帧,再由动作纠正对照表将动作评价文本中的评价缺陷动作对应到预设纠正关节和预设动作阶段,以纠正阶段限定视频帧范围、以待纠正关节限定关节范围,从源动作特征序列中确定待纠正特征值。本发明将文字形式的动作评价转换为源动作特征序列中的特征值位置,避免了对源动作特征序列中与动作评价文本无关的特征值进行改动。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com