基于多模态感知的中小学生体育动作智能纠错方法及系统

本发明涉及体育动作教学，尤其涉及一种基于多模态感知的中小学生体育动作智能纠错方法及系统。

背景技术：

1、在中小学日常体育教学场景中，主要依靠体育教师现场指导纠正学生错误的体育动作，但是由于目前大班教学的现状，老师难以对每个学生训练时的肢体细微动作、发力时序、关节角度等细节信息进行观察和指导，只能对明显错误进行粗略纠正。随着ai技术的发展，目前也有通过采集视频将训练动作与标准示范动作进行逐帧或时序匹配的纠错系统，该系统检测各关节角度、位置等参数的偏差，以此判定动作是否规范并给出纠错提示。

2、然而，现有纠错系统只能检测某个关节在哪个时刻是否出现了偏差，却难以追溯该问题出现的原因。体育动作在发力时，各关节之间存在严格的时序先后与力学耦合关系，例如，铅球投掷中“出手角度偏低”的错误，其根因可能并非手腕或肘关节本身，而是“蹬地阶段髋关节发力不充分”导致动力链传导效率不足，使得后续各关节在代偿作用下产生了一系列的偏差。现有纠错系统往往只能逐关节独立判定，缺乏对关节间错误传导路径的建模与分析能力。当一个下游关节出现偏差时，系统只能提示如“肘关节角度偏大”或“腕关节轨迹偏移”等信息，难以沿发力传导的反方向追溯该偏差是否源自上游关节的错误传导，从而导致学生难以发现影响动作质量的核心原因，导致纠错效率低下。

技术实现思路

1、针对现有技术的不足，本发明提供了一种基于多模态感知的中小学生体育动作智能纠错方法及系统，解决了目前对学生体育动作进行纠错的纠错系统难以沿发力传导的反方向追溯学生动作错误的核心原因，导致纠错效率低下的技术问题。

2、为解决上述技术问题，本发明提供了如下技术方案：一种基于多模态感知的中小学生体育动作智能纠错方法，包括以下步骤：

3、s1、多模态数据采集与预处理。

4、首先，采集学生执行目标体育动作的多种模态的数据，在本发明中，至少包括通过视觉摄像头采集学生执行目标体育动作的视频流数据，然后提取视频流数据每一帧图像中人体骨骼关键点的二维坐标，经三角化重建得到各关节的三维空间位置，并计算各关节实时的角度值，则第j个关节在第t帧的实时的角度值可表示为；同时，还包括通过佩戴在学生肢体各关节处的可穿戴惯性传感器采集各关节的实时加速度和角速度信号，获得传感器数据，然后据此计算其角度值；然后，将根据视频流数据和传感器数据这两种模态数据计算获得的角度值数据经时间戳对齐、滤波降噪后，采用加权融合算法将两种模态数据进行融合，输出各关节在每一帧的融合后角度值，则第j个关节在第t帧的融合后角度值可表示为，总帧数为。在本发明中，该加权融合算法采用基于信号置信度的自适应权重分配机制，其具体包括如下步骤：

5、首先获取视频流数据和传感器数据所分别对应的角度值，设第j个关节在第t帧由视频流数据计算得到的角度值为，设第j个关节在第t帧由传感器数据计算获得的角度值为。

6、然后，根据任一帧的视频流采集装置的置信度和传感器信号质量计算该帧的动态修正量，其计算公式为：

7、

8、上式中，表示第t帧的动态修正量，由第t帧的视频流采集装置的置信度和传感器信号质量共同决定，为视觉人体关键点检测算法在第t帧输出的关键点检测置信度，可由骨骼关键点提取算法的热力图峰值响应强度归一化后得到，其值越接近1表示视觉检测结果越可靠，表示传感器信号在第t帧的信噪比，可由传感器内置的模数转换器实时输出，，为预设的视觉置信度阈值，低于该阈值时判定视频流数据受遮挡或光照干扰影响显著，为预设的传感器信号信噪比阈值，低于该阈值时判定传感器信号受运动伪迹或接触不良影响显著，为预设的调整因子，用于控制权重对信号质量变化的敏感程度，其值越大则权重切换越陡峭，默认取2，为双曲正切函数，用于将括号内数值平滑约束至(-1,1)区间内

9、再设定加权权重的约束条件，并根据动态修正量和预设的视频流数据和传感器数据的基础权重分别计算二者的加权权重，其计算公式为：

10、

11、

12、且满足如下约束：

13、

14、上式中，和分别为视频流数据和传感器数据的加权权重，和分别为和对应的基础权重，和之和为1，和分别为和所对应的加权系数，和分别为预设的视觉权重和传感器权重的最低限制值，其中，，，分别为预设的视觉权重和传感器权重的最低限制值，以防止单一信号源在极端条件下被完全舍弃导致融合数据失真。

15、最后，根据视频流数据和传感器数据的加权权重对二者所对应的角度值进行加权融合并附加约束以得到融合后的角度值，则第j个关节在第t帧加权融合后的角度值为：

16、

17、上式中，和分别为和所对应的加权系数，和之和为1。

18、s2、标准动作数据集匹配与瞬时偏差值计算。

19、根据当前目标体育动作的类型标识，从预构建的中小学生体育标准动作数据集中调取对应动作的标准时序模板，所述标准时序模板包含每一帧 下各关节的标准角度值，则第j个关节在第t帧的标准角度值可表示为；然后将融合后角度值与标准角度值逐帧逐关节作差，计算各关节的瞬时偏差值，则第j个关节在第t帧的瞬时偏差值可表示为，其计算公式可以表示为：

20、

21、s3、基于偏差回溯传播与有向图模型的根因关节定位。

22、首先，预构建目标体育动作对应的人体运动关节链有向图模型，其中，节点集合对应参与该动作的n个关节，有向边集合按照人体关节间发力传导方向定义，对于有向边集合中的每条有向边关联有传导帧延迟参数和发力传导系数。在本发明中，传导帧延迟参数和发力传导系数在确定时，首先以预构建的中小学生体育标准动作数据集中标准人体模型的关节运动学参数为基准，分别计算标准人体模型与待测学生的身高、肢体长度比例关系，并据此对所述传导帧延迟参数进行个性化修正。具体地，首先计算传导帧延迟参数的基准值，其按照如下公式从标准动作数据集中提取：

23、

24、其中，和 分别为标准人体模型执行所述目标体育动作时，上游节点和下游节点达到峰值角速度的帧序号，为正整数；

25、所述待测学生的个性化传导帧延迟参数根据以下公式计算：

26、

27、上式中，为从上游节点到下游节点的肢体长度比例因子，其计算公式为：

28、

29、其中，表示待测学生上游节点到下游节点所对应关节之间的肢体段实际长度，表示标准人体模型上游节点到下游节点所对应关节之间的肢体段实际长度。

30、然后，对于发力传导系数的个性化修正，首先计算发力传导系数的基准值，其可以按照如下计算公式从标准动作数据集中提取：

31、

32、其中，和分别为标准人体模型执行所述目标体育动作时，上游节点和下游节点的峰值角速度值，则待测学生个性化的发力传导系数根据其基准值，结合待测学生实际峰值角速度之比与标准基准值的相对偏差，以及待测学生的体质指数修正，按以下公式计算：

33、

34、其中，为待测学生实际峰值角速度之比相对于标准基准值的偏差系数，其计算公式为：

35、

36、上式中，和分别为待测学生在执行所述目标体育动作时，上游节点和下游节点的实际峰值角速度值，为体质指数修正因子，用于补偿待测学生与标准人体模型之间因身体发育差异导致的发力传导效率偏差，其计算方式为：

37、

38、上式中，为标准人体模型的体质指数，为待测学生的实际体质指数，体质指数可通过计算人体质量与身高的平方的比值计算获得。

39、然后，根据步骤s2中计算得到的各个关节的瞬时偏差值，沿人体运动关节链有向图模型的反方向执行偏差回溯传播，对于每条有向边，计算上游节点对下游节点在第t帧的预期偏差贡献值，其计算公式为：

40、

41、上式中，为指示函数，当括号内条件成立时取值为1，否则取值为0。

42、然后，对于每个节点，计算其根因置信度得分，其计算公式为：

43、

44、其中，表示节点在整个目标体育动作中的最大瞬时偏差值，表示基础权重系数，表示节点的直接下游节点集合，表示回溯衰减系数，表示总帧数，表示下游节点的定位权重。

45、最后，将根因置信度得分值最大的节点判定为根因关节。

46、在本步骤中，判定根因关节时，还可进一步执行动态阈值判定过程，其具体步骤为：

47、记所有关节节点的根因置信度得分集合为，将其按从大到小排序，得到排序后的得分序列，其中，和分别为最大根因置信度得分和第二大根因置信度得分，计算最大根因置信度得分和第二大根因置信度得分之间的差值比例，得到差值比例系数，其计算公式为：

48、

49、其中，，为差值比例系数，若该值越接近1，表示最大根因置信度得分和第二大根因置信度得分的差距越大，根因判定的唯一性越高；若该值越接近0，表示最大根因置信度得分和第二大根因置信度得分的差距越小，此时存在多个潜力相当的根因关节；

50、此时，预设一动态阈值参数，将差值比例系数与动态阈值参数进行比较：

51、若，判定最大根因置信度得分对应的关节节点为唯一的根因关节；

52、若，判定存在多个根因关节，将满足的多个根因置信度得分所对应的关节节点均作为根因关节。

53、在本发明中，动态阈值参数可进一步根据当前目标体育动作的类型进行自适应设定，其计算公式为：

54、

55、其中，为预设的基础阈值，可取0.15，为动作类型调节系数，由当前目标体育动作的关节耦合度确定，其取值范围为(0.5,2.0)，关节耦合度为执行该动作时各关节之间运动学参数的相关性度量，对于耦合度越高的动作，如铅球投掷和立定跳远等多关节协同爆发力动作，其取值越大，动态阈值参数越宽松，此时越倾向于输出多个根因关节。对于耦合度越低的动作，如原地高抬腿和单关节孤立训练动作，其取值越小，动态阈值参数越严格，越倾向于输出唯一根因。

56、另外，还分别计算各根因关节发生偏差的动作帧区间，其中和分别为该关节的瞬时偏差值连续超过预设的偏差阈值的起始帧和结束帧。

57、s4、根因关节纠错匹配与纠错输出。

58、根据所述根因关节及其发生偏差的动作帧区间，检索内置的体育动作专业纠错知识库，在本发明中，体育动作专业纠错知识库中包含多条纠错记录，每条纠错记录至少关联有以下三个核心属性字段：根因关节标签、动作阶段标签和对应的纠错内容集合，其中，纠错内容集合至少包含修正指导文本、示范动作图解标识和语音指令编码三种模态的纠错信息，用于对学生的目标体育动作进行纠正。

59、将各个目标体育动作预先划分为多个动作阶段，比如“预备阶段”、“发力阶段”、“随挥阶段”和“还原阶段”。然后计算各根因关节发生偏差的动作帧区间的中位帧序号，然后查询目标体育动作的动作阶段切分边界集合，其中即为各动作阶段的分界帧序号，为动作阶段的总数，当，则判定此时的根因关节发生偏差的动作帧区间属于第个动作阶段。

60、然后即可根据根因关节和对应的动作阶段在体育动作专业纠错知识库中进行检索匹配，找到对应的纠错内容集合，获得对应的修正指导文本、示范动作图解和语音指令编码；然后将所述修正指导文本叠加显示于原始视频画面的对应关节位置，将示范动作图解标识同步叠加显示于原始视频画面以同步播放对应的示范动作，同时通过语音播报所述语音指令编码，以输出语音指令进行指导，从而输出了完整的纠错提示。

61、本发明还提供了一种体育动作智能纠错系统，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现所述的体育动作智能纠错方法。

62、借由上述技术方案，本发明提供了一种基于多模态感知的中小学生体育动作智能纠错方法及系统，至少具备以下有益效果：

63、1、本发明通过多模态数据采集与融合、标准时序模板比对、有向图偏差回溯传播以及根因关节识别与纠错的完整技术链条，实现了从学生动作数据输入到根因关节精准定位再到针对性纠错输出，克服了现有技术仅能检测单一关节偏差而无法追溯根因的缺陷，显著提升了体育动作纠错的效率。

64、2、本发明通过视觉检测置信度和惯性信号信噪比实时动态调整各模态的融合权重，有效克服了单一视觉采集易受光照变化和肢体遮挡干扰的缺陷，大幅提升了复杂教学环境下关节角度数据的精度与稳定性，为后续根因定位提供了高质量的数据基础。

65、3、本发明在构建人体运动关节链有向图模型时，引入待测学生的肢体长度比例因子和体质指数修正因子对传导帧延迟参数和发力传导系数进行个性化修正，使错误传播模型能够自适应不同身高和体重的学生个体，显著提升了根因定位的跨年龄、跨身材泛化能力。

66、4、本发明通过在偏差回溯传播中引入传导帧延迟参数，确保下游关节的偏差仅由上游关节在足够早时刻的发力状态所导致，并在根因置信度得分中融合关节自身最大偏差与对下游关节的贡献总量，实现了从多关节耦合运动数据中精准分离根因与表象的技术效果，输出的根因定位结论具有明确的可解释性和生物力学合理性。

67、5、本发明在根因判定阶段引入差值比例系数与动态阈值的比较机制，当多个关节的根因置信度得分差距不显著时自动输出多个候选根因关节，有效应对了复杂体育动作中多关节协同错误并发的实际情况，显著提升了纠错建议的实用性和针对性。