面向公共体育课的人体姿态云端比对智能教学方法及系统
本发明涉及智能教学系统,具体涉及面向公共体育课的人体姿态云端比对智能教学方法及系统。
背景技术:
1、公共体育课的动作教学可通过视频采集、人体关键点识别、惯性测量和云端处理形成过程化反馈,云端服务器接收摄像头及可穿戴设备上传的运动数据,生成学员姿态序列,并结合教学项目的动作阶段信息,提取关节位置、动作幅度和阶段转换状态,为动作比对及课堂指导提供数据基础。
2、公共体育课存在多人运动、局部遮挡、光照变化和穿着差异,视觉骨骼点可能在相邻时间窗口内发生间断,惯性数据能够表征短时运动趋势,但会产生累计偏移,若云端处理时不能依据数据源的可信状态衔接缺失骨骼点,并在视觉信息恢复后修正惯性偏移,姿态序列容易出现阶段断裂或位置偏差,使关节姿态偏差难以对应实际动作阶段,进而影响纠正指令的连续输出。
技术实现思路
1、本发明的目的在于提供面向公共体育课的人体姿态云端比对智能教学方法及系统。
2、为实现上述目的,本发明提供如下技术方案:面向公共体育课的人体姿态云端比对智能教学方法,由云端教学服务器执行,方法包括:
3、获取公共体育课学员在多个动作时间窗口的检测数据,检测数据包括视觉可靠度以及惯性可靠度;
4、在视觉可靠度低于预设预设视觉可靠度阈值,且惯性可靠度高于预设预设惯性可靠度阈值时,基于约束条件补偿学员缺失的骨骼点,在视觉可靠度连续多个动作时间窗口高于预设预设视觉可靠度阈值时,利用骨骼点校正惯性累计漂移,得到连续学生姿态序列,基于连续学生姿态序列确定各动作阶段的关节姿态偏差,基于关节姿态偏差确定待纠正动作;
5、根据待纠正动作,输出对应动作阶段的纠正指令;
6、所述约束条件包括人体骨骼点连接关系,所述惯性累计漂移为在连续动作时间窗口内累积形成的姿态角偏差,所述各动作阶段为按照当前教学项目对应的阶段转换顺序划分的多个动作状态。
7、在一中可能的设计中,所述检测数据还包括:
8、获取多路摄像头采集的学员运动视频、可穿戴惯性测量单元采集的惯性数据以及教学场地的环境数据,按照统一时间戳将所述运动视频、惯性数据和环境数据划分为连续动作时间窗口;
9、针对每一动作时间窗口,根据骨骼点平均置信度、多摄像头重投影误差、关键关节点连续丢失帧数和人体遮挡比例确定视觉可靠度,根据惯性测量单元零偏、加速度饱和次数、无线传输丢包率和姿态角连续性确定惯性可靠度,并根据光照强度变化率、逆光指数和温湿度异常等级确定环境干扰度。
10、在一中可能的设计中,所述基于约束条件补偿学员缺失的骨骼点,利用骨骼点校正惯性累计漂移,包括:
11、根据所述视觉可靠度、惯性可靠度和环境干扰度,调整视觉观测噪声、惯性观测噪声以及姿态融合权重;
12、在视觉可靠度低于预设视觉可靠度阈值,且惯性可靠度高于预设惯性可靠度阈值时,以惯性姿态增量作为状态预测依据,依据人体骨骼链长度约束预测短时缺失的骨骼点;
13、在视觉可靠度连续多个动作时间窗口恢复,且多摄像头重投影误差满足一致条件时,利用三维骨骼点校正惯性测量单元零偏和累计漂移,并在状态条件连续满足预设数量的动作时间窗口后执行数据源切换。
14、在一中可能的设计中,所述依据人体骨骼链长度约束预测短时缺失的骨骼点,包括:
15、根据缺失骨骼点相邻骨骼点的空间位置、骨骼连接关系以及对应动作时间窗口内的惯性姿态增量确定预测位置;
16、按照学员人体骨骼链的长度约束对所述预测位置进行修正,将修正后的骨骼点与当前动作时间窗口内未缺失的骨骼点组合,形成用于姿态状态更新的骨骼点集合。
17、在一中可能的设计中,所述利用三维骨骼点校正惯性测量单元零偏和累计漂移,包括:
18、在视觉可靠度连续至少两个动作时间窗口高于预设视觉可靠度阈值,且多摄像头重投影误差低于重投影误差阈值时,确定视觉数据恢复稳定;
19、基于恢复稳定后的三维骨骼点与惯性姿态预测结果之间的偏差,对惯性测量单元的零偏和累计漂移进行回校正。
20、在一种可能的设计中,基于恢复稳定后的三维骨骼点形成视觉观测残差,将所述视觉观测残差输入包含惯性测量单元零偏状态的状态空间模型,按照视觉更新对应的卡尔曼增益更新所述零偏;分别按照位置校正比例和姿态校正比例,对惯性姿态预测结果中的骨骼点位置和姿态角进行逐窗口修正,并在位置残差、姿态残差和零偏更新量连续满足对应停止条件时结束回校正。
21、在一中可能的设计中,所述基于连续学员姿态序列和动作阶段信息确定各动作阶段的关节姿态偏差,包括:
22、将人体骨骼点构建为空间图结构,利用图卷积网络提取骨骼点之间的空间拓扑特征,利用时序卷积网络提取连续动作时间窗口之间的时序特征,得到各动作时间窗口对应于各动作阶段的阶段概率;
23、根据阶段转换顺序、关节状态和持续时间约束确定学员当前所处的动作阶段,并计算所述动作阶段内的关节姿态偏差。
24、在一中可能的设计中,所述根据关节姿态偏差及动作阶段转换状态确定待纠正动作,包括:
25、调用与当前教学项目对应的项目判定规则,依据关节角度、关节角速度、足部接触状态、惯性姿态增量以及动作持续时间中的至少一种确定当前动作阶段的完成状态;
26、当当前动作阶段未满足预设完成条件、动作阶段转换顺序不完整或者姿态偏差持续超过允许范围时,将对应动作片段确定为待纠正动作,并关联保存所述动作片段的关键帧和偏差原因。
27、在一中可能的设计中,在确定所述环境干扰度之后,所述方法还包括:
28、当环境干扰度高于预设环境干扰阈值时,降低依赖人体局部纹理的骨骼点特征权重,提高人体轮廓特征、骨骼拓扑连续性特征和惯性姿态特征的权重;
29、当环境干扰度连续多个动作时间窗口低于预设环境干扰阈值时,逐步恢复所述骨骼点特征权重。
30、在一中可能的设计中,在输出所述纠正指令之后,继续获取学员执行所述纠正指令后的检测数据,基于后续动作时间窗口内的关节姿态偏差变化评估动作纠正状态,当关节姿态偏差达到对应动作阶段的目标范围时,降低该待纠正动作的导学优先级,当检测到动作阶段异常或者运动状态异常时,调整纠正指令的内容或输出时机,并将动作纠正状态写入学员的纵向体质健康档案。
31、本技术还提一种面向公共体育课的人体姿态云端比对智能教学系统,包括云端教学服务器,所述云端教学服务器包括:
32、数据获取模块,用于获取公共体育课学员在多个动作时间窗口内的检测数据;
33、姿态序列生成模块,用于根据视觉可靠度和惯性可靠度补偿缺失骨骼点并校正惯性累计漂移,得到连续学员姿态序列;
34、动作比对模块,用于基于所述连续学员姿态序列确定各动作阶段的关节姿态偏差,并根据所述关节姿态偏差确定待纠正动作;
35、导学输出模块,用于根据所述待纠正动作输出对应动作阶段的纠正指令。
36、在上述技术方案中,本发明提供的技术效果和优点:
37、1.本技术获取多个动作时间窗口内的视觉可靠度和惯性可靠度,在视觉信息暂时不足而惯性信息可用时,利用惯性姿态变化和人体骨骼约束补偿缺失骨骼点,然后在视觉信息连续恢复后,以恢复的骨骼点校正惯性累计漂移,最后形成连续学员姿态序列。由于补偿和回校正分别对应视觉退化与视觉恢复状态,使姿态数据在动作阶段之间保持衔接,并限制惯性偏移继续传递,从而为关节姿态偏差的确定提供较为稳定的数据基础,减少因短时遮挡造成的阶段断裂、重复识别或偏差位置漂移。
38、2.本技术按照连续学员姿态序列识别动作阶段,结合关节姿态偏差和动作阶段转换状态确定待纠正动作,再将对应阶段的纠正指令发送至学员端,并利用后续动作时间窗口内的姿态变化更新纠正内容。由此,纠正信息能够关联到具体动作阶段及相应关节状态,教师端可查看待纠正动作、偏差原因和关键片段,学员端可在练习过程中获得与当前动作状态相匹配的提示;随着后续数据持续进入,系统还能够区分已改善动作和仍需关注动作,从而使课堂导学、动作复核和后续评价保持前后对应。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com