一种基于深度学习的运动姿态评估方法及系统
本发明涉及运动姿态评估,特别是一种基于深度学习的运动姿态评估方法及系统。
背景技术:
1、随着人体姿态估计、视频理解和图深度学习技术的发展,基于视频的人体运动分析已应用于体育训练、健身指导、运动康复、职业工效评估及人机交互。现有方案通常先由卷积神经网络或视觉变换网络提取人体关键点,再依据关键点轨迹计算关节角度、运动幅度和动作节奏,并利用循环神经网络、时序卷积网络或骨架时空图卷积网络完成动作识别或动作质量评分,从而输出整体分类或评分。
2、但现有技术使用的关键点热图经最大值解码后通常仅保留单一坐标,遮挡、运动模糊及局部低置信响应所包含的不确定信息被丢失,关键点误差又会沿骨段向量、关节角度和时序特征继续传播,不同被评估者的躯干长度和肢体比例也存在差异,只按人体框高度或整体尺度归一化时,局部骨段比例差异仍会混入姿态偏差,同一动作由不同人员完成时,动作速度、阶段持续时间及转折位置通常不同,逐帧比较容易把相同动作状态错开,全动作范围的动态时间规整又可能把不同动作阶段中外观相似的姿态错误匹配。人体还会通过相邻关节补偿局部运动受限或姿态偏差,例如踝关节首先发生异常后,膝关节和髋关节可能依次出现补偿性偏差。现有局部评分方法往往把各异常关节并列输出;仅依据异常先后顺序或相关性建立传播关系,又难以排除正常人体运动链本身固有的协同关系,若加入前序关节历史信息并未显著改善对后序关节状态的预测,则二者相关更可能来自共同动作节奏,而非异常传播。
3、因此,现有人体姿态评估技术存在误差未受控、不同动作阶段可能错配、正常协同与异常传播难以区分以及主要异常源缺少受控验证的问题。
技术实现思路
1、鉴于上述现有存在的问题,提出了本发明。
2、因此,本发明提供了一种基于深度学习的运动姿态评估方法及系统,解决如何在同一数据链中从可靠关键点、阶段内标准状态、局部异常、异常传播到主要异常源验证的评估问题。
3、为解决上述技术问题,本发明提供如下技术方案:
4、第一方面,本发明提供了一种基于深度学习的运动姿态评估方法,包括,
5、s1、获取待评估运动视频,利用人体姿态深度学习网络获得各采样时刻的人体关键点响应热图,根据所述人体关键点响应热图形成关键点位置概率分布,并结合关键点的时间连续关系和人体投影骨段结构关系,确定重构人体关键点位置及位置不确定程度;
6、s2、根据所述重构人体关键点位置确定个体投影骨段参考长度和躯干投影参考长度,对所述重构人体关键点位置及位置不确定程度进行尺度归一化,得到个体结构归一化姿态序列和归一化位置不确定程度;
7、s3、根据所述个体结构归一化姿态序列中关键运动关节的运动方向转换状态和整体关节运动强度确定待评估动作的动作阶段;
8、s4、在待评估动作与标准合格动作的相同动作阶段之间建立阶段约束时序映射关系,并据此确定各采样时刻对应的标准参考运动状态;
9、s5、根据人体骨骼连接关系和同一人体关节在连续采样时刻之间的时间连接关系构建人体运动链时空图,将归一化运动状态、归一化位置不确定程度及相对于所述标准参考运动状态的局部状态偏差作为节点特征,通过预先训练完成的时空图深度学习网络获得各人体关节的局部异常概率及待评估动作的原始完整动作质量概率;
10、s6、根据独立于模型训练样本的合格动作校准样本确定合格动作异常边界,并根据所述局部异常概率确定异常关节的首次异常采样序号;
11、针对具有直接骨骼连接关系的第一异常关节和第二异常关节,根据二者的局部状态偏差序列确定最优时间滞后及其相关关系,并分别利用所述第二异常关节自身的历史局部状态偏差、以及所述第一异常关节与第二异常关节的联合历史局部状态偏差预测第二异常关节的后续局部状态偏差,根据两类预测误差确定由第一异常关节指向第二异常关节的方向性预测增益;
12、仅在第一异常关节先于第二异常关节发生异常、最优时间滞后为正、所述最优时间滞后对应正相关、首次异常采样间隔与所述最优时间滞后一致且所述方向性预测增益超过由合格动作校准样本确定的正常方向性预测增益边界时,建立由第一异常关节指向第二异常关节的异常传播有向边;
13、根据全部异常传播有向边构建异常传播有向图,将其中入度为零的异常关节确定为候选异常源;
14、s7、针对每一候选异常源,根据所述阶段约束时序映射关系将其局部运动几何状态替换为标准参考运动状态,重新计算受到所述替换影响的关联运动几何特征,同时保持对应的归一化位置不确定程度不变,形成反事实运动链时空图;
15、将各反事实运动链时空图输入所述时空图深度学习网络,根据所得反事实完整动作质量概率与所述原始完整动作质量概率之间的差值确定动作质量恢复贡献,将具有最大正向动作质量恢复贡献的候选异常源确定为主要姿态异常源;
16、s8、根据所述局部异常概率、原始完整动作质量概率、异常传播有向图、方向性预测增益、动作质量恢复贡献及主要姿态异常源,生成运动姿态评估结果。
17、作为本发明所述一种基于深度学习的运动姿态评估方法的一种优选方案,其中:
18、所述步骤s1中,重构人体关键点位置及位置不确定程度的确定包括,将关键点响应热图转换为位置概率分布,以所述位置概率分布的期望作为初始关键点位置,以所述位置概率分布的协方差矩阵的迹作为位置不确定程度;
19、根据稳定观测采样时刻确定初始投影骨段参考长度、投影骨段离散尺度及时间预测协方差;
20、在人体骨架拓扑中按照从根节点至肢体末端的顺序,基于关键点位置负对数概率、时间连续性马氏距离及投影骨段长度标准化偏差形成联合约束代价,并以联合约束代价最小的热图网格位置作为重构人体关键点位置。
21、作为本发明所述一种基于深度学习的运动姿态评估方法的一种优选方案,其中:
22、所述步骤s2中,尺度归一化包括,以左右髋关节中点作为人体根节点,以人体根节点至左右肩关节中点之间距离的时序中位数作为躯干投影参考长度,并以各关键点至其父关键点之间距离的时序中位数作为个体投影骨段参考长度;
23、利用所述躯干投影参考长度获得整体归一化关键点位置和归一化位置不确定程度,利用所述个体投影骨段参考长度获得局部骨段归一化向量。
24、作为本发明所述一种基于深度学习的运动姿态评估方法的一种优选方案,其中:
25、所述步骤s3中,动作阶段的确定包括,在不预设动作阶段数量的情况下,从多个标准合格动作样本中检测运动方向转换对应的自然阶段边界,以各标准合格动作样本的自然阶段数量的众数作为标准动作阶段数量;
26、在待评估动作中,将不少于半数关键运动关节发生运动方向转换且整体关节运动强度形成局部最小值的采样时刻作为候选阶段边界,合并相邻候选阶段边界后按照运动方向转换关节数量、整体关节运动强度和采样先后顺序确定最终阶段边界。
27、作为本发明所述一种基于深度学习的运动姿态评估方法的一种优选方案,其中:
28、所述步骤s4中,阶段约束时序映射关系的建立包括,将标准合格动作的各动作阶段分别重采样至对应的离散阶段进程网格,在各离散阶段进程位置统计标准运动状态均值和标准运动状态协方差;
29、计算待评估动作状态与同一动作阶段内各标准运动状态之间的马氏距离,并通过保持采样顺序单调的动态规划路径获得累计距离最小的阶段内映射,禁止待评估动作状态跨越动作阶段进行匹配。
30、作为本发明所述一种基于深度学习的运动姿态评估方法的一种优选方案,其中:
31、所述步骤s6中,方向性预测增益由自身历史状态预测模型和联合历史状态预测模型获得;
32、所述自身历史状态预测模型以第二异常关节的历史局部状态偏差为输入,所述联合历史状态预测模型以第一异常关节和第二异常关节的历史局部状态偏差为输入,两模型采用相同的门控循环单元结构、相同历史输入长度和相同训练数据;
33、所述历史输入长度由训练数据内部的拟合集合训练并由验证集合的预测误差确定,所述正常方向性预测增益边界由不参与模型参数更新的合格动作校准样本确定。
34、作为本发明所述一种基于深度学习的运动姿态评估方法的一种优选方案,其中:
35、所述步骤s7中,反事实运动链时空图的形成包括,将候选异常源的整体归一化关键点位置、局部骨段归一化向量、关联关节角度、关联关节角速度及局部状态偏差替换或重算为对应标准参考运动状态下的数值,并保持候选异常源及因几何重算受到影响的邻接关节的归一化位置不确定程度与原始运动链时空图一致;
36、当各候选异常源均不存在正向动作质量恢复贡献时,将对应动作阶段标记为多关节协同异常阶段。
37、作为本发明所述一种基于深度学习的运动姿态评估方法的一种优选方案,其中:
38、所述步骤s8中,运动姿态评估结果包括关节层姿态得分、运动链层姿态得分、动作阶段层姿态得分、完整动作姿态得分、深度学习整体质量得分、主要姿态异常源、首次异常采样序号、异常传播路径、方向性预测增益及动作质量恢复贡献;
39、其中,各层姿态得分由下一层级的有效对象得分中位数逐级获得,深度学习整体质量得分由原始完整动作质量概率换算获得。
40、第二方面,本发明提供了一种基于深度学习的运动姿态评估系统,包括,
41、关键点可信重构模块,所述关键点可信重构模块用于获得重构人体关键点位置及位置不确定程度;
42、个体结构归一化模块,所述个体结构归一化模块用于获得个体结构归一化姿态序列及归一化位置不确定程度;
43、动作阶段分割模块,所述动作阶段分割模块用于确定标准动作阶段数量及待评估动作的动作阶段;
44、阶段时序对齐模块,所述阶段时序对齐模块用于建立阶段约束时序映射关系并确定标准参考运动状态;
45、时空图深度评估模块,所述时空图深度评估模块用于构建人体运动链时空图并获得局部异常概率及原始完整动作质量概率;
46、异常传播定位模块,所述异常传播定位模块用于依据五项异常传播条件构建异常传播有向图并确定候选异常源;
47、反事实验证模块,所述反事实验证模块用于在保持归一化位置不确定程度不变的条件下形成反事实运动链时空图并确定主要姿态异常源;
48、多层级评估模块,所述多层级评估模块用于生成运动姿态评估结果。
49、本发明有益效果为:其一,关键点响应热图不仅用于坐标提取,还产生位置不确定程度并持续进入时空图节点特征,减少低质量观测被误认为真实姿态异常;其二,联合约束代价各项分别由概率、协方差和骨段离散尺度完成标准化,不需要人工设置相互权重;其三,个体投影骨段参考长度与躯干投影参考长度构成局部和整体双尺度归一化,降低人体比例差异;其四,阶段内动态规划阻止跨阶段误配;其五,五项传播条件把异常先后、正向时滞、正相关、异常间隔一致性及超过正常协同边界的预测增益连接起来,降低正常协同误判;其六,异常传播图的输出直接决定反事实验证对象,避免对全部关节盲目扰动;其七,反事实过程固定观测不确定程度,使动作质量变化主要归因于几何状态变化;其八,关节层、运动链层、阶段层和完整动作层结果逐级汇总,便于定位和复核。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com