一种动作错误模式无监督识别方法

摘要: 本发明属于计算机视觉与运动分析,具体涉及一种动作错误模式无监督识别方法。背景技术:1、康复训练、运动技能教学和智能运动指导不仅需要判断动作是否正确,还需要进一步...
一种动作错误模式无监督识别方法

本发明属于计算机视觉与运动分析,具体涉及一种动作错误模式无监督识别方法。

背景技术:

1、康复训练、运动技能教学和智能运动指导不仅需要判断动作是否正确,还需要进一步识别错误动作内部的细分模式,例如关节角度不足、身体代偿、时序滞后、左右不对称或多个部位偏差依次传播等。细粒度错误模式能够支撑个性化反馈,但其标注通常依赖理疗师或教练逐帧分析,成本高且一致性难以保证。

2、现有监督学习方法通常要求预先定义错误类别并提供大量类别标签,难以发现训练阶段未出现的新型错误模式。聚类方法虽然能够在缺少细粒度标签时形成分组,但骨架序列的高维时空变化、不同受试者的体型差异以及同一错误在不同速度下的表现,会使直接聚类产生不稳定或缺乏可解释性的结果。

3、现有无监督动作分析方案常采用手工运动学特征作为聚类输入。此类特征具有一定可解释性,但受人工设计范围限制,对多关节协同和复杂时间动态的表达能力不足。另一些方案采用深度编码特征,却往往直接在错误样本内部标准化,未利用正确动作样本建立参照分布,因而难以突出"偏离正确动作"的方向。

4、此外,仅依据轮廓系数等统计指标选择聚类结果,可能得到在特征空间中分离良好但在运动学或康复常识上不一致的分组。二维或三维骨架虽然不能直接测量真实肌电激活或关节力矩,但能够构造关节活动范围、远端加速度和杠杆长度、屈伸方向、左右不平衡及躯干代偿等物理代理量,用于对候选聚类进行合理性校验。

5、现有簇解释通常停留在静态特征差异描述,例如"速度偏高"或"角度偏小",不能回答错误偏差可能从哪个部位首先出现、随后影响哪些部位,以及在模型层面优先修正某一偏差是否可能降低其他偏差。若简单将多个动作序列首尾拼接进行时序分析,还会引入跨样本边界造成的伪相关。

6、因此,需要一种新的技术方案,使聚类结构主要由可表达复杂时空关系的深度特征决定,同时利用正确动作建立参照坐标系,以物理代理量对候选聚类进行软正则或异常筛查;并在聚类后将易解释手工特征与聚类表征解耦,进一步对簇内偏差信号进行不跨样本边界的汇总式时间关系分析和模型化反事实分析。

技术实现思路

1、本发明的目的在于克服上述现有技术的不足,提供一种动作错误模式无监督识别方法,其旨在解决现有技术中深度聚类缺少正确动作参照、候选分组缺乏物理合理性约束且难以解释错误传播和干预优先级的技术问题。

2、为实现上述目的,本发明提出了一种动作错误模式无监督识别方法,包括以下步骤:

3、s1、按动作类别从骨架序列中收集正确动作样本和错误动作样本后进行预处理;

4、s2、将预处理后的正确动作样本和错误动作样本输入多流深度特征提取模型,得到正确动作样本的深度特征和错误动作样本的深度特征;

5、s3、基于所述正确动作样本的深度特征建立正确动作参照分布,将错误动作样本深度特征变换为相对于所述正确动作参照分布的白化偏离表示;

6、s4、对所述偏离表示进行无监督特征选择和流形降维,得到用于聚类的低维表示;

7、s5、从骨架序列和正确动作模板中提取物理一致性代理特征;

8、s6、将s4中的低维表示遍历多个候选聚类算法中获得多个候选聚类结果,而后通过s5中的物理一致性代理特征对候选聚类结果进行评价和筛查确定最优聚类划分;

9、s7、基于s6中的最优聚类划分对每个错误动作样本进行语义解释、时序分析及反事实干预。

10、作为优选,预处理包括定长重采样、根关节对齐及尺度归一化;所述定长重采样采用插值将动作片段统一为固定帧数;所述根关节对齐为逐帧减去髋部根关节坐标;所述尺度归一化为除以动作序列中关节相对根关节的最大距离。

11、作为优选,所述多流深度特征提取模型至少包括两个分别用于表征空间结构、时间动态、关节关系或动作语义的特征流;将各特征流的输出整理为样本级向量后拼接,形成预设维度或由模型实际输出维度确定后获得深度特征。

12、作为优选,建立所述正确动作参照分布包括:对正确样本深度特征估计均值与协方差,利用收缩协方差估计提高高维小样本条件下的稳定性;对协方差矩阵进行特征值分解并对特征值设置下限,以其逆平方根对错误样本执行白化;当正确样本数量不足时,回退为基于错误样本的标准分数归一化;所述无监督特征选择采用多簇特征选择算法,包括:基于近邻图构建归一化拉普拉斯矩阵,获得谱嵌入;针对每个嵌入维度执行l1正则化回归,以各原始特征在多个嵌入维度上的最大回归系数绝对值作为重要性得分,并保留得分最高的若干特征;所述流形降维采用统一流形逼近与投影算法,并在该算法不可用时回退为主成分分析。

13、作为优选,所述物理一致性代理特征至少包括:关节角度相对于动作级活动范围上下限的越界比例和越界角度;关节角度相对于正确模板的绝对偏差;由关节至远端点的归一化杠杆向量与远端加速度叉积模长构成的杠杆负荷代理;根据关节角速度、角加速度和所述杠杆负荷代理构成并按屈曲方向和伸展方向拆分的肌群协同代理;左右侧负荷不平衡代理;以及躯干倾斜偏差和躯干晃动代理;所述物理一致性代理特征包括软约束和硬约束,所述软约束的空间中的轮廓系数或等效簇内一致性指标按预设权重并入候选聚类结果的综合评分;所述硬约束根据至少一个关节的活动范围越界帧比例是否超过阈值确定严重异常样本,并将该样本排除于候选聚类或标记为噪声;当未配置动作级活动范围或排除后样本不足时,自动回退为软约束。

14、作为优选,所述候选聚类算法包括划分式聚类、层次聚类、概率混合聚类和密度聚类中;对每个候选聚类结果计算轮廓系数、戴维森-堡丁指数、卡林斯基-哈拉巴斯指数、熵归一化簇均衡性,并在可用时计算密度聚类有效性,同时计算噪声比例、最小簇样本数。

15、作为优选,所述综合评分将轮廓系数、反向戴维森-堡丁指数、卡林斯基-哈拉巴斯指数、熵归一化簇均衡性以及可用时的基于密度的聚类有效性分别归一化并加权求和,再减去超过允许噪声比例的噪声惩罚和最小簇样本数不足的小簇惩罚;所述最优聚类划分的簇编号按照各簇中心在主轴方向上的位置进行确定性重编号。

16、作为优选,语义解释的方法为在聚类完成后从运动学统计、分段相位、频域或小波、动态时间弯曲路径和模板偏差中选取相对于全局均值的标准化偏差绝对值最大的若干维度,并通过特征-语义映射表生成簇描述。

17、作为优选,所述时序分析方法为针对每一源偏差信号和目标偏差信号,在多个独立动作序列内分别构建含目标信号自身滞后项的受限回归和进一步含源信号滞后项的非受限回归;根据两回归的残差平方和计算f统计量、显著性概率及相对残差降低效应量;对全部信号对的显著性概率执行多重检验校正,并同时满足校正后显著性阈值和最小效应量阈值时保留为时间预测边。

18、作为优选,反事实干预的方法为利用簇内多个独立动作序列拟合带岭正则的汇总向量自回归模型;以簇平均偏差信号执行无干预基线模拟;将候选偏差信号在模拟过程中固定为表示正确模板水平的零偏差,获得干预模拟;根据干预模拟相对于基线模拟的其余偏差信号平均绝对值降低比例,对候选干预部位进行排序。

19、与现有技术相比,本发明提供的一种动作错误模式无监督识别方法的有益效果为:利用多流深度特征表达复杂时空协同;通过正确样本参照白化突出偏离正常模式的方向;在不改变深度特征主导地位的情况下引入物理一致性正则;将聚类表征与语义解释解耦;通过不跨动作边界的汇总式时间关系分析降低伪相关;以传播链和模型化反事实提供比静态簇命名更丰富的决策依据;并通过回退机制适应正确样本不足、可选依赖缺失或硬约束导致样本不足等工程条件。

20、本发明的特征及优点将通过实施例结合附图进行详细说明。