基于动态捕捉的智能跑步姿态评估方法

摘要: 本发明涉及动作捕捉,尤其涉及基于动态捕捉的智能跑步姿态评估方法。背景技术:1、动作捕捉技术涉及对人体在运动过程中的姿态变化、关节点空间位置、肢体运动轨迹以及动作...
基于动态捕捉的智能跑步姿态评估方法

本发明涉及动作捕捉,尤其涉及基于动态捕捉的智能跑步姿态评估方法。

背景技术:

1、动作捕捉技术涉及对人体在运动过程中的姿态变化、关节点空间位置、肢体运动轨迹以及动作时序特征进行连续获取、解析和表征,通过图像采集设备、视觉感知设备或其他运动感知设备记录人体动态信息,并对不同时间节点下的人体关键部位位置变化进行关联处理,从而形成能够反映人体运动状态的姿态信息。

2、现有动作捕捉技术通常通过图像采集设备或视觉感知设备持续记录人体运动过程,再依据不同时间节点的人体关键部位位置变化形成姿态信息,其实际运作高度依赖采集设备相对人体和环境的稳定性,当采集设备本身处于移动、转向或俯仰状态时,画面中人体位移会同时叠加相机运动产生的整体位移,人体真实动作与拍摄设备运动之间容易产生混合,进而使关节点轨迹出现偏移。例如无人机跟随跑者转弯或改变飞行姿态时,即使跑者步幅保持相近,图像平面中的足部位移仍可能出现明显变化,使直接依据画面位移得到的步态特征偏离真实运动状态。高速跑步场景中,摆臂及摆腿区域还容易出现卷帘快门形变和运动模糊,局部边缘发生拉伸、倾斜或重影时,关节点定位结果可能出现骨骼长度异常,若此类异常沿连续帧累积,会使膝部、踝部及足部轨迹产生不符合人体生理结构的突变,进一步影响触地时刻、腾空高度及步幅变化的判断。因此,需要进行改进。

技术实现思路

1、本发明的目的是解决现有技术中存在的缺点,而提出的基于动态捕捉的智能跑步姿态评估方法。

2、为了实现上述目的,本发明采用了如下技术方案,基于动态捕捉的智能跑步姿态评估方法,包括以下步骤:

3、根据无人机采集的连续帧序列图像,计算当前帧与平稳相邻帧的静态背景特征点坐标集的单应性矩阵获取全局平移与旋转位姿参数;

4、将包含跑者的局部像素区域的稠密光流场向量进行差分补偿运算,提取纯内在动作特征向量;将所述纯内在动作特征向量输入至预训练的时序姿态估计网络中,输出三维初始骨架姿态序列;

5、根据所述三维初始骨架姿态序列,定位摆动肢体对应的所述局部像素区域并计算所述局部像素区域的高频梯度变动值;

6、当所述高频梯度变动值超过预设的畸变限值时,确定受卷帘快门效应与运动模糊影响的当前畸变帧,计算所述当前畸变帧的对应三维骨骼线段长度参数与提取自所述平稳相邻帧的基准三维骨骼线段长度参数的长度偏差量;以所述基准三维骨骼线段长度参数及父关节点到子关节点的方向,对所述当前畸变帧中发生长度畸变的三维骨架关节点坐标进行逆运动学位置重置,获取修正骨架姿态序列;

7、提取所述修正骨架姿态序列中足部关节点的历史局部触地帧图像的触地点三维坐标,利用所述全局平移与旋转位姿参数将所述触地点三维坐标对齐至当前目标帧的相机坐标系下,获取动态触地轨迹点集;

8、提取所述当前目标帧的静态直线特征计算视觉消失线参数确定法向量方向,将所述动态触地轨迹点集与所述法向量方向进行空间几何平面拟合,得到三维虚拟地平面方程。

9、较佳地,所述方法还包括:

10、向所述三维虚拟地平面方程投影所述修正骨架姿态序列以计算投影距离参数;根据时序步态周期,提取所述修正骨架姿态序列的支撑点坐标与最高点坐标,结合所述投影距离参数运算获取相对步幅参数与相对垂直振幅参数;

11、计算真实物理肢体尺寸与所述基准三维骨骼线段长度参数的比例获取全局尺度因子;利用所述全局尺度因子对所述相对步幅参数与所述相对垂直振幅参数进行换算获取绝对步幅参数与绝对垂直振幅参数,并输入至预设的跑姿标准区间模型中进行特征比对,输出跑姿评估等级。

12、较佳地,所述纯内在动作特征向量的获取步骤为:

13、根据无人机采集的连续帧序列图像,读取当前帧和平稳相邻帧对应的像素坐标位置,从不随跑者肢体运动发生位置变化的背景区域提取静态背景特征点坐标集,按照同一静态背景位置建立当前帧和平稳相邻帧的特征点对应关系,逐项计算对应特征点从平稳相邻帧到当前帧的坐标映射关系,根据全部对应特征点的坐标映射关系确定帧间单应性矩阵,分离帧间单应性矩阵中表征相机位置变化的平移分量,分离表征相机朝向变化的旋转分量,将平移分量和旋转分量按照当前帧编号进行对应记录,得到无人机相机的全局平移与旋转位姿参数;

14、从当前帧中确定跑者占据的局部像素区域,逐像素读取局部像素区域在当前帧和平稳相邻帧之间的位移方向和位移幅值,形成局部像素区域的稠密光流场向量,依据所述全局平移与旋转位姿参数将相机平移分量和相机旋转分量换算为局部像素区域各像素位置对应的全局运动位移分量,将所述稠密光流场向量中的各像素位移分量逐项扣除同一像素位置的全局运动位移分量,保留由跑者肢体相对运动形成的剩余位移方向和剩余位移幅值,按照像素位置及帧序顺序排列剩余位移方向和剩余位移幅值,得到纯内在动作特征向量。

15、较佳地,所述三维初始骨架姿态序列的获取步骤为:

16、按照连续帧序列图像的时间顺序排列各当前帧对应的所述纯内在动作特征向量,将相邻帧之间具有连续时间关系的所述纯内在动作特征向量依次输入预训练的时序姿态估计网络,读取每一帧对应的人体骨架关节点输出位置,将每个人体骨架关节点输出位置按照相机坐标系的横向坐标、纵向坐标、深度坐标进行对应记录,依据人体骨架关节点编号建立同一帧内各人体骨架关节点的空间对应关系,依据帧编号连接同一人体骨架关节点在连续帧中的三维位置记录,形成跑者随时间变化的连续三维骨架关节点坐标序列,得到三维初始骨架姿态序列。

17、较佳地,所述高频梯度变动值的获取步骤为:

18、根据所述三维初始骨架姿态序列,按照连续帧序列图像的帧编号读取各三维骨架关节点坐标,依据同一肢体对应关节点在相邻帧中的空间位置变化确定摆动肢体,将摆动肢体的三维骨架关节点坐标映射至对应帧的二维像素坐标位置,沿摆动肢体各关节点及相邻骨骼线段的像素覆盖范围划定局部像素区域,逐像素读取局部像素区域中相邻像素位置的灰度变化幅度,分别沿水平方向和垂直方向统计灰度变化幅度,提取灰度变化幅度出现连续突变的像素位置,将连续突变幅度按照局部像素区域的空间位置进行汇总,计算连续突变幅度在局部像素区域内的整体变化程度,得到高频梯度变动值。

19、较佳地,所述修正骨架姿态序列的获取步骤为:

20、将所述高频梯度变动值逐帧同预设的畸变限值进行比较,当所述高频梯度变动值超过预设的畸变限值时,将对应当前帧确定为受卷帘快门效应及运动模糊影响的当前畸变帧,按照当前畸变帧中的摆动肢体定位受影响的父关节点和子关节点,从平稳相邻帧的三维初始骨架姿态序列中读取相同父关节点和子关节点的三维坐标,计算平稳相邻帧中父关节点至子关节点的空间直线距离,将所述空间直线距离确定为基准三维骨骼线段长度参数,再读取当前畸变帧中相同父关节点和子关节点的三维坐标,计算当前畸变帧中对应三维骨骼线段长度参数,逐项求取当前畸变帧中对应三维骨骼线段长度参数相对基准三维骨骼线段长度参数的长度差异,得到长度偏差量;

21、调用每一所述长度偏差量对应的基准三维骨骼线段长度参数,筛选所述长度偏差量表明骨骼线段长度发生畸变的父关节点和子关节点,保持父关节点的三维骨架关节点坐标作为位置基准,读取当前畸变帧中父关节点指向子关节点的空间方向,将基准三维骨骼线段长度参数作为父关节点至子关节点重新定位时的目标模长,按照空间方向缩放父关节点至子关节点之间的三维位移向量,根据缩放后的三维位移向量重新确定子关节点的三维骨架关节点坐标,沿人体骨架层级依次对后续发生长度畸变的三维骨架关节点坐标执行位置重置,并将重置后的三维骨架关节点坐标按照原帧编号恢复至三维骨架姿态的时间顺序,得到修正骨架姿态序列。

22、较佳地,所述动态触地轨迹点集的获取步骤为:

23、根据所述修正骨架姿态序列,按照帧编号连续读取足部关节点的三维坐标,分别比较同一足部关节点在前一帧、当前帧、后一帧中的竖直方向坐标,在当前帧竖直方向坐标不大于前一帧竖直方向坐标且不大于后一帧竖直方向坐标时,将当前帧确定为足部关节点的局部最低位置候选帧,再根据相邻帧足部关节点三维坐标的空间位移量和帧间时间间隔计算瞬时速度,当瞬时速度绝对值不超过预设触地速度限值时,将对应候选帧确定为历史局部触地帧图像,读取各历史局部触地帧图像中足部关节点的横向坐标、纵向坐标、深度坐标,形成各历史局部触地帧图像对应的触地点三维坐标,再按照各历史局部触地帧图像的帧编号调用对应时刻的全局平移与旋转位姿参数,将各触地点三维坐标从对应历史局部触地帧图像的相机坐标系转换至当前目标帧的相机坐标系,统一各触地点三维坐标的空间参考基准,并按照时间先后顺序排列完成坐标对齐的触地点三维坐标,获取动态触地轨迹点集。

24、较佳地,所述三维虚拟地平面方程的获取步骤为:

25、在获取所述动态触地轨迹点集的同时,读取当前目标帧背景区域的像素灰度变化位置,沿连续结构边缘筛选空间延伸方向保持一致的像素点,将属于同一结构边缘的像素点按照像素坐标顺序连接形成静态直线特征,逐条读取静态直线特征在当前目标帧图像平面中的方向参数和位置参数,将方向相同的静态直线特征划分至同一方向组,分别延伸同一方向组内的静态直线特征并统计交汇位置,将同一方向组内交汇密度最大的像素位置确定为对应方向的视觉消失点,根据不同方向组对应的视觉消失点建立当前目标帧中的视觉消失线参数,再依据视觉消失线参数所表征的图像平面空间朝向关系,将视觉消失线对应的空间方向转换为垂直于目标地面的三维方向,得到空间平面的法向量方向;

26、逐点读取所述动态触地轨迹点集中各触地点三维坐标,以所述空间平面的法向量方向限定待求平面的空间朝向,沿所述空间平面的法向量方向计算各触地点三维坐标到候选平面的垂直距离,按照各触地点三维坐标的垂直距离调整候选平面的空间位置,重复比较调整前后各触地点三维坐标的垂直距离离散程度,保留使垂直距离离散程度达到最小状态的候选平面位置参数,将所述动态触地轨迹点集中偏离候选平面距离超过预设触地点偏差限值的触地点三维坐标剔除,再利用保留的触地点三维坐标重新校正候选平面的空间位置,使候选平面的空间朝向持续服从所述空间平面的法向量方向,并将校正后的空间朝向参数和空间位置参数按照当前目标帧的相机坐标系进行统一表征,得到三维虚拟地平面方程。

27、较佳地,所述跑姿评估等级的获取步骤为:

28、逐帧读取髋部关节点、膝部关节点、踝部关节点、足部关节点的三维关节点坐标,沿所述三维虚拟地平面方程对应的法向量方向,将各三维关节点坐标垂直映射至虚拟平面,记录原三维关节点坐标至对应垂直投影位置之间的空间距离,得到各三维关节点相对所述虚拟平面的投影距离参数,按照所述修正骨架姿态序列的帧编号连续排列足部关节点的投影距离参数,识别前脚触地、后脚触地、身体腾空对应的时序步态周期位置,在前后脚交替触地位置分别读取支撑足部关节点的支撑点坐标,在腾空阶段逐帧比较身体参考关节点相对虚拟平面的投影距离参数,选取投影距离参数达到周期内最大值时对应的最高点坐标,计算相邻前后脚支撑点坐标沿虚拟平面运动方向的空间坐标差值,计算最高点坐标相对对应触地阶段支撑点坐标沿法向量方向的空间坐标差值,得到相对步幅参数与相对垂直振幅参数;

29、读取预先录入的跑者的真实物理肢体尺寸,按照真实物理肢体尺寸对应的肢体类型,从所述修正骨架姿态序列中定位相同肢体对应的父关节点和子关节点,读取对应肢体在平稳相邻帧中确定的所述基准三维骨骼线段长度参数,将真实物理肢体尺寸除以对应的所述基准三维骨骼线段长度参数,获得每一对应肢体的尺度换算比例,对同一跑者多个对应肢体的尺度换算比例进行一致性比较,剔除偏离其余尺度换算比例集中范围的异常比例,依据保留的尺度换算比例确定全局尺度因子,将全局尺度因子分别乘入各时序步态周期对应的所述相对步幅参数与相对垂直振幅参数,将所述修正骨架姿态序列中的相对空间距离统一换算为跑者真实物理尺寸对应的空间距离,得到绝对步幅参数与绝对垂直振幅参数;

30、按照同一时序步态周期建立所述绝对步幅参数和所述绝对垂直振幅参数的对应关系,读取预设的跑姿标准区间模型中各跑姿评估等级分别对应的步幅下限、步幅上限、垂直振幅下限和垂直振幅上限,将每一时序步态周期的所述绝对步幅参数依次同各跑姿评估等级对应的步幅下限及步幅上限进行区间比较,将同一时序步态周期的所述绝对垂直振幅参数依次同对应跑姿评估等级的垂直振幅下限及垂直振幅上限进行区间比较,当所述绝对步幅参数和所述绝对垂直振幅参数同时落入同一跑姿评估等级对应的参数区间时,将对应跑姿评估等级确定为当前时序步态周期的候选等级,当连续多个时序步态周期对应的候选等级不一致时,统计各候选等级在连续时序步态周期中的出现次数,选取出现次数最多的候选等级作为最终输出,得到跑姿评估等级。

31、与现有技术相比,本发明的优点和积极效果在于:

32、本发明基于无人机连续帧序列图像,对当前帧和平稳相邻帧中的静态背景特征点坐标进行对应计算,通过帧间单应性关系获得全局平移及旋转位姿参数,再对跑者局部像素区域中的稠密光流场向量实施差分补偿,可将无人机自身运动引起的背景整体位移从人体局部运动中分离,使后续输入的纯内在动作特征向量更集中表征跑者真实肢体运动,降低相机跟拍、转向、俯仰变化对姿态识别结果的干扰。在此基础上形成三维初始骨架姿态序列,并针对摆动肢体局部像素区域的高频梯度变动进行判定,可将卷帘快门效应、运动模糊造成的局部骨架异常从正常运动变化中区分出来,再利用平稳相邻帧中的基准三维骨骼线段长度参数,对当前畸变帧中偏离人体刚性约束的三维骨架关节点坐标实施位置重置,使骨骼长度在连续时序中保持符合人体生理结构的稳定关系,减少高速摆臂、摆腿情况下骨架拉伸、压缩或关节点漂移对步态特征提取造成的累积误差。进一步利用历史局部触地帧形成触地点三维坐标,并结合全局平移及旋转位姿参数将不同时刻的触地点统一至当前目标帧相机坐标系,使跨帧触地轨迹具备一致空间参考,再通过当前目标帧背景中的静态直线特征确定法向量方向,结合动态触地轨迹点集求取三维虚拟地平面方程,可减弱无人机俯仰角变化及视角漂移对地面基准判断的影响。基于稳定的虚拟地面基准对修正骨架姿态序列进行垂直投影,并结合时序步态周期中的支撑点坐标、最高点坐标计算相对步幅参数及相对垂直振幅参数,再通过真实物理肢体尺寸和基准三维骨骼线段长度参数获得全局尺度因子,可将图像空间中的相对运动量转换为具备真实物理量纲的绝对步幅参数及绝对垂直振幅参数,使不同拍摄距离、不同无人机飞行高度下获得的跑姿特征具备可比性,进而依据预设跑姿标准区间完成量化评估,有利于提升跑步姿态评估在户外动态跟拍环境中的稳定性、准确性及可解释性,并可为运动协调性分析、跑姿纠正、训练强度调整及体质健康状态辅助评估提供更加可靠的客观依据。