一种基于自适应平滑与物理闭环的姿态估计方法

本发明属于姿态估计，具体涉及一种基于自适应平滑与物理闭环的姿态估计方法。

背景技术：

1、三维人体姿态估计与运动捕捉作为计算机视觉和人工智能的核心基础技术，其生成的运动数据质量直接决定了下游应用的效果。在虚拟现实（vr）、增强现实（ar）、具身智能机器人、影视动画制作以及元宇宙数字人驱动等前沿领域，从单目视频或实时视觉流中恢复出平滑、自然且符合物理规律的三维运动序列，已成为提升系统沉浸感与交互真实感的关键诉求。

2、近年来，基于深度学习的纯视觉运动学姿态估计方法（如各类单目三维姿态估计算法）得到了广泛应用。这些方法依托强大的空间特征提取能力，能够在复杂的图像序列中估计出人体的骨骼关键点和关节旋转参数。然而，在实际的动态场景与物理交互应用中，现有纯视觉估计技术仍然面临着诸多突出的局限性：

3、首先，受限于单目深度模糊、自遮挡以及缺乏真实物理约束等因素，原始的视觉运动学估计结果（即原始姿态）往往包含大量的高频伪变化（high-frequency spuriousvariations）与时序不连续性。这些非物理的抖动和突变在视觉上表现为明显的伪影。

4、其次，在驱动数字人或机器人等物理实体时，若将上述包含高频噪声的原始视觉估计结果直接作为物理引擎或执行机构的控制目标，会导致底层物理控制器产生激烈的非预期响应。这种高频误差的直接输入会引发严重的控制振荡，并进一步导致模型在与地面或环境交互时出现严重的脚滑（foot sliding）以及接触不稳定等动态不合理现象，使得最终生成的运动完全违背真实世界的物理规律。

5、最后，为了缓解上述抖动问题，现有技术通常采用经验性的传统低通滤波器对运动学数据进行后处理。但在实际的高动态人体运动中，传统滤波器在“噪声抑制”与“高频响应”之间存在固有的静态权衡——强滤波会导致快速运动时产生严重的响应延迟，弱滤波则无法有效抑制低速状态下的控制抖动；同时，现有的滤波方案多为开环结构，缺乏物理引擎的真实状态反馈，无法从根本上保证姿态的物理一致性。

6、综上所述，现有技术在处理视觉姿态估计结果时，难以同时兼顾高频噪声抑制、零延迟敏捷跟踪与严格的物理合理性。特别是在高动态变化与复杂接触场景下，仍缺乏一种能够智能融合意图姿态与观测数据、自适应平滑运动轨迹并结合物理仿真进行闭环反馈的系统方案。

技术实现思路

1、本发明的目的在于针对解决背景技术中提出的问题，提出一种基于自适应平滑与物理闭环的姿态估计方法。

2、为实现上述目的，本发明所采取的技术方案为：

3、本发明提出的一种基于自适应平滑与物理闭环的姿态估计方法，包括：

4、获取视频序列，按照时间顺序依次遍历视频序列的每一时刻，针对每一时刻，估计各时刻视频序列中人体的物理状态，且各时刻人体物理状态的估计过程如下：

5、步骤1、获取当前时刻的原始姿态，并获取上一时刻的历史物理状态，利用历史物理状态计算得到目标意图姿态，其中各物理状态包括姿态和姿态速度；

6、步骤2、将当前时刻的原始姿态和历史物理状态作为训练好的运动估计网络的输入，分别得到当前时刻的置信度门控矩阵、卡尔曼增益矩阵、控制器的比例增益矩阵和微分增益矩阵，以及接触概率、接触雅可比矩阵和接触约束力；

7、步骤3、利用置信度门控矩阵对当前时刻的原始姿态和目标意图姿态进行残差调制融合，得到当前时刻的中间融合姿态；

8、步骤4、利用卡尔曼增益矩阵和历史物理状态中的姿态速度计算当前时刻滤波后的姿态速度；

9、步骤5、根据当前时刻滤波后的姿态速度、当前时刻与上一时刻之间的积分时长和动态截止频率计算当前时刻的有效平滑步长；

10、步骤6、根据有效平滑步长，对中间融合姿态和历史物理状态中的姿态之间进行跨帧时序滤波，得到当前时刻的期望控制目标；

11、步骤7、将当前时刻的期望控制目标输入物理仿真引擎，利用pd控制器计算驱动各关节当前时刻的动作扭矩；

12、步骤8、结合所有关节的动作扭矩，采用带有接触约束的欧拉-拉格朗日动力学方程求解当前时刻的瞬时加速度；

13、步骤9、基于当前时刻的瞬时加速度，采用半隐式二阶欧拉积分方案进行前向积分，更新得到当前时刻的物理状态。

14、优选地，各姿态包括人体的根节点位移和人体所有关节的旋转参数；

15、人体所有关节分为多个支路，并按照预设顺序依次连接，其中人体各关节旋转参数是相对连接顺序中的上一关节的旋转参数，根节点的旋转参数是相对世界坐标系的旋转参数，根节点为骨盆根节点；

16、姿态速度包括人体的根节点位移速度和人体所有关节的旋转速度。

17、优选地，所述获取当前时刻的原始姿态，并获取上一时刻的历史物理状态，利用历史物理状态计算得到目标意图姿态，包括：

18、根据当前时刻与上一时刻之间的积分时长和历史物理状态中的姿态速度计算得到变化姿态，再将变化姿态与历史物理状态中的姿态相加，得到当前时刻的目标意图姿态。

19、优选地，所述运动估计网络包括共享隐藏特征提取分支，以及并行的最优状态预测分支、比例增益预测分支、微分增益预测分支、接触状态预测分支、外力预测分支和接触雅可比预测分支；

20、在所述共享隐藏特征提取分支中，将当前时刻的原始姿态、历史物理状态和历史物理状态的关节空间惯性矩阵的展开特征进行拼接后，依次经过的三个线性单元，得到共享隐藏特征，各线性单元包括依次连接的线性层、层归一化和激活层；其中历史物理状态的关节空间惯性矩阵使用刚体动力学库计算得到；

21、在所述最优状态预测分支中，共享隐藏特征依次经过gru、层归一化、激活层和线性层，得到时序特征，同时共享隐藏特征经过线性层得到状态特征，将时序特征和状态特征进行拼接后经过dropout层，得到第一特征，第一特征依次经过线性层和重排操作，得到卡尔曼增益矩阵，同时第一特征依次经过线性层和非线性激活函数得到置信度门控矩阵；

22、在所述比例增益预测分支和微分增益预测分支中，共享隐藏特征均依次经过线性层、激活层、线性层和非线性激活函数，分别得到对角形式的比例增益矩阵和对角形式的微分增益矩阵；

23、在所述接触状态预测分支中，共享隐藏特征经过线性层，得到接触隐藏特征，将接触隐藏特征与预设的接触输入拼接，得到接触融合特征，接触融合特征再依次经过线性层、激活层、线性层、层归一化、激活层、线性层和非线性激活函数，得到人体的左右两个脚的接触概率；

24、在所述外力预测分支中，共享隐藏特征经过线性层，得到外力隐藏特征，将外力隐藏特征与预设的接触输入拼接，得到外力融合特征，外力融合特征再依次经过线性层、激活层、线性层、层归一化、激活层和线性层，得到人体的左右两个脚的接触约束力；

25、在所述接触雅可比预测分支中，共享隐藏特征依次经过两个线性层，得到雅可比参数，将雅可比参数与根节点位移对应的单位矩阵进行拼接，得到接触雅可比矩阵。

26、优选地，所述预设的接触输入包括局部关节点上一时刻的三维位置、局部关节点上一时刻相对上上一时刻的的运动幅值、局部节点上一时刻的旋转参数、上一时刻的接触概率和上一时刻人体质心位置，其中人体执行位置使用刚体动力学库计算得到。

27、优选地，所述利用置信度门控矩阵对当前时刻的原始姿态和目标意图姿态进行残差调制融合，得到当前时刻的中间融合姿态，包括：

28、将当前时刻的目标意图姿态与当前时刻的原始姿态的差值作为残差项，通过当前时刻的置信度门控矩阵对残差项进行加权后与当前时刻的原始姿态叠加，得到当前时刻的中间融合姿态。

29、优选地，所述利用卡尔曼增益矩阵和历史物理状态中的姿态速度计算当前时刻滤波后的姿态速度，包括：

30、将上一时刻的历史物理状态中的姿态速度作为观测项，并将上一时刻的滤波后的姿态速度作为先验项，计算观测项与先验项之间的差值，通过当前时刻的卡尔曼增益矩阵对差值进行加权后与先验项叠加，得到当前时刻滤波后的姿态速度。

31、优选地，所述计算当前时刻的有效平滑步长，对应的计算公式如下：

32、；

33、其中，

34、；

35、其中，为当前时刻的有效平滑步长，为当前时刻与上一时刻之间的积分时长，为当前时刻的动态截止频率 ，为截止频率，为速度调节系数，为当前时刻滤波后的姿态速度；

36、通过当前时刻的有效平滑步长对中间融合姿态和历史物理状态中的姿态之间的差值进行加权，再与历史物理状态中的姿态叠加，得到当前时刻的期望控制目标。

37、优选地，所述利用pd控制器计算驱动各关节当前时刻的动作扭矩，对应的计算公式如下：

38、 其中，为所有关节当前时刻的动作扭矩构成的矩阵，为当前时刻的比例增益矩阵，为当前时刻的微分增益矩阵，为当前时刻的期望控制目标，为上一时刻的历史物理状态中的姿态，为上一时刻的历史物理状态中的姿态速度；

39、所述结合所有关节的动作扭矩，采用带有接触约束的欧拉-拉格朗日动力学方程求解当前时刻的瞬时加速度。

40、优选地，所述基于当前时刻的瞬时加速度，采用半隐式二阶欧拉积分方案进行前向积分，更新得到当前时刻的物理状态，包括：

41、一阶段：根据当前时刻的瞬时加速度更新当前时刻的姿态速度：；

42、利用当前时刻的姿态速度更新当前时刻的姿态：；

43、将当前时刻的姿态速度和当前时刻的姿态代入步骤7重新计算各关节当前时刻的动作扭矩，并执行步骤8重新计算当前时刻的瞬时加速度；

44、二阶段：利用重新计算得到的当前时刻的瞬时加速度，以及一阶段计算得到的当前时刻的姿态和姿态速度，重新更新当前时刻的姿态和姿态速度，且分别称为最终姿态和最终姿态速度，最终姿态和最终姿态速度构成当前时刻的物理状态。

45、与现有技术相比，本发明的有益效果为：

46、本基于自适应平滑与物理闭环的姿态估计方法无需依赖多摄像头或大规模动作捕捉标注，通过单目视频序列结合运动估计网络、中间融合姿态、姿态速度滤波、期望控制目标调制、闭环物理控制与动力学积分的联合设计，实现了高精度、低延迟且物理一致的姿态跟踪；

47、本方法能够显著提升姿态跟踪结果在时序连续性、局部细节稳定性、接触合理性以及整体物理一致性方面的表现，从而构建严格符合物理自回归规律的闭环姿态跟踪体系。