一种人体姿态预测方法及系统

本发明属于计算机视觉与机器学习，具体涉及一种人体姿态预测方法及系统。

背景技术：

1、人体姿态预测是计算机视觉中的一项基础性任务，旨在根据已观测到的人体姿态序列，预测未来一段时域内的姿态变化，在自动驾驶、人机协作、虚拟现实等领域具有广泛应用前景。现有主流方法主要分为以下几类：基于循环神经网络的方法，将姿态预测视为序列到序列的学习问题，但其自回归结构会导致误差随时间步累积；基于图卷积网络的方法，通过将人体骨架建模为图结构来捕捉关节间的空间依赖，但通常采用固定或弱自适应的图结构；基于transformer的方法，利用自注意力机制建模长距离时空依赖，取得了较好的中期预测效果；基于扩散模型的方法，通过迭代去噪过程生成多样化的未来运动轨迹，在处理长期不确定性方面具有优势。

2、然而，现有方法普遍存在一个共同的核心技术问题：缺乏表达与运动阶段演变相适应的动态生物力学因果机制的能力。具体在于，一方面多数现有方法本质上是相关性驱动的，它们学习的是历史运动序列中的统计共现模式，当预测时域延长或运动模式发生变化时，这些统计相关性往往失效，导致预测姿态出现脚部滑动、关节扭曲等物理上不合理的运动学漂移现象，泛化能力较差。另一方面，少数方法尝试引入因果建模的方法，通常假设人体运动服从一个固定不变的静态因果图结构。然而，人体运动具有明显的非平稳性和阶段转换特性，例如行走过程中包含支撑相、摆动相等不同阶段，关节之间的主动与被动关系、约束与驱动关系会显著变化。单一的静态因果图无法适应这种动态变化，也无法表达运动中的循环反馈及多关节协同效应，导致长期预测严重失真。

3、因此，如何构建一个能够随运动阶段动态演变以真实反映关节间因果驱动关系的方法，是当前人体姿态预测亟待解决的核心技术问题。

技术实现思路

1、为了解决现有技术存在的问题，本发明的目的是提供一种人体姿态预测方法及系统，通过动态组合与因果约束，能够随运动阶段动态演变真实反映关节间因果驱动关系，显著提升了长期姿态预测的精度与物理合理性。

2、本发明的技术方案是：

3、一种人体姿态预测方法，包括以下步骤：

4、采集历史人体姿态序列，并将历史人体姿态序列分解为多个潜在的运动模式；其中，历史人体姿态序列为已观测到的一段连续帧的人体姿态数据，每一帧姿态由人体多个关节在三维空间中的位置坐标构成；

5、将历史人体姿态序列输入至噪声编码器，提取出表征潜在上下文信息的外生变量；潜在上下文信息包括运动意图、环境上下文和未观测的控制信号，环境上下文是指被观测人体所处物理环境中能够影响运动轨迹的外部条件因素；

6、针对每个运动模式，结合外生变量，学习一个模式特定的因果有向无环图，并通过基于结构干预的反事实精炼策略对因果有向无环图进行优化，得到多个精炼后的因果有向无环图；

7、将每个精炼后的因果有向无环图的邻接矩阵及对应的因果表示分别映射为键向量和查询向量，通过缩放点积注意力机制计算每个模式特定的因果有向无环图的注意力权重，将注意力权重作为加权系数对所有模式特定的因果有向无环图进行线性组合得到动态因果图，再将动态因果图展平并通过线性层投影至预设维度的特征空间，获得动态因果图表示；

8、将动态因果图表示作为结构化条件，通过交叉注意力机制和时序感知的特征调制，注入至一个去噪扩散隐式模型的每一步反向扩散过程中，以历史人体姿态序列为条件，从随机噪声开始迭代去噪，生成未来人体姿态序列。

9、优选的，所述多个潜在的运动模式的确定方法，包括以下步骤：

10、采用预设长度和步长的滑动窗口将所述历史人体姿态序列划分为多个重叠的短时运动片段；

11、采用截断近似的狄利克雷过程混合模型，并利用一个轻量级的一维卷积神经网络作为全局聚类网络，将每个所述短时运动片段分配至对应的潜在运动模式，其中，每个潜在运动模式由一个高斯分布刻画；

12、通过贝叶斯公式确定每个片段属于各运动模式的后验概率，并根据混合权重修剪可忽略的组件，最终得到由数据自适应确定的多个潜在的所述运动模式。

13、优选的，所述外生变量的提取方法，包括以下步骤：

14、获取经运动模式分解后确定的多个运动模式及其对应的片段分配信息；

15、根据所述片段分配信息，从所述历史人体姿态序列中提取与当前运动模式相对应的姿态子序列；

16、将所述姿态子序列展平为一维向量；

17、将所述一维向量输入至所述噪声编码器，所述噪声编码器为包含三个全连接层的多层感知机，每个全连接层后接relu激活函数，所述多层感知机用于将所述一维向量编码为低维的外生变量，并输出所述外生变量；所述外生变量用于表征所述潜在上下文信息，所述潜在上下文信息包括运动意图、环境上下文和未观测的控制信号；

18、其中，所述噪声编码器在训练阶段，向所述多层感知机的输出中添加从标准多元高斯分布中采样的高斯噪声，以引入随机性并提高泛化能力；在推理阶段则不添加所述高斯噪声，以获得确定性输出。

19、优选的，学习一个模式特定的因果有向无环图的方法，包括以下步骤：

20、对于第

p个运动模式，定义一个邻接矩阵来编码其有向无环图的因果结构，其中非零元素表示第

j个变量对第

i个变量施加直接因果影响；

21、将每个因果变量建模为其父节点变量和对应外生输入的非线性函数，并引入连续非循环惩罚将每个模式特定的图约束为有向无环图，所述连续非循环惩罚根据下式确定：

22、，

23、其中，

h(

a

p)为第

p个运动模式的因果有向无环图的连续非循环惩罚值；第

p个运动模式的邻接矩阵；表示hadamard积；

d为变量维度，即因果图中节点的总数，，

n表示人体关节的数量，

t 表示历史人体姿态序列的长度。

24、优选的，通过基于结构干预的反事实精炼策略对所述因果有向无环图进行优化，具体包括：

25、对于给定的第

p个模式特定的结构因果模型，对目标变量施加一个将其设置为常数值的干预；

26、依据所述因果有向无环图的拓扑顺序，通过图神经网络传播干预效应，计算每个变量的反事实值；

27、定义后代损失与非后代损失，其中所述后代损失用于使后代节点在干预下应发生改变，所述非后代损失用于使非后代节点在干预下应保持不变，并基于所述后代损失与非后代损失的加权和构建反事实损失；

28、以最小化所述反事实损失函数为目标，对所述因果有向无环图进行精炼。

29、优选的，所述模式特定的因果有向无环图的注意力权重，根据下式确定：

30、，

31、式中，为模式特定的因果有向无环图的注意力权重；为第

p个因果有向无环图对应的查询向量；为第

p个因果有向无环图对应的键向量；为稳定梯度的缩放因子，为注意力维度。

32、优选的，从随机噪声开始迭代去噪，生成未来人体姿态序列的方法，包括以下步骤：

33、将所述历史人体姿态序列编码为历史运动特征，将所述动态因果图表示投影至相同特征维度，并将二者拼接形成条件记忆；

34、从标准高斯噪声中采样初始带噪运动特征；

35、对于总步数内的每个反向扩散步，执行以下操作：

36、将当前步的带噪运动特征作为查询，与所述条件记忆进行交叉注意力计算，得到因果感知的运动特征；

37、根据当前扩散步数生成正弦时间步嵌入，通过一个多层感知机将所述正弦时间步嵌入映射为缩放参数和移位参数，并利用所述缩放参数和移位参数对所述因果感知的运动特征进行特征调制；

38、将调制后的特征输入所述去噪扩散隐式模型的噪声预测网络，预测当前步的噪声，并根据预测的噪声更新带噪运动特征，得到下一步的带噪运动特征；

39、重复上述反向扩散步骤直至完成全部t步，将最终的带噪运动特征解码为未来人体姿态序列。

40、优选的，所述未来人体姿态序列由未来人体姿态特征确定，所述未来人体姿态特征，根据下式确定：

41、，

42、式中，为未来人体姿态特征；为第t步的带噪未来运动特征；为扩散噪声调度系数；为累积噪声调度系数；为噪声预测网络；

x为历史人体姿态序列；

z为动态因果图表示；

t为当前扩散时间步。

43、优选的，还包括优化策略步骤，所述优化策略步骤包括两阶段，分别为：

44、第一阶段：因果发现与反事实图精炼阶段，联合训练所述运动模式分解、所述外生变量提取以及动态因果图融合的过程，使用反事实损失和连续非循环惩罚对所述模式特定的因果有向无环图进行优化，并在该阶段收敛后冻结已训练好的因果相关参数；

45、第二阶段：因果条件扩散生成阶段，在冻结的因果相关参数指导下，仅训练所述去噪扩散隐式模型，并引入因果一致性损失函数，所述因果一致性损失函数用于约束以原始动态因果图表示为条件生成的预测与以反事实干预后的动态因果图表示为条件生成的反事实预测之间保持对齐。

46、一种人体姿态预测系统，包括：

47、运动模式分解模块，用于通过狄利克雷过程混合模型将历史人体姿态序列分解为多个潜在的运动模式；

48、噪声编码器模块，用于从所述历史人体姿态序列中提取出表征潜在上下文信息的外生变量；

49、因果学习与反事实精炼模块，用于针对每个运动模式，结合所述外生变量，学习并优化得到多个精炼后的因果有向无环图；

50、动态图融合模块，用于将每个精炼后的因果有向无环图的邻接矩阵及对应的因果表示分别映射为键向量和查询向量，通过缩放点积注意力机制计算每个模式特定的因果有向无环图的注意力权重，将所述注意力权重作为加权系数对所有模式特定的因果有向无环图进行线性组合得到动态因果图，再将所述动态因果图展平并投影至高维空间获得动态因果图表示；

51、条件扩散生成模块，用于以所述动态因果图表示为结构化条件，通过交叉注意力机制和时序感知的特征调制，注入去噪扩散隐式模型的每一步反向扩散过程中，迭代去噪生成未来人体姿态序列。

52、与现有技术相比，本发明的一种人体姿态预测方法及系统，具有以下有益效果：

53、本发明首先将历史姿态序列分解为多个潜在运动模式，并提取外生变量以表征潜在上下文；然后针对每个模式学习一个特定的因果有向无环图，并通过基于结构干预的反事实精炼策略进行优化，确保学到的依赖关系反映真实因果效应而非虚假统计关联；接着通过基于注意力的加权融合机制将多个精炼后的因果图组合成一个统一的动态因果图表示，该表示能够自然表达跨模式的循环反馈与多关节协同效应，突破了静态有向无环图的表达能力瓶颈；最后将该动态因果图表示作为结构化条件，通过交叉注意力机制和时序感知的特征调制注入去噪扩散隐式模型的每一步反向扩散过程中，以历史姿态序列为条件从随机噪声开始迭代去噪生成未来姿态序列；从而通过上述工作原理，本发明在生成过程中不仅依赖历史观测的统计分布，更受到动态生物力学因果约束的显式引导，从而在长期预测时域上实现了平均每关节位置误差有效降低，预测精度显著提升，有效抑制了脚部滑动、关节扭曲等物理不合理伪影，生成的姿态序列在关节连贯性、运动学约束保持及身体末端细节保真方面得到了有效的提升，并且因果结构能够随运动模式动态调整，为模型决策提供了可解释性。