基于多维度编码器的轻量化人体三维姿态估计方法及系统

本发明属于人工智能算法领域，具体涉及一种基于多维度编码器的轻量化人体三维姿态估计方法及系统，用于实现更加轻便且更加准确地进行三维姿态建模。

背景技术：

1、人体三维姿态估计是一项通过计算机视觉和深度学习方法，从图像或视频中推断出人体的三维姿态信息的技术。这一技术目前已广泛应用于步态识别、运动动作分析与远程医疗等场景。相较依赖标记点或可穿戴设备的现有方案，基于视觉的三维姿态估计可通过二维估计器从图片序列中获得二维姿态关键点，再通过时空网络将二维姿态建模至三维姿态，具有非接触、成本低、易部署等优势，可持续提供精确与连续的关节轨迹，为动作质量评估、异常姿态预警和个性化干预策略等医学临床应用制定提供重要支撑。

2、目前，基于transformer的模型在人体姿态估计任务中应用较为成熟，使用范围广泛，然而模型计算量较大，进而延长模型进行姿态估计所需时间，影响模型性能；基于mamba的模型基于其内部的独特状态空间结构，使得姿态估计所需速度有较高提升，然而对人体骨骼之间的连接关系普遍理解不足，对于各种复杂类型姿态的计算与建模能力仍有一定缺陷。

技术实现思路

1、为了缓解目前模型模块的制约，本发明提出了基于多维度编码器的轻量化人体三维姿态估计方法及系统，本发明通过引入状态空间操作、跟踪函数层归一化和并行增补编码器，减少冗余计算的同时确保检测准确性。具体地，本发明采用状态空间层处理方法，高效提取空间关系的同时避免了大规模的卷积参数与注意力参数；采用跟踪函数层归一化处理，减少模型所需计算量，有效减少模型训练时间；同时引入并行设计的编码器进行信息增补，确保精确检测。

2、本发明一方面，提供一种基于多维度编码器的轻量化人体三维姿态估计方法，包括如下步骤：

3、步骤1、输入人体二维姿态序列，构建空间拓扑建模分支，提取二维姿态的空间特征向量。

4、将预处理后的人体二维姿态序列输入空间拓扑建模分支。空间拓扑建模分支用于学习人体二维姿态中，各关节点之间的结构依赖关系。

5、首先选取输入的二维姿态序列中，位于序列最中心部分的连续的多帧，作为建模对象，进行合适的维度变换；然后，根据变换后的每个姿态关节点，通过给定等维度的关节嵌入权重与关节嵌入偏置，对每个姿态关节点进行独立的线性投影；然后，给定等维度的关节空间位置编码相加，并经过一层归一化模块处理，得到空间输入特征。上述操作形成的空间输入特征保留人体关节点在骨骼结构中的相对位置信息。

6、同时，基于此二维姿态序列，同步构建输入序列最中心处的帧的各关节点的观测可靠性参数，用于定量表达关节点受到的噪声等影响。观测可靠性参数的构建方法如下：针对第

t帧图片的第

p个关节点，计算其相对于前一帧的运动速度、运动加速度，根据运动加速度与骨骼长度变化在多张图片帧内的稳定程度，确定关节点在当前时刻的观测可靠性系数，并与空间输入特征进行融合，生成含有观测可靠性参数的空间输入特征，输入状态空间特征编码模块。

7、状态空间特征编码模块包含状态空间窗口分割单元和状态空间窗口姿态处理层单元，状态空间窗口姿态处理层的每一层内，包含状态空间变换函数单元、状态空间多层感知机单元连锁组成。其处理过程可表示为：

8、状态空间窗口分割单元中，首先初始化局部窗口的大小进行窗口分割操作，把空间输入特征转成序列的形式逐一送入每个窗口内处理。

9、首先对每个局部窗口内的序列进行归一化处理，得到拥有批量维、序列维和特征维的三维归一化窗口特征矩阵；并定义一个可训练的双支路特征投影矩阵进行矩阵乘法，按照预设的通道划分比例输出两条子特征信息，分别负责建模窗口内序列的全局信息与局部细节信息。随后采用转置、一维逐通道卷积模块与silu激活函数模块，分别对两条子特征信息进行局部时序特征提取。

10、随后，两条子特征信息被输入到关于姿态与运动的状态空间方程中。其中一条子特征信息用于提取姿态与运动特征，被直接输入状态空间方程；另一条子特征信息用于提取非状态补偿特征，不直接输入状态空间方程，仅在后续的步骤中与状态空间方程的输出进行拼接。该状态空间方程分别为关于姿态的状态空间方程和关于运动的状态空间方程，二者首尾连接。这两个状态空间方程分别用于描述相邻特征位置之间的姿态变化以及运动变化。

11、随后，根据两个状态空间方程分别生成的姿态输出、姿态状态与运动输出，将姿态输出、运动输出、姿态状态与对应的状态观测矩阵进行拼接，生成状态选择权重，并对所述姿态趋势状态和运动趋势状态进行自适应组合，得到第一特征通道的状态空间输出特征。这一状态空间输出特征与第二子特征信息进行拼接，并先后通过状态空间感知机编码、窗口还原与维度变换方法操作，最终转换成含有完整空间拓扑结构的二维姿态的空间特征向量。这一特征向量，包含人体局部肢体结构、左右肢体协同关系以及关键关节之间的空间连接等信息，为后续生成三维姿态提供局部姿态信息。

12、步骤2、对输入的人体二维姿态序列，同步通过维度增补编码器构建维度增补建模分支，提取二维姿态的增补特征向量；

13、将预处理后的人体二维姿态序列同步输入维度增补建模分支。该分支建模提取输入视频序列中的全局运动关系和全局动态特征。具体地，首先沿时间维度对二维人体姿态序列进行维度变换操作，将序列内的人体关节点横纵坐标进行离散余弦变换操作，将横纵坐标用横纵频率系数表示。

14、进一步地，将保留的所有的频率系数经过频率阶次增益模块。该模块根据关节点的频率阶次，设置不同的关节点在不同的低频阶次上的频率增益参数，并将频率增益参数与频率系数相乘进行增益。之后，按照各频率系数对应的频率阶次编号由小到大进行排列，同时截取靠前的部分频率阶次，得到频谱序列。

15、随后，将所述频谱序列输入维度增补特征编码模块。所述维度增补特征编码模块包括注意力层、前馈网络层、归一化层和残差连接层，用于建模不同关节点、不同动态频带以及不同动作状态之间的全局关联关系，并输出姿态增补特征向量。

16、步骤3、对空间拓扑特征向量与维度增补特征向量进行特征拼接与融合，构成融合特征向量；

17、将空间特征向量与维度增补特征向量输入特征融合模块，进行特征维度对齐操作。由于两类特征的维度不同，因此首先通过一维卷积操作对两类特征进行维度统一。

18、上述维度统一后的空间拓扑姿态特征和维度增补姿态特征经过通道拼接的方式进行融合操作，得到融合特征向量。

19、步骤4、对全局特征向量做回归操作建模至三维坐标系下，形成完整的三维姿态：

20、将得到的融合特征向量输入姿态回归模块。该姿态回归解码模块结构包括归一化层和线性输出层，输出中心帧对应的人体三维关节点坐标。

21、对于单帧图片，其输出结果可记为，即为该帧图片中第1到第

p个三维关节点的x，y，z坐标。将所有人体三维关节点坐标作为人体骨骼关节点，按照预设的关节点连接关系，在每一关节点与其所连接的所有关节点之间建立骨骼连接，得到对应的三维人体骨骼模型。

22、步骤5、根据上述步骤，构建对应结构的深度学习模型，进行模型训练调优与实际建模：

23、按照上述步骤所组成的模型结构作为实际的深度学习模型结构。在训练阶段，采用标准数据集的二维人体姿态作为模型输入，这一输入首先将同时经过空间拓扑建模分支与维度增补建模分支，然后依次经过特征融合模块和姿态回归模块。最终，模型的输出为图片内所有关节点的三维人体姿态坐标。

24、将模型输出的每一张图片的三维人体姿态坐标，与标准数据集官方标注的每一张图片的标准三维人体姿态坐标进行比较，计算关节点位置误差、归一化关节点位置误差或者关节点速度误差等指标。误差计算的表达式作为损失函数。

25、随后，采用反向传播算法计算各可训练参数的梯度，进一步更新整个模型内的可训练参数。并且，在训练过程中，每一轮训练结束之后，同步在测试集上计算三维人体姿态估计误差，在测试集上误差最低的模型参数组作为当前的最优模型参数组，并替换掉之前训练轮次所确定的最优模型参数组。

26、利用训练完成的模型，对实际视频进行三维人体姿态建模。首先对输入视频进行二维姿态检测作为数据预处理。然后，按照模型训练时所设置的处理长度，以及此处理长度中，用于实际建模的中心多帧的长度，以此方法，对该视频进行人体三维姿态的信息提取与建模。对于位于视频首尾且邻帧不足的视频帧，采用填充方式补足长度。

27、模型通过空间拓扑建模分支提取中心多帧的人体关节结构特征，同时同步通过维度增补建模分支提取输入序列的全局运动趋势和动态特征，再通过特征融合模块获得融合姿态信息，最后通过姿态回归模块输出目标对应的人体三维关节点坐标。随后，依据预测的三维关节点坐标，绘制三维坐标系与三维人体骨骼，并形成逐帧的二维-三维姿态对照图；输出内容包括三维关节点坐标、逐帧的可视化图像及合成的视频文件。连续的三维人体姿态动作的视频除简洁清晰外，更适用于动作识别、行为分析等任务。

28、本发明另一方面，还提供基于多维度编码器的轻量化人体3d姿态估计系统，包括以下模块：

29、空间特征模块，用于对输入人体二维姿态序列，通过状态空间编码器构建空间拓扑建模分支，提取二维姿态的空间特征向量。

30、增补特征模块，用于对人体二维姿态序列，同步通过维度增补编码器构建维度增补建模分支，提取二维姿态的增补特征向量。

31、全局模块，用于对空间特征向量与增补特征向量，进行特征拼接与融合，构成全局向量。

32、三维姿态模块，用于对全局特征向量做回归操作建模至三维坐标系下，形成完整的三维姿态。

33、训练优化模块，用于构建损失函数，进行训练调优，完成三维人体姿态建模。

34、发明效果：

35、本发明通过构建空间拓扑建模分支-维度增补建模分支，并引入观测可靠性参数与频率阶次增益机制，协同互补地提取姿态的局部结构与全局特征，由此减少冗余计算，同时增强模型对遮挡、抖动和噪声关节点的适应能力，解决了模型训练与评估耗时长、姿态的局部结构与全局动态难以兼顾的问题，实现人体三维姿态估计的轻量化与准确性提升。