基于时空双路混合专家的全身三维姿态估计方法

本发明属于计算机视觉，具体涉及到一种基于时空双路混合专家的全身三维姿态估计方法。

背景技术：

1、三维全身姿态估计是从二维姿态序列或视频检测结果中恢复人体躯干、手部及面部关键点的三维空间坐标，在动作捕捉、虚拟现实、人机交互及医疗康复等领域具有广泛的应用前景。目前，基于扩散概率模型的方法凭借其多假设建模能力，已成为三维姿态估计领域的重要研究方向。

2、在面对包含133个关键点的全身三维姿态数据时，现有技术仍存在以下局限：

3、由于人体躯干与手指、面部等细粒度部位在特征尺度上存在较大差异，现有部位建模常采用物理拆分与多流独立建模策略，对不同人体部位分别进行建模处理。这种将全身数据分割处理的方式，虽然能够在一定程度上增强局部建模能力，但容易导致模型参数冗余、部署复杂，引发生成姿态比例失调或各部位衔接不自然的技术问题。

4、若直接采用普通架构，由于缺乏有效的特征路由与解耦机制，手指等小尺度、细粒度特征的梯度容易被躯干等主干特征所掩盖，导致局部精细化建模能力不足。

5、现有的transformer架构在处理大规模全身数据时，其计算开销随关键点数量增加而剧增，难以在低算力环境下实现轻量化部署。

6、在人体姿态估计技术领域，当前急需解决的一个技术问题是无需物理拆分、能够兼顾全局空间一致性与解剖学局部细粒度建模能力、具备高度参数效率的全身三维姿态估计方法。

技术实现思路

1、本发明所要解决的技术问题在于克服现有技术的缺点，提供一种轻量化程度较高、全局一致性强、局部关键点对齐精度较高的基于时空双路混合专家的全身三维姿态估计方法。

2、解决上述技术问题所采用的技术方案由下述步骤组成：

3、（1）数据预处理

4、在human3.6m 3d wholebody全身三维姿态数据集中标注的人体躯干、面部、手部、脚部共计133个全身关键点，遵循受试者独立原则选取受试者s1、s5、s6、s7作为训练集，选取受试者s8作为测试集，将视频序列进行定长切分，得到连续帧姿态数据；每帧包含133个全身关键点，每个关键点对应一个关键点索引n，n，133个全身关键点按照预定义部位索引划分为身体关键点、面部关键点、左手关键点、右手关键点，身体关键点对应索引0～22，身体关键点包括人体躯干、四肢、足部关键点；面部关键点对应索引23～90；左手关键点对应索引91～111；右手关键点对应索引112～132。

5、（2）正向扩散加噪

6、将三维姿态数据集按下式生成带噪三维姿态序列：

7、

8、

9、其中，τ为当前扩散时间步,τ∈{1,2,...,td}，td为扩散过程的总时间步数，td取值为有限的正整数；维度为t×133×3，表示从第1个扩散时间步至第τ个扩散时间步的累计信号保留系数，表示与原始三维姿态序列维度相同的高斯噪声。

10、（3）构建时空双路混合专家去噪网络

11、时空双路混合专家去噪网络由空间处理支路与时间处理支路串联构成。

12、所述空间处理支路由空间transformer编码模块与空间部位感知混合专家模块串联构成。

13、所述的时间处理支路由时间transformer编码模块与时间动态模式混合专家模块串联组成。

14、（4）训练时空双路混合专家去噪网络

15、1）构建损失函数l

16、

17、式中，表示姿态重建损失函数，表示负载均衡损失函数，λ表示负载均衡损失的权重系数，∈(0,1]。

18、按下式构建姿态重建损失函数：

19、

20、式中，b表示训练批量大小；t表示每个定长片段包含的帧数，t取值为27；n表示每帧中的全身关键点数量，n取值133，b表示样本索引；r表示定长片段中的帧索引；n表示关键点索引；表示去噪网络预测得到的第b个样本、第r帧、第n个关键点的三维坐标；表示对应的三维姿态真值坐标；表示两个三维关键点坐标之间的欧氏距离。

21、按下式构建负载均衡损失函数：

22、

23、

24、

25、式中，表示空间专家平均路由概率分布相对于均匀目标分布的负载均衡损失；表示时间专家平均路由概率分布相对于均匀目标分布的负载均衡损失；为专家总数，取值为2～4整数；表示其中第个空间专家网络对应的平均路由概率；表示其中第个时间专家网络对应的平均路由概率；表示第个专家网络对应的目标概率，∈(0,1]。

26、2）训练时空双路混合专家去噪网络

27、将训练集输入到时空双路混合专家去噪网中进行训练，训练参数为：训练轮数为400轮，批量为1024，初始化学习率为0.00006；采用指数衰减策略调整学习率，选用adamw优化器，训练至损失函数l收敛。

28、3）保存模型与最优权重筛选

29、每轮训练完成后，根据损失函数l更新最优损失记录；当前损失函数值优于历史最优损失函数值时，保存当前去噪网络权重，并将所保存的最优网络权重作为最终逆向扩散去噪推断阶段的预训练模型。

30、（5）测试时空双路混合专家去噪网络

31、将测试集输入到训练后的时空双路混合专家去噪网中进行测试，输出身体关键点对应索引0～22，面部关键点对应索引23～90、左手关键点对应索引91～111、右手关键点对应索引112～132的全身三维姿态。

32、在本发明的步骤（3）构建时空双路混合专家去噪网络中，所述的空间部位感知混合专家模块由部位掩码层与部位掩码池化层、top-k稀疏选通层、权重广播层、残差融合层依次串联构成。

33、在本发明的步骤（3）构建时空双路混合专家去噪网络中，所述的时间动态模式混合专家模块由时间路由层与top-k稀疏选通层、门控约束层、残差融合层依次串联构成。

34、本发明的部位掩码层的构建方法如下：

35、部位掩码层根据预定义的人体部位关键点索引，构建部位先验掩码矩阵m如下：

36、

37、式中，p为预设部位数量，p取值为4；n为全身关键点数量，n取值为133；表示所述部位先验掩码矩阵的第p行，即第p个人体部位对应的部位先验掩码向量为：

38、

39、先验掩码矩阵m中第p行、第n列的掩码值按下式确定：

40、

41、表示第p个人体部位对应的关键点索引集合；人体部位包括身体、面部、左手、右手，关键点索引集合分别为：

42、

43、其中，,,分别对应身体、面部、左手、右手；

44、本发明的部位掩码池化层的构建方法如下：

45、按下式确定第p个部位的部位特征向量：

46、

47、式中，，表示部位先验掩码矩阵中第p行第n列的掩码值；表示第n个关键点对应的空间特征；n表示全身关键点数量；为预设的分母下限阈值，。

48、由于本发明采用时空双路混合专家去噪网络，在保持全身133个关键点整体拓扑结构的基础上，利用预定义部位先验掩码矩阵进行部位特征聚合与路由分配，使不同部位关键点能够在统一全身建模框架下实现特征解耦和部位级协同增强，从而兼顾全局空间一致性与局部细粒度建模能力；本发明通过设置top-k稀疏选通机制、轻量化专家网络以及负载均衡辅助损失，降低了无关专家参与计算的比例，缓解专家使用不均衡问题，减少模型参数量和计算开销。采用本发明在h3wb数据集上与现有主流方法进行对比实验，结果表明局部对齐误差降至20.9mm，总参数量从34.91m降至11.27m，参数量减少67.7%，在保持较高三维姿态估计精度的同时提高了参数效率，适用于低算力环境下的全身三维姿态估计任务。