基于骨架图约束分块时序的视频三维姿态估计方法及系统

本发明属于计算机视觉，尤其涉及基于骨架图约束分块时序的视频三维姿态估计方法及系统。

背景技术：

1、单目视频三维人体姿态估计是计算机视觉领域的基础核心任务，其核心目标为从单目相机拍摄的视频提取二维人体关键点，进一步推断人体各关节的三维空间坐标。相较于多视角相机、深度传感器等采集方案，单目视频采集方式便捷、硬件成本低，具备极强的落地普及价值。但二维图像为三维空间的投影，天然存在深度歧义问题，同时视频中的人体遮挡、肢体交叉、快速运动、视角变换等问题，会进一步放大姿态估计的不确定性。

2、目前，二维到三维姿态提升已成为单目视频三维人体姿态估计的主流技术范式，该范式将图像外观特征提取与三维几何推理解耦，依托成熟的二维关键点检测算法，聚焦于骨架结构与时序运动规律学习。现有主流方法主要分为四大技术路线：时间卷积类方法、时空transformer类方法、骨架图结构先验类方法、高效长序列建模类方法。

3、时间卷积方法依靠卷积核捕捉相邻帧局部运动，时序建模效率高，但难以捕捉长距离帧间依赖；时空transformer方法通过空间注意力建模关节关联、时间注意力建模跨帧依赖，长程上下文利用能力突出，但纯注意力机制需要从海量数据中学习关节连接关系，未引入人体固有物理拓扑先验，易出现肢体比例异常、关节错位等问题；骨架图卷积类方法基于人体关节物理连接构建图结构，显式引入结构先验，但固定图结构对远端关节协同动作、非物理关联动作建模能力不足；近年来频域压缩、令牌筛选、状态空间模型等高效建模方案，虽降低了长序列计算开销，但未对人体静态拓扑、局部短时运动、长程动作上下文三类差异化信息进行分工建模。

4、现有图-transformer融合类模型虽结合了图结构与注意力机制，但仍存在明显技术瓶颈：其一，未对固定骨架拓扑、局部短时运动、长程时序依赖进行显式分工建模，统一的密集注意力机制增加不必要的计算开销，模型参数量与计算量居高不下；其二，静态骨架图缺乏短时运动建模能力，无法有效拟合视频中相邻帧人体姿态的连续变化；其三，长时序视频采用全局注意力建模，计算复杂度随序列长度急剧上升，难以平衡姿态估计精度、模型参数量与计算开销；其四，多数模型未区分不同关节、不同帧的特征贡献度，特征融合方式单一，自适应能力较差。

5、综上，如何设计一种兼顾人体物理拓扑先验、局部短时运动、长程时序依赖的模型架构，在控制参数量与计算量的前提下，提升单目视频三维人体姿态估计精度与泛化能力，成为本领域技术人员待解决的技术难题。

技术实现思路

1、本发明的目的在于提供基于骨架图约束分块时序的视频三维姿态估计方法及系统，旨在解决上述背景技术提出的问题。

2、本发明是这样实现的，基于骨架图约束分块时序的视频三维姿态估计方法，包括以下步骤：

3、获取待估计的单目视频及其二维姿态序列；

4、对二维姿态序列执行关节线性嵌入，并叠加可学习的关节位置编码，生成初始特征；

5、将所述初始特征送入预设的骨架图约束分块时序transformer模型；所述骨架图约束分块时序transformer模型包括多层的编码迭代模块以及三维坐标回归头，每层编码迭代模块依次经骨架图约束双路径编码器和分块时序交互模块处理；所述骨架图约束双路径编码器用于对所述初始特征分别执行数据驱动注意力路径编码与固定骨架图路径编码，得到注意力特征与骨架图特征，并将注意力特征与骨架图特征进行融合，输出融合特征；所述分块时序交互模块用于对所述融合特征进行分块拆分，依次完成片段内局部时序建模与跨片段全局上下文聚合，输出更新后时序特征与时序查询特征；

6、对所述更新后时序特征依次进行层归一化、特征投影预处理后，输入三维坐标回归头，预测得到三维人体姿态坐标。

7、进一步，所述二维姿态序列的获取方法具体包括：

8、对单目视频的视频帧执行二维关键点检测或读取预提取的二维关键点；

9、对二维关键点坐标做归一化处理，并拼接各关节关键点置信度通道，得到标准化的二维姿态序列。

10、进一步，所述初始特征的生成方法具体包括：

11、将长时序的二维姿态序列切分为固定长度时序切片，统一网络输入时序维度；

12、对切片后的二维姿态序列执行关节线性嵌入，并叠加可学习的关节位置编码，生成初始特征。

13、进一步，所述二维姿态序列表示为；其中，b为批次大小；t为输入帧长；j为人体关节数量；为通道的数量，所述通道的维度包含关节二维横坐标、二维纵坐标、关键点置信度；所述关节线性嵌入与关节位置编码执行以下操作：

14、

15、其中，表示关节线性嵌入层；表示可学习的关节位置编码；表示初始特征。

16、进一步，所述骨架图约束双路径编码器的处理流程具体包括：

17、数据驱动注意力路径编码：将当前输入的特征h依次执行空间多头自注意力、时间多头自注意力编码，输出注意力特征，其编码公式为：

18、；

19、其中，为注意力路径输出特征，表示沿关节维度的空间多头自注意力，表示沿时间维度的时间多头自注意力；

20、固定骨架图路径编码：基于人体关节固定物理连接关系构建的邻接矩阵a，结合图卷积完成特征提取，输出骨架图特征，其编码公式为：

21、；

22、其中，为图卷积操作；

23、基于令牌级门控融合机制，对注意力特征与骨架图特征进行融合，得到融合特征。

24、进一步，所述固定骨架图路径编码中，在结合图卷积完成特征提取之后，还包括：对图卷积输出的特征通过时间卷积补足短时运动特征，完成特征优化后，输出骨架图特征；所述时间卷积为核尺寸的深度可分离时间卷积，其处理流程为：对图卷积输出的特征依次执行深度卷积、gelu非线性激活、逐点卷积，输出骨架图特征。

25、进一步，所述令牌级门控融合机制具体为：将注意力特征与骨架图特征拼接后进行线性变换，再通过softmax归一化得到动态权重系数、；基于所述动态权重系数加权融合注意力特征与骨架图特征两路特征，融合公式为：

26、；

27、其中，为融合特征；、为两路特征的动态权重系数，。

28、进一步，所述分块时序交互模块接收所述骨架图约束双路径编码器输出的融合特征，同时接收可学习的时序查询向量，其处理流程具体包括：

29、沿时间维度将具有完整时序的融合特征均匀划分为3段独立子片段，每个子片段独立执行局部时间注意力与前馈网络mlp，完成片段内局部时序建模；

30、将更新后的子片段重新拼接，得到局部时序融合特征；

31、将可学习的时序查询向量与所述局部时序融合特征在时间维度上进行拼接，通过带掩码的时间注意力模块完成跨片段上下文聚合，得到聚合后的长序列；

32、对聚合后的长序列做序列拆分，截取前t个时序位置作为更新后时序特征，剩余时序位置作为下一层的时序查询向量。

33、进一步，所述的基于骨架图约束分块时序的视频三维姿态估计方法还包括所述骨架图约束分块时序transformer模型的训练阶段，具体如下：

34、构建融合平均关节坐标欧氏距离损失、尺度归一化约束损失、速度一致性损失的多损失联合监督函数；所述多损失联合监督函数的总损失公式为：

35、；

36、其中，为总损失；为平均关节坐标欧氏距离损失；为尺度归一化约束损失；为相邻帧的速度一致性损失；和均为加权系数；

37、基于所述多损失联合监督函数完成损失计算，通过反向传播机制迭代更新所述骨架图约束分块时序transformer模型的网络参数，完成整体模型训练；

38、基于训练完成的骨架图约束分块时序transformer模型，预测三维人体姿态坐标作为最终的单目视频三维姿态估计结果。

39、本发明的另一个目的在于提供基于骨架图约束分块时序的视频三维姿态估计系统，用于实现上述的基于骨架图约束分块时序的视频三维姿态估计方法，包括：

40、数据获取单元，用于获取待估计的单目视频及其二维姿态序列；

41、初始特征生成单元，用于对二维姿态序列执行关节线性嵌入，并叠加可学习的关节位置编码，生成初始特征；

42、特征处理单元，用于将所述初始特征送入预设的骨架图约束分块时序transformer模型；所述骨架图约束分块时序transformer模型包括多层的编码迭代模块以及三维坐标回归头，每层编码迭代模块依次经骨架图约束双路径编码器和分块时序交互模块处理；所述骨架图约束双路径编码器用于对所述初始特征分别执行数据驱动注意力路径编码与固定骨架图路径编码，得到注意力特征与骨架图特征，并将注意力特征与骨架图特征进行融合，输出融合特征；所述分块时序交互模块用于对所述融合特征进行分块拆分，依次完成片段内局部时序建模与跨片段全局上下文聚合，输出更新后时序特征与时序查询特征；

43、姿态回归单元，用于对所述更新后时序特征依次进行层归一化、特征投影预处理后，输入三维坐标回归头，预测得到三维人体姿态坐标；

44、模型训练单元，用于构建多损失函数并反向传播更新所述骨架图约束分块时序transformer模型的参数。

45、本发明提供的基于骨架图约束分块时序的视频三维姿态估计方法，通过双路径编码融合人体结构先验与动态时空依赖，结合分块时序交互模块优化长序列建模效率，能够在较低参数量与计算量下保持良好的三维人体姿态估计精度，兼顾模型性能与部署成本，适用于各类视频姿态估计场景。本发明将人体静态拓扑结构、局部短时运动、长程时序依赖进行分工建模，在控制模型参数量与计算量的前提下，保证三维人体姿态估计精度，具备较强的场景泛化能力，可广泛应用于动作分析、康复评估、虚拟现实、人机交互、智能监控等场景。