一种基于三维动作捕捉的舞蹈动作轨迹纠错评估方法

本发明涉及动作捕捉，具体为一种基于三维动作捕捉的舞蹈动作轨迹纠错评估方法。

背景技术：

1、在舞蹈教育与培训领域，传统的动作纠错评估主要依赖教练肉眼观察与口头指导，评判结果受教练个人经验、疲劳状态、主观偏好影响显著，缺乏客观、可复现的量化指标，不同教师对同一错误部位的认定常存在分歧。

2、但是，一般的，随着动作捕捉技术发展，出现了基于光学标记点或穿戴式惯性传感器的自动化评估方案。光学动作捕捉系统虽精度较高，但设备昂贵、需在专业标定空间内使用，且在舞者肢体发生严重自遮挡或动态背景杂乱时，光学标记点易丢失导致轨迹断裂。惯性传感器方案可穿戴性强，但存在累积漂移误差，绝对空间定位精度不足，仅凭惯性数据难以准确描述关节轨迹的空间位置偏差。此外，已有的自动评估方法多采用动态时间规整算法或手工特征模板匹配，仅能输出整体相似度分数，无法精细定位特定关节在特定运动相位的偏差方向与偏移距离，亦无法区分错误原因是关节轨迹偏差、重心转移错误还是时序相位错位，更缺乏对缺失轨迹的有效补偿机制，导致评估在复杂场景下可靠性严重下降。上述缺陷制约了舞蹈辅助教学系统在实际教学场景中的实时性与准确性。

3、基于此，本发明提供了一种基于三维动作捕捉的舞蹈动作轨迹纠错评估方法，以解决上述所提出的技术问题。

技术实现思路

1、本发明的目的在于提供一种基于三维动作捕捉的舞蹈动作轨迹纠错评估方法，解决上述背景技术提出的问题。

2、为实现上述目的，本发明提供如下技术方案：

3、本发明提出一种基于三维动作捕捉的舞蹈动作轨迹纠错评估方法，所述方法基于多模态边缘协同动作捕捉系统实现，包括以下步骤：

4、s1：通过多台同步标定的深度相机和穿戴式惯性测量单元，同步采集学员舞蹈动作的彩色-深度图像序列和肢体惯性运动数据，利用贝叶斯多模态自适应融合算法生成学员三维骨架关节点初始时空轨迹序列；

5、s2：将s1生成的学员三维骨架关节点初始时空轨迹序列输入时空解耦图卷积网络，提取学员动作的关节局部空间依赖特征与全局时序演变特征，并通过前置运动学约束网络对关节角度和骨骼长度进行物理一致性实时修正，输出物理一致学员动作轨迹序列；

6、s3：获取教师标准舞蹈动作的标准三维骨架轨迹序列，以s2输出的物理一致学员动作轨迹序列中提取的节奏密度曲线作为条件，利用自适应节奏动态轨迹模板生成器对教师标准三维骨架轨迹序列进行非线性时间伸缩，生成与学员动作节奏对齐的自适应标准轨迹模板；

7、s4：将s2输出的物理一致学员动作轨迹序列与s3输出的自适应标准轨迹模板输入多尺度轨迹偏差解耦模块，利用相位敏感的动态轨迹规整算法计算每个骨架关节点在每一时间相位的三维偏差向量，构成时空偏差向量场，并从中解耦出关节轨迹偏差特征、重心转移偏差特征和时序偏移特征；

8、s5：构建异构图注意力错误诊断网络，将s4输出的时空偏差向量场及解耦出的关节轨迹偏差特征、重心转移偏差特征和时序偏移特征作为该网络的输入，输出错误关节的空间定位、错误类型分类结果和错误原因归属标签，并生成包含具体关节名称、偏差方向和量化偏移距离的细粒度纠错提示信息；

9、s6：对s2输出的物理一致学员动作轨迹序列进行关节轨迹连续性检测，当识别出因自遮挡或复杂动态背景导致的轨迹缺失帧片段时，启动条件时序轨迹重建模块，以s2中位于缺失片段邻域内的物理一致关节轨迹和s4中对应时间窗口的时空偏差向量场作为联合条件，生成缺失关节轨迹的补全序列，并将补全后的学员动作轨迹序列重新输入s5进行错误诊断，形成闭环纠错评估。

10、优选地，所述步骤s1中贝叶斯多模态自适应融合算法的实施流程为：

11、s1.1：对多台深度相机采集的彩色-深度图像序列进行逐帧人体区域分割，利用深度卷积神经网络回归各关节点二维热图，并通过多视角极线几何三角测量重建三维关节点位置；

12、s1.2：对穿戴式惯性测量单元采集的加速度、角速度和地磁数据进行姿态解算，获得各肢体的空间朝向和关节相对旋转四元数，并基于人体运动链正向运动学推算惯性三维关节点坐标；

13、s1.3：以s1.1获得的视觉三维关节点坐标和s1.2获得的惯性三维关节点坐标作为观测，构建基于动态置信度加权的贝叶斯融合滤波器，以视觉重投影误差与惯性传感器残差联合估计各模态观测噪声协方差，输出融合后的学员三维骨架关节点初始时空轨迹序列。

14、优选地，所述步骤s2中时空解耦图卷积网络与前置运动学约束网络的实施流程为：

15、s2.1：构建时空解耦图卷积网络，该网络由空间图卷积支路和时间卷积支路并联组成，空间图卷积支路以人体骨架自然连接关系为基础并加入可学习的自适应邻接矩阵对s1输出的初始时空轨迹序列中每一帧的关节点空间坐标进行特征编码，时间卷积支路采用膨胀时序卷积对连续多帧的关节点空间特征进行时序建模，两支路输出特征通过门控融合机制合并得到学员动作时空特征；

16、s2.2：将学员动作时空特征输入前置运动学约束网络，该网络包含骨骼长度约束层和关节角度限位层，骨骼长度约束层通过强制各骨骼段长度与学员静态标定骨骼长度一致来矫正轨迹畸变，关节角度限位层依据人体关节活动范围库对超出生理限位的关节角度进行投影修正；

17、s2.3：前置运动学约束网络输出物理一致学员动作轨迹序列，该序列中各关节点坐标满足骨骼长度不变约束与关节角度生理限位约束。

18、优选地，所述步骤s3中自适应节奏动态轨迹模板生成器的实施流程为：

19、s3.1：对s2输出的物理一致学员动作轨迹序列进行节奏特征提取，计算学员各关节点合速度的峰值点序列，并通过核密度估计生成学员节奏密度曲线；

20、s3.2：对教师标准三维骨架轨迹序列采用相同的节奏特征提取方式生成教师节奏密度曲线；

21、s3.3：以学员节奏密度曲线作为目标分布，教师节奏密度曲线作为源分布，利用一维最优传输映射求解时间轴的非线性单调变换函数，将该变换函数作用于教师标准三维骨架轨迹序列的时间轴，生成时间重定向后的自适应标准轨迹模板。

22、优选地，所述步骤s4中相位敏感的动态轨迹规整算法的实施流程为：

23、s4.1：以s2输出的物理一致学员动作轨迹序列和s3输出的自适应标准轨迹模板为输入，构建每个关节点的轨迹距离矩阵，距离度量采用结合关节点空间欧氏距离与运动相位的复合距离函数；

24、s4.2：对所有关节点联合施加骨骼长度保持约束与关节点局部刚性约束，通过多序列同步动态时间规整求解全局最优时间弯曲路径，确保不同关节点的时间弯曲路径满足空间结构一致性；

25、s4.3：基于s4.2得到的最优时间弯曲路径，计算学员轨迹与自适应标准模板在每一对齐帧中的三维偏差向量，形成时空偏差向量场，并利用主运动方向分析与相对关节点参考系分解，解耦出关节轨迹偏差特征、重心转移偏差特征和时序偏移特征。

26、优选地，所述步骤s5中异构图注意力错误诊断网络的实施流程为：

27、s5.1：构建异构图注意力错误诊断网络，该网络包含关节空间关系图、运动相位连接图和偏差传播超边三种异质连接结构；

28、s5.2：将s4输出的时空偏差向量场及解耦特征映射为图中各节点的初始特征，通过多层异构图注意力卷积进行消息传递，学习偏差在不同关节间、不同运动相位间的传播模式；

29、s5.3：在网络末端连接三个并行分类头，分别输出每个关节是否为错误关节的二分类结果、错误所属类型的多分类结果以及错误原因归属标签，并依据偏差向量场中该关节的三维偏差向量直接生成包含关节名称、偏差方向、偏移距离的细粒度纠错提示信息。

30、优选地，所述步骤s6中条件时序轨迹重建模块的实施流程为：

31、s6.1：利用轨迹连续性检测器遍历s2输出的物理一致学员动作轨迹序列，当检测到任一关节在连续帧上的轨迹置信度低于设定阈值或出现帧间位移突变超出人体运动极限时，将该帧片段标记为缺失片段；

32、s6.2：启动条件时序轨迹重建模块，该模块为一条件时序生成对抗网络，生成器采用门控循环单元结构，以缺失片段前后各预设帧数的物理一致关节轨迹作为时序上下文，以s4中对应时间窗口的时空偏差向量场作为条件输入，生成缺失关节在缺失帧的三维轨迹坐标；

33、s6.3：将s6.2生成的补全关节轨迹替换原缺失片段，得到补全后学员动作轨迹序列，将该补全后学员动作轨迹序列重新输入s5执行错误诊断。

34、本发明还提出一种应用于基于三维动作捕捉的舞蹈动作轨迹纠错评估方法的系统，所述系统包括：

35、多模态边缘协同动作捕捉设备，所述多模态边缘协同动作捕捉设备通过多台同步标定的深度相机和穿戴式惯性测量单元用于执行多模态数据同步采集与贝叶斯多模态自适应融合，生成学员三维骨架关节点初始时空轨迹序列；

36、物理一致轨迹实时重建模块，所述物理一致轨迹实时重建模块通过时空解耦图卷积网络和前置运动学约束网络用于执行学员动作时空特征提取与物理一致性实时修正，输出物理一致学员动作轨迹序列；

37、自适应标准轨迹生成模块，所述自适应标准轨迹生成模块通过节奏密度曲线提取和最优传输时间重定向用于执行自适应节奏动态轨迹模板生成，输出与学员动作节奏对齐的自适应标准轨迹模板；

38、多尺度轨迹偏差解耦模块，所述多尺度轨迹偏差解耦模块通过相位敏感的动态轨迹规整算法和偏差分解用于执行时空偏差向量场计算与偏差特征解耦；

39、异构图注意力错误诊断模块，所述异构图注意力错误诊断模块通过异构图注意力错误诊断网络用于执行错误关节定位、错误类型分类、错误原因归属以及细粒度纠错提示生成；

40、闭环轨迹重建与重诊断模块，所述闭环轨迹重建与重诊断模块通过条件时序轨迹重建模块与异构图注意力错误诊断模块的闭环连接用于执行缺失轨迹补全及补全后的二次错误诊断。

41、优选地，所述物理一致轨迹实时重建模块包括：

42、时空解耦图卷积子模块，用于对人体骨架关节点进行空间图卷积与膨胀时序卷积的特征提取；

43、门控融合单元，用于融合空间支路与时序支路的输出特征；

44、骨骼长度约束子模块，用于根据学员静态标定骨骼长度对轨迹进行尺度约束矫正；

45、关节角度限位子模块，用于根据人体关节活动范围库对关节角度进行生理限位投影修正。

46、优选地，所述闭环轨迹重建与重诊断模块包括：

47、轨迹连续性检测子模块，用于逐帧检测关节轨迹的置信度和帧间位移突变以标记缺失片段；

48、条件时序生成对抗网络子模块，用于以缺失片段邻域物理一致轨迹和对应时空偏差向量场为条件生成补全轨迹；

49、闭环控制子模块，用于将补全后的学员动作轨迹序列自动输入异构图注意力错误诊断模块执行二次诊断。

50、与现有技术相比，本发明的有益效果是：

51、本发明通过多模态边缘协同动作捕捉系统与贝叶斯多模态自适应融合，进行深度相机与惯性测量单元的同步采集与噪声协方差在线估计，在复杂动态背景和肢体自遮挡场景下稳定获取学员三维骨架关节点初始时空轨迹序列；通过时空解耦图卷积网络与前置运动学约束网络，进行关节空间依赖与全局时序依赖的联合特征提取，并施加骨骼长度约束与关节角度生理限位投影修正，消除轨迹畸变、输出满足人体物理一致性约束的学员动作轨迹序列；通过自适应节奏动态轨迹模板生成器，提取学员与教师节奏密度曲线并利用一维最优传输映射求解非线性时间变换函数，进行教师标准轨迹的时间轴重定向，消除师生节奏差异、实现动作模板与学员动作在运动相位上精准对齐；通过相位敏感的动态轨迹规整算法与多尺度轨迹偏差解耦模块，进行多关节联合约束下的最优时间弯曲路径求解，并将偏差向量场解耦为关节轨迹偏差特征、重心转移偏差特征和时序偏移特征，从统一偏差数据中分离不同错误模态、定位错误部位与区分错误原因；通过异构图注意力错误诊断网络，构建包含关节空间关系边、运动相位连接边和偏差传播超边的异质图结构，进行多类型边上的注意力消息传递，并利用三个并行分类头进行错误关节定位、错误类型分类与错误原因归属推断，生成包含具体关节名称、偏差方向与量化偏移距离的细粒度纠错提示信息；通过轨迹连续性检测与条件时序轨迹重建模块，以缺失片段邻域物理一致轨迹和对应时空偏差向量场为条件，利用条件时序生成对抗网络生成补全轨迹，并将补全轨迹重新输入错误诊断网络形成闭环纠错评估，在严重自遮挡或动态干扰导致轨迹丢失后仍能完成全序列无中断评估。

52、综上，本发明具有客观量化评估、实时反馈、细粒度错误部位与原因定位、以及抗遮挡干扰的鲁棒性，适用于舞蹈教育与培训领域的线上或线下辅助教学场景，能够有效减轻教师负担并提升学员动作纠正效率。