利用离散姿态学习物理约束的手部运动自监督重建方法与流程

技术特征：
1.利用离散姿态学习物理约束的手部运动自监督重建方法，具体步骤如下，其特征在于：利用离散姿态学习物理约束的手部运动自监督重建方法的手部运动重建深度学习网络架构基于关键帧技术的编码器
‑
解码器，包括以下单元：单帧手部姿态估计单元，其对于视频序列进行逐帧的手部姿态估计；运动序列编码单元，其作用在于从上述逐帧检测结果中提取能够描述手部运动的关键姿态列表，而冗余的或包含高频抖动的姿态帧被舍弃；运动序列解码单元，其作用在于根据上述关键姿态列表，重建出和原始视频序列描述一致的手部运动；步骤1. 借助物理引擎的指导，运动序列解码单元被训练掌握由离散的手部姿态生成整个运动轨迹的过程；步骤2.利用训练好的运动序列解码单元，运动序列编码单元以加入噪声和扰动的解码单元输出作为输入，学习从这一包含噪声的合成运动序列中，提取关键姿态列表，关键姿态列表的监督信号使用运动序列解码单元的输入；步骤3. 将步骤1训练好的运动序列解码单元串联在步骤2训练好的运动序列编码单元之后，使用真实序列数据，对整个网络进行微调训练，使得整个网络更鲁棒的从真实视频序列中抽取关键特征。2.根据权利要求1所述的利用离散姿态学习物理约束的手部运动自监督重建方法，其特征在于：为了给步骤1提供大量符合真实分布的静态手部姿态分布，一个静态手部姿态数据库被创建，手部姿态的动力学模型的驱动信号被用于整个算法的统一姿态表示，手部姿态的动力学模型为一个完全与真实人手拓扑、自由度相同的物理模型，动力学模型在物理引擎中被创建。3.根据权利要求2所述的利用离散姿态学习物理约束的手部运动自监督重建方法，其特征在于：静态手部姿态数据库将现有手部姿态数据中的所有姿态都映射到上一步表述的姿态表示，为了增加静态手部数据库的姿态多样性，现有的手部姿态估计网络架构被采用，用于从单帧图像中估计对应的静止姿态表示。4.根据权利要求1所述的利用离散姿态学习物理约束的手部运动自监督重建方法，其特征在于：步骤1解码单元可以根据任意数目的离散姿态生成贯穿各个静止姿态的运动轨迹，解码单元被设计为循环神经网络模型：每次仅预算关键姿态列表中相邻两个离散状态之间的运动轨迹，之后重复执行这一过程。5.根据权利要求1所述的利用离散姿态学习物理约束的手部运动自监督重建方法，其特征在于：步骤1编码单元生成的关键帧数目也是根据输入数据来确定而非限定个数，编码单元被设计为一种先学习每个状态对应的偏移量和注意力，之后每一帧的这两个指标进行均值偏移聚类，而聚类时使用的核大小也是可学习的。6.根据权利要求1所述的利用离散姿态学习物理约束的手部运动自监督重建方法，其特征在于：步骤1训练中，根据同样的离散姿态，运动序列解码单元的输出与由物理引擎逆向动力学求解的输出之间，使用均方误差损失作为距离度量。7.根据权利要求1所述的利用离散姿态学习物理约束的手部运动自监督重建方法，其特征在于：步骤2训练过程中，编码单元的关键姿态输出与由送入解码单元的离散姿态之
间，使用倒角距离进行度量。8.根据权利要求1所述的利用离散姿态学习物理约束的手部运动自监督重建方法，其特征在于：步骤3微调训练过程中，整个网络架构的输出与输入之间，使用均方误差损失和时间平滑性作为距离度量。

技术总结
本发明首先提供了利用离散姿态学习物理约束的手部运动自监督重建方法，基于关键帧技术的编码器


技术研发人员：王雁刚 赵子萌
受保护的技术使用者：东南大学
技术研发日：2021.06.07
技术公布日：2021/11/29