一种人形机器人运动策略训练方法及系统

本发明涉及机器人运动策略训练，尤其涉及一种人形机器人运动策略训练方法及系统。

背景技术：

1、人形结构的运动主体由于具有接近人类的身体结构，能够适应面向人类设计的工作空间、工具系统和操作对象，是服务、工业制造、仓储物流、家庭辅助、康复护理和特种作业等领域的重要发展方向。近年来，人形结构的运动主体已从实验室研究逐步进入样机验证、场景测试和小规模示范应用阶段，但其在复杂真实环境中的稳定行走、全身协调控制、灵巧操作和任务泛化能力仍有待提高。因此，需要通过人类或其他人形结构的运动主体执行任务的示范数据，为人形结构的运动主体训练稳定、可靠且具有泛化能力的运动策略，使其能够逐步完成抓取、搬运、行走、装配、开关门、操作工具、整理物体等复杂任务。

2、在现有研究和技术方案中，利用示范数据训练人形结构的运动主体动作策略可以采用多种技术路径。例如，部分方案基于运动捕捉数据或人体运动数据集获取人体关节轨迹，并将其重定向至目标人形结构的运动主体；部分方案基于单目视频、rgb-d人形结构的运动主体视频或多视角视频，对人体姿态、人体网格、smpl人形结构的运动主体参数、手部姿态、任务对象和场景环境进行估计，并进一步生成机器人关节轨迹、末端执行器轨迹或策略训练数据；也有方案通过遥操作、动作原语、技能库、强化学习或模仿学习等方式获得机器人可执行的运动策略。上述方法为人形结构的运动主体从示范数据中学习动作提供了基础，但其中相当一部分方法依赖较完整、连续且可靠的示范信息，或者需要在重定向过程中获得足够的人体姿态、机器人状态、任务对象和环境约束信息。当视频采集范围受限、人体存在局部遮挡，或者任务的关键动作主要集中在手部、手臂、上半身等局部身体部位时，可用于直接重建和重定向的身体运动信息会变得不完整，从而影响完整身体轨迹恢复、未观测身体部位姿态生成以及机器人全身协调控制的可靠性。

3、在真实任务场景中，摄像头并不总是能够完整拍摄人类或人形结构的运动主体的全身。例如，在桌面抓取、零件装配、拧瓶盖、工具操作、按钮按压、开门、擦拭等任务中，摄像头往往主要拍摄到与任务执行直接相关的上半身、手臂、手腕、手部或手指区域，而下半身、骨盆、足部甚至手臂上段可能由于桌面遮挡、视野限制、拍摄角度或环境物体遮挡而不可见。在这种情况下，若仍然要求从视频中恢复完整人体全身轨迹，不仅会增加姿态估计难度，还可能引入不可靠的身体轨迹信息，进而影响后续机器人重定向和策略训练的稳定性。

技术实现思路

1、本发明的目的在于提供一种人形机器人运动策略训练方法及系统，以解决示范视频仅局部可见以及参考运动主体与目标人形机器人存在结构差异时，可靠轨迹难以筛选、可见轨迹难以重定向且未观测身体部位缺少可执行约束的问题。本发明提供的诸多技术方案中的优选技术方案所能产生的诸多技术效果详见下文阐述。

2、为实现上述目的，本发明提供了以下技术方案：

3、在第一方面，本发明提供一种人形机器人运动策略训练方法，包括：

4、获取人形结构的参考运动主体执行目标任务的运动视频，并根据所述运动视频确定所述参考运动主体的局部可见身体部位轨迹；

5、根据所述目标任务以及人形机器人的结构信息，确定目标身体部位集合，并将所述局部可见身体部位轨迹映射至所述目标身体部位集合，确定人形机器人执行所述目标任务对应的运动轨迹；

6、获取所述人形机器人对应的基础动作先验库，所述基础动作先验库通过控制所述人形机器人执行基础动作任务并进行策略训练获得；

7、根据所述运动轨迹、所述目标任务、所述人形机器人的状态以及所述基础动作先验库，生成未被所述运动轨迹覆盖的身体部位对应的辅助姿态约束；

8、根据所述运动轨迹以及所述辅助姿态约束训练所述人形机器人的运动策略。

9、在第二方面，本发明还提供一种人形结构的运动主体运动策略训练系统，包括：处理器和存储器；

10、所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，实现如第一方面所述的人形机器人运动策略训练方法。

11、实施本发明上述技术方案中的一个技术方案，具有如下优点或有益效果：

12、1.本发明获取人形结构的参考运动主体执行目标任务的运动视频，并根据所述运动视频确定参考运动主体的局部可见身体部位轨迹，能够从参考运动主体的示范动作中提取与目标任务相关的运动信息，避免直接依赖完整示范动作数据；

13、2.本发明根据目标任务以及人形机器人的结构信息确定目标身体部位集合，并将所述局部可见身体部位轨迹映射至所述目标身体部位集合，能够根据不同运动主体之间的结构差异对示范运动信息进行适配转换，以参考运动主体与人形机器人结构不同导致示范动作难以直接迁移的问题；

14、3.本发明通过获取人形机器人对应的基础动作先验库，并根据所述运动轨迹、目标任务、人形机器人状态以及所述基础动作先验库，生成未被所述运动轨迹覆盖的身体部位对应的辅助姿态约束，利用人形机器人自身的基础运动能力补充示范轨迹未覆盖的运动信息，避免人形机器人仅学习局部示范动作而导致运动完整性不足的问题。

1.一种人形机器人运动策略训练方法，其特征在于，包括：

2.根据权利要求1所述的人形机器人运动策略训练方法，其特征在于，所述根据所述运动视频确定所述参考运动主体的局部可见身体部位轨迹，包括：

3.根据权利要求2所述的人形机器人运动策略训练方法，其特征在于，所述根据所述可见状态生成身体部位可见性掩码，并根据所述身体部位可见性掩码从所述身体姿态信息中筛选满足可见性条件的身体部位，包括：

4.根据权利要求1所述的人形机器人运动策略训练方法，其特征在于，所述将所述局部可见身体部位轨迹映射至所述目标身体部位集合，确定人形机器人执行所述目标任务对应的运动轨迹，包括：

5.根据权利要求4所述的人形机器人运动策略训练方法，其特征在于，所述根据所述参考运动主体与所述人形机器人之间的骨架结构差异、关节自由度差异以及运动范围差异，对映射后的轨迹进行坐标转换和运动约束调整，确定人形机器人执行所述目标任务对应的运动轨迹，包括：

6.根据权利要求4或5所述的人形机器人运动策略训练方法，其特征在于，还包括，当所述参考运动主体与所述人形机器人之间存在自由度差异时：

7.根据权利要求1所述的人形机器人运动策略训练方法，其特征在于，所述获取所述人形机器人对应的基础动作先验库，包括：

8.根据权利要求1所述的人形机器人运动策略训练方法，其特征在于，所述根据所述运动轨迹、所述目标任务、所述人形机器人的状态以及所述基础动作先验库，生成未被所述运动轨迹覆盖的身体部位对应的辅助姿态约束，包括：

9.根据权利要求1所述的人形机器人运动策略训练方法，其特征在于，所述根据所述运动轨迹以及所述辅助姿态约束训练所述人形机器人的运动策略，包括：

10.一种人形结构的运动主体运动策略训练系统，其特征在于，包括：处理器和存储器；