基于虚实迁移与视觉随动的人形机器人学习控制方法

摘要: 本发明涉及人形机器人控制,尤其涉及一种基于虚实迁移与视觉随动的人形机器人学习控制方法。背景技术:1、人形机器人是一种模仿人类形态与运动方式的机器人,能够完成物体...
基于虚实迁移与视觉随动的人形机器人学习控制方法

本发明涉及人形机器人控制,尤其涉及一种基于虚实迁移与视觉随动的人形机器人学习控制方法。

背景技术:

1、人形机器人是一种模仿人类形态与运动方式的机器人,能够完成物体抓取、装配、搬运等多种任务,其通常具备双足行走能力和多自由度关节,核心在于大脑(负责感知与决策)、小脑(负责运动控制与协调)与肢体(即高自由度机械结构)三者的协同。然而现有的人形机器人很多都缺乏自主学习能力,在面对复杂动作时跟踪效果不好,时序较长的动作需要大量训练,耗时较长。其中,有的人形机器人动作学习方法主要依赖纯仿真环境示教,但仿真环境与真实环境之间存在差异,容易产生sim2real(从仿真到现实)部署鸿沟,导致人形机器人在实体运行时动作不稳定。也有的人形机器人通过遥操作示教的方法学习动作,但是遥操作示教通常需要手柄、vr等设备,成本较高,且容易受到遥操作设备自由度限制,人形机器人对操作者实时控制的依赖较强,难以形成自主学习能力。

技术实现思路

1、本发明所要解决的技术问题是提供一种基于虚实迁移与视觉随动的人形机器人学习控制方法,其可提高人形机器人的实时跟随与自主学习能力,同时还降低了人形机器人的学习成本,缩短了训练时长,且较好地增强了机器人的动作稳定性。

2、本发明解决上述技术问题所采用的技术方案为:基于虚实迁移与视觉随动的人形机器人学习控制方法,包括以下具体步骤:

3、s1、通过开源人体数据库获取人类运动捕捉数据集,将人类运动捕捉数据集的动作作为基础动作导入物理仿真平台的人形机器人模型,并将基础动作重定向为人形机器人模型的关节空间轨迹;

4、s2、利用强化学习算法在物理仿真平台中对基础动作进行迭代学习训练,训练过程中通过域随机化函数调节仿真环境参数以提升人形机器人模型的鲁棒性,使其具备抗干扰与平衡能力,然后将训练好的基础动作导入到实体机器人中;

5、s3、利用实体机器人搭载的视觉传感器实时识别并裁剪出目标人体区域,然后对该目标人体区域内的人体动作进行姿态解算与重定向,生成实体机器人的目标姿态序列;

6、s4、预测实体机器人下一步需要执行的动作,同时人体镜像驱动实体机器人进行全身姿态实时跟随,完成整体动作数据的采集;

7、s5、利用监督学习算法构建高层视觉模仿策略网络,在物理仿真平台中对已采集的动作数据进行训练,训练过程中通过域随机化函数调节仿真环境参数以提升人形机器人模型的鲁棒性,通过训练使人形机器人模型学习从视觉观测到动作输出的映射关系;

8、s6、将训练好的动作数据部署到实体机器人的机载板卡中,并利用实体机器人搭载的视觉传感器对当前环境进行识别,然后从机载板卡中调用并执行与当前环境对应的动作,实现实体机器人的自主运行。

9、进一步地,所述的物理仿真平台为isaac gym。

10、进一步地,所述的步骤s2中,在对基础动作的训练过程中,设置复合奖励函数r,关系式为:

11、,

12、,

13、 ,

14、其中:rpos为人形机器人模型的模仿追踪奖励,ro为人形机器人模型的姿态平衡奖励,wpos为模仿追踪奖励的权重系数,wo为姿态平衡奖励的权重系数,qj为人形机器人模型中第j项关节的当前角度向量,为第j项关节的目标角度向量,n为人形机器人模型重的关节总数,为位置误差灵敏度的缩放系数,用于控制误差衰减的速率,为l2范数平方,为理想状态下人形机器人模型的重力方向投影,为实际状态下人形机器人模型的重力方向投影,为姿态误差灵敏度的缩放系数。

15、进一步地,所述的步骤s3中,视觉传感器对每个人体动作进行一系列图像的采集,然后通过yolo目标检测算法对输入的每个人体动作的一系列全尺寸图像分别进行实时推理,识别并裁剪出每张图像上的人体感兴趣区域,再将人体感兴趣区域依次输入至人体参数化模型估计网络,解算出对应的人体全局位移及各个关节的旋转矩阵,并将人体全局位移及各个关节的旋转矩阵重定向为实体机器人的目标姿态,一个人体动作生成一个对应的目标姿态序列。

16、进一步地,所述的步骤s4中,通过运动学延时补偿预测算法对下一时刻的动作进行预测,其关系式为:

17、,

18、其中:pt+1为预测得到的实体机器人的关节在t+1时刻的目标位置,pt为实体机器人的同一关节在当前t时刻的位置,为当前t时刻pt的一阶导数,即:关节角速度,为当前t时刻pt的二阶导数,即:关节角加速度,为时间间隔;通过上述延时补偿预测可滤除抖动,让实体机器人动作更加平滑,并预测未来几毫秒内动作,抵消系统计算所带来的延迟。

19、进一步地,所述的步骤s5中,高层视觉模仿策略网络采用动作分块机制,即单次推理预测人形机器人模型在未来k个时间步的目标姿态序列。

20、进一步地,所述的步骤s5中,在对采集的动作数据进行训练的过程中,引入总损失函数,其关系式为:

21、,

22、,

23、,

24、,

25、其中:为动作重构损失,其采用l1范数计算预测动作与真实动作之间的偏差,为动作重构损失的权重系数,为kl散度损失,kl用于约束各关节动作概率分布与参考分布之间的差异,为kl散度损失的权重系数,为特征预测损失,为特征预测损失的权重系数,k为时间步的总数,为高层视觉模仿策略网络预测人形机器人模型在第时刻的动作向量,为人形机器人模型在已采集的动作数据中第时刻的动作向量,为l1范数,用于计算各动作向量的误差绝对值之和,ln表示以自然常数e为底数的自然对数,为分布均值,为分布的方差,为高层视觉模仿策略网络根据t时刻人体动作的图像特征向量预测第时刻的图像特征向量,为已采集的动作数据中第时刻的真实的特征向量,表示将输入的真实的特征向量映射为对应的图像特征向量。

26、与现有技术相比,本发明的优点是:

27、(1)、通过构建“预训练策略—实体镜像跟随—高层自主模仿学习”的闭环技术方案,较好地增强了机器人的动作稳定性,提高了人形机器人的实时跟随与自主学习能力,缩短了训练时长,且利用人形机器人自身的视觉传感器,在极低成本下实现实时跟随,降低了人形机器人的学习成本;

28、(2)、由于本方法通过运动学延时补偿预测算法来预测实体机器人下一时刻的动作,使得实体机器人的动作平滑,更符合其物理运动特性,显著提升了实体机器人跟随过程的安全性与数据的有效性。

1.基于虚实迁移与视觉随动的人形机器人学习控制方法,其特征在于包括以下具体步骤:

2.如权利要求1所述的基于虚实迁移与视觉随动的人形机器人学习控制方法,其特征在于:所述的物理仿真平台为isaac gym。

3.如权利要求1所述的基于虚实迁移与视觉随动的人形机器人学习控制方法,其特征在于:所述的步骤s2中,在对基础动作的训练过程中,设置复合奖励函数r,关系式为:

4.如权利要求1所述的基于虚实迁移与视觉随动的人形机器人学习控制方法,其特征在于:所述的步骤s3中,视觉传感器对每个人体动作进行一系列图像的采集,然后通过yolo目标检测算法对输入的每个人体动作的一系列全尺寸图像分别进行实时推理,识别并裁剪出每张图像上的人体感兴趣区域,再将人体感兴趣区域依次输入至人体参数化模型估计网络,解算出对应的人体全局位移及各个关节的旋转矩阵,并将人体全局位移及各个关节的旋转矩阵重定向为实体机器人的目标姿态,一个人体动作生成一个对应的目标姿态序列。

5.如权利要求1所述的基于虚实迁移与视觉随动的人形机器人学习控制方法,其特征在于:所述的步骤s4中,通过运动学延时补偿预测算法对下一时刻的动作进行预测,其关系式为:

6.如权利要求1所述的基于虚实迁移与视觉随动的人形机器人学习控制方法,其特征在于:所述的步骤s5中,高层视觉模仿策略网络采用动作分块机制,即单次推理预测人形机器人模型在未来k个时间步的目标姿态序列。

7.如权利要求6所述的基于虚实迁移与视觉随动的人形机器人学习控制方法,其特征在于:所述的步骤s5中,在对采集的动作数据进行训练的过程中,引入总损失函数,其关系式为: