一种基于时序梯度隐空间编码的四足机器人策略平滑链接方法

摘要: 本发明属于四足机器人强化学习领域,具体涉及一种基于时序梯度隐空间编码的四足机器人策略平滑链接方法。背景技术:1、基于时序梯度隐空间编码的四足机器人策略平滑链接方...
一种基于时序梯度隐空间编码的四足机器人策略平滑链接方法

本发明属于四足机器人强化学习领域,具体涉及一种基于时序梯度隐空间编码的四足机器人策略平滑链接方法。

背景技术:

1、基于时序梯度隐空间编码的四足机器人策略平滑链接方法,能够将基于强化学习框架训练出的独立策略融合为一体,使得四足机器人能够适应不同的任务场景并实时切换。四足机器人通常指的是一种具有四个腿部支撑点的移动机器人,能够模拟动物的行走姿态,具备较强的机动性和稳定性。基于强化学习的训练框架,通过设定相应的奖励函数,获得已知的策略。

2、然而,在策略切换的过程中,由于相邻策略状态分布可能存在较大差异,导致策略切换的过程中瞬时抖动严重,甚至出现切换失败的情况。传统的基于强化学习的方法将前置阶段的状态分布作为后置阶段的初始状态,但面向相邻策略的训练过程中可能存在梯度差异较大的情况。现有的基于初始状态的方法,由于位姿信息恒定单一,训练出的后置策略和前置策略无法进行动态适配,不易消除切换瞬时抖动。

技术实现思路

1、本发明为了解决四足机器人策略平滑切换的问题,提出一种基于时序梯度隐空间编码的四足机器人策略平滑链接方法。其主要创新在于在策略分段训练的基础上,对两种动作差异较大的策略进行链接连续运行。在前置策略的状态空间基础上,采用变分自编码的方式进行潜码平滑,同时联合后置策略的运动参考先验共同构成中间状态,然后采用时序梯度的方式判断训练过程中的梯度冲突,并使用边界调制对时序梯度进一步进行优化。所获得的后置策略,由于考虑了前置策略的状态空间信息,在策略切换的过程中获得了更平滑的过渡效果。

2、本发明在结合运动先验的基础上构建强化学习框架,增加隐空间编码的平滑方式,从而获得更加平滑的技能模仿策略更新效果,以及更加平滑的腿部步态或状态风格输出。

3、本发明的基于时序梯度隐空间编码的四足机器人策略平滑链接方法,包括:

4、s1:基于强化学习的基本原理,构建四足机器人的策略训练框架,将机器人的运动控制问题形式化为一个马尔科夫过程,引导策略模型在仿真环境中迭代更新;

5、s2:训练前置策略,并通过状态空间保存特征信息,从原始高维传感器数据中抽取出关键状态空间进行低维表示,构建基于连续策略状态空间运动先验;

6、s3:自变分隐空间状态编码。首先进行概率化轨迹,然后对前置策略所保存的状态轨迹联合概率分布进行特征提取与降维处理,生成当前状态和隐码,推断后验分布。之后将其映射到一个结构化的低维隐空间,然后采用近似下界优化的方式确保连续灵活性;

7、s4:基于s2中前置策略保存的状态空间信息,引入运动先验信息作为技能模仿奖励,并计算模仿损失,作为训练后置策略的初始信息;

8、s5:定义隐空间设计时序梯度约束函数。在训练后置策略的过程中首先进行时序片段采集,量化当前策略相对于运动先验的偏差,并构成时序梯度隐空间。然后根据时序观测空间的数据实时计算判别器梯度,同时根据隐空间的边界距离设定时序平滑约束矩阵限制隐空间的更新方向;

9、s6:采用策略边界优化的方法,计算后置策略差异度,在切换边界区域鼓励任务学习,在策略稳定区域加强平滑约束。根据隐空间边界距离判断切换策略,同时在切换完成的瞬间给出速度调制约束和边界调制约束,整合成总的调制优化信号。

10、其中,步骤s1所述的马尔科夫过程为,其中,代表四足机器人所有可能的关节运动状态构成的状态空间,代表机器人可输出的关节动作构成的动作空间,表示四足机器人当前采用的运动控制策略,为机器人在当前状态下执行动作后转移到下一状态的概率分布矩阵,为智能体执行动作后获得的即时奖励函数,为奖励折扣因子,为马尔科夫过程的初始状态概率分布。

11、其中,步骤s2所述的连续策略状态空间的表达式为: ,其中,每个子任务包含一个对应的马尔可夫过程。

12、其中,步骤s3所述的状态轨迹表达为:,其中,每个和表示四足机器人的状态-空间动作对。

13、步骤s3所述的状态轨迹联合概率分布为:,其中,表示1到  时刻状态序列状态分布,表示1到  时刻的动作技能训练;

14、步骤s3所述的近似下界优化的方法为:

15、

16、其中,步骤s4所述的技能模仿奖励为:

17、

18、步骤s4所述的模仿损失为:

19、  ;

20、步骤s4所述的时序梯度隐空间为,其中时,值为;其中时,值为1;时,值为2 。

21、其中,步骤s5所述的时序观测空间为:;

22、步骤s5所述的时序平滑约束矩阵为:。

23、其中,步骤s6所述的后置策略差异度具体为:

24、;

25、步骤s6所述的隐空间边界距离为:,其中 为防止除零的小常数。 ;

26、步骤s6所述的判断切换策略,具体为:

27、

28、其中和是可学习边界阈值;

29、步骤s6所述的速度调制约束为:

30、,

31、边界调制约束为:

32、,

33、其中exit表示放松阶段,entry表示收紧阶段,表示约束范围。二者乘积共同构建调制信号输出;所述的调制信号输出为:。

34、本发明的第二个方面提供的一种四足单臂机器人协同运动控制系统,包括:

35、处理器;

36、存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,实现如第一方面所述的基于时序梯度隐空间编码的四足机器人策略平滑链接方法。

37、本发明的第三个方面提供的一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面所述的基于时序梯度隐空间编码的四足机器人策略平滑链接方法。

38、本发明的工作原理是(诠释本发明的优点产生的原因):

39、本发明将四足机器人运动策略划分为前置策略训练和后置策略平滑链接两个阶段,分别采集前置策略完整状态轨迹样本和后置策略动作输出样本,构建用于训练策略平滑过渡模型的时序梯度隐空间。后置策略的参数更新方向与前置策略的运动先验分布具有显著的梯度差异,前者是直接面向新任务目标的优化方向,而后者是基于历史状态分布形成的稳定运动约束。

40、为了使四足机器人在多策略切换过程中保持运动连续性,使其具备将不同策略的状态分布进行动态适配的能力。本发明设计实现了基于变分自编码器的时序梯度隐空间编码机制,从前置策略的连续状态轨迹和后置策略的实时动作输出中,可以量化策略切换的梯度偏差程度。

41、针对多策略切换过程中瞬时抖动的难题,现有方法往往仅将前置策略的末状态作为后置策略的初始状态,虽然可以在策略差异较小时实现基本的切换,但是对动作差异较大的策略适配能力不足。本发明引入时序平滑约束矩阵,能够降低策略切换对初始状态分布的依赖度和提升大动作差异场景下的切换稳定性。使用时序梯度隐空间构建梯度约束和生成平滑过渡能力,能够从一定程度上消除梯度冲突问题,同时在从仿真向真实硬件迁移方面也具有天然优势。低维隐空间编码设计可提升策略切换的推理效率,更适合于计算资源受限的四足机器人实时运动控制场景。

42、本发明的创新点是:

43、(1)时序梯度隐空间编码机制:将变分自编码器与四足机器人策略平滑链接问题相结合,通过对前置策略的完整状态轨迹进行概率化建模与低维隐空间映射,构建了能够量化策略偏差的时序梯度隐空间,为后置策略的平滑训练提供了可解释的梯度约束依据。

44、(2)基于运动先验的状态空间构成方法:区别于传统方法仅将前置策略的末状态作为后置策略的初始状态,本发明通过保存前置策略的完整连续状态空间,构建运动先验信息作为技能模仿奖励,使后置策略能够充分感知前置策略的完整动作分布特征,从而在策略切换时实现状态分布的动态适配。

45、(3)时序平滑约束:通过设计一种基于二阶差分形式的时序平滑约束矩阵,对隐空间编码的更新方向施加连续性惩罚,从时序维度抑制隐编码的突变式更新,有效解决了相邻策略训练过程中梯度差异较大导致的训练不稳定问题。

46、(4)分阶段自适应的边界调制策略:根据隐空间边界距离自动将切换过程划分为退出阶段、过渡阶段和进入阶段,并针对不同阶段设计差异化的速度调制约束和边界调制约束,在保证前置策略原有任务执行性能的同时,实现后置策略的平滑接入,有效消除了策略切换过程中的瞬时抖动。

47、(5)联合调制优化框架:将速度调制约束与边界调制约束的乘积作为总的调制优化信号,构建兼顾运动性能与过渡平滑性的联合优化,为四足机器人多策略连续运行提供了一种通用、高效的平滑链接方法。

48、本发明的优点是:

49、(1)时序梯度隐空间的平滑约束能力。构建的时序梯度隐空间能够动态量化策略切换过程中状态分布的偏差,比传统方法仅采用前置策略末状态作为初始状态的适配方式更加灵活,能够有效抑制相邻策略训练过程中的梯度冲突,为四足机器人不同策略的平滑链接提供了核心的约束依据。

50、(2)基于运动先验的状态空间迁移设计。针对传统方法前后策略状态分布差异较大的实际问题,首先利用完整的前置策略连续状态空间构建运动先验信息,将其作为后置策略训练的技能模仿奖励,更有利于策略切换过程中的状态分布适配,尤其有利于在策略动作差异较大时降低切换瞬时抖动;其次,时序平滑约束矩阵能够从时序维度抑制隐编码的突变。最后联合速度调制约束与边界调制约束得到总调制优化信号,为策略平滑切换提供了充分的约束信息,进一步提升策略链接的稳定性。

51、(3)训练框架与仿真验证更贴近实际应用场景。以四足机器人真实运动轨迹作为状态轨迹数据集,以高精度四足机器人动力学仿真环境作为验证平台,具备良好的运动学特性和动力学响应。同时,使用了连续的状态轨迹作为训练基准,能够更好地还原四足机器人在真实场景中的策略切换过程,大幅度降低从仿真环境向真实硬件迁移的性能偏差。

52、(4)策略平滑链接方法计算复杂度较低,策略切换过程可达到实时响应。本方法通过低维隐空间编码将高维状态空间压缩至十维以内的隐变量空间,大幅减少了推理计算量和策略切换过程的延迟,基本能满足四足机器人实时运动控制的性能要求,可实现多策略的动态无缝切换在嵌入式运动控制器上的部署。