一种专家引导策略优化的六足机器人训练控制方法与流程

本发明涉及机器人智能控制领域，尤其涉及一种专家引导策略优化的六足机器人训练控制方法。

背景技术：

1、深度强化学习（deep reinforcement learning, drl）在双足与四足机器人控制领域取得了突破性进展，使机器人能够完成自然、敏捷且高度动态的运动技能。代表性系统平台已实现在山地环境中的长期自主穿行、跑酷式越障以及快速机动导航。这些成果普遍采用端到端神经网络，直接输出全部关节的目标角度或力矩，无需人工设计步态时序，显著提升了环境适应性与运动多样性。当 drl 方法扩展至六足机器人（18 个驱动自由度）时，动作空间维度与系统冗余度急剧增加，导致探索空间呈指数级膨胀，随机策略在早期训练中几乎无法获得有效奖励；样本效率极低，需要数十亿次交互才能收敛，真实机器人难以承受；易出现局部最优或不自然、不协调的“抖动式”步态，运输成本高且机械磨损大。因此，现有 drl 算法在六足机器人上的直接迁移效果远逊于四足或双足平台。

2、为缓解高维动作空间问题，现有方法可以被分成两条技术路线：

3、混合式方法：将传统控制模块（如中枢模式发生器、轨迹优化或模型预测控制）与神经网络结合，把 drl 任务降维为低维步态参数或残差力矩学习。虽然训练难度降低，但人工结构限制了网络对全身自由度的充分利用，运动敏捷性和地形适应性仍显著落后于端到端四足系统。

4、引入先验知识：通过行为克隆、奖励塑形或数据集增强等方式把专家知识注入训练过程。典型流程为先利用专家演示进行预训练；再切换到纯 rl 微调。然而，此类方法普遍采用多阶段训练，需要额外设计辅助损失、分布偏移矫正或渐进式退出机制，实现复杂且工程量大；同时，专家策略与 rl 策略之间的分布差异容易导致策略漂移（policy drift），甚至陷入比纯 rl 更差的局部最优。

5、无论是混合式还是引入先验知识方法，大多沿用“感知→规划→控制”级联框架，定位/地形感知模块与底层控制网络之间仅通过稀疏接口交互，未能充分利用感知过程中的中间特征（如地形高度图、接触力隐向量）来引导控制策略学习，导致系统在复杂地形下的泛化性与鲁棒性不足。

6、现有技术的缺点总结包括：效率低，早期探索困难，训练周期长，阶段专家引入机制复杂，工程实现门槛高；策略分布偏移导致策略漂移,知与控制模块耦合不足，地形适应性差

技术实现思路

1、本发明目的在于针对现有技术的不足，提出一种专家引导策略优化的六足机器人训练控制方法。

2、本发明的目的是通过以下技术方案来实现的：一种专家引导策略优化的六足机器人训练控制方法，包括：

3、定义标准马尔可夫决策过程，对机器人状态分为可观测状态 、特权信息和地形高度向量；

4、构建控制网络，所述控制网络包括：将可观测状态作为特权信息估计模块输入向量，输出特权信息估计向量，将地形高度向量输入地形信息编码模块，输出地形高度的隐式特征向量；将可观测状态添加到历史观测序列，与地形高度的隐式特征向量一同输入到长短记忆模块输出估计的地形高度隐式特征向量；将可观测状态、估计特权信息向量和估计地形高度隐式特征向量拼接后输入策略网络中，输出策略网络动作；将输出的策略网络动作与专家动作结合计算混合动作，将混合动作输入到电机模拟模块中得到各关节需要执行的扭矩；

5、将扭矩输入到仿真器中得到状态奖励，对控制网络进行更新；

6、使用更新后的策略网络部署在实物机器人上，输入实际机器人的可观测状态、特权信息和地形高度隐式特征向量，输出动作，然后机器人执行该动作并返回当前的状态构成控制回路。

7、进一步地，所述定义标准马尔可夫决策过程包括：定义标准马尔可夫决策过程，其中表示六足机器人的状态空间，表示六足机器人的动作空间，表示六足机器人采取动作后，从一个状态转移到另一个状态状的概率，表示奖励空间，表示奖励随时间衰减的因子。

8、进一步地，所述控制网络中特权信息估计模块输入向量、地形信息编码模块、策略网络模块和电机模拟模块均采用全连接神经网络搭建，模块的计算过程均基于多层感知机的前向传播算法。

9、进一步地，所述电机模拟模块在应用前使用监督学习进行预训练：首先给真实的电机上施加不同幅度和频率的正弦波，然后收集电机的速度误差、角速度误差和当前扭矩；然后使用速度误差和角速度误差为电机模拟模块的网络输入，使用当前扭矩作为电机模拟模块的期望输出；最后使用监督学习训练该模块。

10、进一步地，所述将输出的策略网络动作与专家动作结合计算混合动作包括：

11、；

12、其中为策略衰减因子 ，其中为专家引导时长，为当前时间；为专家策略输出的动作，为策略网络的动作。

13、进一步地，所述将扭矩输入到仿真器中得到状态奖励包括：速度追踪奖励、角速度追踪奖励、角速度误差惩罚、垂直线速度误差惩罚、动作变化惩罚、关节力矩惩罚、足端接触力惩罚、碰撞惩罚之和。

14、进一步地，所述对控制网络进行更新包括：

15、计算策略优化目标函数的总体梯度，使用学习率与梯度相乘然后将结果加在原来的策略网络的参数中；

16、其中， 为ppo优化目标，为策略衰减因子，为探索衰减因子

17、和分别为模仿学习目标函数与熵探索目标函数的权重系数，为模仿学习目标函数，为探索熵目标函数；

18、其中为专家引导时长，为当前时间；

19、，其中为探索常数，为总时间；

20、 ，其中为t时间的专家输出的动作，n为总时间，为当前t时刻状态

21、，其中为策略网络得到的的动作。

22、进一步地，所述ppo优化目标通过如下公式计算：

23、

24、为重要性采样比例系数

25、

26、为优势价值函数，通过状态和动作估算 。

27、根据说明书的另一方面，还提供了一种专家引导策略优化的六足机器人训练控制置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现所述的一种专家引导策略优化的六足机器人训练控制方法。

28、根据说明书的另一方面，还提供了一种计算机可读存储介质，其上存储有程序，所述程序被处理器执行时，实现所述的一种专家引导策略优化的六足机器人训练控制方法。

29、本发明的有益效果：

30、本发明通过构建策略衰减与探索衰减因子，在单一强化学习框架内把专家动作和熵探索逐步融合，无需分阶段设计和辅助损失，就能让策略从模仿平滑过渡到自主探索，既消除分布偏移，又抑制局部最优与抖动步态，显著提升训练效率，同时降低工程实现难度；

31、本发明构建端到端模块化网络把轻量级几何专家、地形隐特征提取、特权状态估计、双向时序记忆和电机动力学模拟集成在一起，感知与控制在同一梯度流中联合优化，打破传统级联稀疏接口，提升了六足机器人运动的灵活性和对地形的适应性；