策略网络训练方法和装置与流程

本申请涉及计算机，具体涉及机器人控制，尤其涉及一种策略网络训练方法和装置。

背景技术：

1、现有机器人运动控制方式主要分为三类：第一类是比例-积分-微分控制、滑模控制、自适应控制等经典控制方法；第二类是mpc（model predictive control，模型预测控制）方法；第三类是模糊控制、传统神经网络等智能控制方法。

2、上述控制方法对精确动力学模型依赖性较强，在高非线性、强耦合场景控制效果有限；并且难以处理复杂运动约束，环境适应性与抗扰鲁棒性较差。

技术实现思路

1、本申请实施例提供了一种策略网络训练方法、装置、设备以及存储介质。

2、根据第一方面，本申请实施例提供了一种策略网络训练方法，该方法包括：将运动指令和第一仿真环境返回的机器人模型的当前状态的状态信息输入策略网络，生成动作指令；对机器人模型执行动作指令实现的状态变化过程，进行评估；基于多个变化过程中的仿真数据，通过强化学习算法对所述策略网络的参数进行更新。

3、根据第二方面，本申请实施例提供了一种实体机器人控制方法，该方法包括：接收实体机器人反馈的当前状态的状态信息；将运动指令和状态信息输入策略网络，生成动作指令；其中，策略网络是上述第一方面任一实施例描述的方法得到的策略网络；控制实体机器人执行动作指令。

4、根据第三方面，本申请实施例提供了一种策略网络训练装置，该装置包括：输入模块、评估模块和更新模块，其中，输入模块，被配置成将运动指令和第一仿真环境返回的机器人模型的当前状态的状态信息输入策略网络，生成动作指令；评估模块，被配置成对机器人模型执行动作指令实现的状态变化过程，进行评估；更新模块，被配置成基于多个变化过程中的仿真数据，通过强化学习算法对所述策略网络的参数进行更新。

5、根据第四方面，本申请实施例提供了一种实体机器人控制装置，该装置包括反馈模块、生成模块和控制模块。其中，反馈模块被配置成接收实体机器人反馈的当前状态的状态信息；生成模块被配置成将运动指令和状态信息输入策略网络，生成动作指令；策略网络是上述第一方面任一实施例描述的方法得到的策略网络；控制模块被配置成控制实体机器人执行动作指令。

6、根据第五方面，本申请实施例提供了一种电子设备，该电子设备包括一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被该一个或多个处理器执行，使得一个或多个处理器实现如第一方面的任一实施例的策略网络训练方法或第二方面的任一实施例的实体机器人控制方法。

7、根据第六方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面的任一实施例的策略网络训练方法或第二方面的任一实施例的实体机器人控制方法。

8、根据第七方面，本公开实施例提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如第一方面的任一实施例的策略网络训练方法或第二方面的任一实施例的实体机器人控制方法。

9、本申请通过将运动指令和第一仿真环境返回的机器人模型的当前状态的状态信息输入策略网络，生成动作指令；对机器人模型执行动作指令实现的状态变化过程，进行评估；基于多个变化过程中的仿真数据，通过强化学习算法对策略网络的参数进行更新，即利用策略网络融合上层运动指令与机器人实时状态生成动作指令，结合仿真数据与强化学习持续优化网络参数，摆脱了对精确动力学模型的依赖，省去复杂人工调参流程，能够适配机器人高非线性、强耦合、多接触的运动特征，提升了训练得到的策略网络的环境适应性与抗扰鲁棒性，进而提升了机器人运动控制的环境适应性与抗扰鲁棒性。

10、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其他特征将通过以下的说明书而变得容易理解。

1.一种策略网络训练方法，所述方法包括：

2.根据权利要求1所述的方法，其中，所述运动指令包括目标前进速度、目标转向角速度和目标机体高度，所述状态信息包括前进速度、转向角速度和机体高度，以及所述对所述机器人模型执行所述动作指令实现的状态变化过程，进行评估，包括：

3.根据权利要求2所述的方法，其中，所述状态信息还包括：历史动作信息、腿部关节输出力矩、轮部关节输出力矩、姿态信息和接触状态；以及所述奖励函数还包括第一惩罚项、第二惩罚项、第三惩罚项和第四惩罚项中的至少一项；

4.根据权利要求3所述的方法，其中，所述基于多个变化过程中的仿真数据，通过强化学习算法对所述策略网络的参数进行更新，包括：

5.根据权利要求1所述的方法，所述方法还包括：

6.根据权利要求1-5任一所述的方法，所述方法还包括：

7.根据权利要求6所述的方法，所述方法还包括：

8.一种实体机器人控制方法，所述方法包括：

9.一种策略网络训练装置，所述装置包括：

10.一种实体机器人控制装置，所述装置包括：

11.一种电子设备，其特征在于，包括：

12.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。

13.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述的方法。