一种基于元强化学习的自动驾驶赛车仿真到现实迁移方法

本发明属于移动机器人和人工智能，尤其涉及一种基于元强化学习的自动驾驶赛车仿真到现实迁移方法。

背景技术：

1、自动驾驶赛车是检验高性能机器人技术的重要测试平台，要求在车辆动力学极限附近同时实现最优规划与精确控制。现有技术主要采用两级流水线方案：首先规划最优参考轨迹，然后利用模型预测控制等控制器进行轨迹跟踪。这类方法在模型参数标定良好的条件下可取得可靠性能，但其有效性高度依赖于车辆动力学模型的精度。

2、强化学习作为一种无需显式建模动力学的策略学习方法，近年来被广泛探索用于自动驾驶。然而，由于安全性和数据效率的考虑，现有强化学习方法主要在仿真环境中训练，部署到真实环境时面临众所周知的“仿真到现实鸿沟”问题——策略性能显著下降甚至完全失效。

3、域随机化方法通过在仿真训练中随机化物理参数，观测噪声，动作噪声来提升策略鲁棒性，是目前解决仿真到现实迁移问题最广泛采用的技术路线。然而，为了覆盖尽可能多的真实环境变化，需要采用较宽的参数随机化区间，但这直接导致学习到的策略趋于保守——因为策略必须在多种甚至相互冲突的动力学条件下同时表现良好，不得不牺牲极端条件下的激进操控以换取基本的生存能力。此外，域随机化策略本质上是一种“静态”的通用策略，它在部署到特定真实环境后，无法根据该环境的实际动力学响应进行在线调整和适应；一旦真实环境的动力学特性超出了训练时的随机化覆盖范围，策略性能将急剧下降甚至完全失效。

技术实现思路

1、为解决上述问题，本发明提供一种基于元强化学习的自动驾驶赛车仿真到现实迁移方法，能够在不依赖测试时在线微调的前提下，使自动驾驶赛车策略既能保持高速竞技性能，又能根据实际部署环境的动力学特性进行快速在线适应。

2、一种基于元强化学习的自动驾驶赛车仿真到现实迁移方法，经过仿真端训练完成后，将固定的网络元参数固定后的actor-critic网络模型直接以零样本的形式移植部署至物理实车环境中；其中，actor-critic网络模型由具有相同的网络结构的策略网络和价值网络组成，且策略网络和价值网络均由tcn编码器和mlp网络级联得到；同时，仿真端的训练方法为：

3、s1：从车辆的任务分布中采样出一个任务并获取车辆在采样任务中所采用的车辆动力学参数；

4、s2：重置tcn编码器的内部状态为零向量，完成内循环的初始化；

5、s3：对当前采样任务上执行的k个回合中的每一回合执行步骤s31~s33，直到所有回合执行完毕，完成内循环的适应过程：

6、s31：将车辆重置到赛道起跑线位置，初始速度为0；

7、s32：执行如下回合内循环操作：

8、根据车辆在当前采样任务中所采用的车辆动力学参数为当前回合的每个时刻t分别构造扩展输入，、、、分别为当前时刻车辆状态、上一时刻车辆动作，上一时刻步进奖励、上一时刻结束标志；

9、将离当前时刻t最近的h个扩展输入组成历史序列，其中，若当前回合累积步数不足h，则以零填充至长度h；

10、将历史序列输入tcn编码器，得到时序特征；

11、将时序特征输入mlp网络，得到动作指令；

12、执行动作指令，获取车辆在下一时刻的车辆状态、步进奖励、碰撞成本和终止标志；

13、将当前回合在各个时刻的交互数据存入当前采样任务的轨迹缓冲区；

14、s33：判断当前回合是否结束，其中，若触发终止条件，则当前回合结束，进入下一回合重新执行步骤s31；

15、s4：外层策略更新，利用收集到的整个采样任务的轨迹缓冲区数据，执行安全强化学习算法ppo-lagrangian更新，更新策略网络参数、价值网络参数；

16、s5：返回步骤s1，采样下一个任务重新执行步骤s2~s4，直至策略网络在测试任务上的性能收敛。

17、进一步地，车辆状态包括前方路径点、横向偏差、纵向速度、横摆角速度、当前转向角。

18、进一步地，动作指令包括速度指令和转向角指令。

19、进一步地，车辆的任务分布中每一个任务均对应一个具有不同动力学参数的马尔可夫决策过程。

20、进一步地，步骤s33中，tcn编码器的内部状态在回合边界间持续保留，不被重置。

21、进一步地，s33中，终止条件为赛车完成一圈或者发生碰撞。

22、进一步地，每个时刻t的奖励的计算方法为：

23、

24、其中，、分别为时刻t、时刻t-1时车辆相对于道路中心线的进度百分比，、、分别为时刻t、时刻t-1、时刻t-2对应的车辆转向角，为时间惩罚项，、分别为进度奖励和转向奖励对应的权重，和分别为成功完成一圈的奖励权重和圈时。

25、进一步地，每个时刻t的碰撞成本的计算方法为：

26、。

27、进一步地，步骤s4中，安全强化学习算法ppo-lagrangian更新的目标为：

28、

29、s.t.

30、其中，为优化得到的最优策略，γ为未来奖励的折扣因子，表示在策略π和转移动力学p下对轨迹的期望，为时刻t的步进奖励，为时刻t的碰撞成本，为安全阈值。

31、有益效果：

32、1、本发明提供一种基于元强化学习的自动驾驶赛车仿真到现实迁移方法，构建了面向自动驾驶赛车场景的元强化学习整体框架，将元强化学习（rl²框架）首次引入自动驾驶赛车领域，设计了完整的训练与部署流程，解决了该场景下仿真策略难以向现实迁移的固有问题，能够在不依赖测试时在线微调的前提下，使自动驾驶赛车策略既能保持高速竞技性能，又能根据实际部署环境的动力学特性进行快速在线适应，从而实现稳定、高速的仿真到现实零样本迁移。

33、2、本发明提供一种基于元强化学习的自动驾驶赛车仿真到现实迁移方法，将域随机化作为元强化学习的任务生成机制，通过在多样化的动力学任务分布上进行元训练，使策略学会“如何适应”而非仅仅“耐受变化”，从而在保持竞技性能的同时实现零微调迁移；同时，本发明不依赖显式的动力学参数估计或梯度更新，而是通过扩展输入序列以及时序卷积网络隐式推断当前环境动力学，实现在线适应无需参数更新。

1.一种基于元强化学习的自动驾驶赛车仿真到现实迁移方法，其特征在于，经过仿真端训练完成后，将固定的网络元参数固定后的actor-critic网络模型直接以零样本的形式移植部署至物理实车环境中；其中，actor-critic网络模型由具有相同的网络结构的策略网络和价值网络组成，且策略网络和价值网络均由tcn编码器和mlp网络级联得到；同时，仿真端的训练方法为：

2.如权利要求1所述的一种基于元强化学习的自动驾驶赛车仿真到现实迁移方法，其特征在于，车辆状态包括前方路径点、横向偏差、纵向速度、横摆角速度、当前转向角。

3.如权利要求1所述的一种基于元强化学习的自动驾驶赛车仿真到现实迁移方法，其特征在于，动作指令包括速度指令和转向角指令。

4.如权利要求1所述的一种基于元强化学习的自动驾驶赛车仿真到现实迁移方法，其特征在于，车辆的任务分布中每一个任务均对应一个具有不同动力学参数的马尔可夫决策过程。

5.如权利要求1所述的一种基于元强化学习的自动驾驶赛车仿真到现实迁移方法，其特征在于，步骤s33中，tcn编码器的内部状态在回合边界间持续保留，不被重置。

6.如权利要求1所述的一种基于元强化学习的自动驾驶赛车仿真到现实迁移方法，其特征在于，s33中，终止条件为赛车完成一圈或者发生碰撞。

7.如权利要求1所述的一种基于元强化学习的自动驾驶赛车仿真到现实迁移方法，其特征在于，每个时刻t的奖励的计算方法为：

8.如权利要求1所述的一种基于元强化学习的自动驾驶赛车仿真到现实迁移方法，其特征在于，每个时刻t的碰撞成本的计算方法为：

9.如权利要求1所述的一种基于元强化学习的自动驾驶赛车仿真到现实迁移方法，其特征在于，步骤s4中，安全强化学习算法ppo-lagrangian更新的目标为：