一种基于价值校正的离线在线强化学习决策方法

摘要: 本发明涉及强化学习,更具体的说是涉及一种基于价值校正的离线在线强化学习决策方法。背景技术:1、目前,强化学习是机器学习的一个重要分支,其核心思想是让通过与环境的...
一种基于价值校正的离线在线强化学习决策方法

本发明涉及强化学习,更具体的说是涉及一种基于价值校正的离线在线强化学习决策方法。

背景技术:

1、目前,强化学习是机器学习的一个重要分支,其核心思想是让通过与环境的直接交互来学习。在特定状态下执行一个动作,环境则反馈一个奖励信号,的目标是学习一个最优策略,以最大化其在交互过程中获得的长期累积奖励。

2、传统的在线强化学习方法,如q-learning、sac等,已在多种模拟环境中取得显著成功。然而,这些方法严重依赖大量的实时交互数据来进行策略的从头学习。在许多现实世界的应用场景中,如机器人物理操控、自动驾驶或金融交易,与真实环境进行海量交互的成本极其高昂,过程耗时,甚至可能带来不可控的安全风险。

3、为了解决在线学习的样本效率和安全问题,离线强化学习,又称为批量强化学习,应运而生。离线强化学习旨在仅从一个预先收集好的、固定的历史数据集中学习决策策略,而不需要任何新的环境交互。这种范式极大地提高了数据利用率,并规避了在线探索的风险。

4、然而,纯粹的离线强化学习面临其固有的核心挑战,即分布偏移。由于离线数据集通常是由某个未知的、次优的“行为策略”生成的,而算法试图学习一个更优的“目标策略”。当目标策略在学习过程中查询到数据集中未包含或样本稀疏的“分布外”的状态-动作对时,价值函数的估计会产生巨大的“外推误差”,通常表现为对未知动作的盲目过高估计。这种误差会在贝尔曼方程的迭代更新中被不断累积和放大,最终导致学习到的策略性能低下且极其不稳定。

5、因此,如何高效利用预训练的知识,并快速适应在线环境的新数据分布,同时避免性能的不稳定,是本领域技术人员亟需解决的问题。

技术实现思路

1、鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于价值校正的离线在线强化学习决策方法。

2、为了实现上述目的,本发明采用如下技术方案:

3、一种基于价值校正的离线在线强化学习决策方法,包括以下步骤:

4、s1、获取离线数据集,利用离线数据集对策略网络和价值网络进行离线预训练,得到初始策略网络和初始价值网络;

5、s2、以初始策略网络输出的最优决策为锚点,对初始价值网络进行对齐校正,得到对齐后的价值网络;

6、s3、构建动态样本池,动态样本池中存储离线数据集以及在线交互过程中实时产生的样本;

7、s4、对价值网络进行在线微调,在在线微调初期设置价值校正过渡阶段,通过动态加权校正损失函数对对齐后的价值网络进行校正更新,修正价值网络对在线数据的估计偏差;

8、s5、根据在线交互产生的样本与离线数据集的对比结果,自适应地调整动态样本池中离线数据集的采样比例;

9、s6、基于调整后的采样比例从动态样本池中采集样本,对策略网络和价值网络进行迭代更新,直至满足预设的终止条件。

10、优选的,s2包括:

11、s21、冻结初始策略网络;

12、s22、获取初始策略网络输出的最大概率动作,作为锚点动作;

13、s23、引入辅助对齐的策略网络,将辅助对齐的策略网络初始化为初始策略网络,以当前价值网络输出最大化为目标进行更新,输出目标动作;

14、s24、构建包含保持损失和对齐损失的复合损失函数,其中,保持损失用于维持锚点动作的价值;对齐损失用于抑制目标动作的价值,使其不超过锚点动作的价值;

15、s25、通过优化复合损失函数,更新价值网络,直至锚点动作与目标动作的差距低于预设阈值,得到对齐后的价值网络。

16、优选的,s25还包括:

17、采用动态监测机制,计算锚点动作与目标动作之间的均方误差,当均方误差低于预设阈值且持续达到预设次数时,终止价值对齐过程。

18、优选的,s4中,动态加权校正损失函数的权重系数由初始策略网络输出的最优决策对当前动作输出的选择概率确定,当输出的选择概率低于预设阈值时,权重系数增大,执行价值校正增强操作。

19、优选的,s4中,对价值网络进行更新的频率高于对策略网络的更新频率。

20、优选的,s5中包括:

21、s51、获取在线交互过程中当前策略在预设滑动窗口内的平均奖励值,以及离线数据集内历史样本的全局平均奖励值;

22、s52、根据平均奖励与离线数据集的平均奖励的比值,自适应地调整动态样本池中离线数据集的采样比例;

23、s53、当平均奖励低于离线数据集的平均奖励时,经采样比例计算公式确定,采样比例处于其取值范围内的数值高位段;当平均奖励高于离线数据集的平均奖励时,采样比例自动降低。

24、优选的,s6中包括:处于价值校正过渡阶段,按动态比例对动态样本池进行采样,价值网络针对采样数据进行连续k次梯度更新,策略网络进行一次更新;未处于价值校正过渡阶段,则按动态比例对动态样本池进行采样,对价值网络和策略网络进行同等频率的更新。

25、优选的,离线数据集的采样比例计算公式如下:

26、

27、其中,表示下一时刻离线数据集的采样比例,为在线样本的平均奖励,为离线数据集的平均奖励,为采样权重调节因子,且满足λ∈(0,1),用于根据在线奖励与离线奖励的实时比值,动态控制离线数据集采样占比的衰减或维持速率。

28、优选的,离线预训练采用保守性价值估计的离线强化学习算法进行训练,在线微调采用标准在线强化学习算法进行策略更新。

29、经由上述的技术方案可知,与现有技术相比,本发明公开提供了一种基于价值校正的离线在线强化学习决策方法,本发明实施例提供的上述技术方案的有益效果至少包括:提升离线到在线强化学习的整体性能和稳定性。本发明能够有效抑制在线微调初期的性能急剧下降,实现从离线到在线的平滑过渡。

30、同时,通过动态采样机制,本发明在保证初期稳定性的同时,避免了次优离线数据对渐进性能的制约,在需要高探索性的复杂任务中也能实现高效的策略优化和卓越的渐进性能,为强化学习技术提供了高效、可靠的技术方案。

1.一种基于价值校正的离线在线强化学习决策方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于价值校正的离线在线强化学习决策方法,其特征在于,s2包括:

3.根据权利要求2所述的一种基于价值校正的离线在线强化学习决策方法,其特征在于,s25还包括:

4.根据权利要求1所述的一种基于价值校正的离线在线强化学习决策方法,其特征在于,s4中,动态加权校正损失函数的权重系数,由初始策略网络输出的最优决策对当前动作输出的选择概率确定,当输出的选择概率低于预设阈值时,权重系数增大,执行价值校正增强操作。

5.根据权利要求4所述的一种基于价值校正的离线在线强化学习决策方法,其特征在于,s4中,对价值网络进行更新的频率高于对策略网络的更新频率。

6.根据权利要求1所述的一种基于价值校正的离线在线强化学习决策方法,其特征在于,s5中包括:

7.根据权利要求1所述的一种基于价值校正的离线在线强化学习决策方法,其特征在于,s6中包括:处于价值校正过渡阶段时,按动态比例对动态样本池进行采样,价值网络针对采样数据进行连续k次梯度更新,策略网络进行一次更新;未处于价值校正过渡阶段时,则按动态比例对动态样本池进行采样,对价值网络和策略网络进行同等频率的更新。

8.根据权利要求6所述的一种基于价值校正的离线在线强化学习决策方法,其特征在于,离线数据集的采样比例计算公式如下:

9.根据权利要求1所述的一种基于价值校正的离线在线强化学习决策方法,其特征在于,离线预训练采用保守性价值估计的离线强化学习算法进行训练,在线微调采用标准在线强化学习算法进行策略更新。