一种面向离线强化学习的最优性保持奖励校准方法
本发明涉及人工智能与强化学习,尤其涉及一种面向离线强化学习的最优性保持奖励校准方法。
背景技术:
1、强化学习通过智能体与环境之间的交互学习最优决策策略,在自动驾驶、机器人控制、工业控制及智能制造等领域具有广泛的应用前景。传统强化学习通常需要智能体在训练过程中持续与环境进行交互,以获取状态转移、奖励及下一状态等信息,并依据所获得的数据不断更新策略。然而,在医疗、自动驾驶、工业控制等试错成本较高或者安全要求严格的应用场景中,频繁进行在线交互不仅代价较高,而且可能存在安全风险。离线强化学习利用预先采集完成的固定数据集进行策略学习,无需在训练过程中继续与真实环境交互,因此能够有效降低数据采集成本,提高训练过程的安全性,近年来已成为强化学习领域的重要研究方向。
2、现有离线强化学习方法主要通过策略约束、保守价值估计或者不确定性惩罚等方式缓解固定数据分布与学习策略分布之间的偏移问题,从而降低分布外动作引起的价值估计误差。这类方法主要作用于策略更新或者价值函数学习阶段,对于进入时序差分目标之前的奖励标签通常仍直接采用原始即时奖励。当固定离线数据集中存在奖励稀疏、奖励数值较小、高回报轨迹数量较少或者高回报区域覆盖不均等情况时,评价网络在训练初期尚未形成稳定的任务表征,自举价值容易先于奖励信号主导网络更新,并在后续反复自举过程中进一步放大价值估计误差,从而影响策略学习效果。
3、另一方面,现有奖励处理方法通常采用奖励缩放、人工构造稠密奖励或者势函数奖励塑形等方式增强训练信号。其中,奖励缩放主要改善奖励数值尺度,但不能提供与状态转移相关的任务方向信息;人工构造稠密奖励通常依赖领域知识,不同奖励设计可能改变原任务对应的长期回报关系;势函数奖励塑形虽然能够在满足一定条件下保持原任务最优策略不变,但现有技术尚未给出如何依据固定离线数据自身的局部覆盖情况自动构造可靠状态势函数的方法。同时,当训练过程中奖励标签随训练阶段发生变化时,若仍采用历史阶段奖励标签参与训练,还容易造成不同阶段奖励标签混用,使评价网络难以及时跟踪新的训练目标。
4、因此,如何在不增加环境交互、不改变基础离线强化学习算法网络结构及策略更新机制的前提下,从固定离线数据中提取可靠的任务方向信息,结合数据局部覆盖情况构造状态势函数,并随着训练过程动态调整奖励校准强度,同时保证原任务最优策略保持不变,成为本领域亟待解决的技术问题。
技术实现思路
1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
2、本发明的主要目的在于提供一种面向离线强化学习的最优性保持奖励校准方法。
3、本发明的另一个目的在于提出一种面向离线强化学习的最优性保持奖励校准装置。
4、为达上述目的,本发明第一方面实施例提出了一种面向离线强化学习的最优性保持奖励校准方法,包括:
5、s1、获取固定离线数据集,所述固定离线数据集包括多个状态转移样本,每个状态转移样本至少包括当前状态、动作、即时奖励、下一状态及终止标志;
6、s2、根据固定离线数据集中的轨迹计算各状态对应的未来折扣累计回报,并对所述未来折扣累计回报进行标准化处理,获得用于表征任务方向的未来回报标签;
7、s3、分别构造状态嵌入和状态动作嵌入,根据状态嵌入建立状态近邻图,其中状态嵌入用于表征状态之间的邻接关系,状态动作嵌入用于后续局部覆盖可靠性的估计;
8、s4、依据状态动作嵌入估计各状态动作样本的局部覆盖可靠性,并将状态动作层面的局部覆盖可靠性映射至对应状态,获得各状态对应的可靠性权重;
9、s5、根据未来回报标签、可靠性权重以及状态近邻图求解状态势函数,并在离线强化学习训练过程中保持所述状态势函数固定;
10、s6、根据离线数据的有效曝光程度确定原始奖励缩放系数及势函数差分系数,并按照训练阶段对所述原始奖励缩放系数及势函数差分系数进行更新;
11、s7、根据当前训练阶段的原始奖励缩放系数、势函数差分系数及状态势函数,对即时奖励进行奖励校准得到校准奖励,并利用所述校准奖励构建时序差分目标,调用离线强化学习基础学习器完成策略训练。
12、可选的,所述步骤s2中,未来折扣累计回报通过沿离线轨迹自终止状态向初始状态递推获得,并按照预设统计量进行标准化处理后裁剪至预设数值范围。
13、可选的,所述步骤s3中,状态近邻图依据状态嵌入空间中的近邻关系构建,相邻状态之间建立带权连接关系,用于约束状态势函数在相邻状态之间保持连续变化。
14、可选的,所述步骤s4中,局部覆盖可靠性依据状态动作嵌入空间中目标样本邻域的局部覆盖情况确定,并将目标状态的近邻状态对应的状态动作样本中的局部覆盖可靠性保守聚合为该状态对应的可靠性权重。
15、可选的,所述步骤s5中,状态势函数通过以未来回报标签作为监督目标、以可靠性权重作为加权系数并结合状态近邻图进行图正则化优化获得,使状态势函数同时满足未来回报一致性及图结构平滑约束。
16、可选的,所述状态势函数求解完成后保持固定,在整个离线强化学习训练过程中不依据评价网络参数、梯度信息或者价值预测结果进行更新。
17、可选的,所述步骤s6中,原始奖励缩放系数及势函数差分系数根据离线数据集大小、小批量大小及当前训练阶段对应的有效数据曝光程度联合确定,并随着有效数据曝光程度增加逐步减小。
18、可选的,所述原始奖励缩放系数及势函数差分系数仅在预设校准阶段的边界进行更新,并在同一校准阶段内保持不变。
19、可选的,所述步骤s7中,校准奖励由缩放后的即时奖励及状态势函数差分共同构成;对于终止状态,不采用下一状态对应的状态势函数参与奖励校准;所述离线强化学习基础学习器采用校准奖励构建时序差分目标,评价网络结构、策略网络结构及策略更新规则保持不变。
20、为达上述目的,本发明第二方面实施例提出了一种面向离线强化学习的最优性保持奖励校准装置,包括:
21、第一模块,用于获取固定离线数据集,所述固定离线数据集包括多个状态转移样本,每个状态转移样本至少包括当前状态、动作、即时奖励、下一状态及终止标志;
22、第二模块,根据固定离线数据集中的轨迹计算各状态对应的未来折扣累计回报,并对所述未来折扣累计回报进行标准化处理,获得用于表征任务方向的未来回报标签;
23、第三模块,分别构造状态嵌入和状态动作嵌入,根据状态嵌入建立状态近邻图,其中状态嵌入用于表征状态之间的邻接关系,状态动作嵌入用于后续局部覆盖可靠性的估计;
24、第四模块,依据状态动作嵌入估计各状态动作样本的局部覆盖可靠性,并将状态动作层面的局部覆盖可靠性映射至对应状态,获得各状态对应的可靠性权重;
25、第五模块,根据未来回报标签、可靠性权重以及状态近邻图求解状态势函数,并在离线强化学习训练过程中保持所述状态势函数固定;
26、第六模块,根据离线数据的有效曝光程度确定原始奖励缩放系数及势函数差分系数,并按照训练阶段对所述原始奖励缩放系数及势函数差分系数进行更新;
27、第七模块,根据当前训练阶段的原始奖励缩放系数、势函数差分系数及状态势函数,对即时奖励进行奖励校准得到校准奖励,并利用所述校准奖励构建时序差分目标,调用离线强化学习基础学习器完成策略训练。
28、本发明实施例的具有以下有益效果:
29、(1)提高训练早期奖励标签的任务指向性。 未来折扣累计回报提供轨迹级任务方向,原始奖励正向缩放增强奖励锚点,势函数差分在稀疏即时奖励之间形成稠密且确定的训练信号,从而降低评价网络过早依赖不可靠自举值的风险。
30、(2)利用固定数据覆盖可靠性抑制错误传播。 置信加权和图平滑使覆盖充分区域更多地跟随回报标签,使孤立或高不确定区域更多地受邻域约束,降低少量异常高回报轨迹向大范围状态传播错误诱导的可能性。
31、(3)兼顾最优性保持和基础算法兼容性。 每个固定阶段的奖励由正向原始奖励缩放与有界状态势函数差分组成,在规定终止约定下不改变动作排序;方法只替换时序差分目标中的奖励标签,可与 td3+bc、iql、cql 等离线基础学习器结合。
32、(4)无需新增环境交互并且部署开销低。 势函数完全由固定离线数据预计算,训练时仅增加近邻查询、一次稀疏图求解和奖励重标记;训练完成后直接执行所得策略,不需要在推理路径中保留近邻图、势函数或奖励调度器。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com