一种基于状态-动作分布偏离判别与经验价值重估的机器人强化学习训练方法及系统

摘要: 本发明涉及机器人控制与强化学习,具体涉及一种基于状态-动作分布偏离判别与经验价值重估的机器人强化学习训练方法及系统。背景技术:1、随着人工智能与机器人技术的深度...
一种基于状态-动作分布偏离判别与经验价值重估的机器人强化学习训练方法及系统

本发明涉及机器人控制与强化学习,具体涉及一种基于状态-动作分布偏离判别与经验价值重估的机器人强化学习训练方法及系统。

背景技术:

1、随着人工智能与机器人技术的深度融合,强化学习逐渐成为机器人自主决策与控制的重要技术范式。通过与环境持续交互并优化决策策略,强化学习能够使机器人在复杂任务中自主学习高效的行为模式。然而,传统在线强化学习方法通常需要大量真实环境交互以获取训练数据,在机器人实际部署过程中存在交互成本高昂、训练周期漫长以及探索性错误可能引发硬件损坏等现实问题,严重制约了强化学习方法在真实机器人场景中的推广应用。

2、为降低机器人训练过程中的环境交互需求与硬件损耗风险,离线到在线(offline-to-online)强化学习范式应运而生。该范式通过预先利用历史运行数据对策略进行离线训练,使机器人获得基础控制能力,继而在线部署阶段通过有限的环境交互实现策略的持续优化与自适应调整。尽管现有离线到在线强化学习方法取得了一定进展,但其在实际应用中仍面临以下两个核心挑战。

3、第一,在离线预训练阶段,机器人策略仅能接触到有限的历史数据分布;进入在线阶段后,面对未知或变化的环境状态,策略网络可能生成偏离历史数据分布的分布外(out-of-distribution, ood)动作。现有离线强化学习方法主要通过约束策略更新或降低分布外动作的价值估计偏差来应对该问题。例如,cql通过对分布外动作施加保守价值约束以抑制过估计风险,iql通过避免显式评估数据分布之外的动作来提高学习稳定性。然而,上述方法主要侧重于策略稳定性保障,对在线阶段未知动作空间的主动探索与安全利用仍缺乏有效机制。

4、第二, 机器人在线强化学习过程中,经验回放机制决定了历史交互数据对策略优化的贡献程度。传统随机经验采样方法默认不同经验样本具有同等重要性,无法有效区分高价值训练样本与低价值样本,导致大量无效或低效经验参与策略更新,拖累训练效率。为提高经验利用效率,现有方法如per根据时序差分误差为经验样本分配优先级。然而,单指标优先策略难以充分建模状态、动作、奖励以及状态转移之间复杂的非线性关联,无法根据机器人运行过程的动态变化准确判断不同经验对当前策略优化的真实贡献。

技术实现思路

1、本发明的目的在于,提出一种基于状态-动作分布偏离判别与经验价值重估的机器人强化学习训练方法及系统,实现安全定向探索与关键样本自适应优选,提高机器人训练效率与任务适应能力。

2、根据本公开实施例的第一个方面,提供了一种基于状态-动作分布偏离判别与经验价值重估的机器人强化学习训练方法,包括以下步骤:

3、获取机器人历史运行过程中的交互数据,构建离线经验数据集,并利用所述离线经验数据集对机器人控制策略网络和价值评估网络进行预训练,得到初始控制策略;

4、基于所述离线经验数据集,构建用于判别机器人状态-动作对是否属于历史数据分布的状态-动作联合分布偏离判别模型;

5、在机器人在线运行过程中,根据当前环境状态,通过预训练得到的机器人控制策略网络生成候选控制动作,利用状态-动作联合分布偏离判别模型判别所述候选控制动作是否为分布外动作;若为分布内动作则直接执行,若为分布外动作则生成探索动作后执行;将执行动作后与环境交互产生的新经验存入经验回放池;

6、构建经验价值重估网络,将经验回放池中候选经验样本的状态、动作、奖励和下一状态信息输入所述网络,通过注意力机制学习不同经验样本之间的关联关系,输出各经验样本的重要性评分,并根据所述重要性评分确定采样概率,依据所述采样概率选择训练样本;

7、利用选择的训练样本对机器人控制策略网络和价值评估网络进行联合优化,完成一次参数更新后,将机器人新产生的交互经验继续存入经验回放池,并返回执行所述基于状态-动作联合分布偏离判别模型的在线探索与经验收集操作、所述经验价值重估网络构建与训练样本采样操作、以及所述机器人控制策略网络和价值评估网络联合优化操作,直至控制策略满足目标任务要求。

8、在其中一个实施例中,利用所述离线经验数据集对机器人控制策略网络和价值评估网络进行预训练,具体为:

9、采集机器人历史运行过程中的交互数据,所述交互数据包括机器人当前状态信息、执行动作信息、环境反馈奖励信息以及下一状态信息,构建离线经验数据集:

10、

11、利用所述离线经验数据集对机器人控制策略网络和价值评估网络进行预训练,通过最小化价值预测误差优化价值评估网络:

12、

13、其中,为折扣因子;表示目标价值评估网络参数;为离线经验数据集,为离线经验数据集中的样本总数,为即时奖励,为价值评估网络的损失函数。

14、在其中一个实施例中,所述状态-动作联合分布偏离判别模型构建方式为:

15、采用变分自编码器对离线经验数据中的状态信息和动作信息进行联合编码,学习历史数据中状态-动作联合分布特征,编码过程为:

16、

17、其中,为编码器,为编码器输出的均值向量,为编码器网络输出的方差向量;

18、通过重参数化方式获得潜在变量,其中标准正态先验分布,为标准高斯噪声,为单位矩阵;利用解码器对潜在变量进行解码,对状态信息和动作信息进行联合重构,得到重构状态重构动作:

19、

20、训练目标函数为:

21、

22、其中,为解码器重构的状态信息,为解码器重构的动作信息,为权重系数,重构损失,为kl散度损失,为变分自编码器的总损失函数,为散度;

23、训练完成后,根据输入状态-动作对的重构误差判定当前状态-动作对是否属于历史数据分布:

24、

25、设置分布判别阈值,当时判定当前动作为分布内动作;当时判定当前动作为分布外动作。

26、在其中一个实施例中,所述基于状态-动作联合分布偏离判别模型的在线探索与经验收集,具体包括:机器人进入在线运行阶段后,根据当前环境状态,通过预训练的机器人控制策略网络生成候选控制动作:

27、

28、将当前状态与候选动作输入状态-动作联合分布偏离判别模型,得到分布偏离评分:

29、

30、当≤τ时,判定候选动作为分布内动作,直接执行;当时,判定候选动作为分布外动作,生成探索动作,其中;机器人执行动作后,与环境交互获得新经验,并将产生的新经验存入经验回放池。

31、在其中一个实施例中,所述经验价值重估网络构建方式为:

32、从经验回放池中获取候选经验集合,其中表示候选经验集合中的样本总数,对每个经验样本进行特征构造:

33、

34、利用线性映射层将经验特征转换为统一维度的隐藏表示:

35、

36、其中,为经验特征映射矩阵,为偏置参数;

37、将候选经验集合的隐藏表示构成特征矩阵,输入基于注意力机制的特征编码模块,通过缩放点积注意力计算不同经验样本之间的关联权重:

38、

39、其中,表示缩放点积注意力函数,表示查询矩阵,表示键矩阵,表示值矩阵,表示隐藏特征维度,用于衡量不同经验特征之间的相关程度;经注意力编码后得到经验高维表示,通过权重预测层输出各经验样本的重要性评分:

40、

41、对输出权重进行归一化,得到各经验样本被采样的概率:

42、

43、其中,表示第i个经验样本的重要性评分,表示权重预测层的权重矩阵,表示第 i个经验样本经过注意力编码后的高维表示,表示权重预测层的偏置参数。

44、在其中一个实施例中,利用强化学习训练过程中的时序差分误差作为监督信号,优化所述经验价值重估网络:

45、

46、其中,为经验价值重估网络的辅助损失函数,表示第i个经验样本的重要性评分;为第i 个经验样本中的即时奖励,为目标价值项,为折扣因子;为时序差分误差。

47、在其中一个实施例中,基于经验价值重估网络采样得到的训练批次,对机器人控制策略网络和价值评估网络进行联合优化的具体方式为:通过梯度下降更新价值评估网络参数,并根据更新后的价值评估结果优化机器人控制策略网络,使机器人选择能够获得更高累计奖励的控制动作;完成一次参数更新后,将机器人新产生的在线经验继续存入经验回放池。

48、根据本公开实施例的第二个方面,提供了一种基于状态-动作分布偏离判别与经验价值重估的机器人强化学习训练系统,包括:

49、离线数据构建与策略预训练模块,获取机器人历史运行过程中的交互数据,构建离线经验数据集,并利用所述离线经验数据集对机器人控制策略网络和价值评估网络进行预训练,得到初始控制策略;

50、分布偏离判别模块,基于所述离线经验数据集,构建用于判别机器人状态-动作对是否属于历史数据分布的状态-动作联合分布偏离判别模型;

51、在线安全探索与经验采集模块,在机器人在线运行过程中,根据当前环境状态,通过预训练得到的机器人控制策略网络生成候选控制动作,利用状态-动作联合分布偏离判别模型判别所述候选控制动作是否为分布外动作;若为分布内动作则直接执行,若为分布外动作则生成探索动作后执行;将执行动作后与环境交互产生的新经验存入经验回放池;

52、经验价值重估与自适应采样模块,构建经验价值重估网络,将经验回放池中候选经验样本的状态、动作、奖励和下一状态信息输入所述网络,通过注意力机制学习不同经验样本之间的关联关系,输出各经验样本的重要性评分,并根据所述重要性评分确定采样概率,依据所述采样概率选择训练样本;

53、联合优化及迭代更新模块,利用选择的训练样本对机器人控制策略网络和价值评估网络进行联合优化,完成一次参数更新后,将机器人新产生的交互经验继续存入经验回放池,并返回执行所述基于状态-动作联合分布偏离判别模型的在线探索与经验收集操作、所述经验价值重估网络构建与训练样本采样操作、以及所述机器人控制策略网络和价值评估网络联合优化操作,直至控制策略满足目标任务要求。

54、根据本公开实施例的第三个方面,提供了一种电子设备,包括存储器、处理器及存储在存储器上运行的计算机程序,所述处理器执行所述程序时实现所述的一种基于状态-动作分布偏离判别与经验价值重估的机器人强化学习训练方法。

55、根据本公开实施例的第四个方面,提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现所述的一种基于状态-动作分布偏离判别与经验价值重估的机器人强化学习训练方法。

56、本发明采用的以上技术方案,与现有技术相比,具有的优点是:

57、1、本发明通过构建状态-动作联合分布偏离判别模型,以离线经验数据为基准对机器人在线生成动作进行分布偏离判别,实现了分布内动作与分布外动作的精准区分;对于分布外动作,本发明通过生成受控探索动作,在保障运行安全的前提下有效拓展策略覆盖范围,解决了传统离线强化学习方法中探索盲目性与策略保守性之间的矛盾。

58、2、本发明构建的经验价值重估网络,通过注意力机制对状态、动作、奖励和下一状态进行联合建模,突破了传统单指标优先级采样方法的局限;同时,利用时序差分误差作为监督信号动态优化经验重要性评估准则,使关键样本获得更高采样概率,加速了策略收敛过程,显著提升了历史经验数据的利用效率。

59、3、本发明通过离线预训练与在线安全探索的协同机制,使机器人能够在充分利用历史运行数据、保留已有控制能力的基础上,实现面向未知任务环境的高价值行为探索,大幅减少了真实机器人训练过程中的无效交互与硬件损耗,缩短了新场景部署周期,提高了机器人任务执行成功率和自主适应能力。