一种基于任务阶段感知与任务进度估计的机器人强化学习密集奖励生成方法

本发明涉及人工智能与机器人控制，尤其是涉及一种基于任务阶段感知与任务进度估计的机器人强化学习密集奖励生成方法。

背景技术：

1、近年来，随着人工智能及机器人技术的迅猛发展，机器人自主操作技术已广泛应用于工业制造、智能物流、家庭服务及医疗辅助等领域。强化学习（reinforcementlearning，rl）通过让机器人与环境不断交互，利用奖励信号指导策略优化，使机器人能够自主学习复杂的操作技能。然而，对于抓取、装配、搬运等长时序、多阶段的复杂机器人任务，奖励函数的设计将直接影响强化学习的训练效率与最终性能。

2、目前，大多数机器人强化学习环境采用稀疏奖励（sparse reward）机制，仅在任务最终完成时才给予成功奖励，导致机器人在训练初期难以获得有效的反馈信号，存在训练效率低、样本利用率差以及策略收敛速度慢等问题。为了改善上述问题，通常的做法是采用人工设计的密集奖励（dense reward）函数。该类方法依据人工先验知识，对机器人完成任务过程中的多个中间状态设计奖励项（例如目标距离奖励、抓取奖励、姿态奖励、放置奖励及碰撞惩罚等），并将这些奖励项加权求和，为机器人提供连续的学习信号。然而，这类人工设计方法高度依赖专家经验，泛化能力差，面对复杂长时序任务时，需要人为设计大量的中间奖励，设计过程极其繁琐且难以覆盖所有任务状态；同时，一旦任务环境发生改变，原有的奖励函数往往无法直接迁移，需要重新调整奖励结构，适应性较弱。

3、为了减少对人工奖励设计的依赖，研究人员进一步提出了基于视觉表示学习或专家演示学习的奖励建模方法。该类方法通常采集专家演示视频，利用深度神经网络提取视觉特征，并依据当前状态与目标状态之间的特征距离计算奖励。部分方法会引入时间顺序约束或阶段信息以提升奖励的连续性。然而，现有的大多数基于视觉表示的方法主要依据视觉特征的相似性构建奖励，缺乏对机器人任务执行过程中任务阶段结构及任务进度的精确显式建模，对于复杂长时序任务难以生成连续、准确的奖励信号。此外，在具体执行过程中，同一视觉状态在不同任务阶段下往往具有完全不同的语义信息，而现有方法通常采用统一的奖励模型进行估计，导致奖励精度不足；同时，任务进度估计容易缺乏连续性约束，出现奖励波动和回退现象。更严重的是，当机器人探索到训练数据分布之外（out-of-distribution，ood）的状态时，现存的奖励模型容易产生错误的奖励估计，从而引发“奖励欺骗”问题，严重影响强化学习策略的稳定训练及最终性能。

4、因此，如何构建一种能够充分利用专家演示信息、自动构建并识别任务阶段、连续估计任务进度，并且能够有效提高在分布外状态下奖励模型可靠性的机器人强化学习密集奖励生成方法，已成为目前机器人强化学习领域亟待解决的重要技术问题。

5、需要说明的是，在上述背景技术部分公开的信息仅用于对本技术的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本发明要解决的技术问题是“现有基于视觉演示的奖励生成方法在长时序任务中，难以生成具有任务进程连贯感知和分布外状态容错能力的密集奖励信号，导致强化学习策略易被奖励误导且难以稳定收敛”。

2、本技术解决上述技术问题所采用的技术方案如下。

3、本技术提供一种基于任务阶段感知与任务进度估计的机器人强化学习密集奖励生成方法，包括如下步骤：

4、s1.获取机器人执行目标任务的专家演示数据；

5、s2.基于专家演示数据，训练奖励模型，奖励模型被配置为能够识别任务阶段信息并估计任务阶段内的任务进度信息；

6、s3.接收机器人在与环境进行强化学习交互的过程中产生的当前观测数据；

7、s4.将当前观测数据输入至训练后的奖励模型，以获得对应的任务阶段信息以及任务进度信息；

8、s5.基于任务阶段信息和任务进度信息，生成密集奖励信号；

9、s6.对密集奖励信号进行校验修正，其中，校验修正通过计算当前观测数据与专家演示数据的特征分布的统计偏差实现；

10、s7.将经过校验修正后的密集奖励信号作为环境奖励，用于优化机器人的控制策略。

11、在一些实施例中，步骤s2中，专家演示数据包括视觉观测序列、动作序列，以及视觉观测序列中每一视觉观测所对应的任务阶段标签；

12、奖励模型包括任务阶段识别网络和任务进度估计网络；任务阶段识别网络输出各任务阶段的概率分布作为任务阶段信息，任务进度估计网络输出任务阶段内的任务完成进度值作为任务进度信息。

13、在一些实施例中，步骤s2中，训练奖励模型基于多目标联合优化策略实现，多目标联合优化策略的损失函数包括：任务阶段识别网络的交叉熵损失与任务进度估计网络的回归损失，以及以下约束损失中的至少一种：保证任务进度估计时序一致性的排序损失、保证任务进度估计增强鲁棒性的一致性损失、以及保证任务进度估计单调性的单调性约束损失。

14、在一些实施例中，步骤s5包括：基于任务阶段信息计算任务阶段奖励分量；基于任务进度信息计算任务进度奖励分量；融合任务阶段奖励分量和任务进度奖励分量，生成密集奖励信号；

15、任务阶段信息包括任务阶段标签对应的阶段编号，任务进度信息包括任务阶段内的任务完成进度值；

16、基于任务阶段信息计算任务阶段奖励分量，通过以下公式实现：

17、

18、其中，表示任务阶段奖励分量，表示任务阶段标签对应的阶段编号，表示任务阶段总数；

19、基于任务进度信息计算任务进度奖励分量，通过以下公式实现：

20、

21、其中，表示任务进度奖励分量，表示任务阶段内的任务完成进度值，表示任务阶段总数。

22、在一些实施例中，生成密集奖励信号的步骤包括：若机器人成功完成目标任务，则= r，其中 r 为预设的终止奖励；否则，=+。

23、在一些实施例中，步骤s6包括：

24、s61.计算当前观测数据的特征与专家演示数据的特征分布之间的马氏距离；

25、s62.基于马氏距离，确定当前可信度权重；

26、s63.对任务阶段信息进行校正，得到校正后的任务阶段信息：当马氏距离未超过预设阈值时使用当前可信度权重对任务进度信息进行修正；当马氏距离超过预设阈值时，对任务阶段信息进行重置或保守估计；

27、s64.基于校正后的任务阶段信息，对密集奖励信号进行校验修正。

28、在一些实施例中，基于马氏距离，确定当前可信度权重，通过以下公式实现：

29、

30、其中，表示当前可信度权重，表示马氏距离，表示调节参数，表示sigmoid函数。

31、在一些实施例中，使用当前可信度权重对任务进度信息进行修正，包括：基于当前观测数据的特征，从专家演示数据中检索得到参考进度值；通过以下公式进行修正：

32、修正后的任务进度信息=

33、其中，表示由奖励模型估计得到的任务进度信息，表示参考进度值，表示当前可信度权重。

34、在一些实施例中，还提供一种基于任务阶段感知与任务进度估计的机器人强化学习密集奖励生成系统，包括：

35、专家演示数据构建模块，用于获取机器人执行目标任务的专家演示数据；

36、奖励模型构建模块，用于基于专家演示数据训练奖励模型，奖励模型被配置为能够识别任务阶段信息并估计任务阶段内的任务进度信息；

37、密集奖励生成模块，用于接收机器人在与环境进行强化学习交互的过程中产生的当前观测数据；将当前观测数据输入至训练后的奖励模型，以获得对应的任务阶段信息以及任务进度信息；基于任务阶段信息和任务进度信息，生成密集奖励信号；对密集奖励信号进行校验修正，其中，校验修正通过计算当前观测数据与专家演示数据的特征分布的统计偏差实现；输出经过校验修正后的密集奖励信号作为环境奖励；

38、强化学习训练模块，用于接收环境奖励，并基于此优化机器人的控制策略。

39、在一些实施例中，还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本发明的机器人强化学习密集奖励生成方法。

40、本发明具有如下有益效果：

41、本发明提供的一种基于任务阶段感知与任务进度估计的机器人强化学习密集奖励生成方法，通过获取机器人执行目标任务的专家演示数据，为整个技术方案提供了可靠的数据基础；通过基于专家演示数据训练奖励模型，使奖励模型被配置为能够识别任务阶段信息并估计任务阶段内的任务进度信息，使得该奖励模型能够感知任务的时间序列进程，从而为精细化的奖励生成提供了准确的状态表征依据；通过在机器人与环境交互过程中接收当前观测数据并将当前观测数据输入至训练后的奖励模型以获得对应的任务阶段信息以及任务进度信息，实现了在线推理阶段对机器人具体执行进度的实时精准获取；通过基于任务阶段信息和任务进度信息生成密集奖励信号，使得密集奖励信号能够同时反映机器人所处的宏观阶段和微观阶段内进度，从而生成具有连续性且符合任务逻辑的密集优化信号；通过对密集奖励信号进行校验修正，且校验修正通过计算当前观测数据与专家演示数据的特征分布的统计偏差实现，使得系统能够在机器人处于非专家演示覆盖状态时，依据统计偏差准确识别出潜在的错误奖励风险，并对密集奖励信号进行有效纠偏；最终，将经过校验修正后的密集奖励信号作为环境奖励，用于优化机器人的控制策略。

42、显然，本发明上述技术方案各个特征之间相互配合、协同作用，共同实现了完全自动化地生成具有强连贯性、高可靠性、且具备分布外状态容错能力的密集奖励信号，彻底摆脱了对人工设计奖励函数的依赖，最终实现了稳定、高效、精准地优化机器人的控制策略的有益效果，显著提升了强化学习在长时序复杂任务中的训练成功率和策略的鲁棒性。

43、本发明的其他有益效果将在下文中进一步述及。