用于基于控制策略的分层强化学习来控制机器人操纵器的系统和方法与流程

本公开总体上涉及机器人操纵，更具体地，涉及一种用于基于控制策略的分层强化学习来控制机器人操纵器以执行一项或更多项任务的系统和方法。

背景技术：

1、机器人操纵器广泛应用于一项或更多项任务，例如制造任务、组装任务、重复性任务、手术任务、搜救任务和采矿任务。机器人操纵器由配备有各种传感器（例如，相机传感器、触觉传感器和力传感器）的端部执行器组成，以感知环境并执行一项或更多项任务。通常，与环境相关联的一种或更多种状态可以是部分可观察的，从而导致在部分可观察环境中对机器人操纵器进行规划和控制。

2、例如，机器人操纵器被配置为执行与书架相对应的书籍放置任务。此外，书籍放置任务的完整状态由机器人操纵器的状态、端部执行器的状态、端部执行器拾取的书籍的状态、以及指示书架中书籍的姿势和书架中其它对象的姿势的书架的状态来描述。然而，由于缺乏传感器数据或遮挡，书籍放置任务的完整状态可能会变为部分可观察的状态。因此，需要控制机器人操纵器以在部分可观察状态下执行书籍放置任务。

3、此外，由于动力学不确定性、非马尔可夫决策、连续搜索空间和高计算成本，机器人操纵器在信念状态下的规划和控制具有挑战性。此外，由于突发接触会导致碰撞和滑动，富接触环境在规划和控制方面也带来了挑战。此外，机器人操纵是一个欠驱动问题，因此，在部分可观察的环境中进行机器人操纵增加了挑战。

4、与操纵器相关联的一些挑战包括配置控制器，以在部分可观察的环境中使用新对象执行长时程操纵任务。

5、一些方法使用各种经训练策略来控制机器人操纵器，以利用新对象执行长时程操纵任务。然而，由于操纵过程中对象的力学取决于对象属性，例如对象几何形状、对象尺寸、对象密度等，因此对于利用新对象的长时程操纵任务使用简单的策略是具有挑战性的。因此，由于上述挑战，在部分可观察环境中能够控制机器人操纵器的各种策略或各种控制器的训练非常具有挑战性。

6、因此，需要一种用于控制机器人操纵器以在部分可观察环境中执行一项或更多项任务的系统和方法。

技术实现思路

1、一些实施方式的目的是通过使用各种策略和各种控制器来减轻在部分可观察的环境中执行一项或更多项任务期间，在反馈控制器的机器人操纵器与机器人操纵器要操纵的对象之间发生的故障，例如碰撞、滑动等。一些实施方式的另一个目的是训练各种策略和各种控制器，以在部分可观察的环境中执行一项或更多项任务。

2、一些实施方式基于这样的理解，即，可以训练多个标称控制策略以在标称条件下执行技能动作集合，并且可以训练多个恢复控制策略以从部分可观察环境中发生的故障中恢复，并允许机器人操纵器执行任务。此外，技能动作集合中的每个技能动作对应于微任务，例如拾取任务、移动任务、旋转任务等。此外，多个高级策略中的高级策略被配置为响应于（i）标称控制策略生成使机器人操纵器转换在终止状态区域的标称动作，或（ii）响应于恢复控制策略生成将控制转移到标称控制策略的切换至标称动作，选择并执行标称控制策略。

3、此外，高级策略被配置为响应于以下项中的至少一项而选择恢复控制策略：（i）标称控制策略生成使机器人操纵器转换在故障状态区域中的标称动作，以及（ii）恢复控制策略生成与切换至标称动作不同的动作。

4、一些实施方式基于这样的认识，即，可以采用至少一个分层强化学习（hrl）算法来确定和训练用于执行一项或更多项任务的恢复控制策略。在一些实施方式中，hrl控制器可以采用至少一个hrl算法，该hrl控制器被配置为在执行标称运动控制器和执行恢复运动控制器之间切换，以执行一项或更多项任务。然而，由于需要为标称控制策略集合和恢复控制策略集合中的每个策略确定初始集合与终止集合，因此恢复控制策略的确定和训练是具有挑战性的。另外或另选地，由于规划时程较长以及与部分可观察环境相关联的部分可观察状态，经训练的恢复控制策略可能会失败。

5、为此，一些实施方式基于这样的目标，即，通过在具有模拟的全状态数据的增强动作空间中迭代执行标称控制策略集合和恢复控制策略集合来确定和训练hrl控制器，以实现指示一项或更多项任务完成的目标状态。此外，模拟的全状态数据包括模拟的机器人操纵器数据、模拟的对象数据和模拟的环境数据。此外，一些实施方式基于这样的目标，即，使用恢复控制策略集合中的经训练的恢复控制策略，在执行标称运动控制器和执行恢复运动控制器之间执行迭代切换动作以执行一项或更多项任务。

6、因此，一个实施方式公开了一种用于控制机器人操纵器执行任务的反馈控制器。反馈控制器包括用户界面、存储器和处理器。用户界面被配置为收集指示执行任务的机器人操纵器的状态的测量值的反馈信号。所述存储器被配置为存储分层强化学习（hrl）神经网络，所述hrl神经网络包括：（i）标称控制策略，所述标称控制策略被训练以基于反馈信号生成标称动作，所述标称动作将处于任务的前置条件状态区域中的机器人操纵器转换至终止状态区域；以及（ii）恢复控制策略，所述恢复控制策略被训练以基于所述反馈信号的至少一部分生成恢复动作，所述恢复动作将处于故障状态区域中的机器人操纵器转换至所述标称控制策略的前置条件状态区域，其中，所述恢复控制策略基于恢复策略奖励进行训练，以生成切换至标称动作，从而将控制转移到所述标称控制策略以执行所述任务，其中，用于训练所述恢复控制策略的所述恢复策略奖励取决于用于训练所述标称控制策略的标称策略奖励。所述处理器被配置为迭代地执行所述hrl神经网络，以从标称动作或恢复动作中的至少一个生成动作。所述处理器还被配置为使得基于所生成的动作来控制所述机器人操纵器执行所述任务。

7、另一实施方式公开了一种用于控制机器人操纵器执行任务的方法。所述方法采用联接到存储器的处理器，所述存储器被配置为存储分层强化学习（hrl）神经网络，所述hrl神经网络包括：（i）标称控制策略，所述标称控制策略被训练以基于反馈信号生成标称动作，所述标称动作将处于任务的前置条件状态区域中的机器人操纵器转换至终止状态区域；以及（ii）恢复控制策略，所述恢复控制策略被训练以基于所述反馈信号的至少一部分生成恢复动作，所述恢复动作将处于故障状态区域中的机器人操纵器转换至所述标称控制策略的前置条件状态区域，其中，所述恢复控制策略基于恢复策略奖励进行训练，以生成切换至标称动作，从而将控制转移到所述标称控制策略以执行所述任务，其中，用于训练所述恢复控制策略的所述恢复策略奖励取决于用于训练所述标称控制策略的标称策略奖励。所述处理器被配置为迭代地执行所述hrl神经网络，以从标称动作或恢复动作中的至少一个生成动作。所述处理器还被配置为使得基于所生成的动作来控制所述机器人操纵器执行所述任务。所述方法包括：收集指示执行任务的机器人操纵器的状态的测量值的反馈信号。所述方法还包括：迭代地执行所述hrl神经网络，以从标称动作或恢复动作中的至少一个生成动作。所述方法还包括：使得基于所生成的动作来控制所述机器人操纵器执行所述任务。

8、将参照附图进一步解释当前公开的实施方式。所示附图不一定是按比例绘制的，而是通常将重点放在说明当前公开的实施方式的原理上。