在动态对象环境中确定移动智能体控制策略的方法和设备与流程

1.本发明涉及在多智能体（multi-agent）和/或多动态对象环境中、特别是在其中并发智能体基于非随机行为而移动的环境中确定用于移动智能体的运动规划的合适控制策略。


背景技术：

2.基本上，在现实世界环境中，移动智能体的运动规划必须考虑展现出类似人类的或任何其他种类的智能行为的多个动态对象，诸如行人或操纵车辆的个体。用于对动态对象进行仿真的已知方法可以被归类为离散事件仿真（des）、系统动力学（sd）和基于智能体的仿真（abs），如例如在siebers, p.o.等人的“introduction to multi-agent simulation”（2008年，encyclopedia of decision making and decision support technologies，第554至564页，igi global）中所公开的那样。虽然des和abs因为它们对高级行为而不是准时移动（punctual movement）进行仿真而在机器人学中并不常见，但是sd方法更流行，并且在未来利用显式模型以用于仿真的动态对象移动。
3.如例如从helbing, d.等人的“social force model for pedestrian dynamics”（physical review，1995年，51（5），第4282页）中已知，社会力模型是对行人群组和人群进行仿真的常见选择，因为吸引力和排斥力用于对行人的运动进行仿真。可以通过修改吸引力和排斥力的增益来对动态对象的不同行为进行仿真。
4.在已知的最优互惠碰撞避免（orca）算法中，可以对多智能体系统的协作行为进行仿真，其中在假定所有动态对象表现类似的情况下，每个智能体也考虑其他智能体来优化其运动路径。然而，这种方法仅能够表示仿真期间的协作或不协作行为。


技术实现要素：

5.根据本发明，根据权利要求1的用于智能体的运动规划的计算机实现方法、以及根据进一步的独立权利要求的设备和智能体。
6.在从属权利要求中指示了进一步的实施例。
7.根据第一方面，提供了一种用于针对具有一个或多个动态对象的环境来确定用于移动智能体的适当控制策略的计算机实现方法，所述方法包括以下步骤：
‑ꢀ
提供多个不同的场景，其中多个动态对象与每一个场景相关联，其中针对每一个场景，每一个动态对象与开始、目标和行为规范相关联；
‑ꢀ
提供用于移动智能体的多个控制策略候选项；
‑ꢀ
在每一个场景中对每一个控制策略候选项进行基准测试；
‑ꢀ
取决于控制策略候选项的基准测试结果来选择用于移动智能体的控制策略。
8.可以提供的是，每个控制策略候选项对成本函数进行优化，或者是基于规则的，以优化在具有动态对象的环境中的移动智能体的运动轨迹。
9.此外，可以取决于优化问题的结果来执行在每个场景中对每一个候选项的基准测
试，以反映移动智能体1在基准测试过程中应用相应的控制策略候选项期间可能面对的动态对象的行为。优化可以重复执行，并且与正在进行的基准测试同时执行。原因在于，动态对象的确切行为（在轨迹方面）取决于移动智能体的轨迹。
10.自主移动智能体的配置通常是通过选择适当控制策略来进行的。控制策略可以在多个合适的控制策略当中选择，该多个合适的控制策略中的每一个在不同的环境中不同地执行。特别地，当环境中存在动态对象——每一个动态对象都遵循其自己的或多或少的智能策略——时，对控制策略的评估尤其困难。如果动态对象示出某种智能或甚至与移动智能体的交互，那么对控制策略的评估就特别成问题。
11.因此，动态对象可以预料移动智能体的未来运动方面的意图，使得它可以展现出某种程度的协作，以便于移动智能体履行其任务。此外，动态对象由它们自己执行某些任务，这些任务决定了它们遵循的运动模式，并且从而决定了与智能体的交互的性质和频率。在这样做的情况下，它们对照移动智能体的任务来主动权衡其任务的优先级。
12.一般来说，不需要知道控制策略实现细节就能够进行基准测试，这是因为动态对象的建模行为与其无关。因此，无论控制策略候选项是基于规则还是基于优化，基准测试都应当有效。
13.此外，动态对象可以以物理上一致的方式移动，这考虑了根据不同种类的动态对象（诸如，行人、车辆等）的速度、加速度、枢转极限的物理限制。此外，该行为还可以包括多个动态对象作为团队的协作来实现某个任务，或者可能与移动智能体协作。
14.一般来说，在配置移动智能体时、尤其是对于控制策略的选择而言，环境的具体设置——包括多个动态对象的设置和任务，诸如它们的个体控制策略、它们的开始和它们的目标位置——不是已知的。因此，上述方法利用模型预测性控制来应用对用于控制移动智能体的控制策略的基准测试，以便于考虑环境中的动态对象的智能行为。基准测试使用基于成本函数的模型预测性控制，该成本函数考虑了动态对象的动作策略。动作策略由行为指示符来指示，该行为指示符指示了根据智能行为，动态对象的存在和移动对移动智能体的运动规划的影响。特别地，行为指示符是用于对相应动态对象的协作、中立或破坏行为进行关联的量度。
15.此外，动态对象的行为也遵循成本函数，当评估控制策略的基准测试时，在移动智能体的成本函数中也可以考虑这一点。特别地，所有动态对象的阶段成本是以加权方式考虑的。对动态对象的成本函数进行加权允许通过实现有效的模型预测性控制算法来调整从个体动态对象所预期或已知的不同协作性水平。
16.此外，控制策略候选项可以包括以下各项中的至少一些：动态窗口方法、弹性带和定时弹性带。
17.可以规定的是，基准测试的结果是每一个控制策略候选项的基准测试指示符，该基准测试指示符是一个或多个关键性能指示符的函数，这些关键性能指示符可以包括以下各项中的至少一个：不同智能体之间的最小距离、分别完成任务或达到目标的总时间、去往要遵循的期望路径的距离度量、控制工作量度量、每一个场景的能量消耗——特别是针对每个个体控制策略候选项的场景的所有成本值的平均值。
附图说明
18.结合附图更详细地描述了实施例，在附图中：图1示意性地示出了限制性环境中的不同行动者的图示，其中移动智能体将考虑其他动态对象的预测性移动而移动到目标；以及图2是图示了用于确定适当控制策略的方法的流程图。
具体实施方式
19.图1示出了移动智能体1的系统，移动智能体1具有通过环境e从位置a移动到位置b的任务。在环境e中，动态对象2、3、4可以移动，从而执行它们自己的任务。动态对象2、3、4可以是另外的移动智能体或个体，各自均示出一种智能任务驱动行为。动态对象2、3、4的智能行为可以遵循考虑了移动智能体1和/或其他动态对象2、3、4的动作的策略。
20.移动智能体1可以具有如图1中示意性示出的配置。移动智能体1具有控制单元11，该控制单元11除其他外还被配置成执行随后描述的方法，并且控制智能体1沿着规划轨迹的移动。
21.控制单元11可以具有微处理器或微控制器、以及用于存储数据和算法代码的存储器。此外，移动智能体1具有用于与环境交互的致动单元12，例如致动单元12可以包括牵引电机，该牵引电机用于驱动移动智能体1的轮子以使移动智能体1在环境e中移动。致动单元12由控制单元11控制。
22.此外，移动智能体1可以包括传感器系统13，传感器系统13用于感测环境e，特别是检测可以允许移动智能体1在环境中的定位的其他对象和结构、以及标识环境e中的动态对象以及其姿态。传感器系统13可以包括雷达、激光雷达和/或相机，以扫描移动智能体1周围的环境e。
23.当配置这种移动智能体1时，必须选择并安装控制策略，该控制策略允许移动智能体1在环境e中自主地执行其任务。控制策略应当已经实现了碰撞避免/处理，以防止其中与另一动态对象的碰撞很有可能的运动轨迹、和/或应对碰撞。
24.在对移动智能体的导航算法的基于仿真的基准测试中，一般难以对动态对象2、3、4的行为进行有效建模。动态对象2、3、4中的每一个的这种行为可能有助于或者实际上干扰移动智能体1的任务的执行。
25.为了确定用于移动智能体1的适当控制策略，例如在数据处理系统上执行一种方法，如图2的流程图中更详细地描述的那样。控制策略应适配于具有一个或多个动态对象2、3、4的给定环境，动态对象2、3、4中的每一个可以具有由其自己的控制方案确定的其自己的行为。当涉及到对其运动的干扰和/或与移动智能体1的潜在碰撞时，这些行为或多或少取决于移动智能体1的运动。
26.在步骤s1中，提供了多个不同的场景，其中多个动态对象2、3、4在环境e中被分配给每一个场景。针对动态对象2、3、4中的每一个，其与运动任务的开始s和目标g、表征其相应动作的策略并且由行为指示符指示的行为相关联。
27.在步骤s2中，做出用于基准测试过程的设置，其中提供了用于移动智能体1的多个控制策略候选项，其中每个控制策略候选项可以应用成本函数来优化移动智能体1在具有动态对象2、3、4的环境中的运动轨迹，或者应用基于规则的策略。控制策略候选项可以包括
弹性带（eb）、动态窗口方法（dwa）、定时弹性带（teb）。
28.优化可以重复执行，并且可以与正在进行的基准测试同时执行。原因在于，动态对象2、3、4的确切行为（在轨迹方面）取决于移动智能体1的轨迹。
29.基本上，eb、dwa和teb旨在规划移动智能体1沿着给定范围（horizon）的运动，同时最小化给定成本函数并且同时遵守移动智能体1的基诺动力学（kinodynamic）约束。在向移动智能体1命令第一控制动作之后，连续地重复优化，这在控制理论中被称为模型预测性控制。由于需要计算最优解，因此上面指示的方法利用不同的优化策略来近似出最优解。
30.dwa执行基于样本的优化。它对控制动作进行采样，并且通过根据基于智能体运动模型的指定范围长度对这些特定采样动作进行仿真来推出（roll out）这些特定采样动作的轨迹。在推出针对所有样本的预测之后，基于指定的成本函数和约束来选择最佳运动轨迹。
31.teb主要尝试寻求时间最优解。该方法在时间方面离散化沿着预测范围的轨迹，并且应用连续的数值优化方案。teb能够同时优化不同拓扑中的多个轨迹，以便找到该解。由于该方法依赖于连续优化，因此成本函数必须是平滑的。
32.在步骤s3中，在具有不同种类/行为的动态对象2、3、4的场景中对每一个控制策略候选项进行基准测试。动态对象2、3、4的行为由如下面介绍的最优控制问题所定义和调整。它可以描述动态对象2、3、4的不同协作性程度。
33.可以取决于预定义的关键性能指示符对每一个控制策略候选项进行基准测试，该关键性能指示符表示例如不同智能体之间的最小距离、分别完成任务或达到目标的总时间、去往要遵循的期望路径的距离度量、控制工作量度量、多个场景中的每一个中的能量消耗等（诸如取决于完成给定任务的时间）。
34.基于优化问题来确定关键性能指示符，以反映移动智能体1在基准测试过程中应用控制策略候选项期间可能面对的动态对象2、3、4的“类似智能”行为。
35.令标示动态对象2、3、4的系统模型在时间步长k处的状态，标示其控制自由度，并且标示对相关环境方面（诸如，无碰撞空间）进行编码的参数集合。此外，针对包括移动智能体1和动态对象2、3、4的集合，外部行动者标示行动者的状态，并且标示其控制自由度。例如，针对动态对象2，外部行动者由1、3和4来标示。动态对象的动态行为由差分方程来管控，该模型可以被认为是装置（plant）的完美表示。令动态对象i的动态行为由差分方程来管控，在仿真环境中，移动智能体1和动态对象2、3、4可能不是确切已知的，例如由较高保真度模型来管控。
36.待确定的最优控制策略由成本函数j来定义，该成本函数j由以下各项组成：阶段成本和终端成本的总和；相应动态对象2、3、4的差分方程；不等式约束的向量场；以及针对每个行动者的最小化/优化问题所描述的其他行动者的行为模型。不等式约束可以编码例如所有行动者之间在彼此和环境（由e来编码）之间的相互碰撞避免，但是它们还指定了移动智能体1和其他动态对象2、3、4的物理极限（加速度、速度、转向角等）。考虑下面的（双级）最优控制
问题的结构：其中从动态对象2的角度来看，、分别表示自我车辆（动态对象2）和外部行动者（移动智能体1和动态对象3、4）的当前测量或估计的状态。每个动态对象2、3、4求解该优化问题。相应动态对象的自我状态由标示。变量标示“外部行动者”相对于相应动态对象2、3、4的状态，这包括移动智能体1。特别地，轨迹标示由其他智能体的目标、动力学和约束的近似所驱动的其他智能体的预期行为。
37.在所示的示例中，如果应从动态对象2的角度进行优化。外部行动者是移动智能体、动态对象3和动态对象4。同样，从动态对象3的角度来看，外部行动者是移动智能体1、动态对象2和动态对象4。
38.目的是使该最优控制问题的解展现出动态对象的期望可调整行为。如果例如动态对象意识到正在由移动智能体1和其他动态对象优化的成本函数，或者它至少具有其合理的近似。例如，阶段k的阶段成本可以被定义为使用加权系数的所有智能体的隔离阶段成本的加权总和：其中标示动态对象的阶段成本，当该成本函数被最小化时，该动态对象将有效地实现该任务，而标示外部行动者的（估计）阶段成本。该成本函数可以有效地编码不同种类的协作行为，考虑到行动者指代基准测试移动智能体1，示例包括：
‑ꢀ
协作行为：。
‑ꢀ
不协作（贪婪）行为：。
‑ꢀ
破坏基准测试机器人：、以及。
‑ꢀ
是通过某种优先级分配方案来选择的。
39.通过查询仿真器的全局状态，可以假设动态对象具有其自身的当前状态和其他行动者的当前状态的完美知识。类似地，针对环境e的状态，可以无限制地查询仿真器的全局状态。模型预测性控制算法基于动态对象、外部行动者和环境的新状态、以例如10hz的固定控制速率来求解上述方程中的最优控制问题。每一次其应用时，它仅执行优化
轨迹的第一部分，如在模型预测性控制中常见的那样。
40.在步骤s4中，取决于控制策略候选项的基准测试结果来选择用于移动智能体1的控制策略。基准测试的结果可以是每一个控制策略候选项的基准测试指示符，其中借助于每一个场景的优化成本值的给定函数来获得基准测试指示符，诸如针对每个个体控制策略候选项的场景的所有成本值的平均值。对于动态对象的每个场景和行为而言，基准测试的结果可能不同。
41.在步骤s5中，移动智能体1被提供有所选择的控制策略并且与其一起操作。
42.最后，针对意图用例具有最佳基准测试结果的控制策略候选项可以用于移动智能体1的配置。