计算机实施的创建用于运行移动智能体的环境地图的方法与流程

1.本发明涉及自主控制在运动区域之内的移动智能体（eines mobilen agenten）的领域。尤其是，本发明涉及用于对环境中的移动智能体进行定位的方法。


背景技术：

2.移动智能体对于许多应用而言是已知的。在此，移动智能体要在配备有界限（墙壁）和障碍物（对象）的环境中独立运动。这样的移动智能体例如可以包括机器人、车辆、自主清洁机器人、自主割草机和这一类的。
3.如下能力是针对在通过传感器数据定义的环境之内的运动路径的轨迹规划的基础：确定在该环境中的移动智能体的准确姿态（位置和定向），和确定与准确姿态关联的环境地图。
4.用于创建环境地图的传统行为方式设置了，使用移动智能体的环境检测传感装置，所述环境检测传感装置例如可以包括激光雷达系统、摄像机、惯性传感装置、量距传感装置（odometriesensorik）和这一类的。为了创建环境地图，移动智能体在通常情况下以受控的方式或者自动地运动，并对环境检测传感装置的传感器数据进行评估，以便创建环境地图。
5.用于创建环境地图的传统方法设置了，应用所谓的slam算法，该slam算法处理环境检测传感装置的所记录的数据，并据此确定移动智能体的姿态，而且确定相对应的环境地图。


技术实现要素：

6.根据本发明，设置了根据权利要求1所述的一种用于定位在环境之内的移动智能体的方法，以及设置了根据并列的权利要求所述的一种用于定位移动智能体的设备、一种用于控制环境中的移动智能体的设备以及一种移动智能体。
7.其他构建方案在从属权利要求中予以说明。
8.根据第一方面，设置了一种用于基于环境中的移动智能体的姿态来运行该移动智能体的方法，其中利用下列步骤来执行对移动智能体的定位：
‑ꢀ
检测关于位于环境中的墙壁和/或对象的传感器数据，其中所述传感器数据说明墙壁和/或对象在相对于智能体固定的（agentenfesten）智能体坐标系中的对齐和距离；
‑ꢀ
在考虑曼哈顿定向（manhattan-orientierung）的情况下，借助slam算法确定环境中的移动智能体的姿态。
9.用于定位移动智能体的slam算法、也就是说用于确定在环境之内的移动智能体的绝对姿态的slam算法的根本缺点在于，所检测到的传感器数据的漂移累积。尤其是，由于耦合，关于所确定的定向的检测误差造成移动智能体的被耦合的位置的极大漂移。虽然定向漂移可以通过直接测量对齐来得到补偿，可是这种直接测量对齐在通常情况下只通过罗盘仪测量而是可能的，所述罗盘仪测量在很多情形下是不可用的，尤其是在应用在建筑物中
或者在由于杂散磁场而强烈地被加负荷的环境中是不可用的。
10.上述的方法设置了，将slam算法与曼哈顿世界的假设相结合。曼哈顿世界概念在于，许多人工环境都具有规则的结构，尤其是许多墙壁彼此平行或者成直角，并且墙壁通常在较长路段上直线地伸展，而且是平坦的。例如，曼哈顿世界概念在出版文献b. beasley等人的“accurate on-line 3d occupancy grids using manhattan world constraints”（2012年，ieee/rsj international conference on intelligent robots and systems，维拉摩拉（vilamoura），第5283至5290页）中是已知的。
11.此外，slam算法可以设置与传感器数据的测量误差有关的误差函数的最小化，所述误差函数与曼哈顿定向有关。
12.根据一个实施形式，slam算法可以对应于基于具有节点和边的slam图的基于图的slam算法，其中所述slam图具有分别说明移动智能体的从传感器数据中确定的姿态的姿态节点，并且具有在各两个姿态节点之间的变换边，其中变换边说明在与各两个姿态节点关联的姿态之间的从传感器数据中所确定的姿态变化，其中根据曼哈顿定向，添加曼哈顿节点和在该曼哈顿节点与姿态节点之一之间的至少一个曼哈顿边。
13.此外，slam算法可以使用从slam图中确定的误差函数，与节点和边关联的误差概率考虑所述误差函数，其确定与slam图的节点关联的经过修正的姿态。
14.原则上，本方法设置了，对用于2d环境的传统slam算法进行改进。传统slam算法可以构建为基于图的slam算法，并设置了创建如下图：所述图具有姿态节点和在各两个姿态节点之间的变换边。姿态节点表示移动智能体的通过环境检测传感装置检测到的姿态，并且变换边表示在移动智能体的两个不同姿态之间的所测量的姿态变化。关于参考坐标系来说明姿态，所述参考坐标系关于环境是位置固定的。
15.由于噪声或者另外的测量误差，不可能的是，确切地分解这些图，使得移动智能体的通过姿态节点说明的姿态与移动智能体的通过变换边说明的所测量的运动相一致。替代于此地，所确定的姿态和运动利用误差概率来说明，并且为了确定移动智能体的确切姿态而使误差函数最小化，所述误差函数关于所有变换边求和。尤其是，借助传统的优化方法、如例如高斯-牛顿（gauss-newton）或者莱文贝格-马夸特（levenberg-marquardt），进行最小化。
16.基于曼哈顿世界概念，可以给图添加其他节点和边。针对在检测步骤中的有效的曼哈顿定向的每次确定，可以将曼哈顿节点和在姿态节点之一与所涉及的曼哈顿节点之间的曼哈顿边插入到slam图中。那么，随后的用于最小化误差的优化算法使用附加的边界条件，所述附加的边界条件通过曼哈顿定向预先给定，以便不仅确定每个姿态节点的姿态。那么，参考坐标系统可以被对齐到曼哈顿定向上。
17.上述的方法能够实现，在每个检测周期中探测曼哈顿定向，以便确定曼哈顿定向作为在从-45
°
直至 45
°
的范围中的角度。
18.尤其是，上述的方法不需要参考之前的检测周期，并且也可以被应用于仅部分对应于曼哈顿世界的环境中。通过明确地图示曼哈顿定向，可能的是，将参考坐标系对齐到曼哈顿定向上，以便这样提供与参考坐标系对齐的环境地图。通过不断地重新评价传感器数据，取消用于找到与之前的检测周期的配对物的方法。
19.此外，可以从传感器数据中确定点集，所述点集说明所检测到的墙壁和/或对象的
坐标，其中该点集中的点被联合成彼此相邻的局部单元，其中曼哈顿归一化被应用到如下那些单元：所述单元具有带有直线的或者90
°
结构的单元定向，其中曼哈顿定向根据在局部单元中的直线结构的主导定向来确定。
20.尤其是，为了确定这些单元的主导定向，可以针对一个单元的每个单元定向都确定与所有另外的单元定向的相似性，并且针对每个单元确定相似性度量（例如作为l2间距），尤其是确定为由相应的单元关于其余单元的相似性构成的和，其中曼哈顿定向对应于这些单元中的根据相似性度量所选择的一个单元的单元定向，尤其是该单元的相似性度量是最大的。
21.此外，根据在单元定向中的各两个单元定向之间的经过曼哈顿归一化的定向差，可以执行相似性的确定，其中尤其是根据负的经过曼哈顿归一化的差的指数函数来确定这些相似性。
22.可以设置，只有当这些单元的预先给定数目以上的单元定向位于经过曼哈顿归一化的与确定的曼哈顿定向的定向差之内，那么才考虑所述确定的曼哈顿定向。
23.根据一个实施形式，可以借助移动智能体的当前姿态来确定环境地图，其中移动智能体根据环境地图来运行。例如，环境地图和移动智能体的姿态可被用于根据轨迹规划问题进行轨迹规划。
24.根据其他方面，设置了一种用于基于环境中的移动智能体的姿态来运行该移动智能体的设备、尤其是控制单元，其中该设备构造为，利用下列步骤来执行对移动智能体的定位：
‑ꢀ
检测关于位于环境中的墙壁和/或对象的传感器数据，其中所述传感器数据说明墙壁和/或对象在相对于智能体固定的智能体坐标系中的对齐和距离；
‑ꢀ
在考虑曼哈顿定向的情况下，借助slam算法确定环境中的移动智能体的姿态。
25.根据其他方面，设置了一种移动智能体，该移动智能体具有上述设备、用于提供传感器数据的环境检测传感装置并且具有运动致动装置，所述运动致动装置构造为，以便使移动智能体运动。
附图说明
26.随后，依据所附的附图更详细地阐述了实施形式。
27.图1示出了在要检测的环境之内的移动智能体的示意图；图2示出了用于阐明用于确定在环境之内的移动智能体的姿态的方法的流程图；图3示出了如下图的示意图：所述图在slam算法的范围中被创建，以便确定移动智能体的姿态；图4示出了用于阐明曼哈顿定向的确定的流程图；图5a示出了通过传统的slam算法检测环境地图的示意图，以及图5b示出了在考虑曼哈顿世界概念的情况下基于slam算法的所检测到的环境地图的图示。
具体实施方式
28.图1示出了在利用墙壁2和对象3定义的环境中的移动智能体1的示意图。该环境对
应于典型的环境，如其对于室内房间、工厂车间或者城市地区常见的那样，并且具有彼此平行地和/或彼此成直角地伸展的墙壁和/或对象边。
29.移动智能体1具有控制单元11，以便控制该移动智能体1。此外，移动智能体1具有环境检测传感装置12，以便关于智能体坐标系a来检测围绕着的墙壁和对象2、3的方向和间距。此外，移动智能体1具有运动致动装置13，以便使移动智能体1根据要实施的功能在环境之内运动。
30.环境传感装置12可以具有下列传感器装置中的至少一种：激光雷达装置、雷达装置、激光扫描装置、摄像机、惯性传感装置、量距传感装置和这一类的。根据视所使用的传感器装置而定的预处理，在控制单元11中处理传感器数据，使得关于智能体坐标系a可以确定并提供墙壁或者对象2、3的对齐和距离。为了确定环境地图，确定移动智能体1相对于位置固定的参考坐标系k的姿态。接着，从在移动智能体1的智能体坐标系a与参考坐标系k之间的位置偏移中，并且从在智能体坐标系与参考坐标系之间的旋转差中，得到移动智能体1的姿态。
31.从移动智能体1在参考坐标系中的姿态中，接着可以基于传感器数据来确定墙壁2和对象3在智能体坐标系中的经过修正的位置。
32.为了确定说明墙壁2和对象3在参考坐标系中的位置的环境地图，并且为了确定移动智能体1的当前姿态，在控制单元11中实施如结合图2的流程图更详细地阐述的方法。该方法可以实施为控制设备中的软件和/或硬件算法。在下文，示例性地针对二维环境来描述该方法。
33.在步骤s1中，借助环境检测传感装置12，在检测步骤中检测传感器数据，所述传感器数据从移动智能体1的角度说明一个或者多个墙壁和对象2、3的方位（关于代理坐标系的距离和定向）。传感器数据逐点地说明与墙壁2和障碍物/对象3在相应的定向上的距离的测量坐标，使得可以从（相对于代理坐标系的）对齐角度和距离中确定所涉及的墙壁或者所涉及的对象3关于移动代理1的相对位置。例如借助激光雷达检测和量距检测，可以确定传感器数据。
34.在步骤s2中，选择或更新参考坐标系。参考坐标系根据可参数化的标准来选择。为此，当已发生了移动智能体的运动时，更新参考坐标系。通过选择参考坐标系，传感器数据可以与固定的位置关联。优选地，只有当已发生了移动智能体的运动时，那么才更新参考坐标系。
35.起初，参考坐标系可以通过移动智能体1的起始姿态来定义。当移动智能体1相对于当前的、最后有效的参考坐标系的姿态变化超过阈值（例如2m或者60度）时，重新选择参考坐标系。接着，经过更新的参考坐标系处于移动智能体1的当前姿态中。
36.随后，创建或扩展slam图，如其示例性地在图3中示出的那样。创建slam图，以便通过优化来确定每个姿态节点的最佳姿态。
37.为此，在步骤s3中，在选择了参考坐标系之后，姿态节点p（椭圆）被添加给slam图。姿态节点p表示移动智能体1相对于所选择的参考坐标系的所测量的姿态。通过移动智能体1的在智能体坐标系中确定的姿态和在智能体坐标系与参考坐标系之间的变换（智能体坐标系的原点的位置及其定向），确定所测量的姿态。变换例如可以通过旋转矩阵
和位置偏移来确定。移动智能体1的姿态通过如下向量来定义：（也就是说3个值），其中。
38.除了姿态节点p，slam图具有变换边tk。变换边tk（方块）在步骤s4中被添加，并且分别连接两个姿态节点i和j，定义姿态和和，并且可通过向量来说明，其中关于旋转r和平移t适用下列内容：，其中其中，其中或和给slam图添加变换边tk，所述变换边tk可以从量距测量和对已经启动的姿态的查明中得到。所述变换边tk示出在两个姿态节点p之间的所测量的相对变换，尤其是示出slam图中的在当前姿态节点p与一个或者多个以前达到的姿态节点之间的所测量的相对变换。
39.此外，在识别出移动智能体1的以前驶向的（angefahrenen）位置时，环路边s（环形闭合（loop-closure）边）可被插入在两个相对应的姿态节点p之间，同一位置和/或定向可以与所述两个相对应的姿态节点p关联。环路边s可以相对应地说明如下变换：所述变换对应于为0的位置变化和为0
°
的旋转变化。
40.这种环路可以以多级的方法来识别。在第一步骤中，标识出如下节点：例如当所述节点的间距未超出阈值（例如1米）时，所述节点根据其当前的所估计的姿态是环路边的潜在候选节点。在第二步骤中，通过扫描匹配方法（scan matching methode），确定在潜在候选节点之间的最优变换。在第三步骤中，例如通过谱聚类（spectra clustering）方法，检查所有到目前为止确定的潜在候选节点的相互一致性。只有在检查成功时，潜在候选节点才作为环路边被插入到图中。该方法的示例性实施方案例如在edwin b. olson的（2008年）
ꢀ“
robust and efficient robotic mapping”（博士学位论文（ph. d. dissertation），麻省理工学院（massachusetts institute of technology），剑桥（cambridge），ma，usa）中予以详尽地描述。
41.在步骤s5中检查，是否可探测到曼哈顿定向。为此，实施如结合图4的流程图随后更详尽地示出的方法。根据对曼哈顿定向的探测，给slam图添加曼哈顿节点mk和曼哈顿边m。
42.在步骤s6中，执行slam图的优化，如例如在grisetti，g.等人的“a tutorial on graph-based slam”（ieee intelligent transportation systems magazine，2.4（2010），第31至43页）中所描述的那样。执行优化方法是必要的，因为传感器数据带有噪声或者带有测量误差，使得不存在针对slam图的确切的解决方案。替代于此，误差函数被最小化，所述误差函数对应于关于所有边的和函数，其中例如对于每个边i、j，误差函数被定义为，其中、对应于姿态节点i、j的姿态，并且对应于变换边ij的运动测量。总误差函数对应于
，其中对应于与测量关联的协方差的逆。
43.借助传统的优化算法，如例如高斯-牛顿或者莱文贝格-马夸特，使误差函数最小化。优化方法的结果是移动智能体1的针对该图的姿态节点经过修正的姿态。因此，移动智能体1在参考坐标系中的当前姿态可以从最后添加的姿态节点p中来确定，并且必要时可以基于传感器数据来创建环境地图。现在，基于环境地图和移动智能体1的当前姿态，可以以本身已知的方式进行轨迹规划。
44.在图4中是流程图，用于阐明将曼哈顿世界概念整合到前面描述的方法中，以在参考坐标系k和环境地图的位置中定位移动智能体1。
45.在步骤s11中检验，是否存在曼哈顿定向。为此，传感器数据被分组为单元中的墙壁2或者对象3的检测位置的点云。例如，这些单元可以具有为例如1m
×
1m或者这一类的预先给定的大小。对于所有这样的包含至少三个检测点的单元，计算这些点的平均值和协方差矩阵。这基于本身已知的方法进行，并且例如作为用于所谓的基于ndt的扫描匹配方法的基础而在biber, w.等人的“the normal distributions transform：a new approach to laser scan matching”（proceedings 2003，ieee/rsj international conference on intelligent robots and systems（iros 2003），第3卷，2003年）中予以描述。
46.在步骤s12中，确定具有有棱角的结构的单元。为此，确定协方差矩阵的特征值。只有在最大特征值与最小特征值之间的比大于预先给定的阈值（如例如100）的单元被保留为所选出的单元。
47.在步骤s13中检验，这些所选出的单元的数目是否小于预先给定的阈值。如果情况如此（替选地：是），则该方法结束，而无需确定曼哈顿定向，并且随着跳转到步骤s5而继续图2的方法。要不然（替选地：否），以步骤s14继续该方法。
48.在步骤s14中，所述单元的定向从其相应的特征向量（ex，ey）中来计算，根据最大特征向量被计算为a=atan2（ey，ex）。
49.接着，在步骤s15中，定向被归一化到从-45
°
直至 45
°
的中间范围上。这种归一化在通常情况下被称为曼哈顿归一化，并且通过加上或者减去90
°
角或者其多倍进行。
50.在步骤s16中，从所选出的单元的所计算出的单元定向的组中计算出曼哈顿定向作为主导定向。这可以利用各种方法进行。
51.例如，根据一种方法，可以为每个单元定向计算与另外的定向的相似性s。在所选出的单元的定向之间的相似性分别被计算，例如根据被计算为在所述单元的经过曼哈顿归一化的定向之间的角间距d，其中σ可以是所选择的参数。紧接着，通过对所有相似性s求和，确定关于一个单元的相似性值。
52.具有最高相似性值的单元定向被规定为针对该检测周期的曼哈顿定向。
53.在步骤s17中，如果预先给定的数目以上的单元定向在距所计算出的曼哈顿定向的所定义的经过曼哈顿归一化的间距之内，则所计算出的曼哈顿定向被视为有效。曼哈顿定向表示环境的一个优选方向，所述优选方向与参考坐标系固定相关。
54.在步骤s18中，与所计算出的曼哈顿定向相对应的曼哈顿节点被添加给slam图。那么，给针对预先给定的最小数目的所检测到的曼哈顿定向探测添加曼哈顿边，所述曼哈顿
边将相对应的姿态节点与新添加的曼哈顿节点相连，所述相对应的姿态节点与该探测相对应。
55.曼哈顿误差函数与曼哈顿边关联，该曼哈顿误差函数定义为，其中对应于姿态节点的定向，对应于探测到的曼哈顿定向，对应于曼哈顿节点的状态，并且manhattan_normalize对应于曼哈顿归一化函数，该曼哈顿归一化函数将所述定向归一化到在-45
°
到45
°
之间的范围上。
56.每个曼哈顿边都配备有具有适当的带宽（例如0.1）的稳健内核。稳健内核允许针对如下情况精确估计正确的曼哈顿角：具有带有误差的测量的数条边包含在图中。该技术对应于现有技术，并且例如在agarwal, p.、tipaldi, g. d.、spinello, l.、stachniss, c.和burgard, w.的（2013年五月）“robust map optimization using dynamic covariance scaling”（2013 ieee international conference on robotics and automation（第62-69页））中予以描述。
57.紧接着，该方法以图2的方法的步骤s6来继续。
58.在图5a中，示出通过传统的slam算法检测环境地图的示意图。与此相比，图5b示出了在考虑曼哈顿世界概念的情况下基于slam算法的所检测到的环境地图的图示。
59.通过经过曼哈顿节点和曼哈顿边来扩展slam图，给优化问题添加另一组要优化的变量。此外，针对每个曼哈顿边产生附加的误差项，其在优化问题中必须被考虑。
60.上面描述的方法能够实现将曼哈顿世界概念整合到基于图的slam算法中。进行整合，使得不必参考之前检测到的传感器数据。仅仅给slam图补充有从对曼哈顿世界概念的认识中得到的信息。