由机器人绕过无法通过的障碍物的方法与流程

1.本发明涉及一种通过使用人工智能由机器人、尤其是家用机器人绕过无法通过的障碍物的方法。本发明还涉及一种系统，该系统包括机器人和it基础设施并且被设计用于执行该方法。此外，本发明涉及相应的计算机程序和相应的计算机可读介质。


背景技术：

2.机器人，尤其是家用机器人，在运行中移动通过房间。家用机器人例如在家庭中移动通过预给定的房间。为此目的，通常为机器人设置用于移动的例程，以下也称为移动例程，所述例程在考虑机器人的周围环境的情况下被执行。在此类例程中重要的是识别和绕过机器人无法通过的障碍物。
3.现有技术中已知通过使用人工智能来实现和/或改进家用机器人的例程的方法。
4.例如，de 10 2016 124 916 a1中公开了一种作为家用机器人的清洁机器人，其通过光学记录装置来生成由用户手动描述的障碍物图像。人工智能使用与相应图像相关联的描述，以便以绕过障碍物的方式在移动例程中实施对相应障碍物的识别。这里一个特别的缺点是需要用户手动描述相应的图像。
5.us 2018/0 210 445 a1公开了一种家用机器人，其具有用于识别障碍物的传感器装置。当识别到障碍物时，生成障碍物的图像并将其存储在家用机器人移动通过的针对移动例程所设的房间地图中。人工智能用于识别障碍物的属性。通过人工智能获得的对障碍物属性的认识随后被用于机器人的移动例程中。这里的缺点是当障碍物在房间中位移时，这个障碍物没有被识别到或者其识别可靠性较低。
6.因此从现有技术中通常已知：在移动例程中以绕过已知障碍的方式对所述已知障碍加以考虑。由于潜在障碍物的数量和频率因房间而异，并且可能随着时间并且也鉴于位置方面发生变化，因此希望在移动例程中能够可靠地识别和绕过新障碍物或未知障碍物。
7.在使用人工智能情况下的一个方面以及与此相关联的移动例程方面的改进方案是所谓的机器学习。为此，需要所谓的训练数据，利用这些数据训练人工智能以改进移动例程。因此，在光学检测机器人周围环境的移动例程中，为了机器学习而需要大量光学记录。由于所描述的多个可能障碍物及其位置的变化，因此需要大量的光学记录以相应地优化人工智能。这里的问题是：并不存在如此大量的记录和/或此类记录的获取是成本密集的。此外，对数据保护原则的考虑导致：不能随意生成和使用所需的记录。


技术实现要素：

8.因此，本发明涉及的任务是，针对由机器人绕过障碍物的方法和相关系统而说明改进的实施方式或至少说明不同的实施方式，这些实施方式特别是以如下方面而出众：以低成本和/或有效和/或符合数据保护法的方式绕过障碍物。
9.根据本发明，该目的通过独立权利要求的主题而得以解决。有利的实施方式是从属权利要求的主题。
10.本发明基于如下共同思想：为了由机器人绕过无法通过的障碍物，通过机器人与障碍物的碰撞而识别出相应障碍物，生成障碍物的光学记录并且由所述光学记录而人工生成大量彼此不同的副本用于训练人工智能，其中训练结果然后被使用，使得机器人在未来绕过该障碍物。在此涉及的特别是：在碰撞时间点时对于移动机器人使用的移动例程而言未知的障碍物。因此，根据本发明的解决方案使得可以通过生成特别是未知的或新的障碍物的光学记录（下文中也称为原始记录）来训练人工智能，其方式为，由所述原始记录人工生成大量副本。因此，特别是还可以在移动例程中这样考虑直至碰撞之前未知的障碍物，使得绕过所述障碍物，即，防止与障碍物的碰撞。同时，为了训练人工智能所需的原始记录的数量被减少，特别是仅需要相应障碍物的单个原始记录。因此，能够低成本地并且可靠地以及在考虑数据保护法规定的情况下基于经减少的数量的原始记录、特别是基于障碍物的单个原始记录而实现人工智能的训练和移动例程的改进。此外，根据本发明的思想导致：针对相应的周围环境、特别是针对机器人移动通过的相应房间，尤其是即便在特定障碍物在房间中的位置改变的情况下，也可靠地绕过所述特定障碍物。
11.根据本发明的思想，在由机器人绕过无法通过的障碍物的方法中，当机器人移动通过房间时，识别出机器人与障碍物的碰撞。当识别到碰撞时，生成障碍物的光学原始记录，特别是照片。然后由原始记录人工生成大量副本，其中所述副本分别考虑到障碍物的几何形状并且彼此不同。这些副本然后在训练过程中至少部分地用于训练人工智能，特别是神经网络。这意味着：用至少一部分副本对人工智能，特别是神经网络进行如下训练，使得机器人在与障碍物碰撞之前识别出障碍物。该训练过程的结果、以下也称为训练结果随后被用于，由机器人绕过障碍物。
12.根据本发明的方法因此由机器人与障碍物的碰撞触发，其中所述碰撞同时用作为标识，其将障碍物标识为无法通过的障碍物；或至少用作为针对无法通过的障碍物的指示。
13.通过在移动例程中考虑和/或整合训练结果而适宜地使用训练结果用于绕过障碍物。
14.根据本发明的方法尤其是计算机实施的方法。因此，该方法尤其可以通过用于数据处理的装置来执行。
15.原则上，机器人可以是在运行中移动通过房间的任何机器人。
16.机器人尤其是在运行中移动通过家庭的家用机器人。在此情况下，该机器人可用于清洁目的。因此，机器人例如可以是清洁机器人，例如吸尘机器人。
17.在优选实施方式中，原始记录还用于生成用于训练的副本。这意味着：由原始记录而生成大量的副本，这些副本考虑到障碍物的几何形状并且彼此不同，其中这些副本被用于训练过程。这些副本在下文中也称为训练副本。此外，由原始记录生成大量副本，这些副本考虑了障碍物的几何形状并且彼此不同，其中这些副本用于测试训练过程。这些副本在下面也称为测试副本。在训练过程中利用训练副本而对人工智能、特别是神经网络进行训练。所述训练过程在此被间歇地中断，并且在测试过程中利用至少一部分测试副本而对所述训练过程的中间结果进行测试。在相应测试过程中，以如下方式对中间结果进行测试：机器人在碰撞前以何种概率识别出该障碍物。如果该概率高于预给定值，则将所述中间结果设定并使用为训练结果。与此相对地，如果该概率低于预给定值，则训练过程继续进行，并且然后再次在间隔中通过测试过程进行测试。因此，基于障碍物的原始记录，特别是单个原
始记录，既实现了人工智能的训练，又实现了人工智能的测试，特别是训练结果的测试。
18.在生成人工副本时，分别考虑到源自原始记录的障碍物几何形状。这尤其意味着：在至少一部分副本中保留了障碍物的几何形状。
19.替代地或附加地，可以在至少一部分副本中略微改变所述障碍物的几何形状。特别是如果人工智能能够将该障碍物分配给已知对象，其中可以更改该对象的各个特征，那么这种略微的改变是可能的。作为示例，这里提到门作为障碍物。例如，如果障碍物被标识为门，则可以更改门把手的形状和/或大小以创建不同的副本。同样，可以更改把手的相对布置以生成不同的副本。
20.有利地，通过如下方式而生成至少一部分副本，即，使障碍物的周围环境、特别是背景在副本中彼此不同。也就是说，在障碍物的周围环境、尤其是背景方面人工地进行变化以生成不同的副本。
21.替代地或附加地，可以设想：至少一部分副本以这样的方式生成，即，使障碍物在副本中的位置彼此不同。也就是说，人工地改变障碍物的位置以创建不同的副本。不同的位置例如涉及到障碍物的线性位移和/或旋转。作为示例，这里再次参照门，其关闭位置被人工地更改以生成不同的副本。
22.也可以设想，替代地或附加地，人工地改变对象的颜色以生成不同的副本。
23.优选的是，原始记录是在距对象一定间隔处生成的。这意味着原始记录并非从紧邻的近处示出该对象。这使得能够以经改进的方式生成副本并且导致更可靠地绕过该障碍物。
24.应理解：除了提到的方法之外，执行该方法的系统也属于本发明的保护范围。
25.该系统包括机器人和 it 基础设施。
26.机器人有利地具有用于生成光学记录的光学记录装置和用于自动移动机器人的移动装置。光学记录装置优选地还用于执行移动例程，也就是说特别是用于导航机器人来通过房间。原始记录因此由所述机器人生成，其中优选使用光学记录装置，所述光学记录装置也用于执行移动例程。这导致机器人的简化结构并且因此导致以低成本的方式进行制造。人工智能在 it 基础设施中实现。因此，it 基础设施包括人工智能，特别是神经网络。该系统在此被设计成执行根据本发明的方法。
27.特别是，该系统如此设计，使得机器人使用记录装置生成原始记录并将其传送到 it 基础设施。该系统还被如此设计方式，使得 it 基础设施生成副本并执行训练过程以及必要时还执行相应的测试过程。
28.原则上，it 基础设施可以与机器人完全分开。
29.如下变型方案是有利的，其中机器人具有作为 it 基础设施组成部分的控制装置。在此有利的是，所述控制装置尤其用于执行移动例程。此外，it基础设施具有与机器人分开的主结构，其包括人工智能，特别是神经网络。因此，it 基础设施的资源密集型过程是在机器人之外执行的。因此，可以简单且低成本地制造机器人。此外，主结构可用于大量机器人，从而使整体系统设计得更简单且成本更低。该系统有利地包括通信装置，机器人、尤其是控制装置和该主结构经由该通信装置来彼此通信。所述通信装置特别是设计用于机器人与主结构之间的无线通信。
30.在此，机器人特别是利用记录装置和控制装置来生成原始记录。在此，机器人可以
为了生成原始记录而在与障碍物碰撞后移动离开该障碍物，以便在距离该障碍物一定间隔处生成所述原始记录。所述原始记录通过通信装置被传输到主结构。如果存在训练结果，则优选地通过通信装置将所述训练结果传送给机器人，所述机器人考虑该训练结果以便将来绕过该障碍物。
31.原则上，主结构可以在本地分配给用户。主结构因此可以特别是本地服务器，特别是家用服务器。
32.主结构优选地实现为云服务。这使得系统能够以多样化的方式使用，并且总体上低成本地实现。
33.移动装置用于使机器人自动移动通过房间。为此，移动装置例如具有电动机等。
34.机器人有利地具有用于探测机器人与障碍物的碰撞的装置，其在下文中也称为探测装置。碰撞识别因此在机器人内部进行，从而不需要以根据本发明描述的方式、即为了生成副本和训练而持续使用人工智能。此外，以这种方式由机器人触发根据本发明的方法。
35.原则上，探测装置可以以任何方式设计，只要它能够识别机器人与障碍物的碰撞。
36.方向装置例如可以具有至少一个触觉传感器，其通过与障碍物的触觉接触来识别与障碍物的碰撞。替代地或附加地，探测装置可以监控移动装置、例如电动机的功耗，以便基于功耗识别碰撞。特别地，在此情况下使用功耗的突然和急剧增加作为碰撞的指标。可替代地或附加地，可以设想通过多个传感器的组合使用来识别与障碍物的碰撞。特别地，可以将检测装置的关于功耗的信息例如有利地与惯性传感器系统的数据相结合，以便以经改善的可靠性将碰撞与其他较高功耗的状态、例如在地毯以及其他柔软的地面上的行驶相区分，其中该惯性传感器系统有利地具有陀螺仪和/或加速度传感器。
37.根据预期用途，机器人当然也可以具有其他组成部分。例如，清洁机器人可以具有清洁装置，例如用于对地面进行抽吸的抽吸装置。
38.应理解的是，除了所述方法和系统之外，包括促使执行根据本发明的方法、特别是促使所述系统执行根据本发明的方法的指令的计算机程序也属于本发明的范围。同样，存储这种计算机程序的计算机可读介质也属于本发明的范围。
39.本发明的其他重要特征和优点由从属权利要求、附图和参照附图的相关附图描述得出。
40.应理解的是，上述特征和下文还要阐述的那些特征不仅能够以分别所说明的组合的方式来使用，而且能够以其他组合或单独使用，而不脱离本发明的保护范围。
附图说明
41.在附图中示出本发明的优选实施例并且在下面的描述中更详细地进行阐述，其中相同的附图标记涉及相同的或相似的或功能相同的构件。其中分别示意性地：图1示出了具有机器人和it基础设施的系统的高度简化的符号表示，并且图2示出了用于运行该系统的方法的流程图。
具体实施方式
42.根据如图2中示例性地依据流程图所示的方法来运行如示例性地在图1中以高度简化形式所示的系统1。
43.系统1包括机器人2和it基础设施3。在所示的示例性实施例中，机器人2是家用机器人4，例如用于清洁未示出的家庭的清洁机器人5。机器人2具有优选用于移动和导航机器人2的光学记录装置6。利用光学记录装置6，尤其可以生成机器人2的周围环境的光学记录。机器人2还具有用于自动移动机器人2的移动装置7。移动装置7可以例如具有未示出的电动机，所述电动机驱动机器人2的至少一个未示出的轮子。为了给机器人2供应能量，机器人还具有储能器8，尤其是可再充电的蓄电池9。设计为清洁机器人5的机器人2还具有清洁装置10，例如抽吸装置11，机器人2使用该清洁装置10清洁未示出的房间，尤其是家庭。机器人2还具有探测装置12，所述探测装置12设计成识别机器人2与未示出的障碍物的碰撞。
44.it基础设施3包括布置在机器人2中的组成部分以及与机器人2分开的组成部分并且在图1中由虚线框标出。机器人2的控制装置13是it基础设施3的组成部分。控制装置13与记录装置6和移动装置7通信连接。优选地，控制装置还与探测装置12通信连接。在控制装置13中存储用于使机器人2移动的例程20（参照图2），所述例程以下也称为移动例程20。在移动例程20中例如映射机器人2应该或允许移动通过的房间。移动例程20还可以包含机器人2应绕过的障碍物，其中这些障碍物在下文中也称为已知障碍物。
45.it基础设施3还包括主结构14，其在所示示例中并且是优选地是云服务15。主结构 14 包括人工智能 16，特别是神经网络 17。机器人 2、特别是控制装置 13和主结构 14 经由通信装置 18而彼此优选无线地通信，其中所述通信装置18在机器人2处以及在主结构14上分别具有通信单元19。
46.根据图2中作为示例示出的流程图，机器人2在使用移动例程20的情况下移动通过该房间。在此情况下，利用记录装置6来监控周围环境。当识别出已知障碍物时，这些障碍物被绕过，即防止机器人2与已知障碍物发生碰撞。记录装置6因此用于对机器人2进行导航。在运行中，通过被设计为清洁机器人5的机器人2借助清洁装置10来清洁房间，特别是未示出的地面。
47.当机器人2与这样的障碍物碰撞时，触发用于绕过移动例程20中未考虑的障碍物、下文也称为未知障碍物的方法。出于此原因，在图2中用虚线示出到后续措施21的过渡。在此，在触发该方法的这种措施21的情况下，识别到机器人2与障碍物的碰撞，其中所述措施21在下文中也称为识别措施21。机器人2的探测装置12用于此目的。与障碍物进行的碰撞用作假设它是未知障碍物的理由。在随后的措施22中，机器人2从该障碍物移动离开，使得机器人2被布置在距障碍物一定间隔处。该措施22因此在下面也称为间隔措施22。如果机器人2处在距离该障碍物的一定间隔处，则在措施23中使用记录装置6生成障碍物的光学记录，其中所述措施23在下文中也称为记录措施23，其中该记录在下文中也被称为作为原始记录。然后，使用通信装置18将原始记录传输到主结构14。
48.该方法在主结构14中继续进行。在复制措施24中，在主结构14中人工生成原始记录的多个副本25。这些副本 25分别考虑到障碍物的几何形状并且彼此不同。副本25的差异可以通过人工生成的不同障碍物位置和/或人工地生成的不同障碍物颜色和/或人工生成的不同障碍物背景来实现。副本25被分成两组，即训练副本25a和测试副本25b。
49.然后，在训练过程26中，用训练副本25a训练人工智能16。在训练过程26中，人工智能16、特别是神经网络17以如下方式被训练，使得机器人2在移动例程20中在碰撞之前识别该障碍物并绕过它。训练过程26在测试过程27中被间歇地中断并因此暂停。在测试过程27
中，测试训练过程26的迄今为止有针对性的结果，以下也称为中间结果。在这种情况下，在测试过程27中使用测试副本25b。在测试过程26中，利用至少一部分测试副本25b进行测试：机器人2、尤其是移动例程20在使用中间结果的情况下在碰撞前以何种概率识别出该障碍物。如果该概率低于预给定值，则该方法返回到训练过程26并且继续进行该训练过程26。如果该概率高于预给定值，则该中间结果作为训练结果被保留并在机器人2的移动例程20中使用。为此目的，主结构14借助通信装置18将训练结果传输至控制装置13，以便将训练结果整合到移动例程20中。训练结果到移动例程20中的整合可以在机器人2之内进行，特别是通过控制装置13来进行。替代地，主结构14可以将训练结果整合到移动例程20中并且将考虑到该训练结果的移动例程20传送给机器人2，特别是传送给控制装置13，所述控制装置13于是使用考虑到该训练结果的移动例程20。
50.在训练过程26和测试过程27期间，机器人2可以正常运行。这尤其意味着：机器人2可以在训练过程26和测试过程27期间使用现有的移动例程20。
51.附图标记列表1 系统2 机器人3 it 基础设施4 家用机器人5 清洁机器人6 记录装置7 移动装置8 储能器9 蓄电池10 清洁装置11 抽吸装置12 探测装置13 控制装置14 主结构15 云服务16 人工智能17神经网络18 通信装置19 通信单元20 移动例程21识别措施22 间隔措施23 间隔措施24 复制措施25 副本26 训练过程
27 测试过程