用于料箱拾取的自适应抓持规划的制作方法

1.本公开涉及工业机器人运动控制领域，并且更具体地涉及基于预定放置姿态来规划机器人夹持器的抓持姿态的技术，其中部件以随机姿态存在于拾取箱中，并且找到机器人动作，该机器人动作从料箱中拾取部件并且如果可能以单个动作没有重新抓持地将其移动到所限定的放置位置和姿态，或者以连续的动作最小重新抓持地将其移动到所限定的放置位置和姿态，同时避免机器人与料箱碰撞，并且保持在机器人关节动作限制内。


背景技术：

2.使用工业机器人来执行各种各样的制造、组装和材料移动操作是众所周知的。一种这样的应用是拾取和放置操作，其中机器人从料箱拾取各个部件并且将每个部件放置在传送机上。这种应用的一个例子是，已经模制或加工的部件落入料箱中，并以随机的位置和取向放置，机器人的任务是拾取每个部件并将其以预定取向(姿态)放置在传送机上，该传送机传送这些部件以进行包装或进一步处理。根据料箱内的部件以堆的形式依偎在一起的程度，手指型抓持器或抽吸型夹持器可以用作机器人工具。视觉系统(一个或多个相机)通常用于识别料箱中的各个部件的位置和姿态。
3.存在这样的系统，其规划机器人的运动以用于上述拾取和放置应用，同时遵守机器人关节的动作的物理限制，并且还避免机器人或部件与料箱或任何其它障碍物的碰撞。然而，现有技术系统通常被硬编码以寻找抽吸夹持器可以到达的部件的特定优选的刻面或表面。如果优选的表面是可接近的，则机器人夹持部件并以单个动作将其放置在传送机上。如果部件的优选表面是不可接近的，则机器人找到预定的替代夹持表面，将部件移动到预定的中间姿态，使用优选表面重新抓持部件，然后将部件放置在传送机上。
4.上述类型的现有技术系统可能错过以单个动作拾取和放置部件的机会，并且还选择具有中间姿态的动作序列，这使得机器人行进距离和关节动作大于所需的。
5.鉴于上述情况，需要自适应地识别最有效的部件夹持和动作序列的机器人抓持规划技术。


技术实现要素：

6.根据本公开的教导，公开了自适应机器人抓持和动作规划技术。在料箱中的具有随机位置和姿态的工件将由机器人抓持并且以最终位置和姿态放置。分析工件形状以识别多个稳健抓持选项，每个抓持选项具有位置和取向。还分析工件形状以确定多个稳定中间姿态。对料箱中的每个单个工件进行评估以识别可行抓持集合，并且如果这种直接移动是可能的，则将工件移动到最终位置和姿态。如果直接移动是不可能的，则制定搜索问题，其中每个可行的抓持和每个稳定的中间姿态是节点。通过评估各个节点之间的每个链接的可行性和最优性来解决搜索问题。根据避撞约束和机器人关节动作约束来评估每个机器人动作的可行性。当找到搜索问题的最优解时，计算机器人动作命令并将其提供给机器人，并且评估料箱中的另一部件。
附图说明
7.图1是料箱中的工件的示意图，这些工件需要以预定目标位置和姿态放置在诸如传送机上；
8.图2是根据本领域已知的技术的、经由直接变换或通过预定的中间状态将料箱中的工件移动到预定目标位置和姿态的示意图；
9.图3是根据本公开的实施例的具有多个标识的样本抓持的工件的示意图，并且每个抓持被评估为稳健的或非稳健的；
10.图4是根据本公开的实施例的具有多个标识的稳定的工件姿态的工件的示意图；
11.图5a是根据本公开的实施例的搜索问题的图形示意图，该搜索问题被制定以评估从初始工件姿态通过一级中间姿态到目标姿态的多个路径的可行性和最优性；
12.图5b是根据本公开的实施例的搜索问题的图形示意图，该搜索问题被制定以评估从初始工件姿态通过两级或更多级中间姿态到目标姿态的多个路径的可行性和最优性；以及
13.图6是根据本公开的实施例的用于自适应机器人抓持和动作规划的方法的流程图，包括评估多个抓持和中间姿态以优化机器人动作。
具体实施方式
14.本公开的针对自适应机器人抓持和动作规划技术的实施例的以下讨论本质上仅是示例性的，并且决不旨在限制所公开的装置和技术或它们的应用或使用。
15.众所周知，使用工业机器人进行各种制造、组装和材料移动操作。在这些操作的一些类型中，机器人必须被编程以沿着具有从一个操作到下一个操作不同的开始点和/或目的地(目标)点的路径移动。例如，在拾取、移动和放置操作中，在料箱中的具有随机位置和取向的部件必须由机器人拾取并且在传送机上移动到预定姿态(取向)。部件也可以以随机的位置和取向到达入站传送机上，这也使得对于每个单个部件计算独特的拾取/移动/放置序列成为必要。存在许多其他示例应用，其中必须针对机器人的每个单个任务或操作计算新的路径。
16.此外，在许多机器人工作空间环境中，障碍物存在并且可能在机器人动作的路径中，即，一个或多个障碍物可能位于开始点和目标点之间，或者更一般地，位于机器人的当前位置和机器人的目的地位置之间。当部件被提供在料箱中时，料箱本身在拾取部件时对机器人构成障碍。
17.图1是料箱中的工件的示意图，这些工件需要以预定目标位置和姿态放置在诸如传送机上。图1示出了在上述类型的场景中执行拾取、移动和放置操作的工业机器人，其中料箱中的每个单个工件需要独特的夹持方案，这又使得独特的移动、重取向和放置方案成为必要。机器人必须可靠地执行拾取/移动/放置操作(所有部件以适当姿态放置在传送机上，并且没有掉落部件)，并且操作必须100％地免于(诸如在机器人臂和料箱之间的)任何碰撞。另外，因为最大部件生产率是重要的，所以拾取/移动/放置操作的效率是必要的。
18.具有夹持器102的机器人100在工作空间104内操作。机器人100的动作由控制器110控制，控制器110通常经由电缆112与机器人100通信。如本领域所公知的，控制器110向机器人100提供关节动作命令，并且从机器人100的关节中的编码器接收关节位置数据。控
制器110还提供命令以控制夹持器102的操作。图1的拾取、移动和放置方案仅仅是说明性和示例性的。
19.本公开的自适应抓持和动作规划技术可应用于任何类型的机器人操作，其中必须抓持和移动处于随机姿态的部件，并且吸盘夹持器102可以由诸如手指类型之类的不同类型的夹持器替换。
20.相机120与控制器110通信并提供工作空间104的图像。特别地，来自相机120的图像被用于识别机器人100要操作的工件的位置和取向。在一些实施例中，来自相机120的图像可以用于识别在其中机器人100将放置工件的位置，或者甚至识别工作空间104中的移动或路过障碍物。相机120可以由用于识别由机器人100移动的工件的位置和方向的一些其它装置(例如，另一种类型的对象传感器
‑
雷达、激光雷达、超声波等)代替。
21.多个工件130被容纳在料箱140中。机器人100的任务是从料箱140拾取单个工件130，移动工件130并且以预定姿态(取向)将其放置在传送机150上，并且对另一个工件重复该操作。相机120提供在料箱140中的工件130的图像。使用算法以例如基于诸如工件中心在料箱140的底部上方的高度、料箱140内的中心位置或者优选拾取表面的可接近性之类的因素来识别用于下一次拾取操作的单个工件130。
22.所有工件130当被放置在传送机150上时具有相同的取向。在图1中，传送机150上的若干工件130看起来具有略微不同的取向，但这仅仅是示意图透视效果。工件130在传送机150上的取向(称为目标取向)是为了后续处理步骤的最佳效率而预定的，后续处理步骤可以是包装、涂漆、机加工或一些其它操作。
23.对于在料箱140中的每个工件130，必须由控制器110(或者由另一计算机并且然后被提供给控制器110)计算新的路径，这使得机器人100从初始或者接近位置移动夹持器102以使用适当的抓持点和取向来拾取工件130，并且沿着路径将工件130移动到目标位置和取向同时避开诸如料箱140的侧部之类的障碍物，然后将夹持器102返回到初始或者接近位置以准备下一个工件130。在一些情况下可能需要中间停止，其中机器人100将工件130向下放置在表面上，在不同的位置重新夹持工件130，并且将工件130移动到目标位置。每个工件的抓持点和路径必须由控制器110非常快速地计算，因为路径计算必须与机器人100可以移动一个工件130并返回以拾取下一个工件一样快地实时执行。
24.图2是根据本领域已知的技术、通过直接变换或通过预定的中间状态来将料箱中的工件移动到预定目标位置和姿态的示意图。已经开发了系统来执行图1所示的拾取、移动和放置操作。这些现有系统通常使用硬编码的固定逻辑来确定在哪里抓持工件以及是否需要中间停止以便以预定目标姿态来放置工件。
25.在图2中，工件230也再次以随机的位置和取向位于料箱240中。相机或其它传感器(未示出)再次用于选择单个工件230并识别其位置和取向。在理想情况下，所选择的工件230可在优选位置处被抓持(或"夹持")以便牢固夹持，并可由机器人以单个动作移动和重新取向到目标点。这种情况被示出，其中工件230a沿着路径250直接移动到目标位置和取向。
26.众所周知，关节型机器人具有约束机器人灵活性的关节动作限制。因此，在许多情况下，不可能以单个动作将工件230直接移动到目标位置和取向。例如，如果工件230位于料箱240中仅有单个表面可接近，并且抓持该表面使得机器人不可能将工件230移动到目标取
向，则需要至少一个中间步骤。这种情况被示出，其中工件230b沿着路径260移动到中间状态。工件230b以中间状态放置在表面上，并且机器人放开。然后，工件230b在不同的点被机器人重新夹持，并沿着路径262移动到目标位置和取向。
27.在现有技术系统中，工件230上的可能初始抓持点、中间状态下的工件取向以及工件230上的可能重新夹持点都使用固定逻辑硬编码。这种类型的硬编码逻辑对每个应用(工件设计、料箱大小/形状、目标取向等)需要耗时的分析和编程。此外，这种类型的固定逻辑难以对复杂的工件形状进行限定，结果可能是在工件上仅限定了单个优选的初始夹持位置，并且在料箱中的许多工件上通常不能够接近该优选的初始夹持位置。此外，有限的抓持点选项和单个中间状态姿态通常导致过多的机器人关节动作，并且甚至可能需要第二中间状态和第二次重新夹持以便达到目标取向。
28.本公开的抓持和动作规划技术被设计为通过选择使得能够实现到目标的直接工件运动的任何可行的初始抓持点，并且当直接单步运动不可能时选择最小化机器人动作的初始抓持点和中间姿态，来优化拾取/移动/放置操作的效率。
29.图3是根据本公开的实施例的工件310的示意图，该工件具有多个标识的样本抓持，并且每个抓持被评估为是稳健的或非稳健的。本公开的方法的第一步是产生工件310的稳健抓持位置集合g。给定工件310的实体或3d表面模型，使用任何合适的技术来限定工件310的表面上的随机样本抓持点集合n。集合n可以包括数百个点，虽然为了清楚起见在图3中仅示出几十个。分析集合n中的各个样本抓持点的每一个以基于局部区域表面平坦度确定其作为抓持点的适合性。如果发现在特定点周围存在合适尺寸和平坦度(用于吸盘夹持器的可靠抓持)的区域，则该点被包括在稳健抓持位置集合g中。在图3中用小圆圈示出了稳固抓持位置集合g中的各个点。如果发现在特定点周围不存在合适尺寸和平坦度的区域，则该点不包括在稳健抓持位置集合g中，并且用小x来示出，集合n包括所有样本点，无论对于抓持是否是稳健的；集合g仅包括稳健抓持位置。
30.对于稳健抓持位置集合g中的每个点，抓持取向也被限定为正交于(垂直于)局部表面切面。抓持取向用于限定机器人夹持工具在抓持工件310时的接近方向。在确定哪些点包括在稳健抓持位置集合g中时也可考虑其它因素。例如，对于特定的抓持位置和取向，可以计算工件310的质心离开机器人夹持器工具的中心线的偏移距离。如果特定的抓持点位于工件310上的周边位置处，并且夹持器工具中心线远离工件质心，则该抓持点被从稳健抓持位置g拒绝，因为这将在吸盘夹持器上引起大的弯曲力矩。对工件310(即，对于特定部件设计)进行分析以生成稳健抓持位置集合g在开始时执行一次，然后用于料箱中每个单个工件的抓持和动作规划计算。
31.图4是根据本公开的实施例的工件310的示意图，该工件具有多个标识的稳定工件姿态。在本公开的自适应抓持规划方法中，当料箱中的工件到目标姿态的直接变换是不可能的时，为了可行性和最优性，分析初始抓持和中间姿态的许多不同组合。为了进行该分析，需要预先知道工件310的所有稳定姿态。稳定姿态是工件310将搁置在平坦表面上(或点、线和表面的组合上)而不翻倒的取向。
32.一种用于识别工件的稳定姿态的技术是在工件周围数学地创建凸包(诸如四面体或八面体)，其中凸包的各个面可以全部具有不同的尺寸，然后数学地创建围绕凸包的以工件质心作为其中心的包围球。然后，将凸包的每个面投影到包围球上，得到面积s。工件在由
凸包的每个面表示的表面上稳定放置的概率与该面的面积s除以包围球的表面积成比例。直观地，这意味着对于凸包的更大的面，稳定放置的概率更大。
33.用于识别工件的稳定姿态的另一替代方案是简单地对工件进行人工实验并找出其中稳定放置是可能的不同姿态，然后在cad实体建模系统中复制这些姿态。
34.在图4中，在方框420中示出了具有工件310的四个不同稳定姿态的集合p。该四个稳定姿态中的每一个是唯一的；也就是说，每个稳定姿态具有搁置在与其它面不同的面上的工件310。用于识别稳定姿态集合p的工件310的分析在开始时执行一次，然后用于料箱中的每个单个工件的抓持和动作规划计算。
35.如上文关于图3和4所述，本公开的方法首先计算工件的稳健抓持集合g和稳定姿态集合p。这些计算仅是工件形状的函数，与单个工件如何位于料箱无关。还提供了最终(目标)姿态b，包括在由机器人放置之后的工件的目标位置和取向。然后，提供包含许多实际工件的料箱，并且分析工件的图像。选择特定工件以进行移动，并且从相机图像识别所选工件的初始姿态a。
36.对于料箱中的单个工件，然后进行分析以基于在料箱中部件的取向和暴露的表面来确定稳健抓持集合g中的哪个抓持点是可能的。然后确定可能的任何稳健抓持是否允许工件以单个动作直接移动到目标姿态b。如果各个可能的稳健抓持中的任何一个允许工件以单个动作直接移动到目标姿态b，则机器人控制器使用逆运动学来规划机器人动作，并检查(例如机器人臂或工具与箱侧壁的)可能碰撞和机器人动作约束。如果各个可能的稳健抓持中的任何一个允许工件以单个动作中直接移动到最终姿态b，而没有碰撞并且在机器人动作约束内，则机器人控制器执行规划的机器人动作命令以移动工件。如果多于一个可能的稳健抓持允许工件以单个动作直接移动到目标姿态b，则可基于抓持的稳健性、动作的效率或其它因素来选择抓持和动作。
37.对于被评估的单个工件，如果各个可能的稳健抓持中没有一个允许工件以单个动作直接移动到目标姿态b，则进行分析以找到最佳抓持和动作，该最佳抓持和动作包括工件被临时放置然后被重新抓持的一个或多个中间状态。这将在下面讨论。
38.图5a是根据本公开的实施例的搜索问题的示意图，该搜索问题被制定以评估从初始工件姿态通过一级中间姿态到目标姿态的多个路径的可行性和最优性。工件510是料箱中的如前所述的由机器人拾取和放置的许多工件中的一个。工件510已经被分析以确定稳健抓持集合g和稳定姿态集合p，如上文关于图3和4所讨论的。另外，还已经限定了包括目标位置和取向的最终(目标)姿态b。
39.在图5a中，特定工件510已经被评估，并且已经确定没有允许工件510以单个动作从初始姿态a移动到目标姿态b的稳健抓持点是可接近的。在这种情况下，考虑抓持点和稳定中间姿态的所有可能组合，制定搜索问题。在方框520中示出了工件510的稳定姿态集合p。集合p中的每个稳定姿态是搜索问题中的节点。在530示出了处于目标姿态b的工件510。搜索问题被制定以考虑从工件510的初始姿态到框520中的每个稳定姿态的路径540，以及从框520中的每个稳定姿态到530处所示的目标姿态b的路径550。
40.搜索问题评估如下。对于中间姿态522，确定在给定工件的初始姿态的情况下工件510上的至少一个抓持点是否是可接近的，该至少一个抓持点允许机器人将工件510移动到中间姿态522。如果这种移动是可能的，则确定在给定工件的中间姿态的情况下工件510上
的至少一个抓持点是否是可接近的，该至少一个抓持点允许机器人将工件510移动到530所示的目标姿态b。也针对中间姿态524(路径544和554)、中间姿态526(路径546和556)等执行该分析。如果从初始姿态到目标姿态只有一条路径是可行的，则选择该可行路径并且规划机器人动作。如果多于一个路径是可行的，则使用最小机器人关节动作和/或夹持器工具行进距离作为目标函数来选择最优路径。所选择的路径包括工件510从初始姿态a到中间(中间)姿态m的移动，由机器人重新夹持工件，以及将工件510从中间姿态m移动到目标姿态b。
41.如前所述，在命令机器人物理地移动工件510之前，机器人控制器必须使用逆运动学规划机器人动作，并且检查(诸如机器人臂或工具与料箱侧壁的)可能碰撞和机器人动作约束。该机器人动作规划可以在选择最优路径之前执行，以便允许在选择中考虑机器人关节动作。此外，对于将工件510从其初始姿态移动到诸如中间姿态522的特定中间状态，有可能多于一个稳健抓持是可行的。如果多于一个可行抓持彼此显著不同(例如，工件510的不同表面上的抓持点具有相差45
°
或更大的取向角)，则每个不同的可行抓持被认为是搜索中的路径；也就是说，路径542实际上具有多于一个变体。
42.总结图5a：评估从工件510的初始姿态到每个稳定中间姿态520的路径540的可行性；从各个可达中间姿态520中的每一个，评估到目标姿态530的路径550的可行性；如果多于一个完整路径是可行的，则评估该可行的完整路径的最优性；选择最佳路径，并且命令机器人将工件510从初始姿态移动到所选择的中间姿态m，重新夹持工件510并将其移动到目标姿态530。在如图5a所示执行的分析中，可能没有完整路径是可行的；当工件位于料箱的角落中时，或者工件具有带有很少稳健抓持点的不规则设计时，可能是这种情况。如果工件的使用单个中间姿态m从初始姿态到目标姿态的移动是不可能的，则重新制定包括第二级中间姿态的搜索问题。这将在下面讨论。
43.图5b是根据本公开的实施例的搜索问题的示意图，该搜索问题被制定以评估从初始工件姿态通过两级或更多级中间姿态到目标姿态的多个路径的可行性和最优性。在图5b中，工件510再次被示出为在左侧处于初始姿态。在框520中再次示出了稳定姿态，以及从初始姿态到每个稳定姿态的路径540。然而，现在，框520中的稳定姿态表示第一级中间姿态，并且在框560中示出了第二级中间姿态。框560中的第二级中间姿态包括与框520中相同的稳定姿态集合p。在每一级中间姿态处，工件510放置在工作表面上，被机器人夹持器释放，并使用稳健抓持集合g中的各个抓持中的一个不同抓持被重新夹持。
44.搜索问题的制定继续如下。路径集合570被限定，使得从框520中的每个可到达的中间姿态(第一级)，使用集合g中的任何稳健抓持，评估到达框560中的每个中间姿态的路径(第二级)。然后，从框560中的可由各个路径570中的一个或多个到达的每个姿态(第二级)，使用集合g中的任何稳健抓持，评估到达目标姿态530的路径集合580。可以理解，图5b所示的搜索问题具有比图5a的搜索问题更多的路径和组合。完整的端到端路径被限定为包括来自集合540、570和580中的每一个集合的一个路径，以及两个中间姿态m1和m2；例如从工件510的初始姿态到第一级中间姿态522，到第二级中间姿态562，到目标姿态530。每个完整的端到端路径在可行性方面被评估，然后各个可行的端到端路径在最优性方面被评估。
45.根据上述分析，选择最佳路径，并且命令机器人将工件510从初始姿态a移动到所选择的第一级中间姿态m1，重新夹持，将工件510移动到所选择的第二级中间姿态m2，重新夹持并将工件510移动到目标姿态530。在使用图5b的两个中间姿态级都没有找到可行的端
到端路径的不寻常事件中，可以制定和评估使用三个中间姿态级的搜索问题，如此等等。
46.图6是根据本公开的实施例的用于自适应机器人抓持和动作规划的方法的流程图600，该方法包括评估多个抓持和中间姿态以优化机器人动作。在框602处，为工件计算稳健抓持集合g和稳定姿态集合p，如图3和4所示并如前所述。这些计算仅是工件形状的函数，与单个工件如何位于料箱无关。
47.在方框604处，提供包含许多实际工件的料箱，并且提供工件的相机图像(或者传感器数据)。在框606处，选择单个工件进行移动，并且从相机图像确定所选工件的初始姿态a。在框608处，还提供目标姿态b，包括在由机器人放置之后工件的目标位置和取向。最终姿态b对于料箱中的所有工件可以是相同的，或者最终姿态b从一个工件到下一个工件可以是不同的。
48.在框610处，从稳健抓持集合g中过滤出不可行的抓持。不可行的抓持是不可能或不允许工件直接以单个动作移动到目标姿态b的那些抓持。首先，从集合g中排除基于所选工件的初始姿态a是不可能的抓持。即，在集合g中，仅允许保留在工件的露出的且面向开放空间的各个表面上的稳健抓持点。在剩余的抓持中，排除不能使机器人从初始姿态a直接移动到目标姿态b的那些抓持点。
49.在判决菱形框612处，确定在消除不可行的抓持之后集合g是否为空。如果集合g为空，则在框614处从稳定姿态集合p中选择中级或中间状态m，并且在框616处规划工件从初始姿态a到中间状态m以及从中间状态m到目标姿态b的抓持和动作。中间状态m的选择以及从a到m到b的抓持和动作规划已经在上面参考图5a详细讨论。在从a到单个中间状态m到b没有可行路径的情况下，可以选择两级或更多级中间姿态(例如m1和m2)，如上所述。
50.从判决菱形框612处开始，如果集合g不为空，则在框618处，规划工件从初始姿态a直接到目标姿态b的抓持和动作。在框620处，机器人动作命令从控制器提供给机器人，使得机器人物理地抓持工件并将其从初始姿态a移动到目标姿态b。工件的抓持和从初始姿态a到目标姿态b的移动如果可能是直接的(来自框618)，或者否则使用一个或多个中间状态m(来自框614和616)。
51.在判定菱形框622处，根据相机图像确定当前料箱是否为空。如果当前料箱不是空的，则过程循环回到框606以识别下一个工件并且确定其初始姿态a。如果在判定菱形622处当前料箱是空的，则在框624处过程等待要装载的下一个工件料箱(并且返回到框604)，并且如果没有下一个工件料箱即将到来，则过程结束。
52.在整个前述讨论中，结合所公开的方法步骤描述和暗示了各种计算机和控制器。应当理解，这些计算机和控制器的软件应用和模块在具有处理器和存储器模块的一个或多个计算设备上执行。特别地，这包括上面讨论的图1的机器人控制器110中的处理器。具体而言，控制器110中的处理器被配置成以贯穿前述公开内容尤其是流程图600中所描述的方式且自适应地规划工件的抓持和动作。另一计算机执行一些或全部的抓持和动作规划也是可能的，并将计算的路径提供给控制器110，在这种情况下，控制器110简单地控制机器人100，并且另一计算机被配置为执行抓持和动作规划计算。
53.如上所述，所公开的用于自适应机器人抓持和动作规划的技术改进了机器人抓持和路径规划的速度和可靠性。所公开的技术提供了比现有技术更多的选项，用于以单个动作抓持工件并将其移动到目标姿态，并且当在到达目标姿态的途中需要工件的中间状态放
置时，所公开的技术还找到了最佳的抓持和动作规划解决方案。所公开的方法可应用于复杂工件，消除静态夹持和姿态的预先编程，考虑工件的最合适的临时放置，并且选择抓持以最大化抓持稳健性并最小化机器人行进距离。
54.尽管以上已经讨论了自适应机器人抓持和动作规划技术的多个示例性方面和实施例，但是本领域技术人员将认识到其修改、置换、添加和子组合。因此，所附权利要求和此后引入的权利要求旨在被解释为包括所有这些修改、置换、添加和子组合，因为这些修改、置换、添加和子组合在它们的真实精神和范围内。