用于普通夹持器的抓持学习的高效数据生成的制作方法

1.本公开总体上涉及一种生成用于机器人抓持零件的高品质抓持姿态的方法，并且更具体地涉及一种用于机器人抓持学习的方法，该方法包括随机初始化、迭代优化和物理环境模拟，在随机初始化中从大的对象数据库选择随机的对象和夹持器，在迭代优化中利用零件和夹持器之间的表面接触针对每个零件计算数百个抓持，在物理环境模拟中将针对每个零件的抓持应用于料箱中的模拟的对象堆。


背景技术：

2.使用工业机器人来执行各种各样的制造、组装和材料移动操作是众所周知的。一种这样的应用是拾取和放置操作，例如其中机器人从料箱拾取各个零件并将每个零件放置在传送机或装运容器上。这种应用的一个例子是，已经模制或加工的零件落入料箱中，并以随机的位置和取向放置，机器人的任务是拾取每个零件，并将其以预定的取向(姿态)放置在传送机上，该传送机传送零件以便包装或进一步处理。另一个例子是在履行电子商务订单的仓库中，其中需要可靠地处理许多不同尺寸和形状的物品。根据料箱中的零件以堆的形式嵌套在一起的程度，指状夹持器或者抽吸型夹持器可以用作机器人工具。视觉系统(一个或多个相机)通常用于识别料箱中的各个零件的位置和取向。
3.传统的抓持生成方法手动地示教已知3d特征或对象上的拾取点。这些方法需要在启发式设计上花费的大量时间以便识别最佳抓持姿态，并且手动设计的启发式方法可能不适用于未知对象或遮挡物。由于使用启发式抓持示教的困难，基于学习的抓持检测方法由于其适应未知对象的能力而变得流行。
4.然而，现有的基于学习的抓持检测方法也具有其缺点。一种已知的基于学习的技术使用数学上严格的抓持质量来在将抓持候选馈送到卷积神经网络(cnn)分类器之前搜索这些候选，但是计算成本高，并且由于优化中包括的简化，解决方案在现实世界中可能不是最优的。为了产生逼真的抓持，另一种方法使用经验试验来收集数据，但是该方法对于复杂的力控制通常需要数万机器人小时，并且夹持器的任何改变需要重复整个过程。
5.鉴于上述情况，需要一种机器人抓持学习技术，其生成高质量抓持候选而无需人工示教，在计算上是高效的，并且提供可应用于涉及零件混杂在一起以及机器人臂与料箱两侧之间的碰撞避免的真实世界情形的抓持场景。


技术实现要素：

6.根据本公开的教导，提出了一种用于机器人拾取零件的抓持生成技术。为所有待评估的对象和夹持器提供实体或表面模型的数据库。选择夹持器并且执行随机初始化，其中，从对象数据库选择随机的对象并且随机地初始化姿态。然后执行迭代优化计算，其中，利用零件和夹持器之间的表面接触，针对每个零件计算数百个抓持，并且进行采样以用于抓持多样性和全局优化。最后，执行物理环境模拟，其中，将每个零件的抓持映射到料箱场景中的模拟的对象堆。来自物理环境模拟的抓持点和接近方向然后被用于训练神经网络以
用于在真实世界机器人操作中的抓持学习，其中，使模拟结果与相机深度图像数据相关联以识别高质量抓持。
7.结合附图，根据以下描述和所附权利要求，本公开的方法的附加特征将变得显而易见。
附图说明
8.图1是根据本公开的实施例的抓持生成过程的示意性流程图，该抓持过程计算在各个对象上的优化的抓持并将计算的抓持应用于对象模拟堆中的对象；
9.图2是根据本公开的实施例的图1的抓持生成过程的迭代优化框中包括的步骤的示意性流程图；
10.图3是根据本公开的实施例的图1的抓持生成过程的物理环境模拟框中包括的步骤的示意性流程图；以及
11.图4是根据本公开的实施例的使用神经网络系统进行抓持计算的机器人零件拾取系统的框图示意图，其中使用通过图1-3的过程生成的抓持来训练神经网络系统。
具体实施方式
12.以下对涉及基于优化的抓持生成技术的本公开的实施例的讨论本质上仅是示例性的，并且决不旨在限制所公开的技术或其应用或使用。
13.使用工业机器人从来源拾取零件并将它们放置在目的地是公知的。在一个常见的应用中，零件供应源设置在料箱中，例如包含刚刚铸造或模制好的零件的随机堆的料箱，其中这些零件需要从料箱移动到传送机或装运容器。示教机器人实时地识别和抓持装满零件的料箱中的个别零件一直是具有挑战性的。
14.为了提高机器人零件拾取操作的速度和可靠性，对以各种姿态抓持特定零件的指定夹持器的抓持进行预先计算是已知的。这种抓持的预计算被称为抓持生成，然后在机器人零件拾取操作期间使用预计算(生成)的抓持来实时做出决定。
15.传统的抓持生成方法手动地示教关于对象上的已知3d特征的拾取点。这些方法需要在启发式设计上花费的大量时间以便识别最佳抓持姿态，并且手动设计的启发式方法可能不适用于未知对象或遮挡物。由于使用启发式抓持示教的困难，基于学习的抓持检测方法由于其适应未知对象的能力而变得流行。
16.然而，现有的基于学习的抓持生成方法也具有缺点。一种已知的基于学习的技术使用数学上严格的抓持质量来在将抓持候选馈送到cnn分类器之前搜索这些候选，但是计算成本高，并且由于优化中包括的简化，解决方案在现实世界中可能不是最优的。另一种方法使用经验试验来收集生产逼真的抓持的数据，但是该方法对于复杂的力控制通常需要数万机器人小时，并且夹持器的任何变化需要重复整个过程。另外，一些现有的抓持生成方法受限于它们能够识别的抓持姿态的类型，诸如仅限于直接的自上而下的接近方向。
17.本公开描述了一种技术，其能够自动地应用于夹持器和零件/对象设计的任何组合，以最小的计算量在模拟中产生大量逼真的抓持，并且还模拟如在真实世界机器人零件拾取操作中经常遇到的从在料箱中混杂在一起的零件堆抓持单个零件的复杂性。为了增加抓持的鲁棒性，使用数学上严格的抓持质量，并且接触被建模为表面。使用专门设计的求解
器来有效求解优化。最后，在物理环境模拟步骤中测试并改进所生成的抓持，以考虑在杂乱环境中遇到的夹持器到零件的干扰。然后，在实际机器人零件拾取操作中使用以这种方式生成和评估的抓持，以从3d相机图像识别目标对象和抓持姿态。
18.图1是根据本公开的实施例的抓持生成过程的示意性流程图100，该抓持生成过程计算在各个零件/对象上的优化的抓持并将计算的抓持应用于在模拟的对象堆中的对象。在框110处，提供三维(3d)对象模型的数据库112。对象模型数据库112可以包括要为其生成抓持的数百个不同对象，其中为每个对象提供3d实体或表面数据(通常来自cad模型)。对象模型数据库112还可以包括来自诸如shapenet之类的广泛可用的共享源库的数据。
19.在框110处还提供了夹持器数据库114，其包括每个夹持器的3d几何和铰接数据。例如，一个特定的夹持器可以具有三个机械手指，每个手指包括两个指关节和两个指段；该夹持器的3d几何形状可以以某种配置提供，例如所有指关节全部张开着弯曲，并且还提供关节枢轴几何形状。夹持器数据库114中可以包括许多不同类型的夹持器，包括两指和三指铰接夹持器、平行钳口夹持器、全人手型夹持器、欠约束致动夹持器、(单个或多个吸盘的)吸盘型夹持器等。
20.在随机初始化框120处，从对象模型数据库112中随机选择一组对象(例如，10-30个对象)，并且还从夹持器数据库114中选择用于每个对象的夹持器。例如，示出了兔子122(其可以是模制塑料玩具)和对应的三指夹持器124，其中兔子122仅仅是对象数据库112中的各个对象的其中一个，而夹持器124是包括在夹持器数据库114中的各个夹持器的其中一个。
21.作为另一个例子，示出了茶壶对象126与相同的夹持器124。为了清楚起见，将独立地分析在随机初始化框120处选择的每个对象连同所选择的夹持器以为对象生成许多稳健抓持，如以下详细讨论的。为了便于操作，可以简单地选择(随机地或用户选择)多个对象(例如，10-30个对象)，其中对于在框120处选择的所有对象自动地执行抓持生成计算。在优选实施例中，相同的夹持器(在该示例中为夹持器124)用于在框120处选择的所有对象，因为随后的分析可以包括将许多或所有不同的对象一起堆放在料箱中，并且使用装配有夹持器的机器人一次一个地拾取这些对象。
22.在框130处，对每个对象/夹持器对执行迭代优化计算以生成并存储许多稳健抓持。在一个实施例中，迭代优化例程配置为计算每个对象和所选夹持器的1000个抓持。当然可以计算多于或少于1000个抓持。迭代优化计算对于对象与夹持器之间的表面接触进行建模，同时防止碰撞或穿透。该计算使用专门为效率设计的求解器，以便非常快速地计算每个抓持。初始条件(相对于对象的夹持器姿态)被改变以提供稳固抓持的多种多样的混合。在框130处的迭代优化计算在下面详细讨论。
23.在框140处，在物理环境的模拟(即，随机落入料箱中并放置成堆的零件的模拟)中使用在随机初始化框120中选择的那组对象，并且将来自框130的相关联的抓持映射到物理环境上。框140处的料箱中的对象模拟堆可以包括许多不同类型的对象(例如，在框120处选择的所有对象)，或者可以包括用所有单个类型的对象填充的料箱。模拟并行地运行以测试每个抓持在杂乱环境中的性能。在框140处的物理环境模拟也在下面进一步讨论。
24.在框150处，记录来自框140处的物理环境模拟的点云、抓持姿态和成功率以形成抓持数据库。点云深度图像152从特定的视角或视点描绘来自框140的对象堆。在优选实施
例中，深度图像152从为最佳抓持计算的接近方向观察的。根据图像152，框140处的计算确定了机器人夹持器可以采用的若干候选抓持。使用在框140处计算的夹持器角度和夹持宽度，由抓持姿态和点图154以及利用图像152的视点限定的接近角度来表示每个候选抓持，其中点图154指示可以用作抓持目标的点。因此，在框150处存储的数据包括来自物理环境模拟的根据期望接近角度的深度映射，指示包括最佳抓持、夹持器旋转角度和夹持器宽度的抓持的x/y/z坐标的点图154，以及抓持成功率。点图154中的各个点将根据抓持质量来排序，并且应当导致成功地从料箱中的对象堆抓持对象。
25.以图1的流程图100中描绘的方式生成和评估并且在框150处存储的抓持稍后用于训练抓持学习系统以从充满零件的实际料箱的3d相机图像识别最佳抓持姿态。
26.图2是根据本公开的实施例的图1的抓持生成过程的迭代优化框130中包括的步骤的示意性流程图200。对每个对象/夹持器对执行流程图200的迭代优化计算以生成并存储许多稳健抓持。
27.在框210处，将夹持器和对象的表面离散成多个点。夹持器表面(手掌表面和各个手指的各个段的内表面)上的点被指定为pi,每个点pi具有法矢量对象外表面上的点被指定为qi,每个点qi具有法向量
28.在框220处，基于相对于对象的当前夹持器姿态(稍后在总体夹持器位置和各个手指关节位置方面进行讨论)，计算点接触对和碰撞对。这开始于使用最近邻居技术来识别夹持器表面上与对象表面上的最近点匹配的点。在过滤去除具有超过阈值的距离的点对之后，剩余的点对(pi，qi)限定(在夹持器上的)接触表面sf和(在对象上的)接触表面so。
29.在222处，示出了对象和夹持器的一个手指的横截面，其具有对应的点对(pi，pj)以及相应的表面法向量。在框222处所示的位置(其可以是初始位置，或者在优化过程期间的任何其它迭代)，在对象和夹持器手指的外侧段之间存在干涉。在优化计算中使用约束函数对该干涉进行惩罚，以便使夹持器移动远离对象以消除干涉，如下所述。
30.在框230处，将抓持搜索问题建模为优化，并且计算一次迭代。为了计算稳定的抓持，在建模中采用表面接触和严格的数学质量。如上所述，在优化中也惩罚了夹持器-对象碰撞以避免穿透。在框230中示出的优化表达式在此被复制为方程(1a)-(1f)，并且在以下段落中讨论。段落中讨论。s
o-sfꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1c)f(so，sf)∈fc
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1d)q∈(q
min
，q
max
)
ꢀꢀ
(1f)
31.优化表达式包括目标函数(方程1a)，其被限定为最大化抓持质量q，其中抓持质量q与接触表面sf和so以及对象几何形状o相关。抓持质量q可以以任何合适的方式限定，并且根据所有接触点相对于诸如质量和重心之类的对象属性的力分量来计算。稳定的抓持是这样一个抓持，在该抓持中夹持器中的对象的任何微小移动都会被摩擦力快速阻止并且不会
导致夹持丧失。
32.方程(1a)-(1f)的优化表达式表达包括许多约束函数。约束函数(方程1b)指示so是由对象初始姿态t
ini，o
变换的对象表面的子集，而sf是由夹持器姿态和关节位置(t，q)变换的手/夹持器表面的子集。约束函数(方程1c)指示对象接触表面so和手/夹持器接触表面sf相同。
33.约束函数(方程1d)指示在夹持器-对象相互作用期间接触力f保持在摩擦锥fc中。摩擦锥fc的特征在于，惩罚手指力相对于摩擦锥的中心线的偏差，其中摩擦锥是一种锥体，当两个表面静止时，由一个表面施加在另一个表面上的合力必须位于该锥体中，如本领域已知的那样，该合力由静摩擦系数确定。约束函数(方程1e)指示所变换的手表面不应穿透环境ε；也就是说，该距离应该大于或等于零。
34.约束函数(方程1f)指示关节位置q停留在由q
min
和q
max
约束的空间中，其中关节位置边界q
min
和q
max
是已知的并且针对所选夹持器给出。例如，所描绘的三指夹持器的手指关节被约束成具有在q
min
＝0
°
(直的手指延伸)和大约q
max
≈140
°‑
180
°
(最大向内弯曲；夹持器中的每个关节在此范围内具有特定的qmax值)之间的角度位置。
35.由于中的非线性运动学和接触表面，方程(1a)-(1f)的优化表达式仍然是非凸问题。为了解决运动非线性，搜索从手/夹持器构形t，q改变为手/夹持器构形的增量δt，δq。具体地，t＝δt t0，q＝δq q0，其中t0，q0表示当前手/夹持器构形。在本公开中，δt＝(r，t)被称为变换。
36.为了解决由表面接触引入的非线性并通过基于梯度的方法求解方程(1a)-(1f)，手/夹持器表面和对象表面分别被离散成点集和其中其中表示点位置和法向量。点离散化在上面关于框210和220讨论过。
37.使用上述最近邻居点匹配方法来限定sf和so，可以使用点pi处的平移雅可比矩阵并描述对象的表面法线方向上的点距离来用公式表示接触紧密度惩罚。该点到平面的距离允许夹持器上的点在对象表面上驻留和滑动。它还降低了算法对不完整点云数据的灵敏度。
38.以仅对当前在穿透中的那些点惩罚碰撞的方式来惩罚和用公式表达碰撞约束(方程1e)。碰撞近似引入了关于δt，δq的微分形式；因此，计算效率显著提高。然而，由于缺少预览，当手移动时，近似的惩罚是不连续的。因此，优化的δt，δq可以表现出之字形行为。为了减少由近似引起的之字形效应，可以使手表面膨胀以预览可能的碰撞。
39.现在回到图2，前面的讨论描述了框230处的优化表达式，包括凸质化简化，其使得优化计算能够非常快速地执行。在框240处，更新相对于对象的夹持器姿态(夹持器基座/手掌姿态t和关节位置q二者)，并且重复框220(计算接触点对和碰撞点对)和230(求解优化问题的迭代)的步骤，直到优化表达式收敛到预定阈值。
40.图2的示意性流程图200中所示的步骤计算夹持器(例如124)对于对象(例如兔子122)的单个抓持。即，当优化计算收敛时，提供具有适当质量并且没有干涉/穿透的单个抓持。在242处示出的横截面中，可以看出，通过放宽夹持器手指关节的角度已经消除了对象和夹持器手指之间的干涉，使得点对(pi，qi)刚好接触。
41.如前所述，期望为每个对象/夹持器对计算许多不同的夹持。在一个实施例中，迭代优化例程被配置为使用选定的夹持器计算每个对象的1000个抓持。
42.还期望从不同的初始抓持姿态取样以便获得不同的收敛抓持，使得所得到的抓持是全面的。换句话说，对于1000个计算的抓持中的每一个，初始条件(相对于对象的抓持姿态)是随机变化的。这样做是因为方程(1a)-(1f)的优化表达式收敛到局部最优。为了从所有不同方向(从前面、从后面、从上面和下面等)获得(例如兔子122的)头部和身体的不同部分上的抓持，初始条件必须反映接近方向和目标抓持位置的多样性。
43.即使改变初始条件以提供多种抓持姿态，鉴于在迭代优化步骤中计算的大量(例如，500-1000)抓持，将不可避免地有许多非常相似的抓持。例如，可以容易地想象，将计算到从前面对兔子122头部的许多类似抓持。为此，在针对对象计算500-1000个抓持之后，抓持按相似姿态分组，并计算平均值。在抓持生成方法的一个实施例中，仅存储平均抓持。换句话说，例如，从前方对兔子122头部的所有抓持被平均成单个存储的抓持。对于其它接近方向和抓持位置也是如此。以此方式，500-1000个计算的抓持可以减少到20-50个的范围内的存储的抓持的数量，其中每个存储的抓持与其它存储的抓持显著不同。
44.图3是根据本公开的实施例的图1的抓持生成过程的物理环境模拟框140中包括的步骤的示意性流程图300。在框310处，提供了(特定夹持器)对于各个对象的一组优化的抓持。通过框130(图1)和图2的流程图200的迭代优化过程来计算和提供优化的抓持。如上所述，优化的抓持优选地是代表抓持位置/角度多样性的储存的抓持(数量为20-50)，其中每个储存的抓持与其它存储的抓持显著不同。
45.在框320处，提供模拟的对象堆。对象可以全部是相同类型的(如料箱322所示)，或者对象可以包括许多不同的类型(诸如在图1的框120处的随机初始化步骤中提供的并且如料箱中324所示的那些)。在框310处提供的抓持必须包括使用相同的夹持器的模拟的堆中的所有(如果多于一个)对象类型。在框320处，使用以随机取向落入料箱中、落在箱体的底部、与已经落下的其它对象碰撞、沿增长的堆的侧面向下翻滚直到达到平衡位置等的对象的实际动态模拟，来提供模拟的对象堆。为了进一步的逼真性，对象堆的动态模拟包括实际零件形状、料箱尺寸/形状和表面对表面接触模拟。
46.在框320处提供了料箱中的模拟的对象堆之后，将框310处提供的抓持(记录的优化抓持)映射到模拟的对象堆。这个步骤在框330示出。因为模拟的对象堆包括各个对象的已知位置，所以可以使用对象姿态和身份来将优化的抓持映射到模拟的对象堆上。这导致对象的模拟抓持，包括对象堆的3d深度图、所选对象的身份、对应的接近角度、三维抓持点、夹持器角度和夹持器宽度(或手指关节位置)。
47.将模拟的对象堆的暴露表面建模为3d点云或深度图。因为模拟的对象堆包括各个对象的已知位置，所以可以从任何合适的视点(服从机器人抓持的角度，诸如在垂直的30
°
内)计算3d深度图。然后可以分析从每个模拟抓持的视点的3d深度图以找到3d深度图中的对象的暴露部分和使用存储的优化抓持中的一个的对应模拟抓持之间的相关性。
48.对于给定的一组优化的抓持，提供模拟的对象堆(框320)可以重复多次。每个模拟的对象堆使用不同的随机对象流和被投放的取向；因此，各个模拟的堆将全部不同，从而提供不同的抓持确定视角。更具体地，对于任意随机的对象堆，可以随机选择抓持接近方向，并且可以在模拟中测试靠近该接近方向的抓持。可以针对每个模拟的对象堆重复单独的对
象抓持模拟(框330)，直到所有对象(在模拟中)都被抓持并从料箱中移除。
49.通过重复框320和330中的步骤，可以在不同的条件下模拟每个抓持，包括缠结在一起的对象、部分暴露但被堆中的其它对象卡在适当位置的对象、以及料箱侧面/拐角。此外，可以将变化和不确定性包括到抓持模拟中，包括：对象姿态不确定性、感测不确定性、摩擦不确定性和不同的环境(料箱、对象)。通过在这些不同情况下执行抓持试验，模拟和记录在不确定性、变化和干涉下的每个抓持的鲁棒性是可能的。
50.返回到图1的框150，记录来自框140处的物理环境模拟的(并在关于图3所讨论的)点云、抓持姿态和成功率以形成抓持数据库。点云深度图像152从特定的视角或视点描绘来自框140的对象堆。根据图像152，框140处的计算确定了机器人夹持器可以采用的若干候选抓持。使用在框140处计算的夹持器角度和夹持宽度，由点图154中的区域和利用图像152的视点限定的接近角度表示每个候选抓持，其中点图154指示可以用作抓持目标的点。点图154中的点将根据抓持质量来排序，并且应当导致成功地从料箱中的对象堆抓持对象。
51.以图1的流程图100中描绘的方式生成和评估并在框150处存储的抓持稍后用作神经网络系统的训练样本，该神经网络系统在实际机器人零件拾取操作中使用以从充满零件的实际料箱的3d相机图像识别目标抓持姿态。这在下面相对于图4讨论。
52.图4是根据本公开的实施例的机器人零件拾取系统的框图示意图，该机器人零件拾取系统使用神经网络系统进行抓持计算，其中该神经网络系统使用通过图1至图3的过程生成的抓持来训练。具有夹持器402的机器人400在工作空间中操作，其中机器人400将零件或对象从第一位置(料箱)移动至第二位置(传送机)。夹持器402是在图1的框120处识别的夹持器。
53.机器人400的运动由控制器410控制，该控制器通常经由线412与机器人400通信。如本领域所公知的，控制器410向机器人400提供关节运动指令，并且从机器人400的关节中的编码器接收关节位置数据。控制器410还提供指令以控制夹持器402的操作(旋转角度和宽度，以及夹持/松开指令)。
54.计算机420与控制器410通信。计算机420包括处理器和内存/存储装置，其被配置为以两种方式中的一种实时计算用于装满对象的料箱的高质量抓持。在优选实施例中，计算机420运行神经网络系统，该神经网络系统使用来自框150的抓持数据库进行抓持学习来被预先训练。神经网络系统然后基于实况图像数据实时计算抓持。在另一实施例中，计算机420在实时机器人实况操作期间直接根据来自框150的包括来自物理环境模拟的点云、抓持姿态和成功率的抓持数据库来计算抓持。计算机420可以是执行以上关于图1-3讨论的所有抓持生成计算的同一计算机。
55.一对3d相机430和432与计算机420通信并提供工作空间的图像。具体地，相机430/432提供箱450中的对象440的图像。来自相机430/432的图像(包括深度数据)提供限定料箱450中的对象440的位置和取向的点云数据。因为有两个具有不同视角的3d相机430和432，所以可以从任何合适的视点计算或投影料箱450中的对象440的3d深度图。
56.机器人400的任务是从料箱450拾取对象440中的一个，并将该对象移动到传送机460。在所示的示例中，单个零件442被选择，由机器人400的夹持器402抓持，并且沿着路径480移动到传送机460。对于每个零件拾取操作，计算机420从相机430/432接收料箱450中的对象440的图像。根据相机图像，计算机420计算料箱450中的对象440堆的深度图。因为从两
个不同的视角提供相机图像，所以可从不同的视点计算对象440堆的深度图。
57.在优选实施例中，计算机420包括被针对抓持学习而训练的神经网络系统。利用来自框150的抓持数据库的数据(来自物理环境模拟的点云、抓持姿态和成功率)使用有监督的学习来训练神经网络系统。本公开的图1-3的方法提供了神经网络系统的完整训练所需的数据的数量和多样性。这包括针对每个对象以及许多不同随机堆的对象的具有目标抓持自由度(dof)和抓持成功率的许多不同抓持。来自框150的抓持数据库中的所有这些数据可用于自动训练神经网络系统。然后，计算机420上的神经网络系统在实时机器人操作期间以推理模式运行，其中神经网络系统基于来自相机430/432的对象堆图像数据来计算高质量抓持。
58.在另一实施例中，计算机420基于来自框150的抓持数据库直接识别在实时机器人操作期间的抓持。在该实施例中，计算机420预先知道在料箱450中包含什么类型的对象440，因为该信息包括在来自框150的抓持数据库(以及来自物理环境模拟的点云、抓持姿态和成功率)。当根据先前生成的抓持数据库找到包括在用于高质量抓持的位置中的对象(诸如对象442)的深度图时，计算机420将相应对象抓持数据提供给控制器410，然后控制器410命令机器人400抓持和移动对象。
59.在上述任一实施例中，由计算机420提供给控制器410的抓持数据包括抓持目标点的3d坐标、夹持器402要遵循的接近角度、以及夹持器旋转角度和宽度(或所有手指关节的位置)。使用抓持数据，控制器410可以计算机器人运动指令，该机器人运动指令使得夹持器402抓持对象(例如，对象442)并沿着无碰撞路径(路径480)将对象移动到目的地位置。
60.代替传送机460，目的地位置可以是其中对象被放置在单独的隔间中的装运容器，或者是其中对象在随后的操作中被进一步处理的任何其它表面或装置。
61.在对象442移动到传送机460之后，由于对象440堆现在已经改变，所以由相机430/432提供新的图像数据。计算机420然后必须基于新的图像数据和先前生成的抓持数据库来识别新的目标抓持。新的目标抓持必须由计算机420非常快速地识别，因为抓持识别和路径计算必须实时地执行，与机器人400能够移动对象440中的一个并且返回以拾取下一个一样快。质量抓持的数据库的生成-包括对应的深度图像数据、抓持点和接近角度以及用于每个抓持的夹持器配置-使得能够预训练神经网络系统以在实际机器人操作期间非常快速和高效地执行实时计算。所公开的方法便于容易且自动地为许多对象和对应的夹持器生成抓持数据库。
62.上述抓持生成技术提供了优于现有方法的若干优点。所公开的方法提供高质量、全自由度(dof)抓持生成。该方法产生具有表面接触的近乎真实的抓持，因此产生的抓持对于不确定性和干扰更具有鲁棒性。此外，所公开的优化表达式和定制的迭代求解器是高效的，计算抓持的时间范围从用于具有一个关节的夹持器的0.06秒到用于22关节多指手的0.5秒。物理模拟比真实世界试验快10-100倍，能在0.01-0.05秒内测试抓持试验，10小时内产生一百万个抓持。
63.另外，所公开的方法生成包括不同变化和干涉的不同抓持数据。生成流水线模拟在变化(对象形状变化、姿态不确定性)和干涉(缠结、堵塞和拐角)下的抓持性能。因此，后面的学习算法可以基于这些抓持数据学习鲁棒的抓持策略。优化框架在吸力夹持器、传统的指型夹持器、定制夹持器、多指手型夹持器和具有较小适应性的软夹持器上工作。它也在
欠致动的手和完全致动的机器手上工作。最后，所公开的方法在数学上是合理的并且易于求解，优化严格的抓持质量以产生近乎真实的抓持。尽管有严格的质量和所有的约束，但该算法能够以迭代的方式用基本线性代数来求解。
64.在整个前述讨论中，描述并暗示了各种计算机和控制器。应当理解，这些计算机和控制器的软件应用和模块在具有处理器和存储器模块的一个或多个计算设备上执行。特别地，这包括在机器人控制器410中的处理器，其控制执行对象抓持的机器人400，以及在计算机420中的处理器，其执行抓持生成计算并识别用于实时操作中的抓持的对象。
65.尽管以上已经讨论了基于优化的抓持生成技术的多个示例性方面和实施例，但是本领域技术人员将认识到其修改、置换、添加和子组合。因此，下面所附权利要求和此后引入的权利要求旨在被解释为包括在其真实精神和范围内的所有这些修改、置换、添加和子组合。