混合尺寸卸盘的制作方法

1.本公开一般涉及用于识别将由机器人从多个箱子的堆叠中拾取的箱子的系统和方法，更具体地，涉及用于识别将由机器人从多个箱子的堆叠中拾取的箱子的系统和方法，其中所述方法采用图像分割处理，所述图像分割处理向所述堆叠的图像中的每个像素分配标签。


背景技术：

2.机器人执行包括拾取和放置操作的大量商业任务，其中机器人拾取对象并将对象从一个位置移动到另一个位置。例如，机器人可以从货盘上拾取箱子并将箱子放置在传送带上，其中机器人可能采用具有吸盘的末端执行器来保持箱子。为了使机器人有效地拾取箱子，机器人需要知道它正拾取的箱子的宽度、长度和高度，所述宽度、长度和高度在拾取和放置操作之前被输入到机器人控制器中。然而，同一货盘上的箱子经常具有不同的尺寸，这使得在拾取和放置操作期间将箱子的尺寸输入到机器人中是低效的。这些箱子也可以并排地放置在相同的高度处，在此区分它们是分开的箱子还是单个大箱子是有挑战性的。目前，没有机器人系统能够在实时期间确定它将拾取的箱子的尺寸。
3.在一种已知的机器人拾取和放置系统中，将机器人将要拾取的箱子的宽度、长度和高度首先输入到系统中。3d摄像头获取多个箱子的堆叠的自顶向下图像，并且生成所述多个箱子的2d红-绿-蓝(rgb)彩色图像和所述多个箱子的2d灰度深度图图像，其中深度图图像中的每个像素具有定义从摄像头到特定箱子的距离的值，即，像素越靠近对象，其值越低。机器人控制器基于箱子的宽度和长度提供一系列投影模板，每个模板具有针对摄像头和箱子之间的特定距离的尺寸。在搜索过程中，用于由深度图图像提供的箱子的距离的模板在彩色图像周围移动，使得当模板匹配或对准彩色图像中的箱子时，机器人控制器将知道箱子的位置，并且将使用该位置来定义箱子的中心以控制机器人拾取箱子。


技术实现要素：

4.以下讨论公开并描述了用于识别将由机器人从多个箱子的堆叠中拾取的箱子的系统和方法。该方法包括使用3d摄像头来获得所述多个箱子的2d红-绿-蓝(rgb)彩色图像和所述多个箱子的2d深度图图像，其中所述深度图图像中的各个像素被分配识别从摄像头到所述多个箱子的距离的值。该方法通过执行图像分割处理来生成所述多个箱子的分割图像，所述图像分割处理从所述rgb图像和所述深度图图像中提取多个特征，组合所述图像中的所提取的多个特征，并向特征图像中的各个像素分配标签，使得所述分割图像中的每个箱子具有相同的标签。然后，所述方法使用所述分割图像来识别用于拾取箱子的位置。
5.结合附图，从以下描述和所附权利要求，本公开的附加特征将变得显而易见。
附图说明
6.图1是机器人系统的图示，该机器人系统包括从货盘上拾取箱子并将它们放置在
传送带上的机器人；
7.图2是混合尺寸卸盘系统的示意性框图，该卸盘系统是图1所示的机器人系统的一部分；
8.图3是与图2所示的系统分离的分割模块的示意性框图；
9.图4是具有三层的箱子的堆叠的自顶向下rgb图像；
10.图5是图4中所示的箱子的堆叠的自顶向下深度图图像；
11.图6是示出了堆叠中的箱子的计数峰的直方图，其中，深度在水平轴上，计数在垂直轴上；
12.图7是图4中所示的堆叠的顶层的剪裁的自顶向下rgb图像；以及
13.图8是图4中所示的堆叠的中间层的剪裁的自顶向下rgb图像。
具体实施方式
14.以下对本公开的实施例的讨论涉及用于识别将由机器人从多个箱子的堆叠拾取的箱子的系统和方法，其中所述方法采用图像分割处理，所述图像分割处理向所述堆叠的图像中的每个像素分配标签，该讨论本质上仅是示例性的，并且决不旨在限制本发明或其应用或使用。例如，该系统和方法具有用于识别将由机器人拾取的箱子的应用。然而，该系统和方法可以具有其他应用。
15.图1是机器人系统10的图示，该系统包括具有末端执行器14的机器人12，该末端执行器被配置成从位于货盘20上的多个箱子16的堆叠18拾取多个箱子16并将它们放置在传送带22上。系统10旨在表示可以受益于本文的讨论的任何类型的机器人系统，其中机器人12可以是适合于该目的任何机器人。3d摄像头24被放置成拍摄该多个箱子16的堆叠18的自顶向下2d rbg图像和深度图图像，并将它们提供给控制机器人12的移动的机器人控制器26。该多个箱子16可以在货盘20上具有不同的取向、可以在货盘20上被堆叠为多层并且可以具有不同的尺寸。
16.如下面将详细讨论的，机器人控制器26采用算法，该算法在没有将箱子16的长度、宽度和高度预先输入到控制器26的情况下和在不需要生成箱子16的投影模板的情况下确定机器人12将正拾取的每个箱子16的尺寸。更具体地，该算法执行图像分割处理，该图像分割处理将标签分配给图像中的每个像素，使得具有相同标签的各个像素共享某些特征。因此，该分割处理预测哪个像素属于该多个箱子16中的哪个箱子，其中不同的标记表示不同的箱子16。
17.现代的图像分割技术可以采用深度学习技术。深度学习是一种特定类型的机器学习，其通过将特定的真实世界环境表示为日益复杂的概念的层次结构来提供更大的学习性能。深度学习通常采用包括执行非线性处理的具有若干层神经网络的软件结构，其中每个相继的层接收来自前一层的输出。通常，这些层包括接收来自传感器的原始数据的输入层、从该数据中提取抽象特征的多个隐藏层、以及基于来自隐藏层的特征提取来识别特定事物的输出层。神经网络包括多个神经元或多个节点，每个神经元或节点具有“权重”，该权重乘以节点的输入以获得某事物是否正确的概率。更具体地，该多个节点中的每个节点具有一个权重，该权重是一个浮点数，该浮点数与该节点的输入相乘，以生成那个节点的输出，该输出是该输入的某一比例。通过使神经网络在监督处理下分析一组已知数据，并通过最小
化成本函数以允许网络获得正确输出的最高概率，来初始“训练”或设置权重。深度学习神经网络经常被用来提供图像特征提取和变换，以用于图像中的对象的视觉检测和分类，其中视频或图像流可以由该网络分析以识别和分类对象并且通过该过程学习以更好地识别对象。因此，在这些类型的网络中，系统可以使用相同的处理配置来检测某些对象，并且基于算法如何学习以识别对象来不同地对它们进行分类。
18.图2是混合尺寸卸盘系统30的示意性框图，该卸盘系统是机器人系统10中的控制器26的一部分，该机器人系统操作以从货盘20上拾取该多个箱子16。系统30从摄像头24接收位于货盘20上的该多个箱子16的顶视图的2d rgb图像32和该多个箱子16的顶视图的2d深度图图像34。图像32和34被提供给执行图像分割处理的分割模块36，其中每个像素被分配某个标签，并且其中与相同箱子16相关联的各个像素具有相同的标签。
19.图3是与系统30分离的模块36的示意性框图。rgb图像32被提供给特征提取模块40，并且深度图图像34被提供给特征提取模块42，它们执行从图像32和34提取特征的滤波处理。例如，模块40和42可以包括基于学习的神经网络，其从图像32和34提取梯度边缘、轮廓、基本形状等，并且以已知的方式提供rgb图像32的提取的特征图像44和深度图图像34的提取的特征图像46。图像44和46被对准成为特征堆叠图像48以提供3d扩充矩阵。特征堆叠图像48被提供给区域建议模块50，该模块使用神经网络分析rgb图像32和深度图图像34中的所识别的特征以确定在图像48中该多个箱子16的位置。特别地，模块50包括已训练的神经网络，其提供不同尺寸的诸如50到100个框之类的多个边界框，即具有各种长度和宽度的框，这些框被用于识别箱子16存在于图像48中的某一位置处的概率。区域建议模块50采用本领域技术人员公知的滑动搜索窗口模板，其中包括所有边界框的搜索窗口在特征堆叠图像48上移动，例如，从图像的左上角48移动到图像48的右下角，寻找识别该多个箱子16中的一个可能存在的特征。
20.滑动窗口搜索产生包括多个边界框52的边界框图像54，每个边界框包围图像48中的预测对象，其中每次机器人12从堆叠18中移走该多个箱子16中的一个时，可以减少图像54中的边界框52的数量。模块50参数化每个框52的中心位置(x，y)、宽度(w)和高度(h)，并且提供箱子存在于框52中的0％和100％之间的预测置信度值。图像54被提供给二进制分割模块56，其使用神经网络来估计在每个边界框52中像素是否属于箱子16以消除框52中的不是对象16的一部分的背景像素。每个框52中的图像54中的剩余像素被分配用于特定箱子16的值，使得生成2d分割图像58，其通过不同的标记(诸如颜色)来识别箱子16。所描述的图像分割处理是深度学习掩模r-cnn(卷积神经网络)的修改形式。
21.然后，将2d分割图像58提供给中心像素模块60，其确定图像58中的哪个分割的框对于是箱子具有最高置信度值，并提供所选择的箱子16的中心像素的x-y坐标。所选择的箱子16的所识别的中心像素连同计算那个箱子16的中心像素的x-y-z笛卡尔坐标的深度图图像34一起被提供给笛卡尔坐标模块62，其中深度图图像34知道每个像素在真实世界中的位置。然后，使用那个箱子16的中心像素的x-y-z坐标来识别用于放置末端执行器14的抓取位置模块64中的x-y-z抓取位置。末端执行器14的抓取位置和来自取向模块66的箱子16的已知垂直取向确定在抓取姿态模块68中末端执行器14的抓取姿态或取向，其中抓取姿态包括末端执行器14的x-y-z坐标和偏转、俯仰和滚动，以提供末端执行器14的到箱子16的接近取向，并且其中可以提供箱子16的其它取向，例如箱子表面的正常取向，而不是垂直取向。在
拾取模块70处执行机器人运动以拾取箱子16。然后机器人12发信号给摄像头24以提供新的rgb图像和深度图图像，其中先前提取的箱子16已经从堆18中移走。继续该过程直到所有箱子16都已经被拾取。
22.当该多个箱子16被机器人12从堆叠18中移走时，堆叠18的较低层中的箱子16可能部分地暴露于摄像头24并且被分割模块36分割。图4是示出这一点的多个箱子84的堆叠82的自顶向下rgb图像80，其中，顶层88中的箱子86部分地覆盖中间层92中的箱子90和底层96中的箱子94，其中，箱子90和94可以被分割模块36分割，并且机器人12可以在箱子86已被移走之前试图拾取它们。对于摄像头24，部分分割的箱子可能看起来像完整的箱子，但是由于这些箱子的一部分被遮挡，所以不能确定这些箱子的正确中心，并且末端执行器14的取向可能未被正确地放置以拾取这些箱子。
23.如下面将详细讨论的，通过使用堆叠18的深度图图像来剪裁箱子84的顶层并且仅分割顶层中的那些箱子直到它们被机器人12从堆叠82移走为止来解决这个问题。图5是堆叠82的深度图图像98，其中层88、92和96的特定层中的箱子84具有相同的阴影。
24.图6是深度在水平轴上且计数在垂直轴上的直方图，其中例如从摄像头24开始每厘米深度定义单独的“条”。深度图图像98中的每个像素根据其与摄像头24的距离而被分配值，并且深度图图像98中的每个像素是计数并且每个计数根据其值而被分配给条。因此，特定层中的箱子84的像素将被分配给相同的条或周围的条。该直方图示出了在70cm深度处的顶层88的计数的峰100、在90cm深度处的中间层92的计数的峰102、以及在105cm深度处的底层96的计数的峰104，其中，在距摄像头24零cm处的峰106包括来自不能被测量且被消除的像素的计数，而在距摄像头24120cm处的峰108是地面并且也被消除。
25.控制器26将最接近的峰识别为箱子84的顶层，其是峰100，并从图像中剪裁与该峰值或周围值相关联的所有箱子，如图7所示。现在，在所剪裁的图像中没有被其它箱子覆盖的箱子，并且可以以上述方式对所剪裁的图像执行分割处理。一旦在所剪裁的图像中已经拾取了所有箱子84，控制器26将产生另一个直方图，其中最接近的峰现在将是箱子84的中间层的峰102，其如图8所示被剪裁。
26.如本领域技术人员将充分理解的，本文中讨论的用于描述本公开的若干和各种步骤和过程可以指由计算机、处理器或使用电现象来操纵和/或变换数据的其他电子计算装置执行的操作。那些计算机和电子装置可以采用各种易失性和/或非易失性存储器，包括其上存储有可执行程序的非瞬态计算机可读介质，所述可执行程序包括能够由计算机或处理器执行的各种代码或可执行指令，其中存储器和/或计算机可读介质可以包括所有形式和类型的存储器和其他计算机可读介质。
27.前述讨论仅公开和描述了本公开的示例性实施例。本领域技术人员将容易地从这样的讨论和从附图和权利要求认识到，在不偏离如在所附权利要求中限定的本公开的精神和范围的情况下，可以在其中进行各种改变、修改和变化。