空容器检测
相关申请的交叉引用
1.本技术要求2018年12月20日提交的美国临时申请第62/782,517号的权益和优先权，其全部公开内容通过引用并入本技术，如在本技术中完整阐述一样。
技术领域
2.本技术描述的实施例通常涉及检测容器的内容物，且更具体地，涉及使用传感器来收集关于容器是否为空的数据。
背景技术：
3.诸如仓库环境中的那些后勤操作通常使用机器人拾取装置从容器收集物品并将物品放置在不同的位置(例如，传送带)处或者反之。在这些现有技术或环境中，机器人装置通常从容器中拾取物品直到容器为空。然后必须一个人手动确认容器是空的(即，所有物品都已从容器拾取出)，然后将拾取装置切换到另一个容器或将另一个满的容器运给拾取装置。这种手动干预不可避免地会浪费时间和导致生产停止。
4.因此，需要克服现有技术的缺点的方法和系统。
技术实现要素：
5.本发明内容是用于以简化的形式介绍一些构思的选择，这些构思将在下面的具体实施方式部分中进一步描述。本发明内容不旨在确定或排除所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
6.一方面，实施例涉及一种检测容器是否为空的方法。所述方法包括在第一位置接收容器；从多个传感器接收容器数据，其中所述容器数据包括与容器相关的重量数据、与容器相关的深度数据和与容器相关的颜色传感器数据中的至少两个；使用执行存储在存储器中的指令以提供传感器融合模块的处理器处理接收到的容器数据以确定容器是否为空；以及在传感器融合模块确定容器为空时从第一位置自动移开容器。
7.在一些实施例中，该方法进一步包括扰动容器，在扰动容器之后确定容器不为空，以及在确定容器不为空之后从容器移除至少一个物品。
8.在一些实施例中，该方法进一步包括生成关于容器为空的可能性的置信度分数，其中所述置信度分数基于接收的容器数据。
9.在一些实施例中，该方法进一步包括在确定置信分数小于预定阈值时扰动容器，收集关于受到扰动的容器的第二组数据，以及分析第二组数据以生成关于容器为空的第二可能性的第二置信度分数。在一些实施例中，容器在传送带上并且该方法进一步包括在确定置信度分数大于预定阈值时利用传送带将容器从第一位置移动至第二位置。
10.在一些实施例中，所述方法进一步包括检测容器存在于第一位置处。
11.在一些实施例中，多个传感器用于提供重量数据、深度数据和颜色传感器数据中的至少两个，并且所述多个传感器与机器人拾取装置并列设置(collocate)。
12.在一些实施例中，该方法进一步包括将接收到的容器数据与存储在存储器中的容器的已知重量数据或容器的已知外观数据中的至少一个进行比较以确定容器是否为空。
13.在一些实施例中，该方法进一步包括使用传感模式(modality)来检测在所有主要方向上长度至少为0.5cm的物品。
14.在一些实施例中，该方法进一步包括利用机器人拾取装置抓住和摇动容器以使容器中的物品移动。
15.根据一各方面，实施例涉及一种用于检测容器是否为空的系统。该系统包括多个传感器，配置为收集关于在第一位置处的容器的容器数据，容器数据包括与容器有关的重量数据、与容器有关的深度数据和与容器有关的颜色传感器数据中的至少两个；以及处理器，配置为执行存储在存储器上的指令，以提供传感器融合模块，所述传感器融合模块配置为处理接收到的容器数据以确定容器是否为空。
16.在一些实施例中，该系统进一步包括用于扰动容器的拾取装置。在一些实施例中，所述拾取装置进一步配置为抓握容器以使容器中的物品移动。
17.在一些实施例中，其中存储器存储已知的重量数据和已知的外观数据中的至少一个，并且所述处理器配置为将存储的数据与接收的容器数据进行比较以确定容器是否为空。
18.在一些实施例中，容器位于传送带上且传送带配置为在传感器融合模块确定容器为空时将容器从第一位置移动到第二位置。
19.在一些实施例中，处理器进一步配置为生成关于容器为空的可能性的置信度分数。在一些实施例中，处理器进一步配置为在确定置信度分数小于预定阈值时发送信号以扰动容器；利用多个传感器收集关于受到扰动的容器的第二组数据；分析第二组数据；以及生成关于容器为空的第二可能性的第二置信度分数。
20.在一些实施例中，该系统进一步包括配置为与至少一个拾取装置通信的接口。
21.在一些实施例中，所述多个传感器并列设置在拾取装置上。
22.在一些实施例中，所述多个传感器装置包括多个互连的传感器装置。
附图说明
23.参考以下附图描述本技术实施例的非限制性和非穷举性实施例，其中除非另有说明，否则相同的附图标记在各个视图中指代相同的部分。
24.图1示出了根据一个实施例的一种用于检测容器是否为空的系统；
25.图2示出了根据一个实施例的执行拾取操作的多个机器人拾取装置；
26.图3示出了根据一个实施例的一种执行拾取操作的机器人拾取装置；
27.图4示出了根据一个实施例的一种用于检测容器是否为空的方法的流程图；
28.图5示出了根据一个实施例的一种基于生成的置信度分数与容器进行交互的方法的流程图；
29.图6示出了根据一个实施例的一种执行扰动的机器人拾取装置。
具体实施方式
30.下面参考附图更全面地描述各个实施例，各附图形成本发明的一部分并且示出了
具体的示例性实施例。然而，本公开的构思可以以许多不同的形式来实现，并且不应解释为限于这里阐述的实施例；相反，提供这些实施例作为彻底和完整公开的一部分，以向本领域技术人员充分传达本公开的构思、技术和实施方式的范围。实施例可以实践为方法、系统或设备。因此，实施例可以采取硬件实施方式、完全软件实施方式或结合软件和硬件方面的实施方式的形式。因此，以下详细描述不应被视为限制性的。
31.说明书中引用“一个实施例”或“实施例”表示与描述该实施例有关的特定特征、结构或特性包括在根据本公开的至少一个示例性实施方式或技术中。在说明书中各处出现的短语“在一个实施例中”不一定都指的是同一实施例。在说明书中各处出现的短语“在一些实施例中”不一定指的是相同的实施例。
32.此外，本说明书中使用的语言主要是出于可读性和指导目的而选择的，并非选择用于描述或限制所公开的主题。因此，本公开意在说明而非限制此处所讨论的构思的范围。
33.本技术描述的各种实施例的特征提供了新型的检测系统、方法和装置。具体地，本技术描述的实施例提供用于检测容器是否为空的自动系统和方法。本技术描述的系统和方法可以与任何类型的刚性或半刚性类型的手提箱、容器、盒子、箱等(为简单起见，“容器”)结合工作，无论是否被分隔。
34.本技术描述的系统和方法可以依赖于与容器相关的重量数据、与容器相关的深度数据和与容器相关的颜色数据中的至少两个。传感器融合模块然后可以组合并处理收集的数据以确定容器是否为空。如果传感器融合模块确定容器是空的，则系统可以执行步骤，例如从机器人拾取装置的附近自动移开容器并将新的非空容器递送至机器人拾取装置(或将机器人拾取装置移动至新的非空容器)。
35.本技术描述的系统和方法可以在诸如物流仓库或其他类似的位置等环境中实施，并与装满物品、部分装满物品或空的各种不同类型的容器结合工作，无论是作为一个整体还是在容器内的各个分区。
36.图1示出了根据一个实施例，用于检测容器是否为空的系统100的示意图。系统100可以包括与物流管理模块104和数据库106通信的拾取装置102。在一些实施例中，物流管理模块104可以设立由处理器执行的计算机可执行指令。在一些实施例中，物流管理模块104可以包括存储在物流管理模块104的存储器124中的数据库106。
37.拾取装置102可以类似于图2和图3的拾取装置，如下文更详细的描述。拾取装置102可以包括多个传感器，配置为收集关于位于第一位置的容器的容器数据，例如重量传感器110、距离/深度传感器112和颜色相机传感器114。容器数据可以由重量传感器110、距离/深度传感器112、颜色传感器114中的至少两个收集；并且还可以由传感器融合模块116收集，如下文更详细的描述。
38.多个传感器110、112和114可并列设置在拾取装置102上或以其他方式并列设置在拾取装置102附近的位置处，以在拾取装置102处或附近收集关于容器的数据。在一些实施例中，传感器110、112和114可以是互连的传感器。拾取装置102可以进一步包括用于与其他装置和/或系统通信的接口118，并且还可以包括一个或多个运输装置120。拾取装置102还可以包括一个或多个扰动装置130。在一些实施例中，运输装置120和扰动装置130可以是相同的装置。
39.在一些情况下，例如对于容器中潜在的任何对象或物品要考虑的最大重量大于某
个阈值(例如，30克)的那些情况，诸如秤等重量传感器110可能足以检测容器是否包含物品。
40.在一些环境中，重量传感器110可以集成到传送带系统或拾取站中。这些重量传感器110可以通过接口118与包括物流管理模块104的计算机或其他硬件或处理部件进一步通信。
41.在一些实施例中，容器的空重可以是先验已知的。物流管理模块104可以通过依赖于存储在一个或多个数据库106中的数据来提供该数据。
42.当容器到达拾取位置时，执行存储在存储器124上的指令的传感器融合模块116或一些其他分析模块122可以接收并处理容器数据以确定容器是否为空。在一些实施例中，传感器融合模块116执行指令，例如将来自重量传感器110的容器的检测重量与存储在数据库106中或者以其他方式存储在存储器124中的相同类型容器的空的版本的已知重量进行比较的指令。如果到达的容器的重量高于已知的空重，则该容器可以归类为非空的。
43.在一些实施例中，数据库106可以存储关于容器的已知外观和容器的重量的数据。例如，数据库106还可以包括当容器为空时容器底部的颜色、当容器为空时容器的声音、当容器为空时容器的深度和/或当容器为空时关于容器的其他特征。
44.在一些实施例中，系统100可以使用传感器融合模块116来处理在所有主要方向上长度至少为0.5cm的检测到的物品。在一些实施例中，传感器融合模块116可以处理在所有主要方向上长度至少为0.3cm的检测到的物品。在一些实施例中，传感器融合模块116可以处理在所有主要方向上长度至少为0.7cm的检测到的物品。
45.在一些情况下，例如物品足够轻以至于重量传感器110不能可靠地检测到它们或者足够小以至于距离/深度传感器112不能可靠地检测到它们的情况下，系统100可以依赖于传感器110、112和114以及传感器融合模块116的组合以确定容器是否为空，可选地还与扰动装置130组合。在一些实施例中，距离/深度传感器112(为简单起见，“深度传感器112”)可以检测单独由重量传感器110不能可靠地检测的轻量物品。深度传感器112能够检测容器中的物品，只要物品没有以使得它们在由一个深度传感器112观察时看起来非常薄的方式定向。例如，信用卡或纸板火柴在某些方向上可能看起来很薄。然而，多个深度传感器112能够检测例如在一个或多个主要维度上至少为0.5cm的物品。
46.部署的深度传感器112的数量可以根据尺寸、重量、功率、计算硬件或成本限制而变化。例如，在一些实施例中，诸如微软等单个现成的(ots)深度传感器可以安装在容器区域上方以在当容器呈现给机器人拾取装置102时捕获它们的图像。在该配置中，深度传感器112可以安装得足够高以对整个容器内部成像，但足够近以充分感测其中的物品并区分物品和容器本身。
47.在其他实施例中，可以存在深度传感器112的阵列以计算容器内部的高保真度、三维(3d)重建。这可以实现高精度检测，但需要更高的财务、集成和计算成本。深度传感器112的阵列可以安装在容器的向内观察的顶部附近，或沿着容器的底部，以容易地检测是否有靠近深度传感器112的任何对象。
48.不管深度传感器112的确切配置如何，传感器融合模块116都可以执行几何和/或图像处理算法来检测容器是否为空。假设容器几何形状是先验已知的，这些算法可以重建由深度传感器112观察到的完整3d空间，并且传感器融合模块116可以使用诸如迭代最近点
(icp)之类的对象匹配算法来定位该空间。在一些实施例中，物流管理模块104和数据库106可以并入传感器融合模块116中并且可以共同定位在拾取装置102上。
49.一旦定位了容器空间，与容器内部的预期底部和/或壁的偏差可用于将容器分类为空的或非空的。这可以使用简单的几何推理来完成，或者假设具有手动确定的“空”或“非空”分类标签的多个图像的可用性，传感器融合模块116可以使用机器学习技术、卷积神经网络和/或包括深度学习技术的监督学习算法，来学习如何对容器进行分类。
50.颜色相机传感器114(为简单起见，“颜色传感器114”)还可以提供信息数据以帮助物品检测。类似于深度传感器112，颜色传感器114可以提供对容器内部几乎所有区域的可观察性。
51.给定一组提供对容器的可观察性的校准的颜色传感器114，可以采用多种图像处理方法来检测容器中以其他方式无法检测的物品。例如，当容器为空时，传感器融合模块116可以使用诸如背景减法和分割等视觉技术来找到看起来不像容器的对象。附加地或替代地，传感器融合模块116可以使用基于深度学习的方法来生成要从容器中抓取的候选物品。
52.执行存储在存储器124或数据库106中的指令的传感器融合模块116或一些其他分析模块122可以融合来自重量传感器110、深度传感器112和颜色传感器114中的至少两个的数据以确定容器是否为空。在一些实施例中，可能仅需要来自其中一个传感器的数据。
53.传感器融合模块116可以依赖于简单的试探法(例如，如果任何传感器检测到为空，则传感器融合模块116将声明容器为空的)。然而，如果多个传感器的噪声特性在时间上或在一些其他潜在变量上彼此相关，则传感器融合模块116可以依赖用于处理收集到的数据的更严格的方法。例如，在一些情况下，传感器融合模块116可以使用贝叶斯推理来建模和说明各种传感器之间的任何相关性。例如，传感器融合模块116可以将不同的过程建模为源自分层狄利克雷过程(hierarchical dirichlet process)的二元随机变量，并通过估计的混合参数确定这些变量中的相关性。传感器融合模块116还可以执行深度学习技术并将来自传感器的数据组合为神经网络的多个输入。传感器融合模块116然后可以学习分类函数以组合两个或更多个数据输入。最佳选择可以取决于传感器配置、先验信息的保真度(例如，容器模型及其存储的数据)和数据/标签质量。
54.在一些情况下，处理算法可以基于接收到的容器数据生成关于容器为空的可能性的置信度分数。在某些情况下，处理算法可以仅生成容器状态(即，容器是否为空)的低置信度估计。例如，当体积小、重量轻的物体靠近容器边缘或角落时，或当光线不足时，可能会发生这种情况。在一些实施例中，当处理算法对容器是否为空不确信时(例如，输出的置信度值低于某个阈值)，机器人拾取装置102的扰动装置130可以扰动容器。在一些实施例中，拾取装置102的运输装置120可以用作扰动装置130。
55.例如，拾取装置102可以抓住并摇动容器以通过自身或与扰动装置130或运输装置120结合来移动其中的物品。拾取装置102可以单独或结合扰动装置130或运输装置120抓取容器中的物品。拾取装置102可以附加地或替代地直接伸入容器中处理算法无法确定是否存在对象的区域附近。具有耦合到成像传感器136的附加照明的触觉传感器134或成像传感器136可以尝试以更高的保真度(例如，更接近这些区域或更接近潜在对象)进行感测以确定物品是否存在。
56.如果这种感测不可用，则系统100可以用扰动装置130扰动、操纵或以其他方式移动潜在物品以更容易地确定容器是否为空。在一些实施例中，容器可以由扰动装置130从其侧面或底部扰动。一旦容器受到扰动，适当的传感器可以重新获取数据，并且处理算法可以再次执行以生成分数。在一些实施例中，该过程可以重复直到做出可信的确定。
57.如上所述，在系统100确定容器可能为空之前，返回的置信度分数可能需要高于预定阈值。在一些实施例中，如果计算的置信度分数低于预定阈值，则系统100可以收集第二组数据。如上所述，系统100可以用扰动装置130或运输装置120扰动容器，然后收集关于受到扰动的容器的第二组数据。系统100然后可以计算第二置信度分数。如果第二置信度分数高于预定阈值，则系统100可以确定容器为空的。
58.系统100可以在确定容器为空时将容器从一个位置移动到另一个位置。例如，如果容器在传送带上并且系统确定容器是空的，则系统可以控制传送带将容器移动到存储位置。在一些实施例中，系统100可以将空容器移动到第二传送带或第二位置以重新填充更多物品。
59.在一些实施例中，如果第二置信度分数低于预定阈值，则系统可以提醒人们手动验证容器是否为空。附加地或替代地，系统100可以重复数据收集过程。
60.机器人拾取装置的任务可以是从容器中拾取物品和/或将物品放置在容器中。例如，图2示出了可以采用这些类型的机器人拾取装置的示例性仓库环境200。如图2所示，机器人拾取装置202可以负责从容器204拾取物品。
61.虽然图2示出了敞开的容器204，但是机器人拾取装置可以从不同类型的容器拾取物品。容器可以具有分区或没有分区。在一些分区的箱中，可能只有其中一些分区包含用于拾取的物品。在一些实施例中，箱内的所有分区都可以包括用于拾取的物品。容器可以包括任何类型的刚性或半刚性容器。除了这些容器之外或替代这些容器，其他类型的容器也可以与本技术描述的系统和方法结合使用。
62.在一些实施例中，例如，容器204可以位于传送带206上。在一些实施例中，可以在机器人拣选装置202从容器204拣选物品时传送带206移动。在一些实施例中，当机器人拾取装置202从容器204拾取物品时，传送带206可以停止。
63.可能存在不清楚容器204是否为空(例如，容器204中的所有物品是否都已被拾取)的场景。在这些情况下，机器人拾取装置202可以抓住并摇动容器204以移动容器中可能存在的任何物品。传感器可以检测由于机器人拾取装置的动作而由物品运动引起的噪声、视觉运动或振动，并且可以发送指示容器204不为空的信号。
64.图3示出了另一个示例性环境300，其中机器人拾取装置302的任务是从容器304拾取物品。这些物品可以放置在诸如容器装载站306和/或运输容器308之类的位置以供进一步运输或处理。
65.该系统可以包括一组传感器(例如，秤、距离相机、rgb相机)等，并且执行新型处理算法以融合来自这些传感器模式的数据，以确定容器是否为空，如上所述。所使用的传感器可以包括任何类型的相机(例如，可见光谱、红外线、高光谱、深度等)，其静态地安装在或附接到拾取装置的末端执行器(即，手部)上。
66.如上所述，本技术描述的实施例可以组合来自rgb相机、距离传感器、重量传感器、深度传感器等的数据，并且执行各种视觉处理和/或机器学习程序，以确定容器是否为空。
每个感测模式(modality)也可用于检测容器的存在。配置为确定容器是否为空的系统的示例性实施例在图6中示出并且如下文更详细的描述。
67.如前所述，本技术描述的系统和方法可以使用扰动装置来扰动容器(或可能在其中的物品)并且可以使用传感器来确定作为扰动的结果容器是否为空的。在一些实施例中，拾取装置302可以用作扰动装置。附加地或替代地，扰动装置可以位于传送带上、容器下方或以其他方式与机器人拾取装置分开。
68.在一些实施例中，传感器可以检测作为扰动结果的声音，其中声音指示容器不为空。附加地或替代地，传感器可以检测来自扰动的振动，其中振动指示容器不为空。附加地或替代地，传感器可以检测容器内的运动，其中运动指示容器不为空。在一些实施例中，来自这些传感器中的一个或多个的值可以使用各种算法进行组合以确定容器是否为空。
69.在一些实施例中，系统可以确定容器不为空(无论是扰动的结果还是不需要扰动)。如果系统确定容器不为空，则拾取系统可以继续从容器中拾取物品直到系统确定容器为空。
70.一旦传感器和任何相关联的处理装置检测到容器为空，系统就可以执行一些动作，例如移动传送带，以便将新的非空容器呈现给机器人拾取装置。或者，在其他实施例中，系统可以将拾取装置移动至新的非空容器。机器人拾取装置可以继续针对新的容器执行其拾取相关的任务。
71.图4示出了根据一个实施例的一种用于检测容器是否为空的方法400的流程图。步骤402涉及在第一位置处接收容器。该位置可以是靠近机器人拾取装置的拾取位置。在一些实施例中，系统可以检测到容器存在于第一位置处。
72.步骤404涉及从一个或多个传感器接收容器数据，所述传感器配置为收集关于第一位置处的容器的容器数据。在一些实施例中，所述传感器配置为收集关于与容器有关的重量数据、与容器有关的深度数据和与容器有关的颜色传感器数据中的至少两项的容器数据。在一些实施例中，所述传感器可以包括至少一个深度成像传感器、至少一个颜色传感器和至少一个重量秤传感器。一个传感器可以配置为收集至少两种类型的数据。这些传感器可以分别提供关于容器的数据，可以用于确定容器是否为空。在一些实施例中，这些传感器可以将数据发送至处理器。
73.步骤406，处理器执行存储在存储器中的指令以提供传感器融合模块来处理接收的容器数据以确定容器是否为空。传感器融合模块可以执行上述技术中的任何一种或多种以确定容器是否为空。
74.图5示出了一种基于生成的置信度分数与容器进行交互的方法500的流程图。步骤502是可选的并且涉及扰动容器并将关于受到扰动的容器的数据发送至处理器。在一些实施例中，容器可以被拾取装置扰动，例如，如果拾取装置抓住容器以扰动容器。在一些实施例中，容器可以被第二装置扰动。在一些实施例中，执行图5的方法的系统可以使用处理器来接收关于受到扰动的容器的数据，例如当容器受到扰动时容器的声音、当容器受到扰动时容器中的任何运动、或者当容器受到扰动时来自容器的任何振动。
75.步骤504涉及基于接收到的数据生成置信度分数以确定容器是否为空。在一些实施例中，置信度分数可以基于在步骤502中接收到的数据。在一些实施例中，置信度分数可以基于与容器相关联的重量、深度和颜色数据中的至少两个。在一些实施例中，置信度分数
可以基于当容器受到扰动时容器的重量、深度、颜色或声音，或其任何组合。
76.一些实施例可以用处理器分析接收到的数据。在一些实施例中，处理器可以生成高于预定阈值的置信度分数。高于预定阈值的置信度分数可以指示容器为空(步骤506)。在可选步骤508中，执行图5所示的方法的系统在确定容器为空时，可以自动从第一位置移开容器。在步骤508中，传送带可以将容器从第一位置移动至第二位置。在一些实施例中，诸如图3的机器人拾取装置302等拾取装置可以将容器从第一位置移动至诸如用于空容器存储的第二位置。在一些实施例中，步骤508可以涉及自动将空容器带到第二位置的装置，以重新填充物品。
77.图6示出了根据一个实施例的一种执行扰动操作的机器人拾取装置600。在一些实施例中，机器人拾取装置可以具有基座614和在枢轴612、620和626处连接以使装置600运动的多个臂段610、622。在一些实施例中，头部602可以包括把手，以扰动容器606中的物品。在一些实施例中，头部602可以具有完全的平移和旋转自由度。机器人拾取装置600可以通过将头部602降低到容器606中并且在其中水平或垂直地移动头部602来扰动容器606中的物品。头部602的把手还可以抓住容器606的边缘并摇动容器606以确定是否有物品留在容器606中。头部602的把手还可以抓住容器606中的物品并从容器606中取出物品。在一些实施例中，传感器可以位于机器人拾取装置600的基部614中或沿着机器人拾取装置600的臂。传感器可以向处理器发送数据以基于接收到的数据生成容器606为空的置信度分数，如以上图5中所述。
78.在一些实施例中，处理器可以生成低于预定阈值的置信度分数。低于预定阈值的置信度分数可以指示容器不为空或者指示执行图5中所示的方法的系统不能可靠地确定容器为空。在这种情况下，方法500可以进行到步骤510，该步骤涉及尝试从容器中移除至少一个物品。步骤512然后涉及扰动容器并收集关于受到扰动的容器的第二组数据。在一些实施例中，在步骤512中收集的数据可以包括当容器受到扰动时容器发出的声音、当容器受到扰动时来自容器的任何振动、当容器受到扰动时任何视觉上检测到的运动中的至少一项，或其任何组合。在一些实施例中，当执行图5中所示的方法的系统收集关于受到扰动的容器的第二组数据时，系统然后可以重复步骤504，如步骤514所示，以基于收到的数据生成第二置信度分数。
79.在一些实施例中，如果该过程花费太长时间或者置信度分数低于预定阈值特定的迭代次数，则可以手动检查容器以确定容器是否为空。
80.以上讨论的方法、系统和设备是示例性的。各种配置可以适当地省略、替换或添加各种步骤或组件。例如，在替代配置中，可以以与所描述的顺序不同的顺序执行所述方法，并且可以添加、省略或组合各个步骤。以及，针对某些配置描述的特征可以以各种其他配置组合。可以以类似的方式组合所述配置的不同方面和元件。而且，技术在发展，因此，许多元件是示例性的，且不限制本公开或权利要求的范围。
81.例如，以上参考根据本公开的实施例的方法、系统和计算机程序产品的框图和/或操作示意图描述了本公开的实施例。方框中的功能/动作可以不按任何流程图所示的顺序发生。例如，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行，这取决于所涉及的功能/动作。附加地或替代地，不是任何流程图中所示的所有框都需要进行和/或执行。例如，如果给定的流程图具有包含功能/动作的五个框，则可能的
情况是五个框中只有三个框被进行和/或执行。在该示例中，可以进行和/或执行五个框中的三个框中的任何一个。
82.一个值超过(或大于)第一阈值的陈述等同于该值等于或超过略大于第一阈值的第二阈值(例如，在相关系统的分辨率中第二阈值是大于第一阈值的一个值)的陈述。一个值不超过(或小于)第一阈值的陈述等同于该值小于或等于略小于第一阈值的第二阈值(例如，在相关系统的分辨率中第二阈值是小于第一阈值的一个值)的陈述。
83.在说明书中给出了具体细节以提供对示例性配置(包括实现)的全面的理解。然而，在没有这些具体细节的情况下也可以实践配置。例如，已经示出了公知的电路、过程、算法、结构和技术，而没有不必要的细节，以避免使配置模糊。该说明书仅提供示例配置，并且不限制权利要求的范围、适用性或配置。相反，先前描述的配置将向本领域技术人员提供用于实施所描述的技术的实现描述。在不脱离本公开的精神或范围的情况下，可以对元件的功能和布置进行各种改变。
84.已经描述了若干种示例性配置，可以使用各种修改、替代构造和等同构造而不脱离本公开的精神。例如，以上元件可以是较大系统的组件，其中其他规则可以优先于或以其他方式修改本公开的各种实现方式或技术的应用。同样，在考虑以上元件之前、期间或之后可以采取许多步骤。
85.已经提供了本技术的说明和图示，本领域技术人员可以设想落入本技术讨论的总体发明构思内的变型、修改和替换实施例，其不脱离所附权利要求的范围。
相关申请的交叉引用
1.本技术要求2018年12月20日提交的美国临时申请第62/782,517号的权益和优先权，其全部公开内容通过引用并入本技术，如在本技术中完整阐述一样。
技术领域
2.本技术描述的实施例通常涉及检测容器的内容物，且更具体地，涉及使用传感器来收集关于容器是否为空的数据。
背景技术：
3.诸如仓库环境中的那些后勤操作通常使用机器人拾取装置从容器收集物品并将物品放置在不同的位置(例如，传送带)处或者反之。在这些现有技术或环境中，机器人装置通常从容器中拾取物品直到容器为空。然后必须一个人手动确认容器是空的(即，所有物品都已从容器拾取出)，然后将拾取装置切换到另一个容器或将另一个满的容器运给拾取装置。这种手动干预不可避免地会浪费时间和导致生产停止。
4.因此，需要克服现有技术的缺点的方法和系统。
技术实现要素：
5.本发明内容是用于以简化的形式介绍一些构思的选择，这些构思将在下面的具体实施方式部分中进一步描述。本发明内容不旨在确定或排除所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
6.一方面，实施例涉及一种检测容器是否为空的方法。所述方法包括在第一位置接收容器；从多个传感器接收容器数据，其中所述容器数据包括与容器相关的重量数据、与容器相关的深度数据和与容器相关的颜色传感器数据中的至少两个；使用执行存储在存储器中的指令以提供传感器融合模块的处理器处理接收到的容器数据以确定容器是否为空；以及在传感器融合模块确定容器为空时从第一位置自动移开容器。
7.在一些实施例中，该方法进一步包括扰动容器，在扰动容器之后确定容器不为空，以及在确定容器不为空之后从容器移除至少一个物品。
8.在一些实施例中，该方法进一步包括生成关于容器为空的可能性的置信度分数，其中所述置信度分数基于接收的容器数据。
9.在一些实施例中，该方法进一步包括在确定置信分数小于预定阈值时扰动容器，收集关于受到扰动的容器的第二组数据，以及分析第二组数据以生成关于容器为空的第二可能性的第二置信度分数。在一些实施例中，容器在传送带上并且该方法进一步包括在确定置信度分数大于预定阈值时利用传送带将容器从第一位置移动至第二位置。
10.在一些实施例中，所述方法进一步包括检测容器存在于第一位置处。
11.在一些实施例中，多个传感器用于提供重量数据、深度数据和颜色传感器数据中的至少两个，并且所述多个传感器与机器人拾取装置并列设置(collocate)。
12.在一些实施例中，该方法进一步包括将接收到的容器数据与存储在存储器中的容器的已知重量数据或容器的已知外观数据中的至少一个进行比较以确定容器是否为空。
13.在一些实施例中，该方法进一步包括使用传感模式(modality)来检测在所有主要方向上长度至少为0.5cm的物品。
14.在一些实施例中，该方法进一步包括利用机器人拾取装置抓住和摇动容器以使容器中的物品移动。
15.根据一各方面，实施例涉及一种用于检测容器是否为空的系统。该系统包括多个传感器，配置为收集关于在第一位置处的容器的容器数据，容器数据包括与容器有关的重量数据、与容器有关的深度数据和与容器有关的颜色传感器数据中的至少两个；以及处理器，配置为执行存储在存储器上的指令，以提供传感器融合模块，所述传感器融合模块配置为处理接收到的容器数据以确定容器是否为空。
16.在一些实施例中，该系统进一步包括用于扰动容器的拾取装置。在一些实施例中，所述拾取装置进一步配置为抓握容器以使容器中的物品移动。
17.在一些实施例中，其中存储器存储已知的重量数据和已知的外观数据中的至少一个，并且所述处理器配置为将存储的数据与接收的容器数据进行比较以确定容器是否为空。
18.在一些实施例中，容器位于传送带上且传送带配置为在传感器融合模块确定容器为空时将容器从第一位置移动到第二位置。
19.在一些实施例中，处理器进一步配置为生成关于容器为空的可能性的置信度分数。在一些实施例中，处理器进一步配置为在确定置信度分数小于预定阈值时发送信号以扰动容器；利用多个传感器收集关于受到扰动的容器的第二组数据；分析第二组数据；以及生成关于容器为空的第二可能性的第二置信度分数。
20.在一些实施例中，该系统进一步包括配置为与至少一个拾取装置通信的接口。
21.在一些实施例中，所述多个传感器并列设置在拾取装置上。
22.在一些实施例中，所述多个传感器装置包括多个互连的传感器装置。
附图说明
23.参考以下附图描述本技术实施例的非限制性和非穷举性实施例，其中除非另有说明，否则相同的附图标记在各个视图中指代相同的部分。
24.图1示出了根据一个实施例的一种用于检测容器是否为空的系统；
25.图2示出了根据一个实施例的执行拾取操作的多个机器人拾取装置；
26.图3示出了根据一个实施例的一种执行拾取操作的机器人拾取装置；
27.图4示出了根据一个实施例的一种用于检测容器是否为空的方法的流程图；
28.图5示出了根据一个实施例的一种基于生成的置信度分数与容器进行交互的方法的流程图；
29.图6示出了根据一个实施例的一种执行扰动的机器人拾取装置。
具体实施方式
30.下面参考附图更全面地描述各个实施例，各附图形成本发明的一部分并且示出了
具体的示例性实施例。然而，本公开的构思可以以许多不同的形式来实现，并且不应解释为限于这里阐述的实施例；相反，提供这些实施例作为彻底和完整公开的一部分，以向本领域技术人员充分传达本公开的构思、技术和实施方式的范围。实施例可以实践为方法、系统或设备。因此，实施例可以采取硬件实施方式、完全软件实施方式或结合软件和硬件方面的实施方式的形式。因此，以下详细描述不应被视为限制性的。
31.说明书中引用“一个实施例”或“实施例”表示与描述该实施例有关的特定特征、结构或特性包括在根据本公开的至少一个示例性实施方式或技术中。在说明书中各处出现的短语“在一个实施例中”不一定都指的是同一实施例。在说明书中各处出现的短语“在一些实施例中”不一定指的是相同的实施例。
32.此外，本说明书中使用的语言主要是出于可读性和指导目的而选择的，并非选择用于描述或限制所公开的主题。因此，本公开意在说明而非限制此处所讨论的构思的范围。
33.本技术描述的各种实施例的特征提供了新型的检测系统、方法和装置。具体地，本技术描述的实施例提供用于检测容器是否为空的自动系统和方法。本技术描述的系统和方法可以与任何类型的刚性或半刚性类型的手提箱、容器、盒子、箱等(为简单起见，“容器”)结合工作，无论是否被分隔。
34.本技术描述的系统和方法可以依赖于与容器相关的重量数据、与容器相关的深度数据和与容器相关的颜色数据中的至少两个。传感器融合模块然后可以组合并处理收集的数据以确定容器是否为空。如果传感器融合模块确定容器是空的，则系统可以执行步骤，例如从机器人拾取装置的附近自动移开容器并将新的非空容器递送至机器人拾取装置(或将机器人拾取装置移动至新的非空容器)。
35.本技术描述的系统和方法可以在诸如物流仓库或其他类似的位置等环境中实施，并与装满物品、部分装满物品或空的各种不同类型的容器结合工作，无论是作为一个整体还是在容器内的各个分区。
36.图1示出了根据一个实施例，用于检测容器是否为空的系统100的示意图。系统100可以包括与物流管理模块104和数据库106通信的拾取装置102。在一些实施例中，物流管理模块104可以设立由处理器执行的计算机可执行指令。在一些实施例中，物流管理模块104可以包括存储在物流管理模块104的存储器124中的数据库106。
37.拾取装置102可以类似于图2和图3的拾取装置，如下文更详细的描述。拾取装置102可以包括多个传感器，配置为收集关于位于第一位置的容器的容器数据，例如重量传感器110、距离/深度传感器112和颜色相机传感器114。容器数据可以由重量传感器110、距离/深度传感器112、颜色传感器114中的至少两个收集；并且还可以由传感器融合模块116收集，如下文更详细的描述。
38.多个传感器110、112和114可并列设置在拾取装置102上或以其他方式并列设置在拾取装置102附近的位置处，以在拾取装置102处或附近收集关于容器的数据。在一些实施例中，传感器110、112和114可以是互连的传感器。拾取装置102可以进一步包括用于与其他装置和/或系统通信的接口118，并且还可以包括一个或多个运输装置120。拾取装置102还可以包括一个或多个扰动装置130。在一些实施例中，运输装置120和扰动装置130可以是相同的装置。
39.在一些情况下，例如对于容器中潜在的任何对象或物品要考虑的最大重量大于某
个阈值(例如，30克)的那些情况，诸如秤等重量传感器110可能足以检测容器是否包含物品。
40.在一些环境中，重量传感器110可以集成到传送带系统或拾取站中。这些重量传感器110可以通过接口118与包括物流管理模块104的计算机或其他硬件或处理部件进一步通信。
41.在一些实施例中，容器的空重可以是先验已知的。物流管理模块104可以通过依赖于存储在一个或多个数据库106中的数据来提供该数据。
42.当容器到达拾取位置时，执行存储在存储器124上的指令的传感器融合模块116或一些其他分析模块122可以接收并处理容器数据以确定容器是否为空。在一些实施例中，传感器融合模块116执行指令，例如将来自重量传感器110的容器的检测重量与存储在数据库106中或者以其他方式存储在存储器124中的相同类型容器的空的版本的已知重量进行比较的指令。如果到达的容器的重量高于已知的空重，则该容器可以归类为非空的。
43.在一些实施例中，数据库106可以存储关于容器的已知外观和容器的重量的数据。例如，数据库106还可以包括当容器为空时容器底部的颜色、当容器为空时容器的声音、当容器为空时容器的深度和/或当容器为空时关于容器的其他特征。
44.在一些实施例中，系统100可以使用传感器融合模块116来处理在所有主要方向上长度至少为0.5cm的检测到的物品。在一些实施例中，传感器融合模块116可以处理在所有主要方向上长度至少为0.3cm的检测到的物品。在一些实施例中，传感器融合模块116可以处理在所有主要方向上长度至少为0.7cm的检测到的物品。
45.在一些情况下，例如物品足够轻以至于重量传感器110不能可靠地检测到它们或者足够小以至于距离/深度传感器112不能可靠地检测到它们的情况下，系统100可以依赖于传感器110、112和114以及传感器融合模块116的组合以确定容器是否为空，可选地还与扰动装置130组合。在一些实施例中，距离/深度传感器112(为简单起见，“深度传感器112”)可以检测单独由重量传感器110不能可靠地检测的轻量物品。深度传感器112能够检测容器中的物品，只要物品没有以使得它们在由一个深度传感器112观察时看起来非常薄的方式定向。例如，信用卡或纸板火柴在某些方向上可能看起来很薄。然而，多个深度传感器112能够检测例如在一个或多个主要维度上至少为0.5cm的物品。
46.部署的深度传感器112的数量可以根据尺寸、重量、功率、计算硬件或成本限制而变化。例如，在一些实施例中，诸如微软等单个现成的(ots)深度传感器可以安装在容器区域上方以在当容器呈现给机器人拾取装置102时捕获它们的图像。在该配置中，深度传感器112可以安装得足够高以对整个容器内部成像，但足够近以充分感测其中的物品并区分物品和容器本身。
47.在其他实施例中，可以存在深度传感器112的阵列以计算容器内部的高保真度、三维(3d)重建。这可以实现高精度检测，但需要更高的财务、集成和计算成本。深度传感器112的阵列可以安装在容器的向内观察的顶部附近，或沿着容器的底部，以容易地检测是否有靠近深度传感器112的任何对象。
48.不管深度传感器112的确切配置如何，传感器融合模块116都可以执行几何和/或图像处理算法来检测容器是否为空。假设容器几何形状是先验已知的，这些算法可以重建由深度传感器112观察到的完整3d空间，并且传感器融合模块116可以使用诸如迭代最近点
(icp)之类的对象匹配算法来定位该空间。在一些实施例中，物流管理模块104和数据库106可以并入传感器融合模块116中并且可以共同定位在拾取装置102上。
49.一旦定位了容器空间，与容器内部的预期底部和/或壁的偏差可用于将容器分类为空的或非空的。这可以使用简单的几何推理来完成，或者假设具有手动确定的“空”或“非空”分类标签的多个图像的可用性，传感器融合模块116可以使用机器学习技术、卷积神经网络和/或包括深度学习技术的监督学习算法，来学习如何对容器进行分类。
50.颜色相机传感器114(为简单起见，“颜色传感器114”)还可以提供信息数据以帮助物品检测。类似于深度传感器112，颜色传感器114可以提供对容器内部几乎所有区域的可观察性。
51.给定一组提供对容器的可观察性的校准的颜色传感器114，可以采用多种图像处理方法来检测容器中以其他方式无法检测的物品。例如，当容器为空时，传感器融合模块116可以使用诸如背景减法和分割等视觉技术来找到看起来不像容器的对象。附加地或替代地，传感器融合模块116可以使用基于深度学习的方法来生成要从容器中抓取的候选物品。
52.执行存储在存储器124或数据库106中的指令的传感器融合模块116或一些其他分析模块122可以融合来自重量传感器110、深度传感器112和颜色传感器114中的至少两个的数据以确定容器是否为空。在一些实施例中，可能仅需要来自其中一个传感器的数据。
53.传感器融合模块116可以依赖于简单的试探法(例如，如果任何传感器检测到为空，则传感器融合模块116将声明容器为空的)。然而，如果多个传感器的噪声特性在时间上或在一些其他潜在变量上彼此相关，则传感器融合模块116可以依赖用于处理收集到的数据的更严格的方法。例如，在一些情况下，传感器融合模块116可以使用贝叶斯推理来建模和说明各种传感器之间的任何相关性。例如，传感器融合模块116可以将不同的过程建模为源自分层狄利克雷过程(hierarchical dirichlet process)的二元随机变量，并通过估计的混合参数确定这些变量中的相关性。传感器融合模块116还可以执行深度学习技术并将来自传感器的数据组合为神经网络的多个输入。传感器融合模块116然后可以学习分类函数以组合两个或更多个数据输入。最佳选择可以取决于传感器配置、先验信息的保真度(例如，容器模型及其存储的数据)和数据/标签质量。
54.在一些情况下，处理算法可以基于接收到的容器数据生成关于容器为空的可能性的置信度分数。在某些情况下，处理算法可以仅生成容器状态(即，容器是否为空)的低置信度估计。例如，当体积小、重量轻的物体靠近容器边缘或角落时，或当光线不足时，可能会发生这种情况。在一些实施例中，当处理算法对容器是否为空不确信时(例如，输出的置信度值低于某个阈值)，机器人拾取装置102的扰动装置130可以扰动容器。在一些实施例中，拾取装置102的运输装置120可以用作扰动装置130。
55.例如，拾取装置102可以抓住并摇动容器以通过自身或与扰动装置130或运输装置120结合来移动其中的物品。拾取装置102可以单独或结合扰动装置130或运输装置120抓取容器中的物品。拾取装置102可以附加地或替代地直接伸入容器中处理算法无法确定是否存在对象的区域附近。具有耦合到成像传感器136的附加照明的触觉传感器134或成像传感器136可以尝试以更高的保真度(例如，更接近这些区域或更接近潜在对象)进行感测以确定物品是否存在。
56.如果这种感测不可用，则系统100可以用扰动装置130扰动、操纵或以其他方式移动潜在物品以更容易地确定容器是否为空。在一些实施例中，容器可以由扰动装置130从其侧面或底部扰动。一旦容器受到扰动，适当的传感器可以重新获取数据，并且处理算法可以再次执行以生成分数。在一些实施例中，该过程可以重复直到做出可信的确定。
57.如上所述，在系统100确定容器可能为空之前，返回的置信度分数可能需要高于预定阈值。在一些实施例中，如果计算的置信度分数低于预定阈值，则系统100可以收集第二组数据。如上所述，系统100可以用扰动装置130或运输装置120扰动容器，然后收集关于受到扰动的容器的第二组数据。系统100然后可以计算第二置信度分数。如果第二置信度分数高于预定阈值，则系统100可以确定容器为空的。
58.系统100可以在确定容器为空时将容器从一个位置移动到另一个位置。例如，如果容器在传送带上并且系统确定容器是空的，则系统可以控制传送带将容器移动到存储位置。在一些实施例中，系统100可以将空容器移动到第二传送带或第二位置以重新填充更多物品。
59.在一些实施例中，如果第二置信度分数低于预定阈值，则系统可以提醒人们手动验证容器是否为空。附加地或替代地，系统100可以重复数据收集过程。
60.机器人拾取装置的任务可以是从容器中拾取物品和/或将物品放置在容器中。例如，图2示出了可以采用这些类型的机器人拾取装置的示例性仓库环境200。如图2所示，机器人拾取装置202可以负责从容器204拾取物品。
61.虽然图2示出了敞开的容器204，但是机器人拾取装置可以从不同类型的容器拾取物品。容器可以具有分区或没有分区。在一些分区的箱中，可能只有其中一些分区包含用于拾取的物品。在一些实施例中，箱内的所有分区都可以包括用于拾取的物品。容器可以包括任何类型的刚性或半刚性容器。除了这些容器之外或替代这些容器，其他类型的容器也可以与本技术描述的系统和方法结合使用。
62.在一些实施例中，例如，容器204可以位于传送带206上。在一些实施例中，可以在机器人拣选装置202从容器204拣选物品时传送带206移动。在一些实施例中，当机器人拾取装置202从容器204拾取物品时，传送带206可以停止。
63.可能存在不清楚容器204是否为空(例如，容器204中的所有物品是否都已被拾取)的场景。在这些情况下，机器人拾取装置202可以抓住并摇动容器204以移动容器中可能存在的任何物品。传感器可以检测由于机器人拾取装置的动作而由物品运动引起的噪声、视觉运动或振动，并且可以发送指示容器204不为空的信号。
64.图3示出了另一个示例性环境300，其中机器人拾取装置302的任务是从容器304拾取物品。这些物品可以放置在诸如容器装载站306和/或运输容器308之类的位置以供进一步运输或处理。
65.该系统可以包括一组传感器(例如，秤、距离相机、rgb相机)等，并且执行新型处理算法以融合来自这些传感器模式的数据，以确定容器是否为空，如上所述。所使用的传感器可以包括任何类型的相机(例如，可见光谱、红外线、高光谱、深度等)，其静态地安装在或附接到拾取装置的末端执行器(即，手部)上。
66.如上所述，本技术描述的实施例可以组合来自rgb相机、距离传感器、重量传感器、深度传感器等的数据，并且执行各种视觉处理和/或机器学习程序，以确定容器是否为空。
每个感测模式(modality)也可用于检测容器的存在。配置为确定容器是否为空的系统的示例性实施例在图6中示出并且如下文更详细的描述。
67.如前所述，本技术描述的系统和方法可以使用扰动装置来扰动容器(或可能在其中的物品)并且可以使用传感器来确定作为扰动的结果容器是否为空的。在一些实施例中，拾取装置302可以用作扰动装置。附加地或替代地，扰动装置可以位于传送带上、容器下方或以其他方式与机器人拾取装置分开。
68.在一些实施例中，传感器可以检测作为扰动结果的声音，其中声音指示容器不为空。附加地或替代地，传感器可以检测来自扰动的振动，其中振动指示容器不为空。附加地或替代地，传感器可以检测容器内的运动，其中运动指示容器不为空。在一些实施例中，来自这些传感器中的一个或多个的值可以使用各种算法进行组合以确定容器是否为空。
69.在一些实施例中，系统可以确定容器不为空(无论是扰动的结果还是不需要扰动)。如果系统确定容器不为空，则拾取系统可以继续从容器中拾取物品直到系统确定容器为空。
70.一旦传感器和任何相关联的处理装置检测到容器为空，系统就可以执行一些动作，例如移动传送带，以便将新的非空容器呈现给机器人拾取装置。或者，在其他实施例中，系统可以将拾取装置移动至新的非空容器。机器人拾取装置可以继续针对新的容器执行其拾取相关的任务。
71.图4示出了根据一个实施例的一种用于检测容器是否为空的方法400的流程图。步骤402涉及在第一位置处接收容器。该位置可以是靠近机器人拾取装置的拾取位置。在一些实施例中，系统可以检测到容器存在于第一位置处。
72.步骤404涉及从一个或多个传感器接收容器数据，所述传感器配置为收集关于第一位置处的容器的容器数据。在一些实施例中，所述传感器配置为收集关于与容器有关的重量数据、与容器有关的深度数据和与容器有关的颜色传感器数据中的至少两项的容器数据。在一些实施例中，所述传感器可以包括至少一个深度成像传感器、至少一个颜色传感器和至少一个重量秤传感器。一个传感器可以配置为收集至少两种类型的数据。这些传感器可以分别提供关于容器的数据，可以用于确定容器是否为空。在一些实施例中，这些传感器可以将数据发送至处理器。
73.步骤406，处理器执行存储在存储器中的指令以提供传感器融合模块来处理接收的容器数据以确定容器是否为空。传感器融合模块可以执行上述技术中的任何一种或多种以确定容器是否为空。
74.图5示出了一种基于生成的置信度分数与容器进行交互的方法500的流程图。步骤502是可选的并且涉及扰动容器并将关于受到扰动的容器的数据发送至处理器。在一些实施例中，容器可以被拾取装置扰动，例如，如果拾取装置抓住容器以扰动容器。在一些实施例中，容器可以被第二装置扰动。在一些实施例中，执行图5的方法的系统可以使用处理器来接收关于受到扰动的容器的数据，例如当容器受到扰动时容器的声音、当容器受到扰动时容器中的任何运动、或者当容器受到扰动时来自容器的任何振动。
75.步骤504涉及基于接收到的数据生成置信度分数以确定容器是否为空。在一些实施例中，置信度分数可以基于在步骤502中接收到的数据。在一些实施例中，置信度分数可以基于与容器相关联的重量、深度和颜色数据中的至少两个。在一些实施例中，置信度分数
可以基于当容器受到扰动时容器的重量、深度、颜色或声音，或其任何组合。
76.一些实施例可以用处理器分析接收到的数据。在一些实施例中，处理器可以生成高于预定阈值的置信度分数。高于预定阈值的置信度分数可以指示容器为空(步骤506)。在可选步骤508中，执行图5所示的方法的系统在确定容器为空时，可以自动从第一位置移开容器。在步骤508中，传送带可以将容器从第一位置移动至第二位置。在一些实施例中，诸如图3的机器人拾取装置302等拾取装置可以将容器从第一位置移动至诸如用于空容器存储的第二位置。在一些实施例中，步骤508可以涉及自动将空容器带到第二位置的装置，以重新填充物品。
77.图6示出了根据一个实施例的一种执行扰动操作的机器人拾取装置600。在一些实施例中，机器人拾取装置可以具有基座614和在枢轴612、620和626处连接以使装置600运动的多个臂段610、622。在一些实施例中，头部602可以包括把手，以扰动容器606中的物品。在一些实施例中，头部602可以具有完全的平移和旋转自由度。机器人拾取装置600可以通过将头部602降低到容器606中并且在其中水平或垂直地移动头部602来扰动容器606中的物品。头部602的把手还可以抓住容器606的边缘并摇动容器606以确定是否有物品留在容器606中。头部602的把手还可以抓住容器606中的物品并从容器606中取出物品。在一些实施例中，传感器可以位于机器人拾取装置600的基部614中或沿着机器人拾取装置600的臂。传感器可以向处理器发送数据以基于接收到的数据生成容器606为空的置信度分数，如以上图5中所述。
78.在一些实施例中，处理器可以生成低于预定阈值的置信度分数。低于预定阈值的置信度分数可以指示容器不为空或者指示执行图5中所示的方法的系统不能可靠地确定容器为空。在这种情况下，方法500可以进行到步骤510，该步骤涉及尝试从容器中移除至少一个物品。步骤512然后涉及扰动容器并收集关于受到扰动的容器的第二组数据。在一些实施例中，在步骤512中收集的数据可以包括当容器受到扰动时容器发出的声音、当容器受到扰动时来自容器的任何振动、当容器受到扰动时任何视觉上检测到的运动中的至少一项，或其任何组合。在一些实施例中，当执行图5中所示的方法的系统收集关于受到扰动的容器的第二组数据时，系统然后可以重复步骤504，如步骤514所示，以基于收到的数据生成第二置信度分数。
79.在一些实施例中，如果该过程花费太长时间或者置信度分数低于预定阈值特定的迭代次数，则可以手动检查容器以确定容器是否为空。
80.以上讨论的方法、系统和设备是示例性的。各种配置可以适当地省略、替换或添加各种步骤或组件。例如，在替代配置中，可以以与所描述的顺序不同的顺序执行所述方法，并且可以添加、省略或组合各个步骤。以及，针对某些配置描述的特征可以以各种其他配置组合。可以以类似的方式组合所述配置的不同方面和元件。而且，技术在发展，因此，许多元件是示例性的，且不限制本公开或权利要求的范围。
81.例如，以上参考根据本公开的实施例的方法、系统和计算机程序产品的框图和/或操作示意图描述了本公开的实施例。方框中的功能/动作可以不按任何流程图所示的顺序发生。例如，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行，这取决于所涉及的功能/动作。附加地或替代地，不是任何流程图中所示的所有框都需要进行和/或执行。例如，如果给定的流程图具有包含功能/动作的五个框，则可能的
情况是五个框中只有三个框被进行和/或执行。在该示例中，可以进行和/或执行五个框中的三个框中的任何一个。
82.一个值超过(或大于)第一阈值的陈述等同于该值等于或超过略大于第一阈值的第二阈值(例如，在相关系统的分辨率中第二阈值是大于第一阈值的一个值)的陈述。一个值不超过(或小于)第一阈值的陈述等同于该值小于或等于略小于第一阈值的第二阈值(例如，在相关系统的分辨率中第二阈值是小于第一阈值的一个值)的陈述。
83.在说明书中给出了具体细节以提供对示例性配置(包括实现)的全面的理解。然而，在没有这些具体细节的情况下也可以实践配置。例如，已经示出了公知的电路、过程、算法、结构和技术，而没有不必要的细节，以避免使配置模糊。该说明书仅提供示例配置，并且不限制权利要求的范围、适用性或配置。相反，先前描述的配置将向本领域技术人员提供用于实施所描述的技术的实现描述。在不脱离本公开的精神或范围的情况下，可以对元件的功能和布置进行各种改变。
84.已经描述了若干种示例性配置，可以使用各种修改、替代构造和等同构造而不脱离本公开的精神。例如，以上元件可以是较大系统的组件，其中其他规则可以优先于或以其他方式修改本公开的各种实现方式或技术的应用。同样，在考虑以上元件之前、期间或之后可以采取许多步骤。
85.已经提供了本技术的说明和图示，本领域技术人员可以设想落入本技术讨论的总体发明构思内的变型、修改和替换实施例，其不脱离所附权利要求的范围。
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
