用于操作机器人的系统和方法、电子设备和计算机可读介质与流程

1.本公开的实施例总体上涉及用于操作机器人的系统和方法、电子设备和计算机可读介质。


背景技术：

2.基于传感器的机器人应用在敏捷和灵活的自动化中起着重要作用。多个传感器可以被设置用于监测机器人的姿态并且检测与机器人的位置或机器人的运动相关的数据。通过使用基于传感器的机器人应用，可以减少调试时间并且提高生产效率。同时，机器人技能和产品品种可以得到深度扩展。
3.通常，在基于传感器的机器人应用的有条件的使用场景中，机器人的操作的任务可以划分为若干过程，并且每个过程仅使用一个传感器来调节机器人的操作。例如，首先可以使用视觉将机器人引导到一个位置，然后应用力控件来组装零件。
4.在另外的有条件使用场景中，可以同时使用多个传感器，这可能需要组合不同个体传感器的输出。例如，控制信号是基于力传感器和视觉传感器的输出的加权和来确定的。
5.上述使用场景存在传感器信号不同步和传感器信号时间延迟的问题，这可能会损害稳定性并且限制伺服任务的性能。


技术实现要素：

6.本公开的实施例提供了一种用于操作机器人的系统和方法以及一种计算机可读介质。
7.在第一方面，提供了一种用于操作机器人的系统。该系统包括耦合到机器人并且被配置为基于从机器人接收的反馈数据确定机器人的第一位置信息的第一数据收集器、以及耦合到传感器并且被配置为基于从传感器接收的感测数据确定要由机器人操作的对象的第二位置信息的第二数据收集器。该系统还包括耦合到第一数据收集器和第二数据收集器并且被配置为基于第一位置信息和第二位置信息生成对象在此由机器人操作的目标位置的第一预测的第一估计器、以及耦合到估计器并且被配置为至少部分基于第一预测生成用于操作机器人的命令的命令生成器。
8.通过在第一方面提出的系统，可以更准确和高效地执行机器人操作。对于用户侧操作者来说，基于传感器的伺服可以提供更灵活的解决方案。在第一方面提出的系统可以与用户已经部署的任何传统机器人一起使用。这样，用户就不必承担由大量组件的修改所带来的成本。对于生产商来说，该系统可以简化实现基于多传感器的解决方案的过程，并且可以减少开发时间。同时，可以扩展自动化领域的能力，并且可以提高基于传感器的应用的性能。
9.在一些实施例中，第一数据收集器还被配置为在第一时间段内接收机器人的反馈数据；从机器人的反馈数据中获取机器人的关节端在机器人的坐标系中的一组坐标参数；并且基于该组坐标参数确定第一位置信息。
10.在一些实施例中，第二数据收集器还被配置为在第二时间段内接收传感器的感测数据，第二时间段与用于接收机器人的反馈数据的第一时间段重叠；从传感器的感测数据中获取机器人与对象之间在传感器的另外的坐标系中的一组位置关系；并且基于该组位置关系确定第二位置信息。
11.在第一方面的该系统中，来自机器人侧和传感器侧的数据都将由系统的第一级收集并且变换为相应位置信息，这对于机器人的目标位置的后续估计是必要的。特别地，可以将在一定时间段内捕获的一组反馈/感测数据传输给数据收集器，而不是只传输与机器人的单个操作相关的感测数据，这有利于目标位置的预测，因为预测的结果会更准确，同时预测过程也会加快。
12.在一些实施例中，第一估计器还被配置为基于预定时间延迟校准第一位置信息的第一组时间戳和第二信息的第二组时间戳。
13.通常，数据收集器接收数据的时间点与机器人的反馈数据的采样时间点或传感器的感测数据的感测时间点之间存在时间延迟，因此在预测过程之前，时间戳校准是必要的。以这种方式，预测的准确性就会显著提高。
14.在一些实施例中，第一估计器还被配置为从第一位置信息中获取表征机器人在预定时间点的参考位置的第一组采样参数；从第二位置信息中获取表征机器人与对象之间在预定时间点的参考位置关系的第二组采样参数；并且通过基于与要由机器人执行的预期操作相关联的融合模式来融合第一组采样参数和第二组采样参数来生成目标位置的第一预测。
15.在一些实施例中，融合模式包括预测模式、滤波模式、求和模式和减法模式中的至少一种。
16.在数据融合过程中，机器人的位置信息和对象在同一获取时间点的位置信息可以被认为是用于预测目标位置的数据。通过基于来自不同数据源的数据来预测目标位置，可以更高效地获取高质量的预测结果。同时，可以基于机器人的期望操作过程来预先确定与特定操作者相对应的多个融合模式。以这种方式，任何例外的机器人操作过程都可以更容易地实现和开发。
17.在一些实施例中，第二数据收集器还耦合到另外的传感器并且被配置为基于从另外的传感器接收的另外的感测数据来确定对象的第三位置信息，并且第一估计器还被配置为基于第一位置信息和第三位置信息生成目标位置的第二预测。
18.在一些实施例中，该系统还包括耦合到第一估计器并且被配置为通过融合目标位置的第一预测和目标位置的第二预测来生成目标位置的第三预测的第二估计器。
19.基于从一个以上的传感器接收的数据而确定的对象的位置信息可以分别与机器人的位置信息融合，并且目标位置的一组初步预测可以被获取。随后，可以通过融合该组初步预测来生成目标位置的最终预测。以这种方式，就可以在两阶段预测的基础上更精确地操作机器人。
20.在一些实施例中，命令生成器还被配置为基于第三预测生成用于操作机器人的命令。
21.在第二方面，提供了一种用于操作机器人的方法。该方法包括基于从机器人接收的反馈数据确定机器人的第一位置信息；基于从传感器接收的感测数据确定要由机器人操
作的对象的第二位置信息；基于第一位置信息和第二位置信息生成目标位置的第一预测，对象在该目标位置处由机器人操作；以及至少部分基于第一预测生成用于操作机器人的命令。
22.在一些实施例中，确定第一位置信息包括在第一时间段内接收机器人的反馈数据；从机器人的反馈数据中获取机器人的关节端在机器人的坐标系中的一组坐标参数，并且基于该组坐标参数确定第一位置信息。
23.在一些实施例中，确定第二位置信息包括在第二时间段内接收传感器的感测数据，第二时间段与用于接收机器人的反馈数据的第一时间段重叠；从传感器的感测数据中获取机器人与对象之间在传感器的另外的坐标系中的一组位置关系；并且基于该组位置关系确定第二位置信息。
24.在一些实施例中，该方法还包括基于预定时间延迟校准第一位置信息的第一组时间戳和第二信息的第二组时间戳。
25.在一些实施例中，生成第一预测包括从第一位置信息中获取表征机器人在预定时间点的参考位置的第一组采样参数；从第二位置信息中获取表征机器人与对象之间在预定时间点的参考位置关系的第二组采样参数；并且通过基于与要由机器人执行的预期操作相关联的预定融合模式融合第一组采样参数和第二组采样参数来生成目标位置的第一预测。
26.在一些实施例中，融合模式包括预测模式、滤波模式、求和模式和减法模式中的至少一种。
27.在一些实施例中，该方法还包括基于从另外的传感器接收的另外的感测数据来确定对象的第三位置信息，并且基于第一位置信息和第三位置信息生成目标位置的第二预测。
28.在一些实施例中，该方法还包括通过融合目标位置的第一预测和目标位置的第二预测来生成目标位置的第三预测。
29.在一些实施例中，该方法还包括基于第三预测生成用于操作机器人的命令。
30.在第三方面，提供了一种电子设备。该电子装置包括处理器；以及耦合到处理器并且存储用于执行的指令的存储器，该指令在由处理器执行时引起该设备执行第二方面的方法。
31.在第四方面，提供了一种计算机可读介质。该计算机可读介质包括用于引起电子设备至少执行第二方面的方法的程序指令。
32.应当理解，发明内容并非旨在确定本公开的实施例的关键或基本特征，也不旨在用于限制本公开的范围。通过下面的描述，本公开的其他特征将变得容易理解。
附图说明
33.本公开的上述和其他目的、特征和优点将通过结合附图对本公开的示例性实施例的更详细的描述而变得更加清楚，其中在本公开的示例性实施例中，相同的附图标记通常表示相同的组件。
34.图1示出了可以在其中实现本公开的实施例的示例操作环境；
35.图2示出了根据本公开的实施例的用于操作机器人的系统的示意图；
36.图3示出了根据本公开的实施例的用于操作机器人的系统的示意图；
37.图4a-图4c示出了根据本公开的实施例的数据融合的示例过程；
38.图5a-图5b示出了根据本公开的实施例的图4a-图4c所示的数据融合的示例结果；
39.图6示出了根据本公开的实施例的用于操作机器人的方法的流程图；以及
40.图7示出了根据本公开的一些示例实施例的示例计算机可读介质的框图。
41.在整个附图中，相同或相似的附图标记用于指示相同或相似的元素。
具体实施方式
42.现在将参考若干示例实施例来讨论本公开。应当理解，讨论这些实施例只是为了使得本领域技术人员能够更好地理解并且因此实现本公开，而不是暗示对主题范围的任何限制。
43.如本文中使用的，术语“包括”及其变体应当被理解为表示“包括但不限于”的开放术语。术语“基于”应当理解为“至少部分基于”。术语“一个实施例”和“实施例”应当理解为“至少一个实施例”。术语“另一实施例”应当理解为“至少一个其他实施例”。术语“第一”、“第二”等可以指代不同或相同的对象。下面可以包括其他定义(明确的和隐含的)。除非上下文另有明确说明，否则术语的定义在整个说明书中是一致的。
44.除非另有说明或限制，否则术语“安装”、“连接”、“支撑”和“耦合”及其变体被广泛使用并且涵盖直接和间接安装、连接、支撑和耦合。此外，“连接”和“耦合”不限于物理或机械连接或耦合。在以下描述中，相同的附图标记和标记用于描述图中相同、相似或对应的部分。下面可以包括其他定义(明确的和隐含的)。
45.如上所述，基于传感器的机器人应用在敏捷和灵活的自动化中起着重要作用。多个传感器可以被设置用于监测机器人的姿态并且检测与机器人的位置或机器人的运动相关的数据。通过使用基于传感器的机器人应用，可以减少调试时间并且提高生产效率。同时，机器人技能和产品品种可以得到深度扩展。
46.图1示出了可以在其中实现本公开的实施例的示例操作环境。如图1所示，操作环境10可以包括机器人210和对象230。在一些实施例中，对象230可以被认为是静止对象。在一些其他实施例中，对象230可以相对于机器人210是可移动的。机器人210可以被操作以捕获对象或者对对象执行特定动作。
47.如图1所示的操作环境10还可以包括传感器221、222和223以及计算设备140。传感器221、222和223可以监测机器人和对象的姿态或位置、和/或机器人与对象之间的位置关系，并且将感测数据传输给计算设备140。机器人210也可以将其自身的反馈数据传输给计算设备140。应当理解，图1所示的传感器的数目是为了说明的目的而给出的，并不暗示任何限制。操作环境10可以包括任何合适数目的传感器。
48.在一些实施例中，来自传感器221、222和223的至少一个传感器可以是相机。基于由相机提供的数据，计算设备140可以确定机器人和对象的位置，并且估计机器人在后续动作中应当到达的位置。
49.通常，在基于传感器的机器人应用的有条件的使用场景中，机器人的操作的任务可以划分为若干过程，并且每个过程仅使用一个传感器(例如，传感器221)来调节机器人的操作。例如，首先可以使用视觉将机器人引导到一个位置，然后应用力控件来组装零件。
50.在另外的有条件使用场景中，传感器221、222和223可以同时使用，这可能需要组
合不同个体传感器221、222和223的输出。例如，控制信号是基于力传感器和视觉传感器的输出的加权和来确定的。
51.尽管基于多传感器的伺服系统是机器人应用中的未来技术，其提高了在动态环境中的智能性和适应性，但是在任何一种情况下，都存在一些问题。例如，传感器不同步。由于采样速率的不同，来自不同传感器的数据很可能是在不同时刻收集的。即使在“一次一个传感器”的情况下，传感器也不与机器人控制器同步。此外，所有传感器都有时间延迟。在某些极端情况下，数据可能会在通信过程中丢失。这使得上述不同步问题更加严重。而且，每个传感器只能估计目标对象的状态的一部分，这些状态可能是重叠的，也可能是分开的。仅通过添加每个控制器的输出来为机器人生成命令的常规的解决方案在这种情况下可能无法满足。
52.因此，本公开的实施例提出了一种用于操作机器人的解决方案。可以提供适用于操作传统机器人的通用框架，该框架可以从机器人和传感器侧接收数据，并且通过融合来自不同数据源的数据来预测机器人的目标位置。
53.下面结合图2至图6对本公开的原理和实现进行详细说明。图2示出了根据本公开的实施例的用于操作机器人的系统的示意图。为了讨论的目的，将参考图1描述系统100。应当理解，尽管系统100已经在图1的操作环境10中进行了描述，但是该系统100同样可以应用于其他操作环境。
54.如图2所示，系统100可以包括第一数据收集器111和第二数据收集器112。第一数据收集器111可以耦合到机器人210并且第二数据收集器112可以耦合到一组传感器(传感器221-223)。
55.机器人210可以将其自己的反馈数据传输给第一数据收集器111，并且第一数据收集器111可以基于所接收的反馈数据确定机器人的第一位置信息。在一些实施例中，反馈数据可以是指由机器人控制器在机器人运动过程中的第一时间段内记录的机器人的坐标系中机器人的关节端的一组坐标参数。例如，机器人工具中心点(tcp)的参数可以被认为是反馈数据。
56.对于工业机器人，可以在机器人上安装一个或多个工具来操作对象。为了在空间中描述工具，可以定义工具上的坐标系，即，工具坐标系(tcs)，并且工具坐标系的原点可以被认为是tcp。在tcs中，通常需要6个自由度或6条信息来完整定义机器人端关节的姿态，因为它可以在空间中沿三个方向移动，也可以围绕三个方向旋转。在一些实施例中，第一数据收集器111然后可以基于该组坐标参数确定机器人的第一位置信息。
57.此外，第一数据收集器111还可以包括机器人模型，该机器人模型可以记录机器人tcp的位置并且用时间戳标记数据。该时间戳可以是原始时间戳减去机器人执行的时间延迟。
58.再次参考图2，传感器221可以将感测数据传输给第二数据收集器112，并且第二数据收集器112可以基于从传感器221接收的感测数据来确定要由机器人210操作的对象230的第二位置信息。
59.例如，感测数据可以被称为由传感器在第二时间段内捕获的一组图像。该组图像可以反映机器人210与对象230之间在传感器211的坐标系中的一组位置关系。第二时间段可以与第一时间段重叠，在此期间，由机器人控制器记录反馈数据。
60.第二数据收集器112可以基于该组位置关系来确定第二位置信息。在一些实施例中，第二位置信息可以是指对象230相对于机器人210的位置信息。第二位置信息还可以包括对象230的位置信息和机器人210的位置信息。
61.此外，第二数据收集器112还可以包括传感器模型。传感器模型是感测数据与机器人运动之间的关系。该模块可以将感测数据变换为位置估计并且用时间戳标记数据。该时间戳也可以是原始时间戳减去时间延迟。
62.如上所述，第一数据收集器和第二数据收集器可以从其个体数据源接收数据。第一数据收集器和第二数据收集器可以被认为是系统100的接口层。通常，接口层负责接收和转换外部信息。用户可以配置接口类型和相关参数。进一步地，接口层可以包括命令接口，命令接口可以用于接收外部命令并且向下游处理层通知要执行的应用。接口层的传感器池可以是一组用户定义的传感器模型。每个传感器模型具有用于接收数据的通信接口、用于将感测数据变换为位置信息的模型、以及用于记录标记的感测数据的数据缓冲区。时间戳标有时间延迟，时间延迟用于在下游处理层进行延迟补偿。
63.如上所述，来自机器人侧和传感器侧的数据都将由系统的第一层收集并且变换为相应位置信息，这对于机器人的目标位置的后续估计是必要的。特别地，可以将在一定时间段内捕获的一组反馈/感测数据传输给数据收集器，而不是只传输与机器人的单个操作相关的感测数据，这有利于目标位置的预测，因为预测的结果会更准确，同时预测过程也会加快。
64.如图2所示，系统100还可以包括第一估计器121。第一估计器可以耦合到第一数据收集器和第二数据收集器，并且被配置为基于第一位置信息和第二位置信息生成目标位置的第一预测。对象230可以由机器人230在目标位置处操作。
65.在一些实施例中，第一位置信息和第二位置信息可以在第一估计器121中融合。例如，第一估计器121可以从第一位置信息中获取第一组采样参数并且从第二位置信息中获取第二组采样参数。第一组采样参数可以表征机器人210在预定时间点的参考位置，并且第二组采样参数可以表征机器人210与对象230之间在同一时间点的参考位置关系。
66.第一估计器121还可以通过基于融合模式融合第一组采样参数和第二组采样参数来生成目标位置的第一预测，融合模式可以与要由机器人执行的预期操作相关联。
67.通常，数据收集器接收数据的时间点与机器人的反馈数据的采样时间点或传感器的感测数据的感测时间点之间存在时间延迟，因此在预测过程之前，时间戳校准是必要的。与传感器221的感测数据相比，机器人210的反馈数据通常具有较高的反馈频率。因此，在第一估计器121中具有缓冲区。
68.在一些实施例中，缓冲区可以记录传感器的数据、机器人210的反馈数据。在用户配置每个传感器的时间延迟t_delay之后，每个传感器数据可以在其被记录时被添加时间戳。例如，如果时间戳t_record表示系统100接收数据的时间，则数据的采样时间点t_record(数据在此被精确采样)可以表示为t_receive减去传感器的时间延迟t_delay。因此，在数据融合之前，第一估计器121可以基于预定时间延迟来校准第一位置信息的第一组时间戳和第二信息的第二组时间戳。以这种方式，预测的准确性就会显著提高。
69.参考图4a和图4b，可以进一步详细描述来自第一位置信息的第一组采样参数和来自第二位置信息的第二组采样参数的数据融合。
70.图4a示出了与第二位置信息相关联的采样信号的曲线401的示例，图4b示出了与第一位置信息相关联的采样信号的曲线402的示例。如图4a所示，第二组采样参数可以是指在时间点t3和t8的参数。也就是说，例如，在曲线401的时间点t3采样的一组参数可以反映由传感器221捕获的机器人210与对象230之间在时间点t3的位置关系。为了融合第一组参数和第二组参数，可能需要在曲线402的t3处采样的参数。然而，在曲线402的t3处采样的参数可能不能直接从曲线402中读取。也就是说，第一组采样参数可能不是直接从第一位置信息中获取的。相反，在曲线402的时间点t3的采样参数可以基于在其他采样时间点采样的参数来计算，例如，基于在曲线402的t2和t4采样的参数。在曲线402的时间点t3的采样参数可以反映机器人在时间点t3的位置。然后，在曲线401的时间点t3的采样参数可以与在曲线402的时间点t3的采样参数融合，以生成机器人的目标位置的预测。对于在曲线401和402两者的时间点t8采样的参数的数据融合，可以执行类似的过程。
71.在一些实施例中，第一估计器121还包括算子池以提供与融合模式相对应的算子，诸如卡尔曼模式、预测模式、滤波模式、观察者模式、求和模式或减法模式。这些融合模式可以针对由传感器模型分配的特定任务进行预配置。
72.如上所述，在第一估计器121中执行的数据融合可以称为第一融合过程。第一融合过程用于将一个传感器数据与机器人运动反馈融合。在手持应用中的大多数传感器中，传感器数据受到机器人执行器的位置/取向与目标的位置/取向之间的偏差的影响。因此，传感器模块可以首先提供机器人执行器(effector)与目标之间的位置/取向误差的估计。如果该传感器具有时间延迟，则缓冲模块可以在传感器通过回归机器人运动反馈对数据进行采样的时间提供对机器人执行器位置/取向的估计。通过添加这些采样数据，系统100可以在传感器对数据采样时提供目标位置/取向的估计。
73.再次参考图2，系统100还可以包括耦合到第一估计器121的命令生成器130。命令生成器130可以被配置为至少部分基于目标位置的第一预测来生成用于操作机器人210的命令。
74.在数据融合过程中，机器人的位置信息和对象在同一获取时间点的位置信息可以被认为是用于预测目标位置的数据。通过基于来自不同数据源的数据来预测目标位置，可以更高效地获取高质量的预测结果。同时，可以基于机器人的期望操作过程预先确定与特定操作者相对应的多个融合模式。以这种方式，任何例外的机器人操作过程都可以更容易地实现和开发。
75.在一些实施例中，一个以上的传感器可以将感测数据传输给第二数据收集器112，并且因此目标位置的多个第一预测可以在第一估计器121处被生成。在这种情况下，多个第一预测可以被认为是初步预测，并且可以被进一步融合以生成最终预测。
76.图3示出了根据本公开的实施例的用于操作机器人的系统的示意图。与图2相比，添加了第二估计器122。其他组件可以与图2所示的对应组件相同或相似。
77.如图3所示，传感器222可以将感测数据传输给第二数据收集器112。第二数据收集器112可以基于来自传感器222的感测数据来确定对象230的第三位置信息。
78.如上所述，从第一数据收集器111获取的第一位置信息和从第二数据收集器112获取的第二位置信息可以被融合以生成机器人210的目标位置的预测。类似地，第一估计器121还可以基于第一位置信息和第三位置信息来生成目标位置的第二预测，例如通过融合
第一位置信息和第三位置信息。
79.进一步参考图4b和图4c，第一位置信息和第三位置信息的数据融合过程可以与第一位置信息和第二位置信息的数据融合过程类似。
80.图4c示出了与第三位置信息相关联的采样信号的曲线403的示例，图4b示出了与第一位置信息相关联的采样信号的曲线402的示例。如图4c所示，第三组采样参数可以是指在时间点t4和t10的参数。也就是说，例如，在曲线403的时间点t4采样的一组参数可以反映由传感器222捕获的机器人210与对象230之间在时间点t4的位置关系。为了融合第一组参数和第三组参数，可能需要在曲线402的t4处采样的参数。然而，在曲线402的t4处采样的参数可能不能直接从曲线402中读取。也就是说，第一组采样参数可能不是直接从第一位置信息中获取的。相反，在曲线402的时间点t4的采样参数可以基于在其他采样时间点采样的参数来计算，例如，基于在曲线402的t2和t5采样的参数。在曲线402的时间点t4的采样参数可以反映机器人在时间点t4的位置。然后，在曲线403的时间点t4的采样参数可以与在曲线402的时间点4的采样参数融合，以生成机器人210的目标位置的进一步预测。对于在曲线403和402两者的时间点t10采样的参数的数据融合，可以执行类似的过程。
81.图5a-图5b示出了根据本公开的实施例的图4a-图4c所示的数据融合的示例结果。图5a示出了第一位置信息和第二位置信息的数据融合的结果，图5b示出了第一位置信息和第三位置信息的数据融合结果。例如，图5a所示的曲线501的值表示在时间点t3第一位置信息和第二位置信息的参数的数据融合的结果。基于通过融合第一位置信息和第二位置信息而获取的曲线501以及通过融合第一位置信息和第三位置信息而获取的曲线502，可以生成目标位置的两个初步预测，即，曲线501中的值p1和曲线502的值p2。
82.再次参考图3，系统100还可以包括第二估计器122。第二估计器122可以耦合到第一估计器121，并且通过融合目标位置的第一预测和目标位置的第二预测来生成目标位置的第三预测。例如，如图5a和图5b所示，目标位置p1的初步预测和目标位置p2的初步预测可以融合，融合后的值可以被认为是目标位置的最终预测。在这种情况下，命令生成器130可以基于目标位置的该最终预测来生成用于操作机器人210的命令。
83.用于生成最终预测的数据融合可以被认为是第二融合过程。目标位置/取向的初步预测可以与第二估计器中的第二融合模块中的时间戳一起被发送给缓冲区。在大多数应用中，与机器人的运动相比，对象的运动速度相对较低。因此，目标位置和取向的回归可以提供比传感器数据回归更可靠的预测。
84.通常，估计器121和122可以被认为是系统的估计层。估计层基于不同传感器数据和机器人的反馈数据来估计机器人的目标姿态和速度。估计操作在不同任务中是特定的，这些任务存储在该层的任务池中。
85.命令生成器130可以被认为是系统的伺服层。目标和机器人执行器的姿态预测被发送给在线规划器中。规划器的速度、加速度和精度可以由用户配置，并且规划器将根据配置来计算运动指令并且将其发送给机器人。计划器的周期时间与传感器的反馈速率无关，从而提高了低速传感器的伺服性能。
86.应当理解，如图2和图3所示的系统100可以用任何硬件和软件来实现。例如，系统100可以实现为如图1所示的计算设备140。系统100也可以实现为集成芯片。系统100的组件可以被认为是能够执行某些功能的实体，诸如数据收集器、估计器、指令生成器等。系统100
中的组件也可以被认为是能够实现某些功能的虚拟模块。
87.鉴于上述情况，在图2和图3所示的系统100中，来自机器人侧和传感器侧的数据都将由系统的第一级收集并且被变换为相应位置信息，这对于机器人的目标位置的后续估计是必要的。特别地，可以将在一定时间段内捕获的一组反馈/感测数据传输给数据收集器，而不是只传输与机器人的单个操作相关的感测数据，这有利于目标位置的预测，因为预测的结果会更准确，同时预测过程也会加快。
88.通过本公开中提出的系统，可以更准确和高效地执行机器人操作。对于用户侧操作者来说，基于传感器的伺服可以提供更灵活的解决方案。在第一方面提出的系统可以与用户已经部署的任何传统机器人一起使用。这样，用户就不必承担由大量组件的修改所带来的成本。对于生产商来说，该系统可以简化实现基于多传感器的解决方案的过程，并且可以减少开发时间。同时，可以扩展自动化领域的能力，并且可以提高基于传感器的应用的性能。
89.图6示出了图示根据本公开的实施例的用于操作机器人的方法的流程图。为了讨论的目的，方法600将从系统100的角度参考图2-图3进行描述。
90.在610，系统100基于从机器人接收的反馈数据确定机器人的第一位置信息。在620，系统100基于从传感器接收的感测数据确定要由机器人操作的对象的第二位置信息；基于第一位置信息和第二位置信息生成。
91.在一些实施例中，确定第一位置信息包括在第一时间段内接收机器人的反馈数据；从机器人的反馈数据中获取机器人的关节端在机器人的坐标系中的一组坐标参数，并且基于该组坐标参数确定第一位置信息。
92.在一些实施例中，确定第二位置信息包括在第二时间段内接收传感器的感测数据，第二时间段与用于接收机器人的反馈数据的第一时间段重叠；从传感器的感测数据中获取机器人与对象之间在传感器的另外的坐标系中的一组位置关系；并且基于该组位置关系确定第二位置信息。
93.在630，系统100基于第一位置信息和第二位置信息生成目标位置的第一预测，对象在该目标位置处由机器人操作。
94.在一些实施例中，系统100可以进一步基于预定时间延迟校准第一位置信息的第一组时间戳和第二信息的第二组时间戳。
95.在一些实施例中，生成第一预测包括从第一位置信息中获取表征机器人在预定时间点的参考位置的第一组采样参数；从第二位置信息中获取表征机器人与对象之间在预定时间点的参考位置关系的第二组采样参数；并且通过基于与要由机器人执行的预期操作相关联的预定融合模式融合第一组采样参数和第二组采样参数来生成目标位置的第一预测。
96.在一些实施例中，融合模式包括预测模式、滤波模式、求和模式和减法模式中的至少一种。
97.在640，系统100至少部分基于第一预测生成用于操作机器人的命令。
98.在一些实施例中，系统100可以进一步基于从另外的传感器接收的另外的感测数据来确定对象的第三位置信息，并且基于第一位置信息和第三位置信息生成目标位置的第二预测。
99.在一些实施例中，系统100还可以通过融合目标位置的第一预测和目标位置的第
二预测来生成目标位置的第三预测。
100.在一些实施例中，系统100还可以基于第三预测生成用于操作机器人的命令。
101.图7是适合于实现本公开的实施例的设备700的简化框图。可以提供设备700以实现如图2和图3所示的系统100。如图7所示，设备700可以包括耦合到计算机可读存储器单元720的计算机处理器710，并且存储器单元720包括指令722。当由计算机处理器710执行时，指令722可以实现如前面的段落中已经描述的用于操作机器人的方法，在下文中将省略细节。
102.在本公开的一些实施例中，提供了一种用于模拟生产线中的至少一个对象的计算机可读介质。计算机可读介质上存储有指令，该指令当在至少一个处理器上执行时可以引起至少一个处理器执行如前面的段落中已经描述的用于操作机器人的方法，在下文中将省略细节。
103.通常，本公开的各种实施例可以使用硬件或专用电路、软件、逻辑或其任何组合来实现。一些方面可以使用硬件实现，而其他方面可以使用可以由控制器、微处理器或其他计算设备执行的固件或软件来实现。尽管本公开的实施例的各个方面被图示和描述为框图、流程图或使用一些其他图形表示，但是应当理解，作为非限制性示例，本文中描述的块、装置、系统、技术或方法可以使用硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备、或其某种组合来实现。
104.本公开还提供有形地存储在非暂态计算机可读存储介质上的至少一种计算机程序产品。计算机程序产品包括计算机可执行指令，诸如程序模块中包括的指令，该指令在目标真实或虚拟处理器上的设备中执行，以执行如以上参考图6描述的过程或方法。通常，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、库、对象、类、组件、数据结构等。在各种实施例中，程序模块的功能可以根据需要在程序模块之间组合或拆分。程序模块的机器可执行指令可以在本地或分布式设备内执行。在分布式设备中，程序模块可以位于本地和远程存储介质两者中。
105.用于执行本公开的方法的程序代码可以以一种或多种编程语言的任何组合来编写。这些程序代码可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码在由处理器或控制器执行时引起在流程图和/或框图中指定的功能/操作被实现。程序代码可以完全在机器上、部分在机器上、作为独立软件包、部分在机器上和部分在远程机器上、或完全在远程机器或服务器上执行。
106.上述程序代码可以体现在机器可读介质上，该机器可读介质可以是可以包含或存储程序以供指令执行系统、装置或设备使用或与其结合使用的任何有形介质。机器可读介质可以是机器可读信号介质或机器可读存储介质。机器可读介质可以包括但不限于电子、磁性、光学、电磁、红外线或半导体系统、装置或设备、或前述各项的任何合适的组合。机器可读存储介质的更具体示例将包括具有一根或多根电线的电连接、便携式计算机软盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或闪存)、光纤、便携式光盘只读存储器(cd-rom)、光存储设备、磁存储设备、或前述各项的任何合适的组合。
107.此外，虽然以特定顺序描述操作，但这不应当被理解为需要以所示特定顺序或按顺序执行这样的操作或者执行所有所示操作以获取期望结果。在某些情况下，多任务和并
行处理可能是有利的。同样，虽然在上述讨论中包含了若干具体实现细节，但这些不应当被解释为对本公开的范围的限制，而是对可能特定于特定实施例的特征的描述。在单独实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。另一方面，在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独或以任何合适的子组合来实现。
108.尽管已经以特定于结构特征和/或方法动作的语言描述了主题，但是应当理解，在所附权利要求中定义的主题不一定限于上述特定特征或动作。相反，上述具体特征和动作被公开作为实现权利要求的示例形式。