用于控制机器人的系统和方法、电子设备和计算机可读介质与流程

1.本公开的实施例大体上涉及一种用于控制机器人的系统和方法、电子设备和计算机可读介质。


背景技术：

2.高准确性的组装(0.02mm准确性)是各种应用中的重要过程。使用工业机器人的组装任务的数量和复杂性逐年增加。常规来说，为了实现高准确性的要求，系统需要多个循环的测量和移动才能达到准确性，这可能会导致循环时间的显著开销。
3.例如，当握住要被组装的工件的机械臂移动一步时，传感器可以捕获工件的位置以及该工件与其对应物的偏差，并且将感测数据传输给控制器。控制器还可以基于感测数据触发机器人的运动。因此，多个循环的移动传感伺服可以被执行。除了时间消耗之外，调试时间和成本也会被增加，因为需要准确校准以减少感测和移动循环的数量。


技术实现要素：

4.本公开的实施例提供了一种用于控制机器人的系统和方法以及计算机可读介质。
5.在第一方面中，提供了一种方法。该方法包括：基于从机器人接收的反馈数据，确定机器人的关节的第一位置信息，反馈数据指示关节的移动，工具被附接至该关节用于保持第一对象；基于从传感器接收的感测数据确定关节的第二位置信息，感测数据指示关节和要与第一对象对准的第二对象之间的相对移动；以及基于第一位置信息和第二位置信息，生成目标位置的预测以将第一对象与第二对象对准。
6.通过这种方式，高准确性的组装可以以更短的伺服时间实现，使得组装成本可以被减少，并且组装效率可以被提高。
7.在一些实施例中，确定第一位置信息包括：在第一时间段内从机器人接收反馈数据；从反馈数据获得机器人在机器人的第一坐标系中的坐标参数集；以及基于坐标参数集来确定第一位置信息。
8.在一些实施例中，确定第二位置信息包括：在第二时间段内从传感器接收感测数据，第二时间段与用于接收反馈数据的第一时间段至少部分地重叠；从感测数据获得第一对象与第二对象之间在传感器的第二坐标系中的位置关系集；以及基于第一位置关系集来确定第二位置信息。
9.如上所述，来自机器人侧和传感器侧的数据都将由系统收集并且变换为相应位置信息，这对于机器人的目标位置的后续估计是必需的。具体地，在一定时间段内捕获的反馈和感测数据集被传输给数据收集器，而不是只传输与机器人的单个操作相关的感测数据，这有利于目标位置的预测，因为预测的结果会更准确，同时预测过程也会被加速。
10.在一些实施例中，生成预测包括：从第一位置信息获得第一采样参数集，该第一采样参数集表征预测时间点关节的参考位置；从第二位置信息获得第二采样参数集，该第二采样参数集表征预定时间点机器人的关节与第二对象之间的参考位置信息；以及通过基于
预定融合模式融合第一采样参数集和第二采样参数集，生成目标位置的预测，该预定融合模式与要由机器人执行的预期操作相关联。
11.在一些实施例中，预定融合模式包括以下至少一项：预测器模式、滤波器模式、求和模式和减法模式。
12.在数据融合的过程中，机器人的位置信息和对象在同一采集时间点的位置信息可以被视为用于预测目标位置的数据。通过基于来自不同数据源的数据来预测目标位置，高质量的预测结果可以被更有效地获得。同时，与某个操作者相对应的多种融合模式可以基于机器人的期望操作过程预定。通过这种方式，任何例外的机器人操作程序都可以被更容易地实施和开发。
13.在一些实施例中，该方法还包括至少部分地基于预测来生成用于控制机器人的命令。
14.在一些实施例中，生成命令包括：在用于记录反馈数据的第三时间段内确定记录时间点集，用于接收反馈数据的第一时间段的开始时间点与第三时间段的开始时间点偏离预定时间延迟；基于预测，确定第一对象到达目标位置的预测时间点；基于记录时间点集、反馈数据、预测时间点和目标位置的预测，确定第一对象移动到目标位置的预测轨迹；以及基于预测轨迹来生成命令。通过这种方式，预测结果可以被进一步优化，以平滑机器人到目标位置的移动路径。
15.在第二方面中，提供了一种系统。该系统包括数据收集器，该数据收集器被耦合至机器人并且被配置为基于从机器人接收的反馈数据来确定机器人的关节的第一位置信息，反馈数据指示关节的移动，工具被附接至该关节用于保持第一对象，被耦合至传感器并且被配置为基于从传感器接收的感测数据来确定关节的第二位置信息，感测数据指示关节和要与第一对象对准的第二对象之间的相对移动。系统还包括第一估计器，该第一估计器被耦合至数据收集器，并且被配置为基于第一位置信息和第二位置信息来生成将第一对象与第二对象对准的目标位置的预测。
16.在一些实施例中，数据收集器还被配置为：在第一时间段内从机器人接收反馈数据；从反馈数据获得机器人在机器人的第一坐标系中的坐标参数集；以及基于坐标参数集来确定第一位置信息。
17.在一些实施例中，数据收集器还被配置为：在第二时间段内从传感器接收感测数据，第二时间段与用于接收反馈数据的第一时间段至少部分地重叠；从感测数据获得第一对象与第二对象之间在传感器的第二坐标系中的位置关系集；以及基于第一位置关系集来确定第二位置信息。
18.在一些实施例中，第一估计器还被配置为：从第一位置信息获得第一采样参数集，该第一采样参数集表征预测时间点关节的参考位置；从第二位置信息获得第二采样参数集，该第二采样参数集表征预定时间点机器人的关节与第二对象之间的参考位置信息；以及通过基于预定融合模式融合第一采样参数集和第二采样参数集，生成目标位置的预测，该预定融合模式与要由机器人执行的预期操作相关联。
19.在一些实施例中，预定融合模式包括以下至少一项：预测器模式、滤波器模式、求和模式和减法模式。
20.在一些实施例中，系统还包括命令生成器，该命令生成器被耦合至第一估计器，并
且被配置为至少部分地基于预测来生成用于控制机器人的命令。
21.在一些实施例中，命令生成器还被配置为：在用于记录反馈数据的第三时间段内确定记录时间点集，用于接收反馈数据的第一时间段的开始时间点与第三时间段的开始时间点偏离预定时间延迟；基于预测，确定第一对象到达目标位置的预测时间点；基于记录时间点集、反馈数据、预测时间点和目标位置的预测，确定第一对象移动到目标位置的预测轨迹；以及基于预测轨迹来生成命令。
22.在第三方面中，提供了一种电子设备。电子设备包括处理器；以及存储器，被耦合至处理器并且存储指令用于执行，在由处理器执行时，该指令使设备执行第一方面的方法。
23.在第四方面中，提供了一种计算机可读介质。计算机可读介质包括程序指令，用于使电子设备至少执行第一方面的方法。
24.要理解的是，发明内容不旨在标识本公开的实施例的关键或必要特征，也不旨在被用于限制本公开的范围。通过以下描述，本公开的其他特征将变得容易领会。
附图说明
25.本公开的以上和其他目的、特征和优点将通过结合附图对本公开的示例实施例的更详细描述而变得更加明显，其中在本公开的示例实施例中，相同的附图标记通常表示相同的组件。
26.图1示出了本公开的实施例可以被实施的示例操作环境；
27.图2示出了根据本公开的实施例的用于控制机器人的系统的示意图；
28.图3a至图3c示出了根据本公开的实施例的数据融合的示例过程；
29.图4a至图4b示出了根据本公开的实施例的图3a至3c所示的数据融合的示例结果；
30.图5示出了根据本公开的实施例的流程图，图示了用于控制机器人的方法；以及
31.图6示出了根据本公开的一些示例实施例的示例计算机可读介质的框图。
32.在附图中，相同或类似的参考符号被用于指示相同或类似的元件。
具体实施方式
33.本公开现在将参照多个示例实施例来讨论。要理解的是，这些实施例被讨论只是为了使本领域技术人员能够更好地理解并因此实施本公开，而不是暗示对主题范围的任何限制。
34.如本文使用的，术语“包括”及其变型应被读取为开放术语，其表示“包括但不限于”。术语“基于”应被读取为“至少部分地基于”。术语“一个实施例”和“实施例”应被读取为“至少一个实施例”。术语“另一实施例”应被读取为“至少一个其他实施例”。术语“第一”、“第二”等可以指不同或相同的对象。其他定义(显式和隐式的)可以在下面被包括在内。除非上下文另有清晰指示，否则术语的定义在整个描述中是一致的。
35.除非另有指定或限制，否则术语“安装”、“连接”、“支撑”和“耦合”及其变化被广泛使用，并且涵盖直接和间接安装、连接、支撑和耦合。此外，“连接”和“耦合”不被限于物理或机械连接或耦合。在以下描述中，相同的附图标记和标签被用于描述附图中的相同、类似或对应部分。其他定义(显式和隐式的)可以在下面被包括在内。
36.图1示出了本公开的实施例可以被实施的示例操作环境100。如图1所示，操作环境
100可以包括机器人110。机器人110可以被固定在地面上。机器人110可以包括具有关节111的操作臂，诸如在操作臂末端的关节。工具112可以被附接至关节111，以保持要被组装的对象。例如，工具112可以被形成为销、夹具或胶枪。如图1所示，工具112被形成为夹持工件的夹具。在下文中，由工具112夹持的工件可以被称为第一对象131。
37.在组装台133上，存在又一工件，其在下文中可以被称为第二对象132。在组装程序中，第二对象132可以被认为是第一对象131的对应物。为了将第一对象与第二对象组装在一起，可能需要第一对象和第二对象的对准过程。在本文中，对准可以指完全匹配或部分匹配。例如，它们可以与其他放置在顶部或彼此相邻放置，而不重叠。第一对象131与第二对象132对准的位置可以被称为目标位置。在一些情况下，第二对象132可以是静止的。然而，例如由于由磁场生成的磁力，第二对象132也可以是可移动的。
38.图1所示的操作环境100还可以包括多个传感器121和122以及被耦合至这些传感器以收集来自这些传感器的感测数据的控制器150。控制器150可以通过有线或无线通信模块(未示出)与传感器121和122通信。例如，传感器121(在下文中也可以被称为第一传感器121)可以被布置在机器人110的关节111上。传感器122(在下文中也可以被称为第二传感器122)可以被布置在环境中。第一传感器121和第二传感器122都可以观察机器人110、第一对象131和第二对象132。要理解的是，图1所示的传感器的数量出于图示的目的而给出，并不暗示任何限制。操作环境100可以包括任何合适数量的传感器。
39.如上所述，高准确性的组装(0.02mm准确性)是各种应用中的重要过程。使用工业机器人的组装任务的数量和复杂性逐年增加。常规来说，为了实现高准确性的要求，系统需要多个循环的测量和移动才能达到准确性，这可能会导致循环时间的显著开销。
40.例如，当握住要被组装的工件的机械臂移动一步时，传感器可以捕获工件的位置以及该工件与其对应物的偏差，并且将感测数据传输给控制器。控制器还可以基于感测数据触发机器人的运动。因此，多个循环的移动感测可以被执行。除了时间消耗之外，调试时间和成本也会被增加，因为需要准确校准以减少感测和移动循环的数量。
41.因此，本公开提出了一种由机器人支撑的高准确性组装的解决方案。利用在对准程序中收集的反馈数据和感测数据，感测和移动循环的数量可以被减少，并且高准确性的组装可以被同时实现。
42.本公开的原理和实施方式在下面将参照图2至图5更详细地描述。图2示出了根据本公开的实施例的用于控制机器人的系统的示意图。为了讨论的目的，系统200将参照图1描述。要了解的是，尽管系统200已经在图1的操作环境100中描述，但是该系统200同样可以被应用于其他操作环境。
43.如图2所示，系统200可以包括数据收集器210。数据收集器210可以被耦合至机器人控制器113。当机器人110的操作臂开始移动时，机器人控制器113可以记录关节111在移动中的位置。记录的数据(在下文中可以被称为反馈数据)可以从机器人控制器113传输给数据收集器210。
44.数据收集器210可以基于接收到的反馈数据确定机器人110的关节111的第一位置信息。反馈数据可以指示关节111的移动，工具112被附接至该关节111用于保持第一对象131。
45.在一些实施例中，反馈数据可以指机器人110的关节111在由机器人控制器113在
机器人移动过程中的第一时间段内记录的机器人110的坐标系中的坐标参数集。例如，机器人工具中心点(tcp)的参数可以被认为是反馈数据。
46.针对工业机器人，一个或多个工具可以被安装在机器人上以操作对象。为了在空间中描述工具，工具上的坐标系(即，工具坐标系(tcs))可以被定义，并且工具坐标系的原点可以被认为是tcp。在tcs中，通常需要6个自由度或6条信息来完整定义机器人的末端关节的姿势，因为它可以在空间中沿着三个方向移动，并且也可以围绕三个方向旋转。在一些实施例中，第一数据收集器111然后可以基于该坐标参数集来确定机器人的第一位置信息。
47.进一步地，数据收集器210可以被耦合至包括第一传感器121和第二传感器122的感测组120，并且从它们中的至少一个传感器接收感测数据。数据收集器210可以基于从第一传感器121和第二传感器122中的任何一个接收的感测数据来确定关节111的第二位置信息。例如，第二传感器122的感测数据可以被传输给数据收集器210。感测数据可以指示关节111和要与第一对象131对准的第二对象132之间的相对移动。
48.例如，感测数据可以指由传感器在第二时间段内捕获的图像集。该图像集可以反映第一对象131和第二对象132之间在第二传感器122的坐标系中的位置关系集。第二时间段可以与反馈数据由数据收集器210接收的第一时间段重叠。
49.如图2所示，系统200还可以包括第一估计器220。第一估计器220可以被耦合至数据收集器210，并且被配置为基于第一位置信息和第二位置信息来生成目标位置的预测，用于将第一对象131与第二对象132对准。
50.在一些实施例中，第一位置信息和第二位置信息可以被融合在第一估计器220中。例如，第一估计器220可以从第一位置信息获得第一采样参数集，并且从第二位置信息获得第二采样参数集。第一采样参数集可以表征关节111在预定时间点的参考位置，并且第二采样参数集可以表征在同一时间点的机器人110的关节111和第二对象132之间的参考位置关系。
51.在一些实施例中，通过基于可以与要由机器人执行的预期操作相关联的融合模式融合第一采样参数集和第二采样参数集，第一估计器220还可以生成目标位置的预测。
52.参照图3a和图3b，来自第一位置信息的第一采样参数集和来自第二位置信息的第二采样参数集的数据融合可以被进一步详细描述。
53.图3a示出了与第二位置信息相关联的采样信号的曲线301的示例，并且图3b示出了与第一位置信息相关联的采样信号的曲线302的示例。如图3a所示，第二采样参数集可以指时间点t3和t8的参数。即，例如在曲线301的时间点t3采样的参数集可以反映由第二传感器122捕获的时间点t3机器人110的关节111与第二对象132之间的位置关系。为了融合第一参数集和第二参数集，可能需要在曲线302的t3采样的参数。然而，在曲线302的t3采样的参数可能无法直接从曲线302中读取。即，第一采样参数集可能无法直接从第一位置信息获得。相反，曲线302的时间点t3的采样参数可以基于在其他采样时间点采样的参数(例如基于在曲线302的t2和t4采样的参数)来计算。曲线302的时间点t3的采样参数可以反映关节在时间点t3的位置。然后，曲线301的时间点t3的采样参数可以与曲线302的时间点t3的采样参数融合，以生成机器人的目标位置的预测。针对在曲线301和302的时间点t8采样的参数的数据融合，类似的程序可以被执行。
54.在一些实施例中，第一估计器220还包括算子池，以提供与融合模式(诸如卡尔曼
模式、预测器模式、滤波器模式、观察者模式、求和模式或减法模式)相对应的算子。这些融合模式可以针对由传感器模型指派的具体任务进行预配置。
55.在数据融合的过程中，由来自不同传感器组的感测数据在同一采集时间点确定的不同位置参数可以被视为用于预测目标位置的位置信息。由于感测数据在多个视点提供不同的位置参数，因此高质量的预测结果可以被更有效地获得。同时，与某个操作者相对应的多种融合模式可以基于机器人的期望操作过程预定。通过这种方式，任何例外的机器人操作程序都可以被更容易地实施和开发。
56.返回参照图2，系统200还可以包括被耦合至第一估计器220的命令生成器240。命令生成器240可以被配置为基于目标位置的预测生成用于控制机器人110的命令。命令生成器240可以被耦合至机器人控制器113以将命令传输给机器人控制器113。
57.为了进一步平滑第一对象131的移动路径并且保证用于对准的循环时间，用于引导第一对象从当前位置到目标位置的预测轨迹可以被确定。在一些实施例中，命令生成器240可以在用于记录反馈数据的第三时间段内确定记录时间点集。用于接收反馈数据的第一时间段的开始时间点可以与第三时间段的开始时间点偏离预定时间延迟。
58.反馈数据的记录时间点可以在数据收集器210中确定。此外，数据收集器210还可以记录每个反馈数据的接收时间点，并且补偿到反馈数据的接收时间点的预定时间延迟，以获得反馈数据的记录时间点。而且，数据收集器210也可以记录每个感测数据的接收时间点，并且补偿到感测数据的接收时间点的预定时间延迟，以获得感测数据的感测时间点。例如，如果时间戳t_record表示系统200接收数据的时间，则数据的采样时间点t_record(在该时间点数据被恰好采样)可以表示为t_receive减去传感器的时间延迟t_delay。
59.进一步地，命令生成器240可以基于目标位置的预测来确定第一对象到达目标位置的预测时间点。基于记录时间点集、反馈数据、预测时间点和目标位置的预测，预测轨迹可以被确定。命令生成器240可以基于预测轨迹生成命令。通过预测轨迹，第一对象131可以移动到目标位置。
60.在一些实施例中，多于一个传感器可以将感测数据传输给数据收集器210，因此目标位置的多个预测可以在第一估计器220处被生成。在这种情况下，多个预测可以被认为是初步预测，并且可以被进一步融合以生成最终预测。
61.备选地，系统200还可以包括第二估计器230。如图3所示，传感器组中的另一传感器(例如第一传感器121)可以将感测数据传输给数据收集器210。数据收集器210可以基于从第一传感器121接收的感测数据来确定机器人110的关节111的第三位置信息。该感测数据可以通过感测机器人110的关节111的运动来获得。作为选项，机器人110的关节111的信息也可以从机器人控制器113获得。
62.如上所述，从数据收集器210获得的第一位置信息和第二位置信息可以被融合，以生成机器人110的目标位置的预测。类似地，第一估计器220可以基于第一位置信息和第三位置信息进一步生成目标位置的进一步预测，例如通过融合第一位置信息和第三位置信息。
63.进一步参照图3b和图3c，第一位置信息和第三位置信息的数据融合程序可以与第一位置信息和第二位置信息的数据融合程序类似。
64.图3c示出了与第三位置信息相关联的采样信号的曲线303的示例，并且图3b示出
了与第一位置信息相关联的采样信号的曲线302的示例。如图3c所示，第三采样参数集可以指时间点t4和t10的参数。即，例如在曲线303的时间点t4采样的参数集可以反映由第一传感器121在时间点t4捕获的第二对象132与机器人110的关节111之间的位置关系。为了融合第一参数集和第三参数集，可能需要在曲线302的t4采样的参数。然而，在曲线302的t4采样的参数可能无法直接从曲线302中读取。即，第一采样参数集可能无法直接从第一位置信息获得。相反，曲线302的时间点t4的采样参数可以基于在其他采样时间点采样的参数(例如基于在曲线302的t2和t5采样的参数)来计算。曲线302的时间点t4的采样参数可以反映关节111在时间点t4的位置。然后，曲线303的时间点t4的采样参数可以与曲线302的时间点t4的采样参数融合，以生成机器人110的目标位置的进一步预测。针对在曲线303和302的时间点t10采样的参数的数据融合，类似的程序可以被执行。
65.图4a至图4b示出了根据本公开的实施例的图3a至3c所示的数据融合的示例结果。图4a示出了第一位置信息和第二位置信息的数据融合的结果，并且图4b示出了第一位置信息和第三位置信息的数据融合结果。例如，图4a所示的曲线401的值表示时间点t3的第一位置信息和第二位置信息的参数的数据融合结果。基于通过融合第一位置信息和第二位置信息获得的曲线401和通过融合第一位置信息和第三位置信息获得的曲线402，目标位置的两个初步预测可以被生成，即，曲线401中的p1的值和曲线402的值p2。
66.返回参照图3，系统200还可以包括第二估计器230。第二估计器230可以被耦合至第一估计器220，并且通过融合目标位置的预测和目标位置的进一步预测来生成目标位置的最终预测。例如，如图4a和4b所示，目标位置p1的初步预测和目标位置p2的初步预测可以被融合，融合后的值可以被认为是目标位置的最终预测。在这种情况下，命令生成器240可以基于目标位置的该最终预测来生成用于控制机器人110的命令。
67.用于生成最终预测的数据融合可以被认为是第二融合程序。目标位置/定向的初步预测可以与第二估计器中的第二融合模块中的时间戳一起被发送给缓冲器。在大多数应用中，与机器人的运动相比，对象的移动速度相对较低。因此，目标位置和定向的回归可以提供比传感器数据回归更可靠的预测。
68.要理解的是，图2所示的系统200可以用任何硬件和软件来实施。例如，系统200可以被实施为图1所示的控制器150。系统200也可以被实施为集成芯片。系统200的组件可以被认为是能够执行某些功能的实体，诸如数据收集器、估计器、指令生成器等。系统200中的组件也可以被认为是能够实施某些功能的虚拟模块。
69.通过这种方式，高准确性的组装可以以更短的伺服时间实现，使得组装成本可以被减少，并且组装效率可以被提高。
70.图5示出了根据本公开的实施例的流程图，图示了用于控制机器人的方法。出于讨论的目的，方法500将参照图2从系统200的角度描述。
71.在510中，系统200基于从机器人110接收的反馈数据来确定机器人110的关节111的第一位置信息。反馈数据可以指示关节111的移动，工具112被附接至该关节111用于保持第一对象131。
72.在520中，系统200基于从传感器122接收的感测数据来确定关节111的第二位置信息。感测数据可以指示关节111和要与第一对象131对准的第二对象132之间的相对移动。
73.在一些实施例中，确定第一位置信息包括：在第一时间段内从机器人110接收反馈
数据；从反馈数据获得机器人110在机器人110的第一坐标系中的坐标参数集；以及基于坐标参数集来确定第一位置信息。
74.在一些实施例中，确定第二位置信息包括：在第二时间段内从传感器122接收感测数据，第二时间段与用于接收反馈数据的第一时间段至少部分地重叠；从感测数据获得第一对象131与第二对象132之间在传感器122的第二坐标系中的位置关系集；以及基于第一位置关系集来确定第二位置信息。
75.在530中，系统200基于第一位置信息和第二位置信息来生成目标位置的预测，以将第一对象131与第二对象132对准。
76.在一些实施例中，生成预测包括：从第一位置信息获得第一采样参数集，该第一采样参数集表征预测时间点关节的参考位置；从第二位置信息获得第二采样参数集，该第二采样参数集表征预定时间点机器人的关节与第二对象之间的参考位置信息；以及通过基于预定融合模式融合第一采样参数集和第二采样参数集，生成目标位置的预测，该预定融合模式与要由机器人执行的预期操作相关联。
77.在一些实施例中，预定融合模式包括以下至少一项：预测器模式、滤波器模式、求和模式和减法模式。
78.在一些实施例中，系统200还可以至少部分地基于预测来生成用于控制机器人的命令。
79.在一些实施例中，生成命令包括：在用于记录反馈数据的第三时间段内确定记录时间点集，用于接收反馈数据的第一时间段的开始时间点与第三时间段的开始时间点偏离预定时间延迟；基于预测，确定第一对象到达目标位置的预测时间点；基于记录时间点集、反馈数据、预测时间点和目标位置的预测，确定第一对象移动到目标位置的预测轨迹；以及基于预测轨迹来生成命令。
80.图6是适合于实施本公开的实施例的设备600的简化框图。设备600可以被提供，以实施图6所示的系统200。如图6所图示的，设备600可以包括被耦合至计算机可读存储器单元620的计算机处理器610，并且存储器单元620包括指令622。当由计算机处理器610执行时，指令622可以实施用于控制机器人的方法，如先前段落所描述的，并且细节在下文中将被省略。
81.在本公开的一些实施例中，提供了一种用于在制造线中模拟至少一个对象的计算机可读介质。计算机可读介质具有存储在其上的指令，并且在至少一个处理器上执行时，该指令可以使至少一个处理器执行用于控制机器人的方法，如先前段落所描述的，并且细节在下文中将被描述。
82.总体来说，本公开的各种实施例可以被实施在硬件或专用电路、软件、逻辑或其任何组合中。一些方面可以被实施在硬件中，而其他方面可以被实施在可以由控制器、微处理器或其他计算设备执行的固件或软件中。尽管本公开的实施例的各个方面被图示和描述为框图、流程图或者使用一些其他图形表示，但是要了解的是，本文描述的框、装置、系统、技术或方法可以作为非限制性示例被实施在硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或者其他计算设备或其某种组合中。
83.本公开还提供了有形地存储在非瞬态计算机可读存储介质上的至少一个计算机程序产品。计算机程序产品包括计算机可执行指令，诸如程序模块中所包括的那些指令，它
们在目标真实或虚拟处理器上的设备中执行，以执行上面参照图5描述的过程或方法。通常，程序模块包括执行特定任务或实施特定抽象数据类型的例程、程序、库、对象、类、组件、数据结构等。在各种实施例中，程序模块的功能性可以根据需要在程序模块之间被组合或拆分。程序模块的机器可执行指令可以被执行在本地或分布式设备内。在分布式设备中，程序模块可以位于本地和远程存储介质中。
84.用于执行本公开的方法的程序代码可以以一种或多种编程语言的任何组合来编写。这些程序代码可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得在由处理器或控制器执行时，程序代码使流程图和/或框图中指定的功能/操作被实施。程序代码可以完全地在机器上执行，部分地在机器上执行，作为独立软件包执行，部分地在机器上执行并且部分地在远程机器上执行，或者完全地在远程机器或服务器上执行。
85.以上程序代码可以被实施在机器可读介质上，该机器可读介质可以是任何有形介质，其可以包含或存储通过指令执行系统、装置或设备或结合指令执行系统、装置或设备使用的程序。机器可读介质可以是机器可读信号介质或者机器可读存储介质。机器可读介质可以包括但不限于电子、磁性、光学、电磁、红外或半导体系统、装置或设备或者前述的任何合适组合。机器可读存储介质的更具体示例将包括具有一个或多个电线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或闪存)、光纤、便携式光盘只读存储器(cd-rom)、光学存储设备、磁性存储设备或者前述的任何合适组合。
86.进一步地，虽然操作以特定顺序描绘，但是这不应该被理解为要求这种操作按照所示的特定顺序或者按照相继顺序来执行，或者所有图示的操作被执行，以实现期望的结果。在某些情况下，多任务处理和并行处理可能是有利的。同样地，尽管多个具体的实施细节被包含在以上讨论中，但是这些不应该被解释为对本公开范围的限制，而应该解释为可能特定于特定实施例的特征的描述。在单独实施例的上下文中描述的某些特征还可以组合地被实施在单个实施例中。另一方面，在单个实施例的上下文中描述的各种特征也可以单独地或者按照任何合适的子组合被实施在多个实施例中。
87.尽管主题已经用特定于结构特征和/或方法行动的语言描述，但是要理解的是，在所附权利要求中限定的主题并不一定被限于上述具体特征或行动。相反，上述具体特征和行动被公开为实施权利要求的示例形式。