用于配置机器人对象系统环境的方法、计算机程序产品和机器人控制装置以及机器人与流程

1.本发明涉及一种根据专利权利要求1的前序部分的用于配置机器人对象系统环境的方法、一种根据专利权利要求12的前序部分的用于配置机器人对象系统环境的计算机程序产品、一种根据专利权利要求14的前序部分的用于配置机器人对象系统环境的机器人控制装置以及根据专利权利要求15的前序部分的机器人。


背景技术：

2.在本发明的意义上的机器人对象系统环境是自动化系统的环境，其中机器人作为具有多个自由度的自动受控的、可再编程的、可多重使用的机械手（例如在工业中、在服务中、在场地中或自主行动地），所述机械手的运动是可编程的并且必要时是传感器引导的，并且所述机械手要么位置固定地要么可移动地被用于对一个或多个对象或物品执行处理任务和/或制造任务。在此，自动化系统可以例如在形式和形状方面是制造单元或机器人单元。
3.对于这种使用适用的是，对机器人对象系统环境或单元进行配置，使得关于对象和机器人的位姿在机器人对象系统环境的真实性与其作为cad模型的数字表示之间出现的差异不出现。在此，由具有空间中的6个自由度的自由刚性主体（例如具有其单部件的机器人和对象）的位置和取向的组合中得出位姿（pose）。在这种情况下，也谈及主体的6d位姿，在一般语言惯用法中，当应该确定主体的空间方位时以及在实际上确切地说将会应该确定主体的位姿的地方，不精确地谈及主体位置的确定。遵循这种一般语言惯用法，在本技术的范围中也使用术语对象位置，并且在其进程中也谈及对象位置数据，尽管术语对象位姿和对象位姿数据的更精确使用实际上尽管其在一般语言惯用法中罕见出现但仍将会被预告。
4.图1根据原理图解示出机器人对象系统环境rosu'的常规配置如何为了避免机器人对象系统环境rosu'的真实性与其数字表示之间出现的差异而通过在行话中也称为“数字双胞胎（digital twin）”的数字机器人双胞胎drz'运行或被执行，所述机器人对象系统环境例如被构造为机器人单元。该配置以细分的方式划分为三个阶段，所述三个阶段彼此无关地通过人员的手动措施被执行。
5.在第一阶段中，例如由工程师产生数字机器人双胞胎drz'。为此，所述工程师借助于编程工具pgt、例如“全集成自动化（totally integrated automation）《tia》”门户创建控制程序stp'的草案（设计）并且借助于“计算机辅助设计（computer aided design）《cad》”程序cadp创建机器人对象系统环境rosu'的硬件草案（硬件设计）。包含机器人的控制逻辑和机器人的移动命令的控制程序stp'变成数字机器人双胞胎drz'的直接整体组成部分，而包含机器人对象系统环境rosu'的几何数据的硬件设计被存储在数字机器人双胞胎drz'的数据存储器dsp'中。这是数字机器人双胞胎drz'的当前状态az'。
6.在第二阶段中，例如由工人构建机器人对象系统环境rosu'或机器人单元。该构建包括至少一个对象和机器人在机器人对象系统环境rosu'中的真实局部定位以及根据储存
在数据存储器dsp中的几何数据对机器人对象系统环境rosu'的创造。现在在当前状态az'下必须使如此真实构建的机器人对象系统环境rosu'与数字机器人双胞胎drz'同步。
7.因此，在第三阶段，例如由机器人对象系统环境rosu'的启动者在当前状态az'下执行数字机器人双胞胎sydrz'的手动同步。虽然例如这种手动执行的同步的结果是数字机器人双胞胎drz'的经更新的、经同步的状态asz'，但是通过手动引起数字机器人双胞胎drz'的经更新的、经同步的状态az'不一定确保正需要避免的所标识的差异事后也在数字机器人双胞胎drz'中被考虑。
8.这尤其是在需要对控制程序进行适配的产品的事后改变的情况下适用。只要数字机器人双胞胎drz'不同步，则控制程序必须以耗费的方式被适配于设备。
9.机器人对象系统环境的启动是自动化和机器人学周围环境中的重要任务，并且如果用于这样的启动的时间可以因此被缩短和自动化，则由此得出竞争优点。


技术实现要素：

10.本发明所基于的任务在于说明用于配置机器人对象系统环境的方法、计算机程序产品和机器人控制装置以及机器人，其中在配置机器人对象系统环境的进程中出现的在机器人对象系统环境的真实性与其作为cad模型的数字表示之间的差异自动地、无手动现场启动机器人对象系统环境地利用使cad模型适应于真实性而被消除。
11.以在专利权利要求1的前序部分中定义的方法为出发点，通过在专利权利要求1的特征部分中说明的方法特征来解决该任务。
12.此外，以在专利权利要求12的前序部分中定义的计算机程序产品为出发点，通过在专利权利要求12的特征部分中说明的计算机程序产品特征来解决该任务。
13.此外，以在专利权利要求14的前序部分中定义的机器人控制装置为出发点，通过在专利权利要求14的特征部分中说明的机器人特征解决该任务。
14.此外，以在专利权利要求15的前序部分中定义的机器人为出发点，通过在专利权利要求15的特征部分中说明的机器人特征解决该任务。
15.根据在权利要求1、12、14和15中分别说明的技术教导的本发明所基于的构思在于，为了配置具有至少一个对象和用于进行对象操纵和对象捕获的机器人的机器人对象系统环境，对以数字方式表示机器人对象系统环境的、基于控制程序对用于进行对象操纵的机器人进行控制的数字机器人双胞胎符合需求地（在第一阶段精度需求或第一阶段精度需求和第二阶段精度需求的意义上）并且关于这一点在一个阶段或两个阶段中进行同步，用于在进行对象操纵时以有利的方式使用机器人对象系统环境中的机器人。
16.在此，在第一阶段中，机器人对象系统环境中的每个对象在控制程序流程的进程中关于对象位置以光学方式被捕获，直至（i）对象针对第一阶段精度需求在其位置方面足够精确地被确定，（ii）在数字机器人双胞胎中对象位置的精度的改善在第二阶段中关于同步是需要的并且在第二阶段同步的给定条件下是有利的，或者（iii）在数字机器人双胞胎中对象位置的精度的改善是不可能的。
17.在紧接其后的第二阶段中，机器人对象系统环境中的每个对象在控制程序流程的进程中关于对象位置通过确定对象位姿分布或通过确定对象位姿分布和机器人接触被捕
获，直至（i）对象针对第二阶段精度需求在其位置方面足够精确地被确定，或者（ii）在数字机器人双胞胎中对象位置的精度的改善是不可能的。
18.如果根据权利要求2至9和13在两个查询循环（参见图3）、即在第一阶段中对于每个对象的第一查询循环和在第二阶段中对于每个对象的第二查询循环中遍历同步，则在数字机器人双胞胎的以两阶段方式执行的同步的上下文中证明是特别有利的。
19.特殊优点在于：通过数字机器人双胞胎的符合需求的同步根据需求要么在一个阶段中进行要么在两个阶段中进行。由此减少用于同步的运行时间。此外，对于这两个阶段，分别利用当前数字机器人双胞胎、第一阶段数字机器人双胞胎和第二阶段数字机器人双胞胎模拟控制程序。由此根据当前机器人对象系统环境和当前偏差自动确定相应的精度需求、第一阶段精度需求和第二阶段精度需求是可能的。
20.可以看作特别有利的是，通过在模拟数据和真实数据之间的比较步骤以及扫描步骤来确保当前同步的评定，其中估计对象位置的可能分布。在此，通过为各种样本模拟实际机器人控制程序来进行有意义的评定，所述评定提供与子过程任务相关的控制程序的部分的失效概率的量度。
21.从而由此可以与根据现有技术的手动同步（参见图1）相比提高同步的质量。这通过以下方式示出，即当在机器人对象系统环境中在操作上使用机器人时避免在进行对象操纵时的差错和冲突。
22.此外，与手动启动相比，通过数字机器人双胞胎的这种自动执行的同步可以降低启动成本。最后，这导致可以比以前更频繁地改变机器人对象系统环境，以用于不同的机器人支持的处理和/或制造任务。
23.此外，通过数字机器人双胞胎的自动执行的同步确保正需要避免的在机器人对象系统环境的真实性与其数字表示之间的所标识的差异在数字机器人双胞胎中也通过相应的自动反馈被考虑。
附图说明
24.本发明的其他优点以图1为出发点从根据图2至4对本发明的实施例的以下描述中得出。在此：图2示出由机器人系统和机器人对象系统环境组成的装置，图3示出用于进行自动数字机器人双胞胎同步的流程图，图4示出关于根据图3的流程图的专用指令步骤和循环查询的图解图表。
具体实施方式
25.图2示出由机器人系统rbsy和机器人对象系统环境rosu组成的装置。
26.机器人系统rbsy包含机器人rb，所述机器人是机器人对象系统环境rosu的组成部分并且在那里被用于进行对象操纵和对象捕获；以及包含机器人控制装置rbst，用于在机器人对象系统环境rosu中控制机器人rb。
27.为此，机器人控制装置rbst包含以数字方式表示机器人对象系统环境rosu、对用于进行对象操纵的机器人rb进行控制的数字机器人双胞胎drz；计算机程序产品cpp；和配
置数据存储器kdsp，它们以所示的方式在功能上共同起作用和/或相互连接，用于构成用于配置机器人对象系统环境rosu的功能单元（以下也称为rosu配置）并且在此在该上下文中用于控制机器人rb。
28.机器人控制装置rbst可以例如要么（如机器人rb那样）作为独立构造的和在市场上单独销售的单元是机器人系统rbsy的组成部分，其中机器人控制装置rbst和机器人rb在此可以来自同一制造商，但是所述机器人控制装置rbst和机器人rb不必来自同一制造商，要么机器人控制装置rbst与机器人rb构成一个结构单元，使得所述机器人控制装置与机器人rb协调地作为捆绑包与所述机器人一起被销售。
29.数字机器人双胞胎drz例如如在图1中的数字机器人双胞胎drz'那样重新由工程师产生，其中在这里具有用于机器人rb的控制逻辑和移动命令的控制程序stp以及用于存储机器人对象系统环境rosu的几何数据的数据存储器dsp也再次包含在数字机器人双胞胎drz中，其中在机器人对象系统环境rosu中在进行对象操纵时基于所述控制程序控制机器人。
30.此外，过程需求可以储存在数字机器人双胞胎drz中，所述过程需求定义对控制程序的部分的精度要求。例如，对于使两个对象并合的机器人运动，可以为对象定义0.5 mm的精度要求。所述精度要求被表达为负值并且意味着在模拟时可以确定最大0.5 mm的在要接合的对象之间的渗透深度。正值描述最小间距，因此在这种情况下不允许对象接触。
31.在rosu配置的上下文中提供和产生的数据被存储在配置数据存储器kdsp中。下面进一步结合图3的描述阐述这些是哪些数据。
32.作为机器人控制装置rbst的另一组成部分的计算机程序产品cpp包含非易失性可读存储器sp，其中存储有执行rosu配置的程序模块pgm的处理器可读控制程序命令；以及包含与存储器sp连接的处理器pz，所述处理器执行程序模块pgm的控制程序命令用于进行rosu配置。
33.对于rosu配置，以数字方式表示机器人对象系统环境rosu、基于控制程序stp对用于进行对象操纵的机器人rb进行控制的数字机器人双胞胎drz被同步用于在进行对象操纵时以有利的方式（zielf
ü
hrenden）使用机器人对象系统环境rosu中的机器人rb。还结合图3的描述阐述这种同步详细地如何进行。
34.类似于上述机器人-机器人控制装置考虑，现在在机器人控制装置
‑“
机器人程序产品”考虑的情况下，计算机程序产品cpp或更精确地说执行rosu配置的程序模块pgm同样可以独立地并且与机器人控制装置无关地作为制造商a的单独产品在市场上被销售并且然后在制造商b的任意机器人控制装置中被使用，所述计算机模块分别优选地作为app被设计、创建或构造，而或者是用于机器人控制装置的编程环境或api的组成部分。
35.机器人对象系统环境rosu包含两个对象，即第一对象ob和第二对象ob'，所述对象可以由机器人rb操纵和捕获。为此并且为了rosu配置，机器人rb具有作为末端执行器的夹钳gf和力传感器ks以及末端执行器的区域中的摄像机km和/或3d传感器系统3d-ss。
36.在此，力传感器不强制性地必须表示为独立的单元，而是也可以通过在机器人中存在的其他传感器系统被仿真。
37.可选地，也仍可能的是，在末端执行器的区域中为了rosu配置也还安置“红绿蓝《rgb》”颜色传感器rgb-fs。
38.如何使用这些末端执行器部件用于rosu配置同样结合图3的描述予以阐述。
39.图3示出用于执行（与根据图1的手动执行的数字机器人双胞胎同步sydrz'不同）自动的数字机器人双胞胎同步sydrz的流程图，其中数字机器人双胞胎drz符合需求地（在第一阶段精度需求或第一阶段精度需求和第二阶段精度需求的意义上）并且关于这一点在一个阶段或两个阶段中被同步。在执行程序模块pgm的控制程序命令用于rosu配置时，由处理器pz在计算机程序产品中执行该流程图。
40.用于执行自动数字机器人双胞胎同步sydrz的起点是数字机器人双胞胎drz的当前状态az，所述当前状态具有控制程序stp的包含在数字机器人双胞胎drz中的流程以及机器人对象系统环境rosu的存储在数据存储器dsp中的几何数据。
41.自动数字机器人双胞胎同步sydrz现在从以下开始，即根据具有第一阶段数字机器人双胞胎同步es-sydrz的第一阶段es，在机器人对象系统环境rosu中的每个对象ob、ob'在控制程序stp的流程的进程中关于对象位置以光学方式被捕获，直至1.对象ob、ob'针对第一阶段精度需求esgb在其位置方面足够精确地被确定，2.在数字机器人双胞胎drz中对象位置的精度的改善关于同步在第二阶段zs中是需要的并且在第二阶段同步的给定条件下是有利的，或者3.在数字机器人双胞胎drz中对象位置的精度的改善是不可能的。
42.此后，在具有第二阶段数字机器人双胞胎同步zs-sydrz的第二阶段zs中，机器人对象系统环境rosu中的每个对象ob、ob'在控制程序stp的流程的进程中关于对象位置通过确定对象位姿分布或通过确定对象位姿分布和机器人接触被捕获，直至1.对象ob、ob'针对第二阶段精度需求zsgb在其位置方面足够精确地被确定，或者2.在数字机器人双胞胎drz中对象位置的精度的改善是不可能的。
43.第一阶段精度需求esgb原则上由过程确定，并且因此从模拟中得出。对于控制程序的特定部分，第一阶段精度需求esgb此外可以通过过程需求被改写。
44.精度需求从机器人对象最小距离中得出，也即例如如果机器人rb距对象具有处于最小值10cm的间距，则对象位置的确定（也称为对象的定位）为高达10cm就刚好足够了。
45.因此，第一阶段精度需求esgb是标量的，即所述第一阶段精度需求由单个值描述，例如10 cm。
46.但是在控制程序的流程中对于一些对象存在接触，使得给出小于等于“0 cm”的第一阶段机器人对象最小距离的最小距离值。在此，负值描述最大渗透深度。
47.第一阶段机器人对象最小距离是跨越所有时间步在模拟控制程序上的最短模拟机器人对象距离，并且需要利用当前环境估计来模拟控制程序。
48.模拟机器人对象距离是在控制程序的流程中对于一时间点在机器人的表面连同夹钳和工件在内（=臂端工具（end-of-arm tooling））与对象之间的最短间距。
49.最短间距借助于目标对象和机器人的外部外壳（连同附加设备、末端执行器和临时附上的对象在内）以3d表面表示的形式被确定。
50.附加地，第一阶段精度需求esgb可以通过过程需求（prozessbedarf）被扩宽。在这种情况下，对于控制程序的部分，过程需求改写针对控制程序的所考虑部分的第一阶段精度需求esgb的现有值。
51.在接触、即第一阶段机器人对象最小距离的最小距离值小于或等于0 cm时，通常
发生拾取、放下和/或接合加工过程。在这里，需求通过存储在数字机器人双胞胎中的启发式值和/或通过针对过程的用户输入被改写。
52.例如，接合过程需要0.5 mm的定位精度。所述定位精度被表达为负值，并且意味着可以在模拟时确定最大0.5 mm的在要接合的对象之间的渗透深度。
53.第二阶段精度需求zsgb与第一阶段精度需求esgb是可比的，但不同之处在于使用第二阶段机器人对象最小距离：*如果不表达过程需求，则第二阶段机器人对象最小距离，或者*如果存在，则过程需求在小于等于零的机器人对象最小距离估计以及无过程需求值的说明的情况下，随后是向操作员进行以过程需求为出发点的请求用于进行配置。
54.第二阶段中的机器人对象最小距离的估计最大限度地与第一阶段机器人对象最小距离的估计完全一样地被确定。不同之处在于，对于不同的假设，机器人对象最小距离多次被确定。典型地，来自概率位姿分布的采样粒子被称为假设。在此情况下，控制程序的模拟多次利用高度加权的特征性位姿假设被执行，所述特征性位姿假设例如被确定为“高斯近似混合（mixture of gaussian approximation）”的分量的平均值作为数字双胞胎中的对象位姿。然而，在机器人与所有假设之间的间距被计算。但是，距离估计此外以标量的方式被表达，仅计算不同。最小距离表示为所有所确定的距离的集合中的最短距离。具有处于启发式阈值以下的权重的粒子在此被丢弃以便计算第二阶段机器人对象最小距离。这是因此可以执行的近似，因为启动者一如既往地观察过程的首次执行。然而，与“现有技术”相比，在理想情况下仅受监督而不被适配。
55.基于自动第一阶段数字机器人双胞胎同步es-sydrz的该基本原理，现在对于每个对象ob、ob'在第一阶段es中遍历第一查询循环afs1并且在第二阶段zs中遍历第二查询循环afs2。
56.因此，在第一查询循环afs1时，在第一指令块awb1中为每个遍历估计第一阶段不确定性esu，其方式是以光学方式捕获环境测量数据umd并且与借助于第一阶段数字机器人双胞胎drz-es产生的第一模拟测量数据smd1进行比较。为此，第一阶段数字机器人双胞胎drz-es在首次执行时利用数字机器人双胞胎drz的数据被初始化。所确定的环境测量数据umd和第一阶段数字机器人双胞胎drz-es如数字机器人双胞胎drz那样被存储在配置数据存储器kdsp中，并且由处理器pz读出。
57.第一阶段不确定性esu表示标量形式的位姿估计的不确定性估计，例如3 cm。该值通过将模拟数据、即第一模拟测量数据smd1与对象的真实测量数据、即环境测量数据umd进行比较来确定。根据识别方法学，例如对于深度数据可以使用间距量度，对于基于rgb的识别方法使用启发式知识或测量模型用于确定不确定性。
58.此外，在第一查询循环afs1中在第一指令块awb1之后遍历的第二指令块awb2中为每个遍历（durchlauf）确定第一阶段精度需求esgb。
59.为了结束第一查询循环afs1，在第一循环查询saf1中检验循环遍历条件。下面阐述循环遍历条件的这种检验。
60.利用第一循环遍历条件检验saf1-a检验：（i）第一阶段不确定性esu是否满足第一阶段精度需求esgb和（ii）基于力的同步的先决条件是否满足，并且如果（i）不被满足并且
（ii）被满足，则在第二阶段zs中以基于力的同步继续第一阶段数字机器人双胞胎同步es-sydrz。因此，发生从第一阶段数字机器人双胞胎同步es-sydrz到第二阶段数字机器人双胞胎同步zs-sydrz的过渡。由于基于力的同步不能在每种情况下都可靠且快速地被执行，因此在对象位置方面的不确定性必须满足先决条件。
61.利用第二循环遍历条件检验saf1-b检验：（i）第一阶段不确定性esu是否满足第一阶段精度需求esgb和（ii）基于力的同步的先决条件是否被满足，并且如果（i）和（ii）不被满足，则在第一指令校正块awkb1中借助于对光学环境测量数据umd的对象位姿估计方法来减小第一阶段不确定性esu。
62.利用第三循环遍历条件检验saf1-c检验第一阶段不确定性esu是否满足第一阶段精度需求esgb，并且如果满足这一点，则对于相应的对象ob、ob'，第一阶段数字机器人双胞胎同步es-sydrz在遍历了第一阶段es之后可以成功地被结束，使得从而不仅第一阶段数字机器人双胞胎同步es-sydrz而且数字机器人双胞胎sydz的同步均结束。
63.利用第四循环遍历条件检验saf1-d检验：（i）在第一阶段es中是否发生第一阶段不确定性esu的改善和（ii）在第二阶段zs中是否满足基于力的同步的先决条件，并且如果（i）不再发生并且（ii）不被满足，则第一阶段数字机器人双胞胎es-sydz的同步被中止并且数字机器人双胞胎sydz的同步被中断以进行用户交互。
64.在这一点上，例如对用户显示交互出于何种原因发生，并且所述用户现在具有以下行动可能性：-对于具有或不具有部分更新的第一阶段数字机器人双胞胎drz-es的防护（sicherung）的对象中止第一阶段es。这对于机器人对象系统环境rosu的其余部分导致继续。
[0065]-对于具有或不具有部分更新的第一阶段数字机器人双胞胎drz-es的防护的对象中止数字机器人双胞胎sydz的同步。
[0066]-为子过程设置过程需求。
[0067]-继续第一阶段es。
[0068]
在遍历第一指令块awb1时，执行专用指令步骤aws。
[0069]
从而，在用于规划机器人轨迹的第一指令步骤aws1中，在假定真实性与第一阶段数字机器人双胞胎drz-es之间的偏差的情况下捕获机器人对象系统环境rosu的场景。为此，在第二指令步骤aws2中，借助于机器人rb处的传感器系统来捕获机器人对象系统环境rosu。例如根据图2中的图示，该传感器系统可以是摄像机km、3d传感器系统3d-ss。但是，可选地也可能的是，rgb颜色传感器rgb-fs附加地还被安置在机器人rb处，用于以光学方式捕获机器人对象系统环境rosu。在表征传感器系统的这些情况下，环境测量数据umd是由3d传感器系统3d-ss产生的3d图像数据3d-bd和/或由rgb颜色传感器rgb-fs产生的传感器数据ssd。
[0070]
在另一第三指令步骤aws3中，如已经提及的那样，现在为每个对象ob、ob'估计第一阶段不确定性esu，其方式是将在光学rosu捕获时确定的环境测量数据umd与第一模拟测量数据smd1比较，所述第一模拟测量数据借助于第一阶段数字机器人双胞胎drz-es产生。
[0071]
在遍历第二指令块awb2时，如在遍历第一指令块awb1时那样，再次执行其他专用指令步骤aws。
[0072]
因此，在第四指令步骤aws4中，根据第一阶段数字机器人双胞胎drz-es模拟用于使机器人rb运动的控制程序stp的流程。
[0073]
在另一第五指令步骤aws5中，为每个对象ob、ob'确定在模拟控制程序流程的进程中出现的第一机器人对象最小距离的第一最小距离值mdw1，所述第一最小距离值定义第一阶段精度需求esgb。
[0074]
在此，第一机器人对象最小距离是跨越模拟控制程序的所有时间步的最短机器人对象距离。这需要利用当前第一阶段数字机器人双胞胎drz-es对控制程序进行模拟。最短间距借助于目标对象和机器人的外部外壳（连同附加设备、末端执行器和临时附上的对象在内）以3d表面表示形式被确定。
[0075]
在第一查询循环afs1的进程中，最终在遍历第一指令校正块awkb1时也附加地执行其他专用指令步骤aws。
[0076]
从而在第六指令步骤aws6中，将对象位姿估计方法应用于环境测量数据umd[参见作为这样的对象位姿估计方法的参考例如应该引用欧洲专利申请（申请号19178454.5）]。
[0077]
在另一第七指令步骤aws7中，对于每个对象ob、ob'在第一阶段数字机器人双胞胎drz-es中更新对象位姿估计。
[0078]
图4在图上半部中图解对于第一查询循环afs1利用第一指令块awb1中的第三指令步骤aws3、第二指令块awb2中的第五指令步骤aws5和第一循环查询sfa1对数字机器人双胞胎的第一阶段同步es-sydrz。
[0079]
在自动第二阶段数字机器人双胞胎同步zs-sydrz的第二阶段zs中，在第二查询循环afs2时在第三指令块awb3中为每个遍历估计第二不确定性zsu，其方式是将第二模拟测量数据smd2与环境测量数据umd进行比较。
[0080]
在第二阶段zs中（与在第一阶段es中不同）不确定性不被视为标量，而是被视为各个加权假设、即所谓的粒子的列表（或集合）形式的分布。这是对于机器人rb常见的表示，尤其是例如在移动导航的情况下。该不确定性通过生成和评价新假设（称为“采样”）来确定。为了评价假设，将对象的模拟深度值（深度图像）与真实（测量）深度值进行比较。可选地，可以从而在加权时考虑光学估计方法的结果。
[0081]
为此，确定对象位姿分布并且将所述对象位姿分布存放在第二阶段数字机器人双胞胎drz-zs中。第二阶段数字机器人双胞胎drz-zs在首次执行中利用第一阶段数字机器人双胞胎drz-es的数据被初始化，并且第二模拟测量数据smd2借助于第二阶段数字机器人双胞胎drz-zs被生成。
[0082]
如第一阶段数字机器人双胞胎drz-es、数字机器人双胞胎drz和环境测量数据umd那样，该第二阶段数字机器人双胞胎drz-zs同样被存储在配置数据存储器kdsp中，并且由处理器pz读出。
[0083]
此外，在第二查询循环afs2时在第三指令块awb3之后遍历的第四指令块awb4中为每个遍历确定第二阶段精度需求（zweistufe-genauigkeitsbedarf）zesgb。
[0084]
为了结束第二查询循环afs2，在第二循环查询saf2中检验循环遍历条件。
[0085]
下面阐述循环遍历条件的这种检验。
[0086]
利用第一循环遍历条件检验saf2-a检验第二阶段不确定性zsu是否满足第二阶段精度需求zsgb，并且如果满足这一点，则第二阶段数字机器人双胞胎同步zs-sydrz结束，并
且从而对于所考虑的对象的数字机器人双胞胎sydrz的同步成功地结束。
[0087]
利用第二循环遍历条件检验saf2-b检验第二阶段不确定度zsu是否满足第二阶段精度需求zsgb，并且如果不满足这一点，则在第二指令校正块awkb2中通过扫描处于机器人接触中的相应的对象ob、ob'减小第二阶段不确定性zsu。
[0088]
利用第三循环遍历条件检验saf2-c检验：（i）第二阶段不确定性zsu是否满足第二阶段精度需求zsgb和（ii）第二阶段不确定性zsu的改善是否仍能发生，并且如果（i）仍不被满足并且（ii）被否定，则第二阶段数字机器人双胞胎es-sydz的同步被中止，并且数字机器人双胞胎sydz的同步被中断以进行用户交互。
[0089]
在用户交互时，对用户显示交互出于何种原因发生并且存在以下行动可能性：-对于具有或不具有部分更新的第二阶段数字机器人双胞胎drz-es的防护的对象中止第二阶段zs。这对于剩余对象导致同步过程的继续。
[0090]-对于具有或不具有部分更新的第二阶段数字机器人双胞胎drz-es的防护的对象中止整个过程。
[0091]-适配针对子过程的过程需求并且继续当前同步阶段在遍历第三指令块awb3时，再次执行其他专用指令步骤aws。
[0092]
从而在第八指令步骤aws8中，尤其是在考虑物理边界条件的情况下生成（采样）对象位姿假设，并且如已经提及的那样，将在rosu捕获时确定的环境测量数据umd与第二模拟测量数据smd2进行比较。第二模拟测量数据smd2通过模拟多个对象位姿假设作为第二阶段不确定性zsu的一部分和作为第二阶段数字机器人双胞胎drz-zs的一部分被产生。
[0093]
为了在遍历第三指令块awb3时结束，在第九指令步骤aws9中借助于可能的对象位姿假设为每个对象ob、ob'确定可能的对象位姿分布，其中对象位姿以在所确定的环境测量数据umd与第二模拟测量数据smd2相比之间的较小偏差是可能的。
[0094]
在遍历第四指令块awb4时，如在遍历第三指令块awb3时那样再次执行其他专用指令步骤aws。
[0095]
从而在第十指令步骤aws10中，用于使机器人rb运动的控制程序stp的流程利用多个可能的对象位姿假设作为第二阶段不确定性zsu的一部分和作为第二阶段数字机器人双胞胎drz-zs的一部分来模拟。
[0096]
在另一第十一指令步骤aws11中，对于每个对象ob、ob'确定第二阶段机器人对象最小距离的第二最小距离值mdw2，所述第二最小距离值定义第二阶段精度需求zsgb，所述第二阶段机器人对象最小距离在模拟控制程序流程的进程中出现。
[0097]
第二阶段机器人对象最小距离最大限度地与第一阶段机器人对象最小距离完全一样地被确定。不同之处在于机器人对象最小距离针对不同的对象位姿假设多次被确定。典型地，来自概率位姿分布的采样粒子被称为对象位姿假设。在此情况下，控制程序的模拟多次利用高度加权的特征性位姿假设被执行，所述高度加权的特征性位姿假设例如被确定为“高斯近似混合”的分量。然而，在机器人与所有假设之间的间距被计算。但是，距离估计此外以标量的方式被表达，仅计算不同。最小距离表示所有所确定的距离的集合中的最短距离。具有处于阈值以下的权重的假设在此被丢弃以便计算第二阶段机器人对象最小距离。
[0098]
第二阶段精度需求zsgb与第一阶段精度需求esgb是可比的，不同之处在于使用第
二阶段机器人对象最小距离：*如果不表达过程需求，则第二阶段机器人对象最小距离，或者*如果存在，则过程需求在小于等于零的机器人对象最小距离估计（这对应于机器人rb与对象ob、ob'之间的冲突）的情况下，并且在不说明过程需求值的情况下，随后是向用户请求用于配置过程需求。
[0099]
在第二查询循环afs2的进程中，最终在遍历第二指令校正块awkb2时也附加地还执行另一专用指令步骤aws。
[0100]
从而，在第十二指令步骤aws12中，通过扫描处于机器人接触中的相应的静态对象来估计对象ob、ob'的静态对象的对象位姿。
[0101]
图4在图下半部图解对于第二查询循环afs2利用第三指令块awb3中的第八指令步骤aws8、第四指令块awb4中的第十一指令步骤aws11和第二循环查询sfa2对数字机器人双胞胎的第二阶段同步zs-sydrz。
[0102]
自动数字机器人双胞胎同步sydrz的执行以以下结束，即在（如上所阐述的那样）执行的数字机器人双胞胎的同步sydrz之后在数字机器人双胞胎drz的经更新、经同步的状态asz下，数字机器人双胞胎drz包括对用于进行对象操纵的机器人rb进行控制的控制程序stp或控制程序流程、机器人对象系统环境rosu的存储在数据存储器dsp中的几何数据和/或针对机器人对象系统环境rosu中的对象ob、ob'的不确定性说明在内被更新。