用于控制机器的方法和机器控制装置与流程

摘要: 本发明涉及一种用于控制机器的方法和一种机器控制装置。背景技术:1、在控制复杂机器(例如机器人、马达、生产设备、机床、铣床、燃气轮机、风力涡轮机、冷却设备、加热设...
用于控制机器的方法和机器控制装置与流程

本发明涉及一种用于控制机器的方法和一种机器控制装置。

背景技术:

1、在控制复杂机器(例如机器人、马达、生产设备、机床、铣床、燃气轮机、风力涡轮机、冷却设备、加热设备或内燃机)时,越来越多地使用数据驱动的机器学习方法。

2、借助此类学习方法,可以训练机器控制装置为机器的相应运行状态生成用于控制机器的状态特定的控制动作,该控制动作特定地引起机器的期望或优化行为,从而优化其性能。用于选择在当前状态下要应用的控制动作的基于学习的方法,通常也被称为策略、控制代理或动作选择规则。

3、为了训练这样的基于学习的控制代理,有多种已知的训练方法可用,例如强化学习方法。强化学习通常也被称为reinforcement learning。

4、在机器的持续运行中,经常出现其运行条件缓慢或以不可预知的方式变化的问题,例如由于老化或由于天气影响。只要这些影响在训练控制代理时通常尚不知道、不可预见或在可用的训练数据中代表性不足,在许多情况下,这样的控制代理如果不进行特定适应的话会变得越来越次优。

5、虽然可以重新训练控制代理以适应改变的运行条件,但是这种重新训练通常伴随着高的计算量。

技术实现思路

1、本发明的目的是提出一种用于控制机器的方法和机器控制装置,其所需要的机器控制装置适应的复杂度较低。

2、该目的通过具有一种权利要求1的特征的方法、一种具有权利要求9的特征的机器控制装置、一种具有权利要求10的特征的计算机程序产品以及一种具有权利要求11的特征的计算机可读存储介质来实现。

3、为了控制机器,提供了一种基于学习的控制代理,该控制代理被训练成由于输入机器运行数据以及目标设定值而输出关于机器性能目标优化的、用于控制机器的控制信号。在此,可以通过目标设定值设定多个不同的性能目标。目标设定值在此特别可以是标量形式或向量值形式。如果预定了多个离散的性能目标,例如效率和有害物质排放,则这些性能目标尤其可以通过向量值形式的目标设定值的单个向量元素来加权。以这种方式,可以借助于目标设定值在多个离散的性能目标之间进行插值,以便参数化可能的性能目标的准连续空间并精细地设定在特定运行情况下有利的性能目标。根据本发明,生成多种不同的目标设定值。此外,检测机器的当前运行数据并与所生成的目标设定值中的相应目标设定值一起输入到控制代理中,并且借助于分别由控制代理输出的控制信号来控制机器。此外,对于不同的目标设定值,分别确定机器的各个性能目标的上级性能。最后,确定优化上级性能的目标设定值并将其用于机器的进一步运行。

4、在此,上级性能尤其可以涉及在训练控制代理时尚未相关或不可访问的运行条件、运行状态和/或性能目标,例如天气引起的或老化引起的故障。例如,可以测量在当前运行中发生故障的频率、违反限值的频率和/或违反限值的程度作为上级性能。上级性能可以是标量形式或向量值形式。

5、为了执行根据本发明的方法,提供了一种机器控制装置、一种计算机程序产品以及一种优选非易失性的计算机可读存储介质。

6、根据本发明的方法以及根据本发明的机器控制装置例如可以借助一个或多个处理器来执行或实现。特别是借助专用集成电路(asic)、数字信号处理器(dsp)和/或所谓的“现场可编程门阵列”(fpga)。此外,根据本发明的方法可以至少部分地在云中和/或边缘计算环境中执行。

7、本发明的一个优点尤其在于,可以在持续运行中并且无需对控制代理进行复杂的重新训练就能使机器的控制适应运行条件和/或性能目标的变化,这些变化在训练控制代理时尚不可预见。

8、在许多情况下,经训练的控制代理可以不变地继续运行,这尤其是在安全关键应用中可以是一个重要优点。

9、此外,本发明可以本地执行或应用。通常不需要云或网络连接。

10、只要借助于本发明可以优化上级性能,本发明就可以有利地在已知的层次优化方法的框架内使用。

11、此外,通过分析随时间变化所确定的优化的目标设定值,可以获得关于可设定的性能目标对上级性能的贡献的提示。在许多情况下,这样的提示可以用于以性能目标特定的方式更新安全极限。此外,这样的提示可以用于评估机器的健康状态或用于预测性维护。

12、本发明的有利实施方式和改进在从属权利要求中给出。

13、根据本发明的一种有利实施方式,可以预先训练控制代理,其中:

14、-提供性能评估器,在该性能评估器中可以设定机器的不同性能目标,

15、-生成多种训练目标设定值,

16、-将机器运行数据与训练目标设定值中的相应的训练目标设定值一起输入到控制代理中,其中,与此并行地通过相应的训练目标设定值在性能评估器中设定相应的性能目标,

17、-通过性能评估器,对于分别设定的性能目标,确定用于借助于由控制代理输出的控制信号来控制机器的特定性能值,以及

18、-训练控制代理,以至少在统计平均意义上优化所确定的性能值。

19、通过上述训练,可以使控制代理能够输出用于机器的控制信号,通过该控制信号优化分别可设定的性能目标。在许多情况下可以观察到,这样训练的控制代理具有良好的插值和抽象特性。即,即使在训练中仅使用少数个别性能目标,在控制机器时,这些性能目标的新组合也经常被相对较好地优化。

20、根据本发明的另一有利实施方式,可以通过多次、优选基于随机地变化第一目标设定值来生成多个目标设定值,其中,该变化的统计散布范围或最大散布范围受预定公差阈值限制。然后,第一目标设定值可以通过所确定的优化上级性能的目标设定值来更新。如果第一目标设定值是向量值形式的,则所述变化也可以是向量值形式的。公差阈值可以选择为使得一方面所述变化不影响或至少不明显影响机器的控制,另一方面可以根据目标设定值在数值上仍足够稳定地确定梯度。

21、优选地,相应的变化可以通过预定时间段的流逝和/或通过预定事件(例如系统警告或警报)来触发。时间段可以选择为使得在该时间段期间可以足够可靠地测量上级性能。

22、根据本发明的一种有利实施方式,可以使用梯度下降法来确定优化上级性能的目标设定值。在此,可以采用多种高效的标准方法,这些方法快速收敛到最佳结果。

23、此外,可以通过具有多个向量元素的上级性能向量来量化上级性能。在这种情况下,可以检查对于目标设定值是否存在下降方向,沿着该下降方向同时改进上级性能向量的多个向量元素。如果检查结果为正,则目标设定值可以沿该下降方向移动。

24、根据本发明的一种有利改进,可以通过经训练的控制代理来控制多个同类型的机器。在此,对于不同的目标设定值,可以分别测量每个机器的上级性能,并对这些测量值在机器上取平均。由此,可以确定优化平均上级性能的目标设定值并将其用于机器的进一步运行。以这种方式,上级性能的测量可以分布在多个机器上,从而某种程度上并行化。基于更大数量的测量,通常可以比基于单个机器更快地和/或更可靠地确定目标设定值与上级性能之间的相关性以及由此确定优化的目标设定值。

25、根据本发明的另一有利改进,可以通过经训练的控制代理来控制多个同类型的机器,其中,为每个机器分别确定优化其上级性能的目标设定值。然后可以对所确定的优化目标设定值进行平均。相应地,平均的优化目标设定值可以用于机器的进一步运行。在这种方法变型中,通常也可以比基于单个机器更快地和/或更可靠地确定优化目标设定值。