实施过程配置的方法及实施该方法中优化循环的控制单元与流程

本发明涉及一种用于实施可变换过程系统的过程配置的方法、一种用于实施该方法的设备、一种用于实施该方法中优化循环的控制单元以及一种计算机程序。

背景技术：

1、文献 de 10 2016 216 206 a1公开了一种制造系统，该制造系统包括车道、至少一个评估单元和至少一个机器人车辆，其中该车道包括多个模块化的车道元件，其中车道元件中至少两个车道元件形成该车道的车道部段，其中该车道具有光学标记，其中这些光学标记包括位置信息，其中至少一个机器人车辆可移动地布置在车道上，其中该机器人车辆具有用于检测至少一个光学标记作为位置数据的光学传感器单元，其中至少一个评估单元构成为基于位置数据确定至少一个机器人车辆在车道上和/或在制造系统中的位置和/或姿态。

技术实现思路

1、本发明的主题是一种具有权利要求1的特征的用于实施可变换过程系统的过程配置的方法、一种具有权利要求13的特征的用于实施该方法的设备、一种具有权利要求14的特征的控制单元以及一种具有权利要求15的特征的计算机程序。本发明的优选或有利实施例由从属权利要求、以下描述以及附图得出。

2、本发明涉及一种用于实施可变换过程系统的过程配置的方法。该过程系统可以实施制造和/或物流中的任意过程、过程任务、过程序列和/或过程组合。该过程系统尤其具有运输系统。

3、该过程系统包括定子对象和运动对象。

4、运动对象尤其是理解为在过程系统运行中改变在过程系统中的位置的组件。运动对象尤其包括有源对象，例如移动机器人、移动运输设备，尤其是 fts（无人驾驶运输系统）、ftf（无人驾驶运输车辆）、agv（automated guided vehicle，自动导引车）等。有源对象可以是非轨道约束的，并例如具有用于行进运动的轮子。替选地，它们是轨道约束的和/或需要定子结构，并例如基于磁悬浮技术、轨道等。有源对象也可以设计为悬浮对象和/或飞行对象，例如无人机。可选补充地，运动对象可被构成为无源对象，例如运输箱、刀具托架或工件托架，其尤其是可以借助有源对象来运动。

5、定子对象尤其是理解为在运行期间静止布置的过程系统的组件。这包括例如过程站，例如制造站或物流站（例如仓储位置、仓储站和/或仓储单元，例如高架仓库、机器人仓库等）。定子对象还包括运动对象的可能的运动区域。运动区域一方面可以构成为自由区域，替选地，其可以构成为车道、行驶模块或定子结构，例如用于运动对象的磁悬浮技术的磁性基础设施。定子对象尤其包括允许在过程系统中进行定位的定位点。定子对象及其定位点构成了过程系统的结构配置。

6、在该方法中，单次或优选多次执行优化循环。在优化循环中，对过程系统进行优化。

7、优化循环包括用于生成运输网络的网络生成步骤。运输网络包括用于连接定子对象的图。尤其是，该图具有利用边连接的节点。节点可以构成为定子对象的定位点，尤其是poi（points of interest，兴趣点），或构成为路径点。路径点尤其是用于运动执行和运动编排（例如类似于航空飞行中的导航点）以及用于缓冲运动对象的方位点。边将节点连接，并构成为单向或双向连接。运输网络在空间上是为硬件配置定义的，并可以形成特定的运输系统拓扑。

8、优化循环进一步包括用于生成控制策略智能体的策略生成步骤，其中该控制策略智能体构成为实施和/或定义运动对象在运输网络中的编排。编排是指对所有参与的运动对象进行协调的控制和监视，以确保过程系统中的过程高效、安全且同步地运行。这可选地包括为各个运动对象分配任务、动态调整运动对象的路线和时间表、避免碰撞以及与 erp或 mes 平台的上级系统进行集成。控制策略智能体尤其是系统控制器（例如可编程逻辑控制器）执行可运行控制任务的基础。控制任务执行运动对象的时间上协调的运动，以执行运动任务，尤其是运输任务。

9、带有控制策略智能体的运输网络构成了可变换过程系统的过程配置。借助运输网络，过程配置包括运动对象所有可用的运动路线或运动轨迹。借助控制策略智能体，过程配置包括对运动对象随时间变化的运动进行核查（尤其是控制），以便在运行中执行过程系统的过程。

10、优化循环包括用于评估所生成的过程配置的过程配置评估步骤。根据对过程配置的评估，在负面评估的情况下，再次执行优化循环以改进评估；或在正面评估的情况下，提供该过程配置。

11、在实施步骤中，过程配置在过程系统中被实施，并在进一步运行中被过程系统用于执行该过程。

12、本发明旨在减少为可重配置的过程系统（尤其是带有运输系统的过程系统）创建控制策略和地图网络时的手动开销。此外，本发明旨在通过将目前繁琐的手动设计和优化过程自动化，来确定更好的控制策略和运输网络。目前存在以下缺陷可以通过本发明弥补或至少部分减少：目前运输网络和控制策略的规划是手动进行的，这导致以下问题：手动开销和高时间需求；由于开销高，导致系统整体适应性低；为了使规划易于人类理解而降低了真实世界的复杂性（例如，复杂的连续运动动态被缩减为离散的到达/离开行为）；由于详尽的设计迭代，导致设计保守、可能次优；所开发的控制策略或交通网络容易出错。

13、迄今为止，运输网络仅在考虑可用运动区域的情况下被获取和优化，这导致：很少考虑系统面临的负载场景（例如，频繁的源端/汇端连接获得多车道道路）；很少考虑移动机器人的行为（即运动动态），这可能需要方位点的不同排列或对机动空间的错误估计（即正交网格、三角形网格、如样条曲线的不规则模式）；复杂的道路网络（即具有许多未访问节点的大型图）在运行期间作为计算任务（例如用于路径规划的循环图搜索）的基础。

14、迄今为止，控制策略大多是确定性的并被定义为规则，这导致：难以维护的大规则集；在为具有其行为方式的各种移动机器人定义通用策略（即规则集）时，优化程度较低；在忽略运输或移动机器人系统面临的负载场景的情况下优化程度较低；需要基于系统行为和系统状态了解并形式化所有用于处理错误的规则；能够通过规则集表达的控制策略的复杂性有限。

15、迄今为止，已开发的控制策略和运输网络由于在其调整时的开销和不确定性通常保持静态（例如，复杂的规则集不会改变以避免系统故障）；没有基于出现的负载场景进行调整；为了确保更好的鲁棒性而接受较低的优化程度。

16、通过该方法，减少了规划和开发过程配置的手动开销。此外，通过过程配置评估步骤和优化循环在多次迭代中的组合，可以使过程配置更好地适配于目标预设。

17、在一种优选的实施方案中，基于人工初始过程配置或真实的初始过程配置，提供首次过程配置作为优化循环的输入配置。人工初始过程配置可以例如通过随机原理或标准过程配置来生成，其中图的节点均匀分布。真实的初始过程配置可以由手动配置的过程系统接管，并通过该方法进行优化。通过使用首次过程配置，优化循环可以统一用于首次创建优化的过程配置和重配置后续将描述的过程配置。

18、特别优选的是，该方法具有重配置步骤，其中在重配置步骤中，可以基于带有当前过程配置的过程系统的状态数据，在优化循环中优化地生成当前过程配置。状态数据尤其包括过程系统在运行中的负载数据，例如运动对象对边和/或节点的负荷。尤其是，负载数据可包括运动对象的拥堵状态、等待状态等。替选地或补充地，状态数据包括由定子对象和/或结构配置的变化引起的过程系统的系统变化。定子对象的变化可以是例如由于定子对象的故障或更换引起的。此外，状态数据还可以可选补充地包括应当由过程系统实现的过程的变化。

19、在一种优选的改进方案中，执行监视步骤，其中监视过程系统的状态数据。监视步骤可以时间上间隔地执行或也可以与过程系统运行并行地连续执行。在状态评估步骤中，对状态数据，尤其是状态数据的变化进行评估，其中根据对状态数据的评估启动重配置步骤。例如，在状态评估步骤中，状态数据的微小变化可能导致不执行重配置步骤，而状态数据的较大变化导致执行重配置步骤。

20、尤其是，当手动或通过监视步骤输入或识别出过程系统的变化时，执行重配置步骤。基于所述变化创建控制策略智能体，尤其是与系统的持续运行并行创建，或者至少提前创建的方式，使得控制策略智能体在调试、即部署新控制策略智能体时已经处于能工作，从而使得调试新控制策略智能体不需要系统的运行时间。过程系统、控制单元以及控制策略智能体（尤其是控制核心），可以设计为使得它们能够动态调整。如果向过程系统添加了额外的模块（尤其是定子对象和/或运动对象），这可以在监视步骤中予以识别，并触发控制策略智能体生成过程。在生成过程后，控制策略智能体的添加的输入端和输出端（尤其是输入神经元和输出神经元）与过程系统（尤其是定子对象和/或运动对象）的传感器和执行器连接。

21、在一个优选的实施方案中，网络生成步骤基于过程系统的结构配置。结构配置尤其包括定子对象的定位，使得结构配置包括定子对象的定位点，尤其是 poi。所述定位点在优化循环中是固定预设的，并在优化循环期间不能更改，而是构成固定的边界条件。由此，网络生成步骤简化为对路径点和由此边的生成。在处理路径点和边时，可以考虑运动对象的其他边界条件，例如边或路径点彼此间、或者与定子对象的定位点之间的距离，以例如考虑运动对象的几何尺寸。此外，还可以考虑运动对象的运动特性，例如运动时的最小曲线半径或到达定子对象的输送条件。网络生成步骤可以例如通过有信息或无信息的采样方法（英语：sampling）、扩展搜索方法或前两者的混合方法来实现。

22、在策略生成步骤中，基于运输网络和结构配置生成控制策略智能体。控制策略智能体的生成包括控制策略智能体的初始生成和/或控制策略智能体的重配置。

23、原则上，控制策略智能体可以构成为定义和/或实施控制策略的规则集。

24、然而，优选将控制策略智能体构成为强化学习方法的智能体，其中训练控制策略智能体来优化与运输网络和结构配置相关的物流绩效指标。控制策略智能体可以尤其包括神经网络或由神经网络构成。

25、物流绩效指标尤其涉及将运动对象的运动任务及时执行到运输网络中的正确节点。物流绩效指标尤其包括关键绩效指标（kpi - key performance indicators），例如：运动任务（尤其是运输任务）中的平均延迟；运动任务（尤其是运输任务）的吞吐量；运动任务（尤其是运输任务）中的错误的时间间隔；过程系统在整体考量下的有效性等等。

26、为了生成控制策略智能体，对带有运输网络的过程系统执行仿真。应用的仿真技术是运动学（kinematic）仿真和离散事件（discrete-event）仿真。控制策略智能体在仿真中实施控制策略。仿真展示了过程系统的多模态行为（即运动学、错误），并使得能够计算期望的关键绩效指标。关键绩效指标用于在学习过程期间对控制策略智能体进行奖励或惩罚。然后控制策略智能体调整控制策略，以增加奖励并减少惩罚。因此，所产生的或学习到的、并在过程系统运行中由控制策略智能体预设的控制策略，能够直接支持过程系统中运动对象所期望的运动特性。

27、优选地，控制策略智能体被实施为运输控制器。作为运输控制器的控制策略智能体构成为向过程系统（尤其是定子对象和/或运动对象）提供执行器指令。定子对象和/或运动对象构成为执行这些执行器指令。尤其是，执行器指令及其执行是实时实施的。由此控制策略智能体能够实时控制（尤其开环控制和/或闭环控制）过程系统。

28、特别优选的是，控制策略智能体包括控制核心，其中控制核心构成为一个神经网络或上述的神经网络。该神经网络尤其可以是卷积和/或深度神经网络（cnn，dcnn）。

29、在一种优选的实现方式中，神经网络具有带输入神经元（尤其是输入节点）的输入层。控制策略智能体，尤其是控制核心，在数据技术上连接到过程系统，使得过程系统的状态值施加在输入神经元处。状态值尤其构成为传感器值，所述传感器值在过程系统中记录并代表运动对象和/或定子对象的状态。因此，传感器值可以例如是二进制状态、运动对象的存在信号、运动对象和/或定子对象的组件的开关状态（打开/关闭；锁定/释放）、运动对象的速度等。状态值可以构成为传感器值或从传感器值推导出来。例如，可以使用融合的传感器值，其汇集了多个单传感器值。替选地或补充地，神经网络具有带输出神经元（尤其是输出节点）的输出层，其中在输出神经元处输出执行器指令作为神经网络的输出，其中执行器指令尤其是实时应用于过程系统。由此，神经网络获得真实物理输入作为状态值，并生成具有执行器指令的真实物理输出。尤其是，包括记录状态值、由神经网络处理状态值、输出执行器指令和实施执行器指令的子方法被构成为具备实时能力。

30、控制核心应尤其是代表运输系统的控制逻辑。控制核心在部署和运行之前的开发阶段中予以创建。

31、尤其是可以实现以下优点或这些优点中的选择：

32、- 减少开发规则集、将其编写为代码以及在控制器上实施代码的手动开销。

33、- 整合目前分离的阶段：（1）运输策略开发；（2）运输逻辑的编码；（3）运输系统的部署和调试；（4）过程系统的运行时优化。

34、- 在不断变化的运输负载下能够实时更新运输策略。

35、- 与手动开发、基于规则的逻辑相比，控制核心的控制策略有更高的性能和更好的稳健性。

36、在一种优选的实施方案中，在过程配置评估步骤中对过程配置进行整体评估。这可以是独立评估，也可以是考虑了控制策略智能体的物流绩效指标的评估。在这种设计方案中，考虑到在网络生成步骤中规定运输网络可能会限制控制策略智能体的优化潜力，因为这种规定发生在生成控制策略智能体之前。基于这一背景，可以在过程配置评估步骤中重新启动优化循环，其中于是首先重新生成运输网络或以改进和/或更改的形式生成运输网络，并基于新的运输网络创建控制策略智能体，从而在整体上改进过程配置。

37、在本发明的一个优选改进方案中，重配置步骤包括：提供预期的运输负载信息/运输负载规格以及过程系统的当前配置（结构配置和过程配置），以用于创建重配置的过程配置。

38、优选的是，在监视步骤中，将由于过程系统性能不足或识别出的结构配置（尤其是硬件配置）变化而产生的重配置要求识别为状态数据。借助传感器和相关联的软件系统（例如运输任务系统和硬件配置管理系统，或制造控制系统）从过程系统（即从实时系统）中采集关于过程系统的性能的信息和关于结构配置的信息。

39、在状态评估步骤中，优选基于状态数据决定是否需要重配置。该决定可以基于当前的观察（例如吞吐量低）和/或预期的未来事件/行为（例如运动任务数量的预期增加）。如果需要重配置，则提供关于预期运输负载的信息/规格以及过程系统的当前配置（结构上和工艺技术上），用于创建重配置的过程配置。

40、尤其是，可以在状态评估步骤中引入关于运动任务的新要求。新要求可以涉及更改的运动路线和/或运动轨迹。替选地或补充地，新要求可以涉及运动路线和/或运动轨迹的负荷的变化。通过这种方式，新要求可以作为更新的目标预设被引入到优化循环中，以使过程配置适配于这些新要求。

41、本发明的另一主题涉及一种用于实施如前所述的方法的设备。该设备具有过程系统，其中过程系统构成为实现实施步骤。此外，该设备具有用于实现优化循环的控制单元。可选补充地，控制单元构成为实现作为优化循环的一部分的过程配置评估步骤、重配置步骤、监视步骤和/或状态评估步骤。

42、本发明的另一主题由用于实施优化循环和如前所述的方法步骤的控制单元构成。该控制单元可以尤其是构成为数字数据处理设备、云、计算机等。

43、本发明的另一主题由具有程序代码装置的计算机程序构成，其中，当该计算机程序在控制单元上和/或在过程系统上和/或在数字数据处理设备上执行时，该计算机程序构成为执行如前所述的优化循环。

44、该方法由此涉及一种自动化的控制策略和一种用于生成可重配置的过程系统（尤其是作为运输系统）的运输网络的方法，优选基于人工智能。

45、这种计算机辅助的方法与物理过程系统耦合，并服务于相关联的生成和运行阶段。该方法也可以独立使用以支持开发阶段，并在后续进行实施。

46、结合前序讨论的现有缺陷，本发明旨在以下优势：

47、减少规划和开发控制策略及运输网络的手动开销。

48、在特定负载场景下优化控制策略并缩减运输网络，从而降低运行计算的复杂性。通过“搜索和学习”开发出更好、更稳健的控制策略，而不是采用由人预设的并由于与之关联的开销可能也无法得到全面优化的策略。在系统的运行阶段期间自动化更新优化的控制策略和运输网络，以更好地应对出现的负载场景。

49、本发明尤其是涉及应当被重新配置的自适应过程系统（尤其是运输系统）。因此，这些过程系统包括模块化架构，其可分为作为定子对象的定子基础设施（例如道路模块、磁性基础设施、传送带等）和作为运动对象的移动器（例如轮式车辆、磁性移动器、传送带的托盘等）。移动器是主动（例如带有自身驱动装置的车辆）或被动（例如箱子）对象，并可以携带要运输的有效载荷（例如装配组件）。移动器也可以在不同类型的定子基础设施上移动，这得到混合系统（例如轮上的移动器，所述移动器因其结构设计也可在传送带基础设施上移动）。

50、控制策略和运输网络为特定的硬件或结构配置定义。该结构配置描述了特定的基础设施布局和定义的移动器集合。运输网络可以形式化为节点-边网络，其由节点（即兴趣点（poi）和路径点（wp））和边（即单向或双向过渡）组成。poi可以是物料的源端/汇端、特殊区域的过渡点等。wp是方位点，其用于运动执行和协调（类似于航空飞行中的导航点）以及用于缓冲移动器。运输网络在空间上为硬件配置进行定义，从而构成了特定的运输系统拓扑。

51、在运输系统拓扑的基础上，可以应用控制策略来协调移动器的运动。在规定优化的控制策略时必须考虑许多不同的目标（例如吞吐量、路径冗余等）和限制（即无碰撞的运动或移动器仅能穿过特定边的能力）。控制策略构成由系统控制器（如可编程逻辑控制器）执行的运行控制任务的基础。控制任务执行移动器的受时间控制的运动以执行运输。运输网络和控制策略共同构成过程系统的可用于运行的程序配置，也即过程配置。

52、本发明被应用于可重配置的过程系统（尤其是其运输系统）的程序配置管理过程中生成程序配置的阶段。该过程基于实时系统识别重配置要求，生成具有优化属性的新程序配置，并将新程序配置部署在实时系统的控制器中。