一种融合物理约束的vPLC与多智能体强化学习的工业机器人集群控制方法及系统

摘要: 本技术涉及工业自动化与智能制造,具体地涉及一种融合物理约束的vplc与多智能体强化学习的工业机器人集群控制方法及系统。背景技术:1、工业机器人集群在现代智能制造...
一种融合物理约束的vPLC与多智能体强化学习的工业机器人集群控制方法及系统

本技术涉及工业自动化与智能制造,具体地涉及一种融合物理约束的vplc与多智能体强化学习的工业机器人集群控制方法及系统。

背景技术:

1、工业机器人集群在现代智能制造领域承担着装配、焊接、搬运、分拣等多种复杂任务,其控制系统的性能直接影响生产线的效率、柔性和可靠性。随着工业互联网和软件定义制造技术的发展,工业机器人控制系统正从传统的专用硬件控制向虚拟化、智能化方向演进,虚拟可编程逻辑控制器(vplc)应运而生。vplc通过将传统硬件plc的控制功能以软件形式运行在通用计算平台上,实现了控制逻辑与专用硬件的解耦,为工业机器人控制系统的灵活部署和动态重构提供了技术基础。与此同时,强化学习作为人工智能领域的重要分支,已在单机器人智能控制领域展现出良好的应用前景。然而,将强化学习应用于工业机器人集群控制时,仍面临多智能体协同决策的挑战。

2、针对上述协同控制挑战,现有工业机器人集群控制普遍采用集中式架构,即由一台中心控制器统一采集所有机器人的状态信息、集中计算控制指令并下发执行。在此基础上,部分研究已将强化学习引入该架构以提升系统智能化水平。同时,为克服集中式架构在扩展性方面的固有局限,已有部分研究开始探索分布式强化学习方法,通过将决策与学习过程分散到各机器人节点,以期实现多机器人的协同控制与自主决策,从而提升系统的计算并行性和容错能力。

3、尽管分布式强化学习在一定程度上缓解了集中式架构的压力,但现有分布式训练过程普遍未考虑工业机器人的实际物理约束(如关节角度限位、速度限位、力矩限位等),导致所生成的控制策略在真实设备执行时可能输出物理不可行的指令,轻则影响作业精度,重则引发设备过载或机械碰撞,造成严重的安全隐患。

技术实现思路

1、有鉴于此,本技术提供一种融合物理约束的vplc与多智能体强化学习的工业机器人集群控制方法及系统,以解决现有分布式强化学习方法在多机器人协同训练中未充分考虑设备物理约束,导致生成的控制策略在实际执行时可能出现关节超限、速度/力矩越界等物理不可行情况,甚至引发设备损坏的安全隐患的问题。

2、第一方面,本技术实施例提供了一种融合物理约束的vplc与多智能体强化学习的工业机器人集群控制方法,包括:

3、构建基于虚拟可编程逻辑控制器vplc的虚拟化控制层;

4、将所述虚拟化控制层中的vplc实例及其控制的物理工业机器人定义为智能体,分别为各智能体构建深度强化学习模型;

5、对所有深度强化学习模型进行集中训练,所述深度强化学习模型的损失函数用于约束策略网络输出的动作指令符合预设的机器人运动学限制和/或动力学限制;

6、各智能体依据局部观测信息,通过训练后的深度强化学习模型生成控制策略;

7、依据所述控制策略,通过对应的vplc实例向物理工业机器人下发控制指令。

8、在一种可能的实现方式中,对所有深度强化学习模型进行集中训练,所述深度强化学习模型的损失函数用于约束策略网络输出的动作指令符合预设的机器人运动学限制和/或动力学限制,包括:

9、利用全局状态信息对所述深度强化学习模型进行训练,以最大化预设的全局累计奖励为目标,优化各智能体的策略网络参数;

10、所述预设的全局累计奖励定义为所有智能体在完整任务周期内的折扣累积奖励之和;

11、所述损失函数包括用于约束所述动作指令满足关节角度范围限制和末端位姿可达空间限制的运动学约束惩罚项,用于约束所述动作指令满足关节速度限制、关节加速度限制和关节力矩限制的动力学约束惩罚项以及用于约束末端执行器处于预设的安全工作空间范围内的工作空间边界约束惩罚项。

12、在一种可能的实现方式中,在各智能体之间引入基于注意力机制的自适应通信,第一智能体对第二智能体发送的通信信息的关注权重按照以下公式计算:

13、

14、其中,和为隐藏状态向量,和为可学习的线性变换矩阵,为隐藏状态向量的维度;表示对第二个智能体所在维度进行softmax归一化操作;t为转置;

15、当关注权重大于或等于预设的通信阈值时,第一智能体接收并处理来自第二智能体的通信信息。

16、在一种可能的实现方式中,所述构建基于虚拟可编程逻辑控制器vplc的虚拟化控制层,包括:

17、将所述vplc实例部署于边缘计算节点,各vplc实例通过实时工业以太网协议与物理工业机器人建立确定性通信链路,并采集所述物理工业机器人的运行状态数据;

18、所述vplc实例通过部署于工作区域的视觉传感器和激光雷达传感器采集环境感知数据;

19、构建vplc实例与物理工业机器人的映射关系。

20、在一种可能的实现方式中,所述vplc实例与物理工业机器人的映射关系包括:

21、每个vplc实例对应控制一台物理工业机器人;或,

22、每个vplc实例对应控制多台物理工业机器人,该vplc实例被定义为一个多臂智能体;或,

23、多个vplc实例协同控制同一台物理工业机器人,该多个vplc实例被组合为一个逻辑智能体。

24、在一种可能的实现方式中,所述深度强化学习模型包括策略网络和价值网络,所述策略网络以智能体的局部观测信息为输入,输出该智能体各个动作指令的条件概率分布;所述价值网络以全局状态信息和所有智能体的联合动作为输入,输出状态-动作价值的估计值。

25、在一种可能的实现方式中,在对所有深度强化学习模型进行集中训练的过程中,各策略网络参数的更新采用策略梯度算法,其更新方向按照以下梯度公式确定:

26、

27、其中,表示策略网络参数的梯度;表示对采样轨迹求期望;表示策略网络在局部观测信息下选择动作指令的概率的对数对策略网络参数的梯度;为第个智能体的优势函数。

28、在一种可能的实现方式中,所述优势函数采用反事实基线方法进行计算:

29、

30、其中,为第个智能体在全局状态信息和联合动作下的价值;表示第个智能体在局部观测信息下,从其策略网络中选择动作指令;为第个智能体在全局状态信息和联合动作时的价值,表示将第个智能体的动作指令替换为,其他智能体的动作指令保持不变时的价值。

31、在一种可能的实现方式中,还包括:

32、采集工业机器人集群的运行状态反馈数据,构建状态转移经验数据并存储于经验回放缓冲区;

33、从所述经验回放缓冲区中采样经验数据,对各深度强化学习模型进行增量式训练,更新各策略网络的参数;

34、将更新后的参数经安全验证后同步部署至各vplc实例。

35、第二方面,本技术实施例提供了一种融合物理约束的vplc与多智能体强化学习的工业机器人集群控制系统,所述控制系统用于实现如第一方面所述的控制方法,包括:

36、虚拟化控制模块,部署于边缘计算节点,用于构建基于虚拟可编程逻辑控制器vplc的虚拟化控制层;

37、多智能体强化学习决策模块,包括集中训练单元和分布式推理单元,

38、所述集中训练单元用于将所述虚拟化控制层中的vplc实例及其控制的物理工业机器人定义为智能体,分别为各智能体构建包含有策略网络的深度强化学习模型;所述集中训练单元还用于对各智能体的深度强化学习模型进行集中训练,所述深度强化学习模型的损失函数用于约束策略网络输出的动作指令符合预设的机器人运动学限制和/或动力学限制;

39、所述分布式推理单元部署于各vplc实例中,用于使各智能体依据局部观测信息,通过训练后的深度强化学习模型生成控制策略;

40、执行模块,用于将所述控制策略通过对应的vplc实例转换为控制指令并下发执行。

41、本技术的有益效果如下所示:

42、1、本技术通过将虚拟可编程逻辑控制器技术与多智能体强化学习算法进行深度融合,构建了“云端集中训练、边缘分散执行”的分布式智能控制架构,实现了对工业机器人集群的高效协同控制。

43、2、本技术通过vplc实例的容器化部署和控制逻辑的软件定义,将传统依赖专用硬件的plc控制功能迁移至通用计算平台,实现了控制资源的按需分配、动态重构和灵活扩展,显著降低了工业机器人集群控制系统的部署成本和运维复杂度,同时提升了系统面对产线调整和工艺变更时的快速响应能力。

44、3、本技术通过引入多智能体强化学习算法,使每台工业机器人具备基于局部观测信息的自主决策能力,无需依赖中心控制器的统一调度即可实现集群协同作业,有效避免了传统集中式控制架构中存在的单点故障风险和通信瓶颈问题。

45、4、本技术通过在强化学习训练过程中嵌入物理信息正则化约束,使生成的协同控制策略自动满足工业机器人的运动学限制、动力学限制和工作空间边界约束,从算法层面保障了控制策略的物理可行性和执行安全性。

46、5、本技术通过基于注意力机制的自适应通信模块,使各智能体能够动态选择通信对象和通信内容,在保证协同效率的前提下大幅降低了多机器人之间的通信带宽消耗。

47、6、本技术通过构建经验回放与增量式训练的闭环优化机制,使控制系统能够在实际运行过程中持续利用新产生的运行数据进行策略迭代,不断提升控制性能,从而具备面向复杂动态工况的自适应优化能力。