一种基于多智能体强化学习的多机器人焊接协同规划方法与流程

摘要: 本发明属于工业机器人智能控制、多机器人协同规划和智能制造,具体涉及一种基于多智能体强化学习和图注意力网络的多机器人焊接任务分配与轨迹规划方法,尤其适用于白车身焊...
一种基于多智能体强化学习的多机器人焊接协同规划方法与流程

本发明属于工业机器人智能控制、多机器人协同规划和智能制造,具体涉及一种基于多智能体强化学习和图注意力网络的多机器人焊接任务分配与轨迹规划方法,尤其适用于白车身焊接工作站中多台工业机器人对多个焊点进行协同焊接时的任务分配、焊接顺序规划、轨迹生成、碰撞规避和工艺约束优化。

背景技术:

1、白车身焊接是汽车制造中的关键工序,通常由多台工业机器人在有限空间内协同完成数百甚至上千个焊点的作业。现有技术中,多机器人焊接系统的任务规划通常采用“先分配后规划”的两阶段解耦策略:首先利用遗传算法或蚁群算法将焊点分配给各机器人并确定焊接顺序,然后为每个机器人独立规划关节空间轨迹,最后通过设置干涉区和优先级规则进行避让协调。

2、现有技术的缺点:

3、全局最优性丧失:任务分配阶段未考虑机器人实际可达性、关节极限及动态避障需求,导致后续轨迹规划时频繁出现碰撞或不可达,迫使工程师手动调整任务分配,实际节拍远低于理论值。

4、集中式规划计算爆炸:多机器人联合c-空间维度随机器人数量线性增长,集中式轨迹规划算法(如rrt、prm)在高维空间中计算时间呈指数级增长,无法满足在线调度的实时性要求。

5、避障策略保守低效:传统基于优先级或速度缩放的多机避障方法,在检测到碰撞风险时简单降低某机器人速度或令其等待,导致并行效率严重下降。

6、轨迹质量与工艺脱节:现有轨迹规划多以时间或能量为单一目标,未充分考虑焊接工艺对末端稳定性、加加速度冲击的约束,影响焊接质量与设备寿命。

7、近年来,深度强化学习在机器人控制领域展现出巨大潜力,但现有研究多集中于单机器人运动规划或多智能体在虚拟环境中的简单任务。将强化学习直接应用于多机器人焊接轨迹规划,面临样本效率低、奖励函数难以设计、多机协同探索不稳定等挑战。因此,亟需一种能够融合焊接工艺知识、实现多机协同轨迹在线规划并保证全局近优性的强化学习框架。

技术实现思路

1、针对现有技术中多机器人焊接系统任务分配与轨迹规划解耦、集中式规划计算复杂度过高、避障策略保守低效以及缺乏工艺约束优化的问题,本发明提供一种基于多智能体强化学习的端到端轨迹规划与协同调度方法。该方法旨在实现以下目标:

2、将焊点分配、焊接顺序决策与关节轨迹生成整合为统一的马尔可夫决策过程,消除两阶段解耦带来的信息损失;

3、利用集中式训练与分布式执行框架,在离线训练阶段学习多机器人协同策略,在线运行时实现毫秒级轨迹生成与避障决策;

4、通过图注意力网络动态聚合邻近机器人状态,提高多机器人在有限空间内的避碰和协同能力;

5、在奖励函数中深度融合加加速度冲击代价、焊接工艺约束与并行效率激励,使规划结果同时满足“快、稳、准”的工程需求。

6、本发明为实现上述目的所采用的技术方案是:一种基于多智能体强化学习的多机器人焊接协同规划方法,包括以下步骤:

7、步骤s1、构建多机器人焊接数字孪生环境,包括多台机器人模型、以及包括焊点位置的待焊白车身工件模型;

8、步骤s2、建立多智能体强化学习模型,包括多台机器人分别对应的actor策略网络以及共享的集中式critic网络,并将gat作为actor的特征提取模块;通过多目标加权的全局奖励函数,使所有机器人共享同一全局奖励;构建全局状态st和第i台机器人的局部观测

o

i

t;

9、步骤s3、进行基于mappo的集中式训练;训练阶段中,集中式critic网络接收全局状态st和所有机器人的动作信息,以评估联合动作;

10、步骤s4、部署训练完成的actor策略网络,在线执行焊接协同控制,输出聚合后的邻居特征,与自身局部观测

o

i

t拼接后经全连接网络输出动作;

11、步骤s5、将第i台机器人对应的actor策略网络部署至第i台机器人的控制器,以控制各机器人依据本地观测独立生成控制指令。

12、步骤s1具体如下:

13、建立白车身焊接工作站的数字孪生环境,包括:

14、多台工业机器人模型,每台机器人的dh参数、关节角范围、最大关节速度、最大关节加速度、最大关节加加速度和末端工具参数;

15、待焊白车身工件模型,包括焊点集合p = {p1, p2, …, pn},其中,p表示焊点集合,pk表示第k个焊点,n表示焊点总数;每个焊点pk表示为:;其中,xk、yk、zk表示第k个焊点在工作站坐标系下的三维坐标,qk表示第k个焊点所需的末端姿态。

16、步骤s2中,所述构建全局状态st和第i台机器人的局部观测

o

i

t,具体如下:

17、将多机器人协同焊接任务建模为部分可观测随机博弈:

18、

19、其中,n表示机器人智能体集合,s为全局状态空间,供critic在训练阶段使用;

o

i表示第i台机器人的局部观测空间、第i台机器人的动作空间

a

i、状态转移函数

p

s、全局奖励函数r、奖励折扣因子γ。

20、在t时刻,全局状态st表示为:

21、

22、表示所有机器人的关节角度,表示第i台机器人在t时刻的关节角度,表示所有机器人在t时刻的关节角速度,表示所有机器人在t时刻的末端位姿,表示当前未分配焊点集合,表示已完成焊点集合,表示所有机器人的任务队列,表示机器人之间及机器人与障碍物之间的距离;

23、对于每台机器人,在t时刻第i台机器人的局部观测

o

i

t表示为:

24、

25、、、分别为第i个机器人可观测自身关节角度、角速度、末端位姿;、分别为第i个机器人自身任务队列中当前目标焊点位置、姿态;为通过激光测距获取的距离小于邻近阈值的机器人状态集合;

26、第i台机器人在t时刻的动作

a

i

t包括高层焊点选择输出层动作ai,th和低层关节控制输出层动作ai,tl:;其中,高层动作ai,th用于从未完成焊点集合

punt中选择目标焊点,该动作用于任务分配和顺序决策,表示为:;低层动作ai,tl用于输出机器人关节空间运动控制量,该动作用于轨迹生成与避障调整,表示为:

27、

28、其中,表示每台机器人的关节位置增量集合,m表示机器人关节数量。

29、低层动作经低通滤波器处理后作为期望速度输入机器人伺服系统;机器人关节位置更新为:,其中α为平滑系数;

30、步骤s2中,所述多目标加权的全局奖励函数具体如下:

31、

32、其中,、、、、均为权重;

33、进度激进项

r

progress:任一机器人完成一个焊点时给予奖励,距离目标焊点小于设定值时给予与距离负对数成正比的密集奖励;

34、

35、其中,

d

i表示第i台机器人末端与当前目标焊点之间的三维欧氏距离,为防止对数计算时出现零值的正常数,为焊点完成的指示函数,n表示机器人总数;

36、平滑性惩罚项

r

smooth:用于抑制关节运动冲击;

37、

38、其中,为系数,

jerk

i,

j表示第i台机器人第j个关节的角加加速度,m表示单台机器人的关节数;

39、碰撞约束项

r

collision:用于发生碰撞给予惩罚并终止当前回合;

40、工艺合规项

r

process:用于确保轨迹满足白车身焊接工艺的质量要求;

41、

42、为条件指示函数,条件成立时为1,否则为0;当末端姿态误差超过15°时-1,落枪速度超过20mm/s时-5;表示第i台机器人末端焊枪轴线与当前焊点法向量的空间夹角,表示第i台机器人在焊枪接触阶段的末端线速度;

43、负载均衡项

r

load:用于均衡各机器人分配到的焊点数量;

44、

45、其中,

β2为负载均衡权重系数;通过计算每台机器人当前已完成焊点数与所有机器人已完成焊点数的算术平均值的总体方差,以确定惩罚大小。

46、

47、步骤s3具体如下:

48、训练阶段,每个机器人具有对应的actor策略网络和共享的critic评价网络,其中,actor策略网络输出actor策略,以表征第i台机器人在局部观测

o

i

t下输出动作

a

i

t;共享critic对全局状态

s

t的价值估计表征为;

49、在策略更新过程中,采用近端策略优化的裁剪目标函数:

50、

51、其中,

lclip(θ)表示裁剪策略优化目标函数;

et表示对采样时间步求期望;

ρt(θ)表示新旧策略概率比;

at表示优势函数;

ε表示裁剪系数,表示裁剪函数;策略概率比为当前策略与旧策略的比值;

52、优势函数

at采用广义优势估计:

53、

54、

55、其中,

l表示未来时间步偏移量,

γ表示折扣因子;

λ表示广义优势估计参数;

δ

t表示时序差分误差,表示时刻t+l的时序差分误差,表示t时刻的全局奖励;

56、训练时,每个机器人根据局部观测决策,共享的critic评估联合动作的优劣;为每个机器人计算边际贡献:

57、

58、其中,s、a分别为全局状态和全部机器人构成的联合动作,

q(s,a)为在状态s下执行联合动作a的动作价值,由集中式critic估计;为期望算子,表示对第i个机器人动作进行边缘化期望计算,、分别表示反事实动作采样和第i个机器人策略,表示第i台机器人换成平均水平时的总收益,、分别表示除第i台机器人外其余机器人的动作集合和第i台机器人可选的替代动作。

59、步骤s4具体如下:

60、在actor网络中嵌入图注意力网络模块,将各机器人视为图中的节点,第i个节点特征

hi包括:关节角度、末端位置、当前任务焊点坐标、已完成焊点数;当两个机器人的欧氏距离小于阈值时,建立边连接;

61、图注意力网络模块包括至少一层图注意力层,所述图注意力层用于计算目标节点对各邻居节点的注意力权重,并根据所述注意力权重聚合邻居节点特征,使每个机器人的策略能够自适应地关注最近且碰撞风险最高的邻居;gat输出聚合后的邻居特征,与自身观测拼接后输入actor网络内的全连接网络输出动作。

62、步骤s5具体如下:

63、训练完成后,将每台机器人对应的actor网络部署到机器人控制器;

64、在在线执行阶段,第i台机器人周期性获取局部观测

oit及图注意力网络gat输出

hit,并计算动作:

65、

66、其中,表示第i台机器人的actor策略网络;

67、低层关节控制输出层动作作为输出动作经平滑滤波器和安全约束后得到最终控制指令:;

68、当检测到机器人与机器人、或机器人与障碍物之间的距离小于紧急停止阈值时,触发安全停止或重新规划动作。

69、一种基于多智能体强化学习的多机器人焊接协同规划方法,还包括步骤s6、针对不同车型,构建迁移学习机制,具体如下:

70、获取新车型白车身焊点集合,焊点集合表示为,其中,m表示新车型焊点数量;

71、将所述新车型的焊点集合输入任务嵌入层,用于将数量可变、空间分布不同的焊点集合编码为固定维度的任务特征向量;

72、冻结已训练actor网络中的节点特征编码模块、图注意力网络模块及前两层全连接隐藏层的网络参数;利用新车型的焊点集合及对应的焊接任务训练数据,调节所述任务嵌入层、高层焊点选择输出层和低层关节控制输出层的网络参数,将任务特征向量、节点特征编码模块的输出、图注意力网络模块的输出进行拼接,使高层焊点选择输出层输出新车型的目标焊点选择动作,使低层关节控制输出层输出与所选目标焊点对应的关节控制增量;

73、将调节后的actor网络部署至对应机器人控制器,以执行新车型白车身的协同焊接作业。

74、一种基于多智能体强化学习的多机器人焊接协同规划系统,包括:

75、数字孪生构建模块,用于构建多机器人焊接数字孪生环境,包括多台机器人模型、以及包括焊点位置的待焊白车身工件模型;

76、智能体模型构建模块,用于建立多智能体强化学习模型,包括多台机器人分别对应的actor策略网络以及共享的集中式critic网络,并将gat作为actor的特征提取模块;通过多目标加权的全局奖励函数,使所有机器人共享同一全局奖励;构建全局状态st和第i台机器人的局部观测

o

i

t;

77、模型训练模块,用于进行基于mappo的集中式训练;训练阶段中,集中式critic网络接收全局状态st和所有机器人的动作信息,以评估联合动作;

78、模型部署模块,用于部署训练完成的actor策略网络,在线执行焊接协同控制,输出聚合后的邻居特征,与自身局部观测

o

i

t拼接后经全连接网络输出动作;

79、本地控制模块,用于通过将第i台机器人对应的actor策略网络部署至第i台机器人的控制器,以控制各机器人依据本地观测独立生成控制指令。

80、本发明具有以下有益效果及优点:

81、1、端到端的任务与轨迹联合优化:区别于现有两阶段方法,本发明利用多智能体强化学习直接将焊点分配、顺序规划与关节运动生成融合于一个决策框架中,解决了分配最优、执行最慢的困境。

82、2、多目标奖励函数嵌入加加速度抑制与工艺约束:在奖励函数中引入关节加加速度惩罚、末端姿态误差惩罚和落枪速度惩罚,使机器人轨迹规划结果不仅满足到达目标要求,并且满足焊接工艺稳定性要求。

83、3、图注意力增强的多机协同感知:通过图神经网络隐式建模机器人间的相互影响,避免显式碰撞检测带来的计算负担,实现隐式避障,并行效率提升显著。

84、4、集中式训练与分布式执行架构:训练时利用全局信息学习协同策略,执行时仅依赖局部观测,满足实时性要求。

85、5、效率提升:仿真实验表明,在4机器人、268焊点的白车身焊接场景中,本发明方法相比传统“遗传算法任务分配+s形速度轨迹+优先级避让”方案,总完工时间平均缩短23.6%(详见附图4)。

86、6、平滑性与寿命:关节加加速度峰值降低41.2%,有效减少减速机磨损(见附图5:各关节加加速度对比曲线)。

87、7、焊接质量改善:末端姿态误差超出工艺阈值的事件减少67%,落枪接触速度超限事件降为零(见附图6:落枪阶段速度分布箱线图)。

88、8、泛化能力:在未训练的新车型上,经过200个训练回合微调,焊点完成率达到95%,优于重新训练(约800 训练回合)。