基于知识增强分层强化学习的多螺栓装配控制方法及装置

摘要: 本发明涉及机器人智能控制与工业自动化装配,具体涉及一种基于知识增强分层强化学习的多螺栓装配控制方法及装置。背景技术:1、在机器人多螺栓法兰盘装配任务中,由于法兰...
基于知识增强分层强化学习的多螺栓装配控制方法及装置

本发明涉及机器人智能控制与工业自动化装配,具体涉及一种基于知识增强分层强化学习的多螺栓装配控制方法及装置。

背景技术:

1、在机器人多螺栓法兰盘装配任务中,由于法兰盘及多个螺栓之间存在弹性相互作用,某一螺栓紧固后会改变已紧固螺栓的受力状态,引起预紧力重新分配。该过程本质上是一个包含离散螺栓顺序选择与连续接触力调节两类决策变量的长时序复合动作决策问题,且表现出奖励反馈稀疏的特性。现有强化学习方法在处理此类问题时,往往面临训练初期盲目探索空间大、收敛困难的瓶颈;而引入固定专家规则虽能加速早期训练,但过强的规则约束容易在训练后期压缩智能体探索更优策略的空间,导致策略收敛于次优解。因此,亟需一种既能利用先验知识提升早期训练效率,又能自适应释放约束以保障后期策略优化能力的控制方法。

技术实现思路

1、本发明的目的在于提供一种基于知识增强分层强化学习的多螺栓装配控制方法及装置。本发明有效压缩了训练初期的探索空间,并在后期自适应释放约束,提升了装配效率与鲁棒性。

2、为实现上述目的,本发明采用如下技术方案:一种基于知识增强分层强化学习的多螺栓装配控制方法,包括:

3、步骤1、获取机器人多螺栓装配过程中的当前状态数据;

4、步骤2、将所述当前状态数据输入至分层策略模型,输出复合动作以控制机器人执行装配操作;所述复合动作包括离散选择动作和连续控制动作,所述分层策略模型包括输出离散选择动作的第一策略模型和输出连续控制动作的第二策略模型;

5、步骤3、在所述分层策略模型的训练阶段,基于所述当前状态数据生成与所述离散选择动作匹配的第一先验动作,以及与所述连续控制动作匹配的第二先验动作;其中,所述第一先验动作的生成是根据对角线交替紧固与行星式轮换紧固原则构建配对映射函数,结合当前步骤与上一步骤已选择的螺栓状态,从候选螺栓集合中排除已选择状态并随机选取一个动作,作为所述第一先验动作;所述第二先验动作的生成是采用三角形隶属函数与梯形隶属函数分别对轴向接触力与轴向紧固扭矩进行模糊化建模,得到对应评价等级的隶属度;将所述隶属度截断至预设区间以构建基本概率分配函数,并通过证据组合规则对多通道证据进行归一化融合;选取融合后基本概率分配值最大的所述评价等级所对应的参考力值,作为第二先验动作;

6、步骤4、基于训练过程中的损失统计量,在知识主导模式和探索主导模式之间自适应切换,以更新所述分层策略模型的参数;其中,所述自适应切换包括:

7、计算历史窗口内的第一损失均值、当前窗口内的第二损失均值以及当前窗口内的损失标准差;

8、当所述第二损失均值与第一损失均值的比值小于第一预设阈值,且所述损失标准差小于第二预设阈值时,将训练模式从知识主导模式切换至探索主导模式。

9、上述的基于知识增强分层强化学习的多螺栓装配控制方法,在所述知识主导模式下,采用监督学习损失函数更新所述第一策略模型,并采用均方误差损失函数更新所述第二策略模型;

10、在所述探索主导模式下,采用强化学习时序差分损失函数更新所述第一策略模型,并采用融合强化学习目标与知识引导软约束的损失函数更新所述第二策略模型;

11、其中,所述知识引导软约束基于所述第二策略模型输出的所述连续控制动作与所述第二先验动作之间的差异乘以知识约束权重系数确定。

12、前述的基于知识增强分层强化学习的多螺栓装配控制方法,所述当前状态数据包括各螺栓位置的实时紧固扭矩、实时接触力以及表征当前紧固阶段与装配进度的离散状态编码;

13、所述离散选择动作对应于目标紧固螺栓的离散选择,所述连续控制动作对应于阻抗力控制器输出的连续期望力值。

14、前述的基于知识增强分层强化学习的多螺栓装配控制方法,所述第二策略模型采用演员-评论家结构,其中:

15、演员-评论家结构中的演员网络以所述第一策略模型输出的离散选择动作与当前状态数据的拼接向量作为输入,输出连续期望力值;

16、演员-评论家结构中的评论家网络采用双q网络结构,以所述当前状态数据和复合动作作为输入,输出状态-动作价值估计,用于对演员网络进行策略梯度更新。

17、前述的基于知识增强分层强化学习的多螺栓装配控制方法,在所述训练阶段,采用软更新方式同步所述第一策略模型、演员网络以及评论家网络对应的目标网络参数;

18、所述软更新方式通过指数形式的线性插值,使所述目标网络参数向当前网络参数逼近。

19、一种基于知识增强分层强化学习的多螺栓装配控制装置,所述装置包括:

20、状态获取模块,用于获取机器人多螺栓装配过程中的当前状态数据;

21、动作输出模块,用于将所述当前状态数据输入至分层策略模型,输出复合动作以控制机器人执行装配操作;所述复合动作包括离散选择动作和连续控制动作,所述分层策略模型包括输出离散选择动作的第一策略模型和输出连续控制动作的第二策略模型;

22、先验生成模块,用于在所述分层策略模型的训练阶段,基于所述当前状态数据生成与所述离散选择动作匹配的第一先验动作,以及与所述连续控制动作匹配的第二先验动作;

23、自适应训练模块,用于基于训练过程中的损失统计量,在知识主导模式和探索主导模式之间自适应切换,以更新所述分层策略模型的参数。

24、一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现前述的基于知识增强分层强化学习的多螺栓装配控制方法。

25、与现有技术相比,本发明通过将长时序复合动作空间解耦为离散选择与连续控制两个层级,并在训练阶段分别向两个层级注入与其决策含义相匹配的先验知识,有效压缩了训练初期的盲目探索空间,提升了策略学习的起始点质量;同时,通过监测训练过程中的损失统计量,在知识主导模式与探索主导模式之间进行自适应切换,使得策略在训练早期能够充分依赖先验知识快速收敛,而在训练后期能够自动释放规则约束,避免因固定先验知识的局限性而阻碍策略向全局最优方向演化,从而在保证训练效率的同时提升了装配成功率与环境鲁棒性。

1.一种基于知识增强分层强化学习的多螺栓装配控制方法,其特征在于,包括:

2.根据权利要求1所述的基于知识增强分层强化学习的多螺栓装配控制方法,其特征在于,在所述知识主导模式下,采用监督学习损失函数更新所述第一策略模型,并采用均方误差损失函数更新所述第二策略模型;

3.根据权利要求1所述的基于知识增强分层强化学习的多螺栓装配控制方法,其特征在于,所述当前状态数据包括各螺栓位置的实时紧固扭矩、实时接触力以及表征当前紧固阶段与装配进度的离散状态编码;

4.根据权利要求3所述的基于知识增强分层强化学习的多螺栓装配控制方法,其特征在于,所述第二策略模型采用演员-评论家结构,其中:

5.根据权利要求4所述的基于知识增强分层强化学习的多螺栓装配控制方法,其特征在于,在所述训练阶段,采用软更新方式同步所述第一策略模型、演员网络以及评论家网络对应的目标网络参数;

6.一种基于知识增强分层强化学习的多螺栓装配控制装置,其特征在于,所述装置包括:

7.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的基于知识增强分层强化学习的多螺栓装配控制方法。