基于分阶段技能库的机器人异形零部件装配方法及系统
本发明属于机器人异形零部件装配领域,具体涉及一种基于分阶段技能库的机器人异形零部件装配方法及系统。
背景技术:
1、在3c产品精密装配领域,异形零部件种类繁多、结构不规则且换型频繁,传统依赖固定程序与专用夹具的自动化方案难以适应多品种、小批量的柔性生产需求;同时,来料公差、定位误差与零部件柔性变形导致几何偏差与接触状态高度多样化,机器人无法依赖精确模型预判所有工况,装配过程极易产生过大接触力而损伤工件。此外,装配并非单一静态操作,而是包含搜索、对准、插入、紧固等多个动态演化阶段,各阶段接触力学特性迥异,传统方法往往割裂处理,未能充分利用时序信息中蕴含的阶段转换趋势与接触状态演进模式,致使策略网络训练样本效率低下、收敛缓慢,且泛化能力严重不足。
技术实现思路
1、为了解决现有技术存在的技术问题,本发明提出了一种基于分阶段装配技能库的机器人自主装配方法及系统;该方法面向种类多样的异形零部件装配任务,通过构建面向不同阶段特性的模型,依据当前阶段与环境交互状态,动态选择与匹配库中最优的模型组合,灵活应对几何偏差与接触状态的多样性;同时进一步将装配过程中富含动态演化特征的时序信息引入网络训练,使策略网络能够捕捉装配阶段的转换趋势与接触状态的演进模式,加快了训练收敛速度。
2、为了实现上述目的,本发明采用的技术方案如下:
3、第一方面,本发明提出了一种基于分阶段技能库的机器人异形零部件装配方法,包括以下步骤:
4、步骤1 获取机械臂的状态,所述机械臂的状态包括机械臂末端携带装配轴的位置和姿态、接触力和力矩、当前时刻的装配步数;
5、步骤2、根据获取机械臂的状态判断当前机械臂处于的装配阶段,所述的装配阶段包括接近、搜索、插入和卡阻四个阶段,四个阶段对应四个不同的技能库;
6、步骤3、调用所处阶段对应的技能库模型,将获取的机械臂的输入至对应的技能库模型,
7、然后经过ppo算法处理后,输出机械臂动作;
8、步骤4获取外部的接触力,经过pi控制算法处理后,输出机械臂动作;
9、步骤5将和相加得到机械臂实际执行的动作。
10、作为进一步的技术方案,所述的ppo算法的具体控制过程如下:
11、步骤3-1初始化策略网络参数和价值网络参数;使用当前策略与环境交互,采集n条轨迹数据;其中,为t时刻的机械臂的状态;为ppo算法的输出动作;为当前t时刻的奖励函数;为t+1时刻的机械臂的状态;
12、步骤3-2计算每一步的优势函数估计值;
13、步骤3-3对采集的轨迹数据进行轮小批量更新,每轮从n条轨迹数据h中随机采样个样本,计算新旧策略的比率;
14、步骤3-4计算策略网络的目标函数和价值网络损失函数;
15、步骤3-5计算总损失函数;
16、步骤3-6采用梯度下降法更新策略网络参数和价值网络参数;
17、步骤3-7重复步骤3-1至步骤3-6,直至策略收敛,输出。
18、作为进一步的技术方案,计算每一步的优势函数估计值的过程如下:
19、定义时序差分残差:
20、
21、其中,为当前t时刻的奖励函数,为折扣因子,为价值网络对状态的价值估计;为价值网络对状态的价值估计;
22、优势函数估计值表示为:
23、
24、其中,,用于平衡偏差与方差,为时刻的时序差分残差;优势函数表示在状态下执行动作相对于平均策略的优劣程度:正优势值表示该动作优于平均水平,应增强其被选择的概率;负优势值表示该动作劣于平均水平,应降低其被选择的概率。
25、作为进一步的技术方案,所述新旧策略的比率:
26、
27、其中,为当前策略,为采样轨迹时所使用的旧策略;
28、作为进一步的技术方案,所述的策略网络的目标函数如下:
29、
30、其中,为裁剪超参数,将策略比率限制在区间内。该目标函数通过对进行裁剪,当超出区间时,裁剪后的目标函数值将不再随的增加而增加(对于正优势)或减少而减少(对于负优势),从而限制了策略更新的幅度。
31、作为进一步的技术方案,所述的价值网络损失函数如下:
32、
33、其中,为折扣累积奖励的真实值。
34、作为进一步的技术方案,所述的总损失函数:
35、
36、其中,为策略熵奖励,用于鼓励探索、防止策略过早收敛到局部最优;和为权重系数。
37、作为进一步的技术方案,采用梯度下降法更新策略网络参数和价值网络参数的具体方法如下:
38、
39、作为进一步的技术方案,力控制器的增益根据当前装配阶段和接触条件进行动态调整;自适应增益调整机制描述如下:
40、
41、其中,和为基准增益,为依赖于当前装配阶段和接触力幅值的自适应放缩函数:
42、
43、其中,为当前接触力,为最大接触力,表示接近阶段应的系数;表示搜索阶段应的系数;表示插入阶段应的系数;表示卡阻阶段应的系数;表示接触力的放缩系数。
44、第二方面,本发明还提供了一种基于分阶段技能库的机器人异形零部件装配系统,包括:
45、第一模块,被配置为获取机械臂的状态,所述机械臂的状态包括机械臂末端携带装配轴的位置和姿态、接触力和力矩、当前时刻的装配步数;
46、第二模块,被配置为根据获取机械臂的状态,判断当前机械臂处于的装配阶段,所述的装配阶段包括接近、搜索、插入和卡阻四个阶段;四个阶段对应四个不同的技能库;
47、第三模块,被配置为调用所处阶段对应的技能库模型,将获取的机械臂的输入至对应的技能库模型;然后经过ppo算法处理后,输出机械臂动作;
48、第四模块,被配置为获取外部的接触力,经过pi控制算法处理后,输出动作;
49、第五模块,被配置为将和相加得到机械臂实际执行的动作。
50、第三方面,本发明提供了一种电子设备,所述电子设备包括:处理器以及存储器;
51、所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
52、所述处理器用于根据所述程序代码中的指令执行所述的一种基于分阶段技能库的机器人异形零部件装配方法的步骤。
53、第四方面,本发明提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被执行时实现所述的基于分阶段技能库的机器人异形零部件装配方法。
54、第五方面,本发明还提供了一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,其中,当所述程序指令被计算机执行时,使所述计算机执行所述的基于分阶段技能库的机器人异形零部件装配方法。
55、本发明的有益效果如下;
56、(1)本发明将机械臂处于的装配阶段分成了四个不同的阶段,然后依据当前阶段与环境交互状态,动态选择对应的阶段的模型,相比只学习一个模型,能够提升对各个阶段装配任务的执行效果,单一模型容易对各个阶段任务的学习产生混淆等;同时将ppo算法与基于外部接触力大小的自适应力控制策略进行组合,能够根据接触力自适应地调节装配动作,避免在装配过程中产生较大的接触力,减少对装配零部件的损害,且可以显著提升复杂接触工况下的装配柔顺性与可靠性。
57、(2)将装配过程中富含动态演化特征的时序信息引入网络训练,使策略网络能够捕捉装配阶段的转换趋势与接触状态的演进模式,加快了训练收敛速度。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com