基于多模态大模型与强化学习的机械臂自适应抓取系统的制作方法

摘要: 本技术涉及机械臂控制的领域,尤其是涉及一种基于多模态大模型与强化学习的机械臂自适应抓取系统。背景技术:1、机械臂作为核心执行部件,广泛应用于工业生产、物流分拣与...
基于多模态大模型与强化学习的机械臂自适应抓取系统的制作方法

本技术涉及机械臂控制的领域,尤其是涉及一种基于多模态大模型与强化学习的机械臂自适应抓取系统。

背景技术:

1、机械臂作为核心执行部件,广泛应用于工业生产、物流分拣与家庭服务等领域,抓取动作是其核心功能之一,抓取性能直接决定机械臂的工作效率与适用范围。随着柔性生产与服务场景的扩展,待抓物体在尺寸、形状与材质上的多样性显著上升,不规则工业零件、易碎食品等异形、易损物体的抓取需求日益普遍。

2、异形、易损物体对抓取控制提出更高要求,既需要在物体特征频繁变化时无需人工重新配置即可适配,又需要在抓取过程中合理控制力度与轨迹以避免物体破损,同时还需理解操作者给出的抓取要求并规避场景中的障碍物。抓取成功率与物体完好率成为衡量机械臂能否胜任此类场景的关键指标。

3、现有机械臂的抓取控制大多依赖预编程,针对特定尺寸、形状的物体提前写死抓取程序与控制参数,一旦物体特征变化或场景出现障碍便须重新编程并调试参数,对不同物体的适配性极差;部分方案改用单一视觉模型或单一奖励的强化学习实现抓取控制,然而单一视觉模型仅解析图像、无法结合抓取指令与材质等非视觉信息,单一奖励的强化学习既缺乏历史经验支撑而每次近乎从零训练,又难以在抓取精度与物体保护之间取得平衡。

4、上述方案的共同症结在于缺乏一种能够按物体相似度复用既往抓取经验、并在缺乏可用经验时安全兜底的自适应决策机制,因为既往经验无法随物体差异被有选择地迁移,所以面对异形、易损物体时往往因经验不匹配而适配缓慢,又因感知或奖励信息单一而难以判定恰当的抓取力度,进而在抓取过程中过力捏坏物体或抓取不稳,使异形、易损物体的抓取成功率与完好率难以同时得到保证。

技术实现思路

1、为了在物体特征频繁变化时既能按物体相似度复用既往抓取经验、又能在缺乏可用经验时安全兜底,从而提升异形、易损物体的抓取成功率与完好率,本技术提供一种基于多模态大模型与强化学习的机械臂自适应抓取系统。

2、第一方面,本技术提供的一种基于多模态大模型与强化学习的机械臂自适应抓取系统,采用如下的技术方案:

3、一种基于多模态大模型与强化学习的机械臂自适应抓取系统,包括:

4、多模态感知模块,被配置成采集抓取场景的多模态感知数据,并对多模态感知数据进行标准化预处理后输出;

5、多模态大模型处理模块,被配置成对预处理后的多模态感知数据进行解析,输出目标物体的特征参数和抓取建议;

6、强化学习决策模块,被配置成以目标物体的特征参数构成特征向量,以特征向量为索引按相似度对经验池中存储的历史抓取数据进行加权检索;响应于相似度不低于预设相似度阈值,根据检索得到的历史抓取参考参数和多奖励函数优化,输出抓取控制参数;响应于相似度低于预设相似度阈值,按预设的保守抓取参数输出抓取控制参数,并将本次抓取的结果写入经验池;

7、机械臂执行控制模块,被配置成将抓取控制参数转化为机械臂的关节执行指令,以驱动机械臂执行抓取动作,并采集抓取过程中的运行状态数据;

8、反馈优化模块,被配置成根据运行状态数据和抓取后目标物体的状态数据对抓取控制参数进行迭代优化,并将优化结果反馈至强化学习决策模块以构成闭环控制。

9、通过采用上述技术方案,将既往抓取经验以目标物体的特征向量为索引按相似度组织复用,使得面对与历史物体相近的新物体时能够借助检索得到的历史抓取参考参数快速输出抓取控制参数,无需对每类物体重新训练;在相似度低于阈值即缺乏可用经验时,转而按保守抓取参数输出并将本次结果写入经验池,使得系统面对全新物体时以低风险方式完成抓取并沉淀经验,既不因经验缺失而过力损坏物体,又使经验随使用不断扩充;多奖励函数与闭环反馈进一步在抓取精度与物体保护之间持续校正,使异形、易损物体的抓取成功率与完好率同时提升。

10、可选的,目标物体的特征参数包括目标物体的材质类别,特征向量包含材质类别,强化学习决策模块按视觉几何特征与材质类别两个维度对历史抓取数据进行相似度的加权检索。

11、通过采用上述技术方案,将材质类别纳入检索索引,使得经验复用不仅依据视觉几何相似、还区分材质差异,提升对外观相近但材质不同物体的抓取参数匹配准确性。

12、可选的,强化学习决策模块还被配置成对经验池中存储的历史抓取数据按抓取成败与抓取稳定状态进行质量加权,并淘汰存储时长超过预设时长或质量低于预设质量阈值的历史抓取数据。

13、通过采用上述技术方案,对经验池按质量加权并淘汰过时或低质数据,使得后续相似度检索更多依据高质量经验,避免新写入的次优数据拖累参数复用的可靠性。

14、可选的,多模态大模型处理模块还被配置成对多模态感知数据中各模态的解析结果分别赋予置信度并按置信度加权融合,且响应于各模态的解析结果之间存在冲突,将各模态对应的抓取建议中使目标物体受损风险最低者确定为抓取建议。

15、通过采用上述技术方案,在各模态判定冲突时取受损风险最低的抓取建议,使得系统在图像、指令与材质信息相互矛盾时偏向保护物体,降低误判导致的破损。

16、可选的,多奖励函数包括历史抓取经验奖励、目标定位精度奖励和障碍物规避奖励,历史抓取经验奖励基于历史抓取参考参数确定,目标定位精度奖励基于机械臂的末端与目标抓取位置之间的偏差确定,障碍物规避奖励基于机械臂与障碍物之间的距离确定。

17、通过采用上述技术方案,以历史经验、定位精度与避障三类奖励共同约束决策,使得抓取参数在借鉴经验的同时兼顾定位准确与轨迹安全。

18、可选的,经验池被配置成存储历史抓取数据以及与历史抓取数据对应的奖励值,历史抓取经验奖励基于经验池中的历史抓取数据及对应的奖励值确定。

19、通过采用上述技术方案,将历史抓取数据与其奖励值成对存储,为历史抓取经验奖励提供可追溯的计算依据,使经验复用建立在量化反馈之上。

20、可选的,多模态大模型处理模块包括视觉-语言多模态大模型,视觉-语言多模态大模型被配置成对预处理后的多模态感知数据依次进行场景解析、目标定位和抓取可行性判断,目标物体的特征参数还包括目标物体的尺寸、形状和位置,抓取建议包括抓取优先级和抓取部位。

21、通过采用上述技术方案,以视觉-语言多模态大模型联合解析图像与指令,使得系统在定位物体的同时理解抓取要求并判断可行性,为决策提供结构化的特征与抓取建议。

22、可选的,多模态感知模块包括视觉采集单元、文本输入单元和触感预采集单元,视觉采集单元被配置成采集抓取场景的图像信息,文本输入单元被配置成接收抓取指令信息,触感预采集单元被配置成提供目标物体的触感参数,标准化预处理包括对图像信息、抓取指令信息和触感参数依次进行降噪、格式统一和归一化处理。

23、通过采用上述技术方案,以三路采集与统一预处理引入图像、指令与触感信息,使得后续解析能够结合视觉之外的指令与材质信息,弥补单一视觉感知的不足。

24、可选的,机械臂执行控制模块还被配置成通过标准化数据接口将抓取控制参数转化为机械臂的关节执行指令,抓取控制参数包括抓取力度、抓取速度和抓取轨迹,关节执行指令包括关节转动角度和关节运动速度。

25、通过采用上述技术方案,经标准化接口将抓取力度、速度与轨迹转化为关节角度与速度指令,使得决策结果可落地为具体关节动作,并便于适配不同机械臂。

26、可选的,运行状态数据包括抓取力度反馈和轨迹偏差反馈,抓取后目标物体的状态数据包括目标物体的破损状态和抓取稳定状态,反馈优化模块还被配置成根据抓取力度反馈、轨迹偏差反馈、破损状态和抓取稳定状态计算奖励值,并将奖励值反馈至强化学习决策模块。

27、通过采用上述技术方案,将力度、轨迹偏差与抓取后物体状态共同折算为奖励值回传,使得闭环优化既参考过程数据又参考抓取结果,持续修正后续抓取。

28、可选的,视觉采集单元还包括深度相机,深度相机被配置成采集目标物体的三维轮廓数据,多模态大模型处理模块还被配置成根据三维轮廓数据输出目标物体的三维轮廓参数。

29、通过采用上述技术方案,引入深度相机补充三维轮廓,使得对不规则异形物体的轮廓与抓取部位判断更充分。

30、可选的,触感预采集单元预存储多种材质各自的硬度与表面粗糙度,并按目标物体的材质类别调取对应的触感参数。

31、通过采用上述技术方案,按材质调取预存的硬度与粗糙度,使得不同材质物体获得与其触感匹配的抓取参考。

32、可选的,视觉-语言多模态大模型采用混合专家架构。

33、通过采用上述技术方案,以混合专家架构承载多模态解析,使得模型在不同输入特征下调用相应专家,兼顾解析能力与推理开销。

34、可选的,系统各模块之间通过标准化数据接口进行数据交互,机械臂执行控制模块的指令输出格式根据机械臂的型号进行配置。

35、通过采用上述技术方案,以统一接口与按型号配置的输出格式,使得系统更换机械臂时仅调整执行端格式即可对接,降低迁移成本。

36、可选的,机械臂执行控制模块还被配置成在抓取动作执行过程中、于抓取动作完成之前,实时根据抓取力度反馈与轨迹偏差反馈识别滑移或轨迹偏离,并响应于识别到滑移或轨迹偏离触发急停或重新抓取。

37、通过采用上述技术方案,在抓取完成之前实时识别滑移与轨迹偏离并急停或重抓,使得过程中异常得以及时止损,而非抓取失败后才发现。

38、可选的,响应于各模态的解析结果之间存在冲突且相似度低于预设相似度阈值同时发生,强化学习决策模块按使目标物体受损风险最低的原则输出抓取控制参数。

39、通过采用上述技术方案,在模态冲突与经验缺失这一最不利情形下叠加保守处置,使得系统对最难判定的物体仍优先保护物体。

40、可选的,多模态大模型处理模块还被配置成响应于图像信息的质量低于预设图像质量阈值,提高触感参数、历史抓取数据与抓取指令信息在加权融合中的权重。

41、通过采用上述技术方案,在视觉质量下降时提高非视觉信息的融合权重,使得遮挡或光照不佳时系统仍能依据触感、经验与指令完成抓取。

42、可选的,视觉-语言多模态大模型的场景解析以第一频率执行,反馈优化模块对抓取控制参数的微调以高于第一频率的第二频率执行。

43、通过采用上述技术方案,以低频运行场景解析、高频运行参数微调,使得重负载的多模态解析不必每周期重算,兼顾理解能力与控制实时性。

44、可选的,强化学习决策模块还被配置成根据抓取场景的障碍物分布动态调整历史抓取经验奖励、目标定位精度奖励和障碍物规避奖励三者的权重,且三者权重之和为预设常数。

45、通过采用上述技术方案,按障碍物分布动态调整三类奖励权重,使得密集障碍场景偏重避障、开阔精密场景偏重定位精度。

46、综上所述,本技术包括以下至少一种有益技术效果:

47、1、本技术以目标物体的特征向量按相似度复用既往抓取经验、并在缺乏可用经验时按保守参数兜底并沉淀新经验,无需对每类物体重新训练即可适配不同尺寸、形状的物体,使异形、易损物体在适配速度与抓取安全之间得到兼顾,降低破损率并提升抓取成功率。

48、2、本技术通过将材质类别纳入经验检索索引、对经验池按质量加权并淘汰低质数据、以及在多模态判定冲突时取受损风险最低的抓取建议,使经验复用更准确、更可靠,并在感知信息相互矛盾时偏向保护物体。

49、3、本技术通过在抓取完成之前实时识别滑移与轨迹偏离并止损、在模态冲突与经验缺失同时发生时叠加保守处置、以及在视觉质量下降时提高非视觉信息融合权重,进一步增强系统在异常与退化工况下的抓取稳定性。