一种基于端到端大模型的上料方法与流程

摘要: 本发明属于物料上料,尤其涉及一种基于端到端大模型的上料方法。背景技术:1、在面向物料加工的自动化流水线生产体系中,机器人能够应对任意排列、姿态不一的无序上料是实...
一种基于端到端大模型的上料方法与流程

本发明属于物料上料,尤其涉及一种基于端到端大模型的上料方法。

背景技术:

1、在面向物料加工的自动化流水线生产体系中,机器人能够应对任意排列、姿态不一的无序上料是实现产线全过程无人化、智能化操作的核心环节与关键技术。目前单纯依赖视觉引导的机器人抓取方案在实际应用中面临显著的性能瓶颈与功能缺陷,具体体现为以下四大方面:首先,仅使用视觉传感存在不可避免的感知局限性:常见的双目立体视觉系统仅能够获取物料表面的三维几何轮廓与位置信息,而无法检测到夹持接触过程中物料内部的受力状态与应力分布;由于缺乏力觉反馈,夹持气缸通常采用预设的固定力度进行抓取,极易因力度过大而导致物料被过度挤压甚至损坏,或因为夹持力不足而出现滑脱。其次,视觉定位过程呈现静态化特征且缺少实时动态补偿机制:视觉相机在完成单次成像并规划出初始夹持姿态后,往往缺乏对后续操作的持续跟踪与动态修正;一旦物料因自身特性发生轻微形变,或在视觉定位环节出现微小偏差,系统无法实时调整夹持气缸的姿态与运动轨迹,从而导致整体抓取成功率显著降低。再者,系统因缺乏接触力反馈而易在操作中扰动堆叠物料:在整个抓取过程中,由于没有集成实时的接触力检测与感知模块,当夹持气缸不慎触碰到下层堆叠的物料时,系统无法及时识别并作出反应;这种无意识的触碰极易导致整堆物料失去平衡、发生坍塌,甚至引发物料之间相互粘连、秩序混乱,严重影响后续上料流程。最后,传统的分阶段视觉处理网络链路冗长且效率低下:整个识别与抓取规划流程通常被拆分为立体匹配、实例分割、局部三维重建、抓取姿态预测等多个独立子网络,这些网络以串行方式依次运行,彼此之间缺乏高效的信息融合机制;尤其缺少视觉信息与力传感数据的深度融合与协同推理能力,导致视觉提供的几何信息与实际的接触力信息相互割裂,难以实现夹持动作的实时协同优化与精准控制。

2、现有技术尚未提供一种完整方案,将视觉相机的全局空间感知与末端力传感器的局部接触闭环反馈融合至统一端到端大模型,以联合控制柔性夹持气缸实现自适应抓取。仅依赖视觉定位缺乏力反馈,仅依靠力传感器又缺失全局三维定位,二者单独应用均难以满足物料稳定无损上料的需求。因此,本领域迫切需要一种融合视觉与力双传感、基于端到端大模型一体化规划夹持姿态与夹持力的自动化上料方法。

技术实现思路

1、本发明克服了现有技术的不足,提供一种基于端到端大模型的上料方法,以解决现有技术中存在的问题。

2、为达到上述目的,本发明采用的技术方案为:一种基于端到端大模型的上料方法,包括机架、机械臂、视觉相机、力传感器以及夹持气缸,所述方法包括以下步骤:

3、s1、系统联合标定:完成视觉相机内参标定、立体外参标定、机械臂-视觉相机手眼标定,求解视觉相机坐标系与机械臂基坐标系之间的全局坐标变换矩阵;同步完成力传感器零点标定、力-夹持开度映射标定,建立视觉空间几何参数、力传感数值、夹持气缸动作参数三者联动映射关系;打通二维像素、三维深度、机器人执行空间、夹持力控参数的统一映射链路;

4、s2、多模态视觉数据同步采集:视觉相机同步采集料箱内堆叠物料的高分辨率rgb图像对,同步缓存视觉相机基线、内参标定参数作为模型输入辅助参数;

5、s3、全局轻量化深度特征预提取:对rgb图像对降采样后送入轻量化立体匹配分支,输出全局粗略深度特征图,将rgb三通道图像、归一化深度特征图、物料类别文本提示拼接为视觉多模态联合输入数据;

6、s4、端到端多模态大模型一体化视觉推理:将视觉多模态联合输入数据送入预训练完成的端到端多模态视觉大模型,模型单轮前向推理同步输出全部上层物料实例分割掩膜、分层抓取排序得分、目标物料精细三维点云、柔性夹持气缸初始最优夹持位姿四组视觉规划输出量;

7、s5、力传感闭环动态夹持修正与分层上料执行:依据大模型输出排序得分筛选优先级最高的上层目标物料,提取模型输出初始夹持位姿参数;机械臂带动夹持气缸靠近目标物料过程中,力传感器实时采集夹持接触三维力、三轴扭矩时序数据,将实时力传感数据回传至端到端大模型的力控修正分支,模型基于视觉相机重建的物料三维点云形态、实时力反馈联合动态修正夹持气缸开合间隙、夹持压力阈值、机械臂柔顺运动轨迹;

8、s6、夹持气缸无损分层抓取:结合s1得到的坐标变换矩阵完成夹持点坐标空间转换,输出力控协同控制指令,驱动柔性夹持气缸自适应调节夹持力度完成无损分层抓取,转运至流水线实现自动上料。

9、本发明一个较佳实施例中,步骤s1具体包括以下步骤:

10、s11、采用张正友棋盘格标定法完成视觉相机左右相机内参标定,求解相机焦距、主点坐标、径向与切向畸变系数;

11、s12、立体标定获取视觉相机左右相机之间旋转矩阵、平移向量,构建双目立体几何约束;

12、s13、采用眼在手上/眼在手外标准手眼标定流程,求解相机到机械臂基坐标系的齐次变换矩阵t_cam2base,实现任意像素三维点云向机器人操作空间坐标转换;

13、s14、力传感器标定:空载采集传感器零点偏移值完成清零标定;控制夹持气缸以不同开度夹持标准柔性试样,采集多组夹持开度-夹持压力-摩擦力对应数据,建立力-夹持开度映射查找表,存入模型力控修正分支。

14、本发明一个较佳实施例中,s3全局轻量化深度特征预提取步骤:s31、将视觉相机采集的高分辨率rgb图像对进行2-4倍降采样,得到低分辨率双目图像;s32、低分辨率图像输入轻量化立体匹配子网络lightstereo,输出低分辨率视差特征图;s33、基于视觉相机基线、内参参数将视差特征转换为全局粗略深度图,并做0-1归一化处理,作为第四通道与rgb三通道拼接;s34、拼接物料类别文本嵌入向量形成四通道图像+文本提示的视觉多模态联合输入张量。

15、本发明一个较佳实施例中,所述轻量化立体匹配子网络独立于端到端大模型主干,仅负责视觉相机浅层全局深度特征提取,不参与精细三维重建,降低大模型主干网络计算负载。

16、本发明一个较佳实施例中,所述端到端多模态视觉大模型主干网络结构包括:多模态融合编码器、视觉多任务解码头、力控修正分支;所述多模态融合编码器包含cnn图像特征提取分支、深度特征融合分支、文本提示嵌入分支、跨模态transformer注意力交互层;所述视觉多任务解码头并行设置实例分割解码头、分层排序分值预测头、精细三维点云重建头、夹持位姿回归头,四解码头共享编码器全局视觉特征,无中间特征分阶段传输;所述力控修正分支以力传感器实时采集的三维力、三轴扭矩时序数据为输入,结合目标物料精细三维点云表面曲率、厚度特征,输出夹持气缸开度补偿量、夹持压力修正系数、机械臂柔顺缓冲阈值。

17、本发明一个较佳实施例中,所述端到端多模态视觉大模型训练采用多任务联合总损失函数ltotal,表达式为:,式中:lseg为实例分割损失,包含分类损失、掩膜二分类损失、边界框回归损失,约束视觉相机采集图像的物料分割轮廓精度;lrank为深度成对排序损失,约束排序得分与物料平均深度负相关,上层更近物料得分更高;lpoint为三维点云重建损失,包含视差重建l1损失、点云表面曲率约束损失,优化视觉相机局部精细重建精度;lgrasp为夹持位姿回归损失,包含夹持点坐标误差损失、夹持气缸开合角度角度损失;lforce为力控修正损失,约束模型输出夹持压力补偿量、开度修正量与力传感器实测接触力误差;λ1、λ2、λ3、λ4为各子损失权重系数,取值范围0.1-1.0。

18、本发明一个较佳实施例中,所述深度成对排序损失lrank计算方式为:求和范围:所有满足disj,实现自动分层抓取优先级排序。

19、本发明一个较佳实施例中,s4端到端大模型一体化视觉推理过程包括:s41、视觉多模态联合输入送入cnn分支提取视觉相机采集rgb纹理浅层特征,深度分支提取全局深度几何特征,文本嵌入分支将物料描述文本转换为语义向量;s42、跨模态transformer注意力层完成纹理、深度、文本语义特征全局交互融合,输出统一全局多模态视觉特征向量;s43、统一视觉特征并行输入四组视觉解码头,同步输出:所有上层物料像素级分割掩膜、各物料分层排序分值、最优抓取物料局部高分辨率视差图转换的精细三维点云、夹持气缸初始夹持三维坐标+夹持主轴方向+夹持气缸开合角度构成的完整初始夹持位姿参数;s44、模型内部自动完成目标物料感兴趣区域裁剪、上采样、高精度视差重建,无需对视觉相机图像单独做外部二次立体匹配操作。

20、本发明一个较佳实施例中,s5力传感闭环动态夹持修正与分层上料执行控制步骤:s51、筛选排序得分最大值对应的物料作为本次上料目标物料,读取模型输出的目标精细三维点云与初始夹持位姿;s52、机械臂带动夹持气缸向目标物料靠近,力传感器实时持续采集夹持气缸与物料预接触阶段的三维作用力、三轴扭矩实时数据,并同步回传至大模型力控修正分支;s53、大模型结合视觉相机重建的物料点云曲率、厚度形态,联合力传感器实时力反馈,动态输出夹持开度补偿值、夹持压力阈值、机械臂柔顺缓冲速度;对初始夹持位姿、夹持气缸夹紧力度进行实时修正;s54、结合手眼标定变换矩阵t_cam2base,将视觉相机相机坐标系下夹持三维坐标转换至机械臂基坐标系;根据修正后的夹持主轴、夹持点法向量、自适应夹持压力生成带力控缓冲的机械臂关节运动轨迹;驱动柔性夹持气缸自适应夹紧物料,依靠力传感器实时闭环反馈维持恒定夹持接触力,完成稳定无损抓取、转运、流水线自动上料;物料脱离料箱后清空力传感缓存,循环执行s2-s5持续上料。

21、本发明解决了背景技术中存在的缺陷,本发明具备以下有益效果:

22、本发明基于端到端大模型的上料方法将全局视觉感知和实时力觉反馈通过端到端多模态大模型完成一体化融合推理,解决了传统纯视觉抓取缺乏力反馈、单独力控缺失全局定位的技术缺陷,通过多任务共享特征的一体化网络结构,避免了传统分阶段串行处理的信息割裂与效率瓶颈,实现了无序堆叠物料的稳定自适应无损上料。通过轻量化分支提前提取全局粗略深度特征,在保证全局信息完整的同时,降低了大模型主干网络的计算负载,兼顾了推理精度与运行效率;依托多模态大模型的跨模态特征交互能力,实现了视觉几何信息与力传感接触信息的深度融合,能够基于实时力反馈动态修正夹持位姿与夹持力度,有效避免了物料挤压损坏、抓取滑脱以及堆叠坍塌问题,大幅提升了无序上料的整体成功率,为产线全流程无人化智能化作业提供了可靠的技术支撑。