一种面向机械臂抓取的多层视觉几何增强策略训练方法及系统
本发明属于机器人操作的,具体涉及一种面向机械臂抓取的多层视觉几何增强策略训练方法及系统。
背景技术:
1、随着机器人技术、机器视觉以及智能控制方法的发展,机械臂抓取系统正逐步从固定工位和规则工件场景向多样化、精细化和柔性化作业场景扩展。对于涉及近距离对准、末端旋转调整以及抓取姿态控制的任务,策略模型不仅需要学习动作序列本身,还需要从视觉输入中更有效地理解目标工件的位置、范围、方向以及夹爪与工件之间的相对关系。
2、目前,基于示范学习或扩散策略的抓取方案通常将场景图像、局部相机图像以及机器人状态作为观测条件,通过端到端方式学习动作输出。此类方案具备较好的行为学习能力,但在工件局部区域较小、背景干扰较多、目标朝向变化明显或抓取前对准要求较高时,往往难以充分提炼与抓取密切相关的几何信息。具体而言,单纯依赖整幅图像的全局特征进行动作学习时,目标工件在局部视角中的几何线索容易被背景、夹爪或其他无关区域稀释,导致策略对关键区域的关注不足;对于具有明显方向性或需要旋转对准的工件,仅依赖示范动作隐式学习工件朝向与末端调整之间的关系,学习难度较高,容易出现接近阶段调整不稳定、对准不充分或泛化能力不足的问题;同时,与抓取结果密切相关的空间关系信息往往没有在训练过程中得到专门约束,使得视觉编码器未必能够形成更加适合抓取决策的局部空间表征。另一类方案在策略模型外部增加目标检测、区域识别或位姿估计模块,再将相应信息以附加方式用于抓取控制,但各模块之间信息传递容易局限于单一检测结果或固定参数,难以直接影响策略内部的视觉表征。
技术实现思路
1、本发明的主要目的在于克服现有技术的缺点与不足,提供一种面向机械臂抓取的多层视觉几何增强策略训练方法及系统,通过几何提示、局部特征增强与辅助监督的协同作用,解决了抓取前局部空间关系难以稳定学习的问题。
2、为了达到上述目的,本发明采用以下技术方案:
3、第一方面,本发明提供了一种面向机械臂抓取的多层视觉几何增强策略训练方法,包括下述步骤:
4、获取抓取示范数据并构建时序严格对应的多源训练样本,每条抓取示范至少包括场景图像、腕部图像、目标工件掩膜、机械臂末端执行器位姿、夹爪开合状态及示范动作;其中,所述场景图像为场景相机获取的全局图像,所述腕部图像为安装于机械臂末端附近的腕部相机获取的图像,所述目标工件掩膜为与所述腕部图像像素一一对应、用于区分工件前景与背景的区域表示;根据所述目标工件掩膜计算旋转矩形几何提示,在夹爪稳定闭合之前将所述旋转矩形几何提示绘制到所述腕部图像上,所述稳定闭合时刻为夹爪开合状态连续满足闭合条件的首个时刻;
5、对所述场景图像和所述腕部图像分别进行编码,得到场景全局特征和腕部全局特征,并保留编码过程中的至少一个中间特征图;
6、根据所述目标工件掩膜,从所述中间特征图中采样并聚合局部特征,得到工件局部多尺度特征;
7、以所述稳定闭合时刻对应的机械臂末端执行器位姿作为目标抓取位姿,对于稳定闭合之前的任一当前时刻,在当前末端局部坐标系下构造当前时刻的机械臂末端执行器位姿相对于所述目标抓取位姿的相对平移和相对旋转,作为该时刻的辅助监督标签;
8、以扩散策略作为动作生成主任务,将所述场景全局特征、腕部全局特征、工件局部多尺度特征、机械臂末端执行器位姿和夹爪开合状态拼接为观测条件特征,将所述观测条件特征作为条件输入生成动作序列并计算动作生成损失;同时根据预测的辅助监督标签与所述辅助监督标签计算辅助损失,将所述动作生成损失与所述辅助损失加权求和得到总损失,基于所述总损失进行联合训练。
9、作为优选的技术方案,所述稳定闭合时刻的确定方式为:当夹爪开合状态连续两个时刻大于或等于预设闭合阈值时,将其中第一个时刻确定为稳定闭合时刻;
10、对所述场景图像、腕部图像和目标工件掩膜按照相同目标尺寸进行缩放,其中,所述场景图像和所述腕部图像采用双线性插值进行缩放,所述目标工件掩膜采用最近邻插值进行缩放。
11、作为优选的技术方案,所述场景图像和所述腕部图像分别由参数彼此独立的场景视角残差神经网络和腕部视角残差神经网络进行编码,所述场景视角残差神经网络和所述腕部视角残差神经网络均为十八层残差网络,输入像素值经归一化后依次通过卷积层和残差层,并分别经全局平均池化得到所述场景全局特征和所述腕部全局特征;所述腕部图像中的旋转矩形几何提示作为显式几何线索随图像纹理共同参与卷积,使所述腕部全局特征包含工件位置、覆盖范围和主方向信息。
12、作为优选的技术方案,根据所述目标工件掩膜从所述中间特征图中采样并聚合局部特征的方式为:
13、在所述目标工件掩膜中确定工件前景像素,从所述工件前景像素中选择预设数量的代表点;所述代表点的选择方式为:从靠近所述工件前景像素质心的像素开始,采用最远点迭代选择方式,每次选择与已选点集合的最小距离最大的前景像素,直至得到预设数量的代表点;所述中间特征图为第二、第三和第四残差阶段输出的特征图,对同一尺度的点特征求平均,并将三个尺度的结果拼接为工件局部多尺度特征;当所述目标工件掩膜的有效前景像素少于预设阈值时,将该帧的工件局部多尺度特征置零并附加无效标志,以阻止无效掩膜影响策略学习。
14、作为优选的技术方案,设当前时刻的末端位置和旋转矩阵分别为pt和rt,目标抓取位姿的末端位置和旋转矩阵分别pg和rg,则在当前末端局部坐标系下的相对平移δp=rt的转置乘以(pg-pt),相对旋转转δr=rt的转置乘以rt;取所述相对旋转矩阵的前两个基向量展开为六维连续旋转表示,所述辅助监督标签包括所述相对平移和所述六维连续旋转表示。
15、作为优选的技术方案,对预测的相对平移与标签相对平移计算平滑l1损失,得到平移辅助损失;将预测的六维连续旋转表示和标签六维连续旋转表示分别正交化为三维旋转矩阵,根据两个三维旋转矩阵之间的相对旋转角计算测地距离损失,得到旋转辅助损失;所述辅助损失包括所述平移辅助损失和所述旋转辅助损失;仅对稳定闭合之前且辅助监督标签有效的帧累计所述辅助损失,稳定闭合之后的帧不参与所述辅助损失的计算;
16、所述辅助损失等于所述平移辅助损失加上预设权重倍的旋转辅助损失。
17、作为优选的技术方案,从每个训练批次读取连续观测窗口和对应的未来动作序列,对动作进行归一化,在预设扩散时间步内随机采样时间步和高斯噪声,并按噪声调度规则向真实动作序列加入噪声;条件一维u形网络接收带噪动作、扩散时间步和所述观测条件特征,输出对所加噪声的预测,以预测噪声与真实噪声之间的均方误差作为所述动作生成损失;所述总损失等于所述动作生成损失加上预设权重倍的辅助损失。
18、作为优选的技术方案,训练完成后,从随机高斯动作序列开始,按照与训练噪声调度相对应的逆扩散过程迭代执行去噪;在每个逆扩散时间步,将当前带噪动作、当前时间步和固定观测条件输入条件一维u形网络,由网络预测噪声并通过调度器计算噪声更少的动作序列,直至获得完整的未来动作序列,再从所述未来动作序列中选取预设数量的连续动作下发执行;每个动作至少包括末端位置变化、末端旋转变化和夹爪开合控制;执行若干动作后重新采集观测并再次预测,形成滚动闭环控制;所述辅助预测头仅在训练阶段用于形成空间表征约束,实际动作由扩散策略主任务生成。
19、作为优选的技术方案,在获取多源训练样本时,
20、根据同一条抓取示范内的帧索引和时间顺序,对所述多源数据进行逐帧一一对应及长度一致性校验,若任一数据源的帧数或编号不一致,则停止生成该条训练样本并报告异常。
21、第二方面,本发明提供了一种面向机械臂抓取的多层视觉几何增强策略训练系统,应用于所述的面向机械臂抓取的多层视觉几何增强策略训练方法,包括数据处理单元、视觉编码单元、局部区域特征单元、辅助监督单元以及策略生成单元;
22、所述数据处理单元,用于获取抓取示范数据并构建时序严格对应的多源训练样本,每条抓取示范至少包括场景图像、腕部图像、目标工件掩膜、机械臂末端执行器位姿、夹爪开合状态及示范动作;其中,所述场景图像为场景相机获取的全局图像,所述腕部图像为安装于机械臂末端附近的腕部相机获取的图像,所述目标工件掩膜为与所述腕部图像像素一一对应、用于区分工件前景与背景的区域表示;根据所述目标工件掩膜计算旋转矩形几何提示,在夹爪稳定闭合之前将所述旋转矩形几何提示绘制到所述腕部图像上,所述稳定闭合时刻为夹爪开合状态连续满足闭合条件的首个时刻;
23、所述视觉编码单元,用于对所述场景图像和所述腕部图像分别进行编码,得到场景全局特征和腕部全局特征,并保留编码过程中的至少一个中间特征图;
24、所述局部区域特征单元,用于根据所述目标工件掩膜,从所述中间特征图中采样并聚合局部特征,得到工件局部多尺度特征;
25、所述辅助监督单元,用于以所述稳定闭合时刻对应的机械臂末端执行器位姿作为目标抓取位姿,对于稳定闭合之前的任一当前时刻,在当前末端局部坐标系下构造当前时刻的机械臂末端执行器位姿相对于所述目标抓取位姿的相对平移和相对旋转,作为该时刻的辅助监督标签;
26、所述策略生成单元,用于以扩散策略作为动作生成主任务,将所述场景全局特征、腕部全局特征、工件局部多尺度特征、机械臂末端执行器位姿和夹爪开合状态拼接为观测条件特征,将所述观测条件特征作为条件输入生成动作序列并计算动作生成损失;同时根据预测的辅助监督标签与所述辅助监督标签计算辅助损失,将所述动作生成损失与所述辅助损失加权求和得到总损失,基于所述总损失进行联合训练。
27、本发明与现有技术相比,具有如下优点和有益效果:
28、(1)本发明在观测输入层面,依据目标工件掩膜计算旋转矩形几何提示,并在抓取关键阶段将该提示绘制于腕部图像上,使工件的四角点闭合轮廓作为显式几何线索随图像纹理共同参与卷积编码,从而在特征提取源头强化与抓取密切相关的局部关键信息;同时,借助掩膜引导的局部多尺度特征提取,从视觉编码器中间特征层的目标区域采样并汇聚局部特征,使策略模型能够更有效地关注工件的中心、边缘及不同方向区域。上述几何提示与局部特征增强机制将目标区域信息、视觉表征学习与动作生成过程统一设计,使全局环境理解与局部空间理解形成互补,有助于提高模型对工件位置、范围和方向等信息的识别能力。
29、(2)相比于仅依赖端到端动作学习的现有方案,本发明在训练阶段增加与抓取前关键空间关系相关的辅助监督约束。以稳定闭合时刻的末端执行器位姿为目标抓取位姿,在当前末端局部坐标系下构造相对平移和相对旋转标签,使视觉编码器和策略模型在学习动作序列的同时,进一步获得与抓取姿态调整相关的训练信号,从而提升抓取前对准过程的稳定性,并增强策略对工件位置、方向或局部外观变化的适应能力。
30、(3)本发明还采用当前末端局部坐标系中的相对位姿作为辅助标签,并以连续六维表示和旋转测地距离监督姿态学习,使相同抓取目标能够统一表示为相对于当前夹爪的待执行调整量,减少欧拉角周期跳变对训练的影响;同时通过稳定闭合前有效帧门控辅助损失,避免抓取完成后的无关监督削弱抓取前空间表征,从而更有针对性地增强旋转对准动作的学习。辅助损失的梯度直接回传至腕部视觉编码网络,使视觉特征被持续约束为能够解码夹爪相对工件的待执行平移与旋转量,与动作生成主任务在统一训练过程中协同优化,在不改变抓取策略基本功能的前提下,提高策略执行旋转对准任务时的稳定性、灵活性和泛化能力。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com