一种基于MobileNetV4的像素级抓取检测方法

摘要: 本发明属于机器人视觉与智能抓取,具体涉及一种基于改进的轻量化网络mobilenetv4的端到端像素级抓取检测方法、系统及装置,尤其适用于资源受限的嵌入式机器人平...
一种基于MobileNetV4的像素级抓取检测方法

本发明属于机器人视觉与智能抓取,具体涉及一种基于改进的轻量化网络mobilenetv4的端到端像素级抓取检测方法、系统及装置,尤其适用于资源受限的嵌入式机器人平台。

背景技术:

1、具身智能机器人要求能够在真实物理环境中自主感知、决策并执行任务,其中物体抓取是最基础、最核心的操作能力之一。随着深度学习技术的发展,基于视觉的机器人抓取检测方法已从传统的几何模型匹配、手动特征设计,演进为端到端的深度神经网络预测框架。

2、在现有技术中,像素级抓取检测方法如gg-cnn、gr-convnet等,通过为输入图像中的每一个像素点预测最优抓取姿态(抓取质量、夹爪角度、开口宽度),实现了密集抓取建议的生成,具有精度高、无需候选框生成的优点,逐渐成为研究主流。然而,现有方法在实际应用中仍存在以下技术瓶颈:(1)模型轻量化和准确度难以平衡,高性能抓取检测网络通常产数量较大无法部署在资源受限的嵌入式平台,而轻量化模型的检测精度不足难以满足使用要求;(2)模型泛化能力不足,特别是对训练集中未出现的物体,抓取成功率大幅度降低。

技术实现思路

1、本发明提出一种能够在低参数量条件下兼顾高检测精度与强泛化能力的像素级抓取检测方法,通过设计一种轻量化像素级抓取检测网络,使其在参数量低的条件下,在标准数据集上达到97%以上的检测准确率,并对未见过的物体保持高抓取成功率。

2、本发明为实现上述目的所采用的技术方案是:

3、一种基于mobilenetv4的像素级抓取检测方法,包括以下步骤:

4、1)获取rgb图像与深度图像并对其进行预处理,将其构建成4通道rgb-d输入数据;

5、2)基于mobilenetv4网络构建抓取检测模型,并基于smooth l1损失函数对模型进行训练;

6、3)使用训练好的抓取检测模型对rgb-d输入数据进行检测,得到每个像素点的抓取姿态及其对应的置信度,输出其中置信度最高的抓取姿态。

7、所述步骤1)包括以下步骤:

8、1.1)以抓取框中心点为中心,将rgb图像和深度图像裁剪至同一分辨率;

9、1.2)在几何层面对rgb图像和深度图像进行数据增强,使其模拟抓取物体的不同视角;

10、1.3)对rgb图像进行亮度、对比度、饱和度调整,使其模拟待抓物体的不同成像条件;

11、1.4)将处理后的rgb图像和深度图像进行通道拼接,构成4通道rgb-d输入数据。

12、所述在几何层面对rgb图像和深度图像进行数据增强包括:90°、180°、270°、360°的直角旋转、-15°至15°的随机小幅度旋转、0.5至1.0倍随机缩放。

13、所述抓取检测模型包括:

14、rgbdsteam多模态特征融合模块,用于通过跨模态注意力机制生成双向增强权重,通过增强权重将rgb特征与深度特征进行相互增强与融合,得到初始融合特征;

15、mobilenetv4骨干网络,用于对初始融合特征依次进行五个阶段的特征提取,得到不同尺度的特征图f0至f4;

16、渐进式多尺度特征融合模块,用于采用自上而下的逐级融合策略对五个尺度的特征图进行融合,得到与输入图像分辨率一致的高分辨率融合特征图;

17、抓取检测头模块,用于四个并行的抓取检测头分别对高分辨率融合特征图进行检测,得到抓取置信度图、抓取宽度图、抓取角度余弦分量图和抓取角度正弦分量图。

18、所述rgbdsteam多模态特征融合模块,执行以下步骤:

19、将4通道rgb-d输入数据分离为3通道rgb张量x0与1通道深度张量y0;

20、分别对张量x0和y0依次进行3×3卷积、批归一化与relu激活,得到特征x1与特征y1;

21、分别对特征x1与y1依次进行1×1卷积降维、relu激活、1×1卷积升维和sigmoid激活,得到rgb信息对深度信息的增强权重 wr→d与深度信息对rgb信息的增强权重wd→r;

22、将特征x1与y1分别与对应的增强权重wr→d和wd→r相乘,并在通道维度进行拼接,得到初始融合特征。

23、所述渐进式多尺度特征融合模块,执行以下步骤:

24、从最高层特征f4开始,依次对高层特征fi进行双线性插值上采样,并将上采样结果与低一层特征fi-1相加,经1×1卷积后送入空间注意力模块,得到融合后的f'i-1,将f'i-1作为下一次融合的高层特征,重复融合过程,直至融合结果恢复至f0的分辨率。

25、所述空间注意力模块对输入特征图沿通道维度分别进行全局最大池化和全局平均池化,将两个结果拼接后经7×7卷积和sigmoid激活生成空间权重图,再将原输入特征图与空间权重图逐元素相乘。

26、所述smooth l1损失函数为:

27、

28、其中,lp,lc,ls和lw分别为抓取质量预测图、抓取角度余弦分量图、抓取角度正弦分量图以及夹爪宽度预测图对应的smooth l1损失项,λ1,λ2,λ3为可调节的权重系数,n为输入图像的像数点总量,求得所有像数点损失的均值为最终损失。

29、还包括以下步骤:

30、以抓取检测模型输出的抓取姿态为目标创建抓取指令,并将抓取指令发送至机械臂控制系统,所述抓取姿态包括抓取中心点、夹爪张开宽度和旋转角度。

31、一种基于mobilenetv4的像素级抓取检测系统,包括:

32、图像预处理模块,用于获取rgb图像与深度图像并对其进行预处理,将其构建成4通道rgb-d输入数据;

33、抓取检测模型构建及训练模块,用于基于mobilenetv4网络构建抓取检测模型,并基于smooth l1损失函数对模型进行训练;

34、抓取检测模块,用于使用训练好的抓取检测模型对rgb-d输入数据进行检测,得到每个像素点的抓取姿态及其对应的置信度,输出其中置信度最高的抓取姿态。

35、本发明具有以下有益效果及优点:

36、1.极低的参数量:本发明提出的mbngrasp模型总参数量仅为1.57m,低于现有主流抓取检测网络。满足机器人对轻量化的要求。

37、2.高检测精度:在cornell公开数据集上,本发明采用图像划分评估达到98.3%的抓取检测准确率,采用物体划分评估达到97.7%的准确率。在实物抓取实验中也能取得抓取成功率95%的成绩。

38、3.泛化能力强:本发明在真实场景中对10类未见于训练集的日常物体进行抓取实验,整体成功率达95%。该结果表明模型能够有效抑制背景干扰,对未知物体的形状、材质、尺寸变化具有良好的适应性。

39、4.多尺度目标抓取:本发明设计自上而下的渐进式多尺度特征融合结构,将深层语义信息与浅层高分辨率细节逐级互补,使模型同时具备对大物体整体轮廓和小物体局部特征的精确感知能力。

40、5.高效的rgbd融合机制:独创的rgbdsteam模块通过通道分离、独立卷积与双向跨模态注意力,实现了rgb纹理信息与深度几何信息的相互增强。

41、6.训练收敛稳定:采用smooth l1损失函数,有效抑制异常梯度导致的参数震荡;

42、7.端到端预测,实时性强:本发明直接输出与输入图像同分辨率的抓取置信度图、宽度图及角度分量图,无需候选框生成和后处理筛选,单次前向推理即可生成密集抓取建议。