一种基于参数高效视觉适配器的机器人抓取检测方法

摘要: 本发明涉及机器人智能感知与操控,特别是指一种基于参数高效视觉适配器的机器人抓取检测方法。背景技术:1、机器人抓取检测或机械手抓取检测智能操控的核心环节,要求感知...
一种基于参数高效视觉适配器的机器人抓取检测方法

本发明涉及机器人智能感知与操控,特别是指一种基于参数高效视觉适配器的机器人抓取检测方法。

背景技术:

1、机器人抓取检测或机械手抓取检测智能操控的核心环节,要求感知模块同时具备高定位精度和高推理速度,以适应闭环控制需求。冻结视觉(vision transformer, vit)是一种将自然语言处理中的transformer架构迁移至计算机视觉领域的深度学习模型,通过将图像分割为固定大小的图像块序列,利用自注意力机制建模全局上下文关系。本发明采用的冻结视觉基础模型(vision transformer -base,vit-base)模型包含约86.69m参数。近年来,基于vit的检测模型因其强大的全局上下文建模能力而精度突出,但其全参数微调方式需更新数千万乃至上亿参数,导致训练成本高、推理延迟大、功耗高,难以部署在算力有限的边缘机器人平台上。另一方面,纯卷积神经网络方法虽速度快,但在复杂场景下精度和泛化能力不足,无法有效保障抓取成功率。此外,真实世界的抓取任务存在感知噪声与标注不确定性,传统确定性回归模型无法提供对其预测可靠性的估计,一旦模型输出错误抓取点,可能直接导致任务失败甚至安全事故。现有的一些不确定性估计方法如贝叶斯神经网络或蒙特卡洛丢弃法需要多次随机前向推理,难以满足实时性要求。

2、现有技术中存在如下技术问题:

3、在利用vit视觉表征的前提下,部署在边缘设备上的开销较大,实时性较低,且无法提供抓取可靠性评估。

技术实现思路

1、为了解决现有技术存在的在利用vit视觉表征的前提下,部署在边缘设备上的开销较大;同时无法提供抓取可靠性评估的技术问题,本发明实施例提供了一种基于参数高效视觉适配器的机器人抓取检测方法。所述技术方案如下:

2、一方面,本发明实施例提供了一种基于参数高效视觉适配器的机器人抓取检测方法,包括:s1、获取机器人工作场景的四维图像数据,将所述四维图像数据中的彩色图像数据进行标准化,基于标准化的所述彩色图像数据和所述四维图像数据中的深度距离数据得到输入张量;s2、将所述输入张量输入预训练骨干网络,提取得到全局语义向量和三个局部描述符,计算所述三个局部描述符的堆叠矩阵;s3、基于适配器模块、所述全局语义向量和所述堆叠矩阵,计算得到多个注意力头查询向量、多个注意力头键矩阵和多个注意力头值矩阵,并计算多个注意力头输出;基于所述多个注意力头输出得到融合特征向量;其中,所述适配器模块包括查询投影矩阵、键投影矩阵和值投影矩阵;s4、将所述融合特征向量进行瓶颈变换得到适配特征向量;将所述适配特征向量和所述融合特征向量逐元素相加,得到最终适配特征向量;s5、基于所述最终适配特征向量和不确定性预测头,得到标准差;基于所述标准差计算不确定度分数;当所述不确定度分数大于预设阈值时,重新进行步骤s1至s5;否则,基于所述最终适配特征向量、联合抓取预测头和所述深度距离数据得到指令;s6、基于所述指令和运动规划库得到无碰撞运动轨迹;控制器基于所述无碰撞运动轨迹驱动机械臂运行。

3、可选地,在所述步骤s1之前,所述方法还包括: 基于混合损失函数和周期性角度损失函数训练适配器模块、不确定性预测头和联合抓取预测头;

4、其中,所述混合损失函数为公式(1):

5、;(1)

6、其中,为混合损失;为平衡系数;为联合抓取预测头输出的预测抓取坐标;为第i个位置的不确定性预测头输出的预测标准差;为第i个位置的目标中心向量;x为预测抓取坐标的横坐标,y为预测抓取坐标的纵坐标;

7、其中,所述周期性角度损失函数为公式(2):

8、;(2)

9、其中,为周期性角度损失;为对π取模;为联合抓取预测头输出的预测角度;为目标角度。

10、可选地,在所述步骤s1中:

11、基于公式(3)对所述彩色图像数据进行标准化处理:

12、;(3)

13、其中,为所述彩色图像数据,为标准化的所述彩色图像数据;为预设数据集的均值;为预设数据集的标准差。

14、可选地,所述步骤s2包括:

15、s21、基于所述预训练骨干网络将所述输入张量分割为多个图像块;

16、s22、将所述多个图像块进行经线性嵌入和位置编码处理,将处理后的所述多个图像块输入多层编码器;

17、其中,所述全局语义向量为所述多层编码器中的最终层分类标记输出;所述三个局部描述符为所述多层编码器中的三个不同空间分辨率层的中间特征输出。

18、可选地,在所述步骤s2中,

19、所述堆叠矩阵根据公式(4)计算:

20、;(4)

21、其中,为堆叠矩阵;为所述三个局部描述符中的第一局部描述符;为所述三个局部描述符中的第二局部描述符;为所述三个局部描述符中的第三局部描述符;为维度为3×768的矩阵空间。

22、可选地,所述步骤s3中,

23、所述多个注意力头查询向量、多个注意力头键矩阵和多个注意力头值矩阵分别通过公式(5)、(6)和(7)得到:

24、;(5)

25、(6)

26、(7)

27、其中,为所述多个注意力头查询向量中的第m个注意力头查询向量;为所述多个注意力头键矩阵中的第m个注意力头键矩阵;为多个注意力头值矩阵中的第m个注意力头值矩阵;为所述全局语义向量;为查询投影矩阵;为键投影矩阵;为值投影矩阵;

28、所述多个注意力头输出基于公式(8)计算:

29、;(8)

30、其中,为所述多个注意力头输出中的第m个注意力头输出;为每个注意力头宽度;

31、所述融合特征向量根据公式(9)计算:

32、;(9)

33、其中,为所述融合特征向量,为输出投影矩阵。

34、可选地,所述步骤s4包括:

35、s41、基于所述融合特征向量和降维矩阵得到降维后的融合特征向量;

36、s42、基于所述降维后的融合特征向量和非线性激活函数得到变换后的融合特征向量;

37、s43、基于所述变换后的融合特征向量和升维矩阵得到适配量特征;

38、s44、将所述适配量特征进行随机失活正则化,得到处理后的适配量特征;将所述处理后的适配量特征和所述融合特征向量逐元素相加,得到最终适配特征向量;其中,所述随机失活正则化的概率为0.1。

39、可选地,在所述步骤s5中:

40、所述不确定性预测头为单层全连接网络,所述标准差包括横坐标预测值标准差和纵坐标预测值标准差;

41、所述联合抓取预测头为两层全连接网络,所述指令包括抓取点像素坐标和旋转角度。

42、可选地,在所述步骤s5中:

43、所述不确定度分数通过公式(10)计算

44、;(10)

45、其中,为不确定分数;为所述横坐标预测值标准差;为所述纵坐标预测值标准差;所述预设阈值为0.8。

46、本发明实施例提供的技术方案带来的有益效果至少包括:

47、本发明的抓取检测方法为闭环设计,实时推理能力强,在消费级gpu上达到88fps,单帧感知延迟11.4ms;且在本发明中的适配器模块、不确定性预测头和联合抓取预测头中,可训练参数量约为0.50m,为预训练骨干网络的0.57%,参数效率高,训练部署成本低,便于在多任务间快速切换;且本发明通过瓶颈变换降低了参数需求量,保证了参数量的较低水平。相较全微调方案,本发明推理功耗从68w降至42w降低约38%,适用于电池供电的移动机器人。并且,本发明单次向前步骤即输出可靠的不确定性估计,可拒止高不确定性预测,使剩余有效预测的中位误差显著降低,提升了系统安全性,在真实机器人单物体抓取-放置任务中整体成功率90.3%,在杂乱场景和精密放置任务中的整体成功率分别为78.7%和81.5%,具有良好适应性。