机器人六自由度抓取检测方法及装置
本发明涉及机器人操作,尤其涉及一种机器人六自由度抓取检测方法及装置。
背景技术:
1、近年来,随着人工智能与机器人技术的迅猛发展,机器人执行抓取、装配等手眼协同操作已成为其进行自主作业的重要前提。由于真实的物理场景往往复杂多变,且目标物体的形态和摆放方式各异,传统的二维平面抓取检测难以适应三维复杂场景下多样化的操作需求。因此,如何在给定环境下根据传感器的观测数据,直接在三维空间中准确计算出机器人执行机构待抓取物体的空间位置与姿态,即准确的机器人六自由度(six degrees offreedom,6-dof)抓取检测,成为了当前机器人操作技术领域急需解决的核心总体需求。
2、为了满足上述高精度抓取检测的需求,现有技术逐渐转向将二维图像高层语义线索与三维点云精确空间几何相结合的跨模态抓取检测方案。该类方法虽然缩小了三维空间的搜索范围,但在实际应用中存在明显的局限性,如生成的抓取质量热图存在边界模糊和不连续的问题,同时在融合二维图像特征与三维点云特征时未能充分利用不同模态特征之间的互补信息,最终造成机器人6-dof抓取检测的精度和鲁棒性难以满足实际工业应用的要求。
3、因此,如何提升机器人6-dof抓取检测的精度,成为了业界亟待解决的技术问题。
技术实现思路
1、本发明提供一种机器人六自由度抓取检测方法及装置,用以解决现有技术中抓取质量热图边界模糊不连续以及跨模态特征融合不充分的缺陷,提升机器人6-dof抓取检测的精度。
2、本发明提供一种机器人六自由度抓取检测方法,包括:
3、获取当前场景的彩色-深度图像;
4、将所述彩色-深度图像输入至抓取检测网络,获取所述抓取检测网络输出的六自由度抓取检测结果;
5、其中,所述抓取检测网络包括高斯热图生成模块和跨模态抓取检测模块;
6、所述高斯热图生成模块对所述彩色-深度图像进行特征编码得到图像特征图,并预测所述图像特征图中各锚点位置对应的高斯核参数,通过高斯密度渲染对各所述高斯核参数进行二维高斯核加权叠加运算,生成连续的抓取质量热图和抓取属性图;
7、所述跨模态抓取检测模块对所述抓取质量热图进行三维候选点投影、局部点云特征提取、图像特征检索以及跨模态注意力融合处理,得到融合图像与点云深层结构信息的空间姿态特征张量,并基于所述抓取属性图和所述空间姿态特征张量生成所述六自由度抓取检测结果。
8、在一些实施例中,所述跨模态抓取检测模块对所述抓取质量热图进行三维候选点投影、局部点云特征提取、图像特征检索以及跨模态注意力融合处理,得到融合图像与点云深层结构信息的空间姿态特征张量,并基于所述抓取属性图和所述空间姿态特征张量生成所述六自由度抓取检测结果,包括:
9、基于所述抓取质量热图中各像素点的响应值,选取预设数量的像素点,并构建二维抓取候选坐标集合;
10、结合深度信息将所述二维抓取候选坐标集合中的像素点投影至三维空间,得到三维抓取中心候选点坐标张量;
11、对所述彩色-深度图像进行反投影得到三维点云;
12、以每一三维抓取中心候选点为查询中心,在所述三维点云中执行球查询操作,获取各所述三维抓取中心候选点对应的局部点云,对所述局部点云进行特征提取,得到区域点云特征;
13、将所述局部点云重投影至所述图像特征图所在的二维图像平面,通过插值采样从所述图像特征图中检索得到与所述局部点云对应的区域图像特征;
14、将所述区域点云特征与所述区域图像特征拼接为融合特征,并对所述融合特征进行跨模态注意力计算,得到融合图像与点云深层结构信息的所述空间姿态特征张量;
15、基于所述抓取属性图和所述空间姿态特征张量,生成所述六自由度抓取检测结果。
16、在一些实施例中,所述高斯热图生成模块对所述彩色-深度图像进行特征编码得到图像特征图,包括:
17、通过初始卷积层和最大池化层对所述彩色-深度图像进行初步降采样处理;
18、将处理后的图像输入至顺序连接的多个残差特征块中进行特征提取,得到尺寸缩减且通道数扩展的所述图像特征图。
19、在一些实施例中,所述预测所述图像特征图中各锚点位置对应的高斯核参数,通过高斯密度渲染对各所述高斯核参数进行二维高斯核加权叠加运算,生成连续的抓取质量热图和抓取属性图,包括:
20、对所述图像特征图进行并行卷积处理,分别预测得到实际偏移量图、水平标准差图、垂直标准差图、相关系数图以及幅值权重图,作为各锚点位置对应的所述高斯核参数;
21、根据所述水平标准差图和所述垂直标准差图,计算生成对应的局部影响半径;
22、在构建的二维网格坐标系中,在每一个网格像素坐标处检索所述局部影响半径覆盖的所述图像特征图中锚点的所述高斯核参数,并执行二维高斯核加权叠加运算,得到叠加特征张量;
23、将所述叠加特征张量沿特征通道维度进行切分,分别得到所述抓取质量热图和所述抓取属性图。
24、在一些实施例中,所述结合深度信息将所述二维抓取候选坐标集合中的像素点投影至三维空间,得到三维抓取中心候选点坐标张量,包括:
25、将所述二维抓取候选坐标集合中各像素点在所述抓取质量热图上的二维网格坐标,映射至分辨率对齐的原始深度图空间中获取对应的深度值;
26、结合相机内参矩阵,将所述二维网格坐标及所述深度值转换为三维坐标,得到所述三维抓取中心候选点坐标张量。
27、在一些实施例中,所述以每一三维抓取中心候选点为查询中心,在所述三维点云中执行球查询操作,获取各所述三维抓取中心候选点对应的局部点云,对所述局部点云进行特征提取,得到区域点云特征,包括:
28、以预设查询半径,在所述三维点云中获取距离各所述三维抓取中心候选点最近的预设数量个近邻点,形成局部点云簇张量作为所述局部点云;
29、将所述局部点云簇张量输入包含顺序连接的第一一维卷积层和第二一维卷积层的小型点云处理网络进行处理,提取所述区域点云特征。
30、在一些实施例中,所述对所述融合特征进行跨模态注意力计算,得到融合图像与点云深层结构信息的所述空间姿态特征张量,包括:
31、将所述融合特征并行输入三个全连接层,分别生成查询张量、键张量和值张量;
32、将所述查询张量与所述键张量的转置进行批量矩阵乘法运算,并在利用缩放因子进行处理后执行softmax操作,得到跨模态注意力权重矩阵;
33、将所述跨模态注意力权重矩阵与所述值张量进行矩阵乘法,得到上下文加权特征;
34、将所述上下文加权特征经过特征映射层降维,并沿点数维度执行最大池化操作,移除空间维度后获得所述空间姿态特征张量。
35、在一些实施例中,所述抓取检测网络是基于以下步骤训练得到的:
36、获取训练样本及样本对应的真实抓取质量热图标签;
37、分别使用水平方向和垂直方向的边缘提取算子对所述真实抓取质量热图标签执行卷积计算,提取一阶梯度变化特征,计算合成梯度幅值;
38、对所述合成梯度幅值进行归一化处理,生成梯度幅值注意力掩码;
39、基于所述梯度幅值注意力掩码对预测抓取质量热图与所述真实抓取质量热图标签之间的误差进行加权计算,得到热图质量损失;
40、基于所述热图质量损失、抓取属性损失和抓取检测损失构建总损失函数,并基于所述总损失函数更新所述抓取检测网络的参数。
41、在一些实施例中,所述对所述合成梯度幅值进行归一化处理,生成梯度幅值注意力掩码,包括:
42、获取所述合成梯度幅值中的全局最小值与全局最大值;
43、计算所述合成梯度幅值与所述全局最小值之间的差值,并除以所述全局最大值与所述全局最小值之间的差值,得到归一化比值;
44、基于预设的梯度加权系数对所述归一化比值进行加权,并加上基础权重常量,生成所述梯度幅值注意力掩码。
45、本发明提供一种机器人六自由度抓取检测装置,包括:
46、图像获取模块,用于获取当前场景的彩色-深度图像;
47、模型推理模块,用于将所述彩色-深度图像输入至抓取检测网络,获取所述抓取检测网络输出的六自由度抓取检测结果;
48、其中,所述抓取检测网络包括高斯热图生成模块和跨模态抓取检测模块;
49、所述高斯热图生成模块对所述彩色-深度图像进行特征编码得到图像特征图,并预测所述图像特征图中各锚点位置对应的高斯核参数,通过高斯密度渲染对各所述高斯核参数进行二维高斯核加权叠加运算,生成连续的抓取质量热图和抓取属性图;
50、所述跨模态抓取检测模块对所述抓取质量热图进行三维候选点投影、局部点云特征提取、图像特征检索以及跨模态注意力融合处理,得到融合图像与点云深层结构信息的空间姿态特征张量,并基于所述抓取属性图和所述空间姿态特征张量生成所述六自由度抓取检测结果。
51、本发明提供一种电子设备,包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述机器人六自由度抓取检测方法。
52、本发明提供一种非暂态计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现所述机器人六自由度抓取检测方法。
53、本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现所述机器人六自由度抓取检测方法。
54、本发明提供的机器人六自由度抓取检测方法及装置,通过高斯热图生成模块对彩色-深度图像进行特征编码并预测高斯核参数,再通过高斯密度渲染进行二维高斯核加权叠加运算生成连续的抓取质量热图和抓取属性图,同时通过跨模态抓取检测模块对抓取质量热图进行三维候选点投影、局部点云特征提取、图像特征检索以及跨模态注意力融合处理得到空间姿态特征张量,并基于抓取属性图和空间姿态特征张量生成六自由度抓取检测结果,能够生成具有连续性和完整性的抓取质量热图,并实现图像特征与点云特征的深度融合,从而提升了抓取检测的精度。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com