一种机械执行约束驱动点云自适应抓取位姿估计的方法及系统与流程

摘要: 本发明涉及机器人,特别是一种机械执行约束驱动点云自适应抓取位姿估计的方法及系统。背景技术:1、随着三维传感技术与机器人自动化技术的发展,基于三维点云的机器人抓取...
一种机械执行约束驱动点云自适应抓取位姿估计的方法及系统与流程

本发明涉及机器人,特别是一种机械执行约束驱动点云自适应抓取位姿估计的方法及系统。

背景技术:

1、随着三维传感技术与机器人自动化技术的发展,基于三维点云的机器人抓取位姿估计成为工业分拣、物流搬运等场景的关键技术,相较于依赖二维图像的抓取方法,基于三维点云的方法能够获取物体的深度信息,在堆叠、遮挡等复杂场景下具有更高的准确性。

2、在基于三维点云的抓取位姿估计方法中,基于图结构的方法将三维点云中各点作为节点,基于节点间的三维空间距离构建空间关系图,在构建空间关系图后,通过图神经网络在节点间沿边进行消息传递和特征聚合,学习各节点的特征表示,进而基于节点特征预测抓取位置、抓取姿态和抓取质量评分,生成候选抓取位姿,上述基于图结构的抓取位姿估计方法中,空间关系图的边连接仅取决于节点间的三维空间距离,图结构反映的是点云的几何邻近性。

3、然而,对于机器人实际抓取而言,几何邻近的两个点可能分别处于机械臂可达区域与不可达区域,或者其中一个点的抓取方向上存在障碍物而另一个点的抓取方向无障碍。由于空间关系图构建过程完全基于点云几何特征,未考虑机器人自身机械执行能力的约束,图结构中的邻域关系可能与机器人实际可操作的空间关系存在根本性差异,导致图神经网络在特征传播阶段沿不可执行的路径传递信息,使网络学习到的特征表示偏向几何最优而非操作可行的解空间,最终输出的候选抓取位姿与机器人实际执行能力之间存在系统性偏差。

技术实现思路

1、为解决现有技术中存在的空间关系图构建过程未融合机械执行约束,图结构仅反映三维空间距离,导致图神经网络特征传播沿几何邻近但不可执行的路径进行的技术问题,本发明提供了一种机械执行约束驱动点云自适应抓取位姿估计的方法及系统。

2、本发明采用的技术方案是:

3、本申请的第一方面提供了一种机械执行约束驱动点云自适应抓取位姿估计的方法,包括以下内容:

4、步骤1:获取目标场景的三维点云数据,所述三维点云数据包含各点的三维空间坐标和特征属性;

5、步骤2:以所述三维点云数据中的各点为节点,基于节点间空间距离构建初始空间关系图,所述初始空间关系图中各节点与其余各节点中空间距离最小的k个节点之间形成边,k为正整数;

6、步骤3:针对所述初始空间关系图中各节点,计算末端执行器在对应空间位置执行抓取时的机械执行约束代价,所述机械执行约束代价包括可达性约束代价、碰撞约束代价和尺寸约束代价,对所述可达性约束代价、所述碰撞约束代价和所述尺寸约束代价进行加权融合并归一化得到综合约束代价,将所述综合约束代价映射为节点间的机械约束距离;

7、步骤4:对节点间空间距离进行归一化得到归一化空间距离,计算节点间特征属性差异得到特征距离,将所述归一化空间距离、所述特征距离和所述机械约束距离按预设权重加权组合,得到节点间综合关系距离;

8、步骤5:基于所述综合关系距离对各节点的邻域节点进行重新筛选,保留综合关系距离最小的k个邻域节点并更新边权重,得到更新后的空间关系图;

9、步骤6:将所述更新后的空间关系图输入图神经网络进行特征学习,所述图神经网络在消息传递阶段以所述综合关系距离调制注意力权重,对综合约束代价超过预设约束阈值的节点降低注意力权重,得到各节点的增强特征;

10、步骤7:根据各节点的所述增强特征生成候选抓取位姿,基于所述综合约束代价对所述候选抓取位姿进行筛选,剔除综合约束代价超过预设约束阈值的候选抓取位姿,输出最优抓取位姿。

11、本申请的第二方面提供了一种机械执行约束驱动点云自适应抓取位姿估计的系统,应用上述的一种机械执行约束驱动点云自适应抓取位姿估计的方法,包括:

12、点云获取模块,所述点云获取模块用于获取目标场景的三维点云数据,所述三维点云数据包含各点的三维空间坐标和特征属性;

13、初始空间关系图构建模块,所述初始空间关系图构建模块用于以所述三维点云数据中的各点为节点,基于节点间空间距离构建初始空间关系图,所述初始空间关系图中各节点与其余各节点中空间距离最小的k个节点之间形成边,k为正整数;

14、机械执行约束建模模块,所述机械执行约束建模模块用于针对所述初始空间关系图中各节点,计算末端执行器在对应空间位置执行抓取时的机械执行约束代价,所述机械执行约束代价包括可达性约束代价、碰撞约束代价和尺寸约束代价,对所述可达性约束代价、所述碰撞约束代价和所述尺寸约束代价进行加权融合并归一化得到综合约束代价,将所述综合约束代价映射为节点间的机械约束距离;

15、综合关系距离计算模块,所述综合关系距离计算模块用于对节点间空间距离进行归一化得到归一化空间距离,计算节点间特征属性差异得到特征距离,将所述归一化空间距离、所述特征距离和所述机械约束距离按预设权重加权组合,得到节点间综合关系距离;

16、空间关系自适应更新模块,所述空间关系自适应更新模块用于基于所述综合关系距离对各节点的邻域节点进行重新筛选,保留综合关系距离最小的k个邻域节点并更新边权重,得到更新后的空间关系图;

17、约束增强图特征学习模块,所述约束增强图特征学习模块用于将所述更新后的空间关系图输入图神经网络进行特征学习,所述图神经网络在消息传递阶段以所述综合关系距离调制注意力权重,对综合约束代价超过预设约束阈值的节点降低注意力权重,得到各节点的增强特征;

18、抓取位姿生成与筛选模块,所述抓取位姿生成与筛选模块用于根据各节点的所述增强特征生成候选抓取位姿,基于所述综合约束代价对所述候选抓取位姿进行筛选,剔除综合约束代价超过预设约束阈值的候选抓取位姿,输出最优抓取位姿。

19、本发明的有益效果是:本发明的空间关系图在反映点云几何邻近性的同时融入了机器人操作可行性信息,图网络在消息传递过程中能够抑制不可执行区域的特征传播,引导特征学习偏向可执行区域,从而减少预测结果中超出机械臂可达范围、存在碰撞风险或超出夹爪尺寸匹配范围的无效候选抓取位姿,降低后续运动规划环节的无效计算开销。

1.一种机械执行约束驱动点云自适应抓取位姿估计的方法,其特征在于,包括以下内容:

2.根据权利要求1所述的一种机械执行约束驱动点云自适应抓取位姿估计的方法,其特征在于,步骤3中所述可达性约束代价按下述方式确定:

3.根据权利要求2所述的一种机械执行约束驱动点云自适应抓取位姿估计的方法,其特征在于,步骤3中所述碰撞约束代价按下述方式确定:

4.根据权利要求3所述的一种机械执行约束驱动点云自适应抓取位姿估计的方法,其特征在于,步骤3中所述尺寸约束代价按下述方式确定:

5.根据权利要求4所述的一种机械执行约束驱动点云自适应抓取位姿估计的方法,其特征在于,步骤3中将所述综合约束代价映射为节点间的机械约束距离,按下述方式执行:

6.根据权利要求1所述的一种机械执行约束驱动点云自适应抓取位姿估计的方法,其特征在于,步骤5中所述基于所述综合关系距离对各节点的邻域节点进行重新筛选包括以下内容:

7.根据权利要求1所述的一种机械执行约束驱动点云自适应抓取位姿估计的方法,其特征在于,步骤6中所述图神经网络在消息传递阶段以所述综合关系距离调制注意力权重按下述方式执行:

8.根据权利要求1所述的一种机械执行约束驱动点云自适应抓取位姿估计的方法,其特征在于,步骤7中所述基于所述综合约束代价对所述候选抓取位姿进行筛选,包括第一阶段筛选和第二阶段筛选:

9.根据权利要求1所述的一种机械执行约束驱动点云自适应抓取位姿估计的方法,其特征在于,步骤7中所述输出最优抓取位姿包括以下内容:

10.一种机械执行约束驱动点云自适应抓取位姿估计的系统,其特征在于,应用于权利要求1-9任意一项所述的方法,包括: