一种杂乱场景全局到局部六自由度高效抓取检测方法

本发明涉及机器人抓取感知与控制，具体而言，涉及一种杂乱场景全局到局部六自由度高效抓取检测方法。

背景技术：

1、在机器人抓取感知与控制技术领域，六自由度抓取检测用于预测机器人末端执行器三维抓取位姿，支撑机器人在非结构化环境完成自主抓取，是智能机器人自动化作业的关键感知技术。在物体遮挡、堆叠、邻近干扰的杂乱场景中，现有抓取检测方法难以兼顾检测精度、鲁棒性与实时性，存在明显技术短板。

2、现阶段主流六自由度抓取检测算法，分别从抓取区域筛选、动态场景稠密位姿预测、抓取先验约束建模等角度优化检测效果，可满足常规结构化场景的机器人抓取作业需求。但这类通用算法均存在固有短板：全局点云遍历搜索算力开销庞大，实时性受限；动态稠密预测方案推理成本高；依托先验约束优化的模型，依旧无法解决候选搜索冗余问题，整体难以适配杂乱遮挡、物体堆叠的复杂工况。

3、总之，现有抓取检测算法存在难以调和的核心矛盾：全域点云搜索带来极大计算冗余，无法满足实时抓取需求；若简化搜索流程提升速度，又会削弱三维几何感知能力，降低位姿检测精度与模型泛化性。实际杂乱场景中，有效抓取位姿仅分布于物体局部区域，遮挡与堆叠干扰极易生成伪抓取候选，加之现有方案普遍存在二维筛选与三维空间可行性验证衔接不畅、局部三维几何细节优化不足、缺少三维置信度闭环反馈修正机制等问题，最终导致算法易出现抓取碰撞、物体滑脱、姿态偏移等故障，无效候选重复采样也进一步降低了候选利用率与整体抓取召回率。

4、因此，针对上述技术弊端，亟需设计一种全局粗筛、局部精调的层级化六自由度抓取检测方案，在保障检测精度与泛化能力的同时，减少无效计算，提升机器人杂乱场景下的抓取效率与作业可靠性。

技术实现思路

1、在为了解决上述问题，本发明的目的是提供一种杂乱场景全局到局部六自由度高效抓取检测方法，旨在解决现有六自由度抓取检测技术在杂乱场景中存在的整场景搜索计算开销大、候选区域利用率低、局部三维几何表达不足、二维候选结果与三维抓取可执行性衔接不充分等问题。

2、为了实现上述技术目的，本申请提供了一种杂乱场景全局到局部六自由度高效抓取检测方法，包括以下步骤：

3、根据当前杂乱抓取场景的rgb图像、深度图像和相机内参，提取候选抓取中心；

4、根据候选抓取中心构建候选局部三维点云，并根据候选局部点云对应的姿态参数信息，提取候选六自由度抓取位姿；

5、获取候选六自由度抓取位姿对应的三维置信度，以对低价值候选区域进行反馈修正，并更新候选抓取中心；

6、基于更新后的候选抓取中心对应的候选六自由度抓取位姿，通过确定目标抓取位姿，以控制机械臂执行抓取。

7、优选地，在获取候选抓取中心时，利用rgb图像表征物体颜色、纹理和轮廓信息；

8、利用深度图像表征场景深度信息；

9、利用相机内参建立二维图像坐标与三维空间坐标之间的映射关系。

10、优选地，在构建候选局部三维点云时，根据候选抓取中心、深度图像、相机内参和候选抓取中心对应的初始姿态参数，将二维候选抓取中心映射至三维空间，以得到候选局部三维点云。

11、优选地，在提取候选六自由度抓取位姿时，将局部三维点云以候选抓取中心为参考位置进行坐标归一化处理后，进行几何特征提取，并将几何特征与初始姿态参数进行融合，得到与当前候选抓取区域相匹配的局部几何特征；以提取候选六自由度抓取位姿。

12、优选地，在将几何特征与初始姿态参数融合时，通过将局部三维点云特征与初始姿态参数进行融合，使候选抓取位姿的修正过程同时参考物体局部表面形状和候选初始姿态；其中，局部三维点云特征包括多维特征向量；初始姿态参数包括夹爪开度、抓取深度、面内旋转角和面外姿态参数中的至少一种。

13、优选地，在提取候选六自由度抓取位姿时，根据局部几何特征，对候选抓取位姿进行修正，修正后输出候选六自由度抓取位姿，其中，修正包括抓取中心位置修正、姿态角度修正、夹爪开度修正和抓取深度修正中的至少一种。

14、优选地，在获取三维置信度时，通过三维置信度，表征候选抓取位姿与局部物体几何结构之间的一致程度，并判断该候选位姿是否具有实际抓取可执行性。

15、优选地，在获取三维置信度后，利用三维置信度统计当前候选集合的通过情况；当候选集合规模达到预设数量，且候选通过率低于预设阈值时，对低置信度候选区域进行局部抑制，在更新后的候选分布中重新选取候选抓取中心，以更新候选抓取中心。

16、优选地，在确定目标抓取位姿时，基于更新后的候选抓取中心对应的候选六自由度抓取位姿，进行评分排序、碰撞检测和非极大值抑制，以剔除与场景点云或相邻物体发生碰撞的候选位姿，并去除重复或相近的候选位姿后，选取得分较高且满足抓取约束的候选抓取位姿作为目标抓取位姿。

17、优选地，在控制机械臂执行抓取时，根据目标抓取位姿生成运动控制指令，控制机械臂末端执行器移动至对应三维位置，并按照确定的抓取姿态和夹爪开度完成抓取操作。

18、本发明公开了以下技术效果：

19、本发明能够有效降低整场景点云密集处理带来的计算冗余，提升杂乱、遮挡、堆叠和邻近物体干扰场景下抓取位姿的准确性和稳定性；同时，由于高开销的三维几何分析主要集中在少量高价值候选区域内执行，因此，能够提高六自由度抓取检测的推理效率，更适用于需要实时响应的机器人抓取任务。

20、本发明通过“全局快速筛选、局部精细修正、反馈更新候选、后处理执行抓取”的技术流程，在保证抓取位姿精度和可执行性的同时，降低了杂乱场景中的无效计算，提高了候选利用率、抓取稳定性、系统实时性和场景适应能力，能够较好地解决现有六自由度抓取检测方法在杂乱场景中精度、鲁棒性和高效性难以兼顾的问题。

1.一种杂乱场景全局到局部六自由度高效抓取检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述一种杂乱场景全局到局部六自由度高效抓取检测方法，其特征在于：

3.根据权利要求1所述一种杂乱场景全局到局部六自由度高效抓取检测方法，其特征在于：

4.根据权利要求1所述一种杂乱场景全局到局部六自由度高效抓取检测方法，其特征在于：

5.根据权利要求4所述一种杂乱场景全局到局部六自由度高效抓取检测方法，其特征在于：

6.根据权利要求4所述一种杂乱场景全局到局部六自由度高效抓取检测方法，其特征在于：

7.根据权利要求1所述一种杂乱场景全局到局部六自由度高效抓取检测方法，其特征在于：

8.根据权利要求1所述一种杂乱场景全局到局部六自由度高效抓取检测方法，其特征在于：

9.根据权利要求1所述一种杂乱场景全局到局部六自由度高效抓取检测方法，其特征在于：

10.根据权利要求1所述一种杂乱场景全局到局部六自由度高效抓取检测方法，其特征在于：