基于视觉定位的机器人精准抓取方法及系统与流程

本申请涉及机器人控制，尤其涉及一种基于视觉定位的机器人精准抓取方法及系统。

背景技术：

1、在智能制造与柔性生产场景中，机器人视觉抓取是实现物料分拣、自主上下料及精密装配等作业的核心技术。然而，当前主流的单一视觉方案在工业量产的高精度与高稳定性要求下，仍存在明显局限：传统基于二维图像的视觉方案仅能获取平面特征，缺乏对目标深度信息与空间三维姿态的有效解算能力，因而通常只适用于规则工件或固定姿态的简单抓取场景，面对异形、堆叠及姿态随机变化的复杂物料时，定位精度严重不足。

2、传统三维视觉方案虽然引入深度数据实现了空间定位，但其点云运算量大、实时性较差，且在工业现场复杂光照、遮挡及表面反光等工况下，极易出现深度点云缺失与累积误差；同时，此类方案在三维空间坐标与姿态解算的精度、通用性及坐标系适配方面仍存在诸多不足，难以有效满足多品类异形物料的柔性抓取需求。

3、近年来，行业内逐步引入视觉-语言-动作及视觉-世界-动作等人工智能视觉算法模型，这类方法在目标识别与特征感知上具备较强的场景适配灵活性，但其高度依赖大规模标注数据，在非标、复杂的工业生产工况下易出现推理漂移、特征误匹配及输出不稳定等问题，仅依靠单一人工智能算法难以达到工业量产所要求的高可靠性与高精度。

4、综上，传统视觉方案难以兼顾精度、实时性与柔性，而单一人智能视觉算法在复杂工业环境下则存在输出不稳定、可靠性低的短板。如何将传统三维视觉的几何解算能力与人工智能算法的感知灵活性有机融合，在规避推理不确定性的同时实现高精度、高稳定性的三维位姿解算，已成为当前机器人视觉抓取领域亟待突破的技术瓶颈。

技术实现思路

1、本申请实施例的目的是提供一种基于视觉定位的机器人精准抓取方法及系统，解决了单一视觉方案难以兼顾高精度、高稳定性与柔性抓取需求的问题。

2、为解决上述技术问题，本申请实施例提供如下技术方案：

3、本申请第一方面提供一种基于视觉定位的机器人精准抓取方法，所述方法包括：

4、获取全局视觉相机的图像数据与深度数据，利用视觉识别模型在所述图像数据中提取目标物的二维掩码，并将所述二维掩码结合所述深度数据映射为空间点云；

5、解析所述空间点云的空间几何特征以判定目标物的空间摆放形态，依据所述空间摆放形态自适应生成避免碰撞的预抓取空间点位及末端初始接近姿态，控制机械臂移动至所述预抓取空间点位；

6、通过末端局部视觉相机获取局部图像数据与局部深度数据，提取目标物的局部掩码，计算所述局部掩码的主方向几何特征并得到末端夹爪的旋转校准角度；

7、基于所述局部掩码对应的局部深度数据解算目标物的空间坐标，以所述空间坐标为基准，结合末端夹爪的尺寸沿抓取进给方向施加位置偏置以生成末端抓取坐标；

8、根据所述旋转校准角度和所述末端抓取坐标，生成精准抓取位姿，以控制机械臂执行抓取目标物。

9、本申请第二方面提供一种基于视觉定位的机器人精准抓取系统，所述系统包括：

10、空间点云生成模块，用于获取全局视觉相机的图像数据与深度数据，利用视觉识别模型在所述图像数据中提取目标物的二维掩码，并将所述二维掩码结合所述深度数据映射为空间点云；

11、第一控制模块，用于解析所述空间点云的空间几何特征以判定目标物的空间摆放形态，依据所述空间摆放形态自适应生成避免碰撞的预抓取空间点位及末端初始接近姿态，控制机械臂移动至所述预抓取空间点位；

12、旋转校准角度计算模块，用于通过末端局部视觉相机获取局部图像数据与局部深度数据，提取目标物的局部掩码，计算所述局部掩码的主方向几何特征并得到末端夹爪的旋转校准角度；

13、末端抓取坐标生成模块，用于基于所述局部掩码对应的局部深度数据解算目标物的空间坐标，以所述空间坐标为基准，结合末端夹爪的尺寸沿抓取进给方向施加位置偏置以生成末端抓取坐标；

14、第二控制模块，用于根据所述旋转校准角度和所述末端抓取坐标，生成精准抓取位姿，以控制机械臂执行抓取目标物。

15、相较于现有技术，本申请提供的基于视觉定位的机器人精准抓取方法及系统，本申请通过“全局粗定位与局部精抓取”相结合的两阶段视觉引导框架，有效融合了传统三维视觉的几何解算能力与人工智能算法的感知灵活性，克服了单一视觉方案在复杂工业场景下精度低、实时性差、柔性不足以及单一ai方案输出不稳定、可靠性低的双重缺陷。在全局阶段，利用视觉识别模型从图像中提取目标物的二维掩码并结合深度数据映射为空间点云，通过解析点云的空间几何特征自适应判定目标物的空间摆放形态，进而生成避碰的预抓取空间点位与末端初始接近姿态，解决了传统方法无法兼顾避障安全性与场景适应性的问题，实现了对异形、堆叠、姿态随机物料的柔性感知与安全趋近。在局部阶段，通过末端局部视觉相机获取高分辨率的局部图像与深度数据，提取局部掩码并计算其主方向几何特征以获取末端夹爪的旋转校准角度，同时基于局部深度数据解算目标物的精确空间坐标并施以夹爪尺寸偏置生成末端抓取坐标，利用二维纹理特征与三维空间信息的联合解算实现了对目标物六自由度位姿的高精度校准，有效规避了单一ai模型在非标工业工况下的推理漂移与特征误匹配风险。两阶段协同配合，在保证抓取精度的同时显著增强了系统的可靠性与通用性，可满足工业量产场景对高精度、高稳定性柔性抓取的严格要求。

1.一种基于视觉定位的机器人精准抓取方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述利用视觉识别模型在所述图像数据中提取目标物的二维掩码，包括：

3.根据权利要求1所述的方法，其特征在于，所述将所述二维掩码结合所述深度数据映射为空间点云，包括：

4.根据权利要求3所述的方法，其特征在于，所述全局视觉相机的相机标定参数通过以下方式预先计算并载入所述坐标变换树，包括：

5.根据权利要求1所述的方法，其特征在于，所述解析所述空间点云的空间几何特征以判定目标物的空间摆放形态，依据所述空间摆放形态自适应生成避免碰撞的预抓取空间点位及末端初始接近姿态，包括：

6.根据权利要求1所述的方法，其特征在于，所述提取目标物的局部掩码，计算所述局部掩码的主方向几何特征并得到末端夹爪的旋转校准角度，包括：

7.根据权利要求1所述的方法，其特征在于，所述基于所述局部掩码对应的局部深度数据解算目标物的空间坐标，包括：

8.根据权利要求7所述的方法，其特征在于，所述以所述空间坐标为基准，结合末端夹爪的尺寸沿抓取进给方向施加位置偏置以生成末端抓取坐标包括：

9.根据权利要求1所述的方法，其特征在于，所述根据所述旋转校准角度和所述末端抓取坐标，生成精准抓取位姿，包括：

10.一种基于视觉定位的机器人精准抓取系统，其特征在于，所述系统包括：