一种基于RGB-D与视觉模型的零件抓取定位方法

本发明涉及机器人视觉定位、人机协作装配与工业零件抓取控制，尤其涉及一种基于rgb-d与视觉模型的零件抓取定位方法。

背景技术：

1、在工业装配、人机协作和机器人辅助作业场景中，机器人常需要根据操作者指令对轴承、齿轮、垫片、螺母等小型工业零件进行识别、定位和抓取。传统机器人视觉抓取系统通常依赖预先训练的目标检测模型，基于大量标注图像训练检测网络。该类方法在目标类别固定、图像样本充足的场景中具有一定效果，但在多品种、小批量、教学型装配或临时任务场景中，需要频繁增加新类别零件，重新采集和标注数据的成本较高，部署灵活性不足。

2、单纯基于rgb图像的目标检测方法通常只能得到二维图像坐标，无法直接获得机器人抓取所需的三维空间坐标。虽然rgb-d相机能够获取深度信息，但深度图像本身缺乏目标语义，难以直接判断某一深度区域是否对应待抓取零件。因此，如何将视觉语义识别能力与rgb-d深度测量能力有机结合，是实现机器人自主抓取定位的核心问题之一。

3、视觉大模型具备较强的开放词汇图像理解能力，能够根据自然语言描述在图像中定位目标物体。然而，视觉大模型通常仅输出二维边界框或二维中心点，不能直接输出机器人控制所需的准确三维抓取坐标；同时，工业小型零件往往存在目标尺寸小、金属反光、背景复杂、同类零件外观相近等问题，容易导致视觉定位失败。此外，实际系统中还可能出现rgb-d相机彩色帧黑帧、深度无效、相机到机器人基座外参错误等问题，若直接将错误坐标下发至机器人，可能导致机器人运动失败甚至产生安全风险。

4、现有技术中，部分方案尝试将视觉大模型与三维感知结合用于机器人操作，但大多基于二维rgb图像，缺乏针对金属反光表面的深度滤波处理，直接应用于工业零件抓取时可靠性不足；部分基于深度学习的视觉定位方案依赖特定数据集训练与形变预测，无法适应多品种小批量场景的零样本快速部署需求。学术领域的相关方案或依赖精确的cad模型与点云配准，部署成本较高；或面向通用场景设计，未针对工业小型零件进行视觉特征增强，也缺乏机器人关节边界与工作区的前置安全校验，未能系统性解决工业装配场景中图像黑帧、深度空洞、外参异常导致机器人异常运动等工程化问题。

5、因此，亟需一种能够融合视觉大模型二维定位能力与rgb-d深度测量能力，同时具备图像有效性检测、工业零件视觉描述增强、深度有效性筛选、坐标转换和机器人运动安全校验的工业零件抓取定位方案。

技术实现思路

1、本发明的目的在于克服现有技术中存在的上述不足，提供一种基于rgb-d与视觉模型的零件抓取定位方法，此方法降低了对标注样本的依赖，可有效提升工业小型零件抓取定位的适应性、可靠性与运动安全性，适配多品种、小批量的装配作业场景。

2、为了实现上述的技术特征，本发明的目的是这样实现的：本发明第一方面提供一种基于rgb-d与视觉模型的零件抓取定位方法，包括如下步骤：

3、s1，获取rgb-d相机采集的彩色图像与深度图像，并获取所述rgb-d相机的相机内参，以及rgb-d相机坐标系至机器人基座坐标系的外参矩阵；

4、s2，对所述彩色图像进行图像有效性检测，若检测不通过则重新获取彩色图像；

5、s3，获取待抓取零件的目标描述，根据所述目标描述生成视觉增强描述；

6、s4，将所述彩色图像与所述视觉增强描述输入视觉大模型，获得待抓取零件在彩色图像中的二维定位结果；

7、s5，根据所述二维定位结果在与彩色图像对齐的深度图像中获取目标区域深度值，并对深度值进行有效性筛选，得到目标深度值；

8、s6，根据所述相机内参、二维定位结果与目标深度值，反投影得到rgb-d相机坐标系下的目标相机坐标；

9、s7，根据所述外参矩阵将所述目标相机坐标转换为机器人基座坐标系下的目标基座坐标；

10、s8，对所述目标基座坐标进行抓取工作区校验与运动安全校验，校验通过则输出机器人抓取目标点；校验不通过则输出定位异常信息并禁止下发机器人抓取运动指令。

11、优选地，步骤s2中所述图像有效性检测包括黑帧检测、亮度检测和非零像素比例检测；具体为：

12、计算彩色图像的像素均值、像素标准差与非零像素比例；

13、当像素均值小于第一阈值、像素标准差小于第二阈值或非零像素比例小于第三阈值时，判定彩色图像无效，重新获取彩色图像。

14、优选地，步骤s3中所述视觉增强描述包括待抓取零件的形状特征、孔洞特征、材质特征和/或类别同义描述；

15、所述根据目标描述生成视觉增强描述具体包括：基于预设的工业零件视觉特征词典，将目标描述映射为包含视觉属性的增强描述。

16、优选地，当目标描述包含轴承时，生成包括圆环状、中心有孔、金属零件、内圈和外圈中的至少一种视觉特征描述；

17、当目标描述包含齿轮时，生成包括圆形、外圈有齿、中心有孔和金属零件中的至少一种视觉特征描述；

18、当目标描述包含垫片时，生成包括薄圆环、中心有孔和薄片状金属件中的至少一种视觉特征描述；

19、当目标描述包含螺母时，生成包括六角形、中心有孔和螺纹孔中的至少一种视觉特征描述。

20、优选地，步骤s4中所述二维定位结果包括二维边界框和/或二维中心点，还包括置信度；

21、在获得二维定位结果后，对二维边界框的面积、宽高比、二维中心点是否位于图像边缘以及置信度进行有效性校验；

22、若视觉大模型未返回有效二维定位结果，则根据目标描述生成多个候选视觉描述，依次输入视觉大模型进行重试，直至获得有效结果或达到预设重试次数。

23、优选地，步骤s5中对深度值进行有效性筛选包括：

24、以二维定位结果中的二维中心点为中心，在深度图像中选取预设尺寸的邻域窗口；

25、剔除邻域窗口中的零值深度、超出预设深度范围的深度以及突变深度；

26、对保留的有效深度取中值、均值或加权均值，得到目标深度值。

27、优选地，步骤s6中，根据如下公式计算目标相机坐标：

28、；

29、；

30、；

31、其中，和为二维中心点的像素坐标，为目标深度值，、、、为rgb-d相机的相机内参，、、为目标相机坐标。

32、优选地，步骤s7中，根据如下公式计算目标基座坐标：

33、；

34、其中，为齐次形式的目标相机坐标，为rgb-d相机坐标系至机器人基座坐标系的外参矩阵，为齐次形式的目标基座坐标。

35、优选地，步骤s8中所述抓取工作区校验包括：

36、判断目标基座坐标是否位于预设抓取工作区内，所述预设抓取工作区由机器人基座坐标系下的x轴范围、y轴范围和z轴范围限定；

37、若目标基座坐标位于机器人基座后方、接近机器人基座中心线或超出预设抓取工作区，则判定为无效；

38、步骤s8中所述运动安全校验包括：

39、根据目标基座坐标计算机器人基座平面方向角；

40、当所述机器人基座平面方向角与机器人第一关节运动边界的差值小于预设阈值时，判定存在关节边界或奇异风险，禁止下发机器人运动指令。

41、优选地，还包括失败样本记录步骤：

42、当视觉大模型未找到目标、深度值无效、外参矩阵不可用、目标基座坐标超出工作区或运动安全校验不通过时，保存本次彩色图像、目标描述、视觉大模型返回结果、二维定位结果、深度值、目标相机坐标、目标基座坐标和失败类型。

43、优选地，所述机器人抓取目标点包括目标基座坐标、预抓取点和抓取执行点；

44、所述预抓取点根据目标基座坐标沿机器人基座坐标系竖直方向增加预设安全高度得到；

45、所述抓取执行点根据目标基座坐标与末端执行器工具中心点偏移量得到。

46、本发明第二方面提供一种基于rgb-d与视觉模型的零件抓取定位系统，包括：

47、rgb-d图像采集模块，用于获取彩色图像、深度图像和相机内参；

48、图像有效性检测模块，用于对所述彩色图像进行图像有效性检测，检测不通过时触发重新采集；

49、目标描述增强模块，用于根据待抓取零件的目标描述生成视觉增强描述；

50、视觉大模型定位模块，用于将彩色图像与视觉增强描述输入视觉大模型，获得待抓取零件的二维定位结果；

51、深度融合模块，用于根据二维定位结果在对齐深度图像中获取目标区域深度值，并经有效性筛选得到目标深度值；

52、相机坐标计算模块，用于根据相机内参、二维定位结果与目标深度值，反投影得到目标相机坐标；

53、基座坐标转换模块，用于根据rgb-d相机坐标系至机器人基座坐标系的外参矩阵，将目标相机坐标转换为目标基座坐标；

54、安全校验模块，用于对目标基座坐标进行抓取工作区校验与运动安全校验；

55、抓取目标输出模块，用于在校验通过后输出机器人抓取目标点，校验不通过时输出定位异常信息并禁止下发机器人抓取运动指令。

56、优选地，所述目标描述增强模块内置工业零件视觉特征词典，所述工业零件视觉特征词典至少包括轴承、齿轮、垫片、螺母、螺栓和轴类零件对应的形状特征、孔洞特征、材质特征和类别同义描述。

57、优选地，所述安全校验模块包括：

58、工作区判断单元，用于判断目标基座坐标是否位于预设抓取工作区；

59、关节边界判断单元，用于根据目标基座坐标计算机器人基座平面方向角，并判断是否接近机器人第一关节运动边界；

60、异常拦截单元，用于在目标基座坐标超出预设抓取工作区或接近机器人第一关节运动边界时，禁止向机器人控制器下发运动指令。

61、优选地，还包括失败样本记录模块，用于在定位失败时保存本次彩色图像、目标描述、视觉大模型返回结果、二维定位结果、深度值、目标相机坐标、目标基座坐标和失败类型。

62、本发明第三方面提供一种电子设备，包括处理器、存储器以及存储在所述存储器上并可由所述处理器执行的计算机程序，所述计算机程序被所述处理器执行时实现所述的基于rgb-d与视觉模型的零件抓取定位方法。

63、本发明第四方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于rgb-d与视觉模型的零件抓取定位方法。

64、本发明第四方面提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现所述的基于rgb-d与视觉模型的零件抓取定位方法。

65、本发明有如下有益效果：

66、1.依托视觉大模型的开放词汇能力实现零件二维定位，无需针对新类别零件重新训练检测模型，大幅降低了对标注样本的依赖，适配多品种、小批量的工业装配场景，部署门槛更低。

67、2.通过rgb-d深度图像将二维语义定位结果转换为三维空间坐标，使定位结果可直接用于机器人抓取规划，打通了视觉语义到机器人执行的链路。

68、3.增设工业零件视觉增强描述机制，针对轴承、齿轮、垫片、螺母等典型小型零件补充形状、材质、孔洞等视觉特征，显著提升金属小零件的视觉定位成功率。

69、4.前置彩色图像有效性检测与深度邻域筛选机制，可规避黑帧、低亮度图像输入模型的问题，同时抑制金属反光、深度空洞带来的深度噪声，提升定位鲁棒性。

70、5.新增抓取工作区校验与运动安全校验环节，可在外参错误、目标越界或接近关节奇异位形时拦截运动指令，避免机器人向后方或边界区域异常运动，提升系统运行安全性。

71、6.配置全流程失败样本记录能力，可留存图像、模型输出、坐标、外参与失败类型等数据，便于快速定位故障原因，提升系统调试与标定效率。

72、7.无需依赖零件cad模型与预先构建的三维模型库，现场实施流程简化，工程落地性更强。