基于视觉引导的机器人上下料精准定位方法和系统与流程

本发明涉及机器人视觉定位，具体为基于视觉引导的机器人上下料精准定位方法和系统。

背景技术：

1、在工业生产的自动化上下料作业中，目标工件通常呈现无序堆叠或随机摆放的状态。为了确保机械臂末端执行器能够准确抓取工件，避免物理碰撞并满足后续工艺的装配公差要求，业内广泛采用机器视觉技术对机械臂的运动轨迹进行引导与位姿补偿。

2、为了提升机器人上下料的定位精度，业内进行了大量的技术研发。例如，公开号为cn112589787a的专利申请公开了一种进料转盘机械臂上下样的视觉定位及手眼标定方法，其通过在机械臂末端和工件上设置视觉标识完成系统标定并计算目标位姿；在此基础上，针对动态作业场景，公开号为cn112456128b的专利申请公开了一种基于机器视觉的流水线上自动上下料方法和系统，结合工件位置信息与输送线运动速度计算抓取位置以补偿流水线节拍；此外，为了获取深度空间信息，公开号为cn106625676a的专利申请公开了一种汽车智能制造自动上料的三维视觉精确引导定位方法，利用三维视觉获取零部件姿态并计算偏差以修正机械臂运动轨迹；同时，在点云数据处理方面，公开号为cn119873310a的专利申请公开了一种基于3d视觉的上料台位置配准方法，通过目标点云与模板点云的匹配计算位姿偏差来进行位置补偿。这些现有技术从标识辅助标定、动态节拍补偿、三维轨迹修正以及点云配准等维度提升了上下料作业的自动化水平。

3、然而，上述视觉引导定位方案在应对复杂工业现场工况时仍存在技术局限。现有的视觉定位方法一般依赖于理想的表面成像条件和预设的固定观测视角。当目标工件表面存在金属反光特性或处于局部遮挡状态时，单次固定视角的静态三维成像往往会产生大面积的数据空洞和畸变噪点，导致后续的点云特征配准失效或精度严重下降。为了获取完整的工件表面数据，直接控制局部三维相机进行多角度拍摄虽然是常规手段，但现有技术在规划相机移动探测轨迹时，仅单向关注视觉特征的覆盖面，未将机械臂底层的运动学物理约束纳入协同考量。这种单向控制逻辑在实际运行中，极易导致机械臂在趋近料箱边缘或调整复杂姿态时遭遇运动学奇异位形，使得底层关节丧失运动裕度，进而引发轨迹跟踪失败或设备报警停机。目前业内缺乏一种能够同步兼顾三维点云成像质量与机器人底层物理位姿灵活度，并据此自主生成微动轨迹获取全局融合数据的精准定位方法。

技术实现思路

1、针对现有技术的不足，本发明提供了基于视觉引导的机器人上下料精准定位方法和系统，解决了机器人上下料过程中，因工件表面反光导致视觉点云数据缺失，以及机械臂在寻找最佳观测视角时易陷入奇异位形的问题。

2、为实现以上目的，本发明通过以下技术方案予以实现：

3、发明第一方面提供一种基于视觉引导的机器人上下料精准定位方法，包括以下步骤：

4、获取全局深度图像并提取目标工件的初始三维坐标，引导局部三维相机至初始观测位姿；

5、利用所述局部三维相机采集局部点云计算点云质量指数，并基于机械臂的雅可比矩阵计算运动学可操作度；

6、根据所述点云质量指数与所述运动学可操作度构建联合代价函数；基于所述联合代价函数判断当前位姿是否满足设定阈值条件：

7、若未满足，则根据所述点云质量指数与所述运动学可操作度合成联合梯度向量，驱动所述机械臂微动探测并连续采集局部点云，直至满足所述设定阈值条件；

8、满足所述设定阈值条件后，提取多帧所述局部点云映射至机器人基坐标系生成全局融合点云；

9、将所述全局融合点云与所述目标工件的模板点云配准并解算位姿变换矩阵，驱动机械臂完成上下料作业。

10、优选的，所述根据所述点云质量指数与所述运动学可操作度合成联合梯度向量，包括：

11、分别计算所述点云质量指数的视觉梯度向量与所述运动学可操作度的运动学梯度向量；

12、将所述运动学梯度向量由机器人的关节空间映射至笛卡尔空间；

13、将映射至笛卡尔空间后的所述运动学梯度向量与所述视觉梯度向量进行合成，得到用于下发微动指令的所述联合梯度向量。

14、优选的，所述提取目标工件的初始三维坐标，包括：

15、对所述全局深度图像执行去噪过滤操作获得去噪后的全局目标点云，采用欧式聚类算法将距离小于设定聚类阈值的数据点划分为同一个工件聚类集合；

16、选取点云数量最大的集合作为目标点云簇，计算所述目标点云簇协方差矩阵的特征值与特征向量；

17、依据所述特征值与所述特征向量构建紧密包围所述目标点云簇的有向包围盒，提取所述有向包围盒的几何形心，将所述几何形心确定为所述目标工件的所述初始三维坐标。

18、优选的，所述计算点云质量指数，具体为构建融合点云空间完整度比例与表面法向量畸变程度的标量函数，并根据如下公式计算：

19、；

20、式中，，为感兴趣区域内预设的理想点云总数常数，为单帧局部点云中实际捕获的有效三维点数量，为定义在单帧局部点云搜索半径内的邻域点总数，为邻域内第个有效三维点的局部法向量，为局部邻域内的平均法向量，与分别为第一归一化权重常数与第二归一化权重常数，为以自然常数为底的指数函数，表示向量的二范数。

21、优选的，所述构建联合代价函数，并基于所述联合代价函数判断当前位姿是否满足设定阈值条件，具体包括：

22、采用线性加权组合方式融合所述点云质量指数与所述运动学可操作度计算出所述联合代价函数的值；

23、当所述联合代价函数的值不大于预设的代价函数下限阈值时，判定为未满足所述设定阈值条件。

24、优选的，所述计算所述点云质量指数的视觉梯度向量，包括：

25、在局部笛卡尔空间内构建二次多项式响应面模型，拟合所述滑动窗口内记录的局部位置偏差向量与所述点云质量指数之间的映射关系；

26、将所述滑动窗口内的数据节点代入所述二次多项式响应面模型中构建超定方程组，调用最小二乘算法进行矩阵伪逆运算，求解出常数项系数、一阶系数向量以及二阶对称系数矩阵的最优解；

27、对拟合得到的所述二次多项式响应面模型在所述局部位置偏差向量为零向量处进行一阶偏导数求解，将提取出的所述一阶系数向量作为所述点云质量指数的视觉梯度向量。

28、优选的，所述计算所述运动学可操作度的运动学梯度向量，并将所述运动学梯度向量映射至笛卡尔空间后与所述视觉梯度向量合成联合梯度向量，包括：

29、对所述运动学可操作度进行解析求导，计算相对于所述机械臂各个关节角度的偏导数，生成定义在关节空间内的关节空间运动学梯度向量；

30、调用当前位形下的雅可比矩阵伪逆的转置矩阵，将所述关节空间运动学梯度向量映射至笛卡尔空间，生成映射至笛卡尔空间的运动学梯度向量；

31、将拟合得到的所述视觉梯度向量与所述映射至笛卡尔空间的运动学梯度向量进行线性加权合成，生成用于下发驱动控制的所述联合梯度向量。

32、优选的，所述驱动所述机械臂微动探测，包括：

33、设定比例增益系数，将所述联合梯度向量乘以所述比例增益系数，生成笛卡尔空间末端速度指令；

34、当所述笛卡尔空间末端速度指令的速度模长超过预设的最大安全线速度或最大安全角速度时，按比例对速度分量进行缩放，以执行限幅过滤；

35、将限幅过滤后的所述笛卡尔空间末端速度指令代入雅可比矩阵的逆向映射关系中，计算出底层的关节空间速度指令并下发至底层伺服驱动器，以驱动所述机械臂进行自适应的微动轨迹形变。

36、优选的，所述提取多帧所述局部点云，包括：

37、在时间轴上设定时间对比窗口并遍历微动探测过程中的所述联合代价函数的值；

38、当任一采样周期的所述联合代价函数的值为所述时间对比窗口内的最大函数值时，判定对应时间戳的位姿为局部极值点；

39、提取所述局部极值点对应的单帧局部点云，将提取的各单帧局部点云存入有效数据队列，形成所述多帧所述局部点云。

40、优选的，所述映射至机器人基坐标系生成全局融合点云，包括：

41、调用预先标定的手眼转换矩阵，计算每一帧所述局部点云采集时刻所述机械臂末端法兰坐标系相对于机器人基坐标系的空间坐标系转换矩阵；

42、利用所述空间坐标系转换矩阵对所述多帧所述局部点云执行物理空间映射运算，将所述多帧所述局部点云统一至所述机器人基坐标系；

43、在所述机器人基坐标系下构建三维体素网格，计算微小立方体内重叠数据点的三维坐标质心，利用所述三维坐标质心替代所述微小立方体内的所述重叠数据点，执行降采样去重处理生成所述全局融合点云。

44、优选的，所述将所述全局融合点云与所述目标工件的模板点云配准并解算位姿变换矩阵，包括：

45、提取所述模板点云与所述全局融合点云的快速点特征直方图，进行粗配准生成初始空间变换矩阵；

46、设定所述全局融合点云为目标点集，设定经过所述初始空间变换矩阵调整后的所述模板点云为源点集，构建包含三维旋转矩阵与三维平移向量的空间距离目标函数执行迭代最近点算法；

47、提取收敛状态下的三维旋转矩阵与三维平移向量，组装为所述位姿变换矩阵。

48、优选的，所述根据所述位姿变换矩阵生成上下料作业路径，包括： 利用所述位姿变换矩阵计算转换后的所述模板点云与所述全局融合点云对应特征点之间的均方根误差；

49、当所述均方根误差小于预设的物理装配公差阈值时，根据所述位姿变换矩阵计算所述目标工件抓取点的绝对目标位姿，并在法线方向上向外偏移生成安全接近点；

50、利用多项式插值算法规划生成三维作业路径，将所述三维作业路径确定为所述上下料作业路径。

51、本发明第二方面提供一种基于视觉引导的机器人上下料精准定位系统，用于实现本发明第一方面所述的定位方法，包括机械臂、全局三维相机、局部三维相机以及控制系统；

52、所述全局三维相机固定设置于工作区上方，用于获取全局深度图像；

53、所述局部三维相机安装于所述机械臂的末端执行器法兰处，用于采集目标工件的局部点云；

54、所述控制系统内设置有：

55、视觉引导模块，用于获取全局深度图像并提取目标工件的初始三维坐标，引导局部三维相机至初始观测位姿；

56、数据评估模块，用于利用所述局部三维相机采集局部点云计算点云质量指数，并基于机械臂的雅可比矩阵计算运动学可操作度；

57、寻优控制模块，用于根据所述点云质量指数与所述运动学可操作度构建联合代价函数；基于所述联合代价函数判断当前位姿是否满足设定阈值条件：若未满足，则根据所述点云质量指数与所述运动学可操作度合成联合梯度向量，驱动所述机械臂微动探测并连续采集局部点云，直至满足所述设定阈值条件；

58、位姿解析模块，用于满足所述设定阈值条件后，提取多帧所述局部点云映射至机器人基坐标系生成全局融合点云；将所述全局融合点云与所述目标工件的模板点云配准并解算位姿变换矩阵，驱动机械臂完成上下料作业。

59、本发明第三方面提供基于视觉引导的机器人上下料精准定位系统，其包括机械臂、全局三维相机、局部三维相机和控制系统；所述全局三维相机固定设置于工作区上方，用于获取全局深度图像；所述局部三维相机安装于所述机械臂的末端执行器法兰处，用于采集目标工件的局部点云；所述控制系统用于执行第一方面任意一种所述的基于视觉引导的机器人上下料精准定位方法。

60、本发明第四方面提供一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明第一方面所述的基于视觉引导的机器人上下料精准定位方法。

61、本发明第五方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明第一方面所述的基于视觉引导的机器人上下料精准定位方法。

62、本发明提供的基于视觉引导的机器人上下料精准定位方法和系统，其具备以下有益效果：

63、本发明通过根据点云质量指数与运动学可操作度构建联合代价函数，并在未满足设定阈值条件时，合成联合梯度向量驱动机械臂进行微动探测，由于综合考虑了视觉成像质量和机器人底层运动学状态，系统能够在受工件表面反光干扰或局部观测视角受限时，自主驱动局部三维相机移动至既能采集完整点云、又能保持机械臂姿态灵活的位置，避免了机械臂在寻优过程中陷入运动学奇异位形，提高了复杂工况下上下料定位的成功率与运行稳定性。

64、本发明通过提取局部极值点对应的多帧局部点云，利用空间坐标系转换矩阵将其物理映射至机器人基坐标系生成全局融合点云，并在三维体素网格下执行降采样去重处理，克服了单视角拍摄容易产生的反光空洞与数据缺失缺陷，通过多视角数据堆叠获取了工件完整的表面几何特征，同时利用三维坐标质心替代并剔除重叠数据，在不损失特征配准精度的前提下，有效降低了冗余数据量，减轻了控制系统的运算负荷，缩短了后续位姿解算的处理周期。

65、本发明通过全局三维相机提取初始三维坐标将局部三维相机引导至初始观测位姿，并将生成的全局融合点云与模板点云进行特征配准以解算出位姿变换矩阵，进而规划上下料作业路径，一方面结合了全局大视野无碰撞搜索与局部高精度观测的优势，另一方面根据绝对目标位姿法线方向上向外偏移生成安全接近点，能够消除物理装配的累积公差并降低机械臂末端碰撞风险，确保了目标工件抓取作业的精准性与安全性。