机器人的位置示教方法、装置及系统与流程

摘要: 本发明涉及图像处理,尤其涉及一种机器人的位置示教方法、装置及系统。背景技术:1、在半导体晶圆制造等精密生产制造流程中,晶圆搬运机器人的目标点位定位精度直接决定了...
机器人的位置示教方法、装置及系统与流程

本发明涉及图像处理,尤其涉及一种机器人的位置示教方法、装置及系统。

背景技术:

1、在半导体晶圆制造等精密生产制造流程中,晶圆搬运机器人的目标点位定位精度直接决定了最终的产品良率。随着产线产能规模的持续扩张,工业自动化生产对机器人目标点位自动示教的定位精度以及运行效率的要求日益提高。

2、现有的基于视觉的机器人自动示教方案通常采用目标图像识别并结合手眼标定的方式来实现空间位姿计算。在具体实施流程中,该方案首先通过相机采集目标工件的图像并识别其特征,依赖预先完成的相机标定结果将图像特征转换为相机坐标系下的目标位姿。随后,必须借助前期校准的手眼标定模型,将相机坐标系下的位姿数据转换至机器人的基坐标系下,经过多次坐标系变换从而完成目标点位的最终空间定位。

3、在现有技术中,系统各模块在独立执行过程中均存在固有的计算误差。在进行跨坐标系的转换时,这些各自独立的固有误差会经历较长的误差传递链路,产生显著的误差级联与累积效应,导致系统整体的位姿解算误差偏大,最终的系统定位精度较差,难以满足高精密工艺设备的准确定位需求。

技术实现思路

1、本发明提供一种机器人的位置示教方法、装置及系统,用以解决现有技术中的缺陷,实现了目标点位的高精度与快速自动示教。

2、本发明提供一种机器人的位置示教方法,包括如下步骤:

3、获取包含第一标识物和第二标识物的目标图像,所述第一标识物设置于机械手上,所述第二标识物设置于与目标位置关联的目标结构上;所述目标图像由随所述机械手同步运动的图像采集装置采集得到;

4、提取所述目标图像中所述第一标识物的第一图像特征以及所述第二标识物的第二图像特征;

5、基于所述第一图像特征和所述第二图像特征,分别解算得到所述第一标识物在所述图像采集装置坐标系下的第一位姿参数,以及所述第二标识物在所述图像采集装置坐标系下的第二位姿参数;

6、根据所述第一位姿参数和所述第二位姿参数,计算所述第二标识物相对于所述第一标识物的相对位姿变换矩阵;

7、基于所述机械手相对于机器人基坐标系的当前空间位姿、所述机械手与所述第一标识物之间的第一空间变换关系、所述相对位姿变换矩阵以及所述第二标识物与所述目标位置之间的第二空间变换关系,确定所述目标位置在所述机器人基坐标系下的全局空间位姿数据。

8、根据本发明提供的一种机器人的位置示教方法,所述第一位姿参数包括第一旋转向量和第一平移向量,所述第二位姿参数包括第二旋转向量和第二平移向量;

9、所述根据所述第一位姿参数和所述第二位姿参数,计算所述第二标识物相对于所述第一标识物的相对位姿变换矩阵,包括:

10、将所述第一旋转向量转换为第一旋转矩阵,将所述第二旋转向量转换为第二旋转矩阵;

11、基于所述第一旋转矩阵和所述第一平移向量构建第一变换矩阵;

12、基于所述第二旋转矩阵和所述第二平移向量构建第二变换矩阵;

13、计算所述第一变换矩阵的逆矩阵,并将所述逆矩阵与所述第二变换矩阵相乘,得到所述相对位姿变换矩阵。

14、根据本发明提供的一种机器人的位置示教方法,在获取包含第一标识物和第二标识物的目标图像之前,还包括:

15、保持所述第二标识物的空间位置固定,控制所述机械手移动至多个不同的空间位置;

16、在每个所述空间位置处,采集包含所述第一标识物和所述第二标识物的标定图像,计算所述空间位置下所述第二标识物相对于所述第一标识物的相对位姿变换矩阵,并记录所述空间位置下所述机械手的参考空间位姿矩阵;

17、基于各所述空间位置对应的所述相对位姿变换矩阵和所述参考空间位姿矩阵,构建残差函数;

18、通过非线性最小二乘法求解所述残差函数,得到所述机械手与所述第一标识物之间的所述第一空间变换关系。

19、根据本发明提供的一种机器人的位置示教方法,所述基于各所述空间位置对应的所述相对位姿变换矩阵和所述参考空间位姿矩阵,构建残差函数,包括:

20、从所述多个不同的空间位置中任意选取第一空间位置和与所述第一空间位置不同的第二空间位置;

21、将所述第二空间位置对应的参考空间位姿矩阵的逆矩阵,与所述第一空间位置对应的参考空间位姿矩阵相乘,得到第一乘积项;

22、按照所述第一空间变换关系、所述第二空间位置对应的相对位姿变换矩阵、所述第一空间位置对应的相对位姿变换矩阵的逆矩阵,以及所述第一空间变换关系的逆矩阵的顺序依次进行矩阵相乘,得到第二乘积项;

23、将所述第一乘积项与所述第二乘积项作差,得到对应于所述第一空间位置和所述第二空间位置的残差值;

24、遍历所述多个不同的空间位置以获取多组残差值,并基于所述多组残差值构建所述残差函数。

25、根据本发明提供的一种机器人的位置示教方法,所述提取所述目标图像中所述第一标识物的第一图像特征以及所述第二标识物的第二图像特征,包括:

26、将所述目标图像转换为灰度图像;

27、在所述灰度图像中检测所述第一标识物的第一初始角点和所述第二标识物的第二初始角点;

28、通过亚像素检测算法对所述第一初始角点和所述第二初始角点进行精细化处理,分别得到所述第一图像特征和所述第二图像特征。

29、根据本发明提供的一种机器人的位置示教方法,所述基于所述第一图像特征和所述第二图像特征,分别解算得到所述第一标识物在所述图像采集装置坐标系下的第一位姿参数,以及所述第二标识物在所述图像采集装置坐标系下的第二位姿参数,包括:

30、根据所述图像采集装置的内参,采用透视n点定位算法对所述第一图像特征和所述第二图像特征进行位置解算,分别得到包含旋转向量和平移向量的所述第一位姿参数和所述第二位姿参数。

31、根据本发明提供的一种机器人的位置示教方法,还包括:

32、提取所述相对位姿变换矩阵中的平移向量部分,作为所述第二标识物相对于所述第一标识物的三维坐标位置结果;

33、提取所述相对位姿变换矩阵中的旋转矩阵部分,并基于所述旋转矩阵部分的第二行第一列元素和第一行第一列元素,通过反正切函数计算所述第二标识物相对于所述第一标识物绕z轴的偏航角。

34、根据本发明提供的一种机器人的位置示教方法,所述确定所述目标位置在所述机器人基坐标系下的全局空间位姿数据,包括:

35、将所述当前空间位姿、所述第一空间变换关系以及所述第二空间变换关系分别转换为对应的四阶齐次变换矩阵;

36、按照所述当前空间位姿的齐次变换矩阵、所述第一空间变换关系的齐次变换矩阵、所述相对位姿变换矩阵以及所述第二空间变换关系的齐次变换矩阵的顺序依次进行矩阵连乘,得到最终变换矩阵;

37、将所述最终变换矩阵作为所述全局空间位姿数据。

38、本发明还提供一种机器人的位置示教装置,包括如下模块:

39、图像获取模块,用于获取包含第一标识物和第二标识物的目标图像,所述第一标识物设置于机械手上,所述第二标识物设置于与目标位置关联的目标结构上;所述目标图像由随所述机械手同步运动的图像采集装置采集得到;

40、特征提取模块,用于提取所述目标图像中所述第一标识物的第一图像特征以及所述第二标识物的第二图像特征;

41、位姿解算模块,用于基于所述第一图像特征和所述第二图像特征,分别解算得到所述第一标识物在所述图像采集装置坐标系下的第一位姿参数,以及所述第二标识物在所述图像采集装置坐标系下的第二位姿参数;

42、矩阵计算模块,用于根据所述第一位姿参数和所述第二位姿参数,计算所述第二标识物相对于所述第一标识物的相对位姿变换矩阵;

43、位姿确定模块,用于基于所述机械手相对于机器人基坐标系的当前空间位姿、所述机械手与所述第一标识物之间的第一空间变换关系、所述相对位姿变换矩阵以及所述第二标识物与所述目标位置之间的第二空间变换关系,确定所述目标位置在所述机器人基坐标系下的全局空间位姿数据。

44、本发明还提供一种机器人的位置示教系统,包括:

45、第一标识物,设置于机械手上;

46、第二标识物,设置于与目标位置关联的目标结构上;

47、图像采集装置,通过支架设置于所述机械手上,并随所述机械手同步运动;其中,所述图像采集装置的位姿被配置为:使得所述第一标识物和所述第二标识物同时处于所述图像采集装置的同一物理成像视野内;

48、控制器,所述控制器与所述图像采集装置通信连接,包括机器人的位置示教装置。

49、本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述机器人的位置示教方法。

50、本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述机器人的位置示教方法。

51、本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述机器人的位置示教方法。

52、综上所述,本技术实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:

53、通过获取包含第一标识物和第二标识物的目标图像,第一标识物设置于机械手上,第二标识物设置于与目标位置关联的结构上,目标图像由随机械手同步运动的图像采集装置采集得到,从而降低了自动示教装置的结构复杂程度并免除了对图像采集装置精确安装位置的要求,通过提取目标图像中第一标识物的第一图像特征以及第二标识物的第二图像特征,基于第一图像特征和第二图像特征,分别解算得到第一标识物在图像采集装置坐标系下的第一位姿参数,以及第二标识物在图像采集装置坐标系下的第二位姿参数,从而将位姿解算过程完全封闭在统一的图像采集坐标系内部以排除外部多重设备标定误差的干扰,通过根据第一位姿参数和第二位姿参数,计算第二标识物相对于第一标识物的相对位姿变换矩阵,从而大幅精简了算法模块数量,缩短了误差传递链路并有效抑制了系统计算过程中的误差累积效应,显著提升了基于视觉的自动示教整体定位精度,通过基于机械手相对于机器人基坐标系的当前空间位姿、机械手与第一标识物之间的第一空间变换关系、相对位姿变换矩阵以及第二标识物与目标位置之间的第二空间变换关系,确定目标位置在机器人基坐标系下的全局空间位姿数据,从而免去了人工反复操控的姿态调整与测试过程,简化了自动校点流程,实现了目标点位高定位精度下的快速且高效示教。