一种机器人手眼标定方法、系统、设备及介质与流程

1.本技术涉及工业机器人技术领域，尤其是涉及一种机器人手眼标定方法、系统、设备及介质。


背景技术：

2.随着劳动力成本的上涨，工业机器人产业得到了快速的发展，广泛的应用于装配、抓取定位等作业过程中。而实现这些功能的前提是获取机器人的手眼关系。手眼关系分为眼在手上(eye-in-hand)和眼在手外(eye-to-hand)，其中眼在手上是将视觉传感器固定在机器人末端执行器上，随着机器人末端运动而运动，而眼在手外是将视觉传感器固定在机器人关节之外的某一位置，在测量过程中视觉传感器保持固定。
3.目前针对手在眼上的手眼关系标定，常用的手眼标定方法是：以标准球作为靶标，使机械手带动视觉传感器对其进行扫描，从而进行标定。这种方法对标准球的精度以及大小有一定的要求，同时扫描得到的三维点云处理过程较为繁琐，点云处理的精度也直接影响最终的标定精度。


技术实现要素：

4.有鉴于此，本技术提供一种机器人手眼标定方法、系统、设备及介质，用以解决现有的手眼标定方法存在过程繁琐或者标定精度低的技术问题。
5.为了解决上述问题，第一方面，本技术提供一种机器人手眼标定方法，所述机器人末端执行器安装有图像传感器，所述方法包括：
6.获取机器人在多个位姿下拍摄的靶标图像；
7.对每个靶标图像进行处理，得到对应的标定点坐标；
8.根据多个靶标图像的标定点坐标以及对应拍摄时机器人末端执行器的位姿，确定机器人末端执行器相对于图像传感器的位姿关系。
9.可选的，所述机器人末端执行器的位姿包括机器人基坐标系到机器人末端执行器坐标系的转换矩阵：坐标系的转换矩阵：分别表示第i次拍摄时机器人末端执行器坐标在机器人基坐标系的x、y、z轴上的偏移量，分别表示第i次拍摄时机器人末端执行器坐标绕机器人基坐标系的z、y、x轴的旋转角度，下标t表示机器人末端执行器坐标系。
10.可选的，所述靶标包括平面圆形与多组经过其圆心的辅助线。
11.可选的，所述靶标图像通过机器人运动至所述图像传感器的激光线与任一组所述辅助线重合时拍摄确定。
12.可选的，所述标定点坐标为图像传感器坐标系下平面圆形的圆心坐标。
13.可选的，对每个靶标图像进行处理，得到对应的标定点坐标，包括：
14.对靶标图像进行特征提取，得到目标边缘；
15.对目标边缘进行椭圆拟合，得到所述平面圆形的圆心坐标。
16.可选的，所述确定机器人末端执行器相对于图像传感器的位姿关系，包括基于预设的单点多姿态模型，并结合多组靶标图像的标定点坐标和对应拍摄时机器人末端执行器的位姿确定所述机器人末端执行器相对于图像传感器的位姿关系，其中所述单点多姿态模型表示如下：
17.pb＝axpc18.其中，pc表示图像传感器坐标系下的标定点坐标，下标c表示图像传感器坐标系；pb表示机器人基坐标系下的标定点坐标，下标b表示机器人基坐标系；a表示机器人基坐标系到机器人末端执行器坐标系的转换矩阵；x表示机器人末端执行器相对于图像传感器的位姿关系。
19.第二方面，本技术提供一种机器人手眼标定系统，所述系统包括：
20.获取图像模块，用于获取机器人在多个位姿下拍摄的靶标图像；
21.图像处理模块，用于对每个靶标图像进行处理，得到对应的标定点坐标；
22.计算模块，用于根据多个靶标图像的标定点坐标以及对应拍摄时机器人末端执行器的位姿，确定机器人末端执行器相对于图像传感器的位姿关系。
23.第三方面，本技术提供的一种计算机设备，采用如下的技术方案：
24.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述机器人手眼标定方法的步骤。
25.第四方面，本技术提供的一种计算机可读存储介质，采用如下的技术方案：
26.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述机器人手眼标定方法的步骤。
27.采用上述实施例的有益效果是：本实施例通过获取机器人在多个位姿下拍摄的靶标图像，对每个靶标图像进行处理，从而得到每个靶标图像对应的标定点坐标；根据多个靶标图像的标定点坐标以及对应拍摄时机器人末端执行器的位姿，确定机器人末端执行器相对于图像传感器的位姿关系，从而实现机器人手眼标定，并且提高了标定效率和准确率。
附图说明
28.图1为本技术提供的机器人手眼标定装置的应用场景示意图；
29.图2为本技术提供的机器人手眼标定方法一实施例的方法流程图；
30.图3为本技术提供的靶标一实施例的方法流程图；
31.图4为本技术提供的机器人手眼标定方法步骤s102一实施例的方法流程图；
32.图5为本技术提供的机器人手眼标定系统一实施例的原理框图；
33.图6为本技术提供的计算机设备一实施例的原理框图。
具体实施方式
34.下面结合附图来具体描述本技术的优选实施例，其中，附图构成本技术一部分，并与本技术的实施例一起用于阐释本技术的原理，并非用于限定本技术的范围。
35.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包
含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
36.本实施例提供了一种机器人手眼标定方法，应用于机器人手眼标定装置，参照图1，该机器人手眼标定装置包括机器人101、图像传感器102以及靶标103，该装置中存在三个坐标系：机器人基坐标系ob、机器人末端执行器坐标系ot以及图像传感器坐标系oc。
37.参照图2，本实施例提供的机器人手眼标定方法，包括下述步骤：
38.s201、获取机器人在多个位姿下拍摄的靶标图像；
39.s202、对每个靶标图像进行处理，得到对应的标定点坐标；
40.s203、根据多个靶标图像的标定点坐标以及对应拍摄时机器人末端执行器的位姿，确定机器人末端执行器相对于图像传感器的位姿关系。
41.在本实施例中，靶标采用平面圆形图案与多组经过其圆心的辅助线构成，如图3所示。在本实施例中，靶标图像的标定点坐标是指在图像传感器坐标系下的坐标，可以由图像传感器提供。拍摄时机器人末端执行器的位姿可以由机器人提供。在本实施例中图像传感器可以采用线结构光视觉传感器。本实施例获取机器人在至少四个位姿下拍摄的靶标图像。
42.本实施例通过获取机器人在多个位姿下拍摄的靶标图像，对每个靶标图像进行处理，从而得到每个靶标图像对应的标定点坐标；根据多个靶标图像的标定点坐标以及对应拍摄时机器人末端执行器的位姿，确定机器人末端执行器相对于图像传感器的位姿关系，从而实现机器人手眼标定，并且提高了标定效率和准确率。
43.在一实施例中，本实施例步骤s101中获取机器人在多个位姿下拍摄的靶标图像，具体地，机器人带动视觉传感器移动至合适位置对平面靶标进行拍照；需要说明的是，参照图1，本实施例的合适位置是指机器人带着线结构光视觉传感器运动到靶标的正对位置即上方，在激光线经过圆形靶标的圆心时，进行拍照，如图3所示。需要说明的是，记录此时机器人末端执行器的位姿。
44.在一实施例中，参照图4，步骤s102即对每个靶标图像进行处理，得到对应的标定点坐标，包括：
45.s401、对靶标图像进行特征提取，得到目标边缘；
46.s402、对目标边缘进行椭圆拟合，得到平面圆形的圆心坐标。
47.在本实施例中，可以通过训练完备的深度学习模型对靶标图像进行特征识别，提取得到目标边缘即靶标的圆形边缘；然后通过目标边缘椭圆拟合，从而得到平面圆形的圆心坐标，该圆心坐标是在图像传感器坐标系下的。
48.在一实施例中，步骤s103即根据多个靶标图像的标定点坐标以及对应拍摄时机器人末端执行器的位姿，确定机器人末端执行器相对于图像传感器的位姿关系。需要说明的是，通过改变机器人的位置与姿态，重复多次测量，以获取多组数据即多个靶标图像的标定点坐标以及对应拍摄时机器人末端执行器的位姿。进一步地，利用获取的多组数据，构建方程组并进行求解。
49.在一实施例中，多个靶标图像的标定点坐标表示为：其中表示第i
次测量中靶标在图像传感器(视觉传感器)坐标系下的标定点坐标，分别表示第i次测量中标靶的标定点在图像传感器坐标系下的x、y、z坐标，下标c表示图像传感器坐标系。机器人末端执行器的位姿包括机器人基坐标系到机器人末端执行器坐标系的转换矩阵：阵：分别表示第i次拍摄时机器人末端执行器坐标在机器人基坐标系的x、y、z轴上的偏移量，分别表示第i次拍摄时机器人末端执行器坐标绕机器人基坐标系的z、y、x轴的旋转角度，下标t表示机器人末端执行器坐标系。
50.本实施例通过单点多姿态模型的标定方法，利用上述多组数据可以方便的求解出手眼关系矩阵，即机器人末端执行器相对于图像传感器的位姿关系。
51.进一步地，步骤s103中确定机器人末端执行器相对于图像传感器的位姿关系，包括基于预设的单点多姿态模型，并结合多组靶标图像的标定点坐标和对应拍摄时机器人末端执行器的位姿确定机器人末端执行器相对于图像传感器的位姿关系，其中单点多姿态模型表示如下：
52.pb＝axpcꢀꢀꢀꢀ
(1)
53.其中，pc表示图像传感器坐标系下的标定点坐标，下标c表示图像传感器坐标系；pb表示机器人基坐标系下的标定点坐标，下标b表示机器人基坐标系；a表示机器人基坐标系到机器人末端执行器坐标系的转换矩阵；x表示机器人末端执行器相对于图像传感器的位姿关系，即待求的手眼标定矩阵。
54.在本实施例中，由于靶标是固定不动的，因此机器人基坐标系下的标定点坐标pb是固定的，机器人带动视觉传感器以不同的姿态拍摄靶标时，根据式(1)可以列出以下方程组：
[0055][0056]
其中i表示机器人测量的次数，进一步可建立如下方程组：
[0057][0058]
对式(3)解方程即可得到手眼标定矩阵x，即机器人末端执行器相对于图像传感器的位姿关系。
[0059]
本实施例中为保证测量结果的准确性，应进行多次测量，具体实施过程给出以下参考：机器人带动视觉传感器移动到合适的测量范围内，使激光线与其中一组过圆心的辅助线重合，进行拍摄，进一步地，机器人以不同的姿态对同一组过圆心的辅助线进行上述操作，重复三次，接着选取另一组过圆心的辅助线进行上述操作，共选取三组辅助线进行测量。
[0060]
在本实施例中，将所得数据按照式(3)方程组，对该非线性方程组，采用最小二乘
法进行求解，能有效的避免实验过程中产生的误差，提高测量的精度。
[0061]
区别于现有技术，本实施例通过获取机器人在多个位姿下拍摄的靶标图像，对每个靶标图像进行处理，从而得到每个靶标图像对应的标定点坐标；根据多个靶标图像的标定点坐标以及对应拍摄时机器人末端执行器的位姿，确定机器人末端执行器相对于图像传感器的位姿关系，从而实现机器人手眼标定，并且提高了标定效率和准确率。此外，本实施例采用自制的平面靶标作为标定物，结合单点多姿态模型的思想求解机器人的手眼关系，与传统的手眼标定方法相比，本实施例具有标定物易制作、标定过程简单、标定精度高等优点。
[0062]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0063]
本实施例还提供一种机器人手眼标定系统，该机器人手眼标定系统与上述实施例中机器人手眼标定方法一一对应。如图5所示，该机器人手眼标定系统包括获取图像模块501、图像处理模块502以及计算模块503。各功能模块详细说明如下：
[0064]
获取图像模块501，用于获取机器人在多个位姿下拍摄的靶标图像，位姿为机器人末端执行器的；
[0065]
图像处理模块502，用于对每个靶标图像进行处理，得到对应的标定点坐标；
[0066]
计算模块503，用于根据多个靶标图像的标定点坐标以及对应拍摄时机器人末端执行器的位姿，确定机器人末端执行器相对于图像传感器的位姿关系。
[0067]
关于机器人手眼标定系统各个模块的具体限定可以参见上文中对于机器人手眼标定方法的限定，在此不再赘述。上述机器人手眼标定系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0068]
参照图6，本实施例还提供了一种计算机设备，该计算机设备可以是移动终端、桌上型计算机、笔记本、掌上电脑及服务器等计算设备。该计算机设备包括处理器10、存储器20及显示器30。图6仅示出了计算机设备的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
[0069]
存储器20在一些实施例中可以是计算机设备的内部存储单元，例如计算机设备的硬盘或内存。存储器20在另一些实施例中也可以是计算机设备的外部存储设备，例如计算机设备上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，存储器20还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器20用于存储安装于计算机设备的应用软件及各类数据，例如安装计算机设备的程序代码等。存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有计算机程序40。
[0070]
处理器10在一些实施例中可以是一中央处理器(central processing unit,cpu)，微处理器或其他数据处理芯片，用于运行存储器20中存储的程序代码或处理数据，例如执行机器人手眼标定方法等。
[0071]
显示器30在一些实施例中可以是led显示器、液晶显示器、触控式液晶显示器以及
oled(organic light-emitting diode，有机发光二极管)触摸器等。显示器30用于显示在计算机设备的信息以及用于显示可视化的用户界面。计算机设备的部件10-30通过系统总线相互通信。
[0072]
在一实施例中，当处理器10执行存储器20中计算机程序40时实现以下步骤：
[0073]
获取机器人在多个位姿下拍摄的靶标图像；
[0074]
对每个靶标图像进行处理，得到对应的标定点坐标；
[0075]
根据多个靶标图像的标定点坐标以及对应拍摄时机器人末端执行器的位姿，确定机器人末端执行器相对于图像传感器的位姿关系。
[0076]
本实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
[0077]
获取机器人在多个位姿下拍摄的靶标图像；
[0078]
对每个靶标图像进行处理，得到对应的标定点坐标；
[0079]
根据多个靶标图像的标定点坐标以及对应拍摄时机器人末端执行器的位姿，确定机器人末端执行器相对于图像传感器的位姿关系。
[0080]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。
[0081]
本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0082]
以上所述，仅为本技术较佳的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。