固定标定板的眼在手外标定方法和系统与流程

1.本技术涉及机器视觉技术领域，特别是涉及固定标定板的眼在手外标定方法和系统。


背景技术：

2.在机器视觉领域，机械臂需要根据视觉系统给出的信号进行相应的路径规划等操作，而机械臂坐标系统与视觉坐标系统又为两个独立的模块，所以需要通过对机械臂进行手眼标定获取机器臂坐标系和相机坐标系的旋转平移关系；在相关技术中，手眼标定分为眼在手上和眼在手外，眼在手外的标定过程为相机固定在与地面固连的设备或支架上，在机器臂末端安装标定板，控制机器臂到达不同位姿后，相机拍摄不同位姿下的标定板图像，再通过手眼模型确定相机与机器臂基座的旋转平移关系，即可完成标定，但是由于标定板本身及其与机器臂末端间的连接件刚度不足，容易出现标定结果误差较大的情况。
3.目前针对相关技术中眼在手外的手眼标定，由于标定板本身及其与机器臂末端间的连接件刚度不足，导致标定结果误差较大的问题，尚未提出有效的解决方案。


技术实现要素：

4.本技术实施例提供了一种固定标定板的眼在手外标定方法和系统，以至少解决相关技术中眼在手外的手眼标定，由于标定板本身及其与机器臂末端间的连接件刚度不足，导致标定结果误差较大的问题。
5.第一方面，本技术实施例提供了一种固定标定板的眼在手外标定方法，所述方法包括：获取眼在手上工况下手眼标定的标定结果，其中，表示第一相机到机器臂末端的旋转平移矩阵；在第二相机固定于与地面固连的设备上，机器臂固定在适于标定双目系统的位姿的情况下，获取机器臂位姿和所述第二相机到所述第一相机的旋转平移矩阵；根据所述标定结果、所述机器臂位姿和所述第二相机到所述第一相机的旋转平移矩阵，获得眼在手外的标定结果，其中，表示第二相机到机器臂基座的旋转平移矩阵。
6.在其中一些实施例中，获取眼在手上工况下手眼标定的标定结果包括：在眼在手上工况下，根据标定板图像和ax=yb模型，获取所述标定结果，
其中，a表示标定板到第一相机的转换矩阵，x表示机器臂基座到标定板的转换矩阵，y表示机器臂末端到第一相机的转换矩阵，b表示机器臂基座到机器臂末端的转换矩阵。
7.在其中一些实施例中，获取眼在手上工况下手眼标定的标定结果包括：在眼在手上工况下，根据标定板图像和ax=xb模型，获取所述标定结果，其中，a表示两个位姿下，机器臂末端的转换矩阵，b表示两个位姿下，第一相机的转换矩阵，x表示机器臂末端到第一相机的转换矩阵。
8.在其中一些实施例中，获取所述第二相机到所述第一相机的旋转平移矩阵包括：对所述第一相机和所述第二相机进行双目标定，获取所述第二相机到所述第一相机的旋转平移矩阵。
9.在其中一些实施例中，获取所述第二相机到所述第一相机的旋转平移矩阵包括：分别对所述第一相机和所述第二相机进行外参标定，获得同一位置下的标定板分别与所述第一相机和所述第二相机的坐标系转换关系；根据所述同一位置下的标定板分别与所述第一相机和所述第二相机的坐标系转换关系，获取所述第二相机到所述第一相机的旋转平移矩阵。
10.第二方面，本技术实施例提供了一种固定标定板的眼在手外标定系统，所述系统包括手眼标定模块、双目标定模块和计算模块，所述手眼标定模块，用于获取眼在手上工况下手眼标定的标定结果，其中，表示第一相机到机器臂末端的旋转平移矩阵；所述双目标定模块，用于在第二相机固定于与地面固连的设备上，机器臂固定在适于标定双目系统的位姿的情况下，获取机器臂位姿和所述第二相机到所述第一相机的旋转平移矩阵；所述计算模块，用于根据所述标定结果、所述机器臂位姿和所述第二相机到所述第一相机的旋转平移矩阵，获得眼在手外的标定结果，其中，表示第二相机到机器臂基座的旋转平移矩阵。
11.在其中一些实施例中，所述手眼标定模块用于获取眼在手上工况下手眼标定的标
定结果包括：所述手眼标定模块在眼在手上工况下，根据标定板图像和ax=yb模型，获取所述标定结果，其中，a表示标定板到第一相机的转换矩阵，x表示机器臂基座到标定板的转换矩阵，y表示机器臂末端到第一相机的转换矩阵，b表示机器臂基座到机器臂末端的转换矩阵。
12.在其中一些实施例中，所述手眼标定模块用于获取眼在手上工况下手眼标定的标定结果包括：所述手眼标定模块在眼在手上工况下，根据标定板图像和ax=xb模型，获取所述标定结果，其中，a表示两个位姿下，机器臂末端的转换矩阵，b表示两个位姿下，第一相机的转换矩阵，x表示机器臂末端到第一相机的转换矩阵。
13.在其中一些实施例中，所述双目标定模块用于获取所述第二相机到所述第一相机的旋转平移矩阵包括：所述双目标定模块对所述第一相机和所述第二相机进行双目标定，获取所述第二相机到所述第一相机的旋转平移矩阵。
14.在其中一些实施例中，所述双目标定模块用于获取所述第二相机到所述第一相机的旋转平移矩阵包括：所述双目标定模块分别对所述第一相机和所述第二相机进行外参标定，获得同一位置下的标定板分别与所述第一相机和所述第二相机的坐标系转换关系；根据所述同一位置下的标定板分别与所述第一相机和所述第二相机的坐标系转换关系，获取所述第二相机到所述第一相机的旋转平移矩阵。
15.相比于相关技术，本技术实施例提供的固定标定板的眼在手外标定方法，通过获取眼在手上工况下手眼标定的标定结果，其中，表示第一相机到机器臂末端的旋转平移矩阵；在第二相机固定于与地面固连的设备上，机器臂固定在适于标定双目系统的位姿的情况下，获取机器臂位姿和第二相机到第一相机的旋转平移矩阵；根据标定结果、机器臂位姿和第二相机到第一相机的旋转平移矩阵，获得眼在手外的标定结果，即将一个眼在手外标定问题拆解为一个眼在手上标定问题与一个双目标定问题，减小了眼在手外标定结果的误差，提高了眼在手外标定结果的准确率。
附图说明
16.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：图1是根据相关技术中的眼在手外的示意图；图2是根据本技术实施例的固定标定板的眼在手外标定方法的流程图；图3是根据本技术实施例的眼在手上的示意图；图4是根据本技术实施例的固定标定板的眼在手外的示意图；图5是根据本技术实施例的ax=yb模型的示意图；图6是根据本技术实施例的ax=xb模型的示意图；图7是根据本技术实施例的固定标定板的眼在手外标定系统的结构框图。
具体实施方式
17.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。基于本技术提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本技术公开的内容相关的本领域的普通技术人员而言，在本技术揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本技术公开的内容不充分。
18.在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本技术所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
19.除非另作定义，本技术所涉及的技术术语或者科学术语应当为本技术所属技术领域内具有一般技能的人士所理解的通常意义。本技术所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本技术所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本技术所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本技术所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。本技术所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
20.图1是根据相关技术中的眼在手外的示意图，如图1所示，相机固定在与地面固连的设备或支架上，机器臂末端安装标定板，控制机器臂到达不同位姿后，相机拍摄不同位姿下的标定板图像，通过标定板图像和手眼模型即可确定相机与机器臂基座的旋转平移关系，即完成标定，但是由于标定板本身及其与机器臂末端间的连接件刚度不足，容易
出现标定结果误差较大的情况。
21.在视野较大的场景下，为保证标定精度，标定板也需要做得比较大，一方面不便于安装在机器臂上（受到负载和机械结构的限制），另一方面会进一步加剧机器臂不同姿态下，标定板自身产生的变化，或标定板与机器臂末端间的相对位置发生偏移，从而降低标定精度。
22.本实施例提供了一种固定标定板的眼在手外标定方法，用于解决上述问题，图2是根据本技术实施例的固定标定板的眼在手外标定方法的流程图，如图2所示，该方法包括如下步骤：步骤s201，获取眼在手上工况下手眼标定的标定结果，其中，表示第一相机到机器臂末端的旋转平移矩阵；本实施例中，图3是根据本技术实施例的眼在手上的示意图，如图3所示，眼在手上工况下，标定板固定在地上，第一相机cama固定在机器臂末端附近，随机器臂运动，用于拍摄不同位姿下标定板的图像，从而得出手上工况下手眼标定的标定结果。
23.步骤s202，在第二相机固定于与地面固连的设备上，机器臂固定在适于标定双目系统的位姿的情况下，获取机器臂位姿和第二相机到第一相机的旋转平移矩阵；本实施例中，图4是根据本技术实施例的固定标定板的眼在手外的示意图，如图4所示，在眼在手上工况的基础上，将第二相机固定于与地面固连的设备上，使第一相机和第二相机处于大致相同的高度，并拥有一个较大的公共视野区域，即机器臂固定在适于标定双目系统的位姿，并获取此时机器臂位姿和第二相机到第一相机的旋转平移矩阵，其中，表示机器臂末端到机器臂基座的旋转平移矩阵。
24.步骤s203，根据标定结果、机器臂位姿和第二相机到第一相机的旋转平移矩阵，获得眼在手外的标定结果，其中，表示第二相机到机器臂基座的旋转平移矩阵。本实施例中，眼在手外的标定结果通过如下公式1求出：
ꢀꢀ
公式1相对于相关技术中，眼在手外的手眼标定需要将相机固定在与地面固连的设备上，在机器臂末端安装标定板，控制机器臂到达不同位姿，相机拍摄不同位姿下的标定板图像，再通过手眼模型确定相机与机器臂基座的旋转平移关系，但由于标定板的体积和重量较大，导致眼在手外的标定结果存在误差。
25.而本技术的实施例中，通过步骤s201至步骤s203，将标定板固定在地上，第一相机固定在机器臂末端，获取眼在手上的标定结果后，将第二相机固定于与地面固连
的设备上，机器臂固定在适于标定双目系统的位姿的情况下，获取机器臂位姿和第二相机到第一相机的旋转平移矩阵，即可获得眼在手外的标定结果，即将一个眼在手外标定问题拆解为一个眼在手上标定问题与一个双目标定问题，减小了眼在手外标定结果的误差，提高了眼在手外标定结果的准确率。
26.在其中一些实施例中，图5是根据本技术实施例的ax=yb模型的示意图，如图5所示，获取眼在手上工况下手眼标定的标定结果包括：在眼在手上工况下，根据标定板图像和ax=yb模型，获取标定结果，其中，a表示标定板到第一相机的转换矩阵，由第一相机标定系统给出（已知），x表示机器臂基座到标定板的转换矩阵，为待求解项，y表示机器臂末端到第一相机的转换矩阵，为待求解项，b表示机器臂基座到机器臂末端的转换矩阵，由机器臂系统给出（已知），由机器臂带动第一相机在不同位姿下拍摄标定板图像，根据标定板图像和ax=yb模型求出待求解项x和y，即求出机器臂末端到第一相机的转换矩阵后，即可得到。
27.在其中一些实施例中，图6是根据本技术实施例的ax=xb模型的示意图，如图6所示，获取眼在手上工况下手眼标定的标定结果包括：在眼在手上工况下，根据标定板图像和ax=xb模型，获取标定结果，其中，a表示两个位姿下，机器臂末端的转换矩阵，由机器臂位姿数据计算得到，b表示两个位姿下，第一相机的转换矩阵，由标定板图像计算得到，x表示机器臂末端到第一相机的转换矩阵，由机器臂带动第一相机在不同位姿下拍摄标定板图像，根据标定板图像和ax=xb模型求出待求解项x，即求出机器臂末端到第一相机的转换矩阵后，即可得到。
28.在其中一些实施例中，获取第二相机到第一相机的旋转平移矩阵包括：对第一相机和第二相机进行双目标定，获取第二相机到第一相机的旋转平移矩阵。其中，双目标定是指两台相机之间相互位置的标定，即第一相机相对于第二相机的平移向量和旋转矩阵。
29.在其中一些实施例中，获取第二相机到第一相机的旋转平移矩阵包括：分别对第一相机和第二相机进行外参标定，获得同一位置下的标定板分别与第一相机和第二相机的坐标系转换关系；再根据同一位置下的标定板分别与第一相机和第二相机的坐标系
转换关系，求解出两台相机之间的坐标转换关系，即获取第二相机到第一相机的旋转平移矩阵。
30.需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
31.本实施例还提供了一种固定标定板的眼在手外标定系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
32.图7是根据本技术实施例的固定标定板的眼在手外标定系统的结构框图，如图7所示，该系统包括手眼标定模块71、双目标定模块72和计算模块73，手眼标定模块71用于获取眼在手上工况下手眼标定的标定结果，其中，表示第一相机到机器臂末端的旋转平移矩阵；双目标定模块72用于在第二相机固定于与地面固连的设备上，机器臂固定在适于标定双目系统的位姿的情况下，获取机器臂位姿和第二相机到第一相机的旋转平移矩阵；计算模块73用于根据标定结果、机器臂位姿和第二相机到第一相机的旋转平移矩阵，获得眼在手外的标定结果，其中，表示第二相机到机器臂基座的旋转平移矩阵，即将一个眼在手外标定问题拆解为一个眼在手上标定问题与一个双目标定问题，减小了眼在手外标定结果的误差，提高了眼在手外标定结果的准确率。
33.需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
34.本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
35.可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
36.需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
37.另外，结合上述实施例中的固定标定板的眼在手外标定方法，本技术实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种固定标定板的眼在手外标定方法。
38.在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存
储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种固定标定板的眼在手外标定方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
39.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（rom）、可编程rom（prom）、电可编程rom（eprom）、电可擦除可编程rom（eeprom）或闪存。易失性存储器可包括随机存取存储器（ram）或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram（sram）、动态ram（dram）、同步dram（sdram）、双数据率sdram（ddrsdram）、增强型sdram（esdram）、同步链路（synchlink） dram（sldram）、存储器总线（rambus）直接ram（rdram）、直接存储器总线动态ram（drdram）、以及存储器总线动态ram（rdram）等。
40.本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
41.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。