无重叠区域下多相机的标定与坐标统一方法与流程

1.本发明涉及计算机视觉技术领域，具体为无重叠区域下多相机的标定与坐标统一方法。


背景技术：

2.机器视觉在工业的应用中，高精度的工业设备需要机器视觉具备高精度和大视野的特性，这就需要使用到多个相机，且要求我们在无重叠区域的情况下将多个相机统一到同一个坐标系下。目前，多相机系统全局标定的方法和原理大致分为以下几类：
①
基于大型测量装置法：例如采用激光跟踪仪直接测量图像坐标系中像素点在参考坐标系的三维坐标，获取所有相机在参考坐标系的相对位置，并将其统一转换到参考的坐标系中。
②
基于反射镜法：例如使用平面标定板和反射镜，求解相机之间的转换关系。
③
基于运动模型法：比如利用机器人的精确运动和非重叠视场相机观测到的图像序列，来弥补相机之间的无重叠区域。
3.目前，在现有技术具有标定装置复杂，标定结果不稳定的问题。大型测量装置对于一般的实验场景是不容易获得的，而且成本较高。
4.基于此，本发明设计了无重叠区域下多相机的标定与坐标统一方法，以解决上述问题。


技术实现要素：

5.本发明的目的在于提供无重叠区域下多相机的标定与坐标统一方法，以解决上述背景技术中提出的目前，在现有技术具有标定装置复杂，标定结果不稳定的问题。大型测量装置对于一般的实验场景是不容易获得的，而且成本较高的问题。
6.为实现上述目的，本发明提供如下技术方案：无重叠区域下多相机的标定与坐标统一方法，包括操作方法，所述操作方法包括步骤一：内参标定，获得相机的内参矩阵和畸变系数；步骤二：获得特征点的图像坐标；步骤三：获得特征点的世界坐标；步骤四：获得该相机坐标系与世界坐标系得旋转矩阵和平移向量；步骤五：得到各个相机坐标系与世界坐标系的旋转与平移关系；步骤六：以一个相机为基准相机，将其他相机统一到基准相机的相机坐标系。
7.作为本发明的进一步方案，所述步骤一中，利用张正友相机标定方法，将相机调整到合适的光圈和焦距，并且在标定过程中不能改变光圈和焦距。选取对称的圆形标定板，每个相机拍摄至少20张合格的标定图片进行内参标定，获得该相机的内参矩阵和畸变系数。
8.作为本发明的进一步方案，所述步骤二中，相机拍摄到大尺寸charuco标定板的一部份区域，利用aruco自带的检测标记点的函数aruco::detectmarkers来检测角点，将检测出的标记点作为特征点，该函数可以返回角点的图像坐标。
9.作为本发明的进一步方案，所述步骤三中，世界坐标系的原点是自己定义的，可以定义一个方便计算特征点世界坐标的坐标原点，将charuco标定板贴在水平桌面上，以右下
角第一个标记的顶点为世界坐标系的原点，取z=0（向上为z轴），按照标记的排列规律和标记点的id计算出所有标记点的右下角顶点坐标，即标记点的世界坐标。
10.作为本发明的进一步方案，所述步骤四中，利用opencv中的单目相对位置估计函数cv.solvepnp, 输入相机内参数矩阵、相机畸变系数、特征点相对于世界系的坐标和特征点相对于相机图像坐标系的坐标，即可输出该世界坐标系相对于该相机的相机坐标系的旋转向量和平移向量，利用罗德里格斯公式将旋转向量转换为旋转矩阵即可。
11.作为本发明的进一步方案，所述步骤五中，对于每一个相机，重复步骤一至步骤四，得到各个相机的相机坐标的外参，此时得到了各个相机坐标系到世界坐标系的转换关系。
12.与现有技术相比，本发明的有益效果为：本发明无重叠区域下多相机的标定与坐标统一方法考虑了大型复杂标定装置的高成本和使用不便的现实因素，选择更容易获得的标定板进行相机标定，并且坐标系的统一无需经过繁琐的计算过程。
附图说明
13.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
14.图1是根据该发明的无重叠区域下多相机的标定与坐标统一方法的charuco标定板示意图；图2是根据该发明的无重叠区域下多相机的标定与坐标统一方法的实施例1示意图。
具体实施方式
15.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
16.如图1-2所示，本发明提供了无重叠区域下多相机的标定与坐标统一方法，其中，本发明利用尺寸较大的带二维码的charuco标定板，各个相机都能拍摄到标定板的一部份区域，寻找角点作为特征点，并建立世界坐标系，得到各个特征点的世界坐标，这样就建立了特征点的2d-3d匹配关系。charuco标定板的优点之一就是具有标记id，具有方向，方便计算世界坐标。将相机的内参矩阵，畸变系数，特征点在图像坐标系中的坐标和世界坐标系中的坐标作为输入，通过solvepnp函数输出该相机坐标系的外参，其中特征点的个数要大于3，且相机的内参矩阵和畸变系数通过相机标定获得。得到各个相机坐标系与世界坐标系的旋转矩阵r和平移向量t后，可以将所有相机的坐标系统一到基准相机的坐标系下，其中基准相机为自己选定的任意一个相机。
17.图1是根据该发明的无重叠区域下多相机的标定与坐标统一方法的charuco标定
板示意图，从图1中可看出，无重叠区域下多相机的标定与坐标统一方法，包括操作方法，所述操作方法包括步骤一：内参标定，获得相机的内参矩阵和畸变系数；步骤二：获得特征点的图像坐标；步骤三：获得特征点的世界坐标；步骤四：获得该相机坐标系与世界坐标系得旋转矩阵和平移向量；步骤五：得到各个相机坐标系与世界坐标系的旋转与平移关系；步骤六：以一个相机为基准相机，将其他相机统一到基准相机的相机坐标系。
18.所述步骤一中，利用张正友相机标定方法，将相机调整到合适的光圈和焦距，并且在标定过程中不能改变光圈和焦距。选取对称的圆形标定板，每个相机拍摄至少20张合格的标定图片进行内参标定，获得该相机的内参矩阵和畸变系数。
19.所述步骤二中，相机拍摄到大尺寸charuco标定板的一部份区域，利用aruco自带的检测标记点的函数aruco::detectmarkers来检测角点，将检测出的标记点作为特征点，该函数可以返回角点的图像坐标。
20.所述步骤三中，世界坐标系的原点是自己定义的，可以定义一个方便计算特征点世界坐标的坐标原点，如图一所示，将charuco标定板贴在水平桌面上，以右下角第一个标记的顶点为世界坐标系的原点，取z=0（向上为z轴），按照标记的排列规律和标记点的id计算出所有标记点的右下角顶点坐标，即标记点的世界坐标。
21.在标定板中，每个标记的id从右下角开始从右至左，从下至上依次是0，1，2，
…ꢀ
，根据其排列规律，可以计算出每个标记点右下角顶点的世界坐标，记第i个标记的顶点坐标为p(0)，大方格(黑色方格)的边长为le，gth,则：0)，大方格(黑色方格)的边长为le，gth,则：由此可以得到标定板上所有标记点的坐标，根据相机拍照后识别到的标记的id号可以直接得到特征点的世界坐标。
22.所述步骤四中，利用opencv中的单目相对位姿估计函数cv.solvepnp, 输入相机内参数矩阵、相机畸变系数、特征点相对于世界系的坐标和特征点相对于相机图像坐标系的坐标，即可输出该世界坐标系相对于该相机的相机坐标系的旋转向量和平移向量，利用罗德里格斯公式将旋转向量转换为旋转矩阵即可。solvepnp中四种常用的可选算法分别是solvepnp_iterative、solvep，p_epnp、solvepnp_p3p和solvepnp_dls,其中solvepnp_iterative适用于特征点在同一平面下的情况，而使用solvepnp_epnp时，特征点需要在不同平面，solvepnp_iterative则要求至少四点不在同一平面。本文中使用solveopnp_iterative，因为所有特征点均在同一平面上。下面解释为什么solvepnp求解外参需要至少三对特征点：根据图像上2d点与世界坐标系3d点之间的关系，有 = 将r，t展开：
即：将
③
式代入
①
，
②
式，得：；其中，，，，为已知的相机内参，为已知的坐标，所以上述两个方程中只有r，t中的12个元素为未知数，但是旋转矩阵r为正交矩阵，每一行每一列的向量相互正交，且均为单位向量，所以r的自由度为3，已知其中的3个元素即可推出另外6个元素
·
的值。所以加上t中三个未知元素，一共有6个未知数。一对特征点可以确定两个方程，6个未知数需要至少3对特征点来求解，所以我们至少建立三个特征点的2d-3d关系。
23.所述步骤五中，对于每一个相机，重复步骤一至步骤四，得到各个相机的相机坐标的外参，此时得到了各个相机坐标系到世界坐标系的转换关系。一个简单的方法可以验证出所求解的外参是否正确：计算出相机原点在世界坐标系中的坐标，并与实际测量值进行对比。对于第i个相机cami，有如下公式成立：其中，和分别为世界坐标系到第i个相机cami相机坐标系的旋转矩阵和平移向量，令，则得到 * ，即为第i个相机在世界坐标系下的坐标，该坐标与测量得到的实际坐标对比，可以判断外参的求解是否准确。
24.步骤六：以一个相机为基准相机，将其他相机统一到基准相机的相机坐，系。
25.设世界坐标系下有一点,点p在相机i坐标系下的坐标为:,则利用齐次坐标，有如下公式：则利用齐次坐标，有如下公式：
因此，可以计算出第i个相机到第一个相机（基准相机）的外参矩阵，记为则至此，将所有相机的坐标系统一到同一个坐标系。
26.图2是根据该发明的无重叠区域下多相机的标定与坐标统一方法的实施例1示意图，从图2中可看出，在实际应用中，本发明实施的整个流程见图2，包括以下步骤：标定结果的评判标准：方法一：重投影误差re-projection error将三维物点投影至二维图像，计算出投影后点与二维图像中提取出的对应角点的欧式距离，计算多组距离并求其均值，以该均值作为重投影误差来衡量标定误差。下图可以较为直观的看到重投影后的效果，其中蓝色点为重投影后的点，红色即为二维图像中提取出的对应角点。
27.但是重投影误差并不能完全反映出内外参标定结果的正确性，因为重投影误差还受其他因素的影响：
①
图像角点检测精度，如果角点检测精度差，会直接影响到重投影误差；
②
相机本身存在噪声，相机抖动；
③
与相机分辨率有关，由于单位是像素。在其它条件一致的情况下，分辨率越大的相机，它的像素越密集，得到的重投影误差也会大。
28.方法二：选择两个三维的点，将其投影在基准相机的二维图像上，计算这两个点的欧式距离，因为这两个点在世界坐标下，欧式距离是可以测量的，将二维图像下计算得到的距离与实际世界坐标中的距离作差值并取绝对值，取多组数据进行计算得到平均误差。
29.取6组标记点，根据上述标定结果的验证方法二，得到平均误差约为0.673mm,因为本发明中使用到的charuco标定板是打印出来的，精度得不到保证；而且建立世界坐标时，取z=0，若标定板所在平面平整度不够，也会增大误差。以上两点是误差的主要来源，另外还包括建立标记点的世界坐标时测量小方格边长带来的测量误差。可以从这三方面入手来降低误差，达到自己期望的标定精度。
30.以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。