多相机标定方法、装置、终端设备及可读存储介质与流程

1.本发明涉及姿态采集标注技术领域，具体涉及多相机标定方法、装置、终端设备及可读存储介质。


背景技术：

2.在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。这些参数需要通过实验、计算等途径得到，这个求解参数的过程就称之为相机标定（或摄像机标定）。无论是在图像测量还是机器视觉应用中，相机参数的标定都是非常关键的环节，其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。
3.目前虽然存在多种多相机的标定方法，但大多针对相同类型的多个相机，或者是利用激光雷达与相机组成的装置进行标定，针对不同类型的混合多相机标定方法较少。混合多相机的相机内参数不一致，且混合多相机中可能会存在红外摄像头，例如tof相机中的ir摄像头等，给不同类型的混合多相机标定带来困难。
4.因此，如果能提供一种结构简单、应用场景多样、可准确标定混合多相机的标定装置及方法，将具有重要的现实意义。


技术实现要素：

5.针对现有技术的不足，本发明提供了一种多相机标定方法、装置、终端设备及可读存储介质，有效解决了环形布置的混合多相机外参标定的问题。
6.为实现以上目的，本发明通过以下技术方案予以实现：一种多相机标定方法，用于对相机集合中的混合相机进行参数标定，所述相机集合中包括至少两种不同相机类型的相机，所述方法包括如下步骤：（1）分别对相机集合中的各相机进行内参标定，方法包括：1）建立相机模型：建立世界坐标系到像素坐标系的变换关系；2）对各相机单独标定：准备大小已知的标定板，用待标定的全部相机分别对所述标定板进行不同角度的拍摄，得到图像；对所述标定板进行角点检测，得到角点的像素坐标；确定所述角点的物理坐标；利用角点的所述像素坐标和所述物理坐标，获得单应性矩阵；基于所述单应性矩阵，先后获得初始值，即相机第一内参和相机间第一外参；将所述初始值，带入到重投影误差方程，通过迭代优化重投影误差，得所述各相机的第二内参；（2）获取所述相机集合中的指定相机，对所述指定相机内各摄像头进行外参标定，得到所述指定相机内各摄像头间的第二外参，所述指定相机中的摄像头数量≥2，且所述指
定相机与所述相机集合中剩余相机之间相机类型不相同；（3）将所述指定相机内的摄像头与所述相机集合中除所述指定相机外的相机进行外参标定，得到相机间的外参终值；所述得到所述指定相机内各摄像头间的第二外参的方法包括：在步骤（1）获得的各相机第二内参的基础上，基于pnp算法分别获得各标定板的点云，获得所述指定相机内各摄像头坐标系下的三维空间坐标；利用svd算法，获得所述标定板在不同坐标系下的初始变换矩阵；所述不同坐标系指所述指定相机内各摄像头的坐标系；通过icp算法进行迭代优化，获得指定相机内各摄像头间的第二外参。
7.优选的，步骤（1）的步骤1）所述相机模型的建立方法包括：已知世界坐标系中的三维点，其与图像的像素坐标系的二维点的关系为：，即：，其中，为放缩因子，u为图像的像素坐标系下的x方向坐标，v为图像的像素坐标系下的y方向坐标，f
x
为x方向的焦距长度，fy为y方向的焦距长度，c
x
为投影中心x方向的偏移量，cy为投影中心y方向的偏移量，f
x
、fy、c
x
和cy组成的矩阵为相机内参k，r代表旋转矩阵，r
11
为旋转矩阵中第1行第1列，r
21
为旋转矩阵中第2行第1列，r
31
为旋转矩阵中第3行第1列，以此类推；xw为世界坐标系下x方向的坐标，yw为世界坐标系下y方向的坐标，zw为世界坐标系下z方向的坐标，为相机外参，t代表平移矩阵，和分别是和的齐次坐标，t代表矩阵的转置。
8.优选的，基于pnp算法分别获得各标定板点云的方法包括：空间点p在世界坐标系的齐次坐标为，在图像中投影到的角点，是由角点的像素坐标p1变换得来的：，k为相机内参；此时相机的位姿未知，定义变换矩阵为一个的矩阵，包含旋转和平移，根据刚体运动的三维变换关系，得：
，其中，ai是变换矩阵l的参数，i=1～12，是放缩因子，u1为相机平面坐标系下的x方向坐标，v1为相机平面坐标系下的y方向坐标；把消去，得到两个约束：利用变换矩阵l，将标定板上的角点反投影到相机坐标系下，形成所述标定板点云；和/或；利用svd算法获得标定板的初始变换矩阵的过程包括：在所述不同坐标系下的标定板点云中，确定各坐标系下的点云坐标；分别获得各标定板点云的质心，并将所述点云坐标减去对应的质心，得到相对坐标；根据所述相对坐标构建所述指定相机内各摄像头的坐标矩阵，并将所述指定相机内各摄像头的摄像头坐标系下的坐标矩阵转置相乘，得到方阵；根据所述方阵确定旋转矩阵，根据所述旋转矩阵确定平移矩阵，即得指定相机内各摄像头的摄像头坐标系之间的初始变换矩阵。
9.优选的，步骤（3）所述得到相机间的外参终值的方法包括：根据各相机与标定板之间的位置关系，构建图模型；选择一个相机的坐标系与世界坐标系对齐，利用图模型中的顶点和边，获得所有顶点的初始位姿；利用顶点的初始位姿，获得标定板到与所述标定板关联相机的重投影误差；迭代优化所述重投影误差到最小，得所述相机间的外参终值。
10.相应的，实现所述多相机标定方法的标定装置，所述标定装置包括3块以上的标定板，设置于由多个相机围合形成的环形结构中间，所述相机数量≥3个，各相机的摄像头均朝向所述标定装置；所述标定装置的设置满足：使用多个相机标定外参时，每个相机均可抓拍到图像。
11.相应的，实现所述多相机标定方法的标定装置，所述标定装置包括：第一数据获取单元，为相机内参获取单元，用于对相机集合中的各相机进行内参标定；第二数据获取单元，为指定相机各摄像头外参获取单元，用于获取所述相机集合中的指定相机，并对所述指定相机内的各摄像头进行外参标定，获得所述指定相机内各摄像头之间的外参；
第三数据获取单元，为相机间外参获取单元，用于将所述指定相机内的各摄像头与所述相机集合中除所述指定相机外的相机进行外参标定。
12.相应的，一种终端设备，包括至少一个处理器以及至少一个存储器；至少一个程序被存储在所述存储器中，被配置为由所述处理器执行所述多相机标定方法。
13.相应的，一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，在所述程序代码被处理器运行时执行所述多相机标定方法。
14.本发明具备以下有益效果：本发明针对多相机360
°
环形布局且镜头向内，尤其是混合多相机环形布局的应用场景，提供了一种新的标定装置，该标定装置由多块标定板组成，保证多相机标定外参时，每个相机都可以抓拍到图像。并基于所述标定装置提出了一种三阶段的混合多相机标定方法，可有效解决环形布置的混合多相机外参标定的问题，具有很高的标定精度。
附图说明
15.图1为混合多相机的整体标定流程图；图2为本发明方法步骤（1）中对各相机进行单独标定的流程图；图3为实施例步骤（2）中对rgbd相机中的rgb摄像头和ir摄像头进行标定的流程图；图4为本发明方法步骤（3）中对混合多相机进行外参标定获得外参终值的流程图；图5为八个相机标定场景的模型示例图。
具体实施方式
16.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本发明所述“以上”、“以下”均含本数。若未特别指明，实施举例中所用的技术手段为本领域技术人员所熟知的常规手段。需要说明的是：全文所述“计算”均指录入本发明提供算法/方法后利用硬件或软件自动运行的计算，并非指人为计算；在使用本发明提供算法/方法进行多相机标定时，最终获得的标定结果也不以人的意志为转移。
17.本发明提供了一种可对多相机或多摄像机进行标定的方法，为便于阐述，全文均使用“相机”。所述多相机可以为多个相同类型的相机，也可以是多个不同类型的相机。相较于现有技术而言，本发明尤其适用于多个不同类型相机（全文简称为“混合多相机”）的标定定位。所述混合多相机的分类适用于现有各种分类方式的相机。例如，以采集图片进行分类，分为：rgbd相机、rgb相机、灰度相机等；再例如，以分辨率进行分类，分为：640
×
480相机、1920
×
1080相机等。
18.本发明提供的标定方法应用场景为：多个相机环形布置，各相机的摄像头向内设置。针对该应用场景，进一步提供一种新的标定装置，所述标定装置具体包括多块标定板，所述标定板优选为具有一定抗光照能力的charuco标定板。使用该标定板，在即使没有拍全的情况下，依然可以完成标定。所述标定板的设置需满足：使用多相机标定外参时，每个相
机均可抓拍到图像。所述外参指相机之间（或摄像头之间）的、相机（或摄像头）与标定板之间的参数；与之相对的，内参指各相机内（或摄像头内）的参数。一种实施方式下：各所述相机环形布置，摄像头向内；相机围合形成的环形中间位置设置标定板。各所述标定板相互围合成一圈，朝向各相机摄像头。所述标定板数量至少为3块，可根据实际需要进一步设置4块、5块或更多块，从而围合形成横截面为三角形、矩形、五边形等形状的结构。
19.针对上述应用场景，在所述标定装置基础上，本发明进一步提供了一种多相机标定方法，尤其是混合多相机标定方法。所述标定方法具体包括如下步骤：（1）对所有相机进行单独标定，计算出各相机的内参；（2）待标定的所有相机中，至少有一个相机存在2个以上的摄像头，所述摄像头可以为相同或不同类型；任意选择一个具有2个以上摄像头的相机作为指定相机，对指定相机中的各摄像头进行标定，并计算摄像头之间的外参；（3）对剩余未标定摄像头进行标定，计算出相机间的外参。
实施例
20.为便于阐述，本实施例以混合相机同时包括rgbd相机、rgb相机和灰度相机为例，共设置8个相机（包括2个rgbd相机、2个rgb相机和4个灰度相机；实践中也可以根据需要进行任意组合）。如图5所示，本实施例采用的所述标定装置包括4块charuco标定板，各标定板相互环绕围合、等距对称排列；8个相机在4块标定板外环绕围合、等距对称排列。各相机的摄像头均朝向标定板设置。
21.标定方法包括如下步骤：（1）对所有相机进行单独标定，并计算出相机的内参；（2）对rgbd相机中的rgb摄像头和ir摄像头进行标定，并计算摄像头之间的外参；（3）将rgbd相机中的rgb摄像头与其他所有相机进行标定，计算出相机之间的外参，整个流程如图1所示。
22.具体标定过程包括：步骤（1）对所有相机进行单独标定的过程包括：1）建立相机模型（建立世界坐标系到像素坐标系的变换关系）。
23.已知世界坐标系中的三维点，其与图像的像素坐标系的二维点的关系为：即：，其中，为放缩因子，u为图像的像素坐标系下的x方向坐标，v为图像的像素坐标系下的y方向坐标，f
x
为x方向的焦距长度，fy为y方向的焦距长度，c
x
为投影中心x方向的偏移量，cy为投影中心y方向的偏移量，f
x
、fy、c
x
和cy组成的矩阵为相机内参k；r代表旋转矩阵，r
11
为旋转矩阵中第1行第1列，r
21
为旋转矩阵中第2行第1列，r
31
为旋转矩阵中第3行第1列，
以此类推；xw为世界坐标系下x方向的坐标，yw为世界坐标系下y方向的坐标，zw为世界坐标系下z方向的坐标，为相机外参，t代表平移矩阵，和分别是和的齐次坐标，t代表矩阵的转置。
[0024] 2）各相机单独标定。准备大小已知的charuco标定板，用待标定的全部相机分别对所述标定板进行不同角度的拍摄，得到一组图像。再对所述标定板进行角点检测，得到角点的像素坐标，再根据已知的棋盘格大小和世界坐标系原点，计算得到角点的物理坐标。然后利用角点的像素坐标和物理坐标，计算得到单应性矩阵。基于单应性矩阵，先后计算出初始值，即相机第一内参和相机间第一外参。将计算得到的初始值，带入到重投影误差方程，通过迭代优化重投影误差，即可得到相机第二内参，如图2所示。需要说明的是：对所有相机进行单独标定的方法采用张正友标定法：以标定板为坐标系，建立世界坐标系，得到角点的三维坐标，单应性矩阵为上述公式中的k[r t]，初始值就是初始的相机内参k和外参[r t]。在对相机进行标定时，每个相机都存在各自的坐标系，该坐标系随着相机自身而运动。相机拍摄标定板的图像会有重合的部分，而不同相机拍摄到同一标定板时，就可以把两个相机关联起来，从而计算两个相机间的外参。
[0025]
步骤（2）对rgbd相机中的rgb摄像头和ir摄像头进行标定的过程为：在步骤（1）获得的各相机第二内参的基础上，基于pnp算法分别计算出标定板的点云，从而获得rgb摄像头和ir摄像头坐标系下的三维空间坐标。再利用svd算法，计算出所述标定板在两个不同坐标系下（rgb摄像头和ir摄像头坐标系）的初始变换矩阵。再通过icp算法进行迭代优化，获得rgb摄像头和ir摄像头之间的外参，为第二外参。整个流程如图3所示。具体为：1）利用pnp算法计算标定板点云的具体过程为：已知空间点p（p是世界坐标系下的三维点）在世界坐标系的齐次坐标为，在图像中投影到的角点，是由角点的像素坐标p1变换得来的：，k为相机内参；此时相机的位姿未知，定义变换矩阵为一个的矩阵，包含旋转和平移，根据刚体运动的三维变换关系，得：，其中，u1为相机平面坐标系下的x方向坐标，v1为相机平面坐标系下的y方向坐标，ai是变换矩阵l的参数，i=1～12，s是放缩因子；把s消去，得到两个约束：
变换矩阵l有12个参数，每对点提供两个约束，因此，最少通过对3d-2d匹配点即可实现对矩阵l的线性求解。最后利用变换矩阵l，将标定板上的角点反投影到相机坐标系下，形成标定板点云。
[0026] 2）svd算法计算标定板的初始变换矩阵的过程为：在rgb和ir摄像头坐标系下的标定板点云中，找到对应的坐标，再分别计算出两组坐标点的质心，然后两组坐标点减去各自质心，ir坐标系下的坐标矩阵转置后与rgb摄像头坐标系下的坐标矩阵相乘，得到一个三阶方阵，最后利用这个矩阵先分解出旋转矩阵，然后基于旋转矩阵计算出平移矩阵，即可得到rgb摄像头和ir摄像头坐标系之间的初始变换矩阵；具体计算公式如下所示：a.将点集去中心化：其中，为rgb摄像头坐标系下的点云坐标，为ir摄像头坐标系下的点云坐标，和是点云的质心，ci和是点云坐标减去质心坐标后的相对坐标。
[0027]
b.计算协方差矩阵并svd分解：其中，a和b分别是ai和bi组成的坐标矩阵，u为左奇异矩阵，v为右奇异矩阵，∑是主对角线上的奇异值。
[0028]
c.计算旋转矩阵和平移矩阵：其中，r为旋转矩阵，t为平移矩阵。
[0029]
3）通过icp算法进行迭代优化的过程为：在rgb摄像头坐标系下的点云和在ir摄像头坐标系下的点云中，按照约束条件：，找到最邻近点，然
后计算出最优匹配参数r和t，使得误差函数最小，其中误差函数为：其中，n为最邻近点对的个数，pi为目标点云p中的一点，qi为源点云q中与pi对应的最近点，r为旋转矩阵，t为平移矩阵。
[0030]
迭代优化的具体计算流程如下： a.在点云p中取点集；b.找点云q中的对应点集，使得；c.计算旋转矩阵r和平移矩阵t，使得误差函数e最小；d.对pi使用上一步求得的旋转矩阵r和平移矩阵进行刚性变换（通过r旋转和t平移实现），得到新的对应点集；e.计算与对应点集qi的平均距离：f.如果d小于某一给定的阈值或者大于预设的最大迭代次数，则停止迭代计算（收敛条件）；否则返回第b步，直到满足收敛条件为止。
[0031]
步骤（3）对混合多相机进行外参标定的过程为：在对混合多相机进行标定时，为了得到较高精度的外参，先根据多相机与标定装置之间的位置关系，构建图模型，将基准相机坐标系（即选择一个相机）与世界坐标系对齐，利用图模型中的顶点和边，计算所有顶点的初始位姿；然后利用顶点的初始位姿，计算标定板到相机（所述相机指与标定板关联的相机）的重投影误差，最后迭代优化其重投影误差到最小，即可得到高精度的相机之间的外参终值，流程如图4所示。具体步骤为：1）构建图模型，相机和标定板都是图模型的顶点，当相机抓拍到标定板时定义为图边，其中图模型中的顶点可以用来存储相机和标定板的位姿，而图的边用来存储的是相机和标定板之间的相对位姿变换关系，即在相机标定时，会获得外参，即相机和标定板之间的外参[r t]。如图5所示，图5为8个相机标定场景的图模型示例，其中，外侧的大圆点表示相机顶点，内测的小圆点表示标定板顶点。
[0032]
2）构建完图模型后，使基准相机坐标系与世界坐标系对齐，即将指定的基准相机作为世界坐标系，接着以基准相机为根，通过广度优先搜索方法生成树，然后通过图边从基准相机开始遍历生成树，进而来计算顶点位姿，最终获取到所有顶点的初始位姿估计。
[0033]
3）利用顶点的初始位姿，计算标定板到相机的重投影误差，并将此误差作为损失函数：
其中，为投影函数，为从标定板到相机基准相机的相对变换关系，ii代表世界坐标系与基准相机对齐，用4x4的单位矩阵表示；为相机基准相机的内参（是相机内参集合）；为标定板物理坐标对应的图像上的像素坐标。
[0034]
所有标定板上角点的重投影误差，可以对图模型上所有顶点姿态进行优化，于是把顶点位姿的优化问题定义为：其中，为标定板索引号，为基准相机抓拍到标定板的图像，hi为世界坐标系下标定板的位姿，hj为世界坐标系下相机的位姿，h
ij
=h
i-1hj
。
[0035]
最后通过lm算法进行迭代优化，则重投影误差的优化迭代问题定义为：其中，为当前误差值，为优化后的误差值，为优化的梯度方向值，为近似的矩阵，其中是误差函数的一阶导，为单位矩阵，为阻尼因子。
[0036]
，保证正定，优化迭代朝着下降方向进行；当非常大时，近似于，接近最速下降法；当比较小时，近似于，接近高斯牛顿法。
[0037]
重投影误差优化迭代时，不仅其误差值越来越小，同时也调整着相关的顶点位姿，使其越来越准确，进而获取到更高精度的相机间的外参。
[0038]
本实施例还提供一种多相机标定方法的标定装置，所述标定装置包括：第一数据获取单元，为相机内参获取单元，用于对相机集合中的各相机进行内参标定；第二数据获取单元，为指定相机各摄像头外参获取单元，用于获取所述相机集合中的指定相机，并对所述指定相机内的各摄像头进行外参标定，获得所述指定相机内各摄像头之间的外参；第三数据获取单元，为相机间外参获取单元，用于将所述指定相机内的各摄像头与所述相机集合中除所述指定相机外的相机进行外参标定。
[0039]
该多相机标定方法的标定装置，可有效解决环形布置的混合多相机外参标定的问
题，具有很高的标定精度。
[0040]
本实施例还提供一种终端设备，包括至少一个处理器以及至少一个存储器；至少一个程序被存储在所述存储器中，被配置为由所述处理器执行所述多相机标定方法。
[0041]
本实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，在所述程序代码被处理器运行时执行所述多相机标定方法。
[0042]
以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。