一种无需依赖云台角度的相机动态外参标定方法及装置与流程

1.本发明涉及机器视觉技术领域，尤其是一种无需依赖云台角度的相机动态外参标定方法及装置。


背景技术：

2.固定式双目立体视觉测量方法广泛的应用在机器人、无人机等领域，但由于其视场有限对于运动目标超出相机视场的特殊情况，采用固定式的相机云台无法满足相应的视觉检测要求。而运动云台相机具有视角可变的特点，能够获取多个相机姿态下的场景图像，扩大了目标的视觉跟踪范围，从而能够实现目标的跟踪与测量。
3.理想云台相机模型下，云台坐标系与相机坐标完全重合可通过云台的旋转角度直接获取相机的外参。但是实际情况下主要有两大难点：一、相机的光心难以确定，不能完全保证相机中心与云台中心完全重合。二、云台旋转两轴无法完全正交。
4.目前云台相机标定的方法主要分为两种，第一种是建立准同心云台相机模型来进行外参标定，在[苑云,朱肇昆,张小虎,等.准同心广义经纬相机的成像模型及高精度标定[j].光学学报,2012(07):176
‑
187.]中，宛云等人提出将相机安装在离旋转平台中心尽可能接近，从而忽略了相机与经纬仪中心的距离，采用了线性求解及平差优化相机参数的方法，该标定结果具有较高精度。第二种是建立非理想云台相机模型，求解相机相机坐标系与云台坐标系的转换关系，在[[1]顾国华,王佳节,陈钱,等.二维旋转平台下的相机参数标定[j].光学精密工程,2017,025(007):1890
‑
1899.]中，顾国华等人提出通过一对坐标系的变换与逆变换，将相机的旋转平移变换关系转换为二维旋转平台纯旋转关系；然后，借助旋转平台读数以及相机到旋转平台的固定变换关系，实现相机内参的精确标定以及任意位置间相机外参的相互转换；最后，利用标定出的相机与旋转平台间变换矩阵实现不同位置相机参数的转换。上述两种方法都需要高精度云台来保证标定的准确度。


技术实现要素：

[0005]
本发明的首要目的在于提供一种能够解决云台相机的外参标定问题,且不依赖有角度读数的云台，标定过程快速、简单，标定结果精度高的无需依赖云台角度的相机动态外参标定方法。
[0006]
为实现上述目的，本发明采用了以下技术方案：一种无需依赖云台角度的相机动态外参标定方法，该方法包括下列顺序的步骤：
[0007]
(1)采用张正友相机标定方法分别对左相机、右相机进行标定，分别获取左相机的初始内参k1和初始外参r1、t1，右相机的初始内参k2和初始外参r2、t2；所述初始内参用于反映相机坐标系到图像坐标系之间的转换关系，所述初始外参用于反映相机坐标系到世界坐标系之间的转换关系；
[0008]
(2)在左相机、右相机的公共视场内布置一个控制点p，通过左相机、右相机实现三维重建，获取控制点p的三维坐标(x、y、z)；
[0009]
(3)转动固定在左二轴云台上的左相机，控制点p在图像上的坐标发生偏移，将旋转后的图像坐标减去旋转前的图像坐标得到相机图像坐标偏移量(dx、dy)；根据相机图像坐标偏移量(dx、dy)与相机旋转角度之间的关系建立观测方程，通过相机的初始角度(0，0)计算得到第一观测矩阵h1；
[0010]
(4)将相机图像坐标偏移量(dx，dy)作为观测值，相机k
‑
1时刻旋转过角度作为状态量分别输入卡尔曼滤波公式计算，计算得到相机旋转角度；
[0011]
(5)将相机旋转角度与旋转前角度相加得到相机当前角度，实现相机外参标定；根据相机当前角度计算得到第二观测矩阵h2；当相机继续转动时，将得到的第二观测矩阵h2用于下一次卡尔曼滤波公式计算，重复步骤(4)至步骤(5)，实现相机的实时动态外参标定；
[0012]
按步骤(3)至步骤(5)的操作单独完成左相机的动态外参标定，再按步骤(3)至步骤(5)的操作单独完成右相机的动态外参标定。
[0013]
在步骤(1)中，根据张正友标定法得到分别得到左相机、右相机旋转前的初始内参和初始外参；左相机、右相机的内参和外参表达式一致，以左相机初始内参和外参为例：
[0014][0015]
式中，k1为左相机的初始内参，反映相机坐标系o
l
‑
x
c
y
c
z
c
到图像坐标系i
l
‑
uv之间的转换关系，其中f
x
和f
y
为行列方向上的等效焦距，而(u1，v1)为相机主点；
[0016][0017]
式中，r1，t1为左相机初始外参，分别表示旋转前相机相对于世界坐标系的旋转矩阵和平移矩阵。
[0018]
在步骤(2)中,在空间中布置一个控制点p，则控制点p的世界坐标到到图像坐标的转换有：
[0019][0020][0021]
其中，z
l
、z
r
分别为左相机和右相机的比例因子，m
l
为左相机内参与外参的乘积，m
r
为右相机内参与外参的乘积，(x,y,z)为控制点p的世界坐标；(u
l
,v
l
)和(u
r
,v
r
)分别为控制点p在左相机、右相机上的图像坐标；
[0022]
由公式(3)、(4)推导出：
[0023][0024]
根据最小二乘法求解(5)中的x，y，z得到控制点p的世界坐标。
[0025]
在步骤(3)中，左二轴云台进行俯仰与偏航运动，旋转过程中控制点p的世界坐标不变；建立出云台旋转后，控制点p从世界坐标(x,y,z)与到左相机的相机坐标(x
c
,y
c
,z
c
)的转换：
[0026][0027]
式中，θ，λ分别作为相机绕pan轴、tilt轴的旋转角度，r
θ
、r
λ
分别为对应的旋转矩阵，[r1,t1]为左相机初始外参；对两边求微分，得到相机旋转使角度发生微小变化时对控制点p的相机坐标的影响：
[0028][0029]
式中，pw为p点的三维坐标(x，y，z)；
[0030]
控制点p的相机坐标到图像坐标的变换如下：
[0031][0032]
式中，z
c
为比例因子，当控制点p的相机坐标有微小变换时，对控制点p的图像坐标影响为：
[0033][0034]
根据公式(7)和公式(9)得到卡尔曼滤波的初始观测矩阵h1：
[0035][0036]
在步骤(4)中将控制点p在图像上的偏移dx，dy作为卡尔曼滤波的观测值z
k
，初始角度为[0，0]
t
作为状态量同时输入到卡尔曼滤波公式中，通过卡尔曼滤波公式得到相机的旋转角度；
[0037]
卡尔曼滤波分为：
[0038]
卡尔曼预测：根据上一时刻k
‑
1时刻的后验估计值来估计当前时刻k时刻的状态，得到k时刻的先验估计值，公式如下：
[0039][0040][0041]
式中表示k
‑
1时刻的后验状态估计值，表示k时刻的先验状态估计值，是滤波的中间计算结果，即根据上一时刻k
‑
1时刻的最优估计预测的k时刻的结果，是预测方程的结果；a为状态转移矩阵，设置为[1 1]
t
；q为过程激励噪声协方差，p
k
‑
为k时刻的先验估计协方差；
[0042]
卡尔曼更新：使用当前时刻的测量值来更正预测阶段估计值，得到当前时刻的后验估计值，公式如下：
[0043]
卡尔曼增益
[0044]
状态更新
[0045]
协方差更新
[0046]
式中，k
k
表示k时刻的卡尔曼增益，p
k
表示k时刻的后验估计协方差。h1为第一观测矩阵，r为测量噪声协方差，i为单位矩阵，为k时刻的后验状态估计值。
[0047]
在步骤(5)中，根据步骤(4)得到相机k时刻的旋转角度加上旋转前的角度得到k时刻相机当前角度θ
k
，λ
k
，而相机当前角度用于更新k 1时刻的观测矩阵即第二观测矩阵h2：
[0048][0049]
式中，和分别为左相机k时刻在俯仰和偏航两个方向上角度θ
k
、λ
k
的旋转矩阵。
[0050]
本发明的另一目的在于提供一种无需依赖云台角度的相机动态外参标定方法的装置，该装置包括：
[0051]
左相机，用于获取目标图片并得到目标在左相机图像上的像素坐标；
[0052]
右相机，用于获取目标图片并得到目标在右相机图像上的像素坐标；
[0053]
左二轴云台，用于搭载左相机使左相机能进行俯仰和偏航两个方向的运动；
[0054]
右二轴云台，用于搭载右相机使右相机能进行俯仰和偏航两个方向的运动；
[0055]
左右两相机公共视场，是左右两相机视场重合的地方，处于左右两相机公共视场的目标能分别成像在左右两相机上；
[0056]
控制点p，在空间中布置的一点，用于对左右两相机外参标定；
[0057]
左相机、右相机分别搭载在左二轴云台、右二轴云台上，左二轴云台和右二轴云台控制左相机、右相机的运动，控制点布置在左相机、右相机的公共视场内，控制点能被左相机、右相机同时获取。
[0058]
由上述技术方案可知，本发明的有益效果为：第一，本发明是根据实际控制点p在图像上的偏移对相机外参进行计算，不考虑云台与相机坐标之间重合问题；第二，本发明由于不依赖有读数的二轴云台即可获得相机的外参，比依赖高精度云台测量方案的成本更低，仅需在三维空间中布置一个控制点即可完成测量，实现过程较为简单方便；第三，固定式立体视觉的测量范围为两相机的公共视场，仅有约3x3m的测量视场；而本发明可将相机围绕控制点p转动进行测量，测量范围约为5.6x5.6m，接近为原来视场的3.5倍，可以在空间内布置多个控制点，然后通过空间中的多个控制点来进行外参标定，这样可以进一步提高相机测量视场。
附图说明
[0059]
图1为本发明关于转台视觉系统中二轴转台和相机测量单个控制点的模型图；
[0060]
图2为立体视觉测量原理图；
[0061]
图3为相机转动原理图；
[0062]
图4为本发明的方法流程图；
[0063]
图5、6均为本发明与传统方案分别左右相机上的重投影误差比较示意图。
具体实施方式
[0064]
如图4所示，一种无需依赖云台角度的相机动态外参标定方法，该方法包括下列顺序的步骤：
[0065]
(1)采用张正友相机标定方法分别对左相机1、右相机3进行标定，分别获取左相机1的初始内参k1和初始外参r1、t1，右相机3的初始内参k2和初始外参r2、t2；所述初始内参用于反映相机坐标系8到图像坐标系9之间的转换关系，所述初始外参用于反映相机坐标系8到世界坐标系7之间的转换关系；
[0066]
(2)在左相机1、右相机3的公共视场内布置一个控制点p，通过左相机1、右相机3实现三维重建，获取控制点p的三维坐标(x、y、z)；
[0067]
(3)转动固定在左二轴云台2上的左相机1，控制点p在图像上的坐标发生偏移，将旋转后的图像坐标减去旋转前的图像坐标得到相机图像坐标偏移量(dx、dy)；根据相机图像坐标偏移量(dx、dy)与相机旋转角度之间的关系建立观测方程，通过相机的初始角度(0，0)计算得到第一观测矩阵h1；
[0068]
(4)将相机图像坐标偏移量(dx，dy)作为观测值，相机k
‑
1时刻旋转过角度作为状态量分别输入卡尔曼滤波公式计算，计算得到相机旋转角度；
[0069]
(5)将相机旋转角度与旋转前角度相加得到相机当前角度，实现相机外参标定；根据相机当前角度计算得到第二观测矩阵h2；当相机继续转动时，将得到的第二观测矩阵h2用于下一次卡尔曼滤波公式计算，重复步骤(4)至步骤(5)，实现相机的实时动态外参标定；
[0070]
按步骤(3)至步骤(5)的操作单独完成左相机1的动态外参标定，再按步骤(3)至步骤(5)的操作单独完成右相机3的动态外参标定。
[0071]
在步骤(1)中，根据张正友标定法得到分别得到左相机1、右相机3旋转前的初始内参和初始外参；左相机1、右相机3的内参和外参表达式一致，以左相机1初始内参和外参为例：
[0072][0073]
式中，k1为左相机1的初始内参，反映相机坐标系8o
l
‑
x
c
y
c
z
c
到图像坐标系9i
l
‑
uv之间的转换关系，其中f
x
和f
y
为行列方向上的等效焦距，而(u1，v1)为相机主点；
[0074][0075]
式中，r1，t1为左相机1初始外参，分别表示旋转前相机相对于世界坐标系7的旋转矩阵和平移矩阵。
[0076]
在步骤(2)中,在空间中布置一个控制点p，则控制点p的世界坐标到到图像坐标的转换有：
[0077][0078][0079]
其中，z
l
、z
r
分别为左相机1和右相机3的比例因子，m
l
为左相机1内参与外参的乘积，m
r
为右相机3内参与外参的乘积，(x,y,z)为控制点p的世界坐标；(u
l
,v
l
)和(u
r
,v
r
)分别为控制点p在左相机1、右相机3上的图像坐标；
[0080]
由公式(3)、(4)推导出：
[0081][0082]
根据最小二乘法求解(5)中的x，y，z得到控制点p的世界坐标。
[0083]
在步骤(3)中，左二轴云台2进行俯仰与偏航运动，旋转过程中控制点p的世界坐标不变；建立出云台旋转后，控制点p从世界坐标(x,y,z)与到左相机1的相机坐标(x
c
,y
c
,z
c
)的转换：
[0084][0085]
式中，θ，λ分别作为相机绕pan轴、tilt轴的旋转角度，r
θ
、r
λ
分别为对应的旋转矩阵，[r1,t1]为左相机1初始外参；对两边求微分，得到相机旋转使角度发生微小变化时对控
制点p的相机坐标的影响：
[0086][0087]
式中，pw为p点的三维坐标(x，y，z)；
[0088]
控制点p的相机坐标到图像坐标的变换如下：
[0089][0090]
式中，z
c
为比例因子，当控制点p的相机坐标有微小变换时，对控制点p的图像坐标影响为：
[0091][0092]
根据公式(7)和公式(9)得到卡尔曼滤波的初始观测矩阵h1：
[0093][0094]
在步骤(4)中将控制点p在图像上的偏移dx，dy作为卡尔曼滤波的观测值z
k
，初始角度为[0，0]
t
作为状态量同时输入到卡尔曼滤波公式中，通过卡尔曼滤波公式得到相机的旋转角度；
[0095]
卡尔曼滤波分为：
[0096]
卡尔曼预测：根据上一时刻k
‑
1时刻的后验估计值来估计当前时刻k时刻的状态，得到k时刻的先验估计值，公式如下：
[0097][0098][0099]
式中表示k
‑
1时刻的后验状态估计值，表示k时刻的先验状态估计值，是滤波的中间计算结果，即根据上一时刻k
‑
1时刻的最优估计预测的k时刻的结果，是预测方程的结果；a为状态转移矩阵，设置为[1 1]
t
；q为过程激励噪声协方差，为k时刻的先验估计协方差；
[0100]
卡尔曼更新：使用当前时刻的测量值来更正预测阶段估计值，得到当前时刻的后验估计值，公式如下：
[0101]
卡尔曼增益
[0102]
状态更新
[0103]
协方差更新
[0104]
式中，k
k
表示k时刻的卡尔曼增益，p
k
表示k时刻的后验估计协方差。h1为第一观测矩阵，r为测量噪声协方差，i为单位矩阵，为k时刻的后验状态估计值。
[0105]
在步骤(5)中，根据步骤(4)得到相机k时刻的旋转角度加上旋转前的角度得到k时刻相机当前角度θ
k
，λ
k
，而相机当前角度用于更新k 1时刻的观测矩阵即第二观测矩阵h2：
[0106][0107]
式中，和分别为左相机1k时刻在俯仰和偏航两个方向上角度θ
k
、λ
k
的旋转矩阵。
[0108]
如图1所示，本装置包括：
[0109]
左相机1，用于获取目标图片并得到目标在左相机1图像上的像素坐标；
[0110]
右相机3，用于获取目标图片并得到目标在右相机3图像上的像素坐标；
[0111]
左二轴云台2，用于搭载左相机1使左相机1能进行俯仰和偏航两个方向的运动；
[0112]
右二轴云台4，用于搭载右相机3使右相机3能进行俯仰和偏航两个方向的运动；
[0113]
左右两相机公共视场5，是左右两相机视场重合的地方，处于左右两相机公共视场5的目标能分别成像在左右两相机上；
[0114]
控制点p，在空间中布置的一点，用于对左右两相机外参标定；
[0115]
左相机1、右相机3分别搭载在左二轴云台2、右二轴云台4上，左二轴云台2和右二轴云台4控制左相机1、右相机3的运动，控制点布置在左相机1、右相机3的公共视场内，控制点能被左相机1、右相机3同时获取。
[0116]
如图1所示，将左相机1、右相机3分别放置在左二轴云台2、右二轴云台4上，通过控制左二轴云台2、右二轴云台4可使左相机1、右相机3进行俯仰(绕pan轴旋转)与偏航(绕tilt轴旋转)运动。在左相机1、右相机3的视场范围内布置一个靶标，通过hough圆检测的方法可检测到靶标的圆，从而提取出圆心，该圆心为后面进行实验的控制点p，在图1中，控制点p即附图标记6。
[0117]
如图2所示，控制点p发出的光线经过左相机1、右相机3的光心，并分别成像在左相机1、右相机3的成像平面上。在该过程中主要涉及三种坐标系，控制点p所在的世界坐标系7(x，y，z)不随相机转动而变化，分别以左相机1、右相机3光心为坐标系原点建立的相机坐标系8o
l
‑
x
c
y
c
z
c
，o
r
‑
x
c1
y
c1
z
c1
，以左相机1、右相机3所在的成像平面建立的图像坐标系9i
l
‑
uv，i
r
‑
u1v1。
[0118]
如图3所示，以左相机1为例，左相机1旋转时，控制点p不动。控制点p在图像坐标系9的坐标会发生变换，为了直观的显示控制点p在图像坐标上的变化，故只显示一个成像平面。控制点p在图像坐标的横向偏移量为dx，纵向偏移量为dy。
[0119]
图5为左相机1在不同角度下通过传统方法和本方法计算出的重投影误差，总共25
组数据，均能反映出本发明重投影误差小于传统方法的重投影误差。传统方法是指直接根据云台角度计算相机外参，然后根据相机外参得到重投影误差。
[0120]
图6为右相机3在不同角度下通过传统方法(直接根据云台角度计算相机外参，然后根据相机外参得到重投影误差)和本方法提出的计算出的重投影误差，总共25组数据，除第二点误差较大，其他点均能反映出本方法重投影误差小于传统方法的重投影误差。传统方法是指直接根据云台角度计算相机外参，然后根据相机外参得到重投影误差。
[0121]
综上所述，本发明是根据实际控制点p在图像上的偏移对相机外参进行计算，不考虑云台与相机坐标之间重合问题；本发明由于不依赖有读数的二轴云台即可获得相机的外参，比依赖高精度云台测量方案的成本更低，仅需在三维空间中布置一个控制点即可完成测量，实现过程较为简单方便。