极线几何约束的鱼眼相机标定方法与流程

1.本发明涉及摄影测量技术领域，特别是涉及鱼眼相机标定的方法，适用于鱼眼相机三维重建工作。


背景技术：

2.摄影测量在长达150多年的发展过程中，所有的理论基础(如共线方程、光束法平差、微分正射纠正等)都是基于透视(中心)投影的“普通”航摄相机(如框幅相机、线阵传感器)，相关航空影像射影测量处理比较成熟。但这类相机都是根据视觉设计的，观察范围一般限制在40
°‑
50
°
，不能获得周围环境的全部信息，部分目标很难被发现，即容易“逃出”视野和观察范围。因此，国际上提出了“全方位视觉”，即一次性获得180
°
或360
°
大视场的全景信息。近年来，国际上热衷于研究这类相机(如180
°
鱼眼相机)，并逐步应用在机器人导航、星球探索、全景监控、公共安防、管道探测、辅助驾驶、现场检测、车载巡检、飞行器制导和虚拟现实等领域。
3.现有的鱼眼相机标定方法大致可分为三类：
4.(1)基于相机模型的鱼眼相机标定(如：zhang,y.,zhao,l.,&hu,w.(2013).asurvey of catadioptric omnidirectional camera calibration.international journal of information technology and computer science(ijitcs),5(3),13.)。该类方法虽然推导合理，但是相机的畸变有多方面因素，所以不可能构建出很严密的数学模型，而且没有建立空间点与图像点之间的关系，属于自校准，实际应用精度具有不确定性。
5.(2)基于成像几何的鱼眼相机标定(如：schwalbe,e.(2005,february).geometric modelling and calibration of fisheye lens camera systems.in proc.2nd panoramic photogrammetry workshop,int.archives of photogrammetry and remote sensing(vol.36,no.part 5,p.w8).)。该类方法可以比较正确地计算出标定参数，但只用一幅鱼眼图像进行标定，单幅图像信息不完整，容易漏掉一些重要的视图几何信息，不利于三维重建。
6.(3)基于单视图几何约束的鱼眼相机标定(如：fitzgibbon,a.w.(2001,december).simultaneous linear estimation of multiple view geometry and lens distortion.in proceedings of the 2001ieee computer society conference on computer vision and pattern recognition.cvpr2001(vol.1，pp.i-i).ieee.)。该类方法绝大多数也是利用单幅图像的几何约束进行标定，但是鱼眼相机畸变不是单一因素引起的，单幅图像的一些约束并不是很严格的成立，而且这类方法并没有使用到空间三维坐标，属于自标定，实际应用的精度具有不确定性。所以视图几何约束的鱼眼相机标定有很大的局限性。
7.针对以上三种鱼眼相机定标方法的局限性，本发明公开了极线几何约束的鱼眼相机标定方法。


技术实现要素：

8.本发明公开了极线几何约束的鱼眼相机标定方法。为了达到上述的目的，本发明采用如下技术方案，包括如下步骤。
9.步骤1，建立室内三维标定场，对标定场中的人工标志点进行坐标测量，然后对标定场进行多个角度的摄影，测量影像上的人工标志点的鱼眼图像点坐标。
10.步骤2，利用鱼眼相机等距投影函数以及传统光学相机的透视投影函数的关系，推导鱼眼图像点与透视投影图像点的数学关系，然后推导出鱼眼图像点与空间三维坐标点的数学关系，这个过程需要确定内方位元素的初始值。最后求出投影变换矩阵，进而得到基本矩阵。
11.内方位元素初始值确定方法：由于鱼眼相机的制造不可能没有误差，所以鱼眼图像呈现近似圆形的椭圆。根据鱼眼相机的这一特点，将图像拟合成一条曲线，并去除噪声。根据曲线方程估算出两幅图像的中心和半径。利用光学原理，可计算出焦距的初始值。
12.投影变换矩阵确定方法：首先得到鱼眼图像点与透视投影图像点的数学关系以及内方位元素初始值，然后用若干个空间三维坐标点和与其对应的鱼眼图像点基于直接线性变换(dlt)方法以及lm算法求出最优投影变换矩阵，通过极线几何理论公式计算出基本矩阵初始值。
13.步骤3，将畸变模型加入极线几何约束式，用牛顿法求出鱼眼相机畸变参数。
14.畸变参数确定方法：将畸变参数加入极线几何约束式后，由于基本矩阵的初始值与内方位元素初始值已经求出来，所以该约束式只有畸变参数未知，用牛顿法解非线性方程组即可得到畸变参数。
15.步骤4，用畸变改正鱼眼图像点，求解投影变换矩阵，分解投影变换矩阵得到内外方位元素。
附图说明
16.图1是本发明流程图
17.图2是本发明室内三维标定场
18.图3是本发明鱼眼镜头畸变示意图
19.图4是本发明鱼眼相机成像过程原理图
20.图5是本发明室内标定场的鱼眼图像
21.图6是本发明鱼眼图像分割图
22.图7是本发明求内方位元素的曲线拟合图
23.图8是本发明极线几何约束原理图
具体实施方式
24.为使本发明的目的、技术方案及优点更加清楚明白，以下举出优选实施例，结合附图对本发明具体实施作进一步详细说明。
25.下面结合附图和实施例对本发明的步骤做进一步的详细描述。
26.为了便于标定，首先建立坐标系：
27.(1)(xw,yw,zw)是空间坐标系o
w-x
wywzw
中任意点的坐标，ow是空间坐标系的原点。
28.(2)(xs,ys,zs)是相机坐标系o
s-x
syszs
中任意点的坐标,os是相机坐标系的原点。
29.(3)(x,y)鱼眼图像坐标系o
xy-xy中任意点，o
xy
是鱼眼图像坐标系原点。
30.(4)(u,v)是鱼眼图像像素坐标系o-uv中任意点的坐标，o是鱼眼图像像素坐标系原点。
31.(5)(x',y')是虚拟透视投影图像坐标系o'
xy-x'y'中任意点的坐标，o
x
'y是虚拟透视投影图像坐标系原点。
32.(6)(u',v')是虚拟透视投影图像像素坐标系o'-u'v'中任意点，o'是虚拟透视投影图像像素坐标系原点。
33.(7)o
xy
(u0,v0)是鱼眼图像与虚拟透视投影图像的中心，
34.向径(如图3)。
35.结合图1，说明极线几何约束的鱼眼相机标定方法的步骤。
36.步骤1，建立室内三维标定场。对标定场中的人工标志点进行坐标测量，然后对标定场进行多个角度的摄影，测量影像上的人工标志点的鱼眼图像点坐标。
37.结合图2说明建立室内三维标定场。标定场长6.5m，宽1.5m，高4.0m，共有30根钢柱，每根钢柱上均匀布设10个地面控制点(以下简称为gcp)，钢柱分布结构为均匀分布的前后三层，相邻两层钢柱相距0.75m，同时，标定场下方布设有铟钢尺，作为测量时的标准尺，背景墙为白色，光照条件良好，能够以不同的高度、不同的角度进行多角度拍摄，如图2(a)。为了尽可能地观测到所有gcp，分别在标定场左前方4.8m处和右前方3.2m处设置两个高度为1.15m的实心测站台，作为测站点。gcp人工标志选用40mm
×
40mm的白色方形反光贴纸，中心为直径40毫米的黑白相间的圆形，中心采用精密十字丝，gcp人工标志中心十字丝刻画线宽为0.5mm，如图2(c)，不仅便于精密观测，其图形也有利于数码相片gcp人工标志中心的提取。用强力胶将gcp人工标志固定在金属杆上，保持gcp人工标志相对位置长期稳定。
38.结合图2建立自由坐标系，以铟钢尺上o1点作为自由坐标系原点ow，采用右手坐标系，如图2(a)。利用后方交会的方法确定2个测站点a、b的平面坐标，在铟钢尺上均匀选择4个点。将两台尼康cx-102全站仪分别架于a、b两测站点，分别测量铟钢尺上的其中三点的水平角以及竖直角，另一点作为多余观测值进行平差，测量8个测回，基于后方交会计算公式以及三角高程计算公式计算得到测站点三维坐标。在标定场的三层钢架上均匀选取若干个gcp，以及检查点(cp)，进行鱼眼相机标定实验。用相同的仪器在a、b两测站点，分别测gcp的水平角以及竖直角，测回数为4。利用前方交会和三角高程测量公式计算得到gcp和cp的三维坐标。
39.步骤2，利用鱼眼相机等距投影函数以及传统光学相机的透视投影函数的关系，然后推导出鱼眼图像点与空间三维坐标点之间的数学关系，求出投影变换矩阵，利用极线几何的理论计算出基本矩阵的初始值。具体实施方式如下：
40.透视投影模型
41.r'＝ftanθ
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
42.等距投影模型
43.r＝fθ
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
44.θ是入射光线的入射角，f是焦距。
45.结合图4(a)和(b)说明鱼眼相机等距投影模型以及透视投影模型得到鱼眼图像点
与透视投影图像点的关系
[0046][0047]
根据直接线性变换(dlt)得到鱼眼图像点与空间三维坐标点的数学关系:
[0048][0049]
式中，h是投影变换矩阵。令
[0050]
然后用levenberg-marquardt算法最小化重投影误差，基于最小二乘平差解算最优化的投影变换矩阵。
[0051]
min(∑id(xi，hzi)2)
[0052]
假设h
l
和hr分别是第一张鱼眼图像和第二张鱼眼图像的投影变换矩阵。用两张鱼眼图像进行上述同样的步骤，可以求得h
l
和hr。
[0053]
基本矩阵根据极线几何约束理论公式计算得到：
[0054][0055]
其中
[0056]
结合图5、6、7说明求解(4)式需要的内方位元素初始值。求内方位元素初始值具体步骤如下：
[0057]
由于鱼眼相机的制造不可能没有误差，所以鱼眼图像的成像显示的是近似圆形的椭圆，根据鱼眼相机的这个特点,利用两张像片进行曲线拟合去噪，根据曲线方程求得两张像片中心以及半径。其中图5(a)和图5(b)是两个方位拍摄的标定场鱼眼图像，图6(a)和图6(b)首先经过中值滤波进行去噪然后根据阈值分割原理分割之后的图像,图7(a)和图7(b)是最终拟合的结果。在图7(a)和图7(b)选择一些曲线边缘点然后根据椭圆的一般方程以及焦距的光学原理进行计算得到内方位元素的初始值。
[0058]
步骤3，将畸变模型加入极线几何约束式，用牛顿迭代法求出鱼眼相机畸变参数。结合图3说明具体实施方式：
[0059]
鱼眼相机的畸变模型一般只考虑两个，径向畸变模型和切向畸变模型见图3。径向畸变模型
[0060][0061]
切向畸变模型
[0062][0063]
由畸变模型可以得到无畸变的鱼眼图像点a的坐标，见图3
[0064][0065]
以上公式中，k1，k2是径向畸变参数，p1，p2是切向畸变参数。
[0066]
δ(u-u0)r和δ(v-v0)r分别是u方向和v方向的径向畸变；
[0067]
δ(u-u0)
t
和δ(v-v0)
t
分别是u方向和v方向的切向畸变；
[0068]
(u
(id)
，v
(id)
)是无畸变鱼眼像点坐标。
[0069]
由鱼眼图像点与透视投影图像点之间的数学关系可以得到无畸变的透视投影图像坐标：
[0070][0071]
上式，(u'
(id)
，v'
(id)
)是无畸变透视投影图像坐标。
[0072]
将无畸变的透视投影图像坐标加入极线几何约束式可以得到鱼眼相机畸变参数标定模型
[0073][0074]
上式，(u'
l(id)
,v'
l(id)
)是第一张鱼眼图像对应的虚拟透视投影图像坐标，(u'
r(id)
,v'
r(id)
)是第二张鱼眼图像对应的虚拟透视投影图像坐标。
[0075]
将标定模型(10)展开化简并用牛顿法求解。
[0076]
展开后方程为，
[0077][0078]
上式，a，b，c，d，e，g，i,j，l，m，n，s，u，y，t为含(u0，v0，fu,fv)的常数，(u0,v0,fu,fv)的值由(4)式求得。
[0079]
求解过程如下。
[0080]
将展开后的方程(11)记为f(x)，解非线性方程组的牛顿迭代方程为：
[0081]
x
(k 1)
＝x
(k)-f'(x
(k)
)-1
f(x
(k)
),k＝0,1,...
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)
[0082]
即
[0083][0084]
式中，f'(x
(k)
)是f(x)的雅克比矩阵，初始值取x＝[0,0,0,0]
t
。解得鱼眼相机畸变参数x＝[k1,k2,p1,p2]
t
。
[0085]
步骤4，用畸变改正鱼眼图像点，求解投影变换矩阵以及基本矩阵。分解投影变换矩阵得到内外方位元素。具体实施方式如下。
[0086]
用畸变参数改正鱼眼图像点坐标然后求投影变换矩阵h
(id)
(理想投影变换矩阵):
[0087]
[u'
(id)
,v'
(id)
,1]
t
＝h
(id)zꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13)
[0088]
令则内方位元素为：
[0089][0090][0091]
计算得到内方位元素和畸变参数。
[0092]
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变形。因此，所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。
[0093]
本发明未详尽描述的技术内容均为公知技术。