一种基于准三维靶标的摄像机标定方法与流程

1.本发明涉及测量技术领域，更具体的说是涉及一种基于准三维靶标的摄像机标定方法。


背景技术：

2.视觉测量具有非接触、速度快、柔性好、精度高等特点，广泛应用于物体的几何尺寸和物体的位置测量等领域。视觉传感器的标定是视觉测量能否成功应用的关键，其途径是根据摄像机模型，由已知特征点图像坐标和世界坐标求解摄像机的模型参数，从而建立图像像素位置与空间三维点之间的映射关系实现摄像机标定，该步骤是建立视觉测量系统的一个重要环节。
3.目前，常见的摄像机标定技术主要有：基于三维立体靶标的标定、基于二维平面靶标的标定和摄像机自标定等。在以上几种典型标定方法中，基于三维立体靶标的标定只需要一幅图像就可以标定出全部参数，并可以获得比较高的精度，但需要使用精密加工的立体靶标，其加工和维护比较困难；摄像机自标定技术在理论上是一种不错的方法，但在实际的标定过程中很难做到摄像机平台的完全平移与正交运动，所以在实用性和精度方面必然受到一定的限制；基于二维平面靶标的标定方法具有操作方法简单和标定精度高等特点，是目前最为广泛使用的方法，但是平面靶标需要移动多次才能达到较高的标定精度，使得标定过程比较繁琐。而准三维靶标由两块平面靶标拼接而成，只需要移动普通平面靶标一半的次数便可达到相同的标定效果，并且比立体靶标加工方便。
4.同时，靶面上设置的标定点一般为图1所示的6种形式之一：圆的中心、方块中心、十字线的交点、米字线的交点、方块的顶点和棋盘的格点。使用圆作为特征较于其它形式具有以下优点：1)对阈值不敏感，即使在复杂的背景中仍能准确的识别和跟踪；2)通过曲线拟合的方式获得特征的准确参数，具有很强的抗噪声和抗遮挡能力。但是圆孔的透视投影为椭圆，经透视投影后其中心与原物体的中心不一致。
5.因此，如何简化摄像机标定过程，改善其工程化应用的可操作性和便捷性，提高标定精度是本领域技术人员亟需解决的问题。


技术实现要素：

6.有鉴于此，本发明提供了一种基于准三维靶标的摄像机标定方法，采用准三维靶标进行移动，相比于三维靶标加工方便，同时采集该靶标的一幅图片相当于将普通的二维靶标移动一次前后采集的两幅图片，并且采用基于切点的计算圆心透视投影点的方法提取标定特征点，利用公切点作为辅助，提取圆心作为标定特征点，使得提取的标定特征点无透视投影畸变，具有较高的标定精度，从而通过移动靶标少量的次数便可达到较高的标定精度，简化标定过程，改善其工程化应用的可操作性和便捷性。
7.为了实现上述目的，本发明采用如下技术方案：
8.一种基于准三维靶标的摄像机标定方法，具体步骤如下：
9.步骤1：在准三维靶标上选取标定点，并获取其世界坐标；
10.步骤2：在摄像机的视场范围内，自由移动所述准三维靶标至至少2个位置，并在每个位置为所述准三维靶标拍摄一幅完整图像；
11.步骤3：将所有拍摄图像平均分割为左半部分和右半部分，并储存分割后的图像作为标定图像；
12.步骤4：空间中所述标定点在所述标定图像中对应的透视投影为椭圆，提取所有标定图像中的椭圆，并获取椭圆在图像坐标系下的图像坐标；
13.步骤5：利用步骤4提取的所有图像坐标及对应所述标定点的世界坐标标定摄像机，得到摄像机标定参数，并将摄像机标定参数保存在参数文件中，以备测量调用，根据摄像机标定参数标定所述摄像机。
14.优选的，所述步骤1中准三维靶标由两块呈预设角度的平面靶标组合而成，材料为硬铝，每块平面靶标上有四个圆孔，排列方式为两行两列，圆孔的直径为30mm，两个横排圆孔的圆心距离均为50mm，两个竖排圆孔的圆心距离均为80mm；预设角度为120
°
；
15.选取准三维靶标上8个圆心作为标定点，构成准三维靶标的两块平面靶标不在同一平面上，分别对两块平面靶标建立世界坐标系，选取平面靶标上四个圆心中任意一个为原点，以平面靶标的平面为xy平面建立坐标系，计算其余3个圆心在xy平面坐标系的位置，获得世界坐标。
16.优选的，每移动一个位置，所述摄像机拍摄一幅图像，并且所述准三维靶标上的圆孔包含在图像内，所述准三维靶标的两块平面靶标的交线尽量处于图像中央，交线位置误差不超过设定位置阈值。设定位置阈值为图像宽度的1/6，即交线位置与图像中央位置误差不超过图像宽度的1/6。
17.优选的，提取椭圆的具体步骤如下：
18.s411：利用对比度拉伸变化函数对所述标定图像进行处理，输出具有高对比度的处理图像；
19.s412：利用canny算子对处理图像进行边缘检测；
20.s413：提取连通分量，计算每一个连通分量的像素个数，根据设定个数阈值，剔除像素个数较多和较少的连通分量；
21.s414：利用圆形度评价进一步剔除非椭圆特征的连通分量，剩余连通分量为椭圆。
22.优选的，圆形度评价的圆形度指标为c＝4πs/l2，其中s为图形面积，l为图形周长，c的取值范围为(0,1]，c值越大，图形越接近于圆形。
23.优选的，所述步骤4中提取所有标定点的图像坐标，具体步骤如下：
24.步骤421：对提取的椭圆离散点进行椭圆拟合，获得椭圆在标定图像的图像坐标系下的方程；
25.步骤422：在图像坐标系下，求取每个椭圆与相邻椭圆的外公切线方程，计算外公切线与椭圆的切点坐标；每个椭圆与相邻椭圆的外公切线产生4个切点，两个椭圆方程与设定的公切线方程联立求得两个椭圆的两个切点坐标；
26.步骤423：根据所述外公切线与椭圆的切点连线方程求取标定点在图像坐标系下的坐标，即准三维靶标中圆孔的圆心在图像坐标系下的坐标；两个椭圆与公切线联立求得的两个切点构成的连线方程，与该椭圆与另一个椭圆产生的两个公切点构成的连线方程联
立，求得两条连线的交点坐标，即为圆心在图像坐标系下的坐标。
27.优选的，所述摄像机参数包括有效焦距、摄像机主点和外部参数；
28.构建摄像机模型：
29.o
w-x
wywzw
为世界坐标系，o
c-xcyczc为摄像机坐标系，oc点为透视中心；oczc轴垂直于像平面π且交于摄像机主点o；o
f-uv为图像坐标系；o-xy为投影坐标系，其中ocxc//ox//ofu，ocyc//oy//ofv；
30.任意空间点p在π的投影点p为ocp与π的交点；
31.空间点p在世界坐标系下的坐标为pw＝[x
w y
w zw]
t
，在摄像机坐标系下的坐标为pc＝[x
c y
c zc]
t
，p在投影坐标系下的坐标为p
t
＝[x y]
t
，则pc与pw满足欧氏变换的关系：
[0032]
pc＝[r|t]pwꢀꢀ
(1)
[0033]
其中r为3
×
3的正交旋转矩阵，t为3
×
1的平移矢量；
[0034]
pc与p
t
满足透视投影的关系：
[0035][0036]
其中，f为摄像机焦距；
[0037]
投影点p在图像坐标系下的坐标为pm＝[u v]
t
，摄像机主点o的坐标为(u0,v0)；则pm与p
t
满足如下关系：
[0038]
pm＝[x u
0 y v0]
t
ꢀꢀ
(3)
[0039]
其中，x、y分别为每一像素在x轴、y轴方向上的物理尺寸；
[0040]
根据公式(1)～(3)表示的摄像机模型，利用标定点的世界坐标p
wi
(即准三维靶标中圆孔的圆心的世界坐标)，计算得到标定点的图像坐标p
mi
＝[u v]
t
(即圆心的图像坐标)，结合实际测得的椭圆在图像坐标系下的图像坐标为p
ui
(即步骤4中实际测量的圆心图像坐标)，建立摄像机校准的优化目标函数：
[0041][0042]
其中，f
x
和f
x
为有效焦距；摄像机主点坐标为(u0,v0)；r和t为外部参数；n表示标定图像中椭圆的个数，d2(p
mi
,p
ui
)表示标定点的图像坐标到标定点的实际的椭圆图像坐标的距离。
[0043]
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于准三维靶标的摄像机标定方法，使用由两块平面简单组合的准三维靶标，对双目视觉传感器的摄像机结构参数进行了校准。采用准三维靶标相比于三维靶标，加工方便，容易维护；相比于二维靶标，准三维靶标只需移动少量的次数便可以达到较高的标定精度，现场操作比较简单；本发明选取准三维靶标的圆孔作为特征，使得特征点容易提取，并且具有抗遮挡，抗噪声的优点；本发明圆心的提取利用公切点作为辅助，提取的标定特征点无透视投影畸变，标定精度较高。
附图说明
[0044]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本
发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0045]
图1附图为本发明提供的基于准三维靶标的摄像机标定方法流程图；
[0046]
图2附图为本发明提供的常用的六种靶标特征点示意图；
[0047]
图3附图为本发明提供的摄像机的数学模型示意图；
[0048]
图4附图为本发明提供的准三维靶标的结构示意图；
[0049]
图5附图为本发明提供的准三维靶标利用切点求得圆心示意图。
具体实施方式
[0050]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0051]
本发明实施例公开了一种基于准三维靶标的摄像机标定方法。
[0052]
摄像机的模型如图3所示，o
w-x
wywzw
为世界坐标系，o
c-xcyczc为摄像机坐标系，oc点为透视中心(即光学中心)，oczc轴垂直于像平面π且交于主点o。o
f-uv为图像坐标系，单位为像素。o-xy为投影坐标系，其中ocxc//ox//ofu，ocyc//oy//ofv。任意空间点p在π的投影点p为ocp与π的交点。
[0053]
设p在世界坐标系下的坐标为pw＝[x
w y
w zw]
t
，在摄像机坐标系下的坐标为pc＝[x
c y
c zc]
t
，p在投影坐标系下的坐标为p
t
＝[x y]
t
，则pc与pw满足欧氏变换的关系：
[0054]
pc＝[r|t]pwꢀꢀ
(1)
[0055]
其中r为3
×
3的正交旋转矩阵，t为3
×
1的平移矢量。
[0056]
pc与p
t
满足透视投影的关系：
[0057][0058]
其中，f为摄像机焦距。
[0059]
设投影点p在图像坐标系下的坐标为pm＝[u v]
t
，摄像机主点o的坐标为(u0,v0)。则pm与p
t
满足如下关系：
[0060]
pm＝[x u
0 y v0]
t
ꢀꢀ
(3)
[0061]
其中，x、y分别为每一像素在x轴、y轴方向上的物理尺寸。
[0062]
公式(1)～(3)表示了空间点到图像点的投影模型，由空间点的坐标可以确定对应图像点的坐标。反之，如果已知摄像机内部参数，根据公式(1)～(3)，由图像坐标可以求得空间点的坐标。由摄像机模型可知，摄像机需要标定的模型参数主要包括摄像机的有效焦距f
x
和f
x
，摄像机的主点(u0,v0)，以及摄像机的外部参数r和t。
[0063]
根据摄像机模型，本发明提出的一种基于准三维靶标的摄像机标定方法，其中设计的准三维靶标如图4所示，由两块呈一定角度的平面靶标组合而成，材料为硬铝，每块平面靶标上有四个圆孔，排列方式为两行两列，圆孔的直径为30mm，两个横排圆孔的圆心距离都为50mm，两个竖排圆孔的圆心距离都为80mm。标定方法的具体步骤如下：
[0064]
s1：选取准三维靶标上8个圆心作为标定点，获取其世界坐标；构成准三维靶标的
两块平面靶标不在同一平面上，可以分别建立世界坐标系，分别以每块靶标上四个圆心中任意一个为原点，靶标平面为xy平面建立坐标系，计算其余3个圆心在xy平面坐标系的位置，获得世界坐标；
[0065]
s2：在摄像机的视场范围内，自由移动靶标至少2个位置，每移动一个位置，拍摄一幅图像，准三维靶标上的圆孔包含在图像内，两块平面靶标的交线尽量处于图像中央；
[0066]
s3：将所有拍摄图像平均分割为左半部分和右半部分，并储存分割后的图像，作为标定图像；
[0067]
s4：空间中圆对应的透视投影为椭圆，提取所有标定图像中的椭圆，并获取所有椭圆的图像坐标；
[0068]
提取所有椭圆的具体步骤如下：
[0069]
s411：利用对比度拉伸变化函数输出具有高对比度的图像；
[0070]
s412：利用canny算子对图像进行边缘检测；
[0071]
s413：提取连通分量，计算每一分量的像素个数，设定阈值，剔除像素个数较多和较少的点；
[0072]
s414：利用圆形度评价进一步剔除非椭圆特征；圆形度指标选取为c＝4πsl2，其中s为图形面积，l为图形周长，c值的范围为(0,1]，c值越大，图形越接近于圆形；
[0073]
计算所有标定点对应的椭圆的图像坐标具体步骤如下：
[0074]
s421：对提取的椭圆离散点进行椭圆拟合，获得椭圆在图像坐标系下的方程；椭圆拟合的方法采用现有技术，对此不做详细限定；
[0075]
s412：在图像坐标系下，求取每个椭圆与相邻椭圆的外公切线方程，计算切线与椭圆的交点坐标，则每个椭圆获得4个切点的图像坐标，如图5所示；
[0076]
设椭圆t1，t2方程如下：
[0077]
a1x2 b1xy c1y2 d1x e1y f1＝0
ꢀꢀ
(5)
[0078]
a2x2 b2xy c2y2 d2x e2y f2＝0
ꢀꢀ
(6)
[0079]
设它们的公切线为:
[0080]
y＝kx b
ꢀꢀ
(7)
[0081]
将(7)式带入(5)式得到关于x的一个二元一次方程a1x2 b1x c1＝0，由于相切，因此δ1＝0，同理将(7)式带入(6)式可得δ2＝0，由这两个方程联立可得到k与b的值，进而可以得到t1上切点t
11
的坐标t
11
＝(x1,y1)，其中x1＝-b1/2a1，y1＝kx1 b；同理可得t
12
(x2,y2)；
[0082]
s413：求取t1与t2产生的公切点t
11
与t
12
连线的方程，以及椭圆t1与另一个椭圆t3产生的公切点t
13
与t
14
连线的方程，求取两条直线的交点坐标，即为圆心在图像坐标系下的坐标；
[0083]
s5：利用s4提取的所有圆心的图像坐标及对应标定点的世界坐标标定摄像机，获得摄像机标定参数，将摄像机标定参数保存在参数文件中，以备测量调用。
[0084]
根据公式(1)～(3)表示的摄像机模型，利用准三维靶标中圆孔的圆心的世界坐标p
wi
，得到圆心的图像坐标p
mi
＝[u v]
t
，而上述实际测得的图像坐标为p
ui
，由此可以建立摄像机校准的优化目标函数
[0085]
[0086]
其中n表示图像中圆心的个数，d2(p
mi
,p
ui
)表示标定点的计算图像坐标到标定点的实际图像坐标的距离；摄像机参数的初始值估计采用现有技术，对此不做详细限定；
[0087]
根据公式(4)可以估算出全部摄像机内部参数，包括f
x
,fy,u0,v0。若摄像机内部参数已知，则根据公式(4)，采用levenberg－marquardt非线性优化方法可以直接估计摄像机的外部参数(r和t)。
[0088]
实施例
[0089]
图2(a)的靶标特征点为圆的中心，图2(b)的靶标特征点为方块中心，图2(c)的靶标特征点为十字线的交点，图2(d)的靶标特征点为米字线的交点，图2(e)的靶标特征点为方块的顶点，图2(f)的靶标特征点为棋盘的格点。
[0090]
图5是本发明的准三维靶标利用公切点求得圆心的示意图。准三维靶标的材料为硬铝，每块平面靶标上有四个圆孔，排列方式为两行两列，圆孔的直径为30mm，两个横排圆孔的圆心距离都为50mm，两个竖排圆孔的圆心距离都为80mm。对于制作的准三维靶标，在两块平面靶标上分别建立世界坐标系，以左上角圆心为原点，水平方向为x轴，垂直向下方向为y轴建立世界坐标系，计算靶标上所有标定点的世界坐标，如表1所示。
[0091]
表1靶标上标定点的世界坐标(单位：毫米)
[0092][0093]
实验采用ccd尺寸为1/1.8"的pointgray摄像机和12mm镜头组成视觉传感器。拍摄三幅图片，图像分辨率为800pixels
×
600pixels。
[0094]
标定获得的摄像机内部参数为：
[0095]fx
＝1361.878
[0096]fy
＝1336.189
[0097]
u0＝155.149
[0098]
v0＝271.891
[0099]
k1＝0.259；
[0100]
标定误差用特征点的再投影图像坐标的误差表示，在x和y方向的rms误差分别为：
[0101]
err
x
＝0.0128
[0102]
erry＝0.00464。
[0103]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0104]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。