一种相机俯仰角及安装高度的自动标定方法与流程

：
1.本发明属于图像数据处理技术领域，特别涉及一种相机俯仰角及安装高度的自动标定方法。


背景技术：

2.随着我国经济快速发展、科技不断进步，机器视觉的使用范围越发广泛，可以说是工业自动化系统的灵魂之窗，从物件/条码辨识、产品检测、外观尺寸量测到机械手臂/传动设备定位，再到环境感知都是机器视觉技术可以发挥的舞台。视觉的基本任务之一是从摄像机获取的图像信息出发计算三维空间中物体的几何信息，并由此重建和识别物体，而空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的，这些几何模型参数就是摄像机参数。在大多数条件下，这些参数必须通过实验与计算才能得到。无论是在图像测量或者机器视觉应用中，相机参数的标定都是非常关键的环节，其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。因此，做好相机标定是做好后续工作的前提，提高标定精度是科研工作的重点所在。
3.目前，已被提出的标定方法中，有利用二维码进行标定的方法(例如cn 110378962 a)，该方法针对车载相机的标定问题，利用相机对二维码标定板进行识别，由二维码标定板的位姿信息确定相机的位姿信息。该方法的不足之处在于相机对二维码的识别效果有限，存在一定误差，而且二维码标定板的位姿信息也难以准确得到；还有利用多自由度运动平台进行标定的方法(例如cn 108932737 a)，该方法针对车载相机的标定问题，分别使用惯性测量单元和相机跟踪车辆的移动轨迹，根据二者跟踪轨迹的偏移量确定相机与惯性测量单元之间的夹角，由惯性测量单元的俯仰角得到相机的俯仰角。该方法的不足之处在于需要使用较为复杂的标定设备，实现过程难度较大。也有利用地面上的特殊点进行标定的方法(例如cn 109389650 b)，该方法针对车载相机的标定问题，通过获取包含车道线的图像，计算车道线在图像中的角度，进而得到相机的标定结果。该方法的不足之处在于其应用场景较为局限，不具有普适性。上述缺陷这也是本领域内技术人员所亟待解决的问题。
4.公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。


技术实现要素：

5.本发明的目的在于提供一种简易有效且使用广泛的相机俯仰角及安装高度的自动标定方法，从而克服上述现有技术中的缺陷。
6.为实现上述目的，本发明提供了一种相机俯仰角自动标定方法,在已知相机内参的前提下，用立于地面上的、预设高度的细杆作为标定物，利用相机成像的透视投影原理对相机的安装俯仰角进行标定。
7.需要说明的是：本技术中的细杆只要能够立在地面上且高度确定即可，没有特殊要求，如果是带有高度标识或者底部支撑的伸缩杆会更好，例如摄影用三脚架或者类似的
支撑杆都是可以的。
8.本发明通过细杆状标定物在图像中的成像位置，对相机安装俯仰角及高度进行标定，标定物成像效果清晰准确，能够获得较高精度的标定结果。本发明使用简单且易于获取的标定物，标定原理易于理解，标定过程易于实现。本发明对标定环境没有过多限制，广泛适用于各种应用场景。本方法所面向的智能感知设备既可以是工作在室外场景的车辆，也可以是工作在室内场景的机器人。
9.优选地，上述技术方案中，标定相机安装俯仰角的过程分为以下两个步骤：
10.步骤一：将标定用的细杆放置在相机视场内且距离相机较近处，调节细杆高度及位置，使细杆顶部端点在图像中所成的像恰好与图像主点重合，记录此时细杆的高度h1，标记此时细杆在地面的位置a
′1；
11.步骤二：将标定用的细杆放置在相机视场内且距离相机较远处，调节细杆高度及位置，使细杆顶部端点在图像中所成的像恰好与图像主点重合，记录此时细杆的高度h2，标记此时细杆在地面的位置a
′2；
12.通过步骤一和步骤二，能够得到两次放置细杆时的高度h1和h2，通过测量两次放置细杆时的位置a
′1和a
′2，能够得到间距d，于是相机的安装俯仰角为当h1>h2时，即相机光轴低于相机所在水平面时，θ为正；当h1<h2时，即相机光轴高于相机所在水平面时，θ为负。
13.优选地，上述技术方案中，相机成像的透视投影过程中，设相机坐标系为o
c
‑
xyz，相机坐标系原点o
c
，即相机光心，位于相机内部，x所在轴指向相机右方，y所在轴指向相机下方，z所在轴为相机光轴并指向相机前方；设相机成像平面为s，像素坐标系为o
uv
‑
uv，像素坐标系原点o
uv
位于图像的左上方顶点处，u轴沿宽度方向指向图像右方，v轴沿高度方向指向图像下方；设相机光轴上的点在成像平面上的投影点，即图像主点，在像素坐标系下的坐标为(u0,v0)，相机焦距为f；设相机视场中的任意一点p在相机坐标系下的坐标为(x,y,z)，p在成像平面上的投影点为p
′
，p
′
在像素坐标系下的坐标为(u,v)，则有
14.式1，式1中，f
u
＝f/d
u
，f
v
＝f/d
v
，d
u
、d
v
为每个像素沿u轴和v轴的物理尺寸，f
u
、f
v
、u0、v0为相机内参。
15.一种相机安装高度自动标定方法，在已知相机内参的前提下，用立于地面上的、预设高度的细杆作为标定物，利用相机成像的透视投影原理对相机的安装俯仰角进行标定，利用安装俯仰角进一步标定相机的安装高度。
16.优选地，上述技术方案中，标定相机安装俯仰角的过程分为以下两个步骤：
17.步骤一：将标定用的细杆放置在相机视场内且距离相机较近处，调节细杆高度及位置，使细杆顶部端点在图像中所成的像恰好与图像主点重合，记录此时细杆的高度h1，标记此时细杆在地面的位置a
′1；
18.步骤二：将标定用的细杆放置在相机视场内且距离相机较远处，调节细杆高度及位置，使细杆顶部端点在图像中所成的像恰好与图像主点重合，记录此时细杆的高度h2，标记此时细杆在地面的位置a
′2；
19.通过步骤一和步骤二，能够得到两次放置细杆时的高度h1和h2，通过测量两次放置细杆时的位置a
′1和a
′2，能够得到间距d，于是相机的安装俯仰角为当h1>h2时，即相机光轴低于相机所在水平面时，θ为正；当h1<h2时，即相机光轴高于相机所在水平面时，θ为负。
20.优选地，上述技术方案中，根据相机安装俯仰角及相机内参，能够得到相机光轴所在的竖直平面内，相机等高线上的点在成像平面上的投影点p
′
a
的像素坐标为(u0,
‑
f
v
tanθ v0)，则标定相机安装高度的过程由以下步骤完成：
21.步骤三：将标定用的细杆放置在相机视场内，调节细杆高度及位置，使细杆顶部端点在图像中所成的像恰好与p
′
a
重合，记录此时细杆的高度h3；
22.通过步骤三，能够得到相机的安装高度为h＝h3。
23.优选地，上述技术方案中，相机成像的透视投影过程中，设相机坐标系为o
c
‑
xyz，相机坐标系原点o
c
，即相机光心，位于相机内部，x所在轴指向相机右方，y所在轴指向相机下方，z所在轴为相机光轴并指向相机前方；设相机成像平面为s，像素坐标系为o
uv
‑
uv，像素坐标系原点o
uv
位于图像的左上方顶点处，u轴沿宽度方向指向图像右方，v轴沿高度方向指向图像下方；设相机光轴上的点在成像平面上的投影点，即图像主点，在像素坐标系下的坐标为(u0,v0)，相机焦距为f；设相机视场中的任意一点p在相机坐标系下的坐标为(x,y,z)，p在成像平面上的投影点为p
′
，p
′
在像素坐标系下的坐标为(u,v)，则有
24.式1，式1中，f
u
＝f/d
u
，f
v
＝f/d
v
，d
u
、d
v
为每个像素沿u轴和v轴的物理尺寸，f
u
、f
v
、u0、v0为相机内参。
25.一种相机俯仰角及安装高度的自动标定方法,设地面为理想平面且认为相机的左右翻转角为零，相机坐标系原点o
c
在地面上的投影点为o
′
c
，受限于设备封装及安装条件等因素，很多时候投影点o
′
c
无法直接测量；设相机视场内有一个可立于地面上的、高度可调节的细杆，细杆顶部端点能够在相机平面内清晰成像，且该顶部端点在地面上的投影点易于测量；首先将细杆放置在距离相机较近处，调节细杆高度及位置，使细杆顶部端点在图像中所成的像恰好与图像主点重合，设此时细杆高度为h1，细杆顶部端点在地面上的投影点为a
′1；然后将细杆放置在距离相机较远处，调节细杆高度及位置，使细杆顶部端点在图像中所成的像恰好与图像主点重合，设此时细杆高度为h2，细杆顶部端点在地面上的投影点为a
′2；设a
′1与a
′2距离为d，相机俯仰角为θ，则根据几何关系，有
[0026][0027]
于是，相机俯仰角为
[0028][0029]
式3中，当h1>h2时，即相机光轴低于相机所在水平面时，θ为正；当h1<h2时，即相机光轴高于相机所在水平面时，θ为负。
[0030]
在得到相机俯仰角后，继续使用前述细杆作为标定物，对相机安装高度h进行标定。
[0031]
在相机视场内，设相机光轴所在的竖直平面内，即o
c
‑
yz平面内，存在一点p
a
，其在相机坐标系下的坐标为(x
a
,y
a
,z
a
)，p
a
在成像平面上的投影点为p
′
a
，p
′
a
在像素坐标系下的坐标为(u
a
,v
a
)，由相机成像原理，有
[0032][0033]
进一步地，有
[0034][0035]
由于p
a
位于o
c
‑
yz平面内，有x
a
＝0，于是
[0036]
u
a
＝u0ꢀꢀꢀ
式6，
[0037]
设p
a
高度与相机高度相同，即p
a
在相机等高线上，则根据空间几何关系，有
[0038][0039]
式7中，θ为式3中所得到的相机俯仰角，于是
[0040]
v
a
＝
‑
f
v
tanθ v0ꢀꢀꢀ
式8，
[0041]
综合式6和式8，p
′
a
在像素坐标系下的坐标为
[0042][0043]
在以上假设中，并未规定p
a
与相机的距离，也就是说p
a
与相机的距离不影响p
′
a
在像素坐标系下的坐标；据此，将细杆放置在相机视场中，调节细杆高度及位置，使细杆顶部端点在成像平面的投影点的像素坐标为(u0,
‑
f
v
tanθ v0)，设此时细杆高度为h3，则相机高度为h＝h3ꢀꢀꢀ
式10。
[0044]
与现有技术相比，本发明具有如下有益效果：
[0045]
本发明所提出的相机安装俯仰角及高度的标定方法同时具备简单易实现和标定结果精度高的特点。本方法基于相机成像原理及空间几何关系设计，标定原理简单可靠，且能够得到较为精确的相机的安装俯仰角及高度。本方法所使用的标定物易于获取、复杂程度低。本方法适用性广泛，对单目相机、双目相机、有畸变相机、无畸变相机等均适用。
附图说明：
[0046]
图1为相机成像过程；
[0047]
图2为标定原理；
[0048]
图3a为实验环境；
[0049]
图3b为相机参考俯仰角；
[0050]
图3c为相机参考高度；
[0051]
图4a俯仰角标定步骤一；
[0052]
图4b俯仰角标定步骤二；
[0053]
图4c俯仰角标定步骤三；
[0054]
图5车载相机安装俯仰角及高度标定实验；
[0055]
图6a相机安装高度标定步骤一；
[0056]
图6b相机安装高度标定步骤二；
[0057]
图6c相机安装高度标定步骤三。
具体实施方式：
[0058]
下面对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
[0059]
除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。需要说明的是：本技术中的标定物只要能够立在地面上且高度确定即可，没有特殊要求，如果是带有高度标识或者底部支撑的伸缩杆会更好，例如摄影用三脚架或者类似的支撑杆都是可以的。
[0060]
实施例1
[0061]
标定原理如图1所示，在相机成像的透视投影过程中，设相机坐标系为o
c
‑
xyz，相机坐标系原点o
c
，即相机光心，位于相机内部，x所在轴指向相机右方，y所在轴指向相机下方，z所在轴为相机光轴并指向相机前方；设相机成像平面为s，像素坐标系为o
uv
‑
uv，像素坐标系原点o
uv
位于图像的左上方顶点处，u轴沿宽度方向指向图像右方，v轴沿高度方向指向图像下方；设相机光轴上的点在成像平面上的投影点，即图像主点，在像素坐标系下的坐标为(u0,v0)，相机焦距为f；设相机视场中的任意一点p在相机坐标系下的坐标为(x,y,z)，p在成像平面上的投影点为p
′
，p
′
在像素坐标系下的坐标为(u,v)，则有
[0062][0063]
式(1)中，f
u
＝f/d
u
，f
v
＝f/d
v
，d
u
、d
v
为每个像素沿u轴和v轴的物理尺寸，f
u
、f
v
、u0、v0为相机内参。
[0064]
本发明基于相机成像原理，利用相机视场内物体成像时所涉及的空间几何关系，使用一种可立于地面上的、高度可调节的细杆作为标定物，对相机的安装俯仰角及高度进行标定。
[0065]
如图2所示，设地面为理想平面且认为相机的左右翻转角为零，相机坐标系原点o
c
在地面上的投影点为o
′
c
，受限于设备封装及安装条件等因素，很多时候投影点o
′
c
无法直接测量；设相机视场内有一个可立于地面上的、高度可调节的细杆，细杆顶部端点能够在相机平面内清晰成像，且该顶部端点在地面上的投影点易于测量；首先将细杆放置在距离相机较近处，调节细杆高度及位置，使细杆顶部端点在图像中所成的像恰好与图像主点重合，设此时细杆高度为h1，细杆顶部端点在地面上的投影点为a
′1；然后将细杆放置在距离相机较远处，调节细杆高度及位置，使细杆顶部端点在图像中所成的像恰好与图像主点重合，设此时细杆高度为h2，细杆顶部端点在地面上的投影点为a
′2；设a
′1与a
′2距离为d，相机俯仰角为θ，则根据几何关系，有
[0066][0067]
于是，相机俯仰角为
[0068][0069]
式(3)中，当h1>h2时，即相机光轴低于相机所在水平面时，θ为正；当h1<h2时，即相机光轴高于相机所在水平面时，θ为负。
[0070]
在得到相机俯仰角后，继续使用前述细杆作为标定物，对相机安装高度h进行标定。
[0071]
在相机视场内，设相机光轴所在的竖直平面内，即o
c
‑
yz平面内，存在一点p
a
，其在相机坐标系下的坐标为(x
a
,y
a
,z
a
)，p
a
在成像平面上的投影点为p
′
a
，p
′
a
在像素坐标系下的坐标为(u
a
,v
a
)，由相机成像原理，有
[0072][0073]
进一步地，有
[0074][0075]
由于p
a
位于o
c
‑
yz平面内，有x
a
＝0，于是
[0076]
u
a
＝u0ꢀꢀꢀꢀ
式(6),
[0077]
设p
a
高度与相机高度相同，即p
a
在相机等高线上，则根据空间几何关系，有
[0078][0079]
式(7)中，θ为式(3)中所得到的相机俯仰角，于是
[0080]
v
a
＝
‑
f
v
tanθ v0ꢀꢀꢀ
式(8),
[0081]
综合式(6)式(8)，p
′
a
在像素坐标系下的坐标为
[0082][0083]
在以上假设中，并未规定p
a
与相机的距离，也就是说p
a
与相机的距离不影响p
′
a
在像素坐标系下的坐标。据此，将细杆放置在相机视场中，调节细杆高度及位置，使细杆顶部端点在成像平面的投影点的像素坐标为(u0,
‑
f
v
tanθ v0)，设此时细杆高度为h3，则相机高度为
[0084]
h＝h3ꢀꢀ
式(10)。
[0085]
实施例2
[0086]
在如图3
‑
a所示的实验环境中，用所提出的标定方法对相机的安装俯仰角及高度进行标定，图中的黑色细杆为标定物，细杆的高度可调，待标定的相机位于图中左下方，待标定相机的内参为f
u
＝906.44(像素)、f
v
＝920.96(像素)、u0＝319(像素)、v0＝180(像素)。在标定之前，如图3
‑
b所示，用角度尺测量相机的俯仰角为θ
*
＝5.0
°
；如图3
‑
c所示，用卷尺测量相机的高度为h
*
＝0.965m。事实上，以上测量所得到的相机俯仰角和高度也并非准确，但可以作为一种参考标准。
[0087]
首先对相机安装俯仰角进行标定，根据相机内参得到图像主点在像素坐标系下的坐标为(319,180)，在相机图像中标记出主点，然后进行以下步骤：
[0088]
步骤1：如图4
‑
a所示(图中红色点为图像主点)，根据所提出的标定方法，将标定用的细杆放置在相机视场内且距离相机较近处，调节细杆高度及位置，使细杆顶部端点在图像中所成的像恰好与图像主点重合，记录此时细杆的高度h1＝0.900m，标记此时细杆在地面的位置a
′1。
[0089]
步骤2：如图4
‑
b所示(图中红色点为图像主点)，根据所提出的标定方法，将标定用的细杆放置在相机视场内且距离相机较远处，调节细杆高度及位置，使细杆顶部端点在图像中所成的像恰好与图像主点重合，记录此时细杆的高度h2＝0.815m，标记此时细杆在地面的位置a
′2。
[0090]
在完成步骤一和步骤二后，测量a
′1和a
′2的间距d＝1.185m，根据所提出的公式，得
到相机俯仰角为此标定值与测量值的偏差为e
θ
＝|θ
*
‑
θ|＝0.9
°
。
[0091]
其次对相机安装高度进行标定，根据相机安装俯仰角及相机内参，得到相机光轴所在的竖直平面内，相机等高线上的点在成像平面上的投影点p
′
a
的像素坐标为(319,114)，在相机图像中标记出该投影点，然后进行以下步骤：
[0092]
步骤3：如图4
‑
c所示(图中绿色点为p
′
a
)，根据所提出的标定方法，将标定用的细杆放置在相机视场内，调节细杆高度及位置，使细杆顶部端点在图像中所成的像恰好与p
′
a
重合，记录此时细杆的高度h3＝0.962m。
[0093]
通过步骤三，能够得到相机的安装高度为h＝h3。
[0094]
在完成步骤三后，根据所提出的公式，得到相机高度为h＝h3＝0.962m，此标定值与测量值的偏差为e
h
＝|h
*
‑
h|＝0.003m。
[0095]
实施例3
[0096]
一般情况下，车载相机或其他智能感知设备上的相机的安装位置较为特殊，不易直接测量其俯仰角和高度。在如图5所示的实验车辆中，车载相机安装在车辆前挡中上方位置，用所提出的标定方法对车载相机的安装俯仰角及高度进行标定，图中的黑色细杆为标定物，细杆的高度可调，待标定相机的内参为f
u
＝946.15(像素)、f
v
＝948.23(像素)、u0＝327(像素)、v0＝173(像素)。
[0097]
首先对相机安装俯仰角进行标定，根据相机内参得到图像主点在像素坐标系下的坐标为(327,173)，在相机图像中标记出主点，然后进行以下步骤：
[0098]
步骤一：如图6
‑
a所示(图中红色点为图像主点)，根据所提出的标定方法，将标定用的细杆放置在相机视场内且距离相机较近处，调节细杆高度及位置，使细杆顶部端点在图像中所成的像恰好与图像主点重合，记录此时细杆的高度h1＝1.810m，标记此时细杆在地面的位置a
′1；
[0099]
步骤二：如图6
‑
b所示(图中红色点为图像主点)，根据所提出的标定方法，将标定用的细杆放置在相机视场内且距离相机较远处，调节细杆高度及位置，使细杆顶部端点在图像中所成的像恰好与图像主点重合，记录此时细杆的高度h2＝1.850m，标记此时细杆在地面的位置a
′2；
[0100]
在完成步骤一和步骤二后，测量a
′1和a
′2的间距d＝4.210m，根据所提出的公式，得到相机俯仰角为负号表明相机光轴高于相机所在水平面。
[0101]
其次对相机安装高度进行标定，根据相机安装俯仰角及相机内参，得到相机光轴所在的竖直平面内，相机等高线上的点在成像平面上的投影点p
′
a
的像素坐标为(327,181)，在相机图像中标记出该投影点，然后进行以下步骤：
[0102]
步骤三：如图6
‑
c所示(图中绿色点为p
′
a
)，根据所提出的标定方法，将标定用的细杆放置在相机视场内，调节细杆高度及位置，使细杆顶部端点在图像中所成的像恰好与p
′
a
重合，记录此时细杆的高度h3＝1.780m。
[0103]
在完成步骤三后，根据所提出的公式，得到相机高度为h＝h3＝1.780m。
[0104]
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变
和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。