一种基于多单应性矩阵的相机标定方法、系统及存储介质与流程

1.本发明涉及图像生成技术领域，尤其涉及一种基于多单应性矩阵的相机标定方法、系统及存储介质。


背景技术：

2.随着机器视觉和三维成像技术发展，应用的场景越来越多，如电影特技、文物保护、影视制作、动漫游戏、运动捕捉等领域，相机或摄像机作为图像采集的设备，其性能参数的精确度影响到后期模型的精度。图像测量和三维成像中，需要建立空间物体表面某点的三维位置，与其在图像中对应点之间的相互关系。而相机镜头的基本参数和物象关系需通过标定来确定。因此相机标定在机器视觉和图像测量中都必不可少。
3.相机标定的方法有三种，分别为传统相机标定法、主动视觉相机标定方法和相机自标定法。
4.自标定法中主要是利用相机运动的约束，相机的运动约束条件太强，因此使得其在实际中并不实用。利用场景约束主要是利用场景中的一些平行或者正交的信息。自标定方法灵活性强，可对相机进行在线定标，但由于它是基于绝对二次曲线或曲面的方法，其算法鲁棒性差。
5.基于主动视觉的相机标定法是指已知相机的某些运动信息对相机进行标定，该方法不需要标定物，但需要控制相机做某些特殊运动，利用这种运动的特殊性可以计算出相机内部参数。基于主动视觉的相机标定法的优点是算法简单，往往能够获得线性解，故鲁棒性较高，缺点是系统的成本高、实验设备昂贵、实验条件要求高。
6.即自标定法的稳定性和精度较差，而主动视觉的相机标定法的系统的成本高、实验设备昂贵、实验条件要求高。故目前一般采用应用最成熟、价格较合适的传统标定板标定法。
7.传统相机标定法需要使用尺寸已知的标定物，通过建立标定物上坐标已知的点与其图像点之间的对应，利用一定的算法获得相机模型的内外参数。根据标定物的不同可分为三维标定物和平面型标定物。三维标定物可由单幅图像进行标定，标定精度较高，但高精密三维标定物的加工和维护较困难。
8.平面型标定物比三维标定相对简单，现有的技术在标定过程中将平面型标定物的标定板平面看成是理想平面，但是，实际使用时，标定板不是理想平面，而且在使用过程中避免不了发生微小形变，若在标定计算过程中将其当作理想平面，则会引入形变误差，进而导致相机的标定结果误差大，精度低。
9.因此，现有技术还有待改进。


技术实现要素：

10.鉴于上述现有技术的不足之处，本发明的目的在于提供一种基于多单应性矩阵的相机标定方法、系统及存储介质，旨在减小在使用平面标定法过程中由标定板发生形变而
导致的误差，提高标定结果的精度。
11.为实现上述目的，本发明采取了以下技术方案：
12.第一方面，本发明提出了一种基于多单应性矩阵的相机标定方法，应用于平面板标定法,其中，所述方法包括如下步骤：
13.s10，获取平面标定板被拍摄所得到的n张姿态图像；
14.s20，将每一张图像的图像平面分割成n个区域，每一区域内包含多个矩阵排列的标定图案；
15.s30，分别提取每一图像每一区域内标定图案的多个角点，依据标定板的物体平面与相机成像的图像平面对应关系计算该区域的单应性矩阵，每张图像共得到n组单应性矩阵，分别为(h
i1
,h
i2
,h
i3
,......,h
in
)，i∈[1,n]；
[0016]
s40，依据n张图像中的同一区域的单应性矩阵进行内外部参数计算，k∈[1,n]，共得到n组内外部参数，并对每一组内外部参数进行第一次优化；
[0017]
s50，将第一次优化后的n组内外部参数分别引入畸变值进行畸变修正计算；
[0018]
s60，将所述n组经畸变修正计算后的内外参数进行合并及第二次优化，得到最终的内外参数。
[0019]
第二方面，本发明提出了一种系统，其中，所述系统还包括存储器、处理器及存储在所述存储器中并被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时，实现前述的方法。
[0020]
第三方面，本发明提出了一种计算机可读存储介质，其中于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现前述的方法。
[0021]
本发明的基于多单应性矩阵的相机标定方法，通过将每一张获取到的标定板图像进行分割，对分割的每一区域都进行单应性矩阵计算，得到每张图像的多组单应性矩阵，依据多张图像同一区域的单应性矩阵计算得到的多组内外参数并进行优化，再将每一组优化后的内外参数都引入畸变参数进行修正，最后对修正后的多组内外参数进行合并优化得到最终的内外参数，由于本发明的方法对平面标定板图像进行分割，并对每一分割区域进行了实际形变的修正，故减小了现有技术中相机平面标定的形变误差，提高标定的精度和准确度。
附图说明
[0022]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
[0023]
图1为相机成像光路示意图；
[0024]
图2为本发明基于多单应性矩阵的相机标定方法第一实施例的流程示意图；
[0025]
图3为标定板形变示意图；
[0026]
图4为本发明棋盘码标定板的平面分割示意图。
具体实施方式
[0027]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0028]
在计算机视觉中，平面的单应性被定义为一个平面到另外一个平面的投影映射。
[0029]
如图1所示，相机拍摄物体时，物体的三维点，经过相机镜头成像在相机的感光元件上，变为2维的图像信息，其光路示意图见图1所示(将成像平面从光心后移动光心前，不影响分析结果)。拍摄对象与相机成像面不平行，会发生投影变换，即一个矩形物体在成像面上变为一个梯形。因此一个二维平面上的点映射到摄像机成像仪上的映射就是平面单应性的实例。
[0030]
图1中的q和q点是一对物像点，用齐次坐标(n 1维向量表示n维向量)表示为：
[0031][0032]
用单应性表示则有：
[0033][0034]
其中s为比例系数，它是任意尺度的比例(目的是使得单应性定义到该尺度比例)。
[0035]
根据光路可以推出从图像平面和物体平面的关系为：
[0036][0037]
其中f
x
、f
y
表示相机的像素焦距，u0、v0表示相机的光心位置，理想情况下光心位置在图像的中心，γ表示x和y轴的偏差，f
x
、f
y
、u0、v0、γ与相机有关称为内部参数；r、t分别表示旋转矩阵和平移向量，用于联系相机坐标(x
c
,y
c
,z
c
)和世界坐标系(x
w
,y
w
,z
w
)。r为3
×
3矩阵，有3个独立参数，t为3维向量，有3个独立参数，这六个参数与相机无关称为外部参数。
[0038]
由上述关系式，单应性矩阵可表示为：
[0039][0040]
其中r＝(r
1 r
2 r3)，t＝(t
1 t
2 t3)
t
。
[0041]
t＝(t
1 t
2 t3)
t
中分量表示平移的坐标，有实际物理含义，称为相机内部参数矩阵。
[0042]
故单应性矩阵关系着相机的内外参数。通过标定板图像中的已知角点坐标，可以解出对应的单应性矩阵，然后再根据单应性矩阵与相机的内外参数的关系可计算得到相机的内外部参数。
[0043]
现有技术中，一般整张图片采用一个单应性矩阵计算内外参数，其一般将整张的图的平面作为理想平面，没有考虑变形，故标定结果存在较大的误差。
[0044]
为克服现有技术中的缺陷，本发明则采用一种新的方法对相机进行标定，具体为一种基于多单应性矩阵的相机标定方法。
[0045]
如图2所示,该方法具体包括如下步骤：
[0046]
s10，获取平面标定板被拍摄所得到的n张姿态图像。
[0047]
平面标定板的多张姿态图像可以通过移动平面标定板或者移动摄像装置来获取多组不同拍摄角度的图片，然后将多张姿态图像导入计算机中进行后续处理。
[0048]
为提高后续的计算精度及效率，本发明实施例不同姿态的标定板图像，以10～15张为宜。
[0049]
s20，将每一张图像的图像平面分割成n个区域，每一区域内包含多个矩阵排列的标定图案。
[0050]
本发明的方法不再将标定板平面看成理想平面，而是如图3所示的实际具有变形的平面。为了减小误差，本步骤将每一标定平面细分成n个区域。
[0051]
为了提取标定板内的点坐标，一般将标定板上设置有对比较明显的图案作为标定图案。
[0052]
优选地，如图4所示，本发明的标定板上的标定图案为棋盘码。棋盘码为黑白矩形图块呈矩形排列，黑白矩形图块相交的点即为角点。
[0053]
本发明实施例中，为了便于说明，将整个标定板图像分割成9个相同大小的区域，分别求解每一区域对应单应性矩阵包含的内部参数和外部参数。可以理解，标定图像的分割也可以是不等距分割。
[0054]
s30，分别提取每一图像每一区域内标定图案的多个角点，依据标定板的物体平面与相机成像的图像平面对应关系计算该区域的单应性矩阵，每张图像共得到n组单应性矩阵，分别为(h
i1
,h
i2
,h
i3
,......,h
in
)，i∈[1,n]。
[0055]
即提取每一张图像每一区域内黑白矩形图块相交的点的坐标,然后根据这些已知的坐标，依据标定板的物体平面与相机成像的图像平面对应关系计算单应性矩阵。
[0056]
首先，我们假设两张图像中的同一区域内对应点对齐次坐标为(x',y',1)和(x,y,1)，并设单应性矩阵h为：
[0057][0058]
则根据单应矩阵h的定义，有如下投影关系式：
[0059][0060]
对上式进行展开及等式计算，可求出h
11
,h
12
......h
33
。
[0061]
对每张标定板图像的n个区域均进行上述计算，可得出每张图像的n组单应性矩阵，如第一张图像的n组单应性矩阵为(h
11
,h
12
,h
13
,......,h
1n
)，第二张图像的n组单应性矩阵为(h
21
,h
22
,h
23
,......,h
2n
)，本实施例中，共n张图像，即可得到每张图像的n组单应性矩阵，记为(h
i1
,h
i2
,h
i3
,......,h
in
)，其中，i∈[1,n]。
[0062]
s40，依据n张图像中的同一区域的单应性矩阵进行内外部参数计算，k∈[1,n]，共得到n组内外部参数，并对每一组内外部参数进行第一次优化。
[0063]
由于
[0064]
故h和相机内外参数的关系式为：
[0065]
h＝h(f
x
,f
y
,u0,v0,γ,r,t)。
[0066]
再由：
[0067][0068]
可计算得到内外参数f
x
,f
y
,u0,v0,γ,r,t。
[0069]
对本实施例的图像分割成的9个区域分别进行计算，则现有技术中的一张图像的单个单应性矩阵h，可变成9个单应性矩形。
[0070][0071]
然后依据n张图像中的同一区域的单应性矩阵进行该区域的内外部参数计算，从而得到9组内外部参数，然后对每一组内外部参数进行第一次优化。
[0072]
在进行内外部参数计算时，需要从单应性矩阵中分解出内外部参数(内部参数有6个参数，内部参数至少4个参数)，相同区域，需要n张姿态图像的单应性矩阵h，h矩阵有8个参数。
[0073]
如分割的第一个区域h1，在计算该区域的内外参数时，需要根据n张姿态图中相应位置的h1，写作为(i＝1,2,3,......n)来求出内外部参数。
[0074]
由于需满足8*n>6*n 4，故至少需要3张姿态图片，本实施例优选使用12张图像。
[0075]
优选地，在第一次优化前，本发明的方法还对n组内外部参数进行一致性检验，去除偏差较大的参数组。如本实施例的9组内外部参数中，若存在一两组参数与预设的阈值进行比较，存在较大的偏差时，即该组单应性矩阵h所描述的平面处形变较大，抛弃该参数，以保证后续计算的精度。
[0076]
具体地，本发明标定方法中的第一次优化采用如下公式：
[0077]
arg min f
k
；
[0078]
其中上式的目标函数为：
[0079][0080]
目标函数中，k∈[1,n],表示n个区域中第k个区域，n表示图像数,m表示角点数，i表示第几张图像，j表示第几个角点，q为像点、q为物点，表示物点通过物理模型估算得到的像点位置，a为内部参数矩阵，r和t为外部参数矩阵[r t]中的参数。
[0081]
s50，将第一次优化后的n组内外部参数分别引入畸变值进行畸变修正计算。
[0082]
由于图像的畸变分为径向畸变(离图像中心的光线弯曲造成)和切向畸变(透镜在
安装的过程中，与成像平面不平行造成的)，一般使用参数k1、k2描述径向畸变、p1、p2描述切向畸变，然后引入这些参数，分别对n组内外部参数进行畸变修正，以减少图像形变导致的误差。
[0083]
具体地，本发明标定方法中，畸变修正计算采用如下公式：
[0084]
arg min f
k
'；
[0085]
其中上式的目标函数为：
[0086][0087]
目标函数中，k∈[1,n],表示n个区域中第k个区域，n表示图像数量,m表示该区域的角点数量，q为像点、q为物点，表示物点通过物理模型估算得到的像点位置，k1、k2为径向畸变参考值、p1、p2为切向畸变参考值。
[0088]
s60，将所述n组经畸变修正计算后的内外参数进行合并及第二次优化，得到最终的内外参数。
[0089]
在上述经过畸变修正后，对n组经畸变修正计算后的内外参数进行合并优化，此处为第二次优化。
[0090]
具体地，本发明实施例标定方法中，对n组经畸变修正计算后的内外参数进行合并合并优化采用如下公式：
[0091][0092][0093]
上式中，δ为(f
x
,f
y
,u0,v0,γ,k1,k2,p1,p2)变量，为优化后的
[0094]
经过上述两式的计算后得到最终优化的一组内外参数为：
[0095][0096]
其中，a为内部参数矩阵，r和t为外部参数矩阵；
[0097]
内部参数矩阵中，f
x
、f
y
表示相机的像素焦距，u0、v0表示相机的光心位置，γ表示x和y轴的偏差。r
k
、t
k
为优化前的旋转矩阵和平移向量，为优化前的旋转矩阵和平移向量，为优化后旋转矩阵和平移向量。
[0098]
由于前述步骤的优化均在分区内优化，而本步骤s60的合并各分区参数并优化，是将各组参数均代入其中，从某种程度上是对标定板进行平面拟合后的优化标定。其中δ
k
表示第k个分区的由前述步骤优化后参数计算重投影误差，表示最后优化估计的重投影误差。
[0099]
本发明的基于多单应性矩阵的相机标定方法，通过将每张一获取到的标定板图像
进行分割，对分割的每一区域都进行单应性矩阵计算，得到每张图像的多组单应性矩阵，依据多张图像同一区域的单应性矩阵计算得到的多组内外参数并进行优化，再将每一组优化后的内外参数都引入畸变参数进行修正，最后对修正后的多组内外参数进行合并优化得到最终的内外参数，由于本发明的方法对平面标定板图像进行分割，并对每一分割区域进行了实际形变的修正，故减小了现有技术中相机平面标定的形变误差，提高标定的精度和准确度。
[0100]
本发明的基于多单应性矩阵的相机标定方法，是一种普适的方法，采用局部优化到整体优化的方法，大大提高了现有平面标定法技术中的标定精度。
[0101]
本发明还提出一种系统，所述系统还包括存储器、处理器及存储在所述存储器中并被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时，实现上述的方法。
[0102]
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述异步消息处理终端设备中的执行过程。
[0103]
所述主控模块可包括但不仅限于处理器、存储器。本领域技术人员可以理解，上述部件仅仅是基于系统的示例，并不构成对主控模块的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如主控模块还可以包括输入输出设备、网络接入设备、总线等。
[0104]
所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(dig ita l sig na l processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述设备的控制中心，利用各种接口和线路连接整个主控模块的各个部分。
[0105]
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0106]
本发明还提出一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现上述的方法。
[0107]
本发明的基于多单应性矩阵的相机标定方法集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。本发明计算机可读存储介质具体实施方式与上述用于基于多单应性矩阵的相机标定方
法各实施例基本相同，在此不再赘述。
[0108]
需说明的是，以上所描述的实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0109]
以上所述仅为清楚地说明本发明所作的举例，并非因此限制本发明的专利范围，这里无法对所有的实施方式予以穷举，凡是在本发明的构思下，利用本发明技术方案中的内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。