一种大场景相机阵列传递标定方法、系统及存储介质与流程

1.本发明涉及相机标定成技术领域，尤其涉及一种大场景相机阵列传递标定方法、系统及存储介质。


背景技术：

2.随着机器视觉和三维成像技术发展，应用的场景越来越多，如电影特技、文物保护、影视制作、动漫游戏、运动捕捉等领域。
3.在三维实景采集中，大场景的视觉采集一般布置多个相机，多个构成相机阵列从而构成多视角采集。为了后续建模点提取的精确性，需要提前标定相机的焦距、畸变、姿态和位置关系等。
4.现有技术中，大场景相机阵列的标定是根据场景来定制分区标定板，如图1中所示，定制分区标定板需要精确定位各组标定区的位置关系，先在每组标定区对该组的局部相机进行标定，然后再通过各组标定区的空间位置关系将所有相机标定统一到给定的坐标系下，从而完成相机阵列的全局标定。但是定制分区标定板其精度要求高，故成本较高，且使用不够灵活。
5.因此，现有技术还有待改进。


技术实现要素：

6.鉴于上述现有技术的不足之处，本发明的目的在于提供一种大场景相机阵列传递标定方法、系统及存储介质，旨在基于传统棋盘标定板，通过相机传递标定方法完成大场景相机阵列相机标定，无需特意定制分区标定板，降低标定成本，灵活性好。
7.为实现上述目的，本发明采取了以下技术方案：
8.第一方面，本发明提出了一种大场景相机阵列传递标定方法,其中，所述方法包括如下步骤：
9.s10，相机阵列的分层：根据相机的布局将相机阵列分成多个不同的相机层，其中，相对集中的多个相机划分为一个相机层，相邻两相机层中至少有一个重叠的相机；
10.s20，基准相机的选定：在两相邻两相机层的重叠相机中选择相机作为基准相机；
11.s30，同层的相机标定：在同一相机层中将每一相机与该层的基准相机两两组合，分别对所组合的相机进行双目标定；
12.s40，坐标统一：选定一个相机层的其中一基准相机的坐标系作为基准坐标系，通过相邻相机层重叠区域的基准相机的坐标系传递，将不同相机层的每一相机坐标与参数统一到所述基准坐标系下。
13.第二方面，本发明提出了一种系统，其中，所述系统还包括存储器、处理器及存储在所述存储器中并被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时，实现前述的方法。
14.第三方面，本发明提出了一种计算机可读存储介质，其中于，所述计算机可读存储
介质中存储有计算机程序，所述计算机程序被执行时实现前述的方法。
15.本发明的大场景相机阵列传递标定方法，通过将相机阵列的分层，相邻两相机层中至少有一个重叠的相机，并在相邻两相机层的重叠相机中选择一个相机作为基准相机，然后在同一相机层中将每一相机与该层的基准相机两两组合，分别对所组合的相机进行双目标定，然后选定一个相机层的其中一基准相机的坐标系作为基准坐标系，通过相邻相机层重叠区域的基准相机的坐标系传递，将不同相机层的每一相机坐标与参数统一到所述基准坐标系下。由于本发明在传统的棋盘标定板基础上，采用了相机坐标传递的方式，将所有相机坐标统一到一个基准坐标系下，故在大场景的相机阵列标定中，无需定制分区标定板，降低了标定成本，且由于是采用传统的标定板，故适用范围广，使用灵活方便。
附图说明
16.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
17.图1为现有技术中定制分区标定板的示意图；
18.图2为本发明大场景相机阵列传递标定方法第一实施例的流程示意图；
19.图3为大场景相机阵列的一种分布示意图；
20.图4为大场景相机阵列的分层划分示意图；
21.图5为相机成像的图像坐标系、相机坐标系和世界坐标系示意图；
22.图6为相机双目标定布局示意图；
23.图7为相机阵列坐标统一时的坐标传递示意图；
24.图8为本发明大场景相机阵列传递标定方法第二实施例的流程示意图。
具体实施方式
25.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
26.如图2所示，本发明则采用一种新方法对大场景阵列相机进行标定，该方法具体包括如下步骤：
27.s10，相机阵列的分层：根据相机的布局将相机阵列分成多个不同的相机层，其中，相对集中的多个相机划分为一个相机层，相邻两相机层中至少有一个重叠的相机。
28.如图3所示，为大场景中相机阵列分布的一种方式，由该图可知，相机阵列中的多个相机并不均匀分布，而是有的集中，有的分散。本发明首先将相机阵列进行分层，以相对集中的多个相机作为一个相机层，而且相邻两个相机层中需要有重叠的相机。如图4所示，从左至右按照相对集中及相邻相机层有重叠相机的原则，依次划分为第1层、第2层、第3层、第4层、
……
、第n层。将相机阵列进行分层使得大场景内的多个相机按区域划分，便于后续按区域进行分别标定。
29.优选地，在相机阵列的分层步骤中，若某一相机层为第m层，当存在多个与第m层相邻并且均具有重叠相机的相机组，则将所述多个相机组共同划分为第m 1层，每一所述相机组为所述第m 1层中的一个子层。如图4所示，第1层的右边及下边均存在与第1层相邻且具有重叠相机的相机组2
‑
1，及2
‑
2，则相机组2
‑
1,2
‑
2共同组成第2层，2
‑
1和2
‑
2相机组分别为第2层的子层。同样，第3层的右边及下边均存在与第3层相邻且具有重叠相机的相机组4
‑
1，及4
‑
2，则相机组4
‑
1,4
‑
2共同组成第4层，4
‑
1和4
‑
2相机组分别为第4层的子层。
30.子层的划分便于统一某一相机层的后续相邻层，使得该相机层的后续相邻层只有一个，即相机层只有前一个和后一个相邻层，便于后续坐标标定的传递。
31.s20，基准相机的选定：在两相邻两相机层的重叠相机中选择相机作为基准相机。
32.如图4所示，第1层和第2层有两个相邻的子层2
‑
1及2
‑
2，可以在第1层和子层2
‑
1重叠部分选择一个相机作为基准相机，也可以在第1层和子层2
‑
2重叠部分选择一个相机作为基准相机，但是为了连接第1层和第3层，本实施例使用2
‑
1子层内重叠部分的相机作为基准相机。基准相机选定后，就可以对该相机层的其他相机进行标定，从而将该层的其他所有相机的坐标都都统一到该基准相机的坐标系上。同时，除去最开头的第1层和最后的第n层，中间相机层由于同时与前一个相机层相邻，又同时与后一个相机层相邻，那么中间相机层的基准相机至少有两个，如子层2
‑
1，其既与第1层相邻，又与第3层相邻，则2
‑
1层有两个基准相机，2
‑
1层中与第3层重叠的基准相机用于将第3层的所有相机坐标传递到第2层，2
‑
1层中与第1层重叠的基准相机用于将第2层的所有相机坐标传递到第1层，即基准相机不光标定本层的其他相机的坐标，还起到在层间传递坐标的作用。
33.s30，同层的相机标定：在同一相机层中将每一相机与该层的基准相机两两组合，分别对所组合的相机进行双目标定。
34.相机成像的几何关系可由图5表示，为了方便计算，将图像从光心后面对称移到前面，其中o
c
点称为相机光心，x
c
轴和y
c
轴与图像坐标系的x轴和y轴平行，z
c
轴为相机的光轴，它与图像平面垂直，光轴与图像平面的交点，即为坐标系原点，由点o
c
与x
c
、y
c
、z
c
轴组成的直角坐标系称为相机坐标系,o
c
o1为相机焦距。将图像坐标系、相机坐标系和世界坐标系通过p点坐标和其投影点坐标(u,v)的关系联系起来，如下式所示：
[0035][0036]
其中f
x
、f
y
表示相机的像素焦距，u0、v0表示相机的光心位置，理想情况下光心位置
在图像的中心，f
x
、f
y
、u0、v0与相机有关称为内部参数；r、t分别表示旋转矩阵和平移向量，用于联系相机坐标系(x
c
,y
c
,z
c
)和世界坐标系(x
w
,y
w
,z
w
)。r为3
×
3矩阵，有3个独立参数，t为3维向量，有3个独立参数，这六个参数与相机无关称为外部参数。
[0037]
故称为相机内部参数矩阵,称为相机外部参数矩阵。
[0038]
本发明实施例的相机阵列的相机层中的相机标定是基于双目相机标定，如图6所示为双目相机标定布局，两个相机光轴不平行，光轴方向向右，相机坐标系的z轴与光轴重合。
[0039]
两个相机同时拍摄标棋盘定板照片，获取不同标定板姿态的图片。计算时，提取棋盘标定板角点坐标，根据不同姿态的角点坐标，分别求解内部参数f
x
、f
y
、u0、v0。由于相机的位置不同，同一姿态的棋盘标定板角点在两个相机图像上的位置不同。因此根据棋盘标定板坐标系和角点坐标，可以联系和计算两个相机的相对位置，若将其中一个相机作为基准相机，那即可求得另外一个相机的相对外部参数r和t。这样两两组合，就可以分别对该层所有相机进行双目标定。
[0040]
本发明实施例中，同一相机层内每一相机与该层基准相机的坐标转换关系式为：
[0041][0042]
其中(x
nm
,y
nm
,z
nm
)
t
为第i层基准相机的坐标，nm为该基准相机的行列号，为第i层第*行第％列的相机坐标系下的坐标，表示第i层相机标定时，第i层的第*行第％列相机对第i层基准相机的坐标进行转换的旋转矩阵和平移向量。
[0043]
s40，坐标统一：选定一个相机层的其中一基准相机的坐标系作为基准坐标系，通过相邻相机层重叠区域的基准相机的坐标系传递，将不同相机层的每一相机坐标与参数统一到所述基准坐标系下。
[0044]
本发明实施例相机划分原则是由坐标统一的传递式标定相关的，如图7所示，0、1、2、n号相机均为其对应层a，b，c等层(或称为区域)的基准相机。每个区域的相机确保能够比较方便的同时标定。即在一个区域选定一个基准相机后，该区域的其他相机可与其组成双目标定。相邻的区域基准相机需在两个区域的重叠相机中。
[0045]
在区域a中，0号相机作为基准相机，其他相机包括1号相机坐标系均可采用0号坐标系表示；同理区域b、c中的相机均可采用b、c区域内的基准相机的坐标系表示。由于每一相机位置均可采用其所在相机层即所在区域的基准相机表示，若其他区域的基准相机可采用一个固定区域的基准相机统一表示，如b区域的基准相机1号相机坐标可用a区域的基准相机0号相机坐标表示，则b区域的所有相机坐标可用a区域的0号相机坐标表示，于是通过中间的基准相机1号相机，a区域的相机与b区域的相机进行坐标统一。c区域相机通过c区域的基准相机中间转换，可由b区域的基准相机表示，因此c区域相机也可由a区域的基准相机
表示，于是a、b和c区域相机坐标统一。依次类推，通过中间的基准相机转换所有相机坐标后均可用a区域的基准相机表示，所有相机坐标统一在0号相机坐标系下。
[0046]
由于是部分标定，双目标定时每组的坐标系各自独立，为了统一坐标系，需要将各组独立的坐标系统一到相机阵列的基准坐标系下。如选择第1行第1行01
‑
01相机(即0号相机)坐标系为整个大场景相机阵列的基准坐标系，即相机阵列的世界坐标系。同时01
‑
01相机的坐标系为第1层相机层标定的基准坐标系。如第2、3、4、5层相机层标定的基准坐标分别为01
‑
03(1号相机)、01
‑
05(2号相机)、01
‑
07、01
‑
09相机的相机坐标系。根据每一层的基准相机与该层其他相机两两组合后的双目标定，有如下关系式：
[0047][0048][0049][0050][0051][0052]
其中(x
0101
,y
0101
,z
0101
)
t
为基准相机01
‑
01坐标系下的坐标，为第i层第*行第％列的相机坐标系下的坐标，表示第i组标定时，第*行第％列的相机在其对应基准相机的坐标系下的旋转矩阵和平移向量。
[0053]
将第2层相机坐标统一到相机阵列基准相机01
‑
01坐标系下，先由如下关系式：
[0054][0055]
再结合图7所示，因01
‑
03(1号)位置的相机既是第1层(图中的a层)的基准相机，又是第2层(图中的b层)的基准相机，故01
‑
03位置相机的在第2层的坐标可以用其在第1层中的坐标表示如下：
[0056][0057]
依据以上，则可以将2层的所有相机用01
‑
01相机基准坐标系表示：
[0058][0059]
同理可将第3层、第4层、第5层中相机坐标统一到相机阵列01
‑
01坐标系下。具体地，在第2层基础上，第3层相机坐标转换有如下关系式：
[0060][0061]
在第3层基础上，第4层相机坐标转换有如下关系式：
[0062][0063]
在第4层基础上，第5层相机坐标转换有如下关系式：
[0064][0065]
坐标统一是根据相邻组重叠相机进行基准相机坐标系转换，每次坐标系的转换，相当于在前一组坐标关系式进行迭代，如下式：
[0066][0067]
因此对任意i层相机的标定，当i>1时，所述坐标统一的公式如下：
[0068][0069]
其中，(x
##
,y
##
,z
##
)
t
为相机机阵列的基准坐标系下坐标，为第i层第*行第％列的相机坐标系下的坐标，表示第i层基准相机的坐标下向第i
‑
1层基准相机的坐标进行转换的旋转矩阵和平移向量，表示第i层的第*行第％列相机的坐标在第i层基准相机的坐标进行转换的旋转矩阵和平移向量，##为各相机层中基准相机的行列号，且e为单位矩阵。
[0070]
当i＝1时，因无需在相邻层之间进行坐标传递，故根据公式：
[0071][0072]
将该公式中最后面的累加部分去掉后可得当i＝1时的坐标统一公式如下：
[0073][0074]
其中，为第1层第*行第％列的相机坐标系下的坐标，表示第1层的第*行第％列相机的坐标在第1层基准相机的坐标进行转换的旋转矩阵和平移向量。
[0075]
优选地，如图8所示，本发明实施例的方法在坐标统一后，还包括如下步骤：
[0076]
s50，参数优化：根据所述坐标统一后的结果，对所有相机的参数进行优化，以保证重投影误差最小。
[0077]
由于相机标定计算求解后的图像坐标，与实际图像坐标会存在偏差，为了使这种偏差最小，对计算的参数进行优化，从而获得偏差最小时的相机参数。
[0078]
具体地，所述步骤s50中对所有相机的参数进行优化采用如下公式：
[0079][0080]
其中上式的目标函数为：
[0081]
f
i2
(x)＝(u
i
‑
u
i
)2 (v
i
‑
v
i
)2；
[0082]
其中，(u
i
,v
i
)为根据针孔模型将已知物空间特征点投影到图像平面上得到的图像坐标，(u
i
,v
i
)为相机实际得到的图像坐标。
[0083]
求解目标函数极小化问题是一个非线性优化的问题，一般根据针孔相机模型求解内部参数f
x
、f
y
、u0、v0，外部参数r和t，将这些参数作为初值，进行优化，从而获得使偏差最小时的参数为相机参数的最佳估计值。
[0084]
本发明实施例的大场景相机阵列传递标定方法，通过将相机阵列的分层，相邻两相机层中至少有一个重叠的相机，并在相邻两相机层的重叠相机中选择一个相机作为基准相机，然后在同一相机层中将每一相机与该层的基准相机两两组合，分别对所组合的相机进行双目标定，然后选定一个相机层的其中一基准相机的坐标系作为基准坐标系，通过相邻相机层重叠区域的基准相机的坐标系传递，将不同相机层的每一相机坐标与参数统一到所述基准坐标系下。由于本发明在传统的棋盘标定板基础上，采用了相机坐标传递的方式，将所有相机坐标统一到一个基准坐标系下，故在大场景的相机阵列标定中，无需定制分区标定板，降低了标定成本，且由于是采用传统的标定板，故适用范围广，使用灵活方便。
[0085]
本发明还提出一种系统，所述系统还包括存储器、处理器及存储在所述存储器中并被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时，实现上述的方法。
[0086]
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述异步消息处理终端设备中的执行过程。
[0087]
所述主控模块可包括但不仅限于处理器、存储器。本领域技术人员可以理解，上述部件仅仅是基于系统的示例，并不构成对主控模块的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如主控模块还可以包括输入输出设备、网络接入设备、总线等。
[0088]
所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述设备的控制中心，利用各种接口和线路连接整个主控模块的各个部分。
[0089]
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储
数据区可存储根据使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0090]
本发明还提出一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现上述的方法。
[0091]
本发明的大场景相机阵列传递标定方法集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。本发明计算机可读存储介质具体实施方式与上述用于大场景相机阵列传递标定方法各实施例基本相同，在此不再赘述。
[0092]
需说明的是，以上所描述的实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0093]
以上所述仅为清楚地说明本发明所作的举例，并非因此限制本发明的专利范围，这里无法对所有的实施方式予以穷举，凡是在本发明的构思下，利用本发明技术方案中的内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。