ToF相机标定板的真实距离获取方法及装置、电子设备与流程

tof相机标定板的真实距离获取方法及装置、电子设备
技术领域
1.本发明涉及tof测距技术领域，尤其涉及一种tof相机标定板的真实距离获取方法及装置、电子设备。


背景技术：

2.双目测距、结构光与飞行时间(time-of-flight，简称tof)是当今三大主流3d成像技术，其中，tof由于其原理简单、结构简单稳定、测量距离远等优势，已逐渐应用于手势识别、3d建模、无人驾驶及机器视觉等领域。tof技术的工作原理是：利用外部光源(vcsel或led等)发射连续调制的发射光，发射光照射到待测物体表面后反射回来，反射光被tof相机的图像传感器(sensor)捕获，通过计算发射光与反射光时间差或相位差得到物体距离相机的深度/距离。其中，通过时间差计算距离的方法称为脉冲法(pulsed tof)，通过相位差计算距离的方法称为连续波法(continuous-wave tof)。
3.由于tof相机的图像传感器制造工艺以及一些光学特性，在保证测量精度的需求下，需要先对其进行一系列标定，如lens标定、wiggling标定、fppn标定等。其中，fppn标定是针对每个像素点存在差异进行补偿，所以需要一块覆盖图像传感器整个视场(fov)的白板作为标定板，且标定板的安装倾斜角也要准确给出，还需要计算标定板对应图像中每个像素点到图像传感器的真实距离，否则这些误差会导致fppn标定的不准确。但，由于产线上白板的排放位置并不确定，所以对真实距离的求解带来了一定的困难，且lens标定通常是采用黑白相间的棋盘格作为标定板，所以在产线上不同标定之间还需要进行标定板切换，带来标定成本的增加。
4.另外，通常计算每个像素点到图像传感器的真实距离有两种方法：第一种是通过机构保证白板的安装，并利用三角函数关系在已知白板与地面的夹角、图像传感器中心点到白板的距离的基础上，可以计算出每个像素点到图像传感器的真实距离；但由于通过机构保证白板的安装需要额外增加相关硬件设施增加标定成本，对已有的产线并不能很好的利用。第二种方法是通过单目测距的方法，通过世界坐标到像素点坐标转换关系，由内参矩阵、外参矩阵计算每个像素点的世界坐标，从而计算出每个像素点到图像传感器的真实距离；但由图像传感器分辨率较低且发送的调制光并不均匀，造成精准内参标定困难。
5.因此，如何在节省tof相机的标定成本的基础上准确地计算出真实距离，是当前亟待解决的技术问题。


技术实现要素：

6.本发明的目的在于提供一种tof相机标定板的真实距离获取方法及装置、电子设备，用于解决现有tof相机在计算标定板真实距离时所带来的标定成本增加或无法准确地计算出真实距离的技术问题，通过以lens标定所用棋盘格作为标定板，在节省tof相机标定成本的基础上准确地计算出标定板真实距离。
7.为实现上述目的，本发明提供了一种tof相机标定板的真实距离获取方法，包括如
下步骤：获取tof相机视场中标定板的灰度图的各角点中的顶点，其中，以lens标定所用棋盘格作为所述标定板；以lens标定出的内参矩阵作为初始值，根据所述顶点获取相应的对角线欧式距离；根据所述棋盘格的实际长宽获取相应的对角线真实距离；根据所述对角线欧式距离与所述对角线真实距离的差值，优化所述内参矩阵；以及根据优化后的内参矩阵计算所述灰度图中每个像素点到tof相机的图像传感器的真实距离。
8.可选的，所述的获取tof相机视场中标定板的灰度图的各角点中的顶点的步骤进一步包括：根据tof相机的图像传感器输出的tof相机视场中标定板的灰度图的原始数据，计算所述灰度图中每个像素点的亮度值；根据所述亮度值获取所述灰度图的各角点；以及根据各角点的坐标，选出各角点中的顶点。
9.可选的，所述的根据所述对角线欧式距离与所述对角线真实距离的差值，迭代优化所述内参矩阵的步骤进一步包括：以lens标定出的内参矩阵作为初始值，通过迭代查找计算出使得所述对角线欧式距离与所述对角线真实距离的差值小于或等于预设差值范围的目标值，从而优化所述内参矩阵。
10.为实现上述目的，本发明还提供了一种tof相机标定板的真实距离获取装置，包括：顶点获取模块，用于获取tof相机视场中标定板的灰度图的各角点中的顶点，其中，以lens标定所用棋盘格作为所述标定板；对角线欧式距离获取模块，用于以lens标定出的内参矩阵作为初始值，根据所述顶点获取相应的对角线欧式距离；对角线真实距离获取模块，用于根据所述棋盘格的实际长宽获取相应的对角线真实距离；优化模块，用于根据所述对角线欧式距离与所述对角线真实距离的差值，迭代优化所述内参矩阵；以及真实距离获取模块，用于根据优化后的内参矩阵计算所述灰度图中每个像素点到tof相机的图像传感器的真实距离。
11.为实现上述目的，本发明还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机可执行程序，所述处理器执行所述计算机可执行程序时实现如本发明所述的tof相机标定板的真实距离获取方法的步骤。
12.本发明提供的tof相机标定板的真实距离获取方法及装置，通过采用lens标定所用棋盘格作为标定板进行fppn标定，无需再额外提供一块覆盖整个视场的白板来进行fppn标定，使得在产线上标定时无需切换不同的标定板图案；通过获取视场中棋盘格灰度图的各角点中的顶点、并获取相应的对角线欧式距离的方式，棋盘格基本可以在tof相机视场中任意位置摆放，可以无需限定tof相机与标定板平行或者准确给出标定板的安装倾斜角等，且不需要知道图像传感器中心点到标定板的距离，节省了标定时间和成本；基于棋盘格对角线真实距离校正对角线欧式距离，对lens标定出的内参矩阵进行优化，从而提高计算真实距离的准确性；且通过利用lens标定所用棋盘格作为fppn标定板，利用单目测距原理即可计算真实距离，在节省tof相机的标定成本的基础上，可以准确地计算出标定板真实距离。
附图说明
13.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍。显而易见地，下面描述中的附图仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的
附图。
14.图1为本发明一实施例提供的tof相机标定板的真实距离获取方法的流程图；
15.图2为本发明一实施例提供的棋盘格灰度图；
16.图3为本发明一实施例提供的棋盘格示意图；
17.图4为本发明一实施例提供的tof相机标定板的真实距离获取装置的结构框图。
具体实施方式
18.下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
19.本发明一实施例提供了一种tof相机标定板的真实距离获取方法。
20.请参阅图1，其为本发明一实施例提供的tof相机标定板的真实距离获取方法的流程图。如图1所示，本实施例所述方法，包括如下步骤：s11、获取tof相机视场中标定板的灰度图的各角点中的顶点，其中，以lens标定所用棋盘格作为所述标定板；s12、以lens标定出的内参矩阵作为初始值，根据所述顶点获取相应的对角线欧式距离；s13、根据所述棋盘格的实际长宽获取相应的对角线真实距离；s14、根据所述对角线欧式距离与所述对角线真实距离的差值，优化所述内参矩阵；以及s15、根据优化后的内参矩阵计算所述灰度图中每个像素点到tof相机的图像传感器的真实距离。
21.关于步骤s11、获取tof相机视场中标定板的灰度图的各角点中的顶点，其中，以lens标定所用棋盘格作为所述标定板。具体来说，通过所述tof相机对作为标定板的lens标定所用棋盘格进行拍摄，获取tof相机视场(fov)中棋盘格的灰度图，进一步获取灰度图的各角点，从而获取相应的顶点。例如，对于n*m棋盘格，检测获取各顶点corner_11、corner_1n、corner_m1、corner_mn，如图2所示。
22.所述标定板的标定平面为所述棋盘格朝向所述tof相机的镜头的表面，即所述棋盘格中用于反射所述tof相机发射的光线的平面。在本实施例中，作为标定板的棋盘格基本可以在tof相机视场中任意位置摆放，且不需要知道图像传感器中心点到标定板的距离。通过采用lens标定所使用的黑白相间的棋盘格作为标定板进行fppn标定，无需再额外提供一块覆盖整个视场的白板来进行fppn标定，使得在产线上标定时无需切换不同的标定板图案。通过获取视场中棋盘格灰度图的各角点中的顶点的方式，棋盘格基本可以在tof相机视场中任意位置摆放，可以无需限定tof相机与标定板平行或者准确给出标定板的安装倾斜角等；且不需要知道图像传感器中心点到标定板的距离，节省了标定时间和成本。
23.在一些实施例中，所述的获取tof相机视场中标定板的灰度图的各角点中的顶点的步骤进一步包括：根据tof相机的图像传感器输出的tof相机视场中标定板的灰度图的原始数据(raw data)，计算所述灰度图中每个像素点的亮度值(amplitude)；根据所述亮度值获取所述灰度图的各角点；以及，根据各角点的坐标，选出各角点中的顶点。
24.在一些实施例中，采用以下公式计算所述灰度图中每个像素点的亮度值amplitude：amplitude＝abs(i) abs(q)；其中，i＝a0-b0-(a180-b180)，q＝a90-b90-(a270-b270)，a，b为图像传感器输出为0、90、180、270相位对应的原始数据。其中，tof相机
发射的调制波为方波。
25.在一些实施例中，所述的根据所述亮度值获取所述灰度图的各角点的步骤进一步包括：根据所述亮度值，采用opencv角点检测方式获取所述灰度图的各角点。例如，可以使用harris算法、shi-tomasi算法等，基于灰度图的亮度值，找出、筛选并标记灰度图中各角点。
26.关于步骤s12、以lens标定出的内参矩阵作为初始值，根据所述顶点获取相应的对角线欧式距离。具体来说，在获取灰度图中各顶点之后，基于lens标定出的内参矩阵，可以计算所述各顶点相应的对角线的欧式距离。此时获取的对角线欧式距离为基于lens标定出的内参矩阵的初始对角线欧式距离，后续通过基于对角线真实距离校正对角线欧式距离，从而对lens标定出的内参矩阵进行优化，从而提高计算真实距离的准确性。
27.在一些实施例中，所述的根据所述顶点获取相应的对角线欧式距离的步骤进一步包括：(1)采用以下像素坐标与世界坐标的转换关系，计算出所述灰度图中各顶点的世界坐标：
[0028][0029]
其中，zc代表缩放系数，u、v为像素坐标系中一像素点的坐标值，m1对应的矩阵为内参矩阵，u0和v0为内参矩阵的中心点，f
x
和fy为内参矩阵的焦距，m2对应的矩阵为外参矩阵，r是像素坐标系的坐标轴在世界坐标系的坐标轴中的方向矢量，t是从世界坐标系的原点到像素坐标系的原点的平移矢量，xw、yw、zw为世界坐标系中对应点的坐标值；以及(2)根据各顶点的世界坐标，采用以下公式计算所述相应的对角线欧式距离d1、d2：
[0030]
d1＝sqrt((x
w11-x
wmn
)2 (y
w11-y
wmn
)2 (z
w11-z
wmn
)2)，
[0031]
d2＝sqrt((x
w1n-x
wm1
)2 (y
w1n-y
wm1
)2 (z
w1n-z
wm1
)2)。
[0032]
在获取灰度图中各角点中的顶点之后，基于lens标定出的内参矩阵，将各顶点的像素坐标值转换为世界坐标值，进而基于各顶点的世界坐标计算出相应的对角线欧式距离d1、d2，如图2所示。此时获取的对角线欧式距离为基于lens标定出的内参矩阵的初始对角线欧式距离，后续通过基于对角线真实距离校正对角线欧式距离，对lens标定出的内参矩阵进行优化，从而提高计算真实距离的准确性。
[0033]
关于步骤s13、根据所述棋盘格的实际长宽获取相应的对角线真实距离。具体来说，对于选定的棋盘格，其格子实际长宽是已知的，根据勾股定理即可求出对角线真实距离。
[0034]
具体来说，所述的根据所述棋盘格的实际长宽获取相应的对角线真实距离的步骤进一步包括：根据勾股定理求得相应的对角线真实距离drel1、drel2：drel1＝drel2＝sqrt(x2 y2)；其中，x为棋盘格的实际长度(图示棋盘格的水平长度)，y为棋盘格的实际宽度(图示棋盘格的垂直长度)，如图3所示。
[0035]
关于步骤s14、根据所述对角线欧式距离与所述对角线真实距离的差值，优化所述内参矩阵。具体来说，由于tof相机的图像传感器的分辨率较低以及调制光的不均匀性，基
于lens标定出的内参矩阵所获取的对角线欧式距离与对角线真实距离之间可能存在差异；若基于lens标定出的内参矩阵计算真实距离，可能存在一定偏差。因此以lens标定出的内参矩阵作为初始值，通过迭代查找计算出一组合适的目标内参矩阵，以提高真实距离计算的准确性。
[0036]
在一些实施例中，以lens标定出的内参矩阵作为初始值(即初始内参矩阵)，通过迭代查找计算出使得所述对角线欧式距离与所述对角线真实距离的差值小于或等于预设差值范围的目标值，从而优化所述内参矩阵。具体的，通过改变初始内参矩阵中的变量的值，迭代查找内参矩阵的最优解。
[0037]
具体来说，根据对角线真实距离和对角线欧式距离添加的迭代约束条件为argmin(abs(drel1-d1) abs(drel2-d2))。考虑到内参矩阵的焦距fx和fy比较接近，所以进一步需满足：abs(f
x-fy)《thr，其中，thr为用户定义焦距差异的最大阈值。通过改变f
x
和/或fy的值，使得基于校正后的内参矩阵计算得到对角线欧式距离d1、d2可以满足argmin(abs(drel1-d1) abs(drel2-d2))。假设，初始时f
x
＝100、fy＝100，通过增大或减小f
x
(例如f
x
在90～110内改变，且满足：abs(f
x-fy)《thr)，得到新的内参矩阵，并重新计算得到对角线欧式距离d1、d2；或通过增大或减小fy(例如fy在90～110内改变，且满足：abs(f
x-fy)《thr)，得到新的内参矩阵，并重新计算得到对角线欧式距离d1、d2；或者同时改变f
x
和fy的值(例如f
x
在90～110内改变，fy也在90～110内改变，且满足：abs(f
x-fy)《thr)，得到新的内参矩阵，并重新计算得到对角线欧式距离d1、d2。
[0038]
在一些实施例中，所述的根据所述对角线欧式距离与所述对角线真实距离的差值，迭代优化所述内参矩阵的步骤进一步包括：判断以下关系式是否成立：argmin(abs(drel1-d1) abs(drel2-d2))&&abs(fx-fy)《thr，其中，drel1、drel2为对角线真实距离，d1、d2为对角线欧式距离，thr为预定焦距差异的最大阈值；若关系式成立，则获取当前的内参矩阵作为优化后的内参矩阵；若关系式不成立，则改变fx和/或fy的值，迭代查找满足关系式成立的内参矩阵作为优化后的内参矩阵。其中，argmin即求取使目标函数abs(drel1-d1) abs(drel2-d2)取最小值时的d1、d2的值；&&表示逻辑与的意思，即为and，当运算符两边的表达式的结果都为true时，整个运算结果才为true，否则，只要有一方为false，则结果为false；&&还具有短路的功能，即如果第一个表达式为false，则不再计算第二个表达式。
[0039]
关于步骤s15、根据优化后的内参矩阵计算所述灰度图中每个像素点到tof相机的图像传感器的真实距离。具体来说，根据优化后的内参矩阵，通过像素坐标与世界坐标的转换关系，即可计算出所述灰度图中每个像素点到tof相机的图像传感器的真实距离。且由于以lens标定出的内参矩阵作为初始值，根据对角线真实距离和对角线欧式距离添加迭代约束条件，通过迭代查找计算出一组合适的目标内参矩阵，提高了真实距离计算的准确性。本发明通过利用lens标定所用棋盘格作为fppn标定板，利用单目测距原理即可计算真实距离，在节省tof相机的标定成本的基础上，可以准确地计算出标定板真实距离。
[0040]
基于同一发明构思，本发明还提供了一种tof相机标定板的真实距离获取装置。所提供的tof相机标定板的真实距离获取装置可以采用如图1所示的tof相机标定板的真实距离获取方法对tof相机进行fppn标定进而获取标定板的真实距离。
[0041]
请参阅图4，其为本发明一实施例提供的tof相机标定板的真实距离获取装置的结构框图。如图4所示，所述tof相机标定板的真实距离获取装置包括：顶点获取模块41、对角
线欧式距离获取模块42、对角线真实距离获取模块43、优化模块44以及真实距离获取模块45。
[0042]
具体来说，所述顶点获取模块41用于获取tof相机视场中标定板的灰度图的各角点中的顶点；其中，以lens标定所用棋盘格作为所述标定板。所述对角线欧式距离获取模块42用于以lens标定出的内参矩阵作为初始值，根据上述顶点获取相应的对角线欧式距离。所述对角线真实距离获取模块43用于根据所述棋盘格的实际长宽获取相应的对角线真实距离。所述优化模块44用于根据所述对角线欧式距离与所述对角线真实距离的差值，迭代优化所述内参矩阵。所述真实距离获取模块45用于根据优化后的内参矩阵计算所述灰度图中每个像素点到tof相机的图像传感器的真实距离。各模块的工作方式可参考图1所示的tof相机标定板的真实距离获取方法中相应步骤的描述，此处不再赘述。
[0043]
本发明提供的tof相机标定板的真实距离获取方法及装置，通过采用lens标定所用棋盘格作为标定板进行fppn标定，无需再额外提供一块覆盖整个视场的白板来进行fppn标定，使得在产线上标定时无需切换不同的标定板图案；通过获取视场中棋盘格灰度图的各角点中的顶点、并获取相应的对角线欧式距离的方式，棋盘格基本可以在tof相机视场中任意位置摆放，可以无需限定tof相机与标定板平行或者准确给出标定板的安装倾斜角等，且不需要知道图像传感器中心点到标定板的距离，节省了标定时间和成本；基于棋盘格对角线真实距离校正对角线欧式距离，对lens标定出的内参矩阵进行优化，从而提高计算真实距离的准确性；且通过利用lens标定所用棋盘格作为fppn标定板，利用单目测距原理即可计算真实距离，在节省tof相机的标定成本的基础上，可以准确地计算出标定板真实距离。
[0044]
基于同一发明构思，本发明还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机可执行程序；所述处理器执行所述计算机可执行程序时实现如图1所示的tof相机标定板的真实距离获取方法的步骤。
[0045]
在本发明构思的领域中是可以根据执行所描述的一个或多个功能的模块来描述和说明实施例。这些模块(本文也可以称为单元等)可以由模拟和/或数字电路物理地实现，例如逻辑门、集成电路、微处理器、微控制器、存储器电路、无源电子元件、有源电子元件、光学组件、硬连线电路等，并且可以可选地由固件和/或软件来驱动。电路例如可以在一个或更多个半导体芯片中实施。构成模块的电路可以由专用硬件实现，或者由处理器(例如，一个或更多个编程的微处理器和相关电路)实现，或者由执行模块的一些功能的专用硬件和执行模块的其它功能的处理器的组合来实现。在不脱离本发明构思的范围的情况下，可以将实施例的每个模块物理地分成两个或更多个交互且分立的模块。同样地，在不脱离本发明构思的范围的情况下，可以将实施例的模块物理地组合成更复杂的模块。
[0046]
通常，可以至少部分地从上下文中的用法理解术语。例如，在本文中所使用的术语“一个或多个”至少部分取决于上下文，可以用于以单数意义描述特征、结构或特性，或可以用于以复数意义描述特征、结构或特征的组合。另外，术语“基于”可以被理解为不一定旨在表达一组排他性的因素，而是可以替代地，同样至少部分地取决于上下文，允许存在不一定明确描述的其它因素。
[0047]
需要说明的是，本发明的文件中涉及的术语“包括”和“具有”以及它们的变形，意图在于覆盖不排他的包含。术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述
特定的顺序或先后次序，除非上下文有明确指示，应该理解这样使用的数据在适当情况下可以互换。另外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。此外，在以上说明中，省略了对公知组件和技术的描述，以避免不必要地混淆本发明的概念。上述各个实施例中，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同/相似的部分互相参见即可。
[0048]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。