ToF相机的FPPN标定方法及装置、电子设备与流程

tof相机的fppn标定方法及装置、电子设备
技术领域
1.本发明涉及tof测距技术领域，尤其涉及一种tof相机的fppn标定方法及装置、电子设备。


背景技术：

2.双目测距、结构光与飞行时间(time-of-flight，简称tof)是现今三大主流3d成像技术，其中，tof由于其原理简单、结构简单稳定、测量距离远等优势，已逐渐应用于手势识别、3d建模、无人驾驶及机器视觉等领域。tof技术的工作原理是：利用外部光源(vcsel或led等)发射连续调制的发射光，发射光照射到待测物体表面后反射回来，反射光被tof相机的图像传感器捕获，通过计算发射光与反射光时间差或相位差得到物体距离相机的深度/距离。其中，通过时间差计算距离的方法称为脉冲法(pulsed tof)，通过相位差计算距离的方法称为连续波法(continuous-wave tof)。
3.tof相机由于自身成像原因及外界环境干扰等，直接获取的数据通常存在一定的误差，因此在应用前需要对tof相机进行一系列校准，提高测量精度。tof相机的系统误差主要来源于：外部光源(vcsel或led等)通常由图像传感器产生方波来驱动，但由于随着调制频率的提高，光波形也渐渐趋近于弦波，方波中的高次谐波会给测量带来周期性误差，相关波形存在混叠谐波导致在测量过程存在摆动误差(wiggling error)；以及，由于图像传感器在制造过程中每个像素点可能各不相同，导致每个像素点具有独立的距离偏差，导致存在固定相位模式噪声(fixed phase pattern noise，简称fppn)。
4.为保证tof相机测量精度需要对其进行一系列标定，例如lens标定、wiggling标定、fppn标定等。由于不同的标定需要不同的测试环境以及设备，例如，通常lens标定需要通过棋盘格标定板，但fppn标定需要白板才能对每个像素点进行标定。由于棋盘格黑白之间的差异会带来测距上光强度(intensity)的误差，若是直接通过棋盘格标定板进行fppn标定，则会把光强度误差直接代入到fppn，会造成fppn偏差较大。另外，不同的标定在产线上需要切换不同的测试模式(pattern)，若对已有产线通过替换新的测试设备实现切换不同的测试模式，则会造成较大的生产成本增加。
5.中国专利公开文献cn109903241a公开了一种tof相机系统的深度图像校准方法及系统，其采用白色目标板进行fppn标定，考虑的噪声的影响按照5*5窗口进行平均后进行曲面拟合。但是对于产线来说，切换成fppn标定所需白板需要一定的成本，同时曲面拟合的方式可能带来的误差影响相关准确度要求。
6.因此，如何降低tof相机的fppn标定成本，并提高tof相机的校准精度，是当前亟待解决的技术问题。


技术实现要素：

7.本发明的目的在于提供一种tof相机的fppn标定方法及装置，用于解决现有的tof相机的fppn标定成本较高、不同的标定在产线上需要切换不同的测试模式的问题，通过以
lens标定所用棋盘格为标定板进行fppn标定，在保证标定准确度的同时节约标定成本。
8.为实现上述目的，本发明提供了一种tof相机的fppn标定方法，包括如下步骤：获取tof相机视场中作为标定板的棋盘格的灰度图，其中，所述棋盘格为lens标定所用棋盘格；将所述灰度图进行亮度二值化，并剔除所述灰度图中棋盘格的黑色部分；获取所述灰度图中棋盘格的白色部分的fppn值；将所述灰度图按照预定块尺寸划分为多个块，并获取每个块的特征值；以及根据所述灰度图中每个像素点的坐标判定对应像素点所处的块，进而根据所处的块的特征值获取对应像素点的校正值，以完成tof相机的fppn标定。
9.可选的，在执行所述的根据所述灰度图中每个像素点的坐标判定对应像素点所处的块，进而根据所处的块的特征值获取对应像素点的校正值的步骤之前，所述方法进一步包括：根据信息缺失块对应的周边块的特征值，对所述信息缺失块进行线性插值补偿，其中，所述信息缺失块为所述灰度图中全为黑色的块。
10.为实现上述目的，本发明还提供了一种tof相机的fppn标定装置，包括：第一获取模块，用于获取tof相机视场中作为标定板的棋盘格的灰度图，其中，所述棋盘格为lens标定所用棋盘格；处理模块，用于将所述灰度图进行亮度二值化，并剔除所述灰度图中棋盘格的黑色部分；第二获取模块，用于获取所述灰度图中棋盘格的白色部分的fppn值；第三获取模块，用于将所述灰度图按照预定块尺寸划分为多个块，并获取每个块的特征值；第四获取模块，用于根据所述灰度图中每个像素点的坐标判定对应像素点所处的块，进而根据所处的块的特征值获取对应像素点的校正值，以完成tof相机的fppn标定。
11.可选的，所述装置进一步包括：补偿模块，用于根据信息缺失块对应的周边块的特征值，对所述信息缺失块进行线性插值补偿，其中，所述信息缺失块为所述灰度图中全为黑色的块。
12.为实现上述目的，本发明还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机可执行程序，所述处理器执行所述计算机可执行程序时实现如本发明所述的tof相机的fppn标定方法的步骤。
13.本发明提供的tof相机的fppn标定方法及装置，通过以lens标定所用棋盘格为标定板进行fppn标定，节约标定时间以及标定成本；通过以中值滤波将整幅画面亮度进行二值化，避免将光强度误差引入到fppn的求解中，提高标定准确度；通过将整个画面按照一定块尺寸进行划分，单个块的特征值通过对该块中的所有像素点进行高斯函数加权计算获取，避免了单个像素点噪声的影响，提高标定准确度。
附图说明
14.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍。显而易见地，下面描述中的附图仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
15.图1为连续波法测量示意图；
16.图2为本发明一实施例提供的tof相机的fppn标定方法流程图；
17.图3为本发明一实施例提供的fppn标定示意图；
18.图4为本发明一实施例提供的对灰度图进行块划分示意图；
19.图5为本发明一实施例提供的线性插值补偿原理示意图；
20.图6为本发明一实施例提供的tof相机的fppn标定装置的结构框图。
具体实施方式
21.下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
22.请参阅图1，其为连续波法测量示意图。由于光速c为已知量，发射光的调制频率f为已知量，利用不同距离下发射光与反射光的相位差可以计算出来相应的距离d，即：
[0023][0024]
fppn偏差是由于灰度图传感器在制造过程中每个像素点可能各不相同，导致每个像素点具有独立的距离偏差。
[0025]
通常校正过程是通过照射平行于灰度图传感器的白板，并通过下述公式校正fppn偏差：其中，为测量相位值，为真实相位值，wiggling是该像素点对应的wiggling误差。
[0026]
通常lens标定需要通过棋盘格标定板，由于棋盘格黑白之间的差异会带来测距上光强度(intensity)的误差，若是直接通过棋盘格标定板进行fppn标定，则会把光强度误差直接代入到fppn，会造成fppn偏差较大。对于lens标定采用棋盘格、fppn标定采用白板的标定方式，在产线上需要针对不同的标定切换不同的测试模式，会造成标定时间以及标定成本增加。
[0027]
针对上述tof相机标定存在的问题，本发明通过以lens标定所用棋盘格为标定板进行fppn标定，节约标定时间以及标定成本；通过以中值滤波将整幅画面亮度进行二值化，避免将光强度误差引入到fppn的求解中，提高标定准确度；通过将整个画面按照一定块尺寸进行划分，单个块的特征值通过对该块中的所有像素点进行高斯函数加权计算获取，避免了单个像素点噪声的影响，提高标定准确度。以下给出详细解释说明。
[0028]
本发明一实施例提供了一种tof相机的fppn标定方法。请一并参阅图2～图5，其中，图2为本发明一实施例提供的tof相机的fppn标定方法流程图，图3为本发明一实施例提供的fppn标定示意图，图4为本发明一实施例提供的对灰度图进行块划分示意图，图5为本发明一实施例提供的线性插值补偿原理示意图。
[0029]
如图2所示，本实施例所述方法，包括如下步骤：s21、获取tof相机视场中作为标定板的棋盘格的灰度图，其中，所述棋盘格为lens标定所用棋盘格；s22、将所述灰度图进行亮度二值化，并剔除所述灰度图中棋盘格的黑色部分；s23、获取所述灰度图中棋盘格的白色部分的fppn值；s24、将所述灰度图按照预定块尺寸划分为多个块，并获取每个块的特征值；以及s25、根据所述灰度图中每个像素点的坐标判定对应像素点所处的块，进而根据所处的块的特征值获取对应像素点的校正值，以完成tof相机的fppn标定。
[0030]
关于步骤s21、获取tof相机视场中作为标定板的棋盘格的灰度图，其中，所述棋盘
格为lens标定所用棋盘格。具体来说，通过所述tof相机对作为标定板的lens标定所用棋盘格进行拍摄，获取tof相机视场(fov)中棋盘格的灰度图。tof相机会输出灰度图(即亮度图)和深度图，本发明主要针对灰度图处理。
[0031]
如图3所示，假设tof相机31视场在棋盘格32中对应的区域为视场区域fov1，通过tof相机31对棋盘格32进行拍摄，获取棋盘格32的视场区域fov1的灰度图。所述标定板的标定平面为所述棋盘格朝向所述tof相机的镜头的表面，即所述棋盘格中用于反射所述tof相机发射的光线的平面。在本实施例中，作为标定板的棋盘格的安装存在倾斜角θ(即棋盘格与tof相机视场所对应的竖直平面之间的夹角θ小于或等于90度)。通过采用lens标定所使用的黑白相间的棋盘格作为标定板进行fppn标定，无需再额外提供一块覆盖整个视场的白板来进行fppn标定，使得在产线上标定时无需切换不同的标定板图案，节省了标定时间和成本。
[0032]
关于步骤s22、将所述灰度图进行亮度二值化，并剔除所述灰度图中棋盘格的黑色部分。具体来说，通过将所述灰度图进行亮度二值化，避免将光强度误差(intensity error)引入到fppn的求解中，提高标定准确度。
[0033]
在一些实施例中，可以通过中值滤波方式将所述灰度图进行亮度二值化，从而避免了将光强度误差引入到fppn的求解中，提高标定准确度。灰度图的中值滤波是通过对灰度图中某一像素点的邻域内采样数据进行排序并取得中值，并用中值代替该像素点的亮度值的一种处理手段，让周围的像素值接近真实值，从而消除孤立的噪声点，可有效消除灰度图中少量离散的噪声。假设灰度图中的某一行亮度值如下:a1、a2、a3、a4、a5、a6、a7、a8、a9、a10、a11、a12；对该行按照1
×
5窗口进行中值滤波可以理解为：以当前像元为中心取前后相邻的5个像元灰度值进行排序(前后没有像元视为其亮度值为0)，取中值作为当前像元亮度值；例如，a3像元中值滤波的结果为a1、a2、a3、a4、a5排序后的中值。
[0034]
在一些实施例中，步骤s22进一步包括：通过以下公式将所述灰度图进行亮度二值化，获取各像素点的二值化亮度：以及，将二值化亮度为0的像素点作为所述黑色部分，并从所述灰度图中剔除。将所述灰度图进行亮度二值化以获取各像素点的二值化亮度的公式为：
[0035][0036]
其中，binary_amp为像素点的二值化亮度，amplitude为该像素点的灰度值(即亮度值)，medium为该像素点所在行的亮度中值。其中，所述棋盘格的安装可以存在一定倾斜角，沿所述棋盘格的安装倾斜角的每一行存在一相应的亮度中值，通过将该行中的像素点的灰度值与该行的亮度中值比较，得到该像素点的二值化后的灰度值。
[0037]
关于步骤s23、获取所述灰度图中棋盘格的白色部分的fppn值。具体来说，通过亮度二值化将所述灰度图中棋盘格的黑色部分剔除后，即可对剩下的白色部分进行fppn值计算。
[0038]
在一些实施例中，通过如下公式计算所述灰度图中棋盘格的白色部分的fppn值：
[0039][0040]
其中，为测量相位值，为真实相位值，wiggling是相应像素点对应的摆动误
差，binary_amp为相应像素点的二值化亮度。
[0041]
关于步骤s24、将所述灰度图按照预定块尺寸划分为多个块，并获取每个块的特征值。具体来说，由于亮度二值化后将黑色部分进行剔除，画面中黑色部分信息缺失造成fppn信息不全。因此，通过将整幅画面按照预定块尺寸(block_size)进行划分，从而将灰度图划分为多个块(block)，并求取每个块的特征值，以对所述灰度图的画面信息进行复原。
[0042]
在一些实施例中，每个块的特征值通过对该块每个像素点进行高斯函数加权计算获取。
[0043]
如图4中(a)部分所示，可以按照预定块尺寸将所述灰度图41划分成n*m个块；如图4中(b)部分所示，所述预定块尺寸为每个块411中包含k*l个像素点(例如，k*l＝12*12)。进而通过如下公式，对每个块中的所有像素点进行高斯函数加权计算，获取每个块的特征值：
[0044][0045]
其中，block为相应的块，block_size为预定块尺寸，0《i≤k，0《j≤l。
[0046]
单个像素点由于受各种因素的影响会存在一定的噪声(noise)，而本发明通过将整个画面按照一定块尺寸进行划分，单个块的特征值通过对该块中的所有像素点进行高斯函数加权计算获取，避免了单个像素点噪声的影响，提高标定准确度。
[0047]
关于步骤s25、根据所述灰度图中每个像素点的坐标判定对应像素点所处的块，进而根据所处的块的特征值获取对应像素点的校正值，以完成tof相机的fppn标定。具体来说，当整个块中fppn信息均已计算出来，则在校正的过程中即可以根据每个像素点的坐标判断该像素点所处块中，进而根据所处的块的特征值获取对应像素点的校正值。
[0048]
在一些实施例中，在执行步骤s25之前，所述方法进一步包括：根据信息缺失块对应的周边块的特征值，对所述信息缺失块进行线性插值补偿，其中，所述信息缺失块为所述灰度图中全为黑色的块。由于黑白位置的不确定性，可能存在部分块中全为黑色，这样会造成该块的信息缺失。所以，本实施例中，根据线性插值原理，将信息缺失块根据周边块进行插值补偿，从而使得灰度图中所有块的fppn值均能被计算出来。
[0049]
如图5所示，标号51示意待求特征值的信息缺失块，其周边块的坐标分别为(x1，y1)、(x1，y2)、(x2，y1)以及(x2，y2)；当周边块的特征值已知时，根据线性插值原理，将信息缺失块根据周边块进行插值补偿，从而得到信息缺失块的特征值。
[0050]
基于同一发明构思，本发明还提供了一种tof相机的fppn标定装置。所提供的tof相机的fppn标定装置可以采用如图2所示的tof相机的fppn标定方法对tof相机进行fppn标定。
[0051]
请参阅图6，其为本发明一实施例提供的tof相机的fppn标定装置的结构框图。如图6所示，所述tof相机的fppn标定装置包括：第一获取模块61、处理模块62、第二获取模块63、第三获取模块64以及第四获取模块65。
[0052]
具体来说，所述第一获取模块61用于获取tof相机视场中作为标定板的棋盘格的灰度图，其中，所述棋盘格为lens标定所用棋盘格。所述处理模块62用于将所述灰度图进行亮度二值化，并剔除所述灰度图中棋盘格的黑色部分。所述第二获取模块63用于获取所述灰度图中棋盘格的白色部分的fppn值。所述第三获取模块64用于将所述灰度图按照预定块尺寸划分为多个块，并获取每个块的特征值。所述第四获取模块65用于根据所述灰度图中每个像素点的坐标判定对应像素点所处的块，进而根据所处的块的特征值获取对应像素点
的校正值，以完成tof相机的fppn标定。各模块的具体工作方式可参考图2所示的tof相机的fppn标定方法中相应步骤的描述，此处不再赘述。
[0053]
在一些实施例中，所述tof相机的fppn标定装置还包括：补偿模块66(虚线示意其为优选组件)，用于根据信息缺失块对应的周边块的特征值，对所述信息缺失块进行线性插值补偿，其中，所述信息缺失块为所述灰度图中全为黑色的块。于黑白位置的不确定性，可能存在部分块中全为黑色，这样会造成该块的信息缺失。所以，本实施例中，根据线性插值原理，将信息缺失块根据周边块进行插值补偿，从而使得灰度图中所有块的fppn值均能被计算出来。
[0054]
本发明提供的tof相机的fppn标定方法及装置，通过以lens标定所用棋盘格为标定板进行fppn标定，节约标定时间以及标定成本；通过以中值滤波将整幅画面亮度进行二值化，避免将光强度误差引入到fppn的求解中，提高标定准确度；通过将整个画面按照一定块尺寸进行划分，单个块的特征值通过对该块中的所有像素点进行高斯函数加权计算获取，避免了单个像素点噪声的影响，提高标定准确度。
[0055]
基于同一发明构思，本发明还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机可执行程序；所述处理器执行所述计算机可执行程序时实现如图2所示的tof相机的fppn标定方法的步骤。
[0056]
在本发明构思的领域中是可以根据执行所描述的一个或多个功能的模块来描述和说明实施例。这些模块(本文也可以称为单元等)可以由模拟和/或数字电路物理地实现，例如逻辑门、集成电路、微处理器、微控制器、存储器电路、无源电子元件、有源电子元件、光学组件、硬连线电路等，并且可以可选地由固件和/或软件来驱动。电路例如可以在一个或更多个半导体芯片中实施。构成模块的电路可以由专用硬件实现，或者由处理器(例如，一个或更多个编程的微处理器和相关电路)实现，或者由执行模块的一些功能的专用硬件和执行模块的其它功能的处理器的组合来实现。在不脱离本发明构思的范围的情况下，可以将实施例的每个模块物理地分成两个或更多个交互且分立的模块。同样地，在不脱离本发明构思的范围的情况下，可以将实施例的模块物理地组合成更复杂的模块。
[0057]
通常，可以至少部分地从上下文中的用法理解术语。例如，在本文中所使用的术语“一个或多个”至少部分取决于上下文，可以用于以单数意义描述特征、结构或特性，或可以用于以复数意义描述特征、结构或特征的组合。另外，术语“基于”可以被理解为不一定旨在表达一组排他性的因素，而是可以替代地，同样至少部分地取决于上下文，允许存在不一定明确描述的其它因素。
[0058]
需要说明的是，本发明的文件中涉及的术语“包括”和“具有”以及它们的变形，意图在于覆盖不排他的包含。术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序，除非上下文有明确指示，应该理解这样使用的数据在适当情况下可以互换。另外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。此外，在以上说明中，省略了对公知组件和技术的描述，以避免不必要地混淆本发明的概念。上述各个实施例中，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同/相似的部分互相参见即可。
[0059]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为
本发明的保护范围。