iToF相机的线性度优化方法及装置、电子设备与流程

itof相机的线性度优化方法及装置、电子设备
技术领域
1.本技术涉及tof测距技术领域，尤其涉及一种itof相机的线性度优化方法及装置、电子设备。


背景技术：

2.双目测距、结构光与飞行时间(time-of-flight，简称tof)是当今三大主流3d成像技术，其中，tof由于其原理简单、结构简单稳定、测量距离远等优势，已逐渐应用于手势识别、3d建模、无人驾驶及机器视觉等领域。tof技术的工作原理是：利用外部光源(vcsel或led等)发射连续调制的发射光，发射光照射到待测物体表面后反射回来，反射光被itof相机的图像传感器(sensor)捕获，通过计算发射光与反射光时间差或相位差得到物体距离相机的深度/距离。其中，通过时间差计算距离的方法称为脉冲法(pulsed tof)，通过相位差计算距离的方法称为连续波法(continuous-wave tof)。
3.间接飞行时间(indirect time-of-flight，简称itof)是指通过测量相位偏移来间接测量光的飞行时间。如图1所示，itof相机通过调制模块(modulation)11控制发光模块12主动发射可调制的光信号；发射光发射到待测目标物19表面，经目标物19反射后形成的反射光信号被图像传感器的感光像素阵列单元13采样；进而根据发射光和反射光的相移(phase shift)来计算目标物的距离。发光模块12，例如vcsel、红外发射器(ir emitter)或led等，通常由传感器产生可调制的方波来驱动，但由于随着调制频率的提高，光波形也渐渐趋近于弦波，方波中的高次谐波会给测量带来周期性误差，如图2所示。由于相关波形存在混叠谐波导致在测量过程存在摆动误差(wiggling error)，如图3所示。
4.直接通过标定建立非线性误差查找表，从原理上可以较好的校正摆动误差；但由于需要多个距离的测量且每个测量需要多次平均才能很好的去除随机噪声，会带来标定成本的增加。通过多次测量(大于四相位)的方式可以补偿由于多次谐波造成的非线性误差；但由于itof相机通常是全局曝光，若通过多次测量得到一张深度图，相当于将一张深度图从时间上进行拉长，这对于一些运动的物体会造成拖影的产生；另外由于一张深度图所需测量数据的增加，也加大了系统的负载，导致系统的动态功耗增加。
5.因此，如何降低itof相机的标定成本、提高测量的线性度，是当前亟待解决的技术问题。


技术实现要素：

6.本技术的目的在于提供一种itof相机的线性度优化方法及装置、电子设备，用于解决现有的itof相机标定成本较高、系统的动态功耗较高的问题，以在节省itof相机标定成本的同时，快速选择合适的占空比、提高测量的线性度。
7.为实现上述目的，本技术提供了一种itof相机的线性度优化方法，包括如下步骤：通过itof相机的图像传感器调节发射光波形的占空比；在当前占空比下以预设步长调节延时值，并在每次调整延时值后获取相应虚拟真实距离对应的虚拟真实相位以及目标测量相
位；在完成预设周期的延时值调整后，根据获取的所有虚拟真实相位与对应的目标测量相位，获取当前占空比的线性参数；在当前占空比小于预设阈值时，获取所有线性参数中的最优值对应的占空比作为最优占空比；以及以所述最优占空比作为所述图像传感器的设置参数，完成itof相机的非线性标定、实现itof相机的线性度优化。
8.在一些实施例中，所述方法进一步包括：选取多个图像传感器，并获取每一所述图像传感器的最优占空比；根据所有所述最优占空比获取目标占空比，其中，所述目标占空比为所有所述最优占空比的中值或平均值；以及将所述目标占空比回填到所有所述图像传感器的设定中。
9.为实现上述目的，本技术还提供了一种itof相机的线性度优化装置，包括：调节模块，用于通过图像传感器调节发射光波形的占空比；第一获取模块，用于在当前占空比下以预设步长调节延时值，并在每次调整延时值后获取相应虚拟真实距离对应的虚拟真实相位以及目标测量相位；第二获取模块，用于在完成预设周期的延时值调整后，根据获取的所有虚拟真实相位与对应的目标测量相位，获取当前占空比的线性参数；第三获取模块，用于在当前占空比小于预设阈值时，获取所有线性参数中的最优值对应的占空比作为最优占空比；以及优化模块，用于以所述最优占空比作为所述图像传感器的设置参数，完成itof相机的非线性标定、实现itof相机的线性度优化。
10.在一些实施例中，所述第二获取模块进一步用于求取每次调整延时值后获取的虚拟真实相位与目标测量相位的差值绝对值，以及求取所述预设周期内所有所述差值绝对值的和值，以所述和值作为当前占空比的线性参数；所述第三获取模块进一步用于获取所有占空比对应的和值中的最小值作为所述最优值。
11.为实现上述目的，本技术还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机可执行程序，所述处理器执行所述计算机可执行程序时实现如本技术所述的itof相机的线性度优化方法的步骤。
12.本技术提供的itof相机的线性度优化方法及装置，本技术通过图像传感器调节光波形的占空比，可以抑制混叠谐波分量以提高图像传感器测量的线性度，降低系统的非线性，节省了在计算相位的时候需要wiggling校正的标定时间，节省标定成本。进而通过延时单元添加延时以模拟真实距离移动，并通过约束调节寻找最优占空比，以最大化降低非线性度，更好的提高图像传感器测量的线性度。通过在同一批次图像传感器模组随机选取几个模组同时进行占空比最优化查找，根据所有图像传感器模组的最优占空比的中值或平均值确定最优解，回填到该批次的所有图像传感器模组的设定中，即可完成该批次的所有图像传感器模组的非线性标定，有利于提高标定准确度，且节省了同批次图像传感器模组的标定时间。
附图说明
13.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍。显而易见地，下面描述中的附图仅是本技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
14.图1为itof成像原理示意图；
15.图2为高次谐波造成的周期性误差；
16.图3为测量过程存在的摆动误差；
17.图4为本技术一实施例提供的itof相机的线性度优化方法步骤示意图；
18.图5为本技术一实施例提供的不同占空比下相位分布图；
19.图6为调制和解调之间的偏差示意图；
20.图7为通过延时电路模拟虚拟标定板的示意图；
21.图8为本技术一实施例提供的itof相机的线性度优化方法流程图；
22.图9为本技术一实施例提供的itof相机的线性度优化装置的结构框图。
具体实施方式
23.下面将结合附图，对本技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
24.本技术一实施例提供了一种itof相机的线性度优化方法。
25.请一并参阅图4～图7，其中，图4为本技术一实施例提供的itof相机的线性度优化方法步骤示意图，图5为本技术一实施例提供的不同占空比下相位分布图，图6为调制和解调之间的偏差示意图，图7为通过延时电路模拟虚拟标定板的示意图。
26.如图4所示，本实施例所述itof相机的线性度优化方法，包括如下步骤：s1、通过itof相机的图像传感器调节发射光波形的占空比；s2、在当前占空比下以预设步长调节延时值，并在每次调整延时值后获取相应虚拟真实距离对应的虚拟真实相位以及目标测量相位；s3、在完成预设周期的延时值调整后，根据获取的所有虚拟真实相位与对应的目标测量相位，获取当前占空比的线性参数；s4、在当前占空比小于预设阈值时，获取所有线性参数中的最优值对应的占空比作为最优占空比；以及s5、以所述最优占空比作为所述图像传感器的设置参数，完成itof相机的非线性标定、实现itof相机的线性度优化。
27.关于步骤s1、通过itof相机的图像传感器调节发射光波形的占空比。具体来说，发光模块通常是由itof相机的图像传感器产生方波来驱动的，方波中的高次谐波也是造成测量非线性的主要因素，非线性呈现周期性变化(如图2所示)。随着调制频率的提高光波形也渐渐趋近于弦波，光波形影响计算相位的线性度。因此，通过图像传感器调节光波形的占空比(duty cycle)，可以抑制混叠谐波分量以提高图像传感器测量的线性度，降低系统的非线性，节省了在计算相位的时候需要wiggling校正的标定时间，节省标定成本。进而通过延时单元添加延时以模拟真实距离移动，并通过约束调节寻找最优占空比，以最大化降低非线性度，更好的提高图像传感器测量的线性度。
28.调制波形趋近于弦波，根据弦波计算相位可以采用下述计算公式：
29.phase＝arctan(i/q)；
30.其中，i＝(q
3-q4)、q＝(q
1-q2)；q1为相位延时(phase delay)为0
°
时的测量相位，q2为相位延时为90
°
时的测量相位，q3为相位延时为180
°
时的测量相位，q4为相位延时为270
°
时的测量相位。i和q为正交向量，理想情况下i和q分布在一个圆上。光波形影响计算相位的线性度，因此，通过图像传感器调节光波形的占空比，可以降低系统的非线性。通过调节占
空比，随着占空比的减少，i和q分布更趋近一个圆，如图5所示。
31.根据相位获取深度可以采用以下计算公式：
32.d＝c*(phase/(2*f*phase_max)) d_max*n；
33.其中，c为光速，phase为测量相位，phase_max为一个相位周期(例如2π)，f为发射光的调制频率，d_max＝(c/2)*(1/f)，n为预设帧数且n∈[0，1
……
]。
[0034]
关于步骤s2、在当前占空比下以预设步长调节延时值，并在每次调整延时值后获取相应虚拟真实距离对应的虚拟真实相位以及目标测量相位。具体来说，所述预设步长可以为π/4、π/8、π/16的任意其中之一。为提高标定精度，预设步长也可以为更小值；可以根据标定精度与标定时间的综合考量来设定延时值调整步长。
[0035]
由于电路以及制造工艺等原因，理想情况下调制和解调存在一定固定偏差(skew)，如图6所示。通过在调制或解调路径添加延时单元，设定一定延时参数可以修补这些固定偏差。于是，通过设置延时值来模拟真实距离，即产生虚拟真实距离，如图7所示。进而可以获取相应虚拟真实距离对应的虚拟真实相位以及目标测量相位。
[0036]
在一些实施例中，步骤s2所述的在每次调整延时值后获取相应虚拟真实距离对应的虚拟真实相位以及目标测量相位的步骤进一步包括：1)在调制或解调路径添加延时单元，并通过设置延时值以模拟真实距离；2)在每次调整延时值后形成一当前虚拟真实距离，其中，当前虚拟真实距离对应一虚拟真实相位；以及3)获取预设帧深度图像、并对所有所述深度图像的像素中心点的测量相位进行时域平均获取相应的平均测量相位，以作为当前虚拟真实距离对应的目标测量相位。
[0037]
对图像传感器获取的深度图像中每个像素点的测量相位包含一定的随机噪声，由于每个像素点的传递函数是一致的，满足经过预设次数的时域平均收敛到一个固定值。因此，通过对所有所述深度图像的像素中心点的测量相位进行时域平均，以去除随机噪声。其中，可以根据标定精度需求设定所需抓取的深度图像的帧数进行时域平均。
[0038]
例如，通过所述图像传感器抓取m帧深度图像，对m帧深度图像的像素中心点的测量相位进行时域平均后，随机噪声收敛到一个固定值(例如0)。具体的，所获取的平均测量相位满足以下公式：
[0039]
phase i
＝phase εm；
[0040]
其中，phase i
为像素中心点的第i次测量相位，phase为该像素点去除随机噪声后的理论测量值，εm为m次时域平均后所述随机噪声收敛到的固定值。优选地，基于噪声的正态分布形态，εm＝0。
[0041]
关于步骤s3、在完成预设周期的延时值调整后，根据获取的所有虚拟真实相位与对应的目标测量相位，获取当前占空比的线性参数。具体来说，所述预设周期为2π(即一个完整周期)。在当前占空比下，通过调节延时值，获取一个完整周期的虚拟真实相位与对应的目标测量相位，即可获取当前占空比的线性参数。
[0042]
在一些实施例中，步骤s3所述的根据获取的所有虚拟真实相位与对应的目标测量相位，获取当前占空比的线性参数的步骤进一步包括：1)求取每次调整延时值后获取的虚拟真实相位与目标测量相位的差值绝对值；以及2)求取所述预设周期内所有所述差值绝对值的和值，以所述和值作为当前占空比的线性参数。
[0043]
在当前占空比下完成预设周期的延时值调整后，获得一组测量相位measure_avg
[i]与虚拟真实距离下的虚拟真实相位real[i]。通过以下公式即可获取当前占空比的线性参数duty_cycle：
[0044]
duty_cycle＝sum(abs(measure_avg[i]-real[i]))。
[0045]
关于步骤s4、在当前占空比小于预设阈值时，获取所有线性参数中的最优值对应的占空比作为最优占空比。具体来说，系统预设有占空比阈值，也即系统可设定的最小占空比。通过获取在调整至预设阈值前的所有线性参数，并约束最优解，可以获取系统的最优占空比。
[0046]
在一些实施例中，获取最优占空比的约束条件为每一占空比下虚拟真实相位与目标测量相位的差值绝对值的和值。具体的，可以通过以下公式获取占空比的最优解：
[0047]
duty-cycle
最优
＝arg_min(sum(abs(measure_avg[i]-real[i])))。
[0048]
即，当某一占空比下目标测量相位和虚拟真实相位之间偏差绝对值最小，该占空比即为最优占空比。
[0049]
关于步骤s5、以所述最优占空比作为所述图像传感器的设置参数，完成itof相机的非线性标定、实现itof相机的线性度优化。具体来说，在获取最优占空比之后，将图像传感器的占空比参数设置为该最优占空比，可以最大化降低非线性度，提高图像传感器测量的线性度。本实施例以调节发射光波形的占空比替代传统的wiggling标定，节省了在计算相位的时候需要wiggling校正的标定时间。
[0050]
在一些实施例中，所述方法进一步包括：1)选取多个图像传感器，并获取每一所述图像传感器的最优占空比；2)根据所有所述最优占空比获取目标占空比，其中，所述目标占空比为所有所述最优占空比的中值或平均值；以及3)将所述目标占空比回填到所有所述图像传感器的设定中。具体来说，考虑单颗图像传感器模组存在随机误差因素的影响，因此，选取多个图像传感器模组同时进行占空比最优化查找，根据所有图像传感器模组的最优占空比的中值或平均值确定最优解，完成非线性标定，有利于提高标定准确度。
[0051]
接上述实施例，所述的选取多个图像传感器的步骤进一步包括：从同一批次的图像传感器中随机选取多个图像传感器；所述的将所述目标占空比回填到所有所述图像传感器的设定中的步骤进一步包括：将所述目标占空比回填到该批次的所有图像传感器的设定中。具体来说，在同一批次图像传感器模组随机选取几个模组同时进行占空比最优化查找，根据所有图像传感器模组的最优占空比的中值或平均值确定最优解，回填到该批次的所有图像传感器模组的设定中，即可完成该批次的所有图像传感器模组的非线性标定，节省了同批次图像传感器模组的标定时间。
[0052]
以下结合图8对本技术itof相机的线性度优化方法的流程做进一步解释说明。本实施例具体的流程为：1)同一批次模组选取n个图像传感器模组；2)调节占空比；3)以π/4为步长调节延时值；4)抓取m帧深度图像，对所有所述深度图像的像素中心点的测量相位进行时域平均获取相应的平均测量相位，以作为当前虚拟真实距离对应的目标测量相位，即获取当前延时值下中心点对应的测量相位；5)获取不同延时值下中心点对应的测量相位，即获取数组measure_avg[i]；6)根据延时值对应的虚拟真实距离获取虚拟真实相位，即获取real[i]；7)判断当前延时值是否小于或等于预设周期(例如2π)，即判断delay《＝2π；若delay《＝2π则返回继续进行延时值增加以及后续操作，若delay》2π则当前占空比下的延时值调整完成；8)以sum(abs(measure_avg[i])-real[i]))作为约束条件，所有占空比下的最
小占空比即为所求。
[0053]
根据以上内容可以看出，本技术通过图像传感器调节光波形的占空比，可以降低系统的非线性，可以抑制混叠谐波分量以提高图像传感器测量的线性度，降低系统的非线性，节省了在计算相位的时候需要wiggling校正的标定时间，节省标定成本。进而通过延时单元添加延时以模拟真实距离移动，并通过约束调节寻找最优占空比，以最大化降低非线性度，更好的提高图像传感器测量的线性度。通过在同一批次图像传感器模组随机选取几个模组同时进行占空比最优化查找，根据所有图像传感器模组的最优占空比的中值或平均值确定最优解，回填到该批次的所有图像传感器模组的设定中，即可完成该批次的所有图像传感器模组的非线性标定，有利于提高标定准确度，且节省了同批次图像传感器模组的标定时间。
[0054]
基于同一发明构思，本技术还提供了一种itof相机的线性度优化装置。所提供的itof相机的线性度优化装置可以采用如图4所示的itof相机的线性度优化方法完成对itof相机的线性度优化。
[0055]
请参阅图9，其为本技术一实施例提供的itof相机的线性度优化装置的结构框图。如图9所示，所述itof相机的线性度优化装置包括：调节模块101、第一获取模块102、第二获取模块103、第三获取模块104以及优化模块105。
[0056]
具体来说，所述调节模块101用于通过图像传感器调节发射光波形的占空比(duty cycle)。所述第一获取模块102用于在当前占空比下以预设步长调节延时值，并在每次调整延时值后获取相应虚拟真实距离对应的虚拟真实相位以及目标测量相位。所述第二获取模块103用于在完成预设周期的延时值调整后，根据获取的所有虚拟真实相位与对应的目标测量相位，获取当前占空比的线性参数。所述第三获取模块104用于在当前占空比小于预设阈值时，获取所有线性参数中的最优值对应的占空比作为最优占空比。所述优化模块105用于以所述最优占空比作为所述图像传感器的设置参数，完成itof相机的非线性标定、实现itof相机的线性度优化。
[0057]
在一些实施例中，所述第二获取模块103进一步用于求取每次调整延时值后获取的虚拟真实相位与目标测量相位的差值绝对值，以及求取所述预设周期内所有所述差值绝对值的和值，以所述和值作为当前占空比的线性参数。相应的，所述第三获取模块104进一步用于获取所有占空比对应的和值中的最小值作为所述最优值。
[0058]
基于同一发明构思，本技术还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机可执行程序；所述处理器执行所述计算机可执行程序时实现如图4所示的itof相机的线性度优化方法的步骤。
[0059]
在本技术构思的领域中是可以根据执行所描述的一个或多个功能的模块来描述和说明实施例。这些模块(本文也可以称为单元等)可以由模拟和/或数字电路物理地实现，例如逻辑门、集成电路、微处理器、微控制器、存储器电路、无源电子元件、有源电子元件、光学组件、硬连线电路等，并且可以可选地由固件和/或软件来驱动。电路例如可以在一个或更多个半导体芯片中实施。构成模块的电路可以由专用硬件实现，或者由处理器(例如，一个或更多个编程的微处理器和相关电路)实现，或者由执行模块的一些功能的专用硬件和执行模块的其它功能的处理器的组合来实现。在不脱离本技术构思的范围的情况下，可以将实施例的每个模块物理地分成两个或更多个交互且分立的模块。同样地，在不脱离本申
请构思的范围的情况下，可以将实施例的模块物理地组合成更复杂的模块。
[0060]
通常，可以至少部分地从上下文中的用法理解术语。例如，在本文中所使用的术语“一个或多个”至少部分取决于上下文，可以用于以单数意义描述特征、结构或特性，或可以用于以复数意义描述特征、结构或特征的组合。另外，术语“基于”可以被理解为不一定旨在表达一组排他性的因素，而是可以替代地，同样至少部分地取决于上下文，允许存在不一定明确描述的其它因素。
[0061]
需要说明的是，本技术的文件中涉及的术语“包括”和“具有”以及它们的变形，意图在于覆盖不排他的包含。术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序，除非上下文有明确指示，应该理解这样使用的数据在适当情况下可以互换。另外，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。此外，在以上说明中，省略了对公知组件和技术的描述，以避免不必要地混淆本技术的概念。上述各个实施例中，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同/相似的部分互相参见即可。
[0062]
以上所述仅是本技术的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。