iToF深度计算装置、方法、iToF相机模组和系统与流程

itof深度计算装置、方法、itof相机模组和系统
技术领域
1.本技术涉及芯片架构设计领域，尤其涉及一种itof深度计算装置、方法、itof相机模组和系统。


背景技术：

2.itof的全称是indirect time-of-flight，是间接光飞行时间的意思。所谓间接，就是指itof是通过测量相位偏移来间接测量光的飞行时间，而不是直接测量光飞行时间。
3.itof向场景中发射调制后的红外光信号，再由传感器接收场景中待测物体反射回来的光信号，根据曝光时间内的累计电荷计算发射信号和接收信号之间的相位差，从而获取目标物体的深度。
4.当前市场中itof相机芯片种类很多，其中：
5.1.按照频率个数分类：单频、双频；
6.2.按照曝光个数分类：单曝光、双曝光；
7.3.按照分辨率分类：vga，qvga，720p、其他格式等；
8.4.按照应用场景分类：线阵、面阵；
9.5.按照mipi(mobile industry processor interface，移动行业处理器接口)格式类型分类：raw8、raw12、raw16等；
10.用户在基于itof相机开发时会面临几个问题：
11.1、用户做二次应用开发时，需要根据不同的相机模组做单独的硬件适配设计，增加了开发硬件成本，增加了开发周期，降低开发效率；目前的相机模组只输出相位数据，需要用户进一步解析、再经过标定、计算、滤波等操作输出最终的深度信息或3d点云数据；而配备了itof芯片的模组：直接就输出客户需要的深度等信息值，这对缺乏光学背景知识的用户来说，有很大的开发难度；
12.2、用户在应用开发时，需要掌握不同itof的整套深度计算流程，提高了设计难度，提高了设计进入门槛。


技术实现要素：

13.针对上述现有技术中存在的问题，本技术提出一种新的itof深度计算装置、方法、itof相机模组和系统，能够兼容多种不同itof相机模组，输出的结果不用用户继续计算或调整，并且能够实现数据的并行处理。
14.根据本技术的第一个方面，提供了一种itof深度计算装置，包括：
15.帧解析模块，用于将光信号信息解析为解析后的信息，所述解析后的信息包括四相位延时数据，所述帧解析模块根据所述四相位延时数据计算相位差值；
16.相位计算模块，根据所述相位差值计算相位值；
17.相位校正模块，对所述相位值进行校正，得到校正后的相位值；
18.深度计算模块，对所述校正后的相位值进行深度计算，得到深度值；
19.深度滤波模块，对所述深度值进行滤波，得到滤波后的深度值。
20.根据本技术的第二个方面，提供了一种itof深度计算方法，包括：
21.通过帧解析模块将所述光信号信息解析为解析后的信息，所述解析后的信息包括四相位延时数据，所述帧解析模块根据所述四相位延时数据计算相位差值；
22.通过相位计算模块根据所述相位差值计算相位值；
23.通过相位校正模块对所述相位值进行校正，得到校正后的相位值；
24.通过深度计算模块对所述校正后的相位值进行深度计算，得到深度值；以及
25.通过深度滤波模块对所述深度值进行滤波，得到滤波后的深度值。
26.根据本技术的第三个方面，提供了一种itof相机模组，包括如第一方面所述的itof深度计算装置，其中：
27.所述itof深度计算装置对光信号信息进行处理得到深度值信息和灰度值信息或者点云值信息和灰度值信息。
28.根据本技术的第四个方面，提供了一种itof深度计算系统，包括itof相机模组、ap芯片和如第一方面所述的itof深度计算装置，其中：
29.所述itof相机模组用于输出光信号信息，所述光信号信息由所述itof深度计算装置处理得到深度值信息和灰度值信息或者点云值信息和灰度值信息，
30.所述ap芯片用于接收所述深度值和所述灰度值信息或者所述点云值信息和所述灰度值信息。
31.根据本技术的第五个方面，提供了一种itof深度计算系统，包括如第三方面所述的itof相机模组和ap芯片，其中：
32.所述itof相机模组中的所述itof深度计算装置对光信号信息进行处理得到深度值信息和灰度值信息或者点云值信息和灰度值信息，
33.所述ap芯片用于接收所述深度值和所述灰度值信息或者所述点云值信息和所述灰度值信息。
34.本技术提供的itof深度计算装置、方法、itof相机模组和系统，能够根据不同类型的相机模组，配置和调整itof深度计算装置中各个模块的配置参数，从而达到兼容不同类型的相机模组的目的；并且，本技术的方案输出的结果为最终的深度值和灰度值或者最终的点云值和灰度值，用户不需要继续计算或调整；另外，本技术的itof深度计算装置的硬件实现方式，能够实现数据的并行处理，从而提升处理速度。
附图说明
35.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图，而并不超出本技术要求保护的范围。
36.图1是根据本技术实施例的itof深度计算系统的连接示意图。
37.图2是根据本技术实施例的itof深度计算装置的第一结构示意图。
38.图3是根据本技术实施例的itof深度计算装置的第二结构示意图。
39.图4是根据本技术实施例的itof深度计算装置的第三结构示意图。
40.图5是根据本技术实施例的itof深度计算装置的第四结构示意图。
41.图6是根据本技术实施例的itof深度计算装置的第五结构示意图。
42.图7是根据本技术实施例的itof深度计算方法的流程图。
43.图8是根据本技术实施例的另一种itof深度计算系统的连接示意图。
具体实施方式
44.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
45.在本技术中，itof深度计算装置的控制模块根据不同类型的相机模组，配置和调整itof深度计算装置中各个模块的配置参数，使得itof深度计算装置中各个模块能够正确处理不同类型的相机模组输入的数据，最后输出最终的深度值和灰度值或者最终的点云值和灰度值。从而，本技术的itof深度计算装置能够兼容不同类型的相机模组，所输出的结果无需用户进一步的计算或调整，用户不需要掌握不同itof的整套深度计算流程，降低了设计难度，降低了设计进入门槛；另外，本技术的itof深度计算装置的硬件实现方式，能够实现数据的并行处理，从而提升处理速度。
46.图1是根据本技术实施例的itof深度计算系统的连接示意图。如图1所示，itof深度计算系统包括itof相机模组、itof深度计算装置和ap芯片。itof深度计算装置的输入接口连接itof相机模组，输出接口连接ap(application processor，应用处理器)芯片。相机模组将光信号信息输入itof深度计算装置，itof深度计算装置对光信号信息进行处理后，得到最终的深度值和灰度值或者最终的点云值和灰度值，然后将最终的深度值和灰度值或者最终的点云值和灰度值输出到ap芯片。对于图1所示的itof深度计算装置的具体结构组成，在图2至图6中有相应介绍。
47.图2是根据本技术实施例的itof深度计算装置的第一结构示意图。如图2所示，itof深度计算装置包括接口输入模块、帧解析模块、灰度计算模块、相位计算模块、相位校正模块、深度计算模块、深度滤波模块、接口输出模块、控制模块和缓存模块。
48.在图2中，接口输入模块用于接收来自itof相机模组的光信号信息，并将所述光信号信息发送至所述帧解析模块。其中，接口输入模块包括mipi接口输入模块。接口输入模块可连接相机模组(例如，itof相机模组)，通过控制模块配置可修改接口输入模块的配置，以适应不同的相机模组的接口时序，接收相机模组转换后的光信号信息。
49.在图2中，帧解析模块用于将光信号信息解析为解析后的信息，其中，解析后的信息包括四相位延时数据，根据四相位延时数据计算相位差值。所述帧解析模块支持不同相机模组模式输入，支持单频单曝光、单频双曝光、双频单曝光、双频双曝光，以及环境光。对应帧格式包括4相位、8相位、9相位、16相位、17相位。四相位延时数据包括了单频(4相位)、双频(8相位)，双频双曝光(16相位)以及环境光(17相位)的数据。
50.另外，帧解析模块根据需求，可选择性的解析帧格式中的温度和曝光时间等信息。
51.在图2中，灰度计算模块根据相位差值计算灰度值。计算得到的灰度值会由接口输出模块输出。另外，灰度值可能会在深度计算模块和深度滤波等模块中用到。
52.在图2中，相位计算模块根据相位差值计算相位值。相位计算模块从缓存模块中读取四相位(0
°
、90
°
、180
°
、270
°
)延时数据，采用正交采样技术测量得到相位数据换算得到相位值。对该相位值转换可得到itof相机模组的光信号从发射到接收的时间。相位计算模块利用四相位数据正交特性进行相位计算，输出相位值。
53.在图2中，相位校正模块对相位值进行校正，得到校正后的相位值。由于元器件的限制，激光投射器产生的方波并不是理想的方波，经过调制后也得不到理想的正弦波，就会产生了非线性的误差，即测量得到的相位差，与理想的相位差之间有偏差，需要对该相位值进行补偿校正。
54.根据一个方面，itof相机模组中由于温度上升导致测量产生误差，影响的因素主要有两个：芯片和光源。对于芯片，存在由于温度上升导致测量出的深度值也变大的情况，这种和温度线性相关的现象称为温飘。对于光源，光源的发射波长随着温度的升高会发生红移现象，计算深度的波长和实际波长不一致，这就会导致检测的深度值出现误差。如果不进行温度校准，很容易想到的是，相同的距离，随着温度上升，itof相机模组反馈的深度却不断变大，这就可能让技术人员或用户产生误判，做出错误的决定。通过算法得到温度和相位补偿的一组最佳拟合参数，补偿到当前的相位值中，从而提高测试的精准度。根据温度信息能够得到相位补偿，然后根据相位补偿对相位值进行校正，其中，温度信息可以是帧解析模块解析的温度信息。
55.根据另一个方面，基于某一距离下的一张白墙，理论上能得到一个平整的深度平面，因为每个像素点拍摄的都是同一距离，但实际上却是得到一个稍微起伏的曲面。即每个像素点都有各自的距离偏差，因此，需要对每个像素点进行相位补偿校正，其中，补偿的值是基于itof相机模组的标定信息计算得到的。
56.相位校正模块可根据实际需要，选择开启一个或多个校正功能对相位差值进行相位校正，输出校正后的相位差值。
57.在图2中，深度计算模块对校正后的相位值进行深度计算，得到深度值。所述深度计算模块把校正后的相位值转换成实际的深度值，如果是双频，则需要计算两次。
58.深度计算模块通过调制频率得到一个周期的时间，再通过校正后的相位值在一个周期内的占比获得光信号飞行的时间，乘以光速，从而获得到一个深度距离值，输出深度值。
59.在图2中，深度滤波模块的作用是过滤不符合图像特征的像素点。深度滤波模块对深度计算模块计算得到的深度值进行滤波，得到滤波后的深度值。itof相机发射的光信号在被探测物体表面折射、反射后，或在其他物体表面二次反射后，通过镜头被传感器接，影响其中个别像素点的信息，需要过滤这些像素点。
60.对于深度滤波，具体做法可以是：用一个模板扫描图像图中的每一个像素，判断中心像素点与用模板确定的邻域内像素是否处于同一距离区间内。如果中心像素点距离偏差很大，则认为该点为飞点，需要滤除。
61.用户可根据自己的需求选择一个或多个深度滤波模块对深度值进行滤波，深度滤波模块根据控制模块配置的参数，过滤不需要或者影响有效数据的像素点，输出最终的深度值。
62.在图2中，接口输出模块输出滤波后的深度值和灰度值。其中，接口输出模块可以
是mipi接口输出模块。接口输出模块把最后的数据按照一定的数据格式组合输出，可连接ap芯片，方便用户做二次开发。ap芯片可以基于深度值和/或灰度值做二次开发。
63.在图2中，控制模块配置所述itof深度计算装置中各个模块的配置参数。其中，控制模块可以是cpu，包含spi(serial peripheral interface，串行外设接口)、i2c、axi(advanced extensible interface，高级可扩展接口)等形式的接口，负责对各个模块和itof相机模组的管理和配置，起到协调作用。
64.在图2中，缓存模块存储所述配置参数和所述itof深度计算装置中各个模块处理后的数据。
65.itof深度计算装置正常上电后，控制模块通过i2c初始化itof相机模组，配置曝光时间，采样频率，单双频、帧率、分辨率等参数。
66.itof相机模组会发射固定频率的正弦波窄带光信号，光信号碰到物体后经物体反射，被itof相机模组的感光传感器接收，并对接收到的光信号进行量化统计。itof相机模组按照每四分之一周期去采样一组数据并通过接口输出模块输出。
67.控制模块从缓存模块中读取校正参数、滤波参数、点云参数等参数或数据，并把读取的参数或数据配置到相关模块或缓存中。
68.控制模块配置接口输入模块的数据格式和分辨率大小。
69.接口输入模块按照配置要求去接收和解析数据，并把数据转成itof模块帧格式(dvp格式数据)输出给帧解析模块。
70.帧解析模块接收itof模块帧格式数据后，根据控制模块配置的参数信息，解析出实际需要的四相位数据或其他信息(如温度等)。在一个实施例中，可以把四相位数据暂存到缓存模块中，把温度信息传送给相位校正模块。
71.帧解析模块实际接收到的itof模块帧格式，具体如下表所示：
72.帧格式1：
[0073][0074]
帧格式2：
[0075][0076]
帧格式3：
[0077][0078]
帧格式4：
[0079][0080]
帧格式5：
[0081][0082]
对于itof相机模组的配置是已知的，可以通过控制模块配置相应的分辨率、相位帧数、类型(高低频、高低曝光)、roi(region of interest，感兴趣区域)分辨率等，帧解析模块便可以去对接收到的数据进行过滤解析以及分类，最后把信息保存到对应的缓存模块地址中，例如，低频信息放到地址0区域，高频信息放到地址1区域。
[0083]
由于不同的厂商的itof相机模组输出格式可能不一样，帧解析模块需要有一定的灵活性，比如可以根据配置从指定帧指定位置提取出辅助信息。同时，考虑到兼容性，帧解析模块也支持将一大帧数据写完后，产生一个中断，由控制模块从缓存模块数据中解析相关信息。
[0084]
3dcp支持itof相机模组按照四相位进行数据采集，四个相位的数据分别构成4个小帧(称作q0、q1、q2、q3)。每一个小帧中的某个像素点是由itof相机模组原始数据计算得来。以640x480分辨率为例，sony的itof相机模组每行会输出1280个原始数据，相邻两个原始数据经过计算(相加或相减)得到像素。
[0085]
图3是根据本技术实施例的itof深度计算装置的第二结构示意图。在图3中，itof深度计算装置除了图2所示的各个模块，还包括hdr(high-dynamic range，高动态范围)模块。hdr模块用于读取相位差值，根据曝光时间信息对每个像素的长短曝光特性进行hdr计算，得到hdr计算后的相位差值，所述相位计算模块根据所述hdr计算后的相位差值计算相位值。其中，曝光时间信息可以是帧解析模块解析的曝光时间信息。
[0086]
其中，hdr模块只在双曝光模式时生效。hdr模块从缓存模块中读取四相位数据，根据控制模块配置的参数，对每个像素的长短曝光特性进行hdr计算。在非双曝光模式下，hdr模块不对信息做处理。
[0087]
图4是根据本技术实施例的itof深度计算装置的第三结构示意图。在图4中，itof深度计算装置除了图3所示的各个模块，还包括双频融合模块。在双频模式下，深度计算模块计算的深度值包括第一深度值和第二深度值，所述双频融合模块用于对所述第一深度值和所述第二深度值进行双频融合计算，得到双频融合后的深度值，所述深度滤波模块对所述双频融合后的深度值进行滤波，得到滤波后的深度值。
[0088]
双频融合模块只在双频模式时生效，是增加一个频率调制波来混频，对着相同距离的物体，每个调制波测量都有不同的不明确的距离，但是真实距离就是两个频率调制波共同测量到的那个值，该位置对应频率也就是多个频率的最大公约数，从而扩展了更长的测量距离。
[0089]
由于调制信号是周期性的，所以在对着相同距离的物体，每个调制波测量都有不同的不明确的距离，但是真实距离就是两个频率调制波共同测量到的那个值，该位置对应
频率也就是多个频率的最大公约数，从而扩展更长测量距离，输出深度值。
[0090]
双频融合模块在非双频模式时不生效，不对深度值进行处理。
[0091]
图5是根据本技术实施例的itof深度计算装置的第四结构示意图。在图5中，itof深度计算装置除了图4所示的各个模块，还包括点云计算模块、点云滤波模块和点云旋转模块。其中：
[0092]
点云计算模块用于对所述滤波后的深度值进行点云计算，得到点云值；点云计算模块从缓存模块中读取每个像素点的三维坐标参数，与深度值进行运算后得到三维点云数据。
[0093]
点云滤波模块用于对所述点云值进行滤波，得到滤波后的点云值；点云滤波模块根据控制模块配置的参数，对三维点云数据按照一定的算法进行滤波，使得图像边缘特性加强。
[0094]
点云旋转模块用于对所述滤波后的点云值进行旋转，得到旋转后的点云值；点云旋转模块可根据需要选择开启，根据控制模块配置的参数，对点云数据按照一定的角度方向做旋转，把计算结果输出给输出接口模块。
[0095]
这样，由于点云计算模块、点云滤波模块和点云旋转模块对深度值的进一步处理得到旋转后的点云值，接口输出模块输出所述旋转后的点云值和灰度计算模块计算的灰度值。输出接口模块把最后得到的点云数据按照一定协议格式输出，后端ap芯片可基于点云数据和/或灰度值做进一步的二次开发。
[0096]
图6是根据本技术实施例的itof深度计算装置的第五结构示意图。在图6中，itof深度计算装置除了图5所示的各个模块，还包括ae(automatic exposure，自动曝光)模块，用于根据所述相位差值计算当前场景下的曝光值。固定的曝光时间会使得itof相机模组拍出来的图像太亮或者太暗，只有曝光自动改变到合适的曝光的设置才能让相机拍摄出来的景物亮度合适。ae功能的作用就是随着场景的改变，自动调节曝光值，提高深度图像质量。ae模块根据一些数据发现场景改变了，然后根据一定的算法计算出对应该场景的曝光值，最后向外指示曝光值的调节。
[0097]
ae模块是按照控制模块配置的参数，基于itof相机模组当前的曝光值信息并结合特定的算法计算得到一个理想的曝光值，并输出给控制模块。控制模块通过i2c配置到itof相机模组中，从而实现动态曝光调节。
[0098]
在上述itof深度计算装置的基础上，本技术还提供一种itof深度计算方法。图7是根据本技术实施例的itof深度计算方法的流程图。如图7所示，该方法包括如下步骤。
[0099]
步骤s701，通过接口输入模块接收来自itof相机模组的光信号信息，并将所述光信号信息发送至帧解析模块。
[0100]
步骤s702，通过帧解析模块将所述光信号信息解析为解析后的信息，所述解析后的信息包括四相位延时数据，根据所述四相位延时数据计算相位差值。
[0101]
其中，解析后的信息还包括曝光时间信息和温度信息。
[0102]
步骤s703，通过灰度计算模块根据所述相位差值计算灰度值。
[0103]
步骤s704，通过相位计算模块根据所述相位差值计算相位值。
[0104]
步骤s705，通过相位校正模块对所述相位值进行校正，得到校正后的相位值。
[0105]
其中，步骤s705包括：根据温度信息拟合得到相位补偿值，根据相位补偿值对相位
值进行校正。
[0106]
步骤s705还包括：基于itof模组的标定信息计算得到相位补偿值，根据相位补偿值对相位值进行校正。
[0107]
步骤s706，通过深度计算模块对所述校正后的相位值进行深度计算，得到深度值。
[0108]
步骤s707，通过深度滤波模块对所述深度值进行滤波，得到滤波后的深度值。
[0109]
步骤s708，通过接口输出模块输出所述滤波后的深度值和所述灰度值。
[0110]
步骤s709，通过控制模块配置所述itof深度计算装置中各个模块的配置参数。
[0111]
步骤s710，通过缓存模块存储所述配置参数和所述itof深度计算装置中各个模块处理后的数据。
[0112]
在一个实施例中，itof深度计算方法还包括：步骤s711，通过hdr模块读取相位差值，根据所述曝光时间信息对每个像素的长短曝光特性进行hdr计算，得到hdr计算后的相位差值。所述相位计算模块根据所述hdr计算后的相位差值计算相位值。
[0113]
深度值包括第一深度值和第二深度值。在一个实施例中，itof深度计算方法还包括：步骤s712，通过双频融合模块对所述第一深度值和所述第二深度值进行双频融合计算，得到双频融合后的深度值。通过所述深度滤波模块对所述双频融合后的深度值进行滤波，得到滤波后的深度值。
[0114]
在一个实施例中，itof深度计算方法还包括：步骤s713，通过点云计算模块对所述滤波后的深度值进行点云计算，得到点云值；步骤s714，通过点云滤波模块对所述点云值进行滤波，得到滤波后的点云值；步骤s715，通过点云旋转模块对所述滤波后的点云值进行旋转，得到旋转后的点云值。
[0115]
在一个实施例中，itof深度计算方法还包括：步骤s716，通过ae模块根据所述相位差值计算当前场景下的曝光值。
[0116]
在上述实施方式中，如图1所示，itof相机模组与itof深度计算装置是分离设置的两个单独的单元，itof相机模组输出光信号信息，而itof深度计算装置对该光信息信息进行处理。根据本技术的另一个方面，itof深度计算装置可以内置、集成或封装在itof相机模组中。这样，itof相机模组与itof深度计算装置封装后，整体大小与单独的itof相机模组相当，在相同的面积上可以同时集成itof相机模组与itof深度计算装置，从而实现小型化。
[0117]
从而，本技术还提供一种itof相机模组，包括如图2至图6中的itof深度计算装置，该itof深度计算装置对光信号信息进行处理得到深度值信息和灰度值信息或者点云值信息和灰度值信息。
[0118]
对应封装了itof深度计算装置的itof相机模组，如图8所示，本技术还提供一种itof深度计算系统，包括封装了itof深度计算装置的itof相机模组和ap芯片，其中：所述itof相机模组中的所述itof深度计算装置对光信号信息进行处理得到深度值信息和灰度值信息或者点云值信息和灰度值信息，所述ap芯片用于接收所述深度值和所述灰度值信息或者所述点云值信息和所述灰度值信息。其中，itof相机模组与ap芯片之间的接口类型包括i2c/spi和mipi。
[0119]
本技术提供的itof深度计算装置、方法、itof相机模组和系统，能够根据不同类型的相机模组，配置和调整itof深度计算装置中各个模块的配置参数，从而达到兼容不同类型的相机模组的目的；并且，本技术的方案输出的结果为最终的深度值和灰度值或者最终
的点云值和灰度值，用户不需要继续计算或调整；另外，本技术的itof深度计算装置的硬件实现方式，能够实现数据的并行处理，从而提升处理速度。
[0120]
以上对本技术实施例进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明仅用于帮助理解本技术的方法及其核心思想。同时，本领域技术人员依据本技术的思想，基于本技术的具体实施方式及应用范围上做出的改变或变形之处，都属于本技术保护的范围。综上所述，本说明书内容不应理解为对本技术的限制。