深度图生成方法、装置、电子设备与流程

1.本技术涉及计算机技术领域，特别是涉及一种深度图生成方法、装置、电子设备和计算机可读存储介质。


背景技术：

2.随着计算机技术领域技术的发展，在3d视觉领域，目前主流的3d成像方式有双目、结构光和tof(time of flight，飞行时间技术)三种。其中，tof作为一种主动成像的三维测距技术，通过测量发射模组向目标发射的调制光信号和接收模组(tof传感器)接收的回波光信号之间的时间差或者相位差，来获取目标的三维深度信息。
3.然而，传统的深度图生成方式中，由于拍摄对象所处环境复杂，例如头发、眼镜、低反射率衣服等因素的影响，无法得到准确的深度信息。


技术实现要素：

4.本技术实施例提供了一种深度图生成方法、装置、电子设备、计算机可读存储介质，可以提升生成的深度图的准确性。
5.一种深度图生成方法，包括：
6.获取基准深度图和非基准深度图，确定所述非基准深度图与所述基准深度图之间的位姿变换关系；
7.基于预设深度图质量的判定条件，获取所述基准深度图中的困难场景点；所述困难场景点为深度值不符合所述判定条件对应的质量要求的像素点；
8.根据所述位姿变换关系，查找所述困难场景点在所述非基准深度图中对应位置的目标点；
9.根据所述目标点的深度值，确定所述困难场景点的目标深度值；
10.将所述困难场景点的深度值替换为所述目标深度值，得到目标深度图。
11.一种深度图生成装置，包括：
12.获取模块，用于获取基准深度图和非基准深度图；
13.位姿关系确定模块，用于确定所述非基准深度图与所述基准深度图之间的位姿变换关系；
14.困难场景点确定模块，用于基于预设深度图质量的判定条件，获取所述基准深度图中的困难场景点；所述困难场景点为深度值不符合所述判定条件对应的质量要求的像素点；
15.查找模块，用于根据所述位姿变换关系，查找所述困难场景点在所述非基准深度图中对应位置的目标点；
16.处理模块，用于根据所述目标点的深度值，确定所述困难场景点的目标深度值；
17.替换模块，用于将所述困难场景点的深度值替换为所述目标深度值，得到目标深度图。
18.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述的深度图生成方法的步骤。
19.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的方法的步骤。
20.上述深度图生成方法、装置、计算机设备和存储介质，通过获取基准深度图和非基准深度图，确定非基准深度图与基准深度图之间的位姿变换关系。基于预设深度图质量的判定条件，获取基准深度图中的困难场景点，困难场景点为深度值不符合判定条件对应的质量要求的像素点，根据位姿变换关系，查找困难场景点在非基准深度图中对应位置的目标点。根据目标点的深度值，确定困难场景点的目标深度值，将困难场景点的深度值替换为目标深度值，得到目标深度图。由此使得，能够根据位姿变换关系，获取困难场景点在非基准深度图中对应的深度值判定可靠对应点的值，并用深度值判定可靠对应点的深度值替换困难场景点的深度值，能够有效提升深度值的准确性，从而有效提高了深度图的完整性，同时也提高了深度图的深度距离精度，可有效解决部分困难场景(目标反射率低、过曝与光滑镜面反射)深度值无效或深度值精度低的问题。
附图说明
21.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
22.图1为一个实施例中深度图生成方法的应用环境图；
23.图2为一个实施例中深度图生成方法的流程图；
24.图3为一个实施例中获取基准深度图和非基准深度图步骤的流程图；
25.图4为一个实施例中tof相机采集被测目标多帧深度图的示意图；
26.图5为一个实施例中tof相机在某个视角下拍摄光滑区域的光路示意图；
27.图6为一个实施例中tof相机在另一个视角下拍摄光滑区域的光路示意图；
28.图7为另一个实施例中获取基准深度图和非基准深度图步骤的流程图；
29.图8为一个实施例中根据目标点的深度值，确定困难场景点的目标深度值步骤的流程图；
30.图9为一个实施例中各视角之间的位姿变换关系求解示意图；
31.图10为一个实施例中深度图生成装置的结构框图；
32.图11为一个实施例中电子设备的内部结构图。
具体实施方式
33.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
34.可以理解，本技术所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来
说，在不脱离本技术的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。
35.图1为一个实施例中深度图生成方法的应用环境示意图。如图1所示，该应用环境包括电子设备102，应用环境可为用户与电子设备102交互的环境。电子设备102中安装有tof(time of flight，tof)相机。电子设备102获取通过tof相机采集的基准深度图和非基准深度图，确定非基准深度图与基准深度图之间的位姿变换关系，电子设备102基于预设深度图质量的判定条件，获取基准深度图中的困难场景点，困难场景点为深度值不符合判定条件对应的质量要求的像素点，电子设备102根据位姿变换关系，查找困难场景点在非基准深度图中对应位置的目标点，电子设备102根据目标点的深度值，确定困难场景点的目标深度值；电子设备102将困难场景点的深度值替换为目标深度值，得到目标深度图。其中，电子设备102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备；便携式可穿戴设备可以是智能手表、智能手环等。
36.图2为一个实施例中深度图生成方法的流程示意图。本实施例中的深度图生成方法，以运行于图1中的电子设备上为例进行描述。如图2所示，深度图生成方法包括步骤202至步骤210。
37.步骤202，获取基准深度图和非基准深度图，确定非基准深度图与基准深度图之间的位姿变换关系。
38.在3d视觉领域，目前较为成熟的3d成像方式有双目、结构光和tof三种。其中，被动双目视觉测距依赖于两个相机公共视场内的纹理特征，对于重复性特征丰富或者纹理特征稀疏的场景，测量效果较差，且双目方式测距范围小，测量精度低，结构光方式测量精度高，但深度计算方法较为复杂，且测距范围通常也比较小(<1m)。tof(time of flight，tof)技术具有测量范围广(50cm～5m)，测量精度高(绝对误差可做到1％以内)，深度计算方法简单，且对测量场景适应性较好，适用于手机后置、ar(augmented reality，简称ar)眼镜等设备的远距离深度测量、ar应用和环境重建等应用。
39.tof技术包括dtof(direct time
‑
of
‑
flight，直接测量飞行时间)和itof(indirect time
‑
of
‑
flight，间接测量飞行时间)。其中，dtof，直接时间飞行法测量目标距离，即通过测量发射脉冲光经目标物反射到达接收端的飞行时间，确定与待测目标之间距离的方法，dtof方案对感光元件要求较高。itof，间接时间飞行法测量目标距离，即通过测量经过调制的发射光与接收光之间的相位关系，确定与待测目标之间距离的方法。itof是通过测量相位偏移来间接测量光的飞行时间，而不是直接测量光飞行时间。itof技术原理简单，深度信息计算量小，被广泛用于手机后置和ar眼镜的相关应用。由于tof的优势所在，未来有很大概率会成为手机等智能终端在3d视觉应用的主流方案。本技术中的电子设备中安装有深度相机，深度相机可以为tof相机或tof摄像头。
40.电子设备是一类嵌入式计算机系统设备，软件结构可以分为系统软件和应用软件。在电子设备的软件结构中，系统软件主要是操作系统和中间件，常见的电子设备操作系统有苹果的ios、谷歌的android、惠普的webos及微软windows等。使用不同操作系统终端的用户均可以通过电子设备中的应用市场界面下载多种类型的应用程序(application，app)，应用程序可以包括ar应用。本技术中的电子设备可以包括智能手机、平板、穿戴式设
备等，穿戴式设备可为智能手表、智能手环等。
41.在一个可能的实现方式中，用户可以直接启动tof相机采集多帧深度图。在另一种可能的实现方式中，用户可以通过触发操作选取电子设备中某个应用程序，启动该应用程序，并进入与该应用程序对应的显示界面中，在启动该应用程序之后，电子设备可以通过tof相机采集对应的多帧深度图。例如，用户可以通过点击电子设备主界面中的某个ar应用程序的图标，启动该应用程序，并进入与该ar应用程序对应的界面中，电子设备可以通过tof相机采集对应的多帧深度图。
42.进一步的，电子设备可以从tof相机采集到的多帧深度图中获取基准深度图和非基准深度图，确定非基准深度图与基准深度图之间的位姿变换关系。其中，深度图(depth)是指tof相机获取到的目标场景的距离图。深度图是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道。深度图中的每一个像素值表示场景中某一点与相机之间的距离。本实施例中的深度图中包含tof相机拍摄的目标物体上各点距离tof相机镜头的距离，即深度图中的每个像素点的值表示的是拍摄的目标物体上各点距离镜头的距离，每个像素值是tof相机距离目标物体的实际距离。通过变换tof相机的曝光时间和相机姿态，可以采集到不同角度不同反射光强度下目标物体的深度图。
43.其中，基准深度图是指从多个不同姿态下采集的深度图中选取的一帧深度图。例如，根据预设策略，可以将采集到的最后一帧深度图作为基准深度图，针对某些应用，需要用到中间帧，也可以将中间帧作为基准深度图。非基准深度图是指tof相机采集到的多帧深度图中除了基准深度图之外的其他深度图。位姿变换关系是指计算不同相机姿态之间的变换关系，即位姿变换关系指不同视角下的旋转和平移。例如，tof相机从视角1变换到视角2再变换到视角3分别采集了对应的三帧深度图1、深度图2以及深度图3。假设以视角3采集的深度图3为基准深度图，即电子设备获取到基准深度图3、非基准深度图1、非基准深度图2，电子设备可以根据预设策略，确定非基准深度图1与基准深度图3之间的位姿变换关系，以及确定非基准深度图2与基准深度图3之间的位姿变换关系。其中，预设策略可以包括所采用的算法，例如计算位姿变换的算法可以使用带ransanc的pnp算法，求解出基准视角与其他视角之间的位姿变换关系。ransanc即随机采样一致性算法，用于剔除样本中的异常数据。pnp是利用三维空间点与二维像素点之间的约束计算位姿的算法。
44.步骤204，基于预设深度图质量的判定条件，获取基准深度图中的困难场景点，困难场景点为深度值不符合判定条件对应的质量要求的像素点。
45.电子设备获取基准深度图和非基准深度图，确定非基准深度图与基准深度图之间的位姿变换关系之后，电子设备可以基于预设深度图质量的判定条件，获取基准深度图中的困难场景点，困难场景点为深度值不符合判定条件对应的质量要求的像素点。其中，预设深度图质量的判定条件是指用于判定深度图中各个像素点的深度值的条件，例如，预设深度图质量的判定条件可以设置为信噪比低于预设信噪比阈值的点或者深度值无效的点。
46.深度值无效，即该点由于距离太远或者反射率太低，发射出的信号光无法有效被接收端接收，电子设备无法获取到该点的深度值。
47.电子设备可以通过同一像素几个相位接收到的信号光计算出一个confidence图即置信度图，(置信度图即itof相机的输出，用来描述接收到信号光的强度，进而作为目标距离测量值的置信度)，置信度图与幅值图类似，在某些场景中，置信度图也可以当幅值图
使用。置信度也表征光强，某个点对应的置信度值小，该点信噪比低。
48.tof相机是主动光设备，通过发射端发射经过调制的红外光波，经被测目标反射后被接收端接收，计算出光的飞行时间，进而计算光飞行的距离，即获取到tof相机与被测目标之间的深度距离。其中，困难场景点是指在tof相机拍摄的目标物体场景中无法生成可靠的深度值的点或计算得到的深度值误差过大的点。本实施例中的困难场景点可以包括但不限于以下三种类型：反射率低于第一反射率阈值的点、反射率高于第二反射率阈值的点以及光滑区域内的点。其中，第一反射率阈值小于第二反射率阈值。
49.例如，第一，困难场景点可以是反射率低于第一反射率阈值的点，即反射率过低的点，在tof相机拍摄的目标物体存在反射率过低区域的应用场景中，比如人的头发，黑色的衣服等，发射的信号光到达目标物体表面后只有较少的光被反射到接收端，此时相对于环境中的噪声来说，接收到的光信号较弱，无法生成可靠的深度距离值，或者由于反射率过低，根本无法生成深度距离值。若要提高远距离目标或者近距离低反射率目标的精度与完整性，可以通过提高发射光功率或者增加接收端曝光时间，进而提高反射光信噪比，但这会提高tof相机功耗，而目前tof相机功耗已经很高(700mw
‑
1000mw)，对于移动终端应用较难接受。tof作为主动光测试设备，通过发射、接收940nm红外光测量距离，在自然环境中，太阳光也会含有少量940nm的红外光，相对于发射的940nm信号光，自然环境中的940nm是噪声。在环境光不变的情况下，提高发射光功率或者增加接收端曝光时间，即增加接收到信号光的量，即信号光/噪声增加，即提高反射光信噪比。因此需要提高曝光时间，即增加信号反射光的强度，从而得到可靠的深度值；或者可以使用光功率可控的发射端光源，在目标物体反射率较低时增大发射端光功率，但目前的技术灵活改变发射端光功率较为困难。因此本实施例中使用改变tof相机曝光时间的方法，但由于增加曝光时间必然增加整个tof相机的功耗，而电子设备通常对功耗有着严格的要求，因此，高曝光时间只在多帧深度图采集过程中的某一帧或某几帧采用。
50.第二，困难场景点可以是反射率高于第二反射率阈值的点，即过曝点，在tof相机拍摄的目标物体大部分区域反射率都比较低的应用场景中，可能需要较长曝光时间采集目标深度图；或者一些近距离三维建模、近距离深度图获取的应用场景中，若此时目标物体部分区域反射率过高，则这些区域易过曝，从而使该区域深度值无法被有效获取。此时需要降低tof相机曝光时间，直至该区域不过曝，然后再采集该区域的深度图。
51.第三，困难场景点可以是光滑区域内的点，若目标物体存在一些较为光滑的区域(比如人的眼镜，特殊材质的衣服表面等)，发射光打在这些区域容易产生镜面反射，反射光无法被tof相机接收端所接收，从而无法生成该区域的有效深度值。即使通过改变曝光时间也不能生成该区域的有效深度值，因为没有改变光的传播路径，依然无法在tof相机接收端接收到信号光。此时需要改变tof相机的视角，使得tof相机能对该区域生成有效的深度值。
52.此外，不管是itof还是dtof，原理都是主动发射调制红外光到目标物体表面，经目标物体表面反射回来由接收端sensor(tof相机的感光元件)接收，进而由底层算法解算飞行时间，生成depth。因此，反射光的强弱及信噪比对depth的影响巨大。通常对于远距离或者近距离低反射率物体，生成的depth精度低、质量差，或者信号反射光强度与环境噪声强度接近，无法生成可靠的depth。若目标物体存在一些较为光滑的区域(比如人的眼镜，特殊材质的衣服表面等)，发射光打在这些区域容易产生镜面反射，反射光无法被tof相机接收
端所接收，也无法生成该区域的有效深度值。
53.具体的，电子设备可以基于幅值图计算非基准深度图与基准深度图之间的位姿变换关系。tof相机的成像原理中接收端sensor接收的是经过调制的940nm红外信号光，因此，根据接收到的940nm信号光强可以生成对应的幅值图或者光强图。tof相机另外一个功能是基于调制好的信号计算场景中各点的深度值，tof相机输出的结果是一张m
×
n大小的幅值图和一张m
×
n大小的深度图，其中幅值图上每一个像素点的值代表接收到的光强，深度图中每个像素点的值表示相机到该点的距离。对itof来说，可以用各电容电压值和表征光强，幅值图可以是一帧曝光时间内各电容电压值的总和，即一帧曝光时间内接收到的光强总和，也可以是置信度图，即一帧曝光时间内电容电压值的总和减去由于像素电容及硬件电路差异产生的一些噪声；对dtof来说，可以用总光子数或峰值光子数表征光强，幅值图可以是各像素点一帧曝光时间接收到的总光子数，也可以是一帧曝光时间内的峰值光子数。
54.假设预设深度图质量的判定条件为信噪比低于预设信噪比阈值的点或者深度值无效的点，则电子设备可以基于上述深度图质量判定条件，从基准深度图对应的幅值图(或置信度图)中搜索信噪比低于预设信噪比阈值的点或者深度值无效的点，若电子设备从基准深度图对应的幅值图(或置信度图)中搜索到信噪比低于预设信噪比阈值的点或者深度值无效的点，则将搜索到的这些点判定为基准深度图中的困难场景点。
55.步骤206，根据位姿变换关系，查找困难场景点在非基准深度图中对应位置的目标点。
56.电子设备基于预设深度图质量的判定条件，获取基准深度图中的困难场景点之后，电子设备可以根据位姿变换关系，查找困难场景点在非基准深度图中对应位置的目标点。其中，对应位置的目标点是指根据位姿变换关系计算得到基准深度图上某点在其他深度图上对应位置的像素点，该对应位置的像素点即为目标点。对应位置是指根据位姿变换关系计算得到基准深度图上某点在其他深度图上的对应位置。例如，tof相机对同一场景拍摄n张图像，同一目标物体上的点在这n张图像上的坐标可能会不同，这n个坐标就是对应点之间的关系。可以理解的是，若电子设备根据位姿变换关系计算得到基准深度图上某点在其他深度图上对应位置不是某一个像素点，而是位于某几个像素点之间，这时需要根据预设的策略，进行深度插值。插值方法包括但不限于最邻近插值、双线性插值等。
57.步骤208，根据目标点的深度值，确定困难场景点的目标深度值。
58.电子设备根据位姿变换关系，查找困难场景点在非基准深度图中对应位置的目标点之后，电子设备可以根据非基准深度图中对应位置的目标点的深度值，确定基准深度图中困难场景点的目标深度值。其中，目标点的深度值是指目标点所在的深度图中对应的深度值；目标深度值是指对深度图进行融合后得到的有效深度值。深度图融合即将采集的多帧深度图数据融合为一帧目标深度图，以提高该目标深度图的完整性，同时该目标深度图的深度距离精度也会有所提高。
59.具体的，假设tof相机从视角1变换到视角2再变换到视角3分别采集了对应的三帧深度图1、深度图2以及深度图3。电子设备选定以视角3采集的深度图3作为基准深度图，则电子设备可以根据预设策略，确定非基准深度图1与基准深度图3之间的位姿变换关系，以及确定非基准深度图2与基准深度图3之间的位姿变换关系。
60.进一步的，若电子设备选定以视角3采集的深度图3作为基准深度图，则电子设备
可以基于基准深度图3及其对应的置信度图寻找对应的困难场景点(困难场景点包括判定为反射率低于第一反射率阈值的点、反射率高于第二反射率阈值的点、光滑区域内的点)。电子设备根据基准深度图3与其他深度图(即深度图1和深度图2)之间的位姿关系，查找出基准深度图3中困难场景点在其他深度图(即深度图1和深度图2)中的对应点后进行深度插值，并将插值后的点利用已计算出的位姿变换关系，变换到基准深度图3对应的坐标系下，并将基准深度图3中困难场景点的深度值替换为变换后点的深度值，输出最终深度图。
61.步骤210，将困难场景点的深度值替换为目标深度值，得到目标深度图。
62.电子设备根据非基准深度图中目标点的深度值，确定基准深度图中困难场景点的目标深度值之后，电子设备可以将基准深度图中困难场景点的深度值替换为目标深度值，得到目标深度图。目标深度图是指将采集的多帧深度图数据融合为一帧深度图，融合得到的一帧深度图即为目标深度图。
63.具体的，假设tof相机从视角1变换到视角2再变换到视角3分别采集了对应的三帧深度图1、深度图2以及深度图3。若电子设备选定以视角3采集的深度图3作为基准深度图，则电子设备可以基于基准深度图3及其对应的置信度图寻找对应的困难场景点。电子设备根据基准深度图3与其他深度图(即深度图1和深度图2)之间的位姿关系，找出基准深度图3中困难场景点在其他深度图(即深度图1和深度图2)中的对应点后进行深度插值，并将插值后的点利用已计算出的位姿变换关系，变换到基准深度图3对应的坐标系下，并将基准深度图3中困难场景点的深度值替换为变换后点的深度值，输出最终深度图。
64.本实施例中的深度图生成方法，通过获取基准深度图和非基准深度图，确定非基准深度图与基准深度图之间的位姿变换关系。基于预设深度图质量的判定条件，获取基准深度图中的困难场景点，困难场景点为深度值不符合判定条件对应的质量要求的像素点，根据位姿变换关系，查找困难场景点在非基准深度图中对应位置的目标点，并根据目标点的深度值，确定困难场景点的目标深度值，将基准深度图中困难场景点的深度值替换为目标深度值，得到目标深度图。由此使得，能够有效提升深度值的准确性，从而有效提高tof深度图的完整性与精度，可有效解决部分困难场景(目标反射率低、过曝或光滑镜面反射区域)深度值无效或深度值精度低的问题。
65.在一个实施例中，如图3所示，获取基准深度图和非基准深度图的步骤，包括：
66.步骤302，获取多帧深度图，得到深度图集，深度图集中包括相对于目标物体至少两个位姿的深度图。
67.步骤304，从深度图集中选取一帧深度图作为基准深度图，将深度图集中其他的深度图作为非基准深度图。
68.在一种可能的实现方式中，电子设备通过变换tof相机的曝光时间和相机姿态，可以采集到不同角度不同反射光强度下目标物体的深度图。在另一种可能的实现方式中，用户通过点击电子设备主界面中的某个ar应用程序的图标，启动该应用程序，并进入与该ar应用程序对应的界面中，电子设备能够根据用户变换的相机姿态，采集到不同角度不同反射光强度下目标物体的深度图。即电子设备能够在不同位姿下(不断变换的相机姿态)采集目标物体对应的深度图。可以理解的是，本实施例中的应用程序包括但不限于ar应用，也可以是背景虚化等应用，这里对应用程序的类型不做限定。
69.其中，采集的多帧深度图可以是采集相对于目标物体至少三个角度的深度图，每
个姿态对应的曝光时间可以相同，也可以不同。若采集的多帧深度图只有三个角度，则每个角度可以采用不同的曝光时间，若采集多个角度的深度图，则不需要每次拍摄都变换曝光时间，即至少需要三个不同的曝光时间。当然，对于相对简单的场景，采用两个不同的曝光时间也可以。
70.在用户使用某个应用程序的过程中，tof相机可以采集到不同角度不同反射光强度下目标物体的深度图，例如，在用户使用手机拍照的情况下，首先拍照时需要调整角度等以达到较好的拍照角度，在这个调整过程中手机相对于被拍照物大概率会变换位置或者角度，在这个调整过程中tof相机不断收集图像数据，即可采集相对于目标物体至少两个角度的深度图。如图4所示，为tof相机采集被测目标多帧深度图的示意图。假设tof相机从视角1变换到视角2再到视角3，且这三个视角的曝光时间也不一样。tof相机从视角1变换到视角2再变换到视角3分别采集了对应的三帧深度图为深度图1、深度图2以及深度图3。即电子设备可以获取通过tof相机采集的上述多帧深度图，得到深度图集，深度图集中包括相对于目标物体至少两个位姿的深度图。进一步的，电子设备可以从深度图集中选取一帧深度图作为基准深度图，将深度图集中其他的深度图作为非基准深度图。若电子设备以视角3采集的深度图3作为基准深度图，深度图1和深度图2作为非基准深度图，则曝光时间t3为比较适合目标物体大部分区域的曝光时间，曝光时间t1和曝光时间t2分别为较大曝光时间与较小曝光时间，分别用于获取目标物体反射率过高或过低区域的深度值，即t1>t3>t2，当然，t1和t2可以互换，即t1为较小曝光时间，t2为较大曝光时间，即t2>t3>t1，这里不做限定。
71.在实际应用中，可以根据应用需要设置tof的变换位姿与曝光时间的数量，即不局限于三个视角与三个曝光时间，通常情况下，三个视角与三个曝光时间可以满足大多数需要。若目标物体困难场景区域比较少，如已知目标区域无反射率过低区域或者无光滑区域，则减少为两个视角或两个曝光时间也可以生成完整性较高的目标深度图。若某些应用场景对深度图完整性要求较高，则变换n(n≥3)个位姿m(m≥3)个曝光时间也是可以的，本实施例中不做限定，理论上来说，n和m越大，则越容易生成完整性较好的深度图，同时目标深度距离的精度也会有提高，但n和m的值过大则会导致数据冗余，造成浪费，此时需要经过算法筛选后仍可以选取其中部分深度图参与最终目标深度图的生成。由此，变换姿态的目的是为了采集某个姿态无法生成深度值区域，变换曝光时间的目的是为了采集反射率低或者距离过远的区域，即通过变换姿态采集不同视角下的深度图，使得某些姿态下无法生成深度值区域可以用其他姿态下的有效深度值替换，从而达到优化深度图的目的。
72.在一个实施例中，基于预设深度图质量的判定条件，获取基准深度图中的困难场景点的步骤，包括：
73.扫描基准深度图中的像素点，并从基准深度图所对应的置信度图中获取像素点的置信度值；
74.根据像素点的置信度值确定像素点所属困难场景点的类型。
75.电子设备获取基准深度图和非基准深度图，确定非基准深度图与基准深度图之间的位姿变换关系之后，可以基于预设深度图质量的判定条件，获取基准深度图中的困难场景点。具体的，电子设备依次扫描基准深度图中的像素点，并从基准深度图所对应的置信度图中获取像素点的置信度值。进一步的，电子设备根据像素点的置信度值确定像素点所属困难场景点的类型。其中，困难场景点的类型可以包括反射率低于第一反射率阈值的点(即
反射率过低区域的点)、反射率高于第二反射率阈值的点(即过曝点)以及光滑区域内的点，可以预先设置这三种类型的困难场景点对应的置信度值的范围。由此使得，通过像素点的置信度值确定像素点所属困难场景点的类型，获取与困难场景点的类型对应的目标非基准深度图中对应的深度值判定可靠对应点的值，并用深度值判定可靠对应点的深度值替换困难场景点的深度值，可有效提高tof深度图的完整性与精度，可有效解决部分困难场景(目标反射率过低、过曝与光滑镜面反射)深度值无效或深度值精度低的问题。
76.在一个实施例中，根据位姿变换关系，查找困难场景点在非基准深度图中对应位置的目标点的步骤，包括：
77.获取与困难场景点的类型对应的目标非基准深度图，根据目标非基准深度图与基准深度图之间的位姿变换关系，查找困难场景点在目标非基准深度图中对应位置的目标点。
78.电子设备可以根据位姿变换关系，查找困难场景点在非基准深度图中对应位置的目标点。具体的，电子设备可以获取与困难场景点的类型对应的目标非基准深度图，例如，若困难场景点的类型为反射率过低区域的点，则获取与反射率过低区域的点对应的目标非基准深度图为较长曝光时间的深度图(即tof相机采集深度图时使用的曝光时间大于采集基准深度图使用曝光时间)；若困难场景点的类型为反射率过高区域的点，则获取与反射率过高区域的点对应的目标非基准深度图为较短曝光时间的深度图(即tof相机采集深度图时使用的曝光时间小于采集基准深度图使用曝光时间)；若困难场景点的类型为光滑区域内的点，则获取与光滑区域内的点对应的目标非基准深度图为除了基准深度图之外的其他深度图。电子设备获取与困难场景点的类型对应的目标非基准深度图之后，电子设备可以根据目标非基准深度图与基准深度图之间的位姿变换关系，查找困难场景点在目标非基准深度图中对应位置的目标点。由此使得，能够根据困难场景点的类型，获取对应的目标非基准深度图中对应位置的质量可靠点，并用质量可靠点的深度值替换困难场景点的深度值，从而有效提高该深度图的完整性，同时也提高了该深度图的深度距离精度。
79.在一个实施例中，目标非基准深度图为多帧，该根据目标点的深度值，确定困难场景点的目标深度值的步骤，包括以下任一一种实现方式：
80.将多帧目标非基准深度图中任一帧深度图的目标点的深度值作为困难场景点的目标深度值；
81.在每一帧目标非基准深度图中均查找到与困难场景点对应的一个目标点，将置信度值最大的目标点的深度值作为困难场景点的目标深度值；
82.在每一帧目标非基准深度图中均查找到与困难场景点对应的一个目标点，将多个目标点的深度值进行加权平均或算术平均得到困难场景点的目标深度值。
83.以目标非基准深度图为较长曝光时间t1对应的第一深度图为例进行说明。在某些应用中，对背景完整性也有需求，那在这些应用中，需要根据基准深度图与较长曝光时间t1(即tof相机采集深度图时使用的曝光时间t1大于采集基准深度图使用曝光时间t2)对应的第一深度图的位姿关系，即电子设备根据基准深度图(第二深度图)与较长曝光时间t1对应的第一深度图的位姿关系，搜索该置信度过低点(点a)在较长曝光时间t1深度图中的对应点。
84.若较长曝光时间的深度图不止一帧，则又有以下三种对应点选取策略：
85.1)任选其中一帧深度图的对应点；
86.2)将所有较长曝光时间深度图对应点的深度值进行加权平均或算术平均，或者去掉其中的最大值与最小值后再做加权平均或算术平均；
87.3)在每一帧目标非基准深度图中均查找到与困难场景点对应位置的对应点，直接选取对应点置信度最大的深度图，因为对于远距离来说，置信度越大，表述反射回来的信号光越强，即置信度越高，精度也越高。
88.上述三种选点方式有去除噪声提升可靠性的作用，可以理解的是，对应点选取策略包括但不限于上述三种选点方式，其他合理的选点方式也可以，这里不做具体限定。
89.本实施例中，通过使用算法策略提升了tof相机深度图的完整性，可有效解决部分困难场景(目标反射率低、过曝与光滑镜面反射)深度值无效或深度值精度低的问题。
90.在一个实施例中，根据像素点的置信度值确定像素点所属困难场景点的类型的步骤，包括：
91.若扫描到像素点的置信度值低于第一置信度阈值，则获取像素点在基准深度图中的距离值；
92.若距离值大于相机与目标物体之间的距离，则判定像素点为背景点或超出测量范围的点，则不处理；
93.若像素点的距离值与基准深度图中目标区域内其余像素点的距离值之间的差值小于第一差值阈值，则判定像素点为反射率低于第一反射率阈值类型的困难场景点；
94.若判定像素点为反射率低于第一反射率阈值类型的困难场景点，获取第一曝光时长的第一深度图，根据第一深度图与基准深度图的位姿变换关系，查找困难场景点在第一深度图中对应位置的目标点。
95.电子设备获取通过tof相机采集的多帧深度图，多帧深度图中包括第一曝光时长所对应的第一深度图、第二曝光时长所对应的第二深度图和第三曝光时长所对应的第三深度图。其中，第一曝光时长大于第二曝光时长，第二曝光时长大于第三曝光时长。若电子设备选择第二深度图作为基准深度图，则逐像素扫描基准深度图对应的置信度图，若电子设备扫描到像素点(点a)的置信度值低于第一置信度阈值，则获取像素点(点a)在基准深度图中的距离值。若像素点(点a)在基准深度图中的距离值大于tof相机与目标物体之间的距离，则电子设备判定像素点(点a)为背景点或超出测量范围的点，则不处理。可以理解的是，假设tof相机与目标物体之间的距离值为d，本实施例中若像素点(点a)在基准深度图中的距离值大于tof相机与目标物体之间的距离，可以是像素点(点a)在基准深度图中的距离值与距离值d(即tof相机与目标物体之间的距离)之间差大于某个距离阈值即可，即可以将tof相机与目标物体之间的距离作为参考距离值，若像素点(点a)在基准深度图中的距离值与上述参考距离值之间的差值大于某一个距离阈值，则可以判定像素点(点a)为背景点或超出测量范围的点。由于不同像素点的距离值会存在一定的偏差，本实施例中的判定方式中并不是说大于tof相机到物体的距离就一定是背景点，只要能够满足像素点(点a)在基准深度图中的距离值与参考距离的差大于某个距离阈值即可，这里对距离阈值的设定不做限定。
96.若像素点(点a)在基准深度图中的距离值与基准深度图中目标区域内其余像素点的距离值之间的差值小于第一差值阈值，则电子设备判定像素点为反射率低于第一反射率
阈值类型的困难场景点。进一步的，电子设备可以根据困难场景点的类型为反射率过低区域的点，即若判定像素点(点a)为反射率低于第一反射率阈值类型的困难场景点，则电子设备获取与反射率过低区域的点对应的目标非基准深度图为较长曝光时间的深度图(即tof相机采集深度图时使用的曝光时间大于采集基准深度图使用曝光时间)，即电子设备获取第一曝光时长的第一深度图，并根据第一深度图与基准深度图的位姿变换关系，查找困难场景点在第一深度图中对应位置的目标点。由此使得，将基准深度图中信噪比较差的像素点或者深度值无效的点，替换为多帧深度图中深度值判定可靠对应点的值，从而提高tof相机深度图的完整性，提高深度图的质量。
97.在一个实施例中，该方法还包括：
98.若距离值大于相机与目标物体之间的距离，则判定像素点为背景点；
99.若使用深度图的应用为目标应用，则根据第一深度图与基准深度图的位姿变换关系，查找背景点在第一深度图中对应位置的目标点；
100.根据目标点的深度值，确定背景点的目标深度值；
101.将背景点的深度值替换为背景点的目标深度值。
102.若电子设备扫描到像素点(点a)的置信度值低于第一置信度阈值，则获取像素点(点a)在基准深度图中的距离值。若像素点(点a)在基准深度图中的距离值大于tof相机与目标物体之间的距离，则判定像素点(点a)为背景点，再判断使用深度图的应用是否为目标应用。若使用深度图的应用为目标应用，则电子设备根据第一深度图与基准深度图的位姿变换关系，查找背景点在第一深度图中对应位置的目标点，并根据目标点的深度值，确定背景点的目标深度值，将背景点的深度值替换为背景点的目标深度值。其中，电子设备可以根据基准深度图与第一深度图之间的位姿关系，查找出基准深度图中(点a)在第一深度图中的对应点后进行深度插值，将插值后的点利用之前算出的位姿变换到基准深度图坐标系下，用变换后点的深度值替换掉困难场景点(点a)的深度值，得到目标深度图。由此使得，根据不同目标应用的需求，将基准深度图中信噪比较差的像素点或者深度值无效的点，替换为多帧深度图中深度值判定可靠对应点的值，从而提高tof相机深度图的完整性，提高深度图的质量。
103.在一个实施例中，根据像素点的置信度值确定像素点所属困难场景点的类型的步骤，包括：
104.若扫描到像素点的置信度值高于第二置信度阈值，则判定像素点为过曝点，过曝点为反射率高于第二反射率阈值类型的困难场景点；
105.若判定像素点为过曝点，获取第三曝光时长的第三深度图，根据第三深度图与基准深度图的位姿变换关系，查找过曝点在第三深度图中对应位置的目标点。
106.若电子设备选择第二深度图作为基准深度图，则逐像素扫描基准深度图对应的置信度图，若电子设备扫描到像素点(点b)的置信度值高于第二置信度阈值，则判定像素点(点b)为过曝点，过曝点为反射率高于第二反射率阈值类型的困难场景点。进一步的，电子设备可以根据困难场景点的类型为过曝点，即若判定像素点(点b)为过曝点，则电子设备获取与过曝点对应的目标非基准深度图为较短曝光时间的深度图(即tof相机采集深度图时使用的曝光时间小于采集基准深度图使用曝光时间)，即电子设备获取第三曝光时长的第三深度图，根据第三深度图与基准深度图的位姿变换关系，查找过曝点在第三深度图中对
应位置的目标点。由此使得，通过像素点的置信度值确定像素点所属困难场景点的类型，进而获取与困难场景点的类型对应的目标非基准深度图中对应的深度值判定可靠对应点的值，并用深度值判定可靠对应点的深度值替换困难场景点的深度值从而提高tof相机深度图的完整性，提高深度图的质量。
107.在一个实施例中，困难场景点包括光滑区域内的点，根据像素点的置信度值确定像素点所属困难场景点的类型，包括：
108.若扫描到像素点的置信度值与零之间的差值小于第二差值阈值且扫描到像素点的深度值无效，则判定像素点为光滑区域内的点；
109.若判定像素点为光滑区域内的点，获取光滑区域内的点对应的目标非基准深度图，根据目标非基准深度图与基准深度图之间的位姿变换关系，查找光滑区域内的点在目标非基准深度图中对应位置的目标点；
110.获取目标点的置信度值，若目标点的置信度值满足置信度阈值范围，则将目标点的深度值作为光滑区域内的点的深度值。
111.若电子设备选择第二深度图作为基准深度图，则逐像素扫描基准深度图对应的置信度图，若电子设备扫描到像素点(点c)的置信度值与零之间的差值小于第二差值阈值且扫描到像素点的深度值无效，则判定像素点(点c)为光滑区域内的点。深度值无效，即无法获取该点的深度值，例如，当电子设备检测到无效值时，电子设备判定该点的深度值无效。其中，无效值是电子设备根据预设算法或预设策略无法计算出深度值时，得到的预设的表示深度值无效的值。例如，若目标物体存在一些较为光滑的区域(比如人的眼镜，特殊材质的衣服表面等)，发射光打在这些区域容易产生镜面反射，反射光无法被tof相机接收端所接收，从而无法生成该区域内点的有效深度值。为获得目标反射强度(反射系数)的信息，tof系统采用4
‑
quad方式多次测量来实现。每次测量时发射光脉冲的相位改变90度，得到四次测量c0，c90，c180，c270，则目标深度产生的相位差为公式(1)：
112.φ＝arctan[(c270
‑
c90)/(c0
‑
c180)]
ꢀꢀꢀ
(1)
[0113]
目标深度为公式(2)：
[0114]
d＝φ*range/2π
ꢀꢀꢀ
(2)
[0115]
反射强度(与目标反射系数相关)的置信度为公式(3)：
[0116][0117]
为在噪声环境下精确获取不同相位下信号，可采用锁相放大器以减少频率扰动产生的误差。
[0118]
在计算深度值时，首先计算相位差，由于镜面反射会导致tof相机接收不到反射回的信号，则可能存在(c0
‑
c180)值为0，则无法计算出相位差，进而导致无法计算出深度值，为此采用一个无效值来表示该点的深度值。通过电子设备检测到该无效值时，则表示该点的深度值无效。
[0119]
进一步的，电子设备可以根据困难场景点的类型为光滑区域内的点，获取光滑区域内的点对应的目标非基准深度图，根据目标非基准深度图与基准深度图之间的位姿变换关系，查找光滑区域内的点在目标非基准深度图中对应位置的目标点。电子设备可以获取查找到的目标点的置信度值，若目标点的置信度值满足置信度阈值范围，则将目标点的深度值作为光滑区域内的点的深度值。由此使得，通过像素点的置信度值确定像素点所属困
难场景点的类型，进而根据困难场景点的类型将基准深度图中信噪比较差的像素点或者深度值无效的点，替换为多帧深度图中深度值判定可靠对应点的值，从而提高tof相机深度图的完整性，提高深度图的质量。
[0120]
在一个实施例中，至少两个位姿的深度图包括第一曝光时长所对应的第一深度图、第二曝光时长所对应的第二深度图和第三曝光时长所对应的第三深度图，其中，第一曝光时长大于第二曝光时长，第二曝光时长大于第三曝光时长。电子设备从深度图集中选取第二深度图作为基准深度图，则第一深度图和第三深度图作为非基准深度图，则曝光时间t2为比较适合目标物体大部分区域的曝光时间，曝光时间t1和曝光时间t3分别为较大曝光时间与较小曝光时间，分别用于获取目标物体反射率过高或过低区域的深度值，即t1>t2>t3。若电子设备以视角2采集的第二深度图作为基准深度图，则将视角2作为基准视角，并确定第二深度图与其他非基准深度图之间的位姿变换关系。
[0121]
进一步的，电子设备依次扫描基准深度图(第二深度图)中的像素点，并从基准深度图(第二深度图)所对应的置信度图中获取像素点的置信度值。电子设备根据像素点的置信度值确定像素点所属困难场景点的类型之后，电子设备获取与困难场景点的类型对应的目标非基准深度图，根据目标非基准深度图与基准深度图之间的位姿变换关系，查找困难场景点在目标非基准深度图中对应位置的目标点。例如，电子设备从深度图集中选取第二深度图作为基准深度图，该基准深度图可以是最后一帧，则最后一帧之前所有深度图中某些点的深度值都可能根据该帧与最后一帧的位姿变换关系，被融合到最后一帧中的对应点。
[0122]
若电子设备选取第二深度图作为基准深度图，则逐像素扫描基准深度图对应的置信度图，若某一点(点a)的置信度过低，低于某一设定阈值，则该点a可能是反射率较低的点，也可能是距离较远的点，此时查看该置信度过低点(点a)对应深度图中的距离值：若该距离明显大于tof相机到目标物体的距离，则该点(点a)大概率是距离较远背景点或超出测量范围的点，此时有两个策略：第一，识别为背景点则不予处理，因为背景深度距离是否准确、背景区域成像是否完整，对目标物体深度完整性无关；第二，在某些应用中，对背景完整性也有需求，那在这些应用中，需要根据基准深度图与较长曝光时间t1(即tof相机采集深度图时使用的曝光时间t1大于采集基准深度图使用曝光时间t2)对应的第一深度图的位姿关系，即电子设备根据基准深度图(第二深度图)与较长曝光时间t1对应的第一深度图的位姿关系，搜索该置信度过低点(点a)在较长曝光时间t1深度图中的对应点。若较长曝光时间的深度图不止一帧，则可以采用前述的三种对应点选取策略进行筛选。
[0123]
若电子设备选取第二深度图作为基准深度图，则逐像素扫描基准深度图对应的置信度图，若某一点(点a)的置信度过低，低于某一设定阈值，则该点a可能是反射率较低的点，也可能是距离较远的点，此时查看该置信度过低点(点a)对应深度图中的距离值：若该距离与目标物体其他区域的距离相近，则该点(点a)大概率为目标区域内低反射率点，需要根据基准深度图与较长曝光时间深度图的位姿关系，用较长曝光时间深度图上的对应点替换基准深度图上置信度过低的点，具体选法与测量与上述方法一致。
[0124]
需要提到的是，若根据位姿关系计算得到基准深度图上某点在其他深度图上对应位置不是某一个像素点，而是位于某几个像素点之间，这时需要使用这几个像素点进行亚像素级的深度插值。例如，电子设备根据位姿变换关系计算得到对应点的位置位于4个像素
点之间，则需要根据预设策略，对这4个像素点进行亚像素级的深度插值。可以理解的是，插值方法包括但不限于最邻近插值、双线性插值等。
[0125]
上述提到的对低反射率点的处理方法，对过高反射率的点，即过曝点的处理方法类似。过曝点常出现的场景有：近距离的应用场景、或者目标物体整体反射率都比较低，而部分区域反射率较高，此时整体可能需要较高的曝光时间。同样，电子设备在逐像素扫描基准深度图对应置信度图的过程中，若某点(点b)置信度值高于某一阈值，则认为该点过曝，此时生成的深度值可能无效，也可能精度较差。电子设备可以根据基准深度图与其他曝光时间较短t3(即tof相机采集深度图时使用的曝光时间t3小于采集基准深度图使用曝光时间t2)深度图的位姿关系，使用较低曝光时间t3深度图对应点深度值进行替换，若存在多帧较短曝光时间深度图，处理方法与上述相同，若需要用到插值，则插值方法也与上述一致。
[0126]
对于目标物体光滑区域内的点，如图5所示，为tof相机在某个视角下拍摄光滑区域的光路示意图。由于tof相机发射的信号光大部分发生了镜面反射，很难被tof相机接收端所接收，因此这些区域在深度图上的生成的深度值通常无效，且对应的置信度很小(几乎接近于0)。此时增加或缩短曝光时间都无法生成这些区域点的深度值，但通过变换tof相机位姿，如图6所示，为tof相机在另一个视角下拍摄光滑区域的光路示意图。在某个合适的角度(姿态下)可能会接收到来自光滑区域的信号反射光，从而生成深度值。电子设备可以根据基准深度图与其他深度图位姿变换关系，扫描这些点(深度值无效、置信度接近于0或者置信度值与零之间的差值小于第二差值阈值)在其他不同位姿的非基准深度图中对应点的置信度，若存在置信度大于0且在一个预设的合理阈值范围之内，则认为该位姿可以对光滑区域生成有效深度值，将该深度值变换到基准坐标系下，替换基准深度图对应点即可。若存在多个位姿的深度图对可以对该区域生成有效深度值，处理方法与上述相同，若需要用到插值，则插值方法也与上述一致。
[0127]
本实施例中，通过使用算法策略提升了tof相机深度图的完整性，可有效解决部分困难场景(目标反射率低、过曝与光滑镜面反射)深度值无效或深度值精度低的问题。
[0128]
在一个实施例中，如图7所示，获取基准深度图和非基准深度图的步骤，包括：
[0129]
步骤702，获取当前帧深度图和历史帧深度图。
[0130]
步骤704，从当前帧深度图和历史帧深度图中选取一帧深度图作为基准深度图，将另一帧深度图作为非基准深度图。
[0131]
电子设备可以获取通过itof相机采集的当前帧深度图和历史帧深度图。历史帧深度图是每次与之前帧深度图进行融合更新后的深度图。电子设备从当前帧深度图和历史帧深度图中选取一帧深度图作为基准深度图，将另一帧深度图作为非基准深度图。例如，电子设备可以将当前帧深度图作为基准深度图，将历史帧深度图作为非基准深度图；电子设备也可以将历史帧深度图作为基准深度图，将当前帧深度图作为非基准深度图。本实施例中的方法比较适用于拍照背景虚化等场景，在不断调整拍照角度时，不断迭代生成历史帧，按下拍照那一刻tof相机采集到的深度图作为基准深度图，基准深度图中某些困难场景点使用历史帧对应点替换，最终生成一帧目标深度完整，且精度较高的深度图，能够有效解决头发、眼镜、低反射率衣服等因素造成深度图轮廓不完整不准确的问题。
[0132]
在其中一个实施例中，如图8所示，根据目标点的深度值，确定困难场景点的目标深度值的步骤，包括：
[0133]
步骤802，根据目标点对应的置信度值确定目标点的深度值的质量。
[0134]
步骤804，根据困难场景点对应的置信度值确定困难场景点的深度值的质量。
[0135]
步骤806，若目标点的深度值的质量大于困难场景点的深度值的质量，则将目标点的深度值作为困难场景点的目标深度值。
[0136]
步骤808，若目标点的深度值的质量不大于困难场景点的深度值的质量，则将基准深度图中困难场景点的深度值保持不变。
[0137]
前述电子设备获取通过tof相机采集的多帧深度图中需要将采集到所有的深度图都保存下来，并且需要计算基准深度图与其余所有深度图的位姿关系，需要大量的存储空间与运算资源。本实施中，在不断采集深度图的过程中，可以同时利用cpu计算本次采集的深度图与历史帧深度图之间的位姿变换关系，将本次采集的当前帧深度图作为基准深度图，若存在困难场景点(判定为反射率过低的点、过曝点、光滑区域的点)，则电子设备查看历史帧深度图对应点的质量(根据置信度判断)是否好于本帧，若好于本帧，则直接使用历史帧深度图对应点深度值进行替换，否则维持本帧数据不变，之后只保存更新后的本帧深度图(即本帧深度图与历史帧中对应点的深度值进行融合后，得到的更新后的本帧深度图)，并将更新后的当前帧深度图作为历史帧深度图。其中，置信度值的大小与深度值的质量之间的相关关系为正相关，即目标点(或困难场景点)对应的置信度值越大，则说明目标点(或困难场景点)的深度值的质量越好。例如，若电子设备查看历史帧深度图对应点的置信度值大于本帧深度图中困难场景点的置信度值，则判定历史帧深度图对应点的深度值的质量好于本帧深度图中困难场景点的深度值的质量，则直接使用历史帧深度图对应点深度值进行替换。若电子设备查看历史帧深度图对应点的置信度值不大于本帧深度图中困难场景点的置信度值，则判定历史帧深度图对应点的深度值的质量低于本帧深度图中困难场景点的深度值的质量，则维持本帧数据不变。
[0138]
当tof相机继续采集下一帧深度图时，若判定存在困难场景点，则基于当前帧深度图与历史帧深度图之间的位姿变换关系，将对应点的深度值进行替换。如此不断循环，则只需要保存一帧历史帧即可，因为历史帧经过不断的迭代，包含了之前所有质量较好的深度值。由此，可有效减少存储空间，同时避免了基准深度图与其余多帧非基准深度图之间位姿变换关系的计算和对应点查找，可有效节约运算资源。
[0139]
此外，在某些应用中，目标物体中困难场景区域可能比较多，从历史帧深度图寻找基准深度图(本帧深度图)对应点进行深度值替换的方法，对基准深度图完整性与精度等性能的提高可能会比较有限。而历史帧是经过不断迭代生成的质量较好的一帧深度图，此时电子设备也可以将历史帧深度图作为基准深度图，针对历史帧深度图中存在的困难场景点，根据位姿变换关系，在本帧深度图中寻找质量较好的对应点进行替换，最后输出历史帧深度图。上述方法比较适用于拍照背景虚化等场景，在不断调整拍照角度时，不断迭代生成历史帧，按下拍照那一刻tof相机采集到的深度图作为非基准深度图，基准深度图(历史帧深度图)中某些困难场景点使用本帧对应点替换，最终生成一帧目标深度完整，且精度较高的深度图，解决头发、眼镜、低反射率衣服等因素造成深度图轮廓不完整不准确的问题。此外，也可在slam应用中，用于中间帧深度图完整性与精度的提升。同样，还可以用于三维建模等需要完整性较好深度图的其他应用。
[0140]
在一个实施例中，由于上述实施例中最后不论是输出本帧深度图还是历史帧深度
图，可能存在一些不足：当历史帧深度图与本帧深度图tof相机位姿变换较大时，输出历史帧深度图，则目标深度图中目标形态与当前位姿差别较大；输出本帧深度图，则有些困难场景点在历史帧可能找不到对应点，而无法进一步提高本帧深度图完整性；每次采集只保存了历史帧，其余深度图均未保存，则最后输出基准深度图中某些困难场景点可能存在于之前某些帧，而不存在于历史帧中，那这些困难场景点将无法替换为质量较好的对应点。进一步的，上述深度图生成方法还包括：当以当前帧深度图和历史帧深度图其中一帧深度图为基准深度图，另一帧深度图为非基准深度图，且在非基准深度图中未找到与基准深度图的困难场景点相匹配的点时，查找困难场景点在关键帧深度图中对应位置的目标点，其中，关键帧深度图为存储的除历史帧深度图外的其他帧深度图。
[0141]
例如，假设电子设备将当前帧深度图作为基准深度图，将历史帧深度图作为非基准深度图，且电子设备在非基准深度图(历史帧深度图)中未找到与基准深度图的困难场景点相匹配的点时，则电子设备可以查找困难场景点在关键帧深度图中对应位置的目标点。电子设备可以获取关键帧深度图，并查找困难场景点在关键帧深度图中对应位置的目标点。其中，关键帧深度图可以包括曝光时长大于预设曝光时长的深度图、曝光时长小于预设曝光时长的深度图、不同姿态的深度图等。例如，在某些tof相机位姿变换较大的应用中，除历史帧外，可以保存一些有价值的其他帧深度图(较长、较短曝光时间的若干帧，姿态变换较大的若干帧)，由此，一些有价值的其他帧深度图也可以用于填充或替换基准深度图中困难场景点。
[0142]
此外，在一个实施例中，上述深度图生成方法还包括：获取中间帧深度图，并保存该中间帧深度图。例如，在某些应用中，需要不断保存中间帧，则不一定选择最后一帧深度图为基准深度图，而是将需要生成中间帧的深度图作为基准深度图，利用该帧之前的深度图数据提升该基准深度图的完整性与精度。那么，该中间帧生成的基准深度图又可以作为后续某个中间帧的历史帧，继续提升后续中间帧深度图的完整性。本实施例中的这种方法也可以应用在slam应用中。在对帧率要求较高的某些应用中，也可以只变换3个位姿，3个曝光时间，或者在位姿不断变换过程中，只保存其中2帧，与最后一帧融合生成最后的目标深度图。由此使得，能够根据不同应用所对应的功能，确定对应策略的基准深度图和非基准深度图，最终生成一帧目标深度完整，且精度较高的深度图，解决头发、眼镜、低反射率衣服等因素造成深度图轮廓不完整不准确的问题。
[0143]
在一个实施例中，根据目标点的深度值，确定困难场景点的目标深度值的步骤，包括：
[0144]
若根据位姿变换关系，查找得到困难场景点在非基准深度图中对应位置的目标点位于多个候选像素点之间，利用多个候选像素点的深度值进行插值，得到困难场景点的目标深度值。
[0145]
例如，若电子设备根据位姿变换关系计算得到对应点的位置位于4个像素点之间，则电子设备利用上述4个候选像素点的深度值进行插值，得到困难场景点的目标深度值。由此使得，可有效解决部分困难场景(目标反射率低、过曝与光滑镜面反射)深度值无效或深度值精度低的问题，同时目标深度图的深度距离精度也会有所提高。
[0146]
在其中一个实施例中，利用多个候选像素点的深度值进行插值，得到困难场景点的目标深度值的步骤，包括：
[0147]
从候选像素点中选定候选可靠点，对候选可靠点的深度值进行插值，得到插值后的深度值；
[0148]
根据位姿变换关系，将插值后的深度值变换到基准深度图对应的坐标系中，得到困难场景点的目标深度值。
[0149]
若电子设备根据位姿变换关系计算得到基准深度图上某点在其他深度图上对应位置不是某一个像素点，而是位于某几个像素点之间，这时需要使用这几个像素点进行亚像素级的深度插值。其中，插值方法包括但不限于最邻近插值、双线性插值等。即电子设备基于预设策略，从候选像素点中选定候选可靠点，对候选可靠点的深度值进行插值，得到插值后的深度值，并根据位姿变换关系，将插值后的深度值变换到基准深度图对应的坐标系中，得到困难场景点的目标深度值。
[0150]
例如，若电子设备根据位姿变换关系计算得到对应点的位置位于4个像素点之间，若4个像素点的深度值相差不大，则可以直接插值；若4个深度值中其中1个值与其他3个值之间差别较大，则可能是落在了某个边缘，此时不能直接做插值，需要先剔除差别较大的那个深度点，以达到保边的效果；若4个深度值中有2个深度值差别不大，另外2个深度值差别也不大，但这两对之间的深度值差别较大，此时同样可能是落在了某个边缘，此时需要判断计算出的对应点位置与哪两个点距离近，就用哪两个点插值。当然，4个深度值可能会存在其他关系，此时依然可以基于某种策略进行插值。此外，在某些对边缘要求较高的应用中，在插值时发现落在了某个边缘，也可以放弃对应点深度值的替换，这里不做具体限定。由此使得，通过使用算法策略提升了tof相机深度图的完整性，可有效解决部分困难场景(目标反射率低、过曝与光滑镜面反射)深度值无效或深度值精度低的问题。
[0151]
在一个实施例中，在不断采集深度图的过程中，电子设备可以获取当前帧深度图和历史帧深度图，同时电子设备可以利用cpu计算本次采集的深度图与历史帧深度图之间的位姿变换关系。假设电子设备将本次采集的当前帧深度图作为基准深度图，电子设备基于预设深度图质量的判定条件，若判定在基准深度图(当前帧深度图)中存在困难场景点(判定为反射率过低的点、过曝点、光滑区域的点)，则电子设备查找困难场景点在历史帧深度图中对应位置像素点的质量(根据置信度判断)是否好于本帧，若好于本帧，则直接使用历史帧深度图对应位置像素点的深度值进行替换，否则维持本帧数据不变，之后只保存更新后的本帧深度图(即本帧深度图与历史帧中对应点的深度值进行融合后，得到的更新后的本帧深度图)，并将更新后的当前帧深度图作为历史帧深度图。例如，若电子设备查找历史帧深度图对应位置像素点的置信度值大于本帧深度图中困难场景点的置信度值，则判定历史帧深度图对应位置像素点的深度值的质量好于本帧深度图中困难场景点的深度值的质量，则直接使用历史帧深度图对应位置像素点的深度值进行替换。若电子设备查找历史帧深度图对应位置像素点的置信度值不大于本帧深度图中困难场景点的置信度值，则判定历史帧深度图对应位置像素点的深度值的质量低于本帧深度图中困难场景点的深度值的质量，则维持本帧数据不变。
[0152]
此外，当电子设备在非基准深度图(历史帧深度图)中未找到与基准深度图的困难场景点相匹配的点时，则电子设备可以查找困难场景点在关键帧深度图中对应位置的目标点。电子设备可以获取关键帧深度图，并查找困难场景点在关键帧深度图中对应位置的像素点。即电子设备查找困难场景点在关键帧深度图中对应位置像素点的质量(根据置信度
判断)是否好于本帧，若好于本帧，则直接使用关键帧深度图对应位置像素点的深度值进行替换，否则维持本帧数据不变。
[0153]
另外，若电子设备根据当前帧深度图与历史帧深度图之间的位姿变换关系，或者电子设备根据当前帧深度图与关键帧深度图之间的位姿变换关系，查找得到当前帧深度图中困难场景点在非基准深度图(历史帧深度图或者关键帧深度图)中对应位置的像素点位于多个候选像素点之间，则电子设备可以利用多个候选像素点的深度值进行插值，得到困难场景点的目标深度值。具体的，电子设备可以从多个候选像素点中选定候选可靠点，对候选可靠点的深度值进行插值，得到插值后的深度值。进一步的，电子设备可以根据当前帧深度图与历史帧深度图之间的位姿变换关系，或者电子设备根据当前帧深度图与关键帧深度图之间的位姿变换关系，将插值后的深度值变换到基准深度图(当前帧深度图)对应的坐标系中，得到困难场景点的目标深度值。由此，在不断调整拍照角度时，不断迭代生成历史帧，按下拍照那一刻tof相机采集到的深度图作为基准深度图，基准深度图中某些困难场景点使用历史帧或者关键帧对应点替换，最终生成一帧目标深度完整，且精度较高的深度图，能够有效解决头发、眼镜、低反射率衣服等因素造成深度图轮廓不完整不准确的问题。
[0154]
此外，在一种可能的实现方式中，可以将插值后的深度值的质量与困难场景点的深度值的质量进行比较，若插值后的深度值的质量好于困难场景点的深度值的质量，则将插值后的深度值替换困难场景点的深度值，若插值的深度值的质量低于困难场景点的深度值的质量，则保持困难场景点的深度值不变。
[0155]
在一个实施例中，确定非基准深度图与基准深度图之间的位姿变换关系的步骤，包括：
[0156]
获取基准深度图所对应的基准视角下的第一幅值图，以及非基准深度图所对应的候选视角下的第二幅值图；第一幅值图和所述第二幅值图为二维图；
[0157]
获取第一幅值图中的第一特征点，以及第二幅值图中的第二特征点；
[0158]
将第一特征点与第二特征点进行匹配，得到基准深度图与非基准深度图之间的多个特征匹配对，特征匹配对为二维像素点之间的匹配对；
[0159]
在多个特征匹配对中查找基准视角坐标系下置信度值大于第三置信度阈值的目标二维点；
[0160]
根据相机内参数，将目标二维点反投影到基准视角坐标系中，形成三维空间点，得到基准视角坐标系的三维空间点与候选视角下的二维特征点之间的匹配对；
[0161]
根据匹配对，计算得到基准视角与候选视角之间的位姿变换关系。
[0162]
首先，tof相机需要经过内参数标定，获取镜头焦距、主点坐标和镜头畸变系数等tof相机内参，这个操作只需要在tof相机使用之前做一次即可，标定好之后将内参数写在存储器中长期保存。接下来就是tof相机不同视角下的位姿求解过程。如图9所示，为各视角之间的位姿变换关系求解示意图。电子设备以视角3作为基准视角，其对应的深度图3作为基准深度图，将该视角3作为世界坐标系，设定其位姿为0。在每个视角下，都可以获得该视角下tof相机拍摄到的幅值图。电子设备可以对这些幅值图进行特征提取，这里提取的特征种类可以是fast、harris等角点，或者是orb、sift、surf等特征点，不做具体限定。
[0163]
进一步的，电子设备可以将其他视角下的幅值图(视角1，视角2)与基准视角下(视角3)的幅值图进行数据关联，这里可以是角点之间的光流匹配，也可以是特征点之间的描
述子匹配。不同视角下的角点或者特征点进行光流匹配或者特征点匹配的过程，即为数据关联。
[0164]
具体的，电子设备可以获取基准深度图所对应的基准视角下(视角3)的第三幅值图，以及非基准深度图所对应的候选视角下(视角1，视角2)的第一幅值图和第二幅值图。其中，第一幅值图、第二幅值图以及第三幅值图为二维图。电子设备获取第一幅值图中的第一特征点、第二幅值图中的第二特征点以及第三幅值图中的第三特征点。电子设备可以将第一特征点与第三特征点进行角点之间的光流匹配，得到基准深度图(视角3)与非基准深度图(视角1)之间的多个特征匹配对，特征匹配对为二维像素点之间的匹配对。即电子设备最终获取到两个不同视角图像之间的多个特征匹配对。这里得到的匹配对为二维像素点之间的匹配，电子设备可以利用对极几何约束关系来求解两视角之间的位姿变换关系，但是这样求解出的位姿会出现平移尺度不确定性。
[0165]
由于深度图的存在，已知一些图像二维像素点的深度值，刚好可以避免尺度不确定的问题。具体做法是：在二维点匹配对中查找出基准视角下(视角3)深度置信度较高的特征点(置信度值较高的特征点)，即电子设备可以在多个特征匹配对中查找基准视角坐标系下置信度值大于第三置信度阈值的目标二维点，并利用tof相机内参，将二维点反投影到空间中，形成三维空间点，便可以得到基准视角下(视角3)的三维空间点与其他视角下的二维特征点之间的匹配对。进一步的，电子设备根据这些匹配点对，使用带ransanc的pnp算法，便可以求解出基准视角与其他视角之间尺度准确的位姿变换关系。其中，二维匹配对中的点，有一些是可以根据对应的深度图查找到深度值的，但是这些深度值不一定准确，只保留置信度值较高的深度值，这些值置信度较高。由此使得，通过tof相机自身生成的幅值图来求解基准视角与候选视角之间的位姿变换关系，为后续进行深度图融合步骤提供精准的其他视角下的可靠点的深度值，以提高融合后的目标深度图的完整性，同时目标深度图的深度距离精度也会有所提高。
[0166]
在一个实施例中，确定非基准深度图与基准深度图之间的位姿变换关系的步骤，包括：
[0167]
利用测量设备获取采集基准深度图和非基准深度图时表征相机位姿的相关参数；
[0168]
对相关参数进行处理，得到非基准深度图与基准深度图之间的位姿变换关系。
[0169]
其中，相关参数包括平移矩阵和旋转向量。以电子设备为移动终端进行说明。在移动终端上，tof相机通常不会单独使用，一般都会配合rgb相机或其他图像传感器，而rgb相机或其他图像传感器与tof相机刚性连接，因此通过rgb图像求解出的rgb相机不同视角之间的位姿关系同样适用于tof相机，但同时需要提前标定，获取到rgb相机的内参数与rgb相机与tof相机之间的外参。
[0170]
若移动终端等设备上搭载有其他获取位姿关系的测量设备，例如传感器(如imu等)，或者在场景中放置其他可以获取移动终端或者tof相机位姿的测量设备，也可以获取到tof相机位姿关系，然后将相关参数(平移矩阵和旋转向量等)通过有线或无线的方式传输到处理tof相机数据的cpu中，也可得到采集多帧深度图时tof相机的位姿变换关系。
[0171]
可以理解的是，本技术中不指定tof相机位姿关系求解的具体方法，确定非基准深度图与基准深度图之间的位姿变换关系的方式包括但不限于使用带ransanc的pnp算法，还可以为其他方式，例如通过测量设备得到相关参数并计算得到位姿变换关系，但从实际应
用来说，通过tof相机自身可以生成的幅值图来求解，最为方便和实用。若将本方法应用在拍照虚化或者小物体建模、场景建模等场景中，一般会用到rgb相机，因此，利用rgb图像求解相机位姿关系也是可以选择的方式，只要能够实现得到位姿变换关系，对其确定方式不做限定。
[0172]
在一个实施例中，该方法还包括：
[0173]
输出目标深度图及对应的提示信息，提示信息包括目标深度图中困难场景点、困难场景点类型和预设操作策略中的至少一种。
[0174]
在某些应用中，电子设备得到目标深度图之后，可以将当前生成的基准深度图或历史帧深度图显示出来供操作人(用户)查看，并指出深度图中尚未被有效替换的困难场景点及困难场景类型，给出预设操作策略，例如，需要变换tof相机到哪些位置，采用更高曝光时间还是更低曝光时间去替换这些点的有效深度值。
[0175]
本实施例中并不能保证最后输出的深度图中所有点都为有效值，总会存在一些反射率极低或距离很远的点。在某些对完整性要求更高的场景中，可以对最后输出的深度图做进一步处理，将仍然存在的无效点在保边缘的情况下做深度插值处理，包括但不限于最邻近插值、线性插值等方法。或者在某些应用中，结合rgb彩色相机彩色图像中的信息，完成对深度图无效点的插补。由此，通过使用算法策略提升了tof相机深度图的完整性，可有效解决部分困难场景(目标反射率低、过曝与光滑镜面反射)深度值无效或深度值精度低的问题。
[0176]
应该理解的是，虽然图1
‑
9的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1
‑
9中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0177]
图10为一个实施例的深度图生成装置的结构框图。如图10所示，提供了一种深度图生成装置，包括：获取模块1002、位姿关系确定模块1004、困难场景点确定模块1006、查找模块1008、处理模块1010和替换模块1012，其中：
[0178]
获取模块1002，用于获取基准深度图和非基准深度图。
[0179]
位姿关系确定模块1004，用于确定非基准深度图与基准深度图之间的位姿变换关系。
[0180]
困难场景点确定模块1006，用于基于预设深度图质量的判定条件，获取基准深度图中的困难场景点，困难场景点为深度值不符合判定条件对应的质量要求的像素点。
[0181]
查找模块1008，用于根据位姿变换关系，查找困难场景点在非基准深度图中对应位置的目标点。
[0182]
处理模块1010，用于根据目标点的深度值，确定困难场景点的目标深度值。
[0183]
替换模块1012，用于将困难场景点的深度值替换为目标深度值，得到目标深度图。
[0184]
在一个实施例中，该装置还包括：选取模块。
[0185]
获取模块还用于获取多帧深度图，得到深度图集，深度图集中包括相对于目标物
体至少两个位姿的深度图。选取模块用于从深度图集中选取一帧深度图作为基准深度图，将深度图集中其他的深度图作为非基准深度图。
[0186]
在一个实施例中，选取模块还用于从深度图集中选取第二深度图作为基准深度图。
[0187]
在一个实施例中，获取模块还用于扫描基准深度图中的像素点，并从基准深度图所对应的置信度图中获取像素点的置信度值。困难场景点确定模块还用于根据像素点的置信度值确定像素点所属困难场景点的类型。查找模块还用于获取与困难场景点的类型对应的目标非基准深度图，根据目标非基准深度图与基准深度图之间的位姿变换关系，查找困难场景点在目标非基准深度图中对应位置的目标点。
[0188]
在一个实施例中，处理模块还用于将多帧目标非基准深度图中任一帧深度图的目标点的深度值作为困难场景点的目标深度值；或者，在每一帧目标非基准深度图中均查找到与困难场景点对应的一个目标点，将置信度值最大的目标点的深度值作为困难场景点的目标深度值；或者，在每一帧目标非基准深度图中均查找到与困难场景点对应的一个目标点，将多个目标点的深度值进行加权平均或算术平均得到困难场景点的目标深度值。
[0189]
在一个实施例中，该装置还包括：判定模块。
[0190]
获取模块还用于若扫描到像素点的置信度值低于第一置信度阈值，则获取像素点在基准深度图中的距离值。判定模块用于若像素点的距离值与基准深度图中目标区域内其余像素点的距离值之间的差值小于第一差值阈值，则判定像素点为反射率低于第一反射率阈值类型的困难场景点。查找模块还用于若判定像素点为反射率低于第一反射率阈值类型的困难场景点，获取第一曝光时长的第一深度图，根据第一深度图与基准深度图的位姿变换关系，查找困难场景点在第一深度图中对应位置的目标点。
[0191]
在一个实施例中，判定模块还用于若距离值大于相机与目标物体之间的距离，则判定像素点为背景点，则不处理。
[0192]
在一个实施例中，该装置还包括：判断模块。
[0193]
判断模块用于若距离值大于相机与目标物体之间的距离，则判定像素点为背景点。查找模块还用于若使用深度图的应用为目标应用，则根据第一深度图与基准深度图的位姿变换关系，查找背景点在第一深度图中对应位置的目标点。处理模块还用于根据目标点的深度值，确定背景点的目标深度值。替换模块还用于将背景点的深度值替换为背景点的目标深度值。
[0194]
在一个实施例中，判定模块还用于若扫描到像素点的置信度值高于第二置信度阈值，则判定像素点为过曝点，过曝点为反射率高于第二反射率阈值类型的困难场景点。查找模块还用于若判定像素点为过曝点，获取第三曝光时长的第三深度图，根据第三深度图与基准深度图的位姿变换关系，查找过曝点在第三深度图中对应位置的目标点。
[0195]
在一个实施例中，判定模块还用于若扫描到像素点的置信度值与零之间的差值小于第二差值阈值且扫描到像素点的深度值无效，则判定像素点为光滑区域内的点。查找模块还用于若判定像素点为光滑区域内的点，获取光滑区域内的点对应的目标非基准深度图，根据目标非基准深度图与基准深度图之间的位姿变换关系，查找光滑区域内的点在目标非基准深度图中对应位置的目标点。处理模块还用于获取目标点的置信度值，若目标点的置信度值满足置信度阈值范围，则将目标点的深度值作为光滑区域内的点的深度值。
[0196]
在一个实施例中，获取模块还用于获取当前帧深度图和历史帧深度图。选取模块还用于从当前帧深度图和历史帧深度图中选取一帧深度图作为基准深度图，将另一帧深度图作为非基准深度图。处理模块还用于根据目标点对应的置信度值确定目标点的深度值的质量；根据困难场景点对应的置信度值确定困难场景点的深度值的质量；若目标点的深度值的质量大于困难场景点的深度值的质量，则将目标点的深度值作为困难场景点的目标深度值；若目标点的深度值的质量不大于困难场景点的深度值的质量，则将基准深度图中困难场景点的深度值保持不变。
[0197]
在一个实施例中，查找模块还用于当以当前帧深度图和历史帧深度图其中一帧深度图为基准深度图，另一帧深度图为非基准深度图，且在非基准深度图中未找到与基准深度图的困难场景点相匹配的点时，查找困难场景点在关键帧深度图中对应位置的目标点，其中，关键帧深度图为存储的除历史帧深度图外的其他帧深度图。
[0198]
在一个实施例中，该装置还包括：计算模块。
[0199]
计算模块用于若根据位姿变换关系，查找得到困难场景点在非基准深度图中对应位置的目标点位于多个候选像素点之间，利用多个候选像素点的深度值进行插值，得到困难场景点的目标深度值。
[0200]
在一个实施例中，该装置还包括：变换模块。
[0201]
计算模块还用于从候选像素点中选定候选可靠点，对候选可靠点的深度值进行插值，得到插值后的深度值。变换模块用于根据位姿变换关系，将插值后的深度值变换到基准深度图对应的坐标系中，得到困难场景点的目标深度值。
[0202]
在一个实施例中，该装置还包括：匹配模块。
[0203]
获取模块还用于获取基准深度图所对应的基准视角下的第一幅值图，以及非基准深度图所对应的候选视角下的第二幅值图；第一幅值图和所述第二幅值图为二维图；获取第一幅值图中的第一特征点，以及第二幅值图中的第二特征点。匹配模块用于将第一特征点与第二特征点进行匹配，得到基准深度图与非基准深度图之间的多个特征匹配对；特征匹配对为二维像素点之间的匹配对。查找模块还用于在多个特征匹配对中查找基准视角坐标系下置信度值大于第三置信度阈值的目标二维点。处理模块还用于根据相机内参数，将目标二维点反投影到基准视角坐标系中，形成三维空间点，得到基准视角坐标系的三维空间点与候选视角下的二维特征点之间的匹配对。计算模块还用于根据匹配对，计算得到基准视角与候选视角之间的位姿变换关系。
[0204]
在一个实施例中，获取模块还用于利用测量设备获取采集基准深度图和非基准深度图时表征相机位姿的相关参数。处理模块还用于对相关参数进行处理，得到非基准深度图与基准深度图之间的位姿变换关系。
[0205]
在一个实施例中，该装置还包括：输出模块。
[0206]
输出模块用于输出目标深度图及对应的提示信息，提示信息包括目标深度图中困难场景点、困难场景点类型和预设操作策略中的至少一种。
[0207]
上述深度图生成装置中各个模块的划分仅仅用于举例说明，在其他实施例中，可将深度图生成装置按照需要划分为不同的模块，以完成上述深度图生成装置的全部或部分功能。
[0208]
关于深度图生成装置的具体限定可以参见上文中对于深度图生成方法的限定，在
此不再赘述。上述深度图生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0209]
图11为一个实施例中电子设备的内部结构示意图。该电子设备可以是手机、平板电脑、笔记本电脑、台式电脑、pda(personal digital assistant，个人数字助理)、pos(point of sales，销售终端)、车载电脑、穿戴式设备等任意终端设备。该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器可以包括一个或多个处理单元。处理器可为cpu(central processing unit,中央处理单元)或dsp(digital signal processing，数字信号处理器)等。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种深度图生成方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。
[0210]
本技术实施例中提供的深度图生成装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本技术实施例中所描述方法的步骤。
[0211]
本技术实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行深度图生成方法的步骤。
[0212]
本技术实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行深度图生成方法。
[0213]
本技术所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括rom(read
‑
only memory，只读存储器)、prom(programmable read
‑
only memory，可编程只读存储器)、eprom(erasable programmable read
‑
only memory，可擦除可编程只读存储器)、eeprom(electrically erasable programmable read
‑
only memory，电可擦除可编程只读存储器)或闪存。易失性存储器可包括ram(random access memory，随机存取存储器)，它用作外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如sram(static random access memory，静态随机存取存储器)、dram(dynamic random access memory，动态随机存取存储器)、sdram(synchronous dynamic random access memory，同步动态随机存取存储器)、双数据率ddr sdram(double data rate synchronous dynamic random access memory，双数据率同步动态随机存取存储器)、esdram(enhanced synchronous dynamic random access memory，增强型同步动态随机存取存储器)、sldram(sync link dynamic random access memory，同步链路动态随机存取存储器)、rdram(rambus dynamic random access memory，总线式动态随机存储器)、drdram(direct rambus dynamic random access memory，接口动态随机存储器)。
[0214]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保
护范围。因此，本技术专利的保护范围应以所附权利要求为准。