消除图像模糊距离的方法、装置、电子设备及存储介质与流程

1.本技术涉及图像处理技术领域，具体而言，涉及一种消除图像模糊距离的方法、装置、电子设备及存储介质。


背景技术：

2.3d视觉技术近年来已蓬勃兴起，特别是随着机器人、自动驾驶、地图测绘、vr/ar等行业的发展，更高分辨率、更精确的测算精度，更实时更耐久的3d测量系统成为了限制行业发展的技术瓶颈。
3.目前主要的测量深度的方案有双目测距法、结构光测距法、直接飞行时间（direct time-of-flight，dtof）测距法、间接飞行时间（indirect time-of-flight，dtof）测距法。以itof测距法为例，其在解算过程中会产生模糊距离，现有技术中解决模糊距离的方法可以通过降低调制频率来消除模糊距离，但是随着调制频率的降低，itof的测量精度也会降低。


技术实现要素：

4.本技术实施例的目的在于提供一种消除图像模糊距离的方法、装置、电子设备及存储介质，用以在消除模糊距离同时，保证itof相机的测量精度。
5.第一方面，本技术实施例提供一种消除图像模糊距离的方法，包括：获取待测对象的视觉图和间接飞行时间itof图，其中itof图包括强度图和相位图；根据相位图确定多个模糊距离；基于每个所述模糊距离，将视觉图与相位图进行点匹配，以获得视觉图中各个像素点与强度图和相位图中像素点的对应关系；计算每个模糊距离对应的点匹配后的视觉图与强度图之间的相似度；根据相似度从多个模糊距离中确定目标距离。
6.本技术实施例通过视觉图和itof图之间的视差信息来消除模糊距离，从而通过本技术的方法既能够消除模糊距离，又能够保证itof相机的测量精度。
7.在任一实施例中，基于每个模糊距离，将视觉图与相位图进行点匹配，包括：获取采集视觉图的视觉相机对应的第一畸变参数与itof图对应的itof相机的第二畸变参数；针对相位图中每一像素点，根据像素点的第一像素坐标和第二畸变参数计算各像素点对应的校正像素位置；根据校正像素位置、模糊距离确定像素点对应的三维坐标；利用成像模型将三维坐标投影为第二像素坐标；根据第一畸变参数和第二像素坐标确定与相位图中的像素点相匹配的视觉图对应的像素点。
8.本技术实施例通过利用成像模型和镜头畸变模型将每个模糊距离下的视觉图中的像素点与相位图中的像素点进行匹配，从而能够在视觉图中确定与相位图和强度图中像素点相对应的像素点，为后续相似度计算提供基础。
9.在任一实施例中，基于每个模糊距离，将视觉图与相位图进行点匹配，包括：分别对视觉图和相位图进行极线校正，获得视觉图对应的校正视觉图和相位图对应的校正相位图，以及等效焦距；根据等效焦距、待测对象到相机的距离和视觉图对应的视觉相机与相位
图对应的itof相机的光心距离计算获得视差；根据视差确定与相位图中的像素点相匹配的视觉图中的像素点。
10.本技术实施例采用极线校正的方法，使得视觉相机和itof相机的光轴完全平行，从而能够在视觉图中确定与相位图和强度图中像素点相对应的像素点，为后续相似度计算提供基础。
11.在任一实施例中，计算点匹配后的视觉图与强度图之间的相似度，包括：按照预设窗口大小获取所述强度图中每一像素点对应的子强度图和所述视觉图中对应的子视觉图；计算处于每一像素点对应的子视觉图和子强度图之间的子相似度；根据所有的子相似度确定点匹配后的视觉图与点匹配后的强度图之间的相似度。
12.本技术实施例通过计算视觉图和强度图中每一像素点对应的窗口的相似度，并根据相似度从多个模糊距离中确定该像素点对应的目标距离，从而消除了模糊距离。
13.在任一实施例中，根据相似度从多个模糊距离中确定目标距离，包括：针对每个像素点，将相似度最大值对应的模糊距离作为像素点对应的目标距离。
14.本技术实施例通过将相似度最大值对应的模糊距离作为该像素点对应的目标距离，从而可以准确地确定各像素点对应的真实的距离。
15.在任一实施例中，在获得目标距离后，该方法还包括：获取目标距离对应的相位图中不符合预设要求的待优化像素点，以及待优化像素点对应的相邻像素点；利用相邻像素点对的待优化像素点进行优化处理，获得优化后的去除模糊距离的相位图。
16.本技术实施例通过对不符合预设要求的待优化像素点进行优化，从而达到了填充失效点，和平滑测量结果的效果。
17.在任一实施例中，在获取待测对象的视觉图和间接飞行时间itof图之后，该方法还包括：分别对视觉图、强度图和相位图进行预处理，获得预处理后的视觉图、预处理后的强度图和预处理后的相位图；将视觉图与相位图进行点匹配，包括：对预处理后的视觉图与预处理后的相位图进行点匹配。
18.本技术实施例通过预先对视觉图、强度图和相位图进行预处理，消除了噪声，提高了计算深度信息的准确性。
19.第二方面，本技术实施例提供一种消除图像模糊距离的装置，包括：图像获取模块，用于获取待测对象的视觉图和间接飞行时间itof图，其中itof图包括强度图和相位图；模糊距离计算模块，用于根据相位图确定多个模糊距离；点匹配模块，用于基于每个模糊距离，将视觉图与相位图进行点匹配，以获得视觉图中各个像素点与强度图和相位图中像素点的对应关系；相似度计算模块，用于计算每个模糊距离对应的点匹配后的视觉图与强度图之间的相似度；距离确定模块，用于根据相似度从多个模糊距离中确定目标距离。
20.第三方面，本技术实施例提供一种电子设备，包括：处理器、存储器和总线，其中，处理器和存储器通过总线完成相互间的通信；存储器存储有可被处理器执行的程序指令，处理器调用所述程序指令能够执行第一方面的方法。
21.第四方面，本技术实施例提供一种非暂态计算机可读存储介质，包括：非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行第一方面的方法。
22.本技术的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术实施例了解。本技术的目的和其他优点可通过在所写的说“连接”“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；也可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本技术实施例中的具体含义。
33.time-of-flight(tof)，是一种利用光飞行时间的技术。tof和结构光、双目立体视觉是近年来三种主流的3d成像方式。tof向场景中发射近红外光，利用光的飞行时间信息，测量场景中物体的距离。tof相比较另外两种3d成像方式，深度信息计算量小，抗干扰性强，测量范围远。
34.itof，间接光飞行时间。所谓间接，就是指itof是通过测量相位偏移来间接测量光的飞行时间，而不是直接测量光飞行时间。itof相机向场景中发射调制后的红外光信号，再由传感器接收场景中待测物体反射回来的光信号，根据曝光（积分）时间内的累计电荷计算发射信号和接收信号之间的相位差，从而获取目标物体的深度。
35.itof模组的核心组件包含vcsel和图像传感器。vcsel发射特定频率的调制红外光。图像传感器在曝光（积分）时间内接收反射光并进行光电转换。曝光（积分）结束后将数据读出，经过一个模拟数字转换器再传给计算单元，最终由计算单元计算每个像素的相位偏移。itof计算深度的方式通常是采用4-sampling-bucket算法，利用4个相位延迟为0
°
，90
°
，180
°
和270
°
的采样信号计算深度。
36.itof相机主动发射经过脉冲（或正弦）调制的光线，光线经过物体反射后，被接收器所接收。接受信号和发射信号存在相位差。的计算如公式（1）所述：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）其中，为物体距发射光源的距离；为光源调整频率；为光速。
37.在某些情况下，可能大于，而通过itof传感器只能得到公式（2）：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）可通过公式（3）计算获得物体的距离：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（3）将公式（1）代入公式（2），可以发现解算的距离实际为多个距离中的最小的那个，这种现象被称为距离模糊。且模糊的距离间隔如公式（4）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（4）为了解决距离模糊的问题，目前有如下几种方案：方案1，解决距离模糊常用的是使用两个调制频率，图1为双频去模糊方法示意图，在每个调制频率下，被采集物体距离发射光源的可能的距离是不同的，但是存在一个位置，两个调制频率的可能值都在此处有取值，则该点为真实位置。
38.双频去模糊的方法，需要使光源在两种频率间切换，为了解算的准确性，需要实际的调制频率与设定的调制频率保证足够的一致性。同时，需要在两个调制频率下对同一场景测量两次，增加了一次完整测量的时间，对于场景中的高速移动物体，需要更复杂的算法
去处理。
39.方案2：尽可能地降低调制频率，以增加模糊距离间隔，使得场景中可测量到的物体在以内。（场景中测量不到的物体一般因为反射率较低而被算法滤除，传感器可以测量得到物体反射的光强）。但是随着调制频率的降低，itof的测量精度也会降低。
40.方案3，一般场景中的物体，比如平面，相对相机的距离不会突变，依据这条先验知识，可以对所测量的深度图作局部和全局的优化，通过构造代价函数，调整真实相位所对应的周期数，以降低代价，从而得到实际测量值。该方案只能应对一般场景，可靠性不高。
41.由此可知，上述三种方案均存在不足之处，为了解决上述问题，本技术实施例提供了一种图像深度信息的校正方法、装置、电子设备及存储介质。利用视觉图与itof图之间的视差来消除模糊距离。相比方案1，只需要单个频率，避免了不同频率下拍照的融合误差，对场景进行一次测量，可以缩短单帧的测量时间，一定程度上消除高速移动物体的影响。相比方案2，依然可以保持较高的光源调制频率，从而保证测量精度。相比方案3，可靠性，场景适应性更强。
42.可以理解的是，本技术实施例提供的图像深度信息的校正方法方法可以应用于电子设备，该电子设备包括终端以及服务器；其中终端具体可以为智能手机、平板电脑、计算机、个人数字助理（personal digital assitant，pda）等；服务器具体可以为应用服务器，也可以为web服务器。
43.为了便于理解，本技术实施例提供的技术方案，下面以电子设备作为执行主体为例，对本技术实施例提供的图像深度信息的校正方法的应用场景进行介绍。
44.图2为本技术实施例提供的一种消除图像模糊距离的方法流程示意图，如图2所示，包括：步骤201：获取待测对象的视觉图和间接飞行时间itof图，其中itof图包括强度图和相位图。
45.其中，待测对象为空间中的任何一个物体，例如：可以是一只动物、一张桌子、一辆汽车等等，本技术实施例不对待测对象作具体限定。视觉图可以包括rgb图、灰度图，红外图等等，视觉图是有视觉相机对待测对象进行图像采集获得。若视觉图为rgb图，那么视觉相机为rgb相机，也可以是含有红外滤光片的rgb相机。若视觉图为灰度图，那么视觉相机为灰度相机。若视觉图为红外图，那么视觉相机为红外相机。对于红外相机和含有红外滤光片的rgb相机，该方可适用于夜间工作。
46.itof图为通过itof相机对待测对象进行采集获得。强度图记录了待测对象的反射发射光源的强度，相位图反应了光从发射到接收的相位差。可以理解的是，通过相位图到距离之间存在整数周期的模糊。可以理解的是，强度图和相位图的大小一致，且像素点一一对应。
47.步骤202：根据相位图确定多个模糊距离。
48.在具体的实施过程中，itof在对待测对象进行采集时，itof相机的内部参数已经预先设定，例如调制频率为f，根据上述公式（1）-公式（4）可计算获得相位图的多个模糊距离。应当说明的是，相位图中每个像素点都对应多个模糊距离。且不同像素点对应的多个模糊距离可能相同也可能不同。可以预先设定距离的最大值，模糊距离取值应当小于或等于最大值。
49.步骤203：基于每个模糊距离，将视觉图与相位图进行点匹配，以获得视觉图中各个像素点与强度图和相位图中像素点的对应关系。
50.在具体的实施例中，由于视觉图的视觉相机和itof图的itof相机在对待测对象进行图像采集时其相机光心不处于同一位置，且两个相机的内部参数不同，所以导致相位图和强度图中的一个像素点对应的待测对象的位置与视觉图中相应位置上的像素点对应的待测对象的位置不同。因此，需要将视觉图中的像素点与itof图中的像素点进行匹配。
51.针对相位图中的每一个像素点，不同的模糊位置其对应的像素坐标不同，不同的像素坐标其映射到视觉图中的像素点位置不同。因此，针对相位图中的每一个像素点，计算该像素点分别对应的模糊位置下的像素坐标转换到视觉图中的像素坐标，从而实现视觉图与相位图的像素点的匹配。
52.由于相位图和强度图的像素点是一一对应的，因此，在完成视觉图和相位图的点匹配后，自然完成了视觉图与强度图的点匹配。
53.步骤204：计算每个模糊距离对应的点匹配后的视觉图与强度图之间的相似度。
54.在具体的实施过程中，针对每个模糊距离，经过将视觉图和强度图进行点匹配后，可以在视觉图中确定与强度图中的像素点相对应的像素点。因此，可以计算每个像素点（该像素点为强度图中的每个像素点，以及在视觉图中相对应的像素点）在每个模糊距离下的相似度。可以理解的是，若一个像素点包括4个模糊距离，那么每个像素点可计算获得4个相似度。
55.另外，在计算相似度时，单个像素点的像素值并不能反映真实的信息，因此，为了提高相似度计算的准确性，可以将单个像素点作为中心，取周围像素点构成一个像素块，计算同一像素块对应的视觉图和强度图的相似度作为该中心像素点的相似度。
56.相似度计算方法有多种，例如包括：平均绝对差算法(mean absolute differences，mad算法)、绝对误差和算法(sum of absolute differences，sad算法)、误差平方和算法(sum of squared differences，ssd算法)、平均误差平方和算法(mean square differences，msd算法)、归一化积相关算法(normalized cross correlation，ncc算法)等。
57.步骤205：根据相似度从多个模糊距离中确定目标距离。
58.在具体的实施过程中，在获得每个像素点对应的多个相似度后，可以从中确定一个相似度对应的模糊距离作为该像素点的目标距离。可以理解的是，还可以将所有的像素点分别对应的最终距离转换成待测对象的深度信息。
59.本技术实施例通过视觉图和itof图之间的视差信息来消除模糊距离，从而通过本技术的方法既能够消除模糊距离，又能够保证itof相机的测量精度。
60.在上述实施例的基础上，所述基于每个所述模糊距离，将所述视觉图与所述相位图进行点匹配，包括：获取采集视觉图的视觉相机对应的第一畸变参数与所述itof图对应的itof相机的第二畸变参数；针对所述相位图中每一像素点，根据所述像素点的第一像素坐标和所述第二畸变参数计算各所述像素点对应的校正像素位置；根据所述校正像素位置、所述模糊距离确定所述像素点对应的三维坐标；
利用成像模型将所述三维坐标投影为第二像素坐标；根据所述第一畸变参数和所述第二像素坐标确定与所述相位图中的像素点相匹配的视觉图对应的像素点。
61.在具体的实施过程中，在将相位图中的一个像素点映射到视觉图中的像素点上时，可以采用反投影-投影的方法进行，即，将相位图中的像素点对应的像素坐标经过反投影后获得该像素点对应的空间坐标，再对空间坐标进行投影获得视觉图中的像素坐标，从而获得视觉图中与相位图的像素点相对应的像素点位置。
62.假设空间中一点p，对应相位图中的一个像素点的第一像素坐标为，根据itof相机对应的第二畸变参数，计算获得未畸变的像素坐标，若itof相机的畸变模型为，其中，为畸变模型对应的映射函数，则可获得去畸变像素位置，然后利用相机成像模型，获得该像素点对应空间中的入射光线角度，已知空间点距光心的距离为d（模糊距离），便可以确定空间点在射线上的位置，进而可以确定itof相机坐标下的三维坐标。
63.itof相机相对于视觉相机的变换关系包括旋转r和平移t。
64.则p在rgb相机坐标系中的坐标为：。
65.在获得p点在视觉图的投影时，同样采用视觉镜头对应的成像模型和畸变模型。p点发出的光经过视觉相机的光心照射到成像传感器上，在不考虑畸变的情况下，第二像素坐标为，再根据视觉相机的第一畸变参数，可以得到在视觉图中真实的像素坐标，，其中，为视觉镜头对应的畸变模型表示。
66.根据上述变换可知，相位图中像素坐标为与视觉图中相匹配的像素点的坐标为。
67.本技术实施例通过利用成像模型和镜头畸变模型将每个模糊距离下的视觉图中的像素点与相位图中的像素点进行匹配，从而可以确定相位图和强度图中的像素点在视觉图中的具体像素位置，为后续相似度计算提供基础。
68.在上述实施例的基础上，所述基于每个所述模糊距离，将所述视觉图与所述相位图进行点匹配，包括：
分别对所述视觉图和所述相位图进行极线校正，获得所述视觉图对应的校正视觉图和所述相位图对应的校正相位图，以及等效焦距；根据所述等效焦距、所述待测对象到相机的距离和视觉图对应的视觉相机与所述相位图对应的itof相机的光心距离计算获得视差；根据所述视差确定与所述相位图中的像素点相匹配的所述视觉图中的像素点。
69.在具体的实施过程中，极线校正的工作原理如下：步骤1：将视觉图平面相对于相位图平面的旋转矩阵分解成两个矩阵rl和rr，叫做两个相机的合成旋转矩阵。
70.步骤2：将两个相机各旋转一半，使得两个相机的光轴平行。此时两个相机的成像面达到平行，但是基线与成像平面不平行。
71.步骤3：构造变换矩阵使得基线与成像平面平行。构造的方法是通过视觉相机相对于相位相机的偏移矩阵t完成的。
72.步骤4：通过合成旋转矩阵与偏移矩阵t相乘获得两个相机的整体变换矩阵。两个相机坐标系乘以各自的整体旋转矩阵就可使得两个相机的主光轴平行，且像平面与基线平行。
73.步骤5：通过上述的两个整体旋转矩阵，就能够得到理想的平行配置的双目立体系图像。校正后根据需要对图像进行裁剪，需重新选择一个图像中心，和图像边缘从而让两个图像叠加部分最大，从而完成了像素点的匹配。
74.基于上述原理，对视觉图和相位图进行极线校正后，可以获得校正视觉图、校正相位图和等效焦距。
75.经过极线校正的视觉图上的像素点一定在相位图像中的一行像素点上。
76.根据等效焦距、待测对象到相机的距离（模糊距离）和视觉相机和itof相机的光心距离，计算获得视差。具体计算如公式（5）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（5）其中，为视差，为等效焦距，为光心距离，为模糊距离。
77.若空间中一个点，相位图上对应像素坐标是（x,y），itof相机在视觉相机右侧，计算得到的视差为，且单位为像素个数，则该点在相位图上对应的像素应为（x dc，y）。
78.本技术实施例采用极线校正的方法，从而可以确定相位图和强度图中的像素点在视觉图中的具体像素位置，为后续相似度计算提供基础。
79.在上述实施例的基础上，所述计算每个模糊距离对应的点匹配后的视觉图与强度图之间的相似度，包括：按照预设窗口大小获取强度图中每一像素点对应的子强度图和视觉图中对应的子视觉图；计算每一像素点对应的所述子视觉图和所述子强度图之间的子相似度；根据所有的子相似度确定所述点匹配后的视觉图与所述点匹配后的强度图之间的相似度。
80.在具体的实施过程中，针对每个像素中的各模糊距离，计算对应像素点的相似度，
因此，每个像素点的每个模糊距离对应一个子相似度，其子相似度计算方法如下：假设，预设窗口大小可以为3*3像素，针对强度图中每一个像素点，该像素点位于窗口中心，可以从强度图中获取到以该像素点为窗口中心的3*3像素的窗口，此处称为子强度图。因此，强度图中每个像素点都对应一个子强度图。同样的，在经过点匹配后，强度图中的每个像素点，都能在视觉图中找到一个像素点与之对应，因此，以同样大小的窗口，可以确定视觉图中对应的像素点的3*3像素的窗口，此处称为子视觉图。
81.计算每个像素点对应的子视觉图和子强度图之间的子相似度，其相似度计算方法可以为ncc算法，还可以采用上述提到的其他方法，本技术实施例对此不作具体限定。
82.在计算获得每个像素点对应的多个子相似度后，点匹配后的视觉图和点匹配后的深度图的相似度包括的所有像素点对应的子相似度。
83.本技术实施例通过计算各个窗口的视觉图和强度图的相似度，并根据相似度从多个模糊距离中确定目标距离，消除了模糊距离。
84.在上述实施例的基础上，所述根据所述相似度从所述多个模糊距离中确定目标距离，包括：针对每个像素点，将相似度最大值对应的模糊距离作为所述像素点对应的目标距离。
85.在具体的实施过程中，相似度是指点匹配后的视觉图与强度图之间的相似度，包括了每个像素点在计算获得每个像素点对应的多个模糊距离分别对应的子相似度后，将最大相似度对应的模糊距离作为像素点对应的目标距离。
86.可以理解的是，在获得每个像素点对应的相似度最大值对应的模糊距离后，还可以将模糊距离进行转换，获得深度信息。
87.本技术实施例通过将相似度最大值对应的模糊距离作为该像素点对应的目标距离，从而可以准确地确定各像素点对应的真实的距离。
88.在上述实施例的基础上，在获得目标距离后，该方法还包括：获取所述目标距离对应的相位图中不符合预设要求的待优化像素点，以及所述待优化像素点对应的相邻像素点；利用所述相邻像素点对所述的待优化像素点进行优化处理，获得优化后的去除模糊距离的相位图。
89.在具体的实施过程中，在进行相似度计算时，可能存在某个像素点的多个模糊距离分别对应的子相似度中，最大子相似度的值小于预设阈值的情况，针对这种情况，认为该像素点的距离测量失败，那么最终获得的目标距离中，该像素点的深度信息为空。本技术实施例将该像素点称为待优化像素点。为了平滑测量结果，本技术实施例可以通过相邻像素点对其进行优化。具体方法如下：取该待优化像素点分别对应的相邻像素点，可以理解的是，相邻像素点为多个，若相邻像素点中相似度大于预设阈值的个数大于预设窗口的一半，则将相似度大于预设阈值的相邻像素点的深度信息的平均值作为该待优化像素点的深度信息，从而获得优化后的去除模糊距离的相位图。
90.在上述实施例的基础上，在获取待测对象的视觉图和间接飞行时间itof图之后，所述方法还包括：
分别对所述视觉图、所述强度图和所述相位图进行预处理，获得预处理后的视觉图、预处理后的强度图和预处理后的相位图；相应的，所述将所述视觉图与所述相位图进行点匹配，包括：对所述预处理后的视觉图与所述预处理后的相位图进行点匹配。
91.在具体的实施过程中，可以分别对视觉图和强度图进行如下预处理操作：对比度调节、亮度调节、色调映射、高动态光照渲染、裁剪、去畸变、双边滤波等。可以理解的是上述预处理操作可以全部执行，也可以只采用其中一种或多种。可以对相位图进行去躁处理。
92.本技术实施例通过预先对视觉图、强度图和相位图进行预处理，消除了噪声，提高了计算深度信息的准确性。
93.图3为本技术实施例提供的另一种消除图像模糊距离的方法示意图，如图3所示，为便于描述，本技术实施例将以rgb相机和tof相机为例进行描述，主要包括四个步骤：第一步骤：采集图像，通过rgb相机采集获得rgb图，通过tof相机获得强度图和相位图。可选的，在获得rgb图、强度图和相位图之后，可以对其进行预处理。
94.第二步骤：将相位图和rgb图进行点匹配，可以理解的是，点匹配的过程参见上述实施例，此处不再赘述。
95.第三步骤：计算点匹配后的rgb图与深度图的相似度，根据相似度确定待测对象的深度信息。
96.第四步骤：对获得的深度信息进行优化，即找出待优化像素点，对待优化像素点进行优化，其中找待优化像素点以及对待优化像素点的优化方法参见上述实施例，此处不再赘述。
97.本技术实施例能够利用rgb与tof的视差信息，改正tof存在的距离模糊问题，相比成熟的多频融合方案，减少了单帧成像的时间，从而降低运动物体的拖影问题。相比传统双目计算视差的算法方案，利用tof相位测量的先验信息，减少待匹配的可能的像素点，从而减少了计算。
98.图4为本技术实施例提供的一种消除图像模糊距离的装置结构示意图，该装置可以是电子设备上的模块、程序段或代码。应理解，该装置与上述图2方法实施例对应，能够执行图2方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。所述装置包括：图像获取模块401、模糊距离计算模块402、点匹配模块403、相似度计算模块404和距离确定模块405，其中：图像获取模块401用于获取待测对象的视觉图和间接飞行时间itof图，其中所述itof图包括强度图和相位图；模糊距离计算模块402用于根据所述相位图确定多个模糊距离；点匹配模块403用于基于每个所述模糊距离，将所述视觉图与所述相位图进行点匹配，以获得视觉图中各个像素点与所述强度图和所述相位图中像素点的对应关系；相似度计算模块404用于计算每个模糊距离对应的点匹配后的视觉图与强度图之间的相似度；距离确定模块405用于根据所述相似度从多个模糊距离中确定目标距离。
99.在上述实施例的基础上，点匹配模块403具体用于：获取采集视觉图的视觉相机对应的第一畸变参数与所述itof图对应的itof相机的第二畸变参数；针对所述相位图中每一像素点，根据所述像素点的第一像素坐标和所述第二畸变
参数计算各所述像素点对应的校正像素位置；根据所述校正像素位置、所述模糊距离确定所述像素点对应的三维坐标；利用成像模型将所述三维坐标投影为第二像素坐标；根据所述第一畸变参数和所述第二像素坐标确定与所述相位图中的像素点相匹配的视觉图对应的像素点。
100.在上述实施例的基础上，点匹配模块403具体用于：分别对所述视觉图和所述相位图进行极线校正，获得所述视觉图对应的校正视觉图和所述相位图对应的校正相位图，以及等效焦距；根据所述等效焦距、所述待测对象到相机的距离和视觉图对应的视觉相机与所述相位图对应的itof相机的光心距离计算获得视差；根据所述视差确定与所述相位图中的像素点相匹配的所述视觉图中的像素点。
101.在上述实施例的基础上，相似度计算模块404具体用于：按照预设窗口大小获取所述强度图中每一像素点对应的子强度图和所述视觉图中对应的子视觉图；计算每一像素点对应的所述子视觉图和所述子强度图之间的子相似度；根据所有的子相似度确定所述点匹配后的视觉图与所述点匹配后的强度图之间的相似度。
102.在上述实施例的基础上，距离确定模块405具体用于：针对每个像素点，将相似度最大值对应的模糊距离作为所述像素点对应的目标距离。
103.在上述实施例的基础上，该装置还包括优化模块，用于：获取所述目标距离对应的相位图中不符合预设要求的待优化像素点，以及所述待优化像素点对应的相邻像素点；利用所述相邻像素点对所述的待优化像素点进行优化处理，获得优化后的去除模糊距离的相位图。
104.在上述实施例的基础上，该装置还包括预处理模块，用于：分别对所述视觉图、所述强度图和所述相位图进行预处理，获得预处理后的视觉图、预处理后的强度图和预处理后的相位图；相应的，点匹配模块403具体用于：对所述预处理后的视觉图与所述预处理后的相位图进行点匹配。
105.图5为本技术实施例提供的电子设备实体结构示意图，如图5所示，所述电子设备，包括：处理器(processor)501、存储器(memory)502和总线503；其中，所述处理器501和存储器502通过所述总线503完成相互间的通信；所述处理器501用于调用所述存储器502中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：获取待测对象的视觉图和间接飞行时间itof图，其中所述itof图包括强度图和相位图；根据所述相位图确定多个模糊距离；基于每个所述模糊距离，将所述视觉图与所述相位图进行点匹配，以获得视觉图中各个像素点与所述强度图和所述相位图中像素点的对应关系；计算每个模糊距离对应的点匹配后的视觉图与强度图之间的相似度；根据所述相似度从所述多个模糊距离中确定目标距离。
106.处理器501可以是一种集成电路芯片，具有信号处理能力。上述处理器501可以是通用处理器，包括中央处理器（central processing unit，cpu）、网络处理器（network processor，np）等；还可以是数字信号处理器（dsp）、专用集成电路（asic）、现场可编程门阵列（fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。其可以实现或者执行本技术实施例中公开的各种方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
107.存储器502可以包括但不限于随机存取存储器（random access memory，ram），只读存储器（read only memory，rom），可编程只读存储器（programmable read-only memory，prom），可擦除只读存储器（erasable programmable read-only memory，eprom），电可擦除只读存储器（electrically erasable programmable read-only memory，eeprom）等。
108.本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：获取待测对象的视觉图和间接飞行时间itof图，其中所述itof图包括强度图和相位图；根据所述相位图确定多个模糊距离；基于每个所述模糊距离，将所述视觉图与所述相位图进行点匹配，以获得视觉图中各个像素点与所述强度图和所述相位图中像素点的对应关系；计算每个模糊距离对应的点匹配后的视觉图与强度图之间的相似度；根据所述相似度从所述多个模糊距离中确定目标距离。
109.本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：获取待测对象的视觉图和间接飞行时间itof图，其中所述itof图包括强度图和相位图；根据所述相位图确定多个模糊距离；基于每个所述模糊距离，将所述视觉图与所述相位图进行点匹配，以获得视觉图中各个像素点与所述强度图和所述相位图中像素点的对应关系；计算每个模糊距离对应的点匹配后的视觉图与强度图之间的相似度；根据所述相似度从所述多个模糊距离中确定目标距离。
110.在本技术所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
111.另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
112.再者，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
113.在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另
一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
114.以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。