深度图像修复方法、电子设备及存储介质与流程

1.本发明涉及图像处理领域，特别涉及一种深度图像修复方法、电子设备及存储介质。


背景技术：

2.深度图像在三维场景重建、人机交互、导航与定位等领域有着较为广泛的应用。目前深度图像的获取方式主要有3种：1、激光雷达技术，即在一定时间间隔内朝目标发射信号并通过所经过的距离来计算深度信息；2、立体视觉技术，主要通过固定多个摄像头，计算视差来获取深度信息；3、结构光技术，主要原理是根据投射源投影到场景空间中产生可识别的条纹图像，然后由图像传感器读取空间中的条纹并且与参考条纹进行对比从而计算场景中的深度信息。
3.随着科技的不断发展，深度相机设备更加趋于平民化。但是在采集过程中，由于设备自身的原因以及周围环境的影响，采集到的深度信息中往往有大量的空洞，如果不对这些空洞进行处理就直接应用，则会影响到后续工作的精度甚至导致失败。


技术实现要素：

4.本发明实施方式的目的在于提供一种深度图像修复方法、电子设备及存储介质，通过对深度图像中空洞点设置填充优先级，从而提高了修复的精度和鲁棒性。
5.为解决上述技术问题，本发明的实施方式提供了一种深度图像修复方法，包括：获取包含空洞像素点的深度图像；对所述深度图像中未填充的空洞像素点执行如下优先填充操作：针对所述未填充的空洞像素点，以每一所述空洞像素点为中心分别确定一邻域，根据所述邻域内所包含的非空洞像素点的个数和像素值，确定各所述空洞像素点的填补优先级；所述填补优先级越高，对应空洞像素点被填充后的图像修复效果越好；对所述填补优先级最高的指定数量的空洞像素点执行填充；判断所述深度图像中是否包含未填充的空洞像素点；如果是，则对所述未填充的空洞像素点继续执行所述优先填充操作；如果否，则将本次优先填充操作后得到的所述深度图像作为修复后的深度图像。
6.本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的深度图像修复方法。
7.本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的深度图像修复方法。
8.本发明实施方式相对于现有技术而言，通过在获取包含空洞像素点的深度图像
后，对深度图像中未填充的空洞像素点执行如下优先填充操作：针对未填充的空洞像素点，以每一空洞像素点为中心分别确定一邻域，根据邻域内所包含的非空洞像素点的个数和像素值，确定各空洞像素点的填补优先级；所述填补优先级越高，对应空洞像素点被填充后的图像修复效果越好；对填补优先级最高的指定数量的空洞像素点执行填充；在执行完一次优先填充操作后，判断深度图像中是否包含未填充的空洞像素点；如果是，则对未填充的空洞像素点继续执行上述优先填充操作；如果否，则将本次优先填充操作后得到的深度图像作为修复后的深度图像。本方案中通过对深度图像中空洞点设置填充优先级，实现每一次对填充优先级较高的部分空洞像素点进行优先填充，并在每次填充后更新未填充的空洞像素点的填充优先级继续进行优先填充，直到对所有空洞像素点完成填充，由于该过程保证了填充后修复效果较好的空洞像素点优先被填充，从而提高了修复的精度和鲁棒性。
附图说明
9.图1是根据本发明实施方式的深度图像修复方法的具体流程图一；图2是根据本发明实施方式的深度图像修复方法的具体流程图二；图3是根据本发明实施方式的深度图像修复方法的具体流程图三；图4（a~e）是根据本发明实施方式的空洞像素点的邻域图；图5是根据本发明实施方式的深度图像修复方法的具体流程图四；图6是根据本发明实施方式的深度图像修复方法的具体流程图五；图7是根据本发明实施方式的电子设备的结构示意图。
具体实施方式
10.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本技术而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本技术所要求保护的技术方案。
11.本发明的一实施方式涉及一种深度图像修复方法，如图1所示，本实施例提供的深度图像修复方法，包括如下步骤。
12.步骤101：获取包含空洞像素点的深度图像。
13.具体地，本实施例中的空洞像素点可以为基于视差图等方式确定的原始深度图像中空洞对应的像素点，也可以是对这些原始深度图像进行一定处理（如降噪处理）后得到的深度图像中的空洞像素点。本实施例中，对于包含空洞像素点的深度图像的来源不做限定，为了方便对深度图像中的空洞像素点进行描述，可令空洞像素点的像素值为0。
14.针对获取的包含空洞像素点的深度图像，对深度图像中未填充的空洞像素点执行如下优先填充操作（步骤102~步骤103）。
15.步骤102：针对未填充的空洞像素点，以每一空洞像素点为中心分别确定一邻域，根据邻域内所包含的非空洞像素点的个数和像素值，确定各空洞像素点的填补优先级；填补优先级越高，对应空洞像素点被填充后的图像修复效果越好。
16.具体地，深度图像中的深度值具有区域连续性，同一个区域的深度值变化不大，所以空洞点像素点的填充优先级必然与其局部区域内像素点的像素值有关。因此，针对未填
充的空洞像素点，可以每一空洞像素点为中心，相邻8个像素对应的区域确定一邻域。根据该邻域内所包含的非空洞像素点（像素值不为0的像素点）的个数和像素值，确定出该中心位置的空洞像素点的填补优先级。其中，填补优先级越高，表征该中心位置的空洞像素点被填充后的上述深度图像的修复效果越好。
17.其中，对于修复效果好的理解为，当空洞像素点被填充后，填充后的空洞像素点与其邻域内的其他像素点的融合度更高，该区域整体的像素平滑度更好、空洞更少。而要想修复效果好，则需要修复前，即空洞像素点被填充前的邻域内已有像素点所表现出的图像效果就相对较好。而效果好的体现同样表现为邻域内所包含像素点之间的融合度较高，该区域整体的像素平滑度较好、空洞较少。而通过邻域内所包含的非空洞像素点的个数和像素值可以对这些效果的好坏进行量化评价。例如，当非空洞像素点的个数越少、像素值整体变化幅度越小时所表现出的图像效果越好，反之越差。
18.基于此，本实施例根据邻域内所包含的非空洞像素点的个数和像素值，来量化空洞像素点被填充后的图像修复效果的好坏，从而确定出各空洞像素点的填补优先级。填补优先级越高，对应空洞像素点被填充后的图像修复效果越好。
19.步骤103：对填补优先级最高的指定数量的空洞像素点执行填充。
20.具体地，在确定出各空洞像素点的填补优先级后，可按照填补优先级越高则优先填充的原则，对填补优先级最高的指定数量的空洞像素点执行填充。在针对每一空洞像素点进行填充时，填充的像素值可以为该空洞像素点对应的邻域内所有非空洞像素点的像素平均值。
21.在一个例子中，在对填补优先级最高的指定数量的空洞像素点执行填充时，可以对各空洞像素点中填补优先级最高的一个空洞像素点执行填充。
22.步骤104：判断深度图像中是否包含未填充的空洞像素点；如果是，则跳转回步骤102，继续执行优先填充操作；如果否，则执行步骤105。
23.在完成一次优先填充操作后，深度图像中未填充的空洞像素点会减少，此时先判断深度图像中是否还包含未填充的空洞像素点，如果还包含，则需要跳转回步骤102，继续执行优先填充操作，如此循环，直到深度图像中不包含未填充的空洞像素点。
24.步骤105：将本次优先填充操作后得到的深度图像作为修复后的深度图像。
25.具体地，当深度图像中不包含未填充的空洞像素点，即深度图像中不存在空洞后，可将此时的深度图像作为修复后的深度图像。
26.此外，为了更进一步提高深度图像的修复效果，在步骤104之后，如果判断深度图像中不包含未填充的空洞像素点，则可对本次优先填充操作后得到的深度图像，采用双边滤波进行平滑处理，得到最终的修复后的深度图像。
27.具体地，经空洞填充后得到的深度图像会出现一些毛躁现象。而双边滤波是一种非线性滤波，由两个核函数组成，不仅参考了空间域上的相关性，同时还参考了像素值的相似性。采用双边滤波对深度图像进行平滑处理，能够在滤波的同时考虑到图像信息中的图像边缘信息，使图像边缘更加平滑。
28.与相关技术相比，本实施例通过在获取包含空洞像素点的深度图像后，对深度图像中未填充的空洞像素点执行如下优先填充操作：针对未填充的空洞像素点，以每一空洞像素点为中心分别确定一邻域，根据邻域内所包含的非空洞像素点的个数和像素值，确定
各空洞像素点的填补优先级；所述填补优先级越高，对应空洞像素点被填充后的图像修复效果越好；对填补优先级最高的指定数量的空洞像素点执行填充；在执行完一次优先填充操作后，判断深度图像中是否包含未填充的空洞像素点；如果是，则对未填充的空洞像素点继续执行上述优先填充操作；如果否，则将本次优先填充操作后得到的深度图像作为修复后的深度图像。本方案中通过对深度图像中空洞点设置填充优先级，实现每一次对填充优先级较高的部分空洞像素点进行优先填充，并在每次填充后更新未填充的空洞像素点的填充优先级继续进行优先填充，直到对所有空洞像素点完成填充，由于该过程保证了填充后修复效果较好的空洞像素点优先被填充，从而提高了修复的精度和鲁棒性。
29.本发明的另一实施方式涉及一种深度图像修复方法，如图2所示，该深度图像修复方法是对图1所示方法步骤的改进，改进之处在于，对获取包含空洞像素点的深度图像的过程进行细化。如图2所示，上述步骤101包括如下子步骤。
30.子步骤1011：获取包含原始空洞像素点的深度图像。
31.具体地，本实施例中的原始空洞像素点可以为基于视差图等方式确定的原始深度图像中空洞对应的像素点，也可以是对这些原始深度图像进行一定处理（如降噪处理）后得到的深度图像中的空洞像素点。本实施例中，对于包含原始空洞像素点的深度图像的来源不做限定，为了方便对深度图像中的原始空洞像素点进行描述，可令原始空洞像素点的像素值为0。
32.在一个例子中，本步骤可通过如下步骤实现。
33.步骤1：采集原始深度图像。
34.具体地，该原始深度图像可以为基于视差图等方式确定的原始深度图像。
35.步骤2：根据原始深度图像中各像素点与相邻像素点的像素值差值，将原始深度图像划分为多个区域。
36.具体地，在深度相机拍摄深度图像时，由于深度相机自身的原因以及周围环境的影响，采集到的深度信息中往往含有大量的空洞和噪声，如果不对这些空洞和噪声进行处理就直接应用，则会直接影响到后续工作的精度甚至导致失败。因此在进行空洞修复之前，需要对深度图像进行去噪处理。
37.本实施例中，采用连通区域检测的方法实现去噪处理。首先，设置连通区域检测阈值；遍历原始深度图像中每个像素点，确定当前像素点与8个像素点构成的邻域内所有像素点之间的像素差值；将像素差值小于连通区域检测阈值的所有像素点统计在同一个区域，直到原始深度图像遍历截止。最终，原始深度图像被划分为若干个区域。
38.步骤3：将各区域中，所包含像素点个数小于预设区域像素点数阈值的区域中的每一像素点确定为一个原始空洞像素点。
39.具体地，设置区域面积大小阈值，将上述原始深度图像中，每个区域所包含的像素点个数与区域面积大小阈值进行比较，并将小于区域面积大小阈值的区域中的像素点的像素值赋值为0，即设置这些像素点为原始空洞像素点。
40.子步骤1012：采用圆形结构元素对包含原始空洞像素点的深度图像进行开、闭运算操作，以消除部分原始空洞像素点，得到包含空洞像素点的深度图像。
41.形态学滤波是以形态学中几种基础运算为核心算法的一种图像处理的方法，比起常规的线性滤波，在某种程度上有着更好的效果。形态学滤波利用不同的结构元素消除掉
目标物体中包含的不同类型的噪声信号。形态学处理的大多数是二值化图像和灰度图像。在二值运算中处理的对象是集合元素，而在灰度图像中处理的对象是图像函数。利用形态学处理深度图像的原理类似于处理灰度图像。
42.形态学滤波中主要包括膨胀和腐蚀。膨胀的主要作用是扩充目标物体的边缘，使物体范围增大，这样可以将与物体接触的孤立部分合并进物体本身。腐蚀的作用和膨胀相反，它主要是使目标物体的边缘向内部收缩。开运算是先进行腐蚀运算再进行膨胀运算，主要去掉图像中单独的小点、毛刺和小桥，平滑物体的边缘。闭运算是先进行膨胀运算再进行腐蚀运算，主要是将目标物体中存在的细小空洞进行填充，并且能修复细小裂缝、平滑物体的边缘。
43.具体地，本实施例中采用圆形结构元素对去噪后的原始深度图像进行开、闭运算形态学处理，从而消除深度图像中的孤立、毛刺点并修复细小的空洞区域。
44.与相关技术相比，本实施例通过获取包含原始空洞像素点的深度图像；采用圆形结构元素对包含原始空洞像素点的深度图像进行开、闭运算操作，以消除部分原始空洞像素点，得到包含空洞像素点的深度图像。通过对去噪后的深度图像进行开、闭运算形态学处理，可消除原始深度图像中的孤立、毛刺点并修复细小的空洞区域，得到优化处理后的深度图像，从而提高后续空洞填充后的深度图像的效果。
45.本发明的另一实施方式涉及一种深度图像修复方法，如图3所示，该深度图像修复方法是对图1所示方法步骤的改进，改进之处在于，对各空洞像素点的填补优先级的确定过程进行细化。如图3所示，上述步骤102包括如下子步骤。
46.子步骤1021：针对未填充的空洞像素点，以每一空洞像素点为中心分别确定一邻域，优先确定邻域内所包含的非空洞像素点的个数较少的空洞像素点的填补优先级较高。
47.具体地，如图4所示，为5张以空洞像素点（像素值为0）为中心的邻域图像。针对这些邻域图像中位于中心位置的空洞像素点，可以优先确定邻域内所包含的非空洞像素点的个数较少的空洞像素点的填补优先级较高。例如，图4中，（a）~（e）的邻域内所包含的非空洞像素点的个数依次为0、0、2、4、8，对应图中中心位置的空洞像素点的填补优先级排序为（a）、（b）》（c）》（d）》（e）。
48.子步骤1022：在基于邻域内所包含的非空洞像素点的个数得到的空洞像素点的填补优先级相同时，确定邻域内所包含的非空洞像素点的像素值标准差较小的空洞像素点的填补优先级较高。
49.具体地，如图4所示，为5张以空洞像素点（像素值为0）为中心的邻域图像。针对这些邻域图像中位于中心位置的空洞像素点，当基于邻域内所包含的非空洞像素点的个数得到的空洞像素点的填补优先级相同时，例如（a）、（b）的填补优先级相同时，可继续确定邻域内所包含的非空洞像素点的像素值标准差较小的空洞像素点的填补优先级较高。例如，经过计算可知，（a）中领域内各像素点的像素值标准差小于（b）中领域内各像素点的像素值标准差，因此可确定对应图中中心位置的空洞像素点的填补优先级排序为（a）》（b），最终得到的各对应图中中心位置的空洞像素点的填补优先级排序为（a）》（b）》（c）》（d）》（e）。
50.与相关技术相比，本实施例通过优先确定邻域内所包含的非空洞像素点的个数较少的空洞像素点的填补优先级较高；在基于邻域内所包含的非空洞像素点的个数得到的空洞像素点的填补优先级相同时，确定邻域内所包含的非空洞像素点的像素值标准差较小的
空洞像素点的填补优先级较高，从而提供一种确定各空洞像素点的填补优先级的实现方式。
51.本发明的另一实施方式涉及一种深度图像修复方法，如图5所示，该深度图像修复方法是对图1所示方法步骤的改进，改进之处在于，对各空洞像素点的填补优先级的确定过程进行细化。如图5所示，上述步骤102包括如下子步骤。
52.子步骤1023：针对未填充的空洞像素点，以每一空洞像素点为中心分别确定一邻域，基于邻域内所包含的非空洞像素点的个数确定空洞像素点的第一填补优先级；其中，个数越少，对应的填补优先级越高。
53.本步骤执行过程可参见子步骤1021，在此不做赘述。
54.子步骤1024：针对未填充的空洞像素点，以每一空洞像素点为中心分别确定一邻域，基于邻域内所包含的非空洞像素点的像素值标准差确定空洞像素点的第二填补优先级；其中，像素值标准差越小，对应的填补优先级越高。
55.具体地，如图4所示，为5张以空洞像素点（像素值为0）为中心的邻域图像。针对这些邻域图像中位于中心位置的空洞像素点，分别计算邻域内所包含的非空洞像素点的像素值标准差。例如，图4中，（a）~（e）的邻域内所包含的非空洞像素点的像素值标准差依次为1.05、41.14、41.19、0.5、0，对应图中中心位置的空洞像素点的第二填补优先级排序为（d）》（a）、（b）》（c）》（e）。对于（e）的第二填补优先级默认在任何情况下为最小。
56.子步骤1025：将第一填补优先级和第二填补优先级的平均优先级，作为最终空洞像素点的填补优先级。
57.例如，在图4中，最终得到的对应图中中心位置的空洞像素点的填补优先级排序可为（a）、（b）》（d）》（c）》（e）。在实际计算平均优先级时，还可分别为第一填补优先级、第二填补优先级设置权重，将加权后的平均优先级确定为最终的填补优先级。
58.与相关技术相比，本实施例通过基于邻域内所包含的非空洞像素点的个数确定空洞像素点的第一填补优先级；其中，个数越少，对应的填补优先级越高；基于邻域内所包含的非空洞像素点的像素值标准差确定空洞像素点的第二填补优先级；其中，像素值标准差越小，对应的填补优先级越高；将第一填补优先级和第二填补优先级的平均优先级，作为最终空洞像素点的填补优先级，从而提供一种确定各空洞像素点的填补优先级的实现方式。
59.本发明的另一实施方式涉及一种深度图像修复方法，如图6所示，该深度图像修复方法是对图1所示方法步骤的改进，改进之处在于，对各空洞像素点的填补优先级的确定过程进行细化。如图6所示，上述步骤102包括如下子步骤。
60.子步骤1026：采用如下公式计算各空洞像素点的填补优先级：
………………………
（1）其中，r(s)为空洞像素点的填补优先级，s为空洞像素点，nv(s)为以空洞像素点为中心确定的邻域内的非空洞像素点的个数，为邻域内的非空洞像素点的像素值标准差，为常量因子。可使得归一化到[0,1]之间。
[0061]
具体地，采用公式（1）确定的图4中各对应图中中心位置的空洞像素点的填补优先级排序为（a）》（b）》（c）》（d）》（e）。
[0062]
与相关技术相比，本实施例通过公式（1）确定最终空洞像素点的填补优先级，从而
提供一种确定各空洞像素点的填补优先级的实现方式。
[0063]
本发明的另一实施方式涉及一种电子设备，如图7所示，包括至少一个处理器202；以及，与至少一个处理器202通信连接的存储器201；其中，存储器201存储有可被至少一个处理器202执行的指令，指令被至少一个处理器202执行，以使至少一个处理器202能够执行上述任一方法实施例。
[0064]
其中，存储器201和处理器202采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器202和存储器201的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器202处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器202。
[0065]
处理器202负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器201可以被用于存储处理器202在执行操作时所使用的数据。
[0066]
本发明的另一实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述任一方法实施例。
[0067]
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-onlymemory）、随机存取存储器（ram，randomaccessmemory）、磁碟或者光盘等各种可以存储程序代码的介质。
[0068]
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。