一种深度图像滤波方法、装置、电子设备与流程

1.本技术涉及图像技术领域，具体而言，涉及一种深度图像滤波方法、装置、电子设备。


背景技术：

2.点云滤波指针对带噪声的点云数据，通过滤波的方法尽可能消除噪声，获得更准确和易用的点云数据。目前，出于可视化或者物体几何测量等需求，需要对物体进行基于深度相机的扫描和三维重建；但是在扫描过程中，由于目前深度相机的精度普遍不高，往往会引入很多噪声，导致原本比较光滑的物体表面变得粗糙甚至出现错误，现有的点云滤波大多基于相机获得的深度信息，在点云中扭曲较大的连续区域，深度的变化往往较小，因此进行滤波后会损失甚至丢失部分尖锐特征。


技术实现要素：

3.本技术实施例的目的在于提供一种深度图像滤波方法、装置、电子设备和可读存储介质。在滤波的过程中充分考虑深度信息，能够在滤波过后保留尖锐特征。
4.第一方面，本技术实施例提供了一种深度图像滤波方法，包括：
5.获取点云图像；
6.根据所述点云图像的深度信息和法向信息对所述点云图像进行滤波。
7.在上述实现过程中，深度信息和法向信息反映了点云图像的尖锐特征，在滤波的过程中充分考虑上述两个特征。与现有技术只考虑深度信息相比，该方法能够有效地保留点云图像的尖锐特征。
8.进一步地，所述根据所述点云图像的深度信息和法向信息对所述点云图像进行滤波的步骤，包括：
9.为所述点云图像的每个像素点生成多个局部片段，其中所述每个像素点在其对应的所述多个局部片段中的每个局部片段的位置不同；
10.获取所述每个像素点的每个局部片段的误差系数；
11.根据所述每个像素点的每个局部片段的误差系数获取所述每个像素点的指导法向；
12.利用联合双边滤波优化滤指导法向算法对所述每个像素点的指导法向进行处理，得到每个像素点滤波后的指导法向；
13.根据所述每个像素点滤波后的指导法向更新所述每个像素点的坐标。
14.在上述实现过程中，为每个像素点生成多个局部片段，根据每个像素点的每个局部片段的误差系数获取每个像素点的指导法向，生成多个局部片段，能够将滤波过程中的误差分配到多个局部片段上，减少滤波误差。利用联合双边滤波优化滤指导法对每个像素点的指导法向进行优化，有效提高滤波效果。
15.进一步地，所述根据所述每个像素点滤波后的指导法向更新所述每个像素点的坐
标的步骤，包括：
16.根据所述像素点的原始坐标、所述每个像素点滤波后的指导法向获取所述每个像素点在深度方向上的位移向量；
17.将所述每个像素点在所述深度方向上移动所述位移向量，得到更新后的每个像素点。
18.在上述实现过程中，在更新点的坐标时，保证其对应的新的深度图像的连接关系不变，因此对每个点进行更新时，只允许其在深度方向上移动。基于上述实施方式，保证了滤波后的点云图像保留大部分的有用信息。
19.进一步地，通过下述公式获取所述每个像素点在深度方向上的位移向量：
[0020][0021]
其中，δp为所述位移向量，p所述每个像素点在所述点云图像中的空间位置坐标，ni为i第个像素点pi滤波后的指导法向，ni[z]为ni在深度方向z上的分量。
[0022]
在上述实现过程中，可以快速地计算出位移向量。
[0023]
进一步地，在将所述每个像素点在所述深度方向上移动所述位移向量，得到更新后的每个像素点的步骤之后，方法还包括：
[0024]
根据所述每个像素点在深度方向上的位移向量和所述每个像素点的相邻像素点的位置获取所述每个像素点在深度方向上的自适应位移向量；
[0025]
所述将所述每个像素点在所述深度方向上移动所述位移向量之后，方法还包括：
[0026]
将所述每个像素点在所述深度方向上移动所述自适应位移向量。
[0027]
在上述实现过程中，考虑到每个点在移动时会直接影响到周围多个相邻点的法向，所以将这部分位移分为多个相同长度的小步长位移。基于上述实施方式，有效地像素点移动时的误差。
[0028]
进一步地，所述获取所述每个像素点的每个局部片段的误差系数的步骤包括：
[0029]
建立第一误差函数、第二误差函数和第三误差函数，所述第一误差函数用于衡量所述每个像素点的多个局部片段中的每个局部片段的光滑程度；
[0030]
所述第二误差函数用于衡量所述每个像素点的多个局部片段中的每个局部片段是否有尖锐边缘；
[0031]
所述第三误差函数用于计算每个像素点的多个局部片段中的每个局部片段不同像素点间颜色的最大差异；
[0032]
根据所述第一误差函数、所述第二误差函数和所述第二误差函数和所述第三误差函数获取所述每个像素点的每个局部片段的误差系数。
[0033]
在上述实现过程中，通过第一误差函数、第二误差函数和第三误差函数获取误差系数，能够使得误差系数准确地反应出每个像素点的每个局部片段的误差系数。
[0034]
进一步地，所述根据所述每个像素点的每个局部片段的误差系数获取所述每个像素点的指导法向的步骤包括：
[0035]
选取所述每个像素点的多个局部片段中的误差系数最小的局部片段的法线法向为所述每个像素点的指导法向。
[0036]
在上述实现过程中，通过判断每个像素点的多个局部片段误差系数的大小，可以
快速筛选出最能代表像素点的指导法向。
[0037]
第二方面，本技术提供一种深度图像滤波装置，包括：
[0038]
获取模块，用于获取点云图像；
[0039]
滤波模块，用于根据所述点云图像的深度信息和法向信息对所述点云图像进行滤波。
[0040]
第三方面，本技术实施例提供的一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述的方法的步骤。
[0041]
为使本技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
[0042]
为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0043]
图1为本技术实施例提供的深度图像滤波方法的流程示意图；
[0044]
图2为本技术实施例提供的局部片段的示意图；
[0045]
图3为本技术实施例提供的滤波的流程示意图；
[0046]
图4为本技术实施例提供的深度图像滤波装置的结构示意图。
具体实施方式
[0047]
下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。
[0048]
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0049]
实施例1
[0050]
参见图1，本技术实施例提供一种深度图像滤波方法，包括：
[0051]
s1：获取点云图像；
[0052]
s2：根据点云图像的深度信息和法向信息对点云图像进行滤波。
[0053]
深度信息和法向信息反映了点云图像的尖锐特征，在滤波的过程中充分考虑上述两个特征，与现有技术只考虑深度信息相比，该方法能够有效地保留点云图像的尖锐特征。
[0054]
上述实施例中，点云图像是由深度相机拍摄得到，s2中，为了加快计算速度，一般根据点云图像计算出点云图像的深度图像，再根据深度图像的深度信息和法向信息对点云图像进行滤波。
[0055]
透视投影是多对一的关系，投影线上的任何一点对应同一个像点。如果用两个摄像机，则可以消除这种多对一的关系，确定每个像素点三维坐标的值，即深度信息。法向信息指的是每个像素点对应的法向。
[0056]
参见图3，在一种可能的实施方式中，s2包括以下子步骤：
[0057]
s21：为点云图像的每个像素点生成多个局部片段，其中每个像素点在其对应的多个局部片段中的每个局部片段的位置不同；
[0058]
s22：获取每个像素点的每个局部片段的误差系数；
[0059]
s23：根据每个像素点的每个局部片段的误差系数获取每个像素点的指导法向；
[0060]
s24：利用联合双边滤波优化滤指导法向算法对每个像素点的指导法向进行处理，得到每个像素点滤波后的指导法向；
[0061]
s25：根据每个像素点滤波后的指导法向更新每个像素点的坐标。
[0062]
可以理解的是，更新坐标后的每个像素点组成的图像即为滤波后的点云图像。
[0063]
上述实施例中，每个像素点生成多个局部片段，根据每个像素点的每个局部片段的误差系数获取每个像素点的指导法向，生成多个局部片段，能够将滤波过程中的误差分配到多个局部片段上，减少滤波误差。利用联合双边滤波优化滤指导法对每个像素点的指导法向进行优化，有效提高滤波效果。
[0064]
本技术实施例提供一种生成多个局部片段的方法，示例性地，参见图2，对于每一个非边缘点(即四个相邻像素点均有深度信息的像素点)，取一个包括k*k个小格且包含该像素点的局部区域，称作一个局部片段。因此，每个像素点将被最多k个不同的局部片段所覆盖，且局部像素点位于每个局部片段的不同位置，图3中五角星为同一个像素点，图3所示为包含对应顶点的大小的不同局部片段。
[0065]
在一种可能的实施方式中，s23包括：
[0066]
建立第一误差函数、第二误差函数和第三误差函数，第一误差函数用于衡量每个像素点的多个局部片段中的每个局部片段的光滑程度；
[0067]
第二误差函数用于衡量每个像素点的多个局部片段中的每个局部片段是否有尖锐边缘；
[0068]
第三误差函数用于计算每个像素点的多个局部片段中的每个局部片段不同像素点间颜色的最大差异；
[0069]
根据第一误差函数、第二误差函数和第二误差函数和第三误差函数获取每个像素点的每个局部片段的误差系数。
[0070]
示例性地，第一误差函数为：
[0071][0072]
其中，s为点云图像每个像素点的每个局部片段所包含的全部像素点的集合，fi为s中的第i个像素点，fj为s中的第j个像素点，ni为fi的与其上下左右相邻的四个顶点的平均法向，nj为fj的与其上下左右相邻的四个顶点的平均法向，ψ(s)为s上差异最大的两个像素的法向的差距，用来衡量每个像素点的每个局部片段的光滑程度。
[0073]
需要说明的是，在计算ni、nj的过程中，如果fi、fj的上下左右相邻的顶点不超过四个，则认为fi、fj对应的ni、nj不存在。
[0074]
第二误差函数为：
[0075][0076]
φ(ej)＝||n
j1-n
j2
||；
[0077][0078]
其中，ε为一个充分小的正数，e
p
为s中任意两个相邻像素之间的边组成的边集，ej为e
p
中的边，n
j1
为像素点p
j1
在三维空间中对应的点的法向量，n
j2
为像素点p
j2
在三维空间中对应的点的法向量，p
j1
、p
j2
为ej的顶点，r(s)为边缘检测函数，用来检测该片段是否包含一条尖锐的边缘，如果包含一条尖锐边缘，则其误差系数增大。
[0079]
第三误差函数为：
[0080]
c(s)＝||c
i-cj||；
[0081]
其中，ci为fi的颜色，cj为fj的颜色，c(s)片段上不同像素点间颜色的最大差异。由于现在的rgb相机精度已经很高了，因此该参数可以起到用高精度信息指导低精度信息滤波的作用。
[0082]
上述实施例中，通过第一误差函数、第二误差函数和第三误差函数获取误差系数，能够使得误差系数准确地反应出每个像素点的每个局部片段的误差系数。
[0083]
基于上述三个函数，通过以下公式获取每个像素点的每个局部片段的误差系数：
[0084]
h(s)＝ψ(s)r(s)c(s)；
[0085]
基于上述公式计算的误差可以更全面地衡量每个局部片段的法向的置信程度，并且，误差系数越低，代表对应的片段越光滑，其估计法向的可信程度也越高。
[0086]
基于上述误差系数的计算公式，本技术提供一种s23的实现方法：
[0087]
选取每个像素点的多个局部片段中的误差系数最小的局部片段的法线法向为每个像素点的指导法向。
[0088]
在此基础上，s24可以通过以下公式实现：
[0089][0090][0091][0092][0093]
p为当前进行滤波的像素点，q为和p相邻的三维空间点；为点p的指导法向；为点q的指导法向。指导法向的计算方法见s23，x，y为p或q的坐标，σ
p
为依赖p的参数，σq为依赖q的参数，n'
p
为滤波后的指导法向。
[0094]
本技术实施例还提供一种s25的实现方法：
[0095]
根据像素点的原始坐标、每个像素点滤波后的指导法向获取每个像素点在深度方向上的位移向量；
[0096]
将每个像素点在深度方向上移动位移向量，得到更新后的每个像素点；
[0097]
在一种可能的实施方式中，在将每个像素点在深度方向上移动位移向量，得到更新后的每个像素点的步骤之后，方法还包括：
[0098]
根据每个像素点在深度方向上的位移向量和每个像素点的相邻像素点的位置获取每个像素点在深度方向上的自适应位移向量；
[0099]
将每个像素点在深度方向上移动位移向量之后，方法还包括：
[0100]
将每个像素点在深度方向上移动自适应位移向量。
[0101]
在更新点的坐标时，保证其对应的新的深度图像的连接关系不变，因此对每个点进行更新时，只允许其在深度方向上移动。基于上述实施方式，保证了滤波后的点云图像保留大部分的有用信息。考虑到每个点在移动时会直接影响到周围多个相邻点的法向，所以将这部分位移分为多个相同长度的小步长位移。基于上述实施方式，有效地像素点移动时的误差。
[0102]
在一种可能的实施方式中，位移向量和自适应位移向量的计算公式如下：
[0103][0104]
其中，δp为所述位移向量，p所述每个像素点在所述点云图像中的空间位置坐标，ni为点云图像第i个像素点pi滤波后的指导法向，ni[z]为ni在深度方向z上的分量。
[0105][0106]
其中，p
new
为自适应位移向量，n
p
为点pi的相邻点个数。
[0107]
通过上面的公式，我们即可对所有的像素均遍历其四个相邻点，求出新的空间位置并更新其所有相邻点的空间位置坐标，得到更新后的点云和深度图像；更进一步的，由于以上的所有方法对深度图像中的每个像素点而言都是分别计算的，因此可以将前面提及的所有计算操作全部交给gpu(graphics processing unit，图形处理器)来进行并行计算，从而达到了该方法的实时性。
[0108]
实施例2
[0109]
参见图4，本技术实施例提供一种深度图像滤波装置，包括：
[0110]
获取模块1，用于获取点云图像；
[0111]
滤波模块2，用于根据点云图像的深度信息和法向信息对点云图像进行滤波。
[0112]
在一种可能的实施方式中，滤波模块3还用于为点云图像的每个像素点生成多个局部片段，其中每个像素点在其对应的多个局部片段中的每个局部片段的位置不同；获取每个像素点的每个局部片段的误差系数；根据每个像素点的每个局部片段的误差系数获取每个像素点的指导法向；利用联合双边滤波优化滤指导法向算法对每个像素点的指导法向进行处理，得到每个像素点滤波后的指导法向；根据每个像素点滤波后的指导法向更新每个像素点的坐标。
[0113]
在一种可能的实施方式中，滤波模块2还用于根据像素点的原始坐标、每个像素点滤波后的指导法向获取每个像素点在深度方向上的位移向量；将每个像素点在深度方向上移动位移向量，得到更新后的每个像素点。
[0114]
在一种可能的实施方式中，滤波模块2还用于通过下述公式获取每个像素点在深度方向上的位移向量：
[0115][0116]
其中，δp为所述位移向量，p所述每个像素点在所述点云图像中的空间位置坐标，ni为点云图像第i个像素点pi滤波后的指导法向，ni[z]为ni在深度方向z上的分量。
[0117]
在一种可能的实施方式中，滤波模块2还用于在根据像素点的原始坐标、每个像素点滤波后的指导法向获取每个像素点在深度方向上的位移向量的步骤之后，根据每个像素点在深度方向上的位移向量和每个像素点的相邻像素点的位置获取每个像素点在深度方向上的自适应位移向量。
[0118]
在一种可能的实施方式中，滤波模块2还用于通过以下方式获取自适应位移向量，
[0119][0120]
其中，p
new
为自适应位移向量，n
p
为点pi的相邻点个数。
[0121]
在一种可能的实施方式中，滤波模块2还用于建立第一误差函数、第二误差函数和第三误差函数，第一误差函数用于衡量每个像素点的多个局部片段中的每个局部片段的光滑程度；第二误差函数用于衡量每个像素点的多个局部片段中的每个局部片段是否有尖锐边缘；第三误差函数用于计算每个像素点的多个局部片段中的每个局部片段不同像素点间颜色的最大差异；根据第一误差函数、第二误差函数和第二误差函数和第三误差函数获取每个像素点的每个局部片段的误差系数。
[0122]
在一种可能的实施方式中，滤波模块2还用于选取每个像素点的多个局部片段中的误差系数最小的局部片段的法线法向为每个像素点的指导法向。
[0123]
本技术还提供一种电子设备电子设备可以包括处理器、通信接口、存储器和至少一个通信总线。其中，通信总线用于实现这些组件直接的连接通信。其中，本技术实施例中电子设备的通信接口用于与其他节点设备进行信令或数据的通信。处理器可以是一种集成电路芯片，具有信号的处理能力。
[0124]
上述的处理器可以是通用处理器，包括中央处理器(cpu，central processing unit)、网络处理器(np，network processor)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0125]
存储器可以是，但不限于，随机存取存储器(ram，random access memory)，只读存储器(rom，read only memory)，可编程只读存储器(prom，programmable read-only memory)，可擦除只读存储器(eprom，erasable programmable read-only memory)，电可擦除只读存储器(eeprom，electric erasable programmable read-only memory)等。存储器
中存储有计算机可读取指令，当计算机可读取指令由处理器执行时，电子设备可以执行上述实施例涉及的各个步骤。
[0126]
可选地，电子设备还可以包括存储控制器、输入输出单元。
[0127]
存储器、存储控制器、处理器、外设接口、输入输出单元各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通信总线实现电性连接。处理器用于执行存储器中存储的可执行模块，例如电子设备包括的软件功能模块或计算机程序。
[0128]
输入输出单元用于提供给用户创建任务以及为该任务创建启动可选时段或预设执行时间以实现用户与服务器的交互。输入输出单元可以是，但不限于，鼠标和键盘等。
[0129]
本技术实施例还提供一种存储介质，存储介质上存储有指令，当指令在计算机上运行时，计算机程序被处理器执行时实现方法实施例的方法，为避免重复，此处不再赘述。
[0130]
本技术还提供一种计算机程序产品，计算机程序产品在计算机上运行时，使得计算机执行方法实施例的方法。
[0131]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本技术的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0132]
另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
[0133]
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0134]
以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0135]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵
盖在本技术的保护范围之内。因此，本技术的保护范围应所述以权利要求的保护范围为准。
[0136]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。