一种基于自回归模型的深度图增强方法

1.本发明属于计算摄影技术领域，具体是一种基于自回归模型的深度图增强方法。


背景技术：

2.在计算机视觉领域，深度信息一直发挥着不可替代的作用。现有的获取深度信息的方法包括激光测距扫描仪，kinect相机，tof相机等。但是这些方法都存在着各种各样的问题，激光测距扫描仪虽然精度高，但是实时性差并且存在数据缺失，kinect相机速度快，但是测距短，并且获取的深度信息“空洞现象”，tof相机实时性强，但获取的深度图像分辨率低且存在大量的随机噪声。除使用仪器获取深度数据外，通过深度学习的方式获取深度图也是现在计算机视觉领域的趋势，但这种方式获取到的深度图像往往存在较多的差值。为了对由成像设备获取的深度图像及深度学习获取得到的深度图像进行处理，提高分辨率并纠正错误深度值，使其能够达到相关应用的要求，就需要深度图增强技术。
3.现有的深度图增强方法可分为传统方法以及求解器两类。比较经典的传统方法包括双边滤波，引导图滤波和加权中值滤波，这些方法比较灵活，速度快且效率高，但是在进行深度图纠正任务时，这些方法表现不好，无法达到较好的纠正效果。快速双边求解器是求解器深度图增强方法的代表方法，该方法速度快且能应用于多种计算机视觉任务，但是由该求解器得到的深度图会产生伪影现象。
4.本发明提出了一种新的基于自回归模型的深度图增强方法，该方法既能较好地纠正深度图像，实现深度图上采样，又能较好地克服快速双边求解器会产生的伪影现象，并且具有较高的计算效率。


技术实现要素：

5.本发明针对现有技术中存在的问题，提出了一种基于自回归模型的深度图增强方法，能够在保证效率的同时，实现深度图的上采样和深度值的纠正，并能有效克服伪影现象。
6.一种基于自回归模型的深度图增强方法，包括以下步骤：
7.步骤1，设置矩阵网格参数σ
l
(亮度带宽)、σ
u,v
(彩色带宽)、σ
x,y
(空间带宽)以及平滑参数λ，选择待增强的深度图像。
8.步骤2，求解深度图像的目标函数，对深度图像进行增强，得到处理后的深度图；
9.进一步，对深度图像进行增强使用的目标函数如下：
[0010][0011]
其中o是需要增强的深度值；c是该处深度值的可信度，置信度的计算分为深度图纠正和深度图上采样两种情况。
[0012]
进一步，简化的双边仿射矩阵解法为：
[0013]
根据双边仿射矩阵的定义式：
[0014][0015]
其中表示像素i的空间位置，分别代表像素i的l、u、v通道的值，从双边仿射矩阵的定义式可以看出像素i和像素j之间距离越近，颜色越接近，对应的双边仿射矩阵的值a
i,j
就越大。
[0016]
但是基于双边仿射矩阵的定义式求解权利要求2中所提出的目标函数是不现实的，这是因为一张深度图的深度值通常是成千上万的，直接由双边仿射矩阵的定义求解目标函数所花费的时间是无法想象的，因此这就需要对双边仿射矩阵进行简化处理，这也是求解目标函数的关键所在。
[0017]
根据前人的研究，双边仿射矩阵可由以下式子近似得出：
[0018]
a≈s
t
bs
[0019]st
、b、s分别代表splat、blur、slice过程。现假设有一个像素值x需要处理，某一像素点由位置(x,y)、颜色值(l,u,v)共同决定，从而可以将x看做是 p＝(p
x
,py,p
l
,pu,pv)的点集。根据前面的分析，得出直接求解x的双边仿射矩阵因时间花费过于昂贵而不可取，双边仿射矩阵的近似结果由下面三个步骤完成：
[0020]
splat：将每个像素值xi投射到最接近pi的顶点上。
[0021]
blur：对双边空间的顶点值执行平滑操作。
[0022]
slice：从最接近pi的顶点的模糊值来插值新的像素值。
[0023]
在目标函数中使用的由下式定义：
[0024][0025]
其中dm、dn是对角矩阵。
[0026]
若为深度图纠正，则该处为边缘区域时，可信度较低，该处为平滑区域时，可信度较高，具体来说，其置信度求解公式为
[0027][0028]
其中，i为需要纠正的深度图像，g为彩色引导图像，σc为平滑参数，在本发明的方法中将其设置为0.125。
[0029]
若为深度图上采样，首先将低分辨率的深度图插值到相应的分辨率，那么插值处的置信度自然低，而与真实深度值相差越大，其置信度也就越低。针对这种情况下置信度的求解，本发明主要采用了高斯函数包络的方法。具体来说，其局部置信度求解公式为：
[0030][0031]
其中，f为上采样的倍数，f为f行f列的矩阵。随后，将cf纵向复制m份，横向复制n份得到相应分辨率下的置信度c，a为待增强深度图的长，b为待增强深度图的宽，具体来说，其置信度为
[0032][0033]
i是输入要处理的深度图某处的实际深度值；λ是一个可调节的平滑参数；是双边仿射矩阵，目标函数中使用的是双边仿射矩阵的一种近似形式。
[0034]
进一步，根据简化的双边仿射矩阵化简目标函数并求解相应区域深度值的方法为：
[0035]
将双边仿射矩阵的近似形式替换目标公式中的然后对oi求偏导，并设其为0，进一步化简目标函数的公式为：
[0036][0037]
将上式写作矩阵形式得出：
[0038][0039]
整理上式为：
[0040][0041]
然后令o＝s
t
y，得出：
[0042][0043]
在上式两边同乘s,得到下式：
[0044][0045]
其中，ss
t
＝dm,sdiag(c)s
t
＝diag(sc),diag(c)i＝c
⊙
i，因此上式等价于：
[0046][0047]
最后只需要对求解出来的y进行一步slice操作，就可以得到所要求解的深度值。
[0048]
进一步，上述过程对求解出的y进行一步slice操作也就是将求解出的y矩阵乘以 s矩阵的转置，通过下式计算：
[0049]
o＝s
ty[0050]
本发明的有益效果为：
[0051]
经过现有技术直接获取的深度图像，存在着分辨率低、深度值错误等问题，因此，在将这些深度图像应用于计算机视觉任务之前，需要通过深度图增强技术进行修复，以便使其达到相关应用的要求。本发明在能够对深度图实现一个较好的增强效果，即纠正错误深度值，在深度图上采样中也较好的克服了伪影现象的产生，且具有较快的处理效率。
附图说明
[0052]
图1是本发明方法的流程图。
[0053]
图2是本发明与双边滤波及快速双边求解器不同上采样倍数的对比图。其中：
[0054]
图2(a)是本发明2倍上采样的结果，图2(b)是本发明4倍上采样的结果，图2 (c)是本发明8倍上采样的结果。图2(d)是双边滤波2倍上采样的结果，图2(e)是双边滤波4倍上采样的结果，图2(f)是双边滤波8倍上采样的结果。图2(g)快速双边求解器2倍上采样的结果，图2(h)是快速双边求解器4倍上采样的结果，图2(i) 是快速双边求解器8倍上采样的结果。其中，本发明参数为λ＝5,σ
l
＝10，σ
u,v
＝5,σ
x,y
＝30, 双边滤波参数为r＝16，全局方差为16，局部方差为0.8,快速双边求解器的参数为λ＝5,σ
l
＝10，σ
u,v
＝5,σ
x,y
＝30。
[0055]
图3是本发明与其他方法用于深度图纠正的对比图。其中：
[0056]
图3(a)是残差网络预测的深度图；3(b)是本发明纠正后的结果，参数为λ＝15,σ
l
＝5，σ
u,v
＝10,σ
x,y
＝30，图3(c)是域转换滤波df，σ_s＝8σ_r＝4.6纠正后的结果，参数为r＝16，全局方差为16，局部方差为0.8,图3(d)是加权中值滤波wmf纠正后的结果，参数为 r＝10,σ＝15.5,w＝1；图3(e)是快速双边求解器纠正后的结果，参数为λ＝15,,σ
l
＝5，σ
u,v
＝10,σ
x,y
＝30，图3(f)是引导图滤波纠正后的结果，参数为r＝10。
具体实施方式
[0057]
本发明的实施：给定用户输入的图像以及参数，该方法首先根据深度图像得出对应的置信度，之后对深度图做纠正和上采样操作。针对深度图纠正，由于经全卷积残差网络预测得到的深度图边缘部分误差较大，而图像平滑区域预测结果较为准确，因此在使用本发明的方法进行深度图纠正时，对于不可信的图像边缘部分，给予一个较低的置信度，而对于可信的图像平滑区域，给予一个较高的置信度。针对深度图上采样，首先将低分辨率的深度图插值得到高分辨率的深度图，由插值得到的深度值是不可信的，相应地给予一个较低的置信度值，而原始的深度值可信度较高，相应地给予一个较高的置信度值；之后求解该方法中简化的双边仿射矩阵；最后将要处理的图像以及得到的置信度和相应的参考图像经过本发明提出的方法进行处理，就达到了纠正和上采样的效果。实验结果表明，本发明方法在保证了处理速度的同时，能够克服伪影、保边平滑，取得了较好的深度图增强效果。
[0058]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
[0059]
如图1所示，本发明所提出的基于自回归模型的深度图增强方法，具体过程如下：
[0060]
步骤1，设置矩阵网格参数,σ
l
(亮度带宽)、σ
u,v
(彩色带宽)、σ
x,y
(空间带宽) 以及平滑参数λ，选择待增强的深度图像和对应的彩色参考图像。建立目标深度图像进行深度增强的目标函数如下：
[0061][0062]
其中，ii是输入要处理的深度图某处的实际深度值；λ是一个可调节的平滑参数；是双边仿射矩阵，目标函数中使用的是双边仿射矩阵的一种近似形式，o是需要增强的深度值，i,j代表像素在图像中的位置；c是该处深度值的信度，分为深度图纠正和深度图上采样两种情况。
[0063]
步骤2，求解目标函数中简化的双边仿射矩阵和置信度
[0064]
对于上述步骤提出的目标函数，首先需要解决两个主要问题，一是求解简化的双边仿射矩阵，二是求解置信度。
[0065]
求解简化的双边仿射矩阵的方法为：
[0066]
根据双边仿射矩阵的定义式：
[0067][0068]
其中表示像素i的空间位置，分别代表像素i的l、u、v通道的值，σ
x,y
，σ
l
，σ
uv
指的是三个可调节的参数，从双边仿射矩阵的定义式可以看出像素i和像素j之间距离越近，颜色越接近，对应的双边仿射矩阵的值a
i,j
就越大。
[0069]
但是基于双边仿射矩阵的定义式求解提出的目标函数是不现实的，这是因为一张深度图的深度值通常是成千上万的，直接由双边仿射矩阵的定义求解目标函数所花费的时间是无法想象的，因此这就需要对双边仿射矩阵进行简化处理，这也是求解目标函数的关键所在。
[0070]
将双边仿射矩阵采用下式近似：
[0071]
a≈s
t
bs
[0072]st
、b、s分别代表splat、blur、slice过程。假设有一个像素值x需要处理，某一像素点由位置(x,y)、颜色值(l,u,v)共同决定，从而可以将x看做是p＝(p
x
,py,p
l
,pu,pv) 的点集。根据前面的分析，得出直接求解x的双边仿射矩阵因时间花费过于昂贵而不可取，因此，双边仿射矩阵的近似结果由下面三个处理完成：
[0073]
splat：将每个像素值xi投射到最接近pi的顶点上。
[0074]
blur：对双边空间的顶点值执行平滑操作。
[0075]
slice：从最接近pi的顶点的模糊值来插值新的像素值。
[0076]
在目标函数中使用的由下式定义：
[0077][0078]
其中dm、dn是对角矩阵。
[0079]
若为深度图纠正，则该处为边缘区域时，可信度较低，该处为平滑区域时，可信度较高，具体来说，其置信度求解公式为
[0080][0081]
其中，i为需要纠正的深度图像，g为彩色引导图像，σc为平滑参数，本发明中将其设置为0.125。
[0082]
若为深度图上采样，首先将低分辨率的深度图插值到相应的分辨率，那么插值处的置信度自然低，而与真实深度值相差越大，其置信度也就越低。本发明主要采用了高斯函数包络的方法，具体来说，其局部置信度求解公式为：
[0083]
[0084]
其中，f为上采样的倍数，f为f行f列的矩阵。
[0085]
随后，将cf纵向复制m份，横向复制n份得到相应分辨率下的置信度c， a为待增强深度图的长，b为待增强深度图的宽,具体来说，其置信度为
[0086][0087]
根据简化的双边仿射矩阵化简目标函数的方法为：
[0088]
将双边仿射矩阵的近似形式替换目标公式中的然后对oi求偏导，并设其为0，可以进一步化简化目标函数的公式为：
[0089][0090]
将上式写作矩阵形式得出：
[0091][0092]
整理上式为：
[0093][0094]
然后令o＝s
t
y，得出：
[0095][0096]
在上式两边同乘s,得到下式：
[0097][0098]
其中，ss
t
＝dm,sdiag(c)s
t
＝diag(sc),diag(c)i＝c
⊙
i，
[0099]
因此上式等价于：
[0100][0101]
最后只需要对求解出来的y进行一步slice操作，就可以得到所要求解的深度值。
[0102]
上述过程对求解出的y进行一步slice操作也就是将求解出的y矩阵乘以s矩阵的转置，通过下式计算：
[0103]
o＝s
ty[0104]
步骤3，将待增强的深度图像作为目标图像，对应的彩色图像作为参考图像输入求解器，所述求解器内置入上述目标函数，针对两种不同的情况求解出对应的置信度，并最终构建输出增强的深度图像。
[0105]
此外，步骤2所提到的双边空间，其网格的大小可以控制，网格越大速度越快，但过大会影响深度图增强的效果。实施例中，在intel i5-4200h cpu@2.80ghz，16g内存的机器上，对1390像素
×
1110像素的深度图行增强时，时间在1s左右，能够达到现实应用中对于深度图修复计算效率的要求。
[0106]
如图2所示是本发明与双边滤波及快速双边求解器不同上采样倍数的对比图，与
其他两种方法相比，本发明的方法在相同上采样倍数下能够更好的保留图片细节，边缘比较锐化，达到了较好的上采样效果。如图3是本发明与其他方法用于深度图纠正的对比图，本发明共与域转换滤波，加权中值滤波，快速双边求解器，引导图滤波四种方法进行了对比，通过对比图可以看出本发明的方法纠正效果优于其他方法，尤其是在残差网络预测深度图的边缘区域，纠正效果更加明显。下表展示了本发明与其他方法在运行时间上的对比结果，本发明与其他方法处理的图像大小均为1390像素
×
1110像素,可以看出本发明具有较高的效率，能够达到现实应用中对实时性的要求。
[0107]
方法运行时间(s)本发明1.07双边滤波4.07快速双边求解器1域转换滤波0.25加权中值滤波1.21引导图滤波11.96
[0108]
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技术所创的等效方式或变更均应包含在本发明的保护范围之内。