一种基于空角一致性光场抠图方法及装置

1.本发明涉及光学信息处理技术领域，特别是关于一种基于空角一致性光场抠图方法及装置。


背景技术：

2.光场描述了光线在自由空间中的分布，光场数据捕获来自各个方向光线的辐射，记录了光线的空间信息和角度信息和强度信息，光场成像可以捕捉更丰富的视觉信息，弥补传统摄影中丢失的角度信息，为场景理解提供了更强的能力，提高了传统计算机视觉问题的性能。
3.一个4d光场数据可由2d子孔径图像阵列表示，因此逐子孔径图像进行2d图像抠图算法一定程度上可以看作实现了4d光场数据的抠图。逐子孔径图像操作的方法没有考虑不同子孔径图像之间的联系，无法保持光场数据的空角一致性，得到的结果难以满足下游技术与应用的要求。并且光场数据尺寸较大，子孔径图像之间存在大量冗余信息，简单的逐子孔径图像处理存在过多冗余计算，效率过低。


技术实现要素：

4.本发明的目的在于提供一种空角一致性光场抠图及其评价指标的方法，能够避免抠图过程中对光场数据空角一致性的破坏，并减少计算冗余。
5.为实现上述目的，本发明提供一种基于空角一致性光场抠图方法，其包括：
6.步骤1，提取光场数据的中心子孔径图像并计算其视差；
7.步骤2，计算中心子孔径图像alpha图；
8.步骤3，通过式(1)提供的光场alpha图传播模型，对中心子孔径图像alpha图进行传播，获取光场alpha图alpha
u,v
(x,y)；
[0009][0010]
式中，为中心视点(u0,v0)下子孔径图像的alpha图，disp(x,y)为中心子孔径图像中像点(x,y)对应的视差，δu、δv分别为任意视点(u,v)与中心视点(u0,v0)在u、v方向上的距离。
[0011]
进一步地，步骤2中的视差图disp(x,y)的计算公式为式(2)：
[0012]
disp(x,y)＝f/z(x,y) f
ꢀꢀꢀ
(2)
[0013]
式中，f为相机的焦距，z(x,y)为场景的深度图。
[0014]
进一步地，步骤2中的中心子孔径图像alpha图的获取方法具体包括：
[0015]
步骤21，将视差图disp(x,y)中任意像素i的置信度qi设置为式(3)：
[0016][0017]
式中，pi为视差图disp(x,y)中任意像素i的视差值，d＝max(disp(x,y))为视差图中的最大值，d＝min(disp(x,y))为视差图中的最小值；
[0018]
步骤22，设置置信度阈值t1和t2，当置信度qi大于t1时，则该区域属于前景，当置信度qi小于t2时，则该区域属于背景，其他区域为三分图中不确定的区域，则获得式(4)描述的三分图：
[0019][0020]
步骤23，将所述三分图转化为i1和i2，i1中前景和背景标记处像素为1，其余地方像素值为0，将i1转化为稀疏化对角矩阵即为ds，i2中前景标记处像素值为1，其余像素值为0，将其转化为列向量即为bs：
[0021][0022][0023]
步骤24，通过式(7)对中心子孔径图像的alpha图进行求解：
[0024]
α＝λ(l λ)-1bs
ꢀꢀꢀ
(7)
[0025]
式中，λ为标记的权重系数，l为抠图的拉普拉斯矩阵。
[0026]
进一步地，所述基于空角一致性光场抠图方法还包括：
[0027]
步骤4，对光场抠图的空角一致性进行评价。
[0028]
进一步地，步骤4具体通过式(8)提供的在空间域获取的空角一致性评价指标s-cons，对光场alpha图中的空角一致性进行评价：指标s-cons取值范围在(0-1)，指标s-cons越接近1，代表边界区域方差越小，光场数据的一致性越好，指标s-cons越接近0，光场数据的一致性越差；
[0029][0030]
式中，n
epi
为光场alpha图的epi(对极平面图(epipolar plane image,epi))的数量，ej为对应的第j张epi，每一张epi中会有l个边界区域，记为ω
l
，n
l
为第j张epi中ω
l
区域的像素总个数，e
ji
为光场alpha图第j张epi中第i个像素，为第j张epi中ω
l
边界处像素值的均值；
[0031]
或者，步骤4具体通过式(9)提供的在频域获取的空角一致性评价指标f-cons，对光场alpha图中的空角一致性进行评价：指标f-cons取值范围在(0-1)，指标f-cons越大，代表支集所占范围越小，光场数据空角一致性越好，反之越差；
[0032][0033]
式中：
[0034][0035]
式中，l
′
(ωu,ωv,ω
x
,ωy)为频谱图l(ωu,ωv,ω
x
,ωy)通过二值化后统计频谱图，ε为一个较小的数，m为频谱图整体像素的个数，ωu、ωv、ω
x
、ωy分别为光场频谱图的坐标轴。
[0036]
本发明还提供基于空角一致性光场抠图装置，其包括：
[0037]
中心子孔径图像提取单元，其用于提取光场数据的中心子孔径图像；
[0038]
计算单元，其用于计算光场数据的中心子孔径图像中像素的视差和中心子孔径图像alpha图；
[0039]
光场抠图单元，其用于通过式(1)提供的光场alpha图传播模型，对中心子孔径图像alpha图进行传播，获取光场alpha图alpha
u,v
(x,y)；
[0040][0041]
式中，为中心视点(u0,v0)下子孔径图像的alpha图，disp(c,y)为中心子孔径图像中像点(x,y)对应的视差，δu、δv分别为任意视点(u,v)与中心视点(u0,v0)在u、v方向上的距离。
[0042]
进一步地，计算单元包括：
[0043]
视差计算子单元，其用于根据光场数据的深度图，通过式(2)计算视差图disp(x,y)：
[0044]
disp(x,y)＝f/z(x,y) f
ꢀꢀꢀ
(2)
[0045]
式中，f为相机的焦距，z(x,y)为场景的深度图。
[0046]
进一步地，计算单元包括：
[0047]
中心子孔径图像alpha图计算子单元，其用于根据光场数据的中心子孔径图像，通过如下具体的alpha闭合解方法求得中心子孔径图像alpha图：
[0048]
步骤21，将视差图disp(x,y)中任意像素i的置信度qi设置为式(3)：
[0049][0050]
式中，pi为视差图disp(x,y)中任意像素i的视差值，d＝max(disp(x,y))为视差图中的最大值，d＝min(disp(x,y))为视差图中的最小值；
[0051]
步骤22，设置置信度阈值t1和t2，当置信度qi大于t1时，则该区域属于前景，当置信度qi小于t2时，则该区域属于背景，其他区域为三分图中不确定的区域，则获得式(4)描述的三分图：
[0052][0053]
步骤23，将所述三分图转化为i1和i2，i1中前景和背景标记处像素为1，其余地方像素值为0，将i1转化为稀疏化对角矩阵即为ds，i2中前景标记处像素值为1，其余像素值为0，将其转化为列向量即为bs：
[0054][0055][0056]
步骤24，通过式(7)对中心子孔径图像的alpha图进行求解：
[0057]
α＝λ(l λ)-1bs
ꢀꢀꢀ
(7)
[0058]
式中，λ为标记的权重系数，l为抠图的拉普拉斯矩阵。
[0059]
进一步地，所述基于空角一致性光场抠图装置还包括：
[0060]
评价单元，其用于对光场抠图中的空角一致性进行评价。
[0061]
进一步地，评价单元具体包括空间域评价子单元或频域评价子单元：
[0062]
所述空间域评价子单元用于通过式(8)提供的在空间域获取的空角一致性指标s-cons，对光场alpha图中的光场数据空角一致性进行评价：指标s-cons取值范围在(0-1)，指标s-cons越接近1，代表边界区域方差越小，光场数据的空角一致性越好，指标s-cons越接近0，光场数据的一致性越差；
[0063][0064]
式中，n
epi
为光场alpha图的epi(对极平面图(epipolar plane image,epi))的数量，ej为对应的第j张epi，每一张epi中会有l个边界区域，记为ω
l
，n
l
为第j张epi中ω
l
区域的像素总个数，e
ji
为光场alpha图第j张epi中第i个像素，为第j张epi中ω
l
边界处像素值的均值；
[0065]
所述频域评价子单元用于通过式(9)提供在频域获取的空角一致性评价指标f-cons，对光场alpha图中的光场数据空角一致性进行评价：指标f-cons取值范围在(0-1)，指标f-cons越大，代表支集所占范围越小，光场数据空角一致性越好，反之越差；
[0066][0067]
式中：
[0068][0069]
式中，l
′
(ωu,ωv,ω
x
,ωy)为频谱图l(ωu,ωv,ω
x
,ωy)通过二值化后统计频谱图，ε为一个较小的数，m为频谱图整体像素的个数，ωu、ωv、ω
x
、ωy分别为光场频谱图的坐标轴。
[0070]
本发明由于采取以上技术方案，其具有以下优点：
[0071]
通过采用本发明提供的基于空角一致性光场抠图及其评价指标的方法，实现准确且具有一致性的光场抠图，保证了光场数据的空角一致性并减少了计算冗余，建立的评价指标可以有效的评估所获光场数据的空角一致性。
附图说明
[0072]
图1为本发明实施例提供的基于空角一致性光场抠图方法的流程示意图。
[0073]
图2为本发明实施例提供的基于空角一致性光场抠图评价方法的流程示意图。
[0074]
图3为中心子孔径图像的alpha图视差图。
[0075]
图4为传播模型示意图。
[0076]
图5为空间域评价指标示意图。
[0077]
图6为频域评价指标示意图。
具体实施方式
[0078]
在附图中，使用相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面结合附图对本发明的实施例进行详细说明。
[0079]
如图1所示，本发明实施例提供的基于空角一致性光场抠图方法包括：
[0080]
步骤1，提取光场数据的中心子孔径图像并计算其视差。
[0081]
步骤2，计算中心子孔径图像alpha图。
[0082]
步骤3，通过式(1)提供的光场alpha图传播模型，对中心子孔径图像alpha图进行传播，获取光场alpha图alpha
u,v
(x,y)；
[0083][0084]
式中，为中心视点(u0,v0)下子孔径图像的alpha图，disp(x,y)为中心子孔径图像中像点(x,y)对应的视差，δu、δv分别为任意视点(u,v)与中心视点(u0,v0)在u、v方向上的距离。
[0085]
根据步骤3构建的传播模型，将步骤2的alpha图进行传播，得到9*9个视点下的光场alpha图，如图4的(a)中示出了中心子孔径图像alpha图2和视差图3，图4的(b)中示出了传播得到的9*9个视点下子孔径图像的alpha图4。
[0086]
本发明中建立了满足空角一致性的光场抠图传播模型。该模型的建立是以四维光场数据的空角耦合性质为基础，能快速得到具有更好空角一致性的高质量光场alpha图，为实现具有一致性的光场抠图，可以使用cho等人光场抠图方法，通过引入对极平面图(epipolar plane image,epi)的平滑约束，增强估计的alpha图在子孔径图像中的空角一致性。
[0087]
在一个实施例中，步骤2中，如图3中的a所示，根据光场数据的中心子孔径图像，利用式(2)计算光场数据的视差图disp(x,y)，由于深度和视差之间满足这样一个反比关系：
[0088]
disp(x,y)＝f/z(x,y) f
ꢀꢀꢀ
(2)
[0089]
式中，f为相机的焦距，z(x,y)为场景的深度图。
[0090]
可以通过mishiba k等人提出的一种基于多视角立体匹配的快速光场图像深度估计方法。也可以通过wang tc等人提出的基于遮挡感知的深度估计算法估计深度。当有了深度图之后，通过公式(2)转换即可得到视差图。
[0091]
在一个实施例中，如图3中的b所示，步骤2中的中心子孔径图像alpha图的获取方法具体包括：
[0092]
步骤21，为了实现中心子孔径图像的三分图的自动获取并进行alpha图求解，假设
光场数据视差图是准确的，对视差图引入置信度并选择阈值，根据置信度阈值设置准确的前景、背景和不确定的区域，视差图的置信度设置如下：
[0093][0094]
式中，pi为视差图disp(x,y)中任意像素i的视差值，该像素点处的置信度qi代表了该点属于前景的概率，d＝max(disp(x,y))为视差图中的最大值，d＝min(disp(x,y))为视差图中的最小值。设置阈值t1和t2，当置信度大于t1时，认为这部分区域属于前景，当置信度小于t2时，认为这部分区域为背景，其他区域为三分图中不确定的区域，可获得三分图：
[0095][0096]
式中，t1和t2为置信度最小值与最大值所构成直线上的某一点，且t1和t2的选取与场景中前景、背景各自深度范围在整体深度中的占比有关。当前景深度范围占比大时，t1越大，t2越小；当背景深度范围占比大时，t1越小，t2越大。
[0097]
获取三分图之后将三分图转化为i1和i2：i1中前景和背景标记处像素为1，其余地方像素值为0，将i1转化为稀疏化对角矩阵即为ds；i2中前景标记处像素值为1，其余像素值为0，将其转化为列向量即为bs。当然可以采用手工标记i1和i2，还可以采用现有的自动方式进行标记。
[0098][0099][0100]
步骤22，基于获取的ds和bs即可通过公式(7)对中心子孔径图像的alpha图进行求解：
[0101]
α＝λ(l λ)-1bs
ꢀꢀꢀ
(7)
[0102]
式中，λ为标记的权重系数，一般选较大的数，比如100，l为抠图的拉普拉斯矩阵。
[0103]
此外还可以通过random walk matting、泊松抠图等方法对中心子孔径图像进行抠图。
[0104]
在一个实施例中，如图5和图6所示，所述基于空角一致性光场抠图方法还包括：
[0105]
步骤4，如图5所示，场景中位于边界的物点在alpha图的epi中构成了一束直线带，直线带整体的差异越小，边界处的一致性越好，所以将位于边界处的区域记为ω，通过计算ω区域处的像素值方差，来衡量所获光场数据的一致性，如果方差越小，一致性越好。对光场alpha图alpha
u,v
(x,y)的空角一致性进行评价。
[0106]
步骤4具体通过式(8)提供的在空间域获取空角一致性的评价指标s-cons，对光场alpha图中的光场数据空角一致性进行评价：指标s-cons取值范围在(0-1)，指标s-cons越接近1，代表边界区域方差越小，光场数据的空角一致性越好，指标s-cons越接近0，光场数据的空角一致性越差；
[0107][0108]
式中，n
epi
为光场alpha图的epi(对极平面图(epipolar plane image,epi))的数量，ej为对应的第j张epi，每一张epi中会有l个边界区域，记为ω
l
，n
l
为第j张epi中ω
l
区域的像素总个数，e
ji
为光场alpha图第j张epi中第i个像素，为第j张epi中ω
l
边界处像素值的均值；
[0109]
或者，如图6中的a所示，光场数据频谱图满足hypercone的形状，所以光场数据的空角一致性可以通过频谱内支集的范围来体现，如果光场数据的空角一致性较好，在频域内能越好的保持直线形状，则频谱支集的范围越小，占整体频谱图的比例越小；反之如果一致性遭到破坏，hypercone的结构遭到破坏，频域中不能保持直线结构，支集范围越大，所占整体频谱图的比例越大。
[0110]
基于此，步骤4具体通过式(9)提供频谱图的二值化如图6中的b所示，再通过式(10)在频域获取的空角一致性评价指标f-cons，对光场alpha图中的光场数据空角一致性进行评价：指标f-cons取值范围在(0-1)，指标f-cons越大，代表支集所占范围越小，光场数据空角一致性越好，反之越差；
[0111][0112]
式中：
[0113][0114]
式中，l
′
(ωu,ωv,ω
x
,ωy)为频谱图l(ωu,ωv,ω
x
,ωy)通过二值化后统计频谱图，ε为一个较小的数，m为频谱图整体像素的个数，ωu、ωv、ω
x
、ωy分别为光场频谱图的坐标轴。
[0115]
在本发明中提出了一种光场alpha图的定量评价指标，该指标的建立基于光场数据的本质属性，能客观地评价传播后光场alpha图的空角一致性，cho等人也提出了评价光场数据空角一致性的指标，亦可使用mse、sad等来评估。
[0116]
本发明实施例提供的基于空角一致性光场抠图装置包括中心子孔径图像提取单元、计算单元和光场抠图单元，其中：
[0117]
中心子孔径图像提取单元用于提取光场数据的中心子孔径图像。
[0118]
计算单元用于计算光场数据的中心子孔径图像中像素的视差和中心子孔径图像alpha图。
[0119]
光场抠图单元用于通过式(1)提供的光场alpha图传播模型，对中心子孔径图像alpha图进行传播，获取光场alpha图alpha
u,v
(x,y)；
[0120][0121]
式中，为中心视点(u0,v0)下子孔径图像的alpha图，disp(c,y)为中心子孔径图像中像点(x,y)对应的视差，δu、δv分别为任意视点(u,v)与中心视点
(u0,v0)在u、v方向上的距离。
[0122]
在一个实施例中，计算单元包括视差计算子单元，视差计算子单元用于根据光场数据的深度图，通过式(2)计算视差图disp(x,y)：
[0123]
disp(x,y)＝f/z(x,y) f
ꢀꢀꢀ
(2)
[0124]
式中，f为相机的焦距，z(x,y)为场景的深度图。
[0125]
在一个实施例中，计算单元包括中心子孔径图像alpha图计算子单元，中心子孔径图像alpha图计算子单元用于根据光场数据的中心子孔径图像，通过如下具体的alpha闭合解方法求得中心子孔径图像alpha图：
[0126]
步骤21，将视差图disp(x,y)中任意像素i的置信度qi设置为式(3)：
[0127][0128]
式中，pi为视差图disp(x,y)中任意像素i的视差值，d＝max(disp(x,y))为视差图中的最大值，d＝min(disp(x,y))为视差图中的最小值；
[0129]
步骤22，设置置信度阈值t1和t2，当置信度qi大于t1时，则该区域属于前景，当置信度qi小于t2时，则该区域属于背景，其他区域为三分图中不确定的区域，则获得式(4)描述的三分图：
[0130][0131]
步骤23，将所述三分图转化为i1和i2，i1中前景和背景标记处像素为1，其余地方像素值为0，将i1转化为稀疏化对角矩阵即为ds，i2中前景标记处像素值为1，其余像素值为0，将其转化为列向量即为bs：
[0132][0133][0134]
步骤24，通过式(7)对中心子孔径图像的alpha图进行求解：
[0135]
α＝λ(l λ)-1bs
ꢀꢀꢀ
(7)
[0136]
式中，λ为标记的权重系数，l为抠图的拉普拉斯矩阵。
[0137]
在一个实施例中，所述的基于空角一致性光场抠图装置还包括评价单元，价单元用于对光场alpha图alpha
u,v
(x,y)的空角一致性进行评价。
[0138]
在一个实施例中，评价单元具体包括空间域评价子单元或频域评价子单元：
[0139]
所述空间域评价子单元用于通过式(8)提供的在空间域获取的空角一致性评价指标s-cons，对光场alpha图中的光场数据空角一致性进行评价：指标s-cons取值范围在(0-1)，指标s-cons越接近1，代表边界区域方差越小，光场数据的空角一致性越好，指标s-cons越接近0，光场数据的空角一致性越差；
[0140][0141]
式中，n
epi
为光场alpha图的epi(对极平面图；epipolar plane image)的数量，ej为对应的第j张epi，每一张epi中会有l个边界区域，记为ω
l
，n
l
为第j张epi中ω
l
区域的像素总个数，e
ji
为光场alpha图第j张epi中第i个像素，为第j张epi中ω
l
边界处像素值的均值；
[0142]
所述频域评价子单元用于通过式(9)提供的在频域获取的空角一致性评价指标f-cons，对光场alpha图中的光场数据空角一致性进行评价：指标f-cons取值范围在(0-1)，指标f-cons越大，代表支集所占范围越小，光场数据空角一致性越好，反之越差；
[0143][0144]
式中：
[0145][0146]
式中，l
′
(ωu,ωv,ω
x
,ωy)为频谱图l(ωu,ωv,ω
x
,ωy)通过二值化后统计频谱图，ε为一个较小的数，m为频谱图整体像素的个数，ωu、ωv、ω
x
、ωy分别为光场频谱图的坐标轴。
[0147]
最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。