一种无参考光场图像质量评价方法与流程

1.本发明涉及图像质量评价技术领域，具体涉及到一种无参考光场图像质量评价方法。


背景技术：

2.光场成像是计算成像领域中最有前途的技术之一。光场成像能够捕捉到现实世界自由空间中光线的强度和方向信息，因此受到越来越多的关注。随着光场被广泛地应用，光场成像的质量也成为影响人们观看光场图像的重要因素。光场图像在采集、传输、解码以及显示过程中，因为处理算法的差异从而引入失真。这些失真会导致光场图像质量的退化，一方面影响光场图像后处理的应用，例如重新对焦、去遮挡和深度估计等；另一方面，低质量的光场图像会提供给用户不适的视觉体验。为了指导并优化光场图像处理算法，并给用户提供更好的服务，对于光场图像质量进行客观和定量的评估具有重要研究意义。
3.传统的平面图像质量评价方法已经相对成熟，这些方法已经能够准确地评估平面图像的质量。光场图像不仅记录了场景的空间信息，还记录了场景的角度信息。光场图像质量主要受空间质量和角度一致性的制约。因此，平面图像质量评价方法无法准确地估计光场图像的质量。
4.为了准确地评估光场图像的质量，tian等人设计了一个多导数特征模型(mdfm)来测量原始和失真的光场图像的每个视点之间的一阶和二阶结构的相似度。min等人从全局空间、局部空间和角度质量三个方面衡量失真光场图像的质量。shi等人基于独眼图阵列和极平面图像获取光场图像的空间质量和角度一致性。zhou等人从光场图像的视点堆栈中提取了光场图像的空间质量和角度一致性。xiang等人基于伪视频和重聚焦图像来量化光场图像的质量。但上述光场图像质量评价方法通常假设人眼对图像的亮度更为敏感，而忽视了光场图像色度信息的探究。光场图像是高维数据，彩色的光场图像可以被定义为5维函数。现有的颜色空间变换难以处理5维的彩色数据。另外，光场图像的高维特性使得在对光场图像进行质量评估时，需要综合考虑空间质量和角度一致性。大多数方法是采用多阶段分别提取特征来测量光场图像的空间质量和角度一致性的恶化。
5.综上所述，提供一种可有效的解决光场图像的高维性所带来的问题，并更准确地预测光场图像的质量的无参考光场图像质量评价方法，是本领域技术人员急需解决的问题。


技术实现要素：

6.本方案针对上文提到的问题和需求，提出一种无参考光场图像质量评价方法，其由于采取了如下技术方案而能够解决上述技术问题。
7.为实现上述目的，本发明提供如下技术方案：一种无参考光场图像质量评价方法，包括：步骤step1：获取待评价的彩色光场图像，并对所述彩色光场图像进行张量分解，得到三个4维成分，所述三个4维成分包括一个亮度成分和两个色度成分；
8.步骤step2：将每个成分重新排列成3维的伪视频序列，并计算各伪视频的连续帧差；
9.步骤step3：采用基于三维剪切波变换的特征提取方法对所述伪视频的连续帧差进行特征提取；
10.步骤step4：对步骤step3提取的特征进行池化、回归得到所述彩色光场图像的质量分数。
11.进一步地，所述张量分解为采用tucker分解方式沿着5维彩色光场图像的颜色维进行分解。
12.更进一步地，所述沿着5维彩色光场图像的颜色维进行分解包括：
13.将5维的彩色光场图像分解按照公式：
[0014][0015]
分解为一个核心张量和多个正交矩阵，其中，式中表示彩色光场图像，表示5维的核心张量，u(i),i＝1,2,...,5是正交因子矩阵，
×i表示i-模式积；
[0016]
再获取彩色维的分解成分：其中，式中表示沿着彩色光场图像颜色维的分解成分，t表示转置操作；
[0017]
最后将定义为彩色光场图像的亮度成分λf，和分别定义为彩色光场图像的色度成分λs和λh。
[0018]
进一步地，所述将每个成分重新排列成3维的伪视频序列，并计算各伪视频的连续帧差包括：
[0019]
将每个成分中的每个视点视为一帧，按照设定的规则将光场图像的每个视点排列成3维伪视频的形式，每个成分的伪视频被定义为γf、γs和γh；
[0020]
再根据公式：计算各伪视频中相邻帧之间的差异的幅值，其中，表示第ti帧的图像，表示绝对值运算，表示第ti帧和第t
i 1
帧的差异的振幅；
[0021]
各伪视频中所有相邻帧的差异的振幅构成了对应伪视频的连续差帧，将三个成分的伪视频的连续差帧分别定义为和
[0022]
更进一步地，所述采用基于三维剪切波变换的特征提取方法对所述伪视频的连续帧差进行特征提取的步骤包括：
[0023]
获取三个成分的伪视频连续差帧和中的三维块，并采用三维剪切波变换方法对和中获取的每个三维块进行三维剪切波变换；
[0024]
变换后可得到每个三维块的不同方向和不同尺度的剪切波系数，共包含1个低频子带系数和26个高频子带系数，分别被标记为子带系数和26个高频子带系数，分别被标记为和其中，b表示第b个三维块，b的取值范围与具体分割的三维块的个数相关，l表示第l个子带系数,当l＝1时表示低频子带系数，l＝2,...，27表示高频子带系数；
[0025]
最后提取三类统计特征，所述三类统计特征包括第一类特征、第二类特征和第三类特征。
[0026]
更进一步地，使用prewitt算子求取不同成分对应三维块的低频子带系数的空间维度维度和对应的梯度对应的梯度和然后计算和与和的每个像素点的相似度值，并求取平均值来量化低频子带系数的梯度与高频子带系数的相似度：
[0027][0028][0029][0030]
其中，(s1,t1,z1)表示三维块中的像素坐标，和表示三个成分在第b个块的相似度值；然后求取每个三维块的相似度值的平均值记作t
lf
、t
ls
和t
lh
，并把所有特征值连接成一维向量得到第一类特征fy,其中，[]表示将标量或向量级联。
[0031]
更进一步地，将三个成分中每个块的26个高频子带系数分别展开成一维向量；采用公式：对每个向量进行广义高斯分布拟合，其中，y表示高频子带系数向量化成一维向量γ()表示伽马函数；得到每个成分的每个三维块对应的高频子带系数的广义高斯分布拟合参数α和σ，并将每个成分的所有三维块的高频子带系数的广义高斯分布拟合参数α和σ分别进行平均处理作为每个成分的高频子带系数的广义高斯分布拟合参数，其中，亮度成分的高频子带系数的广义高斯分布拟合参数包括和两个色度成分的高频子带系数的广义高斯分布拟合参数分别包括和和和最后，将不同成分的同
类广义高斯分布拟合参数级联成一维向量，即和得到第二类特征f
α
和第三类特征f
β
。
[0032]
进一步地，所述对步骤step3提取的特征进行池化、回归得到所述彩色光场图像的质量分数包括：对每个成分相同类的特征fy、f
α
和f
σ
进行主成分分析降维得到裁剪的特征f'y、f'
α
和f'
σ
，它们的维度分别为32、24和16，并将它们连接成一维特征向量f
lfiqa
＝[f'y,f'
α
,f'
β
」；然后将特征向量f
lfiqa
输入到已经训练好的以径向基函数为内核的支持向量回归中回归得到失真的光场图像质量分数q
predict
。
[0033]
从上述的技术方案可以看出，本发明的有益效果是：
[0034]
1、本发明所提出的方法是一种无参考光场图像质量评价方法，该方法无需原始光场图像，直接以失真图像作为输入即可得到图像的质量分数，在某些无法获取原始光场图像的条件下使用。
[0035]
2、本发明提出的基于张量分解的颜色空间变换，基于张量分解的性质，它可以对任何高维彩色数据颜色维进行分解，并得到相应的亮度和色度成分。
[0036]
3、本发明将4维的光场图像转变成3维伪视频，可以在不使用高维变换的情况下即可获取光场图像的空间和角度信息；并且设计了三种统计特征有效的表示光场图像的质量。
[0037]
除了上面所描述的目的、特征和优点之外，下文中将结合附图对实施本发明的最优实施例进行更详尽的描述，以便能容易地理解本发明的特征和优点。
附图说明
[0038]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下文将对本发明实施例或现有技术描述中所需要使用的附图作简单地介绍，其中，附图仅仅用于展示本发明的一些实施例，而非将本发明的全部实施例限制于此。
[0039]
图1为本发明一种无参考光场图像质量评价方法的具体步骤示意图。
[0040]
图2为本实施例中计算各伪视频的连续帧差的具体步骤示意图。
[0041]
图3为本实施例中伪视频的连续帧差进行特征提取的具体步骤示意图。
[0042]
图4为本实施例中对提取的连续帧差的特征进行池化、回归的具体步骤示意图。
[0043]
图5为本实施例中将4维的光场图像数据重塑成3维伪视频数据的排列顺序示意图。
具体实施方式
[0044]
为了使得本发明的技术方案的目的、技术方案和优点更加清楚，下文中将结合本发明具体实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。附图中相同的附图标记代表相同的部件。需要说明的是，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0045]
本技术先基于张量分解将5维的彩色光场图像沿着彩色维分解得到一个亮度成分和两个色度成分，它们均为4维数据；再将每个成分重塑成3维的伪视频，并计算相邻帧的差
分以获取伪视频的连续差帧；随后利用三维剪切波变换将伪视频的连续差帧转换到剪切波域中提取了三类统计特征来表示光场图像的失真；最后将每个成分间的相同类别的特征经过主成分分析进行裁剪，并将裁剪后的特征连结成一维的特征向量，经过支持向量回归技术得到光场图像的质量分数。且考虑到传统的颜色空间变换无法直接对高维的彩色数据进行颜色转换，提出了基于张量分解对高维数据的颜色维进行分解来获取高维数据的亮度和色度信息。为了同时捕获光场图像的空间质量和角度一致性，光场图像还被排列成3维的伪视频形式，并使用三维剪切波变换提取光场图像的空间和角度信息。
[0046]
如图1至图5所示，一种基于张量分解和三维剪切波变换的无参考光场图像质量评价方法具体包括以下步骤：步骤step1：获取待评价的彩色光场图像，并对所述彩色光场图像进行张量分解，得到三个4维成分，所述三个4维成分包括一个亮度成分和两个色度成分，其中，所述张量分解为采用tucker分解方式沿着5维彩色光场图像的颜色维进行分解。
[0047]
具体地，所述沿着5维彩色光场图像的颜色维进行分解包括：
[0048]
将5维的彩色光场图像分解按照公式：
[0049][0050]
分解为一个核心张量和多个正交矩阵，其中，式中表示彩色光场图像，表示5维的核心张量，u(i),i＝1,2,...,5是正交因子矩阵，
×i表示i-模式积；
[0051]
再获取彩色维的分解成分：其中，式中表示沿着彩色光场图像颜色维的分解成分，t表示转置操作；
[0052]
最后将定义为彩色光场图像的亮度成分λf，和分别定义为彩色光场图像的色度成分λs和λh，它们均为4维张量。
[0053]
在本实施例中，对于给定的5维的彩色光场图像利用张量分解，具体为张量分解中的tucker分解，将彩色光场图像分解为一个核心张量和多个正交因子矩阵，其中，(u,v)表示光场图像中视点的角度坐标，(s,t)表示视点的空间坐标，c表示彩色三通道。
[0054]
步骤step2：将每个成分重新排列成3维的伪视频序列，并计算各伪视频的连续帧差。
[0055]
步骤step2的具体步骤包括：
[0056]
步骤step2.1:将每个成分中的每个视点视为一帧，按照如图5所示的规则将光场图像的每个视点排列成3维伪视频的形式，每个成分的伪视频被定义为γf、γs和γh；如图5所示，彩色的光场图像被视为5维张量，在忽略颜色维度时，光场图像可以被视为4维张量，彩色的光场图像被视为5维张量，在忽略颜色维度时，光场图像可以被视为4维张量，记作λ＝{λ(u,v,s,t)}。光场图像可以被视为多视图阵列，其中(s,t)表示空间坐标，是一个图像中像素的空间位置，(u,v)是角度坐标，表示图像的角度位置。
[0057]
步骤step2.2:再根据公式：计算各伪视频中相邻帧之间的差异的幅值，其中，表示第ti帧的图像，表示绝对值运算，表示第ti帧和第t
i 1
帧的差异的振幅；
[0058]
步骤step2.3:各伪视频中所有相邻帧的差异的振幅构成了对应伪视频的连续差帧，将三个成分的伪视频的连续差帧分别定义为和
[0059]
步骤step3：采用基于三维剪切波变换的特征提取方法对所述伪视频的连续帧差进行特征提取。
[0060]
步骤step3的具体步骤包括：
[0061]
步骤step3.1:获取三个成分的伪视频连续差帧和中的三维块，并采用三维剪切波变换方法对和中获取的每个三维块进行三维剪切波变换；
[0062]
在本实施例中，三维块获取过程为将三个成分的伪视频的连续差帧和划分成80
×
80
×
80大小的三维块，块与块之间是否有重叠是根据和原始分辨率决定的。
[0063]
步骤step3.2:变换后可得到每个三维块的不同方向和不同尺度的剪切波系数，共包含1个低频子带系数和26个高频子带系数，分别被标记为和其中，b表示第b个三维块，b的取值范围与具体分割的三维块的个数相关，l表示第l个子带系数,当l＝1时表示低频子带系数，l＝2,...，27表示高频子带系数；
[0064]
步骤step3.3:最后提取三类统计特征，所述三类统计特征包括第一类特征、第二类特征和第三类特征。
[0065]
第一类特征的获取过程包括：使用prewitt算子求取不同成分对应三维块的低频子带系数的空间维度和对应的梯度和然后计算和与和的每个像素点的相似度值，并求取平均值来量化低频子带系数的梯度与高频子带系数的相似度：
[0066][0067][0068]
[0069]
其中，(s1,t1,z1)表示三维块中的像素坐标，和表示三个成分在第b个块的相似度值；然后求取每个三维块的相似度值的平均值记作t
lf
、t
ls
和t
lh
，并把所有特征值连接成一维向量得到第一类特征fy,其中，[]表示将标量或向量级联。
[0070]
第二、三类特征的获取过程包括：将三个成分中每个块的26个高频子带系数分别展开成一维向量；采用公式：对每个向量进行广义高斯分布拟合，其中，y表示高频子带系数向量化成一维向量γ()表示伽马函数；得到每个成分的每个三维块对应的高频子带系数的广义高斯分布拟合参数α和σ，并将每个成分的所有三维块的高频子带系数的广义高斯分布拟合参数α和σ分别进行平均处理作为每个成分的高频子带系数的广义高斯分布拟合参数，其中，亮度成分的高频子带系数的广义高斯分布拟合参数包括和两个色度成分的高频子带系数的广义高斯分布拟合参数分别包括和和最后，将不同成分的同类广义高斯分布拟合参数级联成一维向量，即和得到第二类特征f
α
和第三类特征f
β
。
[0071]
步骤step4：对步骤step3提取的特征进行池化、回归得到所述彩色光场图像的质量分数。
[0072]
步骤step4的具体步骤包括：
[0073]
步骤step4.1:对每个成分相同类的特征fy、f
α
和f
σ
进行主成分分析降维得到裁剪的特征f'y、f'
α
和f'
σ
，它们的维度分别为32、24和16，并将它们连接成一维特征向量f
lfiqa
＝[f'y,f'
α
,f'
β
」；步骤step4.2:然后将特征向量f
lfiqa
输入到已经训练好的以径向基函数为内核的支持向量回归中回归得到失真的光场图像质量分数q
predict
。
[0074]
在本实施例中，采用一台具有intel core-i5中央处理器和8g字节内存的计算机并用matlab语言编制了基于张量分解和三维剪切波变换的无参考光场图像质量评价方法，实现了本发明的方法。
[0075]
本技术的方法具体运行的硬件和编程语言并不限制，用任何语言编写都可以完成。
[0076]
应当说明的是，本发明所述的实施方式仅仅是实现本发明的优选方式，对属于本发明整体构思，而仅仅是显而易见的改动，均应属于本发明的保护范围之内。