一种基于运动估计的全参考视频质量评估方法

1.本发明属于全参考视频质量评估领域，具体提供一种利用运动估计的全参考视频质量评估方法。


背景技术：

2.随着网络技术的高速发展，越来越多的视频在网络上传播；视频在拍摄、编码、传输的过程中，往往会引入多种多样的失真，导致视频的质量下降，严重影响用户的观看体验；如何准确的衡量视频的质量情况，对于编码领域、视频传输领域以及终端视频质量增强领域都具有重要的实际意义。
3.由于主观视频质量评估需要大量实验人员对视频进行逐个打分，费时费力，而且在实际场景中，很难实现对每个视频都进行主观质量评估；同时，目前经常使用的衡量视频质量的客观方法，如psnr、ssim，他们与人眼的主观感受相差较大，不能够很好的对视频质量进行评估。因此，设计一个与人眼主观感受更符合的客观视频质量评估方法十分重要。


技术实现要素：

4.本发明的目的在于提供一种基于运动估计的全参考视频质量评估方法，用以有效提升客观视频质量评估与人眼主观感受的一致性。为实现该目的，本发明采用的技术方案如下：一种基于运动估计的全参考视频质量评估方法，其特征在于，包括以下步骤：步骤1. 空间失真特征提取；步骤1.1 采用prewitt算子计算原始视频和失真视频中每一帧的梯度幅值图；步骤1.2 基于梯度幅值图，计算原始视频和失真视频的梯度相似度偏差值作为失真视频的空间失真特征；步骤1.3对空间失真特征进行时间池化处理，得到空间失真分数；步骤1.4 计算前后帧空间失真特征的梯度，对空间失真特征的梯度进行时间池化处理，得到空间失真分数；步骤1.5 对空间失真分数与空间失真分数进行融合，得到失真视频的空间失真分数值；步骤2. 时间失真特征提取；步骤2.1 使用arps块运动估计算法，计算得到原始视频与失真视频中每一帧的运动矢量幅值图；步骤2.2 基于运动矢量幅值图，计算原始视频与失真视频的局部均值和标准差，
得到均值向量和标准差向量；再计算原始视频与失真视频均值向量的变异系数差值和标准差向量的变异系数差值；步骤2.3计算当前帧的运行矢量与邻近帧运动矢量的变异系数差值；步骤2.4将变异系数差值、变异系数差值与变异系数差值进行融合，得到失真视频的时间失真特征；步骤3. 时空失真特征融合；根据空间失真特征与时间失真特征，计算失真视频的时空失真特征，并基于时空失真特征计算失真视频的时空失真分数值；步骤4. 将空间失真分数与时空失真分数融合，得到失真视频的失真分数。
5.进一步的，所述步骤1.2中，空间失真特征具体为：其中，表示原始视频与失真视频第帧的梯度相似度偏差值，表示原始视频第帧的梯度幅值图，表示失真视频第帧的梯度幅值图，表示像素的空间坐标，表示标准差，为预设常数。
6.进一步的，所述步骤1.3与步骤1.4中，时间池化处理具体为：将特征值按由大到小排序，取前30%的特征值做平均，将平均值作为时间池化的空间失真分数。
7.进一步的，所述步骤1.5中，失真视频的空间失真分数值具体为： 。
8.进一步的，所述步骤2.2中，原始视频与失真视频均值向量的变异系数差值为：
其中，为原始视频第帧的运动均值向量，为失真视频第帧的运动均值向量；原始视频与失真视频标准差向量的变异系数差值为：其中，为原始视频第帧的运动均值向量，为失真视频第帧的运动均值向量。
9.进一步的，所述步骤2.3中，当前帧的运行矢量与邻近帧运动矢量的变异系数为：其中，表示原始视频第帧第m个局部块及其相邻帧相同位置块的运动矢量组成的向量：，表示原始视频第帧的运动矢量幅值图的第m个局部块；表示失真视频第帧第第m个局部块及其相邻帧相同位置块的运动矢量组成的向量：，表示失真视频第帧的运动矢量幅值图的第m个局部块。
10.进一步的，所述步骤2.4中，失真视频的时间失真特征具体为：其中，表示失真视频第帧的时间失真特征。
11.进一步的，所述步骤3中，失真视频的时空失真特征具体为：，表示失真视频第帧的时空失真特征；失真视频的时空失真分数值具体为： ，为失真视频的总帧数。
12.进一步的，所述步骤4中，失真视频的失真分数具体为：，为预设次幂系数、。
13.本发明的有益效果在于：本发明提出了一种基于运动估计的全参考视频质量评估方法，通过运动估计来获得视频的时间信息，比较失真对视频时间信息造成的改变以及空间信息造成的改变，综合来衡量失真视频的视觉质量。在本发明中，首先计算了失真在空间上对视频内容梯度信息造成的改变，并通过两步时间池化方式，得到视频的空间失真分数值；然后通过对运动矢量图局部均值与标准差变异系数的差异，以及相邻帧同一位置运动矢量的变异系数差异，并与空间失真特征进行融合，得到视频的时空失真分数值；最后通过将空间失真分数值与时空失真分数值进行融合，得到最终的视频质量预测值；人眼对运动的信息捕捉敏感，将运动特征引入质量评估方法中能够增强对视频质量的预测准确性；综上所述，本发明将运动信息引入视频质量评估方法中，能够显著增强视频质量预测的准确性，进而获得与人眼主观感受一致性更强的客观视频质量评估方法。
附图说明
14.图1为本发明基于运动估计的全参考视频质量评估方法的流程图。
具体实施方式
15.下面将结合附图对本发明得实施例中的技术方案进行清楚、完整的描述，显然，下面所描述的实施例仅是本发明一部分的实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护的范围。
16.本实施例提供一种基于运动估计的全参考视频质量评估方法，其流程如图1所示，分为空间失真特征提取、时间失真特征提取、时空失真特征融合三个部分；具体步骤如下：步骤1. 空间失真特征提取；步骤1.1空间失真特征采取梯度相似度偏差，利用prewitt梯度算子计算原始视频和失真视频每帧的梯度幅值图，记原始视频第帧的梯度幅值图为，失真视频第帧的梯度幅值图为；步骤1.2 对于每帧的梯度幅值图，计算原始视频和失真视频每一帧的梯度相似
度；每一帧所有位置梯度相似度取标准差作为失真视频的空间失真特征，第帧空间失真特征计算方式如下：其中，表示像素的空间坐标，表示标准差，为预设常数、用以仿真分母为零；步骤1.3 对空间失真特征进行第一步时间池化操作；人眼在观看视频过程中，对低质量的视频帧敏感，视频的总体质量受到最差的部分视频帧影响；首先，对所有帧的空间失真特征由大到小排序，取前30%做平均，将平均值作为低质量视频帧失真情况的表征，记为；步骤1.4 对空间失真特征进行第二步时间池化操作；人眼在观看视频中，对视频帧质量升高和降低的敏感度不同，将视频质量波动引入质量评估模型是很有必要的；计算前后帧空间失真特征的梯度，并对帧质量升高和降低的情况赋以不同权重，空间失真特征的梯度计算如下：其中，与分别为帧质量降低与升高是预设权重、，本实施例中，取1、取0.5，即帧质量下降赋以更高权重；对进行池化，计算的由大到小排序前30%取均值作为视频的质量波动的衡量，记为；步骤1.5 将与进行加和，并限制幅度，得到两步时间池化后的空间失真分数值，的计算方法如下：步骤2. 时间失真特征提取；步骤2.1 使用arps块运动估计算法，计算得到原始视频和失真视频每一帧的运动
矢量图，记原始视频第帧的运动矢量幅值图为，失真视频第帧的运动矢量幅值图为；步骤2.2 计算每一帧局部块内，原始视频和失真视频局部均值和标准差，构成均值向量和标准差向量；将每一帧划分为互不重叠的局部块、本实施例中局部块大小为4
×
4，按照从左向右、从上到下的顺序编号，得到共个局部块；计算原始视频第帧的运动均值向量和标准差向量：其中，表示的第m个局部块的运动矢量平均值，表示的第m个局部块的运动矢量标准差；计算失真视频的均值向量和标准差向量同理；计算和变异系数差异、以及和变异系数差异，计算过程如下：其中，表示标准差，表示均值，的计算方法同理；步骤2.3 计算当前帧的运行矢量与邻近帧运动矢量的变异系数，其计算过程如下：其中，表示原始视频第帧第第m个局部块及其相邻帧相同位置块的
运动矢量组成的向量，即，同理；步骤2.4 将、和进行融合，得到视频的时间失真特征，计算方式如下：步骤3. 时空失真特征融合；时空失真特征的计算方式如下：对所有帧的时空失真特征取平均，作为视频的时空失真分数值，计算方式如下：其中，为失真视频的总帧数；步骤4. 将时空失真分数和池化后的空间失真分数再次融合，得到视频的失真分数，计算方式如下：其中，为预设次幂系数、，本实施例中取0.3。
17.基于上述技术方案，本实施例在3个视频质量评估数据集上进行测试，分别为live数据集、csiq数据集和ivp数据集；其中，live数据集包含150个失真视频和对应的主观质量分数，csiq数据集包含216个失真视频和对应的主观质量分数，ivp数据集包含128个失真视频和对应的主观质量分数。使用了三种客观质量评估方法进行了对比，分别为1）梯度相似度偏差gmsd，2）结构相似度ssim，3）多评估方法融合的vmaf，对比的参数为不同方法在数据集中预测得分与主观质量分数的斯皮尔曼等级相关系数srocc、皮尔森线性相关系数plcc，对比结果如表1所示，其中，srocc、plcc越大越好。从表1中可以得出，本实施例提出的方法的模型评价指标均高于对比方法，本实施例所提出方法对视频质量评估的结果与人眼主观感受的一致性更强，测试结果证明了本发明的有效性。
18.表1
综上所述，本发明所提出的基于运动估计的视频质量评估方法能够获得与人眼主观感受一致性更强的结果，在同样的数据集上，本发明比常用的ssim、gmsd以及vmaf性能均更高。
19.以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。