一种窗口六自由度合成视频的主观质量评价方法

1.本发明涉及视频质量评价技术领域，具体涉及一种窗口六自由度合成视频的主观质量评价方法。


背景技术：

2.自由视点视频允许用户在水平方向自由切换视点，提高了场景体验感。随着软硬件技术的快速发展以及用户对观看体验的更高追求，沉浸式视频应运而生。运动图像专家组制定了沉浸式视频标准，并致力于推动子沉浸式视频从三自由度向六自由度发展。其中，窗口六自由度视频允许用户在平面上以任意视角进行观看，是沉浸式视频技术发展的未来方向。为了给用户提供舒适、平滑的视点无缝切换观看感，沉浸式视频系统中需要利用绘制技术生成虚拟视点合成视频，但绘制过程会带来非均匀分布的局部几何失真，即绘制失真，严重影响了用户的主观感知。
3.主观质量评价是最直接且最准确反映人眼视觉感知的评价方法，视频主观质量评价在近年来受到了学者们的广泛关注。徐迈等人在公开号为cn108055533b的专利中提出了一种全景视频主观质量评价方法，能够有效反映全景视频的主观质量。但是，窗口六自由度合成视频不同于全景视频。一方面，窗口六自由度源视频序列是由平面布置的相机阵列采集的，视场范围拓展到了二维空间，可以在平面内水平、垂直移动，所引入的局部绘制失真也衍生到了垂直线上，其合成视频可参考邻近的四个源视点，并且绘制失真还会随源参考视点数量的减少而增大，因此现有主观质量评价方法难以有效感知窗口六自由度合成视频的绘制失真。另一方面，沉浸式体验下人眼通常会跟随视频内容的动态变化而自主切换观看区域，不同的浏览路径可能造成观察者对视频质量的不同判断，但现有的主观质量评价方法一般都是基于固定浏览路径设计的，导致其难以评价浏览路径变化对视频主观质量的影响。综上，目前尚没有专门针对窗口六自由度合成视频的主观质量评价方法。因此，如何设计一种能够有效感知窗口六自由度合成视频的绘制失真且能够适应浏览路径变化的主观质量评价方法是亟需解决的技术问题。


技术实现要素：

4.针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种窗口六自由度合成视频的主观质量评价方法，以能够有效感知窗口六自由度合成视频的绘制失真，且能够适应窗口六自由度合成视频的浏览路径变化，从而提高窗口六自由度合成视频的主观质量评价效果，并为窗口六自由度合成视频客观评价方法的研究提供参考。
5.为了解决上述技术问题，本发明采用了如下的技术方案：
6.一种窗口六自由度合成视频的主观质量评价方法，包括以下步骤：
7.s1：基于窗口六自由度合成视频主观质量评价需求，搭建对应的主观测试环境；
8.s2：从窗口六自由度多视点加深度视频序列中选取若干个源视频序列，生成具有不同压缩率、视频浏览路径和参考视点数的合成视频；
9.s3：招募并培训测试者，获取测试者在主观测试环境下对各个合成视频的主观评分，并计算对应的平均意见分数，构建主观数据库；
10.s4：基于平均意见分数进行统计分析，验证主观数据库的合理性和有效性；然后通过主观数据库测评客观质量评价方法的性能，验证主观数据库建立的必要性。
11.优选的，步骤s2中，通过如下步骤生成合成视频：
12.s201：从窗口六自由度多视点加深度视频序列中选取四个源视频序列；
13.s202：分别对四个源视频序列的纹理/深度视频进行不同组合的压缩；
14.s203：生成固定路径和显著性路径两种浏览路径的视频；
15.s204：选取最近的一至四个参考视点分别绘制合成视点，生成对应的合成视频。
16.优选的，步骤s201中，选取的四个源视频序列包括两个相机拍摄视频和两个计算机生成视频。
17.优选的，步骤s202中，基于纹理视频和深度视频的特性，分别进行三种qp组合的压缩：(25,34)、(35,42)和(45,48)，括号中前者为纹理视频的qp值，后者为相应深度视频的qp值；压缩得到的视频与未压缩的源视频序列一起形成对应的四种纹理/深度视频组合。
18.优选的，步骤s203中，固定路径是从上而下、从左至右扫视形成的s形视频浏览路径。
19.优选的，步骤s203中，显著性路径是基于人眼对视频内容前景及运动变化的动态捕获后形成的显著性相关的动态更新路径。
20.优选的，生成显著性路径时，首先对每帧视频图像进行超像素分割，计算边缘概率，获取对应的时空边缘概率图；然后基于测地线距离分割前景和背景，计算各超像素的显著性，并根据邻域内的最大值确定质心；最后每隔20帧对处理后的视频序列更新显著区域，进而根据显著区域质心的变化绘制对应的显著性路径。
21.优选的，根据测地距离算子dg(.)计算第k帧的第n个超像素的显著性
[0022][0023]
式中：b表示背景；bk、b
k 1
分别表示第k帧和第k 1帧的背景；表示相邻帧间的无向加权图；
[0024]
令s0为帧中心，为第k帧参考视图的显著区域质心，为第m帧虚拟视图的关注点；
[0025]
绘制显著性路径时，将路径更新控制在20l内，l为相邻帧间的步长；当与s0的距离不大于20l时，保持为s0不变；否则，关注点以为起点向s0方向移动20l，即其中m＝k 20。
[0026]
优选的，步骤s3，对测试者的主观评分进行筛选，剔除两个不合格测试者的主观评分，计算各个合成视频的平均意见分数：
[0027]
其中，
[0028]
式中：mosj表示第j个合成视频的平均意见分数；mos
ji
表示第i个测试者对第j个合成视频的主观评分；n表示测试者的总数。
[0029]
优选的，步骤s4中，通过如下步骤验证主观数据库的合理性、有效性和必要性：
[0030]
s401：基于各个合成视频的平均意见分数分布，验证主观数据库的有效性；
[0031]
s402：基于主观评分进行主成分分析和三因素方差分析，验证主观数据库的合理性；
[0032]
s403：通过主观数据库测评图像/视频客观质量评价方法的性能，验证窗口六自由度合成视频的主观数据库建立的必要性。
[0033]
本发明的窗口六自由度合成视频的主观质量评价方法，具有如下有益效果：
[0034]
本发明通过多个源视频序列生成不同压缩率和参考视点数的合成视频，能够模拟沉浸式体验下窗口六自由度合成视频的绘制失真，使得主观质量评价时能够有效感知窗口六自由度合成视频的绘制失真，能够适应于窗口六自由度合成视频的特性；同时，本发明通过生成不同浏览路径合成视频，考虑了用户的不同浏览行为带来的不同沉浸式体验，使得能够适应窗口六自由度合成视频的浏览路径变化，从而能够提高窗口六自由度合成视频的主观质量评价效果。此外，本发明基于测试者对合成视频主观评分的平均意见分数进行统计分析，使得能够全面地评价用户的沉浸式观看体验，进而能够验证主观数据库的合理性和有效性；同时通过测评现有的先进客观质量评价方法在该主观数据库上的性能，能够验证构建窗口六自由度合成视频的主观数据库建立的必要性，进而更好地为窗口六自由度合成视频客观评价方法的研究提供参考。
附图说明
[0035]
为了使发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：
[0036]
图1为窗口六自由度合成视频的主观质量评价方法的逻辑框图；
[0037]
图2(a)为固定路径的示意图，图2(b)为显著路径的示意图；
[0038]
图3(a)、图3(b)、图3(c)、图3(d)分别为mos、qp、nv和nt对应的主成分分析图。
具体实施方式
[0039]
下面通过具体实施方式进一步详细的说明：
[0040]
实施例：
[0041]
本实施例中公开了一种窗口六自由度合成视频的主观质量评价方法。
[0042]
如图1所示，一种窗口六自由度合成视频的主观质量评价方法，包括以下步骤：
[0043]
s1：基于窗口六自由度合成视频主观质量评价需求，搭建对应的主观测试环境；
[0044]
s2：从窗口六自由度多视点加深度(multi-view video plus depth,mvd)视频序列中选取若干个源视频序列，生成具有不同压缩率、视频浏览路径和参考视点数的合成视频；
[0045]
s3：招募并培训测试者，获取测试者在主观测试环境下对各个合成视频的主观评分，并计算对应的平均意见分数(mean opinion score,mos)，构建主观数据库；
[0046]
s4：基于mos值进行统计分析，验证主观数据库的合理性和有效性；然后通过主观
数据库测评客观质量评价方法的性能，验证主观数据库建立的必要性。
[0047]
本发明通过多个源视频序列生成不同压缩率和参考视点数的合成视频，能够模拟沉浸式体验下窗口六自由度合成视频的绘制失真，使得主观质量评价时能够有效感知窗口六自由度合成视频的绘制失真，能够适应于窗口六自由度合成视频的特性；同时，本发明通过生成不同浏览路径合成视频，考虑了用户的不同浏览行为带来的不同沉浸式体验，使得能够适应窗口六自由度合成视频的浏览路径变化，从而能够提高窗口六自由度合成视频的主观质量评价效果。此外，本发明基于测试者对合成视频主观评分的mos值进行统计分析，使得能够全面地评价用户的沉浸式观看体验，进而能够验证主观数据库的合理性和有效性；同时通过测评现有的先进客观质量评价方法在该主观数据库上的性能，能够验证构建窗口六自由度合成视频的主观数据库建立的必要性，进而更好地为窗口六自由度合成视频客观评价方法的研究提供参考。
[0048]
具体实施过程中，搭建的主观测试环境包括测试场地和软、硬件环境。其中，软、硬件环境不限制为个人计算机平台或其他更高配置的移动设备平台。测试场地的设置遵循视频主观质量评价相关准则，需选择正常照明且不易受干扰的室内场所进行，采用不低于合成视频分辨率的超高清显示设备，且播放软件能无失真地流畅播放。
[0049]
具体实施过程中，通过如下步骤生成合成视频：
[0050]
s201：从窗口六自由度mvd视频序列中选取四个源视频序列；本实施例中，选取两个相机拍摄视频(technicolorpainter(tp)和etrichef(ec))和两个计算机生成视频(orangeshanman(os)和orangekitchen(ok))。
[0051]
s202：通过高效视频编码(high efficiency video coding，hevc)分别对四个源视频序列的纹理/深度视频进行不同组合的压缩；本实施例中，基于纹理视频和深度视频的特性，分别进行三种qp组合的压缩：(25,34)、(35,42)和(45,48)，括号中前者为纹理视频的qp值，后者为相应深度视频的qp值；压缩得到的视频与未压缩的源视频序列一起形成对应的四种纹理/深度视频组合，分别对应无失真(lo)、良好(l1)、中等(l2)及较差(l3)四种合成视频质量水平。
[0052]
s203：生成固定路径和显著性路径两种浏览路径(navigation trajectory,nt)的视频；本实施例中，图2(a)中的实线为固定路径(nt
fix
)；图2(b)中的虚线为显著性路径(nt
sal
)，实线为因视场受限实际绘制的显著性路径。
[0053]
固定路径是从上而下、从左至右扫视形成的s形视频浏览路径。
[0054]
显著性路径是基于人眼对视频内容前景及运动变化的动态捕获后形成的显著性相关的动态更新路径。生成显著性路径时，首先对每帧视频图像进行超像素分割，计算边缘概率，获取对应的时空边缘概率图；然后基于测地线距离分割前景和背景，计算各超像素的显著性，并根据邻域内的最大值确定质心；最后每隔20帧对处理后的视频序列更新显著区域，进而根据显著区域质心的变化绘制对应的显著性路径。
[0055]
为保证人眼舒适度，前述处理的视频序列的相邻帧间步长为l，本实施例取4～6像素，根据测地距离算子dg(.)计算第k帧的第n个超像素的显著性
[0056][0057]
式中：式中：b表示背景；bk、b
k 1
分别表示第k帧和第k 1帧的背景；表示相邻帧间
的无向加权图；
[0058]
令s0为帧中心，为第k帧参考视图的显著区域质心，为第m帧虚拟视图的关注点；
[0059]
绘制显著性路径时，将路径更新控制在20l内，l为相邻帧间的步长；当与s0的距离不大于20l时，保持为s0不变；否则，关注点以为起点向s0方向移动20l，即其中m＝k 20。
[0060]
其中，可计算为：
[0061][0062]
其中，为和s0间的距离，为到s0的向量，l为相邻帧间的步长。
[0063]
s204：选取不同数量的参考视点(number of viewpoint,nv)分别绘制合成视点，生成对应的合成视频。本实施例基于就近原则，通过软件vsrs4.3选择最近的一至四个参考视点来绘制合成视点，共计生成128个合成视频。
[0064]
本发明通过固定路径和显著性路径生成合成视频，考虑了用户的不同浏览行为带来的不同沉浸式体验，使得能够适应窗口六自由度合成视频的浏览路径变化，从而能够提高窗口六自由度合成视频的主观质量评价效果。同时，本发明生成的显著性路径能够有效的模拟沉浸式体验下窗口六自由度合成视频的注意区域变化，从而能够进一步提高窗口六自由度合成视频的主观质量评价效果。
[0065]
在步骤s3的具体实施过程中，需招募测试人员来进行主观测试，并记录主观评分。
[0066]
测试人员须视力(或矫正后视力)合格，建议不少于20人，实际测试人员34人。评分时，首先播放失真视频，时长为10秒，然后播放5秒的灰度视频间隔用于测试人员打分。感知质量的五个等级excellent、good、fair、poor和bad，分别对应主观评分5、4、3、2和1。
[0067]
在正式评分前，首先告知测试人员实验内容与操作流程，并通过5个“模拟演示视频”对测试人员进行培训。培训合格后稍作休息(5～10分钟)，然后再对随机播放的所有合成视频进行正式评分，以避免培训过程影响正式测试结果。
[0068]
记录所有测试者的每个正式评分结果。
[0069]
具体实施过程中，对测试者的主观评分进行筛选，剔除两个不合格测试者的主观评分，计算各个合成视频的mos值：
[0070]
其中，
[0071]
式中：mosj表示第j个合成视频的mos值；mos
ji
表示第i个测试者对第j个合成视频的主观评分；n表示测试者的总数，n＝32。
[0072]
具体实施过程中，通过如下步骤验证主观数据库的合理性、有效性和必要性：
[0073]
s401：基于各个合成视频的mos值分布，验证主观数据库的有效性；
[0074]
本实施例中，统计了合成序列的mos值分布，根据mos值分布图可知，测试者对显著性路径生成的合成视频的主观评分普遍高于固定路径合成视频的评分，验证了路径设计对窗口六自由度合成视频主观质量评价的有效性。
[0075]
s402：基于主观评分进行主成分分析(principal component analysis,pca)和三因素方差分析(analysis of variance,anova)，验证主观数据库的合理性。
[0076]
具体的：主成分分析图如图3所示；其中，图3(a)、图3(b)、图3(c)、图3(d)分别为mos、qp、nv和nt对应的主成分分析图。主成分分析图显示了pca根据mos、qp、nv和nt呈现不同的形状，表现出一定的区分度。可以看出，mos值、压缩率和参考视点数在x轴有较明显的区分，表明它们对主观结果有显著影响；不同路径的序列也可以较好地在y轴上区分开，且显著性路径的序列mos值整体高于固定路径，即视频浏览路径对主观感知存在影响。
[0077]
anova结果如表1所示，其中，factors表示引起mos值变化的因素来源，ms表示均方，df表示自由度，f值表示各效应项与误差项的均方之比，p值表示f检验结果的统计意义，通常p≤0.05时表示对应的变量因素具有显著性差异。从表1中可以看出，三元anova分析考虑了引起mos值变化的因素，通过f检验结果的统计意义p可知，三个基本变量因素nt、nv、qp都对mos值产生了显著影响(p≤0.05)，且nt*nv或nt*qp没有对mos值产生显著的交互作用，说明浏览路径对mos值的影响独立于压缩率或参考视点数，验证了窗口六自由度合成视频主观质量评价的合理性。
[0078]
表1三元anova结果
[0079][0080]
s403：通过主观数据库测评图像/视频客观质量评价方法的性能，验证窗口六自由度合成视频的主观数据库建立的必要性。本实施例将9种先进的客观质量评价方法用于主观数据库，对比其在原数据库和本数据库中的客观得分，以验证主观数据库建立的必要性。
[0081]
选取9种无参考的客观指标(brisque、gm_log、viideo、v-bliinds、niqsv、niqsv 、apt、mnss和wang’s)，包含针对普通自然图像或视频的指标以及针对dibr合成图像或视频的指标。对于图像客观指标，需逐帧计算再平均所有得分而获得视频的客观得分。根据vqeg phaseⅰfr-tv的建议，客观得分与mos值通过非线性回归函数拟合得到预测主观得分mos
p
：
[0082]
mos
p
＝a
·
q3 b
·
q2 c
·
q d；
[0083]
式中：q为客观得分，参数a,b,c,d通过回归以最小化q和mos值之间的差异来计算得到。
[0084]
通过计算客观得分与mos值的相关性来评价其优劣，常用plcc、srocc和rmse来衡量客观指标的精度、单调性和一致性。
[0085]
本实施例在主观数据库中测试了9种先进的图像/视频客观质量评价方法，将所得结果与各个方法的原始结果进行对比，如表2所示。
[0086]
表2中，
‘
db
ori’列中为原数据库中的结果，
‘
db
w6d’列中为在本发明主观数据库(w6d-vd)的测试结果。
[0087]
表2 9种客观指标在原数据库和本数据库的性能对比
[0088][0089]
通过表2可知，虽然9种客观评价方法在原数据库
‘
db
ori’中都取得了良好的表现，但在本数据库
‘
db
w6d’中表现欠佳，其plcc和srocc大多低于0.6，表明它们与主观得分的一致性不足。可能原因如下：部分指标(gm_log和viideo)致力于传统的压缩失真，对dibr合成视频表现较弱；部分指标(gm_log、niqsv、niqsv 和apt)是iqa指标，不能很好地评估结构相关的时域失真；部分指标(niqsv、niqsv 和apt)在irccyn/ivc dibr数据库上都取得了不错的结果，对一些老式的绘制失真(如大面积空洞、拉伸等)比较有效，但现有算法中上述老式失真大都已被较好地处理，当此类失真从本数据库中排除时，这些方法表现不佳；还有少量指标(niqsv和apt)直接忽略了全局压缩对视频感知的影响；而且，新的应用场景中，随着nt的变化，结构信息的失真会影响用户观看物体的轨迹而影响感知质量，上述指标都没有考虑到这个因素。因此，本发明中窗口六自由度合成视频的主观数据库的建立是必要的。
[0090]
本发明通过统计分析测试人员的主观评分，并与现有的图像/视频客观质量评价的结果进行对比，能够全面地评价用户的沉浸式观看体验，进而能够验证主观数据库的合理性、有效性和必要性，从而更好地为窗口六自由度合成视频的客观评价方法的研究提供参考。
[0091]
最后需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制技术方案，本领域的普通技术人员应当理解，那些对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，均应涵盖在本发明的权利要求范围当中。