一种视频质量的评估方法、装置及设备与流程

1.本发明涉及信息处理技术领域，具体涉及一种视频质量的评估方法、装置及设备。


背景技术：

2.随着移动设备的日益普及和数据成本的不断降低，用户对视频流服务的消费需求正以爆炸性的方式增长。视频已成为当前互联网应用流量主体，随着高质量内容的普及和高速网络的进一步发展，当前流行的视频共享社交网络服务伴随着用户生成了数十亿个短视频。这些视频在不同的光照条件和复杂的场景下使用不同的设备、按照不同的分辨率拍摄的。且由于上传者和观看者的网络环境也不可预测。因此，这些用户生成的视频会遭受多种因素的失真，从而导致视频质量波动。
3.为节约带宽成本，视频供应商通常需要根据网络条件设置合理的编码器参数，并采用适当的视频增强技术以提升用户的观看体验。在这个过程中，对接收端的视频播放质量进行评估成为关键。高质量的视频内容会提升用户满意度，促进平台可持续发展，而大量低质量的视频内容会大幅降低用户的满意度，从而引发用户大规模逃离，影响平台业务，造成负循环。
4.尽管最近提出的无参考视频质量评价算法已被证明在某些特定情况下表现良好，但现有算法仍无法保证视频质量。


技术实现要素：

5.鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的视频质量的评估方法、装置及设备。
6.根据本发明实施例的一个方面，提供了一种视频质量的评估方法，包括：
7.对目标视频的至少一个图像块进行处理，获得所述目标视频的关键帧的特征分数；
8.根据所述关键帧的特征分数，获得所述目标视频的至少一个质量评估分数；
9.根据所述目标视频的至少一个质量评估分数，获得所述目标视频的质量评估结果。
10.根据本发明实施例的另一方面，提供了一种视频质量的评估装置，包括：
11.获取模块，用于对目标视频的至少一个图像块进行处理，获得所述目标视频的关键帧的特征分数；
12.处理模块，用于根据所述关键帧的特征分数，获得所述目标视频的至少一个质量评估分数；根据所述目标视频的至少一个质量评估分数，获得所述目标视频的质量评估结果。
13.根据本发明实施例的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
14.所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述视频质量的评估方法对应的操作。
15.根据本发明实施例的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述视频质量的评估方法对应的操作。
16.根据本发明上述实施例提供的方案，通过对所述目标视频的至少一个图像块进行处理，获得所述目标视频的关键帧的特征分数；根据所述关键帧的特征分数，获得所述目标视频的至少一个质量评估分数；根据所述目标视频的至少一个质量评估分数，获得所述目标视频的质量评估结果。实现了自动对视频增强器进行反馈调优的效果，建立了新的无参考质量评价模型，取得了可以自动化解决视频质量问题的有益效果。
17.上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明实施例的具体实施方式。
附图说明
18.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明实施例的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
19.图1示出了本发明实施例提供的视频质量的评估方法流程图；
20.图2示出了本发明另一实施例提供的视频质量的评估方法的流程图；
21.图3示出了本发明实施例提供的适用多分辨率ugc视频的平台优化全流程图；
22.图4示出了本发明实施例提供的基于时域池化的面向用户生成视频内容的深度无参考质量评价方法的流程图；
23.图5示出了本发明实施例提供的骨干深度神经网络中内容感知特征提取模型图；
24.图6示出了本发明实施例提供的骨干深度神经网络中基于时态内存的池模型图；
25.图7示出了本发明实施例提供的视频质量的评估装置的结构示意图；
26.图8示出了本发明实施例提供的计算设备的结构示意图。
具体实施方式
27.下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
28.图1示出了本发明实施例提供的视频质量的评估方法的流程图。如图1所示，该方法包括以下步骤：
29.步骤11，对目标视频的至少一个图像块进行处理，获得所述目标视频的关键帧的特征分数；
30.步骤12，根据所述关键帧的特征分数，获得所述目标视频的至少一个质量评估分数；
31.步骤13，根据所述目标视频的至少一个质量评估分数，获得所述目标视频的质量评估结果。
32.该实施例所述的视频质量的评估方法，通过对所述目标视频的至少一个图像块进行处理，获得所述目标视频的关键帧的特征分数；根据所述关键帧的特征分数，获得所述目标视频的至少一个质量评估分数；根据所述目标视频的至少一个质量评估分数，获得所述目标视频的质量评估结果。实现了自动对视频增强器进行反馈调优的效果，建立了新的无参考质量评价模型，取得了可以自动化解决视频质量问题的有益效果。
33.图2示出了本发明另一个实施例提供的视频质量的评估方法的流程图。如图2所示，该方法包括以下步骤：
34.步骤21，对所述目标视频的至少一个图像块进行处理，获得所述目标视频的关键帧的特征分数；
35.步骤22，根据所述关键帧的特征分数，获得所述目标视频的至少一个质量评估分数；
36.步骤23，根据所述目标视频的至少一个质量评估分数，获得所述目标视频的质量评估结果；
37.步骤24，根据所述目标视频的质量评估结果大于一预设阈值，将所述目标视频推送至用户，否则，对所述目标视频进行调整后，再次进行质量评估。
38.该实施例中，在得到所述目标视频的质量评估结果后，将质量评估结果与阈值比较，大于阈值的视频直接在平台端展示给用户，低于该阈值的视频可以返回视频增强器重新编码、调整分辨率与码率等，再次评测，反复增强得分质量评估结果都低于阈值的视频将返回用户侧重新创作。这样可以大幅提升平台端整体视频质量，避免了低质量视频引起的用户满意度下降，避免用户流失。
39.在本发明的一可选的实施例中，步骤21可以包括：
40.步骤211，对目标视频进行关键帧提取处理，得到至少一个关键帧；
41.具体的，对所述目标视频选取信息熵最大的多个帧。这样可以使得后续更多考虑所述目标视频的时域特征或时空特征，以提高算法准确性。
42.步骤212，对所述关键帧进行图像分割，得到至少一个图像块；
43.具体的，对于不同分辨率的视频，将每个关键帧分割为多个固定尺寸的图像块，包括但不限于分割为64*64的图像块，并从中随机选取固定数量的图像块作为特征帧提取模块的输入来对不同图像块进行质量评估，以适应用户生成视频的分辨率不固定这一特性。
44.步骤213，对所述至少一个图像块进行处理，获得所述目标视频的关键帧的特征分数。
45.如图4所示，该实施例中，主要对目标视频中提取关键帧，在关键帧中选择图像块。待评估的目标视频进行视频序列处理，进行关键帧提取和图像块选择。
46.在本发明的又一可选的实施例中，步骤213可以包括：
47.步骤2131，对所述至少一个图像块进行内容感知特征提取处理，得到所述至少一个图像块的内容感知特征；
48.具体的，如图5和图6所示，对图像块通过骨干网络提取目标视频选取的关键帧的所有生成图像块的内容感知特征。
49.所述骨干网络提取模型采用的是在imagenet上预训练的不包括全连接层的vgg16模型，初始学习率设为1x105。其他未预训练过的网络层初始学习率设为1x103。每经过10个epoch整个网络的学习率降低10倍，直到收敛。
50.该骨干网络编码器是由若干卷积层和全连接层组合的模块叠加构成，将较高分辨率的图片转化为富含信息的特征图。卷积层和池化层组合成多个卷积块，每个卷积块之后是最大池化层。
51.步骤2132，将所述内容感知特征输入图像块质量预测模型进行处理，得到图像块的质量评估分数；
52.具体的，将每个图像块的内容感知特征输入到两个全连接层，映射到每个图像块所对应的质量评估分数；
53.步骤2133，将所述内容感知特征输入图像块权重评估模型进行处理，得到图像块的权重评估分数；
54.具体的，将每个图像块的内容感知特征输入到两个全连接层，映射到每个图像块所对应的权重评估分数。在处理所得到的权重正负性的时候，采用softmax函数赋予负权重一定的意义，保留这些正负权重的可分辨性。图像块权重评估模型考虑到不同区域具有不同的视觉显著性，并且某些区域可能会吸引更多的视觉感知，因而将骨干网络提取到的每个图像块的内容感知特征回归为图像块的权重评估分数，保证每帧的各个图像块根据内容重要性能获得合适的权重。
55.步骤2134，根据所述图像块的质量评估分数和所述图像块的权重评估分数，得到所述目标视频的关键帧的特征分数。
56.具体的，对至少一个所述图像块的质量评估分数和所述图像块的权重评估分数进行加权求和，得到所述目标视频的关键帧的特征分数。
57.在本发明的又一可选的实施例中，步骤22可以包括：
58.步骤221，将所述关键帧的特征分数转换为第一特征向量，输入过去记忆池化模型进行处理，得到第一质量评估分数，所述第一特征向量为关键帧质量分数向量，所述第一质量评估分数为受过去帧质量影响的目标视频的质量评估分数；
59.具体的，将待计算权重的视频帧作为当前帧，通过一个可学习的与过去记忆效应相关的一维卷积核，对视频帧质量分数向量中的当前帧的质量分数和当前帧之前的过去帧的质量分数进行卷积，得到受过去帧质量影响的当前帧的权重，依次对各个视频帧进行卷积得到各个视频帧的权重；将组成的权重向量经过softmax函数使其归一化，并与帧质量分数向量加权求和，得到第一质量评估分数。
60.步骤222，将所述关键帧的特征分数转换为第二特征向量，输入平均池化模型进行处理，得到第二质量评估分数，所述第二质量评估分数为目标视频的质量评估分数；
61.步骤223，将所述关键帧的特征分数转换为第三特征向量，输入时域滞后池化模型进行处理，得到第三质量评估分数，所述第三质量评估分数为受未来帧质量影响的目标视频的质量评估分数。
62.具体的，将待计算权重的视频帧作为当前帧，通过一个可学习的与时域滞后效应相关的一维卷积核，对视频帧质量分数向量中的当前帧的质量分数和当前帧之后的未来帧的质量分数进行卷积，得到受未来帧质量影响的当前帧的权重，依次对各个视频帧进行卷
积得到各个视频帧的权重；将组成的权重向量经过softmax函数使其归一化，并与帧质量分数向量加权求和，得到第三质量评估分数。
63.该实施例中，考虑到人类视觉系统中的时域记忆效应，分别建模了过去帧对当前帧的影响以及后续帧对当前帧的影响，能更加准确地预测目标视频质量。
64.一维卷积核常用于构建时间序列模型，过去记忆池化模型和时域滞后池化模型各采用了一个长度为6的一维卷积核，通过训练以自适应地学习不同帧的权重。由于对视频关键帧的选取采用了跳帧的方式，也就是一秒取两帧，因此长度为6能保证覆盖当前帧前三秒或者后三秒的帧信息。
65.在本发明的又一可选的实施例中，步骤23可以包括：对所述第一质量评估分数、第二质量评估分数以及第三质量评估分数进行加权回归，获得所述目标视频的质量评估结果。
66.具体的，对目标视频中的若干关键帧提取帧特征分数，所有帧特征分数共同排列成一个一维向量，分别用与过去帧记忆相关和与滞后效应相关的两个一维卷积核对该向量进行卷积操作，以在当前帧处生成自适应权重。将第一质量评估分数、第二质量评估分数以及第三质量评估分数进行加权回归，得到目标视频质量评估分数。
67.该实施例中，整个训练模型以端到端的方式进行训练，以视频为输入进行训练，采用平均绝对误差(mse)来计算主观质量分数和模型输出的客观质量分数的损失值，直至收敛。利用adam优化算法来更新网络中的待训练参数。
68.如图3所示，本发明实施例还提供一种具体的适用多分辨率ugc视频的平台优化全流程图。通过创建一种新的无参考质量评价模型，对增强后的ugc视频进行质量评分，将分数与设定阈值对比，对低质量分数的视频进行反复增强调优的，最终分数达标的高质量视频才能展现给用户。
69.具体实施方法主要步骤如下：
70.首先，对输入视频序列进行预处理，包括提取目标视频中的关键帧，以及对提到的关键帧按照一定原则分割、选择多个图像块。
71.其次，通过深度神经网络模型来提取帧特征，帧特征提取模块包括利用骨干网络对目标视频选取的所有图像块提取对应的内容感知特征，将提取到的感知特征送入图像块质量预测模型和图像块权重评估模型两个分支，然后加权两分支所得质量评估结果得到每帧特征分数。
72.最后，通过新的基于时域记忆效应的池化策略来自适应学习不同帧的权重，预测最终的视频质量评估分数：其中，基于记忆效应的时域池化模型是对提取到的多帧特征分数进行池化回归并加权，最终获得目标视频的质量评估分数，池化操作分为三个分支，分别是过去记忆池化模型、平均池化模型和时域滞后池化模型。
73.在本发明的上述实施例中，通过获得目标视频；对所述目标视频进行处理，获得所述目标视频的关键帧的特征分数；根据所述关键帧的特征分数，获得所述目标视频的至少一个质量评估分数；根据所述目标视频的至少一个质量评估分数，获得所述目标视频的质量评估结果。实现了自动对视频增强器进行反馈调优的效果，建立了新的无参考质量评价模型，取得了可以自动化解决视频质量问题的有益效果。
74.同时新的无参考质量模型，在输入视频序列预处理阶段。采用提取视频关键帧和
选择分割图像块的方法，可以适用于各种分辨率不同的ugc视频的无参考质量评测。
75.在帧特征提取阶段，采用提取内容感知特征而非失真相关特征，更能贴合人类视觉系统对视频内容质量的判断。
76.在帧特征提取阶段。使用softmax代替relu，保留了负数权重的可区分性。具体来说，softmax不仅可以使得不同图像块权重区分度更高，还可以使其归一化到0到1的范围，每个关键帧的质量评估分数为该帧中选取的所有图像块的质量评估分数进行加权平均的结果。
77.在帧特征提取阶段，还引入了图像块质量和权重预测模型，将图像块质量评估结果汇总到全局一帧的图像质量评估结果，从而更贴合人对视频的主观质量评估。
78.在特征池化回归阶段，考虑到过去帧记忆效应和时域滞后效应，模拟了过去帧对当前帧的影响以及后续帧对当前帧的影响，引入了视频的时域特征和时空特征，能更准确的评估视频质量。
79.图7示出了本发明实施例提供的视频质量的评估装置70的结构示意图。如图7所示，该装置包括：
80.获取模块71，用于对目标视频的至少一个图像块进行处理，获得所述目标视频的关键帧的特征分数；
81.处理模块72，用于根据所述关键帧的特征分数，获得所述目标视频的至少一个质量评估分数；根据所述目标视频的至少一个质量评估分数，获得所述目标视频的质量评估结果。
82.可选的，所述处理模块72还用于根据所述目标视频的质量评估结果大于一预设阈值，将所述目标视频推送至用户，否则，对所述目标视频进行调整后，再次进行质量评估。
83.可选的，所述处理模块72还用于对目标视频进行关键帧提取处理，得到至少一个关键帧；
84.对所述关键帧进行图像分割，得到至少一个图像块；
85.对所述至少一个图像块进行处理，获得所述目标视频的关键帧的特征分数。
86.可选的，所述处理模块72还用于对所述至少一个图像块进行内容感知特征提取处理，得到所述至少一个图像块的内容感知特征；
87.将所述内容感知特征输入图像块质量预测模型进行处理，得到图像块的质量评估分数；
88.将所述内容感知特征输入图像块权重评估模型进行处理，得到图像块的权重评估分数；
89.根据所述图像块的质量评估分数和所述图像块的权重评估分数，得到所述目标视频的关键帧的特征分数。
90.可选的，所述处理模块72还用于对至少一个所述图像块的质量评估分数和所述图像块的权重评估分数进行加权求和，得到所述目标视频的关键帧的特征分数。
91.可选的，所述处理模块72还用于将所述关键帧的特征分数转换为第一特征向量，输入过去记忆池化模型进行处理，得到第一质量评估分数；
92.将所述关键帧的特征分数转换为第二特征向量，输入平均池化模型进行处理，得到第二质量评估分数；
93.将所述关键帧的特征分数转换为第三特征向量，输入时域滞后池化模型进行处理，得到第三质量评估分数。
94.可选的，所述处理模块72还用于对所述第一质量评估分数、第二质量评估分数以及第三质量评估分数进行加权回归，获得所述目标视频的质量评估结果。
95.需要说明的是，该实施例是与上述方法实施例对应的装置实施例，上述方法实施例中的所有实现方式均适用于该装置的实施例中，也能达到相同的技术效果。
96.本发明实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的视频质量的评估方法。
97.图8示出了本发明实施例提供的计算设备的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。
98.如图8所示，该计算设备可以包括：处理器(processor)、通信接口(communications interface)、存储器(memory)、以及通信总线。
99.其中：处理器、通信接口、以及存储器通过通信总线完成相互间的通信。通信接口，用于与其它设备比如客户端或其它服务器等的网元通信。处理器，用于执行程序，具体可以执行上述用于计算设备的视频质量的评估方法实施例中的相关步骤。
100.具体地，程序可以包括程序代码，该程序代码包括计算机操作指令。
101.处理器可能是中央处理器cpu，或者是特定集成电路asic(application specific integrated circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个cpu；也可以是不同类型的处理器，如一个或多个cpu以及一个或多个asic。
102.存储器，用于存放程序。存储器可能包含高速ram存储器，也可能还包括非易失性存储器(non
‑
volatile memory)，例如至少一个磁盘存储器。
103.程序具体可以用于使得处理器执行上述任意方法实施例中的视频质量的评估方法。程序中各步骤的具体实现可以参见上述视频质量的评估方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
104.在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明实施例的内容，并且上面对特定语言所做的描述是为了披露本发明实施例的最佳实施方式。
105.在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
106.类似地，应当理解，为了精简本发明实施例并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意
图：即所要求保护的本发明实施例要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
107.本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
108.此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
109.本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本发明实施例的一些或者全部部件的一些或者全部功能。本发明实施例还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明实施例的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
110.应该注意的是上述实施例对本发明实施例进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明实施例可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。