视频质量评估方法及其装置、设备、介质与流程

1.本技术涉及图像识别技术领域，尤其涉及一种视频质量评估方法及其相应的装置、计算机设备、以及计算机可读存储介质。


背景技术：

2.视频质量评估是自从视频出现之后就在学术界与工业界一直研究的方法，主要分为有参考评估与无参考评估。有参考评估根据给出的参考视频，逐帧对比效果差异，从而可以较容易得到一个相对准确的评估分数。视频无参考评估是一种对当前视频质量给出用户主观体验优劣分数的方法，根据无参考评估的分数可以动态调整网络传输的码率、帧率、分辨率等质量指标以达到控制成本的目的。通过调整，用户主观视频观感体验基本无影响，如此实现既满足用户需求，又能变相节省网络传输资源，可见能够带来相当可观的经济效益。
3.无参考评估方法的难度是非常大的，传统算法在无参考视频评估中只能发挥很有限的能力，直到近年来人工智能的高速发展，以cnn(convolutional neural network)作为基础的无参考视频评估方法得到重视与高速发展，成为主要研究与应用方向。业界通过很多不同的技术方案尽量保证模型的适应性和高可用性，但是多数没有考虑模型应对不同视频输入时，可能面对无法避免的视频内容上的差异，无法针对不同的视频内容进行相应的无参考评估，导致模型的鲁棒性不足，比如，应用针对体育赛事的视频无参考评估模型于体育赛事直播，在直播过程中插入体育无关的广告视频，此时模型的有效性就会大幅度下降，从而引起鲁棒性变差。
4.基于传统技术的不足，本技术进行相应的探索。


技术实现要素：

5.本技术的目的在于解决上述问题至少之一而提供一种视频质量评估方法及其相应的装置、计算机设备、计算机可读存储介质。
6.适应本技术的各个目的，采用如下技术方案：
7.一方面，适应本技术的目的之一而提供一种视频质量评估方法，包括如下步骤：
8.获取视频流中的连续多个图像帧，将其格式化为标准化数据；
9.采用预先训练至收敛状态的视频质量评估模型中的图像特征提取网络提取出所述标准化数据相对应的多通道的图像特征信息；
10.由该评估模型的特征显化网络将所述图像特征信息进行不同方式的池化操作，提升所述图像特征信息中通道之间的显著特征的权重，获得显著特征信息；
11.由该评估模型的分类网络根据所述显著特征信息进行分类映射，获得所述多个图像帧相对应的质量评分。
12.进一步的实施例中，由该评估模型的特征显化网络将所述图像特征信息进行不同方式的池化操作，提升所述图像特征信息中通道之间的显著特征的权重，获得显著特征信息，包括如下步骤：
13.将所述图像特征信息分成两路，分别输入所述特征显化网络的两个支路的池化层中执行不同类型的池化操作，获得相应的采样特征信息；
14.在所述两个支路中，分别应用注意力层对相应的采样特征信息进行权重提取，以增强其中的显著特征与非显著特征之间的数值差距，获得相应的提权特征信息；
15.将两个支路的提权特征信息拼接后进行归一化，获得显著特征信息。
16.进一步的实施例中，由该评估模型的分类网络根据所述显著特征信息进行分类映射，获得所述多个图像帧相对应的质量评分，包括如下步骤：
17.将所述显著特征信息输入全局池化层中执行池化操作，获得相应的池化特征信息；
18.将所述池化特征信息输出至第一全连接层进行分类映射，获得预测的质量评分；
19.将所述池化特征信息输出至第二全连接层进行分类映射，获得该质量评分相对应的置信度；
20.将置信度高于预设阈值的质量评分确定为所述多个图像帧相对应的质量评分。
21.扩展的实施例中，获得所述多个图像帧相对应的质量评分的步骤之后，包括如下步骤：
22.根据所述质量评分调节所述视频流的编码器的编码帧率。
23.进一步的实施例中，获取视频流中的连续多个图像帧的步骤之前，包括如下步骤：
24.采用预设的数据集中的训练样本对所述视频质量评估模型实施迭代训练，将其训练至收敛状态。
25.进一步的实施例中，采用预设的数据集中的训练样本对所述视频质量评估模型实施迭代训练，将其训练至收敛状态，包括如下步骤：
26.从预设的数据集中调用单个训练样本对所述视频质量评估模型实施训练，所述训练样本包括构成视频数据的连续的多个图像帧，且以对应的主观质量评分为标注；
27.基于所述主观质量评分计算模型损失值，所述模型损失值为所述评估模型获得的质量评分相对应的第一损失值及该质量评分的置信度的第二损失值的和值；
28.判断所述模型损失值是否达到预设阈值，当达到预设阈值时，判定所述评估模型已收敛，终止训练；否则，对所述评估模型实施梯度更新，继续采用下一训练样本实施迭代训练。
29.进一步的实施例中，基于所述主观质量评分计算模型损失值，包括如下步骤：
30.计算所述训练样本中各个图像帧对应预测的质量评分与预先标注的主观质量评分之间的损失值，求取各个所述损失值的平均绝对误差，作为第一损失值；
31.计算所述质量评分的置信度的交叉熵损失以获得第二损失值，所述第二损失值为所述训练样本中各个图像帧对应预测的正样本预测概率匹配所述置信度为权重后获得修正预测概率的对数和的均值；
32.计算所述第一损失值与第二损失值的和值获得所述训练样本相对应的模型损失值。
33.另一方面，适应本技术的目的之一而提供的一种视频质量评估装置，包括图像处理模块，特征提取模块，权重提取模块，以及评分输出模块，其中：图像处理模块，用于获取视频流中的连续多个图像帧，将其格式化为标准化数据；特征提取模块，被配置为采用预先
训练至收敛状态的视频质量评估模型中的图像特征提取网络提取出所述标准化数据相对应的多通道的图像特征信息；权重提取模块，被配置为由该评估模型的特征显化网络将所述图像特征信息进行不同方式的池化操作，提升所述图像特征信息中通道之间的显著特征的权重，获得显著特征信息；评分输出模块，被配置为由该评估模型的分类网络根据所述显著特征信息进行分类映射，获得所述多个图像帧相对应的质量评分。
34.进一步的实施例中，所述权重提取模块，包括：两路池化子模块，用于将所述图像特征信息分成两路，分别输入所述特征显化网络的两个支路的池化层中执行不同类型的池化操作，获得相应的采样特征信息；提权特征信息获取子模块，用于在所述两个支路中，分别应用注意力层对相应的采样特征信息进行权重提取，以增强其中的显著特征与非显著特征之间的数值差距，获得相应的提权特征信息；归一化子模块，用于将两个支路的提权特征信息拼接后进行归一化，获得显著特征信息。
35.进一步的实施例中，所述评分输出模块，包括：全局池化子模块，用于将所述显著特征信息输入全局池化层中执行池化操作，获得相应的池化特征信息；质量评分获得子模块，用于将所述池化特征信息输出至第一全连接层进行分类映射，获得预测的质量评分；置信度获得子模块，用于将所述池化特征信息输出至第二全连接层进行分类映射，获得该质量评分相对应的置信度；质量评分确定子模块，用于将置信度高于预设阈值的质量评分确定为所述多个图像帧相对应的质量评分。
36.扩展的实施例中，所述评分输出模块之后，还包括：编码帧率调节模块，用于根据所述质量评分调节所述视频流的编码器的编码帧率。
37.进一步的实施例中，所述图像处理模块之前，还包括：迭代训练子模块，用于采用预设的数据集中的训练样本对所述视频质量评估模型实施迭代训练，将其训练至收敛状态。
38.进一步的实施例中，所述迭代训练子模块，包括：实施训练单元，用于从预设的数据集中调用单个训练样本对所述视频质量评估模型实施训练，所述训练样本包括构成视频数据的连续的多个图像帧，且以对应的主观质量评分为标注；损失值单元，用于基于所述主观质量评分计算模型损失值，所述模型损失值为所述评估模型获得的质量评分相对应的第一损失值及该质量评分的置信度的第二损失值的和值；迭代训练判断单元，用于判断所述模型损失值是否达到预设阈值，当达到预设阈值时，判定所述评估模型已收敛，终止训练；否则，对所述评估模型实施梯度更新，继续采用下一训练样本实施迭代训练。
39.进一步的实施例中，所述损失值单元，包括：第一损失值子单元，用于计算所述训练样本中各个图像帧对应预测的质量评分与预先标注的主观质量评分之间的损失值，求取各个所述损失值的平均绝对误差，作为第一损失值；第二损失值子单元，用于所述质量评分的置信度的交叉熵损失以获得第二损失值，所述第二损失值为所述训练样本中各个图像帧对应预测的正样本预测概率匹配所述置信度为权重后获得修正预测概率的对数和的均值；模型损失值子单元，用于计算所述第一损失值与第二损失值的和值获得所述训练样本相对应的模型损失值。
40.又一方面，适应本技术的目的之一而提供的一种计算机设备，包括中央处理器和存储器，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行本技术所述的视频质量评估方法的步骤。
41.又一方面，适应本技术的另一目的而提供的一种计算机可读存储介质，其以计算机可读指令的形式存储有依据所述的视频质量评估方法所实现的计算机程序，该计算机程序被计算机调用运行时，执行该方法所包括的步骤。
42.相对于现有技术，本技术具有多方面优势，至少包括如下各方面：
43.本技术通过对视频流解码获得相应时间上连续的多个图像帧，将其格式化转换成标准化数据输入至预先训练至收敛状态的视频质量评估模型中提取出相应的多通道的图像特征信息，继而进行不同方式的池化操作提升所述图像特征信息中通道之间的显著特征的权重，获得显著特征信息，进而对所述显著特征信息进行分类映射获得多个图像帧相对应的质量评分。可以理解，本技术可以获得多方面优势，包括但不限于：
44.一方面，模型对提取出的图像特征信息进行不同方式的池化操作，实现高度显化相应的显著特征，有效隐化相应的次要特征，引导模型高度关注图像特征信息中的必要特征，有助于提升模型的准确性和可靠性。
45.另一方面，视频质量评估模型结构简单易于实现及训练，便于部署于电商平台的网络直播对应的媒体流服务器以提供评估直播视频流的质量的服务，使得能够在不影响用户观感体验情况下，根据精准地评估出可靠的质量评分相应的调节直播视频流的画质，节省传输视频流的带宽，稳定播放直播视频流，保障直播视频流播放的流畅性和实时性，提升用户体验，增加用户粘性。
附图说明
46.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
47.图1为本技术的视频质量评估方法的典型实施例的流程示意图；
48.图2为本技术一个实施例中，视频质量评估模型的结构示范性举例的结构示意图；
49.图3为本技术一个实施例中，视频质量评估模型中特征显化网络的结构示范性举例的结构示意图；
50.图4为本技术一个实施例中，视频质量评估模型的特征显化网络进行不同方式的池化操作的流程示意图；
51.图5为本技术一个实施例中，视频质量评估模型的分类网络进行分类映射的流程示意图；
52.图6为本技术的一种扩展实施例的流程示意图；
53.图7为本技术的实施例中，视频质量评估模型的预先训练至收敛的流程示意图；
54.图8为本技术的实施例中，视频质量评估模型实施迭代训练的流程示意图；
55.图9为本技术的实施例中，获得视频质量评估模型的损失值的流程示意图；
56.图10为本技术的视频质量评估装置的原理框图；
57.图11为本技术所采用的一种计算机设备的结构示意图。
具体实施方式
58.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附
图描述的实施例是示例性的，仅用于解释本技术，而不能解释为对本技术的限制。
59.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本技术的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
60.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本技术所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
61.本技术领域技术人员可以理解，这里所使用的“客户端”、“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，进行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他诸如个人计算机、平板电脑之类的通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；pcs(personal communications service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；pda(personal digital assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或gps(global positioning system，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“客户端”、“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“客户端”、“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是pda、mid(mobile internet device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。
62.本技术所称的“服务器”、“客户端”、“服务节点”等名称所指向的硬件，本质上是具备个人计算机等效能力的电子设备，为具有中央处理器(包括运算器和控制器)、存储器、输入设备以及输出设备等冯诺依曼原理所揭示的必要构件的硬件装置，计算机程序存储于其存储器中，中央处理器将存储在外存中的程序调入内存中运行，执行程序中的指令，与输入输出设备交互，借此完成特定的功能。
63.需要指出的是，本技术所称的“服务器”这一概念，同理也可扩展到适用于服务器机群的情况。依据本领域技术人员所理解的网络部署原理，所述各服务器应是逻辑上的划分，在物理空间上，这些服务器既可以是互相独立但可通过接口调用的，也可以是集成到一台物理计算机或一套计算机机群的。本领域技术人员应当理解这一变通，而不应以此约束本技术的网络部署方式的实施方式。
64.本技术的一个或数个技术特征，除非明文指定，既可部署于服务器实施而由客户
端远程调用获取服务器提供的在线服务接口来实施访问，也可直接部署并运行于客户端来实施访问。
65.本技术中所引用或可能引用到的神经网络模型，除非明文指定，既可部署于远程服务器且在客户端实施远程调用，也可部署于设备能力胜任的客户端直接调用，某些实施例中，当其运行于客户端时，其相应的智能可通过迁移学习来获得，以便降低对客户端硬件运行资源的要求，避免过度占用客户端硬件运行资源。
66.本技术所涉及的各种数据，除非明文指定，既可远程存储于服务器，也可存储于本地终端设备，只要其适于被本技术的技术方案所调用即可。
67.本领域技术人员对此应当知晓：本技术的各种方法，虽然基于相同的概念而进行描述而使其彼此间呈现共通性，但是，除非特别说明，否则这些方法都是可以独立执行的。同理，对于本技术所揭示的各个实施例而言，均基于同一发明构思而提出，因此，对于相同表述的概念，以及尽管概念表述不同但仅是为了方便而适当变换的概念，应被等同理解。
68.本技术即将揭示的各个实施例，除非明文指出彼此之间的相互排斥关系，否则，各个实施例所涉的相关技术特征可以交叉结合而灵活构造出新的实施例，只要这种结合不背离本技术的创造精神且可满足现有技术中的需求或解决现有技术中的某方面的不足即可。对此变通，本领域技术人员应当知晓。
69.请参阅图1，本技术的视频质量评估方法在其典型实施例中，包括如下步骤：
70.步骤s1100、获取视频流中的连续多个图像帧，将其格式化为标准化数据；
71.本技术的视频质量评估模型将用于对视频流预测无参考评分，据此，一种实施例中，可将本技术的视频质量评估模型部署于电商平台中的网络直播相对应的媒体服务器，以提供相应的服务，所述服务可为对电商平台中的网络直播产生的视频流预测无参考评分。所述视频流是由一张张在时间上连续的图像帧组成的，可通过对视频流进行解码而获得其对应的多个图像帧，示例而言，所述图像帧对应的图像数据类型为unit8，需要将其格式化，将其转换到float数据类型，再除以255以归一化到对应值域为[0，1]，从而获得相应的标准化数据。
[0072]
步骤s1200、采用预先训练至收敛状态的视频质量评估模型中的图像特征提取网络提取出所述标准化数据相对应的多通道的图像特征信息；
[0073]
所述视频质量评估模型的网络结构示范性举例如图2所示，其中包含主干模块200、分类网络203，所述主干模块200包含图像特征提取网络201、特征显化网络202，所述分类网络203包含全局池化层204、预测模块205、以及置信度模块206。
[0074]
一种实施例中，所述图像特征提取网络201推荐的可选用resnet(residual network)-50，resnet-50其包含50个conv2d操作，网络层次较深，网络性能较强，其次，对比一般的cnn(卷积神经网络)resnet-50增加残差网络的方法，残差网络增加恒等映射，跳过一层网络或多层网络的运算，同时，在反向传播过程中，通过shortcut连接把低层网络直接跟高层网络相连，高层网络梯度可直接传递给低层网络，解决了反向传播过程中因为网络太深造成的梯度消失问题，此外，resnet-50是常用的深度学习图像处理的主干网络，在图像分类、图形检测等相关图像处理上应用能够取得较好的成效。据此，将所述标准化数据输入至resnet-50，经提取出该标准化数据相对应的多通道的图像特征信息，具体通道数由该resnet-50网络结构而定。按照本实施例的揭示，本领域技术人员亦可以先验知识或实验经
验另选相应的神经网络充当所述图像特征提取网络。
[0075]
步骤s1300、由该评估模型的特征显化网络将所述图像特征信息进行不同方式的池化操作，提升所述图像特征信息中通道之间的显著特征的权重，获得显著特征信息；
[0076]
一种实施例中，所述评估模型的特征显化网络202推荐的可选用ca(channel attention)，其与所述图像特征提取网络201相连接，据此，ca通过与其连接的图像特征提取网络对应的通道之间的图像特征信息attention，所述attention为在channel(通道)维度上，对应每个通道，学习出权重分布，进而再将该权重分布施加在图像特征信息之上，此处，可通过对所述图像特征信息进行不同方式的池化操作以学习出所述权重分布，进一步，根据所述权重分布对图像特征提取网络提取的图像特征信息进行权重划分，提升所述图像特征信息中通道之间的显著特征的权重，同时降低所述图像特征信息中通道之间的非显著特征的权重，再进一步，获得ca输出的显著特征信息。所述不同方式的池化操作由后续部分实施例进一步揭示，本步骤暂且按下不表。按照本实施例的揭示，本领域技术人员亦可以先验知识或实验经验灵活另选相应的神经网络充当所述特征显化网络。
[0077]
步骤s1400、由该评估模型的分类网络根据所述显著特征信息进行分类映射，获得所述多个图像帧相对应的质量评分。
[0078]
可参考步骤s1200所述视频质量评估模型的网络结构的揭示，一种实施例中，所述分类网络203中全局池化层204与主干模块200中的特征显化网络202相连接，且其分别与分类网络203中的预测模块205以及置信度模块206相连接。据此，全局池化层204接收特征显化网络输出的显著特征信息，对其进行全局平均池化操作，以对显著特征信息进行空间平均，然后，按照通道方向展开为一维向量，进而将其分别输入至预测模块205以及置信度模块206，其一，预测模块205预测出所述多个图像帧相对应的质量评分，其二，置信度模块206得出所述质量评分的可靠度。所述分类网络具体实施由后续部分实施例进一步揭示，本步骤暂且按下不表。
[0079]
请参阅图4，进一步的实施例中，步骤s1300、由该评估模型的特征显化网络将所述图像特征信息进行不同方式的池化操作，提升所述图像特征信息中通道之间的显著特征的权重，获得显著特征信息，包括如下步骤：
[0080]
步骤s1310、将所述图像特征信息分成两路，分别输入所述特征显化网络的两个支路的池化层中执行不同类型的池化操作，获得相应的采样特征信息；
[0081]
所述特征显示网络为ca，其结构示范性举例如图3所示，其中包含最大池化层300、平均池化层301、注意力层302、sigmoid函数303，所述最大池化层300和平均池化层301与其相对应的注意力层302相连接，所述注意力层302为卷积层。
[0082]
所述特征显化网路接收与其相连接的图像特征网络输入的图像特征信息，将图像特征信息分成两路，分别输入所述特征显化网络的两个支路的池化层即所述最大池化层300和平均池化层301，进而执行不同类型的池化操作，其一，在最大池化层300中执行最大池化操作，计算和记录相应的最大值在所述图像特征信息中的位置，使得更好地保留图像特征信息中关于纹理、轮廓相对应的特征，适当减少无用信息的影响，其二，在平均池化层中执行平均池化操作，通过相应的过滤器平均所述图像特征信息相对应的特征图中的数值，使得更好地保留图像特征信息中整体特征，突出背景相对应的特征，据此，获得两路池化层相应的采样特征信息。
[0083]
步骤s1320、在所述两个支路中，分别应用注意力层对相应的采样特征信息进行权重提取，以增强其中的显著特征与非显著特征之间的数值差距，获得相应的提权特征信息；
[0084]
进一步，所述两个支路的池化层后相对应连接的注意力层302，相应的接收两路池化层相对应的采样特征信息，进而分别经相应的卷积层进行进一步的权重提取，所述卷积层包含多个具体参数，如卷积核大小、卷积核个数、卷积核内参数、步长等等，此处本领域技术人员按先验知识或实验数据灵活变通设置，继而学习出相应的权重分布，进一步，根据所述权重分布对采样特征信息进行权重划分，提升其中相应的显著特征的权重数值，同时降低相应的非显著特征的权重数值，进而获得相应的提权特征信息。
[0085]
步骤s1330、将两个支路的提权特征信息拼接后进行归一化，获得显著特征信息。
[0086]
将两个支路的提取特征信息进行相应的拼接，将其输入至所述sigmoid函数303中进行归一化，获得输出的与图像特征信息相对应的通道对应的显著特征信息，所述sigmoid函数可由本领域技术人员根据先验知识或实验数据灵活变通设置。
[0087]
本实施例中，通过ca作为特征显示网络，其相应的注意力机制学习出权重分布，从而对图像特征信息进行相应的权重划分，提高其中相应的显著特征的权重，进而获得相应的显著特征信息。可见，能够显著提升视频质量评估模型相应的特征识别的精准度，为后续模型的预测模块和置信度模块的奠定基础，使得模型预测的质量评分更具可靠性。
[0088]
请参阅图5，进一步的实施例中，步骤s1400、由该评估模型的分类网络根据所述显著特征信息进行分类映射，获得所述多个图像帧相对应的质量评分，包括如下步骤：
[0089]
步骤s1410、将所述显著特征信息输入全局池化层中执行池化操作，获得相应的池化特征信息；
[0090]
可参考步骤s1200所述视频质量评估模型的网络结构的揭示，一种实施例中，所述全局池化层204接收与其连接的特征显化网络202输出的所述显著特征信息，在其中执行全局平均池化操作，使得对所述显著特征信息进行空间平均，然后，按该显著特征信息相对应的通道方向展开为一维向量作为所述池化特征信息。
[0091]
步骤s1420、将所述池化特征信息输出至第一全连接层进行分类映射，获得预测的质量评分；
[0092]
可参考步骤s1200所述视频质量评估模型的网络结构的揭示，一种实施例中，所述预测模块205中的第一全连接层接收与其连接的全局池化层204输出的所述池化特征信息，所述第一全连接层为2层fc(全连接)层，推荐的参数相应为1280与512，据此，由该第一全连接层进行线性转换以及相应的分类映射，映射至相应的分类空间，获得预测的质量评分。
[0093]
步骤s1430、将所述池化特征信息输出至第二全连接层进行分类映射，获得该质量评分相对应的置信度；
[0094]
可参考步骤s1200所述视频质量评估模型的网络结构的揭示，一种实施例中，所述置信度模块206接收与其连接的全局池化层204输出的所述池化特征信息，所述第二全连接层为3层fc(全连接)层，推荐的参数相应为512、128、256，据此，由该第二全连接层进行线性转换以及相应的分类映射，映射至相应的分类空间，获该质量评分相对应的置信度。
[0095]
步骤s1440、将置信度高于预设阈值的质量评分确定为所述多个图像帧相对应的质量评分。
[0096]
允许设置预设阈值，用于以其与置信度进行比较，确定比其高的置信度对应的质
量评分为所述多个图像帧相对应的质量评分，此处阈值的具体数值，可由本领域技术人员按业务所需以及实验数据灵活变通设置。
[0097]
本实施例中，通过分类网络对向其输入的显著特征信息预测出相应的质量评分，并得出其对应的置信度，进而以合适的置信度对应质量评分作为图像帧相对应的质量评分。可见，由于得出可靠的置信度，依据置信度判断视频质量评估模型预测的质量评分是否有效，可以获得具较高鲁棒性的质量评分，使得大大提升模型鲁棒性和可靠性，能够应对不同码率和/或分辨率的视频流相对应的图像帧的预测，精准预测出可靠的质量评分，可以取得良好的总体收益。
[0098]
请参阅图6，扩展的实施例中，步骤s1400、获得所述多个图像帧相对应的质量评分的步骤之后，包括如下步骤：
[0099]
步骤s1500、根据所述质量评分调节所述视频流的编码器的编码帧率。
[0100]
一种实施例中，在电商平台的网络直播场景中，直播用户向电商平台的网络直播对应的媒体服务器提交视频流，对其进行解码后，获得其中的yuv或rgb格式的图像帧，此时可通过在该网络直播对应的媒体服务器内部署的本技术的视频质量评估模型，若预测出该视频流的多个时间上连续的图像帧相对应的满足业务所需的置信度的质量评分以及不满足业务所需的置信度的质量评分，其中，对满足业务所需置信度的质量评分相对应的图像帧，调节所述视频流的编码器的编码帧率，使得相应的降低码率和/或分辨率降低画质，对不满足业务所需置信度的质量评分相对应的图像帧，调节所述视频流的编码器的编码帧率，使得相应提高或保持原来较高的码率和/或分辨率保证画质，继而将调节后的视频流经所述媒体服务器推送至直播间的观众用户的设备，以便设备相应的渲染该视频流进行播放，所述媒体服务器为电商平台为其网络直播的用户提供相应的线上服务而设置的，可对视频流进行相应的编解码。
[0101]
另一种实施例中，在终端设备的网络直播场景中，摄像单元采集了图像帧对应的数据帧，一路是绘制数据帧纹理以渲染显示到直播用户的图像用户界面，另一路是通过相应的解码操作，将数据帧转换为yuv或rgb格式的图像帧，此时可通过在该网络直播对应的媒体服务器内部署的本技术的视频质量评估模型，若预测出该视频流的多个时间上连续的图像帧相对应的满足业务所需的置信度的质量评分以及不满足业务所需的置信度的质量评分，其中，对满足业务所需置信度的质量评分相对应的图像帧，调节所述视频流的编码器的编码帧率，使得相应的降低码率和/或分辨率降低画质，对不满足业务所需置信度的质量评分相对应的图像帧，调节所述视频流的编码器的编码帧率，使得相应提高或保持原来较高的码率和/或分辨率保证画质，继而将调节后的视频流经所述媒体服务器推送至直播间的观众用户的设备，以便设备相应的渲染该视频流进行播放。
[0102]
本实施例中，揭示了本技术的视频质量评估模型线上部署应于网络直播的视频流，使得能够根据该模型预测的视频流携带置信度的质量评分，相应的调整视频流的编码器的编码帧率，一方面，调节后的视频流既能满足业务所需的视频质量，又能节省传输该视频流的带宽，另一方面，结合置信度的质量评分更具可靠性，能够有效地避免因为模型鲁棒性不足导致预测的质量评分有误，从而单凭有误的质量评分错误调节编码帧率输出相应的视频流导致播放事故。
[0103]
请参阅图7，进一步的实施例中，步骤s1100、获取视频流中的连续多个图像帧的步
骤之前，包括如下步骤：
[0104]
步骤s1000、采用预设的数据集中的训练样本对所述视频质量评估模型实施迭代训练，将其训练至收敛状态。
[0105]
可为通过采集一定体量的不同视频质量指标相对应的视频，所述视频质量指标可为人为主观评分、码率、分辨率、帧率等等，继而对视频进行解码获得相应的多个图像帧，示例而言，所述图像帧对应的图像数据类型为unit8，需要将其格式化，将其转换到float数据类型，再除以255以归一化到对应值域为[0，1]，将该格式化后的多个图像帧作为所述数据集中的训练样本，进一步，通过数据增强的方式扩容数据集的训练样本数量，使得一定程度上预防模型过拟合，所述数据增强(data augmentation)是指在维持样本标签不变的条件下，根据先验知识改变样本的特征，使得新产生的样本也符合或者近似符合数据的真实分布，所述数据增强的方式可为镜像、旋转、缩放、调整亮度、对比度、高斯噪声、mosaic、mixup、cutout、cutmix等等，根据上述揭示，本领域技术人员可灵活变通实现所述预设的数据集。
[0106]
一种实施例中，可参考步骤s1200所述视频质量评估模型的网络结构的揭示，据此，将预设的数据集中的单个训练样本输入至所述视频质量评估模型中，经模型的图像特征提取网路以及特征显化网络学习提取出训练样本相对应的显著特征信息，继而将其输入至模型的分类网络做出相应的分类映射，预测相应的质量评分，以及得出该质量评分对应的置信度，进一步，计算模型预测的质量评分及其对应的置信度相对应的两个损失值，据此，判断是否达到预设阈值，当达到判定模型已训练至收敛，终止训练；否则，对所述评估模型实施梯度更新，继续采用下一训练样本实施迭代训练。所述视频质量评估模型的具体训练过程，由后续部分实施例进一步揭示，本步骤暂且按下不表。
[0107]
请参阅图8，进一步的实施例中，步骤s1000、采用预设的数据集中的训练样本对所述视频质量评估模型实施迭代训练，将其训练至收敛状态，包括如下步骤：
[0108]
步骤s1010、从预设的数据集中调用单个训练样本对所述视频质量评估模型实施训练，所述训练样本包括构成视频数据的连续的多个图像帧，且以对应的主观质量评分为标注；
[0109]
可参考步骤s1000实现所述预设的数据集，另外，对该数据集中的各个训练样本标注相对应的主观质量评分，所述主观质量评分可通过多个人相应的人为对训练样本对应的视频数据的连续的多个图像帧的视频质量进行主观评分，计算该些主观评分的平均值而获得。据此，从预设的数据集中调用单个训练样本输入至视频质量评估模型实施训练，一种实施例中，所述视频质量评估模型如步骤s1200对视频质量评估模型的网络结构的揭示，视频质量评估模型的图像特征提取网路以及特征显化网络学习提取出训练样本相对应的显著特征信息，继而将其输入至模型的分类网络做出相应的分类映射，预测相应的质量评分，以及得出该质量评分对应的置信度。
[0110]
步骤s1020、基于所述主观质量评分计算模型损失值，所述模型损失值为所述评估模型获得的质量评分相对应的第一损失值及该质量评分的置信度的第二损失值的和值；
[0111]
进一步，调用第一损失函数，基于所述主观质量评分计算所述评估模型获得的质量评分相对应的第一损失值，调用第二损失函数，基于所述评估模型获得的质量评分的置信度的交叉熵损失作为第二损失值，进而，以所述第一损失值及所述第二损失值的和值作
为所述评估模型的损失值，具体所述第一损失函数和第二损失函数，可由本领域技术人员按先验知识或实验数据灵活变通实现，亦可根据后续部分实施例的进一步揭示实现，此处本步骤暂且按下不表。
[0112]
步骤s1030、判断所述模型损失值是否达到预设阈值，当达到预设阈值时，判定所述评估模型已收敛，终止训练；否则，对所述评估模型实施梯度更新，继续采用下一训练样本实施迭代训练。
[0113]
允许设置预设阈值，用于判定所述评估模型是否已收敛，当达到或超过预设阈值时表征模型已被训练至收敛，可据此判定而终止训练，另外，当为达到预设阈值时表征模型暂未拟合完全而未收敛，可据此判定而对所述评估模型实施梯度更新，更新评估模型的图像特征提取网路、特征显化网络、分类网络中部分或全量网路相对应的权重参数，继而采用下一训练样本实施迭代训练。
[0114]
本实施例中，揭示了所述质量评估模型的训练过程，可以看出，在所述主观质量评分的监督训练下，模型具备了能够对视频对应的各个图像帧进行质量评估，获得携带置信度的质量评分，进而在模型投入使用时，可将其部署至服务器，服务器接收视频数据对其应用模型，即可快速精准地预测出视频数据对应的各个图像帧携带置信度的质量评分，继而可根据符合业务所需的置信度确定相应的可靠的质量评分，在满足用户对视频的整体观感需求前提下，适当调整相应的图像帧的画质，节省传输视频数据的带宽。
[0115]
请参阅图9，进一步的实施例中，步骤s1020、基于所述主观质量评分计算模型损失值，包括如下步骤：
[0116]
步骤s1021、计算所述训练样本中各个图像帧对应预测的质量评分与预先标注的主观质量评分之间的损失值，求取各个所述损失值的平均绝对误差，作为第一损失值；
[0117]
调用第一损失函数，根据所述训练样本中各个图像帧对应预测的质量评分与预先标注的主观质量评分，计算两者之间的误差的绝对值，再以训练样本对应的图像帧的总数求取该绝对值相应的平均值，获得第一损失值，所述第一损失函数，示范性举例如下：
[0118][0119]
其中：loss
mos
为第一损失值，n为训练样本对应的图像帧的总数,y
out
为对应的单个图像帧的模型预测的质量评分，y
gt
为对应的单个图像帧的主观质量评分。
[0120]
步骤s1022、计算所述质量评分的置信度的交叉熵损失以获得第二损失值，所述第二损失值为所述训练样本中各个图像帧对应预测的正样本预测概率匹配所述置信度为权重后获得修正预测概率的对数和的均值；
[0121]
调用第二损失函数，计算所述质量评分的置信度的交叉熵损失以获得第二损失值，所述第二损失函数，示范性举例如下：
[0122][0123]
其中，loss
conf
为第二损失值，n为训练样本对应的图像帧的总数，λ为调整参数，pc为所述训练样本中各个图像帧对应预测的正样本预测概率匹配所述置信度为权重后获得
修正预测概率，示范性举例如下：
[0124]
pc＝c*(1-|y
out-y
gt
|)
[0125]
其中，c为训练样本对应的置信度,y
out
为对应的单个图像帧的模型预测的质量评分，y
gt
为对应的单个图像帧的主观质量评分。
[0126]
据上述揭示本领域技术人员应当知晓，对于训练样本的各个图像帧而言，以1-|y
out-y
gt
|作为模型对应的正样本输出概率，继而匹配相应的置信度为权重后得出修正预测概率pc。另外，在调用示范性举例的第二损失函数计算训练样本对应的交叉熵损失时，为了避免模型学习到只要c＝1的时候得到的loss
conf
为最优，导致置信度有误，据此，添加一个关于c的正则项，推荐的其中loss
conf
中的λ为0.1。
[0127]
步骤s1023、计算所述第一损失值与第二损失值的和值获得所述训练样本相对应的模型损失值。
[0128]
据步骤s1021-1022的第一、二损失函数相对应的示范性举例，计算所述第一损失值loss
mos
与第二损失值loss
conf
的和值，获得所述训练样本相对应的模型损失值。
[0129]
本实施例中，通过第一、二损失函数计算出模型预测训练样本相应的获得的质量评分及其对应置信度两者相对应的第一、二损失值，进而将第一、二损失值相加作为模型的损失值，对比于单以第一损失值作为模型的损失值，有第二损失值修正，把控模型鲁棒性不足导致第一损失值有误而影响模型预测的准确性，使得提高模型整体准确性、鲁棒性、可靠性。
[0130]
请参阅图10，适应本技术的目的之一而提供的一种视频质量评估装置，是对本技术的视频质量评估方法的功能化体现，该装置包括图像处理模块1100，特征提取模块1200，权重提取模块1300，以及评分输出模块1400，其中：图像处理模块1100，用于获取视频流中的连续多个图像帧，将其格式化为标准化数据；特征提取模块1200，被配置为采用预先训练至收敛状态的视频质量评估模型中的图像特征提取网络提取出所述标准化数据相对应的多通道的图像特征信息；权重提取模块1300，被配置为由该评估模型的特征显化网络将所述图像特征信息进行不同方式的池化操作，提升所述图像特征信息中通道之间的显著特征的权重，获得显著特征信息；评分输出模块1400，被配置为由该评估模型的分类网络根据所述显著特征信息进行分类映射，获得所述多个图像帧相对应的质量评分。
[0131]
进一步的实施例中，所述权重提取模块1300，包括：两路池化子模块，用于将所述图像特征信息分成两路，分别输入所述特征显化网络的两个支路的池化层中执行不同类型的池化操作，获得相应的采样特征信息；提权特征信息获取子模块，用于在所述两个支路中，分别应用注意力层对相应的采样特征信息进行权重提取，以增强其中的显著特征与非显著特征之间的数值差距，获得相应的提权特征信息；归一化子模块，用于将两个支路的提权特征信息拼接后进行归一化，获得显著特征信息。
[0132]
进一步的实施例中，所述评分输出模块1400，包括：全局池化子模块，用于将所述显著特征信息输入全局池化层中执行池化操作，获得相应的池化特征信息；质量评分获得子模块，用于将所述池化特征信息输出至第一全连接层进行分类映射，获得预测的质量评分；置信度获得子模块，用于将所述池化特征信息输出至第二全连接层进行分类映射，获得该质量评分相对应的置信度；质量评分确定子模块，用于将置信度高于预设阈值的质量评分确定为所述多个图像帧相对应的质量评分。
[0133]
扩展的实施例中，所述评分输出模块1400之后，还包括：编码帧率调节模块，用于根据所述质量评分调节所述视频流的编码器的编码帧率。
[0134]
进一步的实施例中，所述图像处理模块1100之前，还包括：迭代训练子模块，用于采用预设的数据集中的训练样本对所述视频质量评估模型实施迭代训练，将其训练至收敛状态。
[0135]
进一步的实施例中，所述迭代训练子模块，包括：实施训练单元，用于从预设的数据集中调用单个训练样本对所述视频质量评估模型实施训练，所述训练样本包括构成视频数据的连续的多个图像帧，且以对应的主观质量评分为标注；损失值单元，用于基于所述主观质量评分计算模型损失值，所述模型损失值为所述评估模型获得的质量评分相对应的第一损失值及该质量评分的置信度的第二损失值的和值；迭代训练判断单元，用于判断所述模型损失值是否达到预设阈值，当达到预设阈值时，判定所述评估模型已收敛，终止训练；否则，对所述评估模型实施梯度更新，继续采用下一训练样本实施迭代训练。
[0136]
进一步的实施例中，所述损失值单元，包括：第一损失值子单元，用于计算所述训练样本中各个图像帧对应预测的质量评分与预先标注的主观质量评分之间的损失值，求取各个所述损失值的平均绝对误差，作为第一损失值；第二损失值子单元，用于所述质量评分的置信度的交叉熵损失以获得第二损失值，所述第二损失值为所述训练样本中各个图像帧对应预测的正样本预测概率匹配所述置信度为权重后获得修正预测概率的对数和的均值；模型损失值子单元，用于计算所述第一损失值与第二损失值的和值获得所述训练样本相对应的模型损失值。
[0137]
为解决上述技术问题，本技术实施例还提供计算机设备。如图11所示，计算机设备的内部结构示意图。该计算机设备包括通过系统总线连接的处理器、计算机可读存储介质、存储器和网络接口。其中，该计算机设备的计算机可读存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种视频质量评估方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行本技术的视频质量评估方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图11中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0138]
本实施方式中处理器用于执行图10中的各个模块及其子模块的具体功能，存储器存储有执行上述模块或子模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有本技术的视频质量评估装置中执行所有模块/子模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所有子模块的功能。
[0139]
本技术还提供一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行本技术任一实施例的视频质量评估方法的步骤。
[0140]
本领域普通技术人员可以理解实现本技术上述实施例方法中的全部或部分流程，
是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)等计算机可读存储介质，或随机存储记忆体(random access memory，ram)等。
[0141]
综上所述，本技术的视频质量评估模型结构简单易于实现及训练，便于部署于电商平台的网络直播对应的媒体流服务器以提供评估直播视频流的质量的服务，使得能够在不影响用户观感体验情况下，根据精准地评估出可靠的质量评分相应的调节直播视频流的画质，节省传输视频流的带宽，稳定播放直播视频流，保障直播视频流播放的流畅性和实时性，提升用户体验，增加用户粘性。
[0142]
其次，视频质量评估模型能够输出可靠的置信度，可以此判断模型预测的质量评分是否有效，避免预测误差过大，提升模型的鲁棒性，同时能够根据置信度修正模型预测的质量评分，提升模型的准确性和可靠性。
[0143]
此外，视频质量评估模型输出的携带置信度的质量评分能够精准评估视频流的质量，评估出相应的可靠的质量评分，而且模型具备较佳的鲁棒性，有效应对现实视频流的多种不可抗力情况，可以取得总体良好的收益。
[0144]
本技术领域技术人员可以理解，本技术中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本技术中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本技术中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
[0145]
以上所述仅是本技术的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。