使用参数和像素级模型的视频质量评估的方法与流程

使用参数和像素级模型的视频质量评估的方法
相关申请的交叉引用
1.本技术基于并要求于2020年8月10日在美国专利和商标局提交的第63/063,712号美国临时申请和2021年6月29日在美国专利和商标局提交的第17/362,145号美国申请的优先权，这些申请的内容通过引用全部并入本文。
技术领域
2.本公开涉及先进的多媒体技术领域，尤其涉及一种对压缩或未压缩的视频或图像进行质量评估的方法和设备。


背景技术：

3.随着可负担的和可靠的用户采集设备以及社交媒体平台的普及，视频和图像已经成为许多人的日常生活。由于随着相机的改进，视觉数据的规模越来越大，视频压缩通常应用于原始视觉数据(例如，相机采集的图像或视频)，以便以更快的速率从一个设备传输到另一个设备。然而，压缩系统通常会引入伪影或导致原始视觉数据的视觉质量降级。因此，可能希望识别视频和图像中某些压缩伪影或降级的存在，以便修复和改善视频的质量。
4.一种用于理解和识别压缩伪影或压缩降级的方法，是通过执行视频质量评估(“vqa”)。为了评估视频或图像的质量，人可以在某些环境和测试条件(例如，光照条件、距离等)下对视频进行视觉检查，并且使用例如平均意见得分(“mos”)来评价视频。然而，这种手动操作的缺点在于，当测试规模很大时，它耗费时间并且产生大量成本。为了在不用人眼的情况下提供对视觉数据质量的快速和经济的评价，使用客观方法来代替这种手动操作。一般而言，vqa中的客观方法分为三类：(1)没有提供参考数据的无参考vqa，(2)提供真值数据的全参考vqa，以及(3)提供部分但不是全部参考数据的部分(缩减的)参考vqa。
5.在无参考vqa中，评价方法纯粹基于已解码图像，而不了解原始图像。一些在评价已解码图像时考虑的特征可以包括锐度、梯度等。可以通过将一个或多个特征的行为映射到例如0到100之间的数值来产生得分。
6.在全参考vqa中，评价方法基于测试数据和参考数据之间的差异。测试数据和参考数据之间的差异越大，压缩的降级越大。一个示例性指标可以是视频多方法评估融合(video multimethod assessment fusion，“vmaf”)，其中基于参考和失真视频序列来预测主题视频质量。该指标可以用于评价不同视频编码器的质量。
7.在部分参考vqa中，参考数据中仅部分信息可用于评价视频质量。一个示例可以使用码流的编解码参数(例如，量化参数(qp)、图片组(gop)大小、帧速率、分辨率、比特率等)来估计视频的质量。另一个示例可以是使用参考视频的子集，诸如原始视频和/或图像的下采样版本。
8.对于视频和图像的主观评价，通常首选具有低计算复杂度和低系统延迟的视频质量评估方法。然而，当需要执行更密集的计算时，主观评价的准确性可能降低。而且，即使应用无参考vqa，一些应用也可能无法支持在逐像素基础上的密集计算来评价视频的质量。因
此，需要技术方案来实现轻量质量评价，同时保持评价的可靠性。


技术实现要素：

9.根据一个实施例，提供了一种执行视频质量评估(vqa)的方法。所述方法包括：获得视频的多个图像，所述多个图像被划分成一个或多个组；确定要应用基于参数的vqa的所述多个图像中的第一图像，所述第一图像是所述多个图像中的全部图像；基于对所述第一图像中的每一个图像应用所述基于参数的vqa，确定第一得分；确定所述多个图像中的第二图像，所述第二图像要应用基于样本的vqa；基于对所述第二图像中的每一个图像应用所述基于样本的vqa，确定第二得分；以及基于所述第一得分和所述第二得分，输出至少一个图像的最终得分。
10.根据一个实施例，提供了一种用于执行视频质量评估(vqa)的设备。该装置包括：至少一个存储计算机程序代码的存储器；和至少一个处理器，被配置为访问所述至少一个存储器并按照所述计算机程序代码的指示操作，所述计算机程序代码包括：获取代码，所述代码被配置为使所述至少一个处理器获得视频的多个图像，所述多个图像被划分成一个或多个组；第一确定代码，被配置为使所述至少一个处理器确定要应用基于参数的vqa的所述多个图像中的第一图像，所述第一图像是所述多个图像中的全部图像，以及基于对所述第一图像中的每一个图像应用所述基于参数的vqa，确定第一得分；第二确定代码，被配置为使所述至少一个处理器确定所述多个图像中的第二图像，所述第二图像要应用基于样本的vqa，基于对所述第二图像中的每一个图像应用所述基于样本的vqa，确定第二得分；以及输出代码，被配置为使所述至少一个处理器基于所述第一得分和所述第二得分，输出至少一个图像的最终得分。
11.根据一个实施例，提供了一种非暂时性计算机可读存储介质，存储有计算机程序代码，当计算机程序代码由至少一个处理器执行时，所述至少一个处理器被配置为：获得视频的多个图像，所述多个图像被划分成一个或多个组；确定要应用基于参数的vqa的所述多个图像中的第一图像，所述第一图像是所述多个图像中的全部图像；基于对所述第一图像中的每一个图像应用所述基于参数的vqa，确定第一得分；确定所述多个图像中的第二图像，所述第二图像要应用基于样本的vqa；基于对所述第二图像中的每一个图像应用所述基于样本的vqa，确定第二得分；以及基于所述第一得分和所述第二得分，输出至少一个图像的最终得分。
附图说明
12.以下描述简要介绍了附图，附图说明了本公开的一个或多个实施例。
13.图1是根据实施例的视频质量评估设备示意图。
14.图2是根据实施例的执行视频质量评估的方法的示意图。
15.图3示出了根据实施例的视频质量评估的操作的流程图。
16.图4是根据实施例的执行包括对得分进行校准的视频质量评估的方法的示意图。
17.图5示出了根据实施例的包括对得分进行校准的视频质量评估的操作的流程图。
18.图6是根据实施例的基于视频的复杂度执行视频质量评估的方法的流程图。
19.图7示出了根据实施例的基于视频复杂度的视频质量评估的操作的流程图。
20.图8示出了根据实施例的用于执行图3的方法的计算机程序代码的框图。
21.图9示出了根据实施例的用于执行图5的方法的计算机程序代码的框图。
22.图10示出了根据实施例的用于执行图7的方法的计算机程序代码的框图。
具体实施方式
23.本文参考附图详细描述了示例实施例。应当理解，本文描述的一个或多个实施例只是示例，不应被解释为限制本公开的范围。
24.图1是根据实施例的视频质量评估设备示意图。
25.参考图1，视频质量评估(vqs)设备100可以包括处理器110、存储器120、存储器130、输入接口140、输出接口150、通信接口160和总线170。vqs设备100可以被实现为编码器和/或解码器的一部分，以评估视频或图像的质量。然而，一个或多个实施例不限于此，vqs设备100可以连接到编码器和/或解码器，但是可以与编码器和/或解码器物理分离。此外，vqs设备100可以是以软件的形式存储在存储器120中并由连接到存储器120的处理器110执行的算法。
1.处理器110以硬件、固件或硬件和软件的组合来实现。处理器110可以是中央处理单元(cpu)、图形处理单元(gpu)、加速处理单元(apu)、微处理器、微控制器、数字信号处理器(dsp)、现场可编程门阵列(fpga)、专用集成电路(asic)或另一类型的处理组件。在一些实施方式中，处理器110包括一个或多个能够被编程以执行功能的处理器。
2.存储器120包括随机存取存储器(ram)、只读存储器(rom)和/或另一类型的动态或静态存储设备(例如，闪存、磁存储器和/或光存储器)，其存储供处理器110使用的信息和/或指令。
3.存储器130存储与vqs设备100的操作和使用相关的信息和/或软件。例如，存储器130可以包括硬盘(例如，磁盘、光盘、磁光盘和/或固态盘)、光盘(cd)、数字通用盘(dvd)、软盘、盒式磁带、磁带和/或另一类型的非易失性计算机可读介质，以及相应的驱动器。
4.输入接口140可以包括允许vqs设备100例如通过用户输入接收信息的组件，例如，触摸屏显示器、键盘、小键盘、鼠标、按钮、开关和/或麦克风。另外或可替代地，输入接口140可以包括用于感测信息的传感器(例如，全球定位系统(gps)组件、加速计、陀螺仪和/或致动器)。
5.输出接口150可包括提供来自vqs设备100的输出信息的组件，例如，显示器、扬声器和/或一个或多个发光二极管(led)。
6.通信接口160包括类似收发器的组件(例如，收发器和/或单独的接收器和发送器)，该通信接口160使vqs设备100能够例如通过有线连接、无线连接或有线和无线连接的组合与其它设备通信。通信接口160可以允许vqs设备100从另一设备接收信息和/或向另一设备提供信息。例如，通信接口160可以包括以太网接口、光接口、同轴接口、红外接口、射频(rf)接口、通用串行总线(usb)接口、wi-fi接口、蜂窝网络接口等。
7.总线170包括允许vqs设备100的组件之间通信的组件。
8.vqs设备100可以执行本文中所描述的一个或多个操作。vqs设备100可以响应于处理器110执行由非易失性计算机可读介质(例如存储器120和/或存储器130)存储的软件指令来执行上述操作。计算机可读介质在本文中被定义为非易失性存储器设备。存储器设备
包括单个物理存储设备内的存储空间或分布在多个物理存储设备上的存储空间。
9.软件指令可以通过通信接口160从另一计算机可读介质或从另一设备读入存储器120和/或存储器130。当被执行时，存储在存储器120和/或存储器130中的软件指令可以使处理器110执行本文中所描述的一个或多个过程。另外或可替代地，可以使用硬件连线电路来代替软件指令或与软件指令结合以执行本文中所描述的一个或多个过程。因此，本文中所描述的实施方式不限于硬件电路和软件的任何特定组合。
10.图1所示的组件的数量和排列被作为示例来提供。实际上，与图1所示的组件相比，vqs设备100可能包括更多的组件、更少的组件、不同的组件或排列不同的组件。另外或可替代地，vqs设备100的一组组件(例如，一个或多个组件)可以执行被描述为由vqs设备100的另一组组件执行的一个或多个功能。
26.图2是根据实施例的执行视频质量评估的方法的示意图。
27.参考图2，vqa算法200可以包括基于参数的vqa模型210和基于样本的vqa模型220。基于参数的vqa可以指不需要像素级信息而仅需要码流级信息的视频质量评估。例如，像素级信息可以包括关于图像中每个像素的颜色和位置的信息，码流级信息可以包括关于比特率、量化参数、帧解、帧速率等的信息。基于样本的vqa可以指需要像素级分析的视频质量评估。通常，基于样本的vqa比基于参数的vqa更精确，但是当存在很多待分析的样本时，基于样本的vqa需要更密集的计算。在常规视觉中
28.根据实施例，基于参数的vqa模型210和基于样本的vqa模型220都可以用于一个或多个图像的质量评价。具体地，vqa算法200可以被设计为应用基于参数的vqa模型比应用基于样本的vqa模型更频繁。例如，待评价的视频可以包括第一组230a和第二组230b的图像。第一组230a可以包括图像a、b和c，并且第二组230b可以包括图像a
′
、b
′
和c
′
。尽管在图2中仅示出了两组图像，但是可以存在多于两组的图像。
29.在特定示例中，可以将基于参数的vqa模型210应用于每个组中的每个图像帧，并将基于样本的vqa模型220应用于每个组中的第一图像帧。具体地，如图2所示，将基于参数的vqa模型210应用于第一组230a中的图像a、b和c中的每一个以及第二组230b中的图像a
′
、b
′
和c
′
中的每一个。相反，将基于样本的vqa模型220应用于第一组230a中的第一图像a和第二组230b中的第一图像a
′
。由于一些应用可能无法支持用于质量评价的在逐像素基础上的密集计算，基于样本的vqa模型220可以选择性地应用于视频中的多个图像中的一些图像。因此，当使用基于参数的vqa模型210和基于样本的vqa模型220两者来评价视频的质量时，减少了处理负载的负担。然而，一个或多个实施例不限于此。例如，基于参数的vqa模型210可以应用于视频中多个图像中的每个图像，而基于样本的vqa模型220仅应用于图像的子集，诸如每秒一个、每30帧一个等。换言之，基于样本的vqa220可以应用于以预定时间间隔或预定帧间隔选择的图像。
30.根据实施例，可以将基于参数的vqa模型210应用于视频的每个图像帧，并且可以将基于样本的vqa模型220仅应用于具有降低的分辨率的图像。例如，可以将基于样本的vqa模型220应用于1∶4子采样图像。
31.根据实施例，可以将基于参数的vqa模型210应用于视频的每个图像帧，并且可以将基于样本的vqa模型220仅应用于一个或多个图像内的一组区域。例如，可以根据用户输入来识别图像的目标感兴趣区域(roi)，并且将基于样本的vqa模型220仅应用于图像中的
目标roi。尽管已经描述了可以根据用户输入来识别目标roi，但是一个或多个实施例不限于此。例如，目标roi可以被预定为在屏幕的中间，因为屏幕的中间是当观看图像或视频时人眼睛通常被引导或聚焦的地方。此外，可以基于运动矢量来确定目标roi。即，当区域的运动矢量的值以大于预定值的速率在连续图像帧之间改变时，该区域可以被确定为目标roi。这里，以大于预定值的速率在连续帧之间改变的运动矢量意味着在图像帧中存在大量运动。
32.图3示出了根据实施例的视频质量评估的操作的流程图。
33.参考图3，图示了根据实施例的用于执行视频质量评估的方法300。
34.在s310中，方法300可以包括获得待分析的视频的图像。这里，视频的图像可以被分组成一个或多个组，如上面参考图2所描述的。
35.在s320中，方法300可以包括确定应当应用基于参数的vqa的第一图像。根据实施例，第一图像可以是视频中的多个图像中的全部图像。换句话说，可以将基于参数的vqa应用于视频中的多个图像中的每一个。例如，返回参考图2，第一图像可以是图像a、a
′
、b、b
′
、c和c
′
。然而，一个或多个实施例不限于此，基于参数的vqa可以选择性地应用于视频的多个图像中的一些图像。
36.在s330中，方法300可以包括基于将基于参数的vqa应用于第一图像中的每一个来确定第一得分。下面将参考图4更详细地描述该操作。
37.在s340中，方法300可以包括确定应当应用基于样本的vqa的第二图像。如上面所描述的，确定第二图像，可以使得基于样本的vqa被选择性地应用于组中的图像。这里，第二图像可以与视频中多个图像中的一些第一图像重叠。例如，返回参考图2，第一图像可以是图像a、a
′
、b、b
′
、c和c
′
，并且第二图像可以是图像a和a
′
。基于参数的vqa和基于样本的vqa都被应用于包括在第一图像和第二图像中的图像a和a
′
。此外，可以根据时间、帧序列、图像分辨率和感兴趣区域来确定第二图像，如上面参考图2所描述的。
38.在s350中，方法300可以包括基于将基于样本的vqa应用于第二图像中的每一个来确定第二得分。下面将参考图4更详细地描述该操作。
39.在s360中，方法300可以包括基于所确定的第一得分和第二得分输出至少一个图像的最终得分。下面将参考图4更详细地描述该操作。
40.图4是根据实施例的执行包括校准对得分进行校准的视频质量评估的方法的示意图。上面参考图2和图3描述了执行视频质量评估的方法的一些特征或操作。因此，可以省略对这些特征或操作的一些重复描述。
41.参考图4，vqa算法400可以包括基于参数的vqa模型410和基于样本的vqa模型420。这里，基于参数的vqa模型410和基于样本的vqa模型420都可以用于评价一个或多个图像的质量。具体地，将基于参数的vqa模型410应用于第一组430a中的图像a、b和c中的每一个以及第二组430b中的图像a
′
、b
′
和c
′
中的每一个。将基于样本的vqa模型420应用于第一组430a中的第一图像a和第二组430b中的第一图像a
′
。
42.基于对图像a、a
′
、b、b
′
、c和c
′
执行基于参数的vqa，基于参数的vqa模型410可以输出第一得分440。基于对图像a和a
′
执行基于样本的vqa，基于样本的vqa模型420可以输出第二得分450。应当理解，对于一组图像，第一得分440可以包括多个得分，并且对于另一组图像，第二得分450可以包括多个得分。
43.根据实施例，当从基于样本的vqa模型420输出第二得分450时，第二得分450可以用于校准从基于参数的vqa模型410导出的第一得分。更具体地，基于样本的vqa的函数可以将第二得分450添加到从基于参数的vqa模型410导出的第一得分440，以生成最终得分460。然而，当第二得分450对于视频中的多个图像中的至少一个图像不可用时，可以使用视频中的先前图像的基于样本的vqa生成的得分。例如，当第二得分450不可用于第一组430a中的图像c时，第一组430a中的图像b的基于样本的vqa得分可以用作第二得分450。此外，当第二得分450对于视频序列中的多个图像中的至少一个图像不可用时，可以将函数应用于视频序列中的一些先前图像的n个基于样本的vqa得分。函数可以包括n个基于样本的vqa得分的平均值、n个基于样本的vqa得分的中值、n个基于样本的vqa得分的最小值和最大值等，其中n是正整数。例如，当第二得分450对于第一组430中的图像c不可用时，可以使用第一组430中的图像a和图像b的两个基于样本的vqa得分的平均值。
44.最终得分460可以基于两个分量，基础得分和增量得分来确定。当基于样本的vqa得分可用时，基础得分可以完全或部分基于基于样本的vqa。换句话说，基础得分取决于由基于样本的vqa模型420输出的第二得分450。增量得分基于基于参数的vqa。即，增量得分可以是由基于参数的vqa模型410输出的第一得分440。
45.作为示例，假设从基于参数的vqa模型410导出的图像a的第一得分440表示为sp(a)，并且从基于样本的vqa模型420导出的图像a的第二得分450表示为ss(a)。在基于参数的vqa模型410和基于样本的vqa模型420使用相同的计分系统产生得分的情况下，图像a的最终得分可以是ss(a)。即，当基于参数的vqa模型410和基于样本的vqa模型420使用相同范围的评分量表(例如，得分范围从1到10)时，最终得分460可以是从基于样本的vqa模型输出的第二得分450。换句话说，当针对图像确定基于基于样本的模型420的第二得分450时，假定两个模型的得分范围相同，则第二得分450可以优先于第一得分440，并且使用第二得分450作为最终得分460。然而，一个或多个实施例不限于此，并且最终得分460可以根据各种计算方法导出。
46.此外，可以在不使用基于样本的vqa模型420的情况下评价视频序列中图像a之后的图像b。例如，从基于参数的vqa模型410导出的图像b的第一得分440可以表示为sp(b)。当基于参数的vqa模型410和基于样本的vqa模型420的计分系统彼此不同时，可以根据以下等式计算图像b的最终得分460：
47.最终得分(图像b)＝sp(b) w*(ss(a)-sp(a)) 偏移等式(1)
48.这里，“w”是可以是固定的或从诸如图像类型和量化信息的解码信息获得的权重。权重w可以是小于或等于1的值，例如0.8。偏移是用于平衡两个模型的计分系统的恒定值。偏移的值可以是0或非零值。
49.根据等式(1)，在不存在来自基于样本的vqa模型420的图像b的得分的情况下，vqa算法400可以计算最终得分460。具体地，基于图像a计算两个模型的计分系统之间的差异，即ss(a)-sp(a)，并且然后使用该差异来估计图像b处的计分系统之间的差异，其中仅来自参数vqa模型410的图像b的第一得分440可用。因此，当在没有来自基于样本的vqa模型的得分的情况下通过vqa算法400计算最终得分时，可以校准基于参数的vqa模型和基于样本的vqa模型之间的计分系统中的差异，以提供对视频质量的更准确评估，同时减少计算负荷。
50.作为另一个示例，图像b的最终得分460可以根据以下等式导出：
51.最终得分(图像b)＝w0*ss(a) w1*sp(b)-w2*sp(a) 偏移
ꢀꢀ
等式(2)。
52.这里，w0、w1和w2是可以是固定的或从诸如图像类型和量化信息的解码信息获得的权重。偏移可以是平衡两个模型的计分系统之间的差异的恒定值。偏移的值可以是0或非零值。
53.图5示出了根据实施例的包括对得分进行校准的视频质量评估的操作的流程图。上面参考图2和图3描述了执行视频质量评估的方法的一些特征或操作。图5的操作s510至s550和s570可以分别对应于图3的操作s310至s350和s360。因此，可以省略对s510至s550和s570的一些重复描述。
54.参考图5，在s560中，方法500可以包括基于来自基于样本的vqa模型的第二得分来校准来自基于参数的vqa模型的第一得分。因为基于样本的vqa涉及图像的逐像素分析，所以需要更密集的计算。因此，如上面参考图4所描述的，基于样本的vqa模型仅应用于视频的多个图像中的一些图像，而基于参数的vqa模型应用于视频的多个图像中的每一个。然而，当在基于样本的vqa模型和基于参数的vqa模型的计分系统之间存在差异时，在从基于参数的vqa模型获得的第一得分和从基于样本的vqa模型获得的第二得分之间可能存在不一致，从而降低了视频质量评估的准确性。
55.鉴于此，当图像的第二得分不能从基于样本的vqa模型获得时，来自基于参数的vqa模型的第一得分可以基于从先前图像帧计算的计分系统中的差异来校准，对于该先前图像帧，来自基于参数的vqa模型的第一得分和来自基于样本的vqa模型的第二得分都是可用的。换句话说，返回参考图4，当没有来自图像b的基于样本的vqa模型420的得分时，可以根据图像a确定计分系统中的差异，对于该图像a，来自基于参数的vqa模型410的第一得分440和来自基于样本的vqa模型420的第二得分450是可用的。基于确定两个模型的计分系统之间的差异，可以校准来自基于参数的vqa模型410的图像b的第一得分440，以获得最终得分460。
56.图6是根据实施例的基于视频的复杂度执行视频质量评估的方法的示意图。上面参考图4和图5描述了执行视频质量评估的方法的一些特征或操作。因此，可以省略对这些特征或操作的一些重复描述。
57.参考图6，vqa算法600可以包括基于参数的vqa模型610和基于样本的vqa模型620，基于参数的vqa模型610输出第一得分640，基于样本的vqa模型620基于评价多个图像630而输出第二得分650。
58.根据实施例，vqa算法600可以进一步包括由基于参数的vqa模型610接收的复杂度元数据670。复杂度元数据670可以包括关于视频的复杂度的信息，诸如空间文本复杂度、时间运动复杂度等。视频的复杂度可以由编码器评估并且包括在从编码器发送到解码器的视频码流中。解码器可以不需要元数据670来执行解码。然而，一个或多个实施例不限于此，复杂度元数据可以经由网络与视频码流分开发送到解码器。同样，代替元数据，关于视频的复杂度的信息可以经由快门间隔信息(sei)消息来传递，解码器不需要对sei消息执行解码。
59.基于接收包括关于视频的复杂度的信息的复杂度元数据，基于参数的vqa模型610可以基于关于视频的复杂度的信息调整第一得分640。例如，如果视频的复杂度较高，则可以将从基于参数的vqa模型610输出的第一得分640调整为更低。或者，如果视频的复杂度较低，则可以将从基于参数的vqa模型610输出的第一得分640调整为更高。
60.图7示出了根据实施例的基于视频复杂度的视频质量评估的操作的流程图。上面参考图4和图5描述了执行视频质量评估的方法的一些特征或操作。图7的s710至s750和s770的操作可以分别对应于图5的s510至s550和s570的操作。因此，可以省略对s710至s750和s770的重复描述。
61.参考图7，在s760中，方法700可以进一步包括根据关于视频的复杂度的信息调整第一得分。关于视频复杂度的信息可以包括诸如空间文本复杂度、时间运动复杂度等信息。视频的复杂度可以由编码器评估并且包括在从编码器发送到解码器的视频码流中。而且，代替元数据，关于视频的复杂度的信息可以经由sei消息来传递，解码器不需要对sei消息执行解码。
62.基于接收视频的复杂度信息，可以基于关于视频的复杂度的信息来调整基于参数的vqa模型的第一得分。例如，返回参考图6，如果视频的复杂度较高，则可以将从基于参数的vqa模型610输出的第一得分640调整为较低。或者，如果视频的复杂度较低，则可以将从基于参数的vqa模型610输出的第一得分640调整为更高。这里，可以基于预定阈值来调整第一得分。例如，如果视频的时间运动复杂度高于预定阈值，那么可以将第一得分调整为更低。
63.图8示出了根据实施例的用于执行图3的方法的计算机程序代码的框图。图8的计算机程序代码可以存储在存储器中，并且可以被至少一个处理器访问以执行存储的计算机程序代码。上文参考图2和3描述了执行视频质量评估的方法的一些特征或操作。因此，可以省略对这些特征或操作的计算机程序代码的重复描述。
64.计算机程序代码800可以包括获取代码810、第一确定代码820、第二确定代码830和输出代码840。
65.获取代码810可以被配置为获取要分析的视频的图像。
66.第一确定代码820可被配置为确定应该应用基于参数的vqa的第一图像。第一图像可以是视频中的多个图像中的全部图像。例如，第一图像可以是图2中的图像a、a
′
、b、b
′
、c和c
′
。然而，一个或多个实施例不限于此，基于参数的vqa可以选择性地应用于多个图像中的一些图像。第一确定代码820可被配置为基于对第一图像应用基于参数的vqa来确定第一得分。
67.第二确定代码830可被配置为确定应该应用基于参数的vqa的第二图像。确定第二图像，可以使得基于样本的vqa选择性地应用于多个图像中的一个或多个。例如，第二图像可以是图2中第一组230a和第二组230b中的每一个中的图像a和a
′
。第二确定代码830可被配置为基于对第二图像应用基于样本的vqa，而确定第二得分。
68.输出代码840可以配置为基于确定的第一得分和确定的第二得分，输出最终得分。
69.图9示出了根据实施例的用于执行图5的方法的计算机程序代码的框图。图9的计算机程序代码可以存储在存储器中，并且可以被至少一个处理器访问以执行存储的计算机程序代码。上文参考图4和5描述了执行视频质量评估的方法的一些特征或操作。因此，可以省略对这些特征或操作的重复描述。
70.计算机程序代码900可以包括获取代码910、第一确定代码920、第二确定代码930、校准代码940和输出代码950。
71.获取代码910可以被配置为获取要分析的视频的图像。
72.第一确定代码920可配置为确定应该应用基于参数的vqa的第一图像。第一图像可以是视频中的多个图像中的全部图像。例如，第一图像可以是图2中的图像a、a
′
、b、b
′
、c和c
′
。然而，一个或多个实施例不限于此，基于参数的vqa可以选择性地应用于多个图像中的一些图像。第一确定代码920可以被配置为基于对第一图像应用基于参数的vqa来确定第一得分。
73.第二确定代码930可被配置为确定应该应用基于参数的vqa的第二图像。确定第二图像，可以使得基于样本的vqa选择性地应用于多个图像中的一个或多个。例如，第二图像可以是图2中第一组230a和第二组230b中的每一个中的图像a和a
′
。第二确定代码930可以被配置为基于对第二图像应用基于样本的vqa来确定第二得分。
74.校准代码940可以配置为根据基于样本的vqa模型的第二个得分校准基于参数的vqa模型的第一个得分。
75.输出代码950可以配置为基于确定的第一得分和确定的第二得分，输出最终得分。
76.图10示出了根据实施例的用于执行图7的方法的计算机程序代码的框图。图10的计算机程序代码可以存储在存储器中，并且可以被至少一个处理器访问以执行存储的计算机程序代码。上文参考图6至7描述了执行视频质量评估的方法的一些特征或操作。因此，可以省略对这些特征或操作的重复描述。
77.计算机程序代码1000可以包括第一获取代码1010、第二获取代码1020、第一确定代码1030、第二确定代码1040、调整代码1050和输出代码1060。
78.第一获取代码1010可以被配置为获取要分析的视频的图像。
79.第二获取代码1020可以被配置为获取关于要分析的视频的复杂度的信息。关于视频复杂度的信息可以包括诸如空间文本复杂度、时间运动复杂度等信息。视频的复杂度可以由编码器评估，并包括在从编码器发送到解码器的视频码流中。也可以不需要经由解码器来执行关于要解码的视频的元数据的解码。此外，关于视频的复杂度的信息可以经由元数据或者sei消息来传递，解码器不需要对sei消息执行解码。
80.第一确定代码1030可被配置为确定应该应用基于参数的vqa的第一图像。第一图像可以是视频中的多个图像中的全部图像。例如，第一图像可以是图2中的图像a、a
′
、b、b
′
、c和c
′
。然而，一个或多个实施例不限于此，基于参数的vqa可以选择性地应用于多个图像中的一些图像。第一确定代码1030可以被配置为基于对第一图像应用基于参数的vqa来确定第一得分。
81.第二确定代码1040可被配置为确定应该应用基于参数的vqa的第二图像。确定第二图像可以使得基于样本的vqa选择性地应用于多个图像中的一个或多个图像。例如，第二图像可以是图2中第一组230a和第二组230b中的每一个中的图像a和a
′
。第二确定代码1040可被配置为基于对第二图像应用基于样本的vqa来确定第二得分。
82.调整代码1050可以被配置为根据关于视频的复杂度的信息来调整第一得分。
83.输出代码1060可以配置为基于确定的第一得分和确定的第二得分输出最终得分。
84.本公开的一些实施例已在上文中展示和描述。然而，本公开的一个或多个实施例不限于上述特定实施例。可以理解的是，在不脱离本公开的精神和范围的情况下，可以对其进行各种修改、替换、改进和等效。应当理解的是，此类修改、替换、改进及其等效物应属于本公开的保护范围，且不应独立于本分开的发明构思或前景进行解释。