一种基于深度强化学习的无参考超高清视频质量客观评价方法

技术特征：
1.一种基于深度强化学习的无参考超高清视频质量客观评价方法，其特征在于：该方法包括以下步骤：步骤1，建立超高清视频质量评价数据集；选取无失真的超高清视频作为参考视频，由参考视频经过压缩、加噪处理得到失真视频；对失真视频进行抽帧，并采用全参考方法计算抽帧后每帧的图像质量分数以及与每帧对应的视频质量分数；对每个失真视频进行下采样，得到低分辨率的帧图像序列；所有失真视频的低分辨率帧图像序列、每帧的图像质量分数、与每帧对应的视频质量分数一起构成超高清视频质量评价数据集；步骤2，训练基于深度学习的空域失真特征提取网络；用超高清视频质量评价数据集中的低分辨率帧图像序列和每帧的客观质量分数作为训练数据，对基于深度学习的空域失真特征提取网络进行训练；步骤3，训练基于深度强化学习的超高清视频质量评价网络；用超高清视频质量评价数据集中的低分辨率帧图像序列以及对应于每帧的视频质量分数作为训练数据，对基于深度强化学习的超高清视频质量评价网络进行训练；该超高清视频质量评价网络基于深度强化学习算法实现，深度强化学习算法的策略目标是根据逐帧输入的图像空域失真特征对网络预测的视频质量分数进行动态调整，使最终的视频质量分数能够准确表达超高清视频的实际质量；步骤4，对被测超高清视频进行无参考视频质量评价；将被测超高清视频进行抽帧和下采样处理，得到低分辨率的帧图像序列；将低分辨率的帧图像序列逐帧输入到训练好的空域失真特征提取网络，得到每一帧的空域失真特征；将空域失真特征输入到训练好的超高清视频质量评价网络，当最后一帧输入后得到的当前质量分数即为被测视频的质量分数。2.根据权利要求1所述的一种基于深度强化学习的无参考超高清视频质量客观评价方法，其特征在于：该方法采用基于深度学习的空域失真特征提取网络与基于深度强化学习的超高清视频质量评价网络相结合的方式，实现对超高清视质量进行客观评价；具体包括以下内容：(1)基于深度学习的空域失真特征提取网络；所述基于深度学习的空域失真特征提取网络是基于mobilenet的深度神经网络，由特征提取模块与质量回归模块构成；特征提取模块的输入为一个r、g、b三通道的彩色帧图像，输出为帧图像的空域失真特征；质量回归模块输入为帧图像的空域失真特征，输出为网络预测的帧图像的质量分数；(2)基于深度强化学习的超高清视频质量评价网络；所述基于深度强化学习的超高清视频质量评价网络是一种基于ddpg的深度强化学习网络，包括动作网络和估值网络，均由三个全连接层组成；动作网络负责输出最佳动作策略，估值网络负责输出策略价值，该策略价值用于评估并优化动作网络的策略，奖赏函数用于评估并优化估值网络的准确性；网络的状态空间即网络的输入是空域失真特征提取网络的特征提取模块输出的空域失真特征；动作空间是对应于每帧的视频质量分数的调整值范围，设定为[-1.5,1.5]；每输入一帧空域失真特征，网络就从动作空间中选择一个特定值作为视频质量分数的调整值，用于对当前质量分数进行调整；调整后的质量分数与超高清视
频质量评价数据集中的视频质量分数的差值作为奖赏函数，用于对基于深度强化学习的超高清视频质量评价网络进行训练，使其对质量分数的调整与估计更精确。3.根据权利要求1所述的一种基于深度强化学习的无参考超高清视频质量客观评价方法，其特征在于：建立超高清视频质量评价数据集，步骤如下：步骤1.1，选取无失真的超高清视频作为参考视频，参考视频不少于20段，每段时长不少于10秒，视频内容包括室内、室外、建筑物、人物、自然景物、体育比赛、文艺表演、大型群众活动典型场景；对每个参考视频进行压缩、加噪等处理，得到对应的失真视频；步骤1.2，对每个失真视频进行抽帧处理，抽帧率不低于1:10，得到帧图像序列；步骤1.3，利用全参考视频质量评价方法计算帧图像序列中每一帧的客观质量分数，并计算每一帧对应的视频质量分数，即该帧及该帧之前所有帧的客观质量分数的平均值；步骤1.4，对帧图像序列中的每一帧进行插值下采样处理，水平和垂直方向的采样率均为1:4，得到低分辨率的帧图像序列；步骤1.5，所有失真视频的低分辨率帧图像序列和每帧的客观质量分数、每帧对应的视频质量分数一起构成超高清视频质量评价数据集。4.根据权利要求1所述的一种基于深度强化学习的无参考超高清视频质量客观评价方法，其特征在于：训练基于深度学习的空域失真特征提取网络，训练步骤如下：步骤2.1，搭建基于mobilenet的空域失真特征提取网络；步骤2.2，将超高清视频质量评价数据集中的低分辨率帧图像序列逐帧输入到空域失真特征提取网络的特征提取模块，得到每帧图像的空域失真特征；步骤2.3，将每帧图像的空域失真特征输入到空域失真特征提取网络的质量回归模块，得到预测的质量分数；同时将超高清视频质量评价数据集中每帧图像的客观质量分数作为标签，对整个基于深度学习的空域失真特征提取网络进行训练。5.根据权利要求1所述的一种基于深度强化学习的无参考超高清视频质量客观评价方法，其特征在于，训练基于深度强化学习的超高清视频质量评价网络，训练步骤如下：步骤3.1，搭建基于ddpg的超高清视频质量评价网络；步骤3.2，将超高清视频质量评价数据集中的低分辨率帧图像序列逐帧输入到已训练好的空域失真特征提取网络，由其中的特征提取模块输出每帧图像的空域失真特征；步骤3.3，将所述每帧图像的空域失真特征以及与之对应的历史帧特征、历史质量分数逐帧输入到超高清视频质量评价网络；历史帧特征是指由当前帧之前的所有帧累积的空域失真特征，历史质量分数是指网络预测的截止到前一帧的视频质量分数；第一帧输入时，将历史帧特征设置为与第一帧特征相同，将历史质量分数即初始质量分数设置为1；超高清视频质量评价网络对当前帧的空域失真特征和历史帧特征进行融合，输出新的历史帧特征用于下一时刻的输入；同时还输出质量分数调整值，该质量分数调整值表示当前帧的失真情况对视频质量分数造成的变化幅度；步骤3.4，将输出的质量分数调整值累加到历史质量分数上，得到当前质量分数；计算当前质量分数与超高清视频质量评价数据集中与当前帧对应的视频质量分数的差值，并将该差值作为奖赏函数回传给深度强化学习网络进行训练；所述当前质量分数还将作为下一时刻的历史质量分数，与下一帧的空域失真特征及历史帧特征一起对基于ddpg的超高清视频质量评价网络进行训练；
步骤3.6，将所有失真视频的低分辨率帧图像序列都按照步骤3.2、3.3、3.4、3.5输入到网络，对基于ddpg的超高清视频质量评价网络进行训练。6.根据权利要求1所述的一种基于深度强化学习的无参考超高清视频质量客观评价方法，其特征在于，对被测超高清视频进行无参考视频质量评价，步骤如下：步骤4.1，按照步骤1.2对被测超高清视频进行抽帧，得到帧图像序列；步骤4.2，按照步骤1.4对帧图像序列中的每一帧进行下采样，得到低分辨率的帧图像序列；步骤4.3，将低分辨率帧图像序列逐帧输入到训练好的空域失真特征提取网络，得到每一帧的空域失真特征；步骤4.4，将低分辨率帧图像序列的各帧空域失真特征逐帧输入到训练好的超高清视频质量评价网络，当最后一帧输入后得到的当前质量分数即为整个视频的质量分数。

技术总结
本发明公开了一种基于深度强化学习的无参考超高清视频质量客观评价方法，被测超高清视频经过抽帧和下采样处理后，得到低分辨率的帧图像序列。将该帧图像序列逐帧送入基于深度学习的空域失真特征提取网络，得到与每一帧对应的空域失真特征。将上述特征逐帧送入基于深度强化学习的超高清视频质量评价网络，该网络根据输入的每帧空域失真特征对视频质量分数进行动态调整。当图像帧序列的最后一帧输入模型后，可得到整个视频的质量评价分数。本发明利用深度学习网络全面感知并提取超高清视频的空域失真特征，对超高清视频的失真信息进行全局融合并模拟人类视觉感知过程对视频质量进行评分。本发明性能优于传统的无参考视频质量客观评价方法。量客观评价方法。量客观评价方法。


技术研发人员：史萍 应泽峰 潘达
受保护的技术使用者：中国传媒大学
技术研发日：2022.03.12
技术公布日：2022/8/16