一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

环路滤波网络的训练方法、装置、计算机设备和存储介质与流程

2021-10-19 11:48:00 来源:中国专利 TAG:
环路滤波网络的训练方法、装置、计算机设备和存储介质与流程

本申请涉及视频编码技术领域,特别是涉及一种环路滤波网络的训练方法、装置、计算机设备和存储介质,和一种视频解码方法、装置、计算机设备和存储介质。

背景技术

随着深度学习技术的发展,近年来深度学习已经被引入到视频编解码标准提案以及相关产品中,基于深度学习的环路滤波(In-Loop Filter)技术被提出,其基本思路都是设计一个全卷积神经网络从解码图像中提取特征并进行滤波处理,替代或者帮助传统的滤波器,以提升视频编码的压缩性能,并恢复失真的解码图像,提升解码图像的质量。

但是,现有技术中,基于深度卷积神经网络的环路滤波网络带来性能提升的同时,也带来了巨大的计算成本和时间成本,限制其在实际视频编解码过程中的应用,而基于轻量级的卷积神经网络的环路滤波网络虽然在计算复杂度上有所改善,但考虑到时间复杂度,相较于传统的滤波器优势有限。



技术实现要素:

基于此,有必要针对上述技术问题,提供一种环路滤波网络的训练方法、装置、计算机设备和存储介质,和一种视频解码方法、装置、计算机设备和存储介质。

一种环路滤波网络的训练方法,所述方法包括:

获取原始图像以及与所述原始图像对应的解码图像,其中,所述解码图像为对所述原始图像进行编解码后所得到的图像;

将所述解码图像分别输入至预先构建的第一环路滤波网络以及第二环路滤波网络中,获取所述第一环路滤波网络提取的第一特征图,以及所述第二环路滤波网络提取的第二特征图,其中,所述第一环路滤波网络为已完成训练的深度神经网络模型,所述第二环路滤波网络为未完成训练的轻量级神经网络模型;

根据所述第一特征图和所述第二特征图,获取所述第一环路滤波网络与所述第二环路滤波网络间的迁移损失值;

获取所述第二环路滤波网络输出的滤波图像,根据所述第二环路滤波网络输出的滤波图像以及所述原始图像获取所述第二环路滤波网络的基础损失值;

根据所述迁移损失值以及所述基础损失值确定所述第二环路滤波网络的目标损失值,根据所述目标损失值对所述第二环路滤波网络的网络参数进行调整,直至达到收敛条件,得到目标环路滤波网络。

一种环路滤波网络的训练装置,所述装置包括:

图像获取模块,用于获取原始图像以及与所述原始图像对应的解码图像,其中,所述解码图像为对所述原始图像进行编解码后所得到的图像;

特征图获取模块,用于将所述解码图像分别输入至预先构建的第一环路滤波网络以及第二环路滤波网络中,获取所述第一环路滤波网络提取的第一特征图,以及所述第二环路滤波网络提取的第二特征图,其中,所述第一环路滤波网络为已完成训练的深度神经网络模型,所述第二环路滤波网络为未完成训练的轻量级神经网络模型;

迁移损失值获取模块,用于根据所述第一特征图和所述第二特征图,获取所述第一环路滤波网络与所述第二环路滤波网络间的迁移损失值;

基础损失值获取模块,用于获取所述第二环路滤波网络输出的滤波图像,根据所述第二环路滤波网络输出的滤波图像以及所述原始图像获取所述第二环路滤波网络的基础损失值;

网络训练模块,用于根据所述迁移损失值以及所述基础损失值确定所述第二环路滤波网络的目标损失值,根据所述目标损失值对所述第二环路滤波网络的网络参数进行调整,直至达到收敛条件,得到目标环路滤波网络。

一种视频解码方法,包括:

对目标视频编码后的视频数据进行解码,获得所述目标视频中所有帧的解码图像;

将各帧所述解码图像输入至第二环路滤波网络中,得到各帧所述解码图像对应的滤波图像;所述第二环路滤波网络为采用包括迁移损失值的损失函数进行训练的轻量级神经网络模型,所述迁移损失值表征第一环路滤波网络提取的第一特征图与所述第二环路滤波网络提取的第二特征图间的损失值,所述第一环路滤波网络为已完成训练的深度神经网络模型;

根据各帧所述滤波图像获取解码后的目标视频的视频数据。

一种视频解码装置,包括:

解码图像获取模块,用于对目标视频编码后的视频数据进行解码,获得所述目标视频中所有帧的解码图像;

滤波图像获取模块,用于将各帧所述解码图像输入至第二环路滤波网络中,得到各帧所述解码图像对应的滤波图像;所述第二环路滤波网络为采用包括迁移损失值的损失函数进行训练的轻量级神经网络模型,所述迁移损失值表征第一环路滤波网络提取的第一特征图与所述第二环路滤波网络提取的第二特征图间的损失值,所述第一环路滤波网络为已完成训练的深度神经网络模型;

视频解码模块,根据各帧所述滤波图像获取解码后的目标视频的视频数据。

一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:

获取原始图像以及与所述原始图像对应的解码图像,其中,所述解码图像为对所述原始图像进行编解码后所得到的图像;

将所述解码图像分别输入至预先构建的第一环路滤波网络以及第二环路滤波网络中,获取所述第一环路滤波网络提取的第一特征图,以及所述第二环路滤波网络提取的第二特征图,其中,所述第一环路滤波网络为已完成训练的深度神经网络模型,所述第二环路滤波网络为未完成训练的轻量级神经网络模型;

根据所述第一特征图和所述第二特征图,获取所述第一环路滤波网络与所述第二环路滤波网络间的迁移损失值;

获取所述第二环路滤波网络输出的滤波图像,根据所述第二环路滤波网络输出的滤波图像以及所述原始图像获取所述第二环路滤波网络的基础损失值;

根据所述迁移损失值以及所述基础损失值确定所述第二环路滤波网络的目标损失值,根据所述目标损失值对所述第二环路滤波网络的网络参数进行调整,直至达到收敛条件,得到目标环路滤波网络。

一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:

获取原始图像以及与所述原始图像对应的解码图像,其中,所述解码图像为对所述原始图像进行编解码后所得到的图像;

将所述解码图像分别输入至预先构建的第一环路滤波网络以及第二环路滤波网络中,获取所述第一环路滤波网络提取的第一特征图,以及所述第二环路滤波网络提取的第二特征图,其中,所述第一环路滤波网络为已完成训练的深度神经网络模型,所述第二环路滤波网络为未完成训练的轻量级神经网络模型;

根据所述第一特征图和所述第二特征图,获取所述第一环路滤波网络与所述第二环路滤波网络间的迁移损失值;

获取所述第二环路滤波网络输出的滤波图像,根据所述第二环路滤波网络输出的滤波图像以及所述原始图像获取所述第二环路滤波网络的基础损失值;

根据所述迁移损失值以及所述基础损失值确定所述第二环路滤波网络的目标损失值,根据所述目标损失值对所述第二环路滤波网络的网络参数进行调整,直至达到收敛条件,得到目标环路滤波网络。

一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:

对目标视频编码后的视频数据进行解码,获得所述目标视频中所有帧的解码图像;

将各帧所述解码图像输入至第二环路滤波网络中,得到各帧所述解码图像对应的滤波图像;所述第二环路滤波网络为采用包括迁移损失值的损失函数进行训练的轻量级神经网络模型,所述迁移损失值表征第一环路滤波网络提取的第一特征图与所述第二环路滤波网络提取的第二特征图间的损失值,所述第一环路滤波网络为已完成训练的深度神经网络模型;

根据各帧所述滤波图像获取解码后的目标视频的视频数据。

一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:

对目标视频编码后的视频数据进行解码,获得所述目标视频中所有帧的解码图像;

将各帧所述解码图像输入至第二环路滤波网络中,得到各帧所述解码图像对应的滤波图像;所述第二环路滤波网络为采用包括迁移损失值的损失函数进行训练的轻量级神经网络模型,所述迁移损失值表征第一环路滤波网络提取的第一特征图与所述第二环路滤波网络提取的第二特征图间的损失值,所述第一环路滤波网络为已完成训练的深度神经网络模型;

根据各帧所述滤波图像获取解码后的目标视频的视频数据。

上述环路滤波网络的训练方法、装置、计算机设备和存储介质,获取原始图像以及与原始图像对应的解码图像,将解码图像分别输入至预先构建的第一环路滤波网络以及第二环路滤波网络中,获取第一环路滤波网络提取的第一特征图以及第二环路滤波网络提取的第二特征图,其中,第一环路滤波网络为已完成训练的深度神经网络模型,第二环路滤波网络为未完成训练的轻量级神经网络模型;然后根据第一特征图和第二特征图,获取第一环路滤波网络与第二环路滤波网络间的迁移损失值;获取第二环路滤波网络输出的滤波图像,根据第二环路滤波网络输出的滤波图像以及原始图像获取第二环路滤波网络的基础损失值,并根据迁移损失值以及基础损失值确定第二环路滤波网络的目标损失值,最后根据目标损失值对第二环路滤波网络的网络参数进行调整,直至达到收敛条件,得到目标环路滤波网络,实现利用深度神经网络模型指导轻量级神经网络模型的训练,以提高基于轻量级神经网络模型的第二环路滤波网络的精度,使得最终获得的环路滤波网络在保持着较低的计算复杂度的同时,实现更高的编解码性能,相较于传统的滤波器,能够更好地提升视频编码的压缩性能以及恢复失真的解码图像。

附图说明

图1为一个实施例中环路滤波网络的训练方法的应用环境图;

图2为一个实施例中环路滤波网络的训练方法的流程示意图;

图3为一个实施例中根据第一特征图和第二特征图,获取第一环路滤波网络与第二环路滤波网络间的迁移损失值步骤的流程示意图;

图4为一个实施例中特征图分类模型的结构示意图;

图5为一个实施例中特征图分类模型的训练步骤的流程示意图;

图6A为一个实施例中获取第一环路滤波网络与第二环路滤波网络间的迁移损失值的方法步骤的流程示意图;

图6B为一个实施例中第一环路滤波网络和第二环路滤波网络的结构示意图;

图7为另一个实施例中环路滤波网络的训练方法的流程示意图;

图8为一个实施例中第一环路滤波网络的训练步骤的流程示意图;

图9为一个实施例中视频解码方法的流程示意图;

图10为一个实施例中环路滤波网络的训练装置的结构框图;

图11为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

近年来,传统视频编码的算法大多数还是基于块预测、变换、熵编码、块滤波这样的经典框架进行。较为代表性的视频编码标准有HEVC,VVC等国际标准。随着人工智能的发展,以卷积神经网络为代表的深度神经网络在计算机视觉、语音识别、自然语言处理等计算机领域都取得了令人瞩目的成功,利用深度学习提升视频编码技术的压缩性能被广泛的研究,为新的数字视频编码标准提供技术准备。

其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

环路滤波(In-Loop Filter)技术是一个在数字视频编码端和解码端都使用到滤波器。由于在对原始图像进行编解码的过程中,反向量并不能消除量化所造成的失真,因此解码要带有一定程度上的失真,例如块效应以及振铃效应。为了最大程度地恢复失真的解码图像,通常通过环路滤波器对解码图像进行滤波处理。环路滤波不仅能够去除编码过程中的块效应/振铃效应,提高重构视频的质量,还能够提高视频编码的压缩性能。

图1为一个实施例中环路滤波网络的训练方法的应用环境图。参照图1,该环路滤波网络的训练方法可应用于视频编解码框架。该视频编码系统包括终端102和服务器104。终端102和服务器104通过网络连接。终端102具体可以是台式终端或移动终端,移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

具体地,终端110获取待编码视频,并将待编码视频发送至服务器120。服务器120获取待编码视频中的每一帧原始图像后,对原始图像进行编解码,以获取各帧原始图像对应的解码图像。将解码图像分别输入至预先构建的第一环路滤波网络以及第二环路滤波网络中,获取第一环路滤波网络提取的第一特征图,以及第二环路滤波网络提取的第二特征图,其中,第一环路滤波网络为已完成训练的深度神经网络模型,第二环路滤波网络为未完成训练的轻量级神经网络模型;根据第一特征图和第二特征图,获取第一环路滤波网络与第二环路滤波网络间的迁移损失值;获取第二环路滤波网络输出的滤波图像,根据第二环路滤波网络输出的滤波图像以及原始图像获取第二环路滤波网络的基础损失值;根据迁移损失值以及基础损失值确定第二环路滤波网络的目标损失值,根据目标损失值对第二环路滤波网络的网络参数进行调整,直至达到收敛条件,得到目标环路滤波网络;在获取到目标环路滤波网络后,可以将该目标环路滤波网络放置于视频编解码框架中,直接替代或结合传统滤波器,在不增加编解码复杂度的情况下实现更高的编解码性能,以提升解码图像的质量。

在一个实施例中,如图2所示,提供了一种环路滤波网络的训练方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:

步骤S202,获取原始图像以及与原始图像对应的解码图像,其中,解码图像为对原始图像进行编解码后所得到的图像。

其中,原始图像可以是待编码视频中未进行视频编码的图像,待编码视频可以包括但不限于游戏视频、直播视频、短视频等。解码图像是指先对原始图像进行编码后得到的编码图像,然后对编码图像进行解码得到的图像,其中,编码过程可以包括对原始图像进行量化、变换等处理,获取到编码后的图像,而解码过程可以包括对编码后的图像数据进行反变量、反变换、反重建等处理,以获取重建的解码图像。可选的,原始图像可以是YUV格式的图像、RGB格式的图像等,在此不作限定。

步骤S204,将解码图像分别输入至预先构建的第一环路滤波网络以及第二环路滤波网络中,获取第一环路滤波网络提取的第一特征图,以及第二环路滤波网络提取的第二特征图,其中,第一环路滤波网络为已完成训练的深度神经网络模型,第二环路滤波网络为未完成训练的轻量级神经网络模型。

其中,第一环路滤波网络为已完成训练的神经网络模型,第二环路滤波器可以是已进行预训练的神经网络模型,也可以是未进行训练的神经网络模型,其中,对第二环路滤波器进行预训练可以加快后续迁移学习的训练以及迁移损失值的收敛;第一环路滤波网络以及第二环路滤波网络均用于对解码图像的图像数据进行滤波以获取更接近原始图像的滤波图像,它们可以放置于传统编解码框架中,直接替代或结合传统滤波器以提升解码图像的质量。具体地,第一环路滤波网络以及第二环路滤波网络的网络结构可以采用CNN(Convolutioanl Neural Network,卷积神经网络),例如ResNet(Residual Neural Network,残差网络)。

在一个实施例中,第一环路滤波网络以及第二环路滤波网络具有相同的基础网络结构。

进一步地,在一个实施例中,在实际应用中,第一环路滤波网络作为教师模型,可以是参数量较大的、高复杂的、高精度深度神经网络模型,第二环路滤波网络作为学生模型,可以是参数量较小的、低复杂度的轻量级神经网络模型,例如,第一环路滤波网络可以是包括20个残差块(Residual block)的残差网络,第二环路滤波网络可以是包括8个残差块的残差网络。

其中,第一环路滤波网络以及第二环路滤波网络中的残差块或卷积层可用于对输入的解码图像提取不同层次的特征信息,得到特征图(Feature Map),从而后续第一环路滤波网络以及第二环路滤波网络可根据特征图输出与解码图像尺寸一样的滤波图像。其中,第一特征图为第一环路滤波网络中的残差块或卷积层提取到的解码图像的特征信息,第二特征图为第二环路滤波网络中的残差块或卷积层提取到的解码图像的特征信息,可以理解的是,在第二环路滤波网络训练完成前,第一环路滤波网络以及第二环路滤波网络所提取的特征信息是不同的。

具体地,服务器在获取到解码图像后,将解码图像输入分别输入至第一环路滤波网络以及第二环路滤波网络,从第一环路滤波网络中获取第一环路滤波网络提取的第一特征图,并从第二环路滤波网络中获取第二环路滤波网络提取的第二特征图。

步骤S206,根据第一特征图和第二特征图,获取第一环路滤波网络与第二环路滤波网络间的迁移损失值。

其中,服务器在获取到第一环路滤波网络提取的第一特征图以及第二环路滤波网络提取的第二特征图后,根据第一特征图以及第二特征图,计算第一环路滤波网络与第二环路滤波网络间的迁移损失值。具体地,可以是计算第一特征图以及第二特征图间的差异度,然后将该差异度值确定为第一环路滤波网络与第二环路滤波网络间的迁移损失值。后续在训练第二环路滤波网络时加入考虑图像特征间的差异,使得第二环路滤波网络所提取到的特征图上更接近第一环路滤波网络所提取到的特征图,即使得学生模型更加接近教师模型。

步骤S208,获取第二环路滤波网络输出的滤波图像,根据第二环路滤波网络输出的滤波图像以及原始图像获取第二环路滤波网络的基础损失值。

其中,基础损失值用于表征第二环路滤波网络输出的滤波图像与原始图像间的差异度,例如在各个像素点上像素值的差异。服务器将解码图像输入至第二环路滤波网络后,获取第二环路滤波网络输出的滤波图像,并根据该滤波图像以及对应的原始图像,计算第二环路滤波网络的基础损失值。具体地,可以是计算滤波图像与原始图像在各个像素点上像素值的差值,然后根据各个像素点上的差值计算基础损失值。

可选的,在一个实施例中,基础损失值包括像素损失值,像素损失值用于表征滤波图像与原始图像在各像素点上的像素值的差值。

步骤S210,根据迁移损失值以及基础损失值确定第二环路滤波网络的目标损失值,根据目标损失值对第二环路滤波网络的网络参数进行调整,直至达到收敛条件,得到目标环路滤波网络。

具体地,在得到第一环路滤波网络与第二环路滤波网络间的迁移损失值和第二环路滤波网络的基础损失值后,根据迁移损失值和基础损失值确定用于训练第二环路滤波网络的目标损失值,具体可以是将迁移损失值和基础损失值的和值确定为目标损失值,或者可以是将迁移损失值和基础损失值进行加权计算,得到目标损失值。在计算得到用于训练第二环路滤波网络的目标损失值后,根据目标损失值对第二环路滤波网络的模型参数进行调整,直至满足收敛条件,得到目标环路滤波网络。其中,收敛条件可根据实际需求进行设置或者调整,例如,可以在设置学习率以及Epoch后,采用梯度下降法对第二环路滤波网络的模型参数进行调整,当目标损失值趋于平稳并没有较大的变化时,则可认为满足收敛条件。

可以理解的是,目标环路滤波网络是一个轻量级的神经网络模型,在获取到目标环路滤波网络后,可以将该目标环路滤波网络放置于传统视频编解码框架中,直接替代或结合传统滤波器,在不增加编解码复杂度的情况下实现更高的编解码性能,以提升解码图像的质量。

上述环路滤波网络的训练方法中,获取原始图像以及与原始图像对应的解码图像,将解码图像分别输入至预先构建的第一环路滤波网络以及第二环路滤波网络中,获取第一环路滤波网络提取的第一特征图以及第二环路滤波网络提取的第二特征图,其中,第一环路滤波网络为已完成训练的深度神经网络模型,第二环路滤波网络为未完成训练的轻量级神经网络模型;然后根据第一特征图和第二特征图,获取第一环路滤波网络与第二环路滤波网络间的迁移损失值;获取第二环路滤波网络输出的滤波图像,根据第二环路滤波网络输出的滤波图像以及原始图像获取第二环路滤波网络的基础损失值,并根据迁移损失值以及基础损失值确定第二环路滤波网络的目标损失值,最后根据目标损失值对第二环路滤波网络的网络参数进行调整,直至达到收敛条件,得到目标环路滤波网络,实现利用深度神经网络模型指导轻量级神经网络模型的训练,以提高基于轻量级神经网络模型的第二环路滤波网络的精度,使得最终获得的环路滤波网络在保持着较低的计算复杂度的同时,实现提升编解码性能,提升视频编码的压缩性能,且能最大程度地恢复失真的解码图像。

在一个实施例中,如图3所示,根据第一特征图和第二特征图,获取第一环路滤波网络与第二环路滤波网络间的迁移损失值的步骤,包括:

步骤S302,将第一特征图以及第二特征图分别输入至预先构建的特征图分类模型中,得到第一特征图的第一卷积特征向量,以及第二特征图的第二卷积特征向量。

其中,特征图分类模型用于区分所输入的特征图为第一环路滤波网络提取到的第一特征图还是第二环路滤波网络提取到的第二特征图。这里的特征图分类模型是已完成训练的网络模型,可直接用来计算所输入的特征图为不同环路滤波网络所提取到的特征图的置信度,从而根据置信度对特征图进行分类。其中,特征图分类模型可以采用CNN网络,例如VGG网络、AlexNet网络等网络模型。特征图分类模型可包括多层卷积层,其中卷积层用于提取特征图(例如第一特征图或第二特征图)的卷积特征,该卷积特征用于判断所输入的特征图像为第一特征图还是第二特征图,进一步地,特征图分类模型还可包括全连接层(Fully Connected Layers),用于对卷积特征进行计算,进而获取所输入的特征图为第一特征图的置信度,以及所输入的特征图为第二特征图的置信度,实现对特征图进行分类。

其中,服务器从第一环路滤波网络中获取第一特征图,然后将第一特征图输入至预先构建好的用于对解码图像特征向量进行分类的特征图分类模型中,以获取特征图分类模型中卷积层输出的第一卷积特征向量。同样的,从第二环路滤波网络中获取第二特征图,然后将第二特征图输入至预先构建好的用于对解码图像特征向量进行分类的特征图分类模型中,以获取特征图分类模型中卷积层输出的第二卷积特征向量。

步骤S304,根据第一卷积特征向量以及第二卷积特征向量,确定第一特征图和第二特征图间的特征距离值。

其中,服务器在获取到第一特征图的第一卷积特征向量以及第二特征图的第二卷积特征向量后,计算第一卷积特征向量以及第二卷积特征向量间的差异度,从而将该差异度确定为第一特征图和第二特征图间的特征距离值。具体地,在一个实施例中,可以根据以下公式(1)计算第一特征图和第二特征图间的特征距离值:

其中,D(fT,fS)表示第一特征图和第二特征图间的特征距离值,表示第一特征图的第一卷积特征向量,表示第二特征图的第二卷积特征向量。

步骤S306,将特征距离值确定为第一环路滤波网络与第二环路滤波网络间的迁移损失值。

其中,服务器在获取到第一特征图和第二特征图间的特征距离值后,将该特征距离值确定为第一环路滤波网络与第二环路滤波网络间的迁移损失值。

本实施例中,迁移损失值的目的是衡量第一环路滤波网络(教师网络)和第二环路滤波网络(学生网络)所提取的特征信息间的差距,由于环路滤波网络是一个对像素预测精度要求较高的生成式任务,而非判别型的分类任务,对特征信息的像素精度过于严格的限制并不会提升第二环路滤波网络(学生网络) 的精度,甚至会起反作用,因而,迁移学习的关键是选取合适的迁移损失函数来衡量第一环路滤波网络(教师网络)和第二环路滤波网络(学生网络)所提取的特征信息间的差距,通过训练一个特征图分类模型用于学习第二环路滤波网络所提取的特征图与第一环路滤波网络所提取的特征图对应的卷积特征向量间的差距,以获取更合适的迁移损失函数作为衡量标准,进而提高第二环路滤波网络(学生网络)的精度。

在一个实施例中,特征图分类模型包括多层卷积层的二分类模型。

进一步地,在一个实施例中,第一卷积特征向量为特征图分类模型中第j 层卷积层输出的卷积特征向量;第二卷积特征向量为特征图分类模型中第j层卷积层输出的卷积特征向量;其中,j为小于或等于特征图分类模型的卷积层层数的正整数。

例如,特征图分类模型包括N层卷积层,其中N为大于1的正整数;第一卷积特征向量为特征图分类模型中第j层卷积层输出的卷积特征向量;第二卷积特征向量为特征图分类模型中第j层卷积层输出的卷积特征向量;其中,j为小于等于N的正整数。

其中,j的取值可以根据实际情况去调整,理论上,j的取值越大,通过特征图分类模型中第j层卷积层获取的第一卷积特征向量以及第二卷积特征向量所确定到特征距离值,越能精确地衡量第一环路滤波网络(教师网络)和第二环路滤波网络(学生网络)在特征信息提取上的差距。

具体地,将第一特征图以及第二特征图分别输入至包括N层卷积层特征图分类模型中,以获取卷积层特征图分类模型第j层卷积层输出的第一特征图的第一卷积特征向量,以及第二特征图的第二卷积特征向量,然后第j层卷积层所输出的第一特征图的第一卷积特征向量以及第j层卷积层所输出的第二特征图的第二卷积特征向量,确定第一特征图和第二特征图间的特征距离值,以获取第一环路滤波网络与第二环路滤波网络间的迁移损失值。进一步地,在一个实施例中,可以根据以下公式(2)计算第一特征图和第二特征图间的特征距离值:

其中,D(fT,fS)表示第一特征图和第二特征图间的特征距离值,表示特征图分类模型中第j层卷积层输出的第一特征图的第一卷积特征向量,表示特征图分类模型中第j层卷积层输出的第二特征图的第二卷积特征向量。

例如,如图4所示,图4为一个实施例中特征图分类模型的结构示意图。图中,特征图分类模型采用VGG19网络(图中仅画出部分网络结构),其中,卷积层用于提取特征图的卷积特征向量,该卷积特征向量用于判断所输入的特征图像为第一特征图还是第二特征图,全连接层用于根据卷积特征向量对所输入的特征图进行分类,以获取所输入的特征图的类别(是第一环路滤波网络所提取的第一特征图还是第二环路滤波网络所提取的第二特征图),服务器将第一特征图以及第二特征图分别输入至该采用VGG19网络的特征图分类模型后,获取第12层卷积层输出的第一特征图的卷积特征向量以及第二特征图的卷积特征向量,以第12层卷积层输出的卷积特征向量计算第一环路滤波网络与第二环路滤波网络间的迁移损失值。

在一个实施例中,如图5所示,特征图分类模型中的训练步骤,包括:

步骤S502,根据第一特征图以及第二特征图,获取训练样本数据;训练样本数据包括样本特征图以及标准标识标签。

步骤S504,将样本特征图输入至特征图分类模型中,得到样本特征图对应的预测标识标签。

步骤S506,根据预测标识标签以及标准标识标签,获取特征图分类模型的损失值。

步骤S508,根据特征图分类模型的损失值对特征图分类模型的网络参数进行调整,直至达到收敛条件,得到训练后的特征图分类模型。

其中,服务器在获取到第一环路滤波网络提取的第一特征图以及第二环路滤波网络提取的第二特征图后,根据第一特征图或第二特征图生成样本特征图,并对样本特征图打上标准标识标签,以获取训练样本数据;其中,标准标识标签用于标识样本特征图是第一环路滤波网络提取的第一特征图还是第二环路滤波网络提取的第二特征图,例如,当样本特征图为第一环路滤波网络提取的第一特征图时,标准标识标签标识为1,当样本特征图为第二环路滤波网络提取的第二特征图时,标准标识标签标识为0,又例如,当样本特征图为第一环路滤波网络提取的第一特征图时,标准标识标签标识为0,当样本特征图为第二环路滤波网络提取的第二特征图时,标准标识标签标识为1,在此不对标准标识标签的形式进行限定。

进一步地,在获取到训练样本数据后,将训练样本数据中的样本特征图输入至特征图分类模型中,特征图分类模型包括但不限于卷积层以及全连接层,其中卷积层用于提取样本特征图的卷积特征,全连接层用于对样本特征图的卷积特征进行计算以获取样本特征图所属的类别,以获取样本特征图对应的预测标识标签。在获取到样本特征图对应的预测标识标签后,服务器根据预测标识标签以及标准标识标签,计算特征图分类模型的损失值,从而根据特征图分类模型的损失值对特征图分类模型的网络参数进行调整,直至达到收敛条件。其中,收敛条件可根据实际需求进行设置或者调整,例如,采用梯度下降法对特征图分类模型的模型参数进行调整,当目标损失值趋于平稳并没有较大的变化时,则可认为满足收敛条件。

本实施例中,在获取到第一环路滤波网络所提取的第一特征图以及第二环路滤波网络所提取的第二特征图,先利用第一特征图以及第二特征图对特征图分类模型进行训练,使得特征图分类模型能够准确区分第一特征以及第二特征图,后续利用特征图分类模型中的卷积层提取第一特征图的第一卷积特征向量以及提取第二特征图的第二卷积特征向量,能反映第一环路滤波网络和第二环路滤波网络之间的差距。

在一个实施例中,如图6A所示,第一环路滤波网络以及第二环路滤波网分别包括第一残差块集合和第二残差块集合,第一特征图包括多个第一单元特征图,第二特征图包括多个第二单元特征图;获取第一环路滤波网络与第二环路滤波网络间的迁移损失值的方法,包括:

步骤S602,将第一残差块集合和第二残差块集合划分为相同数量的残差块子集,得到第一环路滤波网络的多个第一残差块子集,以及第二环路滤波网络的多个第二残差块子集,其中,各第一残差块子集与各第二残差块子集按划分次序一一对应,形成残差块子集对。

其中,第一环路滤波网络包含ND个残差块,可以理解的是该ND个残差块为第一残差块集合,第二环路滤波网络包含NS个残差块,可以理解的是该NS个残差块为第二残差块集合,其中,ND以及NS均为大于1的正整数。服务器将第一环路滤波网络中的第一残差块集合以及第二环路滤波网中的第二残差块集合分别划分为相同数量K的残差块子集,以获得第一环路滤波网络的多个第一残差块子集,以及第二环路滤波网络的多个第二残差块子集。可以理解的是,在对第一环路滤波网络的第一残差块集合进行划分时,是按照第一残差块集合中残差块的连接顺序,每次依照连接顺序把一定数量的残差块划分为一个第一残差块子集;同样的,对于第二环路滤波网络的第二残差块集合,也是按照第二残差块集合中残差块的连接顺序,每次依照连接顺序把一定数量的残差块划分为一个第二残差块子集,而且,第一环路滤波网络中的各个第一残差块子集,与第二环路滤波网络中的各个第二残差块子集,按照划分的次序一一对应。

进一步地,在一个实施例中,第一环路滤波网络的每一个第一残差块子集可以均包含MD个残差块,第二环路滤波网络的每一个第二残差块子集可以均包含MS个残差块,其中,MD以及MS均为大于1的正整数,且ND=K·MD, NS=K·MS。

以第一环路滤波网络可以是包括20个残差块的残差网络,第二环路滤波网络可以是包括8个残差块的残差网络为例,对本实施例进行进一步说明。如图 6B所示,图中示出了第一环路滤波网络的第一残差块集合以及第二环路滤波网络的第二残差块集合,第一环路滤波网络的第一残差块集合包括20个残差块,将第一环路滤波网络中的第1个残差块到第5个残差块划分为第1组第一残差块子集,将第一环路滤波网络中的第6个残差块到第10个残差块划分为第2组第一残差块子集,将第一环路滤波网络中的第11个残差块到第15个残差块划分为第3组第一残差块子集,将第一环路滤波网络中的第16个残差块到第20 个残差块划分为第4组第一残差块子集,由此,将第一环路滤波网络划分为4 组第一残差块子集;同样的,第二环路滤波网络的第二残差块集合包括8个残差块,将第二环路滤波网络中的第1个残差块和第2个残差块划分为第1组第二残差块子集,将第二环路滤波网络中的第3个残差块和第4个残差块划分为第2组第二残差块子集,将第二环路滤波网络中的第5个残差块和第6个残差块划分为第3组第二残差块子集,将第二环路滤波网络中的第7个残差块和第8 个残差块划分为第4组第二残差块子集,由此,将第二环路滤波网络划分为4 组第二残差块子集。

其中,第一环路滤波网络中第1组第一残差块子集与第二环路滤波网络中第1组第二残差块子集相对应,第一环路滤波网络中第2组第一残差块子集与第二环路滤波网络中第2组第二残差块子集相对应,依次类推。

步骤S604,将解码图像分别输入至预先构建的第一环路滤波网络以及第二环路滤波网络中,获取第一环路滤波网络中的各个第一残差块子集输出的第一单元特征图,以及第二环路滤波网络中的各个第二残差块子集输出的第二单元特征图。

其中,在将第一环路滤波网络以及第二环路滤波网中的残差块划分为相同数量的残差块子集后,服务器将解码图像分别输入至预先构建的第一环路滤波网络以及第二环路滤波网络中,从第一环路滤波网络中获取各个第一残差块子集所输出的第一单元特征图并从第二环路滤波网络中获取各个第二残差块子集所输出的第二单元特征图

步骤S606,根据各残差块子集对中第一残差块子集输出的第一单元特征图以及对应第二残差块子集输出的第二单元特征图,计算各残差块子集对的迁移损失子值。

其中,迁移损失子值是用于衡量划分后的第一残差块子集以及对应第二残差块子集所输出的特征信息间的差距。在将第一环路滤波网络以及第二环路滤波网中的残差块划分为相同数量的残差块子集后,由于第一环路滤波网络中的各个第一残差块子集与第二环路滤波网络中的各个第二残差块子集,按照划分次序一一对应。因此,服务器可根据相对应的第一残差块子集所输出的第一单元特征图以及第二残差块子集所输出的第二单元特征图,计算该第一残差块子集与第二残差块子集间(即残差块子集对)的迁移损失子值。

其中,计算第一残差块子集与对应第二残差块子集间(即残差块子集对) 的迁移损失子值,具体可以是计算残差块子集对中第一残差块子集所输出的第一单元特征图以及对应第二残差块子集所输出的第二单元特征图间的差异度,从而将该差异度确定为第一残差块子集与对应第二残差块子集间的迁移损失子值。进一步地,可以利用均方误差计算第一残差块子集所输出的第一单元特征图以及对应第二残差块子集所输出的第二单元特征图间的差异度。

具体地,可以通过下述公式(3)表示各第一残差块子集与对应第二残差块子集间(即残差块子集对)的迁移损失子值:

其中,IIN表示输入的解码图像,表示第一环路滤波网络中第i个第一残差块子集输出的第一单元特征图,表示第二环路滤波网络中第i个第二残差块子集输出的第二单元特征图,D(·)表示与间的差异度。

步骤S608,根据各残差块子集对的迁移损失子值,获取第一环路滤波网络与第二环路滤波网络间的迁移损失值。

具体地,根据各残差块子集对的迁移损失子值,获取第一环路滤波网络与第二环路滤波网络间的迁移损失值,可以是将各残差块子集对的迁移损失子值进行相加,所得和值即为第一环路滤波网络与第二环路滤波网络间的迁移损失值;还可以是将各残差块子集对的迁移损失子值进行加权平均,所得的加权平均值即为第一环路滤波网络与第二环路滤波网络间的迁移损失值。

具体地,在一个实施例中,可以通过下述公式(4)获取第一环路滤波网络与第二环路滤波网络间的迁移损失值:

其中,IIN表示输入的解码图像,表示第一环路滤波网络中第i个第一残差块子集输出的第一单元特征图,表示第二环路滤波网络中第i个第二残差块子集输出的第二单元特征图,D(·)表示与间的差异度。

以如图6B所示的第一环路滤波网络以及第二环路滤波网络为例,在将第一环路滤波网络中的第一残差块集合划分为4组第一残差块子集、将第二环路滤波网络中的第二残差块集合划分为4组第二残差块子集后,第一环路滤波网络中的各个第一残差块子集与第二环路滤波网络中的各个第二残差块子集按照划分次序一一对应,例如,第一环路滤波网络中第1组第一残差块子集与第二环路滤波网络中第1组第二残差块子集相对应,第一环路滤波网络中第2组第一残差块子集与第二环路滤波网络中第2组第二残差块子集相对应。因此,对于第一环路滤波网络中第1组第一残差块子集与第二环路滤波网络中第1组第二残差块子集,服务器可根据第1组第一残差块子集所输出的第一单元特征图以及第1组第二残差块子集所输出的第二单元特征图计算第一环路滤波网络中第1组第一残差块子集与第二环路滤波网络中第1组第二残差块子集间的迁移损失子值对于第一环路滤波网络中第2组第一残差块子集与第二环路滤波网络中第2组第二残差块子集,服务器可根据第2 组第一残差块子集所输出的第一单元特征图以及第2组第二残差块子集所输出的第二单元特征图计算第一环路滤波网络中第2组第一残差块子集与第二环路滤波网络中第2组第二残差块子集间的迁移损失子值依次类推,对于第一环路滤波网络与第二环路滤波网络中相对应的其他组别的残差块子集,也通过相同的方法计算迁移损失子值。在计算得到各个第一残差块子集与对应第二残差块子集间的迁移损失子值后,服务器将各所述第一残差块子集与对应第二残差块子集间的迁移损失子值进行相加,并将所得的和值确定为第一环路滤波网络与第二环路滤波网络间的迁移损失值。

进一步地,在一个实施例中,如图7所示,环路滤波网络的训练方法,包括:

步骤S702,获取原始图像以及与原始图像对应的解码图像,其中,解码图像为对原始图像进行编解码后所得到的图像。

步骤S704,将第一残差块集合和第二残差块集合分别划分为相同数量的残差块子集,得到第一环路滤波网络的多个第一残差块子集,以及第二环路滤波网络的多个第二残差块子集,其中,各第一残差块子集与各第二残差块子集按划分次序一一对应,形成残差块子集对。

其中,第一环路滤波网络为已完成训练的神经网络模型,第二环路滤波器为未完成训练的神经网络模型。在一个实施例中,在实际应用中,第一环路滤波网络作为教师模型,可以是参数量较大的、高复杂的、高精度深度神经网络模型,第二环路滤波网络作为学生模型,可以是参数量较小的、低复杂度的轻量级神经网络模型,例如,如图6B所示,第一环路滤波网络可以是包括20个残差块的残差网络,第二环路滤波网络可以是包括8个残差块的残差网络。

步骤S706,将解码图像分别输入至预先构建的第一环路滤波网络以及第二环路滤波网络中,获取第一环路滤波网络中的各个第一残差块子集输出的第一单元特征图,以及第二环路滤波网络中的各个第二残差块子集输出的第二单元特征图。

步骤S708,将各残差块子集对中的第一残差块子集输出的第一单元特征图以及对应第二残差块子集输出的第二单元特征图,分别输入至与各残差块子集对对应的特征图分类模型中,得到各残差块子集对中第一单元特征图的卷积特征向量与对应第二单元特征图的卷积特征向量。

其中,由于第一环路滤波网络中的各个第一残差块子集与第二环路滤波网络中的各个第二残差块子集,按照划分次序一一对应。因此,在获取到第一环路滤波网络中的各个第一残差块子集输出的第一单元特征图,以及第二环路滤波网络中的各个第二残差块子集输出的第二单元特征图后,对于任意一个第一残差块子集以及其对应的第二残差块子集,将该第一残差块子集所输出的第一单元特征图及其对应的第二残差块子集所输出的第二单元特征图,分别输入至特征图分类模型中,以获取该第一残差块子集所输的第一单元特征图的卷积特征向量,以及与第二残差块子集对应的第二残差块子集所输出的第二单元特征图的卷积特征向量。

其中,第一残差块子集以及其对应的第二残差块子集所输出的单元特征图输入至同一个特征图分类模型,该特征图分类模型预先使用该第一残差块子集所输出的第一单元特征图及其对应的第二残差块子集所输出的第二单元特征图进行模型训练,使得该特征图分类模型可以准确区分所输入的单元特征图是第一残差块子集所输出的第一单元特征图,还是第二残差块子集所输出的第二单元特征图。而不同的第一残差块子集以及其对应的第二残差块子集所输出的单元特征图,输入到不同的特征图分类模型。

步骤S710,根据各残差块子集对中的第一残差块子集输出的第一单元特征图的卷积特征向量,与对应第二残差块子集输出的第二单元特征图的卷积特征向量,计算各残差块子集对中第二残差块子集输出的第一特征图与对应第二残差块子集输出的第二特征图间的特征距离值。

其中,对于任意一个第一残差块子集以及其对应的第二残差块子集,在获取到该第一残差块子集所输出的第一单元特征图的卷积特征向量,以及与该第一残差块子集对应的第二残差块子集所输出的第二单元特征图的卷积特征向量后,服务器计算该第一单元特征图的卷积特征向量以及该第二单元特征图的卷积特征向量间的差异度,从而将该差异度确定为该第一残差块子集的第一单元特征图与对应第二残差块子集的第二单元特征图间的特征距离值。

具体地,可以是根据以下公式(5)计算第一残差块子集的第一单元特征图与对应第二残差块子集的第二单元特征图间的特征距离值:

其中,表示第一环路滤波网络中第i个第一残差块子集所输出的第一单元特征图与第二环路滤波网络中第i个第二残差块子集所输出的第二单元特征图的特征距离值,表示第一环路滤波网络中第i个第一残差块子集所输出的第一单元特征图卷积特征向量,表示第二环路滤波网络中第i个第二残差块子集所输出的第二单元特征图的第二卷积特征向量。

以如图6B所示的第一环路滤波网络以及第二环路滤波网络为例,在将第一环路滤波网络划分为4组第一残差块子集、将第二环路滤波网络划分为4组第二残差块子集后,第一环路滤波网络中的各个第一残差块子集与第二环路滤波网络中的各个第二残差块子集按照划分次序一一对应,例如,第一环路滤波网络中第1组第一残差块子集与第二环路滤波网络中第1组第二残差块子集相对应,形成残差块子集对;第一环路滤波网络中第2组第一残差块子集与第二环路滤波网络中第2组第二残差块子集相对应,形成残差块子集对。

因此,对于第一环路滤波网络中第1组第一残差块子集与第二环路滤波网络中第1组第二残差块子集,服务器可将第1组第一残差块子集所输出的第一单元特征图以及第1组第二残差块子集所输出的第二单元特征图分别输入至第一特征图分类模型中,以获取第1组第一残差块子集所输出到第一单元特征图的卷积特征向量以及第1组第二残差块子集所输出到的第二单元特征图的卷积特征向量然后利用上述公式(5)计算第1组第一残差块子集的第一单元特征图与对应的第1组第二残差块子集的第二单元特征图间的特征距离值。

对于第一环路滤波网络中第2组第一残差块子集与第二环路滤波网络中第2 组第二残差块子集,服务器可将第2组第一残差块子集所输出的第一单元特征图以及第2组第二残差块子集所输出的第二单元特征图分别输入至第二特征图分类模型中,以获取第2组第一残差块子集所输出到第一单元特征图的卷积特征向量以及第2组第二残差块子集所输出到的第二单元特征图的卷积特征向量然后利用公式上述公式(5)计算第2组第一残差块子集的第一单元特征图与对应的第2组第二残差块子集的第二单元特征图间的特征距离值。依次类推,对于第一环路滤波网络与第二环路滤波网络中相对应的其他组别的残差块子集,也通过相同的方法计算特征距离值。可以理解的是,图中第一特征图分类模型、第二特征图分类模型、第三特征图分类模型以及第四特征图分类模型为以不同训练数据训练得到的特征图分类模型;其中,第一特征图分类模型是利用第1组第一残差块子集所输出到第一单元特征图以及第1组第二残差块子集所输出的第二单元特征图,作为训练数据进行训练的特征图分类模型;第二特征图分类模型是利用第2组第一残差块子集所输出到第一单元特征图以及第2组第二残差块子集所输出的第二单元特征图,作为训练数据进行训练的特征图分类模型;第三特征图分类模型是利用第3组第一残差块子集所输出到第一单元特征图以及第3组第二残差块子集所输出的第二单元特征图,作为训练数据进行训练的特征图分类模型;第四特征图分类模型是利用第4组第一残差块子集所输出到第一单元特征图以及第4 组第二残差块子集所输出的第二单元特征图,作为训练数据进行训练的特征图分类模型;

步骤S712,将各残差块子集对中第一残差块子集输出的第一特征图与对应第二残差块子集输出的第二特征图间的特征距离值,确定为各残差块子集对的迁移损失子值。

步骤S714,根据各残差块子集对的迁移损失子值,获取第一环路滤波网络与第二环路滤波网络间的迁移损失值。

其中,在计算得到各个残差块子集对中,第一残差块子集的第一特征图以及与第一残差块子集相对应的第二残差块子集的第二特征图间的特征距离值后,将该特征距离值确定为残差块子集对的迁移损失子值,然后对各个残差块子集对的迁移损失子值进行求和,并将各个迁移损失子值的和值确定为第一环路滤波网络与第二环路滤波网络间的迁移损失值。

具体地,在一个实施例中,可以通过下述公式(6)获取第一环路滤波网络与第二环路滤波网络间的迁移损失值:

其中,IIN表示输入的解码图像,表示第一环路滤波网络中第i个第一残差块子集从解码图像中输出到的第一单元特征图,表示第二环路滤波网络中第i个第二残差块子集从解码图像中输出到的第二单元特征图,D(·)表示与间的差异度。

步骤S716,获取第二环路滤波网络输出的滤波图像,根据第二环路滤波网络输出的滤波图像以及原始图像获取第二环路滤波网络的基础损失值。

步骤S718,根据迁移损失值以及基础损失值确定第二环路滤波网络的目标损失值,根据目标损失值对第二环路滤波网络的网络参数进行调整,直至达到收敛条件,得到目标环路滤波网络。

其中,在得到第一环路滤波网络与第二环路滤波网络间的迁移损失值和第二环路滤波网络的基础损失值后,可以计算迁移损失值和基础损失值的和值,并将该和值确定为用于训练第二环路滤波网络的目标损失值,也可以对迁移损失值和基础损失值进行加权计算,得到的加权平均值确定为用于训练第二环路滤波网络的目标损失值。在计算得到用于训练第二环路滤波网络的目标损失值后,根据目标损失值对第二环路滤波网络的模型参数进行调整,直至满足收敛条件。

具体地,在一个实施例中,第二环路滤波网络的目标损失值可根据下述公式进行计算:

L=Lorg LT

其中,L表示用于训练第二环路滤波网络的目标损失值,Lorg表示第二环路滤波网络的基础损失值,LT表示第一环路滤波网络与第二环路滤波网络间的迁移损失值。

在一个实施例中,如图8所示,所述第一环路滤波网络的训练步骤,包括:

步骤S802,将解码样本图像输入至第一环路滤波网络中,得到第一环路滤波网络输出的滤波图像;

步骤S804,根据第一环路滤波网络输出的滤波图像以及原始样本图像,获取第一环路滤波网络的损失值;

步骤S806,根据第一环路滤波网络的损失值对第一环路滤波网络的网络参数进行调整,直至达到收敛条件,得到训练后的第一环路滤波网络。

其中,服务器获取原始样本图像以及与原始样本图像对应的解码样本图像,以解码图像作为第一环路滤波网络的输入、以原始图像作为第一环路滤波网络作为目标真实数据分别训练第一环路滤波网络。

其中,这里的第一环路滤波网络为未训练的网络模型,具体地,第一环路滤波网络可以采用CNN网络,例如ResNet网络。以第一环路滤波网络为ResNet网络为例,第一环路滤波网络的残差块可用于对输入的解码图像提取不同层次的特征信息,得到特征图,后续第一环路滤波网络可根据特征信息(即特征图) 输出与解码图像尺寸一样的滤波图像。

进一步地,在获取到第一环路滤波网络输出的滤波图像后,根据滤波图像以及编码图像对应的原始图像,计算第一环路滤波网络的损失值。具体地,可以是基于均方误差(Mean Square Error,MSE)的损失函数,计算第一环路滤波网络输出的滤波图像以及对应原始图像间在各个像素点上的像素值的均方误差值,进而得到第一环路滤波网络的损失值。

在得到第一环路滤波网络的损失值后,根据第一环路滤波网络的损失值对第一环路滤波网络的网络参数进行调整,直至达到收敛条件。其中,收敛条件可根据实际需求进行设置或者调整,例如当目标损失值趋于平稳并没有较大的变化时,则可认为满足收敛条件。

在一个实施例中,如图9所示,视频解码方法,包括以下步骤:

步骤S902,对目标视频编码后的视频数据进行解码,获得目标视频中所有帧的解码图像。

其中,目标视频可以包括但不限于游戏视频、直播视频、短视频等。在获取到目标视频编码后的视频数据,对编码后的视频数据进行解码,以获取目标视频中每一帧图像对应的解码图像。具体地,编码过程可以包括对原始图像进行量化、变换等处理,获取到编码后的图像,而解码过程可以包括对编码后的图像数据进行反变量、反变换、反重建等处理,以获取重建的解码图像。

步骤S904,将各帧解码图像输入至第二环路滤波网络中,得到各帧解码图像对应的滤波图像;第二环路滤波网络为采用包括迁移损失值的损失函数进行训练的轻量级神经网络模型,迁移损失值表征第一环路滤波网络提取的第一特征图与第二环路滤波网络提取的第二特征图间的损失值,第一环路滤波网络为已完成训练的深度神经网络模型。

可以理解的是,第二环路滤波网络可以是利用上述任意一个实施例中的环路滤波网络的训练方法训练获得的。

步骤S906,根据各帧滤波图像获取解码后的目标视频的视频数据。

其中,得到目标视频中每一帧的滤波图像后,对所得的滤波图像进行处理以获取目标视频解码后的视频数据,该解码后的视频数据可以在终端中进行播放。

上述视频解码方法中,对目标视频编码后的视频数据进行解码,获得目标视频中所有帧的解码图像;将各帧解码图像输入至第二环路滤波网络中,得到各帧解码图像对应的滤波图像;第二环路滤波网络为采用包括迁移损失值的损失函数进行训练的轻量级神经网络模型,迁移损失值表征第一环路滤波网络提取的第一特征图与第二环路滤波网络提取的第二特征图间的损失值,第一环路滤波网络为已完成训练的深度神经网络模型;根据各帧滤波图像获取解码后的目标视频的视频数据。其中利用深度神经网络模型(第一环路滤波网络)指导轻量级神经网络模型(第二环路滤波网络)的训练,以提高基于轻量级神经网络模型的第二环路滤波网络的精度,使得最终获得的环路滤波网络在保持着较低的计算复杂度的同时,实现提升编解码性能,使得后续能最大程度地恢复失真的解码图像,去除编解码过程中的块效应/振铃效应,提高滤波图像的图像质量以及基于滤波图像所重构的视频的视频质量。

应该理解的是,虽然图2、图3、图5、图6A、图7、图8以及图9的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2、图3、图5、图6A、图7、图8以及图9中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中,如图10所示,提供了一种环路滤波网络的训练装置,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:图像获取模块1002、特征图获取模块1004、迁移损失值获取模块1006、基础损失值获取模块1008和网络训练模块1010,其中:

图像获取模块1002,用于获取原始图像以及与原始图像对应的解码图像,其中,解码图像为对原始图像进行编解码后所得到的图像;

特征图获取模块1004,用于将解码图像分别输入至预先构建的第一环路滤波网络以及第二环路滤波网络中,获取第一环路滤波网络提取的第一特征图,以及第二环路滤波网络提取的第二特征图,其中,第一环路滤波网络为已完成训练的深度神经网络模型,第二环路滤波网络为未完成训练的轻量级神经网络模型;

迁移损失值获取模块1006,用于根据第一特征图和第二特征图,获取第一环路滤波网络与第二环路滤波网络间的迁移损失值;

基础损失值获取模块1008,用于获取第二环路滤波网络输出的滤波图像,根据第二环路滤波网络输出的滤波图像以及原始图像获取第二环路滤波网络的基础损失值;

网络训练模块1010,用于根据迁移损失值以及基础损失值确定第二环路滤波网络的目标损失值,根据目标损失值对第二环路滤波网络的网络参数进行调整,直至达到收敛条件,得到目标环路滤波网络。

在一个实施例中,迁移损失值获取模块,用于:将第一特征图以及第二特征图分别输入至预先构建的特征图分类模型中,得到第一特征图的第一卷积特征向量,以及第二特征图的第二卷积特征向量;根据第一卷积特征向量以及第二卷积特征向量,确定第一特征图和第二特征图间的特征距离值;将特征距离值确定为第一环路滤波网络与第二环路滤波网络间的迁移损失值。

在一个实施例中,特征图分类模型包括多层卷积层的二分类模型。

在一个实施例中,第一卷积特征向量为特征图分类模型中第j层卷积层输出的卷积特征向量;第一卷积特征向量为特征图分类模型中第j层卷积层输出的卷积特征向量;其中,j为小于或等于特征图分类模型的卷积层层数的正整数。

在一个实施例中,环路滤波网络的训练装置还包括特征图分类模型训练模块,用于:根据第一特征图以及第二特征图,获取训练样本数据;训练样本数据包括样本特征图以及标准标识标签;将样本特征图输入至特征图分类模型中,得到样本特征图对应的预测标识标签;根据预测标识标签以及标准标识标签,获取特征图分类模型的损失值;根据特征图分类模型的损失值对特征图分类模型的网络参数进行调整,直至达到收敛条件,得到训练后的特征图分类模型。

在一个实施例中,第一环路滤波网络以及第二环路滤波网分别包括第一残差集合和第二残差块集合,第一特征图包括多个第一单元特征图,第二特征图包括多个第二单元特征图;环路滤波网络的训练装置还包括网络划分模块,用于:将第一残差块集合和第二残差块集合分别划分为相同数量的残差块子集,得到第一环路滤波网络的多个第一残差块子集,以及第二环路滤波网络的多个第二残差块子集,其中,各第一残差块子集与各第二残差块子集按划分次序一一对应,形成残差块子集对;

迁移损失值获取模块,还用于:获取第一环路滤波网络中的各个第一残差块子集输出的第一单元特征图,以及第二环路滤波网络中的各个第二残差块子集输出的第二单元特征图;根据各残差块子集对中第一残差块子集输出的第一单元特征图以及对应第二残差块子集输出的第二单元特征图,计算各残差块子集对的迁移损失子值;根据各残差块子集对的迁移损失子值,获取第一环路滤波网络与第二环路滤波网络间的迁移损失值。

在一个实施例中,迁移损失值获取模块,用于:将各残差块子集对中的第一残差块子集输出的第一单元特征图以及对应第二残差块子集输出的第二单元特征图,分别输入至与各残差块子集对对应的特征图分类模型中,得到各残差块子集对中第一单元特征图的卷积特征向量与对应第二单元特征图的卷积特征向量;根据各残差块子集对中的第一残差块子集输出的第一单元特征图的卷积特征向量,与对应第二残差块子集输出的第二单元特征图的卷积特征向量,计算各残差块子集对中第一残差块子集输出的第一特征图与对应第二残差块子集输出的第二特征图间的特征距离值;将各残差块子集对中第一残差块子集输出的第一特征图与对应第二残差块子集输出的第二特征图间的特征距离值,确定为各残差块子集对的迁移损失子值。

在一个实施例中,迁移损失值获取模块,用于:将各残差块子集对的迁移损失子值进行相加,得到第一环路滤波网络与第二环路滤波网络间的迁移损失值。

在一个实施例中,环路滤波网络的训练装置还包括第一环路滤波网络训练模块,用于:将解码样本图像输入至第一环路滤波网络中,得到第一环路滤波网络输出的滤波图像;根据第一环路滤波网络输出的滤波图像以及原始样本图像,获取第一环路滤波网络的损失值;根据第一环路滤波网络的损失值对第一环路滤波网络的网络参数进行调整,直至达到收敛条件,得到训练后的第一环路滤波网络。

在一个实施例中,基础损失值包括像素损失值,像素损失值用于表征滤波图像与原始图像在各像素点上的像素值的差值。

在一个实施例中,第一环路滤波网络以及第二环路滤波网络具有相同的基础网络结构。

关于环路滤波网络的训练装置的具体限定可以参见上文中对于环路滤波网络的训练方法的限定,在此不再赘述。上述环路滤波网络的训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中,本申请还提供了一种视频解码装置,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:

解码图像获取模块,用于对目标视频编码后的视频数据进行解码,获得目标视频中所有帧的解码图像;

滤波图像获取模块,用于将各帧解码图像输入至第二环路滤波网络中,得到各帧解码图像对应的滤波图像;第二环路滤波网络为采用包括迁移损失值的损失函数进行训练的轻量级神经网络模型,迁移损失值表征第一环路滤波网络提取的第一特征图与第二环路滤波网络提取的第二特征图间的损失值,第一环路滤波网络为已完成训练的深度神经网络模型;

视频解码模块,根据各帧滤波图像获取解码后的目标视频的视频数据。

关于视频解码装置的具体限定可以参见上文中对于视频解码方法的限定,在此不再赘述。上述视频解码装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储第一环路滤波网络的网络参数、第二环路滤波网络的网络参数等参数数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种环路滤波网络的训练方法或视频解码方法。

本领域技术人员可以理解,图11中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory, SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。

以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献

  • 日榜
  • 周榜
  • 月榜