环路滤波网络的训练方法、装置、计算机设备和存储介质与流程

技术特征：

1.一种环路滤波网络的训练方法，其特征在于，所述方法包括：

获取原始图像以及与所述原始图像对应的解码图像，其中，所述解码图像为对所述原始图像进行编解码后所得到的图像；

将所述解码图像分别输入至预先构建的第一环路滤波网络以及第二环路滤波网络中，获取所述第一环路滤波网络提取的第一特征图，以及所述第二环路滤波网络提取的第二特征图，其中，所述第一环路滤波网络为已完成训练的深度神经网络模型，所述第二环路滤波网络为未完成训练的轻量级神经网络模型；

根据所述第一特征图和所述第二特征图，获取所述第一环路滤波网络与所述第二环路滤波网络间的迁移损失值；

获取所述第二环路滤波网络输出的滤波图像，根据所述第二环路滤波网络输出的滤波图像以及所述原始图像获取所述第二环路滤波网络的基础损失值；

根据所述迁移损失值以及所述基础损失值确定所述第二环路滤波网络的目标损失值，根据所述目标损失值对所述第二环路滤波网络的网络参数进行调整，直至达到收敛条件，得到目标环路滤波网络。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一特征图和所述第二特征图，获取所述第一环路滤波网络与所述第二环路滤波网络间的迁移损失值的步骤，包括：

将所述第一特征图以及所述第二特征图分别输入至预先构建的特征图分类模型中，得到所述第一特征图的第一卷积特征向量，以及所述第二特征图的第二卷积特征向量；

根据所述第一卷积特征向量以及所述第二卷积特征向量，确定所述第一特征图和所述第二特征图间的特征距离值；

将所述特征距离值确定为所述第一环路滤波网络与所述第二环路滤波网络间的迁移损失值。

3.根据权利要求2所述的方法，其特征在于，所述第一卷积特征向量为所述特征图分类模型中第j层卷积层输出的卷积特征向量；所述第二卷积特征向量为所述特征图分类模型中第j层卷积层输出的卷积特征向量；其中，j为小于或等于所述特征图分类模型的卷积层层数的正整数。

4.根据权利要求2至3所述的方法，其特征在于，所述特征图分类模型中的训练步骤，包括：

根据所述第一特征图以及所述第二特征图，获取训练样本数据；所述训练样本数据包括样本特征图以及标准标识标签；

将所述样本特征图输入至所述特征图分类模型中，得到所述样本特征图对应的预测标识标签；

根据所述预测标识标签以及所述标准标识标签，获取所述特征图分类模型的损失值；

根据所述特征图分类模型的损失值对所述特征图分类模型的网络参数进行调整，直至达到收敛条件，得到训练后的特征图分类模型。

5.根据权利要求1所述的方法，其特征在于，所述第一环路滤波网络以及所述第二环路滤波网分别包括第一残差块集合和第二残差块集合，第一特征图包括多个第一单元特征图，第二特征图包括多个第二单元特征图；

所述将所述解码图像分别输入至预先构建的第一环路滤波网络以及第二环路滤波网络中的步骤之前，还包括：

将所述第一残差块集合和所述第二残差块集合分别划分为相同数量的残差块子集，得到所述第一环路滤波网络的多个第一残差块子集，以及所述第二环路滤波网络的多个第二残差块子集；其中，各所述第一残差块子集与各所述第二残差块子集按划分次序一一对应，形成残差块子集对；

所述根据所述第一特征图和所述第二特征图，获取所述第一环路滤波网络与所述第二环路滤波网络间的迁移损失值的步骤，包括：

获取所述第一环路滤波网络中的各个第一残差块子集输出的第一单元特征图，以及所述第二环路滤波网络中的各个第二残差块子集输出的第二单元特征图；

根据各所述残差块子集对中第一残差块子集输出的第一单元特征图以及对应第二残差块子集输出的第二单元特征图，计算各所述残差块子集对的迁移损失子值；

根据各所述残差块子集对的迁移损失子值，获取所述第一环路滤波网络与所述第二环路滤波网络间的迁移损失值。

6.根据权利要求5所述的方法，其特征在于，所述根据各所述残差块子集对中第一残差块子集输出的第一单元特征图以及对应第二残差块子集输出的第二单元特征图，计算各残差块子集对的迁移损失子值的步骤，包括：

将各所述残差块子集对中的第一残差块子集输出的第一单元特征图以及对应第二残差块子集输出的第二单元特征图，分别输入至与各所述残差块子集对对应的特征图分类模型中，得到各所述残差块子集对中第一单元特征图的卷积特征向量与对应第二单元特征图的卷积特征向量；

根据各所述残差块子集对中的第一残差块子集输出的第一单元特征图的卷积特征向量，与对应第二残差块子集输出的第二单元特征图的卷积特征向量，计算各所述残差块子集对中所述第一残差块子集输出的第一特征图与对应第二残差块子集输出的第二特征图间的特征距离值；

将各所述残差块子集对中第一残差块子集输出的第一特征图与对应第二残差块子集输出的第二特征图间的特征距离值，确定为各所述残差块子集对的迁移损失子值。

7.根据权利要求5所述的方法，其特征在于，所述根据各所述残差块子集对的迁移损失子值，获取所述第一环路滤波网络与所述第二环路滤波网络间的迁移损失值的步骤，包括：

将各所述残差块子集对的迁移损失子值进行相加，得到所述第一环路滤波网络与所述第二环路滤波网络间的迁移损失值。

8.根据权利要求1所述的方法，其特征在于，所述第一环路滤波网络的训练步骤，包括：

将所述解码图像输入至第一环路滤波网络中，得到所述第一环路滤波网络输出的滤波图像；

根据所述第一环路滤波网络输出的滤波图像以及所述原始样本图像，获取所述第一环路滤波网络的损失值；

根据所述第一环路滤波网络的损失值对所述第一环路滤波网络的网络参数进行调整，直至达到收敛条件，得到训练后的第一环路滤波网络。

9.根据权利要求1所述的方法，其特征在于，所述基础损失值包括像素损失值，所述像素损失值用于表征所述滤波图像与所述原始图像在各像素点上的像素值的差值。

10.根据权利要求1所述的方法，其特征在于，所述第一环路滤波网络以及所述第二环路滤波网络具有相同的基础网络结构。

11.一种视频解码方法，其特征在于，包括：

对目标视频编码后的视频数据进行解码，获得所述目标视频中所有帧的解码图像；

将各帧所述解码图像输入至第二环路滤波网络中，得到各帧所述解码图像对应的滤波图像；所述第二环路滤波网络为采用包括迁移损失值的损失函数进行训练的轻量级神经网络模型，所述迁移损失值表征第一环路滤波网络提取的第一特征图与所述第二环路滤波网络提取的第二特征图间的损失值，所述第一环路滤波网络为已完成训练的深度神经网络模型；

根据各帧所述滤波图像获取解码后的目标视频的视频数据。

12.一种环路滤波网络的训练装置，其特征在于，所述装置包括：

图像获取模块，用于获取原始图像以及与所述原始图像对应的解码图像，其中，所述解码图像为对所述原始图像进行编解码后所得到的图像；

特征图获取模块，用于将所述解码图像分别输入至预先构建的第一环路滤波网络以及第二环路滤波网络中，获取所述第一环路滤波网络提取的第一特征图，以及所述第二环路滤波网络提取的第二特征图，其中，所述第一环路滤波网络为已完成训练的深度神经网络模型，所述第二环路滤波网络为未完成训练的轻量级神经网络模型；

迁移损失值获取模块，用于根据所述第一特征图和所述第二特征图，获取所述第一环路滤波网络与所述第二环路滤波网络间的迁移损失值；

基础损失值获取模块，用于获取所述第二环路滤波网络输出的滤波图像，根据所述第二环路滤波网络输出的滤波图像以及所述原始图像获取所述第二环路滤波网络的基础损失值；

网络训练模块，用于根据所述迁移损失值以及所述基础损失值确定所述第二环路滤波网络的目标损失值，根据所述目标损失值对所述第二环路滤波网络的网络参数进行调整，直至达到收敛条件，得到目标环路滤波网络。

13.一种视频解码装置，其特征在于，包括：

解码图像获取模块，用于对目标视频编码后的视频数据进行解码，获得所述目标视频中所有帧的解码图像；

滤波图像获取模块，用于将各帧所述解码图像输入至第二环路滤波网络中，得到各帧所述解码图像对应的滤波图像；所述第二环路滤波网络为采用包括迁移损失值的损失函数进行训练的轻量级神经网络模型，所述迁移损失值表征第一环路滤波网络提取的第一特征图与所述第二环路滤波网络提取的第二特征图间的损失值，所述第一环路滤波网络为已完成训练的深度神经网络模型；

视频解码模块，根据各帧所述滤波图像获取解码后的目标视频的视频数据。

14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。

15.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。

技术总结
本申请涉及一种环路滤波网络的训练方法、装置、计算机设备和存储介质。该方法包括：获取原始图像和对应的解码图像，将解码图像分别输入至第一环路滤波网络以及第二环路滤波网络中，获取第一环路滤波网络提取的第一特征图以及第二环路滤波网络提取的第二特征图，根据第一特征图和第二特征图获取第一环路滤波网络与第二环路滤波网络间的迁移损失值；根据第二环路滤波网络输出的滤波图像以及原始图像获取第二环路滤波网络的基础损失值；根据迁移损失值以及基础损失值确定第二环路滤波网络的目标损失值，根据目标损失值对第二环路滤波网络的网络参数进行调整，直至达到收敛条件，最终获得的环路滤波网络在计算复杂度较低的同时，提升编解码性能。

技术研发人员：朱晗;许晓中;刘杉;
受保护的技术使用者：腾讯科技（深圳）有限公司;
技术研发日：2020.04.09
技术公布日：2021.10.19