通过时间可变形卷积进行深度环路滤波的制作方法

技术特征：
1.一种使用一个或更多个神经网络利用环路滤波器执行视频编码的方法，所述方法包括：获取视频序列中的多个图像帧；确定所述多个图像帧中的每个图像帧的特征图；基于所述特征图来确定偏移图；通过对所述特征图和所述偏移图执行时间可变形卷积(tdc)来确定对齐特征图；以及基于所述对齐特征图来生成多个对齐帧。2.根据权利要求1所述的方法，还包括：对所述多个对齐帧进行合成，以输出与所述多个图像帧相对应的多个高质量帧。3.根据权利要求1所述的方法，还包括：确定指示所述特征图与所述对齐特征图之间未对齐的误差的对齐损失，其中，通过所述对齐损失来训练所述一个或更多个神经网络。4.根据权利要求1所述的方法，其中，获取所述多个图像帧包括：堆叠所述多个图像帧以获取4维(4d)输入张量。5.根据权利要求1所述的方法，其中，确定所述偏移图包括：根据偏移生成深度神经网络(dnn)来连接多个特征图。6.根据权利要求1所述的方法，其中，还使用去块滤波器(df)、样本自适应偏移(sao)、自适应环路滤波器(alf)或跨部件自适应滤波器(ccalf)中的至少一个来处理所述多个图像帧。7.根据权利要求2所述的方法，其中，评估所述多个高质量图像帧以确定所述多个图像帧的重构质量，其中，在所述一个或更多个神经网络中反向传播所述多个图像帧的重构质量，以及其中，通过所述多个图像帧的重构质量来训练所述一个或更多个神经网络。8.根据权利要求1所述的方法，还包括确定判别损失，所述判别损失指示所述多个图像帧中的每个图像帧是原始图像帧还是高质量帧的分类中的误差，以及其中，通过所述判别损失来训练在装置中实现的一个或更多个神经网络。9.根据权利要求1所述的方法，其中，确定所述对齐特征图包括：使用时间可变形卷积深度神经网络(tdc dnn)，其中，所述tdc dnn包括堆叠中的多个tdc层，以及其中，所述多个tdc层中的每个tdc层之后是包括整流线性单元(relu)的非线性激活层。10.一种装置，包括：至少一个存储器，所述至少一个存储器存储计算机程序代码；以及至少一个处理器，所述至少一个处理器被配置成访问所述至少一个存储器并按照所述计算机程序代码的指示进行操作，所述计算机程序代码包括：获取代码，所述获取代码被配置成使所述至少一个处理器获取视频序列中的多个图像帧；确定代码，所述确定代码被配置成使所述至少一个处理器：确定所述多个图像帧中的每个图像帧的特征图，并基于所述特征图来确定偏移图；
通过对所述特征图和所述偏移图执行时间可变形卷积(tdc)来确定对齐特征图；以及生成代码，所述生成代码被配置成使所述至少一个处理器生成多个对齐帧。11.根据权利要求10所述的装置，其中，所述生成代码还被配置成：使所述至少一个处理器对所述多个对齐帧进行合成，以输出与所述多个图像帧相对应的多个高质量帧。12.根据权利要求10所述的装置，其中，所述确定代码还被配置成：使所述至少一个处理器确定对齐损失，所述对齐损失指示所述特征图与所述对齐特征图之间未对齐的误差，以及其中，通过所述对齐损失来训练在所述装置中实现的一个或更多个神经网络。13.根据权利要求10所述的装置，其中，所述获取代码还被配置成：使所述至少一个处理器以堆叠布置所述多个图像帧以获取4维(4d)输入张量。14.根据权利要求10所述的装置，其中，所述确定代码还被配置成：使所述至少一个处理器通过根据偏移生成深度神经网络(dnn)连接多个特征图来确定所述偏移图。15.根据权利要求10所述的装置，还包括：处理代码，所述处理代码被配置成：使所述至少一个处理器使用去块滤波器(df)、样本自适应偏移(sao)、自适应环路滤波器(alf)或跨部件自适应滤波器(ccalf)中的至少一个来处理所述多个图像帧。16.根据权利要求11所述的装置，其中，所述多个高质量图像帧被评估，以确定所述多个图像帧的重构质量，其中，所述多个图像帧的重构质量被反向传播到一个或更多个神经网络，以及其中，通过所述多个图像帧的重构质量来训练所述一个或更多个神经网络。17.根据权利要求10所述的装置，其中，所述确定代码还被配置成：使所述至少一个处理器确定判别损失，所述判别损失指示所述多个图像帧中的每个图像帧是原始图像帧还是高质量帧的分类中的误差，以及其中，通过所述判别损失来训练在所述装置中实现的一个或更多个神经网络。18.根据权利要求10所述的装置，其中，所述确定代码还被配置成：使所述至少一个处理器使用时间可变形卷积深度神经网络(tdc dnn)来确定所述对齐特征图，其中，所述tdc dnn包括堆叠中的多个tdc层，以及其中，所述多个tdc层中的每个tdc层之后是包括整流线性单元(relu)的非线性激活层。19.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机程序代码，当由至少一个处理器执行所述计算机程序代码时，所述至少一个处理器被配置成：获取视频序列中的多个图像帧；确定所述多个图像帧中的每个图像帧的特征图，并且基于所述特征图来确定偏移图；通过对所述特征图和所述偏移图执行时间可变形卷积(tdc)来确定对齐特征图；以及生成多个对齐帧。20.根据权利要求19所述的非暂态计算机可读存储介质，其中，所述至少一个处理器还被配置成：对所述多个对齐帧进行合成，以输出与所述多个图像帧相对应的多个高质量帧。

技术总结
提供了用于执行视频编码的方法、装置和存储介质。该方法包括：获取视频序列中的多个图像帧；确定多个图像帧中的每个图像帧的特征图，并基于特征图来确定偏移图；通过对特征图和偏移图执行时间可变形卷积(TDC)来确定对齐特征图；以及基于对齐特征图来生成多个对齐帧。帧。


技术研发人员：蒋薇 王炜 李泽强 刘杉
受保护的技术使用者：腾讯美国有限责任公司
技术研发日：2021.08.18
技术公布日：2022/6/21