注意力机制在用于视频译码的基于ResNet的环路内滤波器架构中的使用的制作方法

摘要: 本公开涉及视频编码和视频解码。背景技术:1、数字视频能力可被并入到各种各样的设备中,包括数字电视机、数字直播系统、无线广播系统、个人数字助理(pda)、膝上型计...
注意力机制在用于视频译码的基于ResNet的环路内滤波器架构中的使用的制作方法

本公开涉及视频编码和视频解码。

背景技术:

1、数字视频能力可被并入到各种各样的设备中,包括数字电视机、数字直播系统、无线广播系统、个人数字助理(pda)、膝上型计算机或台式计算机、平板计算机、电子书阅读器、数字相机、数字记录设备、数字媒体播放器、视频游戏设备、视频游戏控制台、蜂窝或卫星无线电话(所谓的“智能电话”)、视频电话会议设备、视频流式传输设备等。数字视频设备实现视频译码技术,诸如在由mpeg-2、mpeg-4、itu-t h.263、itu-t h.264/mpeg-4(第10部分,高级视频译码(avc))、itu-t h.265/高效率视频译码(hevc)、itu-t h.266/多功能视频译码(vvc)定义的标准及此类标准的扩展以及诸如由开放媒体联盟开发的aomedia video1(av1)等专有视频编解码器/格式中描述的视频译码技术。通过实现此类视频译码技术,视频设备可更加高效地发送、接收、编码、解码和/或存储数字视频信息。

2、视频译码技术包括空间(图片内)预测和/或时间(图片间)预测以减少或移除在视频序列中固有的冗余。对于基于块的视频译码,视频切片(例如,视频图片或视频图片的一部分)可被划分为视频块,该视频块还可被称为译码树单元(ctu)、译码单元(cu)和/或译码节点。图片的帧内译码(i)后的切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的空间预测来编码的。图片的帧间译码(p或b)后的切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或者相对于其他参考图片中的参考样本的时间预测。图片可称为帧,并且参考图片可称为参考帧。

技术实现思路

1、本公开整体描述了用于视频译码的技术。具体地,本公开描述了用于将注意力机制集成到基于resnet的环路内滤波(ilf)架构中以用于视频译码目的的技术。利用级联数量的残差块(rb)的具有resnet架构的基于卷积神经网络(cnn)的滤波器已成为环路内滤波的热门选择。为了改善此类滤波器的性能,描述了空间注意力机制的使用。本公开的技术可改善基于cnn的滤波器的性能。

2、本文件中所描述的技术涉及cnn辅助环路滤波,然而,这些技术适用于任何基于级联cnn的视频译码工具。这些技术可在高级视频编解码器的上下文中使用,诸如vvc的延伸或下一代视频译码标准以及任何其他视频编解码器。

3、在一个示例中,一种处理视频数据的方法包括:接收已编码视频数据,该已编码视频数据表示视频数据的块;基于已编码视频数据来重构该块以生成重构块;以及对重构块执行基于神经网络(nn)的滤波过程以生成已滤波的块,其中基于nn的滤波过程包括将一个或多个残差组应用于残差组输入,残差组中的每个残差组包括相应注意力块。

4、在另一示例中,一种被配置为处理视频数据的设备包括:一个或多个存储器,该一个或多个存储器被配置为存储所述视频数据的重构块;和一个或多个处理器,该一个或多个处理器与一个或多个存储器通信,该一个或多个处理器被配置为:接收已编码视频数据,该已编码视频数据表示视频数据的块;基于已编码视频数据来重构该块以生成重构块;以及对重构块执行基于神经网络(nn)的滤波过程以生成已滤波的块,其中作为执行基于nn的滤波过程的一部分,一个或多个处理器被配置为将一个或多个残差组应用于残差组输入,残差组中的每个残差组包括相应注意力块。

5、在另一示例中,一种被配置为处理视频数据的装置,该装置包括:用于接收已编码视频数据的部件,该已编码视频数据表示视频数据的块;用于基于已编码视频数据来重构该块以生成重构块的部件;和用于对重构块执行基于神经网络(nn)的滤波过程以生成已滤波的块的部件,其中基于nn的滤波过程包括将一个或多个残差组应用于残差组输入,残差组中的每个残差组包括相应注意力块。

6、在附图和以下描述中阐述一个或多个示例的细节。根据描述、附图以及权利要求书,其他特征、目的和优点将是显而易见的。

1.一种处理视频数据的方法,所述方法包括:

2.根据权利要求1所述的方法,其中所述相应注意力块包括空间注意力块。

3.根据权利要求1所述的方法,所述方法还包括:应用所述相应注意力块,其中应用所述相应注意力块包括:

4.根据权利要求3所述的方法,其中所述子采样过程包括maxpool、平均池化或具有下采样的线性滤波中的至少一者。

5.根据权利要求3所述的方法,其中所述第一激活包括参数整流线性单元(prelu)。

6.根据权利要求3所述的方法,其中所述第二激活包括s形非线性或所述s形非线性的近似。

7.根据权利要求1所述的方法,其中所述一个或多个残差组各自具有相应可训练跳跃连接和相应多个主干块的顺序应用的相应主处理分支。

8.根据权利要求7所述的方法,其中应用所述一个或多个残差组包括:

9.根据权利要求7所述的方法,其中所述一个或多个残差组中的每个残差组包括相等数量的相应输入通道和相应输出通道。

10.根据权利要求7所述的方法,其中用于亮度的相应多个主干块的数量与用于色度的相应多个主干块的数量不同。

11.根据权利要求1所述的方法,其中所述残差组输入包括转变块、融合块或融合/转变块的输出。

12.根据权利要求1所述的方法,其中所述基于nn的滤波过程还包括:

13.一种被配置为处理视频数据的设备,所述设备包括:

14.根据权利要求13所述的设备,其中所述相应注意力块包括空间注意力块。

15.根据权利要求13所述的设备,其中所述一个或多个处理器还被配置为应用所述相应注意力块,其中作为应用所述相应注意力块的一部分,所述一个或多个处理器被配置为:

16.根据权利要求15所述的设备,其中所述子采样过程包括maxpool、平均池化或具有下采样的线性滤波中的至少一者。

17.根据权利要求15所述的设备,其中所述第一激活包括参数整流线性单元(prelu)。

18.根据权利要求15所述的设备,其中所述第二激活包括s形非线性或所述s形非线性的近似。

19.根据权利要求13所述的设备,其中所述设备被配置为对所述视频数据进行解码,并且其中所述设备还包括:

20.一种被配置为处理视频数据的装置,所述装置包括: