用于视频译码的环路内滤波的注意力图归一化的制作方法

本公开涉及视频编码和视频解码。

背景技术：

1、数字视频能力可被并入到各种各样的设备中，包括数字电视机、数字直播系统、无线广播系统、个人数字助理（pda）、膝上型计算机或台式计算机、平板计算机、电子书阅读器、数字相机、数字记录设备、数字媒体播放器、视频游戏设备、视频游戏控制台、蜂窝或卫星无线电话（所谓的“智能电话”）、视频电话会议设备、视频流式传输设备等。数字视频设备实现视频译码技术，比如在由mpeg-2、mpeg-4、itu-t h.263、itu-t h.264/mpeg-4（第10部分，高级视频译码（avc））、itu-t h.265/高效率视频译码（hevc）所定义的标准以及此类标准的扩展中描述的那些技术。通过实现此类视频译码技术，视频设备可更加高效地发送、接收、编码、解码和/或存储数字视频信息。

2、视频译码技术包括空间（图片内）预测和/或时间（图片间）预测以减少或移除在视频序列中固有的冗余。对于基于块的视频译码，视频切片（例如，视频图片或视频图片的一部分）可被划分为视频块，该视频块还可被称为译码树单元（ctu）、译码单元（cu）和/或译码节点。图片的帧内译码（i）后的切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的空间预测来编码的。图片的帧间译码（p或b）后的切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或者相对于其他参考图片中的参考样本的时间预测。图片可称为帧，并且参考图片可称为参考帧。

技术实现思路

1、一般来讲，本公开描述了用于将对硬件友好的注意力块集成到基于残差网络（resnet）的环路内滤波（ilf）架构中以用于视频译码目的的技术。在一个或多个示例中，算法可用于对注意力图、对应的特征或通过使用注意力图产生的激活进行归一化。

2、注意力块的输出可包括由顺序主干块用于对当前视频数据块进行滤波的特征数据。生成特征数据的一部分可包括生成注意力图，该注意力图然后以对硬件友好的方式被归一化。注意力图可指示当前视频数据块的特征数据的元素之间的相关性（例如，利用当前视频数据块的特征域中的通道之间的空间信息计算的交叉相关性/相关性并且这被表示为一组权重值）。一些技术对注意力图进行归一化，或者以需要非线性操作（例如，平方根和指数函数）的方式另外处理用于生成注意力图的数据。示例技术可以依赖于线性操作（诸如缩放或取平均）的方式对注意力图进行归一化，该线性操作对于处理电路来说执行起来不太复杂。根据本公开中所描述的示例，处理电路可基于用于训练神经网络环路内滤波器（nn-ilf）的块的大小来对注意力图进行归一化。

3、以这种方式，示例技术可改善被配置为实现nn-ilf的处理电路的功能性。例如，与依赖于非线性操作的其他技术相比，示例技术可降低对注意力图进行归一化所需的复杂度、处理时间和/或能力。

4、在一个示例中，本公开描述了一种处理视频数据的方法，该方法包括：利用神经网络环路内滤波器（nn-ilf）接收当前图片的当前视频数据块；以及利用该nn-ilf对该当前视频数据块进行滤波以生成滤波后的当前视频数据块，其中对该当前视频数据块进行滤波包括：利用该nn-ilf的注意力块生成注意力图，该注意力图指示该当前视频数据块的特征的元素之间的相关性；利用该nn-ilf的该注意力块基于用于训练该nn-ilf的块的大小来修改该注意力图以生成修改后的注意力图；利用nn-ilf的该注意力块基于该修改后的注意力图来生成特征数据；以及利用该nn-ilf基于该特征数据对该当前视频数据块进行滤波以生成该滤波后的当前视频数据块。

5、在一个示例中，本公开描述了一种用于处理视频数据的设备，该设备包括：一个或多个存储器，该一个或多个存储器被配置为存储该视频数据；和处理电路，该处理电路耦合到该一个或多个存储器，其中该处理电路被配置为：利用神经网络环路内滤波器（nn-ilf）接收当前图片的当前视频数据块；以及利用该nn-ilf对该当前视频数据块进行滤波以生成滤波后的当前视频数据块，其中为了对该当前视频数据块进行滤波，该处理电路被配置为：利用该nn-ilf的注意力块来生成注意力图，该注意力图指示该当前视频数据块的特征的元素之间的相关性；利用该nn-ilf的该注意力块基于用于训练该nn-ilf的块的大小来修改该注意力图以生成修改后的注意力图；利用nn-ilf的该注意力块基于该修改后的注意力图来生成特征数据；以及利用该nn-ilf基于该特征数据对该当前视频数据块进行滤波以生成该滤波后的当前视频数据块。

6、在一个示例中，本公开描述了一种或多种计算机可读存储介质，该计算机可读存储介质上存储有指令，这些指令在被执行时使一个或多个处理器：利用神经网络环路内滤波器（nn-ilf）接收当前图片的当前视频数据块；以及利用该nn-ilf对该当前视频数据块进行滤波以生成滤波后的当前视频数据块，其中使该一个或多个处理器对该当前视频数据块进行滤波的这些指令包括使该一个或多个处理器进行以下操作的指令：利用该nn-ilf的注意力块生成注意力图，该注意力图指示该当前视频数据块的特征的元素之间的相关性；利用该nn-ilf的该注意力块基于用于训练该nn-ilf的块的大小来修改该注意力图以生成修改后的注意力图；利用nn-ilf的该注意力块基于该修改后的注意力图来生成特征数据；以及利用该nn-ilf基于该特征数据对该当前视频数据块进行滤波以生成该滤波后的当前视频数据块。

7、在附图和以下描述中阐述一个或多个示例的细节。根据描述、附图以及权利要求书，其他特征、目的和优点将是显而易见的。

1. 一种处理视频数据的方法，所述方法包括：

2.根据权利要求1所述的方法，其中修改所述注意力图包括：仅利用线性操作来修改所述注意力图。

3. 根据权利要求1所述的方法，其中修改所述注意力图包括：

4. 根据权利要求3所述的方法，其中确定所述缩放因子包括：

5.根据权利要求1所述的方法，其中修改所述注意力图包括：

6.根据权利要求5所述的方法，其中下采样包括对所述注意力图进行平均池化。

7.根据权利要求1所述的方法，其中所述注意力块是多个注意力块中的一个注意力块，并且其中利用所述nn-ilf对所述当前视频数据块进行滤波以生成所述滤波后的当前视频数据块包括：

8.根据权利要求1所述的方法，其中生成所述注意力图包括：

9.根据权利要求1所述的方法，所述方法还包括：基于所述滤波后的当前块对所述当前图片或后续图片进行解码或基于所述滤波后的当前块对所述当前图片或后续图片进行编码。

10.根据权利要求1所述的方法，所述方法还包括：基于所述滤波后的当前视频数据块对后续块进行帧间预测编码或解码。

11. 一种用于处理视频数据的设备，所述设备包括：

12.根据权利要求11所述的设备，其中为了修改所述注意力图，所述处理电路被配置为：仅利用线性操作来修改所述注意力图。

13. 根据权利要求11所述的设备，其中为了修改所述注意力图，所述处理电路被配置为：

14. 根据权利要求13所述的设备，其中为了确定所述缩放因子，所述处理电路被配置为：

15.根据权利要求11所述的设备，其中为了修改所述注意力图，所述处理电路被配置为：

16.根据权利要求15所述的设备，其中为了进行下采样，所述处理电路被配置为执行所述注意力图的平均池化。

17.根据权利要求11所述的设备，其中所述注意力块是多个注意力块中的一个注意力块，并且其中为了利用所述nn-ilf对所述当前视频数据块进行滤波以生成所述滤波后的当前视频数据块，所述处理电路被配置为：

18.根据权利要求11所述的设备，其中为了生成所述注意力图，所述处理电路被配置为：

19.根据权利要求11所述的设备，其中所述处理电路被配置为：基于所述滤波后的当前视频数据块对后续块进行帧间预测编码或解码。

20. 一个或多个计算机可读存储介质，所述一个或多个计算机可读存储介质上存储有指令，所述指令在被执行时使一个或多个处理器：