使帧内子分区适配基于神经网络的帧内预测的方法和装置与流程

本实施例一般地涉及一种用于视频编码/解码的方法和装置，该方法和装置使帧内子分区（isp）过程适配基于神经网络（nn）的帧内预测。

背景技术：

1、为了实现高压缩效率，图像和视频编码方案通常采用预测和变换来利用视频内容中的空间和时间冗余。通常，帧内或帧间预测用于利用帧内或帧间图片相关性，然后对在原始块和预测块之间的差（通常表示为预测误差或预测残差）进行变换、量化和熵编码。为了重建视频，通过对应于熵编码、量化、变换和预测的逆过程对压缩数据进行解码。

技术实现思路

1、在各种实现中，公开了使帧内子分区（isp）过程适配基于神经网络（nn）的帧内预测的方法和设备。

2、根据第一方面，公开了一种视频编码的方法，其包括：确定与帧内预测模式相关联的图像块；获得isp拆分模式以应用于对图像块进行编码，isp拆分模式适于基于神经网络的帧内预测模式；根据isp模式将图像块分割成至少一个分区；使用应用于包括与至少一个分区邻近的像素的上下文的至少一个神经网络来确定至少一个分区的基于nn的帧内预测；基于至少一个分区和至少一个分区的帧内预测，获得至少一个分区的残差；以及基于至少一个分区的残差对图像块进行编码。

3、根据第二方面，公开了一种视频解码的方法，其包括：确定与帧内预测模式相关联的图像块；获得isp拆分模式以应用于对图像块进行解码，isp拆分模式适于基于神经网络的帧内预测模式；根据isp模式将图像块分割成至少一个分区；使用应用于包括与至少一个分区邻近的像素的上下文的至少一个神经网络来确定至少一个分区的基于nn的帧内预测；获得至少一个分区的残差；以及基于至少一个分区的帧内预测和至少一个分区的残差来获得至少一个解码的分区；其中至少一个解码的分区是解码的图像块的一部分。

4、根据第一实施例，用标志（nn_flag）来发信号通知帧内预测模式，该标志指示图像块是用基于nn的帧内预测编码的。

5、根据第二实施例，一种或多种传统的帧内预测模式可用基于nn的帧内预测模式代替，并且发信号通知指示用多个帧内预测模式中的基于nn的帧内预测模式代替的当前帧内预测模式的索引。

6、一个或多个实施例还提供了一种用于对视频进行编码/解码的装置，包括一个或多个处理器和耦合到所述一个或多个处理器的至少一个存储器，其中所述一个或多个处理器被配置成执行根据本文中描述的实施例中的任何实施例的编码方法。

7、一个或多个实施例还提供了一种计算机程序，该计算机程序包括指令，当该指令由一个或多个处理器执行时，使得该一个或多个处理器执行根据本文中描述的实施例中的任何实施例的编码方法。本实施例中的一个或多个还提供了一种计算机可读存储介质，其上存储有用于根据本文中描述的方法对视频进行编码或解码的指令。

8、一个或多个实施例还提供了一种计算机可读存储介质，其上存储有根据上述方法生成的视频数据。一个或多个实施例还提供了用于传输或接收根据本文中描述的方法生成的视频数据的方法和装置。

1.一种方法，包括：

2.一种方法，包括：

3.根据权利要求1或2所述的方法，其中，确定与帧内预测模式相关联的图像块包括获得指示多个帧内预测模式中的当前帧内预测模式的索引，所述当前帧内预测模式用基于nn的帧内预测模式来代替。

4.根据权利要求3所述的方法，其中，确定至少一个分区的基于nn的帧内预测包括：

5.根据权利要求3或4中任一项所述的方法，其中，确定至少一个分区的基于nn的帧内预测包括：

6.根据权利要求3至5中任一项所述的方法，其中，确定至少一个分区的基于nn的帧内预测包括：

7.根据权利要求3至6中任一项所述的方法，其中，确定至少一个分区的基于nn的帧内预测包括：

8.根据权利要求3至5中任一项所述的方法，其中，确定至少一个分区的基于nn的帧内预测包括：

9.根据权利要求1或2所述的方法，其中，确定与帧内预测模式相关联的图像块包括获得指示图像块是用基于nn的帧内预测来编码的标志（nn_flag）。

10.根据权利要求9所述的方法，其中，获得isp拆分模式（802，803）包括：

11.根据权利要求10所述的方法，进一步包括：

12.根据权利要求10或11中任一项所述的方法，其中，isp拆分类型的集合包括水平拆分、垂直拆分、广义四叉树拆分。

13.根据权利要求10所述的方法，其中，确定至少一个分区的基于nn的帧内预测包括：

14.根据权利要求13所述的方法，其中，确定至少一个分区的基于nn的帧内预测进一步包括获得指示图像块的至少一个分区是用基于nn的帧内预测来编码的标志。

15.一种包括一个或多个处理器的装置，其中，一个或多个处理器被配置成实现根据权利要求1至14中任一项所述的方法。