用于编码/解码的方法和装置与流程

本实施例一般涉及一种用于通过将多个神经网络后滤波器应用于解码画面来生成该解码画面的多个外推画面实例的方法和装置。

背景技术：

1、为实现高压缩效率，图像和视频编码方案通常采用预测和变换来利用视频内容中的空域和时域冗余。通常，使用帧内或帧间预测来充分利用帧内或帧间画面相关性，然后对原始块与预测块之间的差（通常称为预测误差或预测残差）进行变换、量化并进行熵编码。为了重构视频，压缩数据通过对应于熵编码、量化、变换和预测的逆处理进行解码。

技术实现思路

1、在多种实现方式中，公开了方法和设备，其提供一种语法结构，其被适配用于通过应用多个神经网络后滤波器，按视频的解码画面的时间戳或画面编号或画面顺序计数生成多于一个外推画面实例。

2、根据第一方面，公开了一种视频编码方法，其包括：对视频的至少一个画面进行编码和解码；导出用于时域外推的多个神经网络后滤波器nnpf模型，使得通过将该多个nnpf模型应用于该视频的解码画面来生成该解码画面的多于一个外推画面实例；对与该多个nnpf模型相关联的多于一个用于时域外推神经网络后滤波器的语法结构（nnpfc）进行编码；以及对与该多于一个nnpfc相关联的多于一个用于神经网络后滤波器激活的语法结构nnpfa进行编码。

3、根据第二方面，公开了一种视频解码方法，其包括：对视频的至少一个画面进行解码；获得多于一个用于时域外推神经网络后滤波器的语法结构（nnpfc）；从该多于一个nnpfc解码多个神经网络后滤波器nnpf模型；获得与该多于一个nnpfc相关联的多于一个用于神经网络后滤波器激活的语法结构（nnpfa）；识别多个被激活的nnpf模型；以及通过将该多个被激活的nnpf模型应用于该视频的解码画面来生成该解码画面的多于一个外推画面实例。

4、根据第三方面，公开了一种视频编码方法，其包括：对视频的至少一个画面进行编码和解码；导出用于时域外推的多个神经网络后滤波器nnpf模型，使得通过将该多个nnpf模型应用于该视频的解码画面来生成该解码画面的多于一个外推画面实例；对与该多个nnpf模型相关联的一个用于时域外推神经网络后滤波器的语法结构（nnpfc）进行编码，该nnpfc使得能够实现该神经网络后滤波器的多个实例；以及对与该nnpfc相关联的多于一个用于神经网络后滤波器激活的语法结构（nnpfa）进行编码。

5、根据第四方面，公开了一种视频解码方法，其包括：对视频的至少一个画面进行解码；获得与多个nnpf模型相关联的一个用于时域外推神经网络后滤波器的语法结构（nnpfc），其使得能够实现该神经网络后滤波器的多个实例；从该nnpfc解码该多个神经网络后滤波器nnpf模型；获得与该nnpfc相关联的多于一个用于神经网络后滤波器激活的语法结构（nnpfa）；识别多个被激活的nnpf模型；以及通过将该多个被激活的nnpf模型应用于该视频的解码画面来生成该解码画面的多于一个外推画面实例。

6、根据第五方面，公开了一种视频编码方法，其包括：对视频的至少一个画面进行编码和解码；导出用于时域外推的神经网络后滤波器nnpf模型，使得通过将该nnpf模型应用于该视频的解码画面以及多个控制参数集来生成该解码画面的多于一个外推画面实例；导出多个控制参数集，其使得能够从该神经网络后滤波器生成解码画面的多个外推画面实例；对与该nnpf模型相关联的一个用于时域外推神经网络后滤波器的语法结构（nnpfc）进行编码；用信号通知用于从该神经网络后滤波器生成解码画面的多个外推画面实例的多个控制参数集；以及对与该nnpfc相关联的一个或多个用于神经网络后滤波器激活的语法结构（nnpfa）进行编码。

7、根据第六方面，公开了一种视频解码方法，其包括：对视频的至少一个画面进行解码；获得与nnpf模型相关联的一个用于时域外推神经网络后滤波器的语法结构（nnpfc），使得通过将该nnpf模型应用于该视频的解码画面以及多个控制参数集来生成该解码画面的多于一个外推画面实例；获得多个控制参数集，其使得能够从该神经网络后滤波器生成解码画面的多个外推画面实例；从该nnpfc解码该神经网络后滤波器nnpf模型；获得与该nnpfc相关联的一个或多个用于神经网络后滤波器激活的语法结构（nnpfa）；识别多个控制参数集；以及通过将该nnpf模型应用于该视频的解码画面来生成该解码画面的多于一个外推画面实例，该nnpf模型还使用被激活的控制参数集中的每一者作为输入。

8、一个或多个实施例还提供用于根据本文所述任何实施例用信号通知时域外推神经网络后滤波器的一个或多个语法结构的不同变型的方法和/或装置。

9、一个或多个实施例还提供一种用于编码/解码视频的装置，其包括一个或多个处理器以及耦接到该一个或多个处理器的至少一个存储器，其中该一个或多个处理器配置成执行根据本文所述任何实施例的编码方法。

10、一个或多个实施例还提供一种计算机程序，其包括指令，该指令在由一个或多个处理器执行时，使该一个或多个处理器执行根据本文所述任何实施例的编码方法。本发明的一个或多个实施例还提供一种计算机可读存储介质，其上存储有用于根据本文所述方法对视频进行编码或解码的指令。

11、一个或多个实施例还提供一种计算机可读存储介质，其上存储有根据上述方法生成的视频数据。一个或多个实施例还提供一种用于发送或接收根据本文所述方法生成的视频数据的方法和装置。

1.一种方法，包括：

2.一种方法，包括：

3.如权利要求1和2中任一项所述的方法，其中与所述nnpfc相关联的所述一个或多个用于神经网络后滤波器激活的语法结构nnpfa还包括关于控制参数集的信息。

4.如权利要求1至3中任一项所述的方法，其中所述控制参数集包括定性信息。

5.如权利要求1至3中任一项所述的方法，其中所述控制参数集从外部手段获得。

6.一种方法，包括：

7.一种方法，包括：

8.如权利要求6和7中任一项所述的方法，其中用于时域外推神经网络后滤波器的语法结构nnpfc包括：

9.如权利要求8所述的方法，其中所述用于神经网络后滤波器的基础模型和基础模型更新中的一者的指示对于神经网络后滤波器的第一实例指示基础模型，并且所述用于神经网络后滤波器的基础模型和基础模型更新中的一者的指示对于神经网络后滤波器的第二实例指示更新模型。

10. 如权利要求8所述的方法，其中获得（904）与多于一个所述nnpfc相关联的多于一个用于神经网络后滤波器激活的语法结构nnpfa包括：

11. 如权利要求6和7中任一项所述的方法，其中获得（902）多于一个用于时域外推神经网络后滤波器的语法结构nnpfc包括：

12. 如权利要求11所述的方法，其中获得（904）与多于一个所述nnpfc相关联的多于一个用于神经网络后滤波器激活的语法结构nnpfa包括：

13.如权利要求11和12中任一项所述的方法，其中所述用于神经网络后滤波器的基础模型和基础模型更新中的一者的第一指示对于所述第一神经网络后滤波器模型标识符指示基础模型，并且所述用于神经网络后滤波器的基础模型和基础模型更新中的一者的第二指示对于所述第二神经网络后滤波器模型标识符指示基础模型。

14.如权利要求11和12中任一项所述的方法，其中所述用于神经网络后滤波器的基础模型和基础模型更新中的一者的第一指示对于所述第一神经网络后滤波器模型标识符指示基础模型，所述用于神经网络后滤波器的基础模型和基础模型更新中的一者的第二指示对于所述第二神经网络后滤波器模型标识符指示更新模型，并且其中所述用于时域外推神经网络后滤波器的第二语法结构nnpfc还包括所述第一神经网络后滤波器模型标识符作为被更新模型的指示。

15.如权利要求6至14中任一项所述的方法，其中所述多于一个用于时域外推神经网络后滤波器的语法结构nnpfc和所述与多于一个所述nnpfc相关联的多于一个用于神经网络后滤波器激活的语法结构nnpfa从补充增强信息sei消息中获得或编码在所述补充增强信息sei消息中。

16.一种方法，包括：

17.一种方法，包括：

18.一种装置，包括一个或多个处理器，其中所述一个或多个处理器配置成实现如权利要求1至17中任一项所述的方法。