图像/视频编解码的基于神经网络的滤波的制作方法

本公开总体上涉及视频编解码，并且具体地，涉及图像/视频编解码中的环路滤波器。

背景技术：

1、数字视频在互联网和其他数字通信网络上占用了最大的带宽。随着能够接收和显示视频的连接用户设备的数量增加，预计对数字视频使用的带宽需求将继续增长。

技术实现思路

1、所公开的方面/实施例提供了一个或多个神经网络（nn）滤波器模型，其被训练为环路滤波技术或在后处理阶段中使用的滤波技术的一部分，用于减少在压缩期间引起的失真。此外，可以基于视频单元的重构质量水平来选择包括一个或多个nn滤波器模型的环路滤波器。此外，标识环路滤波器的规则或其他语法元素可以被包括在比特流中，包括比特流的补充增强信息（sei）消息。

2、第一方面涉及一种处理视频数据的方法。该方法包括从多个神经网络（nn）滤波器模型候选中选择环路滤波器，其中多个nn滤波器模型候选基于视频单元的重构质量水平，以及基于所选择的环路滤波器来执行包括视频单元的视频媒体文件和比特流之间的转换。

3、可选地，在任一前述方面，该方面的另一实施方式提供了一个或多个nn滤波器模型候选包括一个或多个预训练的卷积神经网络（cnn）滤波器模型。

4、可选地，在任一前述方面，该方面的另一实施方式提供了多个nn滤波器模型候选中的每一个对应于视频单元的不同重构质量水平。

5、可选地，在任一前述方面，该方面的另一实施方式提供了视频单元的重构质量水平对应于视频单元的量化参数（qp）或者视频单元的恒定速率因子和比特率中的至少一个。

6、可选地，在任一前述方面，该方面的另一实施方式提供了所选择的环路滤波器是包括第二环路滤波器的多个环路滤波器中的一个，并且其中第二环路滤波器的应用取决于是否或如何应用环路滤波器选择，并且多个环路滤波器包括去方块滤波器、样点自适应补偿（sao）滤波器、自适应环路滤波器（alf）、跨分量自适应环路滤波器（ccalf）和双边滤波器中的至少一个。

7、可选地，在任一前述方面，该方面的另一实施方式提供了对应于所选择的环路滤波器的语法元素在对应于自适应环路滤波器（alf）的语法元素之前在比特流中被编解码。

8、可选地，在任一前述方面，该方面的另一实施方式提供了对应于所选择的环路滤波器的语法元素在对应于自适应环路滤波器（alf）的语法元素之前或在对应于样点自适应补偿（sao）滤波器的语法元素之前在编解码树单元（ctu）级别在比特流中被编解码。

9、可选地，在任一前述方面，该方面的另一实施方式提供了所选择的环路滤波器在比特流的补充增强信息（sei）消息中被编解码。

10、可选地，在任一前述方面，该方面的另一实施方式提供了确定比特流中的相同索引与两个视频单元的不同的神经网络（nn）滤波器相关联。

11、可选地，在任一前述方面，该方面的另一实施方式提供了相同索引被放置在比特流中的补充增强信息（sei）消息中。

12、可选地，在任一前述方面，该方面的另一实施方式提供了确定一组nn滤波器模型候选对于跨不同时域层的视频单元是相同还是不同的。

13、可选地，在任一前述方面，该方面的另一实施方式提供了在比特流的补充增强信息（sei）消息中包括的规则中指定对该组nn滤波器模型候选对于跨不同时域层的视频单元是相同还是不同的确定。

14、可选地，在任一前述方面，该方面的另一实施方式提供了比特流中包括的规则指定该组nn滤波器模型候选的第一子组nn滤波器模型候选要用于跨不同时域层的第一子组时域层的环路滤波操作中，并且该组nn滤波器模型候选的第二子组nn滤波器模型候选要用于跨不同时域层的第二子组时域层的环路滤波操作中。

15、可选地，在任一前述方面，该方面的另一实施方式提供了不同时域层的第一子组时域层包括具有不大于k1的时域索引的层，并且其中要用于跨第一子组时域层的环路滤波操作中的该组nn滤波器模型候选中的至少一个由比特流中包括的规则基于第一子组时域层的帧内编解码样点的数量来指定。

16、可选地，在任一前述方面，该方面的另一实施方式提供了比特流中包括的规则将该组nn滤波器模型候选与不同时域层的第一时域层和单独的第二时域层相关联。

17、可选地，在任一前述方面，该方面的另一实施方式提供了比特流中包括的规则将该组nn滤波器模型候选与不同时域层中的特定时域层相关联。

18、可选地，在任一前述方面，该方面的另一实施方式提供了该转换包括将视频媒体文件编码为比特流。

19、可选地，在任一前述方面，该方面的另一实施方式提供了该转换包括从比特流解码视频媒体文件。

20、第二方面涉及一种用于编解码视频数据的装置，包括处理器和其上具有指令的非暂时性存储器。该指令在由处理器执行时使得处理器从多个神经网络（nn）滤波器模型候选中选择环路滤波器，其中多个nn滤波器模型候选基于视频单元的重构质量水平，并且基于所选择的环路滤波器在包括视频单元的视频媒体文件和比特流之间进行转换。

21、第三方面涉及一种存储通过由视频处理装置执行的方法生成的视频的比特流的非暂时性计算机可读记录介质。在实施例中，该方法包括从多个神经网络（nn）滤波器模型候选中选择环路滤波器，其中多个nn滤波器模型候选基于视频单元的重构质量水平，以及基于所选择的环路滤波器来执行包括视频单元的视频媒体文件和比特流之间的转换。

22、为了清楚起见，前述实施例中的任何一个可以与其它前述实施例中的任何一个或多个组合，以在本公开的范围内创建新的实施例。

23、从结合附图和权利要求进行的以下详细描述中，将更清楚地理解这些和其他特征。

1.一种处理视频数据的方法，包括：

2.根据权利要求1所述的方法，其中，所述多个nn滤波器模型候选基于视频单元的重构质量水平，以及

3.根据权利要求2所述的方法，其中，所述多个nn滤波器模型候选中的每一个对应于所述视频单元的不同重构质量水平，以及

4.根据权利要求2所述的方法，其中，所述视频单元具有第一量化参数，并且m组nn滤波器模型分别对应于m个量化参数进行训练，

5.根据权利要求2所述的方法，其中，所述多个nn滤波器模型候选基于所述视频单元的重构质量水平和所述视频单元的编解码特征，以及

6.根据权利要求1所述的方法，其中，所述所选择的环路滤波器是包括第二环路滤波器的多个环路滤波器中的一个，

7.根据权利要求1所述的方法，其中，与所述所选择的环路滤波器对应的语法元素在比特流中编解码在与自适应环路滤波器（alf）对应的语法元素之前；或者

8.根据权利要求1所述的方法，其中，所述所选择的环路滤波器在比特流的补充增强信息（sei）消息中编解码。

9.根据权利要求1所述的方法，还包括：

10.根据权利要求9所述的方法，其中，相同索引被放置在比特流中的补充增强信息（sei）消息中，其中，所述两个视频单元具有相同的nn滤波器模型候选列表，以及

11.根据权利要求1所述的方法，还包括：确定一组nn滤波器模型候选对于跨不同时域层的视频单元是相同还是不同的。

12.根据权利要求11所述的方法，其中，在比特流的补充增强信息（sei）消息中包括的规则中规定，对所述一组nn滤波器模型候选对于跨不同时域层的视频单元是相同还是不同的确定。

13.根据权利要求11所述的方法，其中，所述比特流中包括的规则规定，所述一组nn滤波器模型候选的第一子组nn滤波器模型候选要用于跨所述不同时域层中的第一子组时域层的环路滤波操作，并且所述一组nn滤波器模型候选的第二子组nn滤波器模型候选要用于跨所述不同时域层中的第二时域层子组的环路滤波操作。

14.根据权利要求13所述的方法，其中，不同时域层的第一子组时域层包括具有不大于k1的时域索引的层，并且其中要用于跨第一子组时域层的环路滤波操作中的一个或多个nn滤波器模型候选中的至少一个nn滤波器模型候选由比特流中包括的规则基于第一子组时域层的帧内编解码样点的数量来规定。

15.根据权利要求13所述的方法，其中，所述比特流中包括的规则将所述一组nn滤波器模型候选与所述不同时域层中的第一时域层以及单独的第二时域层二者相关联。

16.根据权利要求13所述的方法，其中，所述比特流中包括的规则将所述一组nn滤波器模型候选与所述不同时域层中的特定时域层相关联。

17.根据权利要求1所述的方法，其中，所述转换包括将所述视频媒体文件编码为所述比特流。

18.根据权利要求1所述的方法，其中，所述转换包括从所述比特流解码所述视频媒体文件。

19.一种用于编解码视频数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中，所述指令在由所述处理器执行时使所述处理器：

20.一种非暂时性计算机可读记录介质，存储视频的比特流，所述比特流由视频处理装置执行的方法生成，其中，所述方法包括：

21.一种存储视频的比特流的方法，包括：