用于可视数据处理的方法、装置和介质与流程

摘要: 本公开的实施例总体上涉及可视数据处理技术,更具体地,涉及基于神经网络的可视数据编解码。背景技术:1、在过去的十年中,深度学习在各个领域,特别是在计算机视觉和图像...
用于可视数据处理的方法、装置和介质与流程

本公开的实施例总体上涉及可视数据处理技术,更具体地,涉及基于神经网络的可视数据编解码。

背景技术:

1、在过去的十年中,深度学习在各个领域,特别是在计算机视觉和图像处理领域得到了迅速的发展。神经网络最初是通过神经科学和数学的跨学科研究而发明的。它在非线性变换和分类的上下文中显示出强大的能力。在过去的五年中,基于神经网络的图像/视频压缩技术取得了显著的进步。据报道,最新的基于神经网络的图像压缩算法实现了与多功能视频编解码(vvc)相当的率失真(r-d)性能。随着神经图像压缩性能的不断提高,基于神经网络的视频压缩已成为一个积极发展的研究领域。然而,基于神经网络的图像/视频编解码的编码或解码灵活性通常被期望进一步提高。

技术实现思路

1、本公开的实施例提供了一种用于可视数据处理的解决方案。

2、在第一方面,提出了一种用于可视数据处理的方法。该方法包括:利用基于神经网络(nn)的模型执行可视数据与可视数据的码流之间的转换,其中基于nn的模型包括变换过程和不同于变换过程的多个过程,变换过程被配置为执行可视数据的潜在表示与可视数据之间的变换,并且多个过程的相应输入基于相同的第一分割方案被分割为多个分割,并且其中基于第一分割方案,与可视数据相关联的一组残差样点被分割为对应于多个分割的多个残差样点子集,并且如果确定针对多个分割中的每一个分割的残差样点在码流的与分割对应的子流中,则多个分割中的每一个分割对应于变换过程的整数个处理单元。

3、基于根据本公开的第一方面的方法,基于相同的分割方案,将基于nn的模型的多个过程的相应输入分割为多个分割。此外,如果多个分割中的每一个分割的残差样点在码流的与分割对应的子流中,则多个分割中的每一个分割对应于变换过程的整数个处理单元。与传统的解决方案相比,所提出的方法可以更好地支持独立于可视数据的其余部分对可视数据的一部分进行编码或解码。以此方式,可以提高编码或解码灵活性。

4、在第二方面,提出了一种用于可视数据处理的装置。该装置包括处理器和其上具有指令的非暂态存储器。这些指令在由处理器执行时,使处理器执行根据本公开的第一方面的方法。

5、在第三方面,提出了一种非暂态计算机可读存储介质。该非暂态计算机可读存储介质存储指令,这些指令使处理器执行根据本公开的第一方面的方法。

6、在第四方面,提出了另一种非暂态计算机可读记录介质。该非暂态计算机可读记录介质存储可视数据的由用于可视数据处理的装置执行的方法所生成的码流。该方法包括:利用基于神经网络(nn)的模型执行从可视数据到码流的转换,其中基于nn的模型包括变换过程和不同于变换过程的多个过程,变换过程被配置为执行可视数据的潜在表示与可视数据之间的变换,并且多个过程的相应输入基于相同的第一分割方案被分割为多个分割,并且其中基于第一分割方案,与可视数据相关联的一组残差样点被分割为对应于多个分割的多个残差样点子集,并且如果确定针对多个分割中的每一个分割的残差样点在码流的与分割对应的子流中,则多个分割中的每一个分割对应于变换过程的整数个处理单元。

7、在第五方面,提出了一种用于存储可视数据的码流的方法。该方法包括:利用基于神经网络(nn)的模型执行从可视数据到码流的转换;以及将码流存储在非暂态计算机可读记录介质中,其中基于nn的模型包括变换过程和不同于变换过程的多个过程,变换过程被配置为执行可视数据的潜在表示与可视数据之间的变换,并且多个过程的相应输入基于相同的第一分割方案被分割为多个分割,并且其中基于第一分割方案,与可视数据相关联的一组残差样点被分割为对应于多个分割的多个残差样点子集,并且如果确定针对多个分割中的每一个分割的残差样点在码流的与分割对应的子流中,则多个分割中的每一个分割对应于变换过程的整数个处理单元。

8、本 技术实现要素: 旨在以简化的形式介绍下面在具体实施方式中进一步描述的一些概念。本发明内容不旨在识别所要求保护的主题的关键特征或基本特征,也不旨在用于限制所要求保护的主题的范围。

1.一种用于可视数据处理的方法,包括:

2.根据权利要求1所述的方法,其中所述整数个处理单元中的一个处理单元的尺寸被允许不同于所述整数个处理单元中的另一个处理单元的尺寸。

3.根据权利要求1-2中任一项所述的方法,其中如果确定针对所述多个分割中的每一个分割的残差样点在所述码流的与所述分割对应的子流中,则所述变换过程的输入基于所述第一分割方案被分割为多个分割。

4.根据权利要求3所述的方法,其中所述变换过程的所述输入的所述多个分割中的每一个分割包括所述变换过程的整数个处理单元。

5. 根据权利要求1-4中任一项所述的方法,其中如果确定仅存在针对所述多个分割的主残差样点的一个子流并且仅存在针对所述多个分割的次残差样点的一个子流,则所述变换过程的输入基于第二分割方案来被分割,所述第二分割方案被允许不同于所述第一分割方案。

6.根据权利要求1-5中任一项所述的方法,其中所述变换过程包括合成变换过程,和/或

7. 根据权利要求1-6中任一项所述的方法,其中所述第一分割方案指示以下中的至少一个:

8.根据权利要求1-7中任一项所述的方法,其中如果确定针对所述多个分割中的每一个分割的残差样点在所述码流的与所述分割对应的子流中,则所述多个分割不重叠,或

9.根据权利要求1-8中任一项所述的方法,其中所述多个分割中的每一个分割是在所述多个过程中被使用的片,并且所述整数个处理单元中的每一个处理单元是在所述变换过程中被使用的片。

10.根据权利要求1-9中任一项所述的方法,其中所述基于nn的模型包括在所述变换过程之后的第一组滤波过程,并且所述一组滤波过程中的每一个滤波过程利用对应的划片过程被执行。

11.根据权利要求10所述的方法,其中所述一组滤波过程包括以下中的至少一个:

12.根据权利要求1-11中任一项所述的方法,其中所述基于nn的模型包括在所述变换过程之后的第二组滤波过程,并且所述第二组滤波过程中的每一个滤波过程在没有划片过程的情况下被执行。

13.根据权利要求12所述的方法,其中所述第二组滤波过程包括亮度边缘滤波过程。

14. 根据权利要求1-13中任一项所述的方法,其中所述码流包括第一子流和在所述第一子流之后的第二子流,所述第一子流包括针对所述可视数据的质量图信息,并且所述第二子流包括针对所述可视数据的超先验信息张量。

15. 根据权利要求14所述的方法,其中所述码流还包括第三子流,所述第三子流包括用于所述转换的工具信息,并且所述第三子流在所述第一子流之前,和/或

16.根据权利要求1-15中任一项所述的方法,其中所述整数个处理单元中的一个处理单元的尺寸基于预定算法来被确定。

17.根据权利要求1-13中任一项所述的方法,其中所述码流包括第一子流和在所述第一子流之前的第二子流,所述第一子流包括针对所述可视数据的质量图信息,并且所述第二子流包括针对所述可视数据的超先验信息张量。

18.根据权利要求1-17中任一项所述的方法,其中所述基于nn的模型的利用超先验信息的方差解码过程的输入基于所述第一分割方案来被分割。

19.根据权利要求18所述的方法,其中针对所述可视数据的质量图信息的经编码的数据针对多个分割被划分。

20.根据权利要求19所述的方法,其中所述多个分割中的每一个分割的被划分的经编码的数据在所述码流的与所述分割对应的子流中。

21.根据权利要求1-20中任一项所述的方法,其中所述可视数据包括视频的图片或图像。

22.根据权利要求1-21中任一项所述的方法,其中所述转换包括将所述可视数据编码到所述码流中。

23.根据权利要求1-21中任一项所述的方法,其中所述转换包括从所述码流解码所述可视数据。

24.一种用于可视数据处理的装置,包括处理器和其上具有指令的非暂态存储器,其中所述指令在由所述处理器执行时,使所述处理器执行根据权利要求1-23中任一项所述的方法。

25.一种非暂态计算机可读存储介质,存储指令,所述指令使处理器执行根据权利要求1-23中任一项所述的方法。

26.一种非暂态计算机可读记录介质,存储可视数据的由用于可视数据处理的装置执行的方法所生成的码流,其中所述方法包括:

27. 一种用于存储可视数据的码流的方法,包括: