用于视频处理的方法、装置和介质与流程

摘要: 本公开的实施例总体上涉及视频处理技术,并且更具体地,涉及用于经子块变换(sbt)编解码的块的低频不可分变换(lfnst)和/或不可分主变换(nspt)。背景技术...
用于视频处理的方法、装置和介质与流程

本公开的实施例总体上涉及视频处理技术,并且更具体地,涉及用于经子块变换(sbt)编解码的块的低频不可分变换(lfnst)和/或不可分主变换(nspt)。

背景技术:

1、如今,数字视频能力正被应用于人们生活的各个方面。已经针对视频编码/解码提出了多种类型的视频压缩技术,诸如mpeg-2、mpeg-4、itu-th.263、itu-th.264/mpeg-4第10部分高级视频编解码(avc)、itu-th.265高效视频编解码(hevc)标准、多功能视频编解码(vvc)标准。然而,通常期望进一步提高视频编解码技术的编解码效率。

技术实现思路

1、本公开的实施例提供了一种用于视频处理的解决方案。

2、在第一方面,提出了一种用于视频处理的方法。该方法包括:针对视频的当前视频块与视频的比特流之间的转换,确定当前视频块的至少一个子块,当前视频块利用sbt进行编解码,至少一个子块与至少一个变换单元相关联;将不可分变换应用于至少一个子块或至少一个变换单元,不可分变换包括lfnst或nspt中的至少一项;以及基于应用执行转换。根据本公开的第一方面的方法将lfnst或nspt应用于经sbt编解码的块,可以改善lfnst或nspt与sbt之间的协调性。

3、在第二方面,提出了一种用于视频处理的装置。该装置包括处理器和其上具有指令的非暂态存储器。该指令在由处理器执行时使处理器执行根据本公开的第一方面的方法。

4、在第三方面,提出了一种非暂态计算机可读存储介质。该非暂态计算机可读存储介质存储使处理器执行根据本公开的第一方面的方法的指令。

5、在第四方面,提出了另一种非暂态计算机可读记录介质。该非暂态计算机可读记录介质存储视频的通过由用于视频处理的装置执行的方法而生成的比特流。该方法包括:确定视频的当前视频块的至少一个子块,当前视频块利用sbt进行编解码,至少一个子块与至少一个变换单元相关联;将不可分变换应用于至少一个子块或至少一个变换单元,不可分变换包括lfnst或nspt中的至少一项;以及基于应用生成比特流。

6、在第五方面,提出了一种用于存储视频的比特流的方法。该方法包括:确定视频的当前视频块的至少一个子块,当前视频块利用sbt进行编解码,至少一个子块与至少一个变换单元相关联;将不可分变换应用于至少一个子块或至少一个变换单元,不可分变换包括lfnst或nspt中的至少一项;基于应用生成比特流;以及将比特流存储在非暂态计算机可读记录介质中。

7、本 技术实现要素: 旨在以简化的形式介绍下面在具体实施方式中进一步描述的概念选择。本发明内容不旨在识别所要求保护的主题的关键特征或基本特征,也不旨在用于限制所要求保护的主题的范围。

1.一种用于视频处理的方法,包括:

2.根据权利要求1所述的方法,其中所述至少一个子块包括多个子块,并且所述多个子块中的每个子块或对应的每个变换单元执行相应的单独变换。

3.根据权利要求1或2所述的方法,其中针对所述至少一个子块中的子块或所述至少一个变换单元中的变换单元,多个变换以级联的方式被执行。

4.根据权利要求3所述的方法,其中所述多个变换包括多个可分变换。

5.根据权利要求3所述的方法,其中所述多个变换包括至少一个可分变换或至少一个不可分变换。

6.根据权利要求3所述的方法,其中所述多个变换包括至少一个可分变换和至少一个不可分变换。

7.根据权利要求3所述的方法,其中第一变换被应用于所述子块或所述变换单元,并且第二变换基于所述第一变换的系数被应用于所述子块或所述变换单元。

8.根据权利要求7所述的方法,其中所述第二变换包括所述lfnst。

9.根据权利要求1或2所述的方法,其中针对所述至少一个子块中的子块或所述至少一个变换单元中的变换单元,单个变换被应用。

10.根据权利要求9所述的方法,其中所述单个变换包括可分变换或不可分变换。

11.根据权利要求1-10中任一项所述的方法,其中是否和/或如何对利用sbt编解码的视频块执行所述lfnst或所述nspt是基于预定义的规则。

12. 根据权利要求11所述的方法,其中所述预定义的规则基于以下至少一项:所述视频块的类型、包含所述视频块的图片的图片类型、时域层信息、包含所述视频块的条带的条带类型、编解码工具、编解码方法、预测模式、预测方法或所述视频块的块信息。

13. 根据权利要求12所述的方法,其中所述图片类型包括低延迟-b图片或低延迟-p图片,或

14.根据权利要求1-13中任一项所述的方法,其中指示二次变换是否被应用于经sbt编解码的块的至少一个语法元素被包括在所述比特流中。

15.根据权利要求14所述的方法,其中所述二次变换包括所述lfnst或所述nspt。

16.根据权利要求14或15所述的方法,其中所述至少一个语法元素在以下级别中的至少一个级别处:块级别、序列级别、图片组级别、图片级别、条带级别、片组级别或编解码单元(cu)级别。

17.根据权利要求14或15所述的方法,其中所述至少一个语法元素在以下中的至少一项中:序列头、图片头、序列参数集(sps)、视频参数集(vps)、依赖性参数集(dps)、解码能力信息(dci)、图片参数集(pps)、自适应参数集(aps)、条带头或片组头。

18.根据权利要求14或15所述的方法,其中所述至少一个语法元素是否被包括在所述比特流中和/或所述lfnst或所述nspt是否被应用于所述经sbt编解码的块是基于至少一个另外的语法元素。

19.根据权利要求18所述的方法,其中所述至少一个另外的语法元素在以下级别中的至少一个级别处:序列级别、图片组级别、图片级别、条带级别或片组级别。

20.根据权利要求18所述的方法,其中所述至少一个另外的语法元素指示以下中的至少一项是否被启用:所述sbt、所述lfnst或所述nspt。

21.根据权利要求18所述的方法,其中所述至少一个另外的语法元素包括至少一个块级别语法元素。

22.根据权利要求21所述的方法,其中所述至少一个语法元素是否被包括在所述比特流中和/或所述lfnst或所述nspt是否被应用于块是基于所述sbt和/或所述lfnst或所述nspt是否被用于所述块。

23.根据权利要求18所述的方法,其中所述至少一个语法元素从所述比特流中被排除,并且基于满足条件的sbt语法或lfnst或nspt语法中的至少一项,sbt-lfnst或sbt-nspt被默认使用。

24.根据权利要求23所述的方法,其中所述条件包括以下中的至少一项:所述sbt语法或所述lfnst或所述nspt语法大于阈值,所述sbt语法指示使用所述sbt,或者所述lfnst或所述nspt语法指示使用所述lfnst或所述nspt。

25.根据权利要求1-24中任一项所述的方法,其中是否和/或如何对经sbt编解码的块执行所述lfnst或所述nspt是基于以下中的至少一项:所述经sbt编解码的块的块信息、所述经sbt编解码的块的sbt信息或所述经sbt编解码的块内的非零系数的数目。

26.根据权利要求25所述的方法,其中所述sbt信息包括以下中的至少一项:所述经sbt编解码的块的划分方向或所述经sbt编解码的块的划分位置。

27.根据权利要求25所述的方法,其中响应于视频块的sbt索引等于第一值或第二值,针对lfnst或nspt的索引不被包括于所述比特流中。

28.根据权利要求27所述的方法,其中所述第一值为零,并且所述第二值大于零。

29.根据权利要求25所述的方法,其中响应于所述经sbt编解码的块内的非零系数的数目大于或小于阈值,针对lfnst或nspt的索引不被包括于所述比特流中,或者所述lfnst或nspt不被应用于所述经sbt编解码的块。

30.根据权利要求1-29中任一项所述的方法,其中针对经sbt-lfnst或sbt-nspt编解码的编解码单元(cu)的至少一个子块或至少一个变换单元,所述lfnst或nspt被执行。

31.根据权利要求30所述的方法,其中针对所述cu的所有子块或所有变换单元,所述lfnst或nspt被执行。

32.根据权利要求30所述的方法,其中针对所述cu的部分子块或部分变换单元,所述lfnst或nspt被执行。

33.根据权利要求32所述的方法,其中所述lfnst或nspt是否被应用于所述cu的子块或变换单元是基于所述子块或变换单元是否包含至少一个非零系数或非零残差。

34.根据权利要求1-33中任一项所述的方法,其中主变换核是否被应用于经sbt编解码的块是基于所述lfnst或nspt是否被用于所述经sbt编解码的块。

35.根据权利要求34所述的方法,其中响应于所述lfnst或nspt不被应用于所述经sbt编解码的块,针对所述经sbt编解码的块的子块或变换单元的所述主变换核通过sbt索引被确定,所述sbt索引与所述经sbt编解码的块的划分方向或划分位置相关联。

36.根据权利要求35所述的方法,其中与第一sbt索引相关联的第一主变换核不同于与第二sbt索引相关联的第二主变换核。

37.根据权利要求34所述的方法,其中响应于所述lfnst或nspt被应用于所述经sbt编解码的块,针对所述经sbt编解码的块的子块或变换单元的所述主变换核不同于与另一块相关联的另一主变换核,所述lfnst或nspt不被应用于所述另一块。

38.根据权利要求37所述的方法,其中所述主变换核与sbt索引无关,所述sbt索引与所述经sbt编解码的块的划分方向或划分位置相关联。

39.根据权利要求37所述的方法,其中所述主变换核包括固定的主变换核。

40.根据权利要求39所述的方法,其中所述固定的主变换核包括dct2核。

41.根据权利要求1-40中任一项所述的方法,其中用于经sbt编解码的块的推导方案或lfnst或nspt核索引不同于用于非经sbt编解码的块的另一推导方案或另一lfnst或nspt核索引。

42.根据权利要求41所述的方法,其中所述另一lfnst或nspt核索引通过分析编解码单元或预测单元区域中的预测信号而被推导。

43. 根据权利要求42所述的方法,其中所述另一lfnst或nspt核索引通过以下被推导:

44.根据权利要求41所述的方法,其中针对当前经sbt编解码的块的所述lfnst或nspt核索引通过分析当前子块或当前变换单元中的预测信号而被推导。

45. 根据权利要求44所述的方法,其中所述lfnst或nspt核索引通过以下被推导:

46. 根据权利要求1-45中任一项所述的方法,还包括:

47.根据权利要求1-46中任一项所述的方法,其中对于经sbt编解码的块,所述lfnst或nspt基于以下至少一项被应用:所述经sbt编解码的块的色彩格式,或所述经sbt编解码的块的色彩分量。

48.根据权利要求47所述的方法,其中所述lfnst或nspt被应用于所述经sbt编解码的块的亮度分量。

49.根据权利要求47所述的方法,其中所述lfnst或nspt被应用于所述经sbt编解码的块的色度分量。

50.根据权利要求47所述的方法,其中用于所述经sbt编解码的块的第一色彩分量的第一变换核不同于用于所述经sbt编解码的块的第二色彩分量的第二变换核。

51.根据权利要求1-50中任一项所述的方法,其中所述lfnst或nspt被应用于经sbt编解码的编解码单元(cu),并且具有非零残差的所述cu的变换单元(tu)执行所述lfnst或nspt,并且其中用于变换的帧内预测模式(ipm)基于所述tu内的预测信号被确定。

52.根据权利要求1-51中任一项所述的方法,其中所述当前视频块或视频单元包括以下中的至少一项:

53.根据权利要求1-51中任一项所述的方法,其中是否和/或如何应用所述方法的指示在以下之一处被指示:序列级别、图片组级别、图片级别、条带级别或片组级别,或

54.根据权利要求1-51中任一项所述的方法,其中是否和/或如何应用所述方法是基于以下至少一项:

55.根据权利要求54所述的方法,其中所述编解码模式包括以下之一:帧内块复制(ibc)、非ibc帧间模式或非ibc子块模式,或

56.根据权利要求1-55中任一项所述的方法,其中所述转换包括将所述当前视频块编码到所述比特流中。

57.根据权利要求1-55中任一项所述的方法,其中所述转换包括从所述比特流解码所述当前视频块。

58.一种用于视频处理的装置,包括处理器和其上具有指令的非暂态存储器,其中所述指令在由所述处理器执行时使所述处理器执行根据权利要求1-57中任一项所述的方法。

59.一种非暂态计算机可读存储介质,存储使处理器执行根据权利要求1-57中任一项所述的方法的指令。

60.一种非暂态计算机可读记录介质,存储视频的通过由用于视频处理的装置执行的方法而生成的比特流,其中所述方法包括:

61.一种用于存储视频的比特流的方法,包括: