用于视频处理的方法、装置和介质与流程

摘要: 本公开的实施例总体上涉及视频处理技术,并且更具体地,涉及低频不可分变换(lfnst)和/或不可分主变换(nspt)。背景技术:1、如今,数字视频能力正被应用于人...
用于视频处理的方法、装置和介质与流程

本公开的实施例总体上涉及视频处理技术,并且更具体地,涉及低频不可分变换(lfnst)和/或不可分主变换(nspt)。

背景技术:

1、如今,数字视频能力正被应用于人们生活的各个方面。针对视频编码/解码,已经提出了多种类型的视频压缩技术,诸如运动图片专家组(mpeg)-2、mpeg-4、国际电信联盟-电信标准化部门(itu-t)h.263、itu-t h.264/mpeg-4第10部分高级视频编解码(avc)、itu-t h.265高效视频编解码(hevc)标准、多功能视频编解码(vvc)标准。然而,视频编解码技术的编解码效率通常被期望进一步提高。

技术实现思路

1、本公开的实施例提供了一种用于视频处理的解决方案。

2、在第一方面,提出了一种用于视频处理的方法。该方法包括:针对视频的当前视频单元与视频的比特流之间的转换,将低频不可分变换(lfnst)处理或不可分主变换(nspt)处理中的至少一项应用于当前视频单元,当前视频单元以空域几何分割模式(sgpm)进行编码或解码;以及基于应用执行转换。根据本公开的第一方面的方法可以提高编解码效率和编解码质量。

3、在第二方面,提出了另一种用于视频处理的方法。该方法包括:针对视频的当前视频单元与视频的比特流之间的转换,基于当前视频单元的预测信号的定向梯度直方图(hog)确定针对当前视频单元的目标帧内预测模式(ipm);基于目标ipm确定用于编码或解码的至少一个变换核集合,至少一个变换核集合包括低频不可分变换(lfnst)核集合或不可分主变换(nspt)核集合中的至少一项;以及基于至少一个变换核集合执行转换。根据本公开的第二方面的方法可以提高编解码效率和编解码质量。

4、在第三方面,提出了另一种用于视频处理的方法。该方法包括:针对视频的当前视频单元与视频的比特流之间的转换,确定针对当前视频单元的用于变换的至少一个merge列表,变换包括低频不可分变换(lfnst)或不可分主变换(nspt)中的至少一项;以及基于至少一个merge列表执行转换。根据本公开的第三方面的方法可以提高编解码效率和编解码质量。

5、在第四方面,提出了一种用于视频处理的装置。该装置包括处理器和其上具有指令的非暂态存储器。指令在由处理器执行时使处理器执行根据本公开的第一、第二或第三方面的方法。

6、在第五方面,提出了一种非暂态计算机可读存储介质。该非暂态计算机可读存储介质存储使处理器执行根据本公开的第一、第二或第三方面的方法的指令。

7、在第六方面,提出了另一种非暂态计算机可读记录介质。该非暂态计算机可读记录介质存储通过由视频处理装置执行的方法而生成的视频的比特流。该方法包括:将低频不可分变换(lfnst)处理或不可分主变换(nspt)处理中的至少一项应用于当前视频单元,当前视频单元以空域几何分割模式(sgpm)进行编码或解码;以及基于应用生成比特流。

8、在第七方面,提出了另一种非暂态计算机可读记录介质。该非暂态计算机可读记录介质存储通过由视频处理装置执行的方法而生成视频的比特流。该方法包括:将低频不可分变换(lfnst)处理或不可分主变换(nspt)处理中的至少一项应用于当前视频单元,当前视频单元以空域几何分割模式(sgpm)进行编码或解码;基于应用生成比特流;以及将比特流存储在非暂态计算机可读记录介质中。

9、在第八方面,提出了另一种非暂态计算机可读记录介质。该非暂态计算机可读记录介质存储通过由视频处理装置执行的方法而生成的视频的比特流。该方法包括:基于当前视频单元的预测信号的定向梯度直方图(hog),确定针对当前视频单元的目标帧内预测模式(ipm);基于目标ipm确定用于编码或解码的至少一个变换核集合,至少一个变换核集合包括低频不可分变换(lfnst)核集合或不可分主变换(nspt)核集合中的至少一项;以及基于至少一个变换核集合生成比特流。

10、在第九方面,提出了一种用于存储视频的比特流的方法。该方法包括:基于当前视频单元的预测信号的定向梯度直方图(hog),确定针对当前视频单元的目标帧内预测模式(ipm);基于目标ipm确定用于编码或解码的至少一个变换核集合,至少一个变换核集合包括低频不可分变换(lfnst)核集合或不可分主变换(nspt)核集合中的至少一项;基于至少一个变换核集合生成比特流;以及将比特流存储在非暂态计算机可读记录介质中。

11、在第十方面,提出了一种用于存储视频的比特流的方法。该方法包括:确定针对当前视频单元的用于变换的至少一个merge列表,变换包括低频不可分变换(lfnst)或不可分主变换(nspt)中的至少一项;以及基于至少一个merge列表生成比特流。

12、在第十一方面,提出了一种用于存储视频的比特流的方法。该方法包括:确定针对当前视频单元的用于变换的至少一个merge列表,变换包括低频不可分变换(lfnst)或不可分主变换(nspt)中的至少一项;基于至少一个merge列表生成比特流;以及将比特流存储在非暂态计算机可读记录介质中。

13、本 技术实现要素: 旨在以简化的形式介绍下面在具体实施方式中进一步描述的概念选择。本发明内容不旨在标识所要求保护的主题的关键特征或基本特征,也不旨在用于限制所要求保护的主题的范围。

1. 一种用于视频处理的方法,包括:

2.根据权利要求1所述的方法,其中应用所述lfnst处理或所述nspt处理中的至少一项包括:

3.根据权利要求2所述的方法,其中所述多个ipm基于以下至少一项被确定:所述当前视频单元的预测信号的定向梯度直方图(hog),或所述预测信号的梯度的累积幅度。

4.根据权利要求3所述的方法,其中所述ipm列表包括在所述多个ipm中产生两个最高hog幅度的两个帧内模式。

5.根据权利要求3所述的方法,其中所述hog的确定与针对dimd模式的hog的确定相同。

6.根据权利要求2所述的方法,其中针对所述ipm列表中的每个候选ipm,针对所述当前视频单元的第一分割的第一预测信号确定第一hog,并且针对所述当前视频单元的第二分割的第二预测信号确定第二hog。

7.根据权利要求6所述的方法,其中所述多个ipm包括为所述第一分割产生最高hog幅度的第一帧内模式和为所述第二分割产生最高hog幅度的第二帧内模式。

8.根据权利要求2-7中任一项所述的方法,其中响应于ipm的索引值小于或大于阈值,所述当前视频单元的对应分割的所述ipm被用作候选lfnst或候选nspt,其中所述阈值是常数值或推导值。

9.根据权利要求2-8中任一项所述的方法,其中针对经gpm编解码的块,指示所述多个ipm中的至少一个ipm的至少一个索引在所述比特流中被指示。

10.一种用于视频处理的方法,包括:

11.根据权利要求10所述的方法,其中所述目标ipm进一步基于以下至少一项被确定:

12.根据权利要求11所述的方法,其中所述目标ipm包括具有前n高的所述梯度累积幅度的ipm,n为整数。

13.根据权利要求12所述的方法,其中所述固定帧内模式包括以下至少一项:平面帧内模式,dc帧内模式,或具有角度索引的帧内模式。

14. 根据权利要求10-13中任一项所述的方法,还包括:

15.根据权利要求14所述的方法,其中所述ipm列表按顺序包括以下ipm:

16.根据权利要求15所述的方法,其中所述ipm列表包括具有前n高的所述梯度累积幅度的ipm,n为整数。

17.根据权利要求15所述的方法,其中所述固定帧内模式包括以下至少一项:平面帧内模式,dc帧内模式,或具有角度索引的帧内模式。

18.根据权利要求14-17中任一项所述的方法,其中所述ipm列表中的帧内模式的数目小于或等于阈值数目。

19.根据权利要求18所述的方法,其中响应于所述ipm列表中的帧内模式的数目达到所述阈值数目,所述ipm列表的构建终止。

20.根据权利要求15-19中任一项所述的方法,还包括:

21.根据权利要求14-20中任一项所述的方法,其中指示所述ipm列表中的目标候选的索引被包括在所述比特流中。

22.根据权利要求21所述的方法,其中所述索引用以下之一被编码或被解码:舍位rice(tr)码、舍位二进制(tb)码、第k阶指数哥伦布(egk)码,k为整数,或固定长度(fl)码。

23.根据权利要求21或22所述的方法,其中由所述索引指示的所述目标候选被用于映射对应的lfnst或nspt信息,所述lfnst或nspt信息包括lfnst或nspt集。

24.根据权利要求23所述的方法,其中所述lfnst或nspt集中的候选lfnst或候选nspt的索引被包括在所述比特流中,以指示所述候选lfnst或所述候选nspt。

25.根据权利要求14-24中任一项所述的方法,其中是否和/或如何构建所述ipm列表基于所述当前视频单元的至少一个相邻或不相邻块的编码或解码信息,

26.根据权利要求14-24中任一项所述的方法,其中是否和/或如何构建所述ipm列表基于所述当前视频单元的编码或解码信息。

27.根据权利要求26所述的方法,其中所述当前视频单元的编码或解码信息包括以下至少一项:

28.根据权利要求26所述的方法,其中所述当前视频单元的编码或解码信息基于至少一个预测模式被确定,所述至少一个预测模式包括以下至少一项:

29.根据权利要求26所述的方法,其中具有第一类型的编码或解码信息的所述当前视频单元定义第一ipm列表,具有第二类型的编码或解码信息的所述当前视频单元定义第二ipm列表。

30.根据权利要求29所述的方法,其中针对具有所述第一类型的编码或解码信息的所述当前视频单元确定所述ipm列表中的第一最大允许候选数目,针对具有所述第二类型的编码或解码信息的所述当前视频单元确定所述ipm列表中的第二最大允许候选数目。

31.根据权利要求30所述的方法,其中响应于具有所述第一类型的编码或解码信息的所述当前视频单元以gpm模式或sgpm模式被编码或被解码,所述第一最大允许候选数目大于或小于所述第二最大允许候选数目。

32.根据权利要求29所述的方法,其中针对具有所述第一类型的编码或解码信息的所述当前视频单元确定用于从所述ipm列表中确定所述目标ipm的第一模式,针对具有所述第二类型的编码或解码信息的所述当前视频单元确定用于从所述ipm列表中确定所述目标ipm的第二模式。

33.根据权利要求32所述的方法,其中所述第一模式基于以下至少一项的第一组合被确定:

34.根据权利要求32所述的方法,其中所述第二模式基于以下至少一项的第二组合被确定:

35.根据权利要求33或34所述的方法,其中所述固定帧内模式包括以下至少一项:平面帧内模式,dc帧内模式,或具有角度索引的帧内模式。

36.根据权利要求33或34所述的方法,其中所述ipm列表包括具有前n高的所述梯度累积幅度的ipm,n为整数。

37.根据权利要求35或36所述的方法,其中至少一个ipm列表基于第一dimd模式或第二dimd模式中的至少一项被构建。

38.根据权利要求37所述的方法,其中响应于所述当前视频单元以以下至少一项被编码或被解码:mip模式、eip模式、itmp模式、gpm模式或sgpm模式,所述ipm列表基于所述第一dimd模式或所述第二dimd模式中的至少一项被构建。

39.根据权利要求35或36所述的方法,其中至少一个ipm列表基于第一timd模式或第二timd模式中的至少一项被构建。

40.根据权利要求39所述的方法,其中响应于所述当前视频单元以timd模式被编码或被解码,所述ipm列表基于所述第一timd模式或所述第二timd模式中的至少一项被构建。

41.根据权利要求35或36所述的方法,其中至少一个ipm列表基于第一dimd模式或邻近的重建块的所述dimd模式中的至少一项被构建。

42.根据权利要求41所述的方法,其中响应于所述当前视频单元以mip模式、eip模式、itmp模式、gpm模式、sgpm模式或dimd模式被编码或被解码,所述ipm列表基于所述第一dimd模式或邻近的重建块的所述dimd模式中的至少一项被构建。

43.根据权利要求35所述的方法,其中至少一个ipm列表基于第一dimd模式或所述固定的ipm中的至少一项被构建。

44.根据权利要求43所述的方法,其中响应于所述当前视频单元以mip模式、eip模式、itmp模式、gpm模式、sgpm模式或dimd模式被编码或被解码,所述ipm列表基于所述第一dimd模式或所述固定的ipm中的至少一项被构建。

45.根据权利要求10-27中任一项所述的方法,其中所述比特流中的第一语法元素指示lfnst或nspt是否被应用于所述当前视频单元。

46.根据权利要求45所述的方法,其中所述第一语法元素指示应用所述lfnst或nspt,并且所述比特流中的第二语法元素指示与所述lfnst或nspt相关联的帧内模式的索引。

47.根据权利要求46所述的方法,其中响应于所述第一语法元素的值满足条件,所述第二语法元素被包括在所述比特流中。

48.根据权利要求46或47所述的方法,其中所述第一语法元素指示lfnst或nspt候选的索引,并且所述第二语法元素指示用于推导lfnst或nspt集的索引的帧内模式。

49. 一种用于视频处理的方法,包括:

50.根据权利要求49所述的方法,其中所述至少一个merge列表中的merge候选包括与所述变换相关的至少部分信息。

51. 根据权利要求49或50所述的方法,其中与所述变换相关的所述信息包括以下至少一项:

52.根据权利要求49-51中任一项所述的方法,其中针对lfnst或nspt的merge候选从以下至少一项被获得:所述当前视频单元的相邻位置,或所述当前视频单元的不相邻位置。

53.根据权利要求49-52中任一项所述的方法,其中针对lfnst或nspt的merge候选从至少一个位置被获得,所述至少一个位置基于所述当前视频单元的运动矢量或块矢量中的至少一项被确定。

54.根据权利要求49-53中任一项所述的方法,其中针对lfnst或nspt的merge候选从包括与先前编解码的块相关联的lfnst或nspt信息的历史表被获得。

55.根据权利要求49-54中任一项所述的方法,其中针对lfnst或nspt的merge候选从至少一个时域位置被获得。

56.根据权利要求49-55中任一项所述的方法,其中针对lfnst或nspt的多个merge候选被检查,并且以预定义顺序被包括在所述至少一个merge列表中。

57.根据权利要求56所述的方法,其中由所述当前视频单元的运动矢量或块矢量指定的至少一个merge候选在从相邻块获得的至少一个merge候选之前被检查。

58.根据权利要求56或57所述的方法,其中相邻的merge候选在不相邻的merge候选之前被检查。

59. 根据权利要求56-58中任一项所述的方法,其中所述多个merge候选的检查顺序是基于所述多个merge候选到所述当前视频单元的当前位置的距离。

60.根据权利要求56-59中任一项所述的方法,其中第一位置的第一merge候选的第一优先级高于第二位置的第二merge候选的第二优先级,从所述第一位置到所述当前视频单元的当前位置的第一距离小于从所述第二位置到所述当前位置的第二位置,以及

61.根据权利要求49-60中任一项所述的方法,还包括:

62.根据权利要求61所述的方法,其中响应于所述位置的编码或解码信息满足条件,对应帧间或帧内lfnst或nspt信息被包括在所述至少一个merge列表中。

63.根据权利要求49-62中任一项所述的方法,其中响应于所述至少一个merge候选列表中的可用候选的数目达到最大允许数目,merge候选的检查过程终止。

64.根据权利要求49-63中任一项所述的方法,还包括:

65.根据权利要求64所述的方法,其中所述历史表在所述转换期间被维护或更新。

66.根据权利要求49-63中任一项所述的方法,其中针对lfnst或nspt的所述至少一个merge列表的构建与去重过程一起进行。

67.根据权利要求66所述的方法,其中响应于第一候选的第一索引与lfnst集的第二索引或所述至少一个merge列表中的lfnst候选的第三索引中的至少一项相同,所述第一候选被确定为冗余。

68.根据权利要求49-67中任一项所述的方法,其中指示最后一个merge列表中的候选的索引在所述比特流中被指示。

69.根据权利要求68所述的方法,其中所述索引用以下之一被编码或被解码:舍位rice(tr)码、舍位二进制(tb)码、第k阶指数哥伦布(egk)码,k为整数,或固定长度(fl)码。

70.根据权利要求68所述的方法,其中由所述索引指示的继承的帧间lfnst或nspt信息被用于进行帧间lfnst或nspt。

71.根据权利要求49-70中任一项所述的方法,其中所述比特流中的第一语法元素指示lfnst或nspt是否被用于所述当前视频单元。

72. 根据权利要求71所述的方法,其中所述第一语法元素指示使用所述lfnst或nspt,并且所述比特流中的第二语法元素指示lfnst或nspt merge列表中的候选索引。

73.根据权利要求72所述的方法,其中由所述第二语法元素指示的lfnst或nspt集或lfnst或nspt候选中的至少一项被用于所述lfnst或nspt。

74.根据权利要求71所述的方法,其中所述第一语法元素指示使用所述lfnst或nspt,并且所述比特流中的第二语法元素指示针对所述当前视频单元merge模式是否被使用。

75. 根据权利要求74所述的方法,其中所述第二语法元素指示使用lfnst或nsptmerge模式,所述比特流中的第三语法元素指示lfnst或nspt merge列表中的候选索引。

76. 根据权利要求74所述的方法,其中所述第二语法元素指示lfnst或nspt merge模式未被使用,所述比特流中的第四语法元素指示lfnst或nspt集中的候选索引。

77. 根据权利要求76所述的方法,其中响应于lfnst或nspt merge模式未被使用,针对lfnst或nspt集帧内模式被确定。

78.根据权利要求77所述的方法,其中所述帧内模式被映射到针对所述lfnst或nspt集的索引。

79.根据权利要求77所述的方法,其中所述第四语法元素指示所述lfnst或nspt集的核集。

80.根据权利要求71所述的方法,其中所述第一语法元素指示使用所述lfnst或nspt并且所述第一语法元素满足条件,并且所述比特流中的第二语法元素指示lfnst或nspt集中的候选索引。

81.根据权利要求80所述的方法,其中所述条件包括所述第一语法元素的值是预定义值。

82. 根据权利要求80或81所述的方法,其中所述第一语法元素指示使用所述lfnst或nspt但所述第一语法元素不满足所述条件,所述第一语法元素的值或所述第一语法元素的变换值被用作lfnst或nspt merge列表中的候选索引。

83.根据权利要求82所述的方法,其中没有关于lfnst或nspt的另外的语法元素被包括在所述比特流中,并且继承的lfnst或nspt信息被用于所述lfnst或nspt。

84.根据权利要求82所述的方法,其中响应于所述第一语法元素不满足所述条件,针对lfnst或nspt集帧内模式被确定。

85.根据权利要求84所述的方法,其中所述帧内模式被映射到针对所述lfnst或nspt集的索引。

86.根据权利要求85所述的方法,其中所述第二语法元素指示所述lfnst或nspt集的核集。

87.根据权利要求1-86中任一项所述的方法,其中所述方法被应用于以下至少一项:帧间lfnst、帧间nspt、帧内lfnst或帧内nspt。

88.根据权利要求1-87中任一项所述的方法,其中所述当前视频单元或视频单元包括以下至少一项:

89.根据权利要求1-88中任一项所述的方法,其中是否应用所述方法和/或如何应用所述方法的指示在以下之一处被指示:序列级别、图片组级别、图片级别、条带级别或片组级别。

90.根据权利要求1-88中任一项所述的方法,其中是否和/或如何应用所述方法的指示在以下之一中被指示:

91.根据权利要求1-88中任一项所述的方法,其中是否和/或如何应用所述方法基于以下至少一项:

92.根据权利要求91所述的方法,其中所述编码或解码模式包括以下之一:帧内块复制(ibc)、非ibc帧间模式或非ibc子块模式,或

93.根据权利要求1-92中任一项所述的方法,其中所述转换包括将所述当前视频单元编码到所述比特流中。

94.根据权利要求1-92中任一项所述的方法,其中所述转换包括从所述比特流解码所述当前视频单元。

95.一种用于视频处理的装置,包括处理器和其上具有指令的非暂态存储器,其中所述指令在由所述处理器执行时使所述处理器执行根据权利要求书1-94中任一项所述的方法。

96.一种非暂态计算机可读存储介质,存储使处理器执行根据权利要求1-94中任一项所述的方法的指令。

97. 一种非暂态计算机可读记录介质,存储通过由视频处理装置执行的方法而生成的视频的比特流,其中所述方法包括:

98.一种用于存储视频的比特流的方法,包括:

99.一种非暂态计算机可读记录介质,存储通过由视频处理装置执行的方法而生成的视频的比特流,其中所述方法包括:

100.一种用于存储视频的比特流的方法,包括:

101. 一种非暂态计算机可读记录介质,存储通过由视频处理装置执行的方法而生成的视频的比特流,其中所述方法包括:

102.一种用于存储视频的比特流的方法,包括: