用于视频处理的方法、装置和介质与流程

摘要: 本公开的实施例总体上涉及视频处理技术,更具体地,涉及链式运动矢量预测。背景技术:1、如今,数字视频能力正被应用于人们生活的各个方面。已经针对视频编码/解码提出了...
用于视频处理的方法、装置和介质与流程

本公开的实施例总体上涉及视频处理技术,更具体地,涉及链式运动矢量预测。

背景技术:

1、如今,数字视频能力正被应用于人们生活的各个方面。已经针对视频编码/解码提出了多种类型的视频压缩技术,诸如运动图像专家组(mpeg)-2、mpeg-4、国际电信联盟-电信标准化部门(itu-t)h.263、itu-t h.264/mpeg-4第10部分高级视频编解码(avc)、itu-th.265高效视频编解码(hevc)标准、多功能视频编解码(vvc)标准。然而,视频编解码技术的编码或解码效率通常被期望进一步提高。

技术实现思路

1、本公开的实施例提供了一种用于视频处理的解决方案。

2、在第一方面中,提出了一种用于视频处理的方法。所述方法包括:针对视频的当前视频块与视频的比特流之间的转换,确定当前视频块的链式运动矢量,链式运动矢量包括基于以下至少一项确定的运动矢量或块矢量:经引导的运动矢量或经引导的块矢量;基于链式运动矢量确定基于子块的时域运动矢量;以及基于基于子块的时域运动矢量执行转换。根据本公开的第一方面的方法使得能够使用链式运动矢量来确定基于子块的时域运动矢量。

3、在第二方面中,提出了一种用于视频处理的装置。所述装置包括处理器和其上具有指令的非暂态存储器。所述指令在由处理器执行时使处理器执行根据本公开的第一方面的方法。

4、在第三方面中,提出了一种非暂态计算机可读存储介质。所述非暂态计算机可读存储介质存储指令,所述指令使处理器执行根据本公开的第一方面的方法。

5、在第四方面中,提出了另一种非暂态计算机可读记录介质。所述非暂态计算机可读记录介质存储视频的比特流,视频的比特流通过用于视频处理的装置所执行的方法来生成。所述方法包括:确定视频的当前视频块的链式运动矢量,当前视频块的链式运动矢量,链式运动矢量包括基于以下至少一项确定的运动矢量或块矢量:经引导的运动矢量或经引导的块矢量;基于链式运动矢量确定基于子块的时域运动矢量;以及基于基于子块的时域运动矢量生成比特流。

6、在第五方面中,提出了一种用于存储视频的比特流的方法。所述方法包括:确定视频的当前视频块的链式运动矢量,链式运动矢量包括基于以下至少一项确定的运动矢量或块矢量:经引导的运动矢量或经引导的块矢量;基于链式运动矢量确定基于子块的时域运动矢量;基于基于子块的时域运动矢量生成比特流;以及将比特流存储在非暂态计算机可读记录介质中。

7、本 技术实现要素: 旨在以简化的形式介绍下面在具体实施方式中进一步描述的概念选择。本发明内容不旨在识别所要求保护的主题的关键特征或基本特征,也不旨在用于限制所要求保护的主题的范围。

1.一种用于视频处理的方法,包括:

2.根据权利要求1所述的方法,其中所述基于子块的时域运动矢量基于以下至少一项被确定:

3.根据权利要求1或权利要求2所述的方法,还包括:

4. 根据权利要求3所述的方法,其中所述基于子块的时域运动矢量预测包括merge基于子块的时域运动矢量预测(sbtmvp)或高级运动矢量预测基于子块的时域运动矢量预测(amvp sbtmvp)中的至少一项。

5.根据权利要求1至4中任一项所述的方法,还包括:

6.根据权利要求5所述的方法,其中所述经引导的运动矢量包括所述当前视频块的空域邻近块的运动矢量。

7.根据权利要求5或权利要求6所述的方法,其中所述经引导的运动矢量包括指向参考图片中的参考块的帧间运动矢量。

8.根据权利要求5或权利要求6所述的方法,其中所述经引导的运动矢量包括帧内块复制(ibc)块矢量或帧内模板匹配预测(tmp)块矢量中的至少一项,所述ibc块矢量或所述tmp块矢量指向包含所述当前视频块的当前图片内的参考块。

9.根据权利要求5至8中任一项所述的方法,其中所述级联运动矢量包括所述经引导的运动矢量所指向的参考块的运动矢量。

10.根据权利要求5至9中任一项所述的方法,其中所述级联运动矢量被存储在时域缓存中,所述时域缓存与所述经引导的运动矢量所指向的参考块相关联。

11.根据权利要求5至9中任一项所述的方法,其中所述级联运动矢量被存储在本地缓存中。

12.根据权利要求1至11中任一项所述的方法,还包括:

13.根据权利要求12所述的方法,其中所述多个候选运动位移指向不同参考图片中的参考块,和/或

14. 根据权利要求13所述的方法,其中所述参考图片不包括包含所述当前视频块的当前图片的同位图片。

15.根据权利要求13所述的方法,其中所述多个候选运动位移被要求缩放或指向同位图片内的参考块,和/或

16. 根据权利要求13至15中任一项所述的方法,其中所述参考图片不包括包含所述当前视频块的当前图片的最接近的参考图片。

17.根据权利要求13至15中任一项所述的方法,其中所述多个候选运动位移被要求缩放或指向当前图片的最接近的参考图片,和/或

18.根据权利要求12至17中任一项所述的方法,还包括:

19.根据权利要求18所述的方法,其中确定所述最终运动位移或所述最终运动预测值包括:

20.根据权利要求18所述的方法,还包括:

21. 根据权利要求18所述的方法,还包括:

22. 根据权利要求1至21中任一项所述的方法,还包括:

23.根据权利要求22所述的方法,其中所述运动矢量预测值被包括在运动矢量候选列表中。

24.根据权利要求23所述的方法,其中所述运动矢量候选列表被构建为帧间amvp运动列表。

25.根据权利要求22所述的方法,其中所述运动矢量预测值被用作用于具有所述sbtmvp模式的所述amvp编解码工具的基础矢量。

26.根据权利要求25所述的方法,其中具有所述sbtmvp模式的所述amvp编解码工具的最终运动矢量基于所述基础矢量和运动矢量差被确定。

27.根据权利要求1至26中任一项所述的方法,其中基于子块的时域运动矢量预测模式的运动位移、运动预测值或子块运动矢量中的至少一项指向参考图片,所述参考图片与当前图片的同位图片或最接近的参考图片中的至少一项不同,所述当前图片包含所述当前视频块。

28.根据权利要求27所述的方法,其中所述基于子块的时域运动矢量预测模式包括以下至少一项:

29.根据权利要求27至28中任一项所述的方法,其中所述基于子块的时域运动矢量预测模式的所述子块运动矢量在没有运动矢量缩放的情况下被确定。

30.根据权利要求1至29中任一项所述的方法,其中基于子块的运动矢量预测被用于包含所述当前视频块的当前图片内的运动补偿。

31.根据权利要求30所述的方法,其中所述当前图片内的第一编解码区域中的第一子块的第一块矢量基于所述链式块矢量被确定。

32.根据权利要求30或权利要求31所述的方法,其中所述链式块矢量基于累加所述经引导的块矢量和所述经引导的块矢量的级联块矢量被确定。

33.根据权利要求30至32中任一项所述的方法,其中第一编解码区域中的第一子块的第一块矢量被用于确定当前编解码区域中的第二子块的第二块矢量。

34.根据权利要求33所述的方法,其中所述第一子块或所述第二子块中的至少一项的粒度包括4x4或8x8中的至少一项。

35.根据权利要求1至34中任一项所述的方法,其中所述当前视频块的仿射预测基于所述链式运动矢量被确定。

36.根据权利要求35所述的方法,其中仿射merge预测模式基于所述链式运动矢量被使用。

37.根据权利要求36所述的方法,其中基于所述链式运动矢量确定的时域块被用于所述仿射merge预测。

38.根据权利要求35至37中任一项所述的方法,其中被用于所述仿射预测的所述链式运动矢量通过累加所述经引导的运动矢量和所述经引导的运动矢量的级联运动矢量被确定。

39.根据权利要求38所述的方法,其中所述经引导的运动矢量包括仿射运动矢量列表中的仿射运动候选。

40.根据权利要求39所述的方法,其中所述链式运动矢量被插入到所述仿射运动矢量列表中。

41. 根据权利要求40所述的方法,还包括:

42.根据权利要求36至41中任一项所述的方法,其中经仿射编解码的时域块的控制点运动矢量(cpmv)被继承以用于当前块的所述仿射merge预测。

43.根据权利要求36至42中任一项所述的方法,其中经仿射编解码的时域块的至少一个仿射参数被继承以用于当前块的所述仿射merge预测。

44.根据权利要求35至43中任一项所述的方法,其中仿射高级运动矢量预测(amvp)模式基于所述链式运动矢量被使用。

45. 根据权利要求44所述的方法,还包括:

46.根据权利要求45所述的方法,其中所述时域块包括参考图片中的块。

47.根据权利要求46所述的方法,其中所述链式运动矢量包括指向所述参考图片的运动矢量。

48.根据权利要求45所述的方法,其中所述时域块包括包含所述当前视频块的当前图片中的块。

49.根据权利要求48所述的方法,其中所述链式运动矢量包括指向所述当前图片中的经编码或解码的区域的块矢量。

50.根据权利要求45至49中任一项所述的方法,其中所述链式运动矢量被缩放以指向与所述仿射amvp模式的所述参考索引相关联的参考图片。

51.根据权利要求35至50中任一项所述的方法,其中仿射运动列表基于至少一个链式运动矢量被确定。

52.根据权利要求51所述的方法,其中候选控制点运动矢量(cpmv)通过累加所述经引导的运动矢量和所述经引导的运动矢量的级联运动矢量被确定。

53.根据权利要求52所述的方法,其中所述经引导的运动矢量基于编解码块的运动矢量或块矢量中的至少一项被确定。

54.根据权利要求53所述的方法,其中所述编解码块包括以下至少一项:

55.根据权利要求51至54中任一项所述的方法,其中多个候选控制点运动矢量(cpmv)基于所述至少一个链式运动矢量被确定。

56.根据权利要求55所述的方法,其中所述多个cpmv在没有运动矢量缩放的情况下被确定。

57.根据权利要求56所述的方法,其中运动位移或运动预测值中的至少一项指向与包含所述当前视频块的当前图片的同位图片不同的参考图片。

58.根据权利要求1至57中任一项所述的方法,其中帧间高级运动矢量预测(amvp)预测或帧内块复制(ibc)amvp预测中的至少一项基于至少一个链式运动矢量被确定。

59.根据权利要求58所述的方法,其中所述至少一个链式运动矢量通过累加所述经引导的运动矢量和所述经引导的运动矢量的级联运动矢量被确定。

60.根据权利要求59所述的方法,其中所述经引导的运动矢量包括amvp模式的运动矢量候选。

61.根据权利要求59或权利要求60所述的方法,其中所述经引导的运动矢量基于编解码块的运动矢量或块矢量中的至少一项被确定。

62.根据权利要求61所述的方法,其中所述编解码块包括以下至少一项:

63.根据权利要求58至62中任一项所述的方法,其中所述至少一个链式运动矢量被缩放以指向与参考索引相关联的参考图片,所述参考索引与所述帧间amvp预测相关联。

64. 根据权利要求58至63中任一项所述的方法,其中所述至少一个链式运动矢量被用作针对所述帧间amvp预测或所述ibc amvp预测中的至少一项的候选运动矢量预测值。

65. 根据权利要求58至64中任一项所述的方法,其中所述至少一个链式运动矢量被插入到帧间amvp预测列表或ibc amvp预测列表中的至少一项中。

66. 根据权利要求65所述的方法,还包括:

67. 根据权利要求65所述的方法,还包括:

68.根据权利要求1至67中任一项所述的方法,其中间接块矢量(ibv)模式、帧内模板匹配预测(帧内tmp)模式或直接块矢量(dbv)模式中的至少一项基于至少一个链式运动矢量被确定。

69.根据权利要求68所述的方法,其中所述至少一个链式运动矢量通过累加所述经引导的运动矢量和所述经引导的运动矢量的级联运动矢量被确定。

70.根据权利要求69所述的方法,其中所述经引导的运动矢量包括基于当前色度块的同位亮度块的左上、右上、左下、右下或中心中的至少一项中的亮度样点定位确定的块矢量或运动矢量中的至少一项。

71.根据权利要求69或权利要求70所述的方法,其中所述经引导的运动矢量包括指向参考图片的帧间运动矢量。

72.根据权利要求69或权利要求70所述的方法,其中所述经引导的运动矢量包括指向包含所述当前视频块的当前图片中的经编码或解码的区域的块矢量。

73.根据权利要求69所述的方法,其中所述经引导的运动矢量包括基于与所述当前块相邻或非相邻的空域块确定的块矢量或运动矢量中的至少一项。

74.根据权利要求73所述的方法,其中所述经引导的运动矢量包括指向参考图片的帧间运动矢量。

75.根据权利要求73所述的方法,其中所述经引导的运动矢量包括指向包含所述当前视频块的当前图片中的经编码或解码的区域的块矢量。

76.根据权利要求69至75中任一项所述的方法,其中基于所述经引导的运动或块矢量中的至少一项确定的参考块以帧内块复制(ibc)模式或帧内tmp模式被编码或解码。

77.根据权利要求76所述的方法,其中所述级联运动矢量包括ibc块矢量或帧内tmp块矢量中的至少一项。

78.根据权利要求69至75中任一项所述的方法,其中基于所述经引导的运动或块矢量中的至少一项确定的参考块以帧间模式被编码或被解码。

79.根据权利要求78所述的方法,其中所述级联运动矢量包括帧间运动矢量。

80.根据权利要求69至79中任一项所述的方法,其中基于所述至少一个链式运动矢量确定的参考块被要求以帧内块复制(ibc)模式或帧内tmp模式被编码或被解码。

81.根据权利要求80所述的方法,其中所述参考块位于包含所述当前视频块的当前图片处。

82.根据权利要求80所述的方法,其中所述参考块位于帧间参考图片处。

83.根据权利要求80所述的方法,其中亮度参考块的块矢量被继承并被缩放为当前色度块的块矢量。

84.根据权利要求78至83中任一项所述的方法,其中块矢量基于从参考图片确定的另一块矢量被确定,所述块矢量与dbv预测、帧内块复制(ibc)预测、帧内tmp预测或帧间条带中的块中的至少一项相关联。

85.根据权利要求84所述的方法,其中所述参考图片包括参考图片列表中的可用参考图片。

86.根据权利要求84或权利要求85所述的方法,其中时域参考块的块矢量被用作针对dbv模式、ibc模式或帧内tmp模式的候选,其中所述时域参考块通过与经帧间编码或解码的邻近块相关联的运动矢量被确定,并且所述时域参考块基于ibc模式或帧内tmp模式中的至少一项被编码或解码。

87.根据权利要求86所述的方法,其中所述时域参考块基于至少一个参考图片中的至少一个预定义位置被确定。

88.根据权利要求84至87中任一项所述的方法,其中所述块矢量被应用于所述dbv预测、所述帧内块复制(ibc)预测、所述帧内tmp预测或所述帧间条带中的所述块中的至少一项。

89.根据权利要求68至83中任一项所述的方法,其中块矢量根据基于参考图片确定的链式块矢量被确定,所述块矢量与dbv预测、帧内块复制(ibc)预测、帧内tmp预测或帧间条带中的块中的至少一项相关联。

90.根据权利要求89所述的方法,其中所述参考图片包括参考图片列表中的可用参考图片。

91.根据权利要求89或权利要求90所述的方法,其中根据确定块矢量与时域参考块的参考块相关联,所述链式块矢量通过将与所述时域参考块的所述参考块相关联的所述块矢量和所述时域参考块的另一块矢量相加被确定,所述时域参考块是基于与经帧间编码或解码的邻近块相关联的运动矢量被确定的。

92.根据权利要求91所述的方法,其中所述时域参考块以ibc模式或帧内tmp模式被编码或被解码。

93.根据权利要求89或权利要求90所述的方法,其中时域参考块基于至少一个参考图片中的至少一个预定义位置被确定。

94.根据权利要求89至93中任一项所述的方法,其中所述链式块矢量被用作针对dbv模式、ibc模式或帧内tmp模式中的至少一项的候选。

95.根据权利要求89至94中任一项所述的方法,其中所述块矢量被应用于所述dbv预测、所述ibc预测、所述帧内tmp预测或帧间条带中的所述块中的至少一项。

96.根据权利要求1至95中任一项所述的方法,其中几何分割模式(gpm)merge预测模式、merge运动矢量差(mmvd)merge预测模式、模板匹配(tm)merge预测模式、双边匹配(bm)merge预测模式或高级运动矢量预测(amvp)-merge模式中的至少一项基于至少一个链式运动矢量被确定。

97.根据权利要求96所述的方法,其中所述至少一个链式运动矢量通过累加所述经引导的运动矢量和所述经引导的运动矢量的级联运动矢量被确定。

98.根据权利要求97所述的方法,其中所述至少一个链式运动矢量包括gpm模式的常规gpm运动矢量候选。

99.根据权利要求98所述的方法,其中所述gpm模式包括以下至少一项:

100.根据权利要求98或权利要求99所述的方法,所述至少一个链式运动矢量被用作候选并被插入到常规gpm运动列表中。

101.根据权利要求97所述的方法,其中所述经引导的运动矢量基于常规merge运动矢量候选或mmvd矢量中的至少一项被确定。

102.根据权利要求101所述的方法,其中所述经引导的运动矢量被确定为所述常规merge运动矢量候选加上所述mmvd矢量。

103.根据权利要求101或权利要求102所述的方法,其中所述至少一个链式运动矢量被用作候选并且与至少一个常规mmvd候选比较。

104. 根据权利要求97所述的方法,其中所述经引导的运动矢量包括模板匹配细化之后的tm merge运动矢量候选。

105. 根据权利要求104所述的方法,其中所述至少一个链式运动矢量被用作候选并且与至少一个常规tm merge候选比较。

106.根据权利要求104或权利要求105所述的方法,其中所述至少一个链式运动矢量通过模板匹配被细化。

107. 根据权利要求97所述的方法,其中所述经引导的运动矢量包括双边匹配细化之后的bm merge运动矢量候选。

108. 根据权利要求107所述的方法,其中所述至少一个链式运动矢量被用作候选并且与至少一个常规bm merge候选比较。

109.根据权利要求107或权利要求108所述的方法,其中所述至少一个链式运动矢量通过双边匹配被细化。

110.根据权利要求97所述的方法,其中所述amvp-merge模式的merge部分基于所述至少一个链式运动矢量被确定。

111.根据权利要求110所述的方法,其中所述amvp-merge模式的amvp部分基于所述至少一个链式运动矢量被确定。

112.根据权利要求1至111中任一项所述的方法,其中所述链式运动矢量通过解码器推导的运动细化被细化。

113.根据权利要求112所述的方法,其中所述解码器推导的运动细化包括以下至少一项:

114.根据权利要求112或权利要求113所述的方法,其中所述经细化的链式运动矢量被用作运动候选并被插入到运动列表中。

115.根据权利要求112至114中任一项所述的方法,其中所述经细化的链式运动矢量被用于所述当前视频块的运动补偿。

116.根据权利要求112至115中任一项所述的方法,其中所述经细化的链式运动矢量被用于对所述当前视频块去方块。

117.根据权利要求112至116中任一项所述的方法,其中所述经细化的链式运动矢量不被用于对未来块编码或解码。

118.根据权利要求112至116中任一项所述的方法,其中所述经细化的链式运动矢量被用于对未来块编码或解码。

119.根据权利要求1至118中任一项所述的方法,其中基于历史的运动矢量基于所述链式运动矢量被确定。

120.根据权利要求119所述的方法,其中所述链式运动矢量被插入到基于历史的查找表中。

121.根据权利要求120所述的方法,其中所述基于历史的查找表基于与冗余运动矢量候选的出现相关联的规则被构建,所述冗余运动矢量候选与所述基于历史的查找表中的运动矢量候选之间的差异小于阈值。

122.根据权利要求121所述的方法,其中所述基于历史的查找表中的运动矢量候选的生命周期与所述运动矢量候选的出现正相关。

123.根据权利要求121或权利要求122所述的方法,其中根据确定在所述基于历史的查找表中运动矢量候选具有的出现少于其他运动矢量候选,所述运动矢量候选被去除并被具有更高的出现的运动矢量候选替换。

124.根据权利要求121至123中任一项所述的方法,其中所述运动矢量候选的出现基于冗余运动矢量的数目和与所述运动矢量候选相关联的块的尺寸被确定。

125.根据权利要求1至124中任一项所述的方法,其中所述方法被用于单树编解码。

126.根据权利要求1至124中任一项所述的方法,其中所述方法被用于双树编解码。

127.根据权利要求1至124中任一项所述的方法,其中所述方法被用于色度编解码。

128.根据权利要求1至124中任一项所述的方法,其中所述方法被用于亮度编解码。

129.根据权利要求1至124中任一项所述的方法,其中所述方法被用于帧间块编解码。

130.根据权利要求1至124中任一项所述的方法,其中所述方法被用于以下至少一项:

131.根据权利要求1至130中任一项所述的方法,其中所述方法被用在帧内条带中。

132.根据权利要求1至130中任一项所述的方法,其中所述方法被用在帧间条带中。

133.根据权利要求1至132中任一项所述的方法,其中是否和/或如何应用所述方法在以下之一处被指示:

134.根据权利要求1至132中任一项所述的方法,其中是否和/或如何应用所述方法在以下之一处被指示:

135.根据权利要求1至132中任一项所述的方法,其中是否和/或如何应用所述方法在以下之一处被指示:

136.根据权利要求1至132中任一项所述的方法,还包括:

137.根据权利要求1至136中任一项所述的方法,其中所述转换包括将所述当前视频块编码到所述比特流中。

138.根据权利要求1至136中任一项所述的方法,其中所述转换包括从所述比特流解码所述当前视频块。

139.一种用于视频处理的装置,包括处理器和其上具有指令的非暂态存储器,其中所述指令在由所述处理器执行时使所述处理器执行根据权利要求1至138中任一项所述的方法。

140.一种非暂态计算机可读存储介质,存储指令,所述指令使处理器执行根据权利要求1至138中任一项所述的方法。

141.一种非暂态计算机可读记录介质,存储视频的比特流,所述视频的比特流通过用于视频处理的装置所执行的方法来生成,其中所述方法包括:

142.一种用于存储视频的比特流的方法,包括: