一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

用于防止小尺寸的帧内块的视频编码方法和设备、以及视频解码方法和设备与流程

2022-02-19 07:23:25 来源:中国专利 TAG:


1.本公开涉及图像编码和解码领域。详细地讲,本公开涉及一种用于通过将图像划分为具有各种形状的块来对视频进行编码和解码的方法和设备。


背景技术:

2.在根据现有技术的压缩方法中,在确定编码单元的尺寸的处理中确定是否对包括在画面中的编码单元进行划分之后,经由递归划分处理均匀地划分出具有相同尺寸的4个编码单元,因此,正方形编码单元被确定。然而,近来,针对高分辨率图像,使用具有均匀正方形形状的编码单元已经导致重建图像的图像质量的劣化。因此,提供了用于将高分辨率图像划分为具有各种形状的编码单元的方法和设备。
3.本公开提供了一种用于针对具有各种形状的编码单元的尺寸有效地用信号传送语法元素的编码方法和设备以及解码方法和设备。


技术实现要素:

4.技术问题
5.根据实施例的技术目的在于在视频编码设备与视频解码设备之间有效地用信号传送关于块的划分方法的信息,以对通过使用从图像划分为各种形状的块进行编码的视频进行解码。
6.问题的解决方案
7.根据本公开的实施例的一种视频解码方法包括:基于从比特流获得的关于画面的宽度的信息来获得所述画面的所述宽度,并且基于从所述比特流获得的关于所述画面的高度的信息来获得所述画面的所述高度;当根据从所述画面产生的当前块的亮度宽度的x坐标不大于所述画面的所述宽度,根据所述当前块的亮度高度的y坐标不大于所述画面的所述高度,并且所述当前块的亮度块的划分模式为不划分模式时,对所述亮度块进行解码;以及确定与所述亮度块相应的色度块并且对所述色度块进行解码,其中,所述关于所述画面的所述宽度的信息指示在所述画面的宽度方向上布置的亮度样点的数量,在所述宽度方向上布置的亮度样点的所述数量是8的整数倍,所述关于所述画面的所述高度的信息指示在所述画面的高度方向上布置的亮度样点的数量,并且在所述高度方向上布置的亮度样点的所述数量是8的整数倍。
8.公开的有益效果
9.根据本公开的各种实施例,可通过约束可由视频解码设备支持的画面的尺寸来防止产生小尺寸的帧内块。因此,可从根本上防止当视频解码设备和视频编码设备使用小尺寸的帧内块时可能出现的吞吐量。
10.然而,可通过根据实施例的使用并行块和画面的编码和解码方法以及使用并行块和画面的编码和解码设备实现的效果不限于上述效果。基于以下描述,本领域普通技术人
员将清楚地理解未提及的其他效果。
附图说明
11.提供每一个附图的简要描述以更好地理解这里所引用的附图。
12.图1是根据实施例的图像解码设备的示意性框图。
13.图2是根据实施例的图像解码方法的流程图。
14.图3示出根据实施例的由图像解码设备执行的通过对当前编码单元进行划分来确定至少一个编码单元的处理。
15.图4示出根据实施例的由图像解码设备执行的通过对非正方形编码单元进行划分来确定至少一个编码单元的处理。
16.图5示出根据实施例的由图像解码设备执行的基于块形状信息和划分形状模式信息中的至少一种信息对编码单元进行划分的处理。
17.图6示出根据实施例的由图像解码设备执行的从奇数个编码单元中确定特定编码单元的方法。
18.图7示出根据实施例的当图像解码设备通过对当前编码单元进行划分来确定多个编码单元时对所述多个编码单元进行处理的顺序。
19.图8示出根据实施例的由图像解码设备执行的当不能按特定顺序对编码单元进行处理时确定当前编码单元将被划分为奇数个编码单元的处理。
20.图9示出根据实施例的由图像解码设备执行的通过对第一编码单元进行划分来确定至少一个编码单元的处理。
21.图10示出根据实施例的当在图像解码设备对第一编码单元进行划分时确定的具有非正方形形状的第二编码单元满足预定条件时第二编码单元可划分为的形状受到限制。
22.图11示出根据实施例的由图像解码设备执行的当划分形状模式信息不能指示正方形编码单元被划分为四个正方形编码单元时对正方形编码单元进行划分的处理。
23.图12示出根据实施例的可依据对编码单元进行划分的处理来改变多个编码单元之间的处理顺序。
24.图13示出根据实施例的当编码单元被递归地划分使得多个编码单元被确定时在编码单元的形状和尺寸改变时的确定编码单元的深度的处理。
25.图14示出根据实施例的基于编码单元的形状和尺寸可确定的深度以及用于区分编码单元的部分索引(pid)。
26.图15示出根据实施例的基于包括在画面中的多个特定数据单元确定多个编码单元。
27.图16是图像编码和解码系统的框图。
28.图17是根据实施例的视频解码设备的详细框图。
29.图18是根据实施例的视频解码方法的流程图。
30.图19是根据实施例的视频编码设备的框图。
31.图20是根据实施例的视频编码方法的流程图。
32.图21示出当画面的宽度和高度不是8的倍数时编码树单元(ctu)偏离画面的边界线的情况。
33.图22示出当画面的宽度和高度不是8的倍数时跨越画面边界线的ctu被四划分为8
×
8的尺寸的情况。
34.图23示出根据另一实施例的在跨越画面的边界线的ctu与位于画面中的ctu之间不同地设置用于允许四划分的条件的情况。
35.图24和图25示出根据另一实施例的在跨越画面的边界线的ctu与位于画面中的ctu之间不同地设置用于允许二划分的条件的情况。
36.图26示出根据另一实施例的在跨越画面的边界线的ctu与位于画面中的ctu之间不同地设置用于允许三划分的条件的情况。
37.图27示出根据另一实施例的执行填充使得位于画面的边界线处并且尺寸为2
×
2、4
×
2或2
×
4的色度块变为尺寸为4
×
4的色度块的实施例。
38.图28示出根据另一实施例的当位于画面的边界线处并且尺寸为2
×
2的色度块被填充为尺寸为4
×
4的色度块时执行变换/量化和残差编码的处理。
39.图29示出尺寸为128
×
128的ctu中的变换块的编码顺序。
40.图30示出当对图29的ctu执行四划分、二水平划分和二垂直划分时的划分块的编码顺序。
41.图31示出根据编码顺序的将用于在管道数据单元中执行预测的参考样点的位置被改变的实施例。
42.图32示出根据实施例的在尺寸为128
×
128的ctu中允许的用于固定管道数据单元的编码顺序的划分方法的第一集合。
43.图33示出根据实施例的在尺寸为128
×
128的ctu中允许的用于固定管道数据单元的编码顺序的划分方法的第二集合。
44.图34示出根据实施例的在尺寸为128
×
128的ctu中允许的用于固定管道数据单元的编码顺序的划分方法的第三集合。
45.图35示出根据实施例的可应用于通用视频编码(vvc)国际标准以便约束ctu中允许的划分方法的实施例。
46.图36示出根据图35的实施例的被添加以允许二划分以便可应用于vvc国际标准的条件。
47.图37示出根据实施例的可应用于基本视频编码(evc)国际标准以便约束ctu中允许的划分方法的实施例。
48.图38示出根据图37的实施例的被添加以允许二划分以便可应用于evc国际标准的条件。
具体实施方式
49.本公开的最佳实施方式
50.根据本公开的实施例的一种视频解码方法包括:基于从比特流获得的关于画面的宽度的信息来获得所述画面的宽度,并且基于从比特流获得的关于画面的高度的信息来获得画面的高度;当根据从所述画面产生的当前块的亮度宽度的x坐标不大于所述画面的所述宽度,根据所述当前块的亮度高度的y坐标不大于所述画面的所述高度,并且所述当前块的亮度块的划分模式为不划分模式时,对所述亮度块进行解码;以及确定与所述亮度块相
应的色度块并且对所述色度块进行解码,其中,所述关于所述画面的所述宽度的信息指示在所述画面的宽度方向上布置的亮度样点的数量,在所述宽度方向上布置的亮度样点的所述数量是8的整数倍,所述关于所述画面的所述高度的信息指示在所述画面的高度方向上布置的亮度样点的数量,并且在所述高度方向上布置的亮度样点的所述数量是8的整数倍。
51.根据实施例,获得所述画面的所述高度的步骤可包括:当所述当前块允许的最小块的宽度和高度中的至少一个小于8时,根据所述关于所述画面的所述宽度的信息获得作为8的整数倍的所述画面的所述宽度,并且根据所述关于所述画面的所述高度的信息获得作为8的整数倍的所述画面的所述高度。
52.根据实施例,对所述色度块进行解码的步骤可包括:当所述当前块的树类型为双树型时,与所述当前块的亮度块的树结构分开地确定色度块的树结构,并且根据确定的所述树结构对所述色度块进行解码。
53.根据实施例,对所述色度块进行解码的步骤可包括:当根据依据所述树结构的色度块之中的当前色度块的宽度的x坐标不大于所述画面的所述宽度,根据所述当前色度块的高度的y坐标不大于所述画面的所述高度,并且所述当前色度块的划分模式为不划分模式时,对所述当前色度块进行解码。
54.根据实施例,确定所述当前色度块的所述树结构的步骤可包括:当所述当前块的所述树类型为双树型且所述当前块的预测模式为帧内预测模式时,并且当所述色度块的宽度为4时,不允许对所述色度块的二垂直划分。
55.根据实施例,确定所述当前色度块的所述树结构的步骤可包括:当所述当前块的所述树类型为双树型且所述当前块的预测模式为帧内预测模式时,并且当与所述亮度块相应的色度样点的数量小于或等于16时,不允许对所述色度块的二划分。
56.根据实施例,确定所述当前色度块的所述树结构的步骤可包括:当所述当前块的所述树类型为双树型且所述当前块的预测模式为帧内预测模式时,并且当与所述亮度块相应的色度样点的数量小于或等于32时,不允许对所述色度块的三划分。
57.根据实施例,其中,所述关于所述画面的所述宽度的信息可指示作为所述亮度块的最小尺寸和8中的较大值的整数倍的值,并且所述关于所述画面的所述高度的信息指示作为所述亮度块的最小尺寸和8中的较大值的整数倍的值。
58.根据实施例,所述关于所述画面的所述宽度的信息和所述关于所述画面的所述高度的信息可以是画面参数集语法结构和序列参数集语法结构中的至少一个获得的。
59.根据本公开的实施例的一种视频解码设备包括:亮度块解码器,被配置为:基于从比特流获得的关于画面的宽度的信息获得所述画面的所述宽度;基于从所述比特流获得的关于所述画面的高度的信息来获得所述画面的所述高度;并且当根据从所述画面产生的当前块的亮度宽度的x坐标不大于所述画面的所述宽度,根据所述当前块的亮度高度的y坐标不大于所述画面的所述高度并且所述当前块的亮度块的划分模式为不划分模式时,对所述亮度块进行解码;以及色度块解码器,被配置为对与所述亮度块相应的色度块进行解码,其中,所述关于所述画面的所述宽度的信息指示在所述画面的宽度方向上布置的亮度样点的数量,在所述宽度方向上布置的亮度样点的所述数量是8的整数倍,所述关于所述画面的所述高度的信息指示在所述画面的高度方向上布置的亮度样点的数量,并且在所述高度方向上布置的亮度样点的所述数量是8的整数倍。
60.根据本公开的实施例的一种视频编码方法包括:产生关于画面的宽度的信息和关于所述画面的高度的信息,其中,所述关于所述画面的所述宽度的信息指示在所述画面的宽度方向上布置的亮度样点的数量,所述关于所述画面的所述高度的信息指示在所述画面的高度方向上布置的亮度样点的数量;当根据从所述画面产生的当前块的亮度宽度的x坐标不大于所述画面的所述宽度,根据所述当前块的亮度高度的y坐标不大于所述画面的所述高度,并且所述当前块的亮度块的划分模式为不划分模式时,对所述亮度块进行编码;以及确定与所述亮度块相应的色度块并且对所述色度块进行编码,其中,在所述画面的宽度方向上布置的亮度样点的所述数量是8的整数倍,并且在所述画面的高度方向上布置的亮度样点的所述数量是8的整数倍。
61.根据实施例,产生所述关于所述画面的所述宽度的信息和所述关于所述画面的所述高度的信息的步骤可包括:当所述当前块允许的最小块的宽度和高度中的至少一个小于8时,将所述画面的所述宽度确定为8的整数倍,并且将所述画面的所述高度确定为8的整数倍。
62.根据实施例,对所述色度块的进行编码的步骤可包括:当所述当前块的树类型为双树型时,与所述当前块的亮度块的树结构分开地确定色度块的树结构,并且根据确定的所述树结构对所述色度块进行编码。
63.根据实施例,对所述色度块进行编码的步骤可包括:当根据依据所述树结构的所述色度块之中的当前色度块的宽度的x坐标不大于所述画面的所述宽度,根据所述当前色度块的高度的y坐标不大于所述画面的所述高度并且所述当前色度块的划分模式为不划分模式时,对所述当前色度块进行编码。
64.根据实施例,所述关于所述画面的所述宽度的信息可被产生以指示所述亮度块的最小尺寸和8中的较大值的整数倍,并且所述关于所述画面的所述高度的信息被产生以指示所述亮度块的最小尺寸和8中的较大值的整数倍。
65.根据本公开的实施例的一种计算机可读记录介质在其上记录有用于在计算机上执行视频解码方法的程序。
66.根据本公开的实施例的一种计算机可读记录介质在其上记录有用于在计算机上执行视频编码方法的程序。
67.本公开的实施方式
68.由于本公开允许各种改变和许多示例,因此将在附图中示出并在书面描述中详细描述特定实施例。然而,这并不旨在将本公开限制于特定的实施的具体方式,并且将理解的是,不脱离各种实施例的精神和技术范围的所有改变、等同物和替代物都被包含在本公开中。
69.在实施例的描述中,当认为现有技术的某些详细解释可能不必要地模糊本公开的本质时,省略了现有技术的某些详细解释。此外,在说明书的描述中使用的序数(例如,第一、第二等)仅仅是用于将一个元素与另一元素区分开的标识码。
70.此外,在本说明书中,将理解的是,当元件彼此“连接”或“结合”时,元件可彼此直接连接或结合,但是除非另有说明,否则可选地可通过在其间的中间元件彼此连接或结合。
71.在本说明书中,关于表示为“单元”或“模块”的元件,可将两个或更多个元件组合为一个元件,或者可根据细分的功能将一个元件划分为两个或更多个元件。另外,下文描述
的每一个元件除了其自身的主要功能之外,还可另外执行由另一元件执行的一些或全部功能,并且每一个元件的主要功能中的一些功能可完全由另一组件执行。
72.此外,在本说明书中,“图像”或“画面”可表示视频的静止图像或运动图像(即,视频本身)。
73.此外,在本说明书中,“样点”表示被分配给图像的采样位置的数据,即,将被处理的数据。例如,空间域中的图像的像素值和变换区域上的变换系数可以是样点。包括至少一个这样的样点的单元可被定义为块。
74.此外,在本说明书中,“当前块”可表示将被编码或解码的当前图像的编码树单元(ctu)、编码单元、预测单元或变换单元的块。
75.在本说明书中,列表0方向上的运动矢量可表示用于指示包括在列表0中的参考画面中的块的运动矢量,以及列表1方向上的运动矢量可表示用于指示包括在列表1中的参考画面中的块的运动矢量。此外,单向的运动矢量可表示用于指示包括在列表0或列表1中的参考画面中的块的运动矢量,以及双向的运动矢量可表示运动矢量包括列表0方向上的运动矢量及列表1方向上的运动矢量。
76.此外,在本说明书中,块的“二划分”表示用于产生宽度或高度为块的宽度或高度的一半的两个子块的划分。具体地讲,当对当前块执行“二垂直划分”时,沿垂直方向(高度方向)在当前块的宽度的二分之一点处执行划分,因此,可产生两个子块,其中,每一个子块具有当前块的宽度的一半宽度和与当前块的高度相同的高度。当对当前块执行“二水平划分”时,沿水平方向(宽度方向)在当前块的高度的二分之一点处执行划分,因此,可产生两个子块,其中,每一个子块具有当前块的高度的一半高度和与当前块的宽度相同的宽度。
77.此外,在本说明书中,块的“三划分”表示用于通过按照1:2:1的比例对块的宽度或高度进行划分来产生三个子块的划分。具体地讲,当对当前块执行“垂直三划分”时,沿垂直方向(高度方向)在当前块的宽度的1:2:1的比例的点处执行划分,因此,可产生两个子块和一个子块,其中,所述两个子块中的每一个具有当前块的宽度的四分之一宽度和与当前块的高度相同的高度,所述一个子块具有当前块的宽度的四分之二宽度和与当前块的高度相同的高度。当对当前块执行“水平三划分”时,沿水平方向(宽度方向)在当前块的高度的1:2:1的比例的点处执行划分,因此,可产生两个子块和一个子块,其中,所述两个子块中的每一个具有当前块的高度的四分之一高度和与当前块的宽度相同的宽度,所述一个子块具有当前块的高度的四分之二高度和与当前块的宽度相同的宽度。
78.此外,在本说明书中,块的“四划分”表示用于通过按照1:1的比例对块的宽度和高度进行划分来产生四个子块的划分。具体地讲,当对当前块执行“四划分”时,沿垂直方向(高度方向)在当前块的宽度的二分之一点处执行划分,并且沿水平方向(宽度方向)在当前块的高度的二分之一点处执行划分,因此,可产生四个子块,其中,每一个子块具有当前块的宽度的一半宽度和当前块的高度的一半高度。
79.在下文中,将参照图1至图16描述根据实施例的图像编码设备和图像解码设备以及图像编码方法和图像解码方法。将参照图3至图16描述根据实施例的确定图像的数据单元的方法,并且将参照图17至图38描述根据实施例的视频编码/解码方法。
80.在下文中,将参照图1和图2描述根据本公开的实施例的用于基于各种形状的编码单元的自适应选择的方法和设备。
81.图1是根据实施例的图像解码设备的示意性框图。
82.图像解码设备100可包括接收器110和解码器120。接收器110和解码器120可包括至少一个处理器。此外,接收器110和解码器120可包括存储将由至少一个处理器执行的指令的存储器。
83.接收器110可接收比特流。比特流包括由稍后描述的图像编码设备编码2200的图像的信息。此外,比特流可以是从图像编码设备2200发送的。图像编码设备2200和图像解码设备100可通过有线或无线地连接,并且接收器110可通过有线或无线地接收比特流。接收器110可从存储介质(诸如,光学介质或硬盘)接收比特流。解码器120可基于从接收的比特流获得的信息来重建图像。解码器120可从比特流获得用于重建图像的语法元素。解码器120可基于语法元素重建图像。
84.将参照图2详细描述图像解码设备100的操作。
85.图2是根据实施例的图像解码方法的流程图。
86.根据本公开的实施例,接收器110接收比特流。
87.图像解码设备100从比特流获得与编码单元的划分形状模式相应的二进制位串(操作210)。图像解码设备100确定编码单元的划分规则(操作220)。此外,基于与划分形状模式相应的二进制位串和划分规则中的至少一个,图像解码设备100将编码单元划分为多个编码单元(操作230)。根据编码单元的宽度与高度的比例,图像解码设备100可确定编码单元的尺寸的可允许的第一范围,以便确定划分规则。根据编码单元的划分形状模式,图像解码设备100可确定编码单元的尺寸的可允许的第二范围,以便确定划分规则。
88.在下文中,将根据本公开的实施例详细描述对编码单元的划分。
89.首先,一个画面可被划分为一个或更多个条带或者一个或更多个并行块。一个条带或一个并行块可以是一个或更多个ctu的序列。与ctu相比,在概念上存在编码树块(ctb)。
90.ctb表示包括n
×
n个样点(n为整数)的n
×
n块。每个颜色分量可被划分为一个或更多个ctb。
91.当画面具有三个样点阵列(针对y分量、cr分量和cb分量的样点阵列)时,ctu包括亮度样点的ctb、色度样点的两个相应ctb以及用于对亮度样点和色度样点进行编码的语法结构。当画面是单色画面时,ctu包括单色样点的ctb和用于对单色样点进行编码的语法结构。当画面是在根据颜色分量分开的颜色平面中被编码的画面时,ctu包括用于对画面和画面的样点进行编码的语法结构。
92.一个ctb可被划分为包括m
×
n个样点(m和n为整数)的m
×
n编码块。
93.当画面具有针对y分量、cr分量和cb分量的样点阵列时,编码单元(cu)包括亮度样点的编码块、色度样点的两个相应的编码块以及用于对亮度样点和色度样点进行编码的语法结构。当画面是单色画面时,编码单元包括单色样点的编码块和用于对单色样点进行编码的语法结构。当画面是在根据颜色分量分开的颜色平面中被编码的画面时,编码单元包括用于对画面和画面的样点进行编码的语法结构。
94.如上所述,在概念上将ctb和ctu彼此区分开,并且在概念上将编码块和编码单元彼此区分开。也就是说,(最大)编码单元表示包括包含相应样点的(最大)编码块和与(最大)编码块相应的语法结构的数据结构。然而,因为本领域的普通技术人员理解(最大)编码
单元或(最大)编码块表示包括特定数量的样点的特定尺寸的块,所以除非另有描述,否则在以下说明书中提及ctb和ctu或者编码块和编码单元无需进行区分。
95.图像可被划分为ctu。每个ctu的尺寸可基于从比特流获得的信息被确定。每个ctu的形状可以是同一尺寸的正方形形状。然而,实施例不限于此。
96.例如,可从比特流获得关于亮度编码块的最大尺寸的信息。例如,由关于亮度编码块的最大尺寸的信息指示的亮度编码块的最大尺寸可以是4
×
4、8
×
8、16
×
16、32
×
32、64
×
64、128
×
128和256
×
256中的一个。
97.例如,可从比特流获得关于亮度块尺寸差和可被划分为两个的亮度编码块的最大尺寸的信息。关于亮度块尺寸差的信息可表示亮度ctu与可被划分为两个的亮度ctb之间的尺寸差。因此,当从比特流获得的关于可被划分为两个的亮度编码块的最大尺寸的信息和关于亮度块尺寸差的信息彼此组合时,可确定亮度ctu的尺寸。可通过使用亮度ctu的尺寸确定色度ctu的尺寸。例如,当y:cb:cr比例根据颜色格式为4:2:0时,色度块的尺寸可以是亮度块的尺寸的一半,并且色度ctu的尺寸可以是亮度ctu的尺寸的一半。
98.根据实施例,因为从比特流获得了关于可二划分的亮度编码块的最大尺寸的信息,所以可变化地确定可二划分的亮度编码块的最大尺寸。相反地,可三划分的亮度编码块的最大尺寸可被固定。例如,i画面中的可三划分的亮度编码块的最大尺寸可以是32
×
32,并且p画面或b画面中的可三划分的亮度编码块的最大尺寸可以是64
×
64。
99.此外,可基于从比特流获得的划分形状模式信息将ctu分层地划分为编码单元。可从比特流获得指示是否执行四划分的信息、指示是否执行多划分的信息、划分方向信息和划分类型信息中的至少一个信息作为划分形状模式信息。
100.例如,指示是否执行四划分的信息可指示当前编码单元是否被四划分(quad_split)。
101.在当前编码单元不被四划分时,指示是否执行多划分的信息可指示当前编码单元是不再被划分(no_split)还是被二/三划分。
102.在当前编码单元被二划分或者三划分时,划分方向信息指示当前编码单元沿水平方向和垂直方向中的一个方向被划分。
103.在当前编码单元沿水平方向或垂直方向被划分时,划分类型信息指示当前编码单元被二划分或三划分。
104.可根据划分方向信息和划分类型信息确定当前编码单元的划分模式。可将在当前编码单元沿水平方向被二划分时的划分模式确定为二水平划分模式(split_bt_hor),可将在当前编码单元沿水平方向被三划分时的划分模式确定为三水平划分模式(split_tt_hor),可将在当前编码单元沿垂直方向被二划分时的划分模式确定为二垂直划分模式(split_bt_ver),并且可将在当前编码单元沿垂直方向被三划分时的划分模式确定为三垂直划分模式split_tt_ver。
105.图像解码设备100可从比特流获得来自一个二进制位串的划分形状模式信息。由图像解码设备100接收的比特流的形式可包括固定长度的二进制码、一元码、截断一元码、预定二进制码等。二进制位串是二进制数的信息。二进制位串可包括至少一个比特。图像解码设备100可基于划分规则获得与二进制位串相应的划分形状模式信息。图像解码设备100可基于一个二进制位串确定是否对编码单元进行四划分、是否不对编码单元进行划分、划
分方向以及划分类型。
106.编码单元可小于ctu或者与ctu相同。例如,因为ctu是具有最大尺寸的编码单元,所以ctu是编码单元中的一个。当关于ctu的划分形状模式信息指示不执行划分时,在ctu中确定的编码单元具有与ctu的尺寸相同的尺寸。当关于ctu的划分形状模式信息指示执行划分时,ctu可被划分为编码单元。此外,当关于编码单元的划分形状模式信息指示执行划分时,编码单元可被划分为更小的编码单元。然而,图像的划分不限于此,并且可不将ctu与编码单元区分开。将参照图3至图16详细描述对编码单元的划分。
107.此外,用于预测的一个或更多个预测块可从编码单元被确定。预测块可与编码单元相同或小于编码单元。此外,用于变换的一个或更多个变换块可从编码单元被确定。变换块可与编码单元相同或小于编码单元。
108.变换块和预测块的形状和尺寸可彼此不相关。
109.在另一实施例中,可通过将编码单元用作预测单元来执行预测。此外,可通过将编码单元用作变换块来执行变换。
110.将参照图3至图16详细描述对编码单元的划分。本公开的当前块和邻近块可指示ctu、编码单元、预测块和变换块中的一个。此外,当前编码单元的当前块是当前被解码或被编码的块或者当前正被划分的块。邻近块可以是在当前块之前重建的块。邻近块可在空间上或时间上与当前块相邻。邻近块可位于当前块的左下方、左侧、左上方、上方、右上方、右侧和右下方之一。
111.图3示出根据实施例的由图像解码设备执行的通过对当前编码单元进行划分确定至少一个编码单元的处理。
112.块形状可包括4n
×
4n、4n
×
2n、2n
×
4n、4n
×
n、n
×
4n、32n
×
n、n
×
32n、16n
×
n、n
×
16n、8n
×
n或n
×
8n。这里,n可以是正整数。块形状信息是指示编码单元的形状、方向、宽度与高度的比例或尺寸中的至少一个的信息。
113.编码单元的形状可包括正方形和非正方形。当编码单元的宽度长度和高度长度相同时(即,当编码单元的块形状为4n
×
4n时),图像解码设备100可将编码单元的块形状信息确定为正方形。图像解码设备100可将编码单元的形状确定为非正方形。
114.当编码单元的宽度和高度彼此不同时(即,当编码单元的块形状为4n
×
2n、2n
×
4n、4n
×
n、n
×
4n、32n
×
n、n
×
32n、16n
×
n、n
×
16n、8n
×
n或n
×
8n时),图像解码设备100可将编码单元的块形状信息确定为非正方形形状。当编码单元的形状是非正方形时,图像解码设备100可将编码单元的块形状信息中的宽度与高度的比例确定为1:2、2:1、1:4、4:1、1:8、8:1、1:16、16:1、1:32和32:1中的至少一个。此外,图像解码设备100可基于编码单元的宽度长度和高度长度来确定编码单元是沿水平方向还是沿垂直方向。此外,图像解码设备100可基于编码单元的宽度长度、高度长度或面积中的至少一个来确定编码单元的尺寸。
115.根据实施例,图像解码设备100可通过使用块形状信息来确定编码单元的形状,并且可通过使用划分形状模式信息来确定编码单元的划分方法。也就是说,可基于由图像解码设备100使用的块形状信息所指示的块形状来确定由划分形状模式信息指示的编码单元划分方法。
116.图像解码设备100可从比特流获得划分形状模式信息。然而,实施例不限于此,并且图像解码设备100和图像编码设备2200可基于块形状信息来确定预先约定的划分形状模
式信息。图像解码设备100可确定针对ctu或最小编码单元的预先约定的划分形状模式信息。例如,图像解码设备100可将针对ctu的划分形状模式信息确定为四划分。此外,图像解码设备100可将关于最小编码单元的划分形状模式信息确定为“不执行划分”。具体地,图像解码设备100可将ctu的尺寸确定为256
×
256。图像解码设备100可将预先约定的划分形状模式信息确定为四划分。四划分是将编码单元的宽度和高度均二等分的划分形状模式。图像解码设备100可基于划分形状模式信息从256
×
256尺寸的ctu获得128
×
128尺寸的编码单元。此外,图像解码设备100可将最小编码单元的尺寸确定为4
×
4。图像解码设备100可获得针对最小编码单元的指示“不执行划分”的划分形状模式信息。
117.根据实施例,图像解码设备100可使用指示当前编码单元具有正方形形状的块形状信息。例如,图像解码设备100可基于划分形状模式信息确定是否对正方形编码单元进行划分,是否对正方形编码单元进行垂直划分,是否对正方形编码单元进行水平划分,或者是否将正方形编码单元划分为四个编码单元。参照图3,在当前编码单元300的块形状信息指示正方形形状时,解码器120可基于指示不执行划分的划分形状模式信息不对与当前编码单元300具有相同尺寸的编码单元310a进行划分,或者可确定基于指示特定划分方法的划分形状模式信息而划分出的编码单元310b、310c、310d、310e或310f。
118.参照图3,根据实施例,图像解码设备100可基于指示沿垂直方向执行划分的划分形状模式信息,确定通过沿垂直方向对当前编码单元300进行划分而获得的两个编码单元310b。图像解码设备100可基于指示沿水平方向执行划分的划分形状模式信息,确定通过沿水平方向对当前编码单元300进行划分而获得的两个编码单元310c。图像解码设备100可基于指示沿垂直方向和水平方向执行划分的划分形状模式信息,确定通过沿垂直方向和水平方向对当前编码单元300进行划分而获得的四个编码单元310d。根据实施例,图像解码设备100可基于指示沿垂直方向执行三划分的划分形状模式信息,确定通过沿垂直方向对当前编码单元300进行划分而获得的三个编码单元310e。图像解码设备100可基于指示沿水平方向执行三划分的划分形状模式信息,确定通过沿水平方向对当前编码单元300进行划分而获得的三个编码单元310f。然而,正方形编码单元的划分方法不限于上述方法,并且划分形状模式信息可指示各种方法。下面将关于各种实施例详细描述对正方形编码单元进行划分的特定划分方法。
119.图4示出根据实施例的由图像解码设备执行的通过对非正方形编码单元进行划分来确定至少一个编码单元的处理。
120.根据实施例,图像解码设备100可使用指示当前编码单元具有非正方形形状的块形状信息。基于划分形状模式信息,图像解码设备100可确定是不对非正方形的当前编码单元进行划分还是通过使用特定划分方法对非正方形的当前编码单元进行划分。参照图4,在当前编码单元400或450的块形状信息指示非正方形形状时,图像解码设备100可基于指示不执行划分的划分形状模式信息确定与当前编码单元400或450具有相同尺寸的编码单元410或编码单元460,或者可确定基于指示特定划分方法的划分形状模式信息而划分出的编码单元420a和420b、430a至430c、470a和470b、或者480a至480c。下面将关于各种实施例详细描述对非正方形编码单元进行划分的特定划分方法。
121.根据实施例,图像解码设备100可通过使用划分形状模式信息确定编码单元的划分方法,并且在这种情况下,划分形状模式信息可指示通过对编码单元进行划分产生的一
个或更多个编码单元的数量。参照图4,当划分形状模式信息指示将当前编码单元400或450划分为两个编码单元时,图像解码设备100可通过基于划分形状模式信息对当前编码单元400或450进行划分来确定包括在当前编码单元400或450中的两个编码单元420a和420b或者470a和470b。
122.根据实施例,当图像解码设备100基于划分形状模式信息对非正方形的当前编码单元400或450进行划分时,图像解码设备100可考虑非正方形的当前编码单元400或450的长边的位置以对当前编码单元进行划分。例如,图像解码设备100可通过基于当前编码单元400或450的形状对当前编码单元400或450的长边进行划分来确定多个编码单元。
123.根据实施例,当划分形状模式信息指示将编码单元划分(三划分)为奇数个块时,图像解码设备100可确定包括在当前编码单元400或450中的奇数个编码单元。例如,当划分形状模式信息指示将当前编码单元400或450划分为三个编码单元时,图像解码设备100可将当前编码单元400或450划分为三个编码单元430a、430b和430c或者480a、480b和480c。
124.根据实施例,当前编码单元400或450的宽度与高度的比例可以是4:1或1:4。当宽度与高度的比例为4:1时,因为宽度长度长于高度长度,所以块形状信息可以是水平方向。当宽度与高度的比例为1:4时,因为宽度长度短于高度长度,所以块形状信息可以是垂直方向。图像解码设备100可基于划分形状模式信息来确定将当前编码单元划分为奇数个块。此外,图像解码设备100可基于当前编码单元400或450的块形状信息确定当前编码单元400或450的划分方向。例如,在当前编码单元400沿垂直方向时,图像解码设备100可通过沿水平方向对当前编码单元400进行划分来确定编码单元430a至编码单元430c。此外,在当前编码单元450沿水平方向时,图像解码设备100可通过沿垂直方向对当前编码单元450进行划分来确定编码单元480a至编码单元480c。
125.根据实施例,图像解码设备100可确定包括在当前编码单元400或450中的奇数个编码单元,并且并非所有确定的编码单元都可具有相同的尺寸。例如,特定奇数个编码单元430a、430b和430c或者480a、480b和480c中的预定的编码单元430b或编码单元480b可具有与其他编码单元430a和430c或者480a和480c的尺寸不同的尺寸。也就是说,可通过对当前编码单元400或450进行划分而确定的编码单元可具有多种尺寸,并且在某些情况下,奇数个编码单元430a、430b和430c或者480a、480b和480c中的全部编码单元可具有不同的尺寸。
126.根据实施例,当划分形状模式信息指示将编码单元划分为奇数个块时,图像解码设备100可确定包括在当前编码单元400或450中的奇数个编码单元,并且此外,可对通过对当前编码单元400或450进行划分而产生的奇数个编码单元中的至少一个编码单元施加特定限制。参照图4,图像解码设备100可将关于编码单元430b或编码单元480b的解码处理设置为与其他编码单元430a和430c或者480a或480c的解码处理不同,其中,编码单元430b或编码单元480b位于在对当前编码单元400或450进行划分时产生的三个编码单元430a、430b和430c或者480a、480b和480c中的中心位置处。例如,不同于其他编码单元430a和430c或者480a和480c,图像解码设备100可限制中心位置处的编码单元430b或编码单元480b不再被划分或仅被划分预定次数。
127.图5示出根据实施例的由图像解码设备执行的基于块形状信息和划分形状模式信息中的至少一个信息对编码单元进行划分的处理。
128.根据实施例,图像解码设备100可基于块形状信息和划分形状模式信息中的至少
一个信息确定将正方形的第一编码单元500划分为编码单元或不对正方形的第一编码单元500进行划分。根据实施例,当划分形状模式信息指示沿水平方向对第一编码单元500进行划分时,图像解码设备100可通过沿水平方向对第一编码单元500进行划分来确定第二编码单元510。根据实施例使用的第一编码单元、第二编码单元和第三编码单元是用于理解对编码单元进行划分之前和对编码单元进行划分之后的关系的术语。例如,可通过对第一编码单元进行划分来确定第二编码单元,并且可通过对第二编码单元进行划分来确定第三编码单元。将理解的是,第一编码单元、第二编码单元和第三编码单元的结构遵循以上描述。
129.根据实施例,图像解码设备100可基于划分形状模式信息,确定将确定的第二编码单元510划分为编码单元或不对确定的第二编码单元510进行划分。参照图5,图像解码设备100可基于划分形状模式信息将通过对第一编码单元500进行划分而确定的非正方形的第二编码单元510划分为一个或更多个第三编码单元520a、520b、520c和520d,或者可不对非正方形的第二编码单元510进行划分。图像解码设备100可获得划分形状模式信息,并且可通过基于获得的划分形状模式信息对第一编码单元500进行划分来获得多个各种形状的第二编码单元(例如,510),并且可基于划分形状模式信息通过使用第一编码单元500的划分方法来对第二编码单元510进行划分。根据实施例,当基于第一编码单元500的划分形状模式信息将第一编码单元500划分为第二编码单元510时,也可基于第二编码单元510的划分形状模式信息将第二编码单元510划分为第三编码单元520a或者520b、520c和520d。也就是说,可基于每个编码单元的划分形状模式信息递归地对编码单元进行划分。因此,可通过对非正方形编码单元进行划分来确定正方形编码单元,并且可通过对正方形编码单元进行递归划分来确定非正方形编码单元。
130.参照图5,通过对非正方形的第二编码单元510进行划分而确定的奇数个第三编码单元520b、520c和520d中的特定编码单元(例如,位于中心位置处的编码单元、或正方形编码单元)可被递归地划分。根据实施例,可沿水平方向将奇数个第三编码单元520b、520c和520d中的非正方形的第三编码单元520b划分为多个第四编码单元。可将所述多个第四编码单元530a、530b、530c和530d中的非正方形的第四编码单元530b或530d再次划分为多个编码单元。例如,可将非正方形的第四编码单元530b或530d再次划分为奇数个编码单元。下面将关于各种实施例描述可被用于对编码单元进行递归划分的方法。
131.根据实施例,图像解码设备100可基于划分形状模式信息将第三编码单元520a或者520b、520c和520d中的每一个划分为编码单元。此外,图像解码设备100可基于划分形状模式信息确定不对第二编码单元510进行划分。根据实施例,图像解码设备100可将非正方形的第二编码单元510划分为奇数个第三编码单元520b、520c和520d。图像解码设备100可对奇数个第三编码单元520b、520c和520d中的特定的第三编码单元施加特定的限制。例如,图像解码设备100可将奇数个第三编码单元520b、520c和520d中的中心位置处的第三编码单元520c限制为不再被划分或者被划分可设置的次数。
132.参照图5,图像解码设备100可将包括在非正方形的第二编码单元510中的奇数个第三编码单元520b、520c和520d中的中心位置处的第三编码单元520c限制为不再被划分,限制为通过使用特定的划分方法被划分(例如,仅被划分为四个编码单元或通过使用第二编码单元510的划分方法被划分),或者限制为仅被划分特定次数(例如,仅被划分n次(其中,n>0))。然而,对中心位置处的第三编码单元520c的限制不限于上述示例,并且可包括
用于与其他第三编码单元520b和520d不同地对在中心位置处的第三编码单元520c进行解码的各种限制。
133.根据实施例,图像解码设备100可从当前编码单元中的特定位置获得用于对当前编码单元进行划分的划分形状模式信息。
134.图6示出根据实施例的由图像解码设备执行的从奇数个编码单元中确定特定编码单元的方法。
135.参照图6,可从包括在当前编码单元600或650中的多个样点中的特定位置的样点(例如,中心位置的样点640或690)获得当前编码单元600或650的划分形状模式信息。然而,当前编码单元600中的可获得至少一条划分形状模式信息的特定位置不限于图6中的中心位置,并且可包括在当前编码单元600中包括的各种位置(例如,上方、下方、左侧、右侧、左上方、左下方、右上方和右下方位置)。图像解码设备100可从特定位置获得划分形状模式信息并且可确定将当前编码单元划分为各种形状和各种尺寸的编码单元或不对当前编码单元进行划分。
136.根据实施例,在当前编码单元被划分为特定数量的编码单元时,图像解码设备100可选择编码单元中的一个编码单元。如下将关于各种实施例描述的,各种方法可被用于选择多个编码单元中的一个编码单元。
137.根据实施例,图像解码设备100可将当前编码单元划分为多个编码单元,并且可确定特定位置处的编码单元。
138.根据实施例,图像解码设备100可使用指示奇数个编码单元的位置的信息来确定奇数个编码单元中的中心位置处的编码单元。参照图6,图像解码设备100可通过对当前编码单元600或当前编码单元650进行划分来确定奇数个编码单元620a、620b和620c或者奇数个编码单元660a、660b和660c。图像解码设备100可通过使用关于奇数个编码单元620a、620b和620c或者奇数个编码单元660a、660b和660c的位置的信息来确定中间编码单元620b或中间编码单元660b。例如,图像解码设备100可通过基于指示包括在编码单元620a、620b和620c中的特定样点的位置的信息确定编码单元620a、620b和620c的位置来确定中心位置的编码单元620b。详细地讲,图像解码设备100可通过基于指示编码单元620a、620b和620c的左上样点630a、630b和630c的位置的信息确定编码单元620a、620b和620c的位置来确定中心位置处的编码单元620b。
139.根据实施例,指示分别包括在编码单元620a、620b和620c中的左上样点630a、630b和630c的位置的信息可包括关于编码单元620a、620b和620c在画面中的位置或坐标的信息。根据实施例,指示分别包括在编码单元620a、620b和620c中的左上样点630a、630b和630c的位置的信息可包括指示在当前编码单元600中包括的编码单元620a、620b和620c的宽度或高度的信息,并且宽度或高度可与指示编码单元620a、620b和620c在画面中的坐标之间的差的信息相应。也就是说,图像解码设备100可通过直接使用关于编码单元620a、620b和620c在画面中的位置或坐标的信息或者通过使用关于与坐标之间的差值相应的编码单元的宽度或高度的信息,来确定中心位置处的编码单元620b。
140.根据实施例,指示上方编码单元620a的左上样点630a的位置的信息可包括坐标(xa,ya),指示中间编码单元620b的左上样点630b的位置的信息可包括坐标(xb,yb),指示下方编码单元620c的左上样点630c的位置的信息可包括坐标(xc,yc)。图像解码设备100可
通过使用分别包括在编码单元620a、620b和620c中的左上样点630a、630b和630c的坐标来确定中间编码单元620b。例如,当将左上样点630a、630b和630c的坐标按照升序或降序排序时,可将包括中心位置处的样点630b的坐标(xb,yb)的编码单元620b确定为通过对当前编码单元600进行划分而确定的编码单元620a、620b和620c中的中心位置处的编码单元。然而,指示左上样点630a、630b和630c的位置的坐标可包括指示在画面中的绝对位置的坐标,或者可使用指示中间编码单元620b的左上样点630b相对于上方编码单元620a的左上样点630a的位置的相对位置的坐标(dxb,dyb)以及指示下方编码单元620c的左上样点630c相对于上方编码单元620a的左上样点630a的位置的相对位置的坐标(dxc,dyc)。通过将包括在编码单元中的样点的坐标用作指示样点的位置的信息来确定特定位置处的编码单元的方法不限于上述方法,并且可包括能够使用样点的坐标的各种算术方法。
141.根据实施例,图像解码设备100可将当前编码单元600划分为多个编码单元620a、620b和620c,并且可基于特定标准选择编码单元620a、620b和620c中的一个编码单元。例如,图像解码设备100可从编码单元620a、620b和620c中选择具有与其他编码单元的尺寸不同的尺寸的编码单元620b。
142.根据实施例,图像解码设备100可通过使用作为指示上方编码单元620a的左上样点630a的位置的信息的坐标(xa,ya)、作为指示中间编码单元620b的左上样点630b的位置的信息的坐标(xb,yb)和作为指示下方编码单元620c的左上样点630c的位置的信息的坐标(xc,yc)来确定编码单元620a、620b和620c中的每个的宽度或高度。图像解码设备100可通过使用指示编码单元620a、620b和620c的位置的坐标(xa,ya)、(xb,yb)和(xc,yc)来确定编码单元620a、620b和620c的各个尺寸。根据实施例,图像解码设备100可将上方编码单元620a的宽度确定为当前编码单元600的宽度。图像解码设备100可将上方编码单元620a的高度确定为yb

ya。根据实施例,图像解码设备100可将中间编码单元620b的宽度确定为当前编码单元600的宽度。图像解码设备100可将中间编码单元620b的高度确定为yc

yb。根据实施例,图像解码设备100可通过使用当前编码单元600的宽度或高度或者上方编码单元620a和中间编码单元620b的宽度或高度来确定下方编码单元620c的宽度或高度。图像解码设备100可基于确定的编码单元620a至620c的宽度和高度来确定具有与其他编码单元的尺寸不同的尺寸的编码单元。参照图6,图像解码设备100可将具有与上方编码单元620a和下方编码单元620c的尺寸不同的尺寸的中间编码单元620b确定为特定位置的编码单元。然而,上述由图像解码设备100执行的确定具有与其他编码单元的尺寸不同的尺寸的编码单元的方法仅与通过使用基于样点的坐标确定的编码单元的尺寸来确定特定位置处的编码单元的示例相应,并且因此,可使用通过将基于特定样点的坐标确定的编码单元的尺寸进行比较来确定特定位置处的编码单元的各种方法。
143.图像解码设备100可通过使用作为指示左侧编码单元660a的左上样点670a的位置的信息的坐标(xd,yd)、作为指示中间编码单元660b的左上样点670b的位置的信息的坐标(xe,ye)和作为指示右侧编码单元660c的左上样点670c的位置的信息的坐标(xf,yf)来确定编码单元660a、660b和660c中的每一个编码单元的宽度或高度。图像解码设备100可通过使用指示编码单元660a、660b和660c的位置的坐标(xd,yd)、(xe,ye)和(xf,yf)来确定编码单元660a、660b和660c的各个尺寸。
144.根据实施例,图像解码设备100可将左侧编码单元660a的宽度确定为xe

xd。图像
解码设备100可将左侧编码单元660a的高度确定为当前编码单元650的高度。根据实施例,图像解码设备100可将中间编码单元660b的宽度确定为xf

xe。图像解码设备100可将中间编码单元660b的高度确定为当前编码单元650的高度。根据实施例,图像解码设备100可通过使用当前编码单元650的宽度或高度或者左侧编码单元660a和中间编码单元660b的宽度或高度来确定右侧编码单元660c的宽度或高度。图像解码设备100可基于确定的编码单元660a至编码单元660c的宽度和高度来确定具有与其他编码单元的尺寸不同的尺寸的编码单元。参照图6,图像解码设备100可将具有与左侧编码单元660a和右侧编码单元660c的尺寸不同的尺寸的中间编码单元660b确定为特定位置的编码单元。然而,上述由图像解码设备100执行的确定具有与其他编码单元的尺寸不同的尺寸的编码单元的方法仅与通过使用基于样点的坐标确定的编码单元的尺寸来确定特定位置处的编码单元的示例相应,并且因此,可使用通过将基于特定样点的坐标确定的编码单元的尺寸进行比较来确定特定位置处的编码单元的各种方法。
145.然而,确定编码单元的位置所考虑的样点的位置不限于上述左上方位置,并且可使用关于包括在编码单元中的样点的任意位置的信息。
146.根据实施例,图像解码设备100可考虑当前编码单元的形状,从通过对当前编码单元进行划分而确定的奇数个编码单元中选择特定位置处的编码单元。例如,在当前编码单元具有宽度长于高度的非正方形形状时,图像解码设备100可确定在水平方向上的特定位置处的编码单元。也就是说,图像解码设备100可确定沿水平方向不同地设置的位置处的编码单元中的一个编码单元并且对该编码单元施加限制。在当前编码单元具有高度长于宽度的非正方形形状时,图像解码设备100可确定在垂直方向上的特定位置处的编码单元。也就是说,图像解码设备100可确定沿垂直方向不同地设置的位置处的编码单元中的一个编码单元并且可对该编码单元施加限制。
147.根据实施例,图像解码设备100可使用指示偶数个编码单元的各个位置的信息,以确定偶数个编码单元中的特定位置处的编码单元。图像解码设备100可通过对当前编码单元进行划分(二划分)来确定偶数个编码单元,并且可通过使用关于偶数个编码单元的位置的信息来确定特定位置处的编码单元。与其相关的操作可与已经在上面关于图6详细描述的确定奇数个编码单元中的特定位置(例如,中心位置)处的编码单元的操作相应,并且因此这里不提供其详细描述。
148.根据实施例,当将非正方形的当前编码单元划分为多个编码单元时,可在划分操作中使用关于特定位置处的编码单元的特定信息来确定多个编码单元中的特定位置处的编码单元。例如,图像解码设备100可在划分操作中使用存储在中间编码单元中包括的样点中的块形状信息和划分形状模式信息中的至少一个信息来确定通过对当前编码单元进行划分而确定的多个编码单元中的中心位置处的编码单元。
149.参照图6,图像解码设备100可基于划分形状模式信息将当前编码单元600划分为多个编码单元620a、620b和620c,并且可确定多个编码单元620a、620b和620c中的中心位置处的编码单元620b。此外,图像解码设备100可基于获得划分形状模式信息的位置来确定中心位置处的编码单元620b。也就是说,可从当前编码单元600的中心位置处的样点640获得当前编码单元600的划分形状模式信息,并且当基于划分形状模式信息将当前编码单元600划分为多个编码单元620a、620b和620c时,可将包括样点640的编码单元620b确定为中心位
置处的编码单元。然而,用于确定中心位置处的编码单元的信息不限于划分形状模式信息,并且可将各种类型的信息用于确定中心位置处的编码单元。
150.根据实施例,可从包括在将被确定的编码单元中的特定样点获得用于识别特定位置处的编码单元的特定信息。参照图6,图像解码设备100可使用从当前编码单元600中的特定位置处的样点(例如,当前编码单元600的中心位置处的样点)获得的划分形状模式信息来确定通过对当前编码单元600进行划分而确定的多个编码单元620a、620b和620c中的特定位置处的编码单元(例如,划分出的多个编码单元中的中心位置处的编码单元)。也就是说,图像解码设备100可通过考虑当前编码单元600的块形状来确定特定位置处的样点,从通过对当前编码单元600进行划分而确定的多个编码单元620a、620b和620c中确定包括可获得特定信息(例如,划分形状模式信息)的样点的编码单元620b,并且可对编码单元620b施加特定限制。参照图6,根据实施例,在解码操作中,图像解码设备100可将当前编码单元600的中心位置处的样点640确定为可获得特定信息的样点,并且可对包括样点640的编码单元620b施加特定限制。然而,可获得特定信息的样点的位置不限于上述位置,并且可包括在将被确定用于限制的编码单元620b中包括的样点的任意位置。
151.根据实施例,可基于当前编码单元600的形状确定可获得特定信息的样点的位置。根据实施例,块形状信息可指示当前编码单元是具有正方形形状还是具有非正方形形状,并且可基于该形状确定可获得特定信息的样点的位置。例如,图像解码设备100可通过使用关于当前编码单元的宽度的信息和关于当前编码单元的高度的信息中的至少一个信息,将位于用于将当前编码单元的宽度和高度中的至少一个对半划分的边界上的样点确定为可获得特定信息的样点。作为另一示例,在当前编码单元的块形状信息指示非正方形形状时,图像解码设备100可将包括用于将当前编码单元的长边对半划分的边界的样点中的一个样点确定为可获得预定信息的样点。
152.根据实施例,在当前编码单元被划分为多个编码单元时,图像解码设备100可使用划分形状模式信息来确定多个编码单元中的特定位置处的编码单元。根据实施例,图像解码设备100可从编码单元中的特定位置处的样点获得划分形状模式信息,并且通过使用从所述多个编码单元中的每个编码单元中的特定位置的样点获得的划分形状模式信息对通过对当前编码单元进行划分而产生的多个编码单元进行划分。也就是说,可基于从每个编码单元中的特定位置处的样点获得的划分形状模式信息对编码单元进行递归划分。上面已经关于图5描述了对编码单元进行递归划分的操作,并且因此这里将不提供其详细描述。
153.根据实施例,图像解码设备100可通过对当前编码单元进行划分来确定一个或更多个编码单元,并且可基于特定块(例如,当前编码单元)确定对一个或更多个编码单元进行解码的顺序。
154.图7示出根据实施例的当图像解码设备通过对当前编码单元进行划分来确定多个编码单元时对所述多个编码单元进行处理的顺序。
155.根据实施例,基于划分形状模式信息,图像解码设备100可通过沿垂直方向对第一编码单元700进行划分来确定第二编码单元710a和710b,可通过沿水平方向对第一编码单元700进行划分来确定第二编码单元730a和730b,或者通过沿垂直方向和水平方向对第一编码单元700进行划分来确定第二编码单元750a至750d。
156.参照图7,图像解码设备100可确定按照水平方向顺序710c对通过沿垂直方向对第
一编码单元700进行划分而确定的第二编码单元710a和710b进行处理。图像解码设备100可确定按照垂直方向顺序730c对通过沿水平方向对第一编码单元700进行划分而确定的第二编码单元730a和730b进行处理。图像解码设备100可确定按照特定顺序(例如,按照光栅扫描顺序或按照z字形扫描顺750e)对通过沿垂直方向和水平方向对第一编码单元700进行划分而确定的第二编码单元750a至750d进行处理,其中,特定顺序用于对一行中的编码单元进行处理并然后对下一行中的编码单元进行处理。
157.根据实施例,图像解码设备100可对编码单元进行递归划分。参照图7,图像解码设备100可通过对第一编码单元700进行划分来确定多个编码单元710a和710b、730a和730b或者750a至750d,并且对确定的多个编码单元710a和710b、730a和730b或者750a至750d中的每一个进行递归划分。多个编码单元710a和710b、730a和730b或者750a至750d的划分方法可相应于第一编码单元700的划分方法。像这样,多个编码单元710a和710b、730a和730b或者750a至750d中的每一个可被独立地划分为多个编码单元。参照图7,图像解码设备100可通过沿垂直方向对第一编码单元700进行划分来确定第二编码单元710a和710b,并且可确定对第二编码单元710a和710b中的每一个进行独立划分或者不对第二编码单元710a和710b中的每一个进行划分。
158.根据实施例,图像解码设备100可通过沿水平方向对左侧第二编码单元710a进行划分来确定第三编码单元720a和720b,并且可不对右侧第二编码单元710b进行划分。
159.根据实施例,可基于对编码单元进行划分的操作确定编码单元的处理顺序。换句话说,可基于紧接在被划分之前的编码单元的处理顺序来确定划分出的编码单元的处理顺序。图像解码设备100可独立于右侧第二编码单元710b来确定通过对左侧第二编码单元710a进行划分而确定的第三编码单元720a和720b的处理顺序。因为通过沿水平方向对左侧第二编码单元710a进行划分来确定第三编码单元720a和720b,所以可按照垂直方向顺序720c对第三编码单元720a和720b进行处理。因为左侧第二编码单元710a和右侧第二编码单元710b按照水平方向顺序710c被处理,所以可在按照垂直方向顺序720c对左侧第二编码单元710a中包括的第三编码单元720a和720b进行处理之后对右侧第二编码单元710b进行处理。基于被划分之前的编码单元来确定编码单元的处理顺序的操作不限于上述示例,并且可将各种方法用于按照特定顺序独立地处理被划分并被确定为具有各种形状的编码单元。
160.图8示出根据实施例的由图像解码设备执行的当不可按照预定顺序对编码单元进行处理时确定当前编码单元将被划分为奇数个编码单元的处理。
161.根据实施例,图像解码设备100可基于获得的划分形状模式信息确定当前编码单元被划分为奇数个编码单元。参照图8,正方形的第一编码单元800可被划分为非正方形的第二编码单元810a和810b,第二编码单元810a和810b可被独立地划分为第三编码单元820a和820b以及820c至820e。根据实施例,图像解码设备100可通过沿水平方向对左侧第二编码单元810a进行划分来确定多个第三编码单元820a和820b,并且可将右侧第二编码单元810b划分为奇数个第三编码单元820c至820e。
162.根据实施例,图像解码设备100可通过确定是否可按照特定顺序对第三编码单元820a和820b以及820c至820e进行处理,来确定是否将任意编码单元划分为奇数个编码单元。参照图8,图像解码设备100可通过对第一编码单元800进行递归划分来确定第三编码单元820a和820b以及820c至820e。图像解码设备100可基于块形状信息和划分形状模式中的
至少一个确定以下编码单元中的任意一个是否被划分为奇数个编码单元:第一编码单元800、第二编码单元810a和810b、以及第三编码单元820a和820b、以及820c至820e。例如,第二编码单元810a和810b中的右侧的第二编码单元810b可被划分为奇数个第三编码单元820c、820d和820e。包括在第一编码单元800中的多个编码单元的处理顺序可以是特定顺序(例如,z字形扫描顺序830),并且图像解码设备100可确定通过将右侧第二编码单元810b划分为奇数个编码单元而确定的第三编码单元820c、820d和820e是否满足用于按照特定顺序进行处理的条件。
163.根据实施例,图像解码设备100可确定包括在第一编码单元800中的第三编码单元820a和820b以及820c至820e是否满足用于按照特定顺序进行处理的条件,并且所述条件与第二编码单元810a和810b的宽度和高度中的至少一个是否将沿着第三编码单元820a和820b以及820c至820e的边界被对半划分相关。例如,当非正方形形状的左侧第二编码单元810a的高度被对半划分时确定的第三编码单元820a和820b可满足所述条件。因为当将右侧第二编码单元810b划分为三个编码单元时确定的第三编码单元820c至820e的边界不能将右侧第二编码单元810b的宽度或高度对半划分,所以可确定第三编码单元820c至820e不满足所述条件。当如上所述不满足所述条件时,图像解码设备100可确定扫描顺序不连续,并且可基于确定结果确定右侧第二编码单元810b将被划分为奇数个编码单元。根据实施例,当编码单元被划分为奇数个编码单元时,图像解码设备100可对划分出的编码单元中的特定位置处的编码单元施加特定限制,上面已经关于各种实施例描述了所述限制或所述特定位置,因此这里将不提供其详细描述。
164.图9示出根据实施例的由图像解码设备执行的通过对第一编码单元进行划分来确定至少一个编码单元的处理。
165.根据实施例,图像解码设备100可基于通过接收器110获得的划分形状模式信息对第一编码单元900进行划分。正方形的第一编码单元900可被划分为四个正方形编码单元,或者可被划分为多个非正方形编码单元。例如,参照图9,当划分形状模式信息指示将第一编码单元900划分为非正方形编码单元时,图像解码设备100可将第一编码单元900划分为多个非正方形编码单元。详细地讲,当划分形状模式信息指示通过沿水平方向或垂直方向对第一编码单元900进行划分来确定奇数个编码单元时,图像解码设备100可将正方形的第一编码单元900划分为奇数个编码单元(例如,通过沿垂直方向对正方形的第一编码单元900进行划分而确定的第二编码单元910a、910b和910c或者通过沿水平方向对正方形的第一编码单元900进行划分而确定的第二编码单元920a、920b和920c)。
166.根据实施例,图像解码设备100可确定包括在第一编码单元900中的第二编码单元910a、910b、910c、920a、920b和920c是否满足用于按照特定顺序进行处理的条件,并且所述条件与第一编码单元900的宽度和高度中的至少一个是否将沿着第二编码单元910a、910b、910c、920a、920b和920c的边界被对半划分相关。参照图9,因为通过沿垂直方向对正方形的第一编码单元900进行划分而确定的第二编码单元910a、910b和910c的边界不将第一编码单元900的宽度对半划分,所以可确定第一编码单元900不满足用于按照特定顺序进行处理的条件。另外,因为通过沿水平方向对正方形的第一编码单元900进行划分而确定的第二编码单元920a、920b和920c的边界不将第一编码单元900的宽度对半划分,所以可确定第一编码单元900不满足用于按照特定顺序进行处理的条件。当如上所述不满足所述条件时,图像
解码设备100可决定扫描顺序不连续,并且可基于决定结果确定第一编码单元900被划分为奇数个编码单元。根据实施例,当编码单元被划分为奇数个编码单元时,图像解码设备100可对划分出的编码单元中的特定位置处的编码单元施加特定限制。上面已经关于各种实施例描述了所述限制或所述特定位置,因此这里将不提供其详细描述。
167.根据实施例,图像解码设备100可通过对第一编码单元进行划分来确定各种形状的编码单元。
168.参照图9,图像解码设备100可将正方形的第一编码单元900或非正方形的第一编码单元930或950划分为各种形状的编码单元。
169.图10示出根据实施例的当在图像解码设备对第一编码单元进行划分时确定的具有非正方形形状的第二编码单元满足特定条件时可将第二编码单元划分为的形状受到限制。
170.根据实施例,图像解码设备100可基于由接收器110获得的划分形状模式信息确定将正方形的第一编码单元1000划分为非正方形的第二编码单元1010a和1010b、或者1020a和1020b。第二编码单元1010a和1010b或者1020a和1020b可被独立地划分。像这样,基于第二编码单元1010a和1010b或者1020a和1020b中的每一个的划分形状模式信息,图像解码设备100可确定将第二编码单元1010a和1010b、或者1020a和1020b中的每一个划分为多个编码单元或不对第二编码单元1010a和1010b、或者1020a和1020b中的每一个进行划分。根据实施例,图像解码设备100可通过沿水平方向对通过沿垂直方向对第一编码单元1000进行划分而确定的非正方形的左侧第二编码单元1010a进行划分,来确定第三编码单元1012a和1012b。然而,当左侧第二编码单元1010a沿水平方向被划分时,图像解码设备100可限制右侧第二编码单元1010b不沿左侧第二编码单元1010a被划分的水平方向被划分。当通过沿同一方向对右侧第二编码单元1010b进行划分来确定第三编码单元1014a和1014b时,因为左侧第二编码单元1010a和右侧第二编码单元1010b沿水平方向被独立地划分,所以可确定第三编码单元1012a和1012b、或者1014a和1014b。然而,这种情况与图像解码设备100基于划分形状模式信息将第一编码单元1000划分为四个正方形的第二编码单元1030a、1030b、1030c和1030d的情况作用相同,并且在图像解码方面可能是低效的。
171.根据实施例,图像解码设备100可通过沿垂直方向对通过沿水平方向对第一编码单元1000进行划分而确定的非正方形的第二编码单元1020a或1020b进行划分,来确定第三编码单元1022a和1022b、或者1024a和1024b。然而,当第二编码单元(例如,上方第二编码单元1020a)沿垂直方向被划分时,出于上述原因,图像解码设备100可限制另一第二编码单元(例如,下方第二编码单元1020b)不沿上方第二编码单元1020a被划分的垂直方向被划分。
172.图11示出根据实施例的由图像解码设备执行的当划分形状模式信息不能指示正方形编码单元被划分为四个正方形编码单元时对正方形编码单元进行划分的处理。
173.根据实施例,图像解码设备100可通过基于划分形状模式信息对第一编码单元1100进行划分来确定第二编码单元1110a和1110b、或者1120a和1120b等。划分形状模式信息可包括关于对编码单元进行划分的各种方法的信息,但关于各种划分方法的信息可不包括用于将编码单元划分为四个正方形编码单元的信息。根据这样的划分形状模式信息,图像解码设备100可不将正方形的第一编码单元1100划分为四个正方形的第二编码单元1130a、1130b、1130c和1130d。图像解码设备100可基于划分形状模式信息确定非正方形的
第二编码单元1110a和1110b、或者1120a和1120b等。
174.根据实施例,图像解码设备100可对非正方形的第二编码单元1110a和1110b、或者1120a和1120b等进行独立划分。第二编码单元1110a和1110b、或者1120a和1120b等中的每一个可按照特定顺序被递归地划分,并且此划分方法可与基于划分形状模式信息对第一编码单元1100进行划分的方法相应。
175.例如,图像解码设备100可通过沿水平方向对左侧第二编码单元1110a进行划分来确定正方形的第三编码单元1112a和1112b,并且可通过沿水平方向对右侧第二编码单元1110b进行划分来确定正方形的第三编码单元1114a和1114b。此外,图像解码设备100可通过沿水平方向对左侧第二编码单元1110a和右侧第二编码单元1110b两者进行划分来确定正方形的第三编码单元1116a、1116b、1116c和1116d。在这种情况下,可确定与从第一编码单元1100划分出的四个正方形的第二编码单元1130a、1130b、1130c和1130d具有相同形状的编码单元。
176.作为另一示例,图像解码设备100可通过沿垂直方向对上方第二编码单元1120a进行划分来确定正方形的第三编码单元1122a和1122b,并且可通过沿垂直方向对下方第二编码单元1120b进行划分来确定正方形的第三编码单元1124a和1124b。此外,图像解码设备100可通过沿垂直方向对上方第二编码单元1120a和下方第二编码单元1120b两者进行划分来确定正方形的第三编码单元1126a、1126b、1126c和1126d。在这种情况下,可确定与从第一编码单元1100划分出的四个正方形的第二编码单元1130a、1130b、1130c和1130d具有相同形状的编码单元。
177.图12示出根据实施例的可根据对编码单元进行划分的处理改变多个编码单元之间的处理顺序。
178.根据实施例,图像解码设备100可基于划分形状模式信息对第一编码单元1200进行划分。当块形状指示正方形形状并且划分形状模式信息指示沿水平方向和垂直方向中的至少一个方向对第一编码单元1200进行划分时,图像解码设备100可通过对第一编码单元1200进行划分来确定第二编码单元1210a和1210b、或者1220a和1220b。参照图12,通过仅沿水平方向或垂直方向对第一编码单元1200进行划分而确定的非正方形的第二编码单元1210a和1210b、或者1220a和1220b可基于每个编码单元的划分形状模式信息被独立地划分。例如,图像解码设备100可通过沿水平方向对通过沿垂直方向对第一编码单元1200进行划分而产生的第二编码单元1210a和1210b进行划分来确定第三编码单元1216a、1216b、1216c和1216d,并且可通过沿垂直方向对通过沿水平方向对第一编码单元1200进行划分而产生的第二编码单元1220a和1220b进行划分来确定第三编码单元1226a、1226b、1226c和1226d。上面已经关于图11描述了对第二编码单元1210a和1210b、或者1220a和1220b进行划分的操作,因此这里将不提供其详细描述。
179.根据实施例,图像解码设备100可按照特定顺序对编码单元进行处理。上面已经关于图7描述了按照特定顺序对编码单元进行处理的操作,因此这里将不提供其详细描述。参照图12,图像解码设备100可通过对正方形的第一编码单元1200进行划分来确定四个正方形的第三编码单元1216a、1216b、1216c和1216d以及1226a、1226b、1226c和1226d。根据实施例,图像解码设备100可基于第一编码单元1200的划分方法来确定第三编码单元1216a、1216b、1216c和1216d以及1226a、1226b、1226c和1226d的处理顺序。
180.根据实施例,图像解码设备100可通过沿水平方向对通过沿垂直方向对第一编码单元1200进行划分而产生的第二编码单元1210a和1210b进行划分来确定第三编码单元1216a、1216b、1216c和1216d,并且可按照如下处理顺序1217对第三编码单元1216a、1216b、1216c和1216d进行处理:首先在垂直方向上对包括在左侧第二编码单元1210a中的第三编码单元1216a和1216c进行处理,并且然后在垂直方向上对包括在右侧第二编码单元1210b中的第三编码单元1216b和1216d进行处理。
181.根据实施例,图像解码设备100可通过沿垂直方向对通过沿水平方向对第一编码单元1200进行划分而产生的第二编码单元1220a和1220b进行划分来确定第三编码单元1226a、1226b、1226c和1226d,并且可按照如下处理顺序1227对第三编码单元1226a、1226b、1226c和1226d进行处理:首先在水平方向上对包括在上方第二编码单元1220a中的第三编码单元1226a和1226b进行处理,并且然后在水平方向上对包括在下方第二编码单元1220b中的第三编码单元1226c和1226d进行处理。
182.参照图12,可通过分别对第二编码单元1210a和1210b以及1220a和1220b进行划分来确定正方形的第三编码单元1216a、1216b、1216c和1216d以及1226a、1226b、1226c和1226d。尽管通过沿垂直方向对第一编码单元1200进行划分而确定的第二编码单元1210a和1210b与通过沿水平方向对第一编码单元1200进行划分而确定的第二编码单元1220a和1220b不同,但是从第二编码单元1210a和1210b以及第二编码单元1220a和1220b划分出的第三编码单元1216a、1216b、1216c和1216d以及1226a、1226b、1226c和1226d最终示出与从第一编码单元1200划分出的相同形状的编码单元。像这样,通过基于划分形状信息以不同的方式对编码单元进行递归划分,即使最终将编码单元确定为相同的形状,图像解码设备100也可按照不同顺序对多个编码单元进行处理。
183.图13示出根据实施例的当对编码单元进行递归划分使得多个编码单元被确定时在编码单元的形状和尺寸改变时的确定编码单元的深度的处理。
184.根据实施例,图像解码设备100可基于特定标准来确定编码单元的深度。例如,特定标准可以是编码单元的长边的长度。当编码单元在被划分之前的长边的长度是划分出的当前编码单元的长边的长度的2n(n>0)倍时,图像解码设备100可确定当前编码单元的深度比被划分之前的编码单元的深度增大了n。在下面的描述中,具有增大的深度的编码单元被表示为更低深度的编码单元。
185.参照图13,根据实施例,图像解码设备100可通过基于指示正方形形状的块形状信息(例如,块形状信息可被表示为“0:square”)对正方形的第一编码单元1300进行划分来确定更低深度的第二编码单元1302和第三编码单元1304。假设正方形的第一编码单元1300的尺寸是2n
×
2n,通过将第一编码单元1300的宽度和高度划分为1/2所确定的第二编码单元1302可具有n
×
n的尺寸。此外,通过将第二编码单元1302的宽度和高度划分为1/2所确定的第三编码单元1304可具有n/2
×
n/2的尺寸。在这种情况下,第三编码单元1304的宽度和高度是第一编码单元1300的宽度和高度的1/4。当第一编码单元1300的深度为d时,宽度和高度是第一编码单元1300的宽度和高度的1/2的第二编码单元1302的深度可以是d 1,并且宽度和高度是第一编码单元1300的宽度和高度的1/4的第三编码单元1304的深度可以是d 2。
186.根据实施例,图像解码设备100可通过基于指示非正方形形状的块形状信息(例如,块形状信息可被表示为指示高度长于宽度的非正方形形状的“1:ns_ver”,或者可被表
示为指示宽度长于高度的非正方形形状的“2:ns_hor”)对非正方形的第一编码单元1310或1320进行划分来确定更低深度的第二编码单元1312或1322以及第三编码单元1314或1324。
187.图像解码设备100可通过对尺寸为n
×
2n的第一编码单元1310的宽度和高度中的至少一个进行划分来确定第二编码单元1302、1312或1322。也就是说,图像解码设备100可通过沿水平方向对第一编码单元1310进行划分来确定尺寸为n
×
n的第二编码单元1302或尺寸为n
×
n/2的第二编码单元1322,或者可通过沿水平方向和垂直方向对第一编码单元1310进行划分来确定尺寸为n/2
×
n的第二编码单元1312。
188.根据实施例,图像解码设备100可通过对尺寸为2n
×
n的第一编码单元1320的宽度和高度中的至少一个进行划分来确定第二编码单元1302、1312或1322。也就是说,图像解码设备100可通过沿垂直方向对第一编码单元1320进行划分来确定尺寸为n
×
n的第二编码单元1302或尺寸为n/2
×
n的第二编码单元1312,或者可通过沿水平方向和垂直方向对第一编码单元1320进行划分来确定尺寸为n
×
n/2的第二编码单元1322。
189.根据实施例,图像解码设备100可通过对尺寸为n
×
n的第二编码单元1302的宽度和高度中的至少一个进行划分来确定第三编码单元1304、1314或1324。也就是说,图像解码设备100可通过沿垂直方向和水平方向对第二编码单元1302进行划分来确定尺寸为n/2
×
n/2的第三编码单元1304、尺寸为n/4
×
n/2的第三编码单元1314或尺寸为n/2
×
n/4的第三编码单元1324。
190.根据实施例,图像解码设备100可通过对尺寸为n/2
×
n的第二编码单元1312的宽度和高度中的至少一个进行划分来确定第三编码单元1304、1314或1324。也就是说,图像解码设备100可通过沿水平方向对第二编码单元1312进行划分来确定尺寸为n/2
×
n/2的第三编码单元1304或尺寸为n/2
×
n/4的第三编码单元1324,或者可通过沿垂直方向和水平方向对第二编码单元1312进行划分来确定尺寸为n/4
×
n/2的第三编码单元1314。
191.根据实施例,图像解码设备100可通过对尺寸为n
×
n/2的第二编码单元1322的宽度和高度中的至少一个进行划分来确定第三编码单元1304、1314或1324。也就是说,图像解码设备100可通过沿垂直方向对第二编码单元1322进行划分来确定尺寸为n/2
×
n/2的第三编码单元1304或尺寸为n/4
×
n/2的第三编码单元1314,或者可通过沿垂直方向和水平方向对第二编码单元1322进行划分来确定尺寸为n/2
×
n/4的第三编码单元1324。
192.根据实施例,图像解码设备100可沿水平方向或垂直方向对正方形编码单元1300、1302或1304进行划分。例如,图像解码设备100可通过沿垂直方向对尺寸为2n
×
2n的第一编码单元1300进行划分来确定尺寸为n
×
2n的第一编码单元1310,或者可通过沿水平方向对第一编码单元1300进行划分来确定尺寸为2n
×
n的第一编码单元1320。根据实施例,当基于编码单元的最长边的长度确定深度时,通过沿水平方向或垂直方向对尺寸为2n
×
2n的第一编码单元1300进行划分而确定的编码单元的深度可与第一编码单元1300的深度相同。
193.根据实施例,第三编码单元1314或1324的宽度和高度可以是第一编码单元1310或1320的宽度和高度的1/4。当第一编码单元1310或1320的深度为d时,宽度和高度是第一编码单元1310或1320的宽度和高度的1/2的第二编码单元1312或1322的深度可以是d 1,宽度和高度是第一编码单元1310或1320的宽度和高度的1/4的第三编码单元1314或1324的深度可以是d 2。
194.图14示出根据实施例的基于编码单元的形状和尺寸可确定的深度以及用于区分
编码单元的部分索引(pid)。
195.根据实施例,图像解码设备100可通过对正方形的第一编码单元1400进行划分来确定各种形状的第二编码单元。参照图14,图像解码设备100可通过基于划分形状模式信息沿垂直方向和水平方向中的至少一个方向对第一编码单元1400进行划分来确定第二编码单元1402a和1402b、1404a和1404b、以及1406a、1406b、1406c和1406d。也就是说,图像解码设备100可基于第一编码单元1400的划分形状模式信息来确定第二编码单元1402a和1402b、1404a和1404b、以及1406a、1406b、1406c和1406d。
196.根据实施例,基于正方形的第一编码单元1400的划分形状模式信息所确定的第二编码单元1402a和1402b、第二编码单元1404a和1404b以及第二编码单元1406a、1406b、1406c和1406d的深度可基于它们的长边的长度被确定。例如,因为正方形的第一编码单元1400的边的长度等于非正方形的第二编码单元1402a和1402b以及1404a和1404b的长边的长度,所以第一编码单元1400和非正方形的第二编码单元1402a和1402b以及1404a和1404b可具有相同的深度(例如,d)。然而,当图像解码设备100基于划分形状模式信息将第一编码单元1400划分为四个正方形的第二编码单元1406a、1406b、1406c和1406d时,因为正方形的第二编码单元1406a、1406b、1406c和1406d的边的长度是第一编码单元1400的边的长度的1/2,所以第二编码单元1406a、1406b、1406c和1406d的深度可以是比第一编码单元1400的深度d低了1的d 1。
197.根据实施例,图像解码设备100可通过基于划分形状模式信息沿水平方向对高度长于宽度的第一编码单元1410进行划分来确定多个第二编码单元1412a和1412b以及1414a、1414b和1414c。根据实施例,图像解码设备100可通过基于划分形状模式信息沿垂直方向对宽度长于高度的第一编码单元1420进行划分来确定多个第二编码单元1422a和1422b以及1424a、1424b和1424c。
198.根据实施例,基于非正方形的第一编码单元1410或1420的划分形状模式信息所确定的第二编码单元1412a和1412b以及第二编码单元1414a、1414b和1414c,或者第二编码单元1422a和1422b以及第二编码单元1424a、1424b和1424c的深度可基于它们的长边的长度被确定。例如,因为正方形的第二编码单元1412a和1412b的边的长度是具有高度长于宽度的非正方形形状的第一编码单元1410的长边的长度的1/2,所以正方形的第二编码单元1412a和1412b的深度是比非正方形的第一编码单元1410的深度d低了1的d 1。
199.此外,图像解码设备100可基于划分形状模式信息将非正方形的第一编码单元1410划分为奇数个第二编码单元1414a、1414b和1414c。奇数个第二编码单元1414a、1414b和1414c可包括非正方形的第二编码单元1414a和1414c以及正方形的第二编码单元1414b。在这种情况下,因为非正方形的第二编码单元1414a和1414c的长边的长度以及正方形的第二编码单元1414b的边的长度是第一编码单元1410的长边的长度的1/2,所以第二编码单元1414a、1414b和1414c的深度可以是比非正方形的第一编码单元1410的深度d低了1的d 1。图像解码设备100可通过使用上述确定从第一编码单元1410划分出的编码单元的深度的方法来确定从具有宽度长于高度的非正方形形状的第一编码单元1420划分出的编码单元的深度。
200.根据实施例,当划分出的奇数个编码单元不具有相等的尺寸时,图像解码设备100可基于编码单元之间的尺寸比例来确定用于识别划分出的编码单元的pid。参照图14,划分
出的奇数个编码单元1414a、1414b和1414c中的中心位置的编码单元1414b的宽度可等于其他编码单元1414a和1414c的宽度并且其高度可以是其他编码单元1414a和1414c的高度的两倍。也就是说,在这种情况下,中心位置处的编码单元1414b可包括两个其他编码单元1414a或1414c。因此,当中心位置处的编码单元1414b的pid基于扫描顺序为1时,位置与编码单元1414b相邻的编码单元1414c的pid可增加2并且因此可以是3。也就是说,可能存在pid值不连续。根据实施例,图像解码设备100可基于用于识别划分出的编码单元的pid中是否存在不连续来确定划分出的奇数个编码单元是否不具有相等的尺寸。
201.根据实施例,图像解码设备100可基于用于识别通过对当前编码单元进行划分而确定的多个编码单元的pid值来确定是否使用特定划分方法。参照图14,图像解码设备100可通过对具有高度长于宽度的矩形形状的第一编码单元1410进行划分来确定偶数个编码单元1412a和1412b或奇数个编码单元1414a、1414b和1414c。图像解码设备100可使用指示各个编码单元的pid以便识别所述各个编码单元。根据实施例,可从每个编码单元的特定位置的样点(例如,左上样点)获得pid。
202.根据实施例,图像解码设备100可通过使用用于区分编码单元的pid来确定划分出的编码单元中的特定位置处的编码单元。根据实施例,当具有高度长于宽度的矩形形状的第一编码单元1410的划分形状模式信息指示将编码单元划分为三个编码单元时,图像解码设备100可将第一编码单元1410划分为三个编码单元1414a、1414b和1414c。图像解码设备100可将pid分配给三个编码单元1414a、1414b和1414c中的每一个。图像解码设备100可将划分出的奇数个编码单元的pid进行比较,以确定划分出的奇数个编码单元中的中心位置处的编码单元。图像解码设备100可将具有与编码单元的pid中的中间值相应的pid的编码单元1414b确定为通过对第一编码单元1410进行划分所确定的编码单元中的中心位置处的编码单元。根据实施例,当划分出的编码单元不具有相等的尺寸时,图像解码设备100可基于编码单元之间的尺寸比例确定用于区分划分出的编码单元的pid。参照图14,通过对第一编码单元1410进行划分而产生的编码单元1414b的宽度可等于其他编码单元1414a和1414c的宽度,并且编码单元1414b的高度可以是其他编码单元1414a和1414c的高度的两倍。在这种情况下,当中心位置处的编码单元1414b的pid是1时,位置与编码单元1414b相邻的编码单元1414c的pid可增加2并且因此可以是3。当如上所述pid未均匀地增大时,图像解码设备100可确定编码单元被划分为包括尺寸与其他编码单元的尺寸不同的编码单元的多个编码单元。根据实施例,当划分形状模式信息指示将编码单元划分为奇数个编码单元时,图像解码设备100可按照奇数个编码单元中的特定位置的编码单元(例如,中心位置的编码单元)具有与其他编码单元的尺寸不同的尺寸这样的方式来对当前编码单元进行划分。在这种情况下,图像解码设备100可通过使用编码单元的pid来确定具有不同尺寸的中心位置的编码单元。然而,特定位置的编码单元的pid以及尺寸或位置不限于上述示例,并且可使用编码单元的各种pid以及各种位置和尺寸。
203.根据实施例,图像解码设备100可使用特定数据单元,其中,在所述预定数据单元中,编码单元开始被递归地划分。
204.图15示出根据实施例的基于包括在画面中的多个特定数据单元来确定多个编码单元。
205.根据实施例,特定数据单元可被定义为通过使用划分形状模式信息开始对编码单
元进行递归划分的数据单元。也就是说,特定数据单元可与用于确定从当前画面划分出的多个编码单元的最高深度的编码单元相应。在下面的描述中,为了便于解释,特定数据单元被称为参考数据单元。
206.根据实施例,参考数据单元可具有特定尺寸和特定形状。根据实施例,参考数据单元可包括m
×
n个样点。这里,m和n可彼此相等,并且可以是被表示为2的幂的整数。也就是说,参考数据单元可具有正方形形状或非正方形形状,并且可被划分为整数个编码单元。
207.根据实施例,图像解码设备100可将当前画面划分为多个参考数据单元。根据实施例,图像解码设备100可通过使用每个参考数据单元的划分形状模式信息来对从当前画面划分出的多个参考数据单元进行划分。对参考数据单元进行划分的操作可与使用四叉树结构的划分操作相应。
208.根据实施例,图像解码设备100可预先确定包括在当前画面中的参考数据单元所允许的最小尺寸。因此,图像解码设备100可确定尺寸等于或大于最小尺寸的各种参考数据单元,并且可参考确定的参考数据单元通过使用划分形状模式信息来确定一个或更多个编码单元。
209.参照图15,图像解码设备100可使用正方形的参考编码单元1500或非正方形的参考编码单元1502。根据实施例,可基于能够包括一个或更多个参考编码单元的各种数据单元(例如,序列、画面、条带、条带片段、并行块、并行块组、ctu等)来确定参考编码单元的形状和尺寸。
210.根据实施例,图像解码设备100的接收器110可从比特流获得针对各种数据单元中的每个数据单元的参考编码单元形状信息和参考编码单元尺寸信息中的至少一个。上面已经关于图3的对当前编码单元300进行划分的操作描述了将正方形的参考编码单元1500划分为一个或更多个编码单元的操作,并且上面已经关于图4的对当前编码单元400或450进行划分的操作描述了将非正方形的参考编码单元1502划分为一个或更多个编码单元的操作。因此,这里将不提供其详细描述。
211.根据实施例,图像解码设备100可根据先前基于特定条件确定的一些数据单元,使用用于识别参考编码单元的尺寸和形状的pid来确定参考编码单元的尺寸和形状。也就是说,接收器110可从比特流仅获得用于识别针对每个条带、条带片段、并行块、并行块组或ctu的参考编码单元的尺寸和形状的pid,其中,所述每个条带、条带片段或ctu是各种数据单元(例如,序列、画面、条带、条带片段、并行块、并行块组、ctu等)中的满足特定条件的数据单元(例如,尺寸等于或小于条带的数据单元)。图像解码设备100可通过使用pid确定针对满足特定条件的每个数据单元的参考数据单元的尺寸和形状。当根据具有相对小尺寸的每个数据单元从比特流获得并使用参考编码单元形状信息和参考编码单元尺寸信息时,使用比特流的效率可能不高,因此,仅pid可被获得并被使用,而不是直接获得参考编码单元形状信息和参考编码单元尺寸信息。在这种情况下,可预先确定与用于识别参考编码单元的尺寸和形状的pid相应的参考编码单元的尺寸和形状中的至少一个。也就是说,图像解码设备100可通过基于pid选择参考编码单元的尺寸和形状中的被预先确定的至少一个,来确定包括在用作用于获得pid的单元的数据单元中的参考编码单元的尺寸和形状中的至少一个。
212.根据实施例,图像解码设备100可使用包括在ctu中的一个或更多个参考编码单
元。也就是说,从画面划分出的ctu可包括一个或更多个参考编码单元,并且可通过对每个参考编码单元进行递归划分来确定编码单元。根据实施例,ctu的宽度和高度中的至少一个可以是参考编码单元的宽度和高度中的至少一个的整数倍。根据实施例,可通过基于四叉树结构将ctu划分n次来获得参考编码单元的尺寸。也就是说,根据各种实施例,图像解码设备100可通过基于四叉树结构将ctu划分n次来确定参考编码单元,并且可基于块形状信息和划分形状模式信息中的至少一个来对参考编码单元进行划分。
213.根据实施例,图像解码设备100可从比特流获得指示当前编码单元的形状的块形状信息或指示当前编码单元的划分方法的划分形状模式信息,并且可使用所获得的信息。划分形状模式信息可被包括在与各种数据单元相关的比特流中。例如,图像解码设备100可使用包括在序列参数集、画面参数集、视频参数集、条带头、条带段头、并行块头或并行块组头中的划分形状模式信息。此外,图像解码设备100可根据每个ctu、每个基准编码单元或每个处理块从比特流获得与块形状信息或划分形状模式信息相应的语法元素,并且可使用所获得的语法元素。
214.在下文中,将详细描述根据本公开的实施例的确定划分规则的方法。
215.图像解码设备100可确定图像的划分规则。可在图像解码设备100与图像编码设备2200之间预先确定划分规则。图像解码设备100可基于从比特流获得的信息确定图像的划分规则。图像解码设备100可基于从序列参数集、画面参数集、视频参数集、条带头、条带片段头、并行块头或并行块组头中的至少一个获得的信息确定划分规则。图像解码设备100可根据帧、条带、并行块、时间层、ctu或编码单元来不同地确定划分规则。
216.图像解码设备100可基于编码单元的块形状确定划分规则。块形状可包括编码单元的尺寸、形状、宽度与高度的比例以及方向。图像解码设备100可预先确定基于编码单元的块形状来确定划分规则。然而,实施例不限于此。图像解码设备100可基于接收的比特流获得的信息来确定图像的划分规则。
217.编码单元的形状可包括正方形和非正方形。当编码单元的宽度长度与高度长度相同时,图像解码设备100可将编码单元的形状确定为正方形。此外,当编码单元的宽度长度与高度长度不相同时,图像解码设备100可将编码单元的形状确定为非正方形。
218.编码单元的尺寸可包括诸如4
×
4、8
×
4、4
×
8、8
×
8、16
×
4、16
×
8至256
×
256的各种尺寸。可基于编码单元的长边长度、短边长度或者面积来对编码单元的尺寸进行分类。图像解码设备100可将相同的划分规则应用于被分类为同一组的编码单元。例如,图像解码设备100可将长边为相同长度的编码单元分类为相同尺寸的编码单元。此外,图像解码设备100可将相同的划分规则应用于长边为相同长度的编码单元。
219.编码单元的宽度与高度的比例可包括1:2、2:1、1:4、4:1、1:8、8:1、1:16、16:1、32:1、1:32等。此外,编码单元的方向可包括水平方向和垂直方向。水平方向可指示编码单元的宽度长度长于编码单元的高度长度的情况。垂直方向可指示编码单元的宽度长度短于编码单元的高度长度的情况。
220.图像解码设备100可基于编码单元的尺寸来适应性地确定划分规则。图像解码设备100可基于编码单元的尺寸来不同地确定可允许的划分形状模式。例如,图像解码设备100可基于编码单元的尺寸来确定是否允许进行划分。图像解码设备100可根据编码单元的尺寸来确定划分方向。图像解码设备100可根据编码单元的尺寸来确定可允许的划分类型。
221.基于编码单元的尺寸确定的划分规则可以是在图像解码设备100中预先确定的划分规则。此外,图像解码设备100可基于从比特流获得的信息确定划分规则。
222.图像解码设备100可基于编码单元的位置来适应性地确定划分规则。图像解码设备100可基于编码单元在图像中的位置来适应性地确定划分规则。
223.此外,图像解码设备100可确定划分规则使得经由不同的划分路径而产生的编码单元不具有相同的块形状。然而,实施例不限于此,并且经由不同的划分路径而产生的编码单元具有不同的解码处理顺序。因为以上已经参照图12描述了解码处理顺序,因此将不再提供其细节。
224.图16是图像编码和解码系统的框图。
225.图像编码和解码系统1600的编码端1610发送图像的编码比特流,并且解码端1650通过接收和解码比特流来输出重建图像。这里,解码端1550可具有与图像解码设备100类似的构造。
226.在编码端1610处,预测编码器1615经由帧间预测和帧内预测输出参考图像,并且变换器和量化器1620将参考画面与当前输入图像之间的残差数据量化为量化的变换系数并输出量化的变换系数。熵编码器1625通过对量化的变换系数进行编码来对量化的变换系数进行变换,并将变换后的量化的变换系数输出为比特流。经由反量化器和逆变换器1630将量化的变换系数重建为空间域的数据,并且经由去块滤波器1635和环路滤波器1640将空间域的数据输出为重建图像。可经由预测编码器1615将重建图像用作下一个输入图像的参考图像。
227.经由熵解码器1655以及反量化器和逆变换器1660将由解码端1650接收的比特流中的编码的图像数据重建为空间域的残差数据。当参考图像和从预测解码器1675输出的残差数据被组合时,对空间域的图像数据进行配置,并且去块滤波器1665和环路滤波器1670可通过对空间域的图像数据执行滤波来输出关于当前原始图像的重建图像。可由预测解码器1675将重建图像用作用于下一个原始图像的参考图像。
228.编码端1610的环路滤波器1640通过使用根据用户输入或系统设置输入的滤波器信息来执行环路滤波。由环路滤波器1640使用的滤波器信息被输出到熵编码器1625,并且与编码的图像数据一起被发送到解码端1650。解码端1650的环路滤波器1670可基于从解码端1650输入的滤波器信息来执行环路滤波。
229.在下文中,参照图17至图20,将详细描述根据本说明书中描述的实施例的用于通过使用从画面划分出的各种尺寸和各种形状的块来对视频进行编码或解码的方法和设备。
230.在下文中,“编码单元的最大尺寸”是指编码单元的宽度和高度的较长边的最大尺寸,“编码单元的最小尺寸”是指编码单元的宽度和高度的较长边的最小尺寸。
231.在下文中,“树结构”可表示根据编码单元的划分模式是四划分、二划分、三划分还是不划分而形成的一个或更多个编码单元的分层结构。例如,根据图5的划分处理从当前编码单元产生的块的分层结构被称为树结构。
232.图17是根据实施例的视频解码设备的框图。
233.参照图17,根据实施例的视频解码设备1700可包括亮度块解码器1710和色度块解码器1720。
234.视频解码设备1700可获得作为对图像进行编码的结果而产生的比特流,基于包括
在比特流中的信息识别从画面划分出的块的位置,并且对块(诸如,编码树单元(ctu)和编码单元)进行解码。
235.根据实施例的视频解码设备1700可包括被配置为控制亮度块解码器1710和色度块解码器1720的中央处理器(未示出)。可选地,视频解码设备1700通常可与亮度块解码器1710和色度块解码器1720一起操作,亮度块解码器1710和色度块解码器1720各自经由单独的处理器(未示出)操作,并且处理器交互地操作。可选地,可根据视频解码设备1700的外部处理器(未示出)的控制来控制亮度块解码器1710和色度块解码器1720。
236.视频解码设备1700可包括存储亮度块解码器1710和色度块解码器1720的输入数据和输出数据的一个或更多个数据存储器(未示出)。视频解码设备1700可包括控制数据存储器(未示出)的数据输入和数据输出的存储器控制器(未示出)。
237.视频解码设备1700可通过与内部视频解码处理器或外部视频解码处理器连接地操作来执行包括预测的图像解码操作,以便经由图像解码来重建图像。根据实施例的视频解码设备1700的内部视频解码处理器可以以这样的方式来执行基本图像解码操作:不仅单独的处理器执行基本图像解码操作而且还有包括在中央处理设备或图形处理设备中的图像解码处理模块执行基本图像解码操作。
238.视频解码设备1700可被包括在上述图像解码设备100中。例如,亮度块解码器1710和色度块解码器1720可与图像解码设备100的解码器120相应。
239.亮度块解码器1710可接收作为对图像进行编码的结果而产生的比特流。比特流可包括关于当前画面的信息。画面可包括一个或更多个ctu。亮度块解码器1710可基于从比特流获得的信息确定当前亮度块在画面中的位置。当前亮度块是根据树结构从画面划分出的亮度块,并且例如,可与ctu或cu相应。亮度块解码器1710可确定当前亮度块是否将被进一步划分为更低深度的低级亮度块,并且可确定当前亮度块的树结构。与当前亮度块的当前深度相比,可根据将当前亮度块划分为低级亮度块的次数来确定更低深度。在当前画面中所包括的树结构中所包括的亮度块之中,位于树的叶节点处的亮度块是不被进一步划分的亮度块。因此,解码器1710可对不被进一步划分的一个或更多个亮度块执行反量化、逆变换和预测,以对亮度块进行解码。
240.色度块解码器1720可确定与当前画面中的当前亮度块相应的色度块的树结构,并且可对根据树结构而产生的色度块进行解码。根据树结构而产生的色度块之中的位于树的叶节点处的色度块是不被进一步划分的块。因此,色度块解码器1720可对不被进一步划分的色度块执行反量化、逆变换和预测,以产生色度重建样点。
241.视频解码设备1700可对由亮度块解码器1720解码的亮度块的亮度重建样点和由色度块解码器1710解码的色度块的色度重建样点进行组合,以重建当前画面。
242.根据实施例的亮度块解码器1710可基于从比特流获得的关于画面的宽度的信息来获得画面的宽度。根据实施例的亮度块解码器1710可基于从比特流获得的关于画面的高度的信息来获得画面的高度。关于画面的宽度的信息指示在画面的宽度方向上布置的亮度样点的数量,其中,在宽度方向上布置的亮度样点的数量可以是8的整数倍。关于画面的高度的信息指示在画面的高度方向上布置的亮度样点的数量,其中,在高度方向上布置的亮度样点的数量可以是8的整数倍。
243.即使在当前块允许的最小块的宽度和高度中的至少一个小于8时,根据实施例的
亮度块解码器1710也可基于关于画面的宽度的信息来获得作为8的整数倍的画面的宽度,并且可基于关于画面的高度的信息来获得作为8的整数倍的画面的高度。
244.当根据实施例的从比特流获得的关于画面的宽度的信息和关于画面的高度的信息中的每一个都与8的整数倍相应时,可防止产生尺寸为4
×
2、2
×
4或2
×
2的色度编码单元。由于不产生相对小尺寸的色度编码单元,因此可预期视频解码设备1700的解码操作的吞吐量得到改善。
245.因此,基于关于画面的宽度的信息和关于画面的高度的信息确定的当前画面的尺寸可能必须是最小块的尺寸和8之间的较大数的整数倍,其中,关于画面的宽度的信息和关于画面的高度的信息是从当前比特流获得的。在当前画面的尺寸不是最小块的尺寸和8之间的较大数的整数倍时,视频解码设备1700可将当前比特流确定为有缺陷地产生的比特流,并且可以不执行解码操作。
246.当根据从画面产生的当前块的亮度宽度的x坐标大于画面的宽度或者根据当前块的亮度高度的y坐标大于画面的高度时,根据实施例的亮度块解码器1710可对当前块进行划分以产生更低深度的块。
247.cu的树类型可以是单树型或双树型。当cu的树类型为双树型时,双树型可以是亮度双树型或色度双树型。当cu的树类型为单树型时,预先确定与cu相应的亮度块的树结构,并且还对与亮度块相应的色度块进行解码,其中,所述亮度块位于树的叶节点处并且被解码。在双树型的情况下,可彼此分开地确定与cu相应的亮度块的树结构和色度块的树结构。
248.当前块可被划分为亮度块和色度块。在单树型的情况下,在确定当前块的树结构之后,可确定当前块的不被进一步划分的亮度块和色度块,并且可对亮度块和色度块中的每一个进行解码。在双树型的情况下,可确定当前块的亮度块的树结构,并且可对不被进一步划分的亮度块进行解码。另外,可与亮度块的树结构分开地确定与亮度块相应的色度块的树结构,并且可对不被进一步划分的色度块进行解码。
249.当根据从画面所产生的当前块的亮度宽度的x坐标不大于画面的宽度,根据当前块的亮度高度的y坐标不大于画面的高度,并且划分模式为不划分模式时,根据实施例的亮度块解码器1710可对当前块的亮度块进行解码。
250.根据实施例的色度块解码器1720可确定与亮度块相应的色度块并且对色度块进行解码。详细地讲,在当前块的树类型为单一型时,可基于颜色格式与亮度块的尺寸成比例地确定色度块的尺寸。例如,在yuv 4:2:0的颜色格式的情况下,可确定具有亮度块的宽度的一半宽度和亮度块的高度的一半高度的色度块。因此,基于未被进一步划分为更低深度的cu且由亮度块解码器1710解码的当前亮度块的尺寸,色度块解码器1720可确定当前色度块的尺寸并且当前色度块进行解码。
251.在当前块的树型为双树型时,根据实施例的色度块解码器1720可与亮度块的树结构分开地确定色度块的树结构。根据实施例的色度块解码器1720可对根据当前色度块的树结构而产生的一个或更多个色度块进行解码。
252.此外,当根据实施例的cu的树类型为双树型时,可将预测模式约束为帧内预测模式。
253.此外,在当前cu的条带类型为i条带类型时,或者在当前cu的可用预测模式为受约束帧内预测模式(约束帧内)时,可将当前cu的树类型确定为双树型。
254.根据实施例的亮度块解码器1710可从序列参数集和画面参数集中的至少一个获得关于画面的宽度的信息和关于画面的高度的信息。
255.根据实施例的亮度块解码器1710可基于从比特流获得的cu划分标志来确定亮度块的块形状信息和/或划分形状模式。此外,亮度块解码器1710可基于针对每一个ctu、每一个参考cu和每一个处理块的块形状信息或划分形状模式来确定亮度块的树结构。
256.在当前cu的树类型为双树型时,根据实施例的色度块解码器1720可基于从比特流获得的cu划分标志来确定色度块的块形状信息和/或划分形状模式。此外,色度块解码器1720可基于针对每一个ctu、每一个参考cu和每一个处理块的块形状信息或划分形状模式来确定当前色度块。根据当前色度块的划分模式,色度块解码器1720可将当前色度块划分为更低深度的色度块,或者可以不对当前色度块进行进一步划分并且可对当前色度块进行解码。
257.根据实施例的亮度块解码器1710可通过使用从比特流获得的关于ctu的尺寸的信息来确定ctu的尺寸。
258.根据实施例的亮度块解码器1710可通过使用从比特流获得的关于亮度cu的最小尺寸的信息来确定亮度cu的最小尺寸。详细地讲,关于亮度cu的最小尺寸的信息是二进制对数值,并且亮度块解码器1710可使用通过将关于亮度cu的最小尺寸的信息加2而获得的值来确定亮度cu的最小尺寸。因此,当关于亮度cu的最小尺寸的信息指示0时,可将2的2次方确定为亮度cu的最小尺寸。
259.例如,在当前亮度块的预测模式为帧内模式时,亮度块解码器1710可通过使用亮度块的帧内预测信息从位于帧内预测方向上的空间邻近块的样点之中确定参考样点,并且可通过使用参考样点确定与当前块相应的预测样点。
260.例如,当亮度块的预测模式为帧间模式时,亮度块解码器1710可通过使用亮度块的运动矢量重建当前块。亮度块解码器1710可通过使用亮度块的运动矢量来确定参考画面中的参考块,并且可从包括在参考块中的参考样点确定与当前亮度块相应的预测样点。亮度块解码器1710可通过使用从比特流获得的变换系数级别来重建变换系数,并且可对变换系数执行反量化和逆变换以重建残差样点。亮度块解码器1710可通过对与亮度块相应的预测样点以及残差样点进行组合来确定亮度块的重建样点。
261.当亮度块的预测模式为跳过模式时,亮度块解码器1710不需要从比特流解析亮度块的变换系数。亮度块解码器1710可巧妙地使用亮度块的预测样点来确定亮度块的重建样点。
262.在单树型的情况下,色度块解码器1720可基于yuv的颜色格式确定与亮度块相应的色度块的尺寸。例如,在yuv 4:2:0的颜色格式的情况下,可将尺寸为4
×
4的当前色度块确定为与尺寸为8
×
8的当前亮度块相应。
263.类似于亮度块解码器1710,色度块解码器1720可通过对色度块执行预测、反量化和逆变换来确定色度块的重建块。详细的预测、反量化和逆变换操作与上文针对亮度块解码器1710所描述的相同。
264.根据实施例的亮度块解码器1710可重建包括在ctu中的亮度块,并且因此可重建包括一个或更多个ctu的画面。
265.在下文中,下面参照图18描述根据实施例的由视频解码设备1700执行的用于防止
小尺寸的帧内块的视频解码方法。
266.图18是根据实施例的视频解码方法的流程图。
267.在操作1810,亮度块解码器1710可基于从比特流获得的关于画面的宽度的信息来确定画面的宽度。亮度块解码器1710可基于从比特流获得的关于画面的高度的信息确定画面的高度。
268.根据实施例的关于画面的宽度的信息可指示在画面的宽度方向上布置的亮度样点的数量,并且在宽度方向上布置的亮度样点的数量可以是8的整数倍。类似地,关于画面的高度的信息可指示在画面的高度方向上布置的亮度样点的数量,并且在高度方向上布置的亮度样点的数量可以是8的整数倍。
269.根据另一实施例的关于画面的宽度的信息可指示作为亮度块的最小尺寸和8中的较大值的整数倍的值。类似地,关于画面的高度的信息可指示作为亮度块的最小尺寸和8中的较大值的整数倍的值。
270.在操作1820,当根据从画面产生的当前块的亮度宽度的x坐标不大于画面的宽度,根据当前块的亮度高度的y坐标不大于画面的高度,并且划分模式为不划分模式时,亮度块解码器1710可对当前块的亮度块进行解码。
271.在操作1830,色度块解码器1720可确定与亮度块相应的色度块并且对色度块进行解码。
272.在当前块的树型为双树型且当前块的预测模式为帧内预测模式时,并且当色度块的宽度为4时,根据实施例的色度块解码器1720可以不允许对色度块的二垂直划分。二垂直划分表示通过对块的宽度进行二划分来沿垂直方向对块进行二划分。
273.在当前块的树型为双树型且当前块的预测模式为帧内预测模式时,并且当与亮度块相应的色度样点的数量小于或等于16时,根据实施例的色度块解码器1720可以不允许对色度块的二划分。
274.在当前块的树型为双树型且当前块的预测模式为帧内预测模式时,并且当与亮度块相应的色度样点的数量小于或等于32时,根据实施例的色度块解码器1720可以不允许对色度块的三划分。
275.例如,当在当前亮度块在水平方向上偏离画面的边界线的情况下亮度块的划分模式为二垂直划分模式时,允许对当前亮度块的二垂直划分,并且因此,可对亮度块执行二垂直划分。因此,当根据从画面产生的亮度块的宽度的x坐标大于画面的宽度并且划分模式为二垂直划分模式时,根据实施例的亮度块解码器1710可通过对亮度块执行二垂直划分来产生更低深度的第一亮度块。作为另一示例,当在亮度块在水平方向上偏离画面的边界线的情况下亮度块的划分模式为二水平划分模式时,不允许对亮度块的二水平划分,并且因此,可以完全不对亮度块执行二划分。
276.例如,当亮度块在垂直方向上偏离画面的边界线并且亮度块的划分模式为二水平划分模式时,允许亮度块的二水平划分,并且因此可对亮度块执行二水平划分。因此,当根据从画面产生的亮度块的宽度的x坐标不大于画面的宽度,根据亮度块的高度的y坐标大于画面的高度,并且划分模式为二水平划分模式时,根据实施例的亮度块解码器1710可通过对亮度块执行二水平划分来产生更低深度的第二亮度块。作为另一示例,当在亮度块在垂直方向上偏离画面的边界线的情况下亮度块的划分模式为二垂直划分模式时,不允许对亮
度块的二垂直划分,并且因此,可以完全不对亮度块执行二划分。
277.根据实施例的亮度块解码器1710可从画面参数集语法结构获得关于画面的宽度的信息和关于画面的高度的信息。
278.根据实施例的视频解码设备1700可支持画面的宽度方向和高度方向上的样点数量分别是8的倍数的情况。因此,由亮度块解码器1710从比特流获得的关于画面的宽度的信息和关于画面的高度的信息中的每一个必须是8的整数倍。当不满足此条件时,并且当ctu存在于距画面的右侧边界线和下方边界线的样点数量不足或超过4个样点的位置处时,可从ctu产生尺寸为8
×
4、4
×
8或4
×
4的亮度cu。此外,可产生与亮度cu相应的尺寸为4
×
2、2
×
4或2
×
2的色度cu。在帧内预测模式下不允许尺寸为4
×
2、2
×
4或2
×
2的色度cu。因此,当不是画面的宽度方向上的样点数量和画面的高度方向上的样点数量中的每一个都是8的倍数时,根据实施例的视频解码设备1700可能无法正确地执行解码操作。
279.因此,当根据实施例的从比特流获得的关于画面的宽度的信息和关于画面的高度的信息中的每一个是8的整数倍时,可防止产生尺寸为4
×
2、2
×
4或2
×
2的色度cu。因为不产生具有相对小尺寸的色度cu,所以可得到视频解码设备1700的解码操作的吞吐量的改善。
280.根据另一实施例的关于画面的宽度的信息可指示与当前亮度块的最小尺寸和8之间的较大数的整数倍相应的值。类似地,关于画面的高度的信息可指示与当前亮度块的最小尺寸和8之间的较大数的整数倍相应的值。即使当当前亮度块的最小尺寸小于8时,画面的宽度和高度中的每一个也是8的倍数,并且因此,可防止产生具有4
×
2、2
×
4或2
×
2的尺寸的色度cu。
281.如上所述,根据上述实施例,根据实施例的视频解码设备1700可对宽度和高度分别为8的整数倍或者宽度和高度分别为亮度块的最小尺寸和8之间的较大数的整数倍的画面进行解码。因此,即使当由视频解码设备1700支持的块宽度或块高度的最小尺寸小于8时,画面的宽度和高度也分别是8的整数倍,因此,可防止产生尺寸为4
×
2、2
×
4或2
×
2的色度cu。
282.根据实施例的获得器1710可从比特流获得关于亮度cu的最小尺寸的信息。根据实施例的亮度块解码器1710可通过对通过将关于亮度cu的最小尺寸的信息加2而产生的值执行逆二进制对数变换来确定亮度cu的最小尺寸。这里,2表示亮度cu的最大尺寸可具有的最小二进制对数值,并且因此,亮度cu的最小尺寸可以是4。
283.亮度块解码器1710可从比特流获得指示ctu的尺寸与能够被三划分的块的最大尺寸之间的差的信息。根据实施例的亮度块解码器1710可通过使用能够被三划分的块的最大尺寸与ctu的尺寸之间的差来确定能够被三划分的块的最大尺寸。
284.详细地讲,根据实施例的亮度块解码器1710可确定能够被三划分的块的最大尺寸,使得能够被三划分的块的最大尺寸等于根据通过从ctu的尺寸减去差而获得的值的块尺寸和变换单元的最大尺寸之间的较小值。因此,可将能够被三划分的块的最大尺寸确定为不大于变换单元的最大尺寸。例如,变换单元的最大尺寸的二进制对数值可以是6。
285.根据实施例的亮度块解码器1710可从比特流获得指示亮度cu的最小尺寸与能够被三划分的块的最小尺寸之间的差的信息。根据实施例的亮度块解码器1710可通过使用亮度cu的最小尺寸与能够被三划分的块的最小尺寸之间的差来确定能够被三划分的块的最
小尺寸。详细地讲,根据实施例的亮度块解码器1710可通过使用通过将亮度cu的最小尺寸与能够被三划分的块的最小尺寸之间的差和亮度cu的最小尺寸进行求和而获得的值,来确定能够被三划分的块的最小尺寸。
286.根据实施例的亮度块解码器1710可基于能够被三划分的块的最大尺寸和能够被三划分的块的最小尺寸来确定是否对当前块进行三划分。根据实施例的亮度块解码器1710可对从当前块三划分出的块进行解码。
287.由亮度块解码器1710和色度块解码器1720重建的画面可包括样点填充的画面区域。在这种情况下,亮度块解码器1710和色度块解码器1720可通过裁剪填充的区域来最终重建画面。下面将参照图27和图28详细描述画面的样点填充的实施例。
288.在下文中,下面参照图19描述用于发送关于画面的宽度的信息和关于画面的高度的信息的视频编码设备。
289.图19是根据实施例的视频编码设备的框图。
290.参照图19,根据实施例的视频编码设备1900可包括信息产生器1910、亮度块编码器1920和色度块编码器1930。
291.根据实施例的视频编码设备1900可包括被配置为控制信息编码器1910、亮度块编码器1920和色度块编码器1930的中央处理器(未示出)。可选地,视频编码设备1900通常可与信息编码器1910、亮度块编码器1920和色度块编码器1930一起操作,其中,信息编码器1910、亮度块编码器1920和色度块编码器1930中的每一个经由它们自己的各个处理器(未示出)操作并且处理器(未示出)交互地操作。可选地,可根据视频编码设备1900的外部处理器(未示出)的控制来控制信息编码器1910、亮度块编码器1920和色度块编码器1930。
292.视频编码设备1900可包括存储信息编码器1910、亮度块编码器1920和色度块编码器1930的输入数据和输出数据的一个或更多个数据存储器(未示出)。视频编码设备1900可包括控制数据存储器(未示出)的数据输入和数据输出的存储器控制器(未示出)。
293.视频编码设备1900可通过与内部视频编码处理器或外部视频编码处理器连接地操作来执行包括预测的图像编码操作,以便对图像进行编码。根据实施例的视频编码设备1900的内部视频编码处理器可以以这样的方式来执行基本图像编码操作:不仅单独的处理器执行基本图像编码操作而且还有包括在中央处理设备或图形处理设备中的图像编码处理模块执行基本图像编码操作。
294.根据实施例的信息编码器1910可以以比特流的形式输出与关于画面的高度的信息和关于画面的宽度的信息相应的语法元素。
295.根据实施例的亮度块编码器1920可将画面划分为一个或更多个亮度cu并且可以对cu进行编码。
296.根据实施例的亮度块编码器1920可将画面划分为多个ctu,并且可将每一个ctu划分为具有各种尺寸和各种形状的亮度块,并且可对亮度块进行编码。
297.当前块可被划分为亮度块和色度块。在单树型的情况下,在确定当前块的树结构之后,可确定当前块的不被进一步划分的亮度块和色度块,并且可对亮度块和色度块中的每一个进行编码。在双树型的情况下,可确定当前块的亮度块的树结构,并且可对将不被进一步划分的亮度块进行编码。此外,可与亮度块的树结构分开地确定与亮度块相应的色度块的树结构,并且可对不被进一步划分的色度块进行编码。
298.例如,在当前块的预测模式为帧内模式时,亮度块编码器1920可从位于当前块的亮度块的帧内预测方向上的空间邻近块的样点之中确定参考样点,并且可通过使用参考样点确定与亮度块相应的预测样点。
299.例如,在当前块的预测模式为跳过模式时,亮度块编码器1920可确定用于预测亮度块的运动矢量。亮度块编码器1920可在参考画面内确定亮度块的参考块,并且可根据亮度块确定指示参考块的运动矢量。在跳过模式的情况下,不需要对残差块进行编码。
300.例如,在当前块的预测模式为帧间模式时,亮度块编码器1920可确定用于预测亮度块的运动矢量。亮度块编码器1920可在参考画面内确定亮度块的参考块,并且可根据亮度块确定指示参考块的运动矢量。亮度块编码器1920可从包括在参考块中的参考样点确定亮度块之间的残差样点,并且可基于变换单元对残差样点执行变换和量化以产生量化的变换系数。
301.亮度块通过根据树结构从画面划分而产生,并且可与例如ctu、cu或变换单元相应。亮度块编码器1920可根据编码顺序对包括在画面中的块进行编码。
302.信息编码器1910可输出包括与各种编码信息相应的语法元素的比特流,其中,所述各种编码信息是作为对亮度块进行编码的结果而确定的。
303.例如,对于根据树结构的每一个亮度块,信息编码器1910可包括根据块形状信息和/或划分形状模式的cu划分标志。
304.根据实施例的亮度块编码器1920可确定ctu的尺寸和cu的最小尺寸。
305.如同亮度块编码器1920,色度块编码器1930可对色度块执行预测、变换和量化以确定与色度块的编码信息相应的语法元素。详细的预测、反量化和逆变换操作与上文针对亮度块解码器1710所描述的相同。
306.信息编码器1910可输出包括与各种编码信息相应的语法元素的比特流,其中,所述各种编码信息是作为对色度块进行编码的结果而确定的。
307.根据实施例的信息编码器1910可基于ctu的尺寸对关于ctu的尺寸的信息进行编码。根据实施例的信息编码器1910可基于cu的最小尺寸对关于cu的最小尺寸的信息进行编码。
308.根据实施例的信息编码器1910可产生关于画面的宽度的信息,其中,所述信息指示在画面的宽度方向上布置的亮度样点的数量。根据实施例的信息编码器1910可产生关于画面的高度的信息,其中,所述信息指示在画面的高度方向上布置的亮度样点的数量。该信息可被产生使得在画面的宽度方向上布置的亮度样点的数量指示8的整数倍并且在画面的高度方向上布置的亮度样点的数量指示8的整数倍。
309.当根据从画面产生的当前块的亮度宽度的x坐标不大于画面的宽度,根据当前块的亮度高度的y坐标不大于画面的高度,并且划分模式为不划分模式时,根据实施例的亮度块编码器1920可对当前块的亮度块进行编码。
310.根据实施例的色度块编码器1920可确定与亮度块相应的色度块并且对所述色度块进行编码。详细地讲,在当前块的树类型为单一型时,可根据颜色格式与亮度块的尺寸成比例地确定色度块的尺寸。例如,在yuv 4:2:0的颜色格式的情况下,可确定具有亮度块的宽度的一半宽度和亮度块的高度的一半高度的色度块。因此,基于不被进一步划分为更低深度的cu且由亮度块编码器1920编码的当前亮度块的尺寸,色度块编码器1930可确定当前
色度块的尺寸并且对当前色度块进行编码。
311.在当前块的树类型为双树型时,根据实施例的色度块编码器1930可与亮度块的树结构分开地确定当前色度块的树结构。
312.此外,当根据实施例的cu的预测模式是帧内预测模式时,当cu的树类型为双树型时,可将预测模式约束为帧内预测模式。
313.此外,在当前cu的条带类型为i条带类型或当前cu的可用预测模式为受约束帧内预测模式(约束帧内)时,可将当前cu的树类型确定为双树型。
314.根据实施例的色度块编码器1930可根据树结构对色度块进行编码。
315.在下文中,下面参照图20描述由视频编码设备1900执行的对视频进行编码的处理。
316.图20是根据实施例的视频编码方法的流程图。
317.在操作2010,根据实施例的信息编码器1910可产生关于画面的宽度的信息和关于画面的高度的信息,其中,关于画面的宽度的信息指示在画面的宽度方向上布置的亮度样点的数量,关于画面的高度的信息指示在画面的高度方向上布置的亮度样点的数量。可将在画面的宽度方向上布置的亮度样点的数量确定为指示8的整数倍,并且可将在画面的高度方向上布置的亮度样点的数量确定为指示8的整数倍。
318.根据实施例的信息编码器1910可产生用于指示亮度块的最小尺寸和8中的较大值的整数倍的关于画面的宽度的信息,并且可产生用于指示亮度块的最小尺寸和8中的较大值的整数倍的关于画面的高度的信息。
319.根据实施例的信息编码器1910可将关于画面的宽度的信息和关于画面的高度的信息包括在画面参数集语法结构中。
320.在操作2020,当根据从画面产生的当前块的亮度宽度的x坐标不大于画面的宽度,根据当前块的亮度高度的y坐标不大于画面的高度,并且划分模式为不划分模式时,根据实施例的亮度块编码器1920可对当前块的亮度块进行编码。
321.根据实施例的亮度块编码器1920可在画面的边界线之外执行样点填充,使得画面的宽度变为8的倍数。此外,亮度块编码器1920可在画面的边界线之外执行样点填充,使得画面的高度变为8的倍数。亮度块编码器1920可对包括画面的样点填充的区域的亮度块执行编码。下面将参照图27和图28详细描述关于画面的样点填充的实施例。
322.在操作2030,根据实施例的色度块编码器1930可确定与亮度块相应的色度块并且对色度块进行编码。
323.根据实施例的色度块编码器1930可对包括画面的样点填充区域的色度块执行编码。
324.在当前块的预测模式为帧内预测模式并且当前块的树类型为双树型时,可与亮度块的树结构分开地确定色度块的树结构。
325.在当前块的树类型为双树型且当前块的预测模式为帧内预测模式时,并且当色度块的宽度为4时,色度块编码器1930可以不允许对色度块的二垂直划分。
326.在当前块的树类型为双树型且当前块的预测模式为帧内预测模式时,并且当与亮度块相应的色度样点的数量小于或等于16时,色度块编码器1930可以不允许对色度块的二划分。
327.在当前块的树类型为双树型且当前块的预测模式为帧内预测模式时,并且当与亮度块相应的色度块的数量小于或等于32时,色度块编码器1930可以不允许对色度块的三划分。
328.根据实施例的视频编码设备1900可支持画面的宽度方向和高度方向上的样点数量分别是8的倍数的情况。因此,视频编码设备1900必须对指示8的整数倍的关于画面的宽度的信息和关于画面的高度的信息中的每一个进行编码。当不满足此条件时,并且当ctu存在于距画面的右侧边界线和下方边界线的样点数量不足或超过4个样点的位置处时,可从ctu产生尺寸为8
×
4、4
×
8或4
×
4的亮度cu。此外,可产生与亮度cu相应的尺寸为4
×
2、2
×
4或2
×
2的色度cu。在帧内预测模式下不允许尺寸为4
×
2、2
×
4或2
×
2的色度cu。因此,当不是画面的宽度方向上的样点数量和画面的高度方向上的样点数量中的每一个都是8的倍数时,根据实施例的视频编码设备1900可能无法正确地执行编码操作。
329.因此,当视频编码设备1900产生指示8的整数倍的关于画面的宽度的信息和关于画面的高度的信息中的每一个时,可防止产生尺寸为4
×
2、2
×
4或2
×
2的色度cu。此外,因为不产生具有相对小尺寸的色度cu,所以可预期视频编码设备1900的编码操作的吞吐量和视频解码设备1700的解码操作的吞吐量的改善。
330.根据另一实施例的关于画面的宽度的信息可指示与亮度块的最小尺寸和8中的较大值的整数倍相应的值。类似地,关于画面的高度的信息可指示与亮度块的最小尺寸和8中的较大值的整数倍相应的值。即使在当前亮度块的最小尺寸小于8时,画面的宽度和高度中的每一个也都是8的倍数,并且因此,可防止产生尺寸为4
×
2、2
×
4或2
×
2的色度cu。
331.如上所述,根据上述实施例,根据实施例的视频编码设备1900可将画面的宽度和高度确定为8的整数倍或者亮度块的最小尺寸和8中的较大值的整数倍。因此,即使当视频编码设备1900支持的块宽度或块高度的最小尺寸小于8时,画面的宽度和高度也分别是8的整数倍,因此,可防止产生尺寸为4
×
2、2
×
4或2
×
2的色度cu。
332.因此,由视频编码设备1900产生并包括在比特流中的关于画面的宽度的信息和关于画面的高度的信息可必须分别指示当前画面的宽度和高度是块的最小尺寸和8中的较大值的整数倍。当包括在比特流中的信息不指示当前画面的尺寸是块的最小尺寸和8之间的较大数的整数倍时,视频编码设备1900可确定当前比特流被有缺陷地产生并且可以不执行编码设备。
333.根据实施例的亮度块编码器1920可确定ctu的尺寸和亮度cu的最小尺寸。根据实施例的信息编码器1910可基于ctu的尺寸对关于ctu的尺寸的信息进行编码。根据实施例的信息编码器1910可对关于亮度cu的最小尺寸的信息进行编码,使得关于亮度cu的最小尺寸的信息指示通过从应用了亮度cu的最小尺寸的二进制对数的值减去2而获得的值。
334.例如,信息编码器1910可将关于ctu的尺寸的信息和关于cu的最小尺寸的信息包括在序列参数集中。
335.根据实施例的亮度块编码器1920可将亮度cu的最小尺寸约束为等于或小于4。
336.根据另一实施例的亮度块编码器1920可基于能够被三划分的块的最大尺寸和能够被三划分的块的最小尺寸来确定是否对当前块进行三划分。例如,可将能够被三划分的块的最大尺寸确定为小于或等于变换单元的最大尺寸。在当前块的尺寸小于或等于能够被三划分的块的最大尺寸并且大于或等于能够被三划分的块的最小尺寸时,根据另一实施例
的亮度块编码器1920可对从当前块三划分出的块执行预测以对三划分出的块进行编码。
337.根据另一实施例的信息编码器1910可对指示ctu的尺寸与能够被三划分的cu的最大尺寸之间的差的信息进行编码。指示差的信息可以是通过对ctu的尺寸与能够被三划分的cu的最大尺寸之间的差值取二进制对数而产生的值。
338.根据另一实施例的信息编码器1910可对指示亮度cu的最小尺寸与能够被三划分的cu的最小尺寸之间的差的信息进行编码。指示差的信息可以是通过对亮度cu的最小尺寸与能够被三划分的cu的最小尺寸之间的差值取二进制对数而产生的值。具体地讲,指示差的信息可以是通过从亮度cu的最小尺寸与能够被三划分的cu的最小尺寸之间的差值的二进制对数值减去2而获得的值。
339.根据各种实施例的基于每一个块比例的关于块的最大尺寸的信息和关于块的最小尺寸的参数可分别指示通过对最大尺寸和最小尺寸执行二进制对数变换而获得的值。可经由无符号指数哥伦布编码或一元二值化编码等对根据各种实施例传输的关于块的最大尺寸的信息、关于块的最小尺寸的信息等进行编码和解码。
340.在下文中,参照图21和图22描述当画面的宽度和高度不是8的倍数时可能出现的亮度块和色度块的尺寸。
341.随着正在执行最新标准化的视频编码标准中可用的块的尺寸减小,将以块为单位执行以对画面的编码和解码操作进行处理的操作的数量已经增加。具体地,因为针对色度块出现尺寸为2
×
2的块,所以已经提出了编码和解码的吞吐量的问题。为了解决这些问题,为了不产生尺寸为2
×
2、2
×
4或4
×
2的色度块,产生以下条件。
342.条件1:当包括在色度块中的样点的数量等于或小于16时,四划分、二划分和三划分受约束。
343.条件2:当包括在色度块中的样点的数量等于或小于32时,三划分受约束。
344.然而,当画面的尺寸是4的倍数而不是8的倍数时,即使在使用条件1和条件2时,当如下文参照图21和图22所描述的画面的宽度和高度不是8的倍数时,也可能产生尺寸为2
×
2、2
×
4或4
×
2的色度块。
345.图21示出当画面的宽度和高度不是8的倍数时ctu偏离画面的边界线的情况。
346.当画面2100的宽度和高度不是8的倍数时,可通过对画面2100进行划分的ctu 2100、ctu 2120、ctu 2130、ctu 2140、ctu 2150和ctu 2160之中的ctu 2130和ctu 2160从画面2100的边界线向外偏离4个样点的位置产生ctu 2130和ctu 2160。因此,ctu 2130和ctu 2160可包括画面2100的外部区域。具体地,ctu 2160被划分,并且因此,在ctu 2160的右下侧产生尺寸为16
×
16的亮度块2170,并且当编码单元2170被四划分时,可产生尺寸为4
×
4的亮度块2180。当yuv颜色格式为4:2:0时,与尺寸为4
×
4的亮度块2180相应的色度块的尺寸可以是2
×
2。
347.作为类似示例,当画面2105的宽度和高度不是8的倍数时,可产生对画面2105进行划分的ctu 2115、ctu 2125、ctu 2135、ctu 2145、ctu 2155、ctu 2165、ctu 2175、ctu 2185、ctu 2195、ctu 2167、ctu 2177、ctu 2187和ctu 2197之中的ctu 2145、ctu 2195、ctu 2167、ctu 2177、ctu 2187和ctu 2197以包括仅与从画面2015的边界线朝向画面2015定位的4个样点相应的区域。因此,ctu 2145、ctu 2195、ctu 2167、ctu 2177、ctu 2187和ctu 2197可包括画面2105的外部区域。具体地,ctu 2197可被划分为在ctu 2197的左上侧的尺
寸为4
×
4的亮度块2199。当yuv颜色格式为4:2:0时,与尺寸为4
×
4亮度块2199相应的色度块的尺寸可以是2
×
2。
348.图22示出当画面的宽度或高度不是8的倍数时跨越画面的边界线的ctu被四划分为8
×
8的尺寸的情况。
349.当画面2200的高度不是8的倍数时,可通过从画面2200的下方边界线向外偏离4个样点的区域产生ctu。当ctu被连续划分时,可产生尺寸为16
×
16(或16
×
14)的亮度块2210,并且可从亮度块2210产生尺寸为8
×
4的亮度块2220。当yuv颜色格式为4:2:0时,与尺寸为8
×
4的亮度块2220相应的色度块的尺寸可以是4
×
2。
350.作为类似示例,当画面2250的宽度不是8的倍数时,可通过向画面2250的右侧边界线外部偏离4个样点的区域产生ctu。当ctu被连续划分时,可产生尺寸为16
×
16(或14
×
16)的亮度块2260,并且可从亮度块2260产生尺寸为4
×
8的亮度块2270。当yuv颜色格式为4:2:0时,与尺寸为4
×
8的亮度块2270相应的色度块的尺寸可以是2
×
4。
351.因此,当如图21和图22中所示出的画面的宽度不是8的倍数时,与画面的边界线相邻的色度块的尺寸可以是2
×
2、2
×
4或4
×
2。
352.在先前的h.264或高效视频编码(hevc)/h.265编解码器中,编码器和解码器中可用的画面的尺寸被定义为编解码器中允许的最小块的尺寸的倍数。
353.正在执行最近的标准化的根据通用视频编码(vvc)编解码器或基本视频编码(evc)编解码器的视频编码器或视频解码器支持各种块划分方法(四划分、二划分、三划分等)。因此,使用具有4
×
4、4
×
8或8
×
4的小尺寸的块。此外,为了支持小尺寸的块,将另外的处理操作添加到视频编码器或视频解码器。此外,由于小的块(诸如,尺寸为2
×
2、2
×
4和4
×
2的色度块)以yuv 4:2:0的颜色格式出现,故已经引起视频编码器或视频解码器的吞吐量的劣化,因此,已经提供了用于解决劣化的技术。具体地,如图21和图22中所示出的,因为也在画面的边界线周围形成小的块(诸如,尺寸为2
×
2、2
×
4和4
×
2的色度块),所以提供了解决该问题的方法。
354.为了解决该问题,根据实施例的视频解码设备1700和视频编码设备1900可将画面的宽度和高度约束为预定尺寸。例如,视频编码设备1900可将画面的宽度和高度中的每一个确定为8的倍数。
355.根据实施例的视频编码设备1900可将关于画面的宽度的信息和关于画面的高度的信息中的每一个确定为8的整数倍,以用于画面的适当解码操作。此外,当画面的宽度和高度中的至少一个不是8的倍数时,视频编码设备1900可通过执行样点填充使得画面的宽度和高度中的至少一个变为8的倍数来对画面进行编码。根据实施例的视频解码设备1700可通过使用关于画面的宽度的信息和关于画面的高度的信息来确定作为8的整数倍的画面的宽度和高度中的每一个。因为画面的宽度和高度中的每一个都是8的整数倍,因此当由根据实施例的视频解码设备1700确定块时,可能无法确定小的块(例如,尺寸为2
×
2、2
×
4和4
×
2的色度块)。
356.作为另一示例,为了指示画面的宽度和高度的参考单位,可定义picture_size_unit的语法元素。可将待处理的画面的尺寸确定为picture_size_unit的语法元素的整数倍。例如,可将画面的宽度指示为picture_size_unit*m(m是正数),并且可将画面的高度指示为picture_size_unit*n(n是正数)。可由log2_picture_size_unit替换语法元素,log2_
picture_size_unit是参考单位的二进制对数值。作为另一示例,因为参考单位始终大于0,所以可使用语法元素picture_size_unit_minus1,其用于指示通过从参考单位减去1获得的值。
357.作为另一示例,可假设参考单位始终必须大于至少2^k。例如,在k=2的情况下,log2_picture_size_unit必须大于2并且必须具有等于或大于3的值。因此,还可以使用语法元素log2_picture_size_unit_minus3。
358.例如,可将picture_size_unit的语法元素确定为1<<(log2_picture_size_unit_minus3 3)。当log2_picture_size_unit_minus3的语法元素的值作为0被接收时,picture_size_unit的语法元素的值可以是8,并且可将相应画面的宽度和高度确定为具有8的倍数的值。
359.例如,可定义语义使得基于picture_size_unit的语法元素来设置画面的宽度和高度的语法元素的指示。例如,当语法元素picture_size_unit为8,并且画面的尺寸为1920
×
1080时,视频编码设备1900和视频解码设备1700可将作为画面的宽度的与1920/picture_size_unit相应的值用信号传送,并且可将作为画面的高度的与1080/picture_size_unit相应的值用信号传送。
360.作为另一示例,在尺寸为4
×
n、n
×
4或4
×
4的小的块的情况下,可通过使用预定的k值来确定画面的宽度和高度。详细地讲,当k被设置为8时,可将画面的宽度和高度中的每一个确定为k的帧间倍数。这里,k的值可被设置为至少大于一条边的可允许的最小长度s(k>s)。
361.作为另一示例,当视频编码设备1900发送针对最小块尺寸的语法元素时,视频解码设备1700可将画面的宽度和高度设置为最小块尺寸的倍数。
362.作为另一示例,可假设最小块尺寸为4,并且可基于预定义值k将画面的宽度和高度设置为k的整数倍。
363.根据例外的实施例,因为在画面的边界线处的尺寸为2
×
2、2
×
4和4
×
2的色度块的频率低,所以可确定允许在画面的边界线处产生的尺寸为2
×
2、2
×
4和4
×
2的色度块。为此,可能必须彼此分开地确定针对画面内部的块的划分方法和针对与画面的边界线相邻的块的划分方法。可与色度块的块分区分开地执行亮度块的块分区。在对色度块的块分区期间,可存在针对二划分和三划分的约束。约束可应用于画面内部的块,并且可以不应用于与画面的边界线相邻的块。
364.在下文中,参照图23至图26详细描述约束画面内部的色度块的二划分和三划分并且允许与画面的边界线相邻的色度块的二划分和三划分的实施例。
365.图23示出根据另一实施例的在跨越画面的边界线的ctu与位于画面中的ctu之间不同地设置用于允许四划分的条件的情况。
366.图23示出用于确定(2310)不允许指示是否允许四元组划分的变量allowsplitqt的条件。
367.例如,在当前块的尺寸cbsize小于或等于允许四划分的最小亮度块尺寸minqtsizey时,将变量allowsplitqt确定为假,并且不允许四划分。
368.作为另一示例,根据实施例,对于ctu能够进行四划分。此外,不进一步执行四划分的四叉树叶块的划分模式仅包括二划分、三划分或不划分模式,因此,不允许四划分。这里,
从四叉树叶块产生的划分树结构是多类型树结构。因此,当通过多类型树结构中的当前块执行的划分次数mttdepth与0不相同时,将变量allowsplitqt确定为假,并且不允许当前块的四划分。
369.上述两个实施例是用于确定是否在画面的边界线内应用四划分的条件。然而,根据接下来的条件2320、条件2330和条件2340的实施例是应用于接触画面边界线的块的例外条件。
370.根据条件2320,在当前块的右侧边界线的x坐标不大于画面的宽度,当前块的下方边界线的y坐标不大于画面的高度,当前块的树类型是双树型dual_tree_chroma,并且与当前块相应的色度块的宽度小于或等于4时,将变量allowsplitqt确定为假,并且不允许当前块的四划分。也就是说,在当前块不偏离画面的右侧边界线和下方边界线且位于画面中,并且与当前块相应的色度块的宽度小于或等于4时,表示不允许色度块的四划分。
371.根据条件2330,在当前块的右侧边界线的x坐标不大于画面的宽度,并且与当前块相应的色度块的宽度小于或等于4时,将变量allowsplitqt确定为假,并且不允许当前块的四划分。也就是说,当即使当前块偏离画面的下方边界线,当前块也不偏离画面的右侧边界线时,并且当与当前块相应的色度块的宽度小于或等于4时,表示不允许色度块的四划分。
372.根据条件2340,在当前块的下方边界线的y坐标不大于画面的高度,并且与当前块相应的色度块的高度小于或等于4时,将变量allowsplitqt确定为假,并且不允许当前块的四划分。也就是说,当即使当前块偏离画面的右侧边界线,当前块也不偏离画面的下方边界线时,并且当与当前块相应的色度块的宽度小于或等于4时,表示不允许色度块的四划分。
373.当不满足条件2320、条件2330和条件2340时,可将变量allowsplitqt确定为真,并且因此,可允许当前块的四边形划分。例如,在当前块的右侧边界线偏离画面的右侧边界线并且当前块的下方边界线偏离画面的下方边界线时,不满足条件2320、条件2330和条件2340。因此,在当前块的右侧边界线和下方边界线两者都偏离画面的边界线时,将变量allowsplitqt确定为真,因此,可允许尺寸为4
×
4的色度块的四划分。
374.因此,可能存在例外实施例,应用于允许位于画面内部的尺寸为4
×
4的色度块的四划分的一个或更多个条件不被应用于位于画面外部的尺寸为4
×
4的色度块。
375.图24和图25示出根据另一实施例的在跨越画面的边界线的ctu与位于画面内部的ctu之间不同地设置用于允许二划分的条件的情况。
376.图24和图25示出用于确定(2410)不允许指示是否允许二划分的变量allowbtsplit的条件。
377.例如,在当前块的尺寸cbsize小于或等于允许二划分的最小亮度块尺寸minbtsizey时,将变量allowbtsplit确定为假且不允许二划分。
378.例如,在当前块的宽度大于能够被二划分的最大尺寸maxbtsize时,将变量allowbtsplit确定为假并且不允许二划分。类似地,在当前块的高度大于能够被二划分的最大尺寸maxbtsize时,将变量allowbtsplit确定为假,并且不允许二划分。
379.例如,当通过多类型树结构中的当前块执行的划分次数mttdepth与0不相同时,将变量allowbtsplit确定为假,并且不允许当前块的二划分。
380.上述三个实施例是用于确定是否在图像的边界线内应用二划分的条件。然而,根据接下来的条件2420的实施例是应用于接触画面边界线的块的例外条件。
381.根据条件2420,在当前块的右侧边界线的x坐标不大于画面的宽度,当前块的下方边界线的y坐标不大于画面的高度,当前块的树类型为色度双树型dual_tree_chroma,并且与当前块相应的色度块的高度小于或等于4时,变量allowbtsplit被确定为假,并且不允许当前块的二划分。即,在当前块不偏离画面的右侧边界线和下方边界线两者并且与当前块相应的色度样点的数量小于或等于16时,其表示不允许色度块的二划分。
382.当不满足条件2420时,可将变量allowbtsplit确定为真,并且因此,即使当色度块的尺寸小于或等于4
×
4时,也可允许当前块的二划分。例如,当前块的右侧边界线偏离画面的右侧边界线或者当前块的下方边界线偏离画面的下方边界线的一种或更多种情况不满足条件2420。因此,在当前块的右侧边界线和下方边界线中的仅一个偏离画面的边界线时,将变量allowbtsplit确定为真,并且因此,可允许尺寸为4
×
4或尺寸小于4
×
4的色度块的二划分。
383.因此,可能存在应用于允许位于画面内部的块的二划分的一个或更多个条件不应用于位于画面外部的块的例外实施例。
384.例如,在图24中,在当前块的划分模式是二垂直划分模式(btsplit等于split_bt_ver)并且当前块的下方边界线偏离画面的边界线(yo cbheight大于pic_height_in_luma_samples)时,将变量allowbtsplit确定为假,并且不允许当前块的二划分。相反,即使在当前块的下方边界线偏离画面的边界线时,也将变量allowbtsplit确定为真,并且在当前块的划分模式是二水平划分模式时,无论当前块的尺寸如何,都可允许二划分。
385.例如,在图25中,在当前块的划分模式是二水平划分模式(btsplit等于split_bt_hor)时,并且在当前块的右侧边界线偏离画面的边界线(x0 cbwidth大于pic_width_in_luma_samples),并且在当前块的下方边界线不偏离画面的边界线(y0 cbheight小于或等于pic_height_in_luma_samples)时,将变量allowbtsplit确定为假,并且不允许当前块的二划分。相反,即使在当前块的下方边界线偏离画面的边界线并且当前块的右侧边界线偏离画面的边界线时,也将变量allowbtsplit确定为真,并且在当前块的划分模式是二垂直划分模式时,无论当前块的尺寸如何,都可允许二划分。
386.图26示出根据另一实施例的在跨越画面的边界线的ctu与位于画面内部的ctu之间不同地设置用于允许三划分的条件的情况。
387.图26示出用于确定(2610)不允许指示是否允许三划分的变量allowttsplit的条件。
388.例如,在当前块的尺寸cbsize小于或等于允许二划分的最小亮度块尺寸minttsizey的两倍时,将变量allowttsplit确定为假,并且不允许三划分。
389.例如,当通过多类型树结构中的当前块执行的划分次数mttdepth与0不相同时,将变量allowttsplit确定为假,并且不允许当前块的三划分。
390.例如,在当前块的右侧边界线偏离画面的边界线(x0 cbwidth大于pic_width_in_luma_samples)时,将变量allowttsplit确定为假,并且不允许当前块的三划分。
391.例如,在当前块的下方边界线偏离画面的边界线时(y0 cbheight大于pic_height_in_luma_samples),将变量allowttsplit确定为假,并且不允许当前块的三划分。
392.因此,在当前块偏离右侧边界线和下方边界线中的任何一个时,不允许当前块的三划分。
393.例如,在当前块的树类型为色度双树型且与当前块相应的色度样点的数量小于或等于32时,不允许色度块的三划分。因此,不允许尺寸为8
×
4、4
×
8、4
×
4、4
×
2或2
×
4的色度块的三划分。
394.作为另一示例,即使在当前画面的宽度和高度是8的整数倍时,当应用自适应分辨率控制(arc)技术时,画面的尺寸也可减小为2:1或增加为1:1.5。因此,当对尺寸改变的画面执行视频编码时,在画面的边界线处可能出现尺寸为2
×
2的色度帧内块。为了防止这种情况,即使当应用arc技术时,视频编码设备1900也可执行样点填充,使得画面的宽度和高度都是8的整数倍。
395.例如,在当前画面的尺寸为260
×
260时,可在画面的右下方边界线处出现尺寸为4
×
4的ctu,并且可从尺寸为4
×
4的ctu产生尺寸为2
×
2的色度帧内块。为了防止这种情况,视频编码设备1900可将画面的宽度和高度中的每一个改变为作为8的倍数的264,并且可根据画面的宽度和高度的增加来执行样点填充。此外,当根据arc技术将尺寸为264
×
264的画面减小至2:1时,可产生尺寸为132
×
132的画面。在尺寸为132
×
132的画面的右侧边界线处可产生尺寸为4
×
4的ctu。同样在这种情况下,可执行样点填充,使得画面的尺寸变为136
×
136而不是132
×
32,因此可以不产生尺寸为4
×
4的帧内块。
396.根据颜色格式,可产生或可不产生尺寸为2
×
2、2
×
4及4
×
2的色度块。例如,当在yuv 4:2:0的颜色格式的情况下的亮度块的尺寸为4
×
4、4
×
8和8
×
4时,并且当在yuv 4:2:2的颜色格式的情况下亮度块的尺寸为4
×
4、4
×
8及8
×
4时,可产生尺寸为2
×
2、2
×
4和4
×
2的色度块。然而,在yuv 4:4:4的颜色格式的情况下,可以不产生尺寸为2
×
2、2
×
4和4
×
2的色度块。
397.因此,在yuv 4:4:4的颜色格式的情况下,可以不使用用于不产生尺寸为2
×
2、2
×
4和4
×
2的色度块的技术。
398.例如,在yuv 4:4:4的颜色格式的情况下,可将画面的尺寸确定为cu的最小尺寸的整数倍(4的整数倍)。
399.作为另一示例,在yuv 4:2:2的颜色格式中,可将画面的宽度确定为8的整数倍,并且当画面的宽度不是8的整数倍时,可执行样点填充,并且可将画面的高度确定为最小尺寸的整数倍(4的整数倍)。
400.作为另一示例,在yuv 4:2:2的颜色格式中,可将画面的高度确定为8的整数倍,并且当画面的高度不是8的整数倍时,可执行样点填充,并且可将画面的宽度确定为最小尺寸的整数倍(4的整数倍)。
401.作为另一示例,当通过从亮度块划分而产生尺寸为2
×
2、2
×
4和4
×
2的色度块时,在帧内预测模式下可仅允许划分为亮度块且可以不允许划分为色度块。在帧间预测模式下,可以不允许划分为亮度块和划分为色度块。然而,在帧内预测模式下仅允许划分为亮度块且不允许划分为尺寸为2
×
2、2
×
4和4
×
2的色度块的约束可以不用于yuv 4:4:4的颜色格式中。
402.作为另一示例,不管颜色格式如何,根据划分出的色度块的尺寸,可确定是否在帧内预测模式下使用仅允许划分为亮度块且不允许划分为尺寸为2
×
2、2
×
4和4
×
2的色度块的约束。
403.例如,当在划分之后产生尺寸为2
×
2、2
×
4和4
×
2的色度块时,可用信号传送指示
在帧内预测模式下仅允许划分为亮度块且不允许划分为尺寸为2
×
2、2
×
4和4
×
2的色度块的约束的标志。然而,当在划分之后不产生尺寸为2
×
2、2
×
4和4
×
2的色度块时,可以不用信号传送指示该约束的标志。
404.在下文中,参照图27和图28,描述根据实施例的由视频编码设备1900执行的用于执行样点填充以处理偏离画面的边界线的块的方法。
405.图27示出根据另一实施例的对尺寸为2
×
2、4
×
2和2
×
4并且位于画面的边界线处的色度块执行填充以使得色度块变为尺寸为4
×
4的色度块的实施例。
406.当在画面的边界线处出现尺寸为2
×
2的块2710、尺寸为4
×
2的块2730和尺寸为2
×
4的块2750时,视频编码设备1900可执行样点填充,使得块2710、块2730和块2750扩展为具有至少16个样点的块。视频编码设备1900可执行样点填充,使得块2710、块2730和块2750成为尺寸为4
×
4的块,然后可对尺寸为4
×
4的块执行编码操作。
407.具体地,对于将成为尺寸为4
×
4的块的块2710、块2730和块2750中的每一个,可将基于预定规则的值分配给在块的外部区域2720、外部区域2740和外部区域2760中的每一个外部区域中所包括的样点。样点填充方法可变化。
408.例如,如同运动补偿中的样点填充方法,可通过使用与块2710、块2730和块2750的边界线的内部空间相邻的样点值对块的外部区域2720、外部区域2740和外部区域2760执行外推来执行样点填充。
409.作为另一示例,可通过经由使用特定值填充块的外部区域2720、外部区域2740和外部区域2760的样点值来执行样点填充。详细地讲,通过使用块2710、块2730和块2750的当前样点的比特深度bit_depth,可用(1<<(bit_depth

1))的值填充块的外部区域2720、外部区域2740和外部区域2760。
410.视频编码设备1900可通过使用各种方法对扩展为具有16个样点的块进行编码。
411.例如,可通过使用具有相同尺寸的块对扩展块执行预测、变换/量化(包括逆变换和反量化)和残差编码。
412.作为另一示例,虽然可对尺寸为4
×
4的扩展块执行对扩展块执行的预测,但可仅对扩展之前的原始块2710、原始块2730和原始块2760执行变换/量化和残差编码。
413.作为另一示例,当子块变换(sbt)技术被应用时,可以以相同的方式将sbt技术应用于扩展块。例如,在块2730具有4
×
2的尺寸的情况下,当sbt技术被应用于尺寸为4
×
4的扩展块时,可执行二水平划分,并且可仅在用于发送残差信息的残差编码模式下对尺寸为4
×
2的块2730进行编码,其中,块2730与通过对尺寸为4
×
4的扩展块执行二水平划分而产生的第一变换块相应。可在没有用信号传送的情况下设置残差编码模式。
414.类似地,在块2760具有2
×
4的尺寸的情况下,当sbt技术被应用于尺寸为4
×
4的扩展块时,可执行二垂直划分,并且可仅在用于发送残差信息的残差编码模式下对从其产生的第一变换块进行编码。可在没有信号传送的情况下设置该残差编码模式。
415.当块2730和块2760扩展至尺寸为4
×
4的块时,不仅在块2730和块2760是帧间块时,而且在块2730和块2760是帧内块时,也可允许应用sbt。
416.块2710不是支持sbt的块类型。然而,块2710可以被扩展至块2730和块2760的形状,然后可被扩展至4
×
4的尺寸。因此,可经由样点填充将sbt应用于块2710。下面参照图28描述详细的方法。
417.图28示出根据另一实施例的当尺寸为2
×
2并且位于画面的边界线处的色度块被填充为尺寸为4
×
4的色度块时执行变换/量化和残差编码的处理。
418.视频编码设备1900可对块的外部区域2820执行样点填充,使得尺寸为2
×
2的块2810变为尺寸为2
×
4的块,并且可对块的外部区域2830执行样点填充以最终产生尺寸为4
×
4的块。在这种情况下,可对尺寸为4
×
4的块执行预测,并且可对尺寸为2
×
4的块执行变换/量化和残差编码。
419.此外,类似于sbt,可在没有根据样点填充的块的形状进行信号传送的情况下确定变换类型(例如,dst

7和dst

8)。作为另一示例,当执行样点填充时,变换类型可固定为dct

2。
420.作为另一示例,当视频编码设备1900和视频解码设备1700中允许的亮度块的最小尺寸为4
×
4时,可能存在与画面的边界线相邻的尺寸为4
×
4的亮度块和尺寸为2
×
2的色度块。为了防止这种情况,可应用以下两种样点填充方法。
421.根据实施例,视频编码设备1900和视频解码设备1700可将可允许的画面尺寸确定为可允许的最小块尺寸和8之间的较大数(max(min_blocksize,8))的整数倍。当画面的实际尺寸小于允许画面的尺寸时,视频编码设备1900可通过对根据尺寸不足的画面进行样点填充来产生可允许的画面。作为详细示例,当画面的尺寸为260
×
260并且最小块的尺寸是4时,可允许画面的尺寸必须是8的整数倍。当给定画面的尺寸为260/8=32.5并且不是8的整数倍时,视频编码设备1900可通过在宽度方向和高度方向中的每一个方向上执行4个样点的样点填充使得画面的尺寸是8的整数倍,来产生和解码尺寸为264
×
264的画面。该方法被称为“画面级别填充”。显示设备可完整地显示尺寸为264
×
264的重建画面,或者可通过从尺寸为264
×
264的画面在宽度和高度方向中的每一个方向上裁剪4个样点来显示尺寸为260
×
260的原始画面。视频解码设备1700可重建尺寸为264
×
264的画面。
422.根据另一实施例,可根据“块级别填充”方法来执行样点填充。即使当尺寸为2
×
2、2
×
4和4
×
2的块受到约束时,也可能存在尺寸为2
×
2、2
×
4和4
×
2且与画面的边界线相邻的块,因此,视频编码设备1900可根据样点数量不足来执行填充,以将尺寸为2
×
2、2
×
4和4
×
2的块扩展为尺寸为4
×
4的块。视频编码设备1900可对尺寸为4
×
4的块执行编码。视频解码设备1700可重建尺寸为4
×
4的块。
423.在下文中,下文参照图29至图38描述约束ctu的编码顺序的方法。
424.图29示出尺寸为128
×
128的ctu中的变换块的编码顺序。
425.在当前执行标准化的mpeg

5evc或vvc标准中,为了编解码器的效率,特别是为了硬件的效率,用于管道处理的块的最大尺寸与作为最大变换块的尺寸的64
×
64的尺寸相同。为此,虽然ctu的尺寸是128
×
128,但以尺寸为64
×
64的块为单位执行关于ctu的各种编码工具的功能。如图29中所示出的,可按照所声明的变换块2910、变换块2920、变换块2930和变换块2940的顺序执行解码,其中,变换块2910、变换块2920、变换块2930和变换块2940中的每一个的尺寸为64
×
64并且被确定为对尺寸为128
×
128的ctu执行变换。
426.图30示出当图29的ctu被执行四划分、二水平划分和二垂直划分时的划分出的块的编码顺序。
427.对于尺寸为128
×
128的ctu,允许不介入作为管道数据单元的尺寸为64
×
64的块的形状的划分模式。详细地讲,在尺寸为128
×
128的ctu中,可允许四划分模式3000、二水平
划分模式3030和二垂直划分模式3070。
428.当ctu在四划分模式3000下被划分时,可按照所声明的块3001、块3002、块3003和块3004的顺序执行解码,其中,块3001、块3002、块3003和块3004是管道数据单元。
429.当ctu在二水平划分模式3030下被划分时,可产生尺寸为128
×
64的块3010和块3020。尺寸为128
×
64的块3010可包括变换块3011和变换块3012,并且尺寸为128
×
64的块3020可包括变换块3021和变换块3022。因为变换块3011、变换块3012、变换块3021和变换块3022中的每一个可被确定为尺寸为64
×
64的管道数据单元,所以可根据管道方法对每一个变换块3011、3012、3021或3022执行变换/量化。可按所声明的顺序对变换块3011、变换块3012、变换块3021和变换块3022进行解码。
430.当ctu在二垂直划分模式3070下被划分时,可产生尺寸为128
×
64的块3050和块3060。尺寸为64
×
128的块3050可包括变换块3051和变换块3052,并且尺寸为64
×
128的块3060可包括变换块3061和变换块3062。因为变换块3051、变换块3052、变换块3061和变换块3062中的每一个可被确定为尺寸为64
×
64的管道数据单元,所以可根据管道方法对每一个变换块3051、3052、3061或3062执行变换/量化。可按所声明的顺序对变换块3051、变换块3052、变换块3061和变换块3062进行解码。
431.在图30的示例中,与四划分模式3000和二水平划分模式3030中的变换块的编码顺序不同,二垂直划分模式3060中的变换块的编码顺序可以不同。当每一个块或变换块被进一步划分时,可在管道数据单元中确定另一种类型的编码顺序。当管道数据单元的编码顺序根据如图30的示例中所述的划分模式而不同时,必须通过考虑两种类型的编码顺序来处理管道数据单元,因此,硬件方式的管道的复杂性可能增加。下面参照图31详细描述当在管道数据单元中执行预测时复杂性增加的实施例。
432.图31示出当根据编码顺序在管道数据单元中执行预测时可使用的参考样点的位置被改变的实施例。
433.首先,在管道数据单元3101、管道数据单元3102、管道数据单元3103和管道数据单元3104的编码顺序的情况下,当对每一个管道数据单元执行预测时,描述参考样点的位置。
434.当对管道数据单元3101执行预测时,管道数据单元3101和管道数据单元3102的上方边界线周围的邻近样点以及管道数据单元3101和管道数据单元3103的左侧边界线周围的邻近块的样点可用作参考样点3111。
435.当对管道数据单元3102执行预测时,管道数据单元3102的左侧边界线周围的管道数据单元3101的样点、管道数据单元3102的上方边界线周围的样点、以及管道数据单元3102的右上方邻近块的样点可用作参考样点3112。
436.当对管道数据单元3103执行预测时,管道数据单元3103的左侧边界线周围的邻近块的样点以及管道数据单元3103和管道数据单元3104的上方边界线周围的管道数据单元3101和管道数据单元3102的样点可用作参考样点3133。
437.当对管道数据单元3104执行预测时,管道数据单元3104的左侧边界线和上方边界线周围的管道数据单元3103和管道数据单元3102的样点可用作参考样点3144。
438.接下来,在管道数据单元3151、管道数据单元3152、管道数据单元3153和管道数据单元3154的编码顺序的情况下,当对每一个管道数据单元执行预测时,描述参考样点的位置。
439.当对管道数据单元3151执行预测时,管道数据单元3151和管道数据单元3153的上方边界线周围的邻近样点以及管道数据单元3151和管道数据单元3152的左侧边界线周围的邻近块的样点可用作参考样点3161。
440.当对管道数据单元3152执行预测时,管道数据单元3152的左侧边界线周围的邻近块的样点和管道数据单元3152的上方边界线周围的管道数据单元3151的样点可用作参考样点3172。
441.当对管道数据单元3153执行预测时,管道数据单元3152和管道数据单元3154的左侧边界线周围的管道数据单元3151和管道数据单元3152的样点、管道数据单元3153的上方边界线周围的邻近块的样点、以及管道数据单元3153的右上方邻近块的样点可用作参考样点3183。
442.当对管道数据单元3154执行预测时,管道数据单元3154的左侧边界线和上方边界线周围的管道数据单元3152和管道数据单元3153的样点可用作参考样点3194。
443.当在管道数据单元3101、管道数据单元3102、管道数据单元3103和管道数据单元3104的编码顺序与管道数据单元3151、管道数据单元3152、管道数据单元3153和管道数据单元3154的编码顺序之间比较用于对每一个管道数据单元执行预测的参考位置时,识别出以下差异。
444.首先,在管道数据单元3101、管道数据单元3102、管道数据单元3103和管道数据单元3104的编码顺序的情况下,用于对管道数据单元3103执行预测的参考样点3133包括管道数据单元3104的上方边界线周围的管道数据单元3102的样点3135。然而,在管道数据单元3151、管道数据单元3152、管道数据单元3153和管道数据单元3154的编码顺序的情况下,相同位置的管道数据单元3152的参考样点3172不包括样点3135。
445.此外,按照管道数据单元3151、管道数据单元3152、管道数据单元3153和管道数据单元3154的编码顺序,用于对管道数据单元3153执行预测的参考样点3183包括管道数据单元3154的左侧边界线周围的管道数据单元3152的样点3185。然而,在管道数据单元3101、管道数据单元3102、管道数据单元3103和管道数据单元3104的编码顺序的情况下,相同位置的管道数据单元3102的参考样点3122不包括样点3185。
446.因此,当管道数据单元的编码顺序被改变时,针对每一个管道数据单元确定不同参考样点的位置,并且因此导致复杂的管道架构。
447.在下文中,参照图32至图38提供用于简化管道架构的数据单元的编码顺序。
448.根据实施例的视频编码设备1900和视频解码设备1700可约束从尺寸为128
×
128的ctu划分为一种类型的尺寸为64
×
64的块的编码顺序。例如,在尺寸为64
×
64并从ctu划分出的四个块中,可按照所声明的左上方块、右上方块、左下方块和右下方块的顺序固定管道数据单元的编码顺序。为了支持这一点,可使用图32至图34的划分方法。
449.图32示出根据实施例的在尺寸为128
×
128的ctu中允许的用于固定管道数据单元的编码顺序的划分方法的第一集合。
450.在尺寸为128
×
128的ctu中允许的划分方法的第一集合包括不划分模式3200、四划分模式3240和二水平划分模式3280。在不划分模式3200的情况下,可按照所声明的每一个尺寸为64
×
64的左上方变换块、右上方变换块、左下方变换块和右下方变换块的顺序执行变换/量化(反量化/逆变换)和残差编码。在四划分模式3240的情况下,可按照所声明的
左上方编码单元、右上方编码单元、左下方编码单元和右下方编码单元的顺序执行预测、变换/量化(反量化/逆变换)和残差编码,其中,左上方编码单元、右上方编码单元、左下方编码单元和右下方编码单元中的每一个编码单元从ctu被划分出并且尺寸为64
×
64。在二水平划分模式3280的情况下,可从ctu划分出尺寸为64
×
32的cu,可按照所声明的尺寸为64
×
32的cu之中的上方cu和下方cu的顺序执行预测,并且可按照所声明的包括在尺寸为64
×
32的cu中的左上方变换块、右上方变换块、左下方变换块和右下方变换块的顺序执行变换/量化(反量化/逆变换)和残差编码。
451.图33示出根据实施例的在尺寸为128
×
128的ctu中允许的用于固定管道数据单元的编码顺序的划分方法的第二集合。
452.在尺寸为128
×
128的ctu中允许的划分模式的第二集合包括不划分模式3300和二水平划分模式3350。不划分模式3300和二水平划分模式3350中的变换块的编码顺序与参照图32描述的编码顺序相同。
453.图34示出根据实施例的在尺寸为128
×
128的ctu中允许的用于固定管道数据单元的编码顺序的划分方法的第三集合。
454.在尺寸为128
×
128的ctu中允许的划分方法的第三集合包括不划分模式3400和四划分模式3450。在不划分模式3400和四划分模式3450中,变换块(编码单元)的编码顺序与参照图32描述的编码顺序相同。
455.作为另一示例,在ctu中,可按照所声明的顺序固定左上方块、左下方块、右上方块和右下方块。这里,可用信号传送并选择性地确定关于针对实际编码效率性能所确定的编码顺序的信息。头级别可包括序列参数集(sps)、画面参数集(pps)、条带头、并行块头等。
456.然而,当ctu的尺寸小于或等于管道数据单元的尺寸时,可无需考虑上文所描述的编码顺序来对ctu进行编码和解码。
457.图35示出根据实施例的可应用于vvc国际标准以便约束ctu中允许的划分方法的实施例。
458.当视频解码设备1900符合vvc国际标准时,当前条带类型可以是帧内条带类型,并且在尺寸为128
×
128的ctu中,可仅允许四划分模式。在ctu具有128
×
128的尺寸且具有帧间p或帧间b条带类型的情况下,可仅允许四划分模式、二垂直划分模式、二水平划分模式和不划分模式。
459.具体地,可允许的编码顺序被约束为光栅扫描顺序,并且在尺寸为128
×
128的p间或b条带型ctu中,可仅允许不划分模式3500、四划分模式3540和二水平划分模式3580。
460.当ctu的高度大于64、大于管道数据单元的尺寸或者大于变换块的最大尺寸时,当前ctu可以不允许二垂直划分模式。当cu的高度大于64并且cu的宽度等于或小于64时,不允许二垂直划分模式。因此,当cu的高度和宽度两者都大于64时,可以不允许二垂直划分。图36描述了当该方面应用于vvc标准工作草案(wd)时的情况。
461.图36示出根据图35的实施例的被添加以允许二划分以便可应用于vvc国际标准的条件。
462.根据条件3600,在当前cu的划分模式为二垂直划分模式,并且当前cu的宽度和高度都大于变换块的最大尺寸时,不允许当前编码单元的二划分,因此,可以不对当前cu执行二垂直划分。
463.图37示出根据实施例的可应用于evc国际标准以便约束允许用于ctu的划分方法的实施例。
464.当视频解码设备1700符合evc国际标准时,在尺寸为128
×
128的ctu中,仅允许二垂直划分模式、二水平划分模式和不划分模式。
465.这里,当可允许的编码顺序被约束为光栅扫描顺序时,在尺寸为128
×
128的ctu中,仅允许不划分模式3700和二水平划分模式3750。
466.当evc国际标准wd被校正为不允许在尺寸为128
×
128的cu中的二垂直划分模式时,其与图38相同。
467.图38示出根据图37的实施例的被添加以允许二划分以便可应用于evc国际标准的条件。
468.根据条件3810,当ctu的高度大于64(2的6次方)时,也就是说,当cu的高度大于或等于128时,不允许cu的二垂直划分模式(3800)。
469.另外,上述本公开的实施例可被编写为可存储在介质中的计算机可执行程序。
470.介质可连续地存储计算机可执行程序,或者临时存储计算机可执行程序或指令以供执行或下载。此外,介质可以是组合了单件硬件或多件硬件的各种记录介质或存储介质中的任何一种,并且介质不限于直接连接到计算机系统的介质,而是可分布在网络上。介质的示例包括被配置为存储程序指令的磁介质(诸如,硬盘、软盘和磁带)、光学记录介质(诸如,cd

rom和dvd)、磁光介质(诸如,光软盘)以及rom、ram和闪存。机器可读存储介质可被提供为非暂时性存储介质。这里,术语“非暂时性存储介质”仅表示介质是有形的并且不包括信号(例如,电磁波),并且不对数据被半永久地存储在存储介质中的情况和数据被临时存储在存储介质中的情况进行区分。例如,“非暂时性存储介质”可包括临时存储数据的缓冲器。
471.介质的其他示例包括由分发应用的应用商店或由供应或分发其他各种类型的软件的网站、服务器等管理的记录介质和存储介质。
472.根据实施例,根据本说明书中公开的各种实施例的方法可被提供为包括计算机程序产品。计算机程序产品可作为产品在卖方和买方之间交易。计算机程序产品可以以机器可读存储介质(例如,光盘只读存储器(cd

rom))的形式分发,可通过应用商店(例如,playstore
tm
)分发,或者可在两个用户装置(例如,智能电话)之间直接分发或在线分发(例如,下载或上传)。在在线分发的情况下,计算机程序产品的至少一部分(例如,可下载的应用)可至少临时存储或临时产生在机器可读存储介质(诸如,制造商的服务器、应用商店的服务器或广播服务器的存储器)中。
473.虽然已经参照附图描述了本公开的一个或更多个实施例,但是本领域普通技术人员将理解的是,在不脱离由所附权利要求限定的精神和范围的情况下,可在其中进行形式和细节上的各种改变。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献