视频编码方法、视频解码方法以及计算机可读介质与流程

视频编码方法、视频解码方法以及计算机可读介质
1.本技术是申请日为2016年5月10日、申请号为201680027693.0、题为“视频编码方法、视频解码方法以及计算机可读介质”的专利申请的分案申请。
技术领域
2.在根据实施例的方法和设备中，可通过按照多个用于确定最大编码单元的顺序中的一个顺序在视频中确定最大编码单元来对视频进行编码或解码。


背景技术：

3.使用根据特定数据压缩标准(例如，运动图像专家组(mpeg)标准)的编解码器来对视频数据进行编码，并按照比特流的形式将视频数据记录在记录介质上或经由通信信道对视频数据进行发送。
4.随着用于再现和存储高分辨率或高质量视频内容的硬件的开发和供应，越来越需要用于对高分辨率或高质量视频内容有效地进行编码或解码的编解码器。通过对编码的视频内容进行解码来再现编码的视频内容。最近，已经实现了有效地压缩这种高分辨率或高质量视频内容的方法。例如，以某种方法实现了对将被编码的视频进行处理的有效的视频压缩方法。
5.为了对视频进行压缩，可使用诸如最大编码单元的数据单元。最大编码单元按照特定顺序(例如，光栅扫描顺序)被确定，并且最大编码单元的尺寸基于与将被编码的视频序列相关的信息被确定。也就是说，最大编码单元的尺寸在待编码或解码的整个视频序列中是统一的。


技术实现要素：

6.技术问题
7.在传统压缩方法中，视频的所有最大编码单元按照预定顺序被统一地确定。因此，当高分辨率视频被压缩时，无法有效地确定最大编码单元。
8.解决方案
9.为了解决上述技术问题，在实施例中，一种对视频进行解码的方法包括：确定用于对视频进行划分的至少一个处理块；确定用于在所述至少一个处理块中确定至少一个最大编码单元的顺序；基于确定的顺序来确定所述至少一个最大编码单元；对确定的所述至少一个最大编码单元进行解码，其中，所述顺序是多个用于确定最大编码单元的顺序中的一个。
10.有益效果
11.在根据实施例的方法和设备中，通过在多个用于确定最大编码单元的顺序中以作为任意数据单元的处理块单元为单位确定用于确定最大编码单元的顺序，而不按照统一顺序确定最大编码单元，可自适应地对视频进行编码或解码。
附图说明
12.图1a是根据实施例的视频解码设备的框图。
13.图1b是根据实施例的由视频解码设备使用处理块来执行的视频解码方法的流程图。
14.图2a是根据实施例的视频编码设备的框图。
15.图2b是根据实施例的由视频编码设备使用处理块来执行的视频编码方法的流程图。
16.图3示出了根据实施例的用于在画面中包括的至少一个处理块中确定至少一个最大编码单元的顺序。
17.图4a是根据实施例的用于确定最大编码单元中包括的至少一个编码单元的处理的流程图。
18.图4b示出了根据实施例的用于确定画面中包括的至少一个编码单元的尺寸的处理。
19.图4c示出了根据实施例的可由编码单元尺寸信息指示的编码单元尺寸。
20.图5a是根据实施例的基于尺寸限制信息确定是否获得编码单元的划分信息的处理的流程图。
21.图5b示出了根据实施例的基于尺寸限制信息确定至少一个编码单元的处理。
22.图6a是根据实施例的基于第二划分信息确定编码单元的处理的流程图，其中，第二划分信息指示编码单元是否将被划分为比特定深度更低的深度而跳过所述特定深度。
23.图6b示出了根据实施例的基于第一划分信息和第二划分信息中的至少一个对当前深度的编码单元进行划分的处理。
24.图7a是根据实施例的基于关于编码单元的最大深度的信息和关于编码单元的最小深度的信息中的至少一个信息来确定最大编码单元中包括的至少一个编码单元的处理的流程图。
25.图7b示出了根据实施例的基于关于最大深度的信息和关于最小深度的信息中的至少一个信息来确定至少一个编码单元的处理。
26.图8a是根据实施例的通过从比特流获得指示预测方法的信息来确定至少一个编码单元中包括的至少一个预测单元的流程图。
27.图8b示出了根据实施例的基于关于预测方法的信息根据第一方法或第二方法来确定当前编码单元中包括的至少一个预测单元的处理。
28.图9是根据实施例的基于树结构的编码单元的视频编码设备的框图。
29.图10是根据实施例的基于树结构的编码单元的视频解码设备的框图。
30.图11示出了根据实施例的编码单元的概念。
31.图12示出了根据实施例的基于编码单元的图像编码器的框图。
32.图13示出了根据实施例的基于编码单元的图像解码器的框图。
33.图14示出了根据实施例的根据深度的较深层编码单元和分区。
34.图15示出了根据实施例的编码单元和变换单元之间的关系。
35.图16示出了根据实施例的根据深度的多条编码信息。
36.图17示出了根据实施例的根据深度的较深层编码单元。
37.图18、图19和图20示出了根据实施例的编码单元、预测单元和变换单元之间的关系。
38.图21示出根据表1的编码模式信息的编码单元、预测单元和变换单元之间的关系。
39.最佳实施方式
40.为了解决上述技术问题，在实施例中，一种对视频进行解码的方法包括：确定用于对视频进行划分的至少一个处理块；确定用于在所述至少一个处理块中确定至少一个最大编码单元的顺序；基于确定的顺序确定至少一个最大编码单元；对确定的至少一个最大编码单元进行解码，其中，所述顺序是多个用于确定最大编码单元的顺序中的一个。
41.在实施例中，确定用于对视频进行划分的至少一个处理块的步骤可包括：获得关于所述至少一个处理块的尺寸的信息；基于关于所述至少一个处理块的尺寸的信息，确定所述至少一个处理块。
42.在实施例中，确定在所述至少一个处理块中确定至少一个最大编码单元的顺序的步骤可包括：获得与确定在所述至少一个处理块中包括的所述至少一个最大编码单元的顺序有关的信息；基于与确定的顺序有关的信息来确定用于确定所述至少一个最大编码单元的顺序。
43.在实施例中，对确定的所述至少一个最大编码单元进行解码的步骤可包括：基于从比特流获得的关于编码单元的尺寸的信息，将比确定的最大编码单元的尺寸小的多个尺寸中的一个尺寸选为编码单元的尺寸；基于选择的编码单元的尺寸来确定至少一个编码单元。
44.在实施例中，对确定的所述至少一个最大编码单元进行解码的步骤可包括：确定在作为所述至少一个最大编码单元之一的当前最大编码单元中包括的至少一个编码单元；基于从比特流获得的编码单元的尺寸限制信息，对所述至少一个编码单元的尺寸和由所述尺寸限制信息指示的尺寸进行比较；当所述至少一个编码单元的尺寸大于由所述尺寸限制信息指示的尺寸时，从比特流获得用于所述至少一个编码单元的划分信息。由所述尺寸限制信息指示的尺寸可大于编码单元的最小尺寸。
45.在实施例中，从比特流获得用于所述至少一个编码单元的划分信息的步骤可包括：当所述至少一个编码单元的尺寸等于或小于由所述尺寸限制信息指示的尺寸时，对所述至少一个编码单元进行编码，而不从比特流获得所述划分信息。
46.在实施例中，对确定的所述至少一个最大编码单元进行解码的步骤可包括：基于从比特流获得的编码单元的划分信息，确定在作为所述至少一个最大编码单元之一的当前最大编码单元中包括的至少一个编码单元。所述划分信息可包括第一划分信息和第二划分信息中的至少一个，其中，第一划分信息指示当前深度的编码单元是否将按照深度顺序被划分为更低深度的编码单元，第二划分信息指示当前深度的编码单元是否将被划分到比所述更低深度低的深度而跳过将当前深度的编码单元划分到所述更低深度的操作。
47.在实施例中，将当前深度的编码单元划分为至少一个编码单元的步骤可包括：基于所述更低深度是最低深度，从比特流获得第二划分信息；当第二划分信息指示当前深度的编码单元将被划分到比所述更低深度低的深度而跳过将当前深度的编码单元划分到所述更低深度的操作时，将当前深度的编码单元划分为比所述更低深度低的所述深度的编码单元；当第二划分信息指示当前深度的编码单元将不被划分到比所述更低深度低的所述深
度时，基于从比特流获得的第一划分信息将当前深度的编码单元划分为所述更低深度的编码单元。
48.在实施例中，对确定的所述至少一个最大编码单元进行解码的步骤可包括：基于关于编码单元的最大深度的信息和关于编码单元的最小深度的信息中的至少一个信息，确定在作为所述至少一个最大编码单元之一的当前最大编码单元中所包括的至少一个编码单元。关于最大深度的信息和关于最小深度的信息可以是从所述至少一个编码单元的邻近块获得的。
49.在实施例中，确定至少一个编码单元的步骤可包括：仅当编码单元的当前深度是高于最大深度的深度或者是等于或低于最小深度的深度时，对当前深度的编码单元进行划分。
50.在实施例中，对确定的所述至少一个最大编码单元进行解码的步骤可包括：确定在作为所述至少一个最大编码单元之一的当前最大编码单元中所包括的至少一个编码单元；基于从比特流获得的指示预测方法的信息，针对作为所述至少一个编码单元之一的当前编码单元确定至少一个预测单元，其中，指示预测方法的信息可指示是否将使用预定预测方法执行预测。
51.在实施例中，确定至少一个预测单元的步骤可包括：当指示预测方法的信息指示使用作为所述预定预测方法的第一方法时，从比特流获得指示多种分区类型之一的分区模式信息，并确定当前编码单元中包括的至少一个预测单元；当指示预测方法的信息指示使用不作为所述预定预测方法的第二方法时，在不从比特流获得分区模式信息的情况下基于预定的分区类型来确定预测单元。
52.在实施例中，基于预定的分区类型来确定预测单元的步骤还可包括：当指示预测方法的信息指示当前编码单元具有与当前最大编码单元相同的尺寸时，确定具有与比当前编码单元的深度低的深度的编码单元相同的尺寸的预测单元。
53.为了解决上述技术问题，在实施例中，一种用于对视频进行解码的设备包括：处理块确定器，被配置为：确定用于对视频进行划分的至少一个处理块；最大编码单元确定器，被配置为：确定用于在所述至少一个处理块中确定至少一个最大编码单元的顺序，并基于确定的顺序来确定所述至少一个最大编码单元；解码器，被配置为：对确定的所述至少一个最大编码单元进行解码，其中，所述顺序是多个用于确定最大编码单元的顺序中的一个。
54.为了解决上述技术问题，在实施例中，一种用于对视频进行编码的设备包括：处理块确定器，被配置为：确定用于对视频进行划分的至少一个处理块；最大编码单元确定器，被配置为：确定用于在所述至少一个处理块中确定至少一个最大编码单元的顺序，并基于确定的顺序来确定所述至少一个最大编码单元；编码器，被配置为：对确定的所述至少一个最大编码单元进行编码，其中，所述顺序是多个用于确定最大编码单元的顺序中的一个。
具体实施方式
55.参照结合附图在此阐述的实施例，本发明的优点和特征以及实现它们的方法将是显而易见的。
56.然而，本公开可以以各种不同的形式来实施，而不应被解释为受限于在此阐述的实施例。相反，提供这些实施例使得本公开将是彻底和完整的，并且将使本公开的构思全面
地传达给本领域普通技术人员，并且本公开将仅由所附权利要求来限定。
57.在下文中，在说明书中使用的术语将被简要描述，并且本公开将被详细地描述。
58.在此使用的所有术语(包括描述性术语或技术性术语)应被解释为具有对于本领域普通技术人员来说显而易见的含义。然而，所述术语可根据本领域普通技术人员的意图、先例或新技术的出现而具有不同的含义。此外，一些术语可被申请人任意选择，并且在此情况下，所选术语的含义将在本发明的详细描述中被详细地描述。因此，在此使用的术语必须基于术语的含义以及整个说明书中的描述来定义。
59.在整个说明书中，单数形式可包括复数形式，除非存在与此相反的特定描述。
60.此外，在整个说明书中，当部件“包括”或“包含”元件时，除非存在与此相反的特定描述，否则部件还可包括其它元件，而不排除其它元件。这里所使用的术语“单元”表示但不限于执行特定任务的软件或硬件组件，诸如现场可编程门阵列(fpga)或专用集成电路(asic)。然而，术语“单元”不限于软件或硬件组件。“单元”可被有益地配置为位于可寻址存储介质上，并被配置为在一个或更多个处理器上运行。因此，通过举例的方式，单元可包括组件(诸如软件组件、面向对象软件组件、类组件和任务组件)、处理、功能、属性、过程、子例程、程序代码段、驱动器、固件、微代码、电路、数据、数据库、数据结构、表、阵列和变量。组件和“单元”中提供的功能可被组合为更少的组件和“单元”，或者可被进一步分离为另外的组件和“单元”。
61.在下文中，术语“视频”可被理解为表示静止图像(诸如视频的静止图像)或动态图像(诸如运动画面，即视频本身)。
62.在下文中，“样点”表示被分配给图像的采样位置并且将被处理的数据。例如，空间域中的图像的像素值和变换域中的变换系数可以是样点。包括至少一个这种样点的单元可被定义为块。
63.现在将参照示出了本公开的实施例的附图来更全面地描述本公开。在附图中，为了更清楚地描述本公开，将省略与本公开无关的部件或单元。
64.图1a是根据实施例的视频解码设备10的框图。视频解码设备10可包括处理块确定器11、最大编码单元确定器12和解码器13。在一个实施例中，由视频解码设备10中包括的组件执行的操作可分别由单独的硬件或软件组件来执行，或者可由一个硬件组件(例如，cpu)来执行。在下面将描述的实施例中，将详细地描述由视频解码设备10的组件执行的操作。
65.图1b是根据实施例的由视频解码设备10使用处理块执行的视频解码方法的流程图。
66.在步骤s210，视频解码设备10可确定用于对视频进行划分的至少一个处理块。
67.在实施例中，视频解码设备10的处理块确定器11可确定用于将视频划分为帧的至少一个处理块。处理块是包括用于对视频进行划分的至少一个最大编码单元的任意数据单元。可按照特定顺序来确定处理块中包括的至少一个最大编码单元。也就是说，每一种用于在处理块中确定至少一个最大编码单元的顺序可以是各种用于确定最大编码单元的顺序中的一种顺序。用于在处理块中确定最大编码单元的顺序对于处理块可以是不同的。用于在每个处理块中确定最大编码单元的顺序可以是诸如光栅扫描顺序、z字形扫描顺序、n字形扫描顺序、右上对角扫描顺序、水平扫描顺序和垂直扫描顺序(但不限于此)的各种扫描顺序中的一种扫描顺序。
68.在实施例中，视频解码设备10可通过获得关于处理块的尺寸的信息来确定视频中包括的至少一个处理块的尺寸。视频解码设备10可通过从比特流获得关于处理块的尺寸的信息来确定视频中包括的至少一个处理块的尺寸。处理块的尺寸可以是由关于处理块的尺寸的信息指示的数据单元的特定尺寸。
69.在实施例中，视频解码设备10可以以特定数据单元为单位从比特流获得关于处理块的尺寸的信息。例如，可以以视频、序列、画面、条带、条带段等的数据单元为单位从比特流获得关于处理块的尺寸的信息。也就是说，视频解码设备10的处理块确定器11可通过使用关于以各种数据单元从比特流获得的处理块的信息来确定用于对视频进行划分的至少一个处理块的尺寸。至少一个处理块的尺寸可以是最大编码单元的尺寸的整数倍。
70.图3示出了根据实施例的用于在画面30中包括的至少一个块中确定至少一个最大编码单元的顺序，其中，所述确定的操作由视频解码设备10来执行。
71.在实施例中，视频解码设备10的处理块确定器11可确定画面30中包括的处理块31和33的尺寸。例如，视频解码设备10可基于从比特流获得的处理块尺寸信息来确定处理块的尺寸。参照图3，在实施例中，视频解码设备10可确定处理块31和33的水平尺寸是最大编码单元的水平尺寸的四倍，并且处理块31和33的垂直尺寸是最大编码单元的垂直尺寸的四倍。在操作s211，视频解码设备10可确定用于在至少一个处理块中确定至少一个最大编码单元的顺序。
72.在实施例中，在操作s210，视频解码设备10可基于由处理块确定器11确定的处理块31和33的尺寸来确定视频30中包括的处理块31和33，并且最大编码单元确定器12可确定用于确定处理块31和33中包括的至少一个最大编码单元的顺序。在实施例中，确定至少一个最大编码单元的操作可包括确定至少一个最大编码单元的尺寸的操作。
73.在实施例中，视频解码设备10可从比特流获得与在至少一个处理块中确定至少一个最大编码单元的顺序有关的信息，并且基于关于确定的顺序的信息来确定用于在至少一个处理块中确定至少一个最大编码单元的顺序。关于确定的顺序的信息可被定义为在处理块中确定最大编码单元的顺序或方向。也就是说，可针对每个处理块独立地确定用于确定最大编码单元的顺序。
74.在实施例中，视频解码设备10可针对每个特定数据单元从比特流获得与确定最大编码单元的顺序有关的信息。例如，可以以视频、序列、画面、条带、条带段或处理块为单位从比特流获得与确定最大编码单元的顺序有关的信息。与确定最大编码单元的顺序有关的信息表示用于在处理块中确定最大编码单元的顺序，并且可因此针对包括整数个处理块的每个特定数据单元被获得。
75.在实施例中，在操作s212，视频解码设备10可基于确定的顺序来确定至少一个最大编码单元。
76.在实施例中，视频解码设备10的最大编码单元确定器12可通过经由从比特流获得作为与处理块31和33相关的信息的与确定最大编码单元的顺序有关的信息来确定处理块31和33中包括的至少一个最大编码单元，以确定画面30中包括的至少一个最大编码单元。参照图3，视频解码设备10的最大编码单元确定器12可确定与处理块31和33中的每一个处理块相关的用于确定至少一个最大编码单元的顺序32和34。例如，当针对每个处理块获得与确定最大编码单元的顺序有关的信息时，与处理块31和33相关的用于确定最大编码单元
的顺序针对每个处理块可以不相同。当与处理块31相关的用于确定最大编码单元的顺序32是光栅扫描顺序时，处理块31中包括的最大编码单元可按照光栅扫描顺序被确定。相对而言，当与处理块33相关的用于确定最大编码单元的顺序34是与所述光栅扫描顺序相反的顺序时，处理块33中包括的最大编码单元可基于与所述光栅扫描顺序相反的顺序被确定。
77.在实施例中，在操作s213，视频解码设备10可对确定的至少一个最大编码单元进行解码。视频解码设备10的解码器13可基于在操作s212确定的至少一个最大编码单元对视频进行解码。对最大编码单元进行解码的方法可包括对视频进行解码的各种方法。
78.图4a是根据实施例的由视频解码设备10执行的用于确定最大编码单元中包括的至少一个编码单元的处理的流程图。
79.在实施例中，由视频解码设备10执行的操作s410至s412可对应于以上参照图1b描述的由视频解码设备10执行的操作s210至s212，因此这里将不再进行详细描述。
80.在实施例中，视频解码设备10的解码器13可按照与处理块相关地确定的顺序来确定该处理块中包括的最大编码单元，并基于确定的最大编码单元来确定至少一个编码单元。在实施例中，确定至少一个编码单元的操作可包括确定至少一个编码单元的尺寸的操作，其中，至少一个编码单元的尺寸等于或小于最大编码单元的尺寸。
81.在实施例中，在操作s413，视频解码设备10可基于从比特流获得的编码单元尺寸信息来选择等于或小于确定的最大编码单元的尺寸的多个尺寸中的一个尺寸作为编码单元的尺寸。
82.在实施例中，视频解码设备10可从比特流获得编码单元尺寸信息。编码单元尺寸信息可包括与最大编码单元中包括的至少一个编码单元的形状或尺寸相关的信息。例如，为了选择等于或小于最大编码单元的尺寸的多个编码单元尺寸中的一个尺寸，可使用与最大编码单元的水平尺寸或垂直尺寸的划分相关的编码单元尺寸信息。如果最大编码单元的尺寸为64
×
64，则小于或等于最大编码单元的尺寸的编码单元的尺寸可以是64
×
64、32
×
32、16
×
16、8
×
8等。因此，在此情况下，编码单元尺寸信息可指示等于或小于最大编码单元的尺寸(即，64
×
64)的多个尺寸(例如，64
×
64、32
×
32、16
×
16、8
×
8等)中的一个尺寸，并且视频解码设备10可通过选择由编码单元尺寸信息指示的编码单元尺寸在最大编码单元中确定至少一个编码单元。
83.图4b示出了根据实施例的由视频解码设备10执行的确定画面40中包括的至少一个编码单元的尺寸的处理。
84.在实施例中，视频解码设备10的最大编码单元确定器12可确定画面40中包括的至少一个最大编码单元。至少一个最大编码单元中的每一个可被划分为至少一个编码单元。视频解码设备10的解码器13可基于从比特流获得的编码单元尺寸信息来确定至少一个最大编码单元中包括的至少一个编码单元。视频解码设备10可基于从比特流获得的编码单元尺寸信息将至少一个最大编码单元中的每一个划分为至少一个编码单元。可针对至少一个最大编码单元中的每一个独立地确定这样的编码单元的尺寸。在实施例中，可针对每个特定数据单元(例如，画面、处理块、条带、条带段或最大编码单元)从比特流获得编码单元尺寸信息。为了便于解释，将假设由视频解码设备10针对至少一个最大编码单元中的每一个从比特流获得编码单元尺寸信息。
85.参照图4b，在实施例中，视频解码设备10的解码器13可确定具有与至少一个最大
编码单元相同尺寸的编码单元41，或者将至少一个最大编码单元划分为比至少一个最大编码单元小的编码单元42或43。视频解码设备10可从比特流获得用于至少一个最大编码单元中的每一个的编码单元尺寸信息。参照图4b，视频解码设备10可基于从比特流获得的编码单元尺寸信息来选择可针对至少一个最大编码单元中的每一个最大编码单元确定的多个编码单元尺寸中的一个，并根据选择的编码单元尺寸针对至少一个最大编码单元中的每一个来确定至少一个编码单元。
86.在实施例中，可由视频解码设备10从比特流获得的编码单元尺寸信息指示的编码单元尺寸可等于或小于至少一个编码单元的尺寸。所述编码单元尺寸可等于至少一个最大编码单元的尺寸，或者可以是至少一个最大编码单元的水平尺寸或垂直尺寸的1/2n倍(这里，n表示整数)。另外，如下面将详细描述的，可由获得的编码单元尺寸信息指示的编码单元尺寸可包括通过根据深度对至少一个最大编码单元的尺寸依次划分而获得的所有尺寸，但是可不包括通过根据特定深度对至少一个最大编码单元的尺寸进行划分而获得的尺寸。
87.图4c示出了根据实施例的可由视频解码设备10用编码单元尺寸信息指示的编码单元尺寸。
88.在实施例中，当视频解码设备10使用编码单元尺寸信息时，不需要通过基于划分信息递归地划分最大编码单元来确定编码单元的处理，并且最大编码单元可被直接划分为由编码单元尺寸信息指示的编码单元尺寸。因此，可由编码单元尺寸信息指示的编码单元尺寸可包括以下所有尺寸：所述所有尺寸包含与最高深度相应的最大编码单元的尺寸以及通过将最大编码单元按顺序划分到更低深度再到最低深度而获得的尺寸。可省去在与最高深度相应的尺寸和与最低深度相应的尺寸之间的至少一个尺寸。最高深度可表示具有与编码单元的最大尺寸相同的尺寸(即，最大编码单元的尺寸)的编码单元的深度。最低深度可表示具有最小尺寸的编码单元的深度。
89.参照图4c，视频解码设备10的解码器13可确定由最大编码单元确定器12确定的最大编码单元中包括的至少一个编码单元，并且可在确定编码单元的确定期间使用编码单元尺寸信息。例如，当最大编码单元的尺寸为64
×
64时，编码单元尺寸信息可表示：作为最高深度的编码单元45a和46a的尺寸并且是与最大编码单元相同的尺寸的64
×
64、作为编码单元45b和46b的尺寸(是最大编码单元的尺寸的1/4倍)的32
×
32、作为编码单元45c和46c的尺寸(是最大编码单元的尺寸的1/16倍)的16
×
16、或作为最低深度的编码单元45d和46d的尺寸并且是最大编码单元的尺寸的1/64倍的8
×
8。
90.在实施例中，在考虑最低深度的所有尺寸(64
×
64、32
×
32、16
×
16和8
×
8)的情况下，编码单元尺寸信息可表示从最高深度的尺寸开始的最低深度的所有尺寸(64
×
64、32
×
32、16
×
16和8
×
8)中的一个尺寸，或者可表示一些尺寸中的一个尺寸。参照图4c，视频解码设备10可从比特流获得表示在最高深度的尺寸和最低深度的尺寸(46a、46b、46c和46d)排除一些尺寸之后的尺寸中的一个尺寸的编码单元尺寸信息。例如，当最大编码单元的尺寸是64
×
64时，视频解码设备10可从比特流获得表示一些尺寸(例如，64
×
64和16
×
16)中的一个尺寸的编码单元尺寸信息，并且解码器13可基于编码单元尺寸信息来确定最大编码单元中包括的至少一个编码单元。
91.在传统视频编码或解码方法中，根据递归方法(例如，通过使用四叉树将最大编码单元划分为更低深度的编码单元的方法)针对每个最大编码单元确定编码单元的尺寸。因
此，从比特流获得划分信息来确定当前深度的每个编码单元是否将被划分为更低深度的编码单元。然而，根据视频的特征，通过从比特流获得用于每个编码单元的划分信息来确定每个编码单元是否将被划分可能是低效的。因此，在实施例中，可使用可针对每个最大编码单元获得的编码单元尺寸信息来确定每个最大编码单元中包括的编码单元的尺寸，而不是获得用于每个编码单元的划分信息来根据递归方法划分与最大编码单元相关的编码单元的尺寸。参照图4c，对于使用划分信息的编码单元45a、45b、45c和45d，从比特流获得划分信息来确定编码单元是否将从当前深度被划分到更低深度。在此情况下，将从比特流获得的数据量增加为与编码单元的数量成比例。例如，为了将最高深度的64
×
64编码单元45a划分为更低深度的16
×
16编码单元45c，应从比特流获得用于最高深度(例如，深度0)的一个编码单元45a的划分信息、用于更低深度(例如，深度1)的四个编码单元45b的划分信息以及用于更低深度(例如，深度2)的十六个编码单元45c的划分信息来确定这些编码单元是否将被划分。因此，应从比特流获得至少21比特数据。然而，根据视频的特征，不从比特流获得不需要被检查来确定编码单元是否将被划分的根据深度的编码单元的划分信息(例如，编码单元45b和45d的划分信息)是有效的。
92.在实施例中，当与最大编码单元相关地从比特流获得的关于编码单元的尺寸的划分信息被使用时，可将仅表示可被包括在最大编码单元中的预定编码单元的尺寸所需要的比特量用作划分信息，从而减少不必要的比特。例如，当编码单元尺寸信息被设置为指示64
×
64和16
×
16中的仅一个尺寸时，仅需要识别两个尺寸(即，64
×
64和16
×
16)，并且仅需要1比特。例如，当与特定最大编码单元相关地获得的编码单元尺寸信息是0b时，视频解码设备10的解码器13可确定尺寸为64
×
64的编码单元，当与特定最大编码单元相关地获得的编码单元尺寸信息是1b时，可确定尺寸为16
×
16的编码单元。在实施例中，“0b”或“1b”可被理解为表示以二进制数的形式表示的0比特或1比特。由以上描述的编码单元尺寸信息指示的编码单元的尺寸和数量仅是示例，并因此不限于此。
93.在实施例中，可针对每个数据单元独立地确定可通过由视频解码设备10获得的编码单元尺寸信息所指示的编码单元的尺寸或数量。例如，可以以画面、条带、条带段、并行块或处理块为单位来独立地确定可由编码单元尺寸信息指示的编码单元的尺寸或数量。虽然可针对每个数据单元不同地设置可由编码单元尺寸信息指示的编码单元的尺寸或数量，但是不应将数据单元解释为以上描述的数据单元的类型，而是可以使用各种其它数据单元。
94.图5a是根据实施例的由视频解码设备10执行的基于从比特流获得的尺寸限制信息来确定是否将从比特流获得编码单元的划分信息的流程图。
95.在实施例中，由视频解码设备10执行的操作s510和s512可对应于以上参照图1b描述的操作，因此这里将不再进行详细描述。
96.在实施例中，在操作s513，视频解码设备10可确定当前最大编码单元中包括的至少一个编码单元，其中，当前最大编码单元是在操作s512确定的最大编码单元中的一个最大编码单元。在实施例中，可通过由视频解码设备10的解码器13执行的图4a的操作s413和s414来实现确定在当前最大编码单元中包括的至少一个编码单元的操作，或者可以以相应技术领域中的其它各种方式来实现确定在当前最大编码单元中包括的至少一个编码单元的操作。在实施例中，由解码器13执行的解码处理可包括将在下面描述的视频解码方法。
97.在实施例中，在操作s514，视频解码设备10可基于从比特流获得的编码单元尺寸
限制信息来对至少一个编码单元的尺寸和由尺寸限制信息指示的尺寸进行比较。在实施例中，尺寸限制信息可包括用于确定编码单元是否将被划分为更低深度的信息。例如，当由用于当前编码单元的尺寸限制信息所指示的尺寸和当前编码单元的尺寸被相互比较时，可根据比较的结果来确定当前编码单元是否将被划分到更低深度。
98.在实施例中，由视频解码设备10从比特流获得的尺寸限制信息所指示的信息可以是用于确定当前编码单元是否将被划分到更低深度的信息，并且可表示大于编码单元的最小尺寸的尺寸。也就是说，当当前编码单元的尺寸是编码单元可具有的最小尺寸时，不需要确定当前编码单元是否将被划分为更低深度的编码单元。然而，即使当前编码单元的尺寸不是最小尺寸，根据视频的特征，仍可不需要确定当前编码单元是否将被划分为更低深度的编码单元。在此情况下，从比特流获得与当前编码单元相关的划分信息可能是低效的。因此，在实施例中，即使当针对当前深度的每个编码单元的划分信息没有从比特流被获得时，视频解码设备10的解码器13仍可通过对当前深度的编码单元的尺寸与从比特流获得的尺寸限制信息进行比较来确定当前编码单元是否将被划分为更低深度的编码单元。
99.图5b示出了根据实施例的由视频解码设备10执行的基于尺寸限制信息来确定至少一个编码单元的处理。
100.在实施例中，视频解码设备10的解码器13可基于从比特流获得的尺寸限制信息来确定至少一个编码单元。当对由尺寸限制信息指示的编码单元的尺寸和当前深度的编码单元的尺寸的比较表明当前深度的编码单元的尺寸大于由尺寸限制信息指示的编码单元的尺寸时，解码器13可将当前深度的编码单元划分为更低深度的编码单元。参照图5b，在实施例中，视频解码设备10可获得指示16
×
16是最小尺寸的尺寸限制信息来确定编码单元是否将被划分到更低深度。当最高深度(深度n)的编码单元51a的尺寸为64
×
64时，编码单元51a可被划分到更低深度(例如，深度n 1、深度n 2、深度n 3
…
)，但是可不从比特流获得用于尺寸为由尺寸限制信息指示的16
×
16的编码单元的划分信息来确定编码单元是否被划分到更低深度。例如，当最高深度(深度n)的64
×
64编码单元51a被递归地划分到更低深度(深度n 1和深度n 2)的编码单元50b和50c时，可从比特流获得用于各个深度(深度n、深度n 1和深度n 2)的编码单元的划分信息。可基于用于这些编码单元的划分信息来确定这些编码单元是否将被划分到更低深度。根据视频的特征，不需要将编码单元划分为尺寸为8
×
8的编码单元。在此情况下，可从比特流获得指示每个16
×
16编码单元不被划分到更低深度的划分信息。然而，根据视频的特征，当编码单元不需要被划分到最低深度时，例如，当将编码单元划分到更低深度的操作可能停止在最高深度和最低深度之间的中间深度时，不从比特流获得用于等于或小于特定尺寸的编码单元的划分信息可能是高效的。在实施例中，可从比特流获得指示编码单元的划分信息将不被获得的编码单元的尺寸的尺寸限制信息，并因此可有效地使用比特流。
101.在实施例中，参照图5b，视频解码设备10可将最高深度(深度n)的编码单元51a划分为更低深度(深度n 1或深度n 2)的编码单元51b或51c。为了将编码单元划分为更低深度的编码单元，可使用获得用于每个编码单元的划分信息的传统方法或以上描述的用于确定更低深度的编码单元的各种实施例。在实施例中，当由视频解码设备10从比特流获得的尺寸限制信息指示将不针对尺寸等于或小于更低深度(深度n 2)的编码单元的尺寸的编码单元获得划分信息时，视频解码设备10的解码器13可将最高深度(深度n)的编码单元51a划分
为更低深度(深度n 2)的编码单元51c，并将更低深度(深度n 2)的编码单元51c确定为当前编码单元，而不从比特流获得用于更低深度(深度n 2)的编码单元51c的划分信息来确定编码单元51c是否将被划分为更低深度(深度n 3)的编码单元，从而针对更低深度(深度n 2)的编码单元51c确定预测单元或变换单元。
102.在实施例中，可以以特定数据单元为单位来获得通过由视频解码设备10从比特流获得的尺寸限制信息指示的信息。在实施例中，视频解码设备10可以以画面、条带、条带段、并行块、处理块或最大编码单元为单位来从比特流获得尺寸限制信息。
103.在实施例中，在操作s515，当至少一个编码单元的尺寸大于由尺寸限制信息指示的尺寸时，视频解码设备10可从比特流获得用于当前深度的至少一个编码单元的划分信息。视频解码设备10的解码器13可基于获得的划分信息来确定当前深度的至少一个编码单元是否被划分为更低深度的编码单元。
104.在实施例中，在操作s516，当至少一个编码单元的尺寸等于或小于由尺寸限制信息指示的尺寸时，视频解码设备10可对当前深度的至少一个编码单元进行解码。当当前深度的至少一个编码单元的尺寸被确定为等于或小于由尺寸限制信息指示的尺寸时，不需要与当前深度的至少一个编码单元相关地从比特流获得指示编码单元将被划分到更低深度的划分信息。因此，可不对当前深度的至少一个编码单元进行划分，并且可执行解码处理。
105.在实施例中，视频解码设备10可对由从比特流获得的尺寸限制信息指示的尺寸与当前深度的编码单元的尺寸进行比较，并确定是否将从比特流获得划分信息。另外，在实施例中，从比特流获得的尺寸限制信息可直接指示特定尺寸，并且可指示当前深度的编码单元的尺寸是否将与预定尺寸进行比较来确定是否将从比特流获得划分信息。也就是说，当尺寸限制信息是直接指示特定尺寸的信息时，将在比特流中发送的信息量会增加。因此，可预先确定比编码单元的最小尺寸更大的特定尺寸，并且可从比特流获得指示当前深度的编码单元的尺寸是否将与特定尺寸进行比较的尺寸限制信息。当由尺寸限制信息指示的尺寸较大，并因此需要较大的数据量来发送尺寸限制信息时，视频解码设备10可使用仅指示当前深度的编码单元的尺寸是否将与特定尺寸进行比较的尺寸限制信息，从而相对地减少数据量。
106.图6a是根据实施例的由视频解码设备10执行的基于第二划分信息确定编码单元的处理的流程图，其中，第二划分信息指示编码单元是否将被划分为比特定深度更低的深度而跳过所述特定深度。
107.在实施例中，视频解码设备10可确定当前深度的编码单元是否将被划分为比特定深度更低的深度而跳过所述特定深度，而不按照深度顺序将当前深度的编码单元依次划分为更低深度的编码单元。
108.在实施例中，由视频解码设备10执行的操作s610至s612可对应于以上参照图1b描述的操作s210至s212，因此这里不再进行详细描述。
109.在实施例中，在操作s613，视频解码设备10的解码器13可确定在最大编码单元中包括的当前深度的编码单元。通过执行以下操作可将确定的当前深度的编码单元划分为更低深度的编码单元。
110.在实施例中，在操作s614，视频解码设备10的解码器13可确定在操作s613中的更低深度是否是最低深度。也就是说，在实施例中，视频解码设备10的解码器13可根据比确定
的编码单元的当前深度低一级的更低深度是否是最低深度，来确定是否将从比特流获得第二划分信息，其中，第二划分信息指示编码单元是否将被划分到比所述更低深度低的深度而跳过所述更低深度。
111.基于在操作s614确定更低深度是否是最低深度的结果，当更低深度不是最低深度时，在操作s615，视频解码设备10可从比特流获得第二划分信息。
112.在操作s616，视频解码设备10的解码器13可确定第二划分信息是否指示以下内容：当前深度的编码单元是否将被划分为比更低深度低的深度而不是将此编码单元划分为该更低深度的编码单元。在实施例中，视频解码设备10的解码器13可基于包括第一划分信息和第二划分信息中的至少一个的划分信息来对当前深度的编码单元进行划分。
113.在实施例中，当第二划分信息不指示：当前深度的编码单元将被划分为比更低深度低的深度而不是将此编码单元划分为该更低深度的编码单元时，在操作s617，视频解码设备10的解码器13可基于从比特流获得的第一划分信息将当前深度的编码单元划分为该更低深度的编码单元。该更低深度可以是比当前深度低一级的深度。在相应的技术领域中，可按照各种方式来执行基于指示编码单元是否被划分为该更低深度的第一划分信息来确定在当前深度的编码单元中包括的该更低深度的编码单元的处理，其中，所述各种方法包括将在下面描述的递归地对编码单元进行划分的方法。
114.在实施例中，当第二划分信息指示：当前深度的编码单元将被划分为比所述更低深度低的深度而不是将该编码单元划分为所述更低深度的编码单元时，在操作s618，视频解码设备10的解码器13可将当前深度的编码单元划分为比所述更低深度低但不是最低深度的深度的编码单元。
115.图6b示出了根据实施例的由视频解码设备10执行的基于第一划分信息和第二划分信息中的至少一个对当前深度的编码单元进行划分的处理。
116.在实施例中，视频解码设备10的解码器13可基于第一划分信息来将当前深度(例如，深度n)的编码单元60a划分为更低深度(例如，深度n 1或深度n 2)的编码单元60b或60c。也就是说，根据第一划分信息，可将当前深度(深度n)的编码单元60a划分为按深度顺序比当前深度(深度n)低一级的更低深度(例如，深度n 1)的编码单元60b。此外，视频解码设备10的解码器13可基于针对所述更低深度(深度n 1)的编码单元60b中的每一个所获得的第一划分信息，将编码单元60b中的每一个划分为比所述更低深度(深度n 1)低的深度(深度n 2、深度n 3
…
)的编码单元60c。然而，当仅使用第一划分信息来确定编码单元时，应从比特流获得用于递归地对编码单元进行划分的针对每个编码单元的所有第一划分信息。因此，从比特流获得针对中间深度(例如，深度n和深度n 2之间的深度n 1)的所有编码单元的划分信息以便确定是否将对所述中间深度的编码单元进行划分可能效率低。
117.在实施例中，通过从比特流获得指示编码单元是否将被划分为比特定深度低的深度而跳过所述特定深度的第二划分信息，视频解码设备10的解码器13可使用第二划分信息，从而跳过获得指示编码单元是否将被划分为特定深度的编码单元的第一划分信息的操作。参照图6b，视频解码设备10的解码器13可使用第二划分信息来对当前深度(深度n)的编码单元61a进行划分。用于编码单元61a的第二划分信息可表示编码单元61a被直接划分为比更低深度(深度n 1)低的深度(深度n 2、深度n 3)的编码单元61c，同时跳过比当前深度(深度n)低一级的特定深度(例如，更低深度(深度n 1))。因此，解码器13使用用于编码单元
61a的第二划分信息，并可因此不从比特流获得用于更低深度(深度n 1)的编码单元的第一划分信息，从而减少将被发送的信息量。
118.在实施例中，视频解码设备10的解码器13可基于第二划分信息直接将当前深度(深度n)的编码单元划分为比所述更低深度(深度n 1)低的深度(深度n 2、深度n 3
…
)的编码单元。另外，在不从比特流获得用于编码单元的第一划分信息的情况下，解码器13可根据第二划分信息对直接从当前深度的编码单元划分出的深度(深度n 2、深度n 3
…
)的编码单元中的每一个进行解码。
119.图7a是根据实施例的由视频解码设备10执行的基于关于编码单元的最大深度的信息和关于编码单元的最小深度的信息中的至少一个信息来确定最大编码单元中包括的至少一个编码单元的处理的流程图。
120.在实施例中，由视频解码设备10执行的操作s710至s712可对应于以上参照图1b描述的操作，因此这里不再进行详细描述。
121.在操作s713，视频解码设备10可基于关于编码单元的最大深度的信息和关于编码单元的最小深度的信息中的至少一个来确定最大编码单元中包括的至少一个编码单元。
122.在实施例中，视频解码设备10的解码器13可基于获得的信息来确定将用于在最大编码单元中执行递归划分的最大深度和最小深度。例如，解码器13可通过从由关于最大深度的信息所指示的深度的编码单元开始执行递归划分来确定最大编码单元中包括的至少一个编码单元。根据现有技术，通过从最大编码单元开始按照深度顺序执行递归划分来确定最大编码单元中包括的至少一个编码单元。然而，应首先确定是否将对最大编码单元进行划分，因此根据视频的特性(例如，当视频具有大量的高频分量，并因此由于大编码单元(诸如最大编码单元)而导致将不被编码或解码的区域的数量大时)，现有技术可能效率低。相反，在实施例中，视频解码设备10从邻近块获得关于最大深度的信息，并使用该信息。因此，可从由关于最大深度的信息所指示的深度的编码单元开始执行递归划分，而不是从具有与最大编码单元相同的尺寸的编码单元开始执行递归划分。
123.作为另一示例，解码器13可执行从具有与最大编码单元相同的尺寸的编码单元到由关于最小深度的信息所指示的深度的编码单元的递归划分。在现有技术中，通过递归地对编码单元进行划分来确定最大编码单元中包括的至少一个编码单元，直到用于当前深度的编码单元的划分信息指示编码单元将不被划分为更低深度为止。然而，由于应从比特流获得用于所有编码单元的划分信息来确定所述所有编码单元是否将被划分，因此根据视频的特征(例如，当视频具有大量的低频分量，并因此由于小尺寸的编码单元而导致将不被编码或解码的区域的数量大时)，现有技术可能效率低。相反，在实施例中，视频解码设备10从邻近块获得关于最小深度的信息，并使用该信息。因此，递归划分可被执行直到由关于最小深度的信息所指示的深度的编码单元，而不会在每当用于每个编码单元的划分信息被获得时就使递归划分停止。在实施例中，可不从比特流获得用于由关于最小深度的信息所指示的深度的编码单元的划分信息。
124.在实施例中，视频解码设备10可以以特定数据单元为单位从邻近块或比特流获得关于最大深度的信息和关于最小深度的信息中的至少一个。例如，视频解码设备10可以以序列、画面、条带、条带段、并行块、处理块、最大编码单元或编码单元为单位从比特流获得关于最大深度的信息和关于最小深度的信息中的至少一个。视频解码设备10可基于关于以
特定数据单元为单位从比特流获得的关于最大深度的信息和关于最小深度的信息中的至少一个来确定所述特定数据单元中包括的至少一个编码单元。
125.图7b示出了根据实施例的由视频解码设备10执行的基于关于最大深度的信息和关于最小深度的信息中的至少一个信息来确定至少一个编码单元的处理。
126.在实施例中，视频解码设备10的解码器13可基于关于最大深度的信息来确定在最大编码单元中开始递归划分的编码单元的深度。参照图7b，在实施例中，当由关于最大深度的信息所指示的深度是深度n 1时，解码器13可从由关于最大深度的信息所指示的深度(深度n 1)的编码单元70b开始执行递归划分。也就是说，比最大编码单元小的编码单元70b可被递归划分为更低深度(深度n 2、深度n 3
…
)的编码单元70c、70d
…
，而不是通过获得用于具有与最大编码单元相同的尺寸的编码单元70a的划分信息来开始划分。开始对编码单元70b进行划分的深度可以是由关于最大深度的信息所指示的深度(深度n 1)。
127.在实施例中，视频解码设备10的解码器13可基于关于最小深度的信息在最大编码单元中确定停止递归划分的最小深度的编码单元。参照图7b，在实施例中，当由关于最小深度的信息所指示的深度是深度n 2时，解码器13可执行递归划分直到由关于最小深度的信息所指示的深度n 2的编码单元71c。也就是说，可从具有与最大编码单元相同的尺寸的编码单元71a到由关于最小深度的信息所指示的深度n 2的编码单元执行递归划分。深度n 2的编码单元不能被划分为等于或小于深度n 2的深度(深度n 3)的编码单元。
128.在实施例中，视频解码设备10可基于关于最大深度的信息和关于最小深度的信息来确定最大编码单元中所包括的至少一个编码单元。例如，视频解码设备10的解码器13可从由关于最大深度的信息所指示的深度到由关于最小深度的信息所指示的深度递归地对编码单元进行划分。
129.图8a是根据实施例的由视频解码设备10执行的通过从比特流获得指示预测方法的信息来确定至少一个编码单元中包括的至少一个预测单元的流程图。
130.由视频解码设备10执行的操作s810至s812可对应于以上参照图1b描述的操作s210至s212，因此这里不再进行详细描述。
131.在实施例中，在操作s813，视频解码设备10可确定在至少一个最大编码单元之中的当前最大编码单元中所包括的至少一个编码单元。视频解码按设备10的解码器13可根据以上描述的各种实施例来确定当前最大编码单元中所包括的至少一个编码单元，或者根据现有技术通过从最大编码单元开始执行递归划分来确定当前最大编码单元中所包括的至少一个编码单元。
132.在实施例中，在操作s814，视频解码设备10的解码器13可确定指示预测方法的信息是否指示使用作为预定预测方法的第一方法。可从比特流获得指示预测方法的信息。视频解码设备10的解码器13可基于指示预测方法的信息来确定是使用预定预测方法还是使用与所述预定预测方法不同的方法来确定预测单元。
133.在操作s815，当指示预测方法的信息指示使用作为预定预测方法的第一方法时，视频解码设备10的解码器13可根据第一方法通过从比特流获得指示多个分区类型中的一个分区类型的分区模式信息来确定当前编码单元中包括的至少一个预测单元。
134.在操作s816，当指示预测方法的信息不指示使用作为预定预测方法的第一方法时，视频解码设备10的解码器13可根据与作为预定预测方法的第一方法不同的第二方法来
确定在当前编码单元中包括的预测单元。在实施例中，根据第二方法，视频解码设备10的解码器13可在不从比特流获得分区模式信息的情况下基于预定分区类型来确定预测单元。在实施例中，分区模式信息可以是指示多个分区类型中的一个分区类型的信息。当使用第一方法确定分区类型时，视频解码设备10的解码器13可从比特流获取分区模式信息，并根据由分区模式信息所指示的分区类型来确定预测单元。然而，随着可由分区模式信息指示的分区类型的数量变大，需要用于分区模式信息的比特量会增加。因此，在实施例中，根据视频的特征，视频解码设备10的解码器13可通过使用先前基于第二方法确定的分区类型来确定当前编码单元中包括的至少一个预测单元，而不用从比特流获得分区模式信息来选择多个分区模式中的一个分区模式。
135.图8b示出了根据实施例的由视频解码设备10的解码器13执行的基于关于预测方法的信息根据第一方法或第二方法来确定当前编码单元中包括的至少一个预测单元的处理。
136.在实施例中，通过根据基于从比特流获得的关于预测方法的信息的作为预定预测方法的第一方法来获得分区模式信息，视频解码设备10的解码器13可通过使用由分区模式信息指示的分区类型来确定至少一个预测单元。参照图8b，当根据第一方法确定预测单元时，可使用指示用于每个编码单元的各种预测单元形状中的一个的预测模式信息。将在下面描述由预测模式信息指示的各种预测单元形状。根据第一方法，可确定用于将当前编码单元的水平尺寸和垂直尺寸中的至少一个对半划分或者按照1/4或3/4的比率划分的分区单元，或者可确定具有与编码单元相同的尺寸的预测单元。
137.在实施例中，根据作为预定预测方法的第二方法并基于从比特流获得的关于预测方法的信息，视频解码设备10的解码器13可在不从比特流获得分区模式信息的情况下，通过使用预定分区类型(例如，具有与当前编码单元相同的尺寸的分区)来确定预测单元。参照图8b，视频解码设备10的解码器13可根据第二方法确定具有与当前编码单元相同的尺寸的预测单元。因此，当根据视频的特征不需要将当前编码单元划分为子预测单元时，可在不获得分区模式信息的情况下根据第二方法基于预定分区类型来确定预测单元。
138.在实施例中，视频解码设备10的解码器13可基于第二方法确定用于当前编码单元的预测单元。当当前编码单元的尺寸被确定为与最大编码单元的尺寸相同时，可确定具有与当前编码单元的更低深度的编码单元的尺寸相同的尺寸的预测单元。参照图8b，在实施例中，视频解码设备10的解码器13可将当前编码单元的尺寸确定为与最大编码单元相同的64
×
64。当关于预测方法的信息指示使用第二方法来确定预测单元时，以及当当前编码单元具有与最大编码单元相同的尺寸64
×
64时，解码器13可基于预定分区类型确定具有与当前编码单元的更低深度的编码单元相同的尺寸32
×
32的预测单元。
139.下面将描述根据其它实施例的视频编码方法。可通过在视频编码方法的操作可被本领域普通技术人员容易实现的范围内执行与视频解码方法的操作相反的操作来实现下面将描述的视频编码方法。
140.图2a是根据实施例的视频编码设备15的框图。视频编码设备15可包括处理块确定器16、最大编码单元确定器17和编码器18。在实施例中，由视频编码设备15的组件执行的操作可由单独的硬件或软件组件来实现，或者由一个硬件组件(例如，cpu)来实现。将在以下的实施例中详细地描述由视频编码设备15的组件执行的操作。
141.图2b是根据实施例的由视频编码设备15使用处理块执行的视频编码方法的流程图。
142.在操作s220，视频编码设备15可确定用于对视频进行划分的至少一个处理块。
143.在实施例中，视频编码设备15的处理块确定器16可确定用于将视频划分为帧的至少一个处理块。至少一个处理块是包括用于对视频进行划分的至少一个最大编码单元的数据单元。可按照特定顺序来确定至少一个处理块中包括的至少一个最大编码单元。也就是说，在每个处理块中确定至少一个最大编码单元的顺序可以是用于确定最大编码单元的各种顺序中的一种顺序。确定至少一个最大编码单元的顺序可对于每个处理块不同。
144.在实施例中，视频编码设备15可产生包括与至少一个处理块的尺寸相关的信息的比特流。从比特流接收与至少一个处理块的尺寸相关的信息的解码端可确定视频中包括的至少一个处理块的尺寸。至少一个处理块的尺寸可以是由与至少一个处理块的尺寸相关的信息所指示的数据单元的特定尺寸。
145.图3示出了根据实施例的由视频编码设备15执行的在画面30中包括的至少一个处理块中确定至少一个最大编码单元的顺序的操作。在图3中，以上已与由视频解码设备10执行的操作相关地描述了由视频编码设备15确定至少一个最大编码单元的操作，因此这里不再进行详细描述。
146.在实施例中，在操作s222，视频编码设备15可按照预定顺序来确定至少一个最大编码单元。
147.在实施例中，视频编码设备15的最大编码单元确定器17可从比特流获得与确定最大编码单元的顺序有关的信息作为与处理块31和33相关的信息，确定在处理块31和33中包括的至少一个最大编码单元的顺序，并确定画面30中包括的至少一个最大编码单元。
148.在实施例中，在操作s223，视频编码设备15可对确定的至少一个最大编码单元进行编码。视频编码设备15的编码器18可根据在操作s222确定的至少一个最大编码单元来对视频进行编码。对至少一个最大编码单元进行编码的方法可包括对视频进行编码的各种方法。
149.图4a是根据实施例的由视频编码设备15执行的确定最大编码单元中包括的至少一个编码单元的处理的流程图。
150.在实施例中，由视频编码设备15执行的操作s410至s412可对应于以上参照图2b描述的操作s220至s222，因此这里不再进行详细描述。
151.在实施例中，在操作s413，视频编码设备15可基于从比特流获得的编码单元尺寸信息来选择等于或小于确定的最大编码单元的尺寸的多个尺寸中的一个尺寸作为编码单元的尺寸。
152.图4b示出了根据实施例的由视频编码设备15执行的确定画面40中包括的至少一个编码单元的尺寸的处理。
153.视频编码设备15的编码器18可基于从比特流获得的编码单元尺寸信息来确定最大编码单元中包括的至少一个编码单元。视频编码设备15可产生包括编码单元尺寸信息的比特流。解码端可获得比特流，并将每个最大编码单元划分为至少一个编码单元。可针对每个最大编码单元独立地确定这样的编码单元的尺寸。在实施例中，可针对每个特定数据单元(例如，画面、处理块、条带、条带段或最大编码单元)产生包括编码单元尺寸信息的比特
流。为了便于解释，在下文中将假设视频编码设备15产生包括用于每个最大编码单元的编码单元尺寸信息的比特流。
154.图4c示出了根据实施例的可由视频编码设备15用编码单元尺寸信息指示的编码单元尺寸。
155.在实施例中，当视频编码设备15使用编码单元尺寸信息时，不需要通过基于划分信息从最大编码单元开始执行递归划分来确定编码单元的处理，并且将最大编码单元直接划分为分别具有由编码单元尺寸信息指示的尺寸的编码单元。因此，由编码单元尺寸信息指示的尺寸可包括与最高深度相应的最大编码单元的尺寸、以及最大编码单元被顺序地划分为更低深度再划分到最低深度的编码单元的尺寸。可跳过在与最高深度相应的尺寸和与最低深度相应的尺寸之间的尺寸之中的至少一个尺寸。
156.图5a是根据实施例的由视频编码设备15执行的产生包括编码单元的尺寸限制信息的比特流的操作以及确定包括用于编码单元的划分信息的比特流是否将基于尺寸限制信息被产生的操作的流程图。
157.在实施例中，由视频编码设备15执行的操作s510至s512可对应于以上参照图2b描述的操作，因此这里不再进行详细描述。
158.在实施例中，在操作s513，视频编码设备15可确定在作为在s512确定的最大编码单元之一的当前最大编码单元中包括的至少一个编码单元。在实施例中，可通过由视频编码设备15的编码器18执行的图4a的操作s413至s414来执行确定在当前最大编码单元中包括的至少一个编码单元的操作，或者按照技术领域中的各种其它方法来执行确定在当前最大编码单元中包括的至少一个编码单元的操作。在实施例中，由编码器18执行的编码处理可包括将在下面描述的视频编码方法。
159.在实施例中，在操作s514，视频编码设备15可产生包括用于编码单元的尺寸限制信息的比特流，并基于尺寸限制信息对至少一个编码单元的尺寸与由尺寸限制信息指示的尺寸进行比较。在实施例中，尺寸限制信息可包括用于确定编码单元是否将被划分到更低深度的信息。例如，当对当前编码单元的尺寸与由尺寸限制信息指示的尺寸进行比较时，可基于比较的结果来确定当前编码单元是否将被方划分到更低深度。
160.在实施例中，由尺寸限制信息指示的信息可以是用于确定编码单元是否将被划分到更低深度的信息，并且可表示比编码单元的最小尺寸大的尺寸。
161.在实施例中，在操作s515，当至少一个编码单元的尺寸大于由尺寸限制信息指示的尺寸时，视频编码设备15可产生包括用于当前深度的至少一个编码单元的划分信息。视频编码设备15的编码器18可基于划分信息来确定当前深度的至少一个编码单元是否将被划分到更低深度。
162.在实施例中，在操作s516，当至少一个编码单元的尺寸等于或小于由尺寸限制信息指示的尺寸时，视频编码设备15可对当前深度的至少一个编码单元进行编码。当确定当前深度的至少一个编码单元的尺寸等于或小于由尺寸限制信息指示的尺寸时，不需要对指示当前深度的至少一个编码单元是否将被划分到更低深度的划分信息进行编码。因此，可在当前深度的至少一个编码单元停止划分，然后可执行编码处理。
163.图6a是根据实施例的由视频编码设备15执行的基于第二划分信息确定编码单元的处理的流程图，其中，第二划分信息指示编码单元是否将被划分为比特定深度更低的深
度而跳过所述特定深度。
164.在实施例中，视频编码设备15可确定当前深度的编码单元是否将被划分到更低深度而跳过特定深度，而不是按照深度顺序将编码单元依次划分为更低深度的编码单元。
165.在实施例中，由视频编码设备15执行的操作s610至s612可对应于以上参照图2b描述的操作s220至s222，因此这里将不再进行详细描述。
166.在实施例中，在操作s613，视频编码设备15的编码器18可确定最大编码单元中包括的当前深度的编码单元。可通过执行以下操作将确定的当前深度的编码单元划分为更低深度的编码单元。
167.在实施例中，在操作s614，视频编码设备15的编码器18可确定在操作s613的更低深度是否是最低深度。也就是说，在实施例中，视频编码设备15的编码器18可基于比确定的编码单元的当前深度低一级的更低深度是否是最低深度来确定第二划分信息是否将被编码，其中，第二划分信息指示编码单元是否将被划分到比所述更低深度低的深度而跳过将编码单元划分到所述更低深度的操作。
168.当基于在操作s614的确定结果而确定所述更低深度不是最低深度时，在操作s615，视频编码设备15可从比特流获得第二划分信息。
169.在操作s616，视频编码设备15的编码器18可确定第二划分信息是否指示当前深度的编码单元将被划分到比所述更低深度低的深度而不是将编码单元划分到所述更低深度。在实施例中，视频编码设备15的编码器18可基于包括第一划分信息和第二划分信息中的至少一个的划分信息来对当前深度的编码单元进行划分。
170.在实施例中，当第二划分信息不指示：当前深度的编码单元将被划分到比所述更低深度低的深度而不是将编码单元划分到该更低深度时，在操作s617，视频编码设备15的编码器18可基于第一划分信息将当前深度的编码单元划分分为所述更低深度的编码单元。
171.在实施例中，当第二划分信息指示：当前深度的编码单元将被划分到比所述更低深度低的深度而不是将编码单元划分到所述更低深度时，视频编码设备15的编码器18可将当前深度的编码单元划分为比所述更低深度低但不是最低深度的深度的编码单元。
172.图6b示出了根据实施例的由视频编码设备15执行的基于第一划分信息和第二划分信息中的至少一个对当前深度的编码单元进行划分的处理。由视频编码设备15对编码单元进行划分的处理可对应于以上参照图6b描述的由视频解码设备10执行的操作，因此这里不再进行详细描述。
173.图7a是根据实施例的由视频编码设备15执行的基于关于编码单元的最大深度的信息和关于编码单元的最小深度的信息中的至少一个信息来确定最大编码单元中包括的至少一个编码单元的处理的流程图。图7b示出了根据实施例的由视频编码设备15执行的基于关于最大深度的信息和关于最小深度的信息中的至少一个信息来确定至少一个编码单元的处理。
174.由视频编码设备15执行的在图7a和图7b中示出的确定至少一个编码单元的处理可对应于以上参照图7a和图7b描述的由视频解码设备10执行的操作，因此这里不再进行详细描述。
175.图8a是根据实施例的由视频编码设备15执行的通过从比特流获得指示预测方法的信息来确定至少一个编码单元中包括的至少一个预测单元的流程图。
176.图8b示出了根据实施例的由视频编码设备15的编码器18执行的基于关于预测方法的信息根据第一方法或第二方法来确定当前编码单元中包括的至少一个预测单元的处理。
177.在图8a和图8b中，由视频编码设备15确定至少一个预测单元的处理可对应于以上参照图8a和图8b描述的由视频解码设备10执行的操作，因此这里不再进行详细描述。
178.图9示出根据实施例的基于树结构的编码单元的视频编码设备100的框图。
179.在图9中，视频编码设备100可对应于图2a的视频编码设备15。
180.涉及基于根据树结构的编码单元的视频预测的视频编码设备100包括编码单元确定器120和输出单元130。在下文中，为了便于描述，涉及基于树结构的编码单元的视频预测的视频编码设备100被称为“视频编码设备100”。
181.编码单元确定器120可基于图像的当前画面的最大编码单元来划分当前画面，其中，最大编码单元是具有最大尺寸的编码单元。如果当前画面大于最大编码单元，则可将当前画面的图像数据划分为至少一个最大编码单元。根据实施例的最大编码单元可以是尺寸为32
×
32、64
×
64、128
×
128、256
×
256等的数据单元，其中，数据单元的形状是宽度和长度为2的若干次方的正方形。
182.根据实施例的编码单元可由最大尺寸和深度表征。深度表示编码单元从最大编码单元被空间划分的次数，并且随着深度加深，根据深度的较深层编码单元可从最大编码单元被划分到最小编码单元。最大编码单元的深度可被定义为最高深度，最小编码单元的深度可被定义为最低深度。由于随着最大编码单元的深度加深，与每个深度相应的编码单元的尺寸减小，因此与更高深度相应的编码单元可包括多个与更低深度相应的编码单元。
183.如上所述，当前画面的图像数据根据编码单元的最大尺寸被划分为最大编码单元，并且每个最大编码单元可包括根据深度被划分的较深层编码单元。由于根据深度对根据实施例的最大编码单元进行划分，因此可根据深度对包括在最大编码单元中的空间域的图像数据进行分层分类。
184.可预先确定编码单元的最大深度和最大尺寸，其中，所述最大深度和最大尺寸限制最大编码单元的高度和宽度被分层划分的总次数。
185.编码单元确定器120对通过根据深度对最大编码单元的区域进行划分而获得的至少一个划分区域进行编码，并且根据所述至少一个划分区域来确定用于输出最终编码的图像数据的深度。换句话说，编码单元确定器120通过根据当前画面的最大编码单元以根据深度的较深层编码单元对图像数据进行编码，并选择具有最小编码误差的深度，来确定最终深度。将确定的最终深度和根据最大编码单元的图像数据输出到输出单元130。
186.基于与等于或低于最大深度的至少一个深度相应的较深层编码单元，对最大编码单元中的图像数据进行编码，并且对基于每个较深层编码单元对图像数据进行编码的结果进行比较。在对较深层编码单元的编码误差进行比较之后，可选择具有最小编码误差的深度。可针对每个最大编码单元选择至少一个最终深度。
187.随着编码单元根据深度而被分层地划分以及随着编码单元的数量增加，最大编码单元的尺寸被划分。另外，即使在一个最大编码单元中编码单元与同一深度相应，仍通过分别测量每个编码单元的图像数据的编码误差来确定是否将与同一深度相应的每个编码单元划分到更低深度。因此，即使当图像数据被包括在一个最大编码单元中时，编码误差仍可
根据所述一个最大编码单元中的区域而不同，因此最终深度可根据图像数据中的区域而不同。因此，可在一个最大编码单元中确定一个或更多个最终深度，并且可根据至少一个最终深度的编码单元来对最大编码单元的图像数据进行划分。
188.因此，根据实施例的编码单元确定器120可确定包括在当前最大编码单元中的具有树结构的编码单元。根据实施例的“具有树结构的编码单元”包括当前最大编码单元中包括的所有较深层编码单元中的与确定为最终深度的深度相应的编码单元。可根据最大编码单元的同一区域中的深度来分层地确定最终深度的编码单元，并可在不同区域中独立地确定最终深度的编码单元。类似地，可独立于另一区域中的最终深度而确定当前区域中的最终深度。
189.根据实施例的最大深度是与从最大编码单元到最小编码单元的划分次数相关的索引。根据实施例的第一最大深度可表示从最大编码单元到最小编码单元的总划分次数。根据实施例的第二最大深度可表示从最大编码单元到最小编码单元的深度等级的总数。例如，当最大编码单元的深度是0时，对最大编码单元划分一次的编码单元的深度可被设置为1，对最大编码单元划分两次的编码单元的深度可被设置为2。这里，如果最小编码单元是最大编码单元被划分四次的编码单元，则存在深度0、1、2、3和4的深度等级，并因此第一最大深度可被设置为4，第二最大深度可被设置为5。
190.可根据最大编码单元执行预测编码和变换。根据最大编码单元，还基于根据等于最大深度的深度或小于最大深度的深度的较深层编码单元来执行预测编码和变换。
191.由于每当根据深度对最大编码单元进行划分时，较深层编码单元的数量增加，因此对随着深度加深而产生的所有较深层编码单元执行包括预测编码和变换的编码。在下文中，为了便于描述，在至少一个最大编码单元中，将基于当前深度的编码单元来描述预测编码和变换。
192.根据实施例的视频编码设备100可不同地选择用于对图像数据进行编码的数据单元的尺寸或形状。为了对图像数据进行编码，执行诸如预测编码、变换和熵编码的操作，此时，可针对所有操作使用相同的数据单元，或者可针对每个操作使用不同的数据单元。
193.例如，视频编码设备100不仅可选择用于对图像数据进行编码的编码单元，还可选择不同于编码单元的数据单元，以便对编码单元中的图像数据执行预测编码。
194.为了在最大编码单元中执行预测编码，可基于根据实施例的与最终深度相应的编码单元(即，基于不再被划分到与更低深度相应的编码单元的编码单元)来执行预测编码。通过划分编码单元而获得的分区可包括编码单元和通过对编码单元的高度和宽度中的至少一个进行划分而获得的数据单元。分区可包括编码单元被划分的数据单元、以及具有与编码单元相同的尺寸的数据单元。作为预测的基础的分区可被称为“预测单元”。
195.例如，当2n
×
2n(其中，n是正整数)的编码单元不再被划分时，编码单元成为2n
×
2n的预测单元，并且分区的尺寸可以是2n
×
2n、2n
×
n、n
×
2n或n
×
n。分区模式的示例可包括通过对预测单元的高度或宽度进行对称地划分而获得的对称分区，并且可选择性地包括通过对预测单元的高度或宽度进行非对称地划分(诸如，1：n或n:1)而获得的分区、通过对预测单元进行几何地划分而获得的分区、以及具有任意形状的分区等。
196.预测单元的预测模式可以是帧内模式、帧间模式和跳过模式中的至少一个。例如，可对2n
×
2n、2n
×
n、n
×
2n或n
×
n的分区执行帧内模式或帧间模式。另外，可仅对2n
×
2n的
分区执行跳过模式。可对编码单元中的一个预测单元独立地执行编码，从而可选择具有最小编码误差的预测模式。
197.根据实施例的视频编码设备100不仅可基于用于对图像数据进行编码的编码单元还可基于与编码单元不同的数据单元，来对编码单元中的图像数据执行变换。为了在编码单元中执行变换，可基于具有小于或等于编码单元的尺寸的变换单元来执行变换。例如，变换单元可包括用于帧内模式的数据单元和用于帧间模式的变换单元。
198.根据实施例，以与根据树结构对编码单元进行划分的方式类似的方式，编码单元中的变换单元可被递归地划分为更小尺寸的区域。因此，可基于根据变换深度的具有树结构的变换单元，对编码单元中的残差数据进行划分。
199.还可在根据实施例的变换单元中设置变换深度，其中，变换深度指示通过对编码单元的高度和宽度进行划分而达到变换单元的划分次数。例如，在2n
×
2n的当前编码单元中，当变换单元的尺寸是2n
×
2n时，变换深度可以是0，当变换单元的尺寸是n
×
n时，变换深度可以是1，当变换单元的尺寸是n/2
×
n/2时，变换深度可以是2。也就是说，针对变换单元，可根据变换深度设置具有树结构的变换单元。
200.根据深度的划分信息不仅需要关于深度的信息，还需要与预测和变换相关的信息。因此，编码单元确定器120不仅可确定产生最小编码误差的深度，还可确定预测单元被划分成分区的分区模式、根据预测单元的预测模式以及用于变换的变换单元的尺寸。
201.随后将参照图9至图19详细描述根据实施例的最大编码单元中的根据树结构的编码单元以及确定预测单元/分区和变换单元的方法。
202.编码单元确定器120可通过使用基于拉格朗日乘数的率失真优化来测量根据深度的较深层编码单元的编码误差。
203.输出单元130在比特流中输出最大编码单元的图像数据和根据深度的划分信息，其中，所述最大编码单元的图像数据基于由编码单元确定器120确定的至少一个深度而被编码。
204.编码的图像数据可对应于通过对图像的残差数据进行编码而获得的结果。
205.根据深度的划分信息可包括深度信息、预测单元的分区模式信息、预测模式信息和变换单元的划分信息。
206.可通过使用根据深度的划分信息来定义最终深度信息，其中，根据深度的划分信息指定是否对更低深度而不是当前深度的编码单元执行编码。如果当前编码单元的当前深度是深度，则通过使用当前深度的编码单元来对当前编码单元进行编码，因此可将当前深度的划分信息定义为不将当前编码单元划分到更低深度。相反地，如果当前编码单元的当前深度不是深度，则必须对更低深度的编码单元执行编码，并因此可将当前深度的划分信息定义为将当前编码单元划分到更低深度的编码单元。
207.如果当前深度不是深度，则对被划分成更低深度的编码单元的编码单元执行编码。由于更低深度的至少一个编码单元存在于当前深度的一个编码单元中，因此对更低深度的每个编码单元重复执行编码，并因此可对具有相同深度的编码单元递归地执行编码。
208.由于针对一个最大编码单元确定具有树结构的编码单元，并且针对深度的编码单元必须确定至少一条划分信息，因此可针对一个最大编码单元确定至少一条划分信息。另外，由于根据深度对数据进行分层划分，因此最大编码单元的数据可根据位置而不同，并且
因此可针对数据设置深度和划分信息。
209.因此，根据实施例的输出单元130可将关于相应深度和编码模式的编码信息分配给包括在最大编码单元中的编码单元、预测单元和最小单元中的至少一个。
210.根据实施例的最小单元是通过将构成最低深度的最小编码单元划分为4份而获得的正方形数据单元。可选择地，根据实施例的最小单元可以是可包括在最大编码单元中所包括的所有编码单元、预测单元、分区单元和变换单元中的最大正方形数据单元。
211.例如，通过输出单元130输出的编码信息可被分类为根据较深层编码单元的编码信息和根据预测单元的编码信息。根据较深层编码单元的编码信息可包括预测模式信息和分区尺寸信息。根据预测单元的编码信息可包括关于帧间模式的估计方向的信息、关于帧间模式的参考图像索引的信息、关于运动矢量的信息、关于帧内模式的色度分量的信息、以及关于帧内模式的插值方法的信息。
212.关于根据画面、条带或gop定义的编码单元的最大尺寸的信息和关于最大深度的信息可被插入到比特流的头、序列参数集或画面参数集中。
213.还可通过比特流的头、序列参数集或画面参数集来输出关于针对当前视频允许的变换单元的最大尺寸的信息、以及关于变换单元的最小尺寸的信息。输出单元130可对与预测相关的参考信息、预测信息和条带类型信息进行编码，并输出这些信息。
214.根据视频编码设备100的最简单实施例，较深层编码单元可以是通过将更高深度的编码单元(更高一层)的高度或宽度划分成两份而获得的编码单元。也就是说，当当前深度的编码单元的尺寸是2n
×
2n时，更低深度的编码单元的尺寸是n
×
n。另外，尺寸为2n
×
2n的当前编码单元可最多包括四个尺寸为n
×
n的更低深度编码单元。
215.因此，视频编码设备100可基于考虑当前画面的特征而确定的最大编码单元的尺寸和最大深度，通过针对每个最大编码单元确定具有最优形状和最优尺寸的编码单元来形成具有树结构的编码单元。另外，由于可通过使用各种预测模式和变换中的任意一个对每个最大编码单元执行编码，因此可通过考虑各种图像尺寸的编码单元的特征来确定最优编码模式。
216.因此，如果以传统宏块对具有高分辨率或大数据量的图像进行编码，则每个画面的宏块的数量极度增加。因此，针对每个宏块产生的压缩信息的条数增加，因此难以发送压缩的信息，并且数据压缩效率降低。然而，通过使用根据实施例的视频编码设备，由于在考虑图像的尺寸的同时增加编码单元的最大尺寸，并同时在考虑图像的特征的同时调整编码单元，因此可提高图像压缩效率。
217.图10是根据各种实施例的基于根据树结构的编码单元的视频解码设备200的框图。图10的视频解码设备200可对应于图1a的视频解码设备10。
218.根据实施例的涉及基于树结构的编码单元的视频预测的视频解码设备200包括接收器210、图像数据和编码信息提取器220以及图像数据解码器230。图像数据解码器230可对应于图1a的解码器13。在下文中，为了便于描述，根据实施例的涉及基于树结构的编码单元的视频预测的视频解码设备200被称为“视频解码设备200”。
219.与由根据实施例的视频解码设备200执行的解码操作相关的各种术语(诸如编码单元、深度、预测单元、变换单元和各种划分信息)的定义与以上针对图9的视频编码设备100描述的术语的定义相同。
220.接收器210接收并解析编码视频的比特流。图像数据和编码信息提取器220从解析的比特流，针对每个编码单元提取编码的图像数据，并将提取的图像数据输出到图像数据解码器230，其中，编码单元具有根据每个最大编码单元的树结构。图像数据和编码信息提取器220可从关于当前画面的头、序列参数集或画面参数集提取关于当前画面的编码单元的最大尺寸的信息。
221.另外，图像数据和编码信息提取器220从解析的比特流，根据每个最大编码单元，提取关于具有树结构的编码单元的最终深度和划分信息。提取的最终深度和提取的划分信息被输出到图像数据解码器230。也就是说，比特流中的图像数据被划分为最大编码单元，使得图像数据解码器230针对每个最大编码单元对图像数据进行解码。
222.可针对一条或更多条深度信息设置根据每个最大编码单元的深度和划分信息，根据深度的划分信息可包括相应编码单元的分区模式信息、预测模式信息和变换单元的划分信息。另外，根据深度的划分信息可被提取作为深度信息。
223.由图像数据和编码信息提取器220提取的根据每个最大编码单元的深度和划分信息是这样的深度和划分信息：该深度和划分信息被确定为在编码器(诸如，视频编码设备100)根据每个最大编码单元对每个根据深度的较深层编码单元重复地执行编码时产生最小编码误差。因此，视频解码设备200可通过根据产生最小编码误差的编码方法对数据进行解码来重建图像。
224.由于关于深度和编码模式的编码信息可被分配给相应的编码单元、预测单元和最小单元中的预定数据单元，因此图像数据和编码信息提取器220可根据预定数据单元，提取深度和划分信息。如果相应最大编码单元的深度和划分信息根据每个预定数据单元被记录，则可将具有相同深度和划分信息的预定数据单元推断为是包括在同一最大编码单元中的数据单元。
225.图像数据解码器230通过基于根据每个最大编码单元的深度和划分信息对每个最大编码单元中的图像数据进行解码来重建当前画面。也就是说，图像数据解码器230可基于读取的关于包括在每个最大编码单元中的具有树结构的编码单元之中的每个编码单元的分区模式、预测模式和变换单元，对编码的图像数据进行解码。解码处理可包括预测处理(包含帧内预测和运动补偿)和逆变换处理。
226.图像数据解码器230可基于关于根据深度的编码单元的预测单元的分区类型和预测模式的信息，根据每个编码单元的分区和预测模式，执行帧内预测或运动补偿。
227.此外，为了对每个最大编码单元进行逆变换，图像数据解码器230可针对每个编码单元读取关于根据树结构的变换单元的信息，以基于每个编码单元的变换单元来执行逆变换。由于逆变换，因此可重建编码单元的空间域的像素值。
228.图像数据解码器230可通过使用根据深度的划分信息来确定当前最大编码单元的深度。如果划分信息指示图像数据在当前深度下不再被划分，则当前深度是深度。因此，图像数据解码器230可通过使用关于针对与当前深度相应的每个编码单元的预测单元的分区模式、预测模式和变换单元的尺寸的信息，对当前最大编码单元的图像数据进行解码。
229.也就是说，可通过观察被分配给编码单元、预测单元和最小单元中的预定数据单元的编码信息集来收集包含包括相同划分信息的编码信息的数据单元，并且收集的数据单元可被认为是将由图像数据解码器230以相同编码模式进行解码的一个数据单元。这样，可
通过获取关于针对每个编码单元的编码模式的信息来对当前编码单元进行解码。
230.为了通过对接收到的第一层图像流和接收到的第二层图像流进行解码来重建第一层图像和第二层图像，可包括与视点数相应的视频解码设备200。
231.当接收到第一层图像流时，视频解码设备200的图像数据解码器230可将由提取器220从第一层图像流提取的第一层图像的样点划分为最大编码单元的根据树结构的编码单元。图像数据解码器230可基于用于图像间预测的预测单元对第一层图像的样点的根据树结构的编码单元中的每个编码单元执行运动补偿，并且可重建第一层图像。
232.当接收到第二层图像流时，视频解码设备200的图像数据解码器230可将由提取器220从第二层图像流提取的第二层图像的样点划分为最大编码单元的根据树结构的编码单元。图像数据解码器230可基于用于图像间预测的预测单元来对第二层图像的样点的每个编码单元执行运动补偿，并且可重建第二层图像。
233.提取器220可从比特流获取与亮度误差相关的信息，以便对第一层图像与第二层图像之间的亮度差进行补偿。然而，可根据编码单元的编码模式来确定是否执行亮度补偿。例如，可仅对尺寸为2n
×
2n的预测单元执行亮度补偿。
234.因此，视频解码设备200可获取关于当对每个最大编码单元递归地执行编码时产生最小编码误差的至少一个编码单元的信息，并且可使用该信息来对当前画面进行解码。也就是说，可对每个最大编码单元中被确定为最佳编码单元的具有树结构的编码单元进行解码。
235.因此，即使图像具有高分辨率或具有过大的数据量，也可通过使用利用从编码终端接收到的最佳划分信息根据图像特征自适应地确定的编码单元的尺寸和编码模式，对图像进行有效地解码和重建。
236.图11示出根据各种实施例的编码单元的概念。在实施例中，在图11中，根据深度对编码单元进行划分的处理可以是视频解码设备10或视频编码设备15基于作为用于递归地对编码单元进行划分的的划分信息的第一划分信息按照深度顺序对编码单元进行划分的处理。当使用指示当前深度(深度n)的编码单元将被直接划分为低于更低深度(深度n 1)的深度(深度n 2、深度n 3
…
)的编码单元而不是被划分为更低深度(深度n 1)的编码单元的第二划分信息时，可与在图11中示出的处理不同地确定编码单元。
237.编码单元的尺寸可被表示为宽度
×
高度，并且可以是64
×
64、32
×
32、16
×
16和8
×
8。64
×
64的编码单元可被划分为64
×
64、64
×
32、32
×
64或32
×
32的分区，32
×
32的编码单元可被划分为32
×
32、32
×
16、16
×
32或16
×
16的分区，16
×
16的编码单元可被划分为16
×
16、16
×
8、8
×
16或8
×
8的分区，8
×
8的编码单元可被划分为8
×
8、8
×
4、4
×
8或4
×
4的分区。
238.在视频数据310中，分辨率为1920
×
1080，编码单元的最大尺寸为64，最大深度为2。在视频数据320中，分辨率为1920
×
1080，编码单元的最大尺寸为64，最大深度为3。在视频数据330中，分辨率为352
×
288，编码单元的最大尺寸为16，最大深度为1。图11中示出的最大深度表示从最大编码单元到最小编码单元的划分总次数。
239.如果分辨率高或数据量大，则编码单元的最大尺寸优选地可以大，从而不仅提高编码效率，而且准确地反映图像的特征。因此，具有比视频数据330更高的分辨率的视频数据310和320的编码单元的最大尺寸可被选为64。
240.由于视频数据310的最大深度是2，因此由于通过对最大编码单元划分两次，深度加深至两层，因此视频数据310的编码单元315可包括长轴尺寸为64的最大编码单元和长轴尺寸为32和16的编码单元。另一方面，由于视频数据330的最大深度是1，因此由于通过对最大编码单元划分一次，深度加深至一层，因此视频数据330的编码单元335可包括长轴尺寸为16的最大编码单元和长轴尺寸为8的编码单元。
241.由于视频数据320的最大深度是3，因此由于通过对最大编码单元划分三次，深度加深至3层，因此视频数据320的编码单元325可包括长轴尺寸为64的最大编码单元和长轴尺寸为32、16和8的编码单元。随着深度加深，可精确地表达详细信息。
242.图12是示出根据各种实施例的基于编码单元的图像编码器400的框图。
243.根据实施例的图像编码器400执行视频编码设备100的画面编码器120的操作以便对图像数据进行编码。也就是说，帧内预测器420在当前图像405中根据预测单元对帧内模式下的编码单元执行帧内预测，帧间预测器415根据预测单元通过使用当前图像405和从重建画面缓冲器410获取的参考图像对帧间模式下的编码单元执行帧间预测。可将当前图像405划分为最大编码单元，然后可顺序地对最大编码单元进行编码。对此，可对将被划分为具有树结构的编码单元的最大编码单元进行编码。
244.通过从将被编码的当前图像405的数据中减去从帧内预测器420或帧间预测器415输出的每个模式的编码单元的预测数据来产生残差数据，残差数据经由变换器425和量化器430针对每个变换单元被输出为量化的变换系数。量化的变换系数经由反量化器445和逆变换器450被重建为空间域中的残差数据。重建后的空间域中的残差数据与从帧内预测器420或帧间预测器415输出的每个模式的编码单元的预测数据相加，以便被重建为当前图像405的编码单元的空间域中的数据。重建后的空间域中的数据经由去块器455和sao执行器460被产生为重建图像。重建图像被存储在重建画面缓冲器410中。存储在重建画面缓冲器410中的重建图像可被用作用于对另一图像进行帧间预测的参考图像。由变换器425和量化器430量化的变换系数可经由熵编码器435被输出为比特流440。
245.为了将图像编码器400应用于视频编码设备100中，图像编码器400的所有元件(即，帧间预测器415、帧内预测器420、变换器425、量化器430、熵编码器435、反量化器445、逆变换器450、去块器455和sao执行器460)可根据每个最大编码单元基于具有树结构的编码单元中的每个编码单元执行操作。
246.具体地，帧内预测器420和帧间预测器415可通过考虑当前最大编码单元的最大尺寸和最大深度，确定具有树结构的编码单元中的每个编码单元的分区模式和预测模式，变换器425可确定是否在具有树结构的编码单元之中的每个编码单元中划分根据四叉树的变换单元。
247.图13示出根据各种实施例的基于编码单元的图像解码器500的框图。
248.熵解码器515从比特流505解析将被解码的编码图像数据和用于解码所需的编码信息。编码图像数据对应于量化的变换系数，并且反量化器520和逆变换器525从量化的变换系数重建残差数据。
249.帧内预测器540根据预测单元对帧内模式下的编码单元执行帧内预测。帧间预测器535通过针对当前图像中的帧间模式下的编码单元使用参考图像来执行帧间预测，其中，参考图像是由重建画面缓冲器530根据预测单元获得的。
250.经过帧内预测器540和帧间预测器535的关于每个模式的编码单元的预测数据和残差数据被求和，使得当前图像405的关于编码单元的空间域中的数据可被重建，重建的空间域中的数据可经由去块器545和sao执行器550被输出为重建图像560。另外，存储在重建画面缓冲器530中的重建图像可被输出为参考图像。
251.为了使视频解码设备200的图像数据解码器230对图像数据进行解码，可执行根据实施例的图像解码器500的熵解码器515之后的操作。
252.为了将图像解码器500应用于根据实施例的视频解码设备200中，图像解码器500的所有元件(即，熵解码器515、反量化器520、逆变换器525、帧内预测器540、帧间预测器535、去块器545和sao执行器550)可针对每个最大编码单元基于具有树结构的编码单元执行操作。
253.具体地，帧内预测器540和帧间预测器535可确定根据树结构的编码单元中的每个编码单元的分区模式和预测模式，逆变换器525可在每个编码单元中确定是否根据四叉树结构划分变换单元。
254.图12的编码操作和图13的解码操作分别详细描述了单个层中的视频流编码操作和视频流解码操作。因此，当由图2a的视频编码设备15对两个或更多个层的视频流进行编码时，视频编码设备15可以以视频流的层为单位被包括。
255.图14示出根据各种实施例的根据深度的编码单元和分区。
256.根据实施例的视频编码设备100和根据实施例的视频解码设备200使用分层编码单元以考虑图像的特征。可根据图像的特征自适应地确定编码单元的最大高度、最大宽度和最大深度，或可根据用户需求不同地设置编码单元的最大高度、最大宽度和最大深度。可根据编码单元的预定最大尺寸来确定根据深度的较深层编码单元的尺寸。
257.在根据实施例的编码单元的分层结构600中，编码单元的最大高度和最大宽度均是64，最大深度是3。在此情况下，最大深度表示编码单元从最大编码单元到最小编码单元被划分的总次数。由于深度沿着编码单元的分层结构600的垂直轴加深，因此较深层编码单元的高度和宽度均被划分。另外，预测单元和分区沿着编码单元的分层结构600的水平轴被示出，其中，所述预测单元和分区是对每个较深层编码单元进行预测编码的基础。
258.也就是说，在编码单元的分层结构600中，编码单元610是最大编码单元，其中，深度为0，尺寸(即，高度乘宽度)为64
×
64。深度沿着垂直轴加深，存在尺寸为32
×
32和深度为1的编码单元620、尺寸为16
×
16和深度为2的编码单元630、尺寸为8
×
8和深度为3的编码单元640。尺寸为8
×
8和深度为3的编码单元640是最小编码单元。
259.编码单元的预测单元和分区根据每个深度沿着水平轴被排列。换句话说，如果尺寸为64
×
64和深度为0的编码单元610是预测单元，则可将预测单元划分成包括在尺寸为64
×
64的编码单元610中的分区，即，尺寸为64
×
64的分区610、尺寸为64
×
32的分区612、尺寸为32
×
64的分区614或尺寸为32
×
32的分区616。
260.相同地，可将尺寸为32
×
32和深度为1的编码单元620的预测单元划分成包括在编码单元620中的分区，即，尺寸为32
×
32的分区620、尺寸为32
×
16的分区622、尺寸为16
×
32的分区624和尺寸为16
×
16的分区626。
261.相同地，可将尺寸为16
×
16和深度为2的编码单元630的预测单元划分成包括在编码单元630中的分区，即，包括在编码单元630中的尺寸为16
×
16的分区、尺寸为16
×
8的分
区632、尺寸为8
×
16的分区634和尺寸为8
×
8的分区636。
262.相同地，可将尺寸为8
×
8和深度为3的编码单元640的预测单元划分成包括在编码单元640中的分区，即，包括在编码单元640中的尺寸为8
×
8的分区640、尺寸为8
×
4的分区642、尺寸为4
×
8的分区644和尺寸为4
×
4的分区646。
263.为了确定最大编码单元610的深度，视频编码设备100的编码单元确定器120必须对包括在最大编码单元610中的分别与多个深度相应的多个编码单元执行编码。
264.随着深度加深，包括具有相同范围和相同尺寸的数据的根据深度的较深层编码单元的数量增加。例如，需要四个与深度2相应的编码单元来覆盖包括在与深度1相应的一个编码单元中的数据。因此，为了根据深度比较对相同数据进行编码的结果，必须通过使用与深度1相应的编码单元和四个与深度2相应的编码单元中的每一个对数据进行编码。
265.为了根据多个深度中的每个深度执行编码，可沿着编码单元的分层结构600的水平轴，通过对根据深度的编码单元的每个预测单元执行编码，来选择作为相应深度的代表性编码误差的最小编码误差。此外，可通过随着深度沿着编码单元的分层结构600的垂直轴加深针对每个深度执行编码来比较根据深度的代表性编码误差，以搜索最小编码误差。在最大编码单元610中的产生最小编码误差的深度和分区可被选为最大编码单元610的深度和分区模式。
266.图15示出根据各种实施例的在编码单元和变换单元之间的关系。
267.根据实施例的视频编码设备100或根据实施例的视频解码设备200针对每个最大编码单元，根据具有小于或等于最大编码单元的尺寸的编码单元，对图像进行编码或解码。可基于不大于相应编码单元的数据单元，来选择用于在编码处理期间进行变换的变换单元的尺寸。
268.例如，在视频编码设备100或视频解码设备200中，当编码单元710的尺寸是64
×
64时，可通过使用尺寸为32
×
32的变换单元720来执行变换。
269.此外，可通过对小于64
×
64的尺寸为32
×
32、16
×
16、8
×
8和4
×
4的变换单元中的每一个执行变换，来对尺寸为64
×
64的编码单元710的数据进行编码，然后可选择针对原始图像具有最小编码误差的变换单元。
270.图16示出根据各种实施例的多条编码信息。
271.根据实施例的视频编码设备100的输出单元130可对与深度相应的每个编码单元的分区模式信息800、预测模式信息810以及变换单元尺寸信息820进行编码，并将分区模式信息800、预测模式信息810以及变换单元尺寸信息820作为划分信息来发送。
272.分区模式信息800指示关于通过划分当前编码单元的预测单元而获得的分区的形状的信息，其中，分区是用于对当前编码单元进行预测编码的数据单元。例如，可将尺寸为2n
×
2n的当前编码单元cu_0划分成以下分区中的任意一个：尺寸为2n
×
2n的分区802、尺寸为2n
×
n的分区804、尺寸为n
×
2n的分区806和尺寸为n
×
n的分区808。在这种情况下，关于当前编码单元的分区模式信息800被设置为指示以下分区之一：尺寸为2n
×
2n的分区802、尺寸为2n
×
n的分区804、尺寸为n
×
2n的分区806和尺寸为n
×
n的分区808。
273.预测模式信息810指示每个分区的预测模式。例如，预测模式信息810可指示对由分区模式信息800指示的分区执行的预测编码的模式，即，帧内模式812、帧间模式814或跳过模式816。
274.变换单元尺寸信息820指示当对当前编码单元执行变换时所基于的变换单元。例如，变换单元可以是第一帧内变换单元822、第二帧内变换单元824、第一帧间变换单元826或第二帧间变换单元828中的一个。
275.视频解码设备200的图像数据和编码信息提取器220可针对每个较深层编码单元提取并使用分区模式信息800、预测模式信息810和变换单元尺寸信息820。
276.图17示出根据各种实施例的根据深度的较深层编码单元。
277.划分信息可用来表示深度的改变。划分信息指示当前深度的编码单元是否被划分成更低深度的编码单元。
278.用于对深度为0且尺寸为2n_0
×
2n_0的编码单元900进行预测编码的预测单元910可包括以下分区模式的分区：尺寸为2n_0
×
2n_0的分区模式912、尺寸为2n_0
×
n_0的分区模式914、尺寸为n_0
×
2n_0的分区模式916和尺寸为n_0
×
n_0的分区模式918。仅示出了通过对称地划分预测单元而获得的分区模式912、914、916和918，但如上所述，分区模式不限于此，并且分区模式可包括非对称分区、具有预定形状的分区和具有几何形状的分区。
279.根据每种分区模式，需要对尺寸为2n_0
×
2n_0的一个分区、尺寸为2n_0
×
n_0的两个分区、尺寸为n_0
×
2n_0的两个分区和尺寸为n_0
×
n_0的四个分区重复地执行预测编码。可对尺寸为2n_0
×
2n_0、n_0
×
2n_0、2n_0
×
n_0和n_0
×
n_0的分区执行帧内模式和帧间模式下的预测编码。仅对尺寸为2n_0
×
2n_0的分区执行跳过模式下的预测编码。
280.如果在尺寸为2n_0
×
2n_0、2n_0
×
n_0和n_0
×
2n_0的分区模式912、914和916中的一个分区模式中编码误差最小，则可不将预测单元910划分到更低深度。
281.如果在尺寸为n_0
×
n_0的分区模式918中编码误差最小，则深度从0改变到1并执行划分(操作920)，并对深度为2和尺寸为n_0
×
n_0的分区模式的编码单元930重复地执行编码以便搜索最小编码误差。
282.用于对深度为1且尺寸为2n_1
×
2n_1(＝n_0
×
n_0)的编码单元930进行预测编码的预测单元940可包括以下分区模式：尺寸为2n_1
×
2n_1的分区模式942、尺寸为2n_1
×
n_1的分区模式944、尺寸为n_1
×
2n_1的分区模式946以及尺寸为n_1
×
n_1的分区模式948。
283.如果在尺寸为n_1
×
n_1的分区模式948中编码误差最小，则深度从1改变到2并执行划分(在操作950)，并对深度为2且尺寸为n_2
×
n_2的编码单元960重复执行编码以便搜索最小编码误差。
284.当最大深度是d时，根据深度的较深层编码单元可被设置直到深度与d
‑
1相应时，并且划分信息可被设置直到深度与d
‑
2相应时。也就是说，当编码被执行直到在与d
‑
2的深度相应的编码单元被划分之后深度是d
‑
1(在操作970)时，用于对深度为d
‑
1且尺寸为2n_(d
‑
1)
×
2n_(d
‑
1)的编码单元980进行预测编码的预测单元990可包括以下分区模式的分区：尺寸为2n_(d
‑
1)
×
2n_(d
‑
1)的分区模式992、尺寸为2n_(d
‑
1)
×
n_(d
‑
1)的分区模式994、尺寸为n_(d
‑
1)
×
2n_(d
‑
1)的分区模式996和尺寸为n_(d
‑
1)
×
n_(d
‑
1)的分区模式998。
285.可对多个分区模式之中的尺寸为2n_(d
‑
1)
×
2n_(d
‑
1)的一个分区、尺寸为2n_(d
‑
1)
×
n_(d
‑
1)的两个分区、尺寸为n_(d
‑
1)
×
2n_(d
‑
1)的两个分区、尺寸为n_(d
‑
1)
×
n_(d
‑
1)的四个分区重复地执行预测编码，以便搜索产生最小编码误差的分区模式。
286.即使尺寸为n_(d
‑
1)
×
n_(d
‑
1)的分区模式998具有最小编码误差时，由于最大深
度是d，因此深度为d
‑
1的编码单元cu_(d
‑
1)也不再被划分到更低深度，构成当前最大编码单元900的编码单元的深度被确定为d
‑
1，并且当前最大编码单元900的分区模式可被确定为n_(d
‑
1)
×
n_(d
‑
1)。此外，由于最大深度是d，因此不设置用于与深度d
‑
1相应的编码单元952的划分信息。
287.数据单元999可以是用于当前最大编码单元的“最小单元”。根据实施例的最小单元可以是通过将具有最低深度的最小编码单元划分成4份而获得的正方形数据单元。通过重复地执行编码，根据实施例的视频编码设备100可通过比较根据编码单元900的深度的编码误差来选择产生最小编码误差的深度以确定深度，并可将相应分区类型和预测模式设置为该深度的编码模式。
288.这样，在所有深度0、1、
…
、d
‑
1、d中对根据深度的最小编码误差进行比较，并且具有最小编码误差的深度可被确定为深度。深度、预测单元的分区模式和预测模式可作为划分信息被编码并发送。另外，由于编码单元必须从0的深度被划分到深度，因此仅该深度的划分信息设置为“0”，并且将除了该深度以外的深度的划分信息设置为“1”。
289.根据实施例的视频解码设备200的图像数据和编码信息提取器220可提取并使用关于编码单元900的深度和预测单元信息，来对编码单元912进行解码。根据实施例的视频解码设备200可通过使用根据深度的划分信息，将划分信息为“0”的深度确定为深度，并且可使用关于相应深度的划分信息来进行解码。
290.图18、图19和图20示出根据各种实施例的在编码单元、预测单元和变换单元之间的关系。
291.编码单元1010是最大编码单元中的根据由视频编码设备100确定的深度的较深层编码单元。预测单元1060是根据深度的每个编码单元1010的预测单元的分区，变换单元1070是根据深度的每个编码单元的变换单元。
292.当在较深层编码单元1010中最大编码单元的深度是0时，编码单元1012和1054的深度是1，编码单元1014、1016、1018、1028、1050和1052的深度是2，编码单元1020、1022、1024、1026、1030、1032和1048的深度是3，编码单元1040、1042、1044和1046的深度是4。
293.可通过划分编码单元来获得在预测单元1060中的一些分区1014、1016、1022、1032、1048、1050、1052和1054。也就是说，分区1014、1022、1050和1054是尺寸为2n
×
n的分区模式，分区1016、1048和1052是尺寸为n
×
2n的分区模式，分区1032是尺寸为n
×
n的分区模式。较深层编码单元1010的预测单元和分区小于或等于每个编码单元。
294.按照小于编码单元1052的数据单元中的变换单元1070，对编码单元1052的图像数据执行变换或逆变换。另外，在尺寸和形状方面，变换单元1760中的编码单元1014、1016、1022、1032、1048、1050、1052和1054是不同于预测单元1060中的编码单元1014、1016、1022、1032、1048、1050、1052和1054的数据单元。也就是说，根据实施例的视频编码设备100和视频解码设备200可对同一编码单元中的单个数据单元执行帧内预测/运动估计/运动补偿/和变换/逆变换。
295.因此，对最大编码单元的每个区域中的具有分层结构的每个编码单元递归地执行编码来确定最优编码单元，从而可获得根据递归树结构的编码单元。编码信息可包括关于编码单元的划分信息、分区模式信息、预测模式信息和变换单元尺寸信息。下面的表1示出可由根据实施例的视频编码设备100和视频解码设备200设置的编码信息。
296.[表1]
[0297][0298]
根据实施例的视频编码设备100的输出单元130可输出关于具有树结构的编码单元的编码信息，根据实施例的视频解码设备200的图像数据和编码信息提取器220可从接收到的比特流提取关于具有树结构的编码单元的编码信息。
[0299]
划分信息指定是否将当前编码单元划分成更低深度的编码单元。如果当前深度d的划分信息是0，则当前编码单元不再被划分成更低深度的深度是深度，从而可针对该深度来定义分区模式信息、预测模式信息和变换单元尺寸信息。如果当前编码单元根据划分信息被进一步划分，则必须对更低深度的四个划分编码单元中的每一个独立地执行编码。
[0300]
预测模式可以是帧内模式、帧间模式和跳过模式中的一种。可在所有分区模式中定义帧内模式和帧间模式，仅在尺寸为2n
×
2n的分区模式中定义跳过模式。
[0301]
分区模式信息可指示通过对称地划分预测单元的高度或宽度而获得的尺寸为2n
×
2n、2n
×
n、n
×
2n和n
×
n的对称分区模式、以及通过非对称地划分预测单元的高度或宽度而获得的尺寸为2n
×
nu、2n
×
nd、nl
×
2n和nr
×
2n的非对称分区模式。可通过按1:3和3:1来划分预测单元的高度来分别获得尺寸为2n
×
nu和2n
×
nd的非对称分区模式，可通过按1:3和3:1来划分预测单元的宽度来分别获得尺寸为nl
×
2n和nr
×
2n的非对称分区模式。
[0302]
可将变换单元的尺寸设置成帧内模式下的两种类型和帧间模式下的两种类型。也就是说，如果变换单元的划分信息是0，则变换单元的尺寸可以是2n
×
2n，即当前编码单元的尺寸。如果变换单元的划分信息是1，则可通过对当前编码单元进行划分来获得变换单元。另外，如果尺寸为2n
×
2n的当前编码单元的分区模式是对称分区模式，则变换单元的尺寸可以是n
×
n，如果当前编码单元的分区模式是非对称分区模式，则变换单元的尺寸可以是n/2
×
n/2。
[0303]
根据实施例的关于具有树结构的编码单元的编码信息可被分配给与深度相应的编码单元、预测单元和最小单元中的至少一个。与深度相应的编码单元可包括包含相同编码信息的预测单元和最小单元中的至少一个。
[0304]
因此，通过比较邻近数据单元的编码信息来确定邻近数据单元是否被包括在与同一深度相应的编码单元中。另外，通过使用数据单元的编码信息来确定与深度相应的相应编码单元，并因此可推断出最大编码单元中的深度的分布。
[0305]
因此，如果基于邻近数据单元对当前编码单元进行预测，则可直接参考并使用与当前编码单元邻近的较深层编码单元中的数据单元的编码信息。
[0306]
在另一实施例中，如果基于邻近数据单元来对当前编码单元进行预测编码，则可以按照通过使用与当前编码单元邻近的较深层编码单元的编码信息在较深层编码单元中搜索与当前编码单元邻近的数据的方式来参考邻近数据单元。
[0307]
图21示出根据表1的编码模式信息的编码单元、预测单元和变换单元之间的关系。
[0308]
最大编码单元1300包括多个深度的编码单元1302、1304、1306、1312、1314、1316和1318。这里，由于编码单元1318是深度的编码单元，因此划分信息可被设置成0。可将尺寸为2n
×
2n的编码单元1318的分区模式信息设置成多个分区模式中的一种，其中，所述多个分区模式包括2n
×
2n 1322、2n
×
n 1324、n
×
2n 1326、n
×
n 1328、2n
×
nu 1332、2n
×
nd 1334、nl
×
2n 1336和nr
×
2n 1338。
[0309]
变换单元划分信息(tu尺寸标志)是一种类型的变换索引，与变换索引相应的变换单元的尺寸可根据编码单元的预测单元类型或分区模式而改变。
[0310]
例如，当分区模式信息被设置为对称分区模式2n
×
2n 1322、2n
×
n 1324、n
×
2n 1326和n
×
n 1328中的一种时，如果变换单元划分信息是0，则设置尺寸为2n
×
2n的变换单元1342，如果变换单元划分信息是1，则可设置尺寸为n
×
n的变换单元1344。
[0311]
当分区模式信息被设置成非对称分区模式2n
×
nu 1332、2n
×
nd 1334、nl
×
2n 1336和nr
×
2n 1338中的一种时，如果变换单元划分信息(tu尺寸标志)是0，则可设置尺寸为2n
×
2n的变换单元1352，如果变换单元划分信息是1，则可设置尺寸为n/2
×
n/2的变换单元1354。
[0312]
以上参照图21描述的变换单元划分信息(tu尺寸标志)是具有值0或1的标志，但是根据实施例的变换单元划分信息不限于具有1比特的标志，并且变换单元可在变换单元划分信息根据设置按照0、1、2、3
…
等的方式增加时被分层划分。变换单元划分信息可以是变换索引的示例。
[0313]
在这种情况下，可通过使用根据实施例的变换单元划分信息以及变换单元的最大尺寸和变换单元的最小尺寸来表示实际上已使用的变换单元的尺寸。根据实施例的视频编码设备100可对最大变换单元尺寸信息、最小变换单元尺寸信息和最大变换单元划分信息进行编码。对最大变换单元尺寸信息、最小变换单元尺寸信息和最大变换单元划分信息进行编码的结果可被插入到sps。根据实施例的视频解码设备200可通过使用最大变换单元尺寸信息、最小变换单元尺寸信息和最大变换单元划分信息来对视频进行解码。
[0314]
例如，(a)如果当前编码单元的尺寸是64
×
64并且最大变换单元尺寸是32
×
32，则(a
‑
1)当tu尺寸标志为0时，变换单元的尺寸可以是32
×
32，(a
‑
2)当tu尺寸标志为1时，变换单元的尺寸可以是16
×
16，(a
‑
3)当tu尺寸标志为2时，变换单元的尺寸可以是8
×
8。
[0315]
作为另一示例，(b)如果当前编码单元的尺寸是32
×
32并且最小变换单元尺寸是32
×
32，则(b
‑
1)当tu尺寸标志为0时，变换单元的尺寸可以是32
×
32。这里，由于变换单元的尺寸不能够小于32
×
32，因此tu尺寸标志不能够被设置为除了0以外的值。
[0316]
作为另一示例，(c)如果当前编码单元的尺寸是64
×
64并且最大tu尺寸标志为1，则tu尺寸标志可以是0或1。这里，tu尺寸标志不能够被设置为除了0或1以外的值。
[0317]
因此，如果定义最大tu尺寸标志为“maxtransformsizeindex”，最小变换单元尺寸为“mintransformsize”，当tu尺寸标志为0时的变换单元尺寸为“roottusize”，则可通过等式(1)来定义可在当前编码单元中确定的当前最小变换单元尺寸“currmintusize”：
[0318]
currmintusize＝max(mintransformsize,roottusize/(2^maxtransformsizeindex))
[0319]
…
(1)
[0320]
与可在当前编码单元中确定的当前最小变换单元尺寸“currmintusize”相比，当tu尺寸标志为0时的变换单元尺寸“roottusize”可指示可在系统中选择的最大变换单元尺寸。也就是说，在等式(1)中，“roottusize/(2^maxtransformsizeindex)”指示当tu尺寸标志为0时，变换单元尺寸“roottusize”被划分了与最大tu尺寸标志相应的次数时的变换单元尺寸，“mintransformsize”指示最小变换尺寸。因此，“roottusize/(2^maxtransformsizeindex)”和“mintransformsize”中较小的值可以是可在当前编码单元中确定的当前最小变换单元尺寸“currmintusize”。
[0321]
根据实施例，最大变换单元尺寸roottusize可根据预测模式的类型而改变。
[0322]
例如，如果当前预测模式是帧间模式，则可通过使用以下的等式(2)来确定“roottusize”。在等式(2)中，“maxtransformsize”指示最大变换单元尺寸，“pusize”指示当前预测单元尺寸。
[0323]
roottusize＝min(maxtransformsize,pusize)
……
(2)
[0324]
也就是说，如果当前预测模式是帧间模式，则当tu尺寸标志为0时的变换单元尺寸“roottusize”可以是最大变换单元尺寸和当前预测单元尺寸中较小的值。
[0325]
如果当前分区单元的预测模式是帧内模式，则可通过使用以下的等式(3)来确定“roottusize”。“partitionsize”指示当前分区单元的尺寸：
[0326]
roottusize＝min(maxtransformsize,partitionsize)
……
(3)
[0327]
也就是说，如果当前预测模式是帧内模式，则当tu尺寸标志为0时的变换单元尺寸“roottusize”可以是最大变换单元尺寸和当前分区单元的尺寸之中较小的值。
[0328]
然而，根据分区单元中的预测模式的类型而改变的当前最大变换单元尺寸“roottusize”仅是实施例，并且用于确定当前最大变换单元尺寸的因素不限于此。
[0329]
根据基于以上参照图9至图21描述的树结构的编码单元的视频编码方法，空间域的图像数据可在树结构的每个编码单元中被编码，根据基于树结构的编码单元的视频解码方法，按照对每个最大编码单元执行解码的方式来重建空间域的图像数据，使得由画面和画面序列形成的视频可被重建。重建的视频可由再现设备来再现，可存储在存储介质中，或可通过网络来发送。
[0330]
一个或更多个实施例可被编写为计算机程序，并且可以以通过使用非暂时性计算机可读记录介质执行程序的通用数字计算机来实现。非暂时性计算机可读记录介质的示例包括磁存储介质(例如，rom、软盘、硬盘等)和光学记录介质(例如，cd
‑
rom或dvd)等。
[0331]
虽然已经参照本公开的实施例具体示出和描述了本公开，但是本领域的普通技术人员将理解，在不脱离权利要求的精神和范围的情况下，可作出形式和细节上的各种改变。
实施例应仅被认为是说明性意义，而不是为了限制的目的。因此，本公开的范围不由本公开的详细说明来限定，而由权利要求来限定，该范围内的所有差异将被解释为被包括在本公开中。