图像编码方法和图像解码方法与流程

1.本发明涉及对图像进行编码的图像编码技术或对图像进行解码的图像解码技术。


背景技术：

2.作为使图像、声音信息数字数据化并记录、传输的方法，以往制定了h.264/avc(advanced video coding)和h.265/hevc(high efficiency video coding)标准等。iso/iec mpeg和itu-t vceg正在进行实现进一步超过它们的压缩率的称为vvc(versatile video coding)的下一代方式的研究(参考非专利文献1)。
3.现有技术文献
4.非专利文献
5.非专利文献1：xiaozhong xu and shan liu,“recent advances in video coding beyond the hevc standard”sip(2019),vol.8


技术实现要素：

6.发明要解决的课题
7.作为vvc的技术候选之一，对于使用将关于同一编码/解码对象块的帧间预测图像与帧内预测图像合成得到的预测图像进行了研究。
8.但是，仅使用将帧间预测图像与帧内预测图像单纯平均合成得到的预测图像，码量的减少并不充分。
9.本发明是鉴于上述课题得出的，本发明的目的在于提供一种更优选的图像编码技术、图像解码技术。
10.用于解决课题的技术方案
11.为了达成上述目的，本发明的一个实施方式例如构成为以下所述即可：包括：预测图像生成步骤，对编码对象块进行将帧间预测的预测图像与帧内预测的预测图像合成的合成处理来生成合成预测的预测图像；和编码步骤，对所述预测图像生成步骤中生成的预测图像与所述编码对象块的图像的像素值之间的差进行编码，在所述合成处理中，对所述帧间预测的预测图像和所述帧内预测的预测图像进行加权处理，与所述帧内预测的种类相应地决定所述加权处理中的所述帧内预测的预测图像的加权参数。
12.发明效果
13.根据本发明，能够提供一种更优选的图像编码技术、图像解码技术。
附图说明
14.图1是本发明的实施例1的图像编码装置的一例的说明图。
15.图2是本发明的实施例2的图像解码装置的一例的说明图。
16.图3是本发明的实施例1的图像编码方法的一例的说明图。
17.图4是本发明的实施例2的图像解码方法的一例的说明图。
18.图5是本发明的实施例3的数据记录介质的一例的说明图。
19.图6是本发明的一个实施例的帧内预测的种类的一例的说明图。
20.图7是本发明的一个实施例的平面预测的一例的说明图。
21.图8是本发明的一个实施例的合成预测的处理的一例的说明图。
具体实施方式
22.以下，参考附图说明本发明的实施例。
23.另外，各附图中，附加了同一附图标记的构成要素具有相同功能。
24.本说明书的各记载和各附图中的“0vec”或“0矢量”表示各成分的值是0的矢量，或者变换、设定为这样的矢量。
25.另外，本说明书的各记载和各附图中的“不可参照”表示因为块位置位于画面的范围外等而不能取得块的信息。“可参照”指的是能够取得块的信息，块的信息中包括像素值、矢量、参照帧编号、和/或预测模式等信息。
26.另外，本说明书的各记载和各附图中的“残差成分”这一表达也包括与“预测误差”同样的含义。
27.另外，本说明书的各记载和各附图中的“区域”这一表达也包括与“图像”同样的含义。
28.另外，本说明书的各记载和各附图中的“与标志一起传输”这一表达也包括“包括在标志中地传输”这样的含义。
29.(实施例1)
30.首先，对于本发明的实施例1参考附图进行说明。
31.在图1中示出本发明的实施例的图像编码装置的框图的一例。
32.图像编码装置例如具有图像输入部101、块分割部102、模式管理部103、帧内预测部104、帧间预测部105、合成预测部120、块处理部106、变换/量化部107、逆量化/逆变换部108、图像合成/滤波部109、编码图像管理部110、熵编码部111、数据输出部112。
33.以下详细说明图像编码装置的各构成要素的动作。
34.其中，图像编码装置的各构成要素的动作，例如可以如下所述地视为各构成要素的自主的动作。另外，例如也可以通过控制部和存储部存储的软件协作而实现。
35.首先，图像输入部101取得并输入作为编码对象的原图像。接着，块分割部102将所输入的原图像分割为被称为ctu(coding tree unit)的一定尺寸的块，进而对输入的图像进行分析，由此将各ctu与其特征相应地分割为更详细的块。这些作为编码的单位的块被称为cu(coding unit)。ctu向cu的分割，被四叉树(quadtree)、三叉树(ternary tree)、二叉树(binary tree)等树结构管理。也可以将cu的内部进一步分割为用于预测的子块和用于频率变换、量化等的tu(transform unit)。
36.模式管理部103管理决定各cu的编码的方法的模式。使用多种帧内预测方式、帧间预测方式、合成预测方式进行编码处理，决定对该cu进行编码效率最高的模式。效率最高的模式，指的是相对于一定的码量能够使编码误差最小的模式。存在有多个最优的模式的情况，与状况相应地适当选择即可。哪个模式效率高的判断，是将帧内预测部104、帧间预测部105或合成预测部120进行的多个模式的预测处理、以及利用其它处理部进行的残差成分和
各种标志的码量计测、以及解码时的再现图像误差预测组合进行的。一般而言，模式按cu单位决定，但也可以将cu分割为子块，对其分别决定模式。
37.关于编码对象块(cu或子块)的预测方法，有帧内(intra)预测、帧间(inter)预测和将帧内预测与帧间预测组合而成的合成预测，它们分别由帧内预测部104、帧间预测部105、合成预测部120进行。帧内预测使用在编码对象块之前进行编码的同一帧的信息，帧间预测使用在编码对象帧之前进行编码的、再现时间上之前或之后的帧的信息。此处，关于帧内预测部104、帧间预测部105和合成预测部120，为了说明而仅记载了1个，但也可以对于每个编码模式、每个帧分别具备。
38.帧内预测部104进行画面内预测处理。另外，在“预测处理”中，进行预测图像的生成。画面内预测处理使用在编码对象块之前进行了编码的同一帧的信息来预测编码对象块的像素。帧内预测中，包括dc预测、角度预测、平面预测、矩阵预测、跨分量预测、多线预测、画面内块复制等。关于帧内预测模式的传输，根据已编码块的帧内预测模式进行可能性最高的模式的推定等。
39.帧间预测部105进行画面间预测处理。另外，在“预测处理”中进行预测图像的生成。画面间预测处理使用在编码对象帧之前进行了编码的、再现时间上之前或之后的帧的信息来预测编码对象块的像素。帧间预测中，包括运动补偿预测、合并模式预测、基于仿射变换的预测、基于三角形块分割的预测、光流预测、基于解码器方运动预测的预测等。
40.合成预测部120进行生成将帧内预测得到的预测图像与帧间预测得到的预测图像合成得到的合成预测图像的合成预测。关于合成预测部120中使用的帧内预测得到的预测图像，使用上述帧内预测部104可进行的各种画面内预测处理的预测图像即可。关于合成预测部120中使用的帧间预测得到的预测图像，使用上述帧间预测部105可进行的各种画面内预测处理的预测图像即可。合成方法的详情在后文中叙述。
41.块处理部106对于各编码对象块，求出帧内预测部104通过帧内预测而生成的预测图像、帧间预测部105通过帧间预测而生成的预测图像、或合成预测部120通过合成预测生成的预测图像、与从块分割部102得到的编码对象块的原图像之间的差(差分)并计算残差成分并输出。
42.变换/量化部107对于从块处理部106输入的残差成分进行频率变换和量化处理，输出系数组。频率变换使用dct(discrete cosine transform)、dst(discrete sine transform)、或将它们变换为能够用整数运算处理的形式等即可。系数组被发送至为了生成用于预测的解码图像而还原图像的过程、和输出数据用的过程双方。变换和量化也可以根据模式的指定而跳过。
43.逆量化/逆变换部108为了生成将从变换/量化部107取得的系数组用于预测的解码图像而进行逆量化和逆变换，输出还原得到的残差成分。逆量化、逆变换分别进行与变换/量化部的量化、变换对应的相反方向的处理即可。逆量化和逆变换也可以根据模式的指定而跳过。
44.图像合成/滤波部109将由帧内预测部104生成的预测图像、由帧间预测部105生成的预测图像、或由合成预测部120生成的预测图像、与用逆量化/逆变换部108还原的残差成分合成，进而进行环路滤波等处理而生成解码图像。
45.解码图像管理部110保持解码图像，管理为了帧内预测、帧间预测或合成预测而参
照的图像、模式的信息等。
46.熵编码部111对模式的信息和系数组的信息进行熵编码处理并作为比特串输出。作为熵编码方式，使用cabac(context adaptive binary arithmetic code)等方式即可。可以组合使用可变长度编码、固定长度编码。上下文的判断中参照规定的表即可。
47.数据输出部112对记录介质和传输通路输出编码后的数据。
48.接着，使用图3对于本发明的实施例1的图像编码装置中的编码方法的流程进行说明。
49.首先，在步骤301中输入作为编码对象的原图像，分析图像的内容而决定分割方法，并分割为块。图像内容的分析可以按图像整体进行，也可以组合多帧进行，也可以按将图像分割得到的切片(slice)或图块(tile)、砖块(brick)、ctu等各块单位进行。块的分割一般是分割为一定尺寸的ctu之后，用树结构分割为cu。
50.接着，在步骤302中，对步骤301中取得的原图像的编码对象块进行帧内预测。帧内预测模式如上所述。按各帧内预测模式对于多个模式进行预测。
51.接着，在步骤303中，对于步骤301中取得的原图像的编码对象块进行帧间预测。帧间预测模式如上所述。按各帧间预测模式对于多个模式进行预测。
52.接着，在步骤320中，对于步骤301中取得的原图像的编码对象块进行合成预测。合成预测模式的详情在后文中叙述。
53.接着，在步骤304中，与各模式对应地，对于帧内预测、帧间预测、合成预测后的编码对象块的图像分离出残差成分，进行残差成分的变换处理和量化处理、熵编码处理，计算出编码数据。
54.接着，在步骤305中，与各模式对应地，进行逆量化、逆变换处理，将残差成分与预测图像合成，由此进行解码图像的生成。对于解码图像，与帧内预测和帧间预测中的预测数据和各种编码数据一同管理，用于其它编码对象块的预测。
55.接着，在步骤306中，对各模式进行比较，决定能够效率最高地进行编码的模式。模式中存在帧内预测模式、帧间预测模式、合成预测模式等，将其总称为编码模式。模式选择方法如上所述。
56.在步骤307中，按照所决定的编码模式，输出编码对象块的编码数据。对于图像整体反复进行上述各编码对象块的编码过程，进行图像的编码。
57.接着，对于本实施例的合成预测模式进行说明。其中，关于基于该合成预测模式的预测图像生成处理，在编码方、解码方进行相同的处理。从而，关于本实施例的合成预测模式的以下说明中，只要没有特别声明，就在编码方和解码方进行相同的处理。
58.本实施例的合成预测模式通过对帧内预测得到的帧内预测图像与帧间预测得到的帧间预测图像进行加权平均，而生成合成预测得到的预测图像。具体而言，设帧间预测像素为pinter、帧内预测像素为pintra，用以下式1计算出预测图像的各预测像素pcom(以下称为合成预测像素)。
59.pcom＝(w*pintra (4
–
w)*pinter)/4
……
式1
60.即，式1的处理是使用加权参数w的、帧间预测像素与帧内预测像素的加权平均处理。另外，该处理也可以表达为加权相加。
61.关于本实施例的合成预测模式中使用的帧间预测图像，可以将上述帧间预测模式
中可以使用的全部帧间预测得到的预测图像作为候选。另外，也可以在上述帧间预测模式中，仅将合并模式得到的预测图像作为对象。
62.关于本实施例的合成预测模式中使用的帧内预测图像，可以将上述帧内预测模式中可以使用的全部帧内预测得到的预测图像作为候选。另外，也可以在上述帧内预测模式中，仅将角度预测、dc预测、平面预测得到的预测图像作为对象。
63.此处，本实施例的合成预测模式中，与生成合成预测模式中使用的帧内预测图像的帧内预测的种类相应地决定用于计算合成预测像素的加权参数w。即，与不同的帧内预测各自的特征相应地，变更帧内预测图像与帧间预测图像的加权平均中的、帧内预测图像的权重，由此实现更优选的预测图像的生成。
64.以下，说明本实施例的合成预测模式中的加权参数w的决定处理的具体例。
65.首先，对于本实施例的合成预测模式中使用的帧内预测图像的生成中使用的候选中包括的帧内预测、即角度预测、dc预测、平面预测，使用图6和图7进行说明。
66.在图6中示出角度预测的预测方向。角度预测是对于预测对象像素、分别参照用图示的各预测方向指示的相邻像素进行预测的预测方法。该预测是单方向预测，也能够进行将相邻像素值向各预测方向的相反方向复制的预测。各预测方向能够用编号识别，例如像图示的预测方向2～66这样设定。本图中，示出了作为代表性的预测方向的2(左下方向)、18(左水平方向(水平方向))、34(左上方向)、50(上方向(垂直方向))、66(右上方向)。本图中，为了使说明简化而省略了其他预测方向的记载，但从预测方向2直到预测方向66地，随着预测方向编号增加地在顺时针的旋转方向上定义预测方向。角度预测是基于相邻像素值的单方向预测。
67.因此，具有对于条形图案等图案在规定方向上延伸的图像能够减小预测残差的倾向。预测残差减小则压缩率提高。在编码方选择角度预测时，是对用角度预测中预测残差减小的图像进行编码时，这是图案在规定方向上延伸的图像的可能性高。这样，在编码方对于编码对象块选择角度预测时，对于相邻的块也采用使用与编码对象块相同的预测方向或者与编码对象块的预测方向相近的预测方向的角度预测的可能性高。这是因为只要图案在规定方向上延伸的图像中的图案的延伸持续，与编码对象块相同的预测方向或者与编码对象块的预测方向相近的预测方向的角度预测中预测残差减小的可能性就高。这也能够表达为预测精度高的可能性高。
68.该情况下，相邻的多个块中，反复选择相同的预测方向的角度预测或者与该方向相近的预测方向的角度预测的可能性高。即，也可以认为角度预测是与相邻块的预测方法的近似性比较高的帧内预测。另外，“与编码对象块的预测方向相近的预测方向”具体而言可以定义为预测方向的编号是编码对象块的预测方向的编号的
±
1的预测方向。或者，具体而言也可以定义为预测方向的编号是编码对象块的预测方向的编号的
±
2的预测方向。
69.另外，在图6中，进而示出了dc预测的编号是1。dc预测是生成仅与频域的dc成分相当的预测图像的预测方法。即，dc预测的预测图像内的像素值全部是恒定值。dc预测是不基于相邻像素值的预测方法。但是，具有在dc预测中能够减小预测残差的倾向的图像是一定亮度较广范围地扩展的平面的图案等。这样，在编码方对于编码对象块选择dc预测时，对于相邻的块也采用与编码对象块相同的dc预测的可能性高。这是因为只要一定亮度的平面的图案在周围方向上相连，相同的dc预测中预测残差减小的可能性就高。
70.这也能够表达为预测精度高的可能性高。该情况下，相邻的多个块中，反复选择相同的dc预测的可能性高。即，虽然dc预测是不基于相邻像素值的预测方法，但可以认为是与相邻块的预测方法的近似性比较高的帧内预测。
71.另外，在图6中，进而示出了平面预测的编号是0。在图7中示出平面预测的具体的预测方法。平面预测中，使用编码对象块的右上相邻像素(处理710)，在编码对象块的右侧边界生成参考像素(处理711)。接着，通过使用该右侧参考像素和与该右侧参考像素相对的左侧相邻像素的线性插值生成各预测像素来生成第一预测图像(图7(a))(处理712)。
72.另外，使用编码对象块的左下相邻像素(处理720)，在编码对象块的下侧边界生成参考像素(处理721)。接着，通过使用该下侧参考像素和与该下侧参考像素对向的上侧相邻像素的线性插值生成各预测像素来生成第二预测图像(图7(b))(处理722)。然后，对这样生成的第一预测图像(图7(a))与第二预测图像(图7(b))求平均而生成最终预测图像。平面预测是这样通过对用线性插值生成的第一预测图像(图7(a))与第二预测图像(图7(b))求平均而生成非线性曲面的预测图像这一点上具有特征的帧内预测。
73.平面预测是基于相邻像素值的预测。但是，因为平面预测中生成的预测图像是特征性的非线性曲面，所以与相邻块的预测方法的近似性并不高。如上所述，角度预测和dc预测中预测残差减小的情况下，反复进行与相邻块相同的预测方法的可能性高。与此相对，需要使平面预测的预测图像的特征性的非线性曲面反复的图案的图像并不多。
74.因此，平面预测可以认为是与相邻块的预测方法的近似性比较低的帧内预测。另外，在编码方对于编码对象块选择平面预测时，是角度预测和dc预测中预测残差未充分减小的图像的可能性高。角度预测和dc预测中预测残差未充分减小的图像不是单纯的图案的可能性高，所以对于角度预测和dc预测中预测残差不减小的图像的平面预测得到的预测残差，与角度预测和dc预测中预测残差减小时的预测残差相比更大的可能性高。这也可以表达为预测精度低的可能性高。
75.如使用图6和图7所说明，本实施例的合成预测模式中能够使用的角度预测、dc预测、平面预测是分别具有不同的特征的帧内预测。于是，本实施例的合成预测模式中，关注这样的帧内预测的每个种类的特征，进行与帧内预测的种类相应地决定式1的加权参数w的值的控制。使用图8说明本实施例的合成预测模式中的w决定处理。
76.图8表示本实施例的合成预测模式中的w决定例。在图8中，示出了w决定例1、w决定例2、w决定例3这3个例子。它们是分别不同的决定方法的例子。各决定方法中，分别按每个条件从1、2、3中决定w的值。式1中，w的值越大，则合成预测模式中的帧内预测的加权越大。反之，式1中，w的值越小，则合成预测模式中的帧内预测的加权越小。以下对于这些决定例进行说明。
77.w决定例1中，合成预测模式中使用的帧内预测是平面预测的情况下决定为w＝1。合成预测模式中使用的帧内预测是角度预测且预测方向是水平方向(18)或垂直方向(50)的情况下决定为w＝3。合成预测模式中使用的帧内预测是角度预测且预测方向是2～17或51～66的情况下决定为w＝3。合成预测模式中使用的帧内预测是角度预测且预测方向是19～49的情况下决定为w＝3。合成预测模式中使用的帧内预测是dc预测的情况下决定为w＝3。
78.即，w决定例1中，决定方法是使与相邻块的预测方法的近似性比较低的帧内预测
即平面预测与角度预测和dc预测相比取更小的w的值。也能够表达为因为平面预测的预测图像是特征性的非线性曲面，预测精度低的可能性高，所以优选使其取合成预测模式中最小的加权。
79.与此相对，w决定例1中，关于与相邻块的预测方法的近似性比较高的帧内预测即角度预测，在任意的预测方向上，都选择比平面预测时的w的值更大的w的值即3。决定方法是使与相邻块的预测方法的近似性比较高的帧内预测即角度预测与平面预测相比取更大的w的值。也能够表达为因为角度预测的预测图像是简单的单方向预测面，预测精度高的可能性高，所以优选使其在合成预测模式中取比较大的加权。
80.另外，w决定例1中，关于与相邻块的预测方法的近似性比较高的帧内预测即dc预测，选择比平面预测时的w的值更大的w的值即3。决定方法是使与相邻块的预测方法的近似性比较高的帧内预测即dc预测与平面预测相比取更大的w的值。也可以表达为因为dc预测的预测图像是简单的恒定值平面，预测精度高的可能性高，所以优选使其在合成预测模式中取比较大的加权。
81.这样，w决定例1与帧内预测的种类相应地决定w的值。此时，设定为平面预测是最小的值。另外，在角度预测中，设定为对于任意预测方向w的值都是恒定的。即，w决定例1中，w的值并不与角度预测的预测方向相应地变化。
82.接着，w决定例2中，合成预测模式中使用的帧内预测是平面预测的情况下决定为w＝1。合成预测模式中使用的帧内预测是角度预测且预测方向是水平方向(18)或垂直方向(50)的情况下决定为w＝2。合成预测模式中使用的帧内预测是角度预测且预测方向是2～17或51～66的情况下决定为w＝3。合成预测模式中使用的帧内预测是角度预测且预测方向是19～49的情况下决定为w＝3。合成预测模式中使用的帧内预测是dc预测的情况下决定为w＝3。
83.即，w决定例2中，决定方法与w决定例1同样是使与相邻块的预测方法的近似性比较低的帧内预测即平面预测与角度预测和dc预测相比取更小的w的值。理由与w决定例1同样。w决定例2中，与相邻块的预测方法的近似性比较高的帧内预测即角度预测中，在任意预测方向上，都选择比平面预测时的w的值更大的w的值即2或3。决定方法是使与相邻块的预测方法的近似性比较高的帧内预测即角度预测与平面预测相比取更大的w的值。
84.也能够表达为因为角度预测的预测图像是简单的单方向预测面，预测精度高的可能性高，所以优选使其在合成预测模式中取比较大的加权。但是，w决定例2中，与w决定例1不同，即使同样是角度预测，也与预测方向相应地改变w的值。
85.具体而言，预测方向是水平方向(18)或垂直方向(50)的情况下使w＝2，与角度预测中的其他预测方向的w＝3相比设定为更低的加权。这是因为水平方向(18)的预测方向时参照像素仅有左侧相邻块的像素，与相邻块的预测方向的近似性仅限定于左侧相邻块的可能性高，认为综合的与相邻块的预测方向的近似性与其他预测方向相比更低。
86.另外，同样地，因为垂直方向(50)的预测方向时参照像素仅有上侧相邻块的像素，与相邻块的预测方向的近似性仅限定于上侧相邻块的可能性高，认为综合的与相邻块的预测方向的近似性与其他预测方向相比更低。另外，w决定例2中，与w决定例1同样地，关于与相邻块的预测方向的近似性比较高的帧内预测即dc预测，选择比平面预测时的w的值更大的w的值即3。理由与w决定例1同样。
87.这样，w决定例2与帧内预测的种类相应地决定w的值。另外，帧内预测是角度预测的情况下，也考虑预测方向地决定w的值。另外，设定为平面预测取最小的值。
88.w决定例3相对于w决定例2，在合成预测模式中使用的帧内预测是角度预测且预测方向2～17或51～66的情况下决定为w＝2这一点上不同，其他方面是共通的。角度预测且预测方向2～17或51～66的情况下，预测方向的角度不是完全的水平方向或完全的垂直方向，所以认为与上侧相邻块和左侧相邻块中的任意一方都存在预测方法的近似性。
89.但是，参照像素中包括的像素，是上侧相邻块的像素或左侧相邻块的像素中的任一者。预测方向2～17或51～66的情况下，与参照像素中包括上侧相邻块的像素和左侧相邻块的像素双方的预测方向19～49相比，存在综合的与相邻块的预测方法的近似性更低的可能性。于是，w决定例3中，预测方向2～17或51～66的情况下，决定为w＝2，使其与预测方向19～49的情况相比加权更小。
90.根据以上说明的图8的合成预测模式中的w的决定例，能够与合成预测模式中使用的帧内预测的每个种类的特征相应地，更适当地决定帧内预测图像与帧间预测图像的合成中的帧内预测图像的加权。
91.如以上所说明地，进行本技术的一个实施例中的编码处理。
92.根据以上说明的实施例1的图像编码装置和图像编码方法，能够实现更优选的合成预测模式。
93.另外，实施例1的图像编码装置和图像编码方法能够应用于使用它们的记录装置、移动电话、数码相机等。
94.根据以上说明的本发明的实施例1的图像编码装置和图像编码方法，能够减少编码数据的码量，防止对该编码数据进行解码的情况下的解码图像的画质劣化。即，能够实现高压缩率和更好的画质。
95.即，根据本发明的实施例1的图像编码装置和图像编码方法，能够提供一种更优选的图像编码技术。
96.(实施例2)
97.接着，在图2中示出本发明的实施例2的图像解码装置的框图的一例。
98.图像解码装置例如包括流分析部201、块管理部202、模式判断部203、帧内预测部204、帧间预测部205、合成预测部220、系数分析部206、逆量化/逆变换部207、图像合成/滤波部208、解码图像管理部209、图像输出部210。
99.以下详细说明图像解码装置的各构成要素的动作。
100.其中，图像解码装置的各构成要素的动作，例如可以如下所述地视为各构成要素的自主的动作。另外，例如也可以通过控制部和存储部存储的软件协作而实现。
101.首先，流分析部201分析输入的编码流。此处，流分析部201也进行从分组提取数据的处理和各种头、标志的信息取得处理。
102.另外，此时，对流分析部201输入的编码流，例如是由实施例1的图像编码装置和图像编码方法生成的编码流。其生成方法如实施例1所示，所以省略说明。也可以是从实施例3所示的数据记录介质读取的编码流。其记录方法在后文中叙述。
103.接着，块管理部202按照由流分析部201分析得到的块分割的信息管理块的处理。一般而言编码后的图像被分割为块，各编码对象块被树结构等管理。关于块的处理顺序，大
多按光栅扫描顺序进行，但按锯齿扫描等任意决定的顺序处理即可。块的分割方法如实施例1所述。
104.接着，模式判断部203对于各编码对象块，进行由标志等指定的编码模式的判别。以下解码处理进行与该判别结果的编码模式对应的处理。以下说明关于各编码模式的处理。
105.首先，编码模式是帧内编码的情况下，帧内预测部204进行基于帧内预测的预测图像的生成。帧内预测模式如实施例1所述。基于预测的预测图像的生成处理原则上在编码方和解码方是相同的处理。
106.编码模式是基于帧间预测的编码的情况下，帧间预测部205进行基于帧间预测的预测图像的生成。帧间预测模式如实施例1所述。基于预测的预测图像的生成处理原则上在编码方和解码方是相同的处理。
107.编码模式是基于合成预测的编码的情况下，合成预测部220进行基于合成预测的预测图像的生成。合成预测模式如实施例1所述。基于预测的预测图像的生成处理原则上在编码方和解码方是相同的处理。
108.另一方面，系数分析部206分析输入编码流中包括的各编码对象块的编码数据，进行熵编码后的数据的解码，输出包括残差成分的系数组的编码数据。此时，进行与模式判别部203的判别结果的编码模式对应的处理。
109.逆量化/逆变换部207对包括残差成分的系数组的编码数据进行逆量化处理和逆变换，还原得到残差成分。逆量化、逆变换的方法如上所述。逆量化和逆变换也可以根据模式的指定而跳过。
110.如上所述还原得到的残差成分，被图像合成/滤波部208与从帧内预测部204、帧间预测部205或合成预测部220输出的预测图像合成，进而进行环路滤波等处理而作为解码图像输出。
111.解码图像管理部209保持解码图像，管理为了帧内预测、帧间预测或合成预测而参照的图像、模式的信息等。
112.最后解码得到的图像被图像输出部210输出，进行图像的解码。
113.接着，使用图4对于本发明的实施例2的图像解码装置中的图像解码方法的流程进行说明。
114.首先，在步骤401中，取得作为解码对象的编码流，进行数据的分析。另外，按照分析得到的块分割的信息对块的处理进行管理。块的分割方法如实施例1所述。
115.接着，在步骤402中，使用步骤401中分析得到的编码模式的信息，判断关于该编码数据中包括的1个编码单位(块单位或像素单位等)的编码模式。此处，是帧内编码模式的情况下前进至步骤403，是帧间编码模式的情况下前进至步骤404，是合成编码模式的情况下前进至步骤420。
116.在步骤403中，按照由编码模式指定的方法用帧内预测进行预测图像的生成。帧内预测模式如实施例1所述。
117.在步骤404中，按照由编码模式指定的方法用帧间预测进行预测图像的生成。帧间预测模式如实施例1所述。
118.在步骤420中，按照由编码模式指定的方法用合成预测进行预测图像的生成。合成
预测模式如实施例1所述。
119.在步骤405中，按照由编码模式指定的方法分析各编码对象块的编码数据，进行熵编码后的数据的解码，输出包括残差成分的系数组的编码数据。进而，对包括残差成分的系数组的编码数据进行逆量化处理和逆变换，还原得到残差成分。逆量化、逆变换的方法如上所述。逆量化和逆变换也可以根据模式的指定而跳过。
120.在步骤406中，对于各编码对象块，将用帧内预测、帧间预测或合成预测等生成的预测图像、与还原得到的残差成分合成，进而进行环路滤波等处理，由此生成解码图像。对于图像整体进行上述按编码对象块单位进行的解码的过程，由此生成解码图像。
121.在步骤407中输出、显示生成的解码图像。
122.本实施例的解码方的合成预测模式中的处理，与实施例1中使用式1、图6、图7和图8说明的合成预测模式中的处理实质上相同，所以省略反复说明。另外，实施例1的合成预测模式的说明中的“编码对象块”这一表达，在解码方的合成预测模式的处理中替换为“解码对象块”即可。
123.本实施例的解码方的合成预测模式中，如上所述，进行使用式1的帧间预测像素与帧内预测像素的加权平均处理。另外，本实施例的解码方的合成预测模式中，如上所述，用如图8所示的决定处理决定加权参数w。由此，能够与合成预测模式中使用的帧内预测的每个种类的特征相应地，更适当地决定帧内预测图像与帧间预测图像的合成中的帧内预测图像的加权。
124.另外，本实施例中，在举例示出的以外，也可以将编码模式中使用的块的尺寸等作为参数，对各编码模式细分而将规定的编码流作为解码对象流。
125.如以上所说明地，进行本技术的一个实施例的解码处理。
126.另外，实施例2的图像解码装置和图像解码方法能够应用于使用它们的再现装置、移动电话、数码相机等。
127.根据以上说明的本发明的实施例2的图像解码装置和图像解码方法，能够对码量少的编码数据更高画质地进行解码。
128.即，根据本发明的实施例1的图像解码装置和图像解码方法，能够提供一种更优选的图像解码技术。
129.(实施例3)
130.接着，在图5中示出本发明的实施例3的数据记录介质的一例。
131.本发明的本实施例的编码流是用实施例1的图像编码装置或图像编码方法生成的编码流。其生成方法如实施例1所示，所以省略说明。
132.此处，本实施例的编码流例如在数据记录介质501中作为数据串502记录。数据串502例如作为符合规定语法的编码流记录。
133.首先，对于编码流，导出被划分为称为nal(network abstraction layer)单元503的一定大小的单位的比特串。nal单元的比特串按照可变长度编码等一定规则被读取，变换为rbsp(raw byte sequence payload)。rbsp的数据由序列参数集504、图像参数集505、解码参数集、视频参数集等信息和切片数据506构成。
134.在各切片的内部，例如包括关于各块的信息507。在关于块的信息的内部，例如存在按每个块记录各自的编码模式的区域，设其为编码模式标志508。
135.根据以上说明的本发明的实施例3的数据记录介质，能够减少码量，防止画质劣化。即，能够实现一种记录压缩率高、画质更好的编码流的数据记录介质。
136.另外，将以上说明的各图、各方法等的实施例任意组合，也可以成为本发明的一个实施方式。
137.根据以上说明的本发明的各实施例，能够减少码量，防止画质劣化。即，能够实现高压缩率和更好的画质。
138.附图标记说明
139.101
…
图像输入部，102
…
块分割部，103
…
模式管理部，104
…
帧内预测部，105
…
帧间预测部，106
…
块处理部，107
…
变换/量化部，108
…
逆量化/逆变换部，109
…
图像合成/滤波部，110
…
解码图像管理部，111
…
熵编码部，112
…
数据输出部，201
…
流分析部，202
…
块管理部，203
…
模式判断部，204
…
帧内预测部，205
…
帧间预测部，206
…
系数分析部，207
…
逆量化/逆变换部，208
…
图像合成/滤波部，209
…
解码图像管理部，210
…
图像输出部，120
…
合成预测部，220
…
合成预测部。