图像解码装置、图像解码方法及程序与流程

1.本发明涉及一种图像解码装置、图像解码方法及程序。


背景技术：

2.在非专利文献1及非专利文献2中揭示了一种被称为qtbttt(quad-tree-binary-tree-ternary-tree)的基于矩形的块分割技术(矩形分割技术)。
3.[先行技术文献]
[0004]
(非专利文献)
[0005]
非专利文献1：versatile video coding(draft 7)、jvet-n1001
[0006]
非专利文献2：itu-t h.265high efficiency video coding


技术实现要素：

[0007]
[发明所要解决的问题]
[0008]
然而，仅利用上述现有技术中的基于矩形的块分割的话，存在如下问题：当对象边界相对于块边界出现在任意方向时，有可能不能为对象边界选择合适的块分割。因此，本发明是鉴于上述问题而完成的，其目的在于提供一种图像解码装置、图像解码方法及程序，通过对被矩形分割的对象块应用几何块分割合并，来为出现在任意方向的对象边界选择合适的块分割形状，结果可以实现通过降低预测误差来提高编码性能的效果及通过为对象边界选择合适的块分割边界来提高主观画质的效果。
[0009]
[解决问题的技术手段]
[0010]
本发明的第一特征的主旨在于一种图像解码装置，包括：合并部，构成为对被矩形分割的对象块应用几何块分割合并；并且，所述合并部包括：合并模式指定部，构成为指定是否应用所述几何块分割合并；几何块分割部，构成为指定几何块分割方式，并使用所指定的所述几何块分割方式对所述被矩形分割的对象块进一步进行几何块分割；及合并列表创建部，构成为创建针对所述被几何块分割的对象块的合并列表，并对运动信息进行解码。
[0011]
本发明的第二特征的主旨在于一种图像解码方法，包括对被矩形分割的对象块应用几何块分割合并的步骤，所述步骤包括如下步骤：指定是否应用所述几何块分割合并；指定几何块分割方式，并使用所指定的所述几何块分割方式对所述被矩形分割的对象块进一步进行几何块分割；及创建针对所述被几何块分割的对象块的合并列表，并对运动信息进行解码。
[0012]
本发明的第三特征的主旨在于一种程序，使计算机作为图像解码装置发挥功能，所述图像解码装置包括：合并部，构成为对被矩形分割的对象块应用几何块分割合并；并且，所述合并部包括：合并模式指定部，构成为指定是否应用所述几何块分割合并；几何块分割部，构成为指定几何块分割方式，并使用所指定的所述几何块分割方式对所述被矩形分割的对象块进一步进行几何块分割；及合并列表创建部，构成为创建针对所述被几何块分割的对象块的合并列表，并对运动信息进行解码。
[0013]
(发明的效果)
[0014]
根据本发明，可以提供一种图像解码装置、图像解码方法及程序，通过对被矩形分割的对象块应用几何块分割合并，来为出现在任意方向的对象边界选择合适的块分割形状，结果可以实现通过降低预测误差来提高编码性能的效果及通过为对象边界选择合适的块分割边界来提高主观画质的效果。
附图说明
[0015]
图1是示出一实施方式的图像处理系统1的构成的一个例子的图。
[0016]
图2是示出一实施方式的图像编码装置100的功能块的一个例子的图。
[0017]
图3是示出一实施方式的图像编码装置100的帧间预测部111的功能块的一个例子的图。
[0018]
图4是示出一实施方式的图像解码装置200的功能块的一个例子的图。
[0019]
图5是示出一实施方式的图像解码装置200的帧间预测部241的功能块的一个例子的图。
[0020]
图6是示出一实施方式的图像编码装置100的帧间预测部111的合并部111a2的功能块的一个例子的图。
[0021]
图7是示出一实施方式的图像解码装置200的帧间预测部241的合并部241a2的功能块的一个例子的图。
[0022]
图8是示出一实施方式的图像解码装置200的帧间预测部241的合并模式指定部241a21中的是否应用几何块分割合并的指定方法的一个例子的流程图。
[0023]
图9是示出一实施方式的图像解码装置200的帧间预测部241的合并模式指定部241a21中的是否应用几何块分割合并的指定方法的一个例子的流程图。
[0024]
图10是示出一实施方式的图像解码装置200的帧间预测部241的合并模式指定部241a21中的是否应用几何块分割合并的指定方法的一个例子的流程图。
[0025]
图11是示出一变更例的几何块分割方式的规定方法的一个例子的图。
[0026]
图12是示出一变更例的规定几何块分割方式的仰角的一个例子的图。
[0027]
图13是示出一变更例的规定几何块分割方式的位置(距离ρ)的一个例子的图。
[0028]
图14是示出一变更例的与仰角及距离ρ的规定方法相关的一个例子的图。
[0029]
图15是示出一变更例的表示规定几何块分割方式的仰角与距离(位置)ρ的组合的索引表的一个例子的图。
[0030]
图16是用于说明一变更例的对与对象块的块尺寸或块高宽比相应的“partition_idx”的解码方法进行控制的一个例子的图。
[0031]
图17是示出一实施方式的合并列表中的运动信息登记及裁剪处理的一个例子的流程图。
[0032]
图18是示出一实施方式的合并列表中的运动信息登记及裁剪处理的结果、即所创建的合并列表的一个例子的图。
[0033]
图19是用于说明一实施方式的空间合并的图。
[0034]
图20是用于说明一实施方式的时间合并的图。
[0035]
图21是用于说明一实施方式的时间合并中所沿用的运动矢量的缩放处理的一个
例子的图。
[0036]
图22是用于说明一实施方式的历史合并的图。
[0037]
图23是示出一变更例的几何块分割合并有效时的对象块中的几何块分割方式的一个例子及对象块的空间合并与时间合并的位置关系的一个例子的图。
[0038]
图24是示出一变更例的几何块分割合并有效时的对象块中的几何块分割方式的一个例子及对象块的空间合并与时间合并的位置关系的一个例子的图。
具体实施方式
[0039]
下面，参考附图对本发明的实施方式进行说明。另外，下述实施方式中的构成要素可以适当地与现有的构成要素等进行置换，并且，可以进行包括与其他现有的构成要素的组合在内的各种变形。因此，不应以下述实施方式的记载来限定权利要求书所记载的发明内容。
[0040]
＜第一实施方式＞
[0041]
下面，参考图1至图10对本发明的第一实施方式的图像处理系统10进行说明。图1是示出本实施方式的图像处理系统10的图。
[0042]
如图1所示，本实施方式的图像处理系统10包括图像编码装置100及图像解码装置200。
[0043]
图像编码装置100构成为通过对输入图像信号进行编码来生成编码数据。图像解码装置200构成为通过对编码数据进行解码来生成输出图像信号。
[0044]
编码数据可以经由传输路径从图像编码装置100发送至图像解码装置200。编码数据也可以在存储至存储介质后，从图像编码装置100提供至图像解码装置200。
[0045]
(图像编码装置100)
[0046]
下面，参考图2对本实施方式的图像编码装置100进行说明。图2是示出本实施方式的图像编码装置100的功能块的一个例子的图。
[0047]
如图2所示，图像编码装置100包括帧间预测部111、帧内预测部112、减法器121、加法器122、变换及量化部131、逆变换及逆量化部132、编码部140、环路滤波处理部150及帧缓冲器160。
[0048]
帧间预测部111构成为通过帧间预测(interframe prediction)来生成预测信号。
[0049]
具体来说，帧间预测部111构成为通过对编码对象的帧(以下称为对象帧)与存储在帧缓冲器160中的参考帧进行比较，来指定参考帧中包含的参考块，并确定所指定的参考块的运动矢量(mv)。
[0050]
并且，帧间预测部111构成为基于参考块及运动矢量，针对每个对象块生成编码对象的块(以下称为对象块)中包含的预测信号。帧间预测部111构成为将预测信号输出至减法器121及加法器122。此处，参考帧是与对象帧不同的帧。
[0051]
帧内预测部112构成为通过帧内预测(intraframe prediction)来生成预测信号。
[0052]
具体来说，帧内预测部112构成为指定对象帧中包含的参考块，并基于所指定的参考块，针对每个对象块生成预测信号。并且，帧内预测部112构成为将预测信号输出至减法器121及加法器122。
[0053]
此处，参考块是对象块所参考的块。例如，参考块是与对象块相邻的块。
[0054]
减法器121构成为从输入图像信号中减去预测信号，并将预测残差信号输出至变换及量化部131。此处，减法器121构成为生成通过帧内预测或帧间预测所生成的预测信号与输入图像信号的差分即预测残差信号。
[0055]
加法器122构成为将预测信号与从逆变换及逆量化部132输出的预测残差信号相加来生成滤波处理前解码信号，并将该滤波处理前解码信号输出至帧内预测部112及环路滤波处理部150。
[0056]
此处，滤波处理前解码信号构成帧内预测部112中使用的参考块。
[0057]
变换及量化部131构成为进行预测残差信号的变换处理，且获取系数等级值。此外，变换及量化部131也可以构成为进行系数等级值的量化。
[0058]
此处，变换处理是将预测残差信号变换为频率成分信号的处理。在该变换处理中，可以使用与离散余弦变换(dct，discrete cosine transform)对应的基模型(变换矩阵)，也可以使用与离散正弦变换(dst，discrete sine transform)对应的基模型(变换矩阵)。
[0059]
逆变换及逆量化部132构成为进行从变换及量化部131输出的系数等级值的逆变换处理。此处，逆变换及逆量化部132也可以构成为在逆变换处理之前进行系数等级值的逆量化。
[0060]
此处，逆变换处理及逆量化是按照与由变换及量化部131进行的变换处理及量化相反的顺序进行。
[0061]
编码部140构成为对从变换及量化部131输出的系数等级值进行编码，并输出编码数据。
[0062]
此处，例如编码是基于系数等级值的产生概率分配不同长度的代码的熵编码。
[0063]
并且，编码部140构成为不仅对系数等级值进行编码，还对解码处理中使用的控制数据进行编码。
[0064]
此处，控制数据可以包括编码块(cu，coding unit)尺寸、预测块(pu，prediction unit)尺寸、变换块(tu，transform unit)尺寸等尺寸数据。
[0065]
并且，如下所述，控制数据也可以包括序列参数集(sps)、图片参数集(pps)、切片头部等头部信息。
[0066]
环路滤波处理部150构成为对从加法器122输出的滤波处理前解码信号进行滤波处理，且将滤波处理后解码信号输出至帧缓冲器160。
[0067]
此处，例如滤波处理是减少在块(编码块、预测块或变换块)的边界部分产生的失真的解块滤波处理。
[0068]
帧缓冲器160构成为存储帧间预测部111中使用的参考帧。
[0069]
此处，滤波处理后解码信号构成帧间预测部111中使用的参考帧。
[0070]
(帧间预测部111)
[0071]
下面，参考图3对本实施方式的图像编码装置100的帧间预测部111进行说明。图3是示出本实施方式的图像编码装置100的帧间预测部111的功能块的一个例子的图。
[0072]
如图3所示，帧间预测部111包括mv导出部111a、amvr部111b、mv细化部111b及预测信号生成部111d。
[0073]
帧间预测部111是构成为基于运动矢量来生成对象块中包含的预测信号的预测部的一个例子。
[0074]
如图3所示，mv导出部111a构成为包括amvp(adaptive motion vector prediction，自适应运动矢量预测)部111a1及合并部111a2，且将来自帧缓冲器160的对象帧及参考帧作为输入来获取运动矢量。
[0075]
amvp部111a1构成为通过对象帧与参考帧的比较，来指定参考帧中包含的参考块，并搜索所指定的参考块的运动矢量。
[0076]
并且，对多个候补参考帧进行上述搜索处理，以确定对象块中用于预测的参考帧及运动矢量，并输出至后一阶段的预测信号生成部111d。
[0077]
对于一个块最多可以各使用两个参考帧及运动矢量。将对于一个块仅使用一组参考帧与运动矢量的情况称为单向预测，将使用两组参考帧与运动矢量的情况称为双向预测。在下文中，将第一组称为l0，将第二组称为l1。
[0078]
此外，在将上述所确定的运动矢量最终传输至图像解码装置200时，为了削减编码量，amvp部111a从根据相邻的已编码的运动矢量所导出的运动矢量预测子(mvp，motion vector predictor)的候补中选择与该对象块的运动矢量的差分即运动矢量差分(mvd，motion vector difference)较小的mvp。
[0079]
表示以此方式选择的mvp及mvd的索引及表示参考帧的索引(以下称为refidx)由编码部140进行编码，并被传输至图像解码装置200。该处理通常被称为自适应运动矢量预测编码(amvp，adaptive motion vector preidicion)。
[0080]
另外，关于上述运动矢量的搜索方法、参考帧及运动矢量的确定方法、mvp的选择方法、mvd的算出方法，可以采用已知的方法，因此，省略其详细说明。
[0081]
合并部111a2不像amvp部111a1那样搜索并导出对象块的运动信息，也不进一步传输与相邻块的差分mvd，而是构成为将对象帧及参考帧作为输入，将与对象块处于同一帧中的相邻块或与对象帧不同的帧中相同位置的块作为参考块，直接沿用该参考块的运动信息。该处理通常被称为合并编码(以下称为合并)。
[0082]
当该块被合并时，首先创建针对该块的合并列表。合并列表是列举了多个参考帧与运动矢量的组合的列表。为各组合分配有索引(以下称为合并索引)，图像编码装置100仅对上述合并索引进行编码，并传输至图像解码装置200侧，代替单独对refidx及运动矢量的组合信息(以下称为运动信息)进行编码。
[0083]
通过预先在图像编码装置100侧与图像解码装置200侧共用合并列表的创建方法，在图像解码装置200侧，可以仅从合并索引信息中解码出运动信息。本实施方式的合并列表的创建方法及帧间预测块的几何块分割方法将在下文叙述。
[0084]
mv细化部111b构成为进行对从合并部111a2输出的运动矢量进行修正的细化处理。例如，作为对运动矢量进行修正的细化处理，已知非专利文献1所述的dmvr(decoder side motion vector refinement，解码端运动矢量细化)。在本实施方式中，作为该细化处理，可以使用非专利文献1所述的已知的方法，所以省略其说明。
[0085]
预测信号生成部111c构成为将参考帧及运动矢量作为输入，并输出mc预测图像信号。作为预测信号生成部111c中的处理，可以使用非专利文献1所述的已知的方法，所以省略其说明。
[0086]
(图像解码装置200)
[0087]
下面，参考图4对本实施方式的图像解码装置200进行说明。图4是示出本实施方式
的图像解码装置200的功能块的一个例子的图。
[0088]
如图4所示，图像解码装置200包括解码部210、逆变换及逆量化部220、加法器230、帧间预测部241、帧内预测部242、环路滤波处理部250及帧缓冲器260。
[0089]
解码部210构成为对由图像编码装置100生成的编码数据进行解码，且对系数等级值进行解码。
[0090]
此处，例如解码是顺序与由编码部140进行的熵编码相反的熵解码。
[0091]
并且，解码部210也可以构成为通过编码数据的解码处理来获取控制数据。
[0092]
另外，如上所述，控制数据可以包括编码块尺寸、预测块尺寸、变换块尺寸等尺寸数据。
[0093]
逆变换及逆量化部220构成为进行从解码部210输出的系数等级值的逆变换处理。此处，逆变换及逆量化部220也可以构成为在逆变换处理之前进行系数等级值的逆量化。
[0094]
此处，逆变换处理及逆量化是按照与由变换及量化部131进行的变换处理及量化相反的顺序进行。
[0095]
加法器230构成为将预测信号与从逆变换及逆量化部220输出的预测残差信号相加来生成滤波处理前解码信号，并将滤波处理前解码信号输出至帧内预测部242及环路滤波处理部250。
[0096]
此处，滤波处理前解码信号构成帧内预测部242中使用的参考块。
[0097]
与帧间预测部111同样地，帧间预测部241构成为通过帧间预测(interframe prediction)来生成预测信号。
[0098]
具体来说，帧间预测部241构成为基于从编码数据中解码出的运动矢量及参考帧中包含的参考信号，针对每个预测块生成预测信号。帧间预测部241构成为将预测信号输出至加法器230。
[0099]
与帧内预测部112同样地，帧内预测部242构成为通过帧内预测(intraframe prediction)来生成预测信号。
[0100]
具体来说，帧内预测部242构成为指定对象帧中包含的参考块，并基于所指定的参考块，针对每个预测块生成预测信号。帧内预测部242构成为将预测信号输出至加法器230。
[0101]
与环路滤波处理部150同样地，环路滤波处理部250构成为对从加法器230输出的滤波处理前解码信号进行滤波处理，且将滤波处理后解码信号输出至帧缓冲器260。
[0102]
此处，例如滤波处理是减少在块(编码块、预测块、变换块或将它们分割所得的子块)的边界部分产生的失真的解块滤波处理。
[0103]
与帧缓冲器160同样地，帧缓冲器260构成为存储帧间预测部241中使用的参考帧。
[0104]
此处，滤波处理后解码信号构成帧间预测部241中使用的参考帧。
[0105]
(帧间预测部241)
[0106]
下面，参考图5对本实施方式的帧间预测部241进行说明。图5是示出本实施方式的帧间预测部241的功能块的一个例子的图。
[0107]
如图5所示，帧间预测部241包括mv解码部241a、mv细化部241b及预测信号生成部241c。
[0108]
帧间预测部241是构成为基于运动矢量来生成预测块中包含的预测信号的预测部的一个例子。
[0109]
mv解码部241a构成为包括amvp部241a1及合并部241a2，且通过从帧缓冲器260输入的对象帧及参考帧、以及从图像编码装置100接收到的控制数据的解码，来获取运动矢量。
[0110]
amvp部241a1构成为接收对象帧及参考帧、以及来自图像编码装置100的表示mvp及mvd的索引、refidx，以对运动矢量进行解码。关于运动矢量的解码方法，可以采用已知的方法，所以省略其详细说明。
[0111]
合并部241a2构成为从图像编码装置100接收合并索引，以对运动矢量进行解码。
[0112]
具体来说，合并部241a2构成为通过与图像编码装置100相同的方法创建合并列表，并从所创建的合并列表中获取与接收到的合并索引对应的运动矢量。合并列表的创建方法的详细内容将在下文叙述。
[0113]
与mv细化部111b同样地，mv细化部241b构成为执行对运动矢量进行修正的细化处理。
[0114]
与预测信号生成部111c同样地，预测信号生成部241c构成为基于运动矢量来生成预测信号。
[0115]
另外，几何块分割合并有效时的预测信号生成处理的详细内容将在下文叙述。关于其他的合并模式有效时的预测信号生成处理，在本实施方式中可以使用非专利文献1所述的已知的技术，所以省略其说明。
[0116]
(合并部)
[0117]
下面，参考图6及图7，对本实施方式的图像编码装置100的帧间预测部111的合并部111a2及图像解码装置200的帧间预测部241的合并部241a2进行说明。图6及图7是示出本实施方式的图像编码装置100的帧间预测部111的合并部111a2及图像解码装置200的帧间预测部241的合并部241a2的功能块的一个例子的图。
[0118]
如图6所示，合并部111a2包括合并模式指定部111a21、几何块分割部111a22及合并列表创建部111a23。
[0119]
并且，如图7所示，合并部241a2包括合并模式指定部241a21、几何块分割部241a22及合并列表创建部241a23。
[0120]
合并部111a2与合并部241a2的不同点在于，在合并模式指定部111a21与合并模式指定部241a21、几何块分割部111a22与几何块分割部241a22、合并列表创建部111a23与合并列表创建部241a23中，下述各种索引的输入及输出相反。
[0121]
即，合并部111a2中输出的各种索引在合并部241a2中是被输入。除此以外，由于合并部111a2的功能与合并部241a2的功能相同，因此，在下文中，为了简化说明，以合并部241a2的功能为代表进行说明。
[0122]
合并模式指定部241a21构成为指定是否对被矩形分割的对象块应用几何块合并模式。
[0123]
作为合并模式，不仅有几何块分割合并，例如还有非专利文献1中所采用的正常合并、子块合并、mmvd(merge mode with mvd)、ciip(combined inter and intra prediction)、ibc(intra block copy)等。
[0124]
在本实施方式中，不仅应用这些合并模式，还新应用几何块分割合并，由此，即使在对象边界相对于被矩形分割的对象块出现在任意方向的情况下，也能通过几何块分割选
择合适的块分割形状，结果可以期待通过降低预测误差来提高编码性能的效果及提高对象边界附近的主观画质的效果。
[0125]
几何块分割部241a22构成为指定被矩形分割的对象块的几何块分割方式，并使用所指定的分割方式对对象块进行几何块分割。几何块分割方式的指定方法的详细内容将在下文叙述。
[0126]
合并列表创建部241a23构成为创建针对对象块的合并列表，并对运动信息进行解码。
[0127]
合并列表的创建处理由运动信息是否可利用确认处理、运动信息登记及裁剪处理以及运动信息解码处理这三个阶段构成，各自的详细内容将在下文叙述。
[0128]
(合并模式指定部241a21中的是否应用几何块分割合并的指定方法)
[0129]
下面，参考图8至图10对合并模式指定部241a21中的是否应用几何块分割合并的指定方法进行说明。图8至图10是示出合并模式指定部241a21中的是否应用几何块分割合并的指定方法的一个例子的流程图。
[0130]
如图8所示，合并模式指定部241a21构成为当不应用正常合并且不应用ciip时，指定应用几何块分割合并(将对象块的合并模式指定为几何块分割合并)。
[0131]
具体来说，如图8所示，在步骤s7-1中，合并模式指定部241a21指定是否应用正常合并，当指定应用正常合并时，进入步骤s7-5，当指定不应用正常合并时，进入步骤s7-2。
[0132]
在步骤s7-2中，合并模式指定部241a21指定是否应用ciip，当指定应用ciip时，进入步骤s7-3，当指定不应用ciip时，进入步骤s7-4。
[0133]
另外，合并模式指定部241a21也可以跳过步骤s7-2，直接进入步骤s7-4。这意味着当不应用正常合并时，将对象块的合并模式指定为几何块分割合并。
[0134]
在步骤s7-3中，合并模式指定部241a21指定对对象块应用ciip(将对象块的合并模式指定为ciip)，结束本处理。
[0135]
另外，图像编码装置100及图像解码装置200保有是否对对象块应用几何块分割合并的指定结果作为内部参数。
[0136]
在步骤s7-4中，合并模式指定部241a21指定对对象块应用几何块分割合并(将对象块的合并模式指定为几何块分割合并)，结束本处理。
[0137]
在步骤s7-5中，合并模式指定部241a2指定对对象块应用正常合并(将对象块的合并模式指定为正常合并)，结束本处理。
[0138]
另外，在图8的流程图中，即使将来步骤s7-2被置换为除ciip以外的合并，合并模式指定部241a21也可以根据是否可应用置换后的合并的判断结果，指定是否应用几何块分割合并。
[0139]
并且，在图8的流程图中，即使将来在步骤s7-2与步骤s7-4之间追加除ciip以外的合并，合并模式指定部241a21也可以根据是否可应用所追加的合并的判断结果，指定是否应用几何块分割合并。
[0140]
其次，使用图9对步骤s7-1的是否应用正常合并的判断条件进行说明。
[0141]
如图9所示，在步骤s7-1-1中，合并模式指定部241a21判断是否需要对正常合并标志进行解码。
[0142]
合并模式指定部241a21在判断出满足步骤s7-1-1的判断条件、即需要对正常合并
进行解码时，进入步骤s7-1-2，在判断出不满足步骤s7-1-1、即不需要对正常合并进行解码时，进入步骤s7-1-3。
[0143]
此处，合并模式指定部241a21在判断出不需要对正常合并标志进行解码时，可以与非专利文献1所述的方法同样地，基于表示对象块是否通过合并被帧间预测的“general_merge_flag”及表示是否应用子块合并的子块合并标志，推测正常合并标志的值。
[0144]
关于该推测方法，在本实施方式中可以使用与非专利文献1所述的方法相同的方法，所以省略其说明。
[0145]
步骤s7-1-1的是否需要对正常合并标志进行解码的判断条件由是否可应用ciip的判断条件及是否可应用几何块合并的判断条件构成。具体来说，如下所述。
[0146]-是否可应用ciip的判断条件：
[0147]
(1)对象块的面积为64像素以上。
[0148]
(2)显示sps等级的ciip有效标志有效(值为1)。
[0149]
(3)显示对象块的跳过模式标志无效(值为0)。
[0150]
(4)对象块的宽度低于128像素。
[0151]
(5)对象块的高度低于128像素。
[0152]-是否可应用几何块合并的判断条件：
[0153]
(1)对象块的面积为64像素以上。
[0154]
(6)显示sps等级的几何块分割合并有效标志有效(值为1)。
[0155]
(7)针对几何块分割合并的合并列表的合并索引最大可登记数(以下称为几何块分割合并最大候补数)大于1。
[0156]
(8)对象块的宽度为8像素以上。
[0157]
(9)对象块的高度为8像素以上。
[0158]
(10)包含对象块的切片类型为b切片(双向预测切片)。
[0159]
合并模式指定部241a21在是否可应用ciip的判断条件中的上述条件式(1)至(5)的全部被满足时，判断为可应用ciip，在除此以外的情况下，判断为不可应用ciip。
[0160]
另外，关于是否可应用ciip的判断条件的各条件式，在本实施方式中可以使用与非专利文献1所述的条件式相同的条件式，所以省略其说明。
[0161]
并且，合并模式指定部241a21在是否可应用几何块合并的判断条件中的上述条件式(1)及(6)至(10)全部被满足时，判断为可应用几何块分割合并，在除此以外的情况下，判断为不可应用几何块分割合并。
[0162]
关于该条件式(1)及(6)至(10)的详细内容将在下文叙述。
[0163]
合并模式指定部241a21在步骤s7-1-1的是否需要对正常合并标志进行解码的判断条件中的上述是否可应用ciip的判断条件或是否可应用几何块分割合并的判断条件中的任一条件被满足时，进入步骤s7-1-2，在两者均未被满足时，进入步骤s7-1-3。
[0164]
另外，在步骤s7-1-1的是否需要对正常合并标志进行解码的判断条件中，也可以去掉是否可应用ciip的判断条件。这意味着，在是否需要对正常合并标志进行解码的判断条件中仅追加是否可应用几何块分割合并的判断条件。
[0165]
在步骤s7-1-2中，合并模式指定部241a21对正常合并标志进行解码，之后进入步骤s7-1-3。
[0166]
在步骤s7-1-3中，合并模式指定部241a21判断正常合并标志的值是否为1，当为1时，进入步骤s7-5，当不为1，进入步骤s7-2。
[0167]
接着，使用图10对步骤s7-2的是否应用ciip的判断条件进行说明。
[0168]
如图10所示，在步骤s7-2-1中，合并模式指定部241a21判断是否需要对ciip标志进行解码。
[0169]
合并模式指定部241a21在判断出满足步骤s7-2-1、即需要对ciip标志进行解码时，进入步骤s7-2-2，在判断出不满足步骤s7-2-1、即不需要对ciip标志进行解码时，进入步骤s7-2-3。
[0170]
此处，合并模式指定部241a21在判断出不需要对ciip标志进行解码时，以如下方式推测ciip标志的值。
[0171]
合并模式指定部241a21在满足以下所有条件时，视为ciip有效、即ciip标志的值为1，在除此以外的情况下，认为ciip无效、即ciip标志的值为0。
[0172]
(1)对象块的面积为64像素以上。
[0173]
(2)正常合并标志为0。
[0174]
(3)显示sps等级的ciip有效标志有效(值为1)。
[0175]
(4)显示对象块的跳过模式标志有效(值为0)。
[0176]
(5)对象块的宽度低于128像素。
[0177]
(6)对象块的高度低于128像素。
[0178]
(12)“general_merge_flag”为1。
[0179]
(13)子块合并标志为0。
[0180]
步骤s7-2-1的是否需要对ciip标志进行解码的判断条件由上述是否可应用ciip的判断条件及是否可进行几何块分割合并的判断条件构成。
[0181]
合并模式指定部241a21在是否可应用ciip的条件及是否可进行几何块分割合并的判断条件均被满足时，进入步骤s7-2-2，在任一条件未被满足时，进入步骤s7-2-3。
[0182]
此处，由于在进入是否需要对ciip标志进行解码的判断条件之前的是否需要对正常合并标志进行解码的判断条件中已经判断出满足条件式(1)，因此，也可以从步骤s7-2-1中去掉条件式(1)。
[0183]
在步骤s7-2-2中，合并模式指定部241a21对ciip标志进行解码，进入步骤s7-1-3。
[0184]
在步骤s7-2-3中，合并模式指定部241a21判断ciip标志的值是否为1，当为1时，进入步骤s7-3，当不为1时，进入步骤s7-4。
[0185]
(是否可进行几何块分割合并的判断条件的说明)
[0186]
下面，对是否可进行几何块分割合并的判断条件的(1)及(6)至(10)的详细内容进行说明。
[0187]
(1)为了将可应用几何块分割合并的对象块限制为比较大的块，将对象块的面积设为64像素以上。
[0188]
(6)新设置sps等级的表示是否可应用几何块分割合并的标志。当该标志无效时，可以指定不可对对象块应用几何块合并，因此，追加至是否可应用几何块分割合并的判断条件式中。
[0189]
(7)为了避免比非专利文献1的帧间预测块在运动补偿预测时所需的存储器带宽
的最差情形还差，将对象块的宽度的下限设定为8像素以上。
[0190]
(8)为了避免比非专利文献1的帧间预测块在运动补偿预测时所需的存储器带宽的最差情形还差，将对象块的高度的下限设定为8像素以上。
[0191]
(9)可应用几何块分割合并的对象块跨越分割边界具有两个不同的运动信息。因此，当对象块包含在b切片中时，可以指定可对对象块应用几何块分割合并。另一方面，当对象块包含在除b切片以外的切片中时，即当对象块不会具有两个不同的运动矢量时，可以指定不可对对象块应用几何块分割合并。
[0192]
(10)如上所述，几何块分割合并需要两个不同的运动信息，在合并列表创建部，根据与登记在合并列表中的两个不同的合并索引关联的运动信息，指定(解码)这两个不同的运动信息。因此，当设计或指定几何块分割合并最大候补数为1以下时，可以指定不可对对象块应用几何块分割合并，因此，设为在几何块分割部的内部具有算出几何块分割合并最大候补数的参数。该几何块分割合并最大候补数可以使用与针对正常合并的合并列表的合并索引最大可登记数(以下称为合并最大候补数)相同的值，也可以使用其他值，例如通过将规定从合并最大候补数中减去多少候补数的标志从图像编码装置100传输至图像解码装置200，并对该标志进行解码，来算出该其他值。
[0193]
[变更例1：在是否可进行几何块分割合并的判断条件中追加基于块高宽比的判断条件]
[0194]
下面，参考图11，着眼于与上述第一实施方式的不同点对本发明的变更例1进行说明。
[0195]
在本变更例1中，可以在是否可进行上述几何块分割合并的判断条件中，追加基于对象块的块尺寸(上限)或块高宽比的判断，以便进一步限制几何块分割合并在对象块中的应用。
[0196]
第一，考虑追加如下条件式：将指定可应用几何块分割合并的对象块的高度及宽度各自的上限例如设为64像素以下。
[0197]
将该高度及宽度的上限设为64像素以下的原因是为了避免用以维持非专利文献1中所采用的被称为虚拟流水线数据单元(vpdu：virtual pipeline data units)的图像解码装置200的流水线处理单位的约束违反。
[0198]
在非专利文献1中，由于将vpdu的尺寸设定为64
×
64像素，所以将几何块分割合并的应用对象范围的上限设为64像素。
[0199]
另一方面，也可以根据设计者的意图，将该上限设定为例如像32像素以下这样的更小的上限。
[0200]
在几何块分割合并中，在生成mc预测图像信号时，混和掩模表来生成，该混和掩模表是使用利用距几何块分割边界的距离对基于跨越几何块分割边界所具有的两个不同的运动矢量所生成的mc预测图像信号加权所得。
[0201]
若减小对象块的宽度及高度的上限，则可以减小该混和掩模表的大小，在实施上较为理想的是，减小需要保存在图像编码装置100及图像解码装置200的存储器中的该混和掩模表的大小，从而可以减小存储器的记录容量。
[0202]
第二，考虑追加如下条件式：将指定可应用几何块分割合并的对象块的高宽比例如设为高宽比为4以下。
[0203]
该高宽比为8以上的细长的矩形块很难在自然图像中产生。因此，若禁止对这种矩形块应用几何块分割合并，则有如下效果：可以削减下述几何块分割的分割形状的变化数(规定矩形块内的几何块分割边界的位置及方向的参数的变化数)，在图像编码装置100及图像解码装置200中能够削减用于规定该变化的参数的记录容量。
[0204]
(几何块分割部中的几何块分割方式的规定方法)
[0205]
下面，参考图11对本实施方式的几何块分割部241a22中的几何块分割方式的规定方法进行说明。图11是示出本实施方式的几何块分割方式的规定方法的一个例子的图。
[0206]
例如，如图11所示，几何块分割方式可以用如下两个参数来规定：几何块分割边界线的位置、即从被矩形分割的对象块的中心点(以下称为中心点)至几何块分割边界线(以下称为分割边界线)的距离ρ、及相对于分割边界线的过中心点的垂线与水平方向的仰角
[0207]
并且，该距离ρ与仰角的组合可以使用索引从图像编码装置100(合并部111a2)传输至图像解码装置200(合并部241a2)。
[0208]
规定几何块分割方式的距离ρ与角度的组合的变化越多，越可以期待预测误差的降低，但另一方面，指定距离ρ与仰角的组合所需的处理时间的增加与用于表示该组合的索引的码长的增加之间存在权衡关系，因此，可以根据设计者的意图使用经量化的距离ρ与仰角
[0209]
此处，经量化的距离ρ例如可以按照特定的像素单位进行设计。并且，经量化的仰角例如可以按照将360度等分所得的角度进行设计。
[0210]
[变更例2：仰角ρ的规定方法]
[0211]
下面，参考图12，着眼于与上述第一实施方式及变更例1的不同点对本发明的变更例2进行说明。图12是示出规定上述几何块分割方式的仰角的变更例的图。
[0212]
在上述变更例1中，作为仰角的规定方法的一个例子，示出了使用将360度等分所得的角度来规定仰角的方法，但在本变更例中，也可以如图12(b)所示，使用对象块的可取的块高宽比及水平和垂直方向来规定仰角
[0213]
例如如图12(c)所示，仰角可以使用反正切函数来表现。在本变更例中，如图12(a)所示，示出了共规定了24个仰角的例子。
[0214]
[变更例3：分割边界线的位置(距离ρ)的规定方法]
[0215]
以下，参考图13，着眼于与上述第一实施方式及变更例1至2的不同点对本发明的变更例3进行说明。图13是示出规定上述几何块分割方式的位置(距离ρ)的变更例的图。
[0216]
在上述变更例1至2中，将距离ρ规定为从对象块的中心点至分割边界线的垂线距离，但在本变更例中，也可以如图13所示，将距离ρ规定为包含中心点在内的从中心点起算的水平方向或垂直方向上的特定距离(特定位置)。
[0217]
在图13的例子中，根据对象块的块高宽比，规定两种距离ρ。
[0218]
第一，如图13(a)所示，对于横长块，可以仅在水平方向上规定距离ρ。
[0219]
第二，如图13(b)所示，对于纵长块，可以仅在垂直方向上规定距离ρ。
[0220]
其中，只要横长块的仰角为0度(180度)，并且，只要纵长块的仰角为90度(270度)，便可以分别规定垂直方向及水平方向的距离ρ。
[0221]
另外，对于正方形块，可以在水平方向或垂直方向中的任一方向或两个方向上规定距离ρ。并且，相对于例如像图13所示那样将对象块的宽度或高度八等分后所得的特定距
离(特定位置)来说，距离ρ也可以变化。
[0222]
在图13的例子中，将距离ρ规定为从中心点起算在水平方向(左右方向)或垂直方向(上下方向)上是对象块的宽度或高度的0/8倍、1/8倍、2/8倍、3/8倍的距离(位置)。
[0223]
此处，除横长块的仰角为0度(180度)及纵长块的仰角为90度(270度)时以外，分别不规定垂直方向及水平方向的距离(短边方向的距离)的原因在于，与通过在长边方向规定距离ρ来增加几何块分割方式的变化的效果相比，通过在短边方向上规定距离ρ来增加几何块分割方式的变化数的效果较小。
[0224]
如图13所示，几何块分割的分割边界线可以设计为相对于仰角的垂线，且通过位于分割边界线及以上述方式规定的特定距离(特定位置)ρ处的点。
[0225]
另外，本变更例3可以与上述变更例2组合，仰角中为180度的角度与上述相对于距离ρ的垂线相同，即分割边界线相同。
[0226]
因此，例如如图13所示，位于0度以上且低于180度的范围内的仰角及位于180度以上且低于360度的范围内的仰角关于中心点呈线对称，能够通过分别对左右方向或上下方向的距离ρ进行使用上的限制，来避免几何块分割方式的重复。
[0227]
该仰角的范围与距离ρ的水平方向(左右方向)及垂直方向(上下方向)的组合即使颠倒也表示相同的几何块分割方式的变化，因此，也可以根据设计者的意图自由地变更实施方式。
[0228]
[变更例4：仰角及位置(距离)ρ的规定方法的变更、变化削减]
[0229]
以下，参考图14至图15，着眼于与上述第一实施方式及变更例1至3的不同点对本发明的变更例4进行说明。图14是示出与仰角及距离ρ的规定方法相关的变更例的图。
[0230]
在上述变更例2中，对使用块高宽比来规定仰角的方法进行了说明，在上述变更例3中，对使用从中心点起算的水平方向及垂直方向上的特定距离(特定位置)来规定距离(位置)ρ的方法进行了说明。
[0231]
在本变更例中，为了简化仰角及距离(位置)ρ的实施方式，也可以如图14(a)至(c)所示，将通过位于特定距离(位置)ρ处的点且由仰角表示的线规定为分割边界线本身来实施。
[0232]
并且，为了削减几何块分割方式，也可以如图14(a)至(c)所示，削减距离ρ的变化及仰角的变化。
[0233]
具体来说，在图14(a)至(c)中，将上述变更例3中示出的距离ρ的变化限定为对象块的宽度或高度的0/8倍、2/8倍这两种。
[0234]
并且，在图14(a)至(c)的例子中，根据分割边界线所通过的位置及对象块的块高宽比对仰角的变化可取的值进行了限定。由此，在图14(a)至(c)的例子中，将几何块分割方式的变化限定为共16种。
[0235]
(几何块分割方式的指定方法)
[0236]
下面，参考图15对几何块分割方式的指定方法进行说明。图15是示出表示上述所说明的规定几何块分割方式的仰角与距离(位置)ρ的组合的索引表的一个例子的图。
[0237]
在图15中，分别将规定几何块分割方式的仰角及距离ρ与“angle_idx”及“distance_idx”关联，并且，用“partition_idx”来规定它们的组合。
[0238]
例如像图12的表所示的那样，分别利用“angle_idx”及“distance_idx”以0至23、0
至3的整数来规定上述变更例2及变更例3中示出的仰角及距离ρ，通过对表示该组合的“partition_idx”进行解码，来唯一地确定仰角及距离ρ，因此，能够唯一地指定几何块分割方式。
[0239]
图像编码装置100及图像解码装置200各自保有表示该几何块分割方式的索引表，图像编码装置100将与几何块分割有效时编码成本最小的几何块分割方式对应的“partition_idx”传输至图像解码装置200，图像解码装置200的几何块分割部241a22对该“partition_idx”进行解码。
[0240]
[变更例5：与对象块的尺寸或高宽比相应的“partition_idx”的解码方法的控制]
[0241]
下面，参考图16，着眼于与上述第一实施方式及变更例1至4的不同点对本发明的变更例5进行说明。图16是用于说明对与对象块的块尺寸或块高宽比相应的“partition_idx”的解码方法进行控制的一个例子的图。
[0242]
在上述例子中，作为几何块分割方式的指定方法的一个例子，示出了不依赖于对象块的块尺寸或块的高宽比来对“partition_idx”进行解码的方法(使用固定的索引表的几何块分割方式的指定方法)。
[0243]
另一方面，在本变更例中，对于根据对象块的块尺寸或高宽比控制“partition_idx”的解码方法来进一步提高编码效率的方法，作如下考虑。
[0244]
若着眼于对象块的块尺寸或高宽比，则如图16所示，在8
×
8像素块这种相对较小的块、32
×
32像素块这种相对较大的块中，即使分割边界线的变化数相同，相对于块的面积来说分割边界线的疏密程度有时也会不同。
[0245]
同样地，如图16所示，可认为在横长块及纵长块的水平及垂直方向上，上述分割边界线的疏密程度有时也会不同。
[0246]
在这种情况下，例如，也可以根据对象块的块尺寸或块高宽比，变更用于根据“partition_idx”指定仰角及距离ρ的索引表。
[0247]
例如，对于块尺寸较小的对象块，使用几何块分割方式数较少、即“partition_idx”的最大值较小的索引表，对于块尺寸较大的对象块，使用几何块分割方式数较多、即“partition_idx”的最大值较大的索引表，由此，与使用固定的索引表的上述例子相比，更能够提高编码效率。
[0248]
并且，也可以使该块尺寸的大小与几何块分割方式数的相关性(块尺寸与几何块分割方式数的比例关系)相反。
[0249]
换句话说，也可以对于块尺寸较小的对象块，使用几何块分割方式数较多、即“partition_idx”的最大值较大的索引表，对于块尺寸较大的对象块，使用几何块分割方式数较少、即“partition_idx”的最大值较小的索引表。
[0250]
当对象块的块尺寸与几何块分割方式数存在正比关系时，即使对象块的块尺寸不同，也能够使分割边界线的疏密程度均匀。
[0251]
因此，可以期待如下效果：能够针对每个块尺寸，使几何块分割的分割边界线与对象块内产生的对象边界对准的概率变得均匀。
[0252]
另一方面，当对象块的块尺寸与几何块分割方式数存在反比关系时，虽无法期待上述效果，但可以期待如下效果：限于在较小的块尺寸中，进一步增加使分割边界线与对象边界对准的概率。
[0253]
一般来说，在自然图像中，对于对象边界错综复杂(出现在多个任意方向)的部位，以较小的块来编码的情况较多，另一方面，当对象边界出现在接近水平或垂直的方向上时，由于与矩形块分割的误差较小，所以以较大的块来编码的情况较多。
[0254]
因此，基于该想法，通过对较小的块增加几何块分割方式数，可以期待进一步增加使分割边界线与对象边界对准的概率的效果，结果可以期待预测误差降低的效果。
[0255]
同样地，对于横长块，也可以在水平方向上增加几何块分割方式数，相反，在垂直方向上减少几何块分割方式数。
[0256]
另一方面，对于纵长块，也可以在水平方向上增加几何块分割方式数，相反，在垂直方向上减少几何块分割方式数。
[0257]
并且，也可以像上述块尺寸的大小及几何块分割方式数的说明中所示那样，使该块高宽比的大小与几何块分割方式数的相关性相反。
[0258]
换句话说，对于横长块，也可以在水平方向上减少几何块分割方式数，相反，在垂直方向上增加几何块分割方式数。
[0259]
另一方面，对于纵长块，也可以在水平方向上减少几何块分割方式数，相反，在垂直方向上增加几何块分割方式数。
[0260]
如此使相关性相反的原因与上述块尺寸的大小与几何块分割数的相关性的说明中所示的想法相同，所以省略其说明。
[0261]
另外，与上述情况同样地，根据该块高宽比来控制几何块分割方式数的方法可以通过变更所使用的索引表来实现。
[0262]
作为其他实施例，可以考虑如下方案：索引表本身是固定的，但根据对象块的块尺寸或高宽比，来限定索引表上可解码的“partition_idx”的值的范围。
[0263]
如此一来，码长状态不会变短，因此不利于提高编码效率，但从图像编码装置100的角度来看，可以省略不需要的直到几何块分割方式中的成本算出为止的过程，因此有利于编码处理高速化。
[0264]
＜第二实施方式＞
[0265]
下面，参考图17至图22，着眼于与上述第一实施方式的不同点对本发明的第二实施方式进行说明。
[0266]
(运动信息是否可利用确认处理)
[0267]
下面，对本实施方式的运动信息是否可利用确认处理进行说明。
[0268]
如上所述，该运动信息是否可利用确认处理是构成合并列表创建处理的第一处理步骤。
[0269]
具体来说，该运动信息是否可利用确认处理是确认在与对象块在空间上或时间上相邻的参考块中是否存在运动信息。此处，关于运动信息的确认方法，在本实施方式中可以使用非专利文献1所述的已知的方法，所以省略其说明。
[0270]
(合并列表中的运动信息登记及裁剪处理)
[0271]
下面，参考图17对本实施方式的合并列表中的运动信息登记及裁剪处理进行说明。
[0272]
图17是示出本实施方式的合并列表中的运动信息登记及裁剪处理的一个例子的流程图。
[0273]
如图17所示，与非专利文献1同样地，本实施方式的合并列表中的运动信息登记及裁剪处理也可以由共5个运动信息登记及裁剪处理构成。
[0274]
具体来说，该运动信息登记及裁剪处理可以由步骤s14-1的空间合并、步骤s14-2的时间合并、步骤s14-3的历史合并、步骤s14-4的成对平均合并、步骤s14-5的零合并构成。各个处理的详细内容将在下文叙述。
[0275]
图18是示出所述合并列表中的运动信息登记及裁剪处理的结果、即所创建的合并列表的一个例子的图。如上所述，合并列表是指登记有与合并索引对应的运动信息的列表。
[0276]
此处，合并索引的最大数在非专利文献1中设定为5，但也可以根据设计者的意图自由设定。
[0277]
并且，图18中的mvl0、mvl1、redldxl0、refldxl1分别表示参考图像列表l0、l1的运动矢量及参考图像索引。
[0278]
此处，参考图像列表l0、l1表示登记有参考帧的列表，根据refldx，指定其参考帧。
[0279]
另外，在图18所示的合并列表中，示出了l0及l1这两者的运动矢量及参考图像索引，但根据参考块的不同，有时为单向预测。
[0280]
在该情况下，在列表中登记一个(单向预测)运动矢量及一个参考图像索引。另外，当在从步骤s15-1至步骤s15-4的各处理的前一阶段，通过上述运动信息是否可利用确认处理，确认出参考块中不存在运动信息时，各处理被跳过。
[0281]
(空间合并)
[0282]
图19是用于说明空间合并的图。
[0283]
空间合并是从与对象块存在于同一帧中的相邻块中将mv、refldx、hpellfldx沿用下来的技术。
[0284]
具体来说，合并列表创建部241a23构成为从处于如图15所示的位置关系的相邻块中将上述mv、refidx、hpelfldx沿用下来，并登记在合并列表中。与非专利文献1同样地，其处理顺序可以是如图19所示的这一顺序。
[0285]
(运动信息的裁剪处理)
[0286]
另外，合并列表中的运动信息登记处理可以按照上述处理顺序进行，与非专利文献1同样地，也可以实施运动信息的裁剪处理，使得与已登记完成的运动信息相同的运动信息不会被登记在合并列表中。
[0287]
实施运动信息的裁剪处理的目的在于，增加登记在合并列表中运动信息的变化，从图像编码装置100的角度来看，可以根据图像特性选择特定成本最小的运动信息。
[0288]
另一方面，在图像解码装置200中，可以使用由图像编码装置100选择的运动信息，来生成预测精度较高的预测信号，结果可以期待提高编码性能的效果。
[0289]
在针对空间合并的运动信息裁剪处理中，例如，当在合并列表中登记有与b1对应的运动信息时，在作为下一个处理顺序的与a1对应的运动信息的登记处理时，确认与已登记的与b1对应的运动信息的同一性。此处，运动信息的同一性的确认是指比较mv及refldx是否相同。此处，构成为若确认到具有同一性，则与a1对应的运动信息不会被登记在合并列表中。
[0290]
另外，构成为将与b0对应的运动信息和与b1对应的运动信息进行比较，将与a0对应的运动信息和与a1对应的运动信息进行比较，将与b2对应的运动信息和与b1及a1对应的运
动信息进行比较。另外，当在所比较的位置不存在对应的运动信息时，也可以跳过同一性的确认，登记对应的运动信息。
[0291]
并且，在非专利文献1中，将空间合并的合并索引的最大可登记数设定为4，关于相邻块b2，当通过到目前为止的空间合并处理，已经有四个运动信息登记在合并列表中时，跳过相邻块b2的处理。在本实施方式中，与非专利文献1同样地，也可以根据现有的运动信息登记数来判断相邻块b2的处理。
[0292]
(时间合并)
[0293]
图20是用于说明时间合并的图。
[0294]
时间合并是如下技术：将与对象块存在于不同的帧中但位于相同位置的左下方的相邻块(图17的c1)或位于相同位置的块(图17的c0)指定为参考块，并沿用运动矢量及参考图像索引。
[0295]
利用时间合并列表时运动信息在合并列表中的最大登记数在非专利文献1中为1，在本实施方式中，可以使用同样的值，也可以根据设计者的意图变更。
[0296]
并且，时间合并中所沿用的运动矢量被缩放。图21是示出该缩放处理的图。
[0297]
具体来说，如图21所示，基于对象块的参考帧与对象帧所在的帧的距离tb及参考块的参考帧与参考块的参考帧的距离td，以如下方式缩放参考块的mv。
[0298]
mv’＝(td/tb)
×
mv
[0299]
在时间合并中，该被缩放的mv’作为与合并索引对应的运动矢量被登记在合并列表中。
[0300]
(历史合并)
[0301]
图22是用于说明历史合并的图。
[0302]
历史合并是如下技术：将在对象块之前编码完成的帧间预测块所具有的运动信息预先另行记录在被称为历史合并表的记录区域中，当在上述空间合并及时间合并的处理结束时刻，登记在合并列表中的运动信息的登记数未达到最大数时，依次将登记在历史合并表中的运动信息登记在合并列表中。
[0303]
图22是示出利用历史合并表将运动信息登记在合并列表中的处理的一个例子的图。
[0304]
登记在该历史合并表中的运动信息是通过历史合并索引来管理，其最大登记数在非专利文献1中最大为6，可以使用同样的值，也可以根据设计者的意图变更。
[0305]
并且，该历史合并表中的运动信息的登记处理在非专利文献1中是采用fifo处理。也就是说，构成为当历史合并表中登记的运动信息达到最大登记数时，删除与最后登记的历史合并索引关联的运动信息，并依次登记与新历史合并索引关联的运动信息。
[0306]
另外，也可以与非专利文献1同样地，当对象块跨越ctu时，对登记在历史合并表中的运动信息进行初始化(从历史合并表中删除所有的运动信息)。
[0307]
(成对平均合并)
[0308]
成对平均合并是如下技术：使用与已登记在合并列表中的两组合并索引关联的运动信息，生成新运动信息，并登记在合并列表中。
[0309]
关于用于成对平均合并的两组合并索引，可以与非专利文献1同样地，固定利用登记在合并列表中的合并索引的第0个及第1个，也可以根据设计者的意图变更为另两组的组
合。
[0310]
在成对平均合并中，对与已登记在合并列表中的两组合并索引关联的运动信息取平均值，来生成新运动信息。
[0311]
具体来说，例如，当与两组合并索引对应的运动矢量分别为两个时(即，为双向预测时)，根据l0及l1方向的运动矢量mvl0p0/mvl0p1、mvl1p0/mvl1p1，分别以如下方式算出成对平均合并的运动矢量mvl0avg/mvl1avg。
[0312]
mvl0avg＝(mvl0p0 mvl0p1)/2
[0313]
mvl1avg＝(mvl1p0 mvl1p1)/2
[0314]
此处，当mvl0p0及mvl1p0或mvl0p1及mvl1p1中的任一者不存在时，将不存在的矢量设为零矢量，以如下方式进行计算。
[0315]
此时，在非专利文献1中，规定始终使用与合并索引p0关联的参考图像索引refldxl0p0/refldxl0p1作为与成对平均合并索引关联的参考图像索引。
[0316]
(零合并)
[0317]
零合并是如下处理：当在上述成对平均合并处理结束的时刻，合并列表的运动信息的登记数未达到最大登记数时，将零矢量追加在合并列表中。关于登记方法，在本实施方式中可以使用非专利文献1所述的已知的方法，所以省略其说明。
[0318]
(从合并列表中解码出运动信息的处理)
[0319]
合并列表创建部241a23构成为从上述运动信息登记及裁剪处理结束后所创建的合并列表中解码出运动信息。
[0320]
例如，合并列表创建部241a23构成为从合并列表选出与从合并列表创建部111a23传输的合并索引对应的运动信息并对其进行解码。
[0321]
另一方面，合并列表创建部111a23中的合并索引的选取方法虽未图示，但构成为将编码成本最小的运动信息传输至合并列表创建部241a23。
[0322]
此处，关于合并索引，在合并列表中的登记顺序较早、即索引编号较小的合并索引的码长较短(编码成本较小)，因此，有索引编号较小的合并索引容易被合并列表创建部111a23选取的倾向。
[0323]
此处，在合并列表创建部241a23中，构成为当几何块分割合并无效时，针对对象块解码一个合并索引，但当几何块合并有效时，对于对象块来说，存在跨越几何块分割边界的两个区域m/n，因此分别对两个不同的合并索引m/n进行解码。
[0324]
例如，通过以如下方式对该合并索引m/n进行解码，即使假设从合并列表创建部111a2传输的针对m/n的合并索引相同，也可以对m/n分配不同的合并索引。
[0325]
m＝merge_idx0[xcb][ycb]
[0326]
n＝merge_idx1[xcb][ycb] (merge_idx1[xcb][ycb]＞＝m)？1：0
[0327]
此处，xcb、ycb是位于对象块的最左上方的像素值的位置信息。
[0328]
另外，当几何块分割合并的最大合并候补数为两个以下时，也可以不对merge_idx1进行解码。这是因为当几何块分割合并的最大合并候补数为两个以下时，与merge_idx1对应的合并列表中的合并索引会被指定为与利用merge_idx0选择的合并列表中的合并索引不同的另一个合并索引。
[0329]
[变更例6：几何块分割合并有效时的合并列表创建的控制]
[0330]
下面，参考图23及图24，着眼于与上述第二实施方式的不同点对本发明的变更例6进行说明。具体来说，参考图23及图24，对本变更例的几何块分割合并有效时的合并列表创建的控制进行说明。
[0331]
图23及图24是示出几何块分割合并有效时的对象块中的几何块分割方式的一个例子及对象块的空间合并与时间合并的位置关系的一个例子的图。
[0332]
当对象块为图23所示的几何块分割方式时，与跨越块分割边界线的两个区域m/n最接近的具有运动信息的相邻块对于m来说为b2，对于n来说为b1/a1/a0/b
0/
c1。
[0333]
并且，当对象块为图21所示的几何块分割方式时，与跨越分割边界的两个区域m/n最接近的具有运动信息的相邻块对于m来说为c1，对于n为b1/a0/a1/b0/b2。
[0334]
当几何块分割有效时，通过将与上述m/n最接近的相邻块的运动信息容易地登记在合并列表中，可以期待提高预测精度的效果。
[0335]
并且，从提高预测精度的观点出发，通过降低b1/b0或a1/a0这种在空间上处于相似位置的运动信息在合并列表中的登记优先级，将b2或c1等处于不同空间位置的运动信息添加在合并列表中，可以期待进一步提高预测精度的效果。
[0336]
此外，如上所述，若将最接近的相邻块的运动信息作为索引编号较小的合并索引登记在合并列表中，则能够提高编码效率。
[0337]
例如，通过上述构成，当想要变更在合并列表中的登记优先级的运动信息为b0及a0的运动信息时，即使假设在运动信息是否可利用确认处理中确认到在这些位置存在运动信息，也将运动信息视为不可利用，由此，能够提高将与继b0及a0之后的b2及c1对应的运动信息登记在合并列表中的概率。
[0338]
[变更例7：其他的运动信息的登记优先级变更方法]
[0339]
下面，着眼于与上述第二实施方式及变更例6的不同点对本发明的变更例7进行说明。在上述变更例6中，几何块分割合并有效时的运动信息的登记优先级的变更处理能够通过例如即使在存在运动信息时或在确认到与已登记完成的运动信息的被同一性时，也将空间合并处理中的特定位置、例如b0及a0的运动信息视为不可利用，来间接提高后续的在空间上或时间上相邻的运动信息、例如b2或c1(c0)的运动信息被登记的概率(优先级)。
[0340]
另一方面，下面对其他变更运动信息的登记优先级的方案进行说明。
[0341]
例如，可以将图17所示的合并列表的步骤s14-1的空间合并及步骤s14-2的时间合并的处理顺序拆分，直接变更登记运动信息的顺序。例如，当应用几何块分割合并时，在空间合并处理中的b0及a0之前，实施空间合并的b2及通过时间合并被登记的运动信息c1或c0(以下表示为col)。
[0342]
例如，考虑如下两个实施例。
[0343]
实施例1：根据是否应用几何块分割合并，使正常合并的合并列表与合并列表分支的方法
[0344]
if(！merge_geo_flag)
[0345]
i＝0
[0346]
if(availableflagb1)
[0347]
mergecandlist[i ]＝b1
[0348]
if(availableflaga1)
[0349]
mergecandlist[i ]＝a1
[0350]
if(availableflagb0)
[0351]
mergecandlist[i ]＝b0
[0352]
if(availableflaga0)
[0353]
mergecandlist[i ]＝a0
[0354]
if(availableflagb2)
[0355]
mergecandlist[i ]＝b2
[0356]
if(availableflagc1)
[0357]
mergecandlist[i ]＝col
[0358]
else
[0359]
i＝0
[0360]
if(availableflagb1)
[0361]
mergecandlist[i ]＝b1
[0362]
if(availableflaga1)
[0363]
mergecandlist[i ]＝a1
[0364]
if(availableflagb2)
[0365]
mergecandlist[i ]＝b2
[0366]
if(availableflagc1
[0367]
mergecandlist[i ]＝col
[0368]
if(availableflagb0)
[0369]
mergecandlist[i ]＝b0
[0370]
if(availableflaga0)
[0371]
mergecandlist[i ]＝a0
[0372]
此处，merge_geo_flag是携带是否应用几何块分割合并的判断结果的内部参数，当该参数为0时，表示不应用几何块分割合并，当该参数为1时，表示应用几何块分割合并。
[0373]
并且，availableflag是携带针对空间合并及时间合并的各合并候补的上述运动信息是否可利用确认处理的判断结果的内部参数。当该参数为0时，表示不存在运动信息，当该参数为1时，表示存在运动信息。
[0374]
并且，mergecandlist表示各位置的运动信息的登记处理。在最开始的if句中，通过merge_geo_flag来判断是否应用几何块分割合并，当判断为不应用时，进入与正常合并同样的合并列表创建处理，当判断为应用时，进入将正常合并更换为运动信息是否可利用确认处理与运动信息登记及裁剪处理的几何块分割合并的合并列表创建处理。
[0375]
实施例2：部分共用正常合并与几何块分割合并的合并列表创建的方法
[0376]
i＝0
[0377]
if(availableflagb1)
[0378]
mergecandlist[i ]＝b1
[0379]
if(availableflaga1)
[0380]
mergecandlist[i ]＝a1
[0381]
if(availableflagb0&&！merge_geo_flag)
[0382]
mergecandlist[i ]＝b0
[0383]
if(availableflaga0&&！merge_geo_flag)
[0384]
mergecandlist[i ]＝a0
[0385]
if(availableflagb2)
[0386]
mergecandlist[i ]＝b2
[0387]
if(availableflagc1)
[0388]
mergecandlist[i ]＝col
[0389]
if(availableflagb0&&merge_geo_flag)
[0390]
mergecandlist[i ]＝b0
[0391]
if(availableflaga0&&merge_geo_flag)
[0392]
mergecandlist[i ]＝a0
[0393]
在该实施例2中，合计处理级数相对于实施例1有所增加，但由于将面向几何块分割合并的合并列表与正常合并列表部分共用，因此，如实施例1所述，有可以不具有完全独立的合并列表创建处理回路资源这一优点。
[0394]
并且，在上述构成中，示出了使b2及col的登记优先级高于b0及a0的构成，但也可以使b2及col的登记优先级高于b1及a1。作为其他构成例，例如可以使b2或col中任一者的优先级高于b0及a0，也可以使b2或col中任一者的优先级高于b1及a1。
[0395]
另外，当b2在b1、a1、b0、a0之前被登记在合并列表中时，也可以取消上述所示的b2同与b1、a1、b0、a对应的运动信息的同一性确认(比较条件)。另一方面，在登记与b1及a1对应的运动信息时，也可以追加同与b2对应的运动信息的同一性确认。
[0396]
并且，在上文中，叙述了创建合并列表过程中的运动信息的登记优先级的变更方法，但也可以在创建合并列表后，利用以下所说明的方法变更登记优先级。
[0397]
具体来说，当在合并列表中登记运动信息时，将与任一合并处理及任一位置对应的运动信息是否被登记作为内部参数预先保存，直到解码(选取)出运动矢量。由此，通过在合并列表构建完成后，对利用空间合并b0及a0所登记的运动信息等针对特定合并处理及特定位置的运动信息的合并索引编号与时间合并col的合并索引编号进行顺序变更，能够使时间合并col的优先级高于空间合并b0及a0(可以实现与较小的合并索引编号的关联)。也可以使用同样的方法，来实现上述间接或直接变更运动信息的登记优先级的顺序的例子。
[0398]
如上所述，作为在合并列表创建处理后实施运动信息的登记优先级变更的附带效果，能够共用几何块分割合并有效时的合并列表创建处理与正常合并中的合并列表创建处理。
[0399]
具体来说，能够共用正常合并与几何块分割合并中的合并列表创建处理中的运动信息是否可利用确认处理以及运动信息登记及裁剪处理中的各合并处理的处理顺序。
[0400]
[变更例8：根据块尺寸的合并列表创建顺序的变更]
[0401]
下面，着眼于与上述第二实施方式及变更例6至7的不同点对本发明的变更例8进行说明。
[0402]
在上述变更例6及变更例7中，作为运动信息的登记优先级的变更判断基准，示出了基于是否应用几何块分割合并进行判断的构成。
[0403]
另一方面，在本变更例中，作为该判断基准，可以基于几何块分割方式进行判断，
也可以基于对象块的块尺寸及高宽比进行判断。
[0404]
根据该构成，通过确认到几何块分割方式的程度，变更合并列表的运动信息的登记优先级，可以期待进一步提高预测精度的效果。
[0405]
(两个不同的运动信息的选择(解码)方法)
[0406]
下面，对本实施方式的几何块分割合并有效时的两个不同的运动信息的选择(解码)方法进行说明。
[0407]
上文中叙述了当几何块分割合并有效时，对象块跨越分割边界线具有两个不同的运动信息。并且，上文中叙述了对于这两个不同的运动信息，编码装置100从上述合并列表中选取编码成本最小的运动信息，使用针对各个分割区域m/n的两个合并索引merge_geo_idx0及merge_geo_idx1，来指定合并列表的合并索引编号，并传输至图像解码装置200，解码出对应的运动信息。
[0408]
另一方面，当在所指定的合并索引编号下登记有两个运动信息时，具体来说，当在上述合并处理中登记的相邻块为双向预测(l0及l1中分别具有运动信息)时，这两个运动信息有可能被登记在一个合并索引下，因此，需要选择任一运动信息。
[0409]
下面，对该选择方法的一个例子进行说明。
[0410]
例如，作为一个构成例，可以列举按照合并列表的合并索引的编号顺序，预先设定要解码的运动信息的优先级的方法。具体来说，在合并索引编号的处理顺序上，例如若为偶数编号0、2、4，则优先对登记在合并索引的l0中的运动信息进行解码，若为奇数编号1、3、5的合并索引，则优先对登记在l1中的运动信息进行解码。
[0411]
在上述构成例中，当不存在与各编号顺序对应的l0或l1的运动信息时，可以对存在的一方的运动信息进行解码。并且，也可以将与偶数和奇数对应的l0和l1对调。
[0412]
以下还将示出其他构成例。例如，也可以将包含对象块的对象帧同与l0及l1对应的参考索引所表示的参考帧的距离进行比较，优先对包含距离较近的参考帧的运动信息进行解码。
[0413]
如上所述，当在几何块分割合并有效时，针对分割区域的合并索引，有两个不同的运动信息登记在合并列表中时，优先对包含距对象帧的距离较近的参考帧的运动信息进行解码，由此，可以期待降低预测误差的效果。
[0414]
另外，当与两个不同的运动信息对应的参考帧与对象帧的距离差相同时，如上所述，可以采用预先对合并列表的合并索引的编号设定的优先级，即当为偶数编号0、2、4时，优先处理登记在l0中的运动信息，当为奇数编号1、3、5时，优先处理登记在l1中的运动信息。
[0415]
根据对象帧的图片顺序计数(poc：pitcure order count)，与l0及l1中包含的参考帧的距离差会相同，因此，也可以按照上述方式确定优先级。
[0416]
或者，也可以利用合并列表的合并索引编号，选择与利用前一个索引编号选择出的列表相反的列表。例如，在利用第0个合并索引选择l0时，可以利用合并列表的第一个合并索引选择相反的列表l1。另外，当在合并列表的第0个合并索引中，该帧距离差相同时，也可以参考l0。
[0417]
在上文中，示出了优先对对象帧与参考帧的距离较近的运动信息进行解码的构成例，相反，也可以对对象帧与参考帧的距离较远的运动信息进行解码。
[0418]
并且，也可以利用针对各个分割区域m/n的两个合并索引merge_geo_idx0及merge_geo_idx1，对距离较近的运动信息及距离较远的运动信息进行解码，以此方式分别改变运动信息的解码优先级。
[0419]
(几何块分割合并中的预测信号生成处理)
[0420]
下面，对本实施方式的几何块分割合并有效时的预测信号生成处理方法进行说明。
[0421]
上文中叙述了当几何块分割合并有效时，对象块跨越分割边界线具有两个不同的运动信息。此时，针对对象块，利用依赖于距分割边界线的距离的权重将基于这两个不同的运动矢量生成的运动补偿预测信号加权平均(混合)，由此，可以期待分割边界线处的像素值的平滑效果。
[0422]
关于上述权重，例如，针对一种几何块分割方式，图像编码装置100及图像解码装置200具有一个权重表(混合表)，由此，只要可以指定几何块分割方式，便可以实现适合几何块分割方式的混合处理。
[0423]
根据上述实施方式，通过对被矩形分割的对象块应用几何块分割合并，来为出现在任意方向的对象边界选择合适的块分割形状，结果可以实现通过降低预测误差来提高编码性能的效果及通过为对象边界选择合适的块分割边界来提高主观画质的效果。
[0424]
另外，合并列表创建部111a2也可以构成为根据是否应用几何块分割合并，在运动信息是否可利用确认处理时，无论针对特定合并处理的运动信息是否存在，都将上述运动信息视为不可利用。
[0425]
并且，合并列表创建部111a2也可以构成为根据是否应用几何块分割合并，在运动信息登记及裁剪处理时，无论与已经登记在合并列表中的运动信息的同一性如何，都将针对特定合并处理的运动信息视为裁剪对象，即，不新登记在合并列表中。
[0426]
上述图像编码装置100及图像解码装置200也可以通过使计算机执行各功能(各步骤)的程序来实现。
[0427]
另外，在上述各实施方式中，以将本发明应用于图像编码装置100及图像解码装置200为例进行了说明，但本发明并不仅限于此，同样也可以应用于具有图像编码装置100及图像解码装置200的各功能的图像编码/解码系统。
[0428]
[符号的说明]
[0429]
10 图像处理系统
[0430]
100 图像编码装置
[0431]
111、241 帧间预测部
[0432]
111a mv导出部
[0433]
111a1、241a1 amvp部
[0434]
111a2、241a2 合并部
[0435]
111b、241b mv细化部
[0436]
111c、241c 预测信号生成部
[0437]
111a21、241a21 合并模式指定部
[0438]
111a22、241a22 几何块分割部
[0439]
111a23、241a23 合并列表创建部
[0440]
112、242 帧内预测部
[0441]
121 减法器
[0442]
122、230 加法器
[0443]
131 变换及量化部
[0444]
132、220 逆变换及逆量化部
[0445]
140 编码部
[0446]
150、250 环路滤波处理部
[0447]
160、260 帧缓冲器
[0448]
200 图像解码装置
[0449]
210 解码部