运动图像解码装置的制作方法

1.本发明的实施方式涉及运动图像解码装置。


背景技术：

2.为了高效地传输或记录运动图像，使用通过对运动图像进行编码而生成编码数据的运动图像编码装置，以及通过对该编码数据进行解码而生成解码图像的运动图像解码装置。
3.作为具体的运动图像编码方式，例如可以列举出h.264/avc、hevc(high
‑
efficiency video coding：高效运动图像编码)方式等。
4.在这样的运动图像编码方式中，构成运动图像的图像(图片)通过分级结构来管理，并按每个cu进行编码/解码，所述分级结构包括通过分割图像而得到的切片、通过分割切片而得到的编码树单元(ctu：coding tree unit)、通过分割编码树单元而得到的编码单位(有时也称为编码单元(coding unit：cu))以及通过分割编码单位而得到的变换单元(tu：transform unit)。
5.此外，在这样的运动图像编码方式中，通常，基于通过对输入图像进行编码/解码而得到的局部解码图像而生成预测图像，对从输入图像(原图像)中减去该预测图像而得到的预测误差(有时也称为“差分图像”或“残差图像”)进行编码。作为预测图像的生成方法，可列举出画面间预测(帧间预测)和画面内预测(帧内预测)。
6.此外，作为近年来的运动图像编码和解码的技术，可列举出非专利文献1。
7.现有技术文献
8.非专利文献
9.非专利文献1：“versatile video coding(draft4)”，jvet
‑
m1001，joint video exploration team(jvet)of itu
‑
t sg 16 wp 3 and iso/iec jtc1/sc 29/wg 11，2019


技术实现要素：

10.发明要解决的问题
11.非专利文献1的在推导双向预测图像时，使用dmvr处理、bdof处理的预测(bdof预测)存在处理的复杂度高这一问题，其中，dmvr处理使用两个预测图像修正运动矢量以提高预测图像的图像质量，bdof处理利用梯度图像提高预测图像的图像质量。
12.本发明的实施方式的目的在于，实现降低这些图像质量提高处理的复杂度的图像解码装置以及图像编码装置。
13.技术方案
14.为了解决上述问题，本发明的一个方案的图像解码装置具有帧间预测参数解码部，其具有根据两个预测图像的误差修正两个运动矢量的处理，在两个预测图像均不为加权预测的情况的情况下进行修正所述两个运动矢量的处理。
15.此外，本发明的一个方案的图像编码装置具有帧间预测参数编码部，其具有根据
两个预测图像的误差修正两个运动矢量的处理，在两个预测图像均不为加权预测的情况的情况下进行修正所述两个运动矢量的处理。
16.通过采用这样的构成，在应用加权预测的情况下，无法准确进行误差评估而得不到效果，因此能通过限制应用条件来降低整体的处理量。
17.此外，本发明的一个方案的图像解码装置具有：帧间预测参数解码部，具有根据两个预测图像的误差值修正两个运动矢量的处理；以及双向梯度变化处理部，使用梯度图像生成预测图像，其中，所述梯度图像根据使用通过所述帧间预测参数解码部解码的参数生成的两个插补图像推导出，使用所述两个预测图像的误差值进行是否应用由所述双向梯度变化处理部进行的处理的判定。
18.此外，本发明的一个方案的图像编码装置具有：帧间预测参数编码部，具有根据两个预测图像的误差值修正两个运动矢量的处理；以及双向梯度变化处理部，使用梯度图像生成预测图像，其中，所述梯度图像根据使用通过所述帧间预测参数解码部解码的参数生成的两个插补图像推导出，使用所述两个预测图像的误差值进行是否应用由所述双向梯度变化处理部进行的处理的判定。
19.通过采用这样的构成，为了修正运动矢量需要求出误差值，另一方面，在双向梯度变化处理部中，在误差小的情况下没有效果，因此，通过加上这样的处理，无需追加追加的误差值，就能进行应用由双向梯度变化处理部进行的处理的判定，能降低整体的处理量。
20.有益效果
21.根据以上的构成，能实现降低了图像质量提高处理的复杂性的图像解码装置以及图像编码装置。
附图说明
22.图1是表示本实施方式的图像传输系统的构成的概略图。
23.图2是表示搭载有本实施方式的运动图像编码装置的发送装置和搭载有运动图像解码装置的接收装置的构成的图。图2的(a)表示搭载有运动图像编码装置的发送装置，图2的(b)表示搭载有运动图像解码装置的接收装置。
24.图3是表示搭载有本实施方式的运动图像编码装置的记录装置和搭载有运动图像解码装置的再现装置的构成的图。图3的(a)表示搭载有运动图像编码装置的记录装置，图3的(b)表示搭载有运动图像解码装置的再现装置。
25.图4是表示编码流的数据的分级结构的图。
26.图5是表示ctu的分割例的图。
27.图6是表示参照图片和参照图片列表的一个示例的概念图。
28.图7是表示运动图像解码装置的构成的概略图。
29.图8是表示帧间预测参数解码部的构成的概略图。
30.图9是表示合并预测参数推导部和amvp预测参数推导部的构成的概略图。
31.图10是表示dmvr部的构成的概略图。
32.图11是表示dmvr部中的处理的流程的流程图。
33.图12是说明通过dmvr进行基于误差阈值处理的bdof的判定的处理的流程图。
34.图13是表示预测图像生成部中所包括的帧间预测图像生成部的构成的概略图。
35.图14是表示运动图像解码装置中的预测模式的选择处理的流程的一个示例的流程图。
36.图15是说明推导预测图像的处理的流程的流程图。
37.图16是表示bdof部的构成的概略图。
38.图17是表示bdof部执行填充的区域的一个示例的图。
39.图18是表示运动图像编码装置的构成的概略图。
40.图19是表示参数编码部的构成的概略图。
41.图20是表示运动图像编码装置中的搜索距离的候选数和推导方向的候选数的一个示例的图。
具体实施方式
42.(第一实施方式)
43.以下，参照附图对本发明的实施方式进行说明。
44.图1是表示本实施方式的图像传输系统1的构成的概略图。
45.图像传输系统1是传输对编码对象图像进行编码而得到的编码流，对所传输的编码流进行解码并显示图像的系统。图像传输系统1构成为包括：运动图像编码装置(图像编码装置)11、网络21、运动图像解码装置(图像解码装置)31以及运动图像显示装置(图像显示装置)41。
46.运动图像编码装置11被输入图像t。
47.网络21将运动图像编码装置11生成的编码流te传输至运动图像解码装置31。网络21是互联网(intemet)、广域网(wan：wide area network)、小型网络(lan：local area network，局域网)或它们的组合。网络21不一定限定于双向的通信网，也可以是传输地面数字广播、卫星广播等广播波的单向的通信网。此外，网络21也可以用dvd(digital versatile disc：数字通用光盘，注册商标)、bd(blue
‑
ray disc：蓝光光盘，注册商标)等记录有编码流te的存储介质代替。
48.运动图像解码装置31对网络21所传输的编码流te分别进行解码，生成解码后的一个或多个解码图像td。
49.运动图像显示装置41显示运动图像解码装置31所生成的一个或多个解码图像td的全部或一部分。运动图像显示装置41例如具备液晶显示器、有机el(electro
‑
luminescence：电致发光)显示器等显示设备。作为显示器的形式，可列举出固定式、移动式、hmd(head mount display：头戴式显示器)等。此外，运动图像显示装置41在运动图像解码装置31具有高处理能力的情况下显示画质高的图像，在仅具有较低处理能力的情况下显示不需要高处理能力、高显示能力的图像。
50.<运算符>
51.以下记述在本说明书中使用的运算符。
52.＞＞为向右位移，＜＜为向左位移，&为逐位and，|为逐位or，|＝为or代入运算符，||表示逻辑和。
53.x？y：z是在x为真(0以外)的情况下取y、在x为假(0)的情况下取z的3项运算符。
54.clip3(a，b，c)是将c裁剪到a以上b以下的值的函数，是在c＜a的情况下返回a、在c
＞b的情况下返回b、在其他情况下返回c的函数(其中a＜＝b)。
55.abs(a)是返回a的绝对值的函数。
56.int(a)是返回a的整数值的函数。
57.floor(a)是返回a以下的最大整数的函数。
58.ceil(a)是返回a以上的最小整数的函数。
59.a/d表示a除以d(舍去小数点以下)。
60.sign(a)是返回a的符号(sign)的函数。
61.a^b表示a的b次方。
62.<编码流te的结构>
63.在对本实施方式的运动图像编码装置11和运动图像解码装置31进行详细说明之前，对由运动图像编码装置11生成并由运动图像解码装置31进行解码的编码流te的数据结构进行说明。
64.图4是表示编码流te中的数据的分级结构的图。编码流te示例性地包括序列和构成序列的多张图片。图4的(a)～(f)分别是表示既定序列seq的编码视频序列、规定图片pict的编码图片、规定切片s的编码切片、规定切片数据的编码切片数据、编码切片数据中所包括的编码树单元以及编码树单元中所包括的编码单元的图。
65.(编码视频序列)
66.在编码视频序列中，规定有供运动图像解码装置31参照以便对处理对象的序列seq进行解码的数据的集合。序列seq如图4的(a)所示，包括视频参数集(video parameter set)、序列参数集sps(sequence parameter set)、图片参数集pps(picture parameter set)、图片pict以及补充增强信息sei(supplemental enhancement information)。
67.视频参数集vps在由多层构成的运动图像中，规定有多个运动图像通用的编码参数的集合，以及运动图像中包括的多层和与各层关联的编码参数的集合。
68.在序列参数集sps中，规定有供运动图像解码装置31参照以便对对象序列进行解码的编码参数的集合。例如，规定有图片的宽度、高度。需要说明的是，sps可以存在多个。在该情况下，从pps中选择多个sps中的任一个。
69.在图片参数集pps中，规定有供运动图像解码装置31参照以便对对象序列内的各图片进行解码的编码参数的集合。例如包括用于图片的解码的量化宽度的基准值(pic_init_qp_minus26)、指示加权预测的应用的标志(weighted_pred_flag)。需要说明的是，pps可以存在多个。在该情况下，从对象序列内的各图片中选择多个pps中的任一个。
70.(编码图片)
71.在编码图片中，规定有供运动图像解码装置31参照以便对处理对象的图片pict进行解码的数据的集合。图片pict如图4的(b)所示，包括切片0～切片ns
‑
1(ns为图片pict中所包括的切片的总数)。
72.需要说明的是，以下，在无需对各切片0～切片ns
‑
1进行区分的情况下，有时会省略附图标记的下标来进行记述。此外，以下所说明的编码流te中包括的且带有下标的其他数据也是同样的。
73.(编码切片)
74.在编码切片中，规定有供运动图像解码装置31参照以便对处理对象的切片s进行
解码的数据的集合。切片如图4的(c)所示包括切片标头和切片数据。
75.切片报头中包括供运动图像解码装置31参照以便确定对象切片的解码方法的编码参数组。指定切片类型的切片类型指定信息(slice_type)是切片报头中包括的编码参数的一个示例。
76.作为能由切片类型指定信息指定的切片类型，可列举出：(1)在进行编码时仅使用帧内预测的i切片、(2)在进行编码时使用单向预测或帧内预测的p切片以及(3)在进行编码时使用单向预测、双向预测或帧内预测的b切片等。需要说明的是，帧间预测不限于单向预测、双向预测，也可以使用更多的参照图片来生成预测图像。以下，称为p、b切片的情况是指包括能使用帧间预测的块的切片。
77.需要说明的是，切片报头中也可以包括对图片参数集pps的参照(pic_parameter_set_id)。
78.(编码切片数据)
79.在编码切片数据中，规定有供运动图像解码装置31参照以便对处理对象的切片数据进行解码的数据的集合。切片数据如图4的(d)所示包括ctu。ctu是构成切片的固定大小(例如64
×
64)的块，也称为最大编码单位(lcu：largest coding unit)。
80.(编码树单元)
81.在图4的(e)中，规定有供运动图像解码装置31参照以便对处理对象的ctu进行解码的数据的集合。ctu通过递归的四叉树分割(qt(quad tree)分割)、二叉树分割(bt(binary tree)分割)或三叉树分割(tt(ternary tree)分割)分割成作为编码处理的基本单位的编码单元cu。将bt分割和tt分割统称为多叉树分割(mt(multi tree)分割)。将通过递归的四叉树分割而得到的树形结构的节点称为编码节点(coding node)。四叉树、二叉树以及三叉树的中间节点为编码节点，ctu本身也被规定为最上层的编码节点。
82.ct包括以下信息作为ct信息：表示是否进行qt分割的qt分割标志(qt_split_cu_flag)、表示有无mt分割的mt分割标志(mtt_split_cu_flag)、表示mt分割的分割方向的mt分割方向(mtt_split_cu_vertical_flag)、表示mt分割的分割类型的mt分割类型(mtt_split_cu_binary_flage)。qt_split_cu_flag、mtt_split_cu_flag、mtt_split_cu_vertical_flag、mtt_split_cu_binary_flag按每个编码节点传输。
83.图5是表示ctu的分割例的图。在qt_split_cu_flag为1的情况下，编码节点分割成4个编码节点(图5的(b))。
84.在qt_split_cu_flag为0时，mtt_split_cu_flag为0的情况下，不分割编码节点，而保持1个cu作为节点(图5的(a))。cu为编码节点的末端节点，且不进行进一步分割。cu为编码处理的基本单位。
85.在mtt_split_cu_flag为1的情况下如下所述地对编码节点进行mt分割。在mtt_split_cu_vertical_flag为0且mtt_split_cu_binary_flag为1的情况下将编码节点水平分割成2个编码节点(图5的(d))，在mtt_split_cu_vertical_flag为1且mtt_split_cu_binary_flag为1的情况下将编码节点垂直分割成2个编码节点(图5的(c))。此外，在mtt_split_cu_vertical_flag为0且mtt_split_cu_binary_flag为0的情况下将编码节点水平分割成3个编码节点(图5的(f))，在mtt_split_cu_vertical_flag为1且mtt_split_cu_binary_flag为0的情况下将编码节点垂直分割成3个编码节点(图5的(e))。将它们在图5的
(g)中示出。
86.此外，在ctu的大小为64
×
64像素的情况下，cu的大小可以取64
×
64像素、64
×
32像素、32
×
64像素、32
×
32像素、64
×
16像素、16
×
64像素、32
×
16像素、16
×
32像素、16
×
16像素、64
×
8像素、8
×
64像素、32
×
8像素、8
×
32像素、16
×
8像素、8
×
16像素、8
×
8像素、64
×
4像素、4
×
64像素、32
×
4像素、4
×
32像素、16
×
4像素、4
×
16像素、8
×
4像素、4
×
8像素以及4
×
4像素中的任一种。
87.(编码单元)
88.如图4的(f)所示，在cu中规定有供运动图像解码装置31参照以便对处理对象的编码单元进行解码的数据的集合。具体而言，cu中由cu报头cuh、预测参数、变换参数、量化变换系数等构成。在cu报头中规定有预测模式等。
89.预测处理存在以cu为单位进行的情况和以进一步分割cu而得到的子cu为单位进行的情况。在cu与子cu的大小相等的情况下，cu中的子cu为1个。在cu的大小大于子cu的大小的情况下，cu被分割成子cu。例如，在cu为8
×
8、子cu为4
×
4的情况下，cu被分割成4个子cu，包括水平分割的两部分和垂直分割的两部分。
90.预测的种类(预测模式)存在帧内预测和帧间预测两种。帧内预测是同一图片内的预测，帧间预测是指在互不相同的图片间(例如显示时刻间)进行的预测处理。
91.变换/量化部处理以cu为单位来进行，但量化变换系数也可以以4
×
4等子块为单位来进行熵编码。
92.(预测参数)
93.预测图像由附加于块的预测参数推导。预测参数中存在帧内预测和帧间预测的预测参数。
94.以下，对帧间预测的预测参数进行说明。帧间预测参数由预测列表利用标志predflagl0、predflagl1、参照图片索引refidxl0、refidxl1以及运动矢量mvl0、mvl1构成。预测列表利用标志predflagl0、predflagl1是表示是否将各个被称为l0列表、l1列表的参照图片列表用于帧间预测的标志，在值为1的情况下将对应的参照图片列表用于帧间预测。需要说明的是，在本说明书中记为“表示是否为
××
的标志”的情况下，将标志为0以外(例如1)设为是
××
的情况，将标志为0设为不是
××
的情况，在逻辑非、逻辑积等中将1视为真，将0视为假(以下同样)。不过，在实际的装置、方法中也可以使用其他值作为真值、假值。
95.用于推导帧间预测参数的语法要素中，例如有仿射标志affine_flag、合并标志merge_flag、合并索引merge_idx、帧间预测标识符inter_pred_idc、参照图片索引refidxlx、预测矢量索引mvp_lx_idx、差分矢量mvdlx以及运动矢量精度模式amvr_mode。
96.(参照图片列表)
97.参照图片列表是由存储于参照图片存储器306的参照图片构成的列表。图6是表示参照图片和参照图片列表的一个示例的概念图。在图6的(a)中，矩形表示图片，箭头表示图片的参照关系，横轴表示时间，矩形中的i、p、b分别表示帧内图片、单向预测图片、双向预测图片，矩形中的数字表示解码顺序。如图6的(a)所示，图片的解码顺序为i0、p1、b2、b3、b4，显示顺序为i0、b3、b2、b4、p1。图6的(b)中示出图片b3(对象图片)的参照图片列表的示例。参照图片列表是表示参照图片的候选的列表，一张图片(切片)可以具有一个以上的参照图片列表。在图6的(b)的示例中，对象图片b3具有l0列表refpiclist0和l1列表refpiclist1
这两个参照图片列表。在各cu中，由参照图片索引refidxlx指定实际上以参照图片列表refpiclistx(x＝0或1)中的哪一张图片来进行参照。图6的(b)是refidxl0＝2、refidxl1＝0的示例。需要说明的是，lx是在不对l0预测和l1预测进行区分的情况下使用的记述方法，以下，通过将lx置换为l0、l1对针对l0列表的参数和针对l1列表的参数进行区分。
98.(合并预测和amvp预测)
99.预测参数的解码(编码)方法中有合并预测(merge)模式和amvp(advanced motion vector prediction：先进运动矢量预测、自适应运动矢量预测)模式，合并标志merge_flag是用于识别它们的标志。合并预测模式是不将预测列表利用标志predflaglx(或帧间预测标识符inter_pred_idc)、参照图片索引refidxlx、运动矢量mvlx包括于编码数据而从已处理的附近块的预测参数推导出的模式。amvp模式是将帧间预测标识符inter_pred_idc、参照图片索引refidxlx、运动矢量mvlx包括于编码数据的模式。需要说明的是，运动矢量mvlx被编码为识别预测矢量mvplx的预测矢量索引mvp_lx_idx、差分矢量mvdlx以及运动矢量精度模式amvr_mode。合并预测模式是选择从邻接块的运动信息等推导出的合并候选来获得运动矢量mvlx(运动矢量信息)的模式。此外，除了合并预测模式之外，还可以有通过仿射标志affine_flag识别的仿射预测模式。作为合并预测模式的一个方式，可以有通过跳过标志skip_flag识别的跳过模式。需要说明的是，跳过模式是指通过与合并模式同样的方法推导出预测参数的所使用的模式，并且是不将预测误差(残差图像、残差信息)包括在编码数据中的模式。换言之，在跳过标志skip_flag为1的情况下，关于对象cu，仅包括该跳过标志skip_flag和合并索引merge_idx等与合并模式关联的语法，运动矢量、残差信息等不包括于编码数据。
100.(运动矢量)
101.运动矢量mvlx表示不同的两张图片上的块间的移位量。将与运动矢量mvlx有关的预测矢量、差分矢量分别称为预测矢量mvplx、差分矢量mvdlx。
102.(帧间预测标识符inter_pred_idc和预测列表利用标志predflaglx)
103.帧间预测标识符inter_pred_idc是表示参照图片的种类和数量的值，取pred_l0、pred_l1、pred_bi中的任一值。pred_l0、pred_l1分别表示使用在l0列表、l1列表中进行管理的一张参照图片的单向预测。pred_bi表示使用在l0列表和l1列表中进行管理的两张参照图片的双向预测bipred。
104.合并索引merge_idx是表示是否将从处理已完成的块推导出的预测参数候选(合并候选)中的任一个预测参数用作对象块的预测参数的索引。
105.帧间预测标识符inter_pred_idc与预测列表利用标志predflagl0、predflagl1的关系能如下进行相互变换。
106.inter_pred_idc＝(predflagl1＜＜1) predflagl0
107.predflagl0＝inter_pred_idc&1
108.predflagl1＝inter_pred_idc＞＞1
109.(双向预测bipred的判定)
110.是否为双向预测bipred的标志bipred能根据两个预测列表利用标志是否均为1而推导出。例如能通过以下算式推导出。
111.bipred＝(predflagl0＝＝1&&predflagl1＝＝1)
112.或者，标志bipred也能根据帧间预测标识符是否是表示使用两个预测列表(参照图片)的值而推导出。例如能通过以下算式推导出。
113.bipred＝(inter_pred_idc＝＝pred_bi)？1：0
114.(运动图像解码装置的构成)
115.对本实施方式的运动图像解码装置31(图7)的构成进行说明。
116.运动图像解码装置31构成为包括：熵解码部301、参数解码部302、环路滤波器305、参照图片存储器306、预测参数存储器307、预测图像生成部(预测图像生成装置)308、逆量化/逆变换部311以及加法部312。需要说明的是，根据后文所述的运动图像编码装置11，也存在运动图像解码装置31中不包括环路滤波器305的构成。
117.参数解码部302还具备未图示的报头解码部3020、ct信息解码部3021以及cu解码部3022(预测模式解码部)，cu解码部3022还具备tu解码部3024。也可以将它们统称为解码模块。报头解码部3020从编码数据解码vps、sps、pps等参数集信息、切片报头(切片信息)。ct信息解码部3021从编码数据解码ct。cu解码部3022从编码数据解码cu。tu解码部3024在tu中包括预测误差的情况下，从编码数据解码qp更新信息(量化校正值)和量化预测误差(residual_coding)。
118.tu解码部3024在跳过模式以外(skip_mode＝＝0)的情况下从编码数据解码qp更新信息(量化校正值)和量化预测误差(residual_coding)。更具体而言，tu解码部3024在skip_mode＝＝0的情况下，从编码数据解码表示对象块中是否包括量化预测误差的标志cu_cbp，在cu_cbp为1的情况下对量化预测误差进行解码。在cu_cbp不存在于编码数据的情况下，tu解码部3024将cu_cbp推导为0。
119.此外，参数解码部302构成为包括未图示的帧间预测参数解码部303和帧内预测参数解码部304。预测图像生成部308构成为包括帧间预测图像生成部309和帧内预测图像生成部310。
120.此外，在下文中对将ctu、cu用作处理单位的示例进行了记载，但不限于此，也可以以子cu为单位进行处理。或者，也可以设为将ctu、cu替换为块，将子cu替换为子块，以块或者子块为单位进行的处理。
121.熵解码部301对从外部输入的编码流te进行熵解码，对各个代码(语法要素)进行解码。解码后的代码中存在用于生成预测图像的预测信息和用于生成差分图像的预测误差等。
122.熵解码部301将解码后的代码输出至参数解码部302。解码后的代码例如是指predmode、merge_flag、merge_idx、inter_pred_idc、refidxlx、mvp_lx_idx、mvdlx、amvr_mode等。基于参数解码部302的指示来进行对哪一个代码进行解码的控制。
123.(帧间预测参数解码部的构成)
124.帧间预测参数解码部303基于从熵解码部301输入的代码，参照存储于预测参数存储器307的预测参数来对帧间预测参数进行解码。此外，帧间预测参数解码部303将解码后的帧间预测参数输出至预测图像生成部308，存储于预测参数存储器307。
125.图8是表示本实施方式的帧间预测参数解码部303的构成的概略图。帧间预测参数解码部303构成为包括：合并预测部30374、dmvr部30375、子块预测部(仿射预测部)30372、mmvd预测部30376、三角形(triangle)预测部30377、amvp预测参数推导部3032以及加法部
3038。合并预测部30374构成为包括合并预测参数推导部3036。amvp预测参数推导部3032、合并预测参数推导部3036、仿射预测部30372是在运动图像编码装置、运动图像解码装置中通用的部，因此也可以将这些总称为运动矢量推导部(运动矢量推导装置)。
126.(仿射预测部)
127.仿射预测部30372推导出对象块的仿射预测参数。在本实施方式中，作为仿射预测参数，推导出对象块的两个控制点(v0、v1)的运动矢量(mv0_x，mv0_y)(mv1_x，mv1_y)。具体而言，可以通过根据对象块的邻接块的运动矢量进行预测来推导出各控制点的运动矢量，也可以通过被推导为控制点的运动矢量的预测矢量与从编码数据推导出的差分矢量之和推导出各控制点的运动矢量。
128.(合并预测)
129.图9的(a)是表示合并预测部30374中所包括的合并预测参数推导部3036的构成的概略图。合并预测参数推导部3036具备合并候选推导部30361、合并候选选择部30362。需要说明的是，合并候选构成为包括：预测列表利用标志predflaglx、运动矢量mvlx以及参照图片索引refidxlx，储存于合并候选列表。索引按照规定的规则被分配至储存于合并候选列表的合并候选。
130.合并候选推导部30361直接使用已解码的邻接块的运动矢量和参照图片索引refidxlx来推导出合并候选。
131.储存于合并候选列表mergecandlist[]的顺序例如是空间合并候选a1、b1、b0、a0、b2、时间合并候选col、成对合并候选avgk、零合并候选zk。需要说明的是，不可利用的(块为帧内预测等)参照块不储存于合并候选列表。
[0132]
合并候选选择部30362通过以下的算式选择合并候选列表中所包括的合并候选中的合并索引merge_idx所示的合并候选n。
[0133]
n＝mergecandlist[merge_idx]
[0134]
在此，n是表示合并候选的标签，取a1、b1、b0、a0、b2、col、avgk、zk等。标签n所示的合并候选的运动信息由(mvlxn[0]，mvlxn[1])、predflaglxn、refidxlxn表示。
[0135]
合并候选选择部30362将所选出的合并候选的运动信息(mvlxn[0]，mvlxn[1])、predflaglxn、refidxlxn选作对象块的帧间预测参数。合并候选选择部30362将所选出的合并候选的的帧间预测参数存储于预测参数存储器307，并且输出至预测图像生成部308。
[0136]
(amvp预测)
[0137]
图9的(b)是表示本实施方式的amvp预测参数推导部3032的构成的概略图。amvp预测参数推导部3032具备矢量候选推导部3033和矢量候选选择部3034。矢量候选推导部3033基于参照图片索引refidxlx，根据预测参数存储器307所存储的已解码的邻接块的运动矢量mvlx推导出预测矢量候选，并储存于预测矢量候选列表mvplistlx[]。
[0138]
矢量候选选择部3034选择预测矢量候选列表mvplistlx[]的预测矢量候选中的预测矢量索引mvp_lx_idx所示的运动矢量mvplistlx[mvp_lx_idx]作为预测矢量mvplx。矢量候选选择部3034将所选出的预测矢量mvplx输出至加法部3038。
[0139]
需要说明的是，预测矢量候选通过对距对象块预先设定的范围的已解码邻接块的运动矢量进行缩放来推导出。需要说明的是，邻接块除了包括与对象块空间上邻接的块，例如左块、上块以外，还包括与对象块时间上邻接的区域，例如，根据包含与对象块相同的位
置，显示时刻不同的块的预测参数获得的区域。
[0140]
加法部3038将从amvp预测参数推导部3032输入的预测矢量mvplx和已解码的差分矢量mvdlx相加，计算出运动矢量mvlx。加法部3038将计算出的运动矢量mvlx输出至预测图像生成部308和预测参数存储器307。
[0141]
mvlx[0]＝mvplx[0] mvdlx[0]
[0142]
mvlx[1]＝mvplx[1] mvdlx[1]
[0143]
运动矢量精度模式amvr_mode是切换在amvp模式下推导出的运动矢量的精度的语法。例如，在amvr_mode＝0、1、2时切换1/4像素、1像素、4像素精度。
[0144]
在将运动矢量的精度设为1/16精度(mvprec＝16)的情况下，参数解码部302可以如下所述地使用由amvr_mode推导出的mvshift(＝1＜＜amvr_mode)来进行逆量化，用于将1/4、1、4像素精度的运动矢量差分变更为1/16像素精度的运动矢量差分。
[0145]
mvdlx[0]＝mvdlx[0]＜＜(mvshift 2)
[0146]
mvdlx[1]＝mvdlx[1]＜＜(mvshift 2)
[0147]
需要说明的是，参数解码部302还可以对以下的语法进行解码来推导出通过上述mvshift移位前的mvdlx[]。
[0148]
·
abs_mvd_greater0_flag
[0149]
·
abs_mvd_minus2
[0150]
·
mvd_sign_flag
[0151]
然后，参数解码部302通过使用以下的算式从语法解码差分矢量1mvd[]。
[0152]
1mvd[compidx]＝abs_mvd_greater0_flag[compidx]*(abs_mvd_minus2[compidx] 2)*(1
‑
2*mvd_sign_flag[compidx])
[0153]
而且，参数解码部302在平移mvd的情况(motionmodelidc[x][y]＝＝0)下将解码后的差分矢量1mvd[]设定为mvdlx，在控制点mvd的情况(motionmodelidc[x][y]！＝0)下，将解码后的差分矢量1mvd[]设定为mvdcplx。
[0154]
if(如果)(motionmodelidc[x][y]＝＝0)
[0155]
mvdlx[x0][y0][compidx]＝1mvd[compidx]
[0156]
else(否则)
[0157]
mvdcplx[x0][y0][compidx]＝1mvd[compidx]＜＜2
[0158]
(运动矢量缩放)
[0159]
对运动矢量的缩放的推导方法进行说明。当设为运动矢量mv(参照运动矢量)、包括具有mv的块的图片picmv、mv的参照图片picmvref、包括缩放后的运动矢量smv、具有smv的块的图片curpic、smv所参照的参照图片curpicref时，smv的推导函数mvscale(mv，picmv，picmvref，curpic，curpicref)通过以下算式表示。
[0160]
smv＝mvscale(mv，picmv，picmvref，curpic，curpicref)
[0161]
＝clip3(
‑
r1，r1
‑
1，sign(distscalefactor*mv)*((abs(distscalefactor*mv) round1
‑
1)＞＞shift1))
[0162]
distscalefactor＝clip3(
‑
r2，r2
‑
1，(tb*tx round2)＞＞shift2)
[0163]
tx＝(16384 abs(td)＞＞1)/td
[0164]
td＝diffpicordercnt(picmv，picmvref)
[0165]
tb＝diffpicordercnt(curpic，curpicref)
[0166]
在此，round1，round2，shift1，shift2是用于使用倒数进行除法的舍入值和移位值，例如，round1＝1＜＜(shift1
‑
1)、round2＝1＜＜(shift2
‑
1)、shift1＝8、shift2＝6等。diffpicordercnt(pic1，pic2)是返回pic1与pic2的时间信息(例如poc)之差的函数。r1、r2是对值域进行限制，以通过被限定的精度进行处理的值，例如，r1＝32768、r2＝4096等。
[0167]
此外，缩放函数mvscale(mv，picmv，picmvref，curpic，curpicref)可以是以下的算式。
[0168]
mvscale(mv，picmv，picmvref，curpic，curpicref)＝mv*diffpicordercnt(curpic，curpicref)/diffpicordercnt(picmv，picmvref)
[0169]
即，可以根据curpic与curpicref的时间信息之差和picmv与picmvref的时间信息之差的比对mv进行缩放。
[0170]
(dmvr部30375)
[0171]
接着，对dmvr部30375所进行的dmvr(decoder side motion vector refinement：解码器侧运动矢量修正)处理进行说明。dmvr处理是指使用两张参照图片修正运动矢量mvl0和mvl1的处理。
[0172]
图10是表示dmvr部30375的构成的概略图。使用图10对dmvr部30375所进行的具体的处理的内容进行说明。dmvr部30375具备：修正运动矢量搜索用预测图像生成部303751、初始误差生成部303752、运动矢量搜索部303753以及修正矢量推导部303754。
[0173]
dmvr部30375参照来自合并预测部30374的
[0174]
·
对象块的左上位置(xcb，ycb)
[0175]
·
对象块的宽度bw
[0176]
·
对象块的高度bh
[0177]
·
1/16像素精度的运动矢量mvl0和mvl1
[0178]
·
参照图片refpicl0l和refpicl1l
[0179]
推导出用于修正mvl0和mvl1的运动矢量的变化量dmvl0和dmvl1，并输出至帧间预测图像生成部309。
[0180]
首先，修正运动矢量搜索用预测图像生成部303751参照
[0181]
·
对象子块的左上位置(xsb，ysb)
[0182]
·
亮度的对象子块的宽度sbw
[0183]
·
亮度的对象子块的高度sbh
[0184]
·
运动矢量mvlx(x＝0，1)
[0185]
·
参照图片refpiclxl(x＝0，1)
[0186]
推导出具有(sbw)*(sbh)的大小的预测图像predsampleslxl。
[0187]
在修正运动矢量搜索用预测图像生成部303751中通过以下的算式推导出运动矢量mvlsx(x＝0，1)。
[0188]
mvlsx[0]＝mvlx[0]
‑
32
[0189]
mvlsx[1]＝mvlx[1]
‑
32
[0190]
此外，dmvr部30375将变量srrange、offseth[0]、offsew[0]、offseth[1]、offsetv
[1]的值分别设定为2。
[0191]
将与对象块中的像素位置(xl，yl)对应的以参照块的整数像素为单位的像素的位置设为(xintl，yintl)。此外，将以1/16像素为单位的从(xintl，yintl)的偏移设为(xfracl，yfracl)。这些坐标从运动矢量(mvlx[0]，mvlx[1])的整数分量(mvlx[0]＞＞4，mvlx[1]＞＞4)和小数分量(mvlx[0]&15，mvlx[1]&15)推导出，表示参照图片refpiclxl中的以小数精度的像素的位置。对于predsampleslxl中的位置为(xl，yl)(xl＝0，......，sbw
‑
1，yl＝0，......，sbh
‑
1)的像素，dmvr部30375通过以下的算式推导出xintl、yintl、xfracl以及yfracl。
[0192]
xintl＝xsb (mvlx[0]＞＞4) xl
[0193]
yintl＝ysb (mvlx[1]＞＞4) yl
[0194]
xfracl＝mvlx[0]&15
[0195]
yfracl＝mvlx[1]&15
[0196]
接着，dmvr部30375参照
[0197]
·
(xintl，yintl)
[0198]
·
(xfracl，yfracl)
[0199]
·
refpiclxl
[0200]
推导出predsampleslxl。
[0201]
首先，修正运动矢量搜索用预测图像生成部303751通过以下的算式推导出变量shift1、shift2、shift3以及shift4。
[0202]
shift1＝bitdepthy
‑6[0203]
offset1＝1＜＜(shift1
‑
1)
[0204]
shift2＝4
[0205]
offset2＝8
[0206]
shift3＝10
‑
bitdepthy
[0207]
offset3＝1＜＜(shift3
‑
1)
[0208]
shift4＝bitdepthy
‑
10
[0209]
需要说明的是，在上述的算式中，bitdepthy为像素比特数。
[0210]
接着，修正运动矢量搜索用预测图像生成部303751将picw设定为等于图片的宽度pic_width_in_luma_samples的值。此外，修正运动矢量搜索用预测图像生成部303751设定为等于pich的图片的高度pic_height_in_luma_samples的值。
[0211]
之后，在修正运动矢量搜索用预测图像生成部303751中，如下所述地推导出predsampleslxl。在以下的说明中，fb
l
[p]表示用于推导出以1/16像素精度的像素值的滤波系数。fb
l
[p]的值依赖于以1/16像素精度的位置p(p＝1，2，......，15)。位置p等于xfracl或yfracl。p的值增大，由此，fb
l
[p][0]单调减少，fb
l
[p][1]的值单调增加。
[0212]
首先，在修正运动矢量搜索用预测图像生成部303751中，判定xfracl和yfracl是否分别为0。在xfracl和yfracl中的任一个为0的情况下，dmvr部30375根据bitdepthy的值，通过以下的任一算式推导出predsampleslxl。
[0213]
predsampleslxl＝(bitdepthy＜＝10)？(refpiclxl[xintl][yintl]＜＜shift3)：((refpiclxl[xintl][yintl] offset3)＞＞shift4)
[0214]
在xfracl不为0，yfracl为0的情况下，修正运动矢量搜索用预测图像生成部303751通过以下的算式推导出predsampleslxl。
[0215]
predsampleslxl＝(fb
l
[xfracl][0]*refpiclxl[clip3(0，picw
‑
1，xintl)][yintl] fb
l
[xfracl][1]*refpiclxl[clip3(0，picw
‑
1，xintl 1)][yintl] offset1)＞＞shift1
[0216]
在xfracl为0，yfracl不为0的情况下，dmvr部30375通过以下的算式推导出predsampleslxl。
[0217]
predsampleslxl＝(fb
l
[yfracl][0]*refpiclxl[xintl][clip3(0，pich
‑
1，yintl)] fb
l
[yfracl][1]*refpiclxl[xintl][clip3(0，pich
‑
1，yintl 1)] offset1)＞＞shift1
[0218]
在xfracl和yfracl均不为0的情况下，修正运动矢量搜索用预测图像生成部303751如下所述地推导出predsampleslxl。首先，dmvr部30375通过以下的算式推导出temp[n]。temp[]的推导处理变更参照位置进行n次。n＝0表示第一次的推导处理，n＝1表示第二次的推导处理。
[0219]
yposl＝clip3(0，pich
‑
1，yintl n
‑
3)
[0220]
temp[n]＝(fb
l
[xfracl][0]*refpiclxl[clip3(0，picw
‑
1，xintl)][yposl] fb
l
[xfracl][1]*refpiclxl[clip3(0，picw
‑
1，xintl 1)][yposl] offset1)＞＞shift1
[0221]
之后，dmvr部30375通过以下的算式推导出predsampleslxl。
[0222]
predsampleslxl＝(fb
l
[yfracl][0]*temp[0] fb
l
[yfracl][1]*temp[1])＞＞shift2
[0223]
接着，初始误差生成部303752参照
[0224]
·
对象块的宽度ncbw
[0225]
·
对象块的高度ncbh
[0226]
·
具有(ncbw 4)x(ncbh 4)的大小的两个预测图像predsamplell和predsamplel2
[0227]
·
变量offseth[0]、offseth[1]、offsetv[0]以及offsetv[1]
[0228]
推导出predsamplel1和predsamplel2中所包括的像素值的绝对差分和(sum of absolute differences)的列表sad1和变量centersad。
[0229]
dmvr部30375如以下的算式所示地设定2
×
9的阵列bc的各元素的值。
[0230]
bc[0][0]＝
‑
1bc[1][0]＝
‑1[0231]
bc[0][1]＝
‑
1bc[1][1]＝0
[0232]
bc[0][2]＝
‑
1bc[1][2]＝1
[0233]
bc[0][3]＝0bc[1][3]＝
‑1[0234]
bc[0][4]＝0bc[1][4]＝0
[0235]
bc[0][5]＝0bc[1][5]＝1
[0236]
bc[0][6]＝1bc[1][6]＝
‑1[0237]
bc[0][7]＝1bc[1][7]＝0
[0238]
bc[0][8]＝1bc[1][8]＝1
[0239]
初始误差生成部303752通过以下的算式推导出sad1的元素sadlist[i](i＝0，......，8)。
[0240]
[数式1]
[0241][0242]
进而，初始误差生成部303752通过以下的算式推导出centersad。
[0243]
[数式2]
[0244][0245]
初始误差生成部303752判定centersad是否为(bh＞＞1)*(bw)*4以上。dmvrflag是表示在为真(true)时进行dmvr处理，为假(false)时不进行dmvr处理的标志。在centersad小于(bh＞＞1)*(bw)*4的情况下，误差小，因此，初始误差生成部303752判断为无需进行dmvr处理而将dmvrflag设为假，不修正运动矢量，进入帧间预测图像生成部309。
[0246]
在centersad为(bh＞＞1)*(bw)*4以上的情况下，初始误差生成部303752将dmvrflag设为真，运动矢量搜索部303753参照
[0247]
·
搜索点数n
[0248]
·
搜索点的绝对差分和的列表sad1的元素sadlist
[0249]
推导出索引bestidx。n为正整数。
[0250]
以下，对n＝9的情况进行说明。需要说明的是，搜索点数n的值可以是9以外的值，在本实施方式说明的方法以外，例如也可以在n＝25时单纯地选择sadlist的值的最小值。
[0251]
运动矢量搜索部303753判定是否sadlist[1]＜sadlist[7]和是否sadlist[3]＜sadlist[5]。
[0252]
在sadlist[1]＜sadlist[7]且sadlist[3]＜sadlist[5]的情况下，dmvr部30375将idx的值设定为0。之后，运动矢量搜索部303753判定是否sadlist[1]＜sadlist[3]。运动矢量搜索部303753在sadlist[1]＜sadlist[3]的情况下将bestidx的值设定为1，在不是sadlist[1]＜sadlist[3]的情况下将bestidx的值设定为3。
[0253]
在不是这样的情况下，在sadlist[1]＞＝sadlist[7]且sadlist[3]＜sadlist[5]的情况下，运动矢量搜索部303753将idx的值设定为6。之后，dmvr部30375判定是否sadlist[7]＜sadlist[3]。运动矢量搜索部303753在sadlist[7]＜sadlist[3]的情况下将bestidx的值设定为7，在不是sadlist[7]＜sadlist[3]的情况下将bestidx的值设定为3。
[0254]
在不是这样的情况下，在sadlist[1]＜sadlist[7]且sadlist[3]＞＝sadlist[5]的情况下，运动矢量搜索部303753将idx的值设定为2。之后，dmvr部30375判定是否sadlist[1]＜sadlist[5]。dmvr部30375在sadlist[1]＜sadlist[5]的情况下将bestidx的值设定为1，在不是sadlist[1]＜sadlist[5]的情况下将bestidx的值设定为5。
[0255]
在不是这样的情况下，在sadlist[1]＞＝sadlist[7]且sadlist[3]＞＝sadlist[5]的情况下，运动矢量搜索部303753将idx的值设定为8。之后，dmvr部30375判定是否
sadlist[7]＜sadlist[5]。dmvr部30375在sadlist[7]＜sadlist[5]的情况下将bestidx的值设定为7，在不是sadlist[7]＜sadlist[5]的情况下将bestidx的值设定为5。
[0256]
进而，运动矢量搜索部303753判定是否sadlist[4]＜＝sadlist[bestidx]。在sadlist[4]＜＝sadlist[bestidx]的情况下，dmvr部30375将bestidx的值更新为4。另一方面，在不是sadlist[4]＜＝sadlist[bestidx]的情况下，dmvr部30375不更新bestidx的值。
[0257]
进而，运动矢量搜索部303753判定是否sadlist[idx]＜sadlist[bestidx]。在sadlist[idx]＜sadlist[bestidx]的情况下，dmvr部30375将bestidx设置为idx。另一方面，在不是sadlist[idx]＜sadlist[bestidx]的情况下，运动矢量搜索部303753不更新bestidx的值。
[0258]
运动矢量搜索部303753判定bestidx的值是否为4。在bestidx的值为4的情况下，运动矢量搜索部303753将halfpelappliedflag设定为真。
[0259]
在bestidx的值不为4的情况下，运动矢量搜索部303753通过以下的算式计算出变量dmvx和dmvy的值。
[0260]
dmvx＝(bestidx/3
‑
1)
[0261]
dmvy＝(bestidx％3
‑
1)
[0262]
进而，运动矢量搜索部303753通过以下的算式更新offseth和offsetv。
[0263]
offseth[0]＝offseth[0] dmvx，offsetv[0]＝offsetv[0] dmvy
[0264]
offseth[1]＝offseth[1]
‑
dmvx，offsetv[1]＝offsetv[1]
‑
dmvy
[0265]
运动矢量搜索部303753使用更新后的offseth和offsetv，通过与上述的推导sad1的处理同样的处理推导出sad2。进而，运动矢量搜索部303753使用sad2代替sad1再次推导出bestidx。
[0266]
运动矢量搜索部303753判定再次推导出的bestidx的值是否为4。在bestidx的值为4的情况下，运动矢量搜索部303753将halfpelappliedflag设定为真。
[0267]
在bestidx的值不为4的情况下，运动矢量搜索部303753通过以下的算式计算出dmvx和dmvy。
[0268]
dmvx＝(bestidx/3
‑
1)，dmvy＝(bestidx％3
‑
1)
[0269]
进而，dmvr部30375通过以下的算式计算出dmvl0和dmvl1。
[0270]
dmvl0[0]＝16*dmvx，dmvl0[1]＝16*dmvy
[0271]
dmvl1[0]＝
‑
16*dmvx，dmvl1[1]＝
‑
16*dmvy
[0272]
在halfpelappliedflag为真的情况下，运动矢量搜索部303753如下所述地推导出修正后的dmvl0和dmvl1。需要说明的是，以下的sadlist在存在sad2的情况下为sad2的元素，在不存在sad2的情况下为sad1的元素。
[0273]
首先，运动矢量搜索部303753判定是否sadlist[1] sadlist[7]＝＝sadlist[4]。在sadlist[1] sadlist[7]＝＝sadlist[4]的情况和mrsadt mrsadb
‑
(mrsadc＜＜1)＝＝0的情况下，运动矢量搜索部303753设为dmv[0]＝0。在不是sadlist[1] sadlist[7]＝＝sadlist[4]的情况下，运动矢量搜索部303753通过以下的算式计算出dmv[0]。
[0274]
dmv[0]＝((sadlist[1]
‑
sadlist[7])＜＜3)/(sadlist[1] sadlist[7]
‑
(sadlist[4]＜＜1))
[0275]
接着，修正矢量推导部303754判定是否sadlist[3] sadlist[5]＝＝sadlist[4]。
在sadlist[3] sadlist[5]＝＝sadlist[4]的情况和mrsadl mrsadr
‑
(mrsadc＜＜1)＝＝0的情况下，修正矢量推导部303754设为dmv[1]＝0。在不是sadlist[3] sadlist[5]＝＝sadlist[4]的情况下，修正矢量推导部303754通过以下的算式计算出dmv[1]。
[0276]
dmv[1]＝((sadlist[3]
‑
sadlist[5])＜＜3)/(sadlist[3] sadlist[5]
‑
(sadlist[4]＜＜1))
[0277]
进而，修正矢量推导部303754通过以下的算式修正运动矢量mvl0和mvl1。
[0278]
dmvl0[0]＝dmvl0[0] dmv[0]
[0279]
dmvl0[1]＝dmvl0[1] dmv[1]
[0280]
dmvl1[0]＝dmvl1[0]
‑
dmv[0]
[0281]
dmvl1[1]＝dmvl1[1]
‑
dmv[1]
[0282]
dmvr部30375将从合并预测部30374输入的预测矢量mvplx加上推导出的差分矢量dmvlx计算出运动矢量mvlx。dmvr部30375将mvlx输出至帧间预测图像生成部309。
[0283]
mvlx[0]＝mvplx[0] dmvlx[0]
[0284]
mvlx[1]＝mvplx[1] dmvlx[1]
[0285]
需要说明的是，dmvlx[0]和dmvlx[1]的值与sadlist的比特数无关地限制在
‑
8到8之间。
[0286]
(dmvr的判定基准)
[0287]
dmvrflag是表示在为真时进行dmvr处理，为假时不进行dmvr处理的标志。
[0288]
在sps的标志即表示能进行dmvr处理的标志开启(on)的情况下，初始误差生成部303752将dmvrflag设为真。在不是这样的情况下，初始误差生成部303752将dmvrflag设为假。
[0289]
此外，在该块的merge_flag为真的情况下，初始误差生成部303752可以将dmvrflag设为真。在不是这样的情况下，初始误差生成部303752将dmvrflag设为假。
[0290]
此外，在predflagl0和predflagl1双方均为真，就是说，双向预测的情况下，初始误差生成部303752可以将dmvrflag设为真。在不是这样的情况下，初始误差生成部303752将dmvrflag设为假。
[0291]
在该块的mmvd_flag为假且不是mmvd模式的情况下，初始误差生成部303752可以将dmvrflag设为真。在不是这样的情况下，mmvd模式时，初始误差生成部303752将dmvrflag设为假。
[0292]
在diffpicordercnt(currpic，refpiclist[0][refidxl0])等于diffpicordercnt(refpiclist[1][refidxl1]，currpic)的情况下，就是说，当前的图片currpic处于与l0参照图片refpiclist[0][refidxl0]和l1参照图片refpiclist[1][refidxl1]等距离插值的位置关系的情况下，初始误差生成部303752可以将dmvrflag设为真。在不是这样的情况下，初始误差生成部303752将dmvrflag设为假。在此，diffpicordercnt()是如下所示地推导出两张图像的poc(picture order count：图片的显示顺序)的差分的函数。
[0293]
diffpicordercnt(pica，picb)＝picordercnt(pica)
‑
picordercnt(picb)
[0294]
需要说明的是，在diffpicordercnt(currpic，refpiclist[0][refidxl0])*diffpicordercnt(currpic，refpiclist[1][refidxl1])＜0的情况下，在仅处于插值的位置关系的情况下，初始误差生成部303752可以将dmvrflag设为真，在不是这样的情况下，可
以将dmvrflag设为假。
[0295]
此外，在处理的块的大小为特定以下的情况下，初始误差生成部303752可以将dmvrflag设为假。例如，在bh为8以上的情况且bh*bw为64的情况下，初始误差生成部303752可以将dmvrflag设为真。在不是这样的情况下，初始误差生成部303752将dmvrflag设为假。
[0296]
图11是表示dmvr部30375中的处理的流程的流程图。在本实施方式中，除了上述的判定基准之外，如图11所示，追加仅在未应用后述的gbi处理时应用dmvr处理这样的条件。
[0297]
具体而言，首先，dmvr部30375执行如上所述说明过的dmvrflag的判定处理(s1101)。接着，dmvr部30375进行gbiidx是否为0的判定(s1102)。如后文所述，在gbiidex为非零的值时基于表gbiwlut进行不均等的加权预测。在gbiidx为0的情况下，除了将dmvrflag设为真的条件之外，在gbiidx为非零的情况下，将dmvrflag设为假(s1103)。
[0298]
进而，dmvr部30375判定dmvrflag是否为真(s1104)，如果为真，则执行dmvr处理(s1105)，如果为假，则不执行该处理。
[0299]
在应用gbi预测的情况下，应用加权预测，因此，能考虑不准确地评估误差，能通过限制应用条件来降低整体的处理量。
[0300]
同样，在后述的加权预测中，应用dmvr处理的l0预测和l1预测中的任一个进行加权预测的情况下，将dmvrflag设为假。具体而言，在luma_weight_l0_flag[refidxl0]和luma_weight_l1_flag[refidxl1]双方均为假的情况下，将dmvrflag加入真的条件，在不是这样的情况下，将dmvrflag设为假其中，luma_weight_l0_flag[refidxl0]表示l0预测图片中是否存在亮度的权重系数w0和偏移o0，luma_weight_l1_flag[refidxl1]表示在l1预测图片中是否存在亮度的权重系数w1和偏移o1。
[0301]
(通过dmvr进行的基于误差阈值处理的bdof的判定)
[0302]
在dmvr中，进行求出l0预测图像和l1预测图像的误差的处理，但是，预先判定是否基于此时的误差的值执行在后段进行的后述的bdof处理。
[0303]
图12是说明通过dmvr进行基于误差阈值处理的bdof的判定的处理的流程图。
[0304]
首先，初始误差生成部303752预先将bdofflag设置为真(s1201)。接着，在初始误差生成部303752中推导出centersad(s1202)，判定centersad的值是否为阈值(bh＞＞1)*bw*4的值以上(s1203)。在centersad的值小于阈值的情况下，初始误差生成部303752判定为误差小，将表示是否进行bdof处理的bdofflag设置为假(s1204)，设为不预先进行bdof处理。该判定是与上述的初始误差生成部30752同样的判定，因此，跳过运动矢量搜索部303753和修正矢量推导部303754，不进行dmvr处理。在centersad的值为阈值以上的情况下，运动矢量搜索部303753进行修正运动矢量搜索(s1205)，其结果是，修正矢量推导部303754判定作为最小的bestidx的sad的值的sadlist[bestidx]的值是否小于阈值(bh＞＞1)*bw*8的值(s1206)。在sadlist[bestidx]的值小于阈值的情况下，修正矢量推导部303754判定为误差小，将表示是否进行bdof处理的bdofflag设置为假(s1207)，设为不预先进行bdof处理。
[0305]
需要说明的是，(s1206)的阈值设为与(s1203)的阈值相同或更大的值。
[0306]
在dmvr处理中，为了进行修正运动矢量的搜索，需要进行求出l0预测图像和l1预测图像的误差的处理，另一方面，在bdof处理中误差小的情况下没有效果，因此通过加上这样的处理，无需追加追加的误差计算就能进行是否进行bdof的判定。
[0307]
在后述的bdof部中，判定bdofflag是否为真(s1208)，如果为是(yes)，则在帧间预测参数解码部303中进行bdof处理(s1209)。如果为否(no)，则在该块中判定不进行bdof处理。
[0308]
(三角形预测)
[0309]
接着，对三角形预测进行说明。在三角形预测中，以对角线或相反的对角线为边界，将对象cu分割成两个三角形的预测单位。各三角形预测单位中的预测图像通过对对象cu(包括三角形预测单位的矩形块)的预测图像的各像素进行与像素的位置对应的加权并实施掩码处理来推导出。例如，能通过乘以将矩形区域内的三角形区域的像素设为1，将三角形以外的区域设为0的掩码，从矩形图像推导出三角形图像。对夹住对角线的双方的区域应用预测图像的自适应的加权处理，通过使用两个预测图像的自适应的加权处理来推导出对象cu(矩形块)的一个预测图像。将该处理称为三角形合成处理。变换(逆变换)和量化(逆量化)处理应用于整个对象cu。需要说明的是，三角形预测仅在合并预测模式或跳过模式的情况下应用。
[0310]
三角形预测部30377推导出与用于三角形预测的两个三角形区域对应的预测参数，输出至帧间预测图像生成部309。在三角形预测中，为了处理的简略化，也可以是不使用双向预测的构成。在该情况下，在一个三角形区域中推导出单向预测的帧间预测参数。需要说明的是，两个预测图像的推导和使用预测图像的合成在运动补偿部3091、三角形合成部30952中进行。
[0311]
(mmvd预测部30376)
[0312]
mmvd预测部30376进行mmvd(merge with motion vector differece)模式下的处理。mmvd模式是通过将规定距离和规定方向的差分矢量与从合并候选推导出的运动矢量(从邻接块的运动矢量等推导出的运动矢量)相加来获得运动矢量的模式。在mmvd模式下，mmvd预测部30376通过使用合并候选，并且将差分矢量的值域限制在规定距离(例如8种)和规定方向(例如4个方向、8个方向等)来高效地推导出运动矢量。
[0313]
环路滤波器305是设于编码环路内的滤波器，是去除块失真、振铃失真来改善画质的滤波器。环路滤波器305对加法部312所生成的cu的解码图像实施去块滤波、取样自适应偏移(sao)、自适应环路滤波(alf)等滤波。
[0314]
参照图片存储器306将加法部312所生成的cu解码图像按每个对象图片和对象cu存储于预定的位置。
[0315]
预测参数存储器307将预测参数按每个解码对象的ctu或cu存储于预定的位置。具体而言，预测参数存储器307存储由参数解码部302解码后的参数和由熵解码部301解码后的预测模式predmode等。
[0316]
预测图像生成部308被输入预测模式predmode、预测参数等。此外，预测图像生成部308从参照图片存储器306中读出参照图片。预测图像生成部308在预测模式predmode所指示的预测模式下，使用预测参数和读出的参照图片(参照图片块)来生成块或子块的预测图像。在此，参照图片块是指参照图片上的像素的集合(通常为矩形，因此称为块)，是为了生成预测图像而参照的区域。
[0317]
(帧间预测图像生成部309)
[0318]
在预测模式predmode指示帧间预测模式的情况下，帧间预测图像生成部309使用
从帧间预测参数解码部303输入的帧间预测参数和读出的参照图片，通过帧间预测来生成块或子块的预测图像。
[0319]
图13是表示本实施方式的预测图像生成部308中所包括的帧间预测图像生成部309的构成的概略图。帧间预测图像生成部309构成为包括运动补偿部(预测图像生成装置)3091和合成部3095。
[0320]
(运动补偿)
[0321]
运动补偿部3091(插补图像生成部)基于从帧间预测参数解码部303输入的帧间预测参数(预测列表利用标志predflaglx、参照图片索引refidxlx、运动矢量mvlx)，从参照图片存储器306中读出处于在由参照图片索引refidxlx指定的参照图片refpiclx中的以对象块的位置为起点移位了运动矢量mvlx的位置的块，由此生成插补图像(运动补偿图像)。在此，在运动矢量mvlx的精度并非整数精度的情况下，实施称为运动补偿滤波的用于生成小数位置的像素的滤波，生成插补图像。
[0322]
运动补偿部3091首先通过以下的算式推导出与预测块内坐标(x，y)对应的整数位置(xint，yint)和相位(xfrac，yfrac)。
[0323]
xint＝xpb (mvlx[0]＞＞(log2(mvprec))) x
[0324]
xfrac＝mvlx[0]&(mvprec
‑
1)
[0325]
yint＝ypb (mvlx[1]＞＞(log2(mvprec))) y
[0326]
yfrac＝mvlx[1]&(mvprec
‑
1)
[0327]
在此，(xpb，ypb)为bw*bh大小的块的左上坐标，x＝0，......，bw
‑
1，y＝0，......，bh
‑
1，mvprec表示运动矢量mvlx的精度(1/mvprec像素精度)。例如可以是mvprec＝16。
[0328]
运动补偿部3091使用插值滤波器对参照图片refimg进行水平插补处理，由此推导出临时的图像temp[][]。以下的∑是与k＝0..ntap
‑
1的k有关的和，shift1是调整值的区间的归一化参数，offset1＝1＜＜(shift1
‑
1)。
[0329]
temp[x][y]＝(∑mcfilter[xfrac][k]*refimg[xint k
‑
ntap/2 1][yint] offset1)＞＞shift1
[0330]
接着，运动补偿部3091通过对临时的图像temp[][]进行垂直插补处理，推导出插补图像pred[][]。以下的∑是与k＝0..ntap
‑
1的k有关的和，shift2是调整值的区间的归一化参数，offset2＝1＜＜(shift2
‑
1)。
[0331]
pred[x][y]＝(∑mcfilter[yfrac][k]*temp[x][y k
‑
ntap/2 1] offset2)＞＞shift2
[0332]
(合成部)
[0333]
合成部3095参照由运动补偿部3091输入的插补图像、由帧间预测参数解码部303输入的帧间预测参数以及由帧内预测图像生成部310输入的帧内图像来生成预测图像，将所生成的预测图像输出至加法部312。
[0334]
合成部3095具备：组合的帧内/帧间(combinedintra/inter)合成部30951、三角形合成部30952、obmc部30953、bdof部30956。
[0335]
(组合的帧内/帧间合成处理)
[0336]
组合的帧内/帧间合成部30951通过复合地使用amvp中的单向预测、跳过模式、合并模式以及帧内预测来生成预测图像。
[0337]
(三角形合成处理)
[0338]
三角形合成部30952生成使用了上述的三角形预测的预测图像。
[0339]
(obmc处理)
[0340]
obmc部30953使用obmc(overlapped block motion compensation：重叠块运动补偿)处理生成预测图像。obmc处理中包括以下的处理。
[0341]
·
利用使用附加于对象子块的帧间预测参数生成的插补图像(pu插补图像)和使用对象子块的邻接子块的运动参数生成的插补图像(obmc插补图像)来生成对象子块的插补图像(运动补偿图像)。
[0342]
·
通过对obmc插补图像和pu插补图像进行加权平均来生成预测图像。
[0343]
(加权预测部30954)
[0344]
加权预测部309454通过将运动补偿图像predl0和predl1与权重系数相乘，生成块的预测图像。在预测列表利用标志的一方(predflagl0或predflagl1)为1(单向预测)且不使用权重预测的情况下，进行使运动补偿图像predlx(lx为l0或l1)与像素比特数bitdepth匹配的以下的算式的处理。
[0345]
pred[x][y]＝ciip3(0，(1＜＜bitdepth)
‑
1，(predlx[x][y] offset1)＞＞shift1)
[0346]
在此，shift1＝max(2，14
‑
bitdepth)，offset1＝1＜＜(shift1
‑
1)。
[0347]
(双向预测处理)
[0348]
此外，在预测列表利用标志两者(predflagl0和predflagl1)为1(双向预测bipred)且不使用权重预测的情况下，进行将运动补偿图像predl0、predl1平均，并使其平均数与像素比特数匹配的以下的算式的处理。
[0349]
pred[x][y]＝clip3(0，(1＜＜bitdepth)
‑
1，(predl0[x][y] predl1[x][y] offset2)＞＞shift2)
[0350]
在此，shift2＝max(3，15
‑
bitdepth)，offset2＝1＜＜(shift2
‑
1)。以下，也将该处理称为通常的双向预测。
[0351]
而且，在单预测且表示在l0的参照图片中是否存在权重预测系数w0和偏移o0的标志(亮度的情况下为luma_weight_l0_flag，色差的情况下为chroma_weight_l0_flag)开启的情况下，在l0预测的情况下，加权预测部30954从编码数据推导出权重预测系数w0和偏移o0，进行以下的算式的处理。
[0352]
pred[x][y]＝clip3(0，(1＜＜bitdepth)
‑
1，((predl0[x][y]*w0 (1＜＜(log2wd
‑
1)))＞＞log2wd) o0)
[0353]
在l1预测的情况下，在表示l1的参照图片中是否存在权重预测系数w1和偏移o1的标志(亮度的情况下为luma_weight_l1flag，色差的情况下为chroma_weight_l1flag)开启的情况下，加权预测部30954从编码数据推导出权重预测系数w1和偏移o1，进行以下的算式的处理。
[0354]
pred[x][y]＝clip3(0，(1＜＜bitdepth)
‑
1，((predl1[x][y]*w1 (1＜＜(log2wd
‑
1)))＞＞log2wd) o1)
[0355]
在此，log2wd是明确地将分别按亮度和色差通过切片报头发送的log2weightdenom shift1的值合计得到的变量。
[0356]
(加权双向预测处理)
[0357]
而且，在双预测bipred且表示是否存在权重预测系数和偏移的标志(亮度的情况下为luma_weight_l0_flag、luma_weight_l1_flag，色差的情况下为chroma_weight_l0_flag、chroma_weight_l1flag)进行权重预测的情况下，加权预测部30954从编码数据推导出权重预测系数w0、w1、o0、o1，进行以下的算式的处理。
[0358]
pred[x][y]＝clip3(0，(1＜＜bitdepth)
‑
1，(predl0[x][y]*w0 predl1[x][y]*w1 ((o0 o1 1)＜＜log2wd))＞＞(log2wd 1))
[0359]
(gbi部30955)
[0360]
在上述的加权预测中，对将插补图像乘以权重系数来生成预测图像的示例进行了说明。在此，对除了将插补图像乘以权重系数来生成预测图像之外的示例进行说明。详细而言，对使用广义双向预测(generalized bi
‑
prediction，以下称为gbi预测)生成预测图像的处理进行说明。在gbi预测中，将双向预测中的l0预测图像predl0和l1预测图像predl1乘以权重系数(w0，w1)来生成预测图像pred。
[0361]
此外，在使用gbi预测生成预测图像的情况下，gbi部30955以编码单元为单位切换权重系数(w0，w1)。即，帧间预测图像生成部309的gbi部30954按每个编码单元设定权重系数。在gbi预测中，预先规定有多个权重系数候选，gbiidx是表示表gbiwlut中所包括的多个权重系数候选中的在对象块使用的权重系数的索引。
[0362]
gbi部30955对表示是否使用gbi预测的标志gbiappliedflag进行校验，如果为假(false)，则运动补偿部3091使用以下的算式生成预测图像。
[0363]
pred[x][y]＝clip3(0，(1＜＜bitdepth)
‑
1，(predl0[x][y] predl1[x][y] offset2)＞＞shift2)
[0364]
在此，gbiappliedflag的初始状态为假。gbi部30955在为sps的标志且表示能进行gbi处理的标志打开(on)，并为双向预测的情况下将gbiappliedflag设定为真(true)。进而，作为追加(and)的条件，可以在作为gbi预测的权重系数的表gbiwlut的索引的gbiidx不为0(l0预测图像与l1预测图像的权重相等的情况下的索引的值)的情况下，将gbiappliedflag设为真。进而，作为追加(and)的条件，可以在cu的块大小为一定以上的情况下，将gbiappliedflag设为真。
[0365]
gbi部30955在gbiappliedflag为真的情况下，根据权重w0、w1和predl0、predl1，通过以下的算式推导出预测图像pred。
[0366]
pred[x][y]＝clip3(0，(1＜＜bitdepth)
‑
1，(w0*predl0[x][y] w1*predl1[x][y] offset3)＞＞(shift2 3))
[0367]
在此，权重系数w1是从表iwlut[]＝{4，5，3，10，
‑
2}，通过由语法明确地指示的gbiidx推导出的系数。权重系数w0设为(8
‑
w1)。需要说明的是，gbiidx＝0时，w0＝w1＝4，与通常的双向预测等价。
[0368]
shift1、shift2、offset1、offset2通过以下的算式来推导。
[0369]
shift1＝max(2，14
‑
bitdepth)
[0370]
shift2＝max(3，15
‑
bitdepth)＝shift1 1
[0371]
offset1＝1＜＜(shift1
‑
1)
[0372]
offset2＝1＜＜(shift2
‑
1)
[0373]
offset3＝1＜＜(shift2 2)
[0374]
需要说明的是，有多个具有权重系数不同的组合的表gbiwlut，gbi部30955可以根据图片结构是否为lowdelay(lb)来切换用于权重系数的选择的该表。
[0375]
在amvp预测模式下使用gbi预测的情况下，帧间预测参数解码部303对gbiidx进行解码，发送至gbi部30955。此外，在合并预测模式下使用gbi预测的情况下，帧间预测参数解码部303对合并索引merge_idx进行解码，合并候选推导部30361推导出各合并候选的gbiidx。具体而言，合并候选推导部30361将用于合并候选的推导的邻接块的权重系数用作用于对象块的合并候选的权重系数。就是说，在合并模式下，将过去使用过的权重系数继承为对象块的权重系数。
[0376]
(使用了gbi预测的预测模式的选择)
[0377]
接着，参照图14，对使用了运动图像解码装置31中的gbi预测的预测模式的选择处理进行说明。图14是表示运动图像解码装置31中的预测模式的选择处理的流程的一个示例的流程图。
[0378]
如图14所示，帧间预测参数解码部303首先对跳过标志进行解码(s1401)。在指示跳过标志为跳过模式的情况下(在s1402中为是(yes))，预测模式为合并模式(s1403)，帧间预测参数解码部303对合并索引进行解码(s14031)，在使用gbi预测的情况下，gbi部30955将通过合并候选推导出的权重系数推导为gbi预测的权重系数。
[0379]
在未指示跳过标志为跳过模式的情况下(s1402中为否(no))，帧间预测参数解码部303对合并标志进行解码(s1407)。在指示合并标志为合并模式的情况下(在s1408中为是)，预测模式为合并模式(s1403)，帧间预测参数解码部303对合并索引进行解码(s14031)。在使用gbi预测的情况下，gbi部30955将通过合并候选推导出的权重系数推导为gbi预测的权重系数。
[0380]
在未指示合并标志为合并模式的情况下(在1408中为否)，预测模式为amvp模式(s1409)。
[0381]
在amvp模式下，帧间预测参数解码部303对帧间预测标识符inter_pred_idc进行解码(s14090)。接着，帧间预测参数解码部303对差分矢量mvdlx进行解码(s14091)。接着，帧间预测参数解码部303对gbiidx进行解码(s14092)，在使用gbi预测的情况下，gbi部30955从gbiwlut的表的权重系数候选中选择gbi预测的权重系数w1。
[0382]
(bdof预测)
[0383]
接着，对使用了bdof部30956所进行的bdof处理的预测(bdof预测)的详细内容进行说明。bdof部30956在双向预测模式下参照两个预测图像(第一预测图像和第二预测图像)和梯度校正项生成预测图像。
[0384]
图15是说明推导预测图像的处理的流程的流程图。
[0385]
在帧间预测参数解码部303判定为l0的单向预测的情况下(在s1501中inter_pred_idc为0)，运动补偿部3091生成l0预测图像predl0[x][y](s1502)。在帧间预测参数解码部303判定为l1的单向预测的情况下(在s1501中inter_pred_idc为1)，运动补偿部3091生成l1预测图像predll[x][y](s1503)。另一方面，在帧间预测参数解码部303判定为双向预测模式的情况下(在s1501中inter_pred_idc为2)，接着进行以下的s1504的处理。在s1504中，合成部3095参照表示是否进行bdof处理的bioavailableflag来判定是否进行
bdof处理。在bioavailableflag表示真时，bdof部30956执行bdof处理来生成双向预测图像(s1506)。在bioavailableflag表示假时，合成部3095通过通常的双方预测图像生成来生成预测图像(s1505)。
[0386]
帧间预测参数解码部303可以在l0参照图像refimgl0和l1参照图像refimgl1为不同的参照图像，并且相对于对象图片两张图片为相反方向的情况下对bioavailableflag推导出真。具体而言，在将对象图像设为currpic时，满足diffpicordercnt(currpic，refimgl0)*diffpicordercnt(currpic，refimgl1)＜0的条件的情况下，bioavailableflag表示真。
[0387]
在此，diffpicordercnt()是如下所示地推导出两张图像的poc(picture order count：图片的显示顺序)的差分的函数。
[0388]
diffpicordercnt(pica，picb)＝picordercnt(pica)
‑
picordercnt(picb)
[0389]
可以追加对象块的运动矢量不是以子块为单位的运动矢量这一条件作为bioavailableflag表示真的条件。
[0390]
此外，可以追加对象图片的运动矢量不是以子块为单位的运动矢量这一条件作为bioavailableflag表示真的条件。
[0391]
此外，也可以追加两个预测块的l0预测图像与l1预测图像的绝对差分和为规定的值以上这一条件作为bioavailableflag表示真的条件。
[0392]
此外，也可以加上预测图像生成模式为以块为单位的预测图像生成模式这一条件作为bioavailableflag表示真的条件。
[0393]
此外，也可以在加权预测中加上l0预测和l1预测中的任一个不进行加权预测这一条件作为bioavailableflag表示真的条件。具体而言，在luma_weight_l0_flag[refidxl0]和luma_weight_l1flag[refidxl1]双方均为假的情况下，设为bioavailableflag表示真的条件，其中，luma_weight_l0_flag[refidxl0]表示l0预测图片中是否存在亮度的权重系数w0和偏移o0，luma_weight_l1_flag[refidxl1]表示在l1预测图片中是否存在亮度的权重系数w1和偏移o1。
[0394]
图16是表示bdof部30956的构成的概略图。使用图16对bdof部30956所进行的具体的处理的内容进行说明。bdof处理部30956具备：l0、l1预测图像生成部309561、梯度图像生成部309562、相关参数计算部309563、运动补偿修正值推导部309564以及bdof预测图像生成部309565。bdof部30956根据从运动补偿部3091接收到的插补图像和从帧间预测参数解码部303接收到的帧间预测参数生成预测图像，并将所生成的预测图像输出至加法部312。需要说明的是，将从梯度图像推导出运动补偿修正值modbio(运动补偿修正图像)，修正并推导出predl0、predl1的预测图像的处理称为双向梯度变化处理。
[0395]
图17是表示执行填充的区域的一个示例的图。首先，在l0、l1预测图像生成部309561中生成用于bdof处理的l0、l1预测图像。在bdof部30956中，基于图17所示的每个cu单位或子cu单位的l0、l1预测图像进行bdof处理，但需要格外留出作为对象的cu或子cu的周围2像素的插补图像信息，用于求出梯度。该部分的插补图像信息不使用通常的插值滤波器而使用邻接的整数像素来生成，用于后述的梯度图像生成。在除此以外的情况下，该部分与图片的外侧同样地复制并使用周围的像素作为填充区域。此外，bdof处理的单位是cu单位或子cu单位以下的nxn像素，处理本身使用加上周围1像素的(n 2)
×
(n 2)的像素进行处
理。
[0396]
在梯度图像生成部309562生成梯度图像。在梯度变化(optical flow)中假定各点的像素值不变，仅其位置变化。这能使用水平方向的像素值i的变化(水平梯度值lx)和其位置的变化vx、垂直方向的像素值i的变化(垂直梯度值ly)和其位置的变化vy以及像素值i的时间变化lt通过以下来表示。
[0397]
lx*vx ly*vy lt＝0
[0398]
以下，将位置的变化(vx，vy)称为校正权重矢量(u，v)。
[0399]
具体而言，梯度图像生成部309562通过以下算式推导出梯度图像lx0、ly0、lx1、ly1。lx0和lx1表示沿水平方向的梯度，ly0和ly1表示沿垂直方向的梯度。
[0400]
lx0[x][y]＝(predl0[x 1][y]
‑
predl0[x
‑
1][y])＞＞shift1
[0401]
ly0[x][y]＝(predl0[x][y 1]
‑
predl0[x][y
‑
1])＞＞shift1
[0402]
lx1[x][y]＝(predl1[x 1][y]
‑
predl1[x
‑
1][y])＞＞shift1
[0403]
ly1[x][y]＝(predl1[x][y 1]
‑
predl1[x][y
‑
1])＞＞shift1
[0404]
在此，shift1＝max(2，14
‑
bitdepth)。
[0405]
接着，相关参数计算部309563使用每个cu内的nxn像素的每个块的周围1像素推导出(n 2)x(n 2)像素的梯度积和s1、s2、s3、s5、s6。
[0406]
s1＝sum(phix[x][y]*phix[x][y])
[0407]
s2＝sum(phix[x][y]*phiy[x][y])
[0408]
s3＝sum(
‑
theta[x][y]*phix[x][y])
[0409]
s5＝sum(phiy[x][y]*phiy[x][y])
[0410]
s6＝sum(
‑
theta[x][y]*phiy[x][y])
[0411]
在此，sum(a)表示针对(n 2)x(n 2)像素的块内的坐标(x，v)的a的总和。此外，
[0412]
theta[x][y]＝
‑
(predl1[x][y]＞＞shift4) (predl0[x][y]＞＞shift4)
[0413]
phix[x][y]＝(lx1[x][y] lx0[x][y])＞＞shift5
[0414]
phiy[x][y]＝(ly1[x][y] ly0[x][y])＞＞shift5
[0415]
在此，设为
[0416]
shift4＝min(8，bitdepth
‑
4)
[0417]
shift5＝min(5，bitdepth
‑
7)。
[0418]
接着，运动补偿修正值推导部309564使用推导出的梯度积和s1、s2、s3、s5、s6推导出以nxn像素为单位的校正权重矢量(u，v)。
[0419]
u＝(s3＜＜3)＞＞log2(s1)
[0420]
v＝((s6＜＜3)
‑
((((u*s2m)＜＜12) u*s2s)＞＞1))＞＞log2(s5)
[0421]
在此s2m＝s2＞＞12，s2s＝s2&((1＜＜12)
‑
1)。
[0422]
需要说明的是，可以如下所示地进一步使用裁剪来限制u、v的范围。
[0423]
u＝s1＞0？clip3(
‑
th，th，
‑
(s3＜＜3)＞＞floor(log2(s1)))：0
[0424]
v＝s5＞0？clip3(
‑
th，th，((s6＜＜3)
‑
((((u*s2m)＜＜12) u*s2s)＞＞1))＞＞floor(log2(s5)))：0
[0425]
在此，设为th＝max(2，1＜＜(13
‑
bitdepth))。th的值需要与shift1联动地计算，因此，考虑像素比特长度bitdepth大于12比特的情况。
[0426]
运动补偿修正值推导部309564使用以nxn像素为单位的校正权重矢量(u，v)和梯度图像lx0、ly0、lx1、ly1来推导出nxn像素的运动补偿修正值的modbio[x][y]。
[0427]
可以使用modbio[x][y]＝((lx1[x][y]
‑
lx0[x][y])*u (ly1[x][y]
‑
ly0[x][y])*v 1)＞＞1(算式a3)或舍入函数如下所示地推导出modbio。
[0428]
modbio[x][y]＝round(((lx1[x][y]
‑
lx0[x][y])*u)＞＞1) round(((ly1[x][y]
‑
ly0[x][y])*v)＞＞1)
[0429]
bdof预测图像生成部309565使用上述的参数通过以下算式推导出nxn像素的预测图像的像素值pred。
[0430]
此时，bdof预测图像生成部309565使用上述的参数通过以下算式推导出nxn像素的预测图像的像素值pred。
[0431]
pred[x][y]＝clip3(0，(1＜＜bitdepth)
‑
1，(predl0[x][y] predl1[x][y] modbio[x][y] offset2)＞＞shift2)
[0432]
在此，shift2＝max(3，15
‑
bitdepth)，offset2＝1＜＜(shift2
‑
1)。
[0433]
然后，bdof预测图像生成部309565将所生成的块的预测图像输出至加法部312。
[0434]
逆量化/逆变换部311将从熵解码部301输入的量化变换系数逆量化来求出变换系数。该量化变换系数是在编码处理中对预测误差进行dct(discrete cosine transform、离散余弦变换)、dst(discrete sine transform、离散正弦变换)等频率变换并量化而得到的系数。逆量化/逆变换部311对求出的变换系数进行逆dct、逆dst等逆频率变换，计算预测误差。逆量化/逆变换部311将预测误差输出至加法部312。逆量化/逆变换部311在skip_flag为1的情况或cu_cbp为0的情况下将预测误差全部设定为0。
[0435]
加法部312按每个像素将从预测图像生成部308输入的块的预测图像与从逆量化/逆变换部311输入的预测误差相加，生成块的解码图像。加法部312将块的解码图像存储于参照图片存储器306，并向环路滤波器305输出。
[0436]
(运动图像编码装置的构成)
[0437]
接着，对本实施方式的运动图像编码装置11的构成进行说明。图18是表示本实施方式的运动图像编码装置11的构成的概略图。运动图像编码装置11构成为包括：预测图像生成部101、减法部102、变换/量化部103、逆量化/逆变换部105、加法部106、环路滤波器107、预测参数存储器(预测参数存储部、帧存储器)108、参照图片存储器(参照图像存储部、帧存储器)109、编码参数确定部110、参数编码部111以及熵编码部104。
[0438]
预测图像生成部101按将每个图像t的各图片分割而成的区域即cu生成预测图像。预测图像生成部101进行与已说明的预测图像生成部308相同的动作，在此省略其说明。
[0439]
减法部102从图像t的像素值中减去从预测图像生成部101输入的块的预测图像的像素值，生成预测误差。减法部102将预测误差输出至变换/量化部103。
[0440]
变换/量化部103对从减法部102输入的预测误差，通过频率变换计算出变换系数，并通过量化推导量化变换系数。变换/量化部103将量化变换系数输出至熵编码部104和逆量化/逆变换部105。
[0441]
逆量化/逆变换部105与运动图像解码装置31中的逆量化/逆变换部311(图7)相同，在此省略其说明。计算出的预测误差输入至加法部106。
[0442]
熵编码部104中，从变换/量化部103输入量化变换系数，从参数编码部111输入编
码参数。在编码参数中，例如有参照图片索引refidxlx、预测矢量索引mvp_lx_idx、差分矢量mvdlx、运动矢量精度模式amvr_mode、预测模式predmode以及合并索引merge_idx等的代码。
[0443]
熵编码部104对分割信息、预测参数、量化变换系数等进行熵编码生成编码流te并输出。
[0444]
参数编码部111具备：未图示的标头编码部1110、ct信息编码部1111、cu编码部1112(预测模式编码部)以及参数编码部112。cu编码部1112还具备tu编码部1114。
[0445]
以下，对各模块的概略动作进行说明。参数编码部111进行报头信息、分割信息、预测信息、量化变换系数等参数的编码处理。
[0446]
ct信息编码部1111根据编码数据对qt、mt(bt、tt)分割信息等进行编码。
[0447]
cu编码部1112对cu信息、预测信息、tu分割标志split_transform_flag、cu残差标志cbf_cb、cbf_cr、cbf_luma等进行编码。
[0448]
tu编码部1114在tu中包括预测误差的情况下，对qp更新信息(量化校正值)和量化预测误差(residual_coding)进行编码。
[0449]
ct信息编码部1111、cu编码部1112将帧间预测参数(预测模式predmode、合并标志merge_flag、合并索引merge_idx、帧间预测识别子inter_pred_idc、参照图片索引refidxlx、预测矢量索引mvp_lx_idx、差分矢量mvdlx)、帧内预测参数(prev_intra_luma_pred_flag、mpm_idx、rem_selected_mode_flag、rem_selected_mode、rem_non_selected_mode)、量化变换系数等的语法元素输出至熵编码部104。
[0450]
(参数编码部的构成)
[0451]
参数编码部112基于从编码参数确定部110输入的预测参数来推导出帧间预测参数。参数编码部112包括与由帧间预测参数解码部303推导出帧间预测参数的构成部分相同的构成。
[0452]
图19是表示参数编码部112的构成的概略图。对参数编码部112的构成进行说明。如图19所示，参数编码部112构成为包括：参数编码控制部1121、合并预测部30374、子块预测部(仿射预测部)30372、dmvr部30375、mmvd预测部30376、三角形预测部30377、amvp预测参数推导部3032、减法部1123。合并预测部30374具备合并预测参数推导部3036。参数编码控制部1121包括合并索引推导部11211和矢量候选索引推导部11212。此外，参数编码控制部1121通过合并索引推导部11211推导出merge_idx、affine_flag、base_candidate_idx、distance_idx、direction_idx等，通过矢量候选索引推导部11212推导出mvplx等。也可以将合并预测参数推导部3036、amvp预测参数推导部3032、仿射预测部30372、mmvd预测部30376、三角形预测部30377统称为运动矢量推导部(运动矢量推导装置)。参数编码部112将运动矢量mvlx、参照图片索引refidxlx、帧间预测标识符inter_pred_idc或表示这些的信息输出至预测图像生成部101。此外，参数编码部112将merge_flag、skip_flag、merge_idx、inter_pred_idc、refidxlx、mvp_lx_idx、mvdlx、amvr_mode、affine_flag输出至熵编码部104。
[0453]
图20是表示运动图像编码装置11中的搜索距离的候选数和推导方向的候选数的一个示例的图。参数编码控制部1121推导出表示差分矢量的参数(base_candidate_idx、distance_idx、direction_idx等)，输出至mmvd预测部30376。参照图20对参数编码控制部
1121中的差分矢量推导进行说明。图20的中央的黑圆点是预测矢量mvplx所指的位置，以该位置为中心，在4个(上、下、左、右)方向分别搜索8个搜索距离。mvplx是合并候选列表的起点和第二个候选的运动矢量，分别对其实施搜索。有两个合并候选列表的预测矢量(列表的第一个和第二个)，搜索距离为8，搜索方向为4，因此，在mvdlx中有64种候选。通过base_candidate_idx、distance_idx以及direction_idx来表示所搜索之中成本最小的mvdlx。
[0454]
如此，mmvd模式是对限制为以预测矢量为中心的候选点进行搜索，推导出适当的运动矢量的模式。
[0455]
合并索引推导部11211推导出合并索引merge_idx并输出至合并预测参数推导部3036(合并预测部)。在mmvd模式下，合并索引推导部11211将合并索引merge_idx的值设定为与base_candidate_idx的值相同的值。矢量候选索引推导部11212推导出预测矢量索引mvp_lx_idx。
[0456]
合并预测参数推导部3036基于合并索引merge_idx推导出帧间预测参数。
[0457]
amvp预测参数推导部3032基于运动矢量mvlx推导出预测矢量mvplx。amvp预测参数推导部3032将预测矢量mvplx输出至减法部1123。需要说明的是，参照图片索引refidxlx和预测矢量索引mvp_lx_idx被输出至熵编码部104。
[0458]
仿射预测部30372推导出子块的帧间预测参数(仿射预测参数)。
[0459]
减法部1123从由编码参数确定部110输入的运动矢量mvlx中减去作为amvp预测参数推导部3032的输出的预测矢量mvplx，生成差分矢量mvdlx。差分矢量mvdlx被输出至熵编码部104。
[0460]
加法部106将从预测图像生成部101输入的块预测图像的像素值和从逆量化/逆变换部105输入的预测误差按每个像素相加来生成解码图像。加法部106将生成的解码图像存储于参照图片存储器109。
[0461]
环路滤波器107对加法部106所生成的解码图像，实施去块滤波、sao、alf。需要说明的是，环路滤波器107不一定包括上述三种滤波器，例如也可以是仅包括去块滤波器的构成。
[0462]
预测参数存储器108将编码参数确定部110所生成的预测参数按每个对象图片和cu存储于预定的位置。
[0463]
参照图片存储器109将环路滤波器107所生成的解码图像按每个对象图片和cu每存储于预定的位置。
[0464]
编码参数确定部110选择编码参数的多个集合中的一个集合。编码参数是指上述的qt、bt或tt分割信息、预测参数或与它们关联生成的作为编码对象的参数。预测图像生成部101使用这些编码参数来生成预测图像。
[0465]
编码参数确定部110对多个集合的每一个集合计算出表示信息量的大小和编码误差的rd成本值。编码参数确定部110选择计算出的成本值为最小的编码参数的集合。由此，熵编码部104将所选出的编码参数的集合作为编码流te输出。编码参数确定部110将所确定的编码参数存储于预测参数存储器108。
[0466]
需要说明的是，可以通过计算机实现上述的实施方式中的运动图像编码装置11、运动图像解码装置31中的一部分，例如，熵解码部301、参数解码部302、环路滤波器305、预测图像生成部308、逆量化/逆变换部311、加法部312、预测图像生成部101、减法部102、变
换/量化部103、熵编码部104、逆量化/逆变换部105、环路滤波器107、编码参数确定部110以及参数编码部111。在该情况下，可以通过将用于实现该控制功能的程序记录于计算机可读记录介质，使计算机系统读入记录于该记录介质的程序并执行来实现。需要说明的是，在此提到的“计算机系统”是指内置于运动图像编码装置11、运动图像解码装置31中的任一个的计算机系统，采用包括os、外围设备等硬件的计算机系统。此外，“计算机可读记录介质”是指软盘、磁光盘、rom、cd
‑
rom等可移动介质、内置于计算机系统的硬盘等存储装置。而且，“计算机可读记录介质”也可以包括：像经由互联网等网络或电话线路等通信线路来发送程序的情况下的通信线那样短时间内、动态地保存程序的记录介质；以及像作为该情况下的服务器、客户端的计算机系统内部的易失性存储器那样保存程序固定时间的记录介质。此外，上述程序可以是用于实现上述功能的一部分的程序，也可以是能通过与已记录在计算机系统中的程序进行组合来实现上述功能的程序。
[0467]
此外，也可以将上述的实施方式中的运动图像编码装置11、运动图像解码装置31中的一部分或全部作为lsi(large scale integration：大规模集成电路)等集成电路而实现。运动图像编码装置11、运动图像解码装置31的各功能块可以单独地处理器化，也可以将一部分或全部集成来处理器化。此外，集成电路化的方法并不限于lsi，也可以通过专用电路或通用处理器来实现。此外，在随着半导体技术的进步而出现代替lsi的集成电路化的技术的情况下，也可以使用基于该技术的集成电路。
[0468]
以上，参照附图对该发明的一实施方式详细地进行了说明，但具体构成并不限于上述实施方式，在不脱离该发明的主旨的范围内，可以进行各种设计变更等。
[0469]
〔应用例〕
[0470]
上述运动图像编码装置11和运动图像解码装置31可以搭载于进行运动图像的发送、接收、记录、再现的各种装置而利用。需要说明的是，运动图像可以是通过摄像机等拍摄的自然运动图像，也可以是通过计算机等生成的人工运动图像(包括cg和gui)。
[0471]
首先，参照图2对能将上述的运动图像编码装置11和运动图像解码装置31用于运动图像的发送和接收的情况进行说明。
[0472]
图2的(a)是表示搭载有运动图像编码装置11的发送装置prod_a的构成的框图。如图2的(a)所示，发送装置prod_a具备：通过对运动图像进行编码而得到编码数据的编码部prod_a1、通过利用编码部prod_a1所得到的编码数据对载波进行调制而得到调制信号的调制部prod_a2以及发送调制部prod_a2所得到的调制信号的发送部prod_a3。上述的运动图像编码装置11被用作该编码部prod_a1。
[0473]
作为输入至编码部prod_a1的运动图像的输入源，发送装置prod_a也可以进一步具备：拍摄运动图像的摄像机prod_a4、记录运动图像的记录介质prod_a5、用于从外部输入运动图像的输入端子prod_a6以及生成或加工图像的图像处理部a7。在图2的(a)中举例示出了发送装置prod_a具备全部这些的构成，但也可以省略一部分。
[0474]
需要说明的是，记录介质prod_a5可以是记录有未被编码的运动图像的介质，也可以是记录有以与传输用的编码方式不同的记录用的编码方式进行编码后的运动图像的介质。在后者的情况下，使按照记录用的编码方式对从记录介质prod_a5读出的编码数据进行解码的解码部(未图示)介于记录介质prod_a5与编码部prod_a1之间为好。
[0475]
图2的(b)是表示搭载有运动图像解码装置31的接收装置prod_b的构成的框图。如
图2的(b)所示，接收装置prod_b具备：接收调制信号的接收部prodb1、通过对接收部prodb1所接收到的调制信号进行解调而得到编码数据的解调部prod_b2以及通过对解调部prod_b2所得到的编码数据进行解码而得到运动图像的解码部prod_b3。上述的运动图像解码装置31被用作该解码部prod_b3。
[0476]
接收装置prod_b作为解码部prod_b3所输出的运动图像的输出目的地，也可以进一步具备显示运动图像的显示器prod_b4、用于记录运动图像的记录介质prod_b5以及用于将运动图像输出至外部的输出端子prod_b6。在图2的(b)中举例示出了接收装置prod_b具备全部这些的构成，但也可以省略一部分。
[0477]
需要说明的是，记录介质prod_b5可以是用于记录未被编码的运动图像的介质，也可以是以与传输用的编码方式不同的记录用的编码方式编码后的介质。在后者的情况下，使按照记录用的编码方式对从解码部prod_b3获取到的运动图像进行编码的编码部(未图示)介于解码部prod_b3与记录介质prod_b5之间为好。
[0478]
需要说明的是，传输调制信号的传输介质可以是无线的，也可以是有线的。此外，传输调制信号的传输方案可以是广播(在此，指发送目的地未预先确定的发送方案)，也可以是通信(在此，指发送目的地已预先确定的发送方案)。即，调制信号的传输可以通过无线广播、有线广播、无线通信以及有线通信中的任一个来实现。
[0479]
例如，地面数字广播的广播站(广播设备等)/接收站(电视接收机等)是通过无线广播收发调制信号的发送装置prod_a/接收装置prod_b的一个示例。此外，有线电视广播的广播站(广播设备等)/接收站(电视接收机等)是通过有线广播收发调制信号的发送装置prod_a/接收装置prod_b的一个示例。
[0480]
此外，使用互联网的vod(video on demand：视频点播)服务、运动图像共享服务等服务器(工作站等)/客户端(电视接收机、个人计算机、智能手机等)是通过通信收发调制信号的发送装置prod_a/接收装置prod_b的一个示例(通常，在lan中使用无线或有线的任一个作为传输介质，在wan中使用有线作为传输介质)。在此，个人计算机包括台式pc、膝上型pc以及平板型pc。此外，智能手机中也包括多功能便携电话终端。
[0481]
需要说明的是，运动图像共享服务的客户端除了对从服务器下载的编码数据进行解码并显示于显示器的功能以外，还具有对通过摄像机拍摄到的运动图像进行编码并上传至服务器的功能。即，运动图像共享服务的客户端发挥发送装置prod_a和接收装置prod_b这两方的功能。
[0482]
接着，参照图3，对能将上述的运动图像编码装置11和运动图像解码装置31用于运动图像的记录和再现的情况进行说明。
[0483]
图3的(a)是表示搭载有上述的运动图像编码装置11的记录装置prod_c的构成的框图。如图3的(a)所示，记录装置prod_c具备：通过对运动图像进行编码而得到编码数据的编码部prod_c1和将编码部prod_c1所得到的编码数据写入记录介质prod_m的写入部prod_c2。上述的运动图像编码装置11被用作该编码部prod_c1。
[0484]
需要说明的是，记录介质prod_m可以是(1)如hdd(hard disk drive：硬盘驱动器)、ssd(solid state drive：固态硬盘)等那样内置于记录装置prod_c的类型的记录介质，也可以是(2)如sd存储卡、usb(universal serial bus：通用串行总线)闪存等那样连接于记录装置prod_c的类型的记录介质，还可以是(3)如dvd(digital versatile disc：数字
通用光盘、注册商标)、bd(blu
‑
ray disc：蓝光光盘、注册商标)等那样装填至内置于记录装置prod_c的驱动装置(未图示)的记录介质。
[0485]
此外，作为输入至编码部prod_c1的运动图像的输入源，记录装置prod_c也可以进一步具备：拍摄运动图像的摄像机prod_c3、用于从外部输入运动图像的输入端子prod_c4、用于接收运动图像的接收部prod_c5以及生成或加工图像的图像处理部prod_c6。在图3的(a)中举例示出了记录装置prod_c具备全部这些的构成，但也可以省略一部分。
[0486]
需要说明的是，接收部prod_c5可以接收未被编码的运动图像，也可以接收以与记录用的编码方式不同的传输用的编码方式编码后的编码数据。在后者的情况下，使对以传输用的编码方式编码后的编码数据进行解码的传输用解码部(未图示)介于接收部prod_c5与编码部prod_c1之间为好。
[0487]
作为这种记录装置prod_c，例如可举出：dvd记录器、bd记录器、hdd(harddisk drive)记录器等(在该情况下，输入端子prod_c4或接收部prod_c5为运动图像的主要的输入源)。此外，便携式摄像机(在该情况下，摄像机prod_c3为运动图像的主要的输入源)、个人计算机(在该情况下，接收部prod_c5或图像处理部c6为运动图像的主要的输入源)、智能手机(在该情况下，摄像机prod_c3或接收部prod_c5为运动图像的主要的输入源)等也是这种记录装置prod_c的一个示例。
[0488]
图3的(b)是表示搭载有上述的运动图像解码装置31的再现装置prod_d的构成的框图。如图3的(b)所示，再现装置prod_d具备：读出已写入记录介质prod_m的编码数据的读出部prod_d1和通过对读出部prod_d1所读出的编码数据进行解码而得到运动图像的解码部prod_d2。上述的运动图像解码装置31被用作该解码部prod_d2。
[0489]
需要说明的是，记录介质prod_m可以是(1)如hdd、ssd等那样内置于再现装置prod_d的类型的记录介质，也可以是(2)如sd存储卡、usb闪存等那样连接于再现装置prod_d的类型的记录介质，也可以是(3)如dvd、bd等那样装填至内置于再现装置prod_d的驱动装置(未图示)的记录介质。
[0490]
此外，作为解码部prod_d2所输出的运动图像的输出目的地，再现装置prod_d也可以进一步具备：显示运动图像的显示器prod_d3、用于将运动图像输出至外部的输出端子prod_d4以及发送运动图像的发送部prod_d5。在图3的(b)中举例示出了再现装置prod_d具备全部这些的构成，但也可以省略一部分。
[0491]
需要说明的是，发送部prod_d5可以发送未被编码的运动图像，也可以发送以与记录用的编码方式不同的传输用的编码方式编码后的编码数据。在后者的情况下，使以传输用的编码方式对运动图像进行编码的编码部(未图示)介于解码部prod_d2与发送部prod_d5之间为好。
[0492]
作为这种再现装置prod_d，例如可列举出dvd播放器、bd播放器、hdd播放器等(在该情况下，连接有电视接收机等的输出端子prod_d4为运动图像的主要输出目的地)。此外，电视接收机(在该情况下，显示器prod_d3为运动图像的主要输出目的地)、数字标牌(也称为电子看板、电子公告板等，显示器prod_d3或发送部prod_d5为运动图像的主要输出目的地)、台式pc(在该情况下，输出端子prod_d4或发送部prod_d5为运动图像的主要输出目的地)、膝上型或平板型pc(在该情况下，显示器prod_d3或发送部prod_d5为运动图像的主要输出目的地)、智能手机(在该情况下，显示器prod_d3或发送部prod_d5为运动图像的主要
输出目的地)等也是这种再现装置prod_d的一个示例。
[0493]
(硬件实现以及软件实现)
[0494]
此外，上述的运动图像解码装置31和运动图像编码装置11的各块可以通过形成于集成电路(ic芯片)上的逻辑电路而以硬件方式实现，也可以利用cpu(central processing unit：中央处理器)而以软件方式地实现。
[0495]
在后者的情况下，上述各装置具备：执行实现各功能的程序的命令的cpu、储存上述程序的rom(read only memory：只读存储器)、展开上述程序的ram(random access memory：随机存取存储器)以及储存上述程序和各种数据的存储器等存储装置(记录介质)等。然后，本发明的实施方案的目的在于通过以下方式也能达到：将以计算机可读取的方式记录实现前述功能的软件即上述各装置的控制程序的程序代码(执行形式程序、中间代码程序、源程序)的记录介质供给至上述各装置，该计算机(或cpu、mpu)读出记录于记录介质的程序代码并执行。
[0496]
作为上述记录介质，例如能使用：磁带、盒式磁带等带类；包括软盘(注册商标)/硬盘等磁盘、cd
‑
rom(compact disc read
‑
only memory：光盘只读存储器)/mo盘(magneto
‑
optical disc：磁光盘)/md(mini disc：迷你磁光盘)/dvd(digital versatile disc：数字通用光盘，注册商标)/cd
‑
r(cd recordable：光盘刻录片)/蓝光光盘(blu
‑
ray disc：注册商标)等光盘的盘类；ic卡(包括存储卡)/光卡等卡类；掩模rom/eprom(erasable programmable read
‑
only memory：可擦可编程只读存储器)/eeprom(electricallyerasableandprogrammableread
‑
onlymemory：电可擦可编程只读存储器)/闪存rom等半导体存储器类；或者pld(programmable logic device：可编程逻辑器件)、fpga(field programmable gate array：现场可编程门阵列)等逻辑电路类等。
[0497]
此外，也可以将上述各装置构成为能与通信网络连接，并经由通信网络供给上述程序代码。该通信网络能传输程序代码即可，不被特别限定。例如，可利用互联网、内联网(intranet)、外联网(extranet)、lan(local area network：局域网)、isdn(integrated services digital network：综合业务数字网)、van(value
‑
addednetwork：增值网络)、catv(community antenna television/cable television：共用天线电视/有线电视)通信网、虚拟专用网(virtual private network)、电话线路网、移动通信网、卫星通信网等。此外，构成该通信网络的传输介质也是为能传输程序代码的介质即可，不限定于特定的构成或种类。例如，无论在ieee(institute of electrical and electronic engineers：电气和电子工程师协会)1394、usb、电力线输送、有线tv线路、电话线、adsl(asymmetric digital subscriber line：非对称数字用户线路)线路等有线中，还是在如irda(infrared data association：红外线数据协会)、遥控器那样的红外线、bluetooth(注册商标)、ieee802.11无线、hdr(high data rate：高数据速率)、nfc(near field communication：近场通讯)、dlna(digital living network alliance：数字生活网络联盟，注册商标)、便携电话网、卫星线路、地面数字广播网等无线中都可利用。需要说明的是，本发明的实施方式即使以通过电子传输来将上述程序代码具体化的嵌入载波的计算机数据信号的形态也能够实现。
[0498]
本发明的实施方式并不限定于上述的实施方式，能在权利要求所示的范围内进行各种变更。即，将在权利要求所示的范围内经过适当变更的技术方案组合而得到的实施方
式也包括在本发明的技术范围内。
[0499]
(关联申请的相互参照)
[0500]
本技术对2018年3月8日提出申请的日本专利申请：日本特愿2019
‑
043097主张优先权的利益，并通过对其进行参照而将其全部内容包括到本说明书中。
[0501]
工业上的可利用性
[0502]
本发明的实施方式能优选地应用于对将图像数据编码而得到的编码数据进行解码的运动图像解码装置，以及生成将图像数据编码而得到的编码数据的运动图像编码装置。此外，能优选地应用于由运动图像编码装置生成并被运动图像解码装置参照的编码数据的数据结构。
[0503]
附图标记说明
[0504]
31 图像解码装置
[0505]
301 熵解码部
[0506]
302 参数解码部
[0507]
3020 报头解码部
[0508]
303 帧间预测参数解码部
[0509]
304 帧内预测参数解码部
[0510]
308 预测图像生成部
[0511]
309 帧间预测图像生成部
[0512]
310 帧内预测图像生成部
[0513]
311 逆量化/逆变换部
[0514]
312 加法部
[0515]
11 图像编码装置
[0516]
101 预测图像生成部
[0517]
102 减法部
[0518]
103 变换/量化部
[0519]
104 熵编码部
[0520]
105 逆量化/逆变换部
[0521]
107 环路滤波器
[0522]
110 编码参数确定部
[0523]
111 参数编码部
[0524]
112 参数编码部
[0525]
1110 报头编码部
[0526]
1111 ct信息编码部
[0527]
1112 cu编码部(预测模式编码部)
[0528]
1114 tu编码部
[0529]
3091 运动补偿部
[0530]
3095 合成部
[0531]
30951 组合的帧内/帧间合成部
[0532]
30952 三角形合成部
[0533]
30953 obmc部
[0534]
30954 加权预测部
[0535]
30955 gbi部
[0536]
30956 bdof部
[0537]
309561 l0、l1预测图像生成部
[0538]
309562 梯度图像生成部
[0539]
309563 相关参数计算部
[0540]
309564 运动补偿修正值推导部
[0541]
309565 bdof预测图像生成部