1.本发明涉及视频编码，例如涉及运动图像的编码以及解码中的系统、构成要素以及方法等。
背景技术：
2.视频编码技术从h.261和mpeg
‑
1进步到h.264/avc(advanced video coding：高级视频编码)、mpeg
‑
la、h.265/hevc(high efficiency video coding：高效视频编码)和h.266/vvc(versatile video codec：通用视频编解码器)。伴随着该进步，为了处理在各种用途中持续增加的数字视频数据量，始终需要提供视频编码技术的改良以及最优化。
3.此外，非专利文献1涉及与上述的视频编码技术相关的现有的标准的一例。
4.现有技术文献
5.非专利文献
6.非专利文献1：h.265(iso/iec 23008－2hevc)/hevc(high efficiency video coding)
技术实现要素：
7.发明要解决的课题
8.关于上述那样的编码方式，为编码效率的改善、画质的改善、处理量的削减、电路规模的削减、或者滤波器、块、尺寸、运动矢量、参照图片或参照块等要素或动作的适当的选择等，期望提出新的方式。
9.本发明提供一种能够对例如编码效率的改善、画质的改善、处理量的削减、电路规模的削减、处理速度的改善以及要素或动作的适当的选择等中的1个以上做出贡献的结构或方法。此外，本发明可以包含能够有助于上述以外的利益的结构或方法。
10.用于解决课题的手段
11.例如，本发明的一形态的编码装置，其中，具备：电路以及与所述电路连接的存储器，所述电路在动作中，在对编码对象图像的块应用正交变换的情况和对所述块不应用正交变换的情况这两种情况下，当上下文自适应编码的处理次数在所述处理次数的限制范围内时，通过上下文自适应编码对表示包含在所述块中的系数的属性的系数信息标志进行编码，当所述处理次数不在所述处理次数的限制范围内时，跳过对所述系数信息标志的编码，在所述系数信息标志被编码了的情况下，通过哥伦布莱斯编码对用于使用所述系数信息标志重构所述系数的值的剩余值信息进行编码，在所述系数信息标志的编码被跳过了的情况下，通过哥伦布莱斯编码对所述系数的值进行编码。
12.本发明中的几个实施方式的安装可以改善编码效率，可以简化编码/解码处理，可以加快编码/解码处理速度，还可以高效地选择适当的滤波器、块尺寸、运动矢量、参照图片、参照块等那样的编码和解码中使用的适当的构成要素/动作。
13.根据说明书以及附图，对本发明的一形态中的进一步的优点以及效果进行了明
确。该优点和/或效果通过几个实施方式以及说明书和附图中记载的特征而分别得到，但为了得到1个或其以上的优点和/或效果，未必需要全部提供。
14.此外，这些总括性或者具体的形态也可以通过系统、方法、集成电路、计算机程序、记录介质或者它们的任意组合来实现。
15.发明效果
16.本发明的一形态的结构或者方法例如能够对编码效率的改善、画质的改善、处理量的削减、电路规模的削减、处理速度的改善以及要素或动作的适当的选择等中的1个以上做出贡献。另外，本发明的一形态的结构或方法也可以对上述以外的利益做出贡献。
附图说明
17.图1是表示实施方式的编码装置的功能结构的框图。
18.图2是表示由编码装置进行的整体编码处理的一例的流程图。
19.图3是表示块分割的一例的概念图。
20.图4a是表示切片的结构的一例的概念图。
21.图4b是表示瓦片的结构的一例的概念图。
22.图5a是表示与各种变换类型对应的变换基函数的表。
23.图5b是表示svt(spatially varying transform，空间变换)的一例的概念图。
24.图6a是表示alf(adaptive loop filter：自适应循环滤波器)中使用的滤波器的形状的一例的概念图。
25.图6b是表示alf中使用的滤波器的形状的另一例的概念图。
26.图6c是表示alf中使用的滤波器的形状的另一例的概念图。
27.图7是表示作为dbf(deblocking filter：去块滤波器)发挥功能的循环滤波部的详细结构的一例的框图。
28.图8是表示具有相对于块边界对称的滤波特性的去块滤波的例子的概念图。
29.图9是用于说明进行去块滤波处理的块边界的概念图。
30.图10是表示bs值的一例的概念图。
31.图11是表示由编码装置的预测处理部进行的处理的一例的流程图。
32.图12是表示由编码装置的预测处理部进行的处理的另一例的流程图。
33.图13是表示由编码装置的预测处理部进行的处理的另一例的流程图。
34.图14是表示实施方式的帧内预测中的67个帧内预测模式的一例的概念图。
35.图15是表示帧间预测的基本处理的流程的一例的流程图。
36.图16是表示运动矢量导出的一例的流程图。
37.图17是表示运动矢量导出的另一例的流程图。
38.图18是表示运动矢量导出的另一例的流程图。
39.图19是表示基于普通帧间模式的帧间预测的例子的流程图。
40.图20是表示基于合并模式的帧间预测的例子的流程图。
41.图21是用于说明基于合并模式的运动矢量导出处理的一例的概念图。
42.图22是表示fruc(frame rate up conversion，帧速率上变换)处理的一例的流程图。
43.图23是用于说明沿着运动轨道的2个块之间的图案匹配(双向匹配)的一例的概念图。
44.图24是用于说明当前图片内的模板与参照图片内的块之间的图案匹配(模板匹配)的一例的概念图。
45.图25a是用于说明基于多个相邻块的运动矢量的子块单位的运动矢量的导出的一例的概念图。
46.图25b是用于说明在具有3个控制点的仿射模式中的子块单位的运动矢量的导出的一例的概念图。
47.图26a是用于说明仿射合并模式的概念图。
48.图26b是用于说明具有2个控制点的仿射合并模式的概念图。
49.图26c是用于说明具有3个控制点的仿射合并模式的概念图。
50.图27是表示仿射合并模式的处理的一例的流程图。
51.图28a是用于说明具有2个控制点的仿射帧间模式的概念图。
52.图28b是用于说明具有3个控制点的仿射帧间模式的概念图。
53.图29是表示仿射帧间模式的处理的一例的流程图。
54.图30a是用于说明当前块具有3个控制点、相邻块具有2个控制点的仿射帧间模式的概念图。
55.图30b是用于说明当前块具有2个控制点、相邻块具有3个控制点的仿射帧间模式的概念图。
56.图31a是表示包含dmvr(decoder motion vector refinement：解码器运动矢量细化)的合并模式的流程图。
57.图31b是用于说明dmvr处理的一例的概念图。
58.图32是表示预测图像的生成的一例的流程图。
59.图33是表示预测图像的生成的另一例的流程图。
60.图34是表示预测图像的生成的另一例的流程图。
61.图35是用于说明基于obmc(overlapped block motion compensation，重叠块运动补偿)处理的预测图像修正处理的一例的流程图。
62.图36是用于说明基于obmc处理的预测图像修正处理的一例的概念图。
63.图37是用于说明2个三角形的预测图像的生成的概念图。
64.图38是用于说明假定了等速直线运动的模型的概念图。
65.图39是用于说明使用了基于lic(local illumination compensation，局部光补偿)处理的亮度修正处理的预测图像生成方法的一例的概念图。
66.图40是表示编码装置的安装例的框图。
67.图41是表示实施方式的解码装置的功能结构的框图。
68.图42是表示由解码装置进行的整体解码处理的一例的流程图。
69.图43是表示由解码装置的预测处理部进行的处理的一例的流程图。
70.图44是表示由解码装置的预测处理部进行的处理的另一例的流程图。
71.图45是表示解码装置中的基于普通帧间模式的帧间预测的例子的流程图。
72.图46是表示解码装置的安装例的框图。
73.图47是表示第1形态的基本系数编码方法的流程图。
74.图48是表示第1形态的基本第1编码方式的流程图。
75.图49是表示第1形态的基本第2编码方式的流程图。
76.图50是表示第1形态的第1例的系数编码方法的流程图。
77.图51是表示第1形态的第2例的系数编码方法的流程图。
78.图52是表示第2形态的第1例的系数编码方法的流程图。
79.图53是表示第2形态的第2例的系数编码方法的流程图。
80.图54是表示第3形态的基本第1编码方式的句法图。
81.图55是表示第3形态的基本第2编码方式的句法图。
82.图56是表示第3形态的第1例的第2编码方式的句法图。
83.图57是表示第3形态的第2例的第2编码方式的句法图。
84.图58是表示实施方式的编码装置的动作的流程图。
85.图59是表示实施方式的解码装置的动作的流程图。
86.图60是表示实现内容分发服务的内容供给系统的整体结构的框图。
87.图61是表示可分级编码时的编码构造的一例的概念图。
88.图62是表示可分级编码时的编码构造的一例的概念图。
89.图63是表示web页的显示画面例的概念图。
90.图64是表示web页的显示画面例的概念图。
91.图65是表示智能电话的一例的框图。
92.图66是表示智能电话的结构例的框图。
具体实施方式
93.例如，在图像的块的编码中，编码装置有时能够通过对块应用正交变换，将块变换成容易压缩的数据。另一方面，在图像的块的编码中，编码装置有时能够通过对块不应用正交变换来削减处理延迟。
94.此外，应用了正交变换的块的特性与不应用正交变换的块的特性互不相同。对应用了正交变换的块使用的编码方式和对不应用正交变换的块使用的编码方式可以互不相同。
95.然而，在对应用了正交变换的块使用了不适当的编码方式的情况下，或者在对不应用正交变换的块使用了不适当的编码方式的情况下，有可能发生编码量的增加或者处理延迟的增加等。此外，在对应用了正交变换的块使用的编码方式与对不应用正交变换的块使用的编码方式之间存在很大的背离的情况下，有可能处理复杂化，且电路规模增大。
96.因此，例如，本发明的一形态的编码装置具备电路和与所述电路连接的存储器，所述电路在动作中限制上下文自适应编码的处理次数而对图像的块进行编码，在所述块的编码中，在对所述块应用正交变换的情况和对所述块不应用正交变换的情况这两种情况下，进行子块标志编码处理而不将其包含在所述处理次数中，所述子块标志编码处理通过上下文自适应编码对表示包含在所述块中的子块是否包含非零系数的子块标志进行编码。
97.由此，无论是否应用正交变换以及限制上下文自适应编码的处理次数，子块标志都有可能通过上下文自适应编码而被编码。因此，编码量有可能被削减。此外，应用正交变
换的块中使用的编码方式与不应用正交变换的块中使用的编码方式之间的差别有可能变小，且电路规模有可能变小。
98.此外，例如，所述电路进一步在对所述块应用正交变换的情况下，进行位置参数编码处理而不将其包含在所述处理次数中，所述位置参数编码处理通过上下文自适应编码对表示所述块中按扫描顺序的最初的非零系数的位置的参数进行编码。
99.因此，在应用正交变换的情况下，无论是否限制上下文自适应编码的处理次数，表示最初的非零系数的位置的参数都有可能通过上下文自适应编码而被编码。因此，编码量有可能被削减。
100.此外，例如，所述电路进一步在对所述块应用正交变换的情况下，通过所述最初的非零系数的位置来决定所述处理次数的限制范围。
101.因此，在应用正交变换的情况下，有可能适当地决定处理次数的限制次数。因此，有可能适当地调整编码量的削减和处理延迟的削减之间的平衡。
102.此外，例如，本发明的一形态的解码装置具备电路和与所述电路连接的存储器，所述电路在动作中限制上下文自适应解码的处理次数而对图像的块进行解码，在所述块的解码中，在对所述块应用逆正交变换的情况和对所述块不应用逆正交变换的情况这两种情况下，进行子块标志解码处理而不将其包含在所述处理次数中，所述子块标志解码处理通过上下文自适应解码对表示包含在所述块中的子块是否包含非零系数的子块标志进行解码。
103.由此，无论是否应用逆正交变换以及是否限制上下文自适应解码的处理次数，都有可能通过上下文自适应解码对子块标志进行解码。因此，编码量有可能被削减。此外，应用逆正交变换的块中使用的解码方式与不应用逆正交变换的块中使用的解码方式之间的差别有可能变小，且电路规模有可能变小。
104.此外，例如，所述电路进一步在对所述块应用逆正交变换的情况下，进行位置参数解码处理而不将其包含在所述处理次数中，所述位置参数解码处理通过上下文自适应解码对表示所述块中按扫描顺序的最初的非零系数的位置的参数进行编码。
105.由此，在应用逆正交变换的情况下，无论是否限制上下文自适应解码的处理次数，表示最初的非零系数的位置的参数都有可能通过上下文自适应解码而被解码。因此，编码量有可能被削减。
106.此外，例如，所述电路进一步在对所述块应用逆正交变换的情况下，通过所述最初的非零系数的位置来决定所述处理次数的限制范围。
107.由此，在应用逆正交变换的情况下，有可能适当地决定处理次数的限制次数。因此，有可能适当地调整编码量的削减和处理延迟的削减之间的平衡。
108.另外，例如，本发明的一形态的编码方法为，限制上下文自适应编码的处理次数而对图像的块进行编码，在所述块的编码中，在对所述块应用正交变换的情况和对所述块不应用正交变换的情况这两种情况下，进行子块标志编码处理而不将其包含在所述处理次数中，所述子块标志编码处理通过上下文自适应编码对表示包含在所述块中的子块是否包含非零系数的子块标志进行编码。
109.由此，无论是否应用正交变换以及限制上下文自适应编码的处理次数，子块标志都有可能通过上下文自适应编码而被编码。因此，编码量有可能被削减。此外，应用正交变换的块中使用的编码方式与不应用正交变换的块中使用的编码方式之间的差别有可能变
小，且电路规模有可能变小。
110.此外，例如，本发明的一形态的解码方法为，限制上下文自适应解码的处理次数而对图像的块进行解码，在所述块的解码中，在对所述块应用逆正交变换的情况和对所述块不应用逆正交变换的情况这两种情况下，进行子块标志解码处理而不将其包含在所述处理次数中，所述子块标志解码处理通过上下文自适应解码对表示包含在所述块中的子块是否包含非零系数的子块标志进行解码。
111.由此，无论是否应用逆正交变换以及是否限制上下文自适应解码的处理次数，都有可能通过上下文自适应解码对子块标志进行解码。因此，编码量有可能被削减。此外，应用逆正交变换的块中使用的解码方式与不应用逆正交变换的块中使用的解码方式之间的差别有可能变小，且电路规模有可能变小。
112.此外，例如，本发明的一形态的编码装置具备电路和与所述电路连接的存储器，所述电路在动作中，在对编码对象图像的块应用正交变换的情况和对所述块不应用正交变换的情况这两种情况下，在上下文自适应编码的处理次数在处理次数的限制范围内的情况下，通过上下文自适应编码对表示包含在所述块中的系数的属性的系数信息标志进行编码，在所述处理次数不在所述处理次数的限制范围内的情况下，跳过所述系数信息标志的编码，在所述系数信息标志被编码的情况下，通过哥伦布莱斯编码对用于使用所述系数信息标志来重构所述系数的值的剩余值信息进行编码，在所述系数信息标志的编码被跳过的情况下，通过哥伦布莱斯编码对所述系数的值进行编码。
113.由此，无论是否应用正交变换，都有可能按照上下文自适应编码的处理次数的限制，跳过系数信息标志的编码。因此，有可能抑制处理延迟的增大，并且抑制编码量的增大。此外，应用正交变换的块中使用的编码方式与不应用正交变换的块中使用的编码方式之间的差别有可能变小，且电路规模有可能变小。
114.此外，例如，所述系数信息标志是表示所述系数的值是否大于1的标志。
115.由此，无论是否应用正交变换，按照上下文自适应编码的处理次数的限制，对表示系数的值是否大于1的系数信息标志的编码有可能被跳过。因此，有可能抑制处理延迟的增大，并且抑制编码量的增大。
116.此外，例如，本发明的一形态的解码装置具备电路和与所述电路连接的存储器，所述电路在动作中，在对解码对象图像的块应用逆正交变换的情况和对所述块不应用逆正交变换的情况这两种情况下，在上下文自适应解码的处理次数在所述处理次数的限制范围内的情况下，通过上下文自适应解码对表示包含在所述块中的系数的属性的系数信息标志进行解码，在所述处理次数不在所述处理次数的限制范围内的情况下，跳过所述系数信息标志的解码，在所述系数信息标志被解码的情况下，通过哥伦布莱斯解码对用于使用所述系数信息标志来重构所述系数的值的剩余值信息进行解码，在所述系数信息标志的解码被跳过的情况下，通过哥伦布莱斯解码对所述系数的值进行解码。
117.由此，无论是否应用逆正交变换，都有可能按照上下文自适应解码的处理次数的限制，跳过系数信息标志的解码。因此，有可能抑制处理延迟的增大，并且抑制编码量的增大。此外，应用逆正交变换的块中使用的解码方式与不应用逆正交变换的块中使用的解码方式之间的差别有可能变小，且电路规模有可能变小。
118.此外，例如，所述系数信息标志是表示所述系数的值是否大于1的标志。
119.由此，无论是否应用逆正交变换，都有可能按照上下文自适应解码的处理次数的限制，跳过对表示系数的值是否大于1的系数信息标志的解码。因此，有可能抑制处理延迟的增大，并且抑制编码量的增大。
120.此外，例如，本发明的一形态的编码方法为，在对编码对象图像的块应用正交变换的情况和对所述块不应用正交变换的情况这两种情况下，在上下文自适应编码的处理次数在所述处理次数的限制范围内的情况下，通过上下文自适应编码对表示包含在所述块中的系数的属性的系数信息标志进行编码，在所述处理次数不在所述处理次数的限制范围内的情况下，跳过所述系数信息标志的编码，在所述系数信息标志被编码的情况下，通过哥伦布莱斯编码对用于使用所述系数信息标志来重构所述系数的值的剩余值信息进行编码，在所述系数信息标志的编码被跳过的情况下，通过哥伦布莱斯编码对所述系数的值进行编码。
121.由此，无论是否应用正交变换，都有可能按照上下文自适应编码的处理次数的限制，跳过系数信息标志的编码。因此，有可能抑制处理延迟的增大，并且抑制编码量的增大。此外，应用正交变换的块中使用的编码方式与不应用正交变换的块中使用的编码方式之间的差别有可能变小，且电路规模有可能变小。
122.此外，例如，本发明的一形态的解码方法在对解码对象图像的块应用逆正交变换的情况和对所述块不应用逆正交变换的情况这两种情况下，在上下文自适应解码的处理次数在所述处理次数的限制范围内的情况下，通过上下文自适应解码对表示包含在所述块中的系数的属性的系数信息标志进行解码，在所述处理次数不在所述处理次数的限制范围内的情况下，跳过所述系数信息标志的解码，在所述系数信息标志被解码的情况下，通过哥伦布莱斯解码对用于使用所述系数信息标志来重构所述系数的值的剩余值信息进行解码，在所述系数信息标志的解码被跳过的情况下，通过哥伦布莱斯解码对所述系数的值进行解码。
123.由此，无论是否应用逆正交变换，都有可能按照上下文自适应解码的处理次数的限制，跳过系数信息标志的解码。因此，有可能抑制处理延迟的增大，并且抑制编码量的增大。此外，应用逆正交变换的块中使用的解码方式与不应用逆正交变换的块中使用的解码方式之间的差别有可能变小，且电路规模有可能变小。
124.此外，例如，本发明的一形态的编码装置具备电路和与所述电路连接的存储器，所述电路在动作中，限制上下文自适应编码的处理次数而对图像的块进行编码，在所述块的编码中，在对所述块不应用正交变换的情况下，判定分别表示包含在所述块中的系数的多个属性的多个系数信息标志是否满足了处理条件，在判定为满足了所述处理条件的情况下，通过上下文自适应编码对所述多个系数信息标志进行编码，所述处理条件是如下条件：在对所述处理次数加上了所述多个系数信息标志的个数的情况下的所述处理次数在所述处理次数的限制范围内。
125.由此，在不应用正交变换的情况下，有可能对多个系数信息标志总括性地判定是否可能使用上下文自适应编码。因此，有可能处理被简化，并且处理延迟被削减。此外，在对应用正交变换的块进行相似的处理的情况下，应用正交变换的块中使用的编码方式与不应用正交变换的块中使用的编码方式之间的差别有可能变小，且电路规模有可能变小。
126.另外，例如，所述多个系数信息标志包含表示所述系数的值是否大于3的系数信息标志和表示所述系数的值是否大于5的系数信息标志。
127.由此，有可能对包含表示系数的值是否大于3的系数信息标志和表示系数的值是否大于5的系数信息标志的多个系数信息标志进行总括性的判定。因此，处理有可能被简化，并且处理延迟有可能被削减。
128.另外，例如，所述多个系数信息标志还包含表示所述系数的值是否大于7的系数信息标志和表示所述系数的值是否大于9的系数信息标志。
129.由此，有可能对包含系数的值是否大于3、系数的值是否大于5、系数的值是否大于7、以及系数的值是否大于9这4个系数信息标志的多个系数信息标志进行总括性的判定。因此，处理有可能被简化，并且处理延迟有可能被削减。
130.此外，例如，本发明的一形态的解码装置具备电路和与所述电路连接的存储器，所述电路在动作中，限制上下文自适应解码的处理次数而对图像的块进行解码，在所述块的解码中，在对所述块不应用逆正交变换的情况下，判定分别表示包含在所述块中的系数的多个属性的多个系数信息标志是否满足了处理条件，在判定为满足了所述处理条件的情况下，通过上下文自适应解码对所述多个系数信息标志进行解码，所述处理条件是如下条件：在对所述处理次数加上了所述多个系数信息标志的个数的情况下的所述处理次数在所述处理次数的限制范围内。
131.由此，在不应用逆正交变换的情况下，都有可能对多个系数信息标志总括性地判定是否可能使用上下文自适应解码。因此，处理可以被简化，并且处理延迟有可能被削减。此外，在对应用了逆正交变换的块进行相似的处理的情况下，应用逆正交变换的块中使用的解码方式与不应用逆正交变换的块中使用的解码方式之间的差别有可能变小，且电路规模有可能变小。
132.另外，例如，所述多个系数信息标志包含表示所述系数的值是否大于3的系数信息标志和表示所述系数的值是否大于5的系数信息标志。
133.由此，有可能对包含表示系数的值是否大于3的系数信息标志和表示系数的值是否大于5的系数信息标志的多个系数信息标志进行总括性的判定。因此，处理有可能被简化，并且处理延迟有可能被削减。
134.另外，例如，所述多个系数信息标志还包含表示所述系数的值是否大于7的系数信息标志和表示所述系数的值是否大于9的系数信息标志。
135.由此，有可能对包含系数的值是否大于3、系数的值是否大于5、系数的值是否大于7、以及系数的值是否大于9这4个系数信息标志的多个系数信息标志进行总括性的判定。因此，处理有可能被简化，并且处理延迟有可能被削减。
136.此外，例如，本发明的一形态的编码方法为，限制上下文自适应编码的处理次数而对图像的块进行编码，在所述块的编码中，在对所述块不应用正交变换的情况下，判定分别表示包含在所述块中的系数的多个属性的多个系数信息标志是否满足了处理条件，在判定为满足了所述处理条件的情况下，通过上下文自适应编码对所述多个系数信息标志进行编码，所述处理条件是如下条件：在对所述处理次数加上了所述多个系数信息标志的个数的情况下的所述处理次数在所述处理次数的限制范围内。
137.由此，在不应用正交变换的情况下，有可能对多个系数信息标志总括性地判定是否可能使用上下文自适应编码。因此，有可能处理被简化，并且处理延迟被削减。此外，在对应用正交变换的块进行相似的处理的情况下，应用正交变换的块中使用的编码方式与不应
用正交变换的块中使用的编码方式之间的差别有可能变小，且电路规模有可能变小。
138.此外，例如，本发明的一形态的解码方法为，限制上下文自适应解码的处理次数而对图像的块进行解码，在所述块的解码中，在对所述块不应用逆正交变换的情况下，判定分别表示包含在所述块中的系数的多个属性的多个系数信息标志是否满足了处理条件，在判定为满足了所述处理条件的情况下，通过上下文自适应解码对所述多个系数信息标志进行解码，所述处理条件是如下条件：在对所述处理次数加上了所述多个系数信息标志的个数的情况下的所述处理次数在所述处理次数的限制范围内。
139.由此，在不应用逆正交变换的情况下，都有可能对多个系数信息标志总括性地判定是否可能使用上下文自适应解码。因此，处理可以被简化，并且处理延迟有可能被削减。此外，在对应用了逆正交变换的块进行相似的处理的情况下，应用逆正交变换的块中使用的解码方式与不应用逆正交变换的块中使用的解码方式之间的差别有可能变小，且电路规模有可能变小。
140.此外，例如，本发明的一形态的编码装置具备分割部、帧内预测部、帧间预测部、预测控制部、变换部、量化部、熵编码部以及循环滤波部。
141.所述分割部将构成所述运动图像的编码对象图片分割成多个块。所述帧内预测部进行帧内预测，该帧内预测使用所述编码对象图片中的参照图像生成所述编码对象图片中的编码对象块的所述预测图像。所述帧间预测部进行帧间预测，所述帧间预测使用与所述编码对象图片不同的参照图片中的参照图像来生成所述编码对象块的所述预测图像。
142.所述预测控制部控制由所述帧内预测部进行的帧内预测和由所述帧间预测部进行的帧间预测。所述变换部对由所述帧内预测部或所述帧间预测部生成的所述预测图像与所述编码对象块的图像之间的预测残差信号进行变换，生成所述编码对象块的变换系数信号。所述量化部对所述变换系数信号进行量化。所述熵编码部对已量化的所述变换系数信号进行编码。所述循环滤波部对所述编码对象块应用滤波器。
143.另外，例如，所述熵编码部在动作中限制上下文自适应编码的处理次数而对图像的块进行编码，在所述块的编码中，在对所述块应用正交变换的情况和对所述块不应用正交变换的情况这两种情况下，进行子块标志编码处理而不将其包含在所述处理次数中，所述子块标志编码处理通过上下文自适应编码对表示包含在所述块中的子块是否包含非零系数的子块标志进行编码。
144.此外，例如，所述熵编码部在动作中，在对编码对象图像的块应用正交变换的情况和对所述块不应用正交变换的情况这两种情况下，在上下文自适应编码的处理次数在所述处理次数的限制范围内的情况下，通过上下文自适应编码对表示包含在所述块中的系数的属性的系数信息标志进行编码，在所述处理次数不在所述处理次数的限制范围内的情况下，跳过所述系数信息标志的编码，在所述系数信息标志被编码的情况下，通过哥伦布莱斯编码对用于使用所述系数信息标志来重构所述系数的值的剩余值信息进行编码，在所述系数信息标志的编码被跳过的情况下，通过哥伦布莱斯编码对所述系数的值进行编码。
145.另外，例如，所述熵编码部在动作中，限制上下文自适应编码的处理次数而对图像的块进行编码，在所述块的编码中，在对所述块不应用正交变换的情况下，判定分别表示包含在所述块中的系数的多个属性的多个系数信息标志是否满足了处理条件，在判定为满足了所述处理条件的情况下，通过上下文自适应编码对所述多个系数信息标志进行编码，所
述处理条件是如下条件：在对所述处理次数加上了所述多个系数信息标志的个数的情况下的所述处理次数在所述处理次数的限制范围内。
146.此外，例如，本发明的一形态的解码装置使用预测图像对运动图像进行解码，该解码装置具有熵解码部、逆量化部、逆变换部、帧内预测部、帧间预测部、预测控制部、加法部(重构部)以及循环滤波部。
147.所述熵解码部对构成所述运动图像的解码对象图片中的解码对象块的已量化的变换系数信号进行解码。所述逆量化部对已量化的所述变换系数信号进行逆量化。所述逆变换部对所述变换系数信号进行逆变换，取得所述解码对象块的预测残差信号。
148.所述帧内预测部进行帧内预测，该帧内预测使用所述解码对象图片中的参照图像生成所述解码对象块的所述预测图像。所述帧间预测部进行帧间预测，该帧间预测使用与所述解码对象图片不同的参照图片中的参照图像来生成所述解码对象块的所述预测图像。所述预测控制部控制由所述帧内预测部进行的帧内预测和由所述帧间预测部进行的帧间预测。
149.所述加法部通过将由所述帧内预测部或所述帧间预测部生成的所述预测图像与所述预测残差信号相加来重构所述解码对象块的图像。所述循环滤波部对所述解码对象块应用滤波器。
150.此外，例如，所述熵解码部在动作中，限制上下文自适应解码的处理次数而对图像的块进行解码，在所述块的解码中，在对所述块应用逆正交变换的情况和对所述块不应用逆正交变换的情况这两种情况下，进行子块标志解码处理而不将其包含在所述处理次数中，所述子块标志解码处理通过上下文自适应解码对表示包含在所述块中的子块是否包含非零系数的子块标志进行解码。
151.此外，例如，所述熵解码部在动作中，在对解码对象图像的块应用逆正交变换的情况和对所述块不应用逆正交变换的情况这两种情况下，在上下文自适应解码的处理次数在所述处理次数的限制范围内的情况下，通过上下文自适应解码对表示包含在所述块中的系数的属性的系数信息标志进行解码，在所述处理次数不在所述处理次数的限制范围内的情况下，跳过所述系数信息标志的解码，在所述系数信息标志被解码的情况下，通过哥伦布莱斯解码对用于使用所述系数信息标志来重构所述系数的值的剩余值信息进行解码，在所述系数信息标志的解码被跳过的情况下，通过哥伦布莱斯解码对所述系数的值进行解码。
152.此外，例如，所述熵解码部在动作中，限制上下文自适应解码的处理次数而对图像的块进行解码，在所述块的解码中，在对所述块不应用逆正交变换的情况下，判定分别表示包含在所述块中的系数的多个属性的多个系数信息标志是否满足了处理条件，在判定为满足了所述处理条件的情况下，通过上下文自适应解码对所述多个系数信息标志进行解码，所述处理条件是如下条件：在对所述处理次数加上了所述多个系数信息标志的个数的情况下的所述处理次数在所述处理次数的限制范围内。
153.而且，这些包含性或具体的形态也可以由系统、装置、方法、集成电路、计算机程序或计算机可读取的cd－rom等非暂时的记录介质实现，也可以由系统、装置、方法、集成电路、计算机程序及记录介质的任意的组合来实现。
154.以下，参照附图具体地说明实施方式。另外，以下说明的实施方式都表示包含性或具体的例子。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置
及连接形态、步骤、步骤的关系及顺序等是一例，不是限定权利要求的意思。
155.以下，说明编码装置及解码装置的实施方式。实施方式是能够应用在本发明的各形态中说明的处理及/或结构的编码装置及解码装置的例子。处理及/或结构在与实施方式不同的编码装置及解码装置中也能够实施。例如，关于对实施方式应用的处理及/或结构，例如也可以进行以下中的某个。
156.(1)在本发明的各形态中说明的实施方式的编码装置或解码装置的多个构成要素中的某个，也可以替换为在本发明的各形态中的某个所说明的其他构成要素，或是将它们组合；
157.(2)在实施方式的编码装置或解码装置中，也可以对通过该编码装置或解码装置的多个构成要素中的一部分构成要素进行的功能或处理，进行功能或处理的追加、替换、删除等的任意的变更。例如，将任一功能或处理替换为在本发明的各形态中的某个所说明的其他功能或处理，或是将它们组合；
158.(3)在实施方式的编码装置或解码装置实施的方法中，也可以对于该方法中包含的多个处理中的一部分处理，进行追加、替换、删除等任意的变更。例如，将方法中任一处理替换为在本发明的各形态中的某个所说明的其他处理，或是将它们组合；
159.(4)构成实施方式的编码装置或解码装置的多个构成要素中的一部分构成要素，可以与在本发明的各形态中的某个所说明的构成要素组合，也可以与具备在本发明的各形态中的某个所说明的功能的一部分的构成要素组合，也可以与实施在本发明的各形态中说明的构成要素所实施的处理的一部分的构成要素组合；
160.(5)具备实施方式的编码装置或解码装置的功能的一部分的构成要素、或实施实施方式的编码装置或解码装置的处理的一部分的构成要素，与在本发明的各形态中的某个所说明的构成要素、具备在本发明的各形态中的某个所说明的功能的一部分的构成要素、或实施在本发明的各形态中的某个所说明的处理的一部分的构成要素组合或替换；
161.(6)在实施方式的编码装置或解码装置所实施的方法中，该方法中包含的多个处理中的某个替换为在本发明的各形态中的某个所说明的处理或者同样的某个处理，或是将它们组合；
162.(7)将在实施方式的编码装置或解码装置所实施的方法中包含的多个处理中的一部分的处理也可以与在本发明的各形态中的任一种中说明的处理组合。
163.(8)在本发明的各形态中说明的处理及/或结构的实施的方式并不限定于实施方式的编码装置或解码装置。例如，处理及/或结构也可以在以与实施方式中公开的运动图像编码或运动图像解码不同的目的而利用的装置中实施。
164.[编码装置]
[0165]
首先，说明有关实施方式的编码装置。图1是表示有关实施方式的编码装置100的功能结构的框图。编码装置100是将运动图像以块单位进行编码的运动图像编码装置。
[0166]
如图1所示，编码装置100是将图像以块单位进行编码的装置，具备分割部102、减法部104、变换部106、量化部108、熵编码部110、逆量化部112、逆变换部114、加法部116、块存储器118、循环滤波部120、帧存储器122、帧内预测部124、帧间预测部126和预测控制部128。
[0167]
编码装置100例如由通用处理器及存储器实现。在此情况下，当保存在存储器中的
软件程序被处理器执行时，处理器作为分割部102、减法部104、变换部106、量化部108、熵编码部110、逆量化部112、逆变换部114、加法部116、循环滤波部120、帧内预测部124、帧间预测部126及预测控制部128发挥功能。此外，编码装置100也可以作为与分割部102、减法部104、变换部106、量化部108、熵编码部110、逆量化部112、逆变换部114、加法部116、循环滤波部120、帧内预测部124、帧间预测部126及预测控制部128对应的专用的1个以上的电子电路实现。
[0168]
以下，在说明了编码装置100的整体处理的流程之后，对编码装置100中包含的各构成要素进行说明。
[0169]
[编码处理的整体流程]
[0170]
图2是表示由编码装置100进行的整体编码处理的一例的流程图。
[0171]
首先，编码装置100的分割部102将作为运动图像的输入图像中包含的各图片分割为多个固定尺寸的块(例如，128
×
128像素)(步骤sa_1)。然后，分割部102对该固定尺寸的块选择分割图案(也称为块形状)(步骤sa_2)。也就是说，分割部102将具有固定尺寸的块进一步分割为构成该所选择的分割图案的多个块。然后，编码装置100对于该多个块中的每一个，对该块(即，编码对象块)进行步骤sa_3至sa_9的处理。
[0172]
也就是说，由帧内预测部124、帧间预测部126和预测控制部128的全部或一部分构成的预测处理部生成编码对象块(也称为当前块)的预测信号(也称为预测块)(步骤sa_3)。
[0173]
接着，减法部104生成编码对象块与预测块的差分作为预测残差(也称为差分块)(步骤sa_4)。
[0174]
接下来，变换部106和量化部108通过对该差分块进行变换和量化来生成多个量化系数(步骤sa_5)。此外，由多个量化系数构成的块也被称为系数块。
[0175]
接着，熵编码部110通过对该系数块和与预测信号的生成相关的预测参数进行编码(具体而言是熵编码)，生成编码信号(步骤sa_6)。另外，编码信号也称为编码比特流、压缩比特流或流。
[0176]
接下来，逆量化部112和逆变换部114通过对系数块进行逆量化和逆变换来复原多个预测残差(即，差分块)(步骤sa_7)。
[0177]
接着，加法部116通过对该复原后的差分块加上预测块，将当前块重构为重构图像(也称为重构块或解码图像块)(步骤sa_8)。由此，生成重构图像。
[0178]
当生成该重构图像时，循环滤波部120根据需要对该重构图像进行滤波(步骤sa_9)。
[0179]
然后，编码装置100判定整个图片的编码是否已完成(步骤sa_10)，并且在判定为编码未完成的情况下(步骤sa_10中为否)，反复进行从步骤sa_2开始的处理。
[0180]
另外，在上述的例子中，编码装置100对固定尺寸的块选择1个分割图案，按照该分割图案进行各块的编码，但也可以按照多个分割图案的每一个进行各块的编码。在这种情况下，编码装置100可以评价针对多个分割图案中的每一个的成本，并且例如可以选择通过按照最小成本的分割图案进行编码而得到的编码信号作为输出的编码信号。
[0181]
如图所示，这些步骤sa_1～sa_10的处理由编码装置100顺序地进行。或者，这些处理中的一部分多个处理可以并行地进行，也可以进行这些处理的顺序的调换。
[0182]
[分割部]
[0183]
分割部102将输入运动图像中包含的各图片分割为多个块，将各块向减法部104输出。例如，分割部102首先将图片分割为固定尺寸(例如128
×
128)的块。也可以采用其他固定块尺寸。该固定尺寸的块有被称作编码树单元(ctu)的情况。并且，分割部102例如基于递归性的四叉树(quadtree)及/或二叉树(binary tree)块分割，将固定尺寸的各个块分割为可变尺寸(例如64
×
64以下)的块。即，分割部102选择分割图案。该可变尺寸的块有被称作编码单元(cu)、预测单元(pu)或变换单元(tu)的情况。另外，在各种处理例中，不需要将cu、pu及tu区分，而也可以将图片内的一部分或全部的块作为cu、pu、tu的处理单位。
[0184]
图3是表示实施方式的块分割的一例的概念图。在图3中，实线表示基于四叉树块分割的块边界，虚线表示基于二叉树块分割的块边界。
[0185]
这里，块10是128
×
128像素的正方形块(128
×
128块)。该128
×
128块10首先被分割为4个正方形的64
×
64块(四叉树块分割)。
[0186]
左上方的64
×
64块再被垂直地分割为2个矩形的32
×
64块，左方的32
×
64块再被垂直地分割为2个矩形的16
×
64块(二叉树块分割)。结果，左上方的64
×
64块被分割为2个16
×
64块11、12和32
×
64块13。
[0187]
右上方的64
×
64块被水平地分割为2个矩形的64
×
32块14、15(二叉树块分割)。
[0188]
左下方的64
×
64块被分割为4个正方形的32
×
32块(四叉树块分割)。4个32
×
32块中的左上方的块及右下方的块进一步被分割。左上方的32
×
32块被垂直地分割为2个矩形的16
×
32块，右方的16
×
32块再被水平地分割为2个16
×
16块(二叉树块分割)。右下方的32
×
32块被水平地分割为2个32
×
16块(二叉树块分割)。结果，左下方的64
×
64块被分割为16
×
32块16、2个16
×
16块17、18、2个32
×
32块19、20、以及2个32
×
16块21、22。
[0189]
右下方的64
×
64块23不被分割。
[0190]
如以上这样，在图3中，块10基于递归性的四叉树及二叉树块分割而被分割为13个可变尺寸的块11～23。这样的分割有被称作qtbt(quad－tree plus binary tree，四叉树加二叉树)分割的情况。
[0191]
另外，在图3中，1个块被分割为4个或2个块(四叉树或二叉树块分割)，但分割并不限定于这些。例如，也可以是1个块被分割为3个块(三叉树分割)。包括这样的三叉树分割在内的分割有被称作mbt(multi type tree，多类型树)分割的情况。
[0192]
[图片的结构切片/瓦片]
[0193]
为了并行地解码图片，图片有时以切片单位或以瓦片单位构成。由切片单位或瓦片单位构成的图片可以由分割部102构成。
[0194]
切片是构成图片的基本的编码的单位。图片例如由1个以上的切片构成。另外，切片由1个以上的连续的ctu(coding tree unit，编码树单元)构成。
[0195]
图4a是表示切片的结构的一例的概念图。例如，图片包括11
×
8个ctu，并且被分割为4个切片(切片1～4)。切片1由16个ctu构成，切片2由21个ctu构成，切片3由29个ctu构成，切片4由22个ctu构成。在此，图片内的各ctu属于任一个切片。切片的形状成为将图片在水平方向上分割的形状。切片的边界不需要是画面端，可以是画面内的ctu的边界中的任意位置。切片中的ctu的处理顺序(编码顺序或解码顺序)例如是光栅扫描顺序。此外，切片包含头部信息和编码数据。在头部信息中，也可以记述切片的开头的ctu地址、切片类型等该切片的特征。
[0196]
瓦片是构成图片的矩形区域的单位。也可以按光栅扫描顺序对各瓦片分派被称为tileid的编号。
[0197]
图4b是表示瓦片的结构的一例的概念图。例如，图片包括11
×
8个ctu，并且被分割为4个矩形区域的瓦片(瓦片1～4)。在使用瓦片的情况下，与不使用瓦片的情况相比，变更ctu的处理顺序。在不使用瓦片的情况下，图片内的多个ctu按照光栅扫描顺序被处理。在使用瓦片的情况下，在多个瓦片的每一个中，至少1个ctu按照光栅扫描顺序被处理。例如，如图4b所示，瓦片1中包括的多个ctu的处理顺序是从瓦片1的第1行的左端到瓦片1的第1行的右端，然后从瓦片1的第2行的左端到瓦片1的第2行的右端的顺序。
[0198]
另外，1个瓦片有时包含1个以上的切片，1个切片有时包含1个以上的瓦片。
[0199]
[减法部]
[0200]
减法部104以从分割部102输入并由分割部102分割的块单位从原信号(原样本)减去预测信号(以下所示的从预测控制部128输入的预测样本)。即，减法部104计算编码对象块(以下称作当前块)的预测误差(也称作残差)。并且，减法部104将计算出的预测误差(残差)向变换部106输出。
[0201]
原信号是编码装置100的输入信号，是表示构成运动图像的各图片的图像的信号(例如亮度(luma)信号及2个色差(chroma)信号)。以下，也有将表示图像的信号称作样本的情况。
[0202]
[变换部]
[0203]
变换部106将空间域的预测误差变换为频域的变换系数，将变换系数向量化部108输出。具体而言，变换部106例如对空间域的预测误差进行规定的离散余弦变换(dct)或离散正弦变换(dst)。规定的dct或dst也可以预先确定。
[0204]
另外，变换部106也可以从多个变换类型之中适应性地选择变换类型，使用与所选择的变换类型对应的变换基函数(transform basis function)，将预测误差变换为变换系数。这样的变换有被称作emt(explicit multiple core transform，多核变换)或amt(adaptive multiple transform，自适应多变换)的情况。
[0205]
多个变换类型例如包括dct－ii、dct－v、dct－viii、dst－i及dst－vii。图5a是表示与变换类型例对应的变换基函数的表。在图5a中，n表示输入像素的数量。从这些多个变换类型之中的变换类型的选择，例如既可以依赖于预测的种类(帧内预测及帧间预测)，也可以依赖于帧内预测模式。
[0206]
表示是否应用这样的emt或amt的信息(例如称作emt标志或者amt标志)及表示所选择的变换类型的信息通常以cu级被信号化。另外，这些信息的信号化并不需要限定于cu级，也可以是其他级(例如，比特序列级、图片级、切片级、瓦片级或ctu级)。
[0207]
此外，变换部106也可以对变换系数(变换结果)进行再变换。这样的再变换有被称作ast(adaptive secondary transform，自适应二次变换)或nsst(non－separable secondary transform，不可分二次变换)的情况。例如，变换部106按与帧内预测误差对应的变换系数的块中包含的每个子块(例如4
×
4子块)进行再变换。表示是否应用nsst的信息及与nsst中使用的变换矩阵有关的信息通常以cu级被进行信号化。另外，这些信息的信号化并不需要限定于cu级，也可以是其他级(例如，序列级、图片级、切片级、瓦片级或ctu级)。
[0208]
在变换部106也可以应用separable的变换和non－separable的变换，separable
(可分离)的变换是指与输入的维度数相当地按每个方向分离而进行多次变换的方式，non－separable(不可分)的变换是指当输入是多维时将2个以上的维度合起来看作1个维度而一起进行变换的方式。
[0209]
例如，作为non－separable的变换的一例，可以举出在输入是4
×
4的块的情况下将其看作具有16个元素的一个排列，对该排列以16
×
16的变换矩阵进行变换处理的方式。
[0210]
此外，在non－separable的变换的进一步的例子中，也可以在将4
×
4的输入块看作具有16个要素的一个排列后，进行对该排列多次进行givens旋转的变换(hypercube givens transform)。
[0211]
在变换部106中的变换中，能够根据cu内的区域来切换要变换为频率区域的基的类型。作为一例，有svt(spatially varying transform)。在svt中，如图5b所示，在水平或垂直方向上将cu二等分，仅对任意一方的区域进行向频率区域的变换。能够对每个区域设置变换基的类型，例如使用dst7和dct8。在本例中，仅对cu内的2个区域中的某一方进行变换，另一方不进行变换，但也可以将2个区域都变换。另外，分割方法也不仅是二等分，还可以更灵活，例如四等分或者对表示分割的信息另外进行编码，与cu分割同样地进行信号化(signaling)等。另外，有时也将svt称为sbt(sub
‑
block transform，子块变换)。
[0212]
[量化部]
[0213]
量化部108对从变换部106输出的变换系数进行量化。具体而言，量化部108对当前块的变换系数以规定的扫描顺序进行扫描，基于与被扫描的变换系数对应的量化参数(qp)对该变换系数进行量化。并且，量化部108将当前块的量化后的变换系数(以下称作量化系数)向熵编码部110及逆量化部112输出。规定的扫描顺序也可以预先确定。
[0214]
规定的扫描顺序是用于变换系数的量化/逆量化的顺序。例如，也可以用频率的升序(从低频向高频的顺序)或降序(从高频向低频的顺序)定义规定的扫描顺序。
[0215]
量化参数(qp)是指定义量化步长(量化宽度)的参数。例如，如果量化参数的值增加，则量化步长也增加。即，如果量化参数的值增加，则量化误差增大。
[0216]
另外，在量化中，有时使用量化矩阵。例如，有时与4
×
4和8
×
8等频率变换尺寸、帧内预测和帧间预测等预测模式、亮度和色差等像素成分对应地使用多种量化矩阵。另外，量化是指将以规定的间隔采样的值与规定的级别对应起来进行数字化，在该技术领域中，也可以使用舍入、化整(rounding)、缩放这样的其他表现来参照，也可以采用舍入、化整、缩放。规定的间隔以及级别也可以预先确定。
[0217]
作为使用量化矩阵的方法，有使用在编码装置侧直接设定的量化矩阵的方法和使用默认的量化矩阵(默认矩阵)的方法。在编码装置侧，通过直接设定量化矩阵，能够设定与图像的特征相应的量化矩阵。然而，在这种情况下，存在由于量化矩阵的编码而编码量增加的缺点。
[0218]
另一方面，也存在不使用量化矩阵而以高频成分的系数和低频成分的系数都相同的方式进行量化的方法。另外，该方法等同于使用系数全部为相同值的量化矩阵(平坦矩阵)的方法。
[0219]
量化矩阵例如可以由sps(序列参数集：sequence parameter set)或pps(图片参数集：picture parameter set)指定。sps包含对序列使用的参数，pps包含对图片使用的参数。sps和pps有时简称为参数集。
[0220]
[熵编码部]
[0221]
熵编码部110基于从量化部108输入的量化系数，生成编码信号(编码比特流)。具体而言，熵编码部110例如将量化系数进行二值化，对二值信号进行算术编码，输出被压缩的比特流或序列。
[0222]
[逆量化部]
[0223]
逆量化部112对从量化部108输入的量化系数进行逆量化。具体而言，逆量化部112对当前块的量化系数以规定的扫描顺序进行逆量化。并且，逆量化部112将当前块的逆量化后的变换系数向逆变换部114输出。规定的扫描顺序也可以预先确定。
[0224]
[逆变换部]
[0225]
逆变换部114通过对从逆量化部112输入的变换系数进行逆变换，复原预测误差(残差)。具体而言，逆变换部114通过对变换系数进行与变换部106的变换对应的逆变换，复原当前块的预测误差。并且，逆变换部114将复原后的预测误差向加法部116输出。
[0226]
另外，复原后的预测误差通常由于通过量化丢失了信息，所以与减法部104计算出的预测误差不一致。即，复原后的预测误差中通常包含量化误差。
[0227]
[加法部]
[0228]
加法部116通过将从逆变换部114输入的预测误差与从预测控制部128输入的预测样本相加，重构当前块。并且，加法部116将重构的块向块存储器118及循环滤波部120输出。重构块有被称作本地解码块的情况。
[0229]
[块存储器]
[0230]
块存储器118例如是用来将在帧内预测中参照的、编码对象图片(称作当前图片)内的块进行保存的存储部。具体而言，块存储器118保存从加法部116输出的重构块。
[0231]
[帧存储器]
[0232]
帧存储器122例如是用来将在帧间预测中使用的参照图片进行保存的存储部，也有被称作帧缓冲器的情况。具体而言，帧存储器122保存由循环滤波部120滤波后的重构块。
[0233]
[循环滤波部]
[0234]
循环滤波部120对由加法部116重构的块施以循环滤波，将滤波后的重构块向帧存储器122输出。循环滤波是指在编码循环内使用的滤波(环内滤波)，例如包括解块滤波(df或dbf)、样本自适应偏移(sao)及自适应循环滤波(alf)等。
[0235]
在alf中，采用用来除去编码失真的最小二乘误差滤波器，例如按当前块内的每个2
×
2子块，采用基于局部性的梯度(gradient)的方向及活性度(activity)从多个滤波器中选择的1个滤波器。
[0236]
具体而言，首先将子块(例如2
×
2子块)分类为多个类(例如15或25类)。子块的分类基于梯度的方向及活性度来进行。例如，使用梯度的方向值d(例如0～2或0～4)和梯度的活性值a(例如0～4)，计算分类值c(例如c＝5d a)。并且，基于分类值c，将子块分类为多个类。
[0237]
梯度的方向值d例如通过将多个方向(例如水平、垂直及2个对角方向)的梯度进行比较而导出。此外，梯度的活性值a例如通过将多个方向的梯度相加、并对相加结果进行量化来导出。
[0238]
基于这样的分类的结果，从多个滤波器之中决定用于子块的滤波器。
[0239]
作为在alf中使用的滤波器的形状，例如使用圆对称形状。图6a～图6c是表示在alf中使用的滤波器的形状的多个例子的图。图6a表示5
×
5钻石形状滤波器，图6b表示7
×
7钻石形状滤波器，图6c表示9
×
9钻石形状滤波器。表示滤波器的形状的信息通常以图片级被进行信号化。另外，表示滤波器的形状的信息的信号化不需要限定于图片级，也可以是其他级(例如，序列级、切片级、瓦片级、ctu级或cu级)。
[0240]
alf的开启/关闭例如也可以以图片级或cu级决定。例如，关于亮度，可以以cu级决定是否采用alf，关于色差，可以以图片级决定是否采用alf。表示alf的开启/关闭的信息通常以图片级或cu级被进行信号化。另外，表示alf的开启/关闭的信息的信号化并不需要限定于图片级或cu级，也可以是其他级(例如，序列级、切片级、瓦片级或ctu级)。
[0241]
可选择的多个滤波器(例如到15个或25个为止的滤波器)的系数集通常以图片级被进行信号化。另外，系数集的信号化并不需要限定于图片级，也可以是其他级(例如，序列级、切片级、瓦片级、ctu级、cu级或子块级)。
[0242]
[循环滤波部＞去块滤波器]
[0243]
在去块滤波器中，循环滤波部120通过对重构图像的块边界进行滤波处理来减少在该块边界产生的失真。
[0244]
图7是表示作为去块滤波器发挥功能的循环滤波部120的详细结构的一例的框图。
[0245]
循环滤波部120包括边界判定部1201、滤波判定部1203、滤波处理部1205、处理判定部1208、滤波特性决定部1207以及开关1202、1204和1206。
[0246]
边界判定部1201判定在块边界附近是否存在进行去块滤波处理的像素(即对象像素)。然后，边界判定部1201将判定结果输出到开关1202和处理判定部1208。
[0247]
在由边界判定部1201判定为对象像素存在于块边界附近的情况下，开关1202将滤波处理前的图像输出到开关1204。相反，在由边界判定部1201判定为对象像素不存在于块边界附近时，开关1202将滤波处理之前的图像输出到开关1206。
[0248]
滤波判定部1203基于位于对象像素的周边的至少1个周边像素的像素值，判定是否对对象像素进行去块滤波处理。然后，滤波判定部1203将该判定结果输出到开关1204和处理判定部1208。
[0249]
在由滤波判定部1203判定为对于对象像素进行去块滤波处理的情况下，开关1204将经由开关1202取得的滤波处理前的图像输出到滤波处理部1205。相反，在由滤波判定部1203判定为不对于对象像素进行去块滤波处理的情况下，开关1204将经由开关1202取得的滤波处理前的图像输出到开关1206。
[0250]
在经由开关1202和1204取得了滤波处理前的图像的情况下，滤波处理部1205对于对象像素执行具有由滤波特性决定部1207决定的滤波特性的去块滤波处理。然后，滤波处理部1205将该滤波处理后的像素输出到开关1206。
[0251]
根据处理判定部1208的控制，开关1206选择性地输出未被去块滤波处理的像素和通过滤波处理部1205被去块滤波处理的像素。
[0252]
处理判定部1208基于边界判定部1201和滤波判定部1203的各自的判定结果来控制开关1206。即，处理判定部1208在由边界判定部1201判定为对象像素存在于块边界附近、且由滤波判定部1203判定为对于对象像素进行去块滤波处理的情况下，从开关1206输出去块滤波处理后的像素。另外，在上述情况以外的情况下，处理判定部1208从开关1206输出未
被去块/滤波处理的像素。通过反复进行这样的像素的输出，从开关1206输出滤波处理后的图像。
[0253]
图8是表示具有相对于块边界对称的滤波特性的去块滤波的一例的概念图。
[0254]
在去块滤波处理中，例如，使用像素值和量化参数，选择特性不同的2个去块滤波器、即强滤波器和弱滤波器中的任一个。在强滤波器中，如图8所示，在隔着块边界存在像素p0～p2和像素q0～q2的情况下，像素q0～q2各自的像素值例如通过进行以下的式所示的运算而变更为像素值q’0～q’2。
[0255]
q’0＝(p1 2
×
p0 2
×
q0 2
×
q1 q2 4)/8
[0256]
q’1＝(p0 q0 q1 q2 2)/4
[0257]
q’2＝(p0 q0 q1 3
×
q2 2
×
q3 4)/8
[0258]
此外，在上述的式子中，p0～p2以及q0～q2是像素p0～p2以及像素q0～q2各自的像素值。另外，q3是在与块边界相反的一侧与像素q2相邻的像素q3的像素值。另外，在上述的各式的右边，与在去块滤波处理中使用的各像素的像素值相乘的系数是滤波系数。
[0259]
进而，在去块滤波处理中，也可以以运算后的像素值不超过阈值而被设定的方式进行限幅处理。在该限幅处理中，使用根据量化参数决定的阈值，将基于上述式的运算后的像素值限幅为“运算对象像素值
±2×
阈值”。由此，能够防止过度的平滑化。
[0260]
图9是用于说明进行去块滤波处理的块边界的概念图。图10是表示bs值的一例的概念图。
[0261]
进行去块滤波处理的块边界例如是图9所示的8
×
8像素块的pu(prediction unit，预测单元)或tu(transform unit，变换单元)的边界。去块滤波处理能够以4行或4列为单位进行。首先，对于图9所示的块p以及块q，如图10那样决定bs(boundary strength，边界强度)值。
[0262]
根据图10的bs值，决定是否即使是属于同一图像的块边界，也进行不同强度的去块滤波处理。在bs值为2的情况下进行针对色差信号的去块滤波处理。在bs值为1以上且满足规定的条件的情况下，进行针对亮度信号的去块滤波处理。规定的条件也可以预先确定。另外，bs值的判定条件并不限定于图10所示的条件，也可以基于其他参数来决定。
[0263]
[预测处理部(帧内预测部/帧间预测部/预测控制部)]
[0264]
图11是表示由编码装置100的预测处理部进行的处理的一例的流程图。此外，预测处理部由帧内预测部124、帧间预测部126和预测控制部128的全部或一部分的构成要素构成。
[0265]
预测处理部生成当前块的预测图像(步骤sb_1)。该预测图像也称为预测信号或预测块。另外，在预测信号中，例如有帧内预测信号或帧间预测信号。具体而言，预测处理部使用通过进行预测块的生成、差分块的生成、系数块的生成、差分块的复原、以及解码图像块的生成而已经得到的重构图像，生成当前块的预测图像。
[0266]
重构图像例如可以是参照图片的图像，也可以是包含当前块的图片即当前图片内的已编码的块的图像。当前图片内的已编码的块例如是当前块的相邻块。
[0267]
图12是表示由编码装置100的预测处理部进行的处理的另一例的流程图。
[0268]
预测处理部通过第1方式生成预测图像(步骤sc_1a)，通过第2方式生成预测图像(步骤sc_1b)，并且通过第3方式生成预测图像(步骤sc_1c)。第1方式、第2方式和第3方式是
用于生成预测图像的互不相同的方式，分别可以是例如帧间预测方式、帧内预测方式和其他预测方式。在这样的预测方式中，也可以使用上述的重构图像。
[0269]
接着，预测处理部选择在步骤sc_1a、sc_1b以及sc_1c中生成的多个预测图像中的任一个(步骤sc_2)。该预测图像的选择、即用于得到最终的预测图像的方式或模式的选择也可以针对所生成的各预测图像计算成本，并基于该成本来进行。此外，该预测图像的选择可以基于用于编码处理的参数来进行。编码装置100可以将用于确定所选择的预测图像、方式或模式的信息信号化为编码信号(也称为编码比特流)。该信息例如可以是标志等。由此，解码装置能够基于该信息，按照在编码装置100中选择的方式或模式来生成预测图像。此外，在图12所示的例子中，预测处理部在通过各方式生成预测图像后，选择预测图像中的任一个。然而，在生成这些预测图像前，预测处理部可以基于用于上述编码处理的参数来选择方式或模式，并且可以根据该方式或模式来生成预测图像。
[0270]
例如，第1方式和第2方式分别是帧内预测和帧间预测，并且预测处理部可以从按照这些预测方式生成的预测图像中选择针对当前块的最终预测图像。
[0271]
图13是表示由编码装置100的预测处理部进行的处理的另一例的流程图。
[0272]
首先，预测处理部通过帧内预测生成预测图像(步骤sd_1a)，并且通过帧间预测生成预测图像(步骤sd_1b)。此外，通过帧内预测生成的预测图像也被称为帧内预测图像，通过帧间预测生成的预测图像也被称为帧间预测图像。
[0273]
接下来，预测处理部评价帧内预测图像和帧间预测图像中的每一个(步骤sd_2)。在该评价中也可以使用成本。也就是说，预测处理部计算帧内预测图像和帧间预测图像各自的成本c。该成本c能够通过r
‑
d最优化模型的式子例如c＝d λ
×
r来计算。在该式中，d是预测图像的编码失真，并且例如通过当前块的像素值与预测图像的像素值之间的差分绝对值和等来表示。另外，r是预测图像的产生编码量，具体而言，是用于生成预测图像的运动信息等的编码所需的编码量等。另外，λ例如是拉格朗日的未定乘数。
[0274]
然后，预测处理部从帧内预测图像和帧间预测图像中选择计算出最小成本c的预测图像作为当前块的最终预测图像(步骤sd_3)。也就是说，选择用于生成当前块的预测图像的预测方式或模式。
[0275]
[帧内预测部]
[0276]
帧内预测部124参照保存在块存储器118中的当前图片内的块而进行当前块的帧内预测(也称作画面内预测)，从而生成预测信号(帧内预测信号)。具体而言，帧内预测部124通过参照与当前块相邻的块的样本(例如亮度值、色差值)进行帧内预测而生成帧内预测信号，并将帧内预测信号向预测控制部128输出。
[0277]
例如，帧内预测部124使用规定的多个帧内预测模式中的1个进行帧内预测。多个帧内预测模式通常包括1个以上的非方向性预测模式和多个方向性预测模式。规定的多个模式也可以预先确定。
[0278]
1个以上的非方向性预测模式例如包括由h.265/hevc规格规定的planar(平面)预测模式及dc预测模式。
[0279]
多个方向性预测模式例如包括由h.265/hevc规格规定的33个方向的预测模式。另外，多个方向性预测模式也可以除了33个方向以外还包括32个方向的预测模式(合计65个方向性预测模式)。图14是表示可以在帧内预测中使用的全部67个帧内预测模式(2个非方
向性预测模式及65个方向性预测模式)的概念图。实线箭头表示由h.265/hevc规格规定的33个方向，虚线箭头表示追加的32个方向(2个非方向性预测模式在图14中未图示)。
[0280]
在各种处理例中，在色差块的帧内预测中，也可以参照亮度块。即，也可以基于当前块的亮度成分来预测当前块的色差成分。这样的帧内预测有被称作cclm(cross－component linear model，交叉分量线性模型)预测的情况。也可以将这样的参照亮度块的色差块的帧内预测模式(例如称作cclm模式)作为色差块的帧内预测模式的1个来添加。
[0281]
帧内预测部124也可以基于水平/垂直方向的参照像素的梯度，将帧内预测后的像素值进行修正。伴随着这样的修正的帧内预测有被称作pdpc(position dependent intra prediction combination，位置决定的帧内预测组合)的情况。表示有没有采用pdpc的信息(例如称作pdpc标志)通常以cu级被进行信号化。另外，该信息的信号化并不需要限定于cu级，也可以是其他级(例如，序列级、图片级、切片级、瓦片级或ctu级)。
[0282]
[帧间预测部]
[0283]
帧间预测部126参照保存在帧存储器122中的与当前图片不同的参照图片进行当前块的帧间预测(也称作画面间预测)，从而生成预测信号(帧间预测信号)。帧间预测以当前块或当前块内的当前子块(例如4
×
4块)的单位进行。例如，帧间预测部126对于当前块或当前子块，在参照图片内进行运动搜索(motion estimation，运动估计)，寻找与该当前块或当前子块最一致的参照块或子块。并且，帧间预测部126取得对从参照块或子块到当前块或子块的运动或变化进行补偿的运动信息(例如运动矢量)。帧间预测部126基于该运动信息进行运动补偿(或运动预测)，从而生成当前块或子块的帧间预测信号。并且，帧间预测部126将所生成的帧间预测信号向预测控制部128输出。
[0284]
在运动补偿中使用的运动信息以多种形态被信号化为帧间预测信号。例如，运动矢量也可以被信号化。作为其他例子，运动矢量和预测运动矢量(motion vector predictor)之间的差分也可以被信号化。
[0285]
[帧间预测的基本流程]
[0286]
图15是表示帧间预测的基本流程的一例的流程图。
[0287]
帧间预测部126首先生成预测图像(步骤se_1至se_3)。接下来，减法部104生成当前块与预测图像之间的差分作为预测残差(步骤se_4)。
[0288]
这里，在预测图像的生成中，帧间预测部126通过进行当前块的运动矢量(mv)的决定(步骤se_1和se_2)以及运动补偿(步骤se_3)来生成该预测图像。此外，在mv的决定中，帧间预测部126通过进行候选运动矢量(候选mv)的选择(步骤se_1)和mv的导出(步骤se_2)来决定该mv。候选mv的选择例如通过从候选mv列表中选择至少1个候选mv来进行。另外，在mv的导出中，帧间预测部126也可以通过从至少1个候选mv中进一步选择至少1个候选mv，将该选择出的至少1个候选mv决定为当前块的mv。或者，帧间预测部126可以通过对该选择出的至少一个候选mv中的每一个搜索由该候选mv指示的参照图片的区域来决定当前块的mv。另外，也可以将搜索该参照图片的区域的动作称为运动搜索(motion estimation)。
[0289]
此外，在上述例子中，步骤se_1～se_3由帧间预测部126进行，但是例如步骤se_1或步骤se_2等的处理也可以由编码装置100中包括的其他构成要素进行。
[0290]
[运动矢量的导出的流程]
[0291]
图16是表示运动矢量导出的一例的流程图。
[0292]
帧间预测部126在对运动信息(例如mv)进行编码的模式下导出当前块的mv。在这种情况下，例如，运动信息被编码为预测参数，并且被信号化。也就是说，编码后的运动信息包含在编码信号(也称为编码比特流)中。
[0293]
或者，帧间预测部126在不对运动信息进行编码的模式下导出mv。在这种情况下，运动信息不包含在编码信号中。
[0294]
在此，mv导出的模式也可以有后述的普通帧间模式、合并模式、fruc模式以及仿射模式等。在这些模式中，对运动信息进行编码的模式有普通帧间模式、合并模式、以及仿射模式(具体而言，仿射帧间模式和仿射合并模式)等。此外，运动信息不仅可以包括mv，而且可以包括后述的预测运动矢量选择信息。此外，不对运动信息进行编码的模式有fruc模式等。帧间预测部126从这些多个模式中选择用于导出当前块的mv的模式，并且使用该选择出的模式导出当前块的mv。
[0295]
图17是表示运动矢量导出的另一例的流程图。
[0296]
帧间预测部126在对差分mv进行编码的模式下导出当前块的mv。在这种情况下，例如，差分mv被编码为预测参数，并且被信号化。也就是说，被编码的差分mv包含在编码信号中。该差分mv是当前块的mv与其预测mv之差。
[0297]
或者，帧间预测部126在不对差分mv进行编码的模式下导出mv。在这种情况下，被编码的差分mv不包含在编码信号中。
[0298]
在此，如上所述，mv的导出模式有后述的普通帧间模式、合并模式、fruc模式以及仿射模式等。在这些模式中，对差分mv进行编码的模式有普通帧间模式、以及仿射模式(具体而言，仿射帧间模式)等。此外，不对差分mv进行编码的模式有fruc模式、合并模式、以及仿射模式(具体而言，仿射合并模式)等。帧间预测部126从这些多个模式中选择用于导出当前块的mv的模式，并且使用该选择出的模式导出当前块的mv。
[0299]
[运动矢量的导出的流程]
[0300]
图18是表示运动矢量导出的另一例的流程图。mv导出的模式、即帧间预测模式有多个模式，大致分为对差分mv进行编码的模式和不对差分运动矢量进行编码的模式。不对差分mv进行编码的模式有合并模式、fruc模式和仿射模式(具体而言，仿射合并模式)。关于这些模式的详细内容将后述，简单地说，合并模式是通过从周边的已编码块中选择运动矢量来导出当前块的mv的模式，fruc模式是通过在已编码区域间进行搜索来导出当前块的mv的模式。另外，仿射模式是假定仿射变换，将构成当前块的多个子块各自的运动矢量作为当前块的mv而导出的模式。
[0301]
具体而言，如图所示，在帧间预测模式信息表示0的情况下(sf_1中的0)，帧间预测部126基于合并模式导出运动矢量(sf_2)。此外，在帧间预测模式信息表示1的情况下(sf_1中的1)，帧间预测部126根据fruc模式导出运动矢量(sf_3)。此外，在帧间预测模式信息表示2的情况下(sf_1中的2)，帧间预测部126根据仿射模式(具体而言，仿射合并模式)导出运动矢量(sf_4)。此外，在帧间预测模式信息表示3的情况下(sf_1中的3)，帧间预测部126根据对差分mv进行编码的模式(例如，普通帧间模式)来导出运动矢量(sf_5)。
[0302]
[mv导出＞普通帧间模式]
[0303]
普通帧间模式是基于从由候选mv表示的参照图片的区域中基于与当前块的图像相似的块来导出当前块的mv的帧间预测模式。此外，在该普通帧间模式中，差分mv被编码。
[0304]
图19是表示基于普通帧间模式的帧间预测的例子的流程图。
[0305]
首先，帧间预测部126基于在时间或空间上位于当前块周围的多个已编码块的mv等的信息，对于该当前块取得多个候选mv(步骤sg_1)。也就是说，帧间预测部126制作候选mv列表。
[0306]
接着，帧间预测部126从在步骤sg_1中取得的多个候选mv中，将n个(n为2以上的整数)候选mv分别作为预测运动矢量候选(也称为预测mv候选)，按照规定的优先顺序进行提取(步骤sg_2)。另外，该优先顺序也可以是对n个候选mv的每一个而预先确定的。
[0307]
接着，帧间预测部126从该n个预测运动矢量候选中选择1个预测运动矢量候选作为当前块的预测运动矢量(也称为预测mv)(步骤sg_3)。此时，帧间预测部126将用于识别选择出的预测运动矢量的预测运动矢量选择信息编码到流。另外，流是上述的编码信号或编码比特流。
[0308]
接着，帧间预测部126参照已编码参照图片，导出当前块的mv(步骤sg_4)。此时，帧间预测部126还将所导出的mv与预测运动矢量之间的差分值作为差分mv编码到流。另外，已编码参照图片是由在编码后重构的多个块构成的图片。
[0309]
最后，帧间预测部126通过使用该导出的mv和已编码的参照图片对当前块进行运动补偿来生成该当前块的预测图像(步骤sg_5)。另外，预测图像是上述的帧间预测信号。
[0310]
此外，编码信号中包含的表示在预测图像的生成中使用的帧间预测模式(在上述例子中，普通帧间模式)的信息被编码为例如预测参数。
[0311]
另外，候选mv列表也可以与在其他模式中使用的列表共同使用。此外，与候选mv列表有关的处理可以应用于与其他模式中使用的列表有关的处理。与该候选mv列表有关的处理例如是从候选mv列表中提取或选择候选mv、重新排列候选mv、或者删除候选mv等。
[0312]
[mv导出>合并模式]
[0313]
合并模式是通过从候选mv列表中选择候选mv作为当前块的mv来导出该mv的帧间预测模式。
[0314]
图20是表示基于合并模式的帧间预测的例子的流程图。
[0315]
首先，帧间预测部126基于在时间或空间上位于当前块周围的多个已编码块mv等的信息，对该当前块取得多个候选mv(步骤sh_1)。也就是说，帧间预测部126制作候选mv列表。
[0316]
接着，帧间预测部126通过从在步骤sh_1中取得的多个候选mv中选择1个候选mv，导出当前块的mv(步骤sh_2)。此时，帧间预测部126将用于识别选择出的候选mv的mv选择信息编码到流。
[0317]
最后，帧间预测部126通过使用该导出的mv和已编码参照图片对当前块进行运动补偿来生成该当前块的预测图像(步骤sh_3)。
[0318]
此外，编码信号中包含的表示在预测图像的生成中使用的帧间预测模式(在上述例子中，合并模式)的信息被编码为例如预测参数。
[0319]
图21是用于说明基于合并模式的当前图片的运动矢量导出处理的一例的概念图。
[0320]
首先，生成登记了预测mv的候选的预测mv列表。作为预测mv的候选，有：空间相邻预测mv，是位于对象块的空间的周边的多个已编码块所具有的mv；时间相邻预测mv，是对已编码参照图片中的对象块的位置进行了投影的附近的块所具有的mv；结合预测mv，是将空
间相邻预测mv和时间相邻预测mv的mv值组合而生成的mv；以及零预测mv，是值为零的mv，等。
[0321]
接着，通过从登记在预测mv列表中的多个预测mv中选择1个预测mv，来决定为对象块的mv。
[0322]
而且，在可变长度编码部中，将表示选择了哪个预测mv的信号即merge_idx记述在流中进行编码。
[0323]
另外，在图21中说明的预测mv列表中登记的预测mv是一例，也可以是与图中的个数不同的个数，或者是不包含图中的预测mv的一部分种类的结构，或者是追加了除图中的预测mv的种类以外的预测mv的结构。
[0324]
也可以使用通过合并模式导出的对象块的mv，通过进行后述的dmvr(decoder motion vector refinement)处理来决定最终的mv。
[0325]
另外，预测mv的候选是上述的候选mv，预测mv列表是上述的候选mv列表。此外，也可以将候选mv列表称为候选列表。此外，merge_idx是mv选择信息。
[0326]
[mv导出>fruc模式]
[0327]
运动信息也可以不从编码装置侧被信号化，而在解码装置侧被导出。另外，如上所述，也可以使用由h.265/hevc规格规定的合并模式。此外，例如也可以通过在解码装置侧进行运动搜索来导出运动信息。在实施方式中，在解码装置侧不使用当前块的像素值而进行运动搜索。
[0328]
这里，对在解码装置侧进行运动估计的模式进行说明。该在解码装置侧进行运动估计的模式有被称作pmmvd(pattern matched motion vector derivation，图案匹配的运动矢量推导)模式或fruc(frame rate up－conversion，帧速率上变换)模式的情况。
[0329]
以流程图的形式在图22中表示fruc处理的一例。首先，参照与当前块在空间或时间上相邻的已编码块的运动矢量，生成分别具有预测运动矢量(mv)的多个候选的列表(即，是候选mv列表，也可以与合并列表共用)(步骤si_1)。接着，从登记在候选mv列表中的多个候选mv之中选择最佳候选mv(步骤si_2)。例如，计算候选mv列表中包含的各候选mv的评价值，基于评价值选择1个候选。并且，基于所选择的候选的运动矢量，导出用于当前块的运动矢量(步骤si_4)。具体而言，例如将所选择的候选的运动矢量(最佳候选mv)原样作为用于当前块的运动矢量来导出。此外，例如也可以通过在与所选择的候选的运动矢量对应的参照图片内的位置的周边区域中进行图案匹配，来导出用于当前块的运动矢量。即，也可以对最佳候选mv的周边区域通过使用参照图片中的图案匹配以及评价值进行搜索，在有评价值为更好的值的mv的情况下，将最佳候选mv更新为上述mv，将其作为当前块的最终的mv。也可以做成不实施进行向具有更好的评价值的mv的更新的处理的结构。
[0330]
最后，帧间预测部126通过使用该导出的mv和已编码的参照图片对当前块进行运动补偿来生成该当前块的预测图像(步骤si_5)。
[0331]
也可以在以子块单位进行处理的情况下也进行完全同样的处理。
[0332]
评价值也可以通过各种方法来计算。例如，将与运动矢量对应的参照图片内的区域的重构图像与规定的区域(例如，如下所示，该区域可以是其他参照图片的区域或当前图片的相邻块的区域)的重构图像进行比较。规定的区域也可以预先确定。
[0333]
然后，也可以计算2个重构图像的像素值的差分，用于运动矢量的评价值。另外，也
可以是，除了差分值以外还使用其他信息来计算评价值。
[0334]
接着，对图案匹配的例子进行详细说明。首先，选择候选mv列表(例如合并列表)中包含的1个候选mv作为基于图案匹配的搜索的起始点。例如，作为图案匹配，能够使用第1图案匹配或第2图案匹配。第1图案匹配及第2图案匹配有分别被称作双向匹配(bilateral matching)及模板匹配(template matching)的情况。
[0335]
[mv导出>fruc>双向匹配]
[0336]
在第1图案匹配中，在不同的2个参照图片内的、沿着当前块的运动轨迹(motion trajectory)的2个块之间进行图案匹配。因而，在第1图案匹配中，作为上述的用于候选的评价值的计算的规定区域，使用沿着当前块的运动轨迹的其他参照图片内的区域。规定的区域也可以预先确定。
[0337]
图23是用于说明沿着运动轨迹的2个参照图片中的2个块间的第1图案匹配(双向匹配)的一例的概念图。如图23所示，在第1图案匹配中，通过在沿着当前块(cur block)的运动轨迹的2个块、且不同的2个参照图片(ref0，ref1)内的2个块的对之中搜索最匹配的对，导出2个运动矢量(mv0，mv1)。具体而言，对于当前块，导出由候选mv指定的第1已编码参照图片(ref0)内的指定位置处的重构图像、与由将上述候选mv以显示时间间隔进行缩放后的对称mv指定的第2已编码参照图片(ref1)内的指定位置处的重构图像的差分，使用所得到的差分值计算评价值。能够在多个候选mv之中选择评价值为最好的值的候选mv作为最终mv，能够得到良好的结果。
[0338]
在连续性的运动轨迹的假定下，指示2个参照块的运动矢量(mv0，mv1)相对于当前图片(cur pic)与2个参照图片(ref0，ref1)之间的时间上的距离(td0，td1)成比例。例如，在当前图片在时间上位于2个参照图片之间、从当前图片向2个参照图片的时间上的距离相等的情况下，在第1图案匹配中，导出镜像对称的双方向的运动矢量。
[0339]
[mv导出>fruc>模板匹配]
[0340]
在第2图案匹配(模板匹配)中，在当前图片内的模板(在当前图片内与当前块相邻的块(例如上及/或左相邻块))与参照图片内的块之间进行图案匹配。因而，在第2图案匹配中，作为上述的用于候选的评价值的计算的规定区域，使用当前图片内的与当前块相邻的块。
[0341]
图24是用于说明当前图片内的模板与参照图片内的块之间的图案匹配(模板匹配)的一例的概念图。如图24所示，在第2图案匹配中，通过在参照图片(ref0)内搜索与在当前图片(cur pic)内相邻于当前块(cur block)的块最匹配的块，导出当前块的运动矢量。具体而言，对于当前块，导出左相邻及上相邻的双方或某一方的已编码区域的重构图像与由候选mv指定的已编码参照图片(ref0)内的同等位置处的重构图像的差分，使用所得到的差分值计算评价值，能够在多个候选mv之中选择评价值为最好的值的候选mv作为最佳候选mv。
[0342]
这样的表示是否采用fruc模式的信息(例如称作fruc标志)以cu级被信号化。此外，在采用fruc模式的情况下(例如fruc标志为真的情况下)，表示可采用的图案匹配的方法(第1图案匹配或第2图案匹配)的信息以cu级被信号化。另外，这些信息的信号化并不需要限定于cu级，也可以是其他级(例如，序列级、图片级、切片级、瓦片级、ctu级或子块级)。
[0343]
[mv导出>仿射模式]
[0344]
接下来，对基于多个相邻块的运动矢量并以子块单位导出运动矢量的仿射模式进行说明。该模式有时被称为仿射运动补偿预测(affine motion compensation prediction)模式。
[0345]
图25a是用于说明基于多个相邻块的运动矢量的子块单位的运动矢量的导出的一例的概念图。在图25a中，当前块包括16个4
×
4子块。这里，基于相邻块的运动矢量导出当前块的左上角控制点的运动矢量v0，同样地，基于相邻子块的运动矢量导出当前块的右上角控制点的运动矢量v1。然后，根据以下的式(1a)，可以投影2个运动矢量v0以及v1，也可以导出当前块内的各子块的运动矢量(v
x
，v
y
)。
[0346]
【数式1】
[0347][0348]
这里，x和y分别表示子块的水平位置和垂直位置，w表示规定的权重系数。规定的权重系数也可以预先决定。
[0349]
表示这种仿射模式的信息(例如，称为仿射标志)可以被信号化为cu级的信号。此外，表示该仿射模式的信息的信号化不需要限定于cu级，可以是其他级别(例如，序列级、图片级、切片级、瓦片级、ctu级或子块级)。
[0350]
另外，在这样的仿射模式中，也可以包含左上以及右上角控制点的运动矢量的导出方法不同的若干模式。例如，在仿射模式中，有仿射帧间(也称为仿射普通帧间)模式和仿射合并模式这2个模式。
[0351]
[mv导出>仿射模式]
[0352]
图25b是用于说明具有3个控制点的仿射模式中的子块单位的运动矢量的导出的一例的概念图。在图25b中，当前块包括16个4
×
4子块。这里，基于相邻块的运动矢量导出当前块的左上角控制点的运动矢量v0，同样地，基于相邻块的运动矢量导出当前块的右上角控制点的运动矢量v1，基于相邻块的运动矢量导出当前块的左下角控制点的运动矢量v2。然后，根据以下的式(1b)，可以投影3个运动矢量v0、v1以及v2，也可以导出当前块内的各子块的运动矢量(v
x
，v
y
)。
[0353]
【数式2】
[0354][0355]
这里，x和y分别表示子块中心的水平位置和垂直位置，w表示当前块的宽度，h表示当前块的高度。
[0356]
不同的控制点数(例如，2个和3个)的仿射模式也可以以cu级进行切换而信号化。另外，也可以将表示在cu级中使用的仿射模式的控制点数的信息以其他级(例如，序列级、图片级、切片级、瓦片级、ctu级或子块级)进行信号化。
[0357]
另外，在这样的具有3个控制点的仿射模式中，也可以包含左上、右上以及左下角
控制点的运动矢量的导出方法不同的若干模式。例如，在仿射模式中，有仿射帧间(也称为仿射普通帧间)模式和仿射合并模式这2个模式。
[0358]
[mv导出>仿射合并模式]
[0359]
图26a、图26b和图26c是用于说明仿射合并模式的概念图。
[0360]
在仿射合并模式中，如图26a所示，例如，基于与在与当前块相邻的已编码的块a(左)、块b(上)、块c(右上)、块d(左下)和块e(左上)中的以仿射模式编码的块对应的多个运动矢量，计算当前块的控制点中的每一个的预测运动矢量。具体而言，按照已编码的块a(左)、块b(上)、块c(右上)、块d(左下)以及块e(左上)的顺序检查这些块，确定以仿射模式编码的最初的有效块。基于与所确定的块对应的多个运动矢量来计算当前块的控制点的预测运动矢量。
[0361]
例如，如图26b所示，在以具有2个控制点的仿射模式对与当前块的左侧相邻的块a进行编码的情况下，导出投影到包含块a的已编码的块的左上角以及右上角的位置的运动矢量v3以及v4。然后，根据导出的运动矢量v3和v4，计算当前块的左上角的控制点的预测运动矢量v0和右上角的控制点的预测运动矢量v1。
[0362]
例如，如图26c所示，当在具有3个控制点的仿射模式下对与当前块的左侧相邻的块a进行编码时，导出投影到包含块a的已编码的块的左上角、右上角和左下角的位置的运动矢量v3、v4和v5。然后，根据导出的运动矢量v3、v4和v5，计算当前块的左上角的控制点的预测运动矢量v0、右上角的控制点的预测运动矢量v1和左下角的控制点的预测运动矢量v2。
[0363]
另外，在后述的图29的步骤sj_1中的当前块的控制点各自的预测运动矢量的导出中，也可以使用该预测运动矢量导出方法。
[0364]
图27是表示仿射合并模式的一例的流程图。
[0365]
在仿射合并模式中，如图所示，首先，帧间预测部126导出当前块的控制点各自的预测mv(步骤sk_1)。控制点如图25a所示，是当前块的左上角和右上角的点，或者如图25b所示，是当前块的左上角、右上角和左下角的点。
[0366]
也就是说，如图26a所示，帧间预测部126按照已编码的块a(左)、块b(上)、块c(右上)、块d(左下)和块e(左上)的顺序检查这些块，并且确定以仿射模式编码的初始有效块。
[0367]
然后，在块a被确定并且块a具有2个控制点的情况下，如图26b所示，帧间预测部126根据包含块a的已编码的块的左上角和右上角的运动矢量v3和v4来计算当前块的左上角的控制点的运动矢量v0和右上角的控制点的运动矢量v1。例如，通过将已编码的块的左上角和右上角的运动矢量v3和v4投影到当前块，帧间预测部126计算当前块的左上角的控制点的预测运动矢量v0和右上角的控制点的预测运动矢量v1。
[0368]
或者，在块a被确定并且块a具有3个控制点的情况下，如图26c所示，帧间预测部126根据包含块a的已编码的块的左上角、右上角和左下角的运动矢量v3、v4和v5来计算当前块的左上角的控制点的运动矢量v0、右上角的控制点的运动矢量v1和左下角的控制点的运动矢量v2。例如，通过将已编码的块的左上角、右上角和左下角的运动矢量v3、v4和v5投影到当前块上，帧间预测部126计算当前块的左上角的控制点的预测运动矢量v0、右上角的控制点的预测运动矢量v1和左下角的控制点的运动矢量v2。
[0369]
接下来，帧间预测部126对当前块中包含的多个子块中的每一个进行运动补偿。即，帧间预测部126针对该多个子块的每一个，使用2个预测运动矢量v0和v1和上述的式
(1a)、或者3个预测运动矢量v0、v1以及v2和上述的式(1b)，计算该子块的运动矢量作为仿射mv(步骤sk_2)。然后，帧间预测部126这些使用仿射mv和已编码的参照图片来对该子块进行运动补偿(步骤sk_3)。结果，对当前块进行运动补偿，并且生成该当前块的预测图像。
[0370]
[mv导出>仿射帧间模式]
[0371]
图28a是用于说明具有2个控制点的仿射帧间模式的概念图。
[0372]
在该仿射帧间模式中，如图28a所示，从与当前块相邻的已编码的块a、块b和块c的运动矢量中选择的运动矢量被用作当前块的左上角的控制点的预测运动矢量v0。同样地，从与当前块相邻的已编码的块d和块e的运动矢量中选择的运动矢量被用作当前块的右上角的控制点的预测运动矢量v1。
[0373]
图28b是用于说明具有3个控制点的仿射帧间模式的概念图。
[0374]
在该仿射帧间模式中，如图28b所示，从与当前块相邻的已编码的块a、块b和块c的运动矢量中选择的运动矢量被用作当前块的左上角的控制点的预测运动矢量v0。同样地，从与当前块相邻的已编码的块d和块e的运动矢量中选择的运动矢量被用作当前块的右上角的控制点的预测运动矢量v1。此外，从与当前块相邻的已编码的块f和块g的运动矢量中选择的运动矢量被用作当前块的左下角的控制点的预测运动矢量v2。
[0375]
图29是表示仿射帧间模式的一例的流程图。
[0376]
如图所示，在仿射帧间模式中，首先，帧间预测部126导出当前块的2个或3个控制点各自的预测mv(v0，v1)或(v0，v1，v2)(步骤sj_1)。如图25a或图25b所示，控制点是当前块的左上角、右上角或左下角的点。
[0377]
即，帧间预测部126通过选择图28a或图28b所示的当前块的各控制点附近的已编码的块中的某个块的运动矢量，导出当前块的控制点的预测运动矢量(v0，v1)或(v0，v1，v2)。此时，帧间预测部126将用于识别所选择的2个运动矢量的预测运动矢量选择信息编码到流。
[0378]
例如，帧间预测部126可以通过使用成本评价等来决定从与当前块相邻的已编码块中选择哪个块的运动矢量作为控制点的预测运动矢量，并且可以在比特流中记述表示选择了哪个预测运动矢量的标志。
[0379]
接下来，帧间预测部126在更新步骤sj_1中选择或导出的预测运动矢量的同时(步骤sj_2)进行运动搜索(步骤sj_3和sj_4)。也就是说，帧间预测部126将与要更新的预测运动矢量对应的各子块的运动矢量作为仿射mv，并且使用上述的式(1a)或式(1b)来计算(步骤sj_3)。然后，帧间预测部126使用这些仿射mv和已编码的参照图片对各子块进行运动补偿(步骤sj_4)。结果，在运动搜索循环中，帧间预测部126例如将可以得到最小成本的预测运动矢量决定为控制点的运动矢量(步骤sj_5)。此时，帧间预测部126还将该决定的mv和预测运动矢量之间的差分值作为差分mv编码成流。
[0380]
最后，帧间预测部126通过使用该决定的mv和已编码的参照图片对当前块进行运动补偿来生成该当前块的预测图像(步骤sj_6)。
[0381]
[mv导出>仿射帧间模式]
[0382]
在以cu级切换不同的控制点数(例如，2个和3个)的仿射模式来进行信号化的情况下，有时在已编码的块和当前块中控制点的数量不同。图30a以及图30b是用于说明在已编码的块和当前块中控制点的数量不同的情况下的控制点的预测矢量导出方法的概念图。
[0383]
例如，如图30a所示，在当前块具有左上角、右上角以及左下角这3个控制点，与当前块的左侧相邻的块a以具有2个控制点的仿射模式被编码的情况下，导出投影到包含块a的已编码的块的左上角以及右上角的位置的运动矢量v3以及v4。然后，根据导出的运动矢量v3和v4，计算当前块的左上角的控制点的预测运动矢量v0和右上角的控制点的预测运动矢量v1。此外，根据导出的运动矢量v0和v1计算左下角的控制点的预测运动矢量v2。
[0384]
例如，如图30b所示，在当前块具有左上角和右上角这2个控制点、与当前块的左侧相邻的块a以具有3个控制点的仿射模式下被编码的情况下，导出投影到包含块a的已编码的块的左上角、右上角和左下角的位置的运动矢量v3、v4和v5。然后，根据导出的运动矢量v3、v4和v5，计算当前块的左上角的控制点的预测运动矢量v0和右上角的控制点的预测运动矢量v1。
[0385]
在图29的步骤sj_1中的当前块的控制点的各个预测运动矢量的导出中，也可以使用该预测运动矢量导出方法。
[0386]
[mv导出＞dmvr]
[0387]
图31a是表示合并模式以及dmvr的关系的流程图。
[0388]
帧间预测部126在合并模式下导出当前块的运动矢量(步骤sl_1)。接下来，帧间预测部126判定是否进行运动矢量搜索，即运动搜索(步骤sl_2)。这里，当判定为不进行运动搜索时(步骤sl_2中为否)，帧间预测部126将在步骤sl_1中导出的运动矢量决定为针对当前块的最终运动矢量(步骤sl_4)。即，在这种情况下，在合并模式下决定当前块的运动矢量。
[0389]
另一方面，当在步骤sl_1中判定为进行运动搜索时(步骤sl_2中为是)，帧间预测部126通过搜索由在步骤sl_1中导出的运动矢量表示的参照图片的周边区域来导出针对当前块的最终运动矢量(步骤sl_3)。即，在这种情况下，由dmvr决定当前块的运动矢量。
[0390]
图31b是用于说明用于决定mv的dmvr处理的一例的概念图。
[0391]
首先，将(例如在合并模式中)对当前块设定的最佳mvp设为候选mv。然后，按照候选mv(l0)，根据l0方向的已编码图片即第1参照图片(l0)确定参照像素。同样地，按照候选mv(l1)，根据l1方向的已编码图片即第2参照图片(l1)确定参照像素。通过取这些参照像素的平均来生成模板。
[0392]
接着，使用上述模板，分别搜索第1参照图片(l0)和第2参照图片(l1)的候选mv的周边区域，将成本最小的mv决定为最终的mv。此外，成本值例如也可以使用模板的各像素值与搜索区域的各像素值的差分值以及候选mv值等来计算。
[0393]
另外，典型地，在编码装置和后述的解码装置中，这里说明的处理的结构和动作基本上是共同的。
[0394]
即使不是这里说明的处理例本身，只要是能够搜索候选mv的周边而导出最终的mv的处理，则也可以使用任意的处理。
[0395]
[运动补偿＞bio/obmc]
[0396]
在运动补偿中，存在生成预测图像并对该预测图像进行修正的模式。该模式例如是后述的bio以及obmc。
[0397]
图32是表示预测图像的生成的一例的流程图。
[0398]
帧间预测部126生成预测图像(步骤sm_1)，并且通过例如上述任一个模式来修正
该预测图像(步骤sm_2)。
[0399]
图33是表示生成预测图像的另一例的流程图。
[0400]
帧间预测部126决定当前块的运动矢量(步骤sn_1)。接下来，帧间预测部126生成预测图像(步骤sn_2)，并且判定是否进行修正处理(步骤sn_3)。这里，当判定为进行修正处理时(步骤sn_3中为是)，帧间预测部126通过修正该预测图像来生成最终预测图像(步骤sn_4)。另一方面，当判定为不进行修正处理时(步骤sn_3中为否)，帧间预测部126不修正该预测图像地输出该预测图像作为最终预测图像(步骤sn_5)。
[0401]
此外，在运动补偿中，存在在生成预测图像时修正亮度的模式。该模式例如是后述的lic。
[0402]
图34是表示生成预测图像的另一例的流程图。
[0403]
帧间预测部126导出当前块的运动矢量(步骤so_1)。接下来，帧间预测部126判定是否进行亮度修正处理(步骤so_2)。这里，当判定为进行亮度修正处理时(步骤so_2中为是)，帧间预测部126在进行亮度修正的同时生成预测图像(步骤so_3)。也就是说，通过lic生成预测图像。另一方面，当判定为不进行亮度修正处理时(步骤so_2中为否)，帧间预测部126在不进行亮度修正的情况下通过通常的运动补偿生成预测图像(步骤so_4)。
[0404]
[运动补偿＞obmc]
[0405]
不仅可以使用通过运动搜索得到的当前块的运动信息，而且可以使用相邻块的运动信息来生成帧间预测信号。具体而言，也可以通过对基于通过(参照图片内的)运动搜索得到的运动信息的预测信号和基于(当前图片内的)相邻块的运动信息的预测信号进行加权相加，以当前块内的子块单位生成帧间预测信号。这样的帧间预测(运动补偿)有时被称为obmc(overlapped block motion compensation，重叠块运动补偿)。
[0406]
在obmc模式中，表示用于obmc的子块的尺寸的信息(例如称为obmc块尺寸)也可以以序列级进行信号化。并且，表示是否应用obmc模式的信息(例如称为obmc标志)也可以以cu级进行信号化。另外，这些信息的信号化的级不需要限定于序列级以及cu级，也可以是其他级(例如图片级、切片级、瓦片级、ctu级或者子块级)。
[0407]
对obmc模式的例子进行更具体的说明。图35和图36是用于说明基于obmc处理的预测图像修正处理的概要的流程图和概念图。
[0408]
首先，如图36所示，使用分配给处理对象(当前)块的运动矢量(mv)，取得基于通常的运动补偿的预测图像(pred)。在图36中，箭头“mv”指向参照图片，并且表示当前图片的当前块参照哪个块以得到预测图像。
[0409]
接着，将对已编码的左相邻块已经导出的运动矢量(mv_l)应用(再利用)到编码对象块，取得预测图像(pred_l)。运动矢量(mv_l)由从当前块指向参照图片的箭头“mv_l”表示。然后，通过重叠2个预测图像pred和pred_l，进行预测图像的第1次修正。这具有混合相邻块间的边界的效果。
[0410]
同样地，将对已编码的上相邻块已经导出的运动矢量(mv_u)应用(再利用)到编码对象块，取得预测图像(pred_u)。运动矢量(mv_u)由从当前块指向参照图片的箭头“mv_u”表示。然后，通过将预测图像pred_u与进行了第1次修正的预测图像(例如，pred和pred_l)重合来进行预测图像的第2次修正。这具有混合相邻块间的边界的效果。通过第2次修正得到的预测图像是与相邻块的边界被混合(平滑)的当前块的最终预测图像。
[0411]
此外，上述的例子是使用了左相邻以及上相邻的块的2路径的修正方法，但该修正方法也可以是还使用了右相邻及/或下相邻的块的3路径或者其以上的路径的修正方法。
[0412]
另外，进行重合的区域也可以不是块整体的像素区域，而仅是块边界附近的一部分区域。
[0413]
另外，在此说明了obmc的预测图像修正处理，所述obmc的预测图像修正处理用于通过将1张参照图片与追加的预测图像pred_l和pred_u重合而得到1张预测图像pred。但是，在基于多个参照图像来修正预测图像的情况下，也可以对多个参照图片分别应用同样的处理。在这种情况下，通过进行基于多个参照图片的obmc的图像修正，在从各个参照图片取得了被修正的预测图像后，通过进一步重合该取得的多个修正预测图像来取得最终预测图像。
[0414]
另外，在obmc中，对象块的单位可以是预测块单位，也可以是将预测块进一步分割后的子块单位。
[0415]
作为判定是否应用obmc处理的方法，例如有使用表示是否应用obmc处理的信号即obmc_flag的方法。作为具体的一例，编码装置也可以判定对象块是否属于运动复杂的区域。编码装置在属于运动复杂的区域的情况下，作为obmc_flag设定值1并应用obmc处理来进行编码，在不属于运动复杂的区域的情况下，作为obmc_flag设定值0并不应用obmc处理地进行块的编码。另一方面，在解码装置中，通过对流(例如压缩序列)中记述的obmc_flag进行解码，根据该值切换是否应用obmc处理来进行解码。
[0416]
在上述的例子中，帧间预测部126对矩形的当前块生成1个矩形的预测图像。然而，帧间预测部126可以对该矩形的当前块生成具有与矩形不同的形状的多个预测图像，并且可以通过结合这些多个预测图像来生成最终矩形预测图像。与矩形不同的形状例如也可以是三角形。
[0417]
图37是用于说明2个三角形的预测图像的生成的概念图。
[0418]
帧间预测部126通过对当前块内的三角形第1分区使用该第1分区的第1mv进行运动补偿，从而生成三角形预测图像。同样地，帧间预测部126通过对当前块中的三角形第2分区使用该第2分区的第2mv进行运动补偿来生成三角形预测图像。然后，帧间预测部126通过结合这些预测图像来生成与当前块相同的矩形的预测图像。
[0419]
此外，在图37所示的例子中，第1分区及第2分区分别为三角形，但也可以是梯形，也可以分别是相互不同的形状。而且，在图37所示的例子中，当前块由2个分区构成，但也可以由3个以上的分区构成。
[0420]
另外，第1分区以及第2分区也可以重复。即，第1分区以及第2分区也可以包含相同的像素区域。在这种情况下，可以使用第1分区中的预测图像和第2分区中的预测图像来生成当前块的预测图像。
[0421]
另外，在该例中，示出了2个分区都通过帧间预测来生成预测图像的例子，但也可以针对至少1个分区通过帧内预测来生成预测图像。
[0422]
[运动补偿＞bio]
[0423]
接着，对导出运动矢量的方法进行说明。首先，说明基于假定了等速直线运动的模型来导出运动矢量的模式。该模式有时被称作bio(bi－directional optical flow，双向光流)模式。
[0424]
图38是用于说明假定了等速直线运动的模型的概念图。在图38中，(v
x
，v
y
)表示速度矢量，τ0、τ1分别表示当前图片(cur pic)与2个参照图片(ref0，ref1)之间的时间上的距离。(mvx0，mvy0)表示与参照图片ref0对应的运动矢量，(mvx1，mvy1)表示与参照图片ref1对应的运动矢量。
[0425]
此时，也可以是，在速度矢量(v
x
，v
y
)的等速直线运动的假定下，(mvx0，mvy0)及(mvx1，mvy1)分别被表示为(vxτ0，vyτ0)及(－vxτ1，－vyτ1)，采用以下的光流(optical flow)等式(2)。
[0426]
【数式3】
[0427][0428]
这里，i(k)表示运动补偿后的参照图像k(k＝0、1)的亮度值。该光流等式表示(i)亮度值的时间微分、(ii)水平方向的速度及参照图像的空间梯度的水平成分的积、以及(iii)垂直方向的速度及参照图像的空间梯度的垂直成分的积的和等于零。也可以是，基于该光流等式与埃尔米特内插值(hermite interpolation)的组合，对从合并列表等得到的块单位的运动矢量以像素单位进行修正。
[0429]
另外，也可以通过与基于假定了等速直线运动的模型的运动矢量的导出不同的方法，在解码装置侧导出运动矢量。例如，也可以基于多个相邻块的运动矢量，以子块单位导出运动矢量。
[0430]
[运动补偿＞lic]
[0431]
接着，对使用lic(local illumination compensation)处理来生成预测图像(预测)的模式的一例进行说明。
[0432]
图39是用于说明使用了基于lic处理的亮度修正处理的预测图像生成方法的一例的概念图。
[0433]
首先，从已编码的参照图片导出mv，取得与当前块对应的参照图像。
[0434]
接着，对当前块提取表示在参照图片和当前图片中亮度值如何变化的信息。该提取是基于当前图片中的已编码的左相邻参照区域(周边参照区域)及已编码的上相邻参照区域(周边参照区域)的亮度像素值、和由导出的mv指定的参照图片内的同等位置处的亮度像素值来进行的。然后，使用表示亮度值如何变化的信息，计算亮度修正参数。
[0435]
通过应用上述亮度修正参数对由mv指定的参照图片内的参照图像进行亮度修正处理，生成对于当前块的预测图像。
[0436]
另外，图39中的上述周边参照区域的形状是一例，也可以使用其以外的形状。
[0437]
此外，这里对根据1张参照图片生成预测图像的处理进行了说明，但在根据多张参照图片生成预测图像的情况下也是同样的，也可以在对从各个参照图片取得的参照图像以与上述同样的方法进行亮度修正处理后生成预测图像。
[0438]
作为是否采用lic处理的判定的方法，例如有使用作为表示是否采用lic处理的信号的lic_flag的方法。作为具体的一例，在编码装置中，判定当前块是否属于发生了亮度变化的区域，在属于发生了亮度变化的区域的情况下，作为lic_flag而设定值1，采用lic处理进行编码，在不属于发生了亮度变化的区域的情况下，作为lic_flag而设定值0，不采用lic处理而进行编码。另一方面，在解码装置中，也可以通过将记述在流中的lic_flag解码，根
据其值切换是否采用lic处理而进行解码。
[0439]
作为是否采用lic处理的判定的其他方法，例如还有按照在周边块是否采用了lic处理来判定的方法。作为具体的一例，在当前块是合并模式的情况下，判定在合并模式处理中的mv的导出时所选择的周边的已编码块是否采用lic处理进行了编码，根据其结果，切换是否采用lic处理而进行编码。另外，在该例的情况下，相同的处理也适用于解码装置侧。
[0440]
使用图39对lic处理(亮度修正处理)的形态进行了说明，以下，对其详细内容进行说明。
[0441]
首先，帧间预测部126从作为已编码图片的参照图片导出用于取得与编码对象块对应的参照图像的运动矢量。
[0442]
接着，帧间预测部126对编码对象块，使用左相邻及上相邻的已编码的周边参照区域的亮度像素值和位于由运动矢量指定的参照图片内的同等位置的亮度像素值，提取表示在参照图片和编码对象图片中亮度值如何变化的信息，计算亮度修正参数。例如，将编码对象图片内的周边参照区域内的某像素的亮度像素值设为p0，将与该像素同等位置的参照图片内的周边参照区域内的像素的亮度像素值设为p1。帧间预测部126对周边参照区域内的多个像素计算用于优化a
×
p1 b＝p0的系数a和b作为亮度修正参数。
[0443]
接下来，帧间预测部126通过使用亮度修正参数对由运动矢量指定的参照图片内的参照图像进行亮度修正处理，生成针对编码对象块的预测图像。例如，将参照图像内的亮度像素值设为p2，将亮度修正处理后的预测图像的亮度像素值设为p3。帧间预测部126通过对参照图像内的各像素计算a
×
p2 b＝p3来生成亮度修正处理后的预测图像。
[0444]
此外，图39中的周边参照区域的形状是一例，也可以使用除此以外的形状。另外，也可以使用图39所示的周边参照区域的一部分。例如，也可以将包含从上相邻像素以及左相邻像素分别间隔剔除的规定数量的像素的区域用作周边参照区域。此外，周边参照区域不限于与编码对象块相邻的区域，也可以是不与编码对象块相邻的区域。与像素相关的规定数量也可以预先确定。
[0445]
此外，在图39所示的例子中，参照图片内的周边参照区域是从编码对象图片内的周边参照区域中由编码对象图片的运动矢量指定的区域，但也可以是由其他运动矢量指定的区域。例如，该其他运动矢量也可以是编码对象图片内的周边参照区域的运动矢量。
[0446]
另外，在此，说明了编码装置100中的动作，但典型地，解码装置200中的动作也是同样的。
[0447]
此外，lic处理不仅应用于亮度，也可以应用于色差。此时，可以对y、cb以及cr的每一个单独地导出修正参数，也可以对任一个使用共同的修正参数。
[0448]
此外，lic处理也可以以子块单位来应用。例如，也可以使用当前子块的周边参照区域和由当前子块的mv指定的参照图片内的参照子块的周边参照区域来导出修正参数。
[0449]
[预测控制部]
[0450]
预测控制部128选择帧内预测信号(从帧内预测部124输出的信号)及帧间预测信号(从帧间预测部126输出的信号)中的某一个，将所选择的信号作为预测信号，向减法部104及加法部116输出。
[0451]
如图1所示，在各种编码装置例中，预测控制部128也可以输出输入到熵编码部110的预测参数。熵编码部110可以基于从预测控制部128输入的该预测参数和从量化部108输
入的量化系数来生成编码比特流(或序列)。预测参数也可以在解码装置中使用。解码装置也可以接收编码比特流并进行解码，进行与在帧内预测部124、帧间预测部126以及预测控制部128中进行的预测处理相同的处理。预测参数可以包括选择预测信号(例如，运动矢量、预测类型，或者帧内预测部124或帧间预测部126使用的预测模式)，或者基于在帧内预测部124、帧间预测部126和预测控制部128中进行的预测处理或表示该预测处理的任意索引、标志或值。
[0452]
[编码装置的安装例]
[0453]
图40是表示编码装置100的安装例的框图。编码装置100具备处理器a1以及存储器a2。例如，图1所示的编码装置100的多个构成要素由图40所示的处理器a1以及存储器a2安装实现。
[0454]
处理器a1是进行信息处理的电路，是可访问存储器a2的电路。例如，处理器a1是对运动图像进行编码的专用或通用的电子电路。处理器a1也可以是cpu那样的处理器。另外，处理器a1也可以是多个电子电路的集合体。另外，例如，处理器a1也可以起到图1等所示的编码装置100的多个构成要素中的多个构成要素的作用。
[0455]
存储器a2是存储处理器a1对运动图像进行编码用的信息的专用或通用的存储器。存储器a2既可以是电子电路，也可以与处理器a1连接。另外，存储器a2也可以包含在处理器a1中。另外，存储器a2也可以是多个电子电路的集合体。另外，存储器a2既可以是磁盘或者光盘等，也可以表现为储存器(storage)或者记录介质等。另外，存储器a2既可以是非易失性存储器，也可以是易失性存储器。
[0456]
例如，存储器a2可以存储被编码的运动图像，也可以存储与被编码后的运动图像对应的比特串。另外，在存储器a2中也可以存储处理器a1对运动图像进行编码用的程序。
[0457]
另外，例如，存储器a2也可以起到图1等所示的编码装置100的多个构成要素中用于存储信息的构成要素的作用。例如，存储器a2可以起到图1所示的块存储器118及帧存储器122的作用。更具体而言，存储器a2可以存储已重构的块及已重构的图片等。
[0458]
另外，在编码装置100中，可以不安装图1等所示的多个构成要素的全部，也可以不进行上述的多个处理的全部。图1等所示的多个构成要素的一部分可以包含于其他装置，也可以由其他装置执行上述的多个处理的一部分。
[0459]
[解码装置]
[0460]
接着，对能够将从例如上述编码装置100输出的编码信号(编码比特流)进行解码的解码装置进行说明。图41是表示有关实施方式的解码装置200的功能结构的框图。解码装置200是将运动图像以块单位进行解码的运动图像解码装置。
[0461]
如图41所示，解码装置200具备熵解码部202、逆量化部204、逆变换部206、加法部208、块存储器210、循环滤波部212、帧存储器214、帧内预测部216、帧间预测部218和预测控制部220。
[0462]
解码装置200例如由通用处理器及存储器实现。在此情况下，当由处理器执行了保存在存储器中的软件程序时，处理器作为熵解码部202、逆量化部204、逆变换部206、加法部208、循环滤波部212、帧内预测部216、帧间预测部218及预测控制部220发挥功能。此外，解码装置200也可以作为与熵解码部202、逆量化部204、逆变换部206、加法部208、循环滤波部212、帧内预测部216、帧间预测部218及预测控制部220对应的专用的1个以上的电子电路实
现。
[0463]
以下，在说明了解码装置200的整体处理的流程之后，对解码装置200中包含的各构成要素进行说明。
[0464]
[解码处理的整体流程]
[0465]
图42是表示由解码装置200进行的整体的解码处理的一例的流程图。
[0466]
首先，解码装置200的熵解码部202确定固定尺寸的块(例如128
×
128像素)的分割图案(步骤sp_1)。该分割图案是由编码装置100选择的分割图案。然后，解码装置200对构成该分割图案的多个块分别进行步骤sp_2～sp_6的处理。
[0467]
即，熵解码部202对解码对象块(也称为当前块)的编码后的量化系数和预测参数进行解码(具体而言，熵解码)(步骤sp_2)。
[0468]
接着，逆量化部204和逆变换部206通过对多个量化系数进行逆量化和逆变换，复原多个预测残差(即差分块)(步骤sp_3)。
[0469]
接下来，由帧内预测部216、帧间预测部218和预测控制部220的全部或一部分构成的预测处理部生成当前块的预测信号(也称为预测块)(步骤sp_4)。
[0470]
接着，加法部208通过对差分块加上预测块，将当前块重构为重构图像(也称为解码图像块)(步骤sp_5)。
[0471]
而且，当生成该重构图像时，循环滤波部212对该重构图像进行滤波(步骤sp_6)。
[0472]
然后，解码装置200判定图片整体的解码是否已完成(步骤sp_7)，在判定为未完成的情况下(步骤sp_7中为否)，反复执行从步骤sp_1起的处理。
[0473]
如图所示，步骤sp_1～sp_7的处理由解码装置200顺序地进行，或者，这些处理中的一部分的多个处理可以并行地进行，也可以进行顺序的调换等。
[0474]
[熵解码部]
[0475]
熵解码部202对编码比特流进行熵解码。具体而言，熵解码部202例如从编码比特流算数解码为二值信号。接着，熵解码部202将二值信号进行多值化(debinarize)。由此，熵解码部202以块单位将量化系数向逆量化部204输出。熵解码部202也可以向实施方式中的帧内预测部216、帧间预测部218以及预测控制部220输出编码比特流(参照图1)中包含的预测参数。帧内预测部216、帧间预测部218和预测控制部220能够执行与由编码装置侧的帧内预测部124、帧间预测部126和预测控制部128进行的处理相同的预测处理。
[0476]
[逆量化部]
[0477]
逆量化部204对作为来自熵解码部202的输入的解码对象块(以下称作当前块)的量化系数进行逆量化。具体而言，逆量化部204对于当前块的量化系数，分别基于与该量化系数对应的量化参数，对该量化系数进行逆量化。并且，逆量化部204将当前块的逆量化后的量化系数(即变换系数)向逆变换部206输出。
[0478]
[逆变换部]
[0479]
逆变换部206通过对作为来自逆量化部204的输入的变换系数进行逆变换，将预测误差复原。
[0480]
例如在从编码比特流读解出的信息表示采用emt或amt的情况下(例如amt标志是真)，逆变换部206基于读解出的表示变换类型的信息，对当前块的变换系数进行逆变换。
[0481]
此外，例如在从编码比特流读解出的信息表示采用nsst的情况下，逆变换部206对
变换系数应用逆再变换。
[0482]
[加法部]
[0483]
加法部208通过将作为来自逆变换部206的输入的预测误差与作为来自预测控制部220的输入的预测样本相加，重构当前块。并且，加法部208将重构的块向块存储器210及循环滤波部212输出。
[0484]
[块存储器]
[0485]
块存储器210是用来将作为在帧内预测中参照的、解码对象图片(以下称作当前图片)内的块进行保存的存储部。具体而言，块存储器210保存从加法部208输出的重构块。
[0486]
[循环滤波部]
[0487]
循环滤波部212对由加法部208重构的块施以循环滤波，将滤波后的重构块向帧存储器214及显示装置等输出。
[0488]
在从编码比特流读解出的表示alf的开启/关闭的信息表示alf的开启的情况下，基于局部性的梯度的方向及活性度从多个滤波器之中选择1个滤波器，对所重构块应用选择的滤波器。
[0489]
[帧存储器]
[0490]
帧存储器214是用来将在帧间预测中使用的参照图片进行保存的存储部，也有称作帧缓冲器的情况。具体而言，帧存储器214保存由循环滤波部212滤波后的重构块。
[0491]
[预测处理部(帧内预测部/帧间预测部/预测控制部)]
[0492]
图43是表示由解码装置200的预测处理部进行的处理的一例的流程图。此外，预测处理部由帧内预测部216、帧间预测部218和预测控制部220的全部或一部分构成要素构成。
[0493]
预测处理部生成当前块的预测图像(步骤sq_1)。该预测图像也称为预测信号或预测块。另外，在预测信号中，例如有帧内预测信号或帧间预测信号。具体而言，预测处理部使用通过进行预测块的生成、差分块的生成、系数块的生成、差分块的复原、以及解码图像块的生成而已经得到的重构图像，生成当前块的预测图像。
[0494]
重构图像例如可以是参照图片的图像，也可以是包含当前块的图片即当前图片内的已解码的块的图像。当前图片内的已解码的块例如是当前块的相邻块。
[0495]
图44是表示由解码装置200的预测处理部进行的处理的另一例的流程图。
[0496]
预测处理部判定用于生成预测图像的方式或模式(步骤sr_1)。例如，该方式或模式可以基于例如预测参数等来判定。
[0497]
在判定为第1方式是用于生成预测图像的模式的情况下，预测处理部按照该第1方式生成预测图像(步骤sr_2a)。此外，在判定为第2方式是用于生成预测图像的模式的情况下，预测处理部按照该第2方式生成预测图像(步骤sr_2b)。此外，在判定为第3方式是用于生成预测图像的模式的情况下，预测处理部按照该第3方式生成预测图像(步骤sr_2c)。
[0498]
第1方式、第2方式和第3方式是用于生成预测图像的互不相同的方式，并且可以是例如帧间预测方式、帧内预测方式和其他预测方式。在这样的预测方式中，也可以使用上述的重构图像。
[0499]
[帧内预测部]
[0500]
帧内预测部216基于从编码比特流读解出的帧内预测模式，参照保存在块存储器210中的当前图片内的块进行帧内预测，由此生成预测信号(帧内预测信号)。具体而言，帧
内预测部216通过参照与当前块相邻的块的样本(例如亮度值、色差值)进行帧内预测，由此生成帧内预测信号，将帧内预测信号向预测控制部220输出。
[0501]
另外，在色差块的帧内预测中选择了参照亮度块的帧内预测模式的情况下，帧内预测部216也可以基于当前块的亮度成分来预测当前块的色差成分。
[0502]
此外，在从编码比特流读解出的信息表示pdpc的采用的情况下，帧内预测部216基于水平/垂直方向的参照像素的梯度，对帧内预测后的像素值进行修正。
[0503]
[帧间预测部]
[0504]
帧间预测部218参照保存在帧存储器214中的参照图片，预测当前块。预测以当前块或当前块内的子块(例如4
×
4块)的单位进行。例如，帧间预测部218使用从编码比特流(例如从熵解码部202输出的预测参数)读解出的运动信息(例如运动矢量)进行运动补偿，由此生成当前块或子块的帧间预测信号，将帧间预测信号向预测控制部220输出。
[0505]
在从编码比特流读解出的信息表示采用obmc模式的情况下，帧间预测部218不仅使用通过运动估计得到的当前块的运动信息，还使用相邻块的运动信息来生成帧间预测信号。
[0506]
此外，在从编码比特流读解出的信息表示采用fruc模式的情况下，帧间预测部218按照从编码流读解出的图案匹配的方法(双向匹配或模板匹配)进行运动估计，由此导出运动信息。并且，帧间预测部218使用所导出的运动信息进行运动补偿(预测)。
[0507]
此外，帧间预测部218在采用bio模式的情况下，基于假定了等速直线运动的模型导出运动矢量。此外，在从编码比特流读解出的信息表示采用仿射运动补偿预测模式的情况下，帧间预测部218基于多个相邻块的运动矢量以子块单位导出运动矢量。
[0508]
[mv导出＞普通帧间模式]
[0509]
在从编码比特流读取的信息表示应用普通帧间模式的情况下，帧间预测部218基于从编码比特流读取的信息导出mv，并且使用该mv进行运动补偿(预测)。
[0510]
图45是表示解码装置200中的基于普通帧间模式的帧间预测的例子的流程图。
[0511]
解码装置200的帧间预测部218对每个块进行针对该块的运动补偿。帧间预测部218基于在时间上或空间上处于当前块周围的多个已解码的块的mv等信息，对该当前块取得多个候选mv(步骤ss_1)。也就是说，帧间预测部218制作候选mv列表。
[0512]
接着，帧间预测部218从在步骤ss_1中取得的多个候选mv中，将n个(n为2以上的整数)候选mv分别作为预测运动矢量候选(也称为预测mv候选)，按照规定的优先顺序进行提取(步骤ss_2)。另外，该优先顺序也可以是对n个预测mv候选的每一个而预先确定的。
[0513]
接着，帧间预测部218从输入的流(即编码比特流)中对预测运动矢量选择信息进行解码，使用该解码后的预测运动矢量选择信息，从该n个预测mv候选中选择1个预测mv候选作为当前块的预测运动矢量(也称为预测mv)(步骤ss_3)。
[0514]
接下来，帧间预测部218从输入的流中解码差分mv，并且通过将作为该解码的差分mv的差分值与所选择的预测运动矢量相加来导出当前块的mv(步骤ss_4)。
[0515]
最后，帧间预测部218通过使用该导出的mv和已解码的参照图片对当前块进行运动补偿来生成该当前块的预测图像(步骤ss_5)。
[0516]
[预测控制部]
[0517]
预测控制部220选择帧内预测信号及帧间预测信号中的某一个，将所选择的信号
作为预测信号，向加法部208输出。总体上，解码装置侧的预测控制部220、帧内预测部216和帧间预测部218的结构、功能和处理可以对应于编码装置侧的预测控制部128、帧内预测部124和帧间预测部126的结构、功能和处理。
[0518]
[解码装置的安装例]
[0519]
图46是表示解码装置200的安装例的框图。解码装置200具备处理器b1以及存储器b2。例如，图41所示的解码装置200的多个构成要素通过图46所示的处理器b1以及存储器b2来安装。
[0520]
处理器b1是进行信息处理的电路，是可访问存储器b2的电路。例如，处理器b1是对编码后的运动图像(即编码比特流)进行解码的专用或通用的电子电路。处理器b1也可以是cpu那样的处理器。另外，处理器b1也可以是多个电子电路的集合体。另外，例如，处理器b1也可以起到图41等所示的解码装置200的多个构成要素中的多个构成要素的作用。
[0521]
存储器b2是存储用于处理器b1对编码比特流进行解码的信息的专用或通用的存储器。存储器b2可以是电子电路，也可以与处理器b1连接。另外，存储器b2也可以包含在处理器b1中。另外，存储器b2也可以是多个电子电路的集合体。另外，存储器b2可以是磁盘或光盘等，也可以表现为储存器或记录介质等。另外，存储器b2既可以是非易失性存储器，也可以是易失性存储器。
[0522]
例如，存储器b2可以存储运动图像，也可以存储编码比特流。另外，在存储器b2中也可以存储有用于处理器b1对编码比特流进行解码的程序。
[0523]
另外，例如，存储器b2可以起到图41等所示的解码装置200的多个构成要素中用于存储信息的构成要素的作用。具体而言，存储器b2可以起到图41所示的块存储器210及帧存储器214的作用。更具体而言，存储器b2可以存储已重构的块及已重构的图片等。
[0524]
另外，在解码装置200中，既可以不安装图41等所示的多个构成要素的全部，也可以不进行上述的多个处理的全部。图41等所示的多个构成要素的一部分可以包含于其他装置，也可以由其他装置执行上述的多个处理的一部分。
[0525]
[各用语的定义]
[0526]
各用语作为一例，也可以是以下那样的定义。
[0527]
图片是单色格式中的多个亮度样本的排列，或者4：2：0、4：2：2以及4：4：4的彩色格式中的多个亮度样本的排列以及多个色差样本的2个对应排列。图片可以是帧或场。
[0528]
帧是产生多个样本行0、2、4、
…
的顶场以及产生多个样本行1、3、5、
…
的底场的组合物。
[0529]
切片为1个独立切片段、以及(如果有)相同访问单元内的(如果有)下一个独立切片段之前的所有后续的从属切片段所包含的整数个编码树单元。
[0530]
瓦片为图片中的特定的瓦片列以及特定的瓦片行内的多个编码树块的矩形区域。瓦片可以依然应用跨越瓦片的边缘的循环滤波器，但也可以是意图能够独立地进行解码和编码的帧的矩形区域。
[0531]
块为多个样本的mxn(n行m列)排列，或者是多个变换系数的mxn排列。块也可以是由1个亮度和2个色差的多个矩阵构成的多个像素的正方形或矩形的区域。
[0532]
ctu(编码树单元)可以是具有3个样本排列的图片的多个亮度样本的编码树块，也可以是多个色差样本的2个对应编码树块。或者，ctu也可以是单色图片、和使用在3个分离
的彩色平面以及多个样本的编码中使用的句法构造进行编码的图片中的任意多个样本的编码树块。
[0533]
超级块构成1个或2个模式信息块，或者也可以是递归地分割为4个32
×
32的块，进而能够分割的64
×
64像素的正方形块。
[0534]
[系数编码的第1形态]
[0535]
图47是表示第1形态的基本系数编码方法的流程图。具体而言，图47表示通过帧内编码或帧间编码得到预测残差的区域的系数编码方法。在以下的说明中，示出了编码装置100进行的动作。解码装置200可以进行与编码装置100进行的动作对应的动作。例如，解码装置200可以进行与编码装置100进行的正交变换和编码对应的逆正交变换和解码。
[0536]
在图47中，示出了last_sig_coeff、subblock_flag、thres和ccb。last_sig_coeff是表示当在块内扫描时不为零的系数(非零系数)最初出现的坐标位置的参数。subblock_flag是表示在4
×
4子块(也称为16变换系数级别)中是否有不为零的系数的标志。subblock_flag也可以被表现为coded_sub_block_flag或者子块标志。
[0537]
thres是以块单位决定的常数。thres可以预先决定。thres可以是根据块的尺寸而不同的值，也可以是与块的尺寸无关的相同值。thres可以在应用正交变换的情况下和不应用正交变换的情况下取不同的值。thres可以取决于通过last_sig_coeff在块中确定的坐标位置来决定。
[0538]
ccb表示以cabac(上下文自适应二值算术编码)的上下文模式编码的bin的个数。即，ccb表示基于cabac的上下文模式的编码的处理次数。上下文模式也称为常规模式(regular mode)。这里，将基于cabac的上下文模式的编码称为cabac编码或上下文自适应编码。另外，将基于cabac的旁路模式(bypass mode)的编码称为旁路编码。旁路编码的处理比cabac编码的处理简单。
[0539]
cabac编码是基于针对各bin的0和1的发生概率，将对编码对象的信号进行二值化而得到的bin的串变换为编码比特串的处理。另外，ccb可以对残差系数编码中使用的所有标志的数量进行计数，也可以对残差系数编码中使用的一部分标志的数量进行计数。旁路编码是不使用针对各bin的0和1的可变的发生概率(换言之，使用固定的概率)，而将bin的串中的1bin作为编码比特串的1比特进行编码的处理。
[0540]
例如，编码装置100比较ccb值和thres值，以决定系数编码的方式。
[0541]
具体而言，在图47中，首先，ccb被初始化为0(s101)。然后，判定有无应用针对块的正交变换(s102)。在对块应用正交变换的情况下(s102中为是)，编码装置100对last_sig_coeff进行编码(s131)。然后，编码装置100对每个子块进行循环处理(s141～s148)。
[0542]
在每个子块的循环处理(s141～s148)中，编码装置100对与该子块相关的subblock_flag进行编码。然后，在subblock_flag不同于0的情况下(s146中为是)，编码装置100通过后述的第1编码方式对该子块内的16个系数进行编码(s147)。
[0543]
另外，在未对块应用正交变换的情况下(s102中为否)，编码装置100对每个子块进行循环处理(s121～s128)。
[0544]
在每个子块的循环处理(s121～s128)中，编码装置100判定ccb是否为thres以下(s122)。如果ccb为thres以下(s122中为是)，则编码装置100通过cabac编码对subblock_flag进行编码(s123)。然后，编码装置100对ccb进行递增计数(count up)(s124)。否则
(s122中为否)，编码装置100通过旁路编码对subblock_flag进行编码(s125)。
[0545]
然后，在subblock_flag不同于0的情况下(s126中为是)，编码装置100通过后述的第2编码方式对该子块内的16个系数进行编码(s127)。
[0546]
对块不应用正交变换的情况例如可以是正交变换被跳过的情况。ccb也在第1编码方式和第2编码方式中使用。ccb可以以子块单位进行初始化。在这种情况下，thres可以不是在块中固定的值，而是对于每个子块变化的值。
[0547]
另外，在此，ccb从0开始进行递增计数并判定是否到达thres，但ccb也可以从thres(或特定的值)开始进行递减计数并判定是否到达0。
[0548]
图48是表示图47所示的第1编码方式的详细内容的流程图。在第1编码方式中，对子块内的多个系数进行编码。此时，按子块内的各系数的每个系数信息标志进行第1循环处理(s151～s156)，另外，按子块内的每个系数进行第2循环处理(s161～s165)。
[0549]
在第1循环处理(s151～s156)中，分别表示系数的1个以上属性的1个以上的系数信息标志被依次编码。1个以上的系数信息标志可以包括后述的sig_flag、gt1_flag、parity_flag和gt3_flag。然后，在ccb不超过thres的范围内，1个以上的系数信息标志通过cabac编码被依次编码，每次编码时ccb进行逐次加1的递增计数。在ccb超过thres之后，系数信息标志不被编码。
[0550]
即，在第1循环处理(s151～s156)中，编码装置100判定ccb是否为thres以下(s152)。然后，在ccb为thres以下的情况下(s152中为是)，编码装置100通过cabac编码对系数信息标志进行编码(s153)。然后，编码装置100对ccb进行递增计数(s154)。在ccb不是thres以下的情况下(s152中为否)，编码装置100结束第1循环处理(s151～s156)。
[0551]
在第2循环处理(s161～s165)中，对于编码了系数信息标志的系数，作为未被系数信息标志表现的剩余值(即，用于利用系数信息标志来重构系数的值的剩余值)的remainder(剩余值)通过哥伦布莱斯编码而被编码。系数信息标志未被编码的系数直接通过哥伦布莱斯编码而被编码。另外，也可以不使用哥伦布莱斯编码，而使用其他编码方式对remainder进行编码。
[0552]
即，在第2循环处理(s161～s165)中，编码装置100判定与处理对象的系数对应的系数信息标志是否已经被编码(s162)。然后，在系数信息标志被编码的情况下(s162中为是)，编码装置100通过哥伦布莱斯编码对remainder进行编码(s163)。在系数信息标志未被编码的情况下(s162中为否)，编码装置100通过哥伦布莱斯编码对系数的值进行编码(s164)。
[0553]
另外，这里循环处理的数量为2，但循环处理的数量也可以与2不同。
[0554]
上述的sig_flag是表示abslevel是否非零的标志。abslevel是系数的值，更具体而言，是系数的绝对值。gt1_flag是表示abslevel是否大于1的标志。parity_flag是表示abslevel的第1bit的标志，是表示abslevel是奇数还是偶数的标志。gt3_flag是表示abslevel是否大于3的标志。
[0555]
gt1_flag和gt3_flag有时分别表现为abs_gt1_flag和abs_gt3_flag。此外，例如，作为上述的remainder，可以通过哥伦布莱斯编码来对(abslevel
‑
4)/2的值进行编码。
[0556]
与上述的1个以上的系数信息标志不同的其他1个以上的系数信息标志也可以被编码。例如，一部分系数信息标志可以不被编码。可以用具有其他含义的系数信息标志或参
数来置换包含在上述的1个以上的系数信息标志中的系数信息标志。
[0557]
图49是表示图47所示的第2编码方式的详细内容的流程图。在第2编码方式中，对子块内的多个系数进行编码。此时，按子块内的各系数的每个系数信息标志进行第1循环处理(s171～s176)，另外，按子块内的每个系数进行第2循环处理(s181～s185)。
[0558]
在第1循环处理(s171～s176)中，依次编码分别表示系数的1个以上属性的1个以上的系数信息标志。1个以上的系数信息标志可以包括sig_flag、sign_flag、gt1_flag、parity_flag、gt3_flag、gt5_flag、gt7_flag和gt9_flag。
[0559]
这里，sign_flag是表示系数的正负号的标志。gt5_flag是表示abslevel是否大于5的标志。gt7_flag是表示abslevel是否大于7的标志。gt9_flag是表示abslevel是否大于9的标志。gt5_flag、gt7_flag和gt9_flag有时分别表现为abs_gt5_flag、abs_gt7_flag和abs_gt9_flag。此外，也可以将表示abslevel是否比x(x是1以上的整数)大的标志汇总，表现为gtx_flag或abs_gtx_flag。abslevel是例如变换系数级别的绝对值。
[0560]
另外，与上述的1个以上的系数信息标志不同的其他1个以上的系数信息标志也可以被编码。例如，一部分系数信息标志可以不被编码。可以用具有其他含义的系数信息标志或参数来置换包含在上述的1个以上的系数信息标志中的系数信息标志。
[0561]
上述的1个以上的系数信息标志通过cabac编码依次被编码。然后，每当编码时ccb进行加1的递增计数。在ccb超出thres之后，系数信息标志通过旁路编码而被编码。
[0562]
即，在第1循环处理(s171～s176)中，编码装置100判定ccb是否为thres以下(s172)。然后，在ccb为thres以下的情况下(s172中为是)，编码装置100通过cabac编码对系数信息标志进行编码(s173)。然后，编码装置100对ccb进行递增计数(s174)。在ccb不是thres以下的情况下(s172中为否)，编码装置100通过旁路编码对系数信息标志进行编码(s175)。
[0563]
图49中的第2循环处理的句法在ccb超过thres之前和之后不变。即，无论系数信息标志通过cabac编码来编码，还是系数信息标志通过旁路编码来编码，在第2循环处理(s181～s185)中都进行以下相同的处理。
[0564]
具体而言，在第2循环处理(s181～s185)中，编码装置100通过哥伦布莱斯编码对作为不能由系数信息标志表示的剩余值(即，用于使用系数信息标志来重构系数值的剩余值)的remainder进行编码(s183)。另外，也可以不使用哥伦布莱斯编码，而使用其他编码方式对remainder进行编码。
[0565]
另外，这里循环处理的数量为2，但循环处理的数量也可以与2不同。
[0566]
如图47、图48及图49所示，在本形态的基本动作中，存在根据是应用正交变换还是不应用正交变换而是否包含在cabac编码的处理次数的限制中的不同的标志。此外，系数编码的句法在应用正交变换的情况与不应用正交变换的情况之间不同。由此，有可能必须分别准备电路。因此，电路结构可能变得复杂。
[0567]
[系数编码的第1形态的第1例]
[0568]
图50是表示第1形态的第1例的系数编码方法的流程图。在图50的例子中，last_sig_coeff的后处理(s132)和subblock_flag的处理(s142～s145)与图47的例子不同。
[0569]
在图47中，在应用正交变换的情况下，ccb对sig_flag、parity_flag和gtx_flag(x＝1、3)进行了递增计数。在图50的例子中，ccb也对last_sig_coeff和subblock_flag进行
了递增计数。另一方面，在不应用正交变换的情况下的处理流程与图47的例子相同。
[0570]
即，在图50的例子中，编码装置100对last_sig_coeff进行编码(s131)，然后将last_sig_coeff的编码中的cabac编码的处理次数加到ccb(s132)。
[0571]
此外，编码装置100在subblock_flag的编码之前，判定ccb是否为thres以下(s142)。然后，在ccb为thres以下的情况下(s142中为是)，编码装置100通过cabac编码对subblock_flag进行编码(s143)。然后，编码装置100对ccb加1(s144)。另一方面，在ccb不为thres以下的情况下(s142中为否)，编码装置100通过旁路编码对subblock_flag进行编码(s145)。
[0572]
[系数编码的第1形态的第1例的效果]
[0573]
根据图50的例子，在进行正交变换的情况下和不进行正交变换的情况下，有时能够将subblock_flag的编码处理流程共同化并统一。因此，在进行正交变换的情况下和不进行正交变换的情况下，有可能共有一部分电路，有可能削减电路规模。其结果，除了有无last_sig_coeff，根据有无正交变换而划分的多个处理流程有可能变得相同。
[0574]
例如，即使在块级限制cabac编码的处理次数，在图47的例子中，在ccb达到thres之后，会通过cabac编码对subblock_flag进行编码。另一方面，在图50的情况下，在ccb达到thres之后，subblock_flag不是通过cabac编码来编码的。由此，cabac编码的处理次数有可能被适当地限制于thres。
[0575]
此外，last_sig_coeff中的cabac编码的处理次数可以不包含在ccb中。此外，thres可以取决于通过last_sig_coeff在块中确定的坐标位置来决定。
[0576]
此外，编码装置100也可以在ccb超过thres后将subblock_flag的值始终决定为1来进行编码。在ccb超过thres之后subblock_flag的值始终被确定为1的情况下，编码装置100可以不在ccb超过thres之后对subblock_flag进行编码。
[0577]
此外，即使在不应用正交变换的情况下，编码装置100也可以在ccb超过thres之后将subblock_flag的值始终决定为1并进行编码。此外，在这种情况下，在ccb超过thres之后subblock_flag的值始终确定为1的情况下，编码装置100可以不在ccb超过thres之后对subblock_flag进行编码。
[0578]
[系数编码的第1形态的第2例]
[0579]
图51是表示第1形态的第2例的系数编码方法的流程图。在图51的例子中，subblock_flag的处理(s123)与图47的例子不同。
[0580]
在图47中，在不应用正交变换的情况下，则ccb已经对sig_flag、parity_flag、gtx_flag(x＝1、3、5、7、9)和subblock_flag进行了递增计数。在图51的例子中，对subblock_flag，ccb不进行递增计数。另一方面，应用正交变换的情况下的处理流程与图47的例子相同。
[0581]
即，在图51的例子中，无论ccb是否超过thres，编码装置100始终通过cabac编码对subblock_flag进行编码，而不对ccb进行递增计数(s123)。
[0582]
[系数编码的第1形态的第2例的效果]
[0583]
根据图51的例子，在进行正交变换的情况下和不进行正交变换的情况下，有时能够将subblock_flag的编码的处理共同化并统一。因此，在进行正交变换的情况下和不进行正交变换的情况下，有可能一部分电路被共有化，有可能削减电路规模。其结果，除了有无
last_sig_coeff之外，根据有无正交变换而划分的多个处理流程有可能变相同。
[0584]
此外，与图50相比，在图51中简化了处理。因此，有可能削减电路规模。此外，假设与subblock_flag相关的0或1的出现频率按照周边的状况而容易存在偏差。因此，在subblock_flag的cabac编码中，假设编码量的削减量大于处理延迟的增加量。因此，进行将subblock_flag的cabac编码不计入cabac编码的处理次数的限制是有用的。
[0585]
此外，针对last_sig_coeff的cabac编码的处理次数可以包含在ccb中。此外，thres可以取决于通过last_sig_coeff在块中确定的坐标位置来决定。
[0586]
[系数编码的第2形态]
[0587]
[系数编码的第2形态的第1例]
[0588]
图52是表示第2形态的第1例的系数编码方法的流程图。在图52的例子中，即使在对块不应用正交变换的情况下，在将子块内的16个系数通过第1编码方式编码(s127a)这一情况也与图47的例子不同。
[0589]
即，在图52的例子中，当对块不应用正交变换时，编码装置100通过图48所示的第1编码方式而不是图49所示的第2编码方式来对子块内的16个系数进行编码(s127a)。即，无论是在应用正交变换的情况下还是在不应用正交变换的情况下，编码装置100都不是通过图49所示的第2编码方式，而是通过图48所示的第1编码方式对子块内的16个系数进行编码。
[0590]
更具体而言，无论有无正交变换，编码装置100都按照图48所示的第1编码方式，在第1循环处理中，在ccb超过thres的情况下不使用旁路编码而跳过系数信息标志的编码。然后，编码装置100在第2循环处理中，在与处理对象的系数对应的系数信息标志未被编码的情况下，不使用系数信息标志，而通过哥伦布莱斯编码对系数的值进行编码。
[0591]
此外，在图48的第1循环处理中，用于对系数信息标志进行编码的句法在应用正交变换的情况与不应用正交变换的情况之间可以不同。例如，在应用正交变换的情况下的1个以上的系数信息标志与在不应用正交变换的情况下的1个以上的系数信息标志之间，这些系数信息标志的一部分或全部也可以不同。
[0592]
[系数编码的第2形态的第1例的效果]
[0593]
根据图52的例子，即使在系数信息标志的编码句法根据正交变换的有无而不同的情况下，无论有无正交变换，在ccb超过thres之后子块内的16个系数的编码句法都有可能被共同化。因此，在应用正交变换的情况下和在不应用正交变换的情况下，可能一部分电路被共有化，并且可能削减电路规模。
[0594]
此外，ccb超过thres之后，系数不再划分成通过旁路编码而被编码的系数信息标志和通过哥伦布莱斯编码而被编码的剩余值信息地被编码。因此，有可能抑制信息量的增加，并且有可能抑制编码量的增加。
[0595]
[系数编码的第2形态的第2例]
[0596]
图53是表示第2形态的第2例的系数编码方法的流程图。在图53的例子中，即使在对块应用正交变换的情况下，通过第2编码方式对子块内的16个系数进行编码(s147a)的情况也与图47的例子不同。
[0597]
即，在图53的例子中，在对块应用正交变换的情况下，编码装置100不使用图48所示的第1编码方式，而使用图49所示的第2编码方式对子块内的16个系数进行编码(s147a)。
即，无论是在应用正交变换的情况还是在不应用正交变换的情况下，编码装置100都不使用图48所示的第1编码方式，而使用图49所示的第2编码方式对子块内的16个系数进行编码。
[0598]
更具体而言，编码装置100无论有无正交变换，都按照图49所示的第2编码方式，在第1循环处理中，在ccb超过thres的情况下，不跳过编码而通过旁路编码对系数信息标志进行编码。然后，编码装置100在第2循环处理中，通过哥伦布莱斯编码对取决于系数信息标志的remainder进行编码。
[0599]
此外，在图49的第1循环处理中用于对系数信息标志进行编码的句法在应用正交变换的情况与不应用正交变换的情况之间可以不同。例如，在应用正交变换的情况下的1个以上的系数信息标志与在不应用正交变换的情况下的1个以上的系数信息标志之间，这些系数信息标志的一部分或全部也可以不同。
[0600]
[系数编码的第2形态的第2例的效果]
[0601]
根据图53的例子，即使在系数信息标志的编码的句法根据有无正交变换而不同的情况下，无论有无正交变换，在ccb超出thres之后，子块内的16个系数的编码的句法都有可能被共同化。因此，在应用正交变换的情况下和在不应用正交变换的情况下，有可能一部分电路被共有化，并且有可能削减电路规模。
[0602]
[系数编码的第3形态]
[0603]
图54是表示第3形态的基本第1编码方式的句法图。图54所示的句法对应于图47所示的第1编码方式的句法的一例。基本上，第1编码方式在应用正交变换的情况下使用。
[0604]
这里，系数信息标志和参数与第1形态中表示的系数信息标志和参数相同。此外，这里所示的多个系数信息标志是一例，也可以对其他多个系数信息标志进行编码。例如，一部分系数信息标志可以不被编码。此外，这里所示的系数信息标志可以被置换为具有其他含义的系数信息标志或参数。
[0605]
图54的例子中的最初的for循环对应于图48的例子中的第1循环处理。在该最初的for循环中，如果ccb剩余，即如果ccb不超过阈值，则通过cabac编码对sig_flag等的系数信息标志进行编码。如果ccb没有剩余，则系数信息标志不被编码。另外，在本例中，也可以应用第2形态的第2例。即，如果ccb没有剩余，则系数信息标志可以通过旁路编码而被编码。
[0606]
从上方起的第2个for循环和从上方起的第3个for循环对应于图48的例子中的第2循环处理。在从上方起的第2个for循环中，对于系数信息标志已被编码的系数，通过哥伦布莱斯编码对剩余值进行编码。在从上方起的第3个for循环中，对于系数信息标志未被编码的系数，通过哥伦布莱斯编码对系数进行编码。另外，通过将第2形态的第2例应用于本例，也可以始终以哥伦布莱斯编码对剩余值进行编码。
[0607]
在从上方起的第4个for循环中，sign_flag通过旁路编码而被编码。
[0608]
在本形态中说明的句法可以应用于图47、图48、图50、图51和图52的各例。
[0609]
图55是表示第3形态的基本第2编码方式的句法图。图55所示的句法对应于图47的第2编码方式的句法的一例。基本上，第2编码方式在不应用正交变换的情况下使用。
[0610]
此外，这里所示的多个系数信息标志是一例，也可以对其他多个系数信息标志进行编码。例如，一部分系数信息标志可以不被编码。此外，这里所示的系数信息标志可以被置换为具有其他含义的系数信息标志或参数。
[0611]
图55的例子中的最初的5个for循环对应于图49的例子中的第1循环处理。如果在
最初的5个for循环中ccb剩余，即ccb没有超过阈值，则通过cabac编码对sig_flag等的系数信息标志进行编码。如果ccb没有剩余，则系数信息标志通过旁路编码而被编码。另外，在本例中，也可以应用第2形态的第1例。即，如果ccb没有剩余，则系数信息标志也可以不被编码。
[0612]
从上方起的第6个for循环对应于图49的例子中的第2循环处理。在从上方起的第6个for循环中，通过哥伦布莱斯编码对剩余值进行编码。另外，在本例中，也可以应用第2形态的第1例。即，对于系数信息标志被编码的系数，可以通过哥伦布莱斯编码对剩余值进行编码。然后，对于系数信息标志未被编码的系数，可以通过哥伦布莱斯编码对系数进行编码。
[0613]
在本形态中说明的句法可以应用于图47、图49、图50、图51和图53中的各例。
[0614]
在不应用正交变换的情况下(图55)，用于对系数信息标志进行编码的循环处理的数量比应用正交变换的情况(图54)多。因此，在不应用正交变换的情况下，与应用正交变换的情况相比，硬件的处理量可能会增加。此外，由于系数编码的句法根据是否进行正交变换而不同，所以可能必须分别准备电路。因此，电路有可能变得复杂。
[0615]
[系数编码的第3形态的第1例]
[0616]
图56是表示第3形态的第1例的第2编码方式的句法图。图56所示的句法对应于图47的第2编码方式的一例。在图47的第1编码方式中也可以使用图54所示的句法。另外，本例可以与第3形态的其他例组合，也可以与其他形态组合。
[0617]
图56的例子中的最初的for循环对应于图49的例子中的第1循环处理。如果在该最初的for循环中，ccb剩余8以上，即，如果加上8的ccb没有超过阈值，则按照系数通过cabac编码对最多8个系数信息标志进行编码，ccb进行最多8次递增计数。如果ccb没有剩余8以上，即，如果加上8的ccb超过阈值，则按照系数通过旁路编码对8个系数信息标志进行编码。
[0618]
换言之，在对8个系数信息标志进行编码之前，总括性地判定是否可能通过cabac编码对8个系数信息标志进行编码。然后，在可能通过cabac编码对8个系数信息标志进行编码的情况下，最多8个系数信息标志通过cabac编码而被编码。
[0619]
另外，在本例中，也可以应用第2形态的第1例。即，如果ccb没有剩余8个以上，则可以不对8个系数信息标志进行编码。即，在这种情况下，可以不是通过旁路编码对8个系数信息标志进行编码，而是跳过对8个系数信息标志的编码。
[0620]
另外，如图56所示，也可以按照系数的值，省略8个系数信息标志中的1个以上的系数信息标志的编码。例如，在sig_flag为0的情况下，可以省略剩余的7个系数信息标志的编码。
[0621]
从上方起的第2个for循环对应于图49的例子中的第2循环处理。在从上方起的第2个for循环中，通过哥伦布莱斯编码对剩余值进行编码。另外，在本例中，也可以应用第2形态的第1例。即，对于8个系数信息标志被编码的系数，可以通过哥伦布莱斯编码对剩余值进行编码，对于8个系数信息标志未被编码的系数，可以通过哥伦布莱斯编码对系数进行编码。
[0622]
这里所示的多个系数信息标志是一例，也可以对其他多个系数信息标志进行编码。例如，一部分系数信息标志可以不被编码。此外，这里所示的系数信息标志可以被置换为具有其他含义的系数信息标志或参数。
[0623]
另外，也可以组合图55的例子和图56的例子。例如，在图55的例子中，在sig_flag和sign_flag等的4个系数信息标志被编码之前，可总括性地判定是否可能通过cabac编码对4个系数信息标志进行编码。
[0624]
[系数编码的第3形态的第1例的效果]
[0625]
在图56的例子中，通过cabac编码而被编码的所有系数信息标志在1个循环处理中被编码。即，与图55的例子相比，在图56的例子中，循环处理的数量较少。因此，处理量有可能被削减。
[0626]
另外，在图54的例子和图56的例子中，用于通过cabac编码对多个系数信息标志进行编码的循环处理的数量一致。因此，与图54的例子和图55的例子的组合相比，在图54的例子和图56的例子的组合中，电路的变更部分有可能变少。
[0627]
另外，在多个系数信息标志被编码之前，总括性地判定是否可能通过cabac编码对多个系数信息标志进行编码，所以处理被简化，处理延迟有可能被削减。
[0628]
此外，在应用正交变换的情况下和不应用正交变换的情况这两种情况下，也可以在多个系数信息标志被编码之前，总括性地判定是否可能通过cabac编码对多个系数信息标志进行编码。因此，应用正交变换的块中使用的编码方式与不应用正交变换的块中使用的编码方式之间的差别进一步变小，并且电路规模有可能进一步变小。
[0629]
此外，在图56的例子中，从sig_flag到abs_gt9_flag包含在1个循环中，但编码方式不限于此。可以使用多个循环(例如，两个循环)，也可以总括性地判定是否可能通过cabac编码对每个循环的多个系数信息标志进行编码。与1个循环相比，处理增加，但与图55的例子相比，同样能够得到处理削减的效果。
[0630]
[系数编码的第3形态的第2例]
[0631]
图57是表示第3形态的第2例的第2编码方式的句法图。图57所示的句法对应于图47的第2编码方式的一例。在图47的第1编码方式中也可以使用图54所示的句法。另外，本例可以与第3形态的其他例组合，也可以与其他形态组合。
[0632]
图57的例子中的最初的for循环对应于图49的例子中的第1循环处理。如果在该最初的for循环中ccb剩余7以上，即，如果加上7的ccb没有超过阈值，则按照系数通过cabac编码对最多7个的系数信息标志进行编码，ccb进行最多7次递增计数。如果ccb没有剩余7以上，即，如果加上7的ccb超过阈值，则按照系数通过旁路编码对7个系数信息标志进行编码。
[0633]
换言之，在对7个系数信息标志进行编码之前，总括性地判定是否可能通过cabac编码对7个系数信息标志进行编码。然后，在可能通过cabac编码对7个系数信息标志进行编码的情况下，7个系数信息标志通过cabac编码而被编码。
[0634]
另外，在本例中，也可以应用第2形态的第1例。即，如果ccb剩余7个以上，则7个系数信息标志也可以不被编码。即，在这种情况下，也可以不通过旁路编码对7个系数信息标志进行编码，而跳过7个系数信息标志的编码。
[0635]
另外，如图57所示，也可以按照系数的值，省略7个系数信息标志中的1个以上的系数信息标志的编码。例如，在sig_flag为0的情况下，可以省略对剩余的6个系数信息标志的编码。
[0636]
从上方起的第2个for循环对应于图49的例子中的第2循环处理。在从上方起的第2个for循环中，通过哥伦布莱斯编码对剩余值进行编码。另外，在本例中，也可以应用第2形
态的第1例。即，对于7个系数信息标志被编码的系数，可以通过哥伦布莱斯编码对剩余值进行编码，对于7个系数信息标志未被编码的系数，可以通过哥伦布莱斯编码对系数进行编码。
[0637]
在从上方起的第3个for循环中，如果ccb剩余，即，ccb未超过阈值，则sign_flag通过cabac编码而被编码，对ccb进行递增计数。如果ccb没有剩余，则sign_flag通过旁路编码而被编码。此外，与图54的例子同样，sign_flag可以始终通过旁路编码而被编码。
[0638]
这里所示的多个系数信息标志是一例，也可以对其他多个系数信息标志进行编码。例如，一部分系数信息标志可以不被编码。此外，这里所示的系数信息标志可以被置换为具有其他含义的系数信息标志或参数。
[0639]
另外，也可以组合图55的例子和图57的例子。例如，在图55的例子中，在sig_flag和sign_flag等的4个系数信息标志被编码之前，可以总括性地判定是否可能通过cabac编码来对4个系数信息标志进行编码。
[0640]
[系数编码的第3形态的第2例的效果]
[0641]
与图56的例子相同，在图57的例子中，用于将系数的大小与阈值进行比较来表示的多个系数信息标志(具体而言，abs_gt3_flag和abs_gt5_flag等)在1个循环处理中被编码。因此，与图55的例子相比，在图57的例子中，循环处理的数量少。因此，处理量有可能被削减。
[0642]
与图56的例子相比，在图57的例子中，用于对多个系数信息标志进行编码的循环处理的数量增加。然而，与图56的例子相比，在图57的例子中，存在与图54的例子相似的部分。例如，sign_flag最后已被编码。因此，与图54的例子和图56的例子的组合相比，在图54的例子和图57的例子的组合中，电路的变更部分有可能变少。
[0643]
另外，在多个系数信息标志被编码之前，总括性地判定是否可能通过cabac编码对多个系数信息标志进行编码，所以处理被简化，处理延迟有可能被削减。
[0644]
在应用正交变换的情况和不应用正交变换的情况这两种情况下，也可以在多个系数信息标志被编码之前，总括性地判定是否可能通过cabac编码对多个系数信息标志进行编码。因此，应用正交变换的块中使用的编码方式与不应用正交变换的块中使用的编码方式之间的差别进一步变小，并且电路规模有可能进一步变小。
[0645]
此外，在图57的例子中，从sig_flag到abs_gt9_flag包含在1个循环中，但编码方式不限于此。可以使用多个循环(例如，2个循环)，也可以总括性地判定是否可能通过cabac编码对每个循环的多个系数信息标志进行编码。与1个循环相比，处理增加，但与图55的例子相比，同样能够得到处理削减的效果。
[0646]
[系数编码的变形例]
[0647]
可以组合与上述的系数编码相关的任何多个形态和任何多个例子。此外，与上述的系数编码相关的多个形态、多个例子以及它们的任意的多个组合的某一个既可以应用于亮度的块，也可以应用于色差的块。此时，可以在亮度的块和色差的块中使用不同的thres。
[0648]
另外，对块可以使用与上述的系数编码相关的多个形态、多个例子以及它们的任意多个的组合中的某一个，所述块是不应用正交变换的块，且是应用bdpcm(block
‑
based delta pulse code modulation：基于块的差分脉冲编码调制)的块。在应用bdpcm的块中，块内的各残差信号通过从该残差信号中减去与该残差信号垂直或水平相邻的残差信号而
被削减信息量。
[0649]
此外，也可以对块使用与上述的系数编码相关的多个形态、多个例子以及它们的任意多个的组合中的某一个，所述块是应用bdpcm的块，且是色差的块。
[0650]
此外，对于应用isp(intra sub
‑
partitions：帧内子划分)的块，也可以使用与上述的系数编码相关的多个形态、多个例子及它们的任意多个的组合的某一个。在isp中，将帧内块纵向或横向分割，并且使用与各子块相邻的子块的像素值来进行该子块的帧内预测。
[0651]
此外，也可以对块使用与上述的系数编码相关的多个形态、多个例子和它们的任意多个的组合中的某一个，所述块是应用isp的块，且是色差的块。
[0652]
此外，在使用色差结合编码(chroma joint coding)作为色差的块的编码模式的情况下，可以使用与上述的系数编码相关的多个形态、多个例子和它们的任意多个的组合中的某一个。这里，色差结合编码是一种从cb的值导出cr的值的编码方法。
[0653]
此外，应用正交变换的情况下的thres的值可以是不应用正交变换的情况下的thres的值的两倍。或者，不应用正交变换的情况下的thres的值可以是应用正交变换的情况下的thres的值的两倍。
[0654]
此外，仅在使用色差结合编码的情况下，应用正交变换的情况下的ccb的thres的值可以是不应用正交变换的情况下的ccb的thres的值的两倍。或者，仅在使用色差结合编码的情况下，不应用正交变换的情况下的ccb的thres的值可以是应用正交变换的情况下的ccb的thres的值的两倍。
[0655]
另外，在与上述的系数编码相关的多个形态以及多个例子中，不应用正交变换的块中的多个系数的扫描顺序可以与应用正交变换的块中的多个系数的扫描顺序相同。
[0656]
此外，尽管在第3形态和第3形态的多个例子中示出了句法的几个例子，但是应用的句法不限于这些例子。例如，在与第3形态不同的多个形态以及在它们的多个例子中，可以使用与第3形态及其多个例子所示的多个句法中的任一个不同的句法。可应用用于编码16个系数的各种句法。
[0657]
另外，在系数编码的多个形态及多个例子中，示出了编码的处理流程，但除了是发送还是接收比特流的差异以外，解码的处理流程也与编码的处理流程基本相同。例如，解码装置200可以进行与编码装置100进行的正交变换和编码对应的逆正交变换和解码。
[0658]
此外，与系数编码的多个形态和多个例子相关的各流程图是一例。可以对各流程图新追加条件或处理，或者删除条件或处理，或者变更条件或处理。
[0659]
另外，这里，系数是构成块或子块等的图像的值。具体而言，构成图像的多个系数可以从图像的多个像素值经由正交变换而得到。另外，构成图像的多个系数可以不经由正交变换而从图像的多个像素值得到。即，构成图像的多个系数可以是图像的多个像素值本身。另外，各像素值可以是原图像的像素值，也可以是预测残差的值。此外，系数可以被量化。
[0660]
[结构及处理的代表例]
[0661]
以下表示上述所示的编码装置100和解码装置200的结构及处理的代表例。
[0662]
图58是表示编码装置100的动作的流程图。例如，编码装置100具备电路以及与电路连接的存储器。编码装置100所具备的电路以及存储器也可以对应于图40所示的处理器
a1以及存储器a2。编码装置100的电路进行图58所示的动作。具体而言，编码装置100的电路在动作中对图像的块进行编码(s211)。
[0663]
在一例中，编码装置100的电路可以通过限制上下文自适应编码的处理次数来对图像的块进行编码。然后，也可以是，在对块应用正交变换的情况和对块不应用正交变换的情况这两种情况下，进行子块标志编码处理而不将其包含在限制对象的处理次数中。
[0664]
这里，子块标志编码处理是通过上下文自适应编码对子块标志进行编码的处理，所述子块标志表示包含在块中的子块是否包含非零系数。
[0665]
由此，无论是否应用正交变换以及限制上下文自适应编码的处理次数，子块标志都有可能通过上下文自适应编码而被编码。因此，编码量有可能被削减。此外，应用正交变换的块中使用的编码方式与不应用正交变换的块中使用的编码方式之间的差别有可能变小，且电路规模有可能变小。
[0666]
另外，编码装置100的电路在对块应用正交变换的情况下，可以进行位置参数编码处理，而不将所述位置参数编码处理包含在限制对象的处理次数中。这里，位置参数编码处理是通过上下文自适应编码对表示块中按照扫描顺序的最初的非零系数的位置的参数进行编码的处理。
[0667]
因此，在应用正交变换的情况下，无论是否限制上下文自适应编码的处理次数，表示最初的非零系数的位置的参数都有可能通过上下文自适应编码而被编码。因此，编码量有可能被削减。
[0668]
此外，编码装置100的电路在对块应用正交变换的情况下，也可以根据最初的非零系数的位置决定处理次数的限制范围。因此，在应用正交变换的情况下，有可能适当地决定处理次数的限制次数。因此，有可能适当地调整编码量的削减和处理延迟的削减之间的平衡。
[0669]
在另一例中，编码装置100的电路在对编码对象图像的块应用正交变换的情况和对块不应用正交变换的情况这两种情况下，可以如下进行动作。
[0670]
具体而言，在这两种情况中，在上下文自适应编码的处理次数在处理次数的限制范围内的情况下，编码装置100的电路可通过上下文自适应编码对系数信息标志进行编码。此外，在这两种情况中，在上下文自适应编码的处理次数不在处理次数的限制范围内的情况下，编码装置100的电路也可以跳过系数信息标志的编码。这里，系数信息标志表示包含在块中的系数的属性。
[0671]
然后，在系数信息标志被编码的情况下，编码装置100的电路可以通过哥伦布莱斯编码对剩余值信息进行编码。这里，剩余值信息是用于使用系数信息标志来重构系数的值的信息。此外，在系数信息标志的编码被跳过的情况下，编码装置100的电路可以通过哥伦布莱斯编码对系数的值进行编码。
[0672]
由此，无论是否应用正交变换，都有可能按照上下文自适应编码的处理次数的限制，跳过系数信息标志的编码。因此，有可能抑制处理延迟的增大，并且抑制编码量的增大。此外，应用正交变换的块中使用的编码方式与不应用正交变换的块中使用的编码方式之间的差别有可能变小，且电路规模有可能变小。
[0673]
另外，系数信息标志也可以是表示系数的值是否大于1的标志。由此，无论是否应用正交变换，按照上下文自适应编码的处理次数的限制，对表示系数的值是否大于1的系数
信息标志的编码有可能被跳过。因此，有可能抑制处理延迟的增大，并且抑制编码量的增大。
[0674]
在又一例中，编码装置100的电路可以限制上下文自适应编码的处理次数，并且对图像的块进行编码。而且，在对块不应用正交变换的情况下，可以判定分别表示包含在块中的系数的多个属性的多个系数信息标志是否满足处理条件。然后，在判定为满足了处理条件的情况下，可以通过上下文自适应编码对多个系数信息标志进行编码。
[0675]
这里，处理条件是如下条件：对处理次数加上了多个系数信息标志的个数的情况下的处理次数在处理次数的限制范围内。
[0676]
由此，在不应用正交变换的情况下，有可能对多个系数信息标志总括性地判定是否可能使用上下文自适应编码。因此，有可能处理被简化，并且处理延迟被削减。此外，在对应用正交变换的块进行相似的处理的情况下，应用正交变换的块中使用的编码方式与不应用正交变换的块中使用的编码方式之间的差别有可能变小，且电路规模有可能变小。
[0677]
此外，多个系数信息标志可以包括表示系数的值是否大于3的系数信息标志以及表示系数的值是否大于5的系数信息标志。由此，有可能对包含表示系数的值是否大于3的系数信息标志和表示系数的值是否大于5的系数信息标志的多个系数信息标志进行总括性的判定。因此，处理有可能被简化，并且处理延迟有可能被削减。
[0678]
此外，多个系数信息标志也可以包含表示系数的值是否大于7的系数信息标志和表示系数的值是否大于9的系数信息标志。由此，有可能对包含系数的值是否大于3、系数的值是否大于5、系数的值是否大于7、以及系数的值是否大于9这4个系数信息标志的多个系数信息标志进行总括性的判定。因此，处理有可能被简化，并且处理延迟有可能被削减。
[0679]
另外，由编码装置100的电路进行的上述的动作也可以由编码装置100的熵编码部110来进行。
[0680]
图59是表示解码装置200的动作的流程图。例如，解码装置200具备电路以及与电路连接的存储器。解码装置200所具备的电路以及存储器可以对应于图46所示的处理器b1以及存储器b2。解码装置200的电路进行图59所示的动作。具体而言，解码装置200的电路在动作中对图像的块进行解码(s221)。
[0681]
在一例中，解码装置200的电路可以限制上下文自适应解码的处理次数，并对图像块进行解码。然后，也可以是，在对块应用逆正交变换的情况和对块不应用逆正交变换的情况这两种情况下，进行子块标志解码处理而不将其包含在限制目标处理次数中。
[0682]
这里，子块标志解码处理是通过上下文自适应解码对表示包含在块中的子块中是否包含非零系数的子块标志进行解码的处理。
[0683]
由此，无论是否应用逆正交变换以及是否限制上下文自适应解码的处理次数，都有可能通过上下文自适应解码对子块标志进行解码。因此，编码量有可能被削减。此外，应用逆正交变换的块中使用的解码方式与不应用逆正交变换的块中使用的解码方式之间的差别有可能变小，且电路规模有可能变小。
[0684]
此外，也可以是，解码装置200的电路在对块应用逆正交变换的情况下，进行位置参数解码处理而不将其包含在限制对象的处理次数中。这里，位置参数解码处理是通过上下文自适应解码对表示块中按扫描顺序最初的非零系数的位置的参数进行解码的处理。
[0685]
由此，在应用逆正交变换的情况下，无论是否限制上下文自适应解码的处理次数，
表示最初的非零系数的位置的参数都有可能通过上下文自适应解码而被解码。因此，编码量有可能被削减。
[0686]
此外，解码装置200的电路在对块应用逆正交变换的情况下，可以根据最初的非零系数的位置来决定处理次数的限制范围。由此，在应用逆正交变换的情况下，有可能适当地决定处理次数的限制次数。因此，有可能适当地调整编码量的削减和处理延迟的削减之间的平衡。
[0687]
在另一例中，解码装置200的电路在对解码对象图像的块应用逆正交变换的情况和对块不应用逆正交变换的情况这两种情况下，可以如下进行动作。
[0688]
具体而言，在这两种情况中，在上下文自适应解码的处理次数在处理次数的限制范围内的情况下，解码装置200的电路也可以通过上下文自适应解码对系数信息标志进行解码。此外，在这两种情况中，在上下文自适应解码的处理次数不在处理次数的限制范围内的情况下，解码装置200的电路也可以跳过系数信息标志的解码。这里，系数信息标志表示包含在块中的系数的属性。
[0689]
然后，在系数信息标志被解码的情况下，解码装置200的电路可以通过哥伦布莱斯解码对剩余值信息进行解码。这里，剩余值信息是用于使用系数信息标志来重构系数的值的信息。此外，在跳过对系数信息标志的解码的情况下，解码装置200的电路可以通过哥伦布莱斯解码对系数的值进行解码。
[0690]
由此，无论是否应用逆正交变换，都有可能按照上下文自适应解码的处理次数的限制，跳过系数信息标志的解码。因此，有可能抑制处理延迟的增大，并且抑制编码量的增大。此外，应用逆正交变换的块中使用的解码方式与不应用逆正交变换的块中使用的解码方式之间的差别有可能变小，且电路规模有可能变小。
[0691]
另外，系数信息标志也可以是表示系数的值是否大于1的标志。由此，无论是否应用逆正交变换，都有可能按照上下文自适应解码的处理次数的限制，跳过对表示系数的值是否大于1的系数信息标志的解码。因此，有可能抑制处理延迟的增大，并且抑制编码量的增大。
[0692]
在又一例中，解码装置200的电路可以限制上下文自适应解码的处理次数而对图像的块进行解码。然后，在对块不应用逆正交变换的情况下，可以判定分别表示包含在块中的系数的多个属性的多个系数信息标志是否满足处理条件。然后，在判定为满足了处理条件的情况下，多个系数信息标志也可以通过上下文自适应解码来解码。
[0693]
这里，处理条件是如下条件：对处理次数加上了多个系数信息标志的个数的情况下的处理次数在处理次数的限制范围内。
[0694]
由此，在不应用逆正交变换的情况下，都有可能对多个系数信息标志总括性地判定是否可能使用上下文自适应解码。因此，处理可以被简化，并且处理延迟有可能被削减。此外，在对应用了逆正交变换的块进行相似的处理的情况下，应用逆正交变换的块中使用的解码方式与不应用逆正交变换的块中使用的解码方式之间的差别有可能变小，且电路规模有可能变小。
[0695]
此外，多个系数信息标志可以包括表示系数的值是否大于3的系数信息标志以及表示系数的值是否大于5的系数信息标志。由此，有可能对包含表示系数的值是否大于3的系数信息标志和表示系数的值是否大于5的系数信息标志的多个系数信息标志进行总括性
的判定。因此，处理有可能被简化，并且处理延迟有可能被削减。
[0696]
此外，多个系数信息标志也可以包含表示系数的值是否大于7的系数信息标志和表示系数的值是否大于9的系数信息标志。由此，有可能对包含系数的值是否大于3、系数的值是否大于5、系数的值是否大于7、以及系数的值是否大于9这4个系数信息标志的多个系数信息标志进行总括性的判定。因此，处理有可能被简化，并且处理延迟有可能被削减。
[0697]
另外，由解码装置200的电路进行的上述的动作也可以由解码装置200的熵解码部202进行。
[0698]
[其他例]
[0699]
上述的各例中的编码装置100和解码装置200可以分别作为图像编码装置和图像解码装置来利用，也可以分别作为运动图像编码装置和运动图像解码装置来利用。
[0700]
此外，也可以是，编码装置100和解码装置200仅进行上述的动作中的一部分动作，其他装置进行其他动作。此外，也可以是，编码装置100和解码装置200仅具备上述的构成要素中的一部分构成要素，其他装置具备其他构成要素。
[0701]
此外，上述的各例的至少一部分可以作为编码方法或解码方法来利用，也可以作为其他方法来利用。
[0702]
另外，各构成要素也可以由专用的硬件构成，或者通过执行适于各构成要素的软件程序来实现。各构成要素可以通过cpu或处理器等程序执行部读出并执行记录在硬盘或半导体存储器等记录介质中的软件程序来实现。
[0703]
具体而言，编码装置100和解码装置200可以分别具备处理电路(processing circuitry)、和与该处理电路电连接的能够从该处理电路访问的存储装置(storage)。例如，处理电路对应于处理器a1或b1，存储装置对应于存储器a2或b2。
[0704]
处理电路包括专用的硬件和程序执行部中的至少一个，使用存储装置执行处理。另外，存储装置在处理电路包括程序执行部的情况下，存储由该程序执行部执行的软件程序。
[0705]
这里，实现上述的编码装置100或解码装置200等的软件是如下程序。
[0706]
例如，该程序可以使计算机执行编码方法，所述编码方法为：限制上下文自适应编码的处理次数而对图像的块进行编码，在所述块的编码中，在对所述块应用正交变换的情况和对所述块不应用正交变换的情况这两种情况下，进行子块标志编码处理而不将其包含在所述处理次数中，所述子块标志编码处理通过上下文自适应编码对表示包含在所述块中的子块是否包含非零系数的子块标志进行编码。
[0707]
此外，例如，该程序可以使计算机执行解码方法，所述解码方法为：限制上下文自适应解码的处理次数而对图像的块进行解码，在所述块的解码中，在对所述块应用逆正交变换的情况和对所述块不应用逆正交变换的情况这两种情况下，进行子块标志解码处理而不将其包含在所述处理次数中，所述子块标志解码处理通过上下文自适应解码对表示包含在所述块中的子块是否包含非零系数的子块标志进行解码。
[0708]
此外，例如，该程序可以使计算机执行编码方法，所述编码方法为：在对编码对象图像的块应用正交变换的情况和对所述块不应用正交变换的情况这两种情况下，在上下文自适应编码的处理次数在所述处理次数的限制范围内的情况下，通过上下文自适应编码对表示包含在所述块中的系数的属性的系数信息标志进行编码，在所述处理次数不在所述处
理次数的限制范围内的情况下，跳过所述系数信息标志的编码，在所述系数信息标志被编码的情况下，通过哥伦布莱斯编码对用于使用所述系数信息标志重构所述系数的值的剩余值信息进行编码，在所述系数信息标志的编码被跳过的情况下，通过哥伦布莱斯编码对所述系数的值进行编码。
[0709]
此外，例如，该程序可以使计算机执行解码方法，所述解码方法为：在对解码对象图像的块应用逆正交变换的情况和对所述块不应用逆正交变换的情况这两种情况下，在上下文自适应解码的处理次数在所述处理次数的限制范围内的情况下，通过上下文自适应解码对表示包含在所述块中的系数的属性的系数信息标志进行解码，在所述处理次数不在所述处理次数的限制范围内的情况下，跳过所述系数信息标志的解码，在所述系数信息标志被解码的情况下，通过哥伦布莱斯解码对用于使用所述系数信息标志来重构所述系数的值的剩余值信息进行解码，在所述系数信息标志的解码被跳过的情况下，通过哥伦布莱斯解码对所述系数的值进行解码。
[0710]
此外，例如，该程序可以使计算机执行编码方法，所述编码方法为：限制上下文自适应编码的处理次数而对图像的块进行编码，在所述块的编码中，在对所述块不应用正交变换的情况下，判定分别表示包含在所述块中的系数的多个属性的多个系数信息标志是否满足了处理条件，在判定为满足了所述处理条件的情况下，通过上下文自适应编码对所述多个系数信息标志进行编码，所述处理条件是如下条件：在对所述处理次数加上了所述多个系数信息标志的个数的情况下的所述处理次数在所述处理次数的限制范围内。
[0711]
此外，例如，该程序可以使计算机执行解码方法，所述解码方法为：限制上下文自适应解码的处理次数而对图像的块进行解码，在所述块的解码中，在对所述块不应用逆正交变换的情况下，判定分别表示包含在所述块中的系数的多个属性的多个系数信息标志是否满足了处理条件，在判定为满足了所述处理条件的情况下，通过上下文自适应解码对所述多个系数信息标志进行解码，所述处理条件是如下条件：在对所述处理次数加上了所述多个系数信息标志的个数的情况下的所述处理次数在所述处理次数的限制范围内。
[0712]
另外，如上所述，各构成要素也可以是电路。这些电路既可以作为整体构成一个电路，也可以分别是不同的电路。另外，各构成要素既可以通过通用的处理器来实现，也可以通过专用的处理器来实现。
[0713]
另外，也可以由其他构成要素执行特定的构成要素所执行的处理。另外，执行处理的顺序可以变更，也可以同时执行多个处理。另外，也可以是，编码解码装置具备编码装置100及解码装置200。
[0714]
另外，说明中使用的第1和第2等序数可以适当地调换。另外，对于构成要素等，可以新赋予序数，也可以去除序数。
[0715]
以上，基于多个例子说明了编码装置100及解码装置200的形态，但编码装置100及解码装置200的形态并不限定于这些例子。只要不脱离本发明的主旨，对各例实施了本领域技术人员能想到的各种变形的形态、将不同的例子中的构成要素组合而构建的形态也可以包含在编码装置100及解码装置200的形态的范围内。
[0716]
可以将这里所公开的1个以上形态与本发明的其他形态的至少一部分组合实施。另外，也可以将这里所公开的1个以上的形态的流程图中记载的一部分处理、装置的一部分结构、句法的一部分等与其他形态组合来实施。
[0717]
[实施及应用]
[0718]
在以上的各实施方式中，各个功能块或起作用的块通常可以通过mpu(micro processing unit，微处理单元)及存储器等实现。此外，也可以是，各个功能块的处理由读出并执行rom等记录介质中记录的软件(程序)的处理器等程序执行部来实现。该软件可以分发。该软件也可以记录到半导体存储器等各种记录介质中。另外，也能够通过硬件(专用电路)实现各功能块。能够采用硬件和软件的各种组合。
[0719]
在各实施方式中说明的处理既可以通过使用单一的装置(系统)集中处理来实现，或者也可以通过使用多个装置进行分散处理来实现。此外，执行上述程序的处理器既可以是单个，也可以是多个。即，既可以进行集中处理，也可以进行分散处理。
[0720]
本发明的形态并不限定于以上的实施例，能够进行各种各样的变更，它们也包含在本发明的形态的范围内。
[0721]
进而，这里说明在上述各实施方式中表示的运动图像编码方法(图像编码方法)或运动图像解码方法(图像解码方法)的应用例和实施该应用例的各种系统。也可以是，这样的系统的特征在于，具有使用图像编码方法的图像编码装置、使用图像解码方法的图像解码装置、或者具备两者的图像编码解码装置。关于这样的系统的其他结构，根据情况能够适当地变更。
[0722]
[使用例]
[0723]
图60是表示实现内容分发服务的适当内容供给系统ex100的整体结构的图。将通信服务的提供区分割为希望的尺寸，在各单元内分别设有图示的例子中的作为固定无线站的基站ex106、ex107、ex108、ex109、ex110。
[0724]
在该内容供给系统ex100中，在因特网ex101上经由因特网服务提供商ex102或通信网ex104、以及基站ex106～ex110连接着计算机ex111、游戏机ex112、相机ex113、家电ex114以及智能电话ex115等各设备。该内容供给系统ex100也可以将上述的某些装置组合而连接。在各种实施中，也可以不经由基站ex106～ex110而将各设备经由电话网或近距离无线等直接或间接地相互连接。而且，流媒体服务器ex103也可以经由因特网ex101等而与计算机ex111、游戏机ex112、相机ex113、家电ex114及智能电话ex115等各设备连接。此外，流媒体服务器ex103也可以经由卫星ex116而与飞机ex117内的热点内的终端等连接。
[0725]
另外，也可以代替基站ex106～ex110而使用无线接入点或热点等。此外，流媒体服务器ex103既可以不经由因特网ex101或因特网服务提供商ex102而直接与通信网ex104连接，也可以不经由卫星ex116而直接与飞机ex117连接。
[0726]
相机ex113是数字相机等能够进行静止图像摄影及运动图像摄影的设备。此外，智能电话ex115是与被称作2g、3g、3.9g、4g、及今后被称作5g的移动通信系统的方式对应的智能电话机、便携电话机或phs(personal handy
‑
phone system)等。
[0727]
家电ex114是电冰箱或在家庭用燃料电池热电联供系统中包含的设备等。
[0728]
在内容供给系统ex100中，具有摄影功能的终端经由基站ex106等连接到流媒体服务器ex103上，由此能够进行现场分发等。在现场分发中，终端(计算机ex111、游戏机ex112、相机ex113、家电ex114、智能电话ex115及飞机ex117内的终端等)可以对由用户使用该终端拍摄的静止图像或运动图像内容进行在上述各实施方式中说明的编码处理，也可以将通过编码得到的影像数据和将与影像对应的声音进行编码而得到的声音数据复用，也可以将得
到的数据向流媒体服务器ex103发送。即，各终端作为有关本发明的一形态的图像编码装置发挥功能。
[0729]
另一方面，流媒体服务器ex103将对有请求的客户端发送的内容数据进行流分发。客户端是能够将上述编码处理后的数据进行解码的计算机ex111、游戏机ex112、相机ex113、家电ex114、智能电话ex115或飞机ex117内的终端等。接收到被分发的数据的各设备也可以对接收到的数据进行解码处理并再现。即，各设备也可以作为有关本发明的一形态的图像解码装置发挥功能。
[0730]
[分散处理]
[0731]
此外，流媒体服务器ex103也可以是多个服务器或多个计算机，将数据分散处理或记录而分发。例如，流媒体服务器ex103也可以由cdn(contents delivery network)实现，通过将分散在世界中的许多边缘服务器与边缘服务器之间相连的网络来实现内容分发。在cdn中，能够根据客户端而动态地分配在物理上较近的边缘服务器。并且，通过向该边缘服务器高速缓存及分发内容，能够减少延迟。此外，在发生了几类错误的情况下或因通信量的增加等而通信状态变化的情况下，能够用多个边缘服务器将处理分散、或将分发主体切换为其他边缘服务器、或绕过发生故障的网络的部分而继续分发，所以能够实现高速且稳定的分发。
[0732]
此外，不限于分发自身的分散处理，所拍摄的数据的编码处理既可以由各终端进行，也可以在服务器侧进行，也可以相互分担而进行。作为一例，通常在编码处理中进行2次处理循环。在第1次的循环中对帧或场景单位的图像的复杂度或编码量进行检测。此外，在第2次的循环中进行维持画质而使编码效率提高的处理。例如，通过由终端进行第1次的编码处理、由接收到内容的服务器侧进行第2次的编码处理，能够在减少各终端中的处理负荷的同时使内容的质和效率提高。在此情况下，如果有几乎实时地接收并解码的请求，则也可以将终端进行的第一次编码完成的数据由其他终端接收并再现，所以也能够进行更灵活的实时分发。
[0733]
作为其他例子，相机ex113等从图像提取特征量(特征或特征的量)，将关于特征量的数据作为元数据压缩并向服务器发送。服务器例如根据特征量来判断目标的重要性而切换量化精度等，进行与图像的意义(或内容的重要性)对应的压缩。特征量数据对于服务器中的再次压缩时的运动矢量预测的精度及效率提高特别有效。此外，也可以由终端进行vlc(可变长编码)等简单的编码，由服务器进行cabac(上下文自适应二值算术编码方式)等处理负荷大的编码。
[0734]
作为其他例子，在体育场、购物中心或工厂等中，有存在由多个终端拍摄大致相同的场景而得到的多个影像数据的情况。在此情况下，使用进行了拍摄的多个终端、以及根据需要而使用没有进行摄影的其他终端及服务器，例如以gop(group of picture)单位、图片单位或将图片分割而得到的瓦片单位等分别分配编码处理而进行分散处理。由此，能够减少延迟而更好地实现实时性。
[0735]
由于多个影像数据是大致相同场景，所以也可以由服务器进行管理及/或指示，以将由各终端拍摄的影像数据相互参照。此外，也可以是服务器接收来自各终端的已编码数据并在多个数据间变更参照关系，或将图片自身进行修正或替换而重新编码。由此，能够生成提高了一个个数据的质和效率的流。
[0736]
而且，服务器也可以进行将影像数据的编码方式变更的转码后将影像数据分发。例如，服务器也可以将mpeg类的编码方式变换为vp类(例如vp9)，也可以将h.264变换为h.265等。
[0737]
这样，编码处理能够由终端或1个以上的服务器进行。因此，以下作为进行处理的主体而使用“服务器”或“终端”等的记载，但也可以将由服务器进行的处理的一部分或全部用终端进行，也可以将由终端进行的处理的一部分或全部用服务器进行。此外，关于这些，对于解码处理也是同样的。
[0738]
[3d、多角度]
[0739]
将由相互大致同步的多个相机ex113及/或智能电话ex115等终端拍摄的不同场景、或从不同的角度拍摄了相同场景的图像或影像合并而利用的情况增加。将由各终端拍摄的影像能够基于另取得的终端间的相对位置关系、或影像中包含的特征点一致的区域等来合并。
[0740]
服务器不仅是将二维的运动图像进行编码，也可以基于运动图像的场景解析等自动地或在用户指定的时刻将静止图像进行编码并向接收终端发送。服务器还在能够取得拍摄终端间的相对位置关系的情况下，不仅是二维的运动图像，还能够基于从不同的角度拍摄了相同场景的影像，生成该场景的三维形状。服务器也可以将由点云等生成的三维的数据另行编码，也可以基于使用三维数据将人物或目标进行识别或跟踪的结果，从由多个终端拍摄的影像中选择或重构而生成向接收终端发送的影像。
[0741]
这样，用户既能够任意地选择与各拍摄终端对应的各影像而欣赏场景，也能够欣赏从使用多个图像或影像重构的三维数据中切取了选择视点的影像的内容。进而，与影像一起，声音也可以从多个不同的角度集音，服务器将来自特定的角度或空间的声音与对应的影像复用，并发送复用后的影像和声音。
[0742]
此外，近年来，virtual reality(vr：虚拟现实)及augmented reality(ar：增强现实)等将现实世界与虚拟世界建立对应的内容也正在普及。在vr图像的情况下，服务器分别制作右眼用及左眼用的视点图像，既可以通过multi－view coding(mvc：多视点编码)等进行在各视点影像间容许参照的编码，也可以相互不参照而作为不同的流进行编码。在不同的流的解码时，可以根据用户的视点相互同步地再现，以再现虚拟的三维空间。
[0743]
在ar图像的情况下，也可以是，服务器也可以基于三维的位置或用户的视点的移动，对现实空间的相机信息重叠虚拟空间上的虚拟物体信息。解码装置取得或保持虚拟物体信息及三维数据，根据用户的视点的移动而生成二维图像，通过平滑地相连来制作重叠数据。或者，也可以是，解码装置除了虚拟物体信息的委托以外还将用户的视点的移动发送给服务器。也可以是，服务器根据保持在服务器中的三维数据，匹配于接收到的视点的移动而制作重叠数据，将重叠数据进行编码并向解码装置分发。另外，典型地，重叠数据在rgb以外具有表示透射度的α值，服务器将根据三维数据制作出的目标以外的部分的α值设定为0等，在该部分透射的状态下进行编码。或者，服务器也可以如色度键那样将规定值的rgb值设定为背景，生成将目标以外的部分设为背景色的数据。规定的值的rgb值也可以预先确定。
[0744]
同样，分发的数据的解码处理既可以由客户端(例如，终端)进行，也可以在服务器侧进行，也可以相互分担而进行。作为一例，也可以是某个终端先向服务器发送接收请求，
由其他终端接收与该请求对应的内容并进行解码处理，将已解码的信号向具有显示器的装置发送。通过与可通信的终端自身的性能无关地都将处理分散而选择适当的内容，能够再现画质较好的数据。此外，作为其他例子，也可以由tv等接收大尺寸的图像数据，并且由欣赏者的个人终端将图片被分割后的瓦片等一部分区域进行解码并显示。由此，能够在使整体像共有化的同时，在手边确认自己的负责领域或想要更详细地确认的区域。
[0745]
在能够使用室内外的近距离、中距离或长距离的无线通信中的多个的状况下，利用mpeg－dash等的分发系统标准，也许能够无缝接收内容。用户也可以在自由地选择用户的终端、配置在室内外的显示器等解码装置或显示装置的同时实时地切换。此外，能够使用自身的位置信息等，切换解码的终端及显示的终端并进行解码。由此，还能够在用户向目的地的移动期间，在埋入有可显示的设备的旁边的建筑物的墙面或地面的一部分上映射并显示信息。此外，还能够基于在能够从接收终端以短时间访问的服务器中高速缓存有编码数据、或在内容分发服务的边缘服务器中复制有编码数据等的向网络上的编码数据的访问容易性，来切换接收数据的比特率。
[0746]
[可分级编码]
[0747]
关于内容的切换，使用图61所示的、使用应用在上述各实施方式中表示的运动图像编码方法进行压缩编码的可分级(scalable)的流进行说明。对服务器而言，作为单独的流也可以具有内容相同而品质不同的多个流，也可以是如图示那样利用通过分层进行编码而实现的时间/空间上的可分级的流的特征来切换内容的结构。即，通过由解码侧根据性能这样的内在因素和通信频带的状态等外在因素来决定解码哪个层，解码侧能够自由地切换低分辨率的内容和高分辨率的内容来解码。例如在想要将用户在移动中用智能电话ex115视听的影像的后续例如在回家后用因特网tv等设备视听的情况下，该设备只要将相同的流解码到不同的层就可以，所以能够减轻服务器侧的负担。
[0748]
进而，在如上述那样按每个层将图片编码、实现在基本层的上位的增强层的分级性的结构以外，也可以是增强层(enhancement layer)包含基于图像的统计信息等的元信息。也可以是，解码侧通过基于元信息将基本层的图片进行超析像来生成高画质化的内容。超析像可以在维持及/或扩大分辨率的同时，提高sn比。元信息包括用来确定在超析像处理中使用的那样的线性或非线性的滤波系数的信息、或确定在超析像处理中使用的滤波处理、机器学习或最小2乘运算中的参数值的信息等。
[0749]
或者，也可以提供根据图像内的目标等的意义将图片分割为瓦片等的结构。解码侧通过选择进行解码的瓦片而仅将一部分区域解码。而且，通过将目标的属性(人物、车、球等)和影像内的位置(同一图像中的坐标位置等)作为元信息保存，解码侧能够基于元信息确定希望的目标的位置，决定包括该目标的瓦片。例如，如图62所示，也可以使用hevc中的sei(supplemental enhancement information，补充增强信息)消息等与像素数据不同的数据保存构造来保存元信息。该元信息例如表示主目标的位置、尺寸或色彩等。
[0750]
也可以以流、序列或随机访问单位等由多个图片构成的单位保存元信息。解码侧能够取得特定人物在影像内出现的时刻等，通过与图片单位的信息和时间信息匹配，能够确定目标存在的图片，能够决定图片内的目标的位置。
[0751]
[web页的优化]
[0752]
图63是表示计算机ex111等中的web页的显示画面例的图。图64是表示智能电话
ex115等中的web页的显示画面例的图。如图63及图64所示，有web页包含多个作为向图像内容的链接的链接图像的情况，根据阅览的设备而其可见方式也可以不同。在画面上能看到多个链接图像的情况下，在用户明示地选择链接图像之前、或链接图像接近于画面的中央附近或链接图像的整体进入到画面内之前，显示装置(解码装置)中可以作为链接图像而显示各内容所具有的静止图像或i图片，也可以用多个静止图像或i图片等显示gif动画那样的影像，也可以仅接收基本层而将影像解码及显示。
[0753]
在由用户选择了链接图像的情况下，显示装置例如将基本层设为最优先并进行解码。另外，如果在构成web页的html中有表示是可分级的内容的信息，则显示装置也可以解码到增强层。而且，在为了确保实时性而在选择之前或通信频带非常紧张的情况下，显示装置可以通过仅将前方参照的图片(i图片、p图片、仅进行前方参照的b图片)解码及显示，来减少开头图片的解码时刻与显示时刻之间的延迟(从内容的解码开始到显示开始的延迟)。此外进一步，显示装置也可以将图片的参照关系强行地忽视而将全部的b图片及p图片设为前方参照而粗略地解码，随着时间经过而接收到的图片增加，进行正常的解码。
[0754]
[自动行驶]
[0755]
此外，在为了车的自动行驶或行驶辅助而收发二维或三维的地图信息等那样的静止图像或影像数据的情况下，接收终端也可以除了属于1个以上的层的图像数据以外，还作为元信息而接收天气或施工的信息等，将它们建立对应而解码。另外，元信息既可以属于层，也可以只与图像数据复用。
[0756]
在此情况下，由于包含接收终端的车、无人机或飞机等在移动，所以接收终端通过发送该接收终端的位置信息，能够实现在切换基站ex106～ex110的同时执行无缝接收及解码。此外，接收终端根据用户的选择、用户的状况及/或通信频带的状态，能够动态地切换将元信息以何种程度接收、或将地图信息以何种程度更新。
[0757]
在内容供给系统ex100中，客户端能够将用户发送的已编码的信息实时地接收并解码、再现。
[0758]
[个人内容的分发]
[0759]
此外，在内容供给系统ex100中，不仅是由影像分发业者提供的高画质、长时间的内容，还能够进行由个人提供的低画质、短时间的内容的单播或多播分发。可以想到这样的个人内容今后也会增加。为了使个人内容成为更好的内容，服务器也可以在进行编辑处理后进行编码处理。这例如可以用以下这样的结构实现。
[0760]
在拍摄时实时地或累积下来拍摄后，服务器根据原图像数据或已编码数据，进行拍摄错误、场景搜索、意义的解析及目标检测等的识别处理。并且，服务器基于识别结果，手动或自动地进行将焦点偏差或手抖动等修正、或将明亮度比其他图片低或焦点没有对上的场景等的重要性低的场景删除、或将目标的边缘强调、或使色调变化等的编辑。服务器基于编辑结果，将编辑后的数据进行编码。此外，已知如果拍摄时刻过长则视听率会下降，服务器也可以根据拍摄时间，不仅将如上述那样重要性低的场景，还将运动少的场景等基于图像处理结果自动地限制，以成为特定的时间范围内的内容。或者，服务器也可以基于场景的意义解析的结果而生成摘要并编码。
[0761]
个人内容在原状态下有被写入侵害著作权、著作者人格权或肖像权等的内容的情形，也有共享的范围超过了想要的范围等对于个人而言不便的情况。因此，例如服务器也可
以将画面的周边部的人的脸、或家中等强行地变更为不对焦的图像而进行编码。而且，服务器也可以识别在编码对象图像内是否拍摄到与预先登记的人物不同的人物的脸，在拍摄到的情况下，进行对脸部分施加马赛克等的处理。或者，作为编码的前处理或后处理，也可以从著作权等的观点出发，用户指定想要将图像加工的人物或背景区域。服务器也可以进行将所指定的区域替换为别的影像、或将焦点模糊化等的处理。如果是人物，则能够在运动图像中跟踪人物，将人物的脸部分的影像替换。
[0762]
数据量小的个人内容的视听其实时性要求较强，所以虽然也取决于带宽，但解码装置也可以首先将基本层最优先地接收并进行解码及再现。解码装置也可以在此期间中接收增强层，在再现被循环的情况等2次以上被再现的情况下，将增强层也包括在内再现高画质的影像。这样，如果是进行了可分级编码的流，则能够提供在未选择时或刚开始看的阶段是虽然较粗糙的运动图像但流逐渐变得流畅而图像变好的体验。除了可分级编码以外，在第1次被再现的较粗糙的流和参照第1次的运动图像而被编码的第2次的流构成为1个流的情况下也能够提供同样的体验。
[0763]
[其他实施应用例]
[0764]
此外，这些编码或解码处理通常在各终端所具有的lsiex500中处理。lsi(large scale integration circuitry，大规模集成电路)ex500(参照图60)既可以是单芯片也可以是由多芯片构成的结构。另外，也可以将运动图像编码或解码用的软件装入到能够由计算机ex111等读取的某种记录介质(cd－rom、软盘、硬盘等)中、使用该软件进行编码处理及解码处理。进而，在智能电话ex115带有相机的情况下，也可以发送由该相机取得的运动图像数据。此时的运动图像数据也可以是用智能电话ex115所具有的lsiex500进行编码处理后的数据。
[0765]
另外，lsiex500也可以是将应用软件下载并将其激活的结构。在此情况下，终端首先判定该终端是否与内容的编码方式对应、或是否具有特定服务的执行能力。在终端不与内容的编码方式对应的情况下、或不具有特定服务的执行能力的情况下，终端也可以下载编解码器或应用软件，然后进行内容取得及再现。
[0766]
此外，并不限于经由因特网ex101的内容供给系统ex100，也能够在数字广播用系统中组装上述各实施方式的至少运动图像编码装置(图像编码装置)或运动图像解码装置(图像解码装置)中的某一种。由于利用卫星等使广播用的电波承载将影像与声音复用的复用数据而收发，所以相对于内容供给系统ex100的容易单播的结构，有适合多播的差异，但关于编码处理及解码处理能够进行同样的应用。
[0767]
[硬件结构]
[0768]
图65是进一步详细表示图60所示的智能电话ex115的图。此外，图66是表示智能电话ex115的结构例的图。智能电话ex115具有用来在与基站ex110之间收发电波的天线ex450、能够拍摄影像及静止图像的相机部ex465、显示由相机部ex465拍摄的影像及将由天线ex450接收到的影像等解码后的数据的显示部ex458。智能电话ex115还具备作为触摸面板等的操作部ex466、用来输出声音或音响的作为扬声器等的声音输出部ex457、用来输入声音的作为麦克风等的声音输入部ex456、能够保存所拍摄的影像或静止图像、录音的声音、接收到的影像或静止图像、邮件等的编码后的数据或解码后的数据的存储器部ex467、或者作为与simex468的接口部的插槽部ex464，所述simex468用来确定用户，进行以网络为
代表向各种数据的访问的认证。此外，也可以代替存储器部ex467而使用外置存储器。
[0769]
对显示部ex458及操作部ex466等能够进行综合控制的主控制部ex460与电源电路部ex461、操作输入控制部ex462、影像信号处理部ex455、相机接口部ex463、显示器控制部ex459、调制/解调部ex452、复用/分离部ex453、声音信号处理部ex454、插槽部ex464及存储器部ex467同步经由总线ex470相互连接。
[0770]
电源电路部ex461如果通过用户的操作使电源键成为开启状态，则将智能电话ex115启动为能够动作的状态，从电池组对各部供给电力。
[0771]
智能电话ex115基于具有cpu、rom及ram等的主控制部ex460的控制，进行通话及数据通信等处理。在通话时，通过声音信号处理部ex454将由声音输入部ex456集音的声音信号变换为数字声音信号，实施调制/解调部ex452进行波谱扩散处理，由发送/接收部ex451实施数字模拟变换处理及频率变换处理，该结果的信号经由天线ex450发送。此外，将接收数据放大并实施频率变换处理及模拟数字变换处理，由调制/解调部ex452进行波谱逆扩散处理，由声音信号处理部ex454变换为模拟声音信号后，将其从声音输出部ex457输出。在数据通信时，能够基于主体部的操作部ex466等的操作将文本、静止图像或影像数据经由操作输入控制部ex462在主控制部ex460的控制下送出。进行同样的收发处理。在数据通信模式时，在发送影像、静止图像或影像和声音的情况下，影像信号处理部ex455将保存在存储器部ex467中的影像信号或从相机部ex465输入的影像信号通过在上述各实施方式中表示的运动图像编码方法进行压缩编码，将编码后的影像数据向复用/分离部ex453送出。声音信号处理部ex454将在由相机部ex465拍摄影像、静止图像的过程中由声音输入部ex456集音的声音信号编码，将编码后的声音数据向复用/分离部ex453送出。复用/分离部ex453将已编码影像数据和已编码声音数据以规定的方式复用，由调制/解调部(调制/解调电路部)ex452及发送/接收部ex451实施调制处理及变换处理，经由天线ex450发送。规定的方式也可以预先确定。
[0772]
在接收到添附在电子邮件或聊天工具中的影像、或链接在网页上的影像等的情况下，为了将经由天线ex450接收到的复用数据进行解码，复用/分离部ex453通过将复用数据分离而将复用数据分为影像数据的比特流和声音数据的比特流，经由同步总线ex470将编码后的影像数据向影像信号处理部ex455供给，并将编码后的声音数据向声音信号处理部ex454供给。影像信号处理部ex455通过与在上述各实施方式中表示的运动图像编码方法对应的运动图像解码方法将影像信号进行解码，经由显示器控制部ex459从显示部ex458显示被链接的运动图像文件中包含的影像或静止图像。声音信号处理部ex454将声音信号进行解码，从声音输出部ex457输出声音。由于实时流媒体愈发普及，所以根据用户的状况，也可能发生声音的再现在社会上不适合的情况。因此，也可以是，作为初始值，优选的是不将声音信号再现而仅将影像数据再现的结构，仅在用户进行了将影像数据点击等操作的情况下将声音同步地再现。
[0773]
此外，这里以智能电话ex115为例进行了说明，但作为终端，可以考虑除了拥有编码器及解码器双方的收发型终端以外，还有仅具有编码器的发送终端、仅具有解码器的接收终端这样另外的安装形式。在数字广播用系统中，假设将在影像数据中复用了声音数据的复用数据接收、发送而进行了说明。但是，在复用数据中除了声音数据以外还可以复用与影像关联的字符数据等。另外，也可以不是将复用数据而是将影像数据自身接收或发送。
[0774]
另外，假设包括cpu的主控制部ex460控制编码或解码处理而进行了说明，但各种终端具备gpu的情况也较多。因此，也可以做成通过由cpu和gpu共用的存储器、或以能够共同使用的方式管理地址的存储器，来利用gpu的性能将较大的区域一起处理的结构。由此，能够缩短编码时间，确保实时性，实现低延迟。特别是，如果将运动估计、解块滤波、sao(sample adaptive offset)及变换/量化的处理不是用cpu进行而是用gpu以图片等单位一起进行，则更有效。
[0775]
产业上的可利用性
[0776]
本发明能够利用于例如电视接收机、数字视频记录器、汽车导航系统、移动电话、数字相机、数字摄像机、电视会议系统或电子镜等。
[0777]
附图标记说明
[0778]
100 编码装置
[0779]
102 分割部
[0780]
104 减法部
[0781]
106 变换部
[0782]
108 量化部
[0783]
110 熵编码部
[0784]
112、204 逆量化部
[0785]
114、206 逆变换部
[0786]
116、208 加法部
[0787]
118、210 块存储器
[0788]
120、212 循环滤波部
[0789]
122、214 帧存储器
[0790]
124、216 帧内预测部
[0791]
126、218 帧间预测部
[0792]
128、220 预测控制部
[0793]
200 解码装置
[0794]
202 熵解码部
[0795]
1201 边界判定部
[0796]
1202、1204、1206 开关
[0797]
1203 滤波判定部
[0798]
1205 滤波处理部
[0799]
1207 滤波特性决定部
[0800]
1208 处理判定部
[0801]
a1、b1 处理器
[0802]
a2、b2 存储器
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
