图像处理装置和方法与流程

1.本公开内容涉及图像处理装置和方法，特别地涉及能够抑制解码处理的负荷的增加的图像处理装置和方法。


背景技术：

2.常规地，在图像编码中，存在对初级变换后的变换系数执行低频次级变换(lfst)并进一步改善能量压缩的编码工具(例如，参见非专利文献1和非专利文献2)。在低频次级变换中，仅对处理目标块中的低频部分的系数数据进行次级变换。存在次级变换标识符st_idx作为关于低频次级变换的模式信息。
3.引用列表
4.非专利文献
5.非专利文献1：benjamin bross，jianle chen，shan liu，“versatile video coding(draft 5)”，jvet
‑
n1001v8，itu
‑
t sg 16wp 3和iso/iec jtc 1/sc29/wg 11的联合视频专家组(jvet)第14次会议：瑞士，日内瓦，2019年3月19日至27日。
6.非专利文献2：moonmo koo，jaehyun lim，mehdi salehifar，seung hwan kim，“ce6:reduced secondary transform(rst)(ce6
‑
3.1)”，jvet
‑
n0193，itu
‑
t sg 16wp 3和iso/iec jtc 1/sc 29/wg 11的联合视频专家组(jvet)第14次会议：瑞士，日内瓦，2019年3月19日至27日。


技术实现要素：

7.本发明要解决的问题
8.然而，在用信号传送cu中的每个tu之后用信号传送该次级变换标识符，因为该次级变换标识符是根据cu中的非零变换系数的总数确定的。因此，在cu中的所有tu的解码完成并且此外次级变换标识符的解码完成之前，不能开始cu中的每个变换块的逆量化和逆变换处理。因此，存在解码处理的负荷增加的可能性。
9.本公开内容是鉴于这样的情况而做出的，并且可以抑制解码处理的负荷的增加。
10.问题的解决方案
11.本技术的一个方面的图像处理装置是下述的图像处理装置，该图像处理装置包括：设置单元，其被配置成设置次级变换标识符，使得仅在关于块尺寸的信息等于或小于预定阈值的情况下执行次级变换；变换单元，其被配置成基于由设置单元设置的次级变换标识符对从图像数据导出的系数数据执行次级变换；以及编码单元，其被配置成对由设置单元设置的次级变换标识符进行编码，并生成比特流。
12.本技术的一个方面的图像处理方法是下述的图像处理方法，该图像处理方法包括：设置次级变换标识符，使得仅在关于块尺寸的信息等于或小于预定阈值的情况下执行次级变换；基于所设置的次级变换标识符对从图像数据导出的系数数据执行次级变换；以及对所设置的次级变换标识符进行编码，并生成比特流。
13.根据本技术的另一方面的图像处理装置是下述的图像处理装置，该图像处理装置包括：次级变换标识符设置单元，其被配置成设置在编码块的脚注以外的部分中存储的次级变换标识符；变换单元，其被配置成基于由次级变换标识符设置单元设置的次级变换标识符对从图像数据导出的系数数据执行次级变换；以及编码单元，其被配置成对由次级变换标识符设置单元设置的次级变换标识符进行编码，并生成比特流。
14.根据本技术的另一方面的图像处理方法是下述的图像处理方法，该图像处理方法包括：设置在编码块的脚注以外的部分中存储的次级变换标识符；基于所设置的次级变换标识符对从图像数据导出的系数数据执行次级变换；以及对所设置的次级变换标识符进行编码，并生成比特流。
15.在本技术的一方面的图像处理装置和方法中，次级变换标识符被设置成使得仅在关于块尺寸的信息等于或小于预定阈值的情况下执行次级变换；基于所设置的次级变换标识符对从图像数据导出的系数数据执行次级变换；以及对所设置的次级变换标识符进行编码，并生成比特流。
16.在本技术的另一方面的图像处理装置和方法中，设置在编码块的脚注以外的部分中存储的次级变换标识符；基于所设置的次级变换标识符对从图像数据导出的系数数据执行次级变换；以及对所设置的次级变换标识符进行编码，并生成比特流。
附图说明
17.图1是示出关于cu中的残差数据的语法的示例的图。
18.图2是示出关于变换树的语法的示例的图。
19.图3是示出关于st_mode的语法的示例的图。
20.图4是示出关于非零变换系数的计数的语法的示例的图。
21.图5是示出cu的四叉树结构的示例的图。
22.图6是说明cu的解码的流程的示例的图。
23.图7是说明非零变换系数的计数的状态的示例的图。
24.图8是示出关于上下文设置的语法的示例的图。
25.图9是说明次级变换的简化的图。
26.图10是示出关于有效变换区域尺寸的导出的语法的示例的图。
27.图11是示出最后系数位置的二进制化的示例的图。
28.图12是示出最后系数位置的二进制序列的示例的图。
29.图13是示出关于cu中的残差数据的语法的示例的图。
30.图14是示出关于st_mode的语法的示例的图。
31.图15是示出关于transform_mode的语法的示例的图。
32.图16是示出关于上下文设置的语法的示例的图。
33.图17是示出图像编码装置的主要配置示例的框图。
34.图18是示出控制单元的主要配置示例的框图。
35.图19是示出正交变换单元的主要配置示例的框图。
36.图20是示出图像编码处理的流程的示例的流程图。
37.图21是示出编码参数设置处理的流程的示例的流程图。
38.图22是示出正交变换处理的流程的示例的流程图。
39.图23是示出图像解码装置的主要配置示例的框图。
40.图24是示出解码单元的主要配置示例的框图。
41.图25是示出逆正交变换单元的主要配置示例的框图。
42.图26是示出图像解码处理的流程的示例的流程图。
43.图27是示出解码处理的流程的示例的流程图。
44.图28是示出逆正交变换处理的流程的示例的流程图。
45.图29是示出关于变换单元的语法的示例的图。
46.图30是示出关于st_mode的语法的示例的图。
47.图31是示出编码参数设置处理的流程的示例的流程图。
48.图32是示出解码处理的流程的示例的流程图。
49.图33是示出关于变换单元的语法的示例的图。
50.图34是示出关于st_mode的语法的示例的图。
51.图35是示出编码参数设置处理的流程的示例的流程图。
52.图36是示出解码处理的流程的示例的流程图。
53.图37是示出关于cu中的残差数据的语法的示例的图。
54.图38是示出关于st_mode的语法的示例的图。
55.图39是示出关于上下文设置的语法的示例的图。
56.图40是示出编码参数设置处理的流程的示例的流程图。
57.图41是示出编码参数设置处理的流程的示例的流程图。
58.图42是示出解码处理的流程的示例的流程图。
59.图43是示出关于cu中的残差数据的语法的示例的图。
60.图44是示出关于st_mode的语法的示例的图。
61.图45是示出编码参数设置处理的流程的示例的流程图。
62.图46是示出解码处理的流程的示例的流程图。
63.图47是示出关于st_mode的语法的示例的图。
64.图48是示出编码参数设置处理的流程的示例的流程图。
65.图49是示出解码处理的流程的示例的流程图。
66.图50是示出关于cu中的残差数据的语法的示例的图。
67.图51是示出控制单元的主要配置示例的框图。
68.图52是示出编码参数设置处理的流程的示例的流程图。
69.图53是示出解码单元的主要配置示例的框图。
70.图54是示出解码处理的流程的示例的流程图。
71.图55是示出编码参数设置处理的流程的示例的流程图。
72.图56是示出解码处理的流程的示例的流程图。
73.图57是示出关于cu中的残差数据的语法的示例的图。
74.图58是示出编码参数设置处理的流程的示例的流程图。
75.图59是示出解码处理的流程的示例的流程图。
76.图60是示出计算机的主要配置示例的框图。
具体实施方式
77.下面描述用于执行本公开内容的方式(在下文中，实施方式)。注意，将按照以下顺序来呈现描述。
78.1.次级变换
79.2.第一实施方式
80.3.第二实施方式
81.4.第三实施方式
82.5.第四实施方式
83.6.第五实施方式
84.7.第六实施方式
85.8.第七实施方式
86.9.第八实施方式
87.10.第九实施方式
88.11.附录
89.<1.次级变换>
90.<1
‑
1.支持技术内容和技术术语的文献等>
91.在本技术中所公开的范围不限于实施方式中所描述的内容，而是涵盖在提交时已知的下面的非专利文献等中描述的内容以及在下面的非专利文献中提及的其他文献的内容。
92.非专利文献1：(上述)；
93.非专利文献2：(上述)；
94.非专利文献3：建议书itu
‑
t h.264(04/2017)“advanced video coding for generic audiovisual services”，2017年4月；
95.非专利文献4：建议书itu
‑
t h.265(12/2016)“high efficiency video coding”，2016年12月；
96.非专利文献5：j.chen，e.alshina，g.j.sullivan，j.
‑
r.ohm，j.boyce，“algorithm description of joint exploration test model(jem7)”，jvet
‑
g1001，itu
‑
t sg 16wp 3和iso/iec jtc 1/sc 29/wg 11的联合视频探索组(jvet)第七次会议：意大利，都灵，2017年7月13日至21日；
97.非专利文献6：b.bross，j.chen，s.liu,“versatile video coding(draft 3)”，jvet
‑
l1001，itu
‑
t sg 16wp 3和iso/iec jtc 1/sc 29/wg 11的联合视频专家组(jvet)第12次会议：中国，澳门，2018年10月3日至12日；
98.非专利文献7：j.j.chen，y.ye，s.kim，“algorithm description for versatile video coding and test model 3(vtm 3)”，jvet
‑
l1002，itu
‑
t sg16wp 3和iso/iec jtc 1/sc 29/wg 11的联合视频专家组(jvet)第12次会议：中国，澳门，2018年10月3日至12日；
99.非专利文献8：jianle chen，yan ye，seung hwan kim，“algorithm description for versatile video coding and test model 5(vtm 5)”，jvet
‑
n1002
‑
v2，itu
‑
t sg 16wp 3和iso/iec jtc 1/sc 29/wg 11的联合视频专家组(jvet)第14次会议：瑞士，日内瓦，2019年3月19日至27日；
100.非专利文献9：mischa siekmann，martin winken，heiko schwarz，detlev marpe，“ce6
‑
related:simplification of the reduced secondary transform”，jvet
‑
n0555
‑
v3，itu
‑
t sg 16wp 3和iso/iec jtc 1/sc29/wg 11的联合视频专家组(jvet)第14次会议：瑞士，日内瓦，2019年3月19日至27日；
101.非专利文献10：c.rosewarne，j.gan，“ce6
‑
related:rst binarization”，jvet
‑
n0105
‑
v2，itu
‑
t sg 16wp 3和iso/iec jtc 1/sc 29/wg 11的联合视频专家组(jvet)第14次会议：瑞士，日内瓦，2019年3月19日至27日。
102.即，上述非专利文献中描述的内容也是用于确定支持要求的基础。例如，即使在上述非专利文献中描述的四叉树块结构和四叉树加二叉树(qtbt)块结构在示例中没有直接描述的情况下，它们也在本技术的公开内容的范围内，并且满足权利要求的支持要求。此外，即使在示例中没有直接描述的情况下，例如解析、语法和语义等技术术语也类似地在本技术的公开内容的范围内，并且满足权利要求的支持要求。
103.此外，在本说明书中，除非另有说明，否则在描述中用作图像(图片)的部分区域或处理的单位的“块”(不是表示处理单元的块)指示图片中的任何部分区域，并且其尺寸、形状、特性等不受限制。例如，“块”包括上述非专利文献中描述的任何部分区域(处理单位)，例如变换块(tb)、变换单元(tu)、预测块(pb)、预测单元(pu)、最小编码单元(scu)、编码单元(cu)、最大编码单元(lcu)、编码树块(ctb)、编码树单元(ctu)、变换块、子块、宏块、图块、切片等。
104.此外，在指定这样的块的尺寸时，不仅可以直接指定块尺寸，而且可以间接指定块尺寸。例如，可以使用标识尺寸的标识信息来指定块尺寸。此外，例如，可以由相对于参考块(例如，lcu或scu)的尺寸的比率或差来指定块尺寸。例如，在用于指定块尺寸的信息作为语法元素等被发送的情况下，如上所述用于间接指定尺寸的信息可以被用作该信息。通过这样做，信息的信息量可以减少，并且可以提高编码效率。此外，指定块尺寸还包括指定块尺寸的范围(例如，指定允许的块尺寸的范围)。
105.此外，在本说明书中，编码不仅包括将图像变换为比特流的整个处理，而且包括该处理的一部分。例如，编码不仅包括：包括预测处理、正交变换、量化、算术编码等的处理，还包括：统称为量化和算术编码的处理，以及包括预测处理、量化和算术编码的处理。类似地，解码不仅包括将比特流变换为图像的整个处理，而且还包括该处理的一部分。例如，解码不仅包括：包括逆算术解码、逆量化、逆正交变换、预测处理等处理，还包括：包括逆算术解码和逆量化的处理，包括逆算术解码、逆量化和预测处理的处理。
106.<1
‑
2.低频次级变换>
107.<次级变换标识符的导出>
108.在图像编码中，存在下述编码工具：其对初级变换后的变换系数执行低频次级变换(lfst)，并且进一步提高能量压缩。在低频次级变换中，仅处理目标块中的低频部分的系数数据经过次级变换。存在作为关于低频次级变换的模式信息的次级变换标识符st_idx。
109.图1示出了关于cu(编码单元)中的残差数据(cu_residual)的语法的示例。如该语法所示，次级变换标识符st_idx位于cu的数据结构的末尾。也就是说，在用信号传送cu中的每个tu(transform_tree)之后，用信号传送st_idx(st_mode)。
110.图2示出了关于包括在图1的语法中的变换树(transform_tree)的语法的示例。如
该语法中所示，用信号传送处理目标cu中的每个tu(变换单元)。此外，图1的语法中包括的关于st_mode的语法的示例在图3的a中示出。该语法中包括的sps_st_enabled_flag和st_idx的语义的示例在图3的b中示出。如图3的a的语法所示，用信号传送次级变换标识符st_idx。此外，如图3的b的语义所示，次级变换标识符st_idx指定要在所选择的变换集中的两个候选核之间应用的次级变换核。st_idx＝0指示不应用次级变换。
111.如上所述，在cu中的每个tu(transform_tree)之后用信号传送次级变换标识符st_idx的原因在于用于确定是否用信号传送(编码/解码)次级变换标识符的条件取决于在cu中包括的所有tu中的所有变换块中应用低频不可分离变换(lfnst)的区域(也称为lfnst角(或dc子块))和没有应用lfnst的区域(也称为非lfnst角)中的每个区域的非零变换系数的总数。即，次级变换标识符的值由经过低频次级变换的块的非零变换系数的数目和未经过低频次级变换的块的非零变换系数的数目确定。图4示出了关于非零变换系数的导出的语法的示例。
112.同时，在这样的图像编码和解码中，应用了垂直管线解码单元(vpdu)的概念，以便能够以64x64单元的tu为单位进行处理。因此，如图5所示的示例中，128x128cu通过隐式tu划分(四叉树)被划分成四个64x64tu。在单树的情况下，tu还包括与分量id＝0..2(y,cb,cr)对应的tb(变换块)。在亮度双树的情况下，包括与分量id＝0(y)对应的变换块，在色度双树的情况下，包括与分量id＝1..2(cb，cr)对应的两个变换块。
113.对于这样的配置，在用信号传送cu中的每个tu之后用信号传送次级变换标识符。因此，直到在cu中的所有tu的解码完成并且此外次级变换标识符的解码完成，才可以开始cu中的第一变换块的逆量化和逆变换处理。
114.例如，如图6所示，在包括tu0到tu3的128
×
128cu的情况下，直到cabac中tu0到tu3的解码完成并且次级变换标识符st_idx的解码完成(即，直到时间t1)，才可以开始tu0中的每个变换块的逆量化和逆变换处理。即，存在处理延迟增加的可能性。
115.此外，如在图6的示例中，在128x128cu的情况下，为了解码次级变换标识符st_idx，在单树的情况下，需要缓冲(保持在存储器上)与四个tu
×
3分量相对应的变换块的信息(数据1)。即，存在必要的存储器容量(即，硬件成本)增加的可能性。
116.如上所述，存在解码处理的负荷增加的可能性。
117.<块尺寸的限制>
118.因此，仅在关于块尺寸的信息等于或小于阈值的情况下才用信号传送次级变换标识符。换句话说，次级变换标识符被设置成使得仅在关于块尺寸的信息等于或小于预定阈值的情况下执行次级变换。即，仅对具有预定尺寸或小于预定尺寸的块执行次级变换。
119.因此，可以跳过(省略)块尺寸大于预定尺寸的编码块的次级变换。即，只有延迟时间小且存储使用量小的编码块(即块尺寸小的编码块)等待次级变换标识符的解码，然后开始变换块的逆量化和逆变换处理，并且在延迟时间大且存储使用量大的编码块(即块尺寸大的编码块)的情况下，可以开始变换块的逆量化和逆变换处理，而无需等待次级变换标识符的解码。
120.因此，可以抑制延迟和存储使用量的增加。即，可以抑制解码负荷的增加。
121.<st_idx信号传送位置>
122.此外，可以在cu的脚注之外的部分中用信号传送次级变换标识符。换言之，可以设
置用于设置存储在编码块的脚注之外的部分中的次级变换标识符的次级变换标识符。
123.例如，可以在脚注之前的位置处用信号传送次级变换标识符。例如，可以在cu的报头中用信号传送次级变换标识符。
124.此外，例如，可以以比编码块小的数据为单位用信号传送次级变换标识符。例如，可以以变换单元为单位(即，针对分量所通用)用信号传送次级变换标识符。此外，可以以变换块为单位(即，针对每个分量)用信号传送次级变换标识符。此外，可以以变换单元为单位用信号传送亮度(y)的次级变换标识符和色度(cb，cr)的次级变换标识符。
125.因此，与在cu的脚注中用信号传送的情况相比，可以使开始变换块的逆量化和逆变换处理所需的信息的缓冲时段更短。因此，可以抑制延迟和存储使用量的增加。即，可以抑制解码的负荷的增加。
126.<非零变换系数的计数>
127.此外，如图7所示，为了对次级变换标识符st_idx进行解码，需要对cu中包括的所有变换块内的lfnst角的归零区域内的非零变换系数的数目numzerooutsigcoef和cu中包括的所有变换块内的非零变换系数的数目numsigcoef进行计数(图4)。这种非零变换系数的计数需要复杂的处理，这可能会增加硬件成本。如上所述，存在解码处理的负荷增加的可能性。
128.<非零变换系数的计数的省略>
129.因此，从次级变换标识符的解码/编码条件中删除引用非零变换系数的数目的条件表达式。因此，可以在不需要复杂处理的情况下导出次级变换标识符。此外，当在解码处理中分析次级变换标识符时，可以省略非零变换系数的复杂计数，从而可以抑制解码处理的负荷的增加。
130.<1
‑
3.上下文的导出>
131.<ctxinc>
132.此外，如图8的语法导出上下文初始值(偏移量)ctxinc。即ctxinc(mtsctx)是基于多变换选择(mts)的标识符即变换单元的自适应正交变换标识符tu_mts_idx和树类型(treetype)导出的。因此，需要复杂的处理来导出次级变换标识符st_idx的第一个bin(二进制文件)的上下文索引，并且存在解码处理的负荷增加的可能性。
133.<导出的简化>
134.因此，该上下文是在不使用自适应正交变换标识符的情况下导出的。因此，可以简化上下文的导出，并且可以抑制解码处理的负荷的增加。
135.<1
‑
4.次级变换的简化>
136.<有效变换区域尺寸的导出>
137.此外，在非专利文献9中描述的次级变换的情况下，如图9所示，不通过rst变换矩阵改变的初级变换系数即除了lfnst角之外的初级变换系数归零(值被设置为零)。因此，可以提高编码效率。
138.例如，在应用64
×
16rst矩阵的tb(即应用次级变换的变换块)中可以存在有效非零变换系数的区域是尺寸为4x4的lfnst角(dc子块)的区域。
139.例如，在dc子块的最后系数位置(lastx,lasty)为(3,3)的情况下，作为即使在归零后仍保留非零变换系数的区域的有效变换区域尺寸(log2zotbwidth,log2zoheight)通
过诸如图10所示的语法的方法导出。然后，使用该值，根据图11所示的表对最后系数位置(lastx,lasty)的每个前缀部分(last_sig_coeff_x_prefix,last_sig_coeff_y_prefix)进行二值化。然后，根据图12所示的表生成二进制序列(bin sequence)。
140.在图9所示的16
×
16tb的情况下，最后系数位置(lastx,lasty)的前缀部分的二进制序列bin是图12所示的表中从顶部起的第7行从右起的第一列中的代码“1110”。即，4比特。
141.当在有效变换区域尺寸设置为4
×
4的情况下执行二值化时，前缀部分的二进制序列bin变为图12所示的表中从顶部起的第7行从右起的第二列中的代码“111”。即，4个bin。即，它可以比上面的示例短一个bin。
142.考虑到x方向和y方向，存在最多达两个bin的减少余量。即，在非专利文献9中描述的方法中，存在不必要地增加代码量并且降低编码效率的可能性。此外，由于经过解码处理的代码量增加，因此存在解码处理的负荷增加的可能性。
143.<基于次级变换标识符的导出方法控制>
144.因此，有效变换区域尺寸是基于次级变换标识符的值导出的。因此，可以通过与次级变换相对应的方法导出有效变换区域尺寸，并且可以使用有效变换区域尺寸获得最后系数的前缀部分。因此，可以抑制代码长度的增加。即，可以抑制最后系数的二进制长度的增加(通常可以减少二进制长度)。即，可以抑制代码量的增加(抑制编码效率的降低)。因此，可以抑制解码处理的负荷的增加。
145.<2.第一实施方式>
146.<2
‑
1.用信号传送次级变换标识符>
147.<在cu报头中的信号传送>
148.在cu报头中用信号传送次级变换标识符st_idx。即，在cu中的每个tu之前用信号传送次级变换标识符。例如，在编码时，次级变换标识符被设置成存储在编码块的报头中。换句话说，次级变换标识符被设置成在每个变换块之前用信号传送。此外，例如，在解码时，分析存储在编码块的报头中的次级变换标识符。换句话说，分析在每个变换块之前用信号传送的次级变换标识符。
149.图13示出了在这种情况下关于cu中的残差数据(cu_residual)的语法的示例。在图13的示例的情况下，在从顶部起的第八行(灰色行)中用信号传送st_mode(即，st_idx)。即，在cu中的每个tu(transform_tree)(从顶部起的第十行)之前用信号传送次级变换标识符。
150.因此，可以在cu中的所有tu被解码之前解码次级变换标识符。即，可以在cu中的所有tu被解码之前开始每个tu的逆量化和逆变换处理。即，与在cu的脚注中用信号传送的情况相比，可以使开始变换块的逆量化和逆变换处理所需的信息的缓冲时段更短。因此，可以抑制延迟和存储使用量的增加。即，可以抑制解码的负荷的增加。
151.<非零变换系数的计数的省略>
152.注意，在这种情况下，可以从次级变换标识符的解码/编码条件中删除引用非零变换系数的数目的条件表达式。例如，可以与编码块中的非零变换系数的数目无关地设置次级变换标识符。此外，例如，可以与编码块中的非零变换系数的数目无关地分析次级变换标识符。
153.因此，当在编码处理中导出次级变换标识符时，可以省略非零变换系数的复杂计数，从而可以抑制编码处理的负荷的增加。此外，当在解码处理中分析次级变换标识符时，可以省略非零变换系数的复杂计数，从而可以抑制解码处理的负荷的增加。
154.<基于残差pcm模式的次级变换标识符的设置>
155.顺便提及，还存在残差pcm编码模式(基于块的增量脉冲编码调制(bdpcm))。在残差pcm编码模式的情况下，导出其中跳过次级变换的块的残差与相邻块的残差之间的差，并对每个块的残差的差进行编码。bdpcm_flag是用于确定是否应用这样的残差pcm编码模式的标志信息。在bdpcm_flag＝1的情况下应用残差pcm编码模式，在bdpcm_flag＝0的情况下不应用残差pcm编码模式。
156.可以仅在不应用残差pcm编码模式的情况下用信号传送次级变换标识符(即，在应用残差pcm编码模式的情况下可以不用信号传送次级变换标识符)。
157.因此，可以根据残差pcm编码模式容易地设置次级变换标识符。此外，在解码时，可以根据残差pcm编码模式容易地分析次级变换标识符。因此，可以抑制解码处理的负荷的增加。
158.在图14中示出在该情况下关于st_mode的语法的示例。在该情况下，如从顶部起的第二行(灰色行)所示，需要设置bdpcm_flag＝0以使stallowed为真。即，在应用残差pcm编码模式的情况下，没有用信号传送次级变换标识符。如上所述，代替基于非零变换系数的数目来设置次级变换标识符，可以基于指示是否应用残差pcm编码模式的标志来设置次级变换标识符。
159.当然，也可以将不应用该bdpcm_flag(bdpcm_flag＝＝0)时的条件排除在是否执行次级变换的确定(stallowed的导出)之外。
160.<变换跳过和自适应正交变换的设置>
161.此外，在这种情况下，可以基于是否执行次级变换来设置是否执行变换跳过。即，可以仅在不执行次级变换的情况下执行变换跳过。
162.在图15中示出在该情况下关于transform_mode的语法的示例。如图15中所示，在从顶部起的第二行(灰色行)中设置tsallowed的值。为了使tsallowed为真，需要设置st_idx＝0。即，仅在跳过次级变换的情况下tsallowed可以为真。tsallowed是用于设置指示是否执行用于跳过(省略)正交变换处理的变换跳过的变换跳过标志transform_skip_flag的值的参数。如从顶部起第四行到第六行所示，在tsallowed为真的情况下，用信号传送变换跳过标志transform_skip_flag。换句话说，在tsallowed为假的情况下，没有用信号传送变换跳过标志transform_skip_flag。在这种情况下，在解码侧，估计transform_skip_flag＝0，并且不执行变换跳过。即，仅在跳过次级变换的情况下可以执行变换跳过。
163.因此，可以根据次级变换标识符容易地设置变换跳过标志。此外，在解码时，可以根据次级变换标识符容易地分析变换跳过标志。因此，可以抑制解码处理的负荷的增加。
164.当然，次级变换的跳过可以不被添加到是否执行变换跳过的条件。
165.注意，类似于变换跳过标志transform_skip_flag的情况，次级变换的跳过可以被添加到是否应用自适应正交变换的条件。
166.在图15中从顶部起的第三行设置mtsallowed的值。与图15的变换跳过标志transform_skip_flag的情况类似，可以将st_idx＝0(&&(st_idx[x0][y0]＝＝0))添加到
mtsallowed的设置条件。即，仅在跳过次级变换的情况下mtsallowed可以为真。mtsallowed是用于设置自适应正交变换标识符tu_mts_idx的值的参数，该自适应正交变换标识符tu_mts_idx的值指示是否对每个tu应用自适应正交变换处理。如从顶部起的第七行到第九行中所示，在mtsallowed为真的情况下，用信号传送自适应正交变换标识符tu_mts_idx。换句话说，在mtsallowed为假的情况下，没有用信号传送自适应正交变换标识符tu_mts_idx。在这种情况下，在解码侧，估计tu_mts_idx＝0，并且不应用自适应正交变换。即，仅在跳过次级变换的情况下才可以执行自适应正交变换。
[0167]
因此，可以根据次级变换标识符容易地设置自适应正交变换标识符。此外，在解码时，可以根据次级变换标识符容易地分析自适应正交变换标识符。因此，可以抑制解码处理的负荷的增加。
[0168]
当然，次级变换的跳过可以不被添加到是否应用自适应正交变换的条件。即，在图15的语法中，st_idx＝0(&&(st_idx[x0][y0]＝＝0))可以只添加到从顶部起的第二行，可以只添加到从顶部起的第三行，可以添加到从顶部起的第二行和第三行，或者可以不添加到第二行和第三行。
[0169]
<上下文的导出>
[0170]
此外，在这种情况下，例如，如图16所示，上下文初始值(偏移)ctxinc可以仅基于树类型(treetype)导出，而不依赖于自适应正交变换标识符tu_mts_idx。
[0171]
在图16中，仅根据树类型是否为单树来设置mtsctx。因此，可以在不需要复杂处理的情况下(更容易地)导出次级变换标识符st_idx的第一个bin的上下文索引。类似地，在解码时，可以更容易地导出次级变换标识符st_idx的第一个bin的上下文索引。因此，可以抑制解码处理的负荷的增加。
[0172]
<2
‑
2.编码侧>
[0173]
<图像编码装置>
[0174]
接下来，将描述编码侧。图17是示出作为应用本技术的图像处理装置的一个方面的图像编码装置的配置的示例的框图。图17中所示的图像编码装置100是对运动图像的图像数据进行编码的装置。例如，图像编码装置100通过非专利文献1至10中的任一个中描述的编码方法对运动图像的图像数据进行编码。
[0175]
注意，图17示出了处理单元(块)和数据流等主要内容，图17中并未示出它们中的全部。也就是说，在图像编码装置100中，可以存在图17中未示出为块的处理单元，或者可以存在图17中未示出为箭头等的处理或数据流。
[0176]
如图17所示，图像编码装置100包括控制单元101、重排缓冲器111、计算单元112、正交变换单元113、量化单元114、编码单元115、累积缓冲器116、逆量化单元117、逆正交变换单元118、计算单元119、环内滤波器单元120、帧存储器121、预测单元122和速率控制单元123。
[0177]
<控制单元>
[0178]
控制单元101基于外部或预定处理单位的块尺寸将由重排缓冲器111保持的运动图像数据划分成处理单位的块(cu、pu、变换块等)。此外，控制单元101基于例如率失真优化(rdo)来确定提供给每个块的编码参数(报头信息hinfo、预测模式信息pinfo、变换信息tinfo、滤波器信息finfo等)。
[0179]
稍后将描述这些编码参数的细节。当控制单元101确定上述编码参数时，控制单元101将它们提供给每个块。具体而言，如下所述。
[0180]
报头信息hinfo被提供给每个块。
[0181]
预测模式信息pinfo被提供给编码单元115和预测单元122。
[0182]
变换信息tinfo被提供给编码单元115、正交变换单元113、量化单元114、逆量化单元117和逆正交变换单元118。
[0183]
滤波器信息finfo被提供给环内滤波器单元120。
[0184]
<重排缓冲器>
[0185]
运动图像数据的每个字段(输入图像)按照再现顺序(显示顺序)被输入至图像编码装置100。重排缓冲器111以再现顺序(显示顺序)获取并且保持(存储)每个输入图像。重排缓冲器111基于控制单元101的控制，以编码顺序(解码顺序)重排输入图像或者将输入图像划分为处理单位的块。重排缓冲器111将每个经处理的输入图像提供给计算单元112。此外，重排缓冲器111还将每个输入图像(原始图像)提供给预测单元122和环内滤波器单元120。
[0186]
<计算单元>
[0187]
计算单元112将与处理单位的块相对应的图像i以及从预测单元122提供的预测图像p作为输入，如下面的公式所示从图像i中减去预测图像p，导出预测残差d，并且将预测残差d提供给正交变换单元113。
[0188]
d＝i
‑
p
[0189]
<正交变换单元>
[0190]
正交变换单元113将从计算单元112提供的预测残差d和从控制单元101提供的变换信息tinfo作为输入，并基于变换信息tinfo对预测残差d执行正交变换以导出变换系数coeff。注意，正交变换单元113可以执行用于自适应地选择正交变换的类型(变换系数)的自适应正交变换。正交变换单元113将获得的变换系数coeff提供给量化单元114。
[0191]
<量化单元>
[0192]
量化单元114将从正交变换单元113提供的变换系数coeff和从控制单元101提供的变换信息tinfo作为输入，并且基于变换信息tinfo来缩放(量化)变换系数coeff。注意，该量化的速率由速率控制单元123控制。量化单元114将通过这样的量化获得的量化之后的变换系数即量化变换系数水平“level”提供给编码单元115和逆量化单元117。
[0193]
<编码单元>
[0194]
编码单元115将从量化单元114提供的量化变换系数水平“level”、从控制单元101提供的各种编码参数(报头信息hinfo、预测模式信息pinfo、变换信息tinfo、滤波器信息finfo等)、从环内滤波器单元120提供的关于滤波器的信息例如滤波器系数、以及从预测单元122提供的关于最佳预测模式的信息作为输入。编码单元115对量化变换系数水平“level”执行可变长度编码(例如，算术编码)，以生成比特串(编码数据)。
[0195]
此外，编码单元115从量化变换系数水平“level”导出残差信息rinfo，对残差信息rinfo进行编码，并且生成比特串。
[0196]
此外，编码单元115将从环内滤波器单元120提供的关于滤波器的信息包括到滤波器信息finfo中，并且将从预测单元122提供的关于最佳预测模式的信息包括到预测模式信
息pinfo中。然后，编码单元115对上述各种编码参数(报头信息hinfo、预测模式信息pinfo、变换信息tinfo、滤波器信息finfo等)进行编码以生成比特串。
[0197]
此外，编码单元115对如上所述那样生成的各种信息的比特串进行复用，以生成编码数据。编码单元115将编码数据提供给累积缓冲器116。
[0198]
<累积缓冲器>
[0199]
累积缓冲器116临时保持由编码单元115获得的编码数据。累积缓冲器116以预定定时将所保持的编码数据作为例如比特流等输出至图像编码装置100的外部。例如，该编码数据经由任意记录介质、任意传输介质、任意信息处理装置等被发送至解码侧。也就是说，累积缓冲器116也是发送编码数据(比特流)的发送单元。
[0200]
<逆量化单元>
[0201]
逆量化单元117执行与逆量化相关的处理。例如，逆量化单元117将从量化单元114提供的量化变换系数水平“level”以及从控制单元101提供的变换信息tinfo作为输入，并且基于变换信息tinfo对量化变换系数水平“level”的值进行缩放(逆量化)。注意，逆量化是在量化单元114中执行的量化的逆处理。逆量化单元117将通过这样的逆量化而获得的变换系数coeff_iq提供给逆正交变换单元118。
[0202]
<逆正交变换单元>
[0203]
逆正交变换单元118执行与逆正交变换相关的处理。例如，逆正交变换单元118将从逆量化单元117提供的变换系数coeff_iq以及从控制单元101提供的变换信息tinfo作为输入，并且基于变换信息tinfo对变换系数coeff_iq执行逆正交变换以导出预测残差d'。注意，该逆正交变换是在正交变换单元113中执行的正交变换的逆处理。即，逆正交变换单元118可以执行用于自适应地选择逆正交变换的类型(变换系数)的自适应逆正交变换。
[0204]
逆正交变换单元118将通过这样的逆正交变换获得的预测残差d'提供给计算单元119。注意，由于逆正交变换单元118类似于解码侧的逆正交变换单元(稍后描述)，在解码侧给出的描述(稍后描述)可以应用于逆正交变换单元118。
[0205]
<计算单元>
[0206]
计算单元119将从逆正交变换单元118提供的预测残差d'以及从预测单元122提供的预测图像p作为输入。计算单元119将预测残差d'和与预测残差d'对应的预测图像p相加，以导出局部解码图像rlocal。计算单元119将导出的局部解码图像rlocal提供给环内滤波器单元120和帧存储器121。
[0207]
<环内滤波器单元>
[0208]
环内滤波器单元120执行与环内滤波器处理有关的处理。例如，环内滤波器单元120将从计算单元119提供的局部解码图像rlocal、从控制单元101提供的滤波器信息finfo和从重排缓冲器111提供的输入图像(原始图像)作为输入。注意，输入至环内滤波器单元120的信息是任意的，并且可以输入除这样的信息之外的信息。例如，预测模式、运动信息、代码量目标值、量化参数qp、图片类型、块(cu、ctu等)的信息等可以根据需要被输入至环内滤波器单元120。
[0209]
环内滤波器单元120基于滤波器信息finfo适当地对局部解码图像rlocal执行滤波处理。环内滤波器单元120还根据需要使用输入图像(原始图像)和用于滤波处理的其他输入信息。
[0210]
例如，环内滤波器单元120按以下顺序应用四个环内滤波器：双边滤波器、解块滤波器(dbf)、自适应偏移滤波器(样本自适应偏移(sao))和自适应环路滤波器(alf)。请注意，应用哪个过滤器以及应用的顺序是任意的并且可以适当地选择。
[0211]
当然，由环内滤波器单元120执行的滤波处理是任意的，并且不限于上述示例。例如，环内滤波器单元120可以应用wiener滤波器等。
[0212]
环内滤波器单元120将经过滤波处理的局部解码图像rlocal提供给帧存储器121。注意，在将关于滤波器的信息诸如滤波系数发送至解码侧的情况下，环内滤波器单元120将关于滤波器的信息提供给编码单元115。
[0213]
<帧存储器>
[0214]
帧存储器121执行与关于图像的数据的存储相关的处理。例如，帧存储器121将从计算单元119提供的局部解码图像rlocal或从环内滤波器单元120提供的经过滤波处理的局部解码图像rlocal作为输入，并将其保持(存储)。此外，帧存储器121使用局部解码图像rlocal针对每个图片单元重建解码图像r并将其保持(将其存储在帧存储器121中的缓冲器中)。帧存储器121响应于预测单元122的请求将解码图像r(或其部分)提供给预测单元122。
[0215]
<预测单元>
[0216]
预测单元122执行与预测图像的生成相关的处理。例如，预测单元122将从控制单元101提供的预测模式信息pinfo、从重排缓冲器111提供的输入图像(原始图像)以及从帧存储器121中读取的解码图像r(或其部分)作为输入。预测单元122使用预测模式信息pinfo或输入图像(原始图像)执行诸如帧间预测和帧内预测的预测处理，通过参考解码图像r作为参考图像来进行预测，基于预测结果执行运动补偿处理，并且生成预测图像p。预测单元122将生成的预测图像p提供给计算单元112和计算单元119。此外，预测单元122根据需要将关于通过上述处理选择的预测模式即最佳预测模式的信息提供给编码单元115。
[0217]
<速率控制单元>
[0218]
速率控制单元123执行与速率控制相关的处理。例如，速率控制单元123基于累积在累积缓冲器116中的编码数据的代码量来控制量化单元114的量化操作的速率，使得不会发生上溢或下溢。
[0219]
注意，这些处理单元(控制单元101和重排缓冲器111到速率控制单元123)具有任意配置。例如，每个处理单元可以包括实现上述处理的逻辑电路。此外，每个处理单元可以包括例如中央处理单元(cpu)、只读存储器(rom)、随机存取存储器(ram)等，并使用它们执行程序以实现上述提到的处理。当然，每个处理单元可以具有两种配置，并且上述处理的一部分可以由逻辑电路来实现，其余部分可以通过执行程序来实现。各个处理单元的配置可以彼此独立。例如，一些处理单元可以通过逻辑电路来实现上述处理的一部分，一些其他处理单元可以执行程序来实现上述处理，还有另外一些处理单元可以通过逻辑电路和执行程序两者来实现上述处理。
[0220]
图像编码装置100通过应用<2
‑
1.次级变换标识符的信号传送>中描述的各种方法对图像进行编码。因此，如上所述，可以抑制解码处理的负荷的增加。
[0221]
<控制单元>
[0222]
图18是示出控制单元101的主要配置示例的框图。如图18所示，控制单元101包括次级变换标识符设置单元151、变换跳过标志设置单元152、自适应正交变换标识符设置单
元153和上下文设置单元154。
[0223]
次级变换标识符设置单元151执行与次级变换标识符st_idx的设置相关的处理。例如，次级变换标识符设置单元151将用于重排缓冲器111中保持的帧图像的处理目标cu的次级变换标识符设置为编码参数。此时，次级变换标识符设置单元151应用<2
‑
1.用信号传送次级变换标识符>中描述的各种方法。
[0224]
例如，次级变换标识符设置单元151设置要存储在cu报头中(即，在每个tu之前用信号传送)的次级变换标识符。因此，如上所述，可以抑制解码处理中的延迟和存储使用量的增加，并且可以抑制解码处理的负荷的增加。
[0225]
此外，次级变换标识符设置单元151可以与cu中的非零变换系数的数目无关地设置次级变换标识符。因此，可以省略非零变换系数的复杂计数，并且可以抑制编码处理的负荷的增加。此外，在解码处理中，也可以省略非零变换系数的复杂计数，并且可以抑制解码处理的负荷的增加。
[0226]
此外，次级变换标识符设置单元151可以仅在不应用残差pcm编码模式的情况下用信号传送次级变换标识符。因此，在解码时，可以根据残差pcm编码模式容易地分析次级变换标识符，并且可以抑制解码处理的负荷的增加。
[0227]
如上所述由次级变换标识符设置单元151设置的次级变换标识符st_idx被提供给正交变换单元113、编码单元115和逆正交变换单元118作为tinfo。
[0228]
变换跳过标志设置单元152执行与变换跳过标志transform_skip_flag的设置相关的处理。例如，变换跳过标志设置单元152将重排缓冲器111中保持的帧图像的处理目标tu的变换跳过标志设置为编码参数。此时，变换跳过标志设置单元152可以应用<2
‑
1.用信号传送次级变换标识符>中描述的方法。
[0229]
例如，变换跳过标志设置单元152可以基于是否执行次级变换来设置变换跳过标志。即，st_idx＝0(&&(st_idx[x0][y0]＝＝0))可以被添加到tsallowed的设置条件。因此，可以根据次级变换标识符容易地设置变换跳过标志。此外，在解码时，可以根据次级变换标识符容易地分析变换跳过标志。因此，可以抑制解码处理的负荷的增加。
[0230]
如上所述由变换跳过标志设置单元152设置的变换跳过标志transform_skip_flag被提供给正交变换单元113、编码单元115和逆正交变换单元118作为tinfo。
[0231]
自适应正交变换标识符设置单元153执行与自适应正交变换标识符tu_mts_idx的设置相关的处理。例如，自适应正交变换标识符设置单元153将用于重排缓冲器111中保持的帧图像的处理目标tu的自适应正交变换标识符设置为编码参数。此时，自适应正交变换标识符设置单元153可以应用<2
‑
1.用信号传送次级变换标识符>中描述的方法。
[0232]
例如，自适应正交变换标识符设置单元153可以基于是否执行次级变换来设置自适应正交变换标识符。即，st_idx＝0(&&(st_idx[x0][y0]＝＝0))可以被添加到mtsallowed的设置条件。因此，可以根据次级变换标识符容易地设置自适应正交变换标识符。此外，在解码时，可以根据次级变换标识符容易地分析自适应正交变换标识符。因此，可以抑制解码处理的负荷的增加。
[0233]
如上所述由自适应正交变换标识符设置单元153设置的自适应正交变换标识符tu_mts_idx被提供给正交变换单元113、编码单元115和逆正交变换单元118作为tinfo。
[0234]
上下文设置单元154执行与上下文设置相关的处理。例如，上下文设置单元154导
出用于将用于重排缓冲器111中保持的帧图像的处理目标cu的次级变换标识符设置为编码参数的上下文初始值(偏移)ctxinc。此时，上下文设置单元154可以应用在<2
‑
1.用信号传送次级变换标识符>中描述的方法。
[0235]
例如，上下文设置单元154可以仅基于树类型(treetype)导出上下文ctxinc，而不依赖于自适应正交变换标识符tu_mts_idx。因此，可以在不需要复杂处理的情况下(更容易地)导出次级变换标识符st_idx的第一个bin的上下文索引。
[0236]
注意，控制单元101也可以生成其他编码参数。此外，控制单元101还可以执行除编码参数的生成之外的任意处理。将省略其描述。
[0237]
<正交变换单元>
[0238]
图19是示出正交变换单元113的主要配置示例的框图。在图19中，正交变换单元1123包括初级变换单元171和次级变换单元172。
[0239]
初级变换单元171执行与初级变换相关的处理。例如，初级变换单元171获取从计算单元112提供的预测残差d。此外，初级变换单元171对预测残差d执行预定矩阵算术运算等，并导出初级变换之后的变换系数coeff_p(也称作初级变换系数)。即，初级变换单元171对预测残差d执行初级变换。
[0240]
注意，初级变换单元171基于从控制单元101提供的编码参数诸如tinfo来执行该初级变换。即，初级变换单元171在控制单元101的控制下执行初级变换。初级变换单元171将以这种方式导出的初级变换系数coeff_p提供给次级变换单元172。
[0241]
注意，初级变换单元171可以在控制单元101的控制下(根据从控制单元101提供的编码参数)跳过(省略)初级变换。在那种情况下，初级变换单元171将预测残差d提供给次级变换单元172作为初级变换系数coeff_p。
[0242]
次级变换单元172执行与次级变换相关的处理。例如，次级变换单元172获取从初级变换单元171提供的初级变换系数coeff_p。次级变换单元172对初级变换系数coeff_p执行预定矩阵算术运算等以导出次级变换之后的变换系数coeff(也称为次级变换系数)。即，次级变换单元172对初级变换系数coeff_p执行次级变换。
[0243]
注意，次级变换单元172基于从控制单元101提供的编码参数诸如tinfo来执行该次级变换。即，次级变换单元172在控制单元101的控制下执行次级变换。次级变换单元172将以此方式导出的次级变换系数coeff(即，变换系数coeff)提供给量化单元114。
[0244]
注意，次级变换单元172可以在控制单元101的控制下(根据从控制单元101提供的编码参数)跳过(省略)次级变换。在那种情况下，次级变换单元172将初级变换系数coeff_p作为次级变换系数coeff(即，变换系数coeff)提供给量化单元114。
[0245]
次级变换单元172包括栅格化单元181、矩阵算术运算单元182、缩放单元183、矩阵化单元184和矩阵设置单元185。
[0246]
栅格化单元181将从初级变换单元171提供的初级变换系数coeff_p变换为每个子块单元(4
×
4子块)的一维向量(1
×
16的系数组)。栅格化单元181将获得的一维向量提供给矩阵算术运算单元182。
[0247]
矩阵算术运算单元182执行与矩阵算术运算相关的处理。例如，矩阵算术运算单元182获取从栅格化单元181提供的一维向量。此外，矩阵算术运算单元182获取从矩阵设置单元185提供的次级变换矩阵r。矩阵算术运算单元182使用一维向量和次级变换矩阵r执行矩
阵算术运算(矩阵乘法)。矩阵算术运算单元182将矩阵算术运算结果(通过矩阵算术运算获得的系数数据)提供给缩放单元183。
[0248]
缩放单元183执行与系数数据的缩放相关的处理。例如，缩放单元183获取从矩阵算术运算单元182提供的系数数据(矩阵算术运算结果)。缩放单元183对系数数据执行剪辑处理等。缩放单元183将经处理的系数数据提供给矩阵化单元184。
[0249]
该矩阵化单元184执行与一维向量的矩阵化相关的处理。例如，矩阵化单元184获取从缩放单元提供的经缩放的1
×
16系数数据(一维向量)。此外，矩阵化单元184通过与栅格化单元181的方法对应的方法将一维向量变换成4
×
4矩阵。矩阵化单元184将以此方式获得的矩阵(系数数据组)作为变换系数coeff提供给量化单元114。
[0250]
矩阵设置单元185执行与矩阵算术运算单元182中使用的次级变换矩阵r的设置相关的处理。例如，矩阵设置单元185获取由控制单元101设置的次级变换标识符st_idx。此外，矩阵设置单元185基于次级变换标识符st_idx来设置次级变换矩阵r。例如，矩阵设置单元185从存储在内部存储器(未示出)中的候选中读取与次级变换标识符st_idx相对应的候选，并将该候选提供给矩阵算术运算单元182。
[0251]
即，次级变换单元172根据由控制单元101设置的次级变换标识符st_idx(即，在控制单元101的控制下)执行次级变换。
[0252]
<编码单元>
[0253]
图17中的编码单元115对由控制单元101设置的编码参数进行编码，并生成包括编码参数的编码数据(比特流)。此时，编码单元115可以应用在<2
‑
1.用信号传送次级变换标识符>中描述的方法。
[0254]
即，编码单元115在cu报头中(在cu中的每个tu之前)用信号传送次级变换标识符st_idx。因此，如上所述，可以抑制解码的负荷的增加。
[0255]
<图像编码处理的流程>
[0256]
接下来，将参照图20的流程图描述由具有上述配置的图像编码装置100执行的图像编码处理的流程的示例。
[0257]
当开始图像编码处理时，在步骤s101中，重排缓冲器111由控制单元101控制，并且将输入的运动图像数据的帧顺序从显示顺序重排成编码顺序。
[0258]
在步骤s102中，控制单元101对由重排缓冲器111保持的输入图像设置处理单位(执行块划分)。
[0259]
在步骤s103中，控制单元101确定(设置)由重排缓冲器111保持的输入图像的编码参数。
[0260]
在步骤s104中，预测单元122执行预测处理，并且生成最佳预测模式的预测图像等。例如，在该预测处理中，预测单元122执行帧内预测以生成最佳帧内预测模式的预测图像等，执行帧间预测以生成最佳帧间预测模式的预测图像等，并基于成本函数值等从其中选择最佳预测模式。
[0261]
在步骤s105中，计算单元112计算输入图像与在步骤s104中通过预测处理选择的最佳模式的预测图像之间的差。即，计算单元112生成输入图像与预测图像之间的预测残差d。以这种方式获得的预测残差d的数据量小于原始图像数据的数据量。因此，与按原样对图像进行编码的情况相比，可以压缩数据量。
[0262]
在步骤s106中，正交变换单元113对通过步骤s105的处理生成的预测残差d执行正交变换处理，并且导出变换系数coeff。
[0263]
在步骤s107中，量化单元114例如通过使用由控制单元101计算的量化参数来量化由步骤s106的处理获得的变换系数coeff，并且导出经量化的变换系数水平“level”。
[0264]
在步骤s108中，逆量化单元117利用与步骤s107中的量化的特性相对应的特性，对通过步骤s107的处理生成的量化变换系数水平“level”进行逆量化，并且导出变换系数coeff_iq。
[0265]
在步骤s109中，逆正交变换单元118使用与步骤s106的正交变换处理相对应的方法，对通过步骤s108的处理获得的变换系数coeff_iq执行逆正交变换，并且导出预测残差d'。注意，因为逆正交变换处理类似于在解码侧执行的逆正交变换处理(稍后描述)，所以在解码侧给出的描述(稍后描述)可以应用于步骤s109的逆正交变换处理。
[0266]
在步骤s110中，计算单元119将通过步骤s104的预测处理获得的预测图像与通过步骤s109的处理导出的预测残差d'相加，以生成局部解码图像。
[0267]
在步骤s111中，环内滤波器单元120对通过步骤s110中的处理导出的局部解码图像执行环内滤波处理。
[0268]
在步骤s112中，帧存储器121存储通过步骤s110的处理导出的局部解码图像或在步骤s111中经过滤波处理的局部解码图像。
[0269]
在步骤s113中，编码单元115对通过步骤s107的处理获得的量化变换系数水平“level”进行编码。例如，编码单元115通过算术编码等对作为关于图像的信息的量化变换系数水平“level”进行编码，以生成编码数据。此外，此时，编码单元115对各种编码参数(报头信息hinfo、预测模式信息pinfo、变换信息tinfo)进行编码。此外，编码单元115从量化变换系数水平“level”导出残差信息rinfo，并且对残差信息rinfo进行编码。
[0270]
在步骤s114中，累积缓冲器116累积得到的编码数据并将其例如作为比特流输出至图像编码装置100的外部。该比特流经由例如传输路径或记录介质发送至解码侧。此外，速率控制单元123根据需要执行速率控制。
[0271]
当步骤s114的处理结束时，图像编码处理结束。
[0272]
<编码参数设置处理的流程>
[0273]
将参照图21的流程图描述在图20的步骤s103中执行的编码参数设置处理的流程的示例。控制单元101通过应用<2
‑
1.用信号传送次级变换标识符>中描述的各种方法执行该编码参数设置处理。
[0274]
当编码参数设置处理开始时，控制单元101的次级变换标识符设置单元151在步骤s131中设置要存储在cu报头中的次级变换标识符st_idx。即，次级变换标识符设置单元151设置要在每个tu之前用信号传送的次级变换标识符。因此，如上所述，可以抑制解码处理中的延迟和存储使用量的增加，并且可以抑制解码处理的负荷的增加。
[0275]
注意，在那种情况下，次级变换标识符设置单元151可以与cu中的非零变换系数的数目无关地设置次级变换标识符。因此，可以省略非零变换系数的复杂计数，并且可以抑制编码处理负荷的增加。此外，在解码处理中，也可以省略非零变换系数的复杂计数，并且可以抑制解码处理的负荷的增加。
[0276]
此外，次级变换标识符设置单元151可以仅在不应用残差pcm编码模式的情况下用
信号传送次级变换标识符。因此，在解码时，可以根据残差pcm编码方式容易地分析次级变换标识符，并且可以抑制解码处理的负荷的增加。
[0277]
在步骤s132中，变换跳过标志设置单元152基于在步骤s131中设置的次级变换标识符来设置变换跳过标志。即，变换跳过标志设置单元152基于是否执行次级变换来设置变换跳过标志。因此，可以根据次级变换标识符容易地设置变换跳过标志。此外，在解码时，可以根据次级变换标识符容易地分析变换跳过标志。因此，可以抑制解码处理的负荷的增加。
[0278]
在步骤s133中，自适应正交变换标识符设置单元153基于在步骤s131中设置的次级变换标识符来设置自适应正交变换标识符。即，自适应正交变换标识符设置单元153基于是否执行次级变换来设置自适应正交变换标识符。因此，可以根据次级变换标识符容易地设置自适应正交变换标识符。此外，在解码时，可以根据次级变换标识符容易地分析自适应正交变换标识符。因此，可以抑制解码处理的负荷的增加。
[0279]
在步骤s134中，上下文设置单元154在不使用自适应正交变换标识符的情况下设置上下文。即，上下文设置单元154仅基于树类型(treetype)导出上下文ctxinc，而不依赖于自适应正交变换标识符tu_mts_idx。因此，可以在不需要复杂处理的情况下(更容易)导出次级变换标识符st_idx的第一个bin的上下文索引。
[0280]
当步骤s134的处理结束时，编码参数设置处理结束，并且处理返回到图20。
[0281]
注意，在步骤s132中，变换跳过标志设置单元152可以在不使用次级变换标识符的情况下设置变换跳过标志。此外，在步骤s133中，自适应正交变换标识符设置单元153可以在不使用次级变换标识符的情况下设置自适应正交变换标识符。此外，在步骤s134中，上下文设置单元154可以基于自适应正交变换标识符和树类型来设置上下文。此外，在该编码参数设置处理中，可以添加生成另一任意编码参数的步骤。
[0282]
<正交变换处理的流程>
[0283]
接下来，将参照图22的流程图来描述在图20的步骤s106中执行的正交变换处理的流程的示例。
[0284]
当正交变换处理开始时，在步骤s151中，正交变换单元113的初级变换单元171基于在图20的步骤s103中的处理中设置的编码参数执行初级变换。例如，初级变换单元171通过由编码参数指定的方法执行初级变换。此外，在由编码参数指定跳过初级变换的情况下，初级变换单元171跳过初级变换。
[0285]
在步骤s152中，次级变换单元172基于在图20的步骤s103中的处理中设置的编码参数来执行次级变换。例如，次级变换单元172使用如参照图21的流程图所描述而设置的各种参数来执行次级变换。注意，在由次级变换标识符等指定次级变换的跳过的情况下，次级变换单元172跳过次级变换。
[0286]
当步骤s152中的处理结束时，正交变换处理结束，并且处理返回至图20。
[0287]
<编码处理>
[0288]
在图20的图像编码处理的步骤s113中，编码单元115对在步骤s103中设置的编码参数进行编码。此时，编码单元115可以应用在<2
‑
1.用信号传送次级变换标识符>中描述的方法。
[0289]
即，编码单元115在cu报头中(在cu中的每个tu之前)用信号传送次级变换标识符st_idx。因此，如上所述，可以抑制解码的负荷的增加。
[0290]
<2
‑
3.解码侧>
[0291]
<图像解码装置>
[0292]
现在，将描述解码侧。图23是示出作为应用本技术的图像处理装置的一个方面的图像解码装置的配置的示例的框图。图23所示的图像解码装置200是对运动图像的编码数据进行解码的装置。例如，图像解码装置200使用非专利文献1至10中的任一个中记载的解码方法对编码数据进行解码，并且生成运动图像数据。例如，图像解码装置200对由上述图像编码装置100生成的编码数据(比特流)进行解码并生成运动图像数据。
[0293]
注意，图23示出了处理单元和数据流等主要内容，图23中并未示出它们中的全部。也就是说，在图像解码装置200中，可以存在在图23中未示出为块的处理单元，或者可以存在在图23中未示出为箭头等的处理或数据流。
[0294]
在图23中，图像解码装置200包括累积缓冲器211、解码单元212、逆量化单元213、逆正交变换单元214、计算单元215、环内滤波器单元216、重排缓冲器217、帧存储器218和预测单元219。注意，预测单元219包括未示出的帧内预测单元和帧间预测单元。
[0295]
<累积缓冲器>
[0296]
累积缓冲器211获取并保持(存储)输入至图像解码装置200的比特流。累积缓冲器211在预定定时处或者例如在满足预定条件的情况下将存储的比特流提供给解码单元212。
[0297]
<解码单元>
[0298]
解码单元212执行与图像解码相关的处理。例如，解码单元212将从累积缓冲器211提供的比特流作为输入，并且根据语法表的定义对比特串中的每个语法元素的语法值执行可变长度解码，并且得到参数。
[0299]
语法元素和从语法元素的语法值导出的参数例如包括诸如报头信息hinfo、预测模式信息pinfo、变换信息tinfo、残差信息rinfo和滤波器信息finfo的信息。即，解码单元212从比特流解析(分析并获取)这些信息。这些信息将在下面描述。
[0300]
<报头信息hinfo>
[0301]
报头信息hinfo例如包括诸如视频参数集(vps)/序列参数集(sps)/图片参数集(pps)/切片报头(sh)的报头信息。报头信息hinfo包括例如指定图像尺寸(宽度picwidth、高度picheight)、比特深度(亮度bitdepthy、色度bitdepthc)、色度阵列类型chromaarraytype、cu尺寸的最大值maxcusize/最小值mincusize、四叉树划分(也被称为quad
‑
tree划分)的最大深度maxqtdepth/最小深度minqtdepth、二叉树划分(binary
‑
tree划分)的最大深度maxbtdepth/最小深度minbtdepth、变换跳过块的最大值maxtssize(也被称为最大变换跳过块尺寸)、每个编码工具的开/关标志(也被称为启用标志)的信息。
[0302]
例如，报头信息hinfo中包括的编码工具的开/关标志包括与以下所示的变换和量化处理相关的开/关标志。注意，编码工具的开/关标志也可以被解释为指示编码数据中是否存在与编码工具相关的语法的标志。此外，在开/关标志的值为1(真)的情况下，这指示编码工具可以被使用，并且在开/关标志的值为0(假)的情况下，这指示编码工具不可以被使用。注意，可以调换对标志值的解释。
[0303]
分量间预测启用标志(ccp_enabled_flag)是指示分量间预测(跨分量预测(ccp)，也被称为cc预测)是否可用的标志信息。例如，在该标志信息为“1”(真)的情况下，这指示分量间预测可以被使用，在该标志信息为“0”(假)的情况下，这指示分量间预测不可以被使
用。
[0304]
注意，该ccp也被称为分量间线性预测(cclm或cclmp)。
[0305]
<预测模式信息pinfo>
[0306]
预测模式信息pinfo例如包括诸如处理目标pb(预测块)的尺寸信息pbsize(预测块尺寸)、帧内预测模式信息ipinfo、运动预测信息mvinfo等的信息。
[0307]
帧内预测模式信息ipinfo包括例如jctvc
‑
w1005，7.3.8.5编码单元语法中的prev_intra_luma_pred_flag、mpm_idx、rem_intra_pred_mode以及从该语法导出的亮度帧内预测模式intrapredmodey。
[0308]
此外，帧内预测模式信息ipinfo例如包括分量间预测标志(ccp_flag(cclmp_flag))、多类线性预测模式标志(mclm_flag)、色度样本位置类型标识符(chroma_sample_loc_type_idx)、色度mpm标识符(chroma_mpm_idx)以及从这些语法导出的亮度帧内预测模式(intrapredmodec)等。
[0309]
分量间预测标志(ccp_flag(cclm_flag))是指示是否应用分量间线性预测的标志信息。例如，ccp_flag＝＝1指示应用了分量间预测，并且ccp_flag＝＝0指示没有应用分量间预测。
[0310]
多类线性预测模式标志(mclm_flag)是关于线性预测的模式的信息(线性预测模式信息)。更具体地，多类线性预测模式标志(mclm_flag)是指示是否设置多类线性预测模式的标志信息。例如，在“0”的情况下，这指示1类模式(单类模式)(例如cclmp)，在“1”的情况下，这指示2类模式(多类模式)(例如，mclmp)。
[0311]
色度样本位置类型标识符(chroma_sample_loc_type_idx)是标识色度分量的像素位置的类型(也称为色度样本位置类型)的标识符。例如，在作为关于颜色格式的信息的颜色差阵列类型(chromaarraytype)指示420格式的情况下，按以下公式中所示分配色度样本位置类型标识符。
[0312]
chroma_sample_loc_type_idx＝＝0：类型2
[0313]
chroma_sample_loc_type_idx＝＝1：类型3
[0314]
chroma_sample_loc_type_idx＝＝2：类型0
[0315]
chroma_sample_loc_type_idx＝＝3：类型1
[0316]
注意，色度样本位置类型标识符(chroma_sample_loc_type_idx)是(存储在作为关于色度分量的像素位置的信息(chroma_sample_loc_info())中)作为关于色度分量的像素位置的信息(chroma_sample_loc_info())而发送的。
[0317]
色度mpm标识符(chroma_mpm_idx)是指示色度帧内预测模式候选列表(intrapredmodecandlistc)中的哪个预测模式候选被指定为色度帧内预测模式的标识符。
[0318]
运动预测信息mvinfo例如包括诸如merge_idx、merge_flag、inter_pred_idc、ref_idx_lx、mvp_lx_flag、x＝{0,1}、mvd(参见例如jctvc
‑
w1005，7.3.8.6预测单元语法)的信息。
[0319]
当然，预测模式信息pinfo中包括的信息是任意的，并且可以包括除了这些信息之外的信息。
[0320]
<变换信息tinfo>
[0321]
变换信息tinfo例如包括下面描述的信息。当然，变换信息tinfo中包括的信息是
任意的，并且可以包括除了这些信息之外的信息。
[0322]
处理目标变换块的宽度尺寸tbwsize和高度tbhsize(或者可以是以2为底的各个tbwsize和tbhsize的对数值log2tbwsize和log2tbhsize)。
[0323]
变换跳过标志(transform_ts_flag)：指示是否跳过(逆)初级变换和(逆)次级变换的标志。
[0324]
扫描标识符(scanidx)
[0325]
次级变换标识符(st_idx)
[0326]
自适应正交变换标识符(mts_idx)
[0327]
量化参数(qp)
[0328]
量化矩阵(scaling_matrix(例如，jctvc
‑
w1005，7.3.4缩放列表数据语法))
[0329]
<残差信息rinfo>
[0330]
残差信息rinfo(例如，参见jctvc
‑
w1005的7.3.8.11残差编码语法)包括例如以下描述的语法。
[0331]
cbf(coded_block_flag)：残差数据存在/不存在标志
[0332]
last_sig_coeff_x_pos：最后的非零变换系数x坐标
[0333]
last_sig_coeff_y_pos：最后的非零变换系数y坐标
[0334]
coded_sub_block_flag：子块非零变换系数存在/不存在标志
[0335]
sig_coeff_flag：非零变换系数存在/不存在标志
[0336]
gr1_flag：指示非零变换系数的水平是否大于1的标志(也称为gr1标志)
[0337]
gr2_flag：指示非零变换系数的水平是否大于2的标志(也称为gr2标志)
[0338]
sign_flag:指示非零变换系数的正或负的代码(也称为符号代码)
[0339]
coeff_abs_level_remaining:非零变换系数的剩余水平(也称为非零变换系数剩余水平)
[0340]
当然，残差信息rinfo中包括的信息是任意的，并且可以包括除了这些信息之外的信息。
[0341]
<滤波器信息finfo>
[0342]
滤波器信息finfo包括例如与以下描述的每个滤波器处理相关的控制信息。
[0343]
与解块滤波器(dbf)相关的控制信息
[0344]
与像素自适应偏移(sao)相关的控制信息
[0345]
与自适应环路滤波器(alf)相关的控制信息
[0346]
与其他线性和非线性滤波器相关的控制信息
[0347]
更具体地，例如，包括用于指定应用每个滤波器的图片和图片中的区域的信息、以cu为单位的滤波器开/关控制信息、与切片和图块边界相关的滤波器开/关控制信息等。当然，滤波器信息finfo中包括的信息是任意的，并且可以包括除了这些信息之外的信息。
[0348]
返回参考解码单元212的描述，解码单元212参考残差信息rinfo导出每个变换块中的每个系数位置的量化变换系数水平“level”。解码单元212将量化变换系数水平“level”提供给逆量化单元213。
[0349]
此外，解码单元212将经解析的报头信息hinfo、预测模式信息pinfo、量化变换系数水平“level”、变换信息tinfo和滤波器信息finfo提供给每个块。具体而言，如下所述。
[0350]
报头信息hinfo被提供给逆量化单元213、逆正交变换单元214、预测单元219和环内滤波器单元216。
[0351]
预测模式信息pinfo被提供给逆量化单元213和预测单元219。
[0352]
变换信息tinfo被提供给逆量化单元213和逆正交变换单元214。
[0353]
滤波器信息finfo被提供给环内滤波器单元216。
[0354]
当然，上述示例只是示例，不限于该示例。例如，可以将每个编码参数提供给任意处理单元。此外，可以将其他信息提供给任意处理单元。
[0355]
<逆量化单元>
[0356]
逆量化单元213至少具有用于执行与逆量化相关的处理所需的配置。例如，逆量化单元213将从解码单元212提供的变换信息tinfo和量化变换系数水平“level”作为输入，基于变换信息tinfo对量化变换系数水平“level”的值进行缩放(逆量化)，并导出经逆量化的变换系数coeff_iq。
[0357]
注意，该逆量化作为图像编码装置100的量化单元114的量化的逆处理而被执行。此外，该逆量化是与图像编码装置100的逆量化单元117的逆量化类似的处理。即，图像编码装置100的逆量化单元117执行与逆量化单元213的处理类似的处理(逆量化)。
[0358]
逆量化单元213将导出的变换系数coeff_iq提供给逆正交变换单元214。
[0359]
<逆正交变换单元>
[0360]
逆正交变换单元214执行与逆正交变换相关的处理。例如，逆正交变换单元214将从逆量化单元213提供的变换系数coeff_iq以及从解码单元212提供的变换信息tinfo作为输入，并且基于变换信息tinfo对变换系数coeff_iq执行逆正交变换处理，以导出预测残差d'。
[0361]
注意，该逆正交变换作为由图像编码装置100的正交变换单元113的正交变换的逆处理而被执行。此外，该逆正交变换是类似于图像编码装置100的逆正交变换单元118的逆正交变换的处理。即，图像编码装置100的逆正交变换单元118执行与逆正交变换单元214的处理类似的处理(逆正交变换)。
[0362]
逆正交变换单元214将导出的预测残差d'提供给计算单元215。
[0363]
<计算单元>
[0364]
计算单元215执行与关于图像的信息的相加相关的处理。例如，计算单元215将从逆正交变换单元214提供的预测残差d'以及从预测单元219提供的预测图像p作为输入。如下公式所示，计算单元215将预测残差d'与对应于预测残差d'的预测图像p(预测信号)相加以导出局部解码图像rlocal。
[0365]
rlocal＝d' p
[0366]
计算单元215将导出的局部解码图像rlocal提供给环内滤波器单元216和帧存储器218。
[0367]
<环内滤波器单元>
[0368]
环内滤波器单元216执行与环内滤波器处理相关的处理。例如，环内滤波器单元216将从计算单元215提供的局部解码图像rlocal以及从解码单元212提供的滤波器信息finfo作为输入。注意，输入到环内滤波器单元216的信息是任意的，并且可以输入除这样的信息之外的信息。
[0369]
环内滤波器单元216基于滤波器信息finfo适当地对局部解码图像rlocal执行滤波处理。
[0370]
例如，环内滤波器单元216按以下顺序应用四个环内滤波器：双边滤波器、解块滤波器(dbf)、自适应偏移滤波器(样本自适应偏移(sao))和自适应环路滤波器(alf)。注意，应用哪个过滤器以及应用的顺序是任意的并且可以适当地选择。
[0371]
环内滤波器单元216执行与编码侧(例如，图像编码装置100的环内滤波器单元120)执行的滤波处理对应的滤波处理。当然，由环内滤波器单元216执行的滤波处理是任意的，并且不限于上述示例。例如，环内滤波器单元216可以应用wiener滤波器等。
[0372]
环内滤波器单元216将经过滤波处理的局部解码图像rlocal提供给重排缓冲器217和帧存储器218。
[0373]
<重排缓冲器>
[0374]
重排缓冲器217将从环内滤波器单元216提供的局部解码图像rlocal作为输入并将其保持(存储)。重排缓冲器217使用局部解码图像rlocal针对每个图片单元重建解码图像r并将其保持(将其存储在缓冲器中)。重排缓冲器217将获得的解码图像r从解码顺序重排成再现顺序。重排缓冲器217将重排的解码图像r组作为运动图像数据输出至图像解码装置200的外部。
[0375]
<帧存储器>
[0376]
帧存储器218执行与关于图像的数据的存储相关的处理。例如，帧存储器218将由计算单元215提供的局部解码图像rlocal作为输入，针对每个图片单元重建解码图像r，并将其存储在帧存储器218的缓冲器中。
[0377]
此外，帧存储器218将从环内滤波器单元216提供的经过环内滤波处理的局部解码图像rlocal作为输入，针对每个图片单元重建解码图像r，并将其存储在帧存储器218中的缓冲器中。帧存储器218适当地将存储的解码图像r(或其部分)作为参考图像提供给预测单元219。
[0378]
注意，帧存储器218可以存储与解码图像的生成相关的报头信息hinfo、预测模式信息pinfo、变换信息tinfo、滤波器信息finfo等。
[0379]
<预测单元>
[0380]
预测单元219执行与预测图像的生成相关的处理。例如，预测单元219将从解码单元212提供的预测模式信息pinfo作为输入，使用由预测模式信息pinfo指定的预测方法进行预测，并导出预测图像p。在导出时，预测单元219使用由预测模式信息pinfo指定的存储在帧存储器218中的在滤波之前或滤波之后的解码图像r(或其一部分)作为参考图像。预测单元219将导出的预测图像p提供给计算单元215。
[0381]
注意，这些处理单元(累积缓冲器211至预测单元219)具有任意配置。例如，每个处理单元可以包括实现上述处理的逻辑电路。此外，每个处理单元可以包括例如cpu、rom、ram等，并且使用它们执行程序以实现上述处理。当然，每个处理单元可以具有两种配置，并且上述处理的一部分可以由逻辑电路来实现，其余部分可以通过执行程序来实现。各个处理单元的配置可以彼此独立。例如，一些处理单元可以通过逻辑电路实现上述处理的一部分，一些其他处理单元可以执行程序来实现上述处理，还有另外一些处理单元可以通过逻辑电路和程序的执行两者来实现上述处理。
[0382]
图像解码装置200通过应用<2
‑
1.用信号传送次级变换标识符>中描述的各种方法对编码数据进行编码。因此，如上所述，可以抑制解码处理的负荷的增加。
[0383]
<解码单元>
[0384]
图24是示出解码单元212的主要配置示例的框图。如图24所示，解码单元212包括解码单元241和分析单元242。
[0385]
解码单元241执行与编码数据(比特流)的解码相关的处理。例如，解码单元241获取从累积缓冲器211提供的比特流。此外，解码单元241根据语法表的定义对比特串中的每个语法元素的语法值执行可变长度解码。解码单元241将解码结果提供给分析单元242。
[0386]
分析单元242执行与参数分析相关的处理。例如，分析单元242获取从解码单元241提供的解码结果。此外，分析单元242根据解码结果解析(分析和获取)例如诸如报头信息hinfo、预测模式信息pinfo、变换信息tinfo、残差信息rinfo和滤波器信息finfo的信息。
[0387]
此外，分析单元242参考残差信息rinfo导出每个变换块中的每个系数位置的量化变换系数水平“level”，并将量化变换系数水平“level”提供给逆量化单元213。
[0388]
分析单元242包括次级变换标识符分析单元251、变换跳过标志分析单元252、自适应正交变换标识符分析单元253和上下文设置单元254。
[0389]
次级变换标识符分析单元251执行与次级变换标识符st_idx的分析相关的处理。例如，次级变换标识符分析单元251根据从解码单元241提供的解码结果解析用信号传送的次级变换标识符。此时，次级变换标识符分析单元251应用<2
‑
1.用信号传送次级变换标识符>中描述的各种方法。
[0390]
例如，次级变换标识符分析单元251解析存储在cu报头中(即，在每个tu之前用信号传送)的次级变换标识符。因此，如上所述，可以抑制解码处理中的延迟和存储使用量的增加，并且可以抑制解码处理的负荷的增加。
[0391]
此外，次级变换标识符分析单元251可以与cu中的非零变换系数的数目无关地解析次级变换标识符。因此，可以省略非零变换系数的复杂计数，并且可以抑制解码处理的负荷的增加。
[0392]
此外，次级变换标识符分析单元251可以解析仅在不应用残差pcm编码模式的情况下用信号传送的次级变换标识符。即，例如，在bdpcm_flag＝1的情况下，次级变换标识符分析单元251基于该事实确定不执行次级变换。因此，可以更容易地分析次级变换标识符，并且可以抑制解码处理的负荷的增加。
[0393]
如上所述由次级变换标识符分析单元251解析的次级变换标识符st_idx被提供给逆量化单元213和逆正交变换单元214作为tinfo。
[0394]
变换跳过标志分析单元252执行与变换跳过标志transform_skip_flag的分析相关的处理。例如，变换跳过标志分析单元252将关于处理目标tu的变换跳过标志解析为编码参数。此时，变换跳过标志分析单元252可以应用<2
‑
1.用信号传送次级变换标识符>中描述的方法。
[0395]
例如，变换跳过标志分析单元252基于是否执行次级变换来解析变换跳过标志。例如，在执行次级变换的情况下，变换跳过标志分析单元252确定不执行变换跳过。因此，可以根据次级变换标识符容易地分析变换跳过标志。因此，可以抑制解码处理的负荷的增加。
[0396]
如上所述由变换跳过标志分析单元252解析的变换跳过标志transform_skip_
flag被提供给逆量化单元213和逆正交变换单元214作为tinfo。
[0397]
自适应正交变换标识符分析单元253执行与自适应正交变换标识符tu_mts_idx的分析相关的处理。例如，自适应正交变换标识符分析单元253将关于处理目标tu的自适应正交变换标识符解析为编码参数。此时，自适应正交变换标识符分析单元253可以应用<2
‑
1.用信号传送次级变换标识符>中描述的方法。
[0398]
例如，自适应正交变换标识符分析单元253基于是否执行次级变换来解析自适应正交变换标识符。例如，在执行次级变换的情况下，自适应正交变换标识符分析单元253确定不应用自适应正交变换。因此，可以根据次级变换标识符容易地分析自适应正交变换标识符。因此，可以抑制解码处理的负荷的增加。
[0399]
如上所述由自适应正交变换标识符分析单元253设置的自适应正交变换标识符tu_mts_idx被提供给逆量化单元213和逆正交变换单元214作为tinfo。
[0400]
上下文设置单元254执行与上下文设置相关的处理。例如，上下文设置单元254导出用于设置用于处理目标cu的次级变换标识符的上下文初始值(偏移)ctxinc。此时，上下文设置单元254可以应用在<2
‑
1.用信号传送次级变换标识符>中描述的方法。
[0401]
例如，上下文设置单元254可以仅基于树类型(treetype)导出上下文ctxinc，而不依赖于自适应正交变换标识符tu_mts_idx。因此，可以在不需要复杂处理的情况下(更容易)导出次级变换标识符st_idx的第一个bin的上下文索引。因此，可以抑制解码处理的负荷的增加。
[0402]
注意，分析单元242还可以解析其他编码参数。此外，分析单元242还可以执行除编码参数分析之外的任意处理。将省略其描述。
[0403]
<逆正交变换单元>
[0404]
图25是示出图23中的逆正交变换单元214的主要配置示例的框图。如图25所示，逆正交变换单元214包括逆次级变换单元271和逆初级变换单元272。
[0405]
逆次级变换单元271执行与作为次级变换的逆处理的逆次级变换相关的处理。例如，逆次级变换单元271获取从逆量化单元213提供的变换系数coeff_iq。此外，逆次级变换单元271对变换系数coeff_iq执行预定矩阵算术运算等以导出逆次级变换之后的变换系数coeff_is(也称为初级变换系数)。即，逆次级变换单元271对变换系数coeff_iq执行逆次级变换。
[0406]
注意，逆次级变换单元271基于从解码单元212提供的编码参数(在比特流中用信号传送并由解码单元212解析的编码参数)诸如tinfo来执行逆次级变换。即，逆次级变换单元271在解码单元212的控制下执行逆次级变换。逆次级变换单元271将以此方式导出的初级变换系数coeff_is提供给逆初级变换单元272。
[0407]
注意，逆次级变换单元271可以在解码单元212的控制下(根据从解码单元212提供的编码参数)跳过(省略)逆次级变换。在那种情况下，逆次级变换单元271将变换系数coeff_iq提供给逆初级变换单元272作为初级变换系数coeff_is。
[0408]
逆初级变换单元272执行与作为初级变换的逆处理的逆初级变换相关的处理。例如，逆初级变换单元272获取从逆次级变换单元271提供的初级变换系数coeff_is。此外，逆初级变换单元272对初级变换系数coeff_is执行预定矩阵算术运算等并导出预测残差d'。
[0409]
注意，逆初级变换单元272基于从解码单元212提供的编码参数(在比特流中用信
号传送并由解码单元212解析的编码参数)诸如tinfo来执行逆初级变换。即，逆初级变换单元272在解码单元212的控制下执行逆初级变换。逆初级变换单元272将以此方式导出的预测残差d'提供给计算单元215。
[0410]
注意，逆初级变换单元272可以在解码单元212的控制下(根据从解码单元212提供的编码参数)跳过(省略)逆初级变换。在那种情况下，逆初级变换单元272将初级变换系数coeff_is作为预测残差d'提供给计算单元215。
[0411]
逆次级变换单元271包括栅格化单元281、矩阵算术运算单元282、缩放单元283、矩阵化单元284和矩阵设置单元285。
[0412]
栅格化单元281将从逆量化单元213提供的变换系数coeff_iq变换为针对每个子块单元(4
×
4子块)的一维向量(1
×
16的系数组)。栅格化单元281将获得的一维向量提供给矩阵算术运算单元282。
[0413]
矩阵算术运算单元282执行与矩阵算术运算相关的处理。例如，矩阵算术运算单元282获取从栅格化单元281提供的一维向量。此外，矩阵算术运算单元282获取从矩阵设置单元285提供的逆次级变换矩阵ir(＝rt)。矩阵算术运算单元282使用一维向量和逆次级变换矩阵ir执行矩阵算术运算(矩阵乘法)。矩阵算术运算单元282将矩阵算术运算结果(通过矩阵算术运算获得的系数数据)提供给缩放单元283。
[0414]
缩放单元283执行与系数数据的缩放相关的处理。例如，缩放单元283获取从矩阵算术运算单元282提供的系数数据(矩阵算术运算结果)。缩放单元283对系数数据执行剪辑处理等。缩放单元283将经处理的系数数据提供给矩阵化单元284。
[0415]
该矩阵化单元284执行与一维向量的矩阵化相关的处理。例如，矩阵化单元284获取从缩放单元283提供的经缩放的1
×
16系数数据(一维向量)。此外，矩阵化单元284通过与栅格化单元281的方法对应的方法将一维向量变换成4
×
4矩阵。矩阵化单元284将以此方式获得的矩阵(系数数据组)作为初级变换系数coeff_is提供给逆初级变换单元272。
[0416]
矩阵设置单元285执行与矩阵算术运算单元282中使用的逆次级变换矩阵ir的设置相关的处理。例如，矩阵设置单元285获取从解码单元212提供的次级变换标识符st_idx。此外，矩阵设置单元285基于次级变换标识符st_idx来设置逆次级变换矩阵ir。例如，矩阵设置单元285从存储在内部存储器(未示出)中的候选中读取与次级变换标识符st_idx对应的候选(与次级变换标识符st_idx对应的次级变换矩阵r的转置矩阵)，并将该候选提供给矩阵算术运算单元282。
[0417]
即，逆次级变换单元271根据由解码单元212提供的次级变换标识符st_idx(即，在解码单元212的控制下)执行逆次级变换。
[0418]
<图像解码处理的流程>
[0419]
接下来，将描述由具有以上配置的图像解码装置200执行的每个处理的流程。首先，将参照图26的流程图描述图像解码处理的流程的示例。
[0420]
当图像解码处理开始时，在步骤s201中，累积缓冲器211获取从图像解码装置200的外部提供的编码数据(比特流)并将其保持(累积)。
[0421]
在步骤s202中，解码单元212对编码数据(比特流)进行解码，以获得量化变换系数水平“level”。此外，解码单元212通过该解码从编码数据(比特流)解析(分析和获取)各种编码参数。
[0422]
在步骤s203中，逆量化单元213对通过步骤s202的处理而获得的量化变换系数水平“level”执行作为在编码侧执行的量化的逆处理的逆量化，以获得变换系数coeff_iq。
[0423]
在步骤s204中，逆正交变换单元214对在步骤s203中获得的变换系数coeff_iq执行作为在编码侧执行的正交变换处理的逆处理的逆正交变换处理，并获得预测残差d'。
[0424]
在步骤s205中，预测单元219基于在步骤s202中解析的信息使用在编码侧指定的预测方法执行预测处理，参考存储在帧存储器218中的参考图像等，并生成预测图像p。
[0425]
在步骤s206中，计算单元215将在步骤s204中获得的预测残差d'与在步骤s205中获得的预测图像p相加，以导出局部解码图像rlocal。
[0426]
在步骤s207中，环内滤波器单元216对通过步骤s206的处理获得的局部解码图像rlocal执行环内滤波处理。
[0427]
在步骤s208中，重排缓冲器217使用通过步骤s207的处理获得的经过滤波处理的局部解码图像rlocal导出解码图像r，并将解码图像r组从解码顺序重排为再现顺序。按再现顺序重排的解码图像r组作为运动图像输出至图像解码装置200的外部。
[0428]
此外，在步骤s209中，帧存储器218存储通过步骤s206中的处理获得的局部解码图像rlocal、以及通过步骤s207中的处理获得的在滤波处理之后的局部解码图像rlocal中的至少之一。
[0429]
当步骤s209的处理结束时，图像解码处理结束。
[0430]
<解码处理的流程>
[0431]
接下来，将参照图27的流程图来描述在图26的步骤s202中执行的解码处理的流程的示例。解码单元212通过应用<2
‑
1.用信号传送次级变换标识符>中描述的各种方法执行该解码处理。
[0432]
当解码处理开始时，解码单元241在步骤s231中对累积缓冲器211的编码数据(比特流)进行解码。
[0433]
在步骤s232中，分析单元242的次级变换标识符分析单元251根据解码结果分析cu报头的(在tu之前用信号传送的)次级变换标识符。
[0434]
因此，可以在cu中的所有tu被解码之前获得次级变换标识符。即，可以在cu中的所有tu被解码之前开始每个tu的逆量化和逆变换处理。即，与在cu的脚注中用信号传送的情况相比，可以使开始变换块的逆量化和逆变换处理所需的信息的缓冲时段更短。因此，可以抑制延迟和存储使用量的增加。即，可以抑制解码的负荷的增加。
[0435]
注意，可以与cu中的非零变换系数的数目无关地设置次级变换标识符。在那种情况下，次级变换标识符分析单元251可以与cu中的非零变换系数的数目无关地分析次级变换标识符。因此，可以省略非零变换系数的复杂计数，并且可以抑制解码处理的负荷的增加。
[0436]
此外，可以仅在不应用残差pcm编码模式的情况下用信号传送次级变换标识符。在那种情况下，次级变换标识符分析单元251可以基于是否应用残差pcm编码模式来分析次级变换标识符。例如，在应用残差pcm编码模式的情况下，次级变换标识符分析单元251可以确定没有用信号传送次级变换标识符(即，次级变换被跳过)。因此，可以容易地分析次级变换标识符，并且可以抑制解码处理的负荷的增加。
[0437]
在步骤s233中，变换跳过标志分析单元252分析变换跳过标志。该变换跳过标志可
以基于次级变换标识符来设置。在那种情况下，变换跳过标志分析单元252可以基于是否执行次级变换来分析变换跳过标志。例如，在执行次级变换的情况下，变换跳过标志分析单元252可以确定没有用信号传送变换跳过标志(即，不执行变换跳过)。因此，可以容易地分析变换跳过标志，并且可以抑制解码处理的负荷的增加。
[0438]
在步骤s234中，自适应正交变换标识符分析单元253分析自适应正交变换标识符。该自适应正交变换标识符可以基于次级变换标识符来设置。在那种情况下，自适应正交变换标识符分析单元253可以基于是否执行次级变换来分析自适应正交变换标识符。例如，在执行次级变换的情况下，自适应正交变换标识符分析单元253可以确定没有用信号传送自适应正交变换标识符(即，不执行自适应正交变换)。因此，可以容易地分析自适应正交变换标识符，并且可以抑制解码处理的负荷的增加。
[0439]
在步骤s235中，上下文设置单元254在不使用自适应正交变换标识符的情况下设置上下文。即，上下文设置单元254仅基于树类型(treetype)导出上下文ctxinc，而不依赖于自适应正交变换标识符tu_mts_idx。因此，可以在不需要复杂处理的情况下(更容易地)导出次级变换标识符st_idx的第一个bin的上下文索引。因此，可以抑制解码处理的负荷的增加。
[0440]
当步骤s235中的处理结束时，解码处理结束并且处理返回至图26。
[0441]
注意，在步骤s233中，变换跳过标志分析单元252可以在不使用次级变换标识符的情况下分析变换跳过标志。此外，在步骤s234中，自适应正交变换标识符分析单元253可以在不使用次级变换标识符的情况下分析自适应正交变换标识符。此外，在步骤s235中，上下文设置单元254可以基于自适应正交变换标识符和树类型来设置上下文。此外，在该解码处理中，可以增加分析另一任意编码参数的步骤。
[0442]
<逆正交变换处理的流程>
[0443]
接下来，将参照图28的流程图来描述在图26的步骤s204中执行的逆正交变换处理的流程的示例。
[0444]
当逆正交变换处理开始时，在步骤s251中，逆正交变换单元214的逆次级变换单元271基于在图26的步骤s202的处理中解码的编码参数执行逆次级变换。例如，逆次级变换单元271使用如参照图27的流程图所描述分析的各种编码参数来执行逆次级变换。注意，在由次级变换标识符等指定跳过逆次级变换的情况下，逆次级变换单元271跳过逆次级变换。
[0445]
在步骤s252中，逆初级变换单元272基于在图26中的步骤s202的处理中解码的编码参数执行逆初级变换。例如，逆初级变换单元272通过由编码参数指定的方法执行逆初级变换。注意，在由编码参数指定跳过逆初级变换的情况下，逆初级变换单元272跳过逆初级变换。
[0446]
当步骤s252中的处理结束时，逆正交变换处理结束，并且处理返回图26。
[0447]
<3.第二实施方式>
[0448]
<3
‑
1.用信号传送次级变换标识符>
[0449]
<在tu脚注中用信号传送>
[0450]
在tu脚注中用信号传送次级变换标识符st_idx。即，次级变换标识符存储在每个tu中并且针对每个tu用信号传送。例如，在编码时，次级变换标识符被设置成存储在tu脚注中。换言之，每个tu的次级变换标识符被设置成在每个tu中的变换系数之后用信号传送。此
外，例如，在解码时，分析存储在tu脚注中的次级变换标识符。换句话说，分析在每个tu中的变换系数之后用信号传送的每个tu的次级变换标识符。
[0451]
在图29中示出在该情况下的关于变换单元(transform_unit)的语法的示例。在图29的示例的情况下，st_mode(即，st_idx)在从底部起的第二行(灰色行)中用信号传送。即，在这种情况下，针对每个tu设置次级变换标识符，并且在其对应的tu的变换系数(residual_coding)之后用信号传送每个次级变换标识符。
[0452]
因此，可以在解码cu中的所有tu之前解码次级变换标识符。即，当与某个tu对应的次级变换标识符被解码时，可以开始对该tu的逆量化和逆变换处理。因此，可以在对cu中的所有tu进行解码之前开始每个tu的逆量化和逆变换处理。
[0453]
因此，与在cu的脚注中用信号传送的情况相比，可以使开始每个tu的逆量化和逆变换处理所需的信息的缓冲时段更短。因此，可以抑制延迟和存储使用量的增加。即，可以抑制解码的负荷的增加。
[0454]
注意，当针对每个tu用信号传送次级变换标识符时，非零变换系数的计数到处理目标tu而结束。即，由于只需要对tu中的非零变换系数进行计数，因此可以简化编码或解码时对非零变换系数的计数处理。因此，可以抑制编码处理和解码处理的负荷的增加。
[0455]
<次级变换标识符的信号传送控制>
[0456]
此外，在这种情况下，由于针对每个tu用信号传送次级变换标识符，因此可以基于变换块尺寸(水平方向上的变换块尺寸(tbwidth)和垂直方向上的变换块尺寸(tbheight))来执行是否用信号传送次级变换标识符。因此，可以针对每个tu控制是否用信号传送次级变换标识符。
[0457]
在图30中示出在该情况下关于st_mode的语法的示例。在这种情况下，如从顶部起的第二行(灰色行)所示，为了将stallowed设置为真，水平方向的变换块尺寸(tbwidth)和垂直方向的变换块尺寸(tbheight)中较小的一个需要等于或大于预定阈值(minstsize)。即，对于具有小于阈值的变换块尺寸的变换块，没有用信号传送次级变换标识符。如上所述，代替基于编码块尺寸来设置次级变换标识符，可以基于变换块尺寸来设置次级变换标识符。
[0458]
<亮度和色度的分离>
[0459]
tu包括亮度(y)变换块(tb)和色度(cb，cr)变换块。因此，亮度的次级变换标识符和色度的次级变换标识符可以分别用信号传送。即，在每个tu的脚注中，可以用信号传送与包括在tu中的亮度tb对应的次级变换标识符和与包括在tu中的色度tb对应的次级变换标识符。
[0460]
例如，在编码时，在每个tu中，与tu中包括的亮度tb对应的次级变换标识符和与tu中包括的色度tb对应的次级变换标识符被设置成存储在脚注中(以便在变换系数之后用信号传送)。此外，例如，在解码时，分析存储在tu脚注中(在变换系数之后用信号传送)的与tu中包括的亮度tb对应的次级变换标识符和与tu中包括的色度tb对应的次级变换标识符。
[0461]
同样在这种情况下，与在cu的脚注中用信号传送的情况相比，可以使开始每个tu的逆量化和逆变换处理所需的信息的缓冲时段更短。因此，可以抑制延迟和存储使用量的增加。即，可以抑制解码的负荷的增加。
[0462]
<3
‑
2.编码侧>
[0463]
<配置>
[0464]
接下来，将描述编码侧。这种情况下的编码侧的配置类似于第一实施方式的情况。即，这种情况下的图像编码装置100具有与参照图17描述的配置类似的配置。此外，这种情况下的控制单元101具有与参照图18描述的配置类似的配置。此外，这种情况下的正交变换单元113具有与参照图19描述的配置类似的配置。
[0465]
<编码参数设置处理的流程>
[0466]
此外，这种情况下的图像编码装置100执行与第一实施方式的情况基本类似的处理。即，在这种情况下由图像编码装置100执行的图像编码处理通过与参照图20的流程图描述的情况类似的流程来执行。此外，在这种情况下由正交变换单元113执行的正交变换处理通过与参照图22的流程图描述的情况类似的流程来执行。
[0467]
将参照图31的流程图描述在这种情况下在图20的步骤s103中由控制单元101执行的编码参数设置处理的流程的示例。在这种情况下，控制单元101通过应用<3
‑
1.用信号传送次级变换标识符>中描述的各种方法来执行该编码参数设置处理。
[0468]
当编码参数设置处理开始时，在步骤s301中控制单元101的次级变换标识符设置单元151设置要存储在tu脚注中的次级变换标识符st_idx。即，次级变换标识符设置单元151针对每个tu将次级变换标识符设置成要在tu的变换系数之后被用信号传送。因此，如上所述，可以抑制解码处理中的延迟和存储使用量的增加，并且可以抑制解码处理的负荷的增加。
[0469]
注意，当针对每个tu用信号传送次级变换标识符时，非零变换系数的计数到处理目标tu而结束。即，由于只需要对tu中的非零变换系数进行计数，因此可以简化编码或解码时对非零变换系数的计数处理。因此，可以抑制编码处理的负荷的增加。
[0470]
此外，次级变换标识符设置单元151可以基于变换块尺寸(水平方向上的变换块尺寸(tbwidth)和垂直方向上的变换块尺寸(tbheight))来执行是否用信号传送次级变换标识符。因此，可以针对每个tu控制是否用信号传送次级变换标识符。
[0471]
此外，次级变换标识符设置单元151可以在每个tu中将与tu中包括的亮度tb相对应的次级变换标识符和与tu中包括的色度tb相对应的次级变换标识符设置成存储在脚注中(以便在变换系数之后被用信号传送)。
[0472]
在步骤s302中，变换跳过标志设置单元152设置变换跳过标志。在步骤s303中，自适应正交变换标识符设置单元153设置自适应正交变换标识符。在步骤s304中，上下文设置单元154设置上下文。当步骤s304的处理结束时，编码参数设置处理结束，并且处理返回到图20。
[0473]
注意，在该编码参数设置处理中，可以添加生成另一任意编码参数的步骤。
[0474]
<3
‑
3.解码侧>
[0475]
<配置>
[0476]
接下来，将描述解码侧。这种情况下的解码侧的配置类似于第一实施方式的情况。即，这种情况下的图像解码装置200具有与参照图23描述的配置类似的配置。此外，这种情况下的解码单元212具有与参照图24描述的配置类似的配置。此外，这种情况下的逆正交变换单元214具有与参照图25描述的配置类似的配置。
[0477]
<解码处理的流程>
[0478]
此外，这种情况下的图像解码装置200执行与第一实施方式的情况基本类似的处理。即，在这种情况下由图像解码装置200执行的图像解码处理通过与参照图26的流程图描述的情况类似的流程来执行。此外，在这种情况下由逆正交变换单元214执行的逆正交变换处理通过与参照图28的流程图描述的情况类似的流程来执行。
[0479]
将参照图32的流程图描述在这种情况下在图26的步骤s202中由解码单元212执行的解码处理的流程的示例。在这种情况下，解码单元212通过应用<3
‑
1.用信号传送次级变换标识符>中描述的各种方法来执行该解码处理。
[0480]
当解码处理开始时，在步骤s321中解码单元241对累积缓冲器211的编码数据(比特流)进行解码。
[0481]
在步骤s322中，分析单元242的次级变换标识符分析单元251根据解码结果分析tu脚注的次级变换标识符(针对每个tu在tu的变换系数之后被用信号传送)。
[0482]
因此，可以在解码cu中的所有tu之前解码次级变换标识符。即，在与某个tu对应的次级变换标识符被解码时，可以开始对tu的逆量化和逆变换处理。因此，可以在解码cu中的所有tu之前开始对每个tu的逆量化和逆变换处理。
[0483]
因此，与在cu的脚注中用信号传送的情况相比，可以使开始对每个tu的逆量化和逆变换处理所需的信息的缓冲时段更短。因此，可以抑制延迟和存储使用量的增加。即，可以抑制解码负荷的增加。
[0484]
注意，当针对每个tu用信号传送次级变换标识符时，非零变换系数的计数到处理目标tu而结束。即，由于只需要对tu中的非零变换系数进行计数，因此可以简化解码时对非零变换系数的计数处理。因此，可以抑制解码处理的负荷的增加。
[0485]
此外，次级变换标识符分析单元251可以基于变换块尺寸(水平方向上的变换块尺寸(tbwidth)和垂直方向上的变换块尺寸(tbheight))来执行关于是否已经用信号传送了次级变换标识符的确定。因此，可以针对每个tu执行关于是否已经用信号传送了次级变换标识符的确定。
[0486]
此外，次级变换标识符可以包括分别用信号传送的用于亮度的次级变换标识符和用于色度的次级变换标识符。在这种情况下，次级变换标识符分析单元251分析tu脚注的(针对每个tu在tu的变换系数之后被用信号传送的)用于亮度的次级变换标识符和用于色度的次级变换标识符。
[0487]
在步骤s323中，变换跳过标志分析单元252分析变换跳过标志。在步骤s324中，自适应正交变换标识符分析单元253分析自适应正交变换标识符。在步骤s325中，上下文设置单元254设置上下文。当步骤s325中的处理结束时，解码处理结束，并且处理返回到图26。
[0488]
注意，在该解码处理中，可以添加分析另一任意编码参数的步骤。
[0489]
<4.第三实施方式>
[0490]
<4
‑
1.用信号传送次级变换标识符>
[0491]
<在tu报头中用信号传送>
[0492]
在tu报头中用信号传送次级变换标识符st_idx。即，次级变换标识符存储在每个tu中并且针对每个tu被用信号传送。例如，在编码时，次级变换标识符被设置成存储在tu报头中。换言之，针对每个tu的次级变换标识符被设置成在每个tu中的变换系数之前被用信号传送。此外，例如，在解码时，分析存储在tu报头中的次级变换标识符。换言之，分析在每
个tu中的变换系数之前用信号传送的针对每个tu的次级变换标识符。
[0493]
图33中示出了在这种情况下关于变换单元(transform_unit)的语法(syntax)的示例。在图33的示例的情况下，在从顶部起的第十五行和第十六行(灰色行)中用信号传送st_mode(即，st_idx)。即，在这种情况下，针对每个tu设置次级变换标识符，并且每个次级变换标识符在其对应的tu的变换系数(residual_coding)之前被用信号传送。
[0494]
因此，可以在解码cu中的所有tu之前解码次级变换标识符。即，在与某个tu对应的次级变换标识符被解码时，可以开始对tu的逆量化和逆变换处理。因此，可以在解码cu中的所有tu之前开始对每个tu的逆量化和逆变换处理。
[0495]
因此，与在cu的脚注中用信号传送的情况相比，可以使开始对每个tu的逆量化和逆变换处理所需的信息的缓冲时段更短。因此，可以抑制延迟和存储使用量的增加。即，可以抑制解码负荷的增加。
[0496]
注意，当针对每个tu用信号传送次级变换标识符时，非零变换系数的计数到处理目标tu而结束。即，由于只需要对tu中的非零变换系数进行计数，因此可以简化编码或解码时对非零变换系数的计数处理。因此，可以抑制编码处理和解码处理的负荷的增加。
[0497]
<对次级变换标识符的信号传送控制>
[0498]
此外，类似于第二实施方式的情况，在这种情况下，由于针对每个tu用信号传送次级变换标识符，因此可以基于变换块尺寸(水平方向上的变换块尺寸(tbwidth)和垂直方向上的变换块尺寸(tbheight))来执行是否用信号传送次级变换标识符。因此，可以针对每个tu控制是否用信号传送次级变换标识符。
[0499]
图34中示出了在这种情况下关于st_mode的语法的示例。在这种情况下，如从顶部起的第二行(灰色行)所示，为了将stallowed设置为真(true)，水平方向上的变换块尺寸(tbwidth)和垂直方向上的变换块尺寸(tbheight)中的较小的一者需要等于或大于预定阈值(minstsize)。即，对于具有小于阈值的变换块尺寸的变换块，没有用信号传送次级变换标识符。如上所述，代替基于编码块尺寸来设置次级变换标识符，可以基于变换块尺寸来设置次级变换标识符。
[0500]
<对非零变换系数的计数的省略>
[0501]
此外，与第一实施方式的情况类似，在这种情况下，可以从次级变换标识符的解码/编码条件中删除引用非零变换系数的数目的条件表达式。例如，可以与非零变换系数的数目无关地设置次级变换标识符。此外，例如，可以与非零变换系数的数目无关地分析次级变换标识符。
[0502]
因此，当在编码处理中导出次级变换标识符时，可以省略对非零变换系数的复杂计数，从而可以抑制编码处理的负荷的增加。此外，当在解码处理中分析次级变换标识符时，可以省略对非零变换系数的复杂计数，从而可以抑制解码处理的负荷的增加。
[0503]
<基于残差pcm模式的次级变换标识符的设置>
[0504]
此外，类似于第一实施方式的情况，在这种情况下，可以仅在不应用残差pcm编码模式的情况下用信号传送次级变换标识符(即，在应用了残差pcm编码模式的情况下可以不用信号传送次级变换标识符)。
[0505]
因此，可以根据残差pcm编码模式容易地设置次级变换标识符。此外，在解码时，可以根据残差pcm编码模式容易地分析次级变换标识符。因此，可以抑制解码处理的负荷的增
加。
[0506]
在图34的示例的情况下，如从顶部起的第二行(灰色行)所示，需要设置bdpcm_flag＝0以使stallowed为真。即，在应用残差pcm编码模式的情况下，没有用信号传送次级变换标识符。如上所述，代替基于非零变换系数的数目来设置次级变换标识符，可以基于指示是否应用残差pcm编码模式的标志来设置次级变换标识符。
[0507]
当然，也可以将不应用该bdpcm_flag的条件(bdpcm_flag＝＝0)从关于是否执行次级变换的确定(stallowed的导出)中排除。
[0508]
<上下文的导出>
[0509]
此外，类似于第一实施方式的情况，在这种情况下，例如，可以仅基于树类型(treetype)、而不依赖于自适应正交变换标识符tu_mts_idx来导出上下文初始值(偏移)ctxinc(图16)。
[0510]
因此，可以在不需要复杂处理的情况下(更容易地)导出次级变换标识符st_idx的第一个bin的上下文索引。类似地，在解码时，可以更容易地导出次级变换标识符st_idx的第一个bin的上下文索引。因此，可以抑制解码处理的负荷的增加。
[0511]
<亮度和色度的分离>
[0512]
tu包括亮度(y)变换块(tb)和色度(cb，cr)变换块。因此，可以分别用信号传送用于亮度的次级变换标识符和用于色度的次级变换标识符。即，在每个tu的报头中，可以用信号传送与包括在tu中的亮度tb对应的次级变换标识符和与包括在tu中的色度tb对应的次级变换标识符。
[0513]
例如，在编码时，在每个tu中，将与包括在tu中的亮度tb对应的次级变换标识符和与包括在tu中的色度tb对应的次级变换标识符设置成存储在报头中(以便在变换系数之前被用信号传送)。此外，例如，在解码时，分析存储在tu报头中(在变换系数之前被用信号传送)的与包括在tu中的亮度tb对应的次级变换标识符和与包括在tu中的色度tb对应的次级变换标识符。
[0514]
同样在这种情况下，与在cu的脚注中用信号传送的情况相比，可以使开始对每个tu的逆量化和逆变换处理所需的信息的缓冲时段更短。因此，可以抑制延迟和存储使用量的增加。即，可以抑制解码负荷的增加。
[0515]
<4
‑
2.编码侧>
[0516]
<配置>
[0517]
接下来，将描述编码侧。这种情况下的编码侧的配置类似于第一实施方式的情况。即，这种情况下的图像编码装置100具有与参照图17描述的配置类似的配置。此外，这种情况下的控制单元101具有与参照图18描述的配置类似的配置。此外，这种情况下的正交变换单元113具有与参照图19描述的配置类似的配置。
[0518]
<编码参数设置处理的流程>
[0519]
此外，这种情况下的图像编码装置100执行与第一实施方式的情况基本类似的处理。即，在这种情况下由图像编码装置100执行的图像编码处理通过与参照图20的流程图描述的情况类似的流程来执行。此外，在这种情况下由正交变换单元113执行的正交变换处理通过与参照图22的流程图描述的情况类似的流程来执行。
[0520]
将参照图35的流程图描述在这种情况下在图20的步骤s103中由控制单元101执行
的编码参数设置处理的流程的示例。在这种情况下，控制单元101通过应用<4
‑
1.用信号传送次级变换标识符>中描述的各种方法来执行该编码参数设置处理。
[0521]
当编码参数设置处理开始时，在步骤s341中控制单元101的次级变换标识符设置单元151st_idx设置要存储在tu报头中的次级变换标识符。即，次级变换标识符设置单元151针对每个tu将次级变换标识符设置成在tu的变换系数之前被用信号传送。因此，如上所述，可以抑制解码处理中的延迟和存储使用量的增加，并且可以抑制解码处理的负荷的增加。
[0522]
注意，当针对每个tu用信号传送次级变换标识符时，非零变换系数的计数到处理目标tu而结束。即，由于只需要对tu中的非零变换系数进行计数，因此可以简化编码或解码时对非零变换系数的计数处理。因此，可以抑制编码处理的负荷的增加。
[0523]
此外，次级变换标识符设置单元151可以基于变换块尺寸(水平方向上的变换块尺寸(tbwidth)和垂直方向上的变换块尺寸(tbheight))来执行是否用信号传送次级变换标识符。因此，可以针对每个tu控制是否用信号传送次级变换标识符。
[0524]
此外，次级变换标识符设置单元151可以与非零变换系数的数目无关地设置次级变换标识符。因此，可以省略对非零变换系数的复杂计数，并且可以抑制编码处理负荷的增加。此外，在解码处理中，也可以省略对非零变换系数的复杂计数，并且可以抑制解码处理的负荷的增加。
[0525]
此外，次级变换标识符设置单元151可以仅在不应用残差pcm编码模式的情况下用信号传送次级变换标识符。因此，在解码时，可以根据残差pcm编码模式容易地分析次级变换标识符，并且可以抑制解码处理的负荷的增加。
[0526]
此外，次级变换标识符设置单元151可以在每个tu中将与包括在tu中的亮度tb对应的次级变换标识符和与包括在tu中的色度tb对应的次级变换标识符设置成存储在报头中(以便在变换系数之前被用信号传送)。
[0527]
在步骤s342中，变换跳过标志设置单元152设置变换跳过标志。在步骤s343中，自适应正交变换标识符设置单元153设置自适应正交变换标识符。
[0528]
在步骤s344中，上下文设置单元154在不使用自适应正交变换标识符的情况下设置上下文。即，上下文设置单元154仅基于树类型(treetype)、而不依赖于自适应正交变换标识符tu_mts_idx来导出上下文ctxinc。因此，可以在不需要复杂处理的情况下(更容易地)导出次级变换标识符st_idx的第一个bin的上下文索引。
[0529]
当步骤s344的处理结束时，编码参数设置处理结束，并且处理返回到图20。
[0530]
注意，在步骤s344中，上下文设置单元154可以基于自适应正交变换标识符和树类型来设置上下文。此外，在该编码参数设置处理中，可以添加生成另一任意编码参数的步骤。
[0531]
<4
‑
3.解码侧>
[0532]
<配置>
[0533]
接下来，将描述解码侧。这种情况下的解码侧的配置类似于第一实施方式的情况。即，这种情况下的图像解码装置200具有与参照图23描述的配置类似的配置。此外，这种情况下的解码单元212具有与参照图24描述的配置类似的配置。此外，这种情况下的逆正交变换单元214具有与参照图25描述的配置类似的配置。
[0534]
<解码处理的流程>
[0535]
此外，这种情况下的图像解码装置200执行与第一实施方式的情况基本类似的处理。即，在这种情况下由图像解码装置200执行的图像解码处理通过与参照图26的流程图描述的情况类似的流程来执行。此外，在这种情况下由逆正交变换单元214执行的逆正交变换处理通过与参照图28的流程图描述的情况类似的流程来执行。
[0536]
将参照图36的流程图描述在这种情况下在图26的步骤s202中由解码单元212执行的解码处理的流程的示例。在这种情况下，解码单元212通过应用<4
‑
1.用信号传送次级变换标识符>中描述的各种方法来执行该解码处理。
[0537]
当解码处理开始时，在步骤s361中解码单元241对累积缓冲器211的编码数据(比特流)进行解码。
[0538]
在步骤s362中，分析单元242的次级变换标识符分析单元251根据解码结果分析tu报头的次级变换标识符(针对每个tu在tu的变换系数之前被用信号传送)。
[0539]
因此，可以在解码cu中的所有tu之前解码次级变换标识符。即，在与某个tu对应的次级变换标识符被解码时，可以开始对tu的逆量化和逆变换处理。因此，可以在解码cu中的所有tu之前开始对每个tu的逆量化和逆变换处理。
[0540]
因此，与在cu的脚注中用信号传送的情况相比，可以使开始对每个tu的逆量化和逆变换处理所需的信息的缓冲时段更短。因此，可以抑制延迟和存储使用量的增加。即，可以抑制解码的负荷的增加。
[0541]
注意，当针对每个tu用信号传送次级变换标识符时，非零变换系数的计数到处理目标tu而结束。即，由于只需要对tu中的非零变换系数进行计数，因此可以简化解码时对非零变换系数的计数处理。因此，可以抑制解码处理的负荷的增加。
[0542]
此外，次级变换标识符分析单元251可以基于变换块尺寸(水平方向上的变换块尺寸(tbwidth)和垂直方向上的变换块尺寸(tbheight))来执行关于是否已经用信号传送了次级变换标识符的确定。因此，可以针对每个tu执行关于是否已经用信号传送了次级变换标识符的确定。
[0543]
此外，可以与非零变换系数的数目无关地设置次级变换标识符。在这种情况下，次级变换标识符分析单元251可以与非零变换系数的数目无关地分析次级变换标识符。因此，可以省略对非零变换系数的复杂计数，并且可以抑制解码处理的负荷的增加。
[0544]
此外，可以仅在不应用残差pcm编码模式的情况下用信号传送次级变换标识符。在这种情况下，次级变换标识符分析单元251可以基于是否应用残差pcm编码模式来分析次级变换标识符。例如，在应用残差pcm编码模式的情况下，次级变换标识符分析单元251可以确定次级变换标识符没有被用信号传送(即，次级变换被跳过)。因此，可以容易地分析次级变换标识符，并且可以抑制解码处理的负荷的增加。
[0545]
此外，次级变换标识符可以包括分别用信号传送的用于亮度的次级变换标识符和用于色度的次级变换标识符。在这种情况下，次级变换标识符分析单元251分析tu报头的(针对每个tu在tu的变换系数之前被用信号传送的)用于亮度的次级变换标识符和用于色度的次级变换标识符。
[0546]
在步骤s363中，变换跳过标志分析单元252分析变换跳过标志。在步骤s364中，自适应正交变换标识符分析单元253分析自适应正交变换标识符。
[0547]
在步骤s365中，上下文设置单元254在不使用自适应正交变换标识符的情况下设置上下文。即，上下文设置单元254仅基于树类型(treetype)、而不依赖于自适应正交变换标识符tu_mts_idx来导出上下文ctxinc。因此，可以在不需要复杂处理的情况下(更容易地)导出次级变换标识符st_idx的第一个bin的上下文索引。因此，可以抑制解码处理的负荷的增加。
[0548]
当步骤s365中的处理结束时，解码处理结束，并且处理返回到图26。
[0549]
注意，在步骤s365中，上下文设置单元254可以基于自适应正交变换标识符和树类型来设置上下文。此外，在该解码处理中，可以添加分析另一任意编码参数的步骤。
[0550]
<5.第四实施方式>
[0551]
<5
‑
1.用信号传送次级变换标识符>
[0552]
<在tb脚注中用信号传送>
[0553]
在tb脚注中用信号传送次级变换标识符st_idx。即，次级变换标识符存储在每个tb中并且针对每个tb被用信号传送。即，在亮度(y)tb、色度(cr)tb和色度(cb)tb中的每一个中，用信号传送对应于tb的次级变换标识符。
[0554]
例如，在编码时，次级变换标识符被设置成存储在tb脚注中。换言之，针对每个tb的次级变换标识符被设置成在每个tb中在变换系数之后被用信号传送。此外，例如，在解码时，分析存储在tb脚注中的次级变换标识符。换言之，分析在每个tb中的变换系数之后用信号传送的针对每个tb的次级变换标识符。
[0555]
图37示出了在这种情况下关于变换块(residual_coding)的语法的示例。在图37的示例的情况下，在从底部起的第二行(灰色行)中用信号传送st_mode(即，st_idx)。即，在这种情况下，针对每个tb(针对用于标识分量的每个cidx)设置次级变换标识符。此外，次级变换标识符在其对应的tb的变换系数之后被用信号传送。
[0556]
因此，可以在解码cu中的所有tu之前解码次级变换标识符。即，在与某个tb对应的次级变换标识符被解码时，可以开始对tb的逆量化和逆变换处理。因此，可以在解码cu中的所有tu之前开始对每个tb的逆量化和逆变换处理。
[0557]
因此，与在cu的脚注中用信号传送的情况相比，可以使开始对变换块的逆量化和逆变换处理所需的信息的缓冲时段更短。因此，可以抑制延迟和存储器使用量的增加。即，可以抑制解码的负荷的增加。
[0558]
注意，当针对每个tb用信号传送次级变换标识符时，非零变换系数的计数到处理目标tb而结束。即，由于只需要对tb中的非零变换系数进行计数，因此可以简化编码或解码时对非零变换系数的计数处理。因此，可以抑制编码处理和解码处理的负荷的增加。
[0559]
<对次级变换标识符的信号传送控制>
[0560]
此外，在这种情况下，由于针对每个tb用信号传送次级变换标识符，因此可以基于变换块尺寸(水平方向上的变换块尺寸(tbwidth)和垂直方向上的变换块尺寸(tbheight))来执行是否用信号传送次级变换标识符。因此，可以针对每个tb控制是否用信号传送次级变换标识符。
[0561]
图38中示出了在这种情况下关于st_mode的语法的示例。在这种情况下，如从顶部起的第二行(灰色行)所示，为了将stallowed设置为真，水平方向上的变换块尺寸(tbwidth)和垂直方向上的变换块尺寸(tbheight)中的较小的一者需要等于或大于预定阈
值(minstsize)。即，对于具有小于阈值的变换块尺寸的变换块，没有用信号传送次级变换标识符。如上所述，代替基于编码块尺寸来设置次级变换标识符，可以基于变换块尺寸来设置次级变换标识符。
[0562]
<上下文的导出>
[0563]
此外，在这种情况下，可以基于分量(例如，基于用于标识分量的标识符cidx的值)来导出上下文初始值(偏移)ctxinc。
[0564]
例如，可以基于分量是亮度(y)还是色度(cb或cr)来导出上下文初始值(偏移)ctxinc。由于次级变换的应用概率在亮度与色度之间不同，因此可以以这种方式更高效地对每个分量的次级变换标识符st_idx进行编码和解码。
[0565]
此外，可以基于分量是亮度(y)、色度(cb)还是色度(cr)来导出上下文初始值(偏移)ctxinc。以这种方式，由于可以更详细地设置上下文变量ctx，因此可以更高效地对次级变换标识符st_idx进行编码和解码。
[0566]
例如，在图39的a的情况下，基于用于标识分量的标识符cidx的值是亮度(y)还是色度(cb或cr)，将上下文初始值(偏移)ctxinc设置为0或1。此外，例如，在图39的b的情况下，将用于标识分量的标识符cidx的值设置为上下文初始值(偏移)ctxinc。
[0567]
<5
‑
2.编码侧>
[0568]
<配置>
[0569]
接下来，将描述编码侧。这种情况下的编码侧的配置类似于第一实施方式的情况。即，这种情况下的图像编码装置100具有与参照图17描述的配置类似的配置。此外，这种情况下的控制单元101具有与参照图18描述的配置类似的配置。此外，这种情况下的正交变换单元113具有与参照图19描述的配置类似的配置。
[0570]
<编码参数设置处理的流程1>
[0571]
此外，这种情况下的图像编码装置100执行与第一实施方式的情况基本类似的处理。即，在这种情况下由图像编码装置100执行的图像编码处理通过与参照图20的流程图描述的情况类似的流程来执行。此外，在这种情况下由正交变换单元113执行的正交变换处理通过与参照图22的流程图描述的情况类似的流程来执行。
[0572]
将参照图40的流程图描述在这种情况下在图20的步骤s103中由控制单元101执行的编码参数设置处理的流程的示例。在这种情况下，控制单元101通过应用<5
‑
1.用信号传送次级变换标识符>中描述的各种方法来执行该编码参数设置处理。注意，在该示例中，基于分量是亮度(y)还是色度(cb或cr)来导出上下文初始值(偏移)ctxinc(图39的a)。
[0573]
当编码参数设置处理开始时，在步骤s401中控制单元101的次级变换标识符设置单元151设置要存储在tb脚注中的次级变换标识符st_idx。即，次级变换标识符设置单元151针对每个tb将次级变换标识符设置成在tb的变换系数之后被用信号传送。因此，如上所述，可以抑制解码处理中的延迟和存储使用量的增加，并且可以抑制解码处理的负荷的增加。
[0574]
注意，当针对每个tb用信号传送次级变换标识符时，非零变换系数的计数到处理目标tb而结束。即，由于只需要对tb中的非零变换系数进行计数，因此可以简化编码或解码时对非零变换系数的计数处理。因此，可以抑制编码处理的负荷的增加。
[0575]
此外，次级变换标识符设置单元151可以基于变换块尺寸(水平方向上的变换块尺
寸(tbwidth)和垂直方向上的变换块尺寸(tbheight))来执行是否用信号传送次级变换标识符。因此，可以针对每个tb控制是否用信号传送次级变换标识符。
[0576]
在步骤s402中，变换跳过标志设置单元152设置变换跳过标志。在步骤s403中，自适应正交变换标识符设置单元153设置自适应正交变换标识符。
[0577]
在步骤s404中，上下文设置单元154参照用于标识分量的标识符cidx，并且基于分量是亮度(y)还是色度(cb或cr)来设置上下文。当步骤s404的处理结束时，编码参数设置处理结束，并且处理返回到图20。
[0578]
注意，在该编码参数设置处理中，可以添加生成另一任意编码参数的步骤。
[0579]
<编码参数设置处理的流程2>
[0580]
将参照图41的流程图描述在这种情况下由控制单元101执行的编码参数设置处理的流程的另一示例。在这种情况下，控制单元101通过应用<5
‑
1.用信号传送次级变换标识符>中描述的各种方法来执行该编码参数设置处理。注意，在该示例中，基于分量是亮度(y)、色度(cb)还是色度(cr)来导出上下文初始值(偏移)ctxinc(图39的b)。
[0581]
在这种情况下，与图40的步骤s401至步骤s403的每个处理类似地执行步骤s421至步骤s423的每个处理。
[0582]
在步骤s424中，上下文设置单元154参照用于标识分量的标识符cidx，并且基于分量是亮度(y)、色度(cb)还是色度(cr)来设置上下文。当步骤s424的处理结束时，编码参数设置处理结束，并且处理返回到图20。
[0583]
注意，在该编码参数设置处理中，可以添加生成另一任意编码参数的步骤。
[0584]
<5
‑
3.解码侧>
[0585]
<配置>
[0586]
接下来，将描述解码侧。这种情况下的解码侧的配置类似于第一实施方式的情况。即，这种情况下的图像解码装置200具有与参照图23描述的配置类似的配置。此外，这种情况下的解码单元212具有与参照图24描述的配置类似的配置。此外，这种情况下的逆正交变换单元214具有与参照图25描述的配置类似的配置。
[0587]
<解码处理的流程>
[0588]
此外，这种情况下的图像解码装置200执行与第一实施方式的情况基本类似的处理。即，在这种情况下由图像解码装置200执行的图像解码处理通过与参照图26的流程图描述的情况类似的流程来执行。此外，在这种情况下由逆正交变换单元214执行的逆正交变换处理通过与参照图28的流程图描述的情况类似的流程来执行。
[0589]
将参照图42的流程图描述在这种情况下在图26的步骤s202中由解码单元212执行的解码处理的流程的示例。在这种情况下，解码单元212通过应用<5
‑
1.用信号传送次级变换标识符>中描述的各种方法来执行该解码处理。
[0590]
当解码处理开始时，在步骤s441中解码单元241对累积缓冲器211的编码数据(比特流)进行解码。
[0591]
在步骤s442中，分析单元242的次级变换标识符分析单元251根据解码结果分析tb脚注中(针对每个tb在tb的变换系数之后被用信号传送)的次级变换标识符。
[0592]
因此，可以在解码cu中的所有tu之前解码次级变换标识符。即，在与某个tb对应的次级变换标识符被解码时，可以开始对tb的逆量化和逆变换处理。因此，可以在解码cu中的
所有tu之前开始对每个tb的逆量化和逆变换处理。
[0593]
因此，与在cu的脚注中用信号传送的情况相比，可以使开始对每个tb的逆量化和逆变换处理所需的信息的缓冲时段更短。因此，可以抑制延迟和存储使用量的增加。即，可以抑制解码负荷的增加。
[0594]
注意，当针对每个tb用信号传送次级变换标识符时，非零变换系数的计数到处理目标tb而结束。即，由于只需要对tb中的非零变换系数进行计数，因此可以简化解码时对非零变换系数的计数处理。因此，可以抑制解码处理的负荷的增加。
[0595]
此外，次级变换标识符分析单元251可以基于变换块尺寸(水平方向上的变换块尺寸(tbwidth)和垂直方向上的变换块尺寸(tbheight))来执行关于是否已经用信号传送了次级变换标识符的确定。因此，可以针对每个tu执行关于是否已经用信号传送了次级变换标识符的确定。
[0596]
在步骤s443中，变换跳过标志分析单元252分析变换跳过标志。在步骤s444中，自适应正交变换标识符分析单元253分析自适应正交变换标识符。
[0597]
在步骤s445中，上下文设置单元254设置上下文。在这种情况下，类似于步骤s404(图40)的处理，上下文设置单元254可以参照用于标识分量的标识符cidx，并且基于分量是亮度(y)还是色度(cb或cr)来设置上下文。此外，类似于步骤s424(图41)的处理，上下文设置单元254可以参照用于标识分量的标识符cidx，并且基于分量是亮度(y)、色度(cb)还是色度(cr)来设置上下文。
[0598]
利用该设置，可以更高效地解码次级变换标识符st_idx。
[0599]
当步骤s445中的处理结束时，解码处理结束，并且处理返回到图26。
[0600]
注意，在该解码处理中，可以添加分析另一任意编码参数的步骤。
[0601]
<6.第五实施方式>
[0602]
<6
‑
1.用信号传送次级变换标识符>
[0603]
<在tb报头中用信号传送>
[0604]
在tb报头中用信号传送次级变换标识符st_idx。即，次级变换标识符存储在每个tb中并且针对每个tb被用信号传送。例如，在编码时，次级变换标识符被设置成存储在tb报头中。换言之，针对每个tb的次级变换标识符被设置成在每个tb中的变换系数之前被用信号传送。此外，例如，在解码时，分析存储在tb报头中的次级变换标识符。换言之，分析在每个tb中的变换系数之前用信号传送的针对每个tb的次级变换标识符。
[0605]
图43示出了在这种情况下关于变换块(residual_coding)的语法的示例。在图43的示例的情况下，在从顶部起的第二行(灰色行)中用信号传送st_mode(即，st_idx)。即，在这种情况下，针对每个tb(针对用于标识分量的每个cidx)设置次级变换标识符。此外，次级变换标识符在其对应的tb的变换系数之前被用信号传送。
[0606]
因此，可以在解码cu中的所有tu之前解码次级变换标识符。即，在与某个tb对应的次级变换标识符被解码时，可以开始对tb的逆量化和逆变换处理。因此，可以在解码cu中的所有tu之前开始对每个tb的逆量化和逆变换处理。
[0607]
因此，与在cu的脚注中用信号传送的情况相比，可以使开始对变换块的逆量化和逆变换处理所需的信息的缓冲时段更短。因此，可以抑制延迟和存储使用量的增加。即，可以抑制解码负荷的增加。
[0608]
注意，当针对每个tb用信号传送次级变换标识符时，非零变换系数的计数到处理目标tb而结束。即，由于只需要对tb中的非零变换系数进行计数，因此可以简化编码或解码时对非零变换系数的计数处理。因此，可以抑制编码处理和解码处理的负荷的增加。
[0609]
<对次级变换标识符的信号传送控制>
[0610]
此外，在这种情况下，由于针对每个tb用信号传送次级变换标识符，因此可以基于变换块尺寸(水平方向上的变换块尺寸(tbwidth)和垂直方向上的变换块尺寸(tbheight))来执行是否用信号传送次级变换标识符。因此，可以针对每个tb控制是否用信号传送次级变换标识符。
[0611]
图44中示出了在这种情况下关于st_mode的语法的示例。在这种情况下，如从顶部起的第二行(灰色行)所示，为了将stallowed设置为真，水平方向上的变换块尺寸(tbwidth)和垂直方向上的变换块尺寸(tbheight)中的较小的一者需要等于或大于预定阈值(minstsize)。即，对于具有小于阈值的变换块尺寸的变换块，没有用信号传送次级变换标识符。如上所述，代替基于编码块尺寸来设置次级变换标识符，可以基于变换块尺寸来设置次级变换标识符。
[0612]
<对非零变换系数的计数的省略>
[0613]
此外，与第一实施方式的情况类似，在这种情况下，可以从次级变换标识符的解码/编码条件中删除引用非零变换系数的数目的条件表达式(图44)。例如，可以与非零变换系数的数目无关地设置次级变换标识符。此外，例如，可以与非零变换系数的数目无关地分析次级变换标识符。
[0614]
因此，当在编码处理中导出次级变换标识符时，可以省略对非零系数的复杂计数，从而可以抑制编码处理的负荷的增加。此外，当在解码处理中分析次级变换标识符时，可以省略对非零系数的复杂计数，从而可以抑制解码处理的负荷的增加。
[0615]
注意，在图43中的tb的语法(residual_coding)中也可以省略对非零变换系数的计数(从图43的底部起的第六行(灰色行))。
[0616]
<基于变换跳过标志的次级变换标识符的设置>
[0617]
此外，在这种情况下，可以仅在不应用变换跳过的情况下用信号传送次级变换标识符(即，在应用变换跳过的情况下没有用信号传送次级变换标识符)。
[0618]
因此，可以根据变换跳过标志容易地设置次级变换标识符。此外，在解码时，可以根据变换跳过标志容易地分析次级变换标识符。因此，可以抑制解码处理的负荷的增加。
[0619]
例如，在图44中从顶部起的第二行中，不应用变换跳过包括在stallowed为真的条件中(&&！transform_skip_flag[x0][y0][cidx])。也就是说，为了使stallowed为真，必须不应用变换跳过。如上所述，代替基于非零变换系数的数目来设置次级变换标识符，可以基于指示是否应用变换跳过的标志来设置次级变换标识符。
[0620]
<上下文的导出>
[0621]
此外，类似于第一实施方式的情况，在这种情况下，例如，可以仅基于树类型(treetype)、而不依赖于自适应正交变换标识符tu_mts_idx来导出上下文初始值(偏移)ctxinc(图16)。
[0622]
因此，可以在不需要复杂处理的情况下(更容易地)导出次级变换标识符st_idx的第一个bin的上下文索引。类似地，在解码时，可以更容易地导出次级变换标识符st_idx的
第一个bin的上下文索引。因此，可以抑制解码处理的负荷的增加。
[0623]
此外，类似于第四实施方式的情况，在这种情况下，可以基于分量(例如，基于用于标识分量的标识符cidx的值)来导出上下文初始值(偏移)ctxinc(图39)。
[0624]
例如，可以基于分量是亮度(y)还是色度(cb或cr)来导出上下文初始值(偏移)ctxinc。由于次级变换的应用概率在亮度与色度之间不同，因此可以以这种方式更高效地对每个分量的次级变换标识符st_idx进行编码和解码。
[0625]
此外，可以基于分量是亮度(y)、色度(cb)还是色度(cr)来导出上下文初始值(偏移)ctxinc。以这种方式，由于可以更详细地设置上下文变量ctx，因此可以更高效地对次级变换标识符st_idx进行编码和解码。
[0626]
<6
‑
2.编码侧>
[0627]
<配置>
[0628]
接下来，将描述编码侧。这种情况下的编码侧的配置类似于第一实施方式的情况。即，这种情况下的图像编码装置100具有与参照图17描述的配置类似的配置。此外，这种情况下的控制单元101具有与参照图18描述的配置类似的配置。此外，这种情况下的正交变换单元113具有与参照图19描述的配置类似的配置。
[0629]
<编码参数设置处理的流程>
[0630]
此外，这种情况下的图像编码装置100执行与第一实施方式的情况基本类似的处理。即，在这种情况下由图像编码装置100执行的图像编码处理通过与参照图20的流程图描述的情况类似的流程来执行。此外，在这种情况下由正交变换单元113执行的正交变换处理通过与参照图22的流程图描述的情况类似的流程来执行。
[0631]
将参照图45的流程图描述在这种情况下在图20的步骤s103中由控制单元101执行的编码参数设置处理的流程的示例。在这种情况下，控制单元101通过应用<6
‑
1.用信号传送次级变换标识符>中描述的各种方法来执行该编码参数设置处理。
[0632]
当编码参数设置处理开始时，在步骤s461中控制单元101的次级变换标识符设置单元151设置要存储在tb报头中的次级变换标识符st_idx。即，次级变换标识符设置单元151针对每个tb将次级变换标识符设置成在tb的变换系数之前被用信号传送。因此，如上所述，可以抑制解码处理中的延迟和存储使用量的增加，并且可以抑制解码处理的负荷的增加。
[0633]
注意，当针对每个tb用信号传送次级变换标识符时，非零变换系数的计数到处理目标tu而结束。即，由于只需要对tb中的非零变换系数进行计数，因此可以简化编码或解码时对非零变换系数的计数处理。因此，可以抑制编码处理的负荷的增加。
[0634]
此外，次级变换标识符设置单元151可以基于变换块尺寸(水平方向上的变换块尺寸(tbwidth)和垂直方向上的变换块尺寸(tbheight))来执行是否用信号传送次级变换标识符。因此，可以针对每个tb控制是否用信号传送次级变换标识符。
[0635]
此外，次级变换标识符设置单元151可以与非零变换系数的数目无关地设置次级变换标识符。因此，可以省略对非零变换系数的复杂计数，并且可以抑制编码处理的负荷的增加。此外，在解码处理中，也可以省略对非零变换系数的复杂计数，并且可以抑制解码处理的负荷的增加。
[0636]
此外，次级变换标识符设置单元151可以仅在不应用变换跳过的情况下用信号传
送次级变换标识符。因此，在解码时，可以根据变换跳过标志容易地分析次级变换标识符，并且可以抑制解码处理的负荷的增加。
[0637]
在步骤s462中，变换跳过标志设置单元152设置变换跳过标志。在步骤s463中，自适应正交变换标识符设置单元153设置自适应正交变换标识符。
[0638]
在步骤s464中，上下文设置单元154设置上下文。在这种情况下，例如，上下文设置单元154可以在不使用自适应正交变换标识符的情况下设置上下文。也就是说，在这种情况下，上下文设置单元154仅基于树类型(treetype)、而不依赖于自适应正交变换标识符tu_mts_idx来导出上下文ctxinc。因此，可以在不需要复杂处理的情况下(更容易地)导出次级变换标识符st_idx的第一个bin的上下文索引。
[0639]
注意，上下文设置单元154可以参照用于标识分量的标识符cidx，并且基于分量是亮度(y)还是色度(cb或cr)来设置上下文。另外，上下文设置单元154也可以参照用于标识分量的标识符cidx，并且基于分量是亮度(y)、色度(cb)还是色度(cr)来设置上下文。可以以这种方式更高效地编码每个分量的次级变换标识符st_idx。
[0640]
当步骤s464的处理结束时，编码参数设置处理结束，并且处理返回到图20。
[0641]
注意，在步骤s464中，上下文设置单元154可以基于自适应正交变换标识符和树类型来设置上下文。此外，在该编码参数设置处理中，可以添加生成另一任意编码参数的步骤。
[0642]
<6
‑
3.解码侧>
[0643]
<配置>
[0644]
接下来，将描述解码侧。这种情况下的解码侧的配置类似于第一实施方式的情况。即，这种情况下的图像解码装置200具有与参照图23描述的配置类似的配置。此外，这种情况下的解码单元212具有与参照图24描述的配置类似的配置。此外，这种情况下的逆正交变换单元214具有与参照图25描述的配置类似的配置。
[0645]
<解码处理的流程>
[0646]
此外，这种情况下的图像解码装置200执行与第一实施方式的情况基本类似的处理。即，在这种情况下由图像解码装置200执行的图像解码处理通过与参照图26的流程图描述的情况类似的流程来执行。此外，在这种情况下由逆正交变换单元214执行的逆正交变换处理通过与参照图28的流程图描述的情况类似的流程来执行。
[0647]
将参照图46的流程图描述在这种情况下在图26的步骤s202中由解码单元212执行的解码处理的流程的示例。在这种情况下，解码单元212通过应用<6
‑
1.用信号传送次级变换标识符>中描述的各种方法来执行该解码处理。
[0648]
当解码处理开始时，在步骤s481中解码单元241对累积缓冲器211的编码数据(比特流)进行解码。
[0649]
在步骤s482中，分析单元242的次级变换标识符分析单元251根据解码结果分析tb报头中(针对每个tb在tb的变换系数之前被用信号传送)的次级变换标识符。
[0650]
因此，可以在解码cu中的所有tu之前解码次级变换标识符。即，在与某个tb对应的次级变换标识符被解码时，可以开始对tb的逆量化和逆变换处理。因此，可以在解码cu中的所有tu之前开始对每个tb的逆量化和逆变换处理。
[0651]
因此，与在cu的脚注中用信号传送的情况相比，可以使开始对每个tb的逆量化和
逆变换处理所需的信息的缓冲时段更短。因此，可以抑制延迟和存储使用量的增加。即，可以抑制解码负荷的增加。
[0652]
注意，当针对每个tb用信号传送次级变换标识符时，非零变换系数的计数到处理目标tb而结束。即，由于只需要对tb中的非零变换系数进行计数，因此可以简化解码时对非零变换系数的计数处理。因此，可以抑制解码处理的负荷的增加。
[0653]
此外，次级变换标识符分析单元251可以基于变换块尺寸(水平方向上的变换块尺寸(tbwidth)和垂直方向上的变换块尺寸(tbheight))来执行关于是否已经用信号传送了次级变换标识符的确定。因此，可以针对每个tb执行关于是否已经用信号传送了次级变换标识符的确定。
[0654]
此外，可以与非零变换系数的数目无关地设置次级变换标识符。在这种情况下，次级变换标识符分析单元251可以与非零变换系数的数目无关地分析次级变换标识符。因此，可以省略对非零变换系数的复杂计数，并且可以抑制解码处理的负荷的增加。
[0655]
此外，可以仅在不应用变换跳过的情况下用信号传送次级变换标识符。在这种情况下，次级变换标识符分析单元251可以基于是否应用变换跳过来分析次级变换标识符。例如，在应用变换跳过的情况下，次级变换标识符分析单元251可以确定次级变换标识符没有被用信号传送(即，次级变换被跳过)。因此，可以容易地分析次级变换标识符，并且可以抑制解码处理的负荷的增加。
[0656]
在步骤s483中，变换跳过标志分析单元252分析变换跳过标志。在步骤s484中，自适应正交变换标识符分析单元253分析自适应正交变换标识符。
[0657]
在步骤s485中，上下文设置单元254设置上下文。在这种情况下，上下文设置单元254可以在不使用自适应正交变换标识符的情况下设置上下文。即，上下文设置单元254可以仅基于树类型(treetype)、而不依赖于自适应正交变换标识符tu_mts_idx来导出上下文ctxinc。因此，可以在不需要复杂处理的情况下(更容易地)导出次级变换标识符st_idx的第一个bin的上下文索引。因此，可以抑制解码处理的负荷的增加。
[0658]
注意，上下文设置单元254可以参照用于标识分量的标识符cidx，并且基于分量是亮度(y)还是色度(cb或cr)来设置上下文。此外，上下文设置单元254可以参照用于标识分量的标识符cidx，并且基于分量是亮度(y)、色度(cb)还是色度(cr)来设置上下文。可以以这种方式更高效地编码用于每个分量的次级变换标识符st_idx。
[0659]
当步骤s485中的处理结束时，解码处理结束，并且处理返回到图26。
[0660]
注意，在步骤s485中，上下文设置单元254可以基于自适应正交变换标识符和树类型来设置上下文。此外，在该解码处理中，可以添加分析另一任意编码参数的步骤。
[0661]
<7.第六实施方式>
[0662]
<7
‑
1.用信号传送次级变换标识符>
[0663]
<对块尺寸的限制>
[0664]
仅在关于块尺寸的信息等于或小于阈值的情况下才用信号传送次级变换标识符。换言之，次级变换标识符被设置成使得仅在关于块尺寸的信息等于或小于预定阈值的情况下执行次级变换。即，仅对具有预定尺寸或小于预定尺寸的块执行次级变换。
[0665]
因此，可以跳过(省略)对块尺寸大于预定尺寸的编码块的次级变换。即，只有延迟时间小且存储使用量小的编码块(即，具有较小块尺寸的编码块)等待对次级变换标识符的
解码，然后开始对变换块的逆量化和逆变换处理；并且在延迟时间大且存储使用量大的编码块(即，具有较大块尺寸的编码块)的情况下，可以在不等待对次级变换标识符的解码的情况下就开始对变换块的逆量化和逆变换处理。
[0666]
因此，可以抑制延迟和存储使用量的增加。即，可以抑制解码负荷的增加。
[0667]
注意，块尺寸越大，对非零变换系数进行计数的负荷就越大。因此，如上所述，通过在应用次级变换的情况下为块尺寸提供上限，可以抑制对非零变换系数进行计数的负荷的增加。
[0668]
注意，可以从次级变换标识符的解码/编码条件中删除引用非零变换系数的数目的条件表达式。例如，可以与编码块中的非零变换系数的数目无关地设置次级变换标识符。此外，例如，可以与编码块中的非零变换系数的数目无关地分析次级变换标识符。因此，可以省略对非零变换系数的复杂计数，并且可以抑制编码处理和解码处理的负荷的增加。
[0669]
例如，阈值可以是最大变换块尺寸。例如，可以将次级变换标识符设置成使得在水平方向上的块尺寸等于或小于最大变换块尺寸并且垂直方向上的块尺寸等于或小于最大变换块尺寸的情况下执行次级变换。
[0670]
因此，可以将对其执行次级变换的编码块的块尺寸限制为最大变换块尺寸或更小，并且如上所述可以抑制解码负荷的增加。
[0671]
图47示出了关于st_mode的语法的示例。在这种情况下，如从顶部起的第二行(灰色行)所示，为了将stallowed设置为真，水平方向上的编码块尺寸(cbwidth)和垂直方向上的编码块尺寸(cbheight)需要等于或小于最大变换块尺寸(axtbsize)(&&(cbwidth<＝maxtbsize&&cbheight<＝maxtbsize))。即，在水平方向上的编码块尺寸(cbwidth)或垂直方向上的编码块尺寸(cbheight)大于最大变换块尺寸(axtbsize)的情况下，没有用信号传送次级变换标识符。如上所述，代替基于非零变换系数的数目来设置次级变换标识符，可以基于编码块尺寸来设置次级变换标识符。
[0672]
注意，阈值是任意的，并且可以不同于最大变换块尺寸。此外，使用阈值的控制可以是任何控制，只要它是用于限制经受次级变换的块尺寸即可，并且为此目的与阈值进行比较的具体方法是任意的并且不限于图47的示例。例如，在编码块的纵向方向(水平方向和垂直方向中的较长的一者)上的块尺寸可以与最大变换块尺寸进行比较。此外，可以使用面积(即，水平方向上的块尺寸和垂直方向上的块尺寸的乘积)来执行与阈值(例如，最大变换块尺寸的平方)的比较。此外，可以使用对数值(log值)来执行比较。
[0673]
注意，在这种情况下，次级变换标识符可以存储在cu脚注中(即，在用信号传送cu中的所有tu之后，用信号传送st_idx)。
[0674]
<7
‑
2.编码侧>
[0675]
<配置>
[0676]
接下来，将描述编码侧。这种情况下的编码侧的配置类似于第一实施方式的情况。即，这种情况下的图像编码装置100具有与参照图17描述的配置类似的配置。此外，这种情况下的控制单元101具有与参照图18描述的配置类似的配置。此外，这种情况下的正交变换单元113具有与参照图19描述的配置类似的配置。
[0677]
<编码参数设置处理的流程>
[0678]
此外，这种情况下的图像编码装置100执行与第一实施方式的情况基本类似的处
理。即，在这种情况下由图像编码装置100执行的图像编码处理通过与参照图20的流程图描述的情况类似的流程来执行。此外，在这种情况下由正交变换单元113执行的正交变换处理通过与参照图22的流程图描述的情况类似的流程来执行。
[0679]
将参照图48的流程图描述在这种情况下在图20的步骤s103中由控制单元101执行的编码参数设置处理的流程的示例。在这种情况下，控制单元101通过应用<7
‑
1.用信号传送次级变换标识符>中描述的各种方法来执行该编码参数设置处理。
[0680]
当编码参数设置处理开始时，在步骤s501中控制单元101的次级变换标识符设置单元151根据块尺寸设置要存储在cu脚注中的次级变换标识符st_idx。即，次级变换标识符设置单元151将次级变换标识符设置成仅针对具有预定块尺寸或更小块尺寸的cu用信号传送次级变换标识符(以便针对大于预定块尺寸的cu跳过次级变换)。因此，如上所述，可以抑制解码处理中的延迟和存储使用量的增加。此外，可以抑制对非零变换系数进行计数的负荷的增加。因此，可以抑制解码处理的负荷的增加。
[0681]
注意，在这种情况下，次级变换标识符设置单元151可以与cu中的非零变换系数的数目无关地设置次级变换标识符。因此，可以省略对非零变换系数的复杂计数，并且可以抑制编码处理负荷的增加。
[0682]
在步骤s502中，变换跳过标志设置单元152设置变换跳过标志。在步骤s503中，自适应正交变换标识符设置单元153设置自适应正交变换标识符。在步骤s504中，上下文设置单元154设置上下文。当步骤s504的处理结束时，编码参数设置处理结束，并且处理返回到图20。
[0683]
注意，在该编码参数设置处理中，可以添加生成另一任意编码参数的步骤。
[0684]
<7
‑
3.解码侧>
[0685]
<配置>
[0686]
接下来，将描述解码侧。这种情况下的解码侧的配置类似于第一实施方式的情况。即，这种情况下的图像解码装置200具有与参照图23描述的配置类似的配置。此外，这种情况下的解码单元212具有与参照图24描述的配置类似的配置。此外，这种情况下的逆正交变换单元214具有与参照图25描述的配置类似的配置。
[0687]
<解码处理的流程>
[0688]
此外，这种情况下的图像解码装置200执行与第一实施方式的情况基本类似的处理。即，在这种情况下由图像解码装置200执行的图像解码处理通过与参照图26的流程图描述的情况类似的流程来执行。此外，在这种情况下由逆正交变换单元214执行的逆正交变换处理通过与参照图28的流程图描述的情况类似的流程来执行。
[0689]
将参照图49的流程图描述在这种情况下在图26的步骤s202中由解码单元212执行的解码处理的流程的示例。在这种情况下，解码单元212通过应用<7
‑
1.用信号传送次级变换标识符>中描述的各种方法来执行该解码处理。
[0690]
当解码处理开始时，在步骤s521中解码单元241对累积缓冲器211的编码数据(比特流)进行解码。
[0691]
在步骤s522中，分析单元242的次级变换标识符分析单元251根据解码结果分析cu脚注中(在cu的变换系数之后被用信号传送)的次级变换标识符。
[0692]
这种情况下的次级变换标识符仅在编码块小于或等于阈值(例如，最大变换块尺
寸)的情况下才被用信号传送。因此，只有延迟时间小且存储使用量小的编码块(即，具有小的块尺寸的编码块)等待次级变换标识符的解码，然后开始对变换块的逆量化和逆变换处理；并且在延迟时间大且存储使用量大的编码块(即，具有大的块尺寸的编码块)的情况下，可以不等待对次级变换标识符的解码的情况下就开始对变换块的逆量化和逆变换处理。
[0693]
因此，可以抑制延迟和存储使用量的增加。此外，如上所述，通过在应用次级变换的情况下为块尺寸提供上限，可以抑制对非零变换系数进行计数的负荷的增加。即，可以抑制解码负荷的增加。
[0694]
注意，可以与编码块中的非零变换系数的数目无关地分析次级变换标识符。因此，可以省略对非零变换系数的复杂计数，并且可以抑制解码处理负荷的增加。
[0695]
在步骤s523中，变换跳过标志分析单元252分析变换跳过标志。在步骤s524中，自适应正交变换标识符分析单元253分析自适应正交变换标识符。在步骤s525中，上下文设置单元254设置上下文。当步骤s525中的处理结束时，解码处理结束，并且处理返回到图26。
[0696]
注意，在该解码处理中，可以添加分析另一任意编码参数的步骤。
[0697]
<8.第七实施方式>
[0698]
<8
‑
1.次级变换的简化>
[0699]
<有效变换区域尺寸的控制>
[0700]
在应用如非专利文献9中描述的用于使高频初级变换系数归零的次级变换的情况下，换言之，在将未被rst变换矩阵改变的初级变换系数(除lfnst角以外的初级变换系数)归零的情况下，有效变换区域尺寸是基于次级变换标识符的值导出的。例如，在变换块尺寸大于4
×
4的情况下，有效变换区域尺寸被设置为4
×
4。
[0701]
因此，可以通过对应于次级变换的方法导出有效变换区域尺寸，并且可以使用有效变换区域尺寸获得最后系数的前缀部分。因此，可以抑制代码长度的增加。即，可以抑制最后系数的二进制长度的增加(通常可以减少二进制长度)。即，可以抑制代码量的增加(抑制编码效率的降低)。因此，可以抑制解码处理的负荷的增加。
[0702]
图50示出了在这种情况下关于变换块(residual_coding)的语法的示例。在图50的示例中，在从顶部起第四行和第五行(灰色行)中执行次级变换并且水平方向和垂直方向上的变换块尺寸的对数值大于2的情况下(即，在变换块大于4
×
4的情况下)，将水平方向上的有效变换区域尺寸的对数值(log2zotbwidth)设置为2。
[0703]
类似地，在从顶部起的第10行和第11行(灰色行)中执行次级变换并且水平方向和垂直方向上的变换块尺寸的对数值大于2的情况下(即，在变换块大于4
×
4的情况下)，将垂直方向上的有效变换区域尺寸的对数值(log2zotbheight)设置为2。
[0704]
因此，可以抑制前缀部分的二进制序列bin的长度的增加。
[0705]
例如，假设dc子块的最后系数位置(lastx，lasty)为(3，3)。在图9所示的16
×
16tb的情况下，使用图10至图12导出的最后系数位置的每个前缀部分(last_sig_coeff_x_prefix，last_sig_coeff_y_prefix)的二进制序列为“1110”。即，bin的长度是四个bin。
[0706]
另一方面，在有效变换区域尺寸为4
×
4的情况下，前缀部分的二进制序列为“111”。也就是说，bin的长度是三个bin。
[0707]
以这种方式，在变换块尺寸大于4
×
4的情况下，通过将有效变换区域尺寸设置为4
×
4，可以比以上示例缩短1个bin。考虑到x方向和y方向，可以减少多达两个bin。因此，可以
抑制编码效率的降低。此外，通过抑制代码量的增加，可以抑制解码处理的负荷的增加。
[0708]
<8
‑
2.编码侧>
[0709]
<配置>
[0710]
接下来，将描述编码侧。这种情况下的编码侧的配置基本上类似于第一实施方式的情况。即，这种情况下的图像编码装置100具有与参照图17描述的配置类似的配置。此外，这种情况下的正交变换单元113具有与参照图19描述的配置类似的配置。
[0711]
<控制单元>
[0712]
这种情况下的控制单元101的主要配置示例在图51中示出。如图51所示，除了次级变换标识符设置单元151至上下文设置单元154之外，这种情况下的控制单元101还包括有效变换区域尺寸导出单元401和最后系数位置设置单元402。
[0713]
有效变换区域尺寸导出单元401执行与有效变换区域尺寸的导出有关的处理。例如，有效变换区域尺寸导出单元401导出有效变换区域尺寸(log2zotbwidth，log2zoheight)作为编码参数，该有效变换区域尺寸是即使在通过用于使高频初级变换系数归零的次级变换进行归零之后非零变换系数仍保留的区域。此时，有效变换区域尺寸导出单元401应用<8
‑
1.次级变换的简化>中描述的方法。
[0714]
例如，在变换块尺寸大于4
×
4的情况下，有效变换区域尺寸导出单元401将有效变换区域尺寸设置为4
×
4。因此，可以抑制最后系数的前缀部分的二进制长度的增加，并且可以抑制编码效率的降低。因此，可以抑制解码处理的负荷的增加。
[0715]
最后系数位置设置单元402执行与最后系数位置的设置有关的处理。例如，最后系数位置设置单元402使用有效变换区域尺寸(log2zotbwidth，log2zoheight)，根据图11所示的表对最后系数位置(lastx，lasty)的每个前缀部分(last_sig_coeff_x_prefix，last_sig_coeff_y_prefix)进行二值化，并且根据图12所示的表生成二进制序列。最后系数位置设置单元402将二进制序列供应至编码单元115，并且使编码单元115对二进制序列进行编码。
[0716]
<编码参数设置处理的流程>
[0717]
这种情况下的图像编码装置100执行与第一实施方式的情况基本类似的处理。即，在这种情况下由图像编码装置100执行的图像编码处理通过与参照图20的流程图描述的情况类似的流程来执行。此外，在这种情况下由正交变换单元113执行的正交变换处理通过与参照图22的流程图描述的情况类似的流程来执行。
[0718]
将参照图52的流程图描述在这种情况下在图20的步骤s103中由控制单元101执行的编码参数设置处理的流程的示例。在这种情况下，控制单元101通过应用<8
‑
1.次级变换的简化>中描述的方法来执行该编码参数设置处理。
[0719]
当编码参数设置处理开始时，在步骤s541中控制单元101的次级变换标识符设置单元151设置要存储在cu脚注中的次级变换标识符st_idx。
[0720]
在步骤s542中，变换跳过标志设置单元152设置变换跳过标志。在步骤s543中，自适应正交变换标识符设置单元153设置自适应正交变换标识符。在步骤s544中，上下文设置单元154设置上下文。
[0721]
在步骤s545中，有效变换区域尺寸导出单元401基于cu的次级变换标识符导出有效变换区域尺寸。例如，在使高频初级变换系数归零的次级变换的情况下，在变换块尺寸大
于4
×
4的情况下，有效变换区域尺寸导出单元401将有效变换区域尺寸设置为4
×
4。
[0722]
在步骤s546中，最后系数位置设置单元402基于有效变换区域尺寸导出最后系数位置。
[0723]
在步骤s547中，最后系数位置设置单元402将最后系数位置的前缀部分二值化并导出二进制序列。
[0724]
当步骤s547的处理结束时，编码参数设置处理结束，并且处理返回到图20。
[0725]
注意，在该编码参数设置处理中，可以添加生成另一任意编码参数的步骤。
[0726]
通过以这种方式执行编码参数设置处理，可以抑制编码效率的降低。
[0727]
<8
‑
3.解码侧>
[0728]
<配置>
[0729]
接下来，将描述解码侧。这种情况下的解码侧的配置基本上类似于第一实施方式的情况。即，这种情况下的图像解码装置200具有与参照图23描述的配置类似的配置。此外，这种情况下的逆正交变换单元214具有与参照图25描述的配置类似的配置。
[0730]
<解码单元>
[0731]
这种情况下的解码单元212的主要配置示例在图53中示出。如图53所示，与第一实施方式的情况下一样，这种情况下的解码单元212包括解码单元241和分析单元242。
[0732]
此外，除了次级变换标识符分析单元251至上下文设置单元254之外，分析单元242还包括最后系数位置分析单元421和有效变换区域尺寸分析单元422。
[0733]
最后系数位置分析单元421执行与最后系数位置的分析有关的处理。例如，最后系数位置分析单元421对最后系数位置的前缀部分的二进制序列执行逆二值化(多值转换)。
[0734]
有效变换区域尺寸分析单元422执行与有效变换区域尺寸的分析有关的处理。例如，有效变换区域尺寸分析单元422基于由最后系数位置分析单元421获得的最后系数位置来获得有效变换区域尺寸。有效变换区域尺寸分析单元422将所获得的有效变换区域尺寸供应至逆正交变换单元214。逆正交变换单元214的逆次级变换单元271使用有效变换区域尺寸并且执行与用于使高频初级变换系数归零的次级变换相对应的逆次级变换(图9)。
[0735]
<解码处理的流程>
[0736]
此外，这种情况下的图像解码装置200执行与第一实施方式的情况基本类似的处理。即，在这种情况下由图像解码装置200执行的图像解码处理通过与参照图26的流程图描述的情况类似的流程来执行。此外，在这种情况下由逆正交变换单元214执行的逆正交变换处理通过与参照图28的流程图描述的情况类似的流程来执行。
[0737]
将参照图54的流程图描述在这种情况下在图26的步骤s202中由解码单元212执行的解码处理的流程的示例。
[0738]
当解码处理开始时，在步骤s561中解码单元241对累积缓冲器211的编码数据(比特流)进行解码。
[0739]
在步骤s562中，分析单元242的次级变换标识符分析单元251根据解码结果分析cu脚注中(在cu的变换系数之后被用信号传送)的次级变换标识符。
[0740]
在步骤s563中，变换跳过标志分析单元252分析变换跳过标志。在步骤s564中，自适应正交变换标识符分析单元253分析自适应正交变换标识符。在步骤s565中，上下文设置单元254设置上下文。
[0741]
在步骤s566中，最后系数位置分析单元421对最后系数位置的前缀部分的二进制序列执行逆二值化(多值转换)。
[0742]
在步骤s567中，有效变换区域尺寸分析单元422基于所获得的最后系数位置来获得有效变换区域尺寸。
[0743]
当步骤s567中的处理结束时，解码处理结束，并且处理返回到图26。
[0744]
注意，在该解码处理中，可以添加分析另一任意编码参数的步骤。
[0745]
<9.第八实施方式>
[0746]
<9
‑
1.次级变换的简化>
[0747]
<有效变换区域尺寸的控制>
[0748]
在第七实施方式中描述的本技术可以与第二实施方式结合。即，可以针对每个tu用信号传送次级变换标识符。换言之，同样在第七实施方式中描述的本技术应用于第二实施方式的情况下，在用于使高频初级变换系数归零的次级变换中，在变换块尺寸大于4
×
4的情况下，有效变换区域尺寸可以为4
×
4。
[0749]
因此，类似于第七实施方式的情况，可以抑制最后系数的二进制长度的增加，并且可以抑制编码效率的降低。因此，可以抑制解码处理的负荷的增加。
[0750]
<9
‑
2.编码侧>
[0751]
<配置>
[0752]
接下来，将描述编码侧。这种情况下的编码侧的配置类似于第七实施方式的情况。即，这种情况下的图像编码装置100具有与参照图17描述的配置类似的配置。此外，这种情况下的控制单元101具有与参照图51描述的配置类似的配置。此外，这种情况下的正交变换单元113具有与参照图19描述的配置类似的配置。
[0753]
<编码参数设置处理的流程>
[0754]
这种情况下的图像编码装置100执行与第七实施方式的情况基本类似的处理。即，在这种情况下由图像编码装置100执行的图像编码处理通过与参照图20的流程图描述的情况类似的流程来执行。此外，在这种情况下由正交变换单元113执行的正交变换处理通过与参照图22的流程图描述的情况类似的流程来执行。
[0755]
将参照图55的流程图描述在这种情况下在图20的步骤s103中由控制单元101执行的编码参数设置处理的流程的示例。在这种情况下，控制单元101通过应用<9
‑
1.次级变换的简化>中描述的方法来执行该编码参数设置处理。
[0756]
当编码参数设置处理开始时，在步骤s601中控制单元101的次级变换标识符设置单元151设置要存储在tu脚注中的次级变换标识符st_idx。
[0757]
在步骤s602中，变换跳过标志设置单元152设置变换跳过标志。在步骤s603中，自适应正交变换标识符设置单元153设置自适应正交变换标识符。在步骤s604中，上下文设置单元154设置上下文。
[0758]
在步骤s605中，有效变换区域尺寸导出单元401基于tu的次级变换标识符导出有效变换区域尺寸。例如，在使高频初级变换系数归零的次级变换的情况下，在变换块尺寸大于4
×
4的情况下，有效变换区域尺寸导出单元401将有效变换区域尺寸设置为4
×
4。
[0759]
在步骤s606中，最后系数位置设置单元402基于有效变换区域尺寸导出最后系数位置。在步骤s607中，最后系数位置设置单元402将最后系数位置的前缀部分二值化并导出
二进制序列。当步骤s607的处理结束时，编码参数设置处理结束，并且处理返回到图20。
[0760]
注意，在该编码参数设置处理中，可以添加生成另一任意编码参数的步骤。
[0761]
通过以这种方式执行编码参数设置处理，可以抑制编码效率的降低。
[0762]
<9
‑
3.解码侧>
[0763]
<配置>
[0764]
接下来，将描述解码侧。这种情况下的解码侧的配置类似于第七实施方式的情况。即，这种情况下的图像解码装置200具有与参照图23描述的配置类似的配置。此外，这种情况下的解码单元212具有与参照图53描述的配置类似的配置。此外，这种情况下的逆正交变换单元214具有与参照图25描述的配置类似的配置。
[0765]
<解码处理的流程>
[0766]
此外，这种情况下的图像解码装置200执行与第七实施方式的情况基本类似的处理。即，在这种情况下由图像解码装置200执行的图像解码处理通过与参照图26的流程图描述的情况类似的流程来执行。此外，在这种情况下由逆正交变换单元214执行的逆正交变换处理通过与参照图28的流程图描述的情况类似的流程来执行。
[0767]
将参照图56的流程图描述在这种情况下在图26的步骤s202中由解码单元212执行的解码处理的流程的示例。
[0768]
当解码处理开始时，在步骤s621中解码单元241对累积缓冲器211的编码数据(比特流)进行解码。
[0769]
在步骤s622中，分析单元242的次级变换标识符分析单元251根据解码结果分析tu脚注中(在tu的变换系数之后被用信号传送)的次级变换标识符。
[0770]
在步骤s623中，变换跳过标志分析单元252分析变换跳过标志。在步骤s624中，自适应正交变换标识符分析单元253分析自适应正交变换标识符。在步骤s625中，上下文设置单元254设置上下文。
[0771]
在步骤s626中，最后系数位置分析单元421对最后系数位置的前缀部分的二进制序列执行逆二值化(多值转换)。在步骤s627中，有效变换区域尺寸分析单元422基于所获得的最后系数位置来获得有效变换区域尺寸。当步骤s627中的处理结束时，解码处理结束，并且处理返回到图26。
[0772]
注意，在该解码处理中，可以添加分析另一任意编码参数的步骤。
[0773]
<10.第九实施方式>
[0774]
<10
‑
1.次级变换的简化>
[0775]
<有效变换区域尺寸的控制>
[0776]
在第七实施方式中描述的本技术可以与第四实施方式结合。即，可以针对每个tb用信号传送次级变换标识符。换言之，同样在第七实施方式中描述的本技术应用于第四实施方式的情况下，在用于使高频初级变换系数归零的次级变换中，在变换块尺寸大于4
×
4的情况下，有效变换区域尺寸可以为4
×
4。
[0777]
因此，类似于第七实施方式的情况，可以抑制最后系数的二进制长度的增加，并且可以抑制编码效率的降低。因此，可以抑制解码处理的负荷的增加。
[0778]
图57示出了在这种情况下关于变换块(residual_coding)的语法的示例。在图57的示例中，在从顶部起第四行和第五行(灰色行)中执行次级变换并且水平方向和垂直方向
上的变换块尺寸的对数值大于2的情况下(即，变换块大于4
×
4的情况下)，将水平方向的有效变换区域尺寸的对数值(log2zotbwidth)设置为2。此时，针对每个分量(针对每个cidx)——即，针对每个变换块——确定次级变换。
[0779]
类似地，在从顶部起第10行和第11行(灰色行)中执行次级变换并且水平方向和垂直方向上的变换块尺寸的对数值大于2的情况下(即，在变换块大于4
×
4的情况下)，将垂直方向上的有效变换区域尺寸的对数值(log2zotbheight)设置为2。此时，针对每个分量(针对每个cidx分量)——即，针对每个变换块——确定次级变换。
[0780]
因此，可以抑制前缀部分的二进制序列bin的长度的增加。
[0781]
<10
‑
2.编码侧>
[0782]
<配置>
[0783]
接下来，将描述编码侧。这种情况下的编码侧的配置类似于第七实施方式的情况。即，这种情况下的图像编码装置100具有与参照图17描述的配置类似的配置。此外，这种情况下的控制单元101具有与参照图51描述的配置类似的配置。此外，这种情况下的正交变换单元113具有与参照图19描述的配置类似的配置。
[0784]
<编码参数设置处理的流程>
[0785]
这种情况下的图像编码装置100执行与第七实施方式的情况基本类似的处理。即，在这种情况下由图像编码装置100执行的图像编码处理通过与参照图20的流程图描述的情况类似的流程来执行。此外，在这种情况下由正交变换单元113执行的正交变换处理通过与参照图22的流程图描述的情况类似的流程来执行。
[0786]
将参照图58的流程图描述在这种情况下在图20的步骤s103中由控制单元101执行的编码参数设置处理的流程的示例。在这种情况下，控制单元101通过应用<10
‑
1.次级变换的简化>中描述的方法来执行该编码参数设置处理。
[0787]
当编码参数设置处理开始时，在步骤s641中控制单元101的次级变换标识符设置单元151设置要存储在tb脚注中的次级变换标识符st_idx。
[0788]
在步骤s642中，变换跳过标志设置单元152设置变换跳过标志。在步骤s643中，自适应正交变换标识符设置单元153设置自适应正交变换标识符。在步骤s644中，上下文设置单元154设置上下文。
[0789]
在步骤s645中，有效变换区域尺寸导出单元401基于tb的次级变换标识符导出有效变换区域尺寸。例如，在使高频初级变换系数归零的次级变换的情况下，在变换块尺寸大于4
×
4的情况下，有效变换区域尺寸导出单元401将有效变换区域尺寸设置为4
×
4。
[0790]
在步骤s646中，最后系数位置设置单元402基于有效变换区域尺寸导出最后系数位置。在步骤s647中，最后系数位置设置单元402将最后系数位置的前缀部分二值化并导出二进制序列。当步骤s647的处理结束时，编码参数设置处理结束，并且处理返回到图20。
[0791]
注意，在该编码参数设置处理中，可以添加生成另一任意编码参数的步骤。
[0792]
通过以这种方式执行编码参数设置处理，可以抑制编码效率的降低。
[0793]
<10
‑
3.解码侧>
[0794]
<配置>
[0795]
接下来，将描述解码侧。这种情况下的解码侧的配置类似于第七实施方式的情况。即，这种情况下的图像解码装置200具有与参照图23描述的配置类似的配置。此外，这种情
况下的解码单元212具有与参照图53描述的配置类似的配置。此外，这种情况下的逆正交变换单元214具有与参照图25描述的配置类似的配置。
[0796]
<解码处理的流程>
[0797]
此外，这种情况下的图像解码装置200执行与第七实施方式的情况基本类似的处理。即，在这种情况下由图像解码装置200执行的图像解码处理通过与参照图26的流程图描述的情况类似的流程来执行。此外，在这种情况下由逆正交变换单元214执行的逆正交变换处理通过与参照图28的流程图描述的情况类似的流程来执行。
[0798]
将参照图59的流程图描述在这种情况下在图26的步骤s202中由解码单元212执行的解码处理的流程的示例。
[0799]
当解码处理开始时，在步骤s661中解码单元241对累积缓冲器211的编码数据(比特流)进行解码。
[0800]
在步骤s662中，分析单元242的次级变换标识符分析单元251根据解码结果分析tb脚注中(在tb的变换系数之后被用信号传送)的次级变换标识符。
[0801]
在步骤s663中，变换跳过标志分析单元252分析变换跳过标志。在步骤s664中，自适应正交变换标识符分析单元253分析自适应正交变换标识符。在步骤s665中，上下文设置单元254设置上下文。
[0802]
在步骤s666中，最后系数位置分析单元421对最后系数位置的前缀部分的二进制序列执行逆二值化(多值转换)。在步骤s667中，有效变换区域尺寸分析单元422基于所获得的最后系数位置来获得有效变换区域尺寸。当步骤s667中的处理结束时，解码处理结束，并且处理返回到图26。
[0803]
注意，在该解码处理中，可以添加分析另一任意编码参数的步骤。
[0804]
<11.附录>
[0805]
<组合>
[0806]
只要不矛盾，以上实施方式中的每一个中描述的本技术可以与任何其他实施方式中描述的本技术结合应用。
[0807]
<计算机>
[0808]
上述一系列处理可以由硬件执行，并且也可以由软件执行。在一系列处理由软件执行的情况下，构成软件的程序安装在计算机中。此处，计算机包括安装在专用硬件中的计算机，例如，可以通过安装各种程序来执行各种功能的通用个人计算机等。
[0809]
图60是示出通过程序执行上述一系列处理的计算机的硬件的配置示例的框图。
[0810]
在图60所示的计算机800中，中央处理单元(cpu)801、只读存储器(rom)802、随机存取存储器(ram)803通过总线804互连。
[0811]
输入/输出接口810也连接至总线804。输入单元811、输出单元812、存储单元813、通信单元814和驱动器815连接至输入/输出接口810。
[0812]
输入单元811包括例如键盘、鼠标、麦克风、触摸面板、输入端子等。输出单元812包括例如显示器、扬声器、输出端子等。存储单元813包括例如硬盘、ram盘、非易失性存储器等。通信单元814包括例如网络接口等。驱动器815驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移动介质821。
[0813]
在以上述方式配置的计算机中，例如，cpu 801经由输入/输出接口810和总线804
将存储在存储单元813中的程序加载到ram 803上并执行该程序，从而执行上述一系列处理。cpu 801执行各种处理所需的数据等也适当地存储在ram 803中。
[0814]
要由计算机执行的程序可以通过例如被记录在作为封装介质等的可移动介质821上来应用。在这种情况下，程序可以经由输入/输出接口810安装在存储单元813上，使得可移动介质821安装在驱动器815上。
[0815]
此外，也可以经由有线或无线传输介质例如局域网、因特网或数字卫星广播来提供该程序。在这种情况下，程序可以由通信单元814接收并被安装在存储单元813中。
[0816]
此外，程序可以预先安装在rom 802或存储单元813中。
[0817]
<信息和处理的单元>
[0818]
设置上述各种信息的数据单元和被各种处理作为目标的数据单元是任意的，并且不限于上述示例。例如，这些信息和处理可以针对每个变换单元(tu)、变换块(tb)、预测单元(pu)、预测块(pb)、编码单元(cu)、最大编码单元(lcu)和子块、块、图块(tile)、切片、图片、序列或分量设置，或者这些数据单元中的数据可以是目标。当然，该数据单元可以针对每个信息或处理设置，并且不必所有信息或处理的数据单元都一致。注意，这些信息块的存储位置是任意的，并且可以将信息存储在上述数据单元的报头、参数集等中。此外，它可以存储在多个位置中。
[0819]
<控制信息>
[0820]
可以将与在以上实施方式中的每一个中描述的本技术有关的控制信息从编码侧发送至解码侧。例如，可以发送用于控制是否允许(或禁止)以上描述的上述本技术的应用的控制信息(例如，enabled_flag)。此外，例如，可以发送指示应用了上述本技术的目标(或未应用上述本技术的目标)的控制信息(例如，present_flag)。例如，可以发送指定应用本技术(或者允许或禁止应用)的块尺寸(上限和下限或两者)、帧、分量、层等的控制信息。
[0821]
<本技术的应用目标>
[0822]
本技术可以应用于任何图像编码和解码方法。即，只要不与上述本技术相矛盾，与图像编码和解码有关的各种处理——例如，变换(逆变换)、量化(逆量化)、编码(解码)、预测等——的规格是任意的，并且不限于上述示例。此外，只要不与上述本技术相矛盾，可以省略部分处理。
[0823]
此外，本技术可以应用于对包括多个视点(视图)的图像的多视点图像进行编码和解码的多视点图像编码和解码系统。在这种情况下，只需要将本技术应用于对每个视点(视图)进行编码和解码。
[0824]
此外，本技术可以应用于分层图像编码(可伸缩编码)和解码系统，该系统对多层(分层)的分层图像进行编码和解码，使得针对预定参数具有可伸缩性功能。在这种情况下，只需要将本技术应用于对每个分层(层)进行编码和解码。
[0825]
此外，在上文中，图像编码装置100和图像解码装置200已经被描述为本技术的应用示例，但是本技术可以应用于任何配置。
[0826]
例如，本技术可以应用于各种电子装置，例如，用于卫星广播、诸如有线电视的有线广播、因特网上的分发以及通过蜂窝通信到终端的分发的发射机或接收机(例如，电视接收机或移动电话)，在诸如光盘、磁盘和闪速存储器的介质上记录图像并从这些记录介质再现图像的装置(例如，硬盘记录器和摄像机)等。
[0827]
此外，例如，本技术可以作为诸如作为系统大规模集成(lsi)等的处理器(例如，视频处理器)、使用多个处理器等的模块(例如，视频模块)、使用多个模块等的单元(例如，视频单元)、或者将其他功能添加至该单元的集合(例如，视频集合)的装置的一部分的配置来执行。
[0828]
此外，例如，本技术还可以应用于包括多个装置的网络系统。例如，本技术可以作为由多个装置经由网络共享和联合处理的云计算来执行。例如，本技术可以在云服务中执行，该云服务向诸如计算机、视听(av)装置、便携式信息处理终端和物联网(iot)装置的任何终端提供与图像(运动图像)有关的服务。
[0829]
注意，在本说明书中，系统意指多个构成元件(装置、模块(部件)等)的集群，并且所有构成元素是否都存在于同一壳体中并不重要。因此，容纳在不同壳体中并经由网络连接的多个装置和其中多个模块容纳在单个壳体中的单个装置两者都是系统。
[0830]
<可以应用本技术的领域和用途>
[0831]
应用本技术的系统、装置、处理单元等可以用于任何领域，例如，运输、医疗护理、犯罪预防、农业、畜牧业、采矿、美容、工厂、家用电器、天气、自然监测等。此外，用途也是任意的。
[0832]
例如，本技术可以应用于用于提供观赏性内容等的系统和装置。此外，例如，本技术还可以应用于针对交通目的——例如，交通状况监控和自动驾驶控制——而提供的系统和装置。此外，例如，本技术还可以应用于针对安全目的而提供的系统和装置。此外，例如，本技术可以应用于针对机器的自动控制等的目的而提供的系统和装置。此外，例如，本技术还可以应用于针对农业和畜牧业目的而提供的系统和装置。此外，本技术还可以应用于用于监测诸如火山、森林和海洋以及野生动物的自然条件的系统和装置。此外，例如，本技术还可以应用于针对运动目的而提供的系统和装置。
[0833]
<其他>
[0834]
注意，在本说明书中，“标志”是用于标识多个状态的信息，并且不仅包括用于标识两个状态——真(1)或假(0)——的信息，而且还包括利用其可以标识三个或更多状态的信息。因此，该“标志”可以取的值可以例如是两个值：1/0，或者三个或更多值。即，构成该“标志”的比特数是任意的，可以是1比特或多个比特。此外，假设标识信息(包括标志)不仅包括比特流中的标识信息，还包括标识信息相对于比特流中某个参考信息的差异信息。因此，在本说明书中，“标志”和“标识信息”不仅包括信息，而且还包括相对于参考信息的差异信息。
[0835]
此外，可以以任何形式传送或记录关于编码数据(比特流)的各种信息(元数据等)，只要它与编码数据相关联即可。此处，术语“关联”意指例如在处理一个数据时使其他数据可用(可链接)。即，相互关联的数据可以合并为一个数据，也可以是单独的数据。例如，与编码数据(图像)相关联的信息可以在与编码数据(图像)的传输路径不同的传输路径上传送。此外，例如，与编码数据(图像)相关联的信息可以记录在与编码数据(图像)的记录介质不同的记录介质(或相同记录介质的另一记录区域)上。注意，这种“关联”可以是与数据的一部分关联，而不是与整个数据关联。例如，图像和与图像对应的信息可以以诸如多个帧、一帧或帧内的一部分的任何单元彼此相关联。
[0836]
注意，在本说明书中，诸如“合成”、“复用”、“添加”、“集成”、“包括”、“存储”、“放入”、“插入”、“嵌入”等术语意指将多个对象组合成一个，例如，将编码数据和元数据组合成
一个数据，并且意指上述“关联”的一种方法。
[0837]
此外，本技术的实施方式不限于前述实施方式，而是可以在不脱离本技术的主旨的范围内做出各种变化。
[0838]
例如，描述为一个装置(或处理单元)的配置可以被划分并被配置为多个装置(或处理单元)。相反，上面描述为多个装置(或处理单元)的配置可以整体地配置为一个装置(或处理单元)。此外，当然，可以将除了以上配置之外的配置添加至每个装置(或每个处理单元)的配置。此外，当整个系统的配置和操作基本相同时，装置(或处理单元)的配置的一部分可以包括在另一装置(或另一处理单元)的配置中。
[0839]
此外，例如，上述程序可以在任何装置中执行。在这种情况下，如果装置具有必要的功能(功能块等)使得可以获得必要的信息就足够了。
[0840]
此外，例如，一个流程图的每个步骤可以由一个装置执行，或者可以由多个装置共享和执行。此外，在一个步骤包括多个处理的情况下，多个处理可以由一个装置执行，或者可以由多个装置共享和执行。换言之，一个步骤中包括的多个处理可以作为多个步骤的处理来执行。相反，描述为多个步骤的处理可以作为一个步骤共同执行。
[0841]
此外，例如，关于由计算机执行的程序，编写程序的步骤的处理可以按照本说明书中描述的顺序按时间顺序执行，或者可以在需要的定时处——例如，当执行调用时——并行或单独执行。即，只要不矛盾，就可以按照与上述顺序不同的顺序执行每个步骤的处理。此外，编写该程序的步骤的处理可以与另一个程序的处理并行执行，或者可以与另一个程序的处理结合执行。
[0842]
此外，例如，只要不存在矛盾，就可以独立地执行与本技术有关的多个技术。当然，可以组合使用任何数目的本技术。例如，在任何实施方式中描述的本技术的一部分或全部可以与在另一实施方式中描述的本技术的一部分或全部结合来执行。此外，还可以将上述本技术中的任何技术的一部分或全部与以上未描述的另一技术结合来执行。
[0843]
注意，本技术可以按照下面进行配置。
[0844]
(1)一种图像处理装置，包括：
[0845]
设置单元，其被配置成设置次级变换标识符，使得仅在关于块尺寸的信息等于或小于预定阈值的情况下执行次级变换；
[0846]
变换单元，其被配置成基于由所述设置单元设置的所述次级变换标识符对从图像数据导出的系数数据执行次级变换；以及
[0847]
编码单元，其被配置成对由所述设置单元设置的所述次级变换标识符进行编码，并生成比特流。
[0848]
(2)根据(1)所述的图像处理装置，其中，
[0849]
所述阈值包括最大变换块尺寸。
[0850]
(3)根据(2)所述的图像处理装置，其中，
[0851]
关于所述块尺寸的信息包括处理目标块的水平方向上的块尺寸和所述处理目标块的垂直方向上的块尺寸，以及
[0852]
所述设置单元设置所述次级变换标识符以在所述水平方向上的块尺寸和在所述垂直方向上的块尺寸等于或小于所述最大变换块尺寸的情况下执行所述次级变换。
[0853]
(4)根据(3)所述的图像处理装置，其中，
[0854]
所述设置单元设置所述次级变换标识符以在所述水平方向上的块尺寸和在所述垂直方向上的块尺寸等于或小于所述最大变换块尺寸的情况下执行所述次级变换，而不是基于非零变换系数的数目来设置所述次级变换标识符。
[0855]
(5)根据(4)所述的图像处理装置，其中，
[0856]
所述设置单元设置在编码块的脚注中存储的所述次级变换标识符。
[0857]
(6)一种图像处理方法，包括：
[0858]
设置次级变换标识符，使得仅在关于块尺寸的信息等于或小于预定阈值的情况下执行次级变换；
[0859]
基于所设置的次级变换标识符对从图像数据导出的系数数据执行次级变换；以及
[0860]
对所设置的次级变换标识符进行编码，并生成比特流。
[0861]
(7)一种图像处理装置，包括：
[0862]
次级变换标识符设置单元，其被配置成设置在编码块的脚注以外的部分中存储的次级变换标识符；
[0863]
变换单元，其被配置成基于由所述次级变换标识符设置单元设置的所述次级变换标识符对从图像数据导出的系数数据执行次级变换；以及
[0864]
编码单元，其被配置成对由所述次级变换标识符设置单元设置的所述次级变换标识符进行编码，并生成比特流。
[0865]
(8)根据(7)所述的图像处理装置，其中，
[0866]
所述次级变换标识符设置单元设置在所述编码块的报头中存储的所述次级变换标识符。
[0867]
(9)根据(7)或(8)所述的图像处理装置，其中，
[0868]
所述次级变换标识符设置单元基于指示是否应用残差pcm编码模式的标志来设置所述次级变换标识符，而不是基于非零变换系数的数目来设置所述次级变换标识符。
[0869]
(10)根据(7)至(9)中任一项所述的图像处理装置，还包括：
[0870]
上下文设置单元，其被配置成基于树类型设置上下文。
[0871]
(11)根据(7)至(10)中任一项所述的图像处理装置，其中，
[0872]
所述次级变换标识符设置单元设置在变换单元中存储的所述次级变换标识符。
[0873]
(12)根据(7)至(10)中任一项所述的图像处理装置，其中，
[0874]
所述次级变换标识符设置单元设置在变换块中存储的所述次级变换标识符。
[0875]
(13)根据(7)至(12)中任一项所述的图像处理装置，还包括：
[0876]
上下文设置单元，其被配置成基于分量设置上下文。
[0877]
(14)根据(7)至(13)中任一项所述的图像处理装置，还包括：
[0878]
有效变换区域尺寸导出单元，其被配置成在应用用于将高频初级变换系数归零的次级变换的变换块并且变换块尺寸大于4
×
4的情况下将有效变换区域尺寸设置为4
×
4。
[0879]
(15)一种图像处理方法，包括：
[0880]
设置在编码块的脚注以外的部分中存储的次级变换标识符；
[0881]
基于所设置的次级变换标识符对从图像数据导出的系数数据执行次级变换；以及
[0882]
对所设置的次级变换标识符进行编码，并生成比特流。
[0883]
附图标记列表
[0884]
100图像编码装置、101控制单元、113正交变换单元、115编码单元、118逆正交变换单元、151次级变换标识符设置单元、152变换跳过标志设置单元、153自适应正交变换标识符设置单元、154上下文设置单元、172次级变换单元、200图像解码装置、212解码单元、214逆正交变换单元、242分析单元、251次级变换标识符分析单元、252变换跳过标志分析单元、253自适应正交变换标识符分析单元、254上下文设置单元、271逆次级变换单元、401有效变换区域尺寸导出单元、402最后系数位置设置单元、421最后系数位置分析单元、422有效变换区域尺寸分析单元。