图像处理装置和方法与流程

1.本公开内容涉及图像处理装置和方法，并且更具体地涉及能够抑制编码效率降低的图像处理装置和方法。


背景技术：

2.过去，已经提出了用于导出运动图像的预测残差、执行系数变换、进行量化和编码的编码方法(例如，非专利文献1)。在非专利文献1中描述的通用视频编码(vvc)中，存在如下编码工具，该编码工具执行低频不可分离变换(lfnst)作为对一次变换之后的变换系数的二次变换并且进一步改进能量集中性。然后，用信令通知作为关于二次变换的控制信息的二次变换控制信息(即，二次变换控制信息被编码并发送到了解码侧)。
3.例如，已经用信令通知指示lfnst的模式的lfnst标识符(lfnst_idx)作为二次变换控制信息。已经根据树类型(treetype)和变换跳过标志(transform_skip_flag)的值用信令通知该lfnst标识符。变换跳过标志是指示在图像编码中是否跳过(省略)包括一次变换、二次变换等的系数变换的标志信息。注意，该变换跳过标志还指示是否跳过(省略)图像解码中的系数变换的逆处理(逆变换)。
4.引用列表
5.非专利文献
6.非专利文献1：benjamin bross，jianle chen，shan liu，ye-kui wang，“versatile video coding(draft 7)”，jvet-p2001-ve，itu-t sg 16wp 3和iso/iec jtc 1/sc 29/wg 11的联合视频专家组(jvet)第十六次会议：日内瓦，瑞士，2019年3月19日至2019年10月1-11日。


技术实现要素：

7.本发明要解决的问题
8.然而，在非专利文献1描述的方法的情况下，即使在树类型为双树色度(dual_tree_chroma)并且图像的cb分量和cr分量二者的变换跳过标志为真(例如，1)的情况下，也用信令通知lfnst标识符，这可能导致冗余。即，存在编码效率降低的可能性。
9.鉴于前述内容作出了本公开内容，并且本公开内容旨在使得能够抑制编码效率的降低。
10.问题的解决方案
11.根据本技术的一个方面的图像处理装置是如下的图像处理装置，该图像处理装置包括：编码单元，编码单元被配置成：在图像编码中的有效分量中的至少一个分量的变换跳过标志为真的情况下，省略对二次变换控制信息的编码，二次变换控制信息是与二次变换相关的控制信息；并且在图像编码中的有效分量中的所有分量的变换跳过标志为假的情况下，对二次变换控制信息进行编码。
12.根据本技术的一个方面的图像处理方法是如下的图像处理方法，该图像处理方法
包括：在图像编码中的有效分量中的至少一个分量的变换跳过标志为真的情况下，省略对作为与二次变换相关的控制信息的二次变换控制信息的编码；以及在图像编码中的有效分量中的所有分量的变换跳过标志为假的情况下，对二次变换控制信息进行编码。
13.根据本技术的另一方面的图像处理装置是如下的图像处理装置，该图像处理装置包括：解码单元，解码单元被配置成：在图像解码中的有效分量中的至少一个分量的变换跳过标志为真的情况下，省略对与二次变换控制信息相关的解码，并且估计二次变换控制信息的值是指示二次变换的跳过的预定值，二次变换控制信息是与二次变换相关的控制信息；并且在图像解码中的有效分量中的所有分量的变换跳过标志为假的情况下，对比特流进行解码以生成二次变换控制信息。
14.根据本技术的另一方面的图像处理方法是如下的图像处理方法，该图像处理方法包括：在图像解码中的有效分量中的至少一个分量的变换跳过标志为真的情况下，省略对与二次变换控制信息相关的解码，并且估计二次变换控制信息的值是指示二次变换的跳过的预定值，二次变换控制信息是与二次变换相关的控制信息；以及在图像解码中的有效分量中的所有分量的变换跳过标志为假的情况下，对比特流进行解码以生成二次变换控制信息。
15.在根据本技术的一个方面的图像处理装置和图像处理方法中，在图像编码中的有效分量中的至少一个分量的变换跳过标志为真的情况下，省略对二次变换控制信息的编码，二次变换控制信息是与二次变换相关的控制信息；并且在图像编码中的有效分量中的所有分量的变换跳过标志为假的情况下，对二次变换控制信息进行编码。
16.在根据本技术的另一方面的图像处理装置和图像处理方法中，在图像解码中的有效分量中的至少一个分量的变换跳过标志为真的情况下，省略对与二次变换控制信息相关的解码，并且估计二次变换控制信息的值是指示二次变换的跳过的预定值，二次变换控制信息是与二次变换相关的控制信息；并且在图像解码中的有效分量中的所有分量的变换跳过标志为假的情况下，对比特流进行解码以生成二次变换控制信息。
附图说明
17.图1是示出关于lfnst标识符的语法表的示例的图。
18.图2是示出基于树类型和变换跳过标志的lfnst标识符的示例的图。
19.图3是示出基于树类型和变换跳过标志的lfnst标识符的示例的图。
20.图4是示出关于lfnst标识符的语法表的示例的图。
21.图5是示出编码条件condition的示例的图。
22.图6是示出关于lfnst标识符的语法表的示例的图。
23.图7是示出编码条件condition的示例的图。
24.图8是示出基于树类型和变换跳过标志的lfnst标识符的示例的图。
25.图9是示出基于树类型和变换跳过标志的lfnst标识符的示例的图。
26.图10是示出基于树类型和变换跳过标志的lfnst标识符的示例的图。
27.图11是示出图像编码装置的主要配置示例的框图。
28.图12是示出编码处理的流程的示例的流程图。
29.图13是示出解码装置的主要配置示例的框图。
30.图14是用于描述解码处理流程的示例的流程图。
31.图15是示出图像编码装置的主要配置示例的框图。
32.图16是用于描述图像编码处理的流程的示例的流程图。
33.图17是示出图像解码装置的主要配置示例的框图。
34.图18是用于描述图像解码处理的流程的示例的流程图
35.图19是示出计算机的主要配置示例的框图。
具体实施方式
36.在下文中，将描述用于实现本公开内容的模式(在下文中，被称为实施方式)。注意，将按以下顺序给出描述。
37.1.lfnst标识符的信令模式
38.2.第一实施方式(编码装置)
39.3.第二实施方式(解码装置)
40.4.第三实施方式(图像编码装置)
41.5.第四实施方式(图像解码装置)
42.6.补充说明
43.《1.lfnst标识符的信令模式》
44.《支持技术内容和技术术语的文献等》
45.本技术中公开的范围不仅包括实施方式中描述的内容，而且还包括在提交申请时已知的以下非专利文献等中描述的内容以及以下非专利文献中参考的其他文献的内容。
46.非专利文献1：(以上所述)
47.非专利文献2：jianle chen，yan ye，seung hwan kim，“algorithm description for versatile video coding and test model 7(vtm 7)”，jvet-p2002-v1，itu-t sg 16wp 3和iso/iec jtc 1/sc 29/wg 11的联合视频专家组(jvet)第16次会议，日内瓦，瑞士，2019年10月1-11日
48.非专利文献3：itu-t h.264建议书(04/2017)“advanced video coding for generic audiovisual services”，2017年4月
49.非专利文件4：itu-t h.265建议书(02/18)“high efficiency video coding”，2018年2月
50.即，以上非专利文献中描述的内容也用作确定支持要求的基础。例如，即使在示例中没有直接描述以上非专利文献中描述的四叉树块结构和四叉树加二叉树(qtbt)块结构的情况下，这些内容也落入本技术的公开范围内，并且满足权利要求的支持要求。此外，例如，即使在示例中没有直接描述诸如解析、语法和语义的技术术语的情况下，这些技术术语也类似地落入本技术的公开范围内，并且满足权利要求的支持要求。
51.此外，在本说明书中，除非另有指定，否则用于作为图像(图片)的部分区域或处理单位的描述的“块”(不是指示处理单元的块)指示图片中的任意部分区域，并且块的大小、形状、特性等不受限制。例如，“块”包括诸如在以上非专利文献中描述的变换块(tb)、变换单元(tu)、预测块(pb)、预测单元(pu)、最小编码单元(scu)、编码单元(cu)、最大编码单元(lcu)、编码树块(ctb)、编码树单元(ctu)、子块、宏块、图块、或切片的任意部分区域(处理
的单位)。
52.此外，在指定这样的块的大小时，不仅可以直接指定块大小，而且还可以间接指定块大小。例如，可以使用用于标识大小的标识信息来指定块大小。此外，例如，可以通过与参考块(例如，lcu、scu等)的大小的比率或差来指定块大小。例如，在将用于指定块大小的信息作为语法元素等进行发送的情况下，可以使用如上所述的用于间接指定大小的信息作为该信息。通过该配置，可以减少信息量，并且在一些情况下可以提高编码效率。此外，块大小的指定还包括块大小的范围的指定(例如，可允许的块大小的范围的指定等)。
53.此外，在本说明书中，编码不仅包括将图像变换为比特流的整个处理，而且还包括该处理的一部分。例如，编码不仅包括包含预测处理、正交变换、量化、算术编码等的处理，而且还包括被统称为量化和算术编码的处理，包含预测处理、量化和算术编码的处理，等等。类似地，解码不仅包括将比特流变换为图像的整个处理，而且还包括该处理的一部分。例如，解码不仅包括包含逆算术解码、逆量化、逆正交变换、预测处理等的处理，而且还包括包含逆算术解码和逆量化的处理，包含逆算术解码、逆量化和预测处理的处理，等等。
54.《lfnst标识符》
55.在非专利文献1中描述的通用视频编码(vvc)中，存在如下编码工具，该编码工具执行低频不可分离变换(lfnst)作为对一次变换之后的变换系数的二次变换并且进一步改进能量集中性。然后，用信令通知作为关于二次变换的控制信息的二次变换控制信息(即，二次变换控制信息已经被编码器编码并且被发送到解码侧(解码器))。
56.例如，已经用信令通知作为指示lfnst的模式的标识符的lfnst标识符(lfnst_idx)作为二次变换控制信息。lfnst标识符(lfnst_idx)的值为“0”的情况指示跳过(省略)二次变换(lfnst)。此外，lfnst标识符(lfnst_idx)的值为“1”的情况指示应用根据第一方法的二次变换。此外，lfnst标识符(lfnst_idx)的值为“2”的情况指示应用根据第二方法的二次变换。注意，如下所述，可以跳过(省略)lfnst标识符(lfnst_idx)的信令。在跳过lfnst标识符(lfnst_idx)的信令的情况下，解码侧(解码器)估计该值。
57.解码器可以基于这样从编码侧(编码器)用信令通知的lfnst标识符(或估计的lfnst标识符)以与在编码器中执行的二次变换对应的模式执行逆二次变换即二次变换的逆处理。即，二次变换控制信息也可以称为与逆二次变换相关的控制信息。此外，lfnst标识符也可以说是指示作为逆二次变换执行的lfnst的逆处理的模式的标识符。
58.通过如上所述用信令通知lfnst标识符，编码侧(编码器)可以控制解码侧(解码器)处的逆二次变换。即，编码器可以使解码器在编码时以与二次变换对应的模式执行逆二次变换。
59.图1示出了非专利文献1中描述的关于vvc中的lfnst标识符的语法表的示例。如图1所示，在满足该语法表的顶部起第七行和第八行中的条件的情况下，用信令通知从顶部起第九行中所示的lfnst标识符(lfnst_idx)。即，已经根据树类型(treetype)和变换跳过标志(transform_skip_flag)的值用信令通知该lfnst标识符。变换跳过标志是指示在图像编码中是否跳过(省略)包括一次变换、二次变换等的系数变换的标志信息。注意，该变换跳过标志还指示在图像编码中是否跳过(省略)系数变换的逆处理(逆变换)。
60.图2示出了树类型和变换跳过标志的组合与lfnst标识符的信令之间的对应关系的示例。在图2中，树类型包括三种类型：single_tree、dual_tree_luma和dual_tree_
chroma。此外，transform_skip_flag[0]指示亮度(y)分量的变换跳过标志。transform_skip_flag[1]指示色度(cb)分量的变换跳过标志。transform_skip_flag[2]指示色度(cr)分量的变换跳过标志。图2所示的表格中的每个变换跳过标志的列中的“0”和“1”指示变换跳过标志的值。在该示例中，值“1”指示真，值“0”指示假。注意，没有用信令通知每个树类型的无效分量(y、cb或cr)的变换跳过标志。在图2中，这种无效分量的变换跳过标志的值用
“‑”
指示。
[0061]
在该示例中，在transform_skip_flag[0]的值为“0”的情况下或者在树类型为dual_tree_chroma的情况下，可以用信令通知lfnst标识符(可以)。否则，跳过(省略)lfnst标识符的信令。在这种情况下，在解码器中，lfnst标识符的值被估计为“0”(推断为0)。
[0062]
然而，如图2的表格的底部行中所示，即使在树类型是双树色度(dual_tree_chroma)并且图像的cb分量和cr分量二者的变换跳过标志都为真(例如，1)的情况下，用信令通知lfnst标识符。如上所述，在变换跳过标志为真的情况下，跳过系数变换(逆系数变换)，因此也跳过二次变换(逆二次变换)。在树类型为双树色度(dual_tree_chroma)的情况下，有效分量为cb和cr。因此，当这些分量的变换跳过标志为真时，总是跳过二次变换(逆二次变换)。因此，存在lfnst标识符的信令变得冗余的可能性。即，存在编码效率不必要地降低的可能性。
[0063]
《方法1》
[0064]
因此，在有效分量中的至少一个分量的变换跳过标志为真的情况下，跳过lfnst标识符的信令(方法1)。
[0065]
例如，在图像处理方法中，在图像编码中的有效分量中的至少一个分量的变换跳过标志为真的情况下，省略作为与二次变换相关的控制信息的二次变换控制信息的编码，并且在图像编码中的有效分量中所有分量的变换跳过标志为假的情况下，对二次变换控制信息进行编码。
[0066]
例如，在图像处理装置中，设置了编码单元，该编码单元在图像编码中的有效分量中的至少一个分量的变换跳过标志为真的情况下，省略对作为与二次变换相关的控制信息的二次变换控制信息的编码，并且在图像编码中的有效分量中的所有分量的变换跳过标志为假的情况下，对二次变换控制信息进行编码。
[0067]
例如，在图像处理方法中，在图像解码中的有效分量中的至少一个分量的变换跳过标志为真的情况下，省略与二次变换控制信息相关的解码，并且估计二次变换控制信息的值是指示二次变换的跳过的预定值，二次变换控制信息是与二次变换相关的控制信息；并且在图像解码中的有效分量中的所有分量的变换跳过标志为假的情况下，对比特流进行解码以生成二次变换控制信息。
[0068]
例如，图像处理装置设置有解码单元，该解码单元在图像解码中的有效分量中的至少一个分量的变换跳过标志为真的情况下，省略对与二次变换控制信息相关的解码，并且估计二次变换控制信息的值是指示二次变换的跳过的预定值，二次变换控制信息是与二次变换相关的控制信息；并且在图像解码中的有效分量中的所有分量的变换跳过标志为假的情况下，对比特流进行解码以生成二次变换控制信息。
[0069]
注意，关于二次变换控制信息的解码是对通过对二次变换控制信息进行编码而生成的比特流(也称为编码数据)进行解码以生成二次变换控制信息。此外，指示二次变换的
跳过的预定值是任意的。例如，可以设置“0”。
[0070]
注意，二次变换控制信息可以是任何信息，只要该信息是关于二次变换的控制信息，并且二次变换控制信息可以包括例如二次变换标识符，该二次变换标识符是指示二次变换(和逆二次变换)的类型的标识符。
[0071]
此外，二次变换可以是任何系数变换，并且可以是例如低频不可分离变换(lfnst)。在那种情况下，逆二次变换可以是lfnst的逆处理。此外，在这种情况下，二次变换标识符是lfnst标识符(lfnst_idx)。然后，指示二次变换的跳过的预定值可以是“0”(lfnst_idx＝＝0)。
[0072]
图3示出了在应用方法1的情况下，树类型和变换跳过标志的组合与lfnst标识符的信令之间的对应关系的示例。图3是与图2中的表格对应的表格。二次变换是lfnst，并且用信令通知lfnst标识符作为二次变换信息。此外，将指示二次变换的跳过的预定值假定为“0”(lfnst_idx＝＝0)。
[0073]
与图2的情况一样，树类型包括三种类型：single_tree、dual_tree_luma和dual_tree_chroma。此外，transform_skip_flag[0]指示亮度(y)分量的变换跳过标志。transform_skip_flag[1]指示色度(cb)分量的变换跳过标志。transform_skip_flag[2]指示色度(cr)分量的变换跳过标志。每个变换跳过标志的列中的“0”和“1”指示变换跳过标志的值。在该示例中，值“1”指示真，值“0”指示假。注意，没有用信令通知每个树类型的无效分量(y、cb或cr)的变换跳过标志(由
“‑”
指示的变换跳过标志)。
[0074]
在该示例中，仅在有效分量中的所有分量的变换跳过标志为假(值“0”)的情况下才可以用信令通知lfnst标识符(可以)，而不管树类型如何。在有效分量中的至少一个分量的变换跳过标志为真(值“1”)的情况下，跳过(省略)lfnst标识符的信令。在这种情况下，在解码侧(解码器)上，lfnst标识符的值被估计为“0”(即，指示二次变换的跳过的值)(推断为0)。
[0075]
如此，在树类型是双树色度(dual_tree_chroma)并且图像的cb分量和cr分量二者的变换跳过标志都为真的情况下，可以跳过lfnst标识符的信令(图3的表格底部的行)。那么，即使以这种方式跳过lfnst标识符的信令，解码器也可以基于lfnst标识符来跳过逆二次变换。即，解码器可以获得具有与用信令通知的变换跳过标志不矛盾的值的lfnst标识符，并且可以正确地执行图像解码。换言之，编码器可以正确地控制解码器中的逆二次变换。
[0076]
即，通过应用上述方法1，可以抑制lfnst标识符的信令的冗余，并且可以抑制编码效率的降低。
[0077]
例如，在图像编码的树类型为单树(single_tree)的情况下，y、cb、cr是有效分量。因此，在这种情况下，当y分量变换跳过标志、cb分量变换跳过标志和cr分量变换跳过标志中的至少一个为真时，跳过对二次变换控制信息的编码。即，在这种情况下，跳过lfnst标识符(lfnst_idx)的信令。然后，在解码器中，lfnst标识符的值被估计为“0”(推断为0)。注意，y分量变换跳过标志是y分量的变换跳过标志(transform_skip_flag[0])。cb分量变换跳过标志是cb分量的变换跳过标志(transform_skip_flag[1])。cr分量变换跳过标志是cr分量的变换跳过标志(transform_skip_flag[2])。
[0078]
相比之下，当y分量变换跳过标志、cb分量变换跳过标志和cr分量变换跳过标志为
假时，可以对二次变换控制信息进行编码(可以)。即，用信令通知lfnst标识符(lfnst_idx)。
[0079]
此外，例如，在图像解码的树类型为单树并且y分量变换跳过标志、cb分量变换跳过标志和cr分量变换跳过标志中的至少一个为真的情况下，跳过对二次变换控制信息的解码。然后，二次变换控制信息的值被估计为指示二次变换的跳过的预定值。即，在这种情况下，跳过关于lfnst标识符(lfnst_idx)的解码。然后，lfnst标识符的值被估计为“0”(推断为0)。相比之下，当y分量变换跳过标志、cb分量变换跳过标志和cr分量变换跳过标志为假时，对比特流进行解码以生成二次变换控制信息。即，获得用信令通知的lfnst标识符(lfnst_idx)。
[0080]
注意，在图2中的示例的情况下，在树类型为单树并且y分量变换跳过标志为假(transform_skip_flag[0]＝＝0)的情况下，用信令通知lfnst标识符(lfnst_idx)。
[0081]
相比之下，在图3的示例的情况下，在树类型为单树并且y分量变换跳过标志为假的情况下，此外，在cb分量变换跳过标志和cr分量变换跳过标志不为假(transform_skip_flag[1]＝＝0&&transform_skip_flag[2]＝＝0)的情况下，跳过lfnst标识符(lfnst_idx)的信令。因此，解码器可以抑制缓冲器容量的增加。此外，可以抑制解码处理延迟的增加。
[0082]
例如，在图像编码的树类型为双树亮度(dual_tree_luma)的情况下，亮度y是有效分量。因此，在这种情况下，当y分量变换跳过标志为真时，跳过对二次变换控制信息的编码。即，在这种情况下，跳过lfnst标识符(lfnst_idx)的信令。然后，在解码器中，lfnst标识符的值被估计为“0”(推断为0)。相比之下，当y分量变换跳过标志为假时，可以对二次变换控制信息进行编码(可以)。即，用信令通知lfnst标识符(lfnst_idx)。
[0083]
此外，例如，在图像解码的树类型是双树亮度的情况下，并且当y分量变换跳过标志为真时，跳过关于二次变换控制信息的解码。然后，二次变换控制信息的值被估计为指示二次变换的跳过的预定值。即，在这种情况下，跳过关于lfnst标识符(lfnst_idx)的解码。然后，lfnst标识符的值被估计为“0”(推断为0)。相比之下，当y分量变换跳过标志为假时，对比特流进行解码以生成二次变换控制信息。即，获得用信令通知的lfnst标识符(lfnst_idx)。
[0084]
例如，在图像编码的树类型是双树色度(dual_tree_chroma)的情况下，色度cb和cr是有效分量。因此，在这种情况下，当cb分量变换跳过标志或cr分量变换跳过标志中的至少一个为真时，跳过对二次变换控制信息的编码。即，在这种情况下，跳过lfnst标识符(lfnst_idx)的信令。然后，在解码器中，lfnst标识符的值被估计为“0”(推断为0)。相比之下，当cb分量变换跳过标志和cr分量变换跳过标志为假时，可以对二次变换控制信息进行编码(可以)。即，用信令通知lfnst标识符(lfnst_idx)。
[0085]
此外，例如，在图像解码的树类型为双树色度并且cb分量变换跳过标志和cr分量变换跳过标志中的至少一个为真的情况下，省略对二次变换控制信息的解码。然后，二次变换控制信息的值被估计为指示二次变换的跳过的预定值。即，在这种情况下，跳过关于lfnst标识符(lfnst_idx)的解码。然后，lfnst标识符的值被估计为“0”(推断为0)。相比之下，当cb分量变换跳过标志和cr分量变换跳过标志为假时，对比特流进行解码以生成二次变换控制信息。即，获得了用信令通知的lfnst标识符(lfnst_idx)。
[0086]
图4示出了在将方法1应用于非专利文献1中描述的vvc的情况下关于lfnst标识符
的语法表的示例。在这种情况下，编码器(或解码器)针对每个树类型的有效分量设置变量nontsused，如图4顶部所示。变量nontsused是指示是否不应用变换跳过的变量。值为真(例如，“1”)的情况指示未应用变换跳过。值为假(例如，“0”)的情况指示应用了变换跳过。
[0087]
例如，在树类型为双树亮度并且y分量变换跳过标志为假(treetype＝＝dual_tree_luma&&transform_skip_flag[x0][y0][0]＝＝0)的情况下，变量nontsused被设置为真(nontsused＝＝1)。相比之下，当y分量变换跳过标志为真时，变量nontsused被设置为假(nontsused＝＝0)。
[0088]
此外，在树类型为双树色度并且cb分量变换跳过标志和cr分量变换跳过标志为假的情况下(treetype＝＝dual_tree_chroma&&transform_skip_flag[x0][y0][1]＝＝0&&transform_skip_flag[x0][y0][2]＝＝0)，变量nontsused被设置为真(nontsused＝＝1)。相比之下，当cb分量变换跳过标志或cr分量变换跳过标志为真时，变量nontsused被设置为假(nontsused＝＝0)。
[0089]
此外，在树类型为单树并且y分量变换跳过标志、cb分量变换跳过标志和cr分量变换跳过标志为假的情况下(treetype＝＝single_tree&&transform_skip_flag[x0][y0][0]＝＝0&&transform_skip_flag[x0][y0][1]＝＝0&&transform_skip_flag[x0][y0][2]＝＝0)，变量nontsused被设置为真(nontsused＝＝1)。相比之下，当y分量变换跳过标志、cb分量变换跳过标志或cr分量变换跳过标志中的至少一个为真时，变量nontsused被设置为假(nontsused＝＝0)。
[0090]
然后，使用变量nontsused作为条件之一来控制是否用信令通知lfnst标识符(lfnst_idx)。例如，在该变量nontsused为真(nontsused＝＝1)并且满足其他条件的情况下，编码器对lfnst标识符(lfnst_idx)进行编码。此外，解码器还对lfnst标识符(lfnst_idx)进行解码。
[0091]
此外，在变量nontsused为假(nontsused＝＝0)的情况下，编码器跳过对lfnst标识符(lfnst_idx)的编码。此外，解码器跳过关于lfnst标识符(lfnst_idx)的解码，并且估计lfnst标识符(lfnst_idx)的值为“0”。
[0092]
图5是示出与图4的语法表等效的lfnst标识符的编码条件(解码条件)condition的图。例如，编码器针对每个树类型设置变量nontsused(图5中的上侧)。然后，编码器使用变量nontsused作为条件之一设置lfnst标识符的编码条件condition(图5中的下侧)。然后，在编码条件condition为真的情况下，编码器用信令通知lfnst标识符(lfnst_idx)。在编码条件condition为假的情况下，编码器跳过lfnst标识符(lfnst_idx)的信令。
[0093]
例如，解码器针对每种树类型设置变量nontsused(图5中的上侧)。然后，解码器使用变量nontsused作为条件之一设置lfnst标识符的解码条件condition(图5中的下侧)。然后，在解码条件condition为真的情况下，解码器对比特流进行解码以获得用信令通知的lfnst标识符(lfnst_idx)。在解码条件condition为假的情况下，解码器跳过关于lfnst标识符(lfnst_idx)的解码，并且估计lfnst标识符(lfnst_idx)的值为“0”。
[0094]
如此，可以抑制非专利文献1中描述的vvc中编码效率的降低。
[0095]
注意，可以在条件表达式中使用否定表达式，如图6所示的语法表。图6所示的语法表对应于图4所示的语法表，但是使用变量tsused代替图4中的变量nontsused。变量tsused是指示是否应用了变换跳过的变量，值为真的情况(例如，“1”)指示应用了变换跳过。值为
假的情况(例如，“0”)指示未应用变换跳过。
[0096]
例如，变量tsused被设置为如图6中的顶部所示。即，当y分量变换跳过标志、cb分量变换跳过标志或cr分量变换跳过标志中的至少一个为真时(transform_skip_flag[x0][y0][0]＝＝1||transform_skip_flag[x0][y0][1]＝＝1||transform_skip_flag[x0][y0][2]＝＝1)，变量tsused被设置为真(tsused＝＝1)。相比之下，当y分量变换跳过标志、cb分量变换跳过标志和cr分量变换跳过标志为假时，变量tsused被设置为假(tsused＝＝0)。
[0097]
然后，使用变量tsused作为条件之一来控制是否用信令通知lfnst标识符(lfnst_idx)。例如，在该变量tsused为假(tsused＝＝0)并且满足其他条件的情况下，编码器对lfnst标识符(lfnst_idx)进行编码，并且解码器对lfnst标识符(lfnst_idx)进行解码。
[0098]
此外，在变量tsused为真(tsused＝＝1)的情况下，编码器跳过对lfnst标识符(lfnst_idx)的编码。然后，解码器跳过关于lfnst标识符(lfnst_idx)的解码，并且估计lfnst标识符(lfnst_idx)的值为“0”。
[0099]
图7是示出与图6的语法表等效的lfnst标识符的编码条件(解码条件)condition的图。例如，编码器设置变量tsused(图7中的上侧)。然后，编码器使用变量tsused作为条件之一设置lfnst标识符的编码条件condition(图7中的下侧)。然后，在编码条件condition为真的情况下，编码器用信令通知lfnst标识符(lfnst_idx)。在编码条件condition为假的情况下，编码器跳过lfnst标识符(lfnst_idx)的信令。
[0100]
例如，解码器设置变量tsused(图7中的上侧)。然后，解码器使用变量tsused作为条件之一设置lfnst标识符的解码条件condition(图7中的下侧)。然后，在解码条件condition为真的情况下，解码器对比特流进行解码以获得用信令通知的lfnst标识符(lfnst_idx)。在解码条件condition为假的情况下，解码器跳过关于lfnst标识符(lfnst_idx)的解码，并且估计lfnst标识符(lfnst_idx)的值是“0”。
[0101]
如此，可以抑制非专利文献1中描述的vvc中编码效率的降低。
[0102]
《方法2》
[0103]
例如，在有效分量中的所有分量的变换跳过标志为真的情况下，可以跳过lfnst标识符的信令(方法2)。
[0104]
例如，在图像编码中的有效分量中的所有分量的变换跳过标志为真的情况下，可以省略对二次变换控制信息的编码，并且在图像编码中有效分量中至少一个分量的变换跳过标志为假的情况下，可以对二次变换控制信息进行编码。
[0105]
此外，例如，在图像解码中的有效分量中的所有分量的变换跳过标志为真的情况下，可以省略与二次变换控制信息相关的解码，并且可以估计二次变换控制信息的值是指示二次变换的跳过的预定值，并且在图像解码中的有效分量中的至少一个分量的变换跳过标志为假的情况下，可以对码流进行解码以生成二次变换控制信息。
[0106]
即使在方法2中，与方法1类似，关于二次变换控制信息的解码是对通过对二次变换控制信息进行编码而生成的比特流进行解码以生成二次变换控制信息。此外，指示二次变换的跳过的预定值是任意的。
[0107]
此外，二次变换控制信息可以是任何信息，只要该信息是关于二次变换的控制信息即可。例如，二次变换控制信息可以包括二次变换标识符，该二次变换标识符是指示二次
变换(和逆二次变换)的类型的标识符。
[0108]
此外，二次变换可以是任何系数变换。例如，二次变换可以是lfnst。在那种情况下，逆二次变换可以是lfnst的逆处理。此外，在这种情况下，二次变换标识符是lfnst标识符(lfnst_idx)。然后，指示二次变换的跳过的预定值可以是“0”(lfnst_idx＝＝0)。
[0109]
图8示出了在应用方法2的情况下，树类型和变换跳过标志的组合与lfnst标识符的信令之间的对应关系的示例。图8是与图2中的表格对应的表格。二次变换是lfnst，并且用信令通知lfnst标识符作为二次变换信息。此外，将指示二次变换的跳过的预定值假定为“0”(lfnst_idx＝＝0)。
[0110]
与图2的情况一样，树类型包括三种类型：single_tree、dual_tree_luma和dual_tree_chroma。此外，transform_skip_flag[0]指示y分量变换跳过标志。transform_skip_flag[1]指示cb分量变换跳过标志。transform_skip_flag[2]指示cr分量变换跳过标志。每个变换跳过标志的列中的“0”和“1”指示变换跳过标志的值。在该示例中，值“1”指示真，值“0”指示假。注意，没有用信令通知每个树类型的无效分量(y、cb或cr)的变换跳过标志(由
“‑”
指示的变换跳过标志)。
[0111]
在该示例中，在有效分量中的至少一个分量的变换跳过标志为假(值“0”)的情况下，可以用信令通知lfnst标识符(可以)，而不管树类型如何。仅在有效分量中的所有分量的变换跳过标志为真(值“1”)的情况下，才跳过(省略)lfnst标识符的信令。在这种情况下，在解码侧(解码器)上，lfnst标识符的值被估计为“0”(即，指示二次变换的跳过的值)(推断为0)。
[0112]
如此，在树类型是双树色度(dual_tree_chroma)并且图像的cb分量和cr分量二者的变换跳过标志都为真的情况下，可以跳过lfnst标识符的信令(图8的表格底部的行)。那么，即使以这种方式跳过了lfnst标识的信令，解码器也可以基于lfnst标识符来跳过逆二次变换。即，解码器可以获得具有与用信令通知的变换跳过标志不矛盾的值的lfnst标识符，并且可以正确地执行图像解码。换言之，编码器可以正确地控制解码器中的逆二次变换。
[0113]
即，通过应用上述方法2，可以抑制lfnst标识符的信令的冗余，并且可以抑制编码效率的降低。
[0114]
例如，在图像编码的树类型为单树(single_tree)的情况下，y、cb、cr是有效分量。因此，在这种情况下，当y分量变换跳过标志、cb分量变换跳过标志和cr分量变换跳过标志为真时，跳过对二次变换控制信息的编码。即，在这种情况下，跳过lfnst标识符(lfnst_idx)的信令。然后，在解码器中，lfnst标识符的值被估计为“0”(推断为0)。相比之下，当y分量变换跳过标志、cb分量变换跳过标志或cr分量变换跳过标志中的至少一个为假时，可以对二次变换控制信息进行编码(可以)。即，用信令通知lfnst标识符(lfnst_idx)。
[0115]
此外，例如，在图像解码的树类型是单树并且y分量变换跳过标志、cb分量变换跳过标志和cr分量变换跳过标志为真的情况下，跳过对二次变换控制信息的解码。然后，二次变换控制信息的值被估计为指示二次变换的跳过的预定值。即，在这种情况下，跳过关于lfnst标识符(lfnst_idx)的解码。然后，lfnst标识符的值被估计为“0”(推断为0)。相比之下，当y分量变换跳过标志、cb分量变换跳过标志或cr分量变换跳过标志中的至少一个为假时，对比特流进行解码以生成二次变换控制信息。即，获得用信令通知的lfnst标识符
(lfnst_idx)。
[0116]
注意，在图2的示例的情况下，在图像解码的树类型是单树并且y分量变换跳过标志为真(transform_skip_flag[0]＝＝1)的情况下，已跳过lfnst的信令标识符(lfnst_idx)。因此，此时，即使cb分量变换跳过标志和cr分量变换跳过标志为假(transform_skip_flag[1]＝＝0||transform_skip_flag[2]＝＝0)，也不能将二次变换(lfnst)应用于cb分量和cr分量。因此，cb分量和cr分量的编码效率有可能降低。
[0117]
相比之下，在图8的情况下，当y分量变换跳过标志、cb分量变换跳过标志或cr分量变换跳过标志中的至少一个为假时，可以用信令通知lfnst标识符。即，在图像解码的树类型为单树并且y分量变换跳过标志为真(transform_skip_flag[0]＝＝1)的情况下，并且当cb分量变换跳过标志和cr分量变换跳过标志为假(transform_skip_flag[1]＝＝0||transform_skip_flag[2]＝＝0)的情况下，可以将二次变换(lfnst)应用于cb分量和cr分量。因此，可以抑制cb分量和cr分量的编码效率的降低。
[0118]
例如，在图像编码的树类型为双树亮度(dual_tree_luma)的情况下，亮度y是有效分量。因此，在这种情况下，当y分量变换跳过标志为真时，跳过对二次变换控制信息的编码。即，在这种情况下，跳过lfnst标识符(lfnst_idx)的信令。然后，在解码器中，lfnst标识符的值被估计为“0”(推断为0)。相比之下，当y分量变换跳过标志为假时，可以对二次变换控制信息进行编码(可以)。即，用信令通知lfnst标识符(lfnst_idx)。
[0119]
此外，例如，在图像解码的树类型是双树亮度的情况下，并且当y分量变换跳过标志为真时，跳过关于二次变换控制信息的解码。然后，二次变换控制信息的值被估计为指示二次变换的跳过的预定值。即，在这种情况下，跳过关于lfnst标识符(lfnst_idx)的解码。然后，lfnst标识符的值被估计为“0”(推断为0)。相比之下，当y分量变换跳过标志为假时，对比特流进行解码以生成二次变换控制信息。即，获得用信令通知的lfnst标识符(lfnst_idx)。
[0120]
例如，在图像编码的树类型是双树色度(dual_tree_chroma)的情况下，色度cb和cr是有效分量。因此，在这种情况下，当cb分量变换跳过标志和cr分量变换跳过标志为真时，跳过二次变换控制信息的编码。即，在这种情况下，跳过lfnst标识符(lfnst_idx)的信令。然后，在解码器中，lfnst标识符的值被估计为“0”(推断为0)。相比之下，当cb分量变换跳过标志或cr分量变换跳过标志中的至少一个为假时，可以对二次变换控制信息进行编码(可以)。即，用信令通知lfnst标识符(lfnst_idx)。
[0121]
此外，例如，在图像解码的树类型是双树色度并且cb分量变换跳过标志和cr分量变换跳过标志为真的情况下，省略对二次变换控制信息的解码。然后，二次变换控制信息的值被估计为指示二次变换的跳过的预定值。即，在这种情况下，跳过关于lfnst标识符(lfnst_idx)的解码。然后，lfnst标识符的值被估计为“0”(推断为0)。相比之下，当cb分量变换跳过标志或cr分量变换跳过标志中的至少一个为假时，对比特流进行解码以生成二次变换控制信息。即，获得用信令通知的lfnst标识符(lfnst_idx)。
[0122]
《方法3》
[0123]
例如，在树类型是单树的情况下以及在树类型是双树亮度的情况下，lfnst标识符的信令可以通过与非专利文献1中描述的方法类似的方法来控制，并且仅在树类型为双树色度(dual_tree_chroma)并且双树色度中的有效分量中所有分量的变换跳过标志为真的
情况下，才可以跳过lfnst标识符的信令(方法3)。
[0124]
例如，在图像编码的树类型是双树色度的情况下，在双树色度中的有效分量中的所有分量的变换跳过标志为真的情况下，可以跳过对二次变换控制信息的编码，并且在双树色度中的有效分量中的至少一个分量的变换跳过标志为假的情况下，可以对二次变换控制信息进行编码。
[0125]
此外，例如，在图像解码的树类型是双树色度的情况下，在双树色度中的有效分量中的所有分量的变换跳过标志为真的情况下，可以跳过与二次变换控制信息相关的解码，并且可以估计二次变换控制信息的值是指示二次变换的跳过的预定值，并且在双树色度中有效分量中至少一个分量的变换跳过标志为假的情况下，，可以对比特流进行解码以生成二次变换控制信息。
[0126]
即使在方法3中，类似于方法1，关于二次变换控制信息的解码是对通过对二次变换控制信息进行编码而生成的比特流进行解码以生成二次变换控制信息。此外，指示二次变换的跳过的预定值是任意的。
[0127]
此外，二次变换控制信息可以是任何信息，只要该信息是关于二次变换的控制信息即可。例如，二次变换控制信息可以包括二次变换标识符，该二次变换标识符是指示二次变换(和逆二次变换)的类型的标识符。
[0128]
此外，二次变换可以是任何系数变换。例如，二次变换可以是lfnst。在那种情况下，逆二次变换可以是lfnst的逆处理。此外，在这种情况下，二次变换标识符是lfnst标识符(lfnst_idx)。然后，指示二次变换的跳过的预定值可以是“0”(lfnst_idx＝＝0)。
[0129]
图9示出了在应用方法3的情况下，树类型和变换跳过标志的组合与lfnst标识符的信令之间的对应关系的示例。图9是与图2中的表格对应的表格。二次变换是lfnst，并且用信令通知lfnst标识符作为二次变换信息。此外，将指示二次变换的跳过的预定值假定为“0”(lfnst_idx＝＝0)。
[0130]
与图2的情况一样，树类型包括三种类型：single_tree、dual_tree_luma和dual_tree_chroma。此外，transform_skip_flag[0]指示y分量变换跳过标志。transform_skip_flag[1]指示cb分量变换跳过标志。transform_skip_flag[2]指示cr分量变换跳过标志。每个变换跳过标志的列中的“0”和“1”指示变换跳过标志的值。在该示例中，值“1”指示真，值“0”指示假。注意，没有用信令通知每个树类型的无效分量(y、cb或cr)的变换跳过标志(由
“‑”
指示的变换跳过标志)。
[0131]
在该示例中，树类型是双树色度，并且在双树色度中的有效分量中的至少一个分量的变换跳过标志为假的情况下，可以用信令通知lfnst标识符(可以)。相比之下，当所有分量的变换跳过标志为真(值“1”)时，跳过(省略)lfnst标识符的编码。在这种情况下，在解码侧(解码器)上，lfnst标识符的值被估计为“0”(即，指示二次变换的跳过的值)(推断为0)。
[0132]
注意，在树类型是单树的情况以及在树类型是双树亮度的情况下，lfnst标识符的信令通过与非专利文献1中描述的方法类似的方法来控制。即，lfnst标识符的信令控制类似于图2中的表格的情况。
[0133]
如此，在树类型是双树色度(dual_tree_chroma)并且图像的cb分量和cr分量的变换跳过标志都为真的情况下，可以跳过lfnst标识符的信令(图9的表格底部的行)。那么，即
使以这种方式跳过了lfnst标识的信令，解码器也可以基于lfnst标识符来跳过逆二次变换。即，解码器可以获得具有与用信令通知的变换跳过标志不矛盾的值的lfnst标识符，并且可以正确地执行图像解码。换言之，编码器可以正确地控制解码器中的逆二次变换。
[0134]
即，通过应用上述方法3，可以抑制lfnst标识符的信令的冗余，并且可以抑制编码效率的降低。
[0135]
《方法4》
[0136]
例如，在树类型是单树的情况下以及在树类型是双树亮度的情况下，lfnst标识符的信令可以通过与非专利文献1中描述的方法类似的方法来控制，并且只有在树类型为双树色度(dual_tree_chroma)并且双树色度中的有效分量中至少一个分量的变换跳过标志为真的情况下，才可以跳过lfnst标识符的信令(方法4)。
[0137]
例如，在图像编码的树类型为双树色度的情况下，在双树色度中的有效分量中的至少一个分量的变换跳过标志为真的情况下，可以跳过二次变换控制信息的编码，并且在双树色度中的有效分量中所有分量的变换跳过标志为假的情况下，可以对二次变换控制信息进行编码。
[0138]
此外，例如，在图像解码的树类型是双树色度的情况下，在双树色度中的有效分量中的至少一个分量的变换跳过标志为真的情况下，可以跳过与二次变换控制信息相关的解码，并且可以估计二次变换控制信息的值是指示二次变换的跳过的预定值，并且在双树色度中的有效分量中的所有分量的变换跳过标志为假的情况下，可以对比特流进行解码以生成二次变换控制信息。
[0139]
即使在方法4中，与方法1类似，关于二次变换控制信息的解码是对通过对二次变换控制信息进行编码而生成的比特流进行解码以生成二次变换控制信息。此外，指示二次变换的跳过的预定值是任意的。
[0140]
此外，二次变换控制信息可以是任何信息，只要该信息是关于二次变换的控制信息即可。例如，二次变换控制信息可以包括二次变换标识符，该二次变换标识符是指示二次变换(和逆二次变换)的类型的标识符。
[0141]
此外，二次变换可以是任何系数变换。例如，二次变换可以是lfnst。在那种情况下，逆二次变换可以是lfnst的逆处理。此外，在这种情况下，二次变换标识符是lfnst标识符(lfnst_idx)。然后，指示二次变换的跳过的预定值可以是“0”(lfnst_idx＝＝0)。
[0142]
图10示出了在应用方法4的情况下树类型和变换跳过标志的组合与lfnst标识符的信令之间的对应关系的示例。图10是与图2中的表格对应的表格。二次变换是lfnst，并且用信令通知lfnst标识符作为二次变换信息。此外，将指示二次变换的跳过的预定值假定为“0”(lfnst_idx＝＝0)。
[0143]
与图2的情况一样，树类型包括三种类型：single_tree、dual_tree_luma和dual_tree_chroma。此外，transform_skip_flag[0]指示y分量变换跳过标志。transform_skip_flag[1]指示cb分量变换跳过标志。transform_skip_flag[2]指示cr分量变换跳过标志。每个变换跳过标志的列中的“0”和“1”指示变换跳过标志的值。在该示例中，值“1”指示真，值“0”指示假。注意，没有用信令通知每个树类型的无效分量(y、cb或cr)的变换跳过标志(由
“‑”
指示的变换跳过标志)。
[0144]
在该示例中，树类型是双树色度，并且在双树色度中的有效分量中的所有分量的
变换跳过标志为假的情况下，可以用信令通知lfnst标识符(可以)。相比之下，当至少一个分量的变换跳过标志为真(值“1”)时，跳过(省略)lfnst标识符的编码。在这种情况下，在解码侧(解码器)上，lfnst标识符的值被估计为“0”(即，指示二次变换的跳过的值)(推断为0)。
[0145]
注意，类似于图3的情况，在树类型是单树的情况以及在树类型是双树亮度的情况下，lfnst标识符的信令通过与在非专利文献1中描述的方法类似的方法来控制。即，lfnst标识符的信令控制类似于图2中的表格的情况。
[0146]
如此，在树类型是双树色度(dual_tree_chroma)并且图像的cb分量和cr分量的变换跳过标志都为真的情况下，可以跳过lfnst标识符的信令(图10的表格底部的行)。那么，即使以这种方式跳过了lfnst标识的信令，解码器也可以基于lfnst标识符来跳过逆二次变换。即，解码器可以获得具有与用信令通知的变换跳过标志不矛盾的值的lfnst标识符，并且可以正确地执行图像解码。换言之，编码器可以正确地控制解码器中的逆二次变换。
[0147]
即，通过应用上述方法4，可以抑制lfnst标识符的信令的冗余，并且可以抑制编码效率的降低。
[0148]
《组合》
[0149]
可以适当地组合和应用上述方法1至4中的一些或全部。
[0150]
《2.第一实施方式》
[0151]
《编码装置》
[0152]
《1.lfnst标识符的信令模式》中描述的本技术(方法1至4)可以应用于任何装置。在下文中，将描述本技术的应用示例。图11是示出作为应用本技术的图像处理装置的一种模式的编码装置的配置的示例的框图。图11所示的编码装置100是对lfnst标识符(lfnst_idx)进行编码的装置。例如，编码装置100通过应用基于上下文的自适应二进制算术码(cabac)来执行编码。
[0153]
注意，图11示出了主要处理单元、数据流等，并且图11中示出的那些不一定是全部。即，在编码装置100中，可以存在未示为图11中的块的处理单元，或者存在未示为图11中的箭头等的处理或数据流。
[0154]
如图11所示，编码装置100包括lfnst标识符编码单元101。
[0155]
lfnst标识符编码单元101执行与lfnst标识符的编码相关的处理。例如，lfnst标识符编码单元101从外部获取lfnst标识符(lfnst_idx)。lfnst标识符编码单元101对所获取的lfnst标识符进行编码以生成比特流。lfnst标识符编码单元101将所生成的比特流输出到编码装置100的外部。该比特流例如经由通信介质等被发送到解码侧(解码器)，或者被存储在存储介质中。
[0156]
此外，lfnst标识符编码单元101获取要用于对lfnst标识符进行编码的各种参数。例如，lfnst标识符编码单元101获取诸如treetype、transform_skip_flag[0]、transform_skip_flag[1]、transform_skip_flag[2]、lfnstwidth、lfnstheight、sps_lfnst_enabled_flag、intra_mip_flag、cbwidth、cbheight、intrasubpartitionflagtype、lfnstdconly和lfnstzerooutsigcoefflag之类的参数。这些参数是上述非专利文献(例如，非专利文献1)中描述的参数。
[0157]
然后，lfnst标识符编码单元101使用这些参数控制如《1.lfnst标识符的信令模式
》中所述的对lfnst标识符(lfnst_idx)的编码(信令)。
[0158]
例如，lfnst标识符编码单元101通过应用上述方法1来控制lfnst标识符的编码。即，在图像编码中的有效分量中的至少一个分量的变换跳过标志为真的情况下，lfnst标识符编码单元101省略对二次变换控制信息的编码，二次变换控制信息是与二次变换相关的控制信息，并且在图像编码中的有效分量中的所有分量的变换跳过标志为假的情况下，对二次变换控制信息进行编码。
[0159]
例如，lfnst标识符编码单元101根据图4所示的语法表控制lfnst标识符的编码。注意，lfnst标识符编码单元101可以根据图6所示的语法表控制lfnst标识符的编码。根据这些语法表，lfnst标识符编码单元101可以根据树类型和变换跳过标志来控制lfnst标识符的编码，如图3所示的表格所示。每种树类型中的控制方法如上文在《1.lfnst标识符的信令模式》中所述。
[0160]
注意，lfnst标识符编码单元101可以通过应用上述方法2来控制lfnst标识符的编码。即，lfnst标识符编码单元101可以在图像编码中的有效分量中所有分量的跳过标志为真情况下省略对二次变换控制信息的编码，并且在图像编码中的有效分量中的至少一个分量的变换跳过标志为假的情况下，对二次变换控制信息进行编码。
[0161]
如此，lfnst标识符编码单元101可以根据树类型和变换跳过标志来控制lfnst标识符的编码，如图8所示的表格所示。每种树类型中的控制方法如上述《1.lfnst标识符的信令模式》中所述。
[0162]
此外，lfnst标识符编码单元101可以通过应用上述方法3来控制lfnst标识符的编码。例如，在图像编码的树类型是双树色度的情况下，lfnst标识符编码单元101可以在双树色度中的有效分量中的所有分量的变换跳过标志为真的情况下省略对二次变换控制信息的编码，并且在双树色度中的有效分量中的至少一个分量的变换跳过标志为假的情况下对二次变换控制信息进行编码。
[0163]
如此，lfnst标识符编码单元101可以根据树类型和变换跳过标志来控制lfnst标识符的编码，如图9所示的表格所示。每种树类型中的控制方法如上述《1.lfnst标识符的信令模式》中所述。
[0164]
此外，lfnst标识符编码单元101可以通过应用上述方法4来控制lfnst标识符的编码。例如，在图像编码的树类型是双树色度的情况下，lfnst标识符编码单元101可以在双树色度中的有效分量中的至少一个分量的变换跳过标志为真的情况下省略对二次变换控制信息的编码，并且在双树色度中有效分量中所有分量的变换跳过标志为假的情况下对二次变换控制信息进行编码。
[0165]
如此，lfnst标识符编码单元101可以根据树类型和变换跳过标志来控制lfnst标识符的编码，如图10所示的表格所示。每种树类型中的控制方法如上述《1.lfnst标识符的信令模式》中所述。
[0166]
在应用方法1至4中的任何方法的任何情况下，在树类型为双树色度(dual_tree_chroma)并且图像的cb分量和cr分量二者的变换跳过标志都为真的情况下，lfnst标识符编码单元101可以跳过lfnst标识符的信令。因此，编码装置100可以抑制编码效率的降低。
[0167]
《编码处理的流程》
[0168]
接下来，将参照图12中的流程图来描述在编码装置100中执行的编码处理的流程
的示例。
[0169]
当编码处理开始时，编码装置100的lfnst标识符编码单元101在步骤s101中导出lfnst标识符的编码条件condition。例如，在应用《1.lfnst标识符的信令模式》中描述的方法1的情况下，lfnst标识符编码单元101在图像编码中的有效分量中的至少一个分量的变换跳过标志为真的情况下，省略对二次变换控制信息的编码，二次变换控制信息是与二次变换相关的控制信息；并且在图像编码中的有效分量中的所有分量的变换跳过标志为假的情况下，对二次变换控制信息进行编码。例如，lfnst标识符编码单元101导出图5所示的变量nontsused，并且使用导出的变量nontsused导出图5所示的编码条件condition。
[0170]
注意，lfnst标识符编码单元101可以导出图7所示的变量tsused，并且使用导出的变量tsused导出图7所示的编码条件condition。此外，lfnst标识符编码单元101可以应用方法2至4中的任何一个来导出编码条件condition。
[0171]
在步骤s102中，lfnst标识符编码单元101确定是否满足编码条件condition。即，lfnst标识符编码单元101确定在步骤s101中导出的编码条件condition是否为真。在确定编码条件condition为真的情况下，处理进行到步骤s103。
[0172]
在步骤s103中，lfnst标识符编码单元101对lfnst标识符(lfnst_idx)进行编码以生成比特流。即，在满足编码条件condition的情况下，lfnst标识符编码单元101对lfnst标识符(lfnst_idx)进行编码以生成比特流。例如，该比特流经由通信介质提供给解码器。此外，该比特流可以被存储在存储介质中。当步骤s103中的处理结束时，编码处理结束。
[0173]
此外，在步骤s102中，在确定在步骤s101中导出的编码条件condition为假的情况下，处理进行到步骤s104。
[0174]
在步骤s104中，lfnst标识符编码单元101跳过(省略)对lfnst标识符(lfnst_idx)的编码。即，在不满足编码条件condition的情况下，lfnst标识符编码单元101跳过对lfnst标识符(lfnst_idx)的编码。即，在这种情况下，不生成lfnst标识符的比特流(即，没有用信令通知lfnst标识符)。当步骤s104中的处理结束时，编码处理结束。
[0175]
通过以这种方式执行编码处理，在应用方法1至4中的任何方法的任何情况下，lfnst标识符编码单元101可以在树类型是双树色度(dual_tree_chroma)并且图像的cb分量和cr分量二者的变换跳过标志都为真的情况下跳过lfnst标识符的信令。因此，编码装置100可以抑制编码效率的降低。
[0176]
《补充》
[0177]
注意，编码装置100(lfnst标识符编码单元101)可以对任意二次变换标识符(任意二次变换控制信息)而不是lfnst标识符的示例进行编码。即，二次变换不限于lfnst，并且可以是任意系数变换。此外，可以适当地组合和应用上述方法1至4中的一些或全部。
[0178]
《3.第二实施方式》
[0179]
《解码装置》
[0180]
图13是示出作为应用本技术的图像处理装置的一种模式的解码装置的配置的示例的框图。图13所示的解码装置200是对lfnst标识符(lfnst_idx)的比特流(编码数据)进行解码的装置。解码装置200通过应用与编码装置100的编码方法对应的解码方法(例如，cabac)来执行解码。例如，解码装置200对由编码装置100生成的比特流进行解码。
[0181]
注意，图13示出了主要处理单元、数据流等，并且图13中示出的那些不一定是全
部。即，在解码装置200中，可以存在未示为图13中的块的处理单元，或者存在未示为图13中的箭头等的处理或数据流。
[0182]
如图13所示，解码装置200包括lfnst标识符解码单元201。
[0183]
lfnst标识符解码单元201执行与lfnst标识符的解码相关的处理。例如，lfnst标识符解码单元201从外部获取比特流。lfnst标识符解码单元201对所获取的比特流进行解码以生成lfnst标识符(lfnst_idx)。lfnst标识符解码单元201将生成的lfnst标识符输出到解码装置200的外部。lfnst标识符例如经由通信介质等被发送到解码侧(解码器)，或者被存储在存储介质中。
[0184]
此外，lfnst标识符解码单元201获取要用于关于lfnst标识符的解码的各种参数。例如，lfnst标识符解码单元201获取诸如treetype、transform_skip_flag[0]、transform_skip_flag[1]、transform_skip_flag[2]、lfnstwidth、lfnstheight、sps_lfnst_enabled_flag、intra_mip_flag、cbwidth、cbheight、intrasubpartitionflagtype、lfnstdconly和lfnstzerooutsigcoefflag之类的参数。这些参数是上述非专利文献(例如，非专利文献1)中描述的参数。
[0185]
这些参数在编码器(例如，编码装置100)中被编码并且作为比特流被提供(即，用信令通知)。解码装置200获取比特流并且对比特流进行解码以生成这些参数。注意，该解码可以由lfnst标识符解码单元201外部的解码单元(未示出)执行，或者可以由lfnst标识符解码单元201执行。
[0186]
然后，lfnst标识符解码单元201使用这些参数控制如《1.lfnst标识符的信令模式》中所述的对lfnst标识符(lfnst_idx)的解码。
[0187]
例如，lfnst标识符解码单元201通过应用上述方法1来控制lfnst标识符的解码。即，lfnst标识符解码单元201在图像解码中的有效分量中的至少一个分量的变换跳过标志为真的情况下，省略与二次变换控制信息相关的解码，并且估计二次变换控制信息的值是指示二次变换的跳过的预定值，二次变换控制信息是与二次变换相关的控制信息；并且在图像解码中的有效分量中的所有分量的变换跳过标志为假的情况下，对比特流进行解码以生成二次变换控制信息。
[0188]
例如，lfnst标识符解码单元201根据图4所示的语法表控制lfnst标识符的解码。注意，lfnst标识符解码单元201可以根据图6所示的语法表控制lfnst标识符的解码。根据这些语法表，lfnst标识符解码单元201可以根据树类型和变换跳过标志来控制lfnst标识符的解码，如图3所示的语法表。每种树类型中的控制方法如上文在《1.lfnst标识符的信令模式》中所述。
[0189]
注意，lfnst标识符解码单元201可以通过应用上述方法2来控制lfnst标识符的解码。即，当图像解码中的有效分量中的所有分量的变换跳过标志为真时，lfnst标识符解码单元201可以省略与二次变换控制信息相关的解码，并且估计二次变换控制信息的值为“0”。此外，当图像解码中的有效分量中的至少一个分量的变换跳过标志为假时，lfnst标识符解码单元201可以执行关于二次变换控制信息的解码。
[0190]
如此，lfnst标识符解码单元201可以根据树类型和变换跳过标志来控制lfnst标识符的解码，如图8所示的表格所示。每种树类型中的控制方法如上文《1.lfnst标识符的信令模式》中所述。
[0191]
此外，lfnst标识符解码单元201可以通过应用上述方法3来控制lfnst标识符的解码。即，在图像解码的树类型是双树色度的情况下，lfnst标识符解码单元201可以在双树色度中的有效分量中的所有分量的变换跳过标志为真的情况下跳过(省略)二次变换控制信息的解码，并且估计二次变换控制信息的值为“0”。此外，当图像解码中的有效分量中的至少一个分量的变换跳过标志为假时，lfnst标识符解码单元201可以执行关于二次变换控制信息的解码。
[0192]
如此，lfnst标识符解码单元201可以根据树类型和变换跳过标志来控制lfnst标识符的解码，如图9所示的表格所示。每种树类型中的控制方法如上文《1.lfnst标识符的信令模式》中所述。
[0193]
此外，lfnst标识符解码单元201可以通过应用上述方法4来控制lfnst标识符的解码。即，在图像解码的树类型是双树色度的情况下，在双树色度中的有效分量中的至少一个分量的变换跳过标志为真的情况下，lfnst标识符解码单元201可以省略对二次变换控制信息的解码，并且估计二次变换控制信息的值为“0”。此外，当所有分量的变换跳过标志为假时，可以执行关于二次变换控制信息的解码。
[0194]
如此，lfnst标识符解码单元201可以根据树类型和变换跳过标志来控制lfnst标识符的解码，如图10所示的表格所示。每种树类型中的控制方法如上文《1.lfnst标识符的信令模式》中所述。
[0195]
在应用方法1至4中的任何方法的任何情况下，在树类型为双树色度(dual_tree_chroma)并且图像的cb分量和cr分量二者的变换跳过标志都为真的情况下，lfnst标识符解码单元201可以跳过对lfnst标识符的解码。因此，解码装置200可以抑制编码效率的降低。
[0196]
《解码处理的流程》
[0197]
接下来，将参照图14中的流程图来描述在解码装置200中执行的解码处理的流程的示例。
[0198]
当解码处理开始时，解码装置200的lfnst标识符解码单元201在步骤s201中导出lfnst标识符的解码条件condition。例如，在应用《1.lfnst标识符的信令模式》中描述的方法1的情况下，在图像解码中的有效分量中的至少一个分量的变换跳过标志为真的情况下，lfnst标识符解码单元201省略与二次变换控制信息相关的解码，二次变换控制信息是与二次变换相关的控制信息，并且在图像解码中的有效分量中的所有分量的变换跳过标志为假的情况下对二次变换控制信息进行解码。例如，lfnst标识符解码单元201导出图5所示的变量nontsused，并且使用导出的变量nontsused导出图5所示的解码条件condition。
[0199]
注意，lfnst标识符解码单元201可以导出图7所示的变量tsused，并且使用导出的变量tsused导出图7所示的解码条件condition。此外，lfnst标识符解码单元201可以应用方法2至4中的任何一个来导出解码条件condition。
[0200]
在步骤s202中，lfnst标识符解码单元201确定是否满足解码条件condition。即，lfnst标识符解码单元201确定在步骤s201中导出的解码条件condition是否为真。在确定解码条件condition为真的情况下，处理进行到步骤s203。
[0201]
在步骤s203中，lfnst标识符解码单元201对比特流进行解码以生成lfnst标识符(lfnst_idx)。即，在满足解码条件condition的情况下，lfnst标识符解码单元201对比特流进行解码以生成lfnst标识符(lfnst_idx)。当步骤s203中的处理结束时，解码处理结束。
[0202]
此外，在步骤s202中，在确定在步骤s201中导出的解码条件condition为假的情况下，处理进行到步骤s204。
[0203]
在步骤s204中，lfnst标识符解码单元201跳过(省略)对lfnst标识符(lfnst_idx)的解码。即，在不满足解码条件condition的情况下，lfnst标识符解码部201跳过对lfnst标识符(lfnst_idx)的解码，并且估计lfnst标识符的值为“0”(lfnst_idx＝0)。当步骤s204中的处理结束时，解码处理结束。
[0204]
通过以这种方式执行解码处理，在应用方法1至4中的任何方法的任何情况下，当树类型是双树色度(dual_tree_chroma)并且cb分量和cr分量二者的变换跳过标志都为真时，lfnst标识符解码单元201可以跳过对lfnst标识符的解码。因此，解码装置200可以抑制编码效率的降低。
[0205]
《补充》
[0206]
注意，解码装置200(lfnst标识符解码单元201)可以对任意二次变换标识符(任意二次变换控制信息)而不是lfnst标识符的示例进行解码。即，逆二次变换不限于lfnst的逆处理，并且可以是任何逆系数变换。此外，可以适当地组合和应用上述方法1至4中的一些或全部。
[0207]
《4.第三实施方式》
[0208]
《图像编码装置》
[0209]
图15是示出作为了应用本技术的图像处理装置的一个模式的图像编码装置的配置的示例的框图。图15中示出的图像编码装置300是对运动图像的图像数据进行编码的装置。例如，图像编码装置300可以通过在任一非专利文献中描述的编码方法对运动图像的图像数据进行编码。
[0210]
注意，图15示出了主要处理单元(块)、数据流等，并且图15中示出的那些不一定是全部。即，在图像编码装置300中，可以存在未被示出为图15中的块的处理单元或者未被示出为图15中的箭头等的处理或数据流。
[0211]
如图15所示，图像编码装置300包括控制单元301、重排缓冲器311、计算单元312、正交变换单元313、量化单元314、编码单元315、累积缓冲器316、逆量化单元317、逆正交变换单元318、计算单元319、环内滤波器单元320、帧存储器321、预测单元322和速率控制单元323。
[0212]
《控制单元》
[0213]
控制单元301基于外部处理单元或预先指定的处理单元中的块大小，将由重排缓冲器311保持的运动图像数据划分为处理单元中的块(cu、pu、变换块等)。此外，控制单元301基于例如率失真优化(rdo)来确定要提供给每个块的编码参数(报头信息hinfo、预测模式信息pinfo、变换信息tinfo、滤波器信息finfo等)。
[0214]
下面将描述这些编码参数的细节。在确定上述编码参数之后，控制单元301将编码参数提供给每个块。具体地，编码参数如下。
[0215]
报头信息hinfo被提供给每个块。
[0216]
预测模式信息pinfo被提供给编码单元315和预测单元322。
[0217]
变换信息tinfo被提供给编码单元315、正交变换单元313、量化单元314、逆量化单元317和逆正交变换单元318。
[0218]
滤波器信息finfo被提供给环内滤波器单元320。
[0219]
《重排缓冲器》
[0220]
运动图像数据的每个字段(输入图像)按再现顺序(显示顺序)被输入至图像编码装置300。重排缓冲器311以其再现顺序(显示顺序)获取并且保持(存储)每个输入图像。重排缓冲器311基于控制单元301的控制以编码顺序(解码顺序)重排输入图像，或者将输入图像划分为处理单元中的块。重排缓冲器311将经处理的输入图像提供给计算单元312。此外，重排缓冲器311还将输入图像(原始图像)提供给预测单元322和环内滤波器单元320。
[0221]
《计算单元》
[0222]
计算单元312接收与处理单元中的块对应的图像i以及从预测单元322提供的预测图像p作为输入，如以下表达式所示，从图像i中减去预测图像p以导出预测残差d，并且将预测残差d提供给正交变换单元313。
[0223]
d＝i-p
[0224]
《正交变换单元》
[0225]
正交变换单元313执行关于系数变换的处理。例如，正交变换单元313获取从计算单元312提供的预测残差d。此外，正交变换单元313获取从控制单元301提供的变换信息tinfo。
[0226]
正交变换单元313基于变换信息tinfo对预测残差d执行正交变换，以导出变换系数coeff。例如，正交变换单元313对预测残差d执行一次变换，以生成一次变换系数，并且对一次变换系数执行二次变换，以生成二次变换系数。正交变换单元313将获得的二次变换系数作为变换系数coeff提供给量化单元314。
[0227]
注意，正交变换是系数变换的示例，并且不限于该示例。即，正交变换单元313可以对预测残差d执行任意系数变换。另外，正交变换单元313可以执行任意系数变换作为一次变换和二次变换。
[0228]
《量化单元》
[0229]
量化单元314执行关于量化的处理。例如，量化单元314获取从正交变换单元313提供的变换系数coeff。此外，量化单元314获取从控制单元301提供的变换信息tinfo。此外，量化单元314基于变换信息tinfo来缩放(量化)变换系数coeff。注意，这种量化方法是任意的。此外，该量化的速率由速率控制单元323控制。量化单元314将通过量化而获得的量化变换系数(即，量化变换系数级别level)提供给编码单元315和逆量化单元317。
[0230]
《编码单元》
[0231]
编码单元315执行关于编码的处理。例如，编码单元315获取从量化单元314提供的量化变换系数级别level。此外，编码单元315获取从控制单元301提供的各种编码参数(报头信息hinfo、预测模式信息pinfo、变换信息tinfo、滤波器信息finfo等)。此外，编码单元315获取从环内滤波器单元320提供的关于滤波器的信息(例如，滤波器系数)。此外，编码单元315获取从预测单元322提供的关于最佳预测模式的信息作为输入。
[0232]
编码单元315对经量化的变换系数级别level执行可变长度编码(例如算术编码)，以生成比特串(编码数据)。此外，编码单元315从量化变换系数级别level导出残差信息rinfo，并且对残差信息rinfo进行编码以生成位串。
[0233]
编码单元315包括从环内滤波器单元320提供到滤波器信息finfo中的关于滤波器
的信息。此外，编码单元315包括从预测单元322提供到预测模式信息pinfo中的关于最佳预测模式的信息。然后，编码单元315对上述各种编码参数(报头信息hinfo、预测模式信息pinfo、变换信息tinfo、滤波器信息finfo等)进行编码以生成位串。
[0234]
编码单元315对如上所述的那样生成的各种类型的信息的位串进行复用，以生成编码数据。编码单元315将编码数据提供给累积缓冲器316。
[0235]
《累积缓冲器》
[0236]
累积缓冲器316临时存储由编码单元315获得的编码数据。累积缓冲器316在预定定时处将存储的编码数据作为比特流等输出至图像编码装置300的外部。例如，编码数据经由任意记录介质、任意传输介质、任意信息处理装置等被发送至解码侧。即，累积缓冲器316也是发送编码数据(比特流)的传输单元。
[0237]
《逆量化单元》
[0238]
逆量化单元317执行关于逆量化的处理。例如，逆量化单元317获取从量化单元314提供的量化变换系数级别level。此外，逆量化单元317获取从控制单元301提供的变换信息tinfo。
[0239]
逆量化单元317基于变换信息tinfo对量化变换系数级别level的值进行缩放(逆量化)。注意，逆量化是在量化单元314中执行的量化的逆处理。逆量化单元317将通过逆量化而获得的变换系数coeff_iq提供给逆正交变换单元318。
[0240]
《逆正交变换单元》
[0241]
逆正交变换单元318执行关于逆正交变换的处理。例如，逆正交变换单元318获取从逆量化单元317提供的变换系数coeff_iq。此外，逆正交变换单元318获取从控制单元301提供的变换信息tinfo。
[0242]
逆正交变换单元318基于变换信息tinfo对变换系数coeff_iq执行逆正交变换，以导出预测残差d'。注意，逆正交变换是在正交变换单元313中执行的正交变换的逆处理。例如，逆正交变换单元318对变换系数coeff_iq(二次变换系数)执行逆二次变换以生成一次变换系数。此外，逆正交变换单元318对一次变换系数执行逆一次变换，以生成预测残差d'。注意，逆二次变换是由正交变换单元313执行的二次变换的逆处理。此外，逆一次变换是在正交变换单元313中执行的一次变换的逆处理。
[0243]
逆正交变换单元318将通过逆正交变换而获得的预测残差d'提供给计算单元319。注意，由于逆正交变换单元318类似于解码侧的逆正交变换单元(将在下面描述)，因此可以将针对解码侧给出的描述(将在下面描述)应用于逆正交变换单元318
[0244]
《计算单元》
[0245]
计算单元319使用从逆正交变换单元318提供的预测残差d'以及从预测单元322提供的预测图像p作为输入。计算单元319将预测残差d'和与预测残差d'对应的预测图像p相加，以导出局部解码图像rlocal。计算单元319将导出的局部解码图像rlocal提供给环内滤波器单元320和帧存储器321。
[0246]
《环内滤波器单元》
[0247]
环内滤波器单元320执行关于环内滤波处理的处理。例如，环内滤波器单元320使用从计算单元319提供的局部解码图像rlocal、从控制单元301提供的滤波器信息finfo、以及从重排缓冲器311提供的输入图像(原始图像)作为输入。注意，输入至环内滤波器单元
320的信息是任意的，并且可以输入除了前述信息之外的信息。例如，根据需要，可以将诸如预测模式、运动信息、代码量目标值、量化参数qp、图片类型和块(cu、ctu等)等的信息输入至环内滤波器单元320。
[0248]
环内滤波器单元320基于滤波器信息finfo适当地对局部解码图像rlocal执行滤波处理。环内滤波器单元320还使用输入图像(原始图像)和其他输入信息，用于根据需要进行滤波处理。
[0249]
例如，环内滤波器单元320按双边滤波器、去块滤波器(dbf)、自适应偏移滤波器(采样自适应偏移(sao))和自适应环路滤波器(alf)的顺序应用这四个环内滤波器。注意，应用哪个滤波器以及以哪个顺序应用滤波器是任意的，并且可以适当地选择
[0250]
当然，由环内滤波器单元320执行的滤波处理是任意的，并且不限于以上示例。例如，环内滤波器单元320可以应用维纳(wiener)滤波器等
[0251]
环内滤波器单元320将经滤波的局部解码图像rlocal提供给帧存储器321。注意，在将诸如滤波器系数的关于滤波器的信息发送至解码侧的情况下，环内滤波器单元320将关于滤波器的信息提供给编码单元315
[0252]
《帧存储器》
[0253]
帧存储器321执行与关于图像的数据的存储相关的处理。例如，帧存储器321使用从计算单元319提供的局部解码图像rlocal以及从环内滤波器单元320提供的经滤波的局部解码图像rlocal作为输入，并且保持(存储)这些输入。此外，帧存储器321使用局部解码图像rlocal重建并且保持每个图片单元的解码图像r(将解码图像r存储在帧存储器321的缓冲器中)。帧存储器321响应于来自预测单元322的请求将解码图像r(或其一部分)提供给预测单元322。
[0254]
《预测单元》
[0255]
预测单元322执行关于预测图像的生成的处理。例如，预测单元322获取从控制单元301提供的预测模式信息pinfo。此外，预测单元322获取从重排缓冲器311提供的输入图像(原始图像)。此外，预测单元322获取从帧存储器321读取的解码图像r(或其一部分)。
[0256]
预测单元322使用预测模式信息pinfo和输入图像(原始图像)执行诸如帧间预测或帧内预测的预测处理。即，预测单元322将解码图像r作为参考图像来执行预测，基于预测结果来执行运动补偿处理，并且生成预测图像p。
[0257]
预测单元322将生成的预测图像p提供给计算单元312和319。此外，预测单元322根据需要将通过以上处理而选择的预测模式(即，关于最佳预测模式的信息)提供给编码单元315。
[0258]
《速率控制单元》
[0259]
速率控制单元323执行关于速率控制的处理。例如，速率控制单元323基于在累积缓冲器316中累积的编码数据的代码量来控制量化单元314的量化操作的速率，使得不会发生上溢或下溢。
[0260]
《lfnst标识符的编码控制》
[0261]
《1.lfnst标识符的信令模式》中描述的本技术可以应用于具有以上配置的图像编码装置300。
[0262]
例如，正交变换单元313执行lfnst作为二次变换，并且将lfnst标识符(lfnst_
idx)作为二次变换控制信息(二次变换标识符)提供给编码单元315(箭头331)。注意，正交变换单元313还将lfnst标识符(lfnst_idx)提供给逆正交变换单元318(箭头332)。
[0263]
编码单元315包括编码装置100(图11)的lfnst标识符编码单元101。lfnst标识符编码单元101获取从正交变换单元313提供的lfnst标识符。lfnst标识符编码单元101对获取的lfnst标识符进行编码以生成比特串。编码单元315将生成的比特串与另一信息的比特串复用以生成编码数据。编码单元315将编码数据提供给累积缓冲器316。
[0264]
此外，lfnst标识符编码单元101获取用于控制如图11所示的lfnst标识符的编码的各种参数，这些参数作为变换信息tinfo从控制单元301提供。例如，lfnst标识符编码单元101获取诸如treetype、transform_skip_flag[0]、transform_skip_flag[1]、transform_skip_flag[2]、lfnstwidth、lfnstheight、sps_lfnst_enabled_flag、intra_mip_flag、cbwidth、cbheight、intrasubpartitionsplittype、lfnstdconly和lfnstzerooutsigcoefflag之类的参数。这些参数是上述非专利文献(例如，非专利文献1)中描述的参数。
[0265]
然后，lfnst标识符编码单元101(即，编码单元315)使用这些参数控制lfnst标识符(lfnst_idx)的编码(信令)，如《1.lfnst标识符的信令模式》中所述。
[0266]
例如，编码单元315通过应用上述方法1来控制lfnst标识符的编码。即，编码单元315在图像编码中的有效分量中的至少一个分量的变换跳过标志为真的情况下省略对二次变换控制信息的编码，二次变换控制信息是与二次变换相关的控制信息，并且在图像编码中的有效分量中的所有分量的变换跳过标志为假的情况下，对二次变换控制信息进行编码。
[0267]
例如，编码单元315根据图4所示的语法表控制lfnst标识符的编码。注意，编码单元315可以根据图6所示的语法表控制lfnst标识符的编码。根据这些语法表，编码单元315可以根据树类型和变换跳过标志来控制lfnst标识符的编码，如图3所示的表格所示。每种树类型中的控制方法如上文《1.lfnst标识符的信令模式》中所述。
[0268]
注意，编码单元315可以通过应用上述方法2来控制lfnst标识符的编码。即，编码单元315可以在图像编码中的有效分量中的所有分量的变换跳过标志为真的情况下省略对二次变换控制信息的编码，并且在图像编码中的有效分量中的至少一个分量的变换跳过标志为假的情况下，对二次变换控制信息进行编码。
[0269]
如此，编码单元315可以根据树类型和变换跳过标志来控制lfnst标识符的编码，如图8所示的表格所示。每种树类型中的控制方法如上文《1.lfnst标识符的信令模式》中所述。
[0270]
此外，编码单元315可以通过应用上述方法3来控制lfnst标识符的编码。例如，在图像编码的树类型是双树色度的情况下，编码单元315可以在双树色度中的有效分量中所有分量的变换跳过标志为真的情况下省略对二次变换控制信息的编码，并且在双树色度中的有效分量中的至少一个分量的变换跳过标志为假的情况下对二次变换控制信息进行编码。
[0271]
如此，编码单元315可以根据树类型和变换跳过标志来控制lfnst标识符的编码，如图9所示的表格所示。每种树类型中的控制方法如上文《1.lfnst标识符的信令模式》中所述。
[0272]
此外，编码单元315可以通过应用上述方法4来控制lfnst标识符的编码。例如，在图像编码的树类型是双树色度的情况下，编码单元315可以在双树色度中的有效分量中的至少一个分量的变换跳过标志为真的情况下省略对二次变换控制信息的编码，并且在双树色度中的有效分量中的所有分量的变换跳过标志为假的情况下对二次变换控制信息进行编码。
[0273]
如此，编码单元315可以根据树类型和变换跳过标志来控制lfnst标识符的编码，如图10所示的表格所示。每种树类型中的控制方法如上文《1.lfnst标识符的信令模式》中所述。
[0274]
在应用方法1至4中的任何方法的任何情况下，在树类型为双树色度(dual_tree_chroma)并且图像的cb分量和cr分量二者的变换跳过标志都为真的情况下，编码单元315可以跳过lfnst标识符的信令。因此，图像编码装置300可以抑制编码效率的降低。
[0275]
《配置示例》
[0276]
注意，这些处理单元(控制单元301，以及重排缓冲器311至速率控制单元323)具有任意配置。例如，每个处理单元可以由实现上述处理的逻辑电路配置而成。此外，每个处理单元可以包括例如cpu、rom、ram等，并且通过使用上述资源执行程序来实现上述处理。当然，每个处理单元可以具有这两种配置并且通过逻辑电路实现上述处理的一部分并且通过执行程序来实现其他处理。处理单元的配置可以彼此独立。例如，一些处理单元可以通过逻辑电路来实现上述处理的一部分，一些处理单元可以通过执行程序来实现上述处理，而一些处理单元可以通过逻辑电路和程序的执行二者来实现上述处理。
[0277]
《图像编码处理的流程》
[0278]
接下来，将参照图16的流程图描述由具有以上配置的图像编码装置300执行的的流程的示例。
[0279]
当图像编码处理开始时，在步骤s301中，重排缓冲器311由控制单元301控制，并且将输入的运动图像数据的帧从显示顺序重排成编码顺序。
[0280]
在步骤s302中，控制单元301设置用于由重排缓冲器311保持的输入图像的处理单元(执行块划分)。
[0281]
在步骤s303中，控制单元301确定(设置)由重排缓冲器311保持的输入图像的编码参数。
[0282]
在步骤s304中，预测单元322执行预测处理，并且生成最佳预测模式的预测图像等。例如，在预测处理中，预测单元322执行帧内预测，以生成最佳帧内预测模式的预测图像，执行帧间预测以生成最佳帧间预测模式的预测图像，并且基于成本函数值等从预测图像中选择最佳预测模式。
[0283]
在步骤s305中，计算单元312计算输入图像与在步骤s304中通过预测处理选择的最佳模式的预测图像之间的差。即，计算单元312生成输入图像与预测图像之间的预测残差d。以此方式获得的预测残差d与原始图像数据相比减了少数据量。因此，与按原样对图像进行编码的情况相比，可以压缩数据量。
[0284]
在步骤s306中，正交变换单元313对通过步骤步骤s305中的处理生成的预测残差d执行正交变换处理，以导出变换系数coeff。例如，正交变换单元313对预测残差d执行一次变换，以生成一次变换系数，并且对一次变换系数执行二次变换，以生成二次变换系数(变
换系数coeff)。
[0285]
在步骤s307中，量化单元314通过使用由控制单元301等计算的量化参数来量化通过步骤s306中的处理而获得的变换系数coeff，以导出量化变换系数级别level。
[0286]
在步骤s308中，逆量化单元317利用与步骤s308中的量化的特性对应的特性，对通过步骤s307中的处理而生成的量化变换系数级别level进行逆量化，以导出变换系数coeff_iq。
[0287]
在步骤s309中，逆正交变换单元318通过与步骤s306中的正交变换处理对应的方法对通过步骤s308中的处理获得的变换系数coeff_iq进行逆正交变换，以导出预测残差d'。例如，逆正交变换单元318对变换系数coeff_iq(二次变换系数)执行逆二次变换，以生成一次变换系数。此外，逆正交变换单元318对一次变换系数执行逆一次变换，以生成预测残差d'。
[0288]
注意，该逆正交变换处理类似于在解码侧执行的逆正交变换处理。因此，下面要描述的解码侧的描述可以应用于步骤s309的逆正交变换处理。
[0289]
在步骤s310中，计算单元319将通过步骤s304中的预测处理而获得的预测图像与通过步骤s309中的处理导出的预测残差d'相加，以生成局部解码图像。
[0290]
在步骤s311中，环内滤波器单元320对通过步骤s310中的处理导出的局部解码图像执行环内滤波处理。
[0291]
在步骤s312中，帧存储器321存储通过步骤s301中的处理导出的局部解码图像以及在步骤s311中经滤波的局部解码图像。
[0292]
在步骤s313中，编码单元315对通过步骤s307中的处理而获得的量化变换系数级别level进行编码。例如，编码单元315通过算术编码等对作为关于图像的信息的量化变换系数级别level进行编码，以生成编码数据。此外，此时，编码单元315对各种编码参数(报头信息hinfo、预测模式信息pinfo和变换信息tinfo)进行编码。此外，编码单元315从量化变换系数级别level导出残差信息rinfo，并且对残差信息rinfo进行编码。
[0293]
在步骤s314中，累积缓冲器316累积由此获得的编码数据，并且将编码数据例如作为比特流输出至图像编码装置300的外部。例如，比特流经由传输路径或记录介质被发送至解码侧。此外，速率控制单元323根据需要执行速率控制。
[0294]
当步骤s314中的处理结束时，图像编码处理结束。
[0295]
《lfnst标识符的编码控制》
[0296]
《1.lfnst标识符的信令模式》中描述的本技术可以应用于具有上述流程的图像编码处理。
[0297]
例如，在步骤s306中，正交变换单元313执行lfnst作为二次变换。正交变换单元313生成lfnst标识符(lfnst_idx)作为用于二次变换(lfnst)的二次变换控制信息(二次变换标识符)。
[0298]
在步骤s313中，编码单元315(的lfnst标识符编码单元101)对lfnst标识符进行编码。此时，编码单元315基于变换信息tinfo来控制lfnst标识符的编码。即，编码单元315执行图12的流程图所示的编码处理作为步骤s313的处理之一。
[0299]
例如，在步骤s101中，编码单元315基于变换信息tinfo中包括的上述各种参数，导出lfnst标识符的编码条件condition。在步骤s102中，编码单元315确定是否满足编码条件
condition。在确定编码条件condition为真的情况下，编码单元315在步骤s103中对lfnst标识符进行编码以生成比特串。编码单元315将生成的比特串与另一信息的比特串复用以生成编码数据。即，在这种情况下，用信令通知lfnst标识符。
[0300]
此外，在步骤s102中，在确定在步骤s101中导出的编码条件condition为假的情况下，编码单元315在步骤s104中跳过(省略)对lfnst标识符的编码。即，在这种情况下，不生成lfnst标识符的比特串。即，没有用信令通知lfnst标识符。
[0301]
在如上所述的编码处理中，编码单元315(编码单元315的lfnst标识符编码单元101)应用例如上文《1.lfnst标识符的信令模式》中描述的方法1。即，编码单元315在图像编码中的有效分量中的至少一个分量的变换跳过标志为真的情况下省略对二次变换控制信息的编码，二次变换控制信息是与二次变换相关的控制信息，并且在图像编码中的有效分量中的所有分量的变换跳过标志为假的情况下对二次变换控制信息进行编码。
[0302]
在这种情况下，在步骤s101中，编码单元315导出图5所示的变量nontsused，并且使用导出的变量nontsused导出图5所示的编码条件condition。注意，编码单元315可以导出图7所示的变量tsused，并且使用导出的变量tsused导出图7所示的编码条件condition。此外，编码单元315可以应用方法2至4中的任何一个来导出编码条件condition。
[0303]
通过以这种方式执行图像编码处理，在应用方法1至4中的任何方法的任何情况下，编码单元315可以在树类型是双树色度(dual_tree_chroma)并且图像的cb分量和cr分量二者的变换跳过标志为真时跳过lfnst标识符的信令。因此，图像编码装置300可以抑制编码效率的降低。
[0304]
《补充》
[0305]
注意，图像编码装置300可以应用任意系数变换作为二次变换。因此，编码单元315可以对任意二次变换标识符(任意二次变换控制信息)而不是lfnst标识符的示例进行编码。此外，可以适当地组合和应用上述方法1至4中的一些或全部。
[0306]
《5.第四实施方式》
[0307]
《图像解码装置》
[0308]
图17是示出作为应用了本技术的图像处理装置的一个模式的图像解码装置的配置的示例的框图。图17中示出的图像解码装置400是对运动图像的编码数据进行编码的装置。例如，图像解码装置400可以通过上述任一非专利文献中描述的解码方法对编码数据进行解码。例如，图像解码装置400对由上述图像编码装置300生成的编码数据(比特流)进行解码。
[0309]
注意，图17示出了主要处理单元(块)、数据流等，并且图17中示出的那些不一定是全部。即，在图像解码装置400中，可以存在未示为图17中的块的处理单元，或者存在未示为图17中的箭头等的处理或数据流。
[0310]
在图17中，图像解码装置400包括累积缓冲器411、解码单元412、逆量化单元413、逆正交变换单元414、计算单元415、环内滤波器单元416、重排缓冲器417、帧存储器418和预测单元419。注意，预测单元419包括帧内预测单元和帧间预测单元(未示出)。图像解码装置400是通过对编码数据(比特流)进行解码来生成运动图像数据的装置。
[0311]
《累积缓冲器》
[0312]
累积缓冲器411获取输入至图像解码装置400的比特流，并且保持(存储)该比特
流。例如，累积缓冲器411在预定定时处或者在满足预定条件的情况下将累积的比特流提供给解码单元412。
[0313]
《解码单元》
[0314]
解码单元412执行用于对图像进行解码的处理。例如，解码单元412获取从累积缓冲器411提供的比特流。例如，解码单元412根据语法表的定义对来自比特串的每个语法元素的语法值执行可变长度解码，以导出参数。
[0315]
从语法元素和语法元素的语法值导出的参数例如包括诸如报头信息hinfo、预测模式信息pinfo、变换信息tinfo、残差信息rinfo和滤波器信息finfo的信息。即，解码单元412从比特流解析(分析和获取)这样的信息。这些信息将在下面描述。
[0316]
《报头信息hinfo》
[0317]
报头信息hinfo例如包括诸如视频参数集(vps)/序列参数集(sps)/图片参数集(pps)/切片报头(sh)的报头信息。报头信息hinfo例如包括定义以下各项的信息：图像大小(宽度picwidth和高度picheight)、位深度(亮度bitdepthy和色度bitdepthc)、色度阵列类型chromaarraytype、cu大小最大值maxcusize/最小值mincusize、四叉树划分的最大深度maxqtdepth/最小深度minqtdepth、二叉树划分的最大深度maxbtdepth/最小深度minbtdepth、变换跳过块的最大值maxtssize(也被称为最大变换跳过块大小)、每个编码工具的开/关标志(也被称为使能标志)等。
[0318]
例如，报头信息hinfo中包括的编码工具的开/关标志的示例包括与下面的变换和量化处理相关的开/关标志。注意，编码工具的开/关标志也可以被解释为指示与编码工具相关的语法是否存在于编码数据中的标志。此外，在开/关标志的值为1(真)的情况下，该值指示编码工具可用。在开/关标志的值为0(假)的情况下，该值指示编码工具不可用。注意，可以调换对标志值的解释。
[0319]
例如，报头信息hinfo可以包括分量间预测使能标志(ccp_enabled_flag)。分量间预测使能标志是指示分量间预测(跨分量预测(ccp))是否可用的标志信息，也称为cc预测)。例如，在标志信息为“1”(真)的情况下，标志信息指示分量间预测可用。在标志信息为“0”(假)的情况下，标志信息指示分量间预测不可用。
[0320]
注意，该ccp也被称为分量间线性预测(cclm或cclmp)。
[0321]
《预测模式信息pinfo》
[0322]
预测模式信息pinfo例如包括诸如要处理的预测块(pb)的大小信息pbsize(预测块大小)、帧内预测模式信息ipinfo和运动预测信息mvinfo的信息。
[0323]
帧内预测模式信息ipinfo例如包括jctvc-w1005的7.3.8.5编码单元语法(coding unit syntax)中的prev_intra_luma_pred_flag、mpm_idx和rem_intra_pred_mode、从该语法导出的亮度帧内预测模式intrapredmodey等。
[0324]
此外，帧内预测模式信息ipinfo例如可以包括分量间预测标志(ccp_flag(cclmp_flag))。分量间预测标志(ccp_flag(cclmp_flag))是指示是否应用分量间线性预测的标志信息。例如，ccp_flag＝＝1指示应用了分量间预测，并且ccp_flag＝＝0指示没有应用分量间预测。
[0325]
此外，帧内预测模式信息ipinfo可以包括多类线性预测模式标志(mclm_flag)。多类线性预测模式标志(mclm_flag)是关于线性预测模式的信息(线性预测模式信息)。更具
体地，多类线性预测模式标志(mclm_flag)是指示是否设置多类线性预测模式的标志信息。例如，“0”指示一类模式(单类别模式)(例如，cclmp)，“1”指示二类模式(多类别模式)(例如，mclmp)。
[0326]
此外，帧内预测模式信息ipinfo可以包括色度样本位置类型标识符(chroma_sample_loc_type_idx)。色度样本位置类型标识符(chroma_sample_loc_type_idx)是用于标识色度分量的像素位置的类型(也被称为色度样本位置类型)的标识符。例如，在作为关于颜色格式的信息的色度阵列类型(chromaarraytype)指示420格式的情况下，色度样本位置类型标识符按照以下表达式被分配。
[0327]
chroma_sample_loc_type_idx＝＝0：type2
[0328]
chroma_sample_loc_type_idx＝＝1：type3
[0329]
chroma_sample_loc_type_idx＝＝2：type0
[0330]
chroma_sample_loc_type_idx＝＝3：type1。
[0331]
注意，色度样本位置类型标识符(chroma_sample_loc_type_idx)作为(被存储在)关于色度分量的像素位置的信息(chroma_sample_loc_info())被发送(即，存储在关于色度分量的像素位置的信息中)。
[0332]
此外，帧内预测模式信息ipinfo可以包括色度mpm标识符(chroma_mpm_idx)。色度mpm标识符(chroma_mpm_idx)是指示色度帧内预测模式候选列表(intrapredmodecandlistc)中的哪个预测模式候选将被指定为色度帧内预测模式的标识符。
[0333]
此外，帧内预测模式信息ipinfo可以包括从这些语法导出的亮度帧内预测模式(intrapredmodec)。
[0334]
运动预测信息mvinfo例如包括诸如merge_idx、merge_flag、inter_pred_idc、ref_idx_lx、mvp_lx_flag、x＝{0,1}、mvd等的信息(例如，参见jctvc-w1005的7.3.8.6预测单元语法)。
[0335]
当然，预测模式信息pinfo中包括的信息是任意的，并且可以包括除了以上信息之外的信息。
[0336]
《变换信息tinfo》
[0337]
变换信息tinfo可以包括例如要处理的变换块的宽度大小tbwsize和高度tbhsize。注意，可以应用以2为底的对数值log2tbwsize来代替要处理的变换块的宽度大小tbwsize。此外，可以应用以2为底的对数值log2tbhsize来代替要处理的变换块的高度tbhsize。
[0338]
此外，变换信息tinfo可以包括变换跳过标志(transform_skip_flag(或ts_flag))。变换跳过标志是指示是否跳过系数变换(或逆系数变换)的标志。注意，可以针对y、cb和cr的每个分量(transform_skip_flag[0]、transform_skip_flag[1]和transform_skip_flag[2])用信令通知该变换跳过标志。
[0339]
此外，变换信息tinfo可以包括诸如扫描标识符(scanidx)、量化参数(qp)、量化矩阵(scaling_matrix(例如，jctvc-w1005，7.3.4缩放列表数据语法))之类的参数。
[0340]
当然，残差信息rinfo中包括的信息是任意的，并且可以包括除了以上信息之外的信息。
[0341]
《残差信息rinfo》
[0342]
残差信息rinfo(例如，参见jctvc-w1005的7.3.8.11残差编码语法)例如可以包括：残差数据存在/不存在标志(cbf(coded_block_flag))。此外，残差信息rinfo可以包括最后的非零系数x坐标(last_sig_coeff_x_pos)和最后的非零系数y坐标(last_sig_coeff_y_pos)。此外，残差信息rinfo可以包括子块非零系数存在/不存在标志(coded_sub_block_flag)和非零系数存在/不存在标志(sig_coeff_flag)。
[0343]
此外，残差信息rinfo可以包括作为指示非零系数的级别是否大于1的标志的gr1标志(gr1_flag)以及作为指示非零系数的级别是否大于2的标志的gr2标志(gr2_flag)。此外，残差信息rinfo可以包括作为指示非零系数的正负的符号的符号代码(sign_flag)。此外，残差信息rinfo可以包括作为非零系数的残差级别的非零系数残差级别(coeff_abs_level_remaining)。
[0344]
当然，残差信息rinfo中包括的信息是任意的，并且可以包括除了以上信息之外的信息。
[0345]
《滤波器信息finfo》
[0346]
滤波器信息finfo包括关于滤波处理的控制信息。例如，滤波器信息finfo可以包括关于去块滤波器(dbf)的控制信息。此外，滤波器信息finfo可以包括关于像素自适应偏移(sao)的控制信息。此外，滤波器信息finfo可以包括关于自适应环路滤波器(alf)的控制信息。此外，滤波器信息finfo可以包括关于其他线性滤波器和非线性滤波器的控制信息。
[0347]
例如，滤波器信息finfo可以包括应用了每个滤波器的图片和指定图片中的区域的信息。此外，滤波器信息finfo可以包括以cu为单位的滤波器开/关控制信息。此外，滤波器信息finfo可以包括关于切片或图片的边界的滤波器开/关控制信息。
[0348]
当然，滤波器信息finfo中包括的信息是任意的，并且可以包括除了以上信息之外的信息。
[0349]
返回解码单元412的描述。解码单元412参考残差信息rinfo，并且导出每个变换块中的每个系数位置处的量化变换系数级别。解码单元412将量化变换系数级别level提供给逆量化单元413。
[0350]
此外，解码单元412将经解析的报头信息hinfo、预测模式信息pinfo、量化变换系数级别level、变换信息tinfo和滤波器信息finfo提供给每个块。如下面给出具体描述。
[0351]
报头信息hinfo被提供给逆量化单元413、逆正交变换单元414、预测单元419和环内滤波器单元416。预测模式信息pinfo被提供给逆量化单元413和预测单元419。变换信息tinfo被提供给逆量化单元413和逆正交变换单元414。滤波器信息finfo被提供给环内滤波器单元416。
[0352]
当然，以上示例是示例，并且本实施方式不限于该示例。例如，可以将每个编码参数提供给任意处理单元。此外，可以将其他信息提供给任意处理单元。
[0353]
《逆量化单元》
[0354]
逆量化单元413执行关于逆量化的处理。例如，逆量化单元413获取从解码单元412提供的变换信息tinfo和量化变换系数级别level。此外，逆量化单元413基于变换信息tinfo对量化变换系数级别level的值进行缩放(逆量化)，以导出逆量化之后的变换系数coeff_iq。
[0355]
注意，作为由图像编码装置300的量化单元314进行的量化的逆处理来执行该逆量化。此外，逆量化是与由图像编码装置300的逆量化单元317执行的逆量化类似的处理。换言之，逆量化单元317执行与逆量化单元413类似的处理(逆量化)。
[0356]
逆量化单元413将导出的变换系数coeff_iq提供给逆正交变换单元414。
[0357]
《逆正交变换单元》
[0358]
逆正交变换单元414执行关于逆正交变换的处理。例如，逆正交变换单元414获取从逆量化单元413提供的变换系数coeff_iq。此外，逆正交变换单元414获取从解码单元412提供的变换信息tinfo。
[0359]
逆正交变换单元414基于变换信息tinfo对变换系数coeff_iq执行逆正交变换处理，以导出预测残差d'。例如，逆正交变换单元414对变换系数coeff_iq执行逆二次变换，以生成一次变换系数，并且对一次变换系数执行一次变换，图生成预测残差d'。
[0360]
注意，作为由图像编码装置300的正交变换单元313进行的正交变换的逆处理而执行该逆正交变换。此外，逆正交变换是与由图像编码装置300的逆正交变换单元318执行的逆正交变换类似的处理。换言之，逆正交变换单元318执行与逆正交变换单元414类似的处理(逆正交变换)。
[0361]
逆正交变换单元414将导出的预测残差d'提供给计算单元415。
[0362]
《计算单元》
[0363]
计算单元415执行与关于图像的信息的相加相关的处理。例如，计算单元415获取从逆正交变换单元414提供的预测残差d'。此外，计算单元415获取从预测单元419提供的预测图像p。计算单元415将预测残差d'和与预测残差d'对应的预测图像p(预测信号)相加，以导出局部解码图像rlocal，如以下表达式所示。
[0364]
rlocal＝d' p
[0365]
计算单元415将导出的局部解码图像rlocal提供给环内滤波器单元416和帧存储器418。
[0366]
《环内滤波器单元》
[0367]
环内滤波器单元416执行关于环内滤波处理的处理。例如，环内滤波器单元416获取从计算单元415提供的局部解码图像rlocal。此外，环内滤波器单元416获取从解码单元412提供的滤波器信息finfo。注意，输入至环内滤波器单元416的信息是是任意的，并且可以输入除了前述信息之外的信息。
[0368]
环内滤波器单元416基于滤波器信息finfo适当地对局部解码图像rlocal执行滤波处理。例如，环内滤波器单元416按双边滤波器、去块滤波器(dbf)、自适应偏移滤波器(采样自适应偏移(sao))和自适应环路滤波器(alf)的顺序应用这四个环内滤波器。注意，应用哪个滤波器以及以哪个顺序应用滤波器是任意的，并且可以适当地选择
[0369]
环内滤波器单元416执行与编码侧(例如，由图像编码装置300的环内滤波器单元320)执行的滤波处理对应的滤波处理。当然，由环内滤波器单元416执行的滤波处理是任意的，并且不限于以上示例。例如，环内滤波器单元416可以应用维纳(wiener)滤波器等。
[0370]
环内滤波器单元416将经滤波的局部解码图像rlocal提供给重排缓冲器417和帧存储器418。
[0371]
《重排缓冲器》
[0372]
重排缓冲器417接收从环内滤波器单元416提供的局部解码图像rlocal作为输入，并且保持(存储)局部解码图像rlocal。重排缓冲器417使用局部解码图像rlocal来重建每个图片单元的解码图像r，并且将解码图像r保持(存储)(在缓冲器中)。重排缓冲器417将获得的解码图像r从解码顺序重排成再现顺序。重排缓冲器417将经重排的解码图像r组输出至图像解码装置400的外部作为运动图像数据。
[0373]
《帧存储器》
[0374]
帧存储器418执行与关于图像的数据的存储相关的处理。例如，帧存储器418获取从计算单元415提供的局部解码图像rlocal。然后，帧存储器418使用局部解码图像rlocal来重建每个图片单元的重建解码图像r。帧存储器418将重建的解码图像r存储在帧存储器418中的缓冲器中。
[0375]
此外，帧存储器418获取从环内滤波器单元416提供的经环内滤波的局部解码图像rlocal。然后，帧存储器418使用经环内滤波的局部解码图像来重建每个图片单元的解码图像r。帧存储器418将重建的解码图像r存储在帧存储器418中的缓冲器中。
[0376]
此外，帧存储器418适当地将存储的解码图像r(或其一部分)作为参考图像提供给预测单元419。
[0377]
注意，帧存储器418可以存储与解码图像的生成相关的报头信息hinfo、预测模式信息pinfo、变换信息tinfo、滤波器信息finfo等。
[0378]
《预测单元》
[0379]
预测单元419执行关于预测图像的生成的处理。例如，预测单元419获取从解码单元412提供的预测模式信息pinfo。此外，预测单元419通过由预测模式信息pinfo指定的预测方法执行预测，以导出预测图像p。在导出时，预测单元419使用存储在帧存储器418中的解码图像r(或其一部分)作为参考图像，解码图像r由预测模式信息pinfo指定。解码图像r可以是滤波之前或滤波之后的图像。预测单元419将导出的预测图像p提供给计算单元415。
[0380]
《lfnst标识符的编码控制》
[0381]
《1.lfnst标识符的信令模式》中描述的本技术可以应用于具有以上配置的图像编码装置300。
[0382]
例如，逆正交变换单元414执行lfnst的逆处理作为逆二次变换。此时，逆正交变换单元414从解码单元412获取所提供的lfnst标识符(lfnst_idx)作为二次变换控制信息(二次变换标识符)(箭头431)。然后，逆正交变换单元414根据lfnst标识符执行逆二次变换。
[0383]
即，解码单元412将lfnst标识符(lfnst_idx)提供给逆正交变换单元414(箭头431)。解码单元412包括解码装置200(图13)的lfnst标识符解码单元201。例如，在用信令通知lfnst标识符的情况下，lfnst标识符解码单元201对比特流进行解码以生成lfnst标识符，并且将lfnst标识符提供给逆正交变换单元414。在没有用信令通知lfnst标识符的情况下，lfnst标识符解码单元201省略与lfnst标识符相关的解码，将其值估计为“0”，并且将具有值“0”的lfnst标识符提供给逆正交变换单元414。
[0384]
此时，lfnst标识符解码单元201基于用信令通知的变换信息tinfo来确定是否已经用信令通知了lfnst标识符(是否执行与lfnst标识符相关的解码)。例如，解码单元412对比特流进行解码以生成变换信息tinfo。lfnst标识符解码单元201获取与包括在变换信息tinfo中的lfnst标识符相关的用于解码的各种参数。例如，lfnst标识符解码单元201获取
诸如treetype、transform_skip_flag[0]、transform_skip_flag[1]、transform_skip_flag[2]、lfnstwidth、lfnstheight、sps_lfnst_enabled_flag、intra_mip_flag、cbwidth、cbheight、intrasubpartitionflagtype、lfnstdconly和lfnstzerooutsigcoefflag之类的参数。这些参数是上述非专利文献(例如，非专利文献1)中描述的参数。
[0385]
解码单元412通过对比特流进行解码来生成这些参数。然后，lfnst标识符解码单元201使用这些参数控制lfnst标识符(lfnst_idx)的解码，如上文《1.lfnst标识符的信令模式》中所述。
[0386]
例如，解码单元412通过应用上述方法1来控制lfnst标识符的解码。即，解码单元412在图像解码中的有效分量中的至少一个分量的变换跳过标志为真的情况下，省略与二次变换控制信息相关的解码，并且估计二次变换控制信息的值是指示二次变换的跳过的预定值，二次变换控制信息是与二次变换相关的控制信息，并且在图像解码中的有效分量中所有分量的变换跳过标志为假的情况，对比特流进行解码以生成二次变换控制信息。
[0387]
例如，解码单元412根据图4所示的语法表控制lfnst标识符的解码。注意，解码单元412可以根据图6所示的语法表控制lfnst标识符的解码。根据这些语法表，解码单元412可以根据树类型和变换跳过标志控制lfnst标识符的解码，如图3所示的表格所示。每种树类型中的控制方法如上文《1.lfnst标识符的信令模式》中所述。
[0388]
注意，解码单元412可以通过应用上述方法2来控制lfnst标识符的解码。即，当图像解码中的有效分量中的所有分量的变换跳过标志为真时，解码单元412可以省略与二次变换控制信息相关的解码，并且估计二次变换控制信息的值为“0”。此外，当图像解码中的有效分量中的至少一个分量的变换跳过标志为假时，解码单元412可以执行关于二次变换控制信息的解码。
[0389]
如此，解码单元412可以根据树类型和变换跳过标志来控制对lfnst标识符的解码，如图8所示的表格所示。每种树类型中的控制方法如上文《1.lfnst标识符的信令模式》中所述。
[0390]
此外，解码单元412可以通过应用上述方法3来控制lfnst标识符的解码。即，在图像解码的树类型是双树色度的情况下，在双树色度中的有效分量中的所有分量的变换跳过标志为真的情况下，解码单元412可以跳过(省略)对二次变换控制信息的解码，并且估计二次变换控制信息的值为“0”。此外，当图像解码中的有效分量中的至少一个分量的变换跳过标志为假时，解码单元412可以执行关于二次变换控制信息的解码。
[0391]
如此，解码单元412可以根据树类型和变换跳过标志来控制lfnst标识符的解码，如图9所示的表格所示。每种树类型中的控制方法如上文《1.lfnst标识符的信令模式》中所述。
[0392]
此外，解码单元412可以通过应用上述方法4来控制lfnst标识符的解码。即，在图像解码的树类型是双树色度的情况下，在双树色度中的有效分量中的至少一个分量的变换跳过标志为真的情况下，解码单元412可以省略对二次变换控制信息进行解码，并且估计二次变换控制信息的值为“0”。此外，当所有分量的变换跳过标志为假时，解码单元412可以执行关于二次变换控制信息的解码。
[0393]
如此，解码单元412可以根据树类型和变换跳过标志来控制lfnst标识符的解码，如图10所示的表格所示。每种树类型中的控制方法如上文《1.lfnst标识符的信令模式》中
所述。
[0394]
在应用方法1至4中的任何方法的任何情况下，在树类型为双树色度(dual_tree_chroma)并且图像的cb分量和cr分量二者的变换跳过标志都为真的情况下，解码单元412可以跳过对lfnst标识符的解码。因此，图像解码装置400可以抑制编码效率的降低。
[0395]
《配置示例》
[0396]
注意，这些处理单元(累积缓冲器411至预测单元419)具有任意配置。例如，每个处理单元可以由实现上述处理的逻辑电路配置而成。此外，每个处理单元可以包括例如cpu、rom、ram等，并且通过使用上述资源执行程序来实现上述处理。当然，每个处理单元可以具有这两种配置并且通过逻辑电路实现上述处理的一部分并且通过执行程序来实现其他处理。处理单元的配置可以彼此独立。例如，一些处理单元可以通过逻辑电路来实现上述处理的一部分，一些处理单元可以通过执行程序来实现上述处理，而一些处理单元可以通过逻辑电路和程序的执行二者来实现上述处理。
[0397]
图像解码处理的流程》
[0398]
接下来，将参照图18的流程图描述由具有以上配置的图像解码装置400执行的图像解码处理的流程的示例。
[0399]
当图像解码处理开始时，在步骤s401中，累积缓冲器411获取并保持(累积)从图像解码装置400的外部提供的编码数据(比特流)。
[0400]
在步骤s402中，解码单元412对编码数据(比特流)进行解码，以获得量化变换系数级别level。此外，解码单元412通过该解码从编码数据(比特流)解析(分析和获取)各种编码参数。
[0401]
在步骤s403中，逆量化单元413对通过步骤s402中的处理而获得的量化变换系数级别level执行逆量化以获得变换系数coeff_iq，该逆量化是在编码侧执行的量化的逆处理，。
[0402]
在步骤s404中，逆正交变换单元414对在s403中获得的变换系数coeff_iq执行逆正交变换处理以获得预测残差d'，该逆正交变换处理是在编码侧执行的正交变换处理的逆处理。例如，逆正交变换单元414对变换系数coeff_iq(二次变换系数)执行逆二次变换，以生成一次变换系数，并且对一次变换系数执行逆一次变换，以生成预测残差d'。
[0403]
在步骤s405中，预测单元419基于在步骤s402中解析的信息，通过在编码侧指定的预测方法来执行预测处理，并且例如通过参考存储在帧存储器418中的参考图像来生成预测图像p。
[0404]
在步骤s406中，计算单元415将在步骤s404中获得的预测残差d'与在步骤s405中获得的预测图像p相加，以导出局部解码图像rlocal。
[0405]
在步骤s407中，环内滤波器单元416对通过步骤s406中的处理而获得的局部解码图像rlocal执行内环滤波处理。
[0406]
在步骤s408中，重排缓冲器417使用通过步骤s407中的处理而获得的经滤波的局部解码图像rlocal来导出解码图像r，并且将解码图像r组从解码顺序重排成再现顺序。将按再现顺序重排的解码图像r组作为运动图像输出至图像解码装置400的外部。
[0407]
此外，在步骤s409中，帧存储器418存储通过步骤s406中的处理而获得的局部解码图像rlocal或通过步骤s407中的处理而获得的滤波处理之后的局部解码图像rlocal中的
至少之一。
[0408]
当步骤s409中的处理结束时，图像解码处理结束。
[0409]
《关于lfnst标识符的解码控制》
[0410]
《1.lfnst标识符的信令模式》中描述的本技术可以应用于具有上述流程的图像解码处理。例如，在步骤s402中，解码单元412(的lfnst标识符解码单元201)对比特流进行解码以生成lfnst标识符。然后，在步骤s404中，逆正交变换单元414根据lfnst标识符执行逆二次变换。
[0411]
此时，解码单元412基于变换信息tinfo来控制关于lfnst标识符的解码。即，解码单元412执行图14中的流程图所示的解码处理作为步骤s402中的处理之一。
[0412]
例如，在步骤s201中，解码单元412基于变换信息tinfo中包括的上述各种参数导出lfnst标识符的解码条件condition。在步骤s202中，解码单元412确定是否满足解码条件condition。在确定解码条件condition为真的情况下，用信令通知lfnst标识符，因此解码单元412在步骤s203中对比特流进行解码以获得用信令通知的lfnst标识符(lfnst_idx)。
[0413]
此外，在步骤s202中，在确定在步骤s201中导出的解码条件condition为假的情况下，没有用信令通知lfnst标识符。因此，解码单元412在步骤s204中跳过(省略)对lfnst标识符(lfnst_idx)的解码。即，在不满足解码条件condition的情况下，解码单元412跳过对lfnst标识符(lfnst_idx)的解码，并且估计lfnst标识符的值为“0”(lfnst_idx＝0)。
[0414]
在如上所述的解码处理中，解码单元412(解码单元412的lfnst标识符解码单元201)应用例如上文《1.lfnst标识符的信令模式》中描述的方法1。即，解码单元412在图像解码中的有效分量中的至少一个分量的变换跳过标志为真的情况下，省略对二次变换控制信息的解码，二次变换控制信息是与二次变换相关的控制信息，并且在图像解码中的有效分量中所有分量的变换跳过标志为假的情况下，对二次变换控制信息进行解码。
[0415]
在这种情况下，在步骤s201中，解码单元412导出图5所示的变量nontsused，并且使用导出的变量nontsused导出图5所示的编码条件condition。注意，解码单元412可以导出图7所示的变量tsused，并且使用导出的变量tsused导出图7所示的编码条件condition。此外，解码单元412可以应用方法2至4中的任何一种来导出编码条件condition。
[0416]
通过以这种方式执行图像解码处理，在应用方法1至4中的任何方法的任何情况下，解码单元412可以在树类型是双树色度(dual_tree_chroma)并且图像的cb分量和cr分量二者的变换跳过标志为真时跳过对lfnst标识符的解码。因此，图像解码装置400可以抑制编码效率的降低。
[0417]
《补充》
[0418]
注意，图像解码装置400可以应用任何逆系数变换作为逆二次变换。因此，解码单元412可以执行对任意二次变换标识符(任意二次变换控制信息)的编码而不是lfnst标识符的示例的编码。此外，可以适当地组合和应用上述方法1至4中的一些或全部。
[0419]
《6.补充说明》
[0420]
《计算机》
[0421]
上述一系列处理可以由硬件或由软件执行。在由软件执行这一系列处理的情况下，在计算机中安装配置该软件的程序。这里，计算机包括并入专用硬件中的计算机、能够通过安装各种程序来执行各种功能的计算机例如通用个人计算机等。
[0422]
图19是示出了通过程序执行上述一系列处理的计算机的硬件的配置示例的框图。
[0423]
在图19中示出的计算机800中，中央处理单元(cpu)801、只读存储器(rom)802和随机存取存储器(ram)803通过总线804相互连接。
[0424]
输入/输出接口810也连接至总线804。输入单元811、输出单元812、存储单元813、通信单元814和驱动器815连接至输入/输出接口810。
[0425]
输入单元811包括例如键盘、鼠标、麦克风、触摸板、输入终端等。输出单元812包括例如显示器、扬声器、输出终端等。存储单元813包括例如硬盘、ram盘和非易失性存储器等。通信单元814包括例如网络接口。驱动器815驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质821。
[0426]
在如上所述那样地配置的计算机中，cpu 801例如经由输入/输出接口810和总线804将存储在存储单元813中的程序加载到ram 803中，并且执行该程序，使得执行上述一系列处理。此外，ram 803适当地存储cpu 801执行各种类型的处理所需的数据等。
[0427]
要由计算机执行的程序可以被记录在例如作为封装介质等的可移除介质821上，并且被应用，并且可以被提供。在该情况下，通过将可移除介质821附接至驱动器815，可以经由输入/输出接口810将程序安装至存储单元813。
[0428]
此外，可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供该程序。在该情况下，程序可以由通信单元814接收并且被安装在存储单元813中。
[0429]
除了以上方法之外，可以预先将程序安装在rom 802或存储单元813中。
[0430]
《本技术的应用对象》
[0431]
本技术可以应用于任何图像编码/解码方法。即，诸如变换(逆变换)、量化(逆量化)、编码(解码)和预测的关于图像编码/解码的各种类型的处理的规格是任意的，并且不限于上述示例，只要与上述本技术不发生矛盾即可。此外，只要与上述本技术不发生矛盾，则可以省去处理的部分。
[0432]
此外，本技术可以应用于执行包括多个视点(视角)的图像的多视点图像的编码/解码的多视点图像编码/解码系统。在该情况下，本技术简单地应用于每个视点(视角)的编码/解码。
[0433]
此外，本技术可以应用于分层图像编码(可缩放编码)/解码系统，该系统对多层(分层)的分层图像进行编码/解码，以具有针对预定参数的可缩放性功能。在该情况下，本技术简单地应用于每一层(层)的编码/解码。
[0434]
此外，在以上描述中，已经描述了编码装置100、解码装置200、图像编码装置300、图像解码装置400作为本技术的应用示例，但是本技术可以应用于任意配置。
[0435]
例如，本技术可以应用于例如各种电子装置，例如卫星广播中的发送器和接收器(例如，电视接收器和移动电话)、有线广播如有线电视、因特网上的分发以及由蜂窝通信向终端的分发或者在诸如光盘、磁盘和闪速存储器的介质上记录图像并且从这些存储介质再现图像的装置(例如，硬盘记录器和摄像装置)。
[0436]
此外，例如，本技术可以实现为装置的一部分的配置，例如作为系统大规模集成(lsi)等的处理器(例如，视频处理器)、使用多个处理器等的模块(例如，视频模块)、使用多个模块等的单元(例如，视频单元)、或者其中向单元添加了其他功能的集(例如，视频集)(即，装置的一部分的配置)。
[0437]
此外，例如，本技术还可以应用于包括多个装置的网络系统。例如，本技术可以实现为由多个装置经由网络协作共享和处理的云计算。例如，本技术可以实现在向诸如计算机、视听(av)装置、便携式信息处理终端或物联网(iot)装置的任意终端提供关于图像(运动图像)的服务的云服务。
[0438]
注意，在本说明书中，术语“系统”是指一组多个配置元素(装置、模块(部分)等)，并且所有配置元素是否都在同一外壳中是无关紧要的。因此，容纳在不同的外壳中并经由网络连接的多个装置以及将多个模块容纳在一个外壳中的一个装置都是系统。
[0439]
《现有技术适用的领域和应用》
[0440]
应用本技术的系统、装置、处理单元等可以在诸如交通、医疗护理、犯罪预防、农业、畜牧业、采矿、美容、工厂、家用电器、天气和自然监控的任意领域中使用。此外，在任意领域中的使用也是任意的。
[0441]
例如，本技术可以应用于被提供用于提供供欣赏的内容等的系统和装置。此外，例如，本技术还可以应用于用于诸如交通状况监视和自动驾驶控制的交通的系统和装置。此外，例如，本技术还可以应用于为安全而提供的系统和装置。此外，例如，本技术可以应用于为机器等的自动控制而提供的系统和装置。此外，例如，本技术还可以应用于为农业或畜牧业而提供的系统和装置。此外，本技术还可以应用于监视诸如火山、森林和海洋的自然状态、野生动物等的系统和装置。此外，例如，本技术还可以应用于为运动而提供的系统和装置。
[0442]
《其他》
[0443]
注意，本说明书中的“标志”是用于标识多个状态的信息，并且不仅包括用于标识真(1)和假(0)这两个状态的信息，而且包括能够标识三个或更多个状态的信息。因此，“标志”可以采用的值可以是例如二进制值1/0，或者可以是三元值或更多。即，构成“标志”的位数是任意的，并且可以是1位或多位。此外，假设标识信息(包括标志)不仅是在比特流中包括标识信息的形式，而且是在比特流中包括标识信息与特定参考信息的差异信息的形式。因此，在本说明书中，“标志”和“标识信息”不仅包括信息本身，还包括相对于参考信息的差异信息。
[0444]
此外，可以以任何形式发送或记录关于编码数据(比特流)的各种类型的信息(元数据等)，只要各种类型的信息与编码数据相关联即可。这里，术语“关联”意味着例如当处理一个数据时可以使用(链接)另一数据。即，彼此相关联的数据可以被收集为一个数据或者可以是单独的数据。例如，可以在与编码数据(图像)的传输路径不同的传输路径上发送与编码数据(图像)相关联的信息。此外，例如，可以将与编码数据(图像)相关联的信息记录在与编码数据(图像)不同的记录介质(或同一记录介质的另外的记录区域)上。注意，该“关联”可以是数据的一部分而不是整个数据。例如，图像和与图像对应的信息可以以诸如多个帧、一个帧或帧中的一部分的任意单元彼此相关联。
[0445]
注意，在本说明书中，诸如“组合”、“复用”、“添加”、“集成”、“包括”、“存储”和“插入”的术语意指将多个事物放入一个事物中，例如将编码数据和元数据放入一个数据中，并且意指上述“关联”的一种方法。
[0446]
此外，本技术的实施方式不限于上述实施方式，并且可以在不脱离本技术的主旨的情况下进行各种修改。
[0447]
例如，可以将描述为一个装置(或处理单元)的配置划分且配置成多个装置(或处理单元)。反之，可以将描述为多个装置(或处理单元)的配置共同配置成一个装置(或处理单元)。此外，可以将除了以上配置之外的配置添加到每个装置(或每个处理单元)的配置。此外，特定装置(或处理单元)的配置的一部分可以被包括在另一装置(或另一处理单元)的配置中，只要系统的配置和操作作为整体基本相同即可。
[0448]
此外，例如，上述程序可以由任意装置执行。在该情况下，装置仅需要具有必要的功能(功能块等)并且获得必要的信息。
[0449]
此外，例如，一个流程图的每个步骤可以由一个装置执行，或者可以由多个装置共享和执行。此外，在一个步骤中包括多个处理的情况下，多个处理可以由一个装置执行或者可以由多个装置共享和执行。换言之，一个步骤中包括的多个处理可以作为多个步骤的处理来执行。相反，被描述为多个步骤的处理可以作为一个步骤来共同执行。
[0450]
此外，例如，在由计算机执行的程序中，描述程序的步骤的处理可以根据本说明书中描述的顺序按时间顺序执行，或者可以并行地或者在进行调用时的必要定时处单独执行。即，只要不发生矛盾，则可以以与以上顺序不同的顺序执行每个步骤的处理。此外，描述程序的步骤的处理可以与另一程序的处理并行执行，或者可以与另一程序的处理组合执行。
[0451]
此外，例如，与本技术相关的多个技术可以作为单个整体独立地实施，只要不存在矛盾即可。当然，可以一起实现任意数目的本技术。例如，在任何实施方式中描述的本技术的部分或全部可以与在另一实施方式中描述的本技术的部分或全部组合实现。此外，上述任意本技术的部分或全部可以与上面未描述的另一技术组合实现。
[0452]
注意，本技术还可以具有以下配置。
[0453]
(1)一种图像处理装置，包括：
[0454]
编码单元，所述编码单元被配置成：
[0455]
在图像编码中的有效分量中的至少一个分量的变换跳过标志为真的情况下，省略对二次变换控制信息的编码，所述二次变换控制信息是作为与二次变换相关的控制信息；并且
[0456]
在图像编码中的有效分量中的所有分量的变换跳过标志为假的情况下，对所述二次变换控制信息进行编码。
[0457]
(2)根据(1)所述的图像处理装置，其中，
[0458]
在所述图像编码的树类型为单树的情况下，所述编码单元进行如下操作：
[0459]
在作为y分量的变换跳过标志的y分量变换跳过标志、作为cb分量的变换跳过标志的cb分量变换跳过标志或者作为cr分量的变换跳过标志的cr分量变换跳过标志中的至少一个为真的情况下，省略对所述二次变换控制信息的编码，并且
[0460]
在所述y分量变换跳过标志、所述cb分量变换跳过标志和所述cr分量变换跳过标志为假的情况下，对所述二次变换控制信息进行编码。
[0461]
(3)根据(1)或(2)所述的图像处理装置，其中，
[0462]
在所述图像编码的树类型为双树亮度的情况下，所述编码单元进行如下操作：
[0463]
在作为y分量的变换跳过标志的y分量变换跳过标志为真的情况下，省略对所述二次变换控制信息的编码，并且
[0464]
在所述y分量变换跳过标志为假的情况下，对所述二次变换控制信息进行编码。
[0465]
(4)根据(1)至(3)中任一项所述的图像处理装置，其中，
[0466]
在所述图像编码的树类型为双树色度的情况下，所述编码单元进行如下操作：
[0467]
在作为cb分量的变换跳过标志的cb分量变换跳过标志或者作为cr分量的变换跳过标志的cr分量变换跳过标志中的至少一个为真的情况下，省略对所述二次变换控制信息的编码，并且
[0468]
在所述cb分量变换跳过标志和所述cr分量变换跳过标志为假的情况下，对所述二次变换控制信息进行编码。
[0469]
(5)根据(1)至(4)中任一项所述的图像处理装置，其中，
[0470]
所述二次变换控制信息包括二次变换标识符，所述二次变换标识符是指示所述二次变换的类型的标识符。
[0471]
(6)根据(1)至(5)中任一项所述的图像处理装置，其中，
[0472]
所述二次变换是低频不可分离变换(lfnst)。
[0473]
(7)根据(1)至(6)中任一项所述的图像处理装置，其中，
[0474]
所述编码单元进行如下操作：
[0475]
在图像编码中的有效分量中的所有分量的变换跳过标志为真的情况下，省略对所述二次变换控制信息的编码，并且
[0476]
在图像编码中的有效分量中的至少一个分量的变换跳过标志为假的情况下，对所述二次变换控制信息进行编码。
[0477]
(8)根据(1)至(7)中任一项所述的图像处理装置，其中，
[0478]
在所述图像编码的树类型为双树色度的情况下，所述编码单元进行如下操作：
[0479]
在所述双树色度中的有效分量中的所有分量的变换跳过标志为真的情况下，省略对所述二次变换控制信息的编码，并且
[0480]
在所述双树色度中的有效分量中的至少一个分量的变换跳过标志为假的情况下，对所述二次变换控制信息进行编码。
[0481]
(9)根据(1)至(8)中任一项所述的图像处理装置，其中，
[0482]
在所述图像编码的树类型为双树色度的情况下，所述编码单元进行如下操作：
[0483]
在所述双树色度中的有效分量中的至少一个分量的变换跳过标志为真的情况下，省略对所述二次变换控制信息的编码，并且
[0484]
在所述双树色度中的有效分量中的所有分量的变换跳过标志为假的情况下，对所述二次变换控制信息进行编码。
[0485]
(10)一种图像处理方法，包括：
[0486]
在图像编码中的有效分量中的至少一个分量的变换跳过标志为真的情况下，省略对二次变换控制信息的编码，所述二次变换控制信息是与二次变换相关的控制信息；以及
[0487]
在图像编码中的有效分量中的所有分量的变换跳过标志为假的情况下，对所述二次变换控制信息进行编码。
[0488]
(11)一种图像处理装置，包括：
[0489]
解码单元，所述解码单元被配置成：
[0490]
在图像解码中的有效分量中的至少一个分量的变换跳过标志为真的情况下，省略
对与二次变换控制信息相关的解码，并且估计所述二次变换控制信息的值是指示二次变换的跳过的预定值，所述二次变换控制信息是与所述二次变换相关的控制信息；并且
[0491]
在图像解码中的有效分量中的所有分量的变换跳过标志为假的情况下，对比特流进行解码以生成所述二次变换控制信息。
[0492]
(12)根据(11)所述的图像处理装置，其中，
[0493]
在所述图像解码的树类型为单树的情况下，所述解码单元进行如下操作：
[0494]
在作为y分量的变换跳过标志的y分量变换跳过标志、作为cb分量的变换跳过标志的cb分量变换跳过标志或者作为cr分量的变换跳过标志的cr分量变换跳过标志中的至少一个为真的情况下，省略对所述二次变换控制信息的解码，并且估计所述二次变换控制信息的值是指示所述二次变换的跳过的预定值，并且
[0495]
在所述y分量变换跳过标志、所述cb分量变换跳过标志和所述cr分量变换跳过标志为假的情况下，对所述比特流进行解码以生成所述二次变换控制信息。
[0496]
(13)根据(11)或(12)所述的图像处理装置，其中，
[0497]
在所述图像解码的树类型为双树亮度的情况下，所述解码单元进行如下操作：
[0498]
在作为y分量的变换跳过标志的y分量变换跳过标志为真的情况下，省略与所述二次变换控制信息相关的解码，并且估计所述二次变换控制信息的值是指示所述二次变换的跳过的预定值，并且
[0499]
在所述y分量变换跳过标志为假的情况下，对所述比特流进行解码以生成所述二次变换控制信息。
[0500]
(14)根据(11)至(13)中任一项所述的图像处理装置，其中，
[0501]
在所述图像解码的树类型为双树色度的情况下，所述解码单元进行如下操作：
[0502]
在作为cb分量的变换跳过标志的cb分量变换跳过标志或者作为cr分量的变换跳过标志的cr分量变换跳过标志中的至少一个为真的情况下，省略对所述二次变换控制信息的解码，并且估计所述二次变换控制信息的值是指示所述二次变换的跳过的预定值，并且
[0503]
在所述cb分量变换跳过标志和所述cr分量变换跳过标志为假的情况下，对所述比特流进行解码以生成所述二次变换控制信息。
[0504]
(15)根据(11)至(14)中任一项所述的图像处理装置，其中，
[0505]
所述二次变换控制信息包括二次变换标识符，所述二次变换标识符是指示所述二次变换的类型的标识符。
[0506]
(16)根据(11)至(15)中任一项所述的图像处理装置，其中，
[0507]
所述二次变换是低频不可分离变换(lfnst)。
[0508]
(17)根据(11)至(16)中任一项所述的图像处理装置，其中，
[0509]
所述解码单元进行如下操作：
[0510]
在图像解码中的有效分量中的所有分量的变换跳过标志为真的情况下，省略与所述二次变换控制信息相关的解码，并且估计所述二次变换控制信息的值是指示所述二次变换的跳过的预定值，并且
[0511]
在图像解码中的有效分量中的至少一个分量的变换跳过标志为假的情况下，对所述比特流进行解码以生成所述二次变换控制信息。
[0512]
(18)根据(11)至(17)中任一项所述的图像处理装置，其中，
[0513]
在所述图像解码的树类型为双树色度的情况下，所述解码单元进行如下操作：
[0514]
在所述双树色度中的有效分量中的所有分量的变换跳过标志为真的情况下，省略与所述二次变换控制信息相关的解码，并且估计所述二次变换控制信息的值是指示所述二次变换的跳过的预定值，并且
[0515]
在所述双树色度中的有效分量中的至少一个分量的变换跳过标志为假的情况下，对所述比特流进行解码以生成所述二次变换控制信息。
[0516]
(19)根据(11)至(18)中任一项所述的图像处理装置，其中，
[0517]
在所述图像解码的树类型为双树色度的情况下，所述解码单元进行如下操作：
[0518]
在所述双树色度中的有效分量中的至少一个分量的变换跳过标志为真的情况下，省略与所述二次变换控制信息相关的解码，并且估计所述二次变换控制信息的值是指示所述二次变换的跳过的预定值，并且
[0519]
在所述双树色度中的有效分量中的所有分量的变换跳过标志为假的情况下，对所述比特流进行解码以生成所述二次变换控制信息。
[0520]
(20)一种图像处理方法，包括：
[0521]
在图像解码中的有效分量中的至少一个分量的变换跳过标志为真的情况下，省略对与二次变换控制信息相关的解码，并且估计所述二次变换控制信息的值是指示二次变换的跳过的预定值，所述二次变换控制信息是与所述二次变换相关的控制信息；以及
[0522]
在图像解码中的有效分量中的所有分量的变换跳过标志为假的情况下，对比特流进行解码以生成所述二次变换控制信息。
[0523]
附图标记列表
[0524]
100 编码装置
[0525]
101 lfnst标识符编码单元
[0526]
200 解码装置
[0527]
201 lfnst标识符解码单元
[0528]
300 图像编码装置
[0529]
301 控制单元
[0530]
313 正交变换单元
[0531]
315 编码单元
[0532]
400 图像解码装置
[0533]
412 解码单元
[0534]
414 逆正交变换单元