图像编码装置、图像解码装置、方法和程序与流程

1.本发明涉及一种图像编码装置、图像解码装置、方法和程序。


背景技术：

2.高效视频编码(hevc)编码方法(以下称为“hevc”)是用于压缩记录运动图像的编码方案。为了提高编码效率，hevc采用在尺寸上比传统宏块(16
×
16像素)大的基本块。该大尺寸的基本块称为编码树单元(ctu)并且最大具有64
×
64像素的尺寸。ctu被进一步分割成作为用于预测和转换等的单元的子块。
3.另外，在hevc中使用称为“量化矩阵”的处理，在该处理中，根据频率分量对经过正交变换的系数(以下称为“正交变换系数”)的集合进行加权。减少更多的高频分量数据(其中人眼不易察觉到劣化)使得能够在保持图像质量的同时提高压缩效率。专利文献1公开了一种用于对这种量化矩阵进行编码的技术。
4.近来，开始了研发用于更有效的编码方案的国际标准来作为hevc的继承者的活动。iso/iec与itu-t建立了联合视频专家组(jvet)，并且正在推进标准化来作为通用视频编码(vvc)编码方案(以下称为“vvc”)。为了提高编码效率，针对vvc正在考虑新编码方法，在该新编码方法中，两个色度分量(cb分量和cr分量)的量化后的残差系数被一起编码(以下称为“综合色度残差系数编码”)。
5.现有技术列表
6.专利文献
7.专利文献1：日本特开2013-38758号


技术实现要素：

8.发明要解决的问题
9.与hevc一样，针对vvc也在考虑引入量化矩阵。然而，hevc中的量化矩阵采取对亮度(y)和色度(cb，cr)分量进行量化和逆量化处理，并且不支持综合色度残差系数编码的新编码方法。因此，存在如下问题：当使用综合色度残差系数编码时，无法根据频率分量控制量化，因此无法提高主观图像质量。这样，本发明为了解决上述问题而完成，其目的在于通过使用也与综合色度残差系数编码兼容的量化矩阵来实现量化处理，从而提高主观图像质量。
10.用于解决问题的方案
11.为了解决该问题，根据本发明的图像编码装置例如具有以下配置。
12.即，一种图像编码装置，其对由一个亮度分量和两个色度分量构成的图像数据进行编码，所述图像编码装置包括：
13.量化单元，其对通过对待编码的图像进行分割而获得的块的各个分量进行正交变换，并对根据所述正交变换获得的各个分量的变换系数进行量化；以及
14.编码单元，其对利用所述量化单元获得的残差系数进行编码，
15.其中，在以综合的方式对所述两个色度分量的正交变换的变换系数进行编码的情况下，所述编码单元使用预定量化矩阵来对根据所述综合获得的正交变换的变换系数进行量化，并对根据量化获得的残差系数进行编码。
16.发明的效果
17.根据本发明，可以在提高两个色度分量的残差系数的编码效率的同时抑制主观图像质量的劣化。
18.根据下面结合附图进行的描述，本发明的其它特征和优点将是明了的。注意，附图中相同的附图标记表示相同或相似的部件。
附图说明
19.被并入说明书中并构成说明书的一部分的附图示出本发明的实施例，并且与描述一起用于说明本发明的原理。
20.图1是示出根据第一实施例的图像编码装置的框图。
21.图2是示出根据第一实施例的图像解码装置的框图。
22.图3是示出根据第一实施例的图像编码装置中的图像编码处理的示例的流程图。
23.图4是示出根据第一实施例的图像解码装置中的图像解码处理的流程图。
24.图5是示出在第二实施例中应用的计算机硬件配置的图。
25.图6a是示出在实施例中生成的位流的数据结构的示例的图。
26.图6b是示出在实施例中生成的位流的数据结构的示例的图。
27.图7a是示出根据实施例的子块分割的示例的图。
28.图7b是示出根据实施例的子块分割的示例的图。
29.图7c是示出根据实施例的子块分割的示例的图。
30.图7d是示出根据实施例的子块分割的示例的图。
31.图7e是示出根据实施例的子块分割的示例的图。
32.图7f是示出根据实施例的子块分割的示例的图。
33.图8a是示出在实施例中使用的量化矩阵的示例的图。
34.图8b是示出在实施例中使用的量化矩阵的示例的图。
35.图8c是示出在实施例中使用的量化矩阵的示例的图。
36.图8d是示出在实施例中使用的量化矩阵的示例的图。
37.图9a是示出对在实施例中使用的量化矩阵的元素进行扫描的方法的图。
38.图9b是示出对在实施例中使用的量化矩阵的元素进行扫描的方法的图。
39.图10a是示出在实施例中生成的量化矩阵的差值矩阵的图。
40.图10b是示出在实施例中生成的量化矩阵的差值矩阵的图。
41.图10c是示出在实施例中生成的量化矩阵的差值矩阵的图。
42.图11a是示出用于对量化矩阵的差值进行编码的编码表的示例的图。
43.图11b是示出用于对量化矩阵的差值进行编码的编码表的示例的图。
具体实施方式
44.以下，将参考附图详细来描述实施例。注意，以下实施例并不意在限制所要求保护
的发明的范围。在实施例中描述了多个特征，但不将本发明限定为需要所有这样的特征，并且可以适当地组合多个这样的特征。此外，在附图中，对相同或相似的配置给出相同的附图标记，并且省略其冗余描述。
45.图1是示出根据本实施例的图像编码装置的框图。图像编码装置包括对装置整体进行控制的控制单元150。该控制单元150包括cpu、存储cpu所执行的程序的rom以及用作cpu的工作区域的ram。图像编码装置还包括输入端子101、块分割单元102、量化矩阵保持单元103、预测单元104、变换/量化单元105、逆量化/逆变换单元106、图像重建单元107、帧存储器108、环内滤波器单元109、编码单元110、综合编码单元111、输出端子112以及量化矩阵编码单元113。
46.输入端子101以帧为单位输入已由图像数据源生成的待编码的图像数据。图像数据源可以是任意类型的装置，诸如图像拍摄装置、以及存储待编码的图像数据的文件服务器或存储介质等。输出端子112向输出目的地装置输出编码数据，并且输出目的地装置也可以是存储介质或文件服务器等。
47.块分割单元102将输入帧的图像分割成多个基本块，并在后续阶段中按顺序将其中一个基本块作为基本块输出到预测单元104。
48.量化矩阵保持单元103在编码之前生成多个量化矩阵，并将这些量化矩阵保持在内部存储器(未示出)中。虽然用于生成量化矩阵的方法没有特别限制，但用户可以输入量化矩阵，可以根据输入图像的特性来计算量化矩阵，或者可以使用预先指定为初始值的量化矩阵等。根据本实施例的量化矩阵保持单元103生成并保持图8a所示的与8
×
8像素的正交变换相对应的二维量化矩阵800、以及图8b和图8c所示的与4
×
4的正交变换相对应的二维量化矩阵801和802。量化矩阵800是用于亮度分量的量化矩阵，并且量化矩阵801和802是用于两个色度分量的量化矩阵。
49.预测单元104针对基本块单元中的图像数据确定子块分割，并且通过进行帧内预测(以子块为单位的帧之内的预测)和帧间预测(即，帧之间的预测)等来生成预测图像数据。预测单元104还根据输入图像数据和预测图像数据来计算并输出以像素为单位的预测误差。与预测误差一起，预测单元104还输出预测所需的信息，例如，与子块分割、预测模式和运动矢量等有关的信息。以下，预测所需的信息将被称为“预测信息”。
50.变换/量化单元105通过以子块为单位对从预测单元104输入的预测误差进行正交变换来获得正交变换系数(经过正交变换的残差系数)。此外，变换/量化单元105通过使用存储在量化矩阵保持单元103中的量化矩阵对正交变换系数进行量化，来获得量化残差系数(量化正交变换系数)。
51.逆量化/逆变换单元106输入来自变换/量化单元105的残差系数，使用存储在量化矩阵保持单元103中的量化矩阵对残差系数进行逆量化，并且重建正交变换系数。逆量化/逆变换单元106还进行逆正交变换并重建预测误差。
52.图像重建单元107基于从预测单元104输出的预测信息，通过适当地参考帧存储器108来生成预测图像数据。图像重建单元107通过将来自逆量化/逆变换单元106的预测误差与预测图像数据相加来生成重建图像数据，并将重建图像数据存储在帧存储器108中。
53.环内滤波器单元109对存储在帧存储器108中的重建图像进行环内滤波器处理，诸如解块滤波和采样自适应偏移等，并且将滤波后的图像数据再次存储在帧存储器108中。
54.编码单元110通过对从变换/量化单元105输出的残差系数和从预测单元104输出的预测信息进行编码来生成编码数据，并将编码数据输出到综合编码单元111。
55.量化矩阵编码单元113通过对保持在量化矩阵保持单元103中的量化矩阵进行编码来生成量化矩阵编码数据，并将量化矩阵编码数据输出到综合编码单元111。
56.综合编码单元111生成包括来自量化矩阵编码单元113的量化矩阵编码数据在内的头编码数据(header code data)。然后，综合编码单元111通过将从编码单元110输出的编码数据加在头编码数据之后来形成位流。然后，综合编码单元111经由输出端子112输出所形成的位流。
57.下面将给出在图像编码装置中对图像进行编码的操作的更详细描述。本实施例采用以帧为单位从输入端子101输入4:2:0颜色格式的运动图像数据的配置，但该配置可以是输入与一帧相应的静止图像数据。另外，为了简化描述，将在本实施例中仅描述帧内预测编码处理；然而，本实施例不限于此，并且也可应用于帧间预测编码处理。另外，出于描述的目的，本实施例假定块分割单元101将从输入端子输入的图像数据分割成由8
×
8像素构成的基本块。换句话说，8
×
8像素的基本块包含亮度(y)分量的8
×
8像素和色度(cb和cr)分量的4
×
4像素。注意，这只是为了有助于理解，并且配置不限于上述值(大小)。
58.在对图像进行编码之前生成量化矩阵并对该量化矩阵进行编码。
59.量化矩阵保持单元103首先生成并保持量化矩阵。具体地，根据待编码的子块的大小和预测方法的类型等生成量化矩阵。在本实施例中，如图7a所示，生成与未被分割成子块的8
×
8像素的基本块相对应的量化矩阵。换句话说，量化矩阵保持单元103生成用于亮度(y)分量的8
×
8量化矩阵和用于色度(cb和cr)分量的4
×
4量化矩阵。然而，所生成的量化矩阵不限于此，可以生成诸如4
×
8、8
×
4等的与子块的形状相对应的量化矩阵。用于确定量化矩阵的各个元素的方法没有特别限定。例如，可以使用预定初始值，或者可以单独设置元素。还可以根据图像的特性来生成矩阵。
60.量化矩阵保持单元103将以这种方式生成的量化矩阵保持在内部存储器(未示出)中。图8a示出用于y分量的量化矩阵800。图8b示出用于cb分量的量化矩阵801，图8c示出用于cr分量的量化矩阵802。为了简化描述，假定量化矩阵由64个像素(8
×
8)和16个像素(4
×
4)构成，并且粗体框中的各个正方形表示量化矩阵的元素。在本实施例中，假定图8a至图8c所示的三个量化矩阵以二维形状来保持，但量化矩阵中的元素当然不限于此。也可以根据子块的大小或根据稍后描述的预测方法的类型(例如，使用帧内预测还是帧间预测)来保持用于相同颜色分量的多个量化矩阵。一般而言，量化矩阵根据人的视觉特性来实现量化处理，如此，如图8a至8c所示，与量化矩阵800至802的左上部分相对应的低频部分的元素小，而与右下部分相对应的高频部分的元素大。
61.量化矩阵编码单元113按顺序读出在量化矩阵保持单元106中保持的二维量化矩阵，计算通过扫描各个元素获得的上一个元素和下一个元素之间的差，并将该差布置在一维矩阵中。本实施例假定，根据图8a至图8c中所示的量化矩阵800至802的大小，使用图9a或图9b中所示的扫描方法，来计算各个元素与扫描顺序中在该元素紧前方的元素之间的差。例如，使用图9b所示的扫描方法来扫描图8c所示的4
×
4像素的量化矩阵802，并且在位于左上方的第一元素8之后，扫描在其紧下方的元素14并计算差值 6。另外，当对量化矩阵的第一元素(在本实施例中为8)进行编码时，假定计算与预定初始值(例如8)的差；然而，配置不
限于此，并且可以使用与任意值或第一元素本身的值的差。简而言之，该值可以是任意值，只要该值是与解码装置的初始值相同的初始值。
62.以这种方式，针对图8a所示的量化矩阵800，量化矩阵编码单元113使用图9a中的扫描方法来生成差矩阵。同样，针对图8b和图8c所示的量化矩阵801和802，量化矩阵编码单元113使用图9b中的扫描方法来生成差矩阵。图10a示出根据图8a的量化矩阵800获得的差矩阵1000。图10b示出根据图8b中的量化矩阵801获得的差矩阵1001。最后，图10c示出根据量化矩阵802获得的差矩阵1002。
63.量化矩阵编码单元113还通过对如上所述生成的各个差矩阵进行编码来生成量化矩阵编码数据。本实施例的量化矩阵编码单元113使用图11a所示的编码表，通过向差矩阵的各个元素添加码字来进行编码，并且生成量化矩阵编码数据。注意，编码表不限于此，例如可以使用图11b所示的编码表。以这种方式，量化矩阵编码单元113将生成的量化矩阵编码数据输出到后续阶段中的综合编码单元111。
64.返回图1，综合编码单元111将量化矩阵的编码数据与对图像数据进行编码所需的头信息进行综合。
65.接下来，对图像数据进行编码。将从输入端子101输入的与一帧相应的图像数据提供给块分割单元102。块分割单元102将一帧的输入图像数据分割成多个基本块，并以基本块为单位将图像数据输出到预测单元104。在本实施例中，以8
×
8像素的基本块为单位将图像数据提供给预测单元104。
66.预测单元104以从块分割单元102输入的基本块为单位对图像数据进行预测处理。具体地，确定用于将基本块分割成更细的子块的子块分割，并且还以子块为单位确定诸如水平预测或垂直预测等的帧内预测模式。
67.将参考图7a至图7f描述子块分割方法。图7a至图7f的块700至块705中的粗框表示与基本块的大小相同的8
×
8像素的大小。粗框内的四边形表示子块。图7b示出传统正方形子块分割的示例，其中8
×
8像素基本块701被分割成四个4
×
4像素子块。另一方面，图7c至图7f示出矩形子块分割的示例。图7c示出被分割成大小为4
×
8像素的两个子块(在垂直方向上更长)的基本块702。图7d示出被分割成大小为8
×
4像素的两个子块(在水平方向上更长)的基本块703。在图7e和图7f的基本块704和705中，以1:2:1的比例将块分割成三个矩形子块，其中分割方向不同。以这种方式，不仅使用正方形子块，而且还使用矩形子块来进行编码处理。
68.虽然本实施例假定仅图7a所示的未被分割成子块的块被用作具有8
×
8像素的大小的基本块，但是子块分割方法不限于此。也可以使用诸如图7b所示的分割等的四叉树分割、诸如图7e和图7f所示的分割等的三叉树分割、或者诸如图7c和图7d所示的分割等的二叉树分割。当还使用除了图7a所示的子块分割之外的子块分割时，在量化矩阵保持单元103中生成与所使用的子块相对应的量化矩阵。生成的量化矩阵也由量化矩阵编码单元113进行编码。
69.预测单元104基于所确定的预测模式和存储在帧存储器108中的已编码区域来生成预测图像数据，并且还根据输入图像数据和预测图像数据以像素为单位来计算预测误差，并将预测误差输出到变换/量化单元105。预测单元104还向编码单元110和图像重建单元107输出诸如子块分割和预测模式等的信息作为预测信息。
70.变换/量化单元105通过对从预测单元104输入的预测误差进行正交变换和量化来生成残差系数。与此并行，变换/量化单元105判断是否使用综合色度残差系数编码，该综合色度残差系数编码将分量cb和cr的残差系数一起进行编码。
71.这里将描述在本实施例中使用的综合色度残差系数编码。当cb残差系数与cr残差系数之间存在高相关性时，“综合色度残差系数编码”通过仅对一个残差系数进行编码并省略对另一个残差系数的编码来减少生成码量并提高编码效率。在解码侧，仅对编码的色度残差系数之一进行解码，并且通过使用解码的色度残差系数进行计算来重建另一个色度残差系数。在本实施例中，例如，仅当cb残差系数和cr残差系数处于负相关关系时进行综合色度残差系数编码，并且在后续阶段编码单元110仅对分量cb进行编码，并且省略对cr残差系数的编码。
72.返回到图1，变换/量化单元105首先通过对预测误差进行与子块的大小相对应的正交变换处理来生成正交变换系数(经过正交变换的残差系数)。接下来，变换/量化单元105根据所生成的分量cb和cr的正交变换系数的相关关系判断是否使用综合色度残差系数编码。换句话说，变换/量化单元105判断被乘以(-1)的分量cb的正交变换系数是否接近分量cr的正交变换系数，并且如果判断为系数接近，则确定为将使用综合色度残差系数编码。变换/量化单元105还生成用于指示是否使用综合色度残差系数编码(一位就足够了)作为色度综合信息的信息。然后，变换/量化单元105使用存储在量化矩阵保持单元103中的量化矩阵根据颜色分量对正交变换系数进行量化，并且生成残差系数(已被量化的正交变换系数)。本实施例假定图8a的量化矩阵用于y分量正交变换系数，图8b的量化矩阵用于cb分量正交变换系数，图8c的量化矩阵用于cr分量正交变换系数。然而，所使用的量化矩阵不限于此。另外，当确定为将使用综合色度残差系数编码时，使用图8b的量化矩阵对cb分量正交变换系数进行量化，并且省略对cr分量正交变换系数的量化和向后续阶段的输出。这使得能够将计算量减少与后续阶段的处理中未被使用的cr分量的量化相对应的量。将生成的残差系数和色度综合信息输出到编码单元110和逆量化/逆变换单元106。
73.逆量化/逆变换单元106通过使用存储在量化矩阵保持单元103中的量化矩阵来重建正交变换系数(更准确地说，尚未被量化但经过正交变换的残差系数)，以对从变换/量化单元105输入的残差系数(量化的正交变换系数)进行逆量化。逆量化/逆变换单元106还对重建正交变换系数进行逆正交变换，并重建预测误差。与变换/量化单元105相同，在逆量化处理中使用与待编码的子块的颜色分量相对应的量化矩阵。具体地，逆量化/逆变换单元106使用与变换/量化单元105所使用的量化矩阵相同的量化矩阵来进行逆量化。换句话说，图8a的量化矩阵用于y分量残差系数，图8b的量化矩阵用于cb分量残差系数，图8c的量化矩阵用于cr分量残差系数。
74.另外，当色度综合信息指示将在子块中使用综合色度残差系数编码时，逆量化/逆变换单元106通过使用图8b的量化矩阵801针对cb分量残差系数进行逆量化来重建cb分量正交变换系数。逆量化/逆变换单元106将重建的cb分量正交变换系数乘以
“‑
1”以重建cr分量正交变换系数。通过对重建正交变换系数进行逆正交变换来重建的预测误差被输出到图像重建单元107。
75.图像重建单元107基于从预测单元104输入的预测信息，通过适当地参考帧存储器108来重建预测图像。然后，图像重建单元107基于重建预测图像和由逆量化/逆变换单元
106重建的预测误差来生成重建图像数据，并将重建图像数据存储在帧存储器108中。
76.环内滤波器单元109从帧存储器108读出重建图像数据，并进行诸如解块滤波等的环内滤波器处理。然后，环内滤波器单元109将滤波的图像数据再次存储在帧存储器108中。
77.编码单元110通过对变换/量化单元105所生成的以子块为单位的残差系数、色度综合信息以及从预测单元104输入的预测信息进行熵编码来生成编码数据。如果色度综合信息指示不将综合色度残差系数编码用于相应的子块，则编码单元110对y、cb和cr所有颜色分量的残差系数进行编码。另一方面，如果色度综合信息指示将综合色度残差系数编码用于相应的子块，则编码单元110对y和cb颜色分量的残差系数进行编码，但不对cr分量的残差系数进行编码。熵编码方法没有特别规定，但是可以使用golomb编码、算术编码或霍夫曼编码等。编码单元110将生成的编码数据输出到综合编码单元111。
78.综合编码单元111通过将上述头(header)的编码数据与从编码单元110输入的编码数据等进行复用来形成位流。然后，综合编码单元111将形成的位流从输出端子112输出到外部(记录介质或网络等)。
79.图6a是本实施例中输出的位流的数据结构的示例。序列头包含量化矩阵的编码数据，并且由各个元素的编码结果构成。然而，被编码的位置不限于此，并且当然可以使用对图片头部分或其它头部分进行编码的配置。另外，如果要在序列中改变量化矩阵，则可以通过对量化矩阵进行新的编码来改变矩阵。此时，可以重写所有量化矩阵，或者可以通过指定与待重写的量化矩阵相对应的量化矩阵颜色分量来改变部分量化矩阵。
80.图3是示出由实施例的图像编码装置中的控制单元150进行的针对一帧的编码处理的流程图。
81.首先，在对图像进行编码之前，在s301中，控制单元150控制量化矩阵保持单元103以生成并保持二维量化矩阵。与8
×
8像素块相应地，本实施例的量化矩阵保持单元103生成并保持图8a至图8c所示的量化矩阵800至802，量化矩阵800至802与各颜色分量即y分量、cb分量和cr分量相对应。
82.在s302中，控制单元150控制量化矩阵编码单元113以扫描在s301中生成并保持的量化矩阵，计算各元素之间的差，并生成差矩阵。在本实施例中，通过对图8a至图8c所示的量化矩阵800至802使用图9a或图9b所示的扫描方法来生成图10a至图10c所示的差矩阵1001至1003。然后，控制单元150控制量化矩阵编码单元113，以对生成的差矩阵进行编码并生成量化矩阵编码数据。
83.在s303中，控制单元150控制综合编码单元111以对生成的量化矩阵编码数据和编码图像数据所需的头信息进行编码和输出。在s304中，控制单元150控制块分割单元102来将以帧为单位的输入图像分割成基本块的单位。在s305中，控制单元150控制预测单元104来以s304中所生成的基本块为单位对图像数据执行预测处理，以生成诸如子块分割信息和预测模式等的预测信息以及预测图像数据。此外，控制单元150控制预测单元104以根据输入图像数据和预测图像数据来计算预测误差。
84.在s306中，控制单元150控制变换/量化单元105以对在s305中计算出的预测误差进行正交变换并生成变换系数。此外，控制单元150控制变换/量化单元105以对在s301中生成并保持的量化矩阵进行量化，并生成残差系数。与此并行地，使变换/量化单元105判断是否使用综合色度残差系数编码，该综合色度残差系数编码将cb和cr残差系数一起编码。本
实施例假定图8a的量化矩阵用于y分量正交变换系数，图8b的量化矩阵用于cb分量正交变换系数，图8c的量化矩阵用于cr分量正交变换系数。另外，当要使用综合色度残差系数编码时，使用图8b的量化矩阵对cb分量正交变换系数进行量化，并省略对cr分量正交变换系数的量化。
85.注意，作为用于判断是否使用综合色度残差系数编码的处理，可以给出以下作为用于判断将分量cb的正交变换系数乘以(-1)所得的结果是否接近分量cr的正交变换系数的具体处理。
86.cb分量和cr分量两者的正交变换系数均为4
×
4。这里，图9b的扫描顺序的变换系数表示为cb(i)和cr(i)(其中i＝0、1、
…
15)。当针对i＝0、1、2等等，cb(i)与cr(i)两者之间的关系可以被认为是以下关系时，cr(i)接近于通过将cb(i)乘以
“‑
1”而获得的值：
87.cb(i)≈-cr(i)。
88.(这里，“≈”表示两边大致相等。)
89.换句话说，如下式所指示地，这与色度cb与cr之和小于或等于阈值的情况相对应：
90.|cb(i) cr(i)|≤阈值。
91.这里，|x|表示实数x的绝对值。
92.在实施例中，色度分量系数的数目是4
×
4，因此，如果使用预定阈值th并且满足下式，则可以判断为被乘以(-1)的分量cb的正交变换系数接近于分量cr的正交变换系数：
93.σ|cb(i) cr(i)|《th。
94.(这里，σ表示i＝0、1、
…
15之和)
95.注意，如下式所指示的，可以代替判断绝对值而根据左侧的两个色度之和的平方的和进行判断：
96.σ{cb(i) cr(i)}2《th。
97.在上述实施例中，当发现cb的残差系数和cr的残差系数之间存在负相关关系时，使用综合色度残差系数编码，但应注意，配置不限于此。相关关系也可以概括为cb(i)≈acr(i)(其中a是整数)。在这种情况下，在用于判断是否使用综合色度残差系数编码的处理中，使用诸如下式的条件：
98.σ{|cb(i)|-|cr(i)/a|}《th
99.或者
100.σ{|cb(i)|-|cr(i)/a|}2《th。
101.当满足这些条件时，应用综合色度残差系数编码。
102.注意，指示相关关系的信息“a”可以被编码。
103.在s307中，控制单元150控制逆量化/逆变换单元106以使用在s301中生成并保持的量化矩阵对在s306中生成的残差系数进行逆量化，并重建正交变换系数。在该步骤中，与在s306中使用的量化矩阵相同的量化矩阵被用于进行逆量化处理。另外，当将使用综合色度残差系数编码时，使用图8b的量化矩阵对cb分量残差系数进行逆量化，并重建cb分量正交变换系数。此外，将重建的cb分量正交变换系数乘以
“‑
1”来重建cr分量正交变换系数。然后，对重建正交变换系数进行逆正交变换，并对预测误差进行重建。
104.在s308中，控制单元150控制图像重建单元107，以基于在s305中生成的预测信息重建预测图像，根据重建预测图像和在s307中生成的预测误差来重建图像数据，并将图像
数据存储在帧存储器108中。
105.在s309中，控制单元150控制编码单元110，以对在s305中生成的预测信息和在s306中生成的残差系数及色度综合信息等进行编码，并生成编码数据。这里，如果色度综合信息指示不将综合色度残差系数编码用于相应的子块，则编码单元110对y、cb和cr所有颜色分量的残差系数进行编码。另一方面，如果色度综合信息指示综合色度残差系数编码将用于相应的子块，则编码单元110对y和cb颜色分量的残差系数进行编码，但是省略对cr分量的残差系数的编码。当使用综合色度残差系数编码时，可以代替对cb分量的残差系数进行编码而将cb分量的残差系数与cr分量的残差系数的符号反转值的平均值编码为颜色分量的编码数据。在这种情况下，可以抑制解码图像的颜色再现的劣化。另外，编码单元110将生成的编码数据输出到综合编码单元111。综合编码单元111将来自编码单元110的编码数据定位成跟随先前生成的头，并输出数据。
106.在s310中，控制单元150判断针对感兴趣帧中的所有基本块编码是否已结束。如果控制单元150判断为编码已结束，则序列移动到步骤s311，而如果控制单元150判断为剩有未编码的基本块，则序列返回到s304，并且编码从下一个基本块继续。
107.在s311中，控制单元150控制环内滤波器单元109以对在s308中重建的图像数据进行环内滤波器处理并生成滤波图像，并且结束处理。
108.上述配置和操作特别是s306使得能够通过针对使用综合色度残差系数编码的子块使用量化矩阵进行量化，来控制各个频率分量的量化并提高主观图像质量。
109.虽然本实施例描述了当使用综合色度残差系数编码时使用图8b的量化矩阵的配置，但所使用的量化矩阵不限于此。例如，可以通过使用图8c的用于cr分量的量化矩阵进行量化和逆量化的配置来实现相同的效果。也可以是使用图8b或图8c的现有量化矩阵等生成新的量化矩阵来进行量化和逆量化的配置。
110.此外，还可以使用针对综合色度残差系数编码来编码不同的量化矩阵的配置。还可以是如下配置：除了图8a至图8c中现有的量化矩阵800至802之外，还可以使用图8d所示的用于综合色度残差系数编码的量化矩阵803来进行编码，并且在使用综合色度残差系数编码的子块的量化中使用该量化矩阵803。这使得能够实现对使用综合色度残差系数编码的子块进行独立的量化控制。
111.此外，虽然本实施例描述了唯一地确定用于使用综合色度残差系数编码的子块的量化矩阵的配置，但也可以使用可以通过引入标识符来选择量化矩阵的配置。例如，图6b示出通过新引入用于指定量化矩阵的色度矩阵信息(假定为两个位)、从而对于使用综合色度残差系数编码的子块而言量化矩阵是选择性的。
112.例如，当色度矩阵信息为0时，对使用综合色度残差系数编码的子块使用图8b所示的cb分量的量化矩阵。当色度矩阵信息是1时，对使用综合色度残差系数编码的子块使用图8c所示的cr分量的量化矩阵。另一方面，当色度矩阵信息是2时，对使用综合色度残差系数编码的子块使用单独编码的图8d。这使得能够选择性地实现量化矩阵码量的减少以及对使用综合色度残差系数编码的子块的唯一的量化控制。
113.为了更详细地描述以上内容，当给定图片中的给定子块(在本实施例中，子块＝基本块)的色度综合信息指示不使用综合色度残差系数编码时，使用图8b所示的量化矩阵801对该子块中的分量cb的变换系数进行量化，而使用图8c中的量化矩阵802对cr分量的变换
系数进行量化。
114.另一方面，当给定图片的给定子块的色度综合信息指示将使用综合色度残差系数编码时，分量cb和cr的哪个子块将被编码取决于存储在头中的色度矩阵信息。例如，当分量cb和cr的色度矩阵信息为0时，使用图8b的量化矩阵801对分量cb的子块的变换系数进行量化并编码，而省略对分量cr的量化和编码。另外，当分量cb和cr的色度矩阵信息为1时，使用图8c的量化矩阵802对分量cr的子块的变换系数进行量化并编码，而省略对分量cb的量化和编码(分量cb可以被编码，并且分量cr可以省略)。然后，当分量cb和cr的色度矩阵信息为2时，使用图8d的量化矩阵803对分量cb(或分量cr)的子块的变换系数进行量化并编码，而省略对分量cr(或分量cb)的量化和编码。
115.注意，当使用图8d的量化矩阵803时，量化矩阵803的编码数据被存储在头中。换句话说，量化矩阵保持单元103生成并保持量化矩阵803，并且量化矩阵编码单元113还对量化矩阵803进行编码。
116.图2是示出根据本实施例的对上述图像编码装置所生成的编码图像数据进行解码的图像解码装置的框图。将参考附图描述与解码处理有关的配置和操作。
117.图像解码装置包括对装置整体进行控制的控制单元250。该控制单元250包括cpu、存储cpu所执行的程序的rom以及用作cpu的工作区域的ram。图像解码装置还包括输入端子201、分离/解码单元202、解码单元203、逆量化/逆变换单元204、图像重建单元205、帧存储器206、环内滤波器单元207、输出端子208以及量化矩阵解码单元209。
118.输入端子201输入编码位流，并且虽然输入源例如是存储编码流的存储介质，但输入源的类型没有限制，可以从网络输入流。
119.分离/解码单元202从位流中分离与解码处理有关的信息以及与系数有关的编码数据等，并且还对存在于位流的头部分中的编码数据进行解码。本实施例的分离/解码单元202将量化矩阵编码数据分离，并将该数据输出到量化矩阵解码单元209。分离/解码单元202还将图像的编码数据输出到解码单元203。换句话说，分离/解码单元202进行与图1的综合编码单元111的操作相反的操作。
120.量化矩阵解码单元209通过对从分离/解码单元202提供的量化矩阵编码数据进行解码来重建和保持量化矩阵。
121.解码单元203对从分离/解码单元202输入的图像的编码数据进行解码，并重建残差系数、色度综合信息和预测信息。
122.与图1的逆量化/逆变换单元106同样地，逆量化/逆变换单元204通过使用重建量化矩阵对残差系数进行逆量化，获得逆量化系数，并且还进行逆正交变换来重建预测误差。
123.图像重建单元205基于输入的预测信息，通过适当地参考帧存储器206来生成预测图像数据。然后，图像重建单元205根据预测图像数据和由逆量化/逆变换单元204重建的预测误差来生成重建图像数据，并将重建图像数据存储在帧存储器206中。
124.与图1的环内滤波器单元109同样地，环内滤波器单元207对存储在帧存储器206中的重建图像数据进行诸如解块滤波等的环内滤波器处理，并且将滤波图像数据再次存储在帧存储器中。
125.输出端子208将存储在帧存储器206中的帧图像按顺序输出到外部。虽然输出目的地通常是显示装置，但是可以使用其它装置来代替。
126.将进一步详细描述如上所述的实施例的图像解码装置所进行的与解码图像有关的操作。本实施例使用以帧为单位输入编码位流的配置。
127.在图2中，从输入端子201输入的与一帧相应的位流被提供给分离/解码单元202。分离/解码单元202从位流中分离出与解码处理有关的信息以及与系数有关的编码数据等，并对存在于位流的头部分中的编码数据进行解码。然后，分离/解码单元202将头部分中包括的量化矩阵编码数据提供给量化矩阵解码单元209，并且将图像数据的编码数据提供给解码单元202。具体地，分离/解码单元202首先从图6a所示的位流的序列头中提取量化矩阵编码数据，并将量化矩阵编码数据输出到量化矩阵解码单元209。在本实施例中，提取并输出与图8a至图8c所示的量化矩阵相对应的量化矩阵编码数据。然后，提取出图片数据的以基本块为单位的编码数据并输出到解码单元203。
128.量化矩阵解码单元209首先对输入的量化矩阵编码数据进行解码，然后重建图10a至图10c所示的一维差矩阵1000至1002。然后，如在编码侧一样，量化矩阵解码单元209使用图11a所示的编码表对各个量化矩阵进行解码。虽然实施例假定使用图11a所示的编码表，但取而代之可以使用图11b所示的编码表。简而言之，使用与编码侧所使用的编码表相同的编码表，这就足够了。量化矩阵解码单元209反向扫描重建的一维差矩阵1000至1002，并重建和保持二维量化矩阵。这里进行由量化矩阵编码单元113在编码侧进行的操作的逆操作。换句话说，本实施例的量化矩阵编码单元113使用图9a或图9b所示的扫描方法，根据其各自的大小对图10a至图10c所示的差矩阵1000至1002进行解码。结果，如图8a至图8c所示，量化矩阵编码单元113重建并保持三种类型的量化矩阵800至802。
129.解码单元203解码从分离/解码单元202提供的编码数据，重建色度综合信息和预测信息，并且还根据重建色度综合信息来重建残差系数。解码单元203首先重建预测信息，并获得用于该子块的预测模式。接下来，解码单元203重建色度综合信息，并判断是否对该子块使用了综合色度残差系数编码。如果色度综合信息指示未将综合色度残差系数编码用于相应的子块，则解码单元203对y、cb和cr所有颜色分量的残差系数进行解码并进行重建。另一方面，如果色度综合信息指示对相应的子块使用综合色度残差系数编码，则解码单元203对y和cb颜色分量的残差系数进行解码(不存在用于cr颜色分量的编码数据，因此不进行相应的解码处理)。解码单元203将重建色度综合信息和残差系数输出到逆量化/逆变换单元204，并将重建预测信息输出到图像重建单元205。
130.逆量化/逆变换单元204通过使用由量化矩阵解码单元209重建的量化矩阵对输入的残差系数进行逆量化来生成正交变换系数，并且还通过进行逆正交变换来重建预测误差。与编码侧的逆量化/逆变换单元106同样地，逆量化/逆变换单元204使用与待解码的子块的颜色分量相对应的量化矩阵来进行逆量化。换句话说，图8a的量化矩阵用于y分量残差系数，图8b的量化矩阵用于cb分量残差系数，图8c的量化矩阵用于cr分量残差系数。然而，如果色度综合信息指示在相应的子块中使用了综合色度残差系数编码，则不从解码单元203提供cr分量的正交变换系数的残差系数。因此，逆量化/逆变换单元204使用图8b的量化矩阵对cb分量的残差系数进行逆量化，然后重建cr分量的正交变换系数。换句话说，通过在重建cr分量之前使用量化矩阵进行逆量化来提高处理效率。具体地，逆量化/逆变换单元204将重建的cb分量正交变换系数乘以(-1)以重建cr分量正交变换系数，并将这些系数提供给图像重建单元205。通过对重建正交变换系数进行逆正交变换而重建的预测误差被输
出到图像重建单元205。然而，所使用的量化矩阵不限于此，可以使用任意量化矩阵，只要该量化矩阵与编码侧的变换/量化单元105和逆量化/逆变换单元106所使用的量化矩阵相同即可。
131.虽然上文作为示例描述了负相关关系的情况，但是配置不限于此。
132.如果观察到cb(i)≈acr(i)的相关关系(其中a是整数)并进行综合色度残差系数编码，乘以“a”的cb分量的正交变换系数将被重建为cr分量的正交变换系数。可以从位流中解码出用于指示相关关系的信息“a”，或者可以作为编码侧与解码侧之间的规则而预先保持用于指示相关关系的信息“a”。
133.图像重建单元205基于从解码单元203输入的预测信息，通过适当地参考帧存储器206来重建预测图像。与编码侧的预测单元104同样地，本实施例的图像重建单元205使用诸如水平预测或垂直预测等的帧内预测。具体的预测处理与编码侧的预测单元104的预测处理相同，因此将不进行描述。图像重建单元205根据预测图像和从逆量化/逆变换单元204输入的预测误差来生成图像数据，并将图像数据存储在帧存储器206中。在预测期间使用所存储的图像数据用于参考。
134.与编码侧的环内滤波器单元109同样地，环内滤波器单元207从帧存储器206读出重建图像，并进行诸如解块滤波等的环内滤波器处理。环内滤波器单元207然后将滤波图像再次存储在帧存储器206中。
135.存储在帧存储器206中的重建图像最终从输出端子208输出到外部(外部的通常示例是显示装置)。
136.图4是示出根据本实施例的图像解码装置中的控制单元250进行的解码处理的流程图。
137.首先，在s401中，控制单元250控制分离/解码单元202以从位流中分离出与解码处理有关的信息以及与系数有关的编码数据等，并对头部分的编码数据进行解码。更具体地，分离/解码单元202将量化矩阵编码数据提供给量化矩阵解码单元209，并且将图像的编码数据提供给解码单元203。
138.在s402中，控制单元250控制量化矩阵解码单元209以对在s401中重建的量化矩阵编码数据进行解码。结果，量化矩阵解码单元209重建图10a至图10c所示的一维差矩阵1000至1002。然后，量化矩阵解码单元209如图9a所示那样扫描一维差矩阵1000，根据图11a的编码表进行解码，并重建和保持图8a的量化矩阵800。另外，量化矩阵解码单元209如图9b所示那样扫描一维差矩阵1001和1102，根据图11a的编码表进行解码，并重建和保持图8b和图8c中的量化矩阵801和802。
139.在s403中，控制单元250控制解码单元203以对在s401中分离出的编码数据进行解码，重建色度综合信息和预测信息，并根据色度综合信息来重建亮度分量的残差系数和色度残差系数。注意，如稍前所述地，待重建的色度残差系数可以是cb和cr这两者，或者仅是cb。
140.在s404中，控制单元250控制逆量化/逆变换单元204以使用在s402中重建的量化矩阵对残差系数进行逆量化，并生成正交变换系数。逆量化/逆变换单元204还进行逆正交变换并重建预测误差。在本实施例中，根据待解码的子块的颜色分量来确定要在逆量化中使用的量化矩阵。换句话说，逆量化/逆变换单元204使用图8a的量化矩阵来对y分量残差系
数进行逆量化，使用图8b的量化矩阵来对cb分量残差系数进行逆量化，使用图8c的量化矩阵来对cr分量残差系数进行逆量化。然而，所使用的量化矩阵不限于此，并且可以使用任意量化矩阵，只要该量化矩阵与编码侧所使用的量化矩阵相同即可。
141.然而，当色度综合信息指示在子块中使用综合色度残差系数编码时，逆量化/逆变换单元204通过使用图8b的量化矩阵对cb分量残差系数进行逆量化来重建cb分量正交变换系数。然后，逆量化/逆变换单元204将重建的cb分量正交变换系数乘以(-1)以重建cr分量正交变换系数。
142.在s405中，控制单元250控制图像重建单元205以重建在s403中生成的图像。具体地，图像重建单元205基于预测信息通过参考帧存储器206来重建预测图像。此时，与编码侧的s305同样地，图像重建单元205使用诸如水平预测或垂直预测等的帧内预测。然后，图像重建单元205根据重建预测图像和在s404中生成的预测误差来重建图像数据，并将重建图像数据存储在帧存储器206中。
143.在s406中，控制单元250判断针对感兴趣帧中的所有基本块解码是否已结束。如果为否，则序列移动到s407，而如果剩有未解码的块，则序列返回到s403以解码下一个基本块。
144.在s407中，控制单元250控制环内滤波器单元207以对在s405中重建的图像数据进行环内滤波器处理并生成滤波图像，然后结束处理。
145.即使对于利用上述图像编码装置所生成的编码位流(即、使用了综合色度残差系数编码的子块)，上述配置和操作也使得能够通过针对各个频率分量控制量化来对具有提高了的主观图像质量的位流进行解码。
146.注意，在本实施例中，对位流的头包含色度矩阵信息的情况进行如下的解码处理。
147.当给定图片中的给定子块(在本实施例中，子块＝基本块)的色度综合信息指示未使用综合色度残差系数编码时，使用图8b所示的量化矩阵801对该子块中的分量cb的残差系数进行逆量化，而使用图8c的量化矩阵802对cr分量的残差系数进行逆量化。
148.另一方面，当给定图片的给定子块的色度综合信息指示使用综合色度残差系数编码时，分量cb和cr的哪个子块将被编码取决于存储在头中的色度矩阵信息。以下将描述该情况。
149.当色度矩阵信息为0时，分量cb和cr中分量cb的子块的残差系数通过使用图8b的量化矩阵801进行逆量化以获得变换系数而被解码。不存在分量cr，因此通过将分量cb的逆量化变换系数乘以
“‑
1”而获得的值被生成并解码来作为分量cr的变换系数。
150.另外，当色度矩阵信息为1时，分量cb和cr中分量cr的子块的残差系数通过使用图8c的量化矩阵802进行逆量化以获得变换系数而被解码。不存在分量cb，因此通过将分量cr的逆量化变换系数乘以
“‑
1”而获得的值被生成并解码来作为分量cb的变换系数。
151.另外，当色度矩阵信息为2时，分量cb和cr中一个分量(例如，分量cb)的子块的残差系数通过使用图8b的量化矩阵801进行逆量化以获得变换系数而被解码。不存在另一个分量cr，因此通过将一个分量的逆量化变换系数乘以
“‑
1”而获得的值被生成并解码来作为另一个分量的变换系数。
152.结果，能够将实现了对使用综合色度残差系数编码的子块进行独立的量化控制的位流进行解码。
153.第二实施例
154.将上述实施例中的图像编码装置和图像解码装置的处理单元描述为由硬件构成。然而，附图所示的处理单元所进行的处理可以通过计算机程序来构成。
155.图5是示出根据上述实施例的图像编码装置和图像解码装置能够被应用的计算机的硬件配置的示例的框图。
156.cpu 501使用存储在ram 502和ram 503等中的计算机程序及数据等来控制计算机整体，并作为根据上述实施例的图像处理装置进行的处理而执行上述处理。换句话说，cpu 501用作图1和图2所示的处理单元。
157.ram 502具有用于暂时存储经由外部存储装置506和i/f(接口)507从外部获得的程序和数据等的区域。此外，当cpu 501执行各种类型的处理时，ram 502还用作工作区域。例如，ram 502可以被分配作为帧存储器，或者可以适当地提供各种其它区域。
158.计算机的配置数据和引导程序等存储在rom 503中。操作单元504由键盘和鼠标等构成，并且通过操纵操作单元504，计算机的用户可以向cpu 501输入各种类型的指令。显示单元505显示中央处理器501的处理结果。显示单元505例如由液晶显示器构成。
159.外部存储装置506是以硬盘驱动器装置为代表的高容量信息存储装置。外部存储装置506存储os(操作系统)以及用于使cpu 501实现图1和图2所示的各单元的功能的计算机程序(应用程序)等。待处理的图像数据也可以存储在外部存储装置506中。
160.存储在外部存储装置506中的计算机程序和数据等在cpu 501的控制下适当地被加载到ram 502中，然后由cpu 501处理。诸如lan和因特网等的网络以及诸如投影装置和显示装置等的其它装置等可以连接到i/f 507，并且计算机可以经由该i/f 507获得和发送各种信息。508表示将上述单元彼此连接的总线。
161.在上述配置中，当装置的电源接通时，cpu 501执行存储在rom 503中的引导程序，将存储在外部存储装置506中的os加载到ram 502中，并且执行os。然后，在os的控制下，cpu 501将用于编码或解码的应用程序从外部存储装置506加载到ram 502中并执行该程序。结果，cpu 501用作图1或图2所示的处理单元，因此该装置用作图像编码装置或图像解码装置。
162.其它实施例
163.本发明可以通过经由网络或存储介质向系统或设备提供用于实现上述实施例的一个或多个功能的程序、并使该系统或设备的计算机中的一个或多个处理器读出并执行该程序的处理来实现。本发明也可以通过用于实现一个或多个功能的电路(例如，asic)来实现。
164.产业上的可利用性
165.本发明可以用于对静止图像和运动图像进行编码和解码的编码装置和解码装置。本发明特别适用于使用量化矩阵的编码方案和解码方案。
166.本发明不限于上述实施例，可以在本发明的精神和范围内进行各种改变和修改。因此，附上权利要求以向公众告知本发明的范围。
167.本技术要求于2019年6月7日提交的日本专利申请2019-107454号的优先权，其全部内容在此通过引用而并入本文。