量化矩阵发送技术1.相关引用2.本技术是非临时申请的一部分，要求分别在2019年9月24日递交的申请号为62/904,717的美国临时申请案，在2019年10月8日递交的申请号为62/912,538的美国临时申请案，在2019年10月9日递交的申请号为62/913,103的美国临时申请案，在2019年10月24日递交的申请号为62/925,267的美国临时申请案，在2020年9月23日递交的申请号为17/029,239的美国临时申请案的优先权。上述全部内容以引用方式并入本发明。
技术领域：
：3.本公开总体上涉及视频编解码。具体的是，本公开涉及发送和处理量化矩阵的方法。
背景技术：
：：4.除非本文另外指出，否则本节中描述的方法不是下面列出的权利要求的现有技术，并且不被包括在本节中而被承认为现有技术。5.量化矩阵(quantizationmatrix，简称qm)已经在各种视频编解码标准中被使用。隐含残差讯号的变换编解码的基于块的混合视频编解码方案使用频率相关缩放来控制量化失真在变换单元(transformunit，简称tu)中跨不同频率的分布。为了在空间频率上实现感知上均匀的量化，根据在其相关频率范围上的感知灵敏度，量化矩阵对与变换系数关联的每个频道进行加权，以使与变换块中的较高频率系数相比，变换块中的较低频率系数可以更细化的量化步长进行量化。在解码器处，相应的量化矩阵对每个频道的去量化变换系数进行反加权。量化矩阵已成功地用于各种视频编解码标准中，例如h.264/高级视频编解码(advancedvideocoding，简称avc)和h.265/高效视频编解码(highefficiencyvideocoding，简称hevc)以及众多商业产品，以提高视频内容的主观质量。6.对于h.265/hevc，根据变换块的大小和类型，以下量化矩阵被支持。亮度：帧内4x4，帧间4x4，帧内8x8，帧间8x8，帧内16x16，帧间16x16，帧内32x32，帧间32x32。cb：帧内4x4，帧间4x4，帧内8x8，帧间8x8，帧内16x16，帧间16x16。cr：帧内4x4，帧间4x4，帧内8x8，帧间8x8，帧内16x16，帧间16x16。技术实现要素：7.以下
发明内容仅是说明性的，而无意于以任何方式进行限制。即，以下概述被提供以介绍本文所述的新颖和非显而易见的技术的概念、重点、益处和优点。选择而非全部实现在下面的详细描述中进一步被描述。因此，以下
发明内容既不旨在标识所要求保护的主题的必要特征，也不旨在用于确定所要求保护的主题的范围。8.本公开的一些实施例提供了一种用于发送缩放矩阵以进行变换系数量化的方法。解码器从待解码的比特流中接收数据作为视频的当前图像，该当前图像通过使用多个缩放矩阵来解码。解码器接收用于多个缩放矩阵的第一缩放矩阵的参考索引偏移。解码器将参考索引偏移应用于识别第一缩放矩阵的第一索引，以导出用于识别多个缩放矩阵的第二缩放矩阵的第二索引。第二缩放矩阵被预先重构。解码器通过参考第二缩放矩阵来重构第一缩放矩阵。解码器通过使用多个缩放矩阵对当前图像的变换块的变换系数进行去量化，并且通过使用去量化的变换系数来重构当前图像。9.在一些实施例中，当比特流中的第一标志指示第一缩放矩阵和第二缩放矩阵的对应元素相同时，通过将第二缩放矩阵的元素复制为第一缩放矩阵的元素，第一缩放矩阵被确定。在一些实施例中，当比特流中的第一标志指示第一缩放矩阵和第二缩放矩阵的对应元素不相同时，通过(i)将一组差量值添加于第二缩放矩阵的元素中作为第一缩放矩阵的元素，或(ii)在比特流中的显式发送，比特流中的第二标志指示第一缩放矩阵是否被确定。10.在一些实施例中，根据一维索引方案，第一索引和第二索引分别被分配给第一缩放矩阵和第二缩放矩阵，其中该一维索引方案根据索引的颜色分量、块大小和预测类型，将索引分配给缩放矩阵。在一些实施例中，根据一维索引方案，用于编解码帧内预测类型的色度分量的2x2变换块的缩放矩阵没有被分配索引。在一些实施例中，当没有其他缩放矩阵具有与先前发送的当前图像的第一缩放矩阵相同的特定大小时，参考索引偏移不在比特流中发送，并且通过参考默认量化矩阵，第一缩放矩阵被确定。在一些实施例中，当第一索引大于阈值时，缩放矩阵的块大小是64。11.在一些实施例中，比特流包括：第一语法元素，其指定第一矩阵中的两个连续缩放矩阵系数之间的差值；以及第二语法元素，其指定第一缩放矩阵的dc系数。第一和第二语法元素被限制在-128到127之间(包含-128和127)。附图说明12.下列图示用以提供本发明的进一步理解，并被纳入且构成本发明的一部分。这些图示说明了本发明的实施方式，并与说明书一起用以解释本发明的原理。为了清楚地说明本发明的概念，与实际实施方式中的尺寸相比一些元素可以不按照比例被示出，这些图示无需按照比例绘制。13.图1示出具有默认值的尺寸为4×4和8×8的默认量化矩阵的内容。14.图2示出对基本缩放矩阵(8x8量化矩阵)进行上-采样以得出较大块的量化矩阵。15.图3示出一维索引方案的示例，该一维索引方案被用于识别不同大小、不同颜色分量和不同预测模式的缩放矩阵。16.图4示出一维索引方案，该一维索引方案被用于识别不同大小、不同颜色分量和不同预测模式的缩放矩阵，其中2x2色度从一维缩放矩阵索引中被去除。图5在概念上说明缩放矩阵(或缩放列表或量化矩阵)，其通过参考先前编解码或发送的缩放矩阵来确定。17.图6说明视频编码器的示例。18.图7说明视频编码器视频编码器实施缩放矩阵的发送的部分。19.图8在概念上说明发送缩放矩阵以编码视频图像的过程。20.图9说明视频解码器的示例。21.图10说明视频解码器的处理缩放矩阵的发送的部分。22.图11在概念上说明用于重构缩放矩阵以对视频图像进行解码的过程。23.图12在概念上说明实现本公开的一些实施例的电子系统。具体实施方式24.在下面详细的说明书中，为了透彻理解相关教示内容，通过举例的方式进行说明大量具体的细节。基于本文所描述的教示内容的任何改变、推导和/或拓展均在本发明的保护范围内。在一些例子中，为了避免不必要地混淆本发明的教示内容的各方面，于此处所公开的一个或者多个示例性实施方式的已知的方法、程序、元件和/或电路是以相对上位的方式描述而无细节上描述。25.i.量化矩阵26.本公开的一些实施例提供了发送或表示量化矩阵的方法。量化矩阵用于实现频率相关的缩放。因此，量化矩阵(quantizationmatrix，简称qm)也可被称为缩放矩阵，缩放列表或缩放列表矩阵。对于hevc，通过在序列参数集合(sequenceparameterset，简称sps)中使用语法元素scaleing_list_enabled_flag，频率相关的缩放被启用。此标志被启用后，sps和图像参数集合(pictureparameterset，简称pps)中的其他标志将控制使用默认量化矩阵还是非默认量化矩阵。对于一些实施例，图1示出具有默认值的尺寸为4×4和8×8的默认量化矩阵的内容。在一些实施例中，非默认量化矩阵可选地在sps或pps中的比特流中传输。27.为了减少存储量化矩阵所需的内存，8×8矩阵被用来导出较大的变换块(例如16x16、32x32、64x64等)的量化矩阵。因此，8×8默认量化矩阵被称为基本缩放矩阵。例如，通过使用复制进行上-采样，大小为16x16和32x32的变换块的量化矩阵从相同类型的8x8基本缩放矩阵中获得。28.图2示出对基本缩放矩阵(8×8量化矩阵)进行上-采样以导出较大块的量化矩阵。如图所示，8x8量化矩阵210的1x1区域被上-采样到16x16量化矩阵220中的2x2区域和32x32量化矩阵230中的4x4区域。29.a.小块的量化矩阵30.在一些实施例中，2x2tu的缩放列表被禁用。在一些实施例中，默认矩阵(即，平面矩阵)总是被用于2×2tu。在一些实施例中，用于2x2tu的缩放列表可以从其他缩放列表(例如，用于4x4或8x8tu的缩放列表)导出。例如，通过下-采样，2x2的缩放列表可从4x4缩放列表中获得，也可直接使用4x4缩放列表中左上的2x2。在上述情况下，2x2缩放列表不会被发送。31.对于一些视频编解码标准，最小的色度cb为2x2。该最小的cb由子块变换(sub-blocktransform，简称sbt)生成，并且可能导致较低的硬件处理吞吐量。对于一些实施例，为了去除2×2块，一些约束被应用于sbt。在一些实施例中，sbt的最大亮度cb大小被约束为例如64×64或32×32。在一些实施例中，对于小cb，仅当cb宽度或高度大于或等于8(例如，8×4亮度cb被允许用于sbt)时，sbt才被约束为启用。当垂直分割被应用时，4x4亮度cb以及2x2色度cb被生成。在一些实施例中，对于小块，仅当亮度cb宽度和高度均大于8时，sbt才可被应用。在一些实施例中，仅当亮度cb大小大于64时，sbt才可被应用。在一些实施例中，如果在将sbt应用于一个cu后，tb大小变为4x4，则sbt被禁止。32.在一实施例中，用于色度的2x2帧间缩放列表被发送，而用于色度的2x2帧内缩放列表不被发送。对于4x4到32x32的大小，帧间/帧内和亮度/色度的不同组合的缩放列表被发送。33.b.缩放矩阵的一维索引34.在一些实施例中，当发送缩放矩阵时，在二维方案中，矩阵大小的标识符(sizeid)和矩阵本身的标识符(matrixid)独立地被发送。在一些其他实施例中，一维(one-dimensional，简称1d)索引方案用于指定缩放矩阵。例如，在一些实施例中，索引的线性序列被分配给不同类型的缩放矩阵，例如，从较小的tb大小到较大的tb大小。此外，对于每个tb大小，不同预测模式(例如，帧间模式、帧内模式、帧内块复制模式等)，不同颜色分量(y，u，v)的缩放矩阵以交错的顺序被分配索引。35.图3示出了用于识别不同大小、不同颜色分量和不同预测模式的缩放矩阵的示例性1d索引方案。在所示的1d索引方案中，对于sizeid＝2的亮度块，缩放矩阵没有被编解码。下面的表1示出了用于基于1d索引方案来发送视频图像或序列的缩放列表的示例语法。36.表1：37.[0038][0039]根据1d索引方案，变量“scalinglistid”是发送的缩放列表或缩放矩阵的索引(也被称为当前或目标缩放列表或矩阵)。[0040]语法元素scaling_list_copy_mode_flag[scalinglistid]为1指定缩放列表的值与参考缩放列表的值相同。参考缩放列表是通过使用语法元素scaling_list_pred_scaling_list_id_delta[scalinglistid]来指定的。语法元素scaling_list_copy_mode_flag[scalinglistid]为0指定缩放列表的值被显示地发送。[0041]语法元素scaling_list_prediction_mode_flag[scalinglistid]为1指定可以从参考缩放列表中预测缩放列表的值。参考缩放列表由scale_list_pred_scaling_list_id_delta[scalelistid]指定。语法元素scaling_list_prediction_mode_flag[scalinglistid]为0指定缩放列表的值被显示地发送。如果不存在，则scale_list_prediction_mode_flag[scalinglistid]的值被推断为等于0。[0042]语法元素scaling_list_pred_scaling_list_id_delta[scalinglistid]被用于指定或识别用于导出当前缩放列表scalinglist[scalinglistid]的参考缩放列表。参考缩放列表的索引(表示为refscalinglistid)使用当前缩放列表scalinglistid和scaling_list_pred_scaling_list_id_delta的索引来导出。例如，参考缩放列表的索引可以根据以下方式设置：[0043]refscalinglistid＝[0044]scalinglistid–scaling_list_pred_scaling_list_id_delta[scalinglistid]。[0045]换句话说，scaling_list_predi_scaling_list_id_delta[scalinglistid]是从当前缩放列表的索引到参考缩放列表的索引的偏移。该偏移也被称为当前缩放列表的参考索引偏移。[0046]在一些实施例中，当scalinglistid小于4时，scaling_list_pred_scaling_list_id_delta[scalinglistid]的值在0到scalinglistid的范围内，包括端值；当scalinglistid在4至9的范围内时，scaling_list_pred_scaling_list_id_delta[scalinglistid]的值在0至scalinglistid-4的范围内，包括端值；当scalinglistid大于9时，scaling_list_pred_scaling_list_id_delta[scalinglistid]的值在0到scalinglistid-10的范围内，包括端值。[0047]在一些实施例中，当scaling_list_copy_mode_flag[scalinglistid]等于1时(或者当scaling_list_pred_mode_flag[scalilnglistid]等于0时)，scalingmatrix[sizeid][matrixid][x][y]根据以下内容：[0048]其中x＝0..(1《《matrixsize)-1，y＝0..(1《《matrixsize)-1，[0049]如果scaling_list_pred_scaling_list_id_delta[matrixid]等于0，则scalingmatrix[sizeid][matrixid][x][y]被推断为16。[0050]否则，缩放列表scalingmatrix[sizeid][matrixid][x][y]从参考缩放列表scalingmatrix[refsizeid][refmatrxid][refmatrxid][x][y]被推断(比如设置等于)。[0051]在一些实施例中，具有与当前缩放矩阵不同的基本大小的缩放矩阵不能被用作参考缩放矩阵。例如，当当前缩放矩阵的scalinglistid等于0、4或10(它们是每个基本大小中的第一缩放矩阵，如图3所示)时，默认量化矩阵(如图1所示))被推断为参考矩阵，而语法元素scale_list_pred_scaling_list_id_delta被跳过。[0052]此外，由于每个缩放列表矩阵仅被允许参考具有相同基本大小的矩阵，所以值约束可被应用于偏移scaling_list_pred_scaling_list_id_delta。例如，当scalinglistid小于4时，scaling_list_pred_scaling_list_id_delta[scalinglistid]的值被约束在0到scalinglistid的范围内，包括端值。当scalinglistid在4到9的范围内时，scaling_list_pred_scaling_list_id_delta[scalinglistid]的值被约束在0到scalinglistid–4的范围内，包括端值。当scalinglistid大于9时，scaling_list_pred_scaling_list_id_delta[scalinglistid]的值被约束在0到scaleslistid-10的范围内，包括端值。因此，例如，除了参考默认缩放列表之外，具有在大于9的范围内的id＝13的缩放列表可以参考从id＝10到id＝12的先前解码的缩放列表。[0053]对于目标缩放列表索引(在1d方案中为scaleinglistid)，大小索引和矩阵索引(在2d方案中为sizeid和matrixid)可通过查找表或公式导出。sizeid和matrixid的值是基于表2的scalinglistid导出的。refsizeid和refmatrixid的值也可使用表2基于refscalinglistid来得出。[0054]表2：[0055]scalinglistid0123456789sizeid1111222222matrixid1245012345scalinglistid10111213141516171819sizeid3333334444matrixid0123450123scalinglistid20212223242526272829sizeid4455555566matrixid4501234503[0056]表3a示出了基于量化矩阵/缩放列表的大小的sizeid的规范。[0057]表3a[0058][0059][0060]表3b示出根据预测模式和颜色分量的matrixid规范。[0061]表3b[0062][0063]语法元素scaling_list_dc_coef[scalinglistid] preddc指定scalingfactordc[sizeid][matrixid]的值(由scalinglistid标识的缩放列表的dc值)。在一些实施例中，scalingfactordc[sizeid][matrixid]的值被约束在1至255的范围内，包括端值。如果scaling_list_prediction_mode_flag[scalinglistid]等于1，并且scaling_list_pred_scaling_list_id_delta[scalinglistid]等于0，则preddc等于16；否则，如果scale_list_prediction_mode_flag[matrixid]等于1，则preddc等于scalingmatrix[refsizeid][refmatrixid][0][0]；否则，preddc等于8。如果scaling_list_copy_mode_flag[scalinglistid]等于1，scaleinglistid大于15，并且scaleing_list_pred_scaling_list_id_delta[scalinglistid]等于0，则scalingfactordc[sizeid][matrixid]的值被设置为16。如果scaling_list_copy_mode_flag[scalinglistid]等于1，scaleinglistid大于15，并且scaleing_list_pred_scaling_list_id_delta[scalinglistid]不等于0，则scalingfactordc[sizeid][matrixid]的值被设置为等于scalingfactordc[refsizeid][refmatrixid]。[0064]当scaling_list_copy_mode_flag[scalinglistid]等于0时，语法元素scaling_list_delta_coef指定当前矩阵系数scalinglist[scalinglistid][i]和先前矩阵系数scalinglist[scalinglistid][i-1]之间的差值。在一些实施例中，scaling_list_delta_coef的值必须被限制在-128到127范围内，包括端值。scalinglist[scalinglistid][i]的值应大于0。当scaling_list_copy_mode_flag[scalinglistid]等于0并且scaleing_list_delta_coef不存在时，scalinglist[scalinglistid][i]的值被推断为0。[0065]如果scaling_list_copy_mode_flag[scalinglistid]等于0，则数组scalingmatrix[scalinglistid](或scalingmatrix[sizeid][matrixid])可推导如下：[0066][0067]当chromaarraytype等于3时，大小为64x64的色度量化矩阵的元素(scalingmatrix[6][6][matrixid][x][y]，x＝0..7，y＝0..7，并且matrixid＝1，2，4和5)可推导如下：[0068]scalingmatrix[6][6][matrixid][x][y]＝scalingmatrix[5][5][matrixid][i][j]其中i＝x以及j＝y。[0069]变量scalingfactor是五维(five-dimensional)数组。具体来说，scalingfactor[wid][hid][matrixid][x][y]根据以下各项指定缩放因子数组：(变量matrixid在表3b中指定的)：[0070]对于x范围从0到(1《《wid)–1，y范围从0到(1《《hid)–1，wid＝0..6，hid＝0..6，[0071]scalingfactor[wid][hid][matrixid][x][y]＝[0072]scalingmatrix[sizelid][matrixid][i][j][0073]如果wid不等于hid，则sizelid＝max(wid，hid)，[0074]i＝(x《《(((sizelid》3)？3：sizelid)》》wid)，[0075]j＝(y《《(((sizelid》3)？3：sizelid)》》hid)[0076]否则(wid等于hid)，sizelid＝wid，i＝x，j＝y[0077]如果max(wid，hid)大于3，则适用以下条件。[0078]scalingfactor[wid][hid][matrixid][0][0]＝[0079]scalingfactordc[max(wid，hid)][matrixid][0080]在一些实施例中，帧内2x2色度(缩放)矩阵可被删除(从1d索引方案中)。图4示出用于识别不同大小，不同颜色分量和不同预测模式的缩放矩阵的1d索引方案，其中2×2色度被从1d缩放矩阵索引中删除。如图所示，第一索引(索引0)对应于2×2色度间分量的缩放列表，而2×2色度帧内分量从该索引方案中被省略。[0081]下面的表4示出了当从1d索引方案中省略2x2内色度的缩放列表时发送视频图像或序列的缩放列表的语法。[0082]表4：[0083][0084][0085]当2x2色度从1d索引中被删除时，根据下面的表5，scalelistid(1d索引)与sizeid和matrixid(2d索引)之间的映像被修改：[0086]表5[0087][0088][0089]当帧内2x2色度从1d索引方案中被删除时，语法元素scale_list_pred_scaling_list_id_delta[scaledid]被定义且与帧内2x2色度在1d索引方案中时不同。具体地，当scalinglistid小于2时，scaling_list_pred_scaling_list_id_delta[scalinglistid]的值在0到scalinglistid的范围内，包括端值。当scalinglistid在2到7的范围内时，scaling_list_pred_scaling_list_id_delta[scalinglistid]的值在0到scalinglistid–2的范围内，包括端值。当scalinglistid大于7时，scaling_list_pred_scaling_list_id_delta[scalinglistid]的值在0到scalinglistid-8的范围内，包括端值。[0090]c.缩放列表预测子[0091]一个值可被用来预测缩放列表中的第一系数(被称为起点预测子)。在一实施例中，起点预测子可以是预定值，例如0、8或16。在另一实施例中，起点预测子可以是取决于矩阵预测模式的值，例如复制模式(正在发送的当前缩放矩阵与先前发送的缩放矩阵完全相同)，dpcm模式(直接发送缩放列表中的每个系数)或预测子模式(先前发送的缩放列表被用作预测子或参考；预测子和当前缩放矩阵之间的差值，以及预测子的索引需要被发送)。在另一实施例中，起点预测子可以是取决于内部比特深度的值。在另一实施例中，起点预测子可是取决于颜色成分的值，例如，y，cb或cr。在另一实施例中，起点预测子可是取决于预测模式的值，例如，帧间，帧内，ibc。[0092]预测子模式(或矩阵预测模式)还可参考默认缩放列表(例如，图1的默认量化矩阵，或具有均匀或平坦值的矩阵)来执行预测。在一些实施例中，参考矩阵索引(在1d方案中用于辨识预测子/参考缩放矩阵的索引)可被用于指示默认缩放列表是否被用于预测当前缩放列表。如果参考矩阵索引等于当前矩阵索引(在1d方案中用于辨识当前缩放列表的索引)，则默认缩放列表被用作预测子，以预测当前缩放列表。在一些实施例中，用于指示是否应用预测子模式的标志可被省略。在一些实施例中，仅复制模式和预测子模式被用于对缩放列表进行编解码或发送，并且参考矩阵索引被用于指示默认缩放列表是否被用于预测当前缩放列表。dpcm可被应用于对预测子(参考缩放矩阵)和当前缩放列表之间的差值进行编解码或发送。[0093]在表1和表4中，scaling_list_copy_mode_flag和scaleing_list_prediction_mode_flag(在下面的表6中，scaleing_list_pred_mode_flag和scaleing_list_predictor_mode_flag)被用于指示当前缩放矩阵是否从参考缩放矩阵复制，或者当前缩放矩阵是否可从具有额外的元素间(element-to-element)差值的先前解码的或默认的参考缩放矩阵中预测。如果当前缩放矩阵是从已经发送或编解码的参考缩放矩阵复制或预测的，则语法元素scaled_list_pred_scaling_list_id_delta被发送以指示哪个缩放矩阵被使用。[0094]在一些实施例中，大于阈值或小于阈值的scalinglistid指示当前缩放列表是相对于64x64/64xn/nx64块大小的。在一些实施例中，阈值为27。在一些实施例中，阈值为23。在一些实施例中，由于系数归零，当前缩放列表的右下-采样未被发送。[0095]d.替代缩放列表语法[0096]在一些实施例中，不同的语法元素集合被用来发送1d索引方案中的缩放列表(缩放矩阵或量化矩阵)。例如，语法元素“scaling_list_copy_mode_flag”可以由“scaling_list_pred_mode_flag”代替，以发送当前缩放列表的值是否与参考缩放列表的值相同；语法元素“scaling_list_prediction_mode_flag”可由“scaling_list_predictor_mode_flag”代替，以发送当前缩放列表的值是从参考缩放列表中预测还是显示地发出。下面的表6示出语法的示例，该语法使用替代语法基于1d索引方案发送视频图像或序列的缩放列表。[0097]表6:[0098][0099][0100]语法元素scaling_list_pred_mode_flag[scalinglistid]为0指示缩放列表的值与参考缩放列表的值相同。参考缩放列表由scale_list_pred_scaling_list_id_delta[scalelistid]指定。语法元素scaling_list_pred_mode_flag[scalinglistid]为1表示缩放列表的值被显示地发送。[0101]语法元素scaling_list_predictor_mode_flag[scalinglistid]为1表示缩放列表的值可从由scaling_list_pred_scaling_list_id_delta[scalinglistid]指定的参考缩放列表中预测。语法元素scale_list_predictor_mode_flag[scaleinglistid]为0表示缩放列表的值被显式地发送。如果不存在，则scale_list_predictor_mode_flag[scaleinglistid]的值被推断为等于0。[0102]语法元素scaling_list_dc_coef_minus8[scalinglistid]加8 preddc指定了待确定的当前缩放列表的dc值，表示为scalingfactordc[sizeid][matrixid]或scalingfactordc[scalinglistid]。在一些实施例中，scaling_list_dc_coef_minus8[scalinglistid]的值被约束在-7到247的范围内，包括端值。如果scaling_list_predictor_mode_flag[scalinglistid]等于1，并且scaling_list_pred_scaling_list_id_delta[scalinglistid]等于0，则preddc等于16；否则，如果scale_list_predictor_mode_flag[matrixid]等于1，则preddc等于scalingmatrix[refsizeid][refmatrixid][0][0]；否则preddc等于0。如果scaling_list_pred_mode_flag[scalinglistid]等于0，scaleinglistid大于15，并且scaling_list_pred_scaling_list_id_delta[scalinglistid]等于0，则scalingfactordc[sizeid][matrixid]的值被设置为16。否则，如果scaling_list_pred_mode_flag[scalinglistid]等于0，scaleinglistid大于15，并且scaleing_list_pred_scaling_list_id_delta[scalelistid]不等于0，则scalingfactordc[sizeid]的值][matrixid]被设置为等于scalingfactordc[refsizeid][refmatrixid]。[0103]当scaling_list_pred_mode_flag[scalinglistid]等于1时，语法元素scaling_list_delta_coef指定当前矩阵系数scalinglist[scalinglistid][i]与先前矩阵系数scalinglist[scalinglistid][i-1]之间的差值。scale_list_delta_coef的值被约束在-128到127范围内，包含端点。scalinglist[scalinglistid][i]的值大于0。当scaling_list_pred_mode_flag[scalinglistid]等于1并且scaleing_list_delta_coef不存在时，scalinglist[scalinglistid][i]的值被推断为0。[0104]如果scaling_list_pred_mode_flag[scalinglistid]等于1，则数组scalingmatrix[scalinglistid]可推导如下：[0105][0106]在一些实施例中，当chromaarraytype等于3时，大小为64x64的色度量化矩阵的元素，scalingfactor[6][6][matrixid][x][y]，x＝0..63，y＝0..63，并且matrixid＝1，2，4和5的推导如下：[0107]scalingfactor[6][6][matrixid][x][y]＝scalingfactor[5][5][matrixid][i][j]，其中i＝x和j＝y。[0108]表7示出用于基于1d索引方案发送视频图像或序列的缩放列表的另一种替代语法，其中语法元素“scalinglistid”被简称为“id”，并且定义用于缩放列表索引的范围被修改。[0109]表7：[0110][0111][0112]语法元素scale__matrix_for_lfnst_disabled_flag为1指示缩放矩阵不被应用于以lfnst编解码的块，为0指示缩放矩阵可被应用于以lfnst编解码的块。[0113]语法元素scale_list_copy_mode_flag[id]为1指示缩放列表的值与参考缩放列表的值相同。参考缩放列表由scale_list_pred_id_delta[id]指定。语法元素scale_list_copy_mode_flag[id]为0指示存在scale_list_pred_mode_flag。[0114]语法元素scale_list_pred_mode_flag[id]为1指示可以从参考缩放列表中预测缩放列表的值。参考缩放列表由scale_list_pred_id_delta[id]指定。scale_list_pred_mode_flag[id]为0指示缩放列表的值被显式地发送。如果不存在，则scale_list_pred_mode_flag[id]的值被推断为等于0。[0115]语法元素scaling_list_pred_id_delta[id]指定用于导出预测缩放矩阵scalingmatrixpred[id]的参考缩放列表。如果不存在，则scaling_list_pred_id_delta[id]被推断为0。scaling_list_pred_id_delta[id]的值被约束在0到maxiddelta的范围内，其中maxiddelta取决于id，如下所示：[0116]maxiddelta＝(id《2)？id：((id《8)？(id-2)：(id-8))。[0117]变量refid和matrixsize可导出如下：[0118]refid＝id-scale_list_pred_id_delta[id][0119]matrixsize＝(id《2)？2：((id《8)？4：8)。[0120](matrixsize)x(matrixsize)数组scalingmatrixpred[x][y]，其中x＝0..matrixsize-1，y＝0..matrixsize–1。[0121]变量scalingmatrixdcpred的导出方式如下：当scaling_list_copy_mode_flag[id]和scaling_list_pred_mode_flag[id]都等于0时，scalingmatrixpred的所有元素均被设置为8，而scalingmatrixdcpred的值被设置为8。否则，当scaling_list_pred_id_delta[id]等于0，scalingmatrixpred的所有元素均被设置为16，以及scalingmatrixdcpred被设置为16。否则(scaling_list_copy_mode_flag[id]或scaling_list_pred_mode_flag[id]等于1且scale_list_pred_id_delta[id]大于0)，scalingmatrixpred被设置为等于scalingmatrix[refid]。如果refid大于13，则scalingmatrixdcpred被设置为等于scalingmatrixdc[refid-14]。否则(refid小于或等于13)，scalingmatrixdcpred被设置为等于scalingmatrixpred[0][0]。[0122]当id大于13时，语法元素scaling_list_dc_coef[id-14]被用于导出变量scalingmatrixdc[id-14]的值：[0123]scalingmatrixdc[id-14]＝scalingmatrixdcpred[0124] scaling_list_dc_coef[id-14] 256，或[0125]scalingmatrixdc[id-14]＝(scalingmatrixdcpred[0126] scaling_list_dc_coef[id-14] 256)％256[0127]在一些实施例中，scaling_list_dc_coef[id-14]的值被约束在-254至254的范围内，包括端值。如果不存在，则scale_list_dc_coef[id–14]的值被推断为等于0。在一些实施例中，scalingmatrixdc[id-14]的值被约束在1至255的范围内，包括端值。在另一些实施例中，scaling_list_dc_coef[id-14]的值被约束在-128至-127的范围内，包括端值。如果不存在，则scale_list_dc_coef[id–14]的值被推断为等于0。在一些实施例中，scalingmatrixdc[id-14]的值被约束为大于0。[0128]当scaling_list_copy_mode_flag[id]等于0时，语法元素scaling_list_delta_coef指定当前矩阵系数scalinglist[id][i]和先前矩阵系数scalinglist[id][i-1]之间的差值。在一些实施例中，scaling_list_delta_coef的值被约束在-511至511的范围内，包括端值。在一些实施例中，scaling_list_delta_coef的值被约束在-128至127的范围内，包括端值。当scaling_list_copy_mode_flag[id]等于1时，scalinglist[id]的所有元素都被设置为等于0。[0129]scalingmatrix[id]是一(matrixsize)x(matrixsize)数组，可导出如下：[0130]scalingmatrix[id][x][y]＝scalingmatrixpred[x][y] [0131]scalinglist[id][k]，其中k＝0..(matrixsize*matrixsize-1)，或[0132]scalingmatrix[id][x][y]＝(scalingmatrixpred[x][y] [0133]scalinglist[id][k] 256)％256，其中k＝0..(matrixsize*matrixsize-1)，[0134]x＝diagscanorder[log2(matrixsize)][log2(matrixsize)][k][0]，[0135]y＝diagscanorder[log2(matrixsize)][log2(matrixsize)][k][1]，[0136]scalingmatrix[id][x][y]的值应在1到255之间的范围内(包括1和255)。在一些其他实施例中，scalingmatrix[id][x][y]的值应大于零。[0137]在一些实施例中，如果scaling_list_delta_coef和scaling_list_dc_coef被作为预测子和原始数据之间的差值发送，则基于预测子的比特深度或预定义的范围(例如，[-255，255]，[-254，254]，[-128，128]，[-255，254]，[-512，511]或[-511，511]，scaling_list_delta_coef和scaling_list_dc_coef的范围可被指定。在一些实施例中，scaling_list_delta_coef和scaling_list_dc_coef的范围可通过模数运算来约束。例如，如果预测子的值为8，则scale_list_delta_coef和scale_list_dc_coef的范围被设置为[-7，247]；否则，如果预测子的值为16，则scale_list_delta_coef和scale_list_dc_coef的范围被设置为[-15，239]；否则，如果预测子的值的比特深度为8比特，则scale_list_delta_coef和scale_list_dc_coef的范围设置为[-512，511]。[0138]在一些实施例中，scaling_list_delta_coef和scaling_list_dc_coef的预定义范围可被用于导出最终缩放矩阵系数的范围。在一些实施例中，scaling_list_delta_coef和scaling_list_dc_coef的范围可以在序列级别，图像级别或片段级别被显式地发送给解码器。在一些实施例中，与预定义范围(比如8比特，10比特或内部比特深度)相比，如果最终缩放矩阵中的系数溢出，在发送之前溢出系数被设置为预定义的默认值，例如16，8。在一些实施例中，与预定义范围(比如8比特，10比特或内部比特深度)相比，如果最终缩放矩阵中的系数溢出，在发送之前相应的缩放矩阵将被设置为具有预定默认值(例如16，8)的全平面缩放矩阵。[0139]在一些实施例中，如果scaling_list_delta_coef和scaling_list_dc_coef被作为预测子和原始数据之间的差值发送，则scaleing_list_delta_coef和scaling_list_dc_coef的范围可进一步被限制在预定义范围内，例如[-255，255]，[-254，254]，[-127，127]，[-128，127]，[-256，255]，[-512，511]或[-511，511]。在一些实施例中，scaling_list_delta_coef和scaling_list_dc_coef的范围可通过模数运算来约束。在一些实施例中，中间参数的范围，例如nextcoef，可进一步通过模数运算(例如，模数为256)来约束，以确保最终缩放矩阵系数的比特深度在预定义范围内。在一些实施例中，scaling_list_delta_coef，scaling_list_dc_coef和nextcoef的范围可通过模数运算(例如，模数为256)来约束。这样，已发送的scaling_list_delta_coef和scaling_list_dc_coef被约束在较小的范围内，例如[-128，127][-127，127]。在一些实施例中，scaling_list_delta_coef和scaling_list_dc_coef的预定义范围或中间参数，例如nextcoef可被用于导出最终缩放矩阵系数的比特深度。[0140]e.发送缩放矩阵[0141]图5在概念上示出了缩放矩阵(或缩放列表或量化矩阵)，其通过参考先前编解码或已发送的缩放矩阵来确定。该图示出了被用于量化或解量化视频图像的变换系数的示例缩放矩阵qm0至qm27。不同的缩放矩阵被指定用于不同类型的变换块，例如，不同的块大小(2，4，8，16，32，64)，不同的颜色分量(亮度和色度)和/或不同的预测模式(帧间/帧内)。[0142]缩放矩阵qm0至qm27也被称为基本或基本缩放矩阵，因为它们在比特流中发送，并被用作导出用于对变换块进行量化或反量化的实际量化矩阵的基础(例如，通过上-采样或下-采样)。[0143]该图示出了缩放矩阵qm0至qm27的发送。编码器提供对比特流中的缩放矩阵qm0到qm27进行编码的讯号。解码器从比特流接收讯号，并基于接收到的讯号重构每个缩放矩阵。在该示例中，缩放矩阵qm0至qm15已经被发送或重构，而缩放矩阵qm16至qm27尚未被发送或被重构。[0144]视频编码器(或解码器)可通过将先前发送的(或重构的)的缩放矩阵作为预测子来发送(或解码器可重构)缩放矩阵的内容。在该示例中，视频编码器(或解码器)通过参考缩放矩阵qm14的内容来发送(或解码器可重构)缩放矩阵qm16的内容。在一些实施例中，缩放矩阵qm14是缩放矩阵qm16的理想预测子，使得视频编码器(或解码器)可通过复制或重复qm14的元素而不使用差量值来发送(或者视频解码器可重构)qm16。如果qm14并不是qm16的理想预测子，则视频编码器可能会在qm14和qm16的相应元素之间发送其他差量值。[0145]在一些实施例中，解码器可通过将参考索引偏移应用于正在重构的缩放矩阵的索引来识别参考或预测子缩放矩阵。参考索引偏移可以是比特流中的语法元素(例如，scaling_list_pred_scaling_list_id_delta)。在图5的示例中，正在重构的缩放矩阵的索引是16(qm16)，并且正在参考的缩放矩阵的索引是14(qm14)。对于qm16，参考索引偏移的值为“2”，该值被用于从qm16的索引中导出qm14的索引。[0146]在此示例中，参考缩放矩阵qm14具有与待编码的缩放矩阵qm16相同的大小。在一些实施例中，当参考先前编解码或发送的缩放矩阵作为用于确定当前待编码的缩放矩阵的预测子时，所引用的缩放矩阵必须与当前缩放矩阵具有相同的大小。因此，对于图5的例子，qm16可参考qm15和qm14(大小16x16)，但不能参考qm13(大小8x8)。此外，当根据1d索引方案发送第一待发送的缩放矩阵时(例如，qm14是待发送的大小为16x16的第一缩放矩阵)，先前编解码的缩放矩阵(例如qm13)不能被用作参考(因为它们有不同大小)，以及参考索引偏移始终为0。[0147]任一上述提出的方法可以各种硬件，编码器和/或解码器的软件或它们的组合来实现。例如，本发明的实施例可以是集成到视频压缩芯片中的一个或多个电路或集成到视频压缩软件中的程序代码以执行本文所述的处理。例如，任一提出的方法可被实现为耦合到编码器的量化模块和逆量化模块的电路，并且可被实现为耦合到解码器的逆量化模块的电路。在一实施例中，任一所提出的方法都可在编码器的量化模块和逆量化模块中实现，并arithmeticcoding，简称cabac)或霍夫曼编码(huffmanencoding)的熵编码技术，熵编码器690将各种参数和数据编码到比特流695中。熵编码器690将各种报头元素，标志以及量化的变换系数612和残差运动数据作为语法元素编码到比特流695中。比特流695又被存储在存储设备中，或通过通讯媒介(例如网络)发送到解码器。[0159]环内滤波器645对重构的像素数据617执行滤波或平滑操作，以减少编解码的伪像，特别是在像素块的边界处。在一些实施例中，执行的滤波操作包括样本适应性偏移(sampleadaptiveoffset，sao)。在一些实施例中，滤波操作包括适应性环路滤波器(adaptiveloopfilter，简称alf)。[0160]图7说明视频编码器600的实施缩放矩阵的发送的部分。如图所示，量化模块611使用量化矩阵来量化变换系数616。量化矩阵由量化矩阵生成器730提供。基于基本缩放矩阵集合720，量化矩阵生成器730生成当前变换块的量化矩阵，例如，通过选择基本缩放矩阵并对所选择的基本缩放矩阵执行下-采样或上-采样以生成与当前变换块的大小匹配的量化矩阵。[0161]基本缩放矩阵集合720由缩放矩阵生成器710对当前图像或当前图像序列，相对于不同大小，不同颜色分量和不同预测模式的变换块来确定或构建的。缩放矩阵生成器710还向熵编码器690提供可用于构建缩放矩阵的讯号，以将其包括在比特流695中。[0162]缩放矩阵生成器710生成缩放矩阵720。缩放矩阵生成器710在生成缩放矩阵的系数时可以参考默认缩放矩阵。缩放矩阵生成器710还可通过预测或复制来生成缩放矩阵。具体地，缩放矩阵生成器可通过向熵编码器690提供参考索引偏移(例如，scale_list_pred_scald_scaling_list_id_delta)来发送参考缩放矩阵(或预测子，例如，图5中参考qm14的qm16)，参考索引偏移可被用于辨识先前编解码或发送的缩放矩阵作为该参考或预测子缩放矩阵。矩阵生成器790还可将指示预测子缩放矩阵是将被复制还是被用作预测的基础的标志，以及预测子缩放矩阵与当前缩放矩阵之间的差量值，提供给熵编码器690。[0163]图8概念性地示出发送用于对视频图像进行编码的缩放矩阵的过程800。在一些实施例中，计算设备的一个或多个处理单元(例如，处理器)实现了编码器600，其通过执行存储在计算机可读介质中的指令来执行过程800。在一些实施例中，实现编码器600的电子设备执行过程800。[0164]在块810处，编码器从比特流接收数据，该数据将被编码为视频的当前图像。当前图像将通过使用多个缩放矩阵进行编码。[0165]在块820处，编码器通过参考先前发送的多个缩放矩阵中的第二缩放矩阵来发送多个缩放矩阵中的第一缩放矩阵。在一些实施例中，当比特流中的第一标志(例如，scaling_list_copy_mode_flag)指示第一缩放矩阵和第二缩放矩阵的对应元素相同时，通过将第二缩放矩阵的元素复制为第一缩放矩阵的元素，第一缩放矩阵被确定。在一些实施例中，当比特流中的第一标志指示第一缩放矩阵和第二缩放矩阵的对应元素不相同时，通过(i)将一组差量值加到第二缩放矩阵的元素作为第一缩放矩阵的元素，或者(ii)在比特流中的显式发送，比特流中的第二标志(例如，scaleing_list_prediction_mode_flag)指示第一缩放矩阵是否被确定。[0166]在块830处，编码器确定辨识第一缩放矩阵的第一索引和辨识第二缩放矩阵的第二索引之间的参考索引偏移(例如，scaling_list_pred_scaling_list_id_delta)。在块840处，编码器发送确定的参考索引偏移。在一些实施例中，根据一维索引方案，第一索引和第二索引分别被分配给第一缩放矩阵和第二缩放矩阵，该一维索引方案根据索引的颜色分量，块大小和预测类型将索引分配给缩放矩阵。在一些实施例中，根据一维索引方案，用于编解码帧内预测类型的色度分量的2x2变换块的缩放矩阵没有被分配索引。在一些实施例中，当没有其他缩放矩阵具有与先前发送的当前图像的第一缩放矩阵相同的特定大小时(例如，当在图3的方案中第一缩放矩阵的索引为0、4或10时或在图4的方案中第一缩放矩阵的索引为2、8、14时)，参考索引偏移没有在比特流中发送，并且第一缩放矩阵通过参考默认量化矩阵来确定。在一些实施例中，当第一索引大于阈值时，缩放矩阵的块大小是64。[0167]在块850处，编码器对当前图像进行编码作为变换块的变换系数。在块860处，编码器通过使用多个缩放矩阵来量化变换系数。[0168]在一些实施例中，比特流包括：第一语法元素(例如，scaling_list_delta_coef)，其指定第一矩阵中的两个连续的缩放矩阵系数之间的差值；以及第二语法元素(例如，scaling_list_dc_coef)，其指定第一缩放矩阵中的dc系数。第一和第二语法元素被约束在-128到127的范围内，包括端值。[0169]iii.视频解码器示例[0170]图9示出示例视频解码器900。如图所示，视频解码器900是图像解码或视频解码电路，其接收比特流995并将比特流的内容解码为视频帧的像素数据以供显示。视频解码器900具有用于解码比特流995的若干元件或模块，包括选自逆量化模块911，逆变换模块910，图像内预测模块925，运动补偿模块930，环内滤波器945，解码图像缓冲器950，mv缓冲器965，mv预测模块975和解析器990中的一些元件。运动补偿模块930是帧间预测模块940的一部分。[0171]在一些实施例中，模块910-990是由计算设备的一个或多个处理单元(例如，处理器)执行的软件指令的模块。在一些实施例中，模块910-990是由电子装置的一个或多个ic实现的硬件电路的模块。尽管模块910-990被图标为单独的模块，但是一些模块可以组合成单个模块。[0172]解析器990(或熵解码器)接收比特流995，并根据由视频编解码或图像编解码标准定义的语法执行初始解析。解析的语法元素包括各种报头元素，标志以及量化的数据(或量化的系数)912。解析器990通过使用诸如上下文适应性二进制算术编解码(context-adaptivebinaryarithmeticcoding，简称cabac)或霍夫曼编码的熵编码技术来解析各种语法元素。[0173]逆量化模块911对量化数据(或量化系数)912进行去量化以获得变换系数，并且逆变换模块910对变换系数916执行逆变换以产生重构残差讯号919。重构残差讯号919与来自图像内预测模块925或运动补偿模块930的预测像素数据913相加，以产生解码像素数据917。解码像素数据由环内滤波器945滤波并被存储在解码图像缓冲器950中。在一些实施例中，解码图像缓冲器950是视频解码器900外部的内存。在一些实施例中，解码图像缓冲器950是视频解码器900内部的内存。[0174]图像内预测模块925从比特流995接收帧内预测数据，并据此从存储在解码图像缓冲器950中的解码像素数据917中生成预测像素资料913。在一些实施例中，解码像素数据917还被存储在用于图像内预测和空间mv预测的行缓冲器(未示出)中。[0175]在一些实施例中，解码图像缓冲器950的内容被用于显示。显示设备955或者检索解码图像缓冲器950的内容以直接显示，或者将解码图像缓冲器的内容检索到显示缓冲器。在一些实施例中，显示设备通过像素传输从解码图像缓冲器950接收像素值。[0176]根据运动补偿mv(mcmv)，运动补偿模块930从存储在解码图像缓冲器950中的解码像素数据917中生成预测像素资料913。通过将从比特流995接收到的残差运动数据与从mv预测模块975接收到的预测mv相加，这些运动补偿mv被解码。[0177]基于以解码先前的视频帧而生成的参考mv(例如，用于执行运动补偿的运动补偿mv)，mv预测模块975生成预测的mv。mv预测模块975从mv缓冲器965检索先前视频帧的参考mv。视频解码器900将以解码当前视频帧而生成的运动补偿mv存储在mv缓冲器965中，作为用于产生预测mv的参考mv。[0178]环内滤波器945对解码的像素数据917执行滤波或平滑操作，以减少编码的伪像，特别是在像素块的边界处。在一些实施例中，执行的滤波操作包括样本适应性偏移(sampleadaptiveoffset，简称sao)。在一些实施例中，滤波操作包括适应性环路滤波器(adaptiveloopfilter，简称alf)。[0179]图10说明视频解码器900的处理缩放矩阵的发送的部分。如图所示，去量化模块911使用量化矩阵来对变换系数916进行去量化。量化矩阵由量化矩阵生成器1030提供。基于基本缩放矩阵集合1020，量化矩阵生成器1030生成当前变换块的量化矩阵，例如，通过选择基本缩放矩阵并在所选择的基本缩放矩阵上执行下-采样或上-采样以生成与当前变换块的大小匹配的量化矩阵。[0180]基本缩放矩阵集合由缩放矩阵生成器1010确定或构建用于当前图像或图像的当前序列的不同大小、不同颜色分量和不同预测模式的变换块。缩放矩阵生成器1010从比特流995接收与由熵解码器990解析的缩放矩阵有关的讯号。[0181]缩放矩阵生成器1010生成缩放矩阵1020。缩放矩阵生成器1010在生成缩放矩阵的系数时可参考默认缩放矩阵。缩放矩阵生成器1010还可通过预测或复制来产生缩放矩阵。具体地，缩放矩阵生成器可通过从熵解码器990接收参考索引偏移(例如，scale_list_pred_scald_scaling_list_id_delta)来识别参考缩放矩阵(或预测子，例如，图5中参考qm14的qm16)，该参考索引偏移可辨识先前编解码或发送的缩放矩阵作为参考或预测缩放矩阵。矩阵生成器1090还可从熵解码器990接收标志以及预测子缩放矩阵与当前缩放矩阵之间的差量值，该标志指示预测子缩放矩阵是将被复制还是被用作预测的基础。[0182]图11概念性地示出了用于重构缩放矩阵以对视频图像进行解码的过程1100。在一些实施例中，计算设备的一个或多个处理单元(例如，处理器)实现了解码器900，其通过执行存储在计算机可读介质中的指令来执行过程1100。在一些实施例中，实现解码器900的电子设备执行过程1100。[0183]在块1110处，解码器从比特流数据，该数据将被解码为视频的当前图像。当前图像将通过使用多个缩放矩阵进行解码。[0184]在块1120处，解码器接收多个缩放矩阵的第一缩放矩阵的参考索引偏移(例如，scaling_list_pred_scaling_list_id_delta)。在块1130处，解码器将参考索引偏移应用于识别第一缩放矩阵的第一索引，以导出识别多个缩放矩阵的第二缩放矩阵的第二索引。第二缩放矩阵被预先重构。在一些实施例中，根据一维索引方案，第一索引和第二索引被配digitalassistant,简称pda)或任一其他种类的电子设备。这种电子系统包括各种类型的计算机可读介质以及用于各种其他类型的计算机可读介质的接口。电子系统1200包括总线1205，处理单元1210，图形处理单元(graphics-processingunit,简称gpu)1215，系统内存1220，网络1225，只读存储器1230，永久存储设备1235，输入设备1240，以及输出设备1245。[0192]总线1205集体表示与电子系统1200通讯连接的众多内部装置的所有系统总线，外围装置总线和芯片组总线。例如，总线1205通过gpu1215通信连接，只读存储器1230，系统内存1220和永久存储设备1235与处理单元1210通讯连接。[0193]从这些各种内存单元，处理单元1210取回要执行的指令和要处理的数据，以便执行本公开的处理。在不同实施例中，处理单元1210可以是单个处理器或多核处理器。一些指令被传递到gpu1215并由gpu1215执行。gpu1215可以卸除各种计算或补充由处理单元1210提供的图像处理。[0194]只读存储器1230存储处理单元1210和电子系统的其他模块所需的静态数据和指令。另一方面，永久存储设备1235是读写记忆装置。该装置是非挥发性内存单元，即使在电子系统1200关闭时也存储指令和数据。本公开的一些实施例使用大容量记忆装置(诸如磁盘或光盘及其相应的磁盘驱动器)作为永久存储设备1235。[0195]实施例使用可移动存储(例如软盘，闪存装置等，及其相应的磁盘驱动器)作为永久存储设备。与永久存储设备1235类似，系统内存1220是读写内存装置。然而，与永久存储设备1235不同的是，系统内存1220是挥发性(volatile)读写内存，例如随机存取内存。系统内存1220存储处理器在运行时需要的一些指令和数据。在一些实施例中，根据本公开的过程存储在系统内存1220，永久存储设备1235和/或只读存储器1230中。例如，各种内存单元包括用于根据处理多媒体剪辑的指令。在一些实施例中。从这些各种内存单元，处理单元1210取回要执行的指令和要处理的数据，用以执行一些实施例的过程。[0196]总线1205还连接到输入设备1240和输出设备1245。输入设备1240使用户能够向电子系统传送信息和选择命令。输入设备1240包括字母数字键盘和指示装置(也被称为“光标控制装置”)，相机(例如，网络摄像头)，麦克风或用于接收语音命令等的类似装置。输出设备1245显示由电子系统生成的图像或否则输出数据。输出设备1245包括打印机和显示设备，例如阴极射线管(cathodraytube，简称crt)或液晶显示器(liquidcrystaldisplay，简称lcd)，以及扬声器或类似的音频输出设备。一些实施例包括诸如同时用作输入设备和输出设备的触摸屏等装置。[0197]最后，如图12所示，总线1205还通过网络适配器(未示出)将电子系统1200耦合到网络1225。以这种方式，计算机可以是计算机网络的一部分(例如局域网(localareanetwork,简称lan)，广域网(wideareanetwork,简称wan)或内部网络)，或多个网络中的一个网络，比如说因特网。电子系统1200的任一或所有元件可以与本公开结合使用。[0198]一些实施例包括电子元件，例如，微处理器、存储装置和内存，其将计算机程序指令存储到机器可读介质或者计算机可读介质(可选地被称为计算机可读存储介质、机器可读介质或者机器可读存储介质)。计算机可读介质的一些示例包括ram、rom、只读光盘(read-onlycompactdisc，cd-rom),可录制光盘(recordablecompactdisc,cd-r)、可擦写光盘(rewritablecompactdisc，cd-rw)、只读数字通用光盘(read-onlydigitalversatiledisc)(例如，dvd-rom，双层dvd-rom)、各种可记录/可擦写dvd(例如dvdram、dvd-rw、dvd rw等)、闪存(如sd卡、迷你sd卡，微sd卡等)、磁性和/或固态硬盘、只读和可刻录盘、超高密度光盘和其他任何光学介质或磁介质，以及软盘。计算机可读介质可以存储由至少一个处理单元执行的计算机程序，并且包括用于执行各种操作的指令集。计算机程序或计算机代码的示例包括机器代码，例如编译程序产生的机器代码，以及包含由计算机、电子元件或微处理器使用注释器(interpreter)而执行的高级代码的文档。[0199]当以上讨论主要是指执行软件的微处理器或多核处理器时，很多上述的功能和应用程序由一个或复数个集成电路执行，如特定应用的集成电路(applicationspecificintegratedcircuit,asic)或现场可程序设计门阵列(fieldprogrammablegatearray,fpga)。在一些实施例中，这种集成电路执行存储在该电路本身上的指令。此外，一些实施例执行存储在可程序设计逻辑器件(programmablelogicdevice,pld)，rom或ram装置中的软件。[0200]如本发明的说明书和任一权利要求所使用，术语“计算机”、“服务器”、“处理器”和“内存”均指电子装置或其他技术装置。这些术语不包括人或群体。出于说明的目的，术语显示或显示设备指在电子装置上进行显示。如本发明的说明书和任一权利要求中所使用，术语“计算机可读介质”、“计算机可读媒质”和“机器可读介质”完全局限于有形的、实体的物体，其以计算机可读的形式存储信息。这些术语不包括任何无线讯号、有线下载讯号和其他任何短暂讯号。[0201]在结合许多具体细节的情况下描述了本发明时，所属
技术领域：
：的技术人员将认识到，本发明可以以其他具体形式而被实施，而不脱离本发明的精神。此外，大量的图(包括图8和图11)概念性示出了处理过程。这些过程的具体操作可以不以所示及所描述的确切顺序来被执行。这些具体操作可以不在一个连续的操作系列中被执行，并且不同的具体操作可以在不同的实施例中被执行。另外，该处理可使用几个子处理而被实现，或者作为更大的宏处理的一部分。因此，所属
技术领域：
：的技术人员将能理解的是，本发明不受前述说明性细节的限制，而是由权利要求加以界定。[0202]附加的说明[0203]本文所描述的主题有时表示不同的元件，其包含在或者连接到其他不同的元件。可以理解的是，所描述的结构仅是示例，实际上可以由许多其他结构来实施，以实现相同的功能，从概念上讲，任何实现相同功能的元件的排列实际上是“相关联的”，以便实现所需功能。因此，不论结构或中间部件，为实现特定的功能而组合的任何两个元件被视为“相互关联”，以实现所需的功能。同样，任何两个相关联的元件被看作是相互“可操作连接”或“可操作耦接”，以实现特定功能。能相互关联的任何两个元件也被视为相互“可操作地耦接”，以实现特定功能。能相互关联的任何两个元件也被视为相互“可操作地耦合”以实现特定功能。可操作连接的具体例子包括但不限于物理可配对和/或物理上相互作用的元件，和/或无线可交互和/或无线上相互作用的元件，和/或逻辑上相互作用和/或逻辑上可交互的元件。[0204]此外，关于基本上任何复数和/或单数术语的使用，所属
技术领域：
：的技术人员可以根据上下文和/或应用从复数转换为单数和/或从单数到复数。为清楚起见，本发明明确阐述了不同的单数/复数排列。[0205]此外，所属
技术领域：
：的技术人员可以理解，通常，本发明所使用的术语特别是权利要求中的，如权利要求的主题，通常用作“开放”术语，例如，“包括”应解释为“包括但不限于”，“有”应理解为“至少有”“包括”应解释为“包括但不限于”等。所属
技术领域：
：的技术人员可以进一步理解，若计划介绍特定数量的权利要求内容，将在权利要求内明确表示，并且，在没有这类内容时将不显示。例如，为帮助理解，下面权利要求可能包含短语“至少一个”和“一个或复数个”，以介绍权利要求的内容。然而，这些短语的使用不应理解为暗示使用不定冠词“一个”或“一种”介绍权利要求内容，而限制了任何特定神专利范围。甚至当相同的权利要求包括介绍性短语“一个或复数个”或“至少有一个”，不定冠词，例如“一个”或“一种”，则应被解释为表示至少一个或者更多，对于用于介绍权利要求的明确描述的使用而言，同样成立。此外，即使明确引用特定数量的介绍性内容，所属
技术领域：
：的技术人员可以认识到，这样的内容应被解释为表示所引用的数量，例如，没有其他修改的“两个引用”，意味着至少两个引用，或两个或两个以上的引用。此外，在使用类似于“a、b和c中的至少一个”的表述的情况下，通常如此表述是为了所属
技术领域：
：的技术人员可以理解该表述，例如，“系统包括a、b和c中的至少一个”将包括但不限于单独具有a的系统，单独具有b的系统，单独具有c的系统，具有a和b的系统，具有a和c的系统，具有b和c的系统，和/或具有a、b和c的系统，等。所属
技术领域：
：的技术人员进一步可理解，无论在说明书中，权利要求中或者附图中，由两个或两个以上的替代术语所表现的任何分隔的单词和/或短语应理解为，包括这些术语中的一个，其中一个，或者这两个术语的可能性。例如，“a或b”应理解为，“a”，或者“b”，或者“a和b”的可能性。[0206]从前述可知，出于说明目的，本发明已描述了各种实施方案，并且在不偏离本发明的范围和精神的情况下，可以进行各种变形。因此，此处所公开的各种实施方式不用于限制，真实的范围和申请由权利要求表示。当前第1页12当前第1页12
技术领域：
：3.本公开总体上涉及视频编解码。具体的是，本公开涉及发送和处理量化矩阵的方法。
背景技术：
：：4.除非本文另外指出，否则本节中描述的方法不是下面列出的权利要求的现有技术，并且不被包括在本节中而被承认为现有技术。5.量化矩阵(quantizationmatrix，简称qm)已经在各种视频编解码标准中被使用。隐含残差讯号的变换编解码的基于块的混合视频编解码方案使用频率相关缩放来控制量化失真在变换单元(transformunit，简称tu)中跨不同频率的分布。为了在空间频率上实现感知上均匀的量化，根据在其相关频率范围上的感知灵敏度，量化矩阵对与变换系数关联的每个频道进行加权，以使与变换块中的较高频率系数相比，变换块中的较低频率系数可以更细化的量化步长进行量化。在解码器处，相应的量化矩阵对每个频道的去量化变换系数进行反加权。量化矩阵已成功地用于各种视频编解码标准中，例如h.264/高级视频编解码(advancedvideocoding，简称avc)和h.265/高效视频编解码(highefficiencyvideocoding，简称hevc)以及众多商业产品，以提高视频内容的主观质量。6.对于h.265/hevc，根据变换块的大小和类型，以下量化矩阵被支持。亮度：帧内4x4，帧间4x4，帧内8x8，帧间8x8，帧内16x16，帧间16x16，帧内32x32，帧间32x32。cb：帧内4x4，帧间4x4，帧内8x8，帧间8x8，帧内16x16，帧间16x16。cr：帧内4x4，帧间4x4，帧内8x8，帧间8x8，帧内16x16，帧间16x16。技术实现要素：7.以下
发明内容仅是说明性的，而无意于以任何方式进行限制。即，以下概述被提供以介绍本文所述的新颖和非显而易见的技术的概念、重点、益处和优点。选择而非全部实现在下面的详细描述中进一步被描述。因此，以下
发明内容既不旨在标识所要求保护的主题的必要特征，也不旨在用于确定所要求保护的主题的范围。8.本公开的一些实施例提供了一种用于发送缩放矩阵以进行变换系数量化的方法。解码器从待解码的比特流中接收数据作为视频的当前图像，该当前图像通过使用多个缩放矩阵来解码。解码器接收用于多个缩放矩阵的第一缩放矩阵的参考索引偏移。解码器将参考索引偏移应用于识别第一缩放矩阵的第一索引，以导出用于识别多个缩放矩阵的第二缩放矩阵的第二索引。第二缩放矩阵被预先重构。解码器通过参考第二缩放矩阵来重构第一缩放矩阵。解码器通过使用多个缩放矩阵对当前图像的变换块的变换系数进行去量化，并且通过使用去量化的变换系数来重构当前图像。9.在一些实施例中，当比特流中的第一标志指示第一缩放矩阵和第二缩放矩阵的对应元素相同时，通过将第二缩放矩阵的元素复制为第一缩放矩阵的元素，第一缩放矩阵被确定。在一些实施例中，当比特流中的第一标志指示第一缩放矩阵和第二缩放矩阵的对应元素不相同时，通过(i)将一组差量值添加于第二缩放矩阵的元素中作为第一缩放矩阵的元素，或(ii)在比特流中的显式发送，比特流中的第二标志指示第一缩放矩阵是否被确定。10.在一些实施例中，根据一维索引方案，第一索引和第二索引分别被分配给第一缩放矩阵和第二缩放矩阵，其中该一维索引方案根据索引的颜色分量、块大小和预测类型，将索引分配给缩放矩阵。在一些实施例中，根据一维索引方案，用于编解码帧内预测类型的色度分量的2x2变换块的缩放矩阵没有被分配索引。在一些实施例中，当没有其他缩放矩阵具有与先前发送的当前图像的第一缩放矩阵相同的特定大小时，参考索引偏移不在比特流中发送，并且通过参考默认量化矩阵，第一缩放矩阵被确定。在一些实施例中，当第一索引大于阈值时，缩放矩阵的块大小是64。11.在一些实施例中，比特流包括：第一语法元素，其指定第一矩阵中的两个连续缩放矩阵系数之间的差值；以及第二语法元素，其指定第一缩放矩阵的dc系数。第一和第二语法元素被限制在-128到127之间(包含-128和127)。附图说明12.下列图示用以提供本发明的进一步理解，并被纳入且构成本发明的一部分。这些图示说明了本发明的实施方式，并与说明书一起用以解释本发明的原理。为了清楚地说明本发明的概念，与实际实施方式中的尺寸相比一些元素可以不按照比例被示出，这些图示无需按照比例绘制。13.图1示出具有默认值的尺寸为4×4和8×8的默认量化矩阵的内容。14.图2示出对基本缩放矩阵(8x8量化矩阵)进行上-采样以得出较大块的量化矩阵。15.图3示出一维索引方案的示例，该一维索引方案被用于识别不同大小、不同颜色分量和不同预测模式的缩放矩阵。16.图4示出一维索引方案，该一维索引方案被用于识别不同大小、不同颜色分量和不同预测模式的缩放矩阵，其中2x2色度从一维缩放矩阵索引中被去除。图5在概念上说明缩放矩阵(或缩放列表或量化矩阵)，其通过参考先前编解码或发送的缩放矩阵来确定。17.图6说明视频编码器的示例。18.图7说明视频编码器视频编码器实施缩放矩阵的发送的部分。19.图8在概念上说明发送缩放矩阵以编码视频图像的过程。20.图9说明视频解码器的示例。21.图10说明视频解码器的处理缩放矩阵的发送的部分。22.图11在概念上说明用于重构缩放矩阵以对视频图像进行解码的过程。23.图12在概念上说明实现本公开的一些实施例的电子系统。具体实施方式24.在下面详细的说明书中，为了透彻理解相关教示内容，通过举例的方式进行说明大量具体的细节。基于本文所描述的教示内容的任何改变、推导和/或拓展均在本发明的保护范围内。在一些例子中，为了避免不必要地混淆本发明的教示内容的各方面，于此处所公开的一个或者多个示例性实施方式的已知的方法、程序、元件和/或电路是以相对上位的方式描述而无细节上描述。25.i.量化矩阵26.本公开的一些实施例提供了发送或表示量化矩阵的方法。量化矩阵用于实现频率相关的缩放。因此，量化矩阵(quantizationmatrix，简称qm)也可被称为缩放矩阵，缩放列表或缩放列表矩阵。对于hevc，通过在序列参数集合(sequenceparameterset，简称sps)中使用语法元素scaleing_list_enabled_flag，频率相关的缩放被启用。此标志被启用后，sps和图像参数集合(pictureparameterset，简称pps)中的其他标志将控制使用默认量化矩阵还是非默认量化矩阵。对于一些实施例，图1示出具有默认值的尺寸为4×4和8×8的默认量化矩阵的内容。在一些实施例中，非默认量化矩阵可选地在sps或pps中的比特流中传输。27.为了减少存储量化矩阵所需的内存，8×8矩阵被用来导出较大的变换块(例如16x16、32x32、64x64等)的量化矩阵。因此，8×8默认量化矩阵被称为基本缩放矩阵。例如，通过使用复制进行上-采样，大小为16x16和32x32的变换块的量化矩阵从相同类型的8x8基本缩放矩阵中获得。28.图2示出对基本缩放矩阵(8×8量化矩阵)进行上-采样以导出较大块的量化矩阵。如图所示，8x8量化矩阵210的1x1区域被上-采样到16x16量化矩阵220中的2x2区域和32x32量化矩阵230中的4x4区域。29.a.小块的量化矩阵30.在一些实施例中，2x2tu的缩放列表被禁用。在一些实施例中，默认矩阵(即，平面矩阵)总是被用于2×2tu。在一些实施例中，用于2x2tu的缩放列表可以从其他缩放列表(例如，用于4x4或8x8tu的缩放列表)导出。例如，通过下-采样，2x2的缩放列表可从4x4缩放列表中获得，也可直接使用4x4缩放列表中左上的2x2。在上述情况下，2x2缩放列表不会被发送。31.对于一些视频编解码标准，最小的色度cb为2x2。该最小的cb由子块变换(sub-blocktransform，简称sbt)生成，并且可能导致较低的硬件处理吞吐量。对于一些实施例，为了去除2×2块，一些约束被应用于sbt。在一些实施例中，sbt的最大亮度cb大小被约束为例如64×64或32×32。在一些实施例中，对于小cb，仅当cb宽度或高度大于或等于8(例如，8×4亮度cb被允许用于sbt)时，sbt才被约束为启用。当垂直分割被应用时，4x4亮度cb以及2x2色度cb被生成。在一些实施例中，对于小块，仅当亮度cb宽度和高度均大于8时，sbt才可被应用。在一些实施例中，仅当亮度cb大小大于64时，sbt才可被应用。在一些实施例中，如果在将sbt应用于一个cu后，tb大小变为4x4，则sbt被禁止。32.在一实施例中，用于色度的2x2帧间缩放列表被发送，而用于色度的2x2帧内缩放列表不被发送。对于4x4到32x32的大小，帧间/帧内和亮度/色度的不同组合的缩放列表被发送。33.b.缩放矩阵的一维索引34.在一些实施例中，当发送缩放矩阵时，在二维方案中，矩阵大小的标识符(sizeid)和矩阵本身的标识符(matrixid)独立地被发送。在一些其他实施例中，一维(one-dimensional，简称1d)索引方案用于指定缩放矩阵。例如，在一些实施例中，索引的线性序列被分配给不同类型的缩放矩阵，例如，从较小的tb大小到较大的tb大小。此外，对于每个tb大小，不同预测模式(例如，帧间模式、帧内模式、帧内块复制模式等)，不同颜色分量(y，u，v)的缩放矩阵以交错的顺序被分配索引。35.图3示出了用于识别不同大小、不同颜色分量和不同预测模式的缩放矩阵的示例性1d索引方案。在所示的1d索引方案中，对于sizeid＝2的亮度块，缩放矩阵没有被编解码。下面的表1示出了用于基于1d索引方案来发送视频图像或序列的缩放列表的示例语法。36.表1：37.[0038][0039]根据1d索引方案，变量“scalinglistid”是发送的缩放列表或缩放矩阵的索引(也被称为当前或目标缩放列表或矩阵)。[0040]语法元素scaling_list_copy_mode_flag[scalinglistid]为1指定缩放列表的值与参考缩放列表的值相同。参考缩放列表是通过使用语法元素scaling_list_pred_scaling_list_id_delta[scalinglistid]来指定的。语法元素scaling_list_copy_mode_flag[scalinglistid]为0指定缩放列表的值被显示地发送。[0041]语法元素scaling_list_prediction_mode_flag[scalinglistid]为1指定可以从参考缩放列表中预测缩放列表的值。参考缩放列表由scale_list_pred_scaling_list_id_delta[scalelistid]指定。语法元素scaling_list_prediction_mode_flag[scalinglistid]为0指定缩放列表的值被显示地发送。如果不存在，则scale_list_prediction_mode_flag[scalinglistid]的值被推断为等于0。[0042]语法元素scaling_list_pred_scaling_list_id_delta[scalinglistid]被用于指定或识别用于导出当前缩放列表scalinglist[scalinglistid]的参考缩放列表。参考缩放列表的索引(表示为refscalinglistid)使用当前缩放列表scalinglistid和scaling_list_pred_scaling_list_id_delta的索引来导出。例如，参考缩放列表的索引可以根据以下方式设置：[0043]refscalinglistid＝[0044]scalinglistid–scaling_list_pred_scaling_list_id_delta[scalinglistid]。[0045]换句话说，scaling_list_predi_scaling_list_id_delta[scalinglistid]是从当前缩放列表的索引到参考缩放列表的索引的偏移。该偏移也被称为当前缩放列表的参考索引偏移。[0046]在一些实施例中，当scalinglistid小于4时，scaling_list_pred_scaling_list_id_delta[scalinglistid]的值在0到scalinglistid的范围内，包括端值；当scalinglistid在4至9的范围内时，scaling_list_pred_scaling_list_id_delta[scalinglistid]的值在0至scalinglistid-4的范围内，包括端值；当scalinglistid大于9时，scaling_list_pred_scaling_list_id_delta[scalinglistid]的值在0到scalinglistid-10的范围内，包括端值。[0047]在一些实施例中，当scaling_list_copy_mode_flag[scalinglistid]等于1时(或者当scaling_list_pred_mode_flag[scalilnglistid]等于0时)，scalingmatrix[sizeid][matrixid][x][y]根据以下内容：[0048]其中x＝0..(1《《matrixsize)-1，y＝0..(1《《matrixsize)-1，[0049]如果scaling_list_pred_scaling_list_id_delta[matrixid]等于0，则scalingmatrix[sizeid][matrixid][x][y]被推断为16。[0050]否则，缩放列表scalingmatrix[sizeid][matrixid][x][y]从参考缩放列表scalingmatrix[refsizeid][refmatrxid][refmatrxid][x][y]被推断(比如设置等于)。[0051]在一些实施例中，具有与当前缩放矩阵不同的基本大小的缩放矩阵不能被用作参考缩放矩阵。例如，当当前缩放矩阵的scalinglistid等于0、4或10(它们是每个基本大小中的第一缩放矩阵，如图3所示)时，默认量化矩阵(如图1所示))被推断为参考矩阵，而语法元素scale_list_pred_scaling_list_id_delta被跳过。[0052]此外，由于每个缩放列表矩阵仅被允许参考具有相同基本大小的矩阵，所以值约束可被应用于偏移scaling_list_pred_scaling_list_id_delta。例如，当scalinglistid小于4时，scaling_list_pred_scaling_list_id_delta[scalinglistid]的值被约束在0到scalinglistid的范围内，包括端值。当scalinglistid在4到9的范围内时，scaling_list_pred_scaling_list_id_delta[scalinglistid]的值被约束在0到scalinglistid–4的范围内，包括端值。当scalinglistid大于9时，scaling_list_pred_scaling_list_id_delta[scalinglistid]的值被约束在0到scaleslistid-10的范围内，包括端值。因此，例如，除了参考默认缩放列表之外，具有在大于9的范围内的id＝13的缩放列表可以参考从id＝10到id＝12的先前解码的缩放列表。[0053]对于目标缩放列表索引(在1d方案中为scaleinglistid)，大小索引和矩阵索引(在2d方案中为sizeid和matrixid)可通过查找表或公式导出。sizeid和matrixid的值是基于表2的scalinglistid导出的。refsizeid和refmatrixid的值也可使用表2基于refscalinglistid来得出。[0054]表2：[0055]scalinglistid0123456789sizeid1111222222matrixid1245012345scalinglistid10111213141516171819sizeid3333334444matrixid0123450123scalinglistid20212223242526272829sizeid4455555566matrixid4501234503[0056]表3a示出了基于量化矩阵/缩放列表的大小的sizeid的规范。[0057]表3a[0058][0059][0060]表3b示出根据预测模式和颜色分量的matrixid规范。[0061]表3b[0062][0063]语法元素scaling_list_dc_coef[scalinglistid] preddc指定scalingfactordc[sizeid][matrixid]的值(由scalinglistid标识的缩放列表的dc值)。在一些实施例中，scalingfactordc[sizeid][matrixid]的值被约束在1至255的范围内，包括端值。如果scaling_list_prediction_mode_flag[scalinglistid]等于1，并且scaling_list_pred_scaling_list_id_delta[scalinglistid]等于0，则preddc等于16；否则，如果scale_list_prediction_mode_flag[matrixid]等于1，则preddc等于scalingmatrix[refsizeid][refmatrixid][0][0]；否则，preddc等于8。如果scaling_list_copy_mode_flag[scalinglistid]等于1，scaleinglistid大于15，并且scaleing_list_pred_scaling_list_id_delta[scalinglistid]等于0，则scalingfactordc[sizeid][matrixid]的值被设置为16。如果scaling_list_copy_mode_flag[scalinglistid]等于1，scaleinglistid大于15，并且scaleing_list_pred_scaling_list_id_delta[scalinglistid]不等于0，则scalingfactordc[sizeid][matrixid]的值被设置为等于scalingfactordc[refsizeid][refmatrixid]。[0064]当scaling_list_copy_mode_flag[scalinglistid]等于0时，语法元素scaling_list_delta_coef指定当前矩阵系数scalinglist[scalinglistid][i]和先前矩阵系数scalinglist[scalinglistid][i-1]之间的差值。在一些实施例中，scaling_list_delta_coef的值必须被限制在-128到127范围内，包括端值。scalinglist[scalinglistid][i]的值应大于0。当scaling_list_copy_mode_flag[scalinglistid]等于0并且scaleing_list_delta_coef不存在时，scalinglist[scalinglistid][i]的值被推断为0。[0065]如果scaling_list_copy_mode_flag[scalinglistid]等于0，则数组scalingmatrix[scalinglistid](或scalingmatrix[sizeid][matrixid])可推导如下：[0066][0067]当chromaarraytype等于3时，大小为64x64的色度量化矩阵的元素(scalingmatrix[6][6][matrixid][x][y]，x＝0..7，y＝0..7，并且matrixid＝1，2，4和5)可推导如下：[0068]scalingmatrix[6][6][matrixid][x][y]＝scalingmatrix[5][5][matrixid][i][j]其中i＝x以及j＝y。[0069]变量scalingfactor是五维(five-dimensional)数组。具体来说，scalingfactor[wid][hid][matrixid][x][y]根据以下各项指定缩放因子数组：(变量matrixid在表3b中指定的)：[0070]对于x范围从0到(1《《wid)–1，y范围从0到(1《《hid)–1，wid＝0..6，hid＝0..6，[0071]scalingfactor[wid][hid][matrixid][x][y]＝[0072]scalingmatrix[sizelid][matrixid][i][j][0073]如果wid不等于hid，则sizelid＝max(wid，hid)，[0074]i＝(x《《(((sizelid》3)？3：sizelid)》》wid)，[0075]j＝(y《《(((sizelid》3)？3：sizelid)》》hid)[0076]否则(wid等于hid)，sizelid＝wid，i＝x，j＝y[0077]如果max(wid，hid)大于3，则适用以下条件。[0078]scalingfactor[wid][hid][matrixid][0][0]＝[0079]scalingfactordc[max(wid，hid)][matrixid][0080]在一些实施例中，帧内2x2色度(缩放)矩阵可被删除(从1d索引方案中)。图4示出用于识别不同大小，不同颜色分量和不同预测模式的缩放矩阵的1d索引方案，其中2×2色度被从1d缩放矩阵索引中删除。如图所示，第一索引(索引0)对应于2×2色度间分量的缩放列表，而2×2色度帧内分量从该索引方案中被省略。[0081]下面的表4示出了当从1d索引方案中省略2x2内色度的缩放列表时发送视频图像或序列的缩放列表的语法。[0082]表4：[0083][0084][0085]当2x2色度从1d索引中被删除时，根据下面的表5，scalelistid(1d索引)与sizeid和matrixid(2d索引)之间的映像被修改：[0086]表5[0087][0088][0089]当帧内2x2色度从1d索引方案中被删除时，语法元素scale_list_pred_scaling_list_id_delta[scaledid]被定义且与帧内2x2色度在1d索引方案中时不同。具体地，当scalinglistid小于2时，scaling_list_pred_scaling_list_id_delta[scalinglistid]的值在0到scalinglistid的范围内，包括端值。当scalinglistid在2到7的范围内时，scaling_list_pred_scaling_list_id_delta[scalinglistid]的值在0到scalinglistid–2的范围内，包括端值。当scalinglistid大于7时，scaling_list_pred_scaling_list_id_delta[scalinglistid]的值在0到scalinglistid-8的范围内，包括端值。[0090]c.缩放列表预测子[0091]一个值可被用来预测缩放列表中的第一系数(被称为起点预测子)。在一实施例中，起点预测子可以是预定值，例如0、8或16。在另一实施例中，起点预测子可以是取决于矩阵预测模式的值，例如复制模式(正在发送的当前缩放矩阵与先前发送的缩放矩阵完全相同)，dpcm模式(直接发送缩放列表中的每个系数)或预测子模式(先前发送的缩放列表被用作预测子或参考；预测子和当前缩放矩阵之间的差值，以及预测子的索引需要被发送)。在另一实施例中，起点预测子可以是取决于内部比特深度的值。在另一实施例中，起点预测子可是取决于颜色成分的值，例如，y，cb或cr。在另一实施例中，起点预测子可是取决于预测模式的值，例如，帧间，帧内，ibc。[0092]预测子模式(或矩阵预测模式)还可参考默认缩放列表(例如，图1的默认量化矩阵，或具有均匀或平坦值的矩阵)来执行预测。在一些实施例中，参考矩阵索引(在1d方案中用于辨识预测子/参考缩放矩阵的索引)可被用于指示默认缩放列表是否被用于预测当前缩放列表。如果参考矩阵索引等于当前矩阵索引(在1d方案中用于辨识当前缩放列表的索引)，则默认缩放列表被用作预测子，以预测当前缩放列表。在一些实施例中，用于指示是否应用预测子模式的标志可被省略。在一些实施例中，仅复制模式和预测子模式被用于对缩放列表进行编解码或发送，并且参考矩阵索引被用于指示默认缩放列表是否被用于预测当前缩放列表。dpcm可被应用于对预测子(参考缩放矩阵)和当前缩放列表之间的差值进行编解码或发送。[0093]在表1和表4中，scaling_list_copy_mode_flag和scaleing_list_prediction_mode_flag(在下面的表6中，scaleing_list_pred_mode_flag和scaleing_list_predictor_mode_flag)被用于指示当前缩放矩阵是否从参考缩放矩阵复制，或者当前缩放矩阵是否可从具有额外的元素间(element-to-element)差值的先前解码的或默认的参考缩放矩阵中预测。如果当前缩放矩阵是从已经发送或编解码的参考缩放矩阵复制或预测的，则语法元素scaled_list_pred_scaling_list_id_delta被发送以指示哪个缩放矩阵被使用。[0094]在一些实施例中，大于阈值或小于阈值的scalinglistid指示当前缩放列表是相对于64x64/64xn/nx64块大小的。在一些实施例中，阈值为27。在一些实施例中，阈值为23。在一些实施例中，由于系数归零，当前缩放列表的右下-采样未被发送。[0095]d.替代缩放列表语法[0096]在一些实施例中，不同的语法元素集合被用来发送1d索引方案中的缩放列表(缩放矩阵或量化矩阵)。例如，语法元素“scaling_list_copy_mode_flag”可以由“scaling_list_pred_mode_flag”代替，以发送当前缩放列表的值是否与参考缩放列表的值相同；语法元素“scaling_list_prediction_mode_flag”可由“scaling_list_predictor_mode_flag”代替，以发送当前缩放列表的值是从参考缩放列表中预测还是显示地发出。下面的表6示出语法的示例，该语法使用替代语法基于1d索引方案发送视频图像或序列的缩放列表。[0097]表6:[0098][0099][0100]语法元素scaling_list_pred_mode_flag[scalinglistid]为0指示缩放列表的值与参考缩放列表的值相同。参考缩放列表由scale_list_pred_scaling_list_id_delta[scalelistid]指定。语法元素scaling_list_pred_mode_flag[scalinglistid]为1表示缩放列表的值被显示地发送。[0101]语法元素scaling_list_predictor_mode_flag[scalinglistid]为1表示缩放列表的值可从由scaling_list_pred_scaling_list_id_delta[scalinglistid]指定的参考缩放列表中预测。语法元素scale_list_predictor_mode_flag[scaleinglistid]为0表示缩放列表的值被显式地发送。如果不存在，则scale_list_predictor_mode_flag[scaleinglistid]的值被推断为等于0。[0102]语法元素scaling_list_dc_coef_minus8[scalinglistid]加8 preddc指定了待确定的当前缩放列表的dc值，表示为scalingfactordc[sizeid][matrixid]或scalingfactordc[scalinglistid]。在一些实施例中，scaling_list_dc_coef_minus8[scalinglistid]的值被约束在-7到247的范围内，包括端值。如果scaling_list_predictor_mode_flag[scalinglistid]等于1，并且scaling_list_pred_scaling_list_id_delta[scalinglistid]等于0，则preddc等于16；否则，如果scale_list_predictor_mode_flag[matrixid]等于1，则preddc等于scalingmatrix[refsizeid][refmatrixid][0][0]；否则preddc等于0。如果scaling_list_pred_mode_flag[scalinglistid]等于0，scaleinglistid大于15，并且scaling_list_pred_scaling_list_id_delta[scalinglistid]等于0，则scalingfactordc[sizeid][matrixid]的值被设置为16。否则，如果scaling_list_pred_mode_flag[scalinglistid]等于0，scaleinglistid大于15，并且scaleing_list_pred_scaling_list_id_delta[scalelistid]不等于0，则scalingfactordc[sizeid]的值][matrixid]被设置为等于scalingfactordc[refsizeid][refmatrixid]。[0103]当scaling_list_pred_mode_flag[scalinglistid]等于1时，语法元素scaling_list_delta_coef指定当前矩阵系数scalinglist[scalinglistid][i]与先前矩阵系数scalinglist[scalinglistid][i-1]之间的差值。scale_list_delta_coef的值被约束在-128到127范围内，包含端点。scalinglist[scalinglistid][i]的值大于0。当scaling_list_pred_mode_flag[scalinglistid]等于1并且scaleing_list_delta_coef不存在时，scalinglist[scalinglistid][i]的值被推断为0。[0104]如果scaling_list_pred_mode_flag[scalinglistid]等于1，则数组scalingmatrix[scalinglistid]可推导如下：[0105][0106]在一些实施例中，当chromaarraytype等于3时，大小为64x64的色度量化矩阵的元素，scalingfactor[6][6][matrixid][x][y]，x＝0..63，y＝0..63，并且matrixid＝1，2，4和5的推导如下：[0107]scalingfactor[6][6][matrixid][x][y]＝scalingfactor[5][5][matrixid][i][j]，其中i＝x和j＝y。[0108]表7示出用于基于1d索引方案发送视频图像或序列的缩放列表的另一种替代语法，其中语法元素“scalinglistid”被简称为“id”，并且定义用于缩放列表索引的范围被修改。[0109]表7：[0110][0111][0112]语法元素scale__matrix_for_lfnst_disabled_flag为1指示缩放矩阵不被应用于以lfnst编解码的块，为0指示缩放矩阵可被应用于以lfnst编解码的块。[0113]语法元素scale_list_copy_mode_flag[id]为1指示缩放列表的值与参考缩放列表的值相同。参考缩放列表由scale_list_pred_id_delta[id]指定。语法元素scale_list_copy_mode_flag[id]为0指示存在scale_list_pred_mode_flag。[0114]语法元素scale_list_pred_mode_flag[id]为1指示可以从参考缩放列表中预测缩放列表的值。参考缩放列表由scale_list_pred_id_delta[id]指定。scale_list_pred_mode_flag[id]为0指示缩放列表的值被显式地发送。如果不存在，则scale_list_pred_mode_flag[id]的值被推断为等于0。[0115]语法元素scaling_list_pred_id_delta[id]指定用于导出预测缩放矩阵scalingmatrixpred[id]的参考缩放列表。如果不存在，则scaling_list_pred_id_delta[id]被推断为0。scaling_list_pred_id_delta[id]的值被约束在0到maxiddelta的范围内，其中maxiddelta取决于id，如下所示：[0116]maxiddelta＝(id《2)？id：((id《8)？(id-2)：(id-8))。[0117]变量refid和matrixsize可导出如下：[0118]refid＝id-scale_list_pred_id_delta[id][0119]matrixsize＝(id《2)？2：((id《8)？4：8)。[0120](matrixsize)x(matrixsize)数组scalingmatrixpred[x][y]，其中x＝0..matrixsize-1，y＝0..matrixsize–1。[0121]变量scalingmatrixdcpred的导出方式如下：当scaling_list_copy_mode_flag[id]和scaling_list_pred_mode_flag[id]都等于0时，scalingmatrixpred的所有元素均被设置为8，而scalingmatrixdcpred的值被设置为8。否则，当scaling_list_pred_id_delta[id]等于0，scalingmatrixpred的所有元素均被设置为16，以及scalingmatrixdcpred被设置为16。否则(scaling_list_copy_mode_flag[id]或scaling_list_pred_mode_flag[id]等于1且scale_list_pred_id_delta[id]大于0)，scalingmatrixpred被设置为等于scalingmatrix[refid]。如果refid大于13，则scalingmatrixdcpred被设置为等于scalingmatrixdc[refid-14]。否则(refid小于或等于13)，scalingmatrixdcpred被设置为等于scalingmatrixpred[0][0]。[0122]当id大于13时，语法元素scaling_list_dc_coef[id-14]被用于导出变量scalingmatrixdc[id-14]的值：[0123]scalingmatrixdc[id-14]＝scalingmatrixdcpred[0124] scaling_list_dc_coef[id-14] 256，或[0125]scalingmatrixdc[id-14]＝(scalingmatrixdcpred[0126] scaling_list_dc_coef[id-14] 256)％256[0127]在一些实施例中，scaling_list_dc_coef[id-14]的值被约束在-254至254的范围内，包括端值。如果不存在，则scale_list_dc_coef[id–14]的值被推断为等于0。在一些实施例中，scalingmatrixdc[id-14]的值被约束在1至255的范围内，包括端值。在另一些实施例中，scaling_list_dc_coef[id-14]的值被约束在-128至-127的范围内，包括端值。如果不存在，则scale_list_dc_coef[id–14]的值被推断为等于0。在一些实施例中，scalingmatrixdc[id-14]的值被约束为大于0。[0128]当scaling_list_copy_mode_flag[id]等于0时，语法元素scaling_list_delta_coef指定当前矩阵系数scalinglist[id][i]和先前矩阵系数scalinglist[id][i-1]之间的差值。在一些实施例中，scaling_list_delta_coef的值被约束在-511至511的范围内，包括端值。在一些实施例中，scaling_list_delta_coef的值被约束在-128至127的范围内，包括端值。当scaling_list_copy_mode_flag[id]等于1时，scalinglist[id]的所有元素都被设置为等于0。[0129]scalingmatrix[id]是一(matrixsize)x(matrixsize)数组，可导出如下：[0130]scalingmatrix[id][x][y]＝scalingmatrixpred[x][y] [0131]scalinglist[id][k]，其中k＝0..(matrixsize*matrixsize-1)，或[0132]scalingmatrix[id][x][y]＝(scalingmatrixpred[x][y] [0133]scalinglist[id][k] 256)％256，其中k＝0..(matrixsize*matrixsize-1)，[0134]x＝diagscanorder[log2(matrixsize)][log2(matrixsize)][k][0]，[0135]y＝diagscanorder[log2(matrixsize)][log2(matrixsize)][k][1]，[0136]scalingmatrix[id][x][y]的值应在1到255之间的范围内(包括1和255)。在一些其他实施例中，scalingmatrix[id][x][y]的值应大于零。[0137]在一些实施例中，如果scaling_list_delta_coef和scaling_list_dc_coef被作为预测子和原始数据之间的差值发送，则基于预测子的比特深度或预定义的范围(例如，[-255，255]，[-254，254]，[-128，128]，[-255，254]，[-512，511]或[-511，511]，scaling_list_delta_coef和scaling_list_dc_coef的范围可被指定。在一些实施例中，scaling_list_delta_coef和scaling_list_dc_coef的范围可通过模数运算来约束。例如，如果预测子的值为8，则scale_list_delta_coef和scale_list_dc_coef的范围被设置为[-7，247]；否则，如果预测子的值为16，则scale_list_delta_coef和scale_list_dc_coef的范围被设置为[-15，239]；否则，如果预测子的值的比特深度为8比特，则scale_list_delta_coef和scale_list_dc_coef的范围设置为[-512，511]。[0138]在一些实施例中，scaling_list_delta_coef和scaling_list_dc_coef的预定义范围可被用于导出最终缩放矩阵系数的范围。在一些实施例中，scaling_list_delta_coef和scaling_list_dc_coef的范围可以在序列级别，图像级别或片段级别被显式地发送给解码器。在一些实施例中，与预定义范围(比如8比特，10比特或内部比特深度)相比，如果最终缩放矩阵中的系数溢出，在发送之前溢出系数被设置为预定义的默认值，例如16，8。在一些实施例中，与预定义范围(比如8比特，10比特或内部比特深度)相比，如果最终缩放矩阵中的系数溢出，在发送之前相应的缩放矩阵将被设置为具有预定默认值(例如16，8)的全平面缩放矩阵。[0139]在一些实施例中，如果scaling_list_delta_coef和scaling_list_dc_coef被作为预测子和原始数据之间的差值发送，则scaleing_list_delta_coef和scaling_list_dc_coef的范围可进一步被限制在预定义范围内，例如[-255，255]，[-254，254]，[-127，127]，[-128，127]，[-256，255]，[-512，511]或[-511，511]。在一些实施例中，scaling_list_delta_coef和scaling_list_dc_coef的范围可通过模数运算来约束。在一些实施例中，中间参数的范围，例如nextcoef，可进一步通过模数运算(例如，模数为256)来约束，以确保最终缩放矩阵系数的比特深度在预定义范围内。在一些实施例中，scaling_list_delta_coef，scaling_list_dc_coef和nextcoef的范围可通过模数运算(例如，模数为256)来约束。这样，已发送的scaling_list_delta_coef和scaling_list_dc_coef被约束在较小的范围内，例如[-128，127][-127，127]。在一些实施例中，scaling_list_delta_coef和scaling_list_dc_coef的预定义范围或中间参数，例如nextcoef可被用于导出最终缩放矩阵系数的比特深度。[0140]e.发送缩放矩阵[0141]图5在概念上示出了缩放矩阵(或缩放列表或量化矩阵)，其通过参考先前编解码或已发送的缩放矩阵来确定。该图示出了被用于量化或解量化视频图像的变换系数的示例缩放矩阵qm0至qm27。不同的缩放矩阵被指定用于不同类型的变换块，例如，不同的块大小(2，4，8，16，32，64)，不同的颜色分量(亮度和色度)和/或不同的预测模式(帧间/帧内)。[0142]缩放矩阵qm0至qm27也被称为基本或基本缩放矩阵，因为它们在比特流中发送，并被用作导出用于对变换块进行量化或反量化的实际量化矩阵的基础(例如，通过上-采样或下-采样)。[0143]该图示出了缩放矩阵qm0至qm27的发送。编码器提供对比特流中的缩放矩阵qm0到qm27进行编码的讯号。解码器从比特流接收讯号，并基于接收到的讯号重构每个缩放矩阵。在该示例中，缩放矩阵qm0至qm15已经被发送或重构，而缩放矩阵qm16至qm27尚未被发送或被重构。[0144]视频编码器(或解码器)可通过将先前发送的(或重构的)的缩放矩阵作为预测子来发送(或解码器可重构)缩放矩阵的内容。在该示例中，视频编码器(或解码器)通过参考缩放矩阵qm14的内容来发送(或解码器可重构)缩放矩阵qm16的内容。在一些实施例中，缩放矩阵qm14是缩放矩阵qm16的理想预测子，使得视频编码器(或解码器)可通过复制或重复qm14的元素而不使用差量值来发送(或者视频解码器可重构)qm16。如果qm14并不是qm16的理想预测子，则视频编码器可能会在qm14和qm16的相应元素之间发送其他差量值。[0145]在一些实施例中，解码器可通过将参考索引偏移应用于正在重构的缩放矩阵的索引来识别参考或预测子缩放矩阵。参考索引偏移可以是比特流中的语法元素(例如，scaling_list_pred_scaling_list_id_delta)。在图5的示例中，正在重构的缩放矩阵的索引是16(qm16)，并且正在参考的缩放矩阵的索引是14(qm14)。对于qm16，参考索引偏移的值为“2”，该值被用于从qm16的索引中导出qm14的索引。[0146]在此示例中，参考缩放矩阵qm14具有与待编码的缩放矩阵qm16相同的大小。在一些实施例中，当参考先前编解码或发送的缩放矩阵作为用于确定当前待编码的缩放矩阵的预测子时，所引用的缩放矩阵必须与当前缩放矩阵具有相同的大小。因此，对于图5的例子，qm16可参考qm15和qm14(大小16x16)，但不能参考qm13(大小8x8)。此外，当根据1d索引方案发送第一待发送的缩放矩阵时(例如，qm14是待发送的大小为16x16的第一缩放矩阵)，先前编解码的缩放矩阵(例如qm13)不能被用作参考(因为它们有不同大小)，以及参考索引偏移始终为0。[0147]任一上述提出的方法可以各种硬件，编码器和/或解码器的软件或它们的组合来实现。例如，本发明的实施例可以是集成到视频压缩芯片中的一个或多个电路或集成到视频压缩软件中的程序代码以执行本文所述的处理。例如，任一提出的方法可被实现为耦合到编码器的量化模块和逆量化模块的电路，并且可被实现为耦合到解码器的逆量化模块的电路。在一实施例中，任一所提出的方法都可在编码器的量化模块和逆量化模块中实现，并arithmeticcoding，简称cabac)或霍夫曼编码(huffmanencoding)的熵编码技术，熵编码器690将各种参数和数据编码到比特流695中。熵编码器690将各种报头元素，标志以及量化的变换系数612和残差运动数据作为语法元素编码到比特流695中。比特流695又被存储在存储设备中，或通过通讯媒介(例如网络)发送到解码器。[0159]环内滤波器645对重构的像素数据617执行滤波或平滑操作，以减少编解码的伪像，特别是在像素块的边界处。在一些实施例中，执行的滤波操作包括样本适应性偏移(sampleadaptiveoffset，sao)。在一些实施例中，滤波操作包括适应性环路滤波器(adaptiveloopfilter，简称alf)。[0160]图7说明视频编码器600的实施缩放矩阵的发送的部分。如图所示，量化模块611使用量化矩阵来量化变换系数616。量化矩阵由量化矩阵生成器730提供。基于基本缩放矩阵集合720，量化矩阵生成器730生成当前变换块的量化矩阵，例如，通过选择基本缩放矩阵并对所选择的基本缩放矩阵执行下-采样或上-采样以生成与当前变换块的大小匹配的量化矩阵。[0161]基本缩放矩阵集合720由缩放矩阵生成器710对当前图像或当前图像序列，相对于不同大小，不同颜色分量和不同预测模式的变换块来确定或构建的。缩放矩阵生成器710还向熵编码器690提供可用于构建缩放矩阵的讯号，以将其包括在比特流695中。[0162]缩放矩阵生成器710生成缩放矩阵720。缩放矩阵生成器710在生成缩放矩阵的系数时可以参考默认缩放矩阵。缩放矩阵生成器710还可通过预测或复制来生成缩放矩阵。具体地，缩放矩阵生成器可通过向熵编码器690提供参考索引偏移(例如，scale_list_pred_scald_scaling_list_id_delta)来发送参考缩放矩阵(或预测子，例如，图5中参考qm14的qm16)，参考索引偏移可被用于辨识先前编解码或发送的缩放矩阵作为该参考或预测子缩放矩阵。矩阵生成器790还可将指示预测子缩放矩阵是将被复制还是被用作预测的基础的标志，以及预测子缩放矩阵与当前缩放矩阵之间的差量值，提供给熵编码器690。[0163]图8概念性地示出发送用于对视频图像进行编码的缩放矩阵的过程800。在一些实施例中，计算设备的一个或多个处理单元(例如，处理器)实现了编码器600，其通过执行存储在计算机可读介质中的指令来执行过程800。在一些实施例中，实现编码器600的电子设备执行过程800。[0164]在块810处，编码器从比特流接收数据，该数据将被编码为视频的当前图像。当前图像将通过使用多个缩放矩阵进行编码。[0165]在块820处，编码器通过参考先前发送的多个缩放矩阵中的第二缩放矩阵来发送多个缩放矩阵中的第一缩放矩阵。在一些实施例中，当比特流中的第一标志(例如，scaling_list_copy_mode_flag)指示第一缩放矩阵和第二缩放矩阵的对应元素相同时，通过将第二缩放矩阵的元素复制为第一缩放矩阵的元素，第一缩放矩阵被确定。在一些实施例中，当比特流中的第一标志指示第一缩放矩阵和第二缩放矩阵的对应元素不相同时，通过(i)将一组差量值加到第二缩放矩阵的元素作为第一缩放矩阵的元素，或者(ii)在比特流中的显式发送，比特流中的第二标志(例如，scaleing_list_prediction_mode_flag)指示第一缩放矩阵是否被确定。[0166]在块830处，编码器确定辨识第一缩放矩阵的第一索引和辨识第二缩放矩阵的第二索引之间的参考索引偏移(例如，scaling_list_pred_scaling_list_id_delta)。在块840处，编码器发送确定的参考索引偏移。在一些实施例中，根据一维索引方案，第一索引和第二索引分别被分配给第一缩放矩阵和第二缩放矩阵，该一维索引方案根据索引的颜色分量，块大小和预测类型将索引分配给缩放矩阵。在一些实施例中，根据一维索引方案，用于编解码帧内预测类型的色度分量的2x2变换块的缩放矩阵没有被分配索引。在一些实施例中，当没有其他缩放矩阵具有与先前发送的当前图像的第一缩放矩阵相同的特定大小时(例如，当在图3的方案中第一缩放矩阵的索引为0、4或10时或在图4的方案中第一缩放矩阵的索引为2、8、14时)，参考索引偏移没有在比特流中发送，并且第一缩放矩阵通过参考默认量化矩阵来确定。在一些实施例中，当第一索引大于阈值时，缩放矩阵的块大小是64。[0167]在块850处，编码器对当前图像进行编码作为变换块的变换系数。在块860处，编码器通过使用多个缩放矩阵来量化变换系数。[0168]在一些实施例中，比特流包括：第一语法元素(例如，scaling_list_delta_coef)，其指定第一矩阵中的两个连续的缩放矩阵系数之间的差值；以及第二语法元素(例如，scaling_list_dc_coef)，其指定第一缩放矩阵中的dc系数。第一和第二语法元素被约束在-128到127的范围内，包括端值。[0169]iii.视频解码器示例[0170]图9示出示例视频解码器900。如图所示，视频解码器900是图像解码或视频解码电路，其接收比特流995并将比特流的内容解码为视频帧的像素数据以供显示。视频解码器900具有用于解码比特流995的若干元件或模块，包括选自逆量化模块911，逆变换模块910，图像内预测模块925，运动补偿模块930，环内滤波器945，解码图像缓冲器950，mv缓冲器965，mv预测模块975和解析器990中的一些元件。运动补偿模块930是帧间预测模块940的一部分。[0171]在一些实施例中，模块910-990是由计算设备的一个或多个处理单元(例如，处理器)执行的软件指令的模块。在一些实施例中，模块910-990是由电子装置的一个或多个ic实现的硬件电路的模块。尽管模块910-990被图标为单独的模块，但是一些模块可以组合成单个模块。[0172]解析器990(或熵解码器)接收比特流995，并根据由视频编解码或图像编解码标准定义的语法执行初始解析。解析的语法元素包括各种报头元素，标志以及量化的数据(或量化的系数)912。解析器990通过使用诸如上下文适应性二进制算术编解码(context-adaptivebinaryarithmeticcoding，简称cabac)或霍夫曼编码的熵编码技术来解析各种语法元素。[0173]逆量化模块911对量化数据(或量化系数)912进行去量化以获得变换系数，并且逆变换模块910对变换系数916执行逆变换以产生重构残差讯号919。重构残差讯号919与来自图像内预测模块925或运动补偿模块930的预测像素数据913相加，以产生解码像素数据917。解码像素数据由环内滤波器945滤波并被存储在解码图像缓冲器950中。在一些实施例中，解码图像缓冲器950是视频解码器900外部的内存。在一些实施例中，解码图像缓冲器950是视频解码器900内部的内存。[0174]图像内预测模块925从比特流995接收帧内预测数据，并据此从存储在解码图像缓冲器950中的解码像素数据917中生成预测像素资料913。在一些实施例中，解码像素数据917还被存储在用于图像内预测和空间mv预测的行缓冲器(未示出)中。[0175]在一些实施例中，解码图像缓冲器950的内容被用于显示。显示设备955或者检索解码图像缓冲器950的内容以直接显示，或者将解码图像缓冲器的内容检索到显示缓冲器。在一些实施例中，显示设备通过像素传输从解码图像缓冲器950接收像素值。[0176]根据运动补偿mv(mcmv)，运动补偿模块930从存储在解码图像缓冲器950中的解码像素数据917中生成预测像素资料913。通过将从比特流995接收到的残差运动数据与从mv预测模块975接收到的预测mv相加，这些运动补偿mv被解码。[0177]基于以解码先前的视频帧而生成的参考mv(例如，用于执行运动补偿的运动补偿mv)，mv预测模块975生成预测的mv。mv预测模块975从mv缓冲器965检索先前视频帧的参考mv。视频解码器900将以解码当前视频帧而生成的运动补偿mv存储在mv缓冲器965中，作为用于产生预测mv的参考mv。[0178]环内滤波器945对解码的像素数据917执行滤波或平滑操作，以减少编码的伪像，特别是在像素块的边界处。在一些实施例中，执行的滤波操作包括样本适应性偏移(sampleadaptiveoffset，简称sao)。在一些实施例中，滤波操作包括适应性环路滤波器(adaptiveloopfilter，简称alf)。[0179]图10说明视频解码器900的处理缩放矩阵的发送的部分。如图所示，去量化模块911使用量化矩阵来对变换系数916进行去量化。量化矩阵由量化矩阵生成器1030提供。基于基本缩放矩阵集合1020，量化矩阵生成器1030生成当前变换块的量化矩阵，例如，通过选择基本缩放矩阵并在所选择的基本缩放矩阵上执行下-采样或上-采样以生成与当前变换块的大小匹配的量化矩阵。[0180]基本缩放矩阵集合由缩放矩阵生成器1010确定或构建用于当前图像或图像的当前序列的不同大小、不同颜色分量和不同预测模式的变换块。缩放矩阵生成器1010从比特流995接收与由熵解码器990解析的缩放矩阵有关的讯号。[0181]缩放矩阵生成器1010生成缩放矩阵1020。缩放矩阵生成器1010在生成缩放矩阵的系数时可参考默认缩放矩阵。缩放矩阵生成器1010还可通过预测或复制来产生缩放矩阵。具体地，缩放矩阵生成器可通过从熵解码器990接收参考索引偏移(例如，scale_list_pred_scald_scaling_list_id_delta)来识别参考缩放矩阵(或预测子，例如，图5中参考qm14的qm16)，该参考索引偏移可辨识先前编解码或发送的缩放矩阵作为参考或预测缩放矩阵。矩阵生成器1090还可从熵解码器990接收标志以及预测子缩放矩阵与当前缩放矩阵之间的差量值，该标志指示预测子缩放矩阵是将被复制还是被用作预测的基础。[0182]图11概念性地示出了用于重构缩放矩阵以对视频图像进行解码的过程1100。在一些实施例中，计算设备的一个或多个处理单元(例如，处理器)实现了解码器900，其通过执行存储在计算机可读介质中的指令来执行过程1100。在一些实施例中，实现解码器900的电子设备执行过程1100。[0183]在块1110处，解码器从比特流数据，该数据将被解码为视频的当前图像。当前图像将通过使用多个缩放矩阵进行解码。[0184]在块1120处，解码器接收多个缩放矩阵的第一缩放矩阵的参考索引偏移(例如，scaling_list_pred_scaling_list_id_delta)。在块1130处，解码器将参考索引偏移应用于识别第一缩放矩阵的第一索引，以导出识别多个缩放矩阵的第二缩放矩阵的第二索引。第二缩放矩阵被预先重构。在一些实施例中，根据一维索引方案，第一索引和第二索引被配digitalassistant,简称pda)或任一其他种类的电子设备。这种电子系统包括各种类型的计算机可读介质以及用于各种其他类型的计算机可读介质的接口。电子系统1200包括总线1205，处理单元1210，图形处理单元(graphics-processingunit,简称gpu)1215，系统内存1220，网络1225，只读存储器1230，永久存储设备1235，输入设备1240，以及输出设备1245。[0192]总线1205集体表示与电子系统1200通讯连接的众多内部装置的所有系统总线，外围装置总线和芯片组总线。例如，总线1205通过gpu1215通信连接，只读存储器1230，系统内存1220和永久存储设备1235与处理单元1210通讯连接。[0193]从这些各种内存单元，处理单元1210取回要执行的指令和要处理的数据，以便执行本公开的处理。在不同实施例中，处理单元1210可以是单个处理器或多核处理器。一些指令被传递到gpu1215并由gpu1215执行。gpu1215可以卸除各种计算或补充由处理单元1210提供的图像处理。[0194]只读存储器1230存储处理单元1210和电子系统的其他模块所需的静态数据和指令。另一方面，永久存储设备1235是读写记忆装置。该装置是非挥发性内存单元，即使在电子系统1200关闭时也存储指令和数据。本公开的一些实施例使用大容量记忆装置(诸如磁盘或光盘及其相应的磁盘驱动器)作为永久存储设备1235。[0195]实施例使用可移动存储(例如软盘，闪存装置等，及其相应的磁盘驱动器)作为永久存储设备。与永久存储设备1235类似，系统内存1220是读写内存装置。然而，与永久存储设备1235不同的是，系统内存1220是挥发性(volatile)读写内存，例如随机存取内存。系统内存1220存储处理器在运行时需要的一些指令和数据。在一些实施例中，根据本公开的过程存储在系统内存1220，永久存储设备1235和/或只读存储器1230中。例如，各种内存单元包括用于根据处理多媒体剪辑的指令。在一些实施例中。从这些各种内存单元，处理单元1210取回要执行的指令和要处理的数据，用以执行一些实施例的过程。[0196]总线1205还连接到输入设备1240和输出设备1245。输入设备1240使用户能够向电子系统传送信息和选择命令。输入设备1240包括字母数字键盘和指示装置(也被称为“光标控制装置”)，相机(例如，网络摄像头)，麦克风或用于接收语音命令等的类似装置。输出设备1245显示由电子系统生成的图像或否则输出数据。输出设备1245包括打印机和显示设备，例如阴极射线管(cathodraytube，简称crt)或液晶显示器(liquidcrystaldisplay，简称lcd)，以及扬声器或类似的音频输出设备。一些实施例包括诸如同时用作输入设备和输出设备的触摸屏等装置。[0197]最后，如图12所示，总线1205还通过网络适配器(未示出)将电子系统1200耦合到网络1225。以这种方式，计算机可以是计算机网络的一部分(例如局域网(localareanetwork,简称lan)，广域网(wideareanetwork,简称wan)或内部网络)，或多个网络中的一个网络，比如说因特网。电子系统1200的任一或所有元件可以与本公开结合使用。[0198]一些实施例包括电子元件，例如，微处理器、存储装置和内存，其将计算机程序指令存储到机器可读介质或者计算机可读介质(可选地被称为计算机可读存储介质、机器可读介质或者机器可读存储介质)。计算机可读介质的一些示例包括ram、rom、只读光盘(read-onlycompactdisc，cd-rom),可录制光盘(recordablecompactdisc,cd-r)、可擦写光盘(rewritablecompactdisc，cd-rw)、只读数字通用光盘(read-onlydigitalversatiledisc)(例如，dvd-rom，双层dvd-rom)、各种可记录/可擦写dvd(例如dvdram、dvd-rw、dvd rw等)、闪存(如sd卡、迷你sd卡，微sd卡等)、磁性和/或固态硬盘、只读和可刻录盘、超高密度光盘和其他任何光学介质或磁介质，以及软盘。计算机可读介质可以存储由至少一个处理单元执行的计算机程序，并且包括用于执行各种操作的指令集。计算机程序或计算机代码的示例包括机器代码，例如编译程序产生的机器代码，以及包含由计算机、电子元件或微处理器使用注释器(interpreter)而执行的高级代码的文档。[0199]当以上讨论主要是指执行软件的微处理器或多核处理器时，很多上述的功能和应用程序由一个或复数个集成电路执行，如特定应用的集成电路(applicationspecificintegratedcircuit,asic)或现场可程序设计门阵列(fieldprogrammablegatearray,fpga)。在一些实施例中，这种集成电路执行存储在该电路本身上的指令。此外，一些实施例执行存储在可程序设计逻辑器件(programmablelogicdevice,pld)，rom或ram装置中的软件。[0200]如本发明的说明书和任一权利要求所使用，术语“计算机”、“服务器”、“处理器”和“内存”均指电子装置或其他技术装置。这些术语不包括人或群体。出于说明的目的，术语显示或显示设备指在电子装置上进行显示。如本发明的说明书和任一权利要求中所使用，术语“计算机可读介质”、“计算机可读媒质”和“机器可读介质”完全局限于有形的、实体的物体，其以计算机可读的形式存储信息。这些术语不包括任何无线讯号、有线下载讯号和其他任何短暂讯号。[0201]在结合许多具体细节的情况下描述了本发明时，所属
技术领域：
：的技术人员将认识到，本发明可以以其他具体形式而被实施，而不脱离本发明的精神。此外，大量的图(包括图8和图11)概念性示出了处理过程。这些过程的具体操作可以不以所示及所描述的确切顺序来被执行。这些具体操作可以不在一个连续的操作系列中被执行，并且不同的具体操作可以在不同的实施例中被执行。另外，该处理可使用几个子处理而被实现，或者作为更大的宏处理的一部分。因此，所属
技术领域：
：的技术人员将能理解的是，本发明不受前述说明性细节的限制，而是由权利要求加以界定。[0202]附加的说明[0203]本文所描述的主题有时表示不同的元件，其包含在或者连接到其他不同的元件。可以理解的是，所描述的结构仅是示例，实际上可以由许多其他结构来实施，以实现相同的功能，从概念上讲，任何实现相同功能的元件的排列实际上是“相关联的”，以便实现所需功能。因此，不论结构或中间部件，为实现特定的功能而组合的任何两个元件被视为“相互关联”，以实现所需的功能。同样，任何两个相关联的元件被看作是相互“可操作连接”或“可操作耦接”，以实现特定功能。能相互关联的任何两个元件也被视为相互“可操作地耦接”，以实现特定功能。能相互关联的任何两个元件也被视为相互“可操作地耦合”以实现特定功能。可操作连接的具体例子包括但不限于物理可配对和/或物理上相互作用的元件，和/或无线可交互和/或无线上相互作用的元件，和/或逻辑上相互作用和/或逻辑上可交互的元件。[0204]此外，关于基本上任何复数和/或单数术语的使用，所属
技术领域：
：的技术人员可以根据上下文和/或应用从复数转换为单数和/或从单数到复数。为清楚起见，本发明明确阐述了不同的单数/复数排列。[0205]此外，所属
技术领域：
：的技术人员可以理解，通常，本发明所使用的术语特别是权利要求中的，如权利要求的主题，通常用作“开放”术语，例如，“包括”应解释为“包括但不限于”，“有”应理解为“至少有”“包括”应解释为“包括但不限于”等。所属
技术领域：
：的技术人员可以进一步理解，若计划介绍特定数量的权利要求内容，将在权利要求内明确表示，并且，在没有这类内容时将不显示。例如，为帮助理解，下面权利要求可能包含短语“至少一个”和“一个或复数个”，以介绍权利要求的内容。然而，这些短语的使用不应理解为暗示使用不定冠词“一个”或“一种”介绍权利要求内容，而限制了任何特定神专利范围。甚至当相同的权利要求包括介绍性短语“一个或复数个”或“至少有一个”，不定冠词，例如“一个”或“一种”，则应被解释为表示至少一个或者更多，对于用于介绍权利要求的明确描述的使用而言，同样成立。此外，即使明确引用特定数量的介绍性内容，所属
技术领域：
：的技术人员可以认识到，这样的内容应被解释为表示所引用的数量，例如，没有其他修改的“两个引用”，意味着至少两个引用，或两个或两个以上的引用。此外，在使用类似于“a、b和c中的至少一个”的表述的情况下，通常如此表述是为了所属
技术领域：
：的技术人员可以理解该表述，例如，“系统包括a、b和c中的至少一个”将包括但不限于单独具有a的系统，单独具有b的系统，单独具有c的系统，具有a和b的系统，具有a和c的系统，具有b和c的系统，和/或具有a、b和c的系统，等。所属
技术领域：
：的技术人员进一步可理解，无论在说明书中，权利要求中或者附图中，由两个或两个以上的替代术语所表现的任何分隔的单词和/或短语应理解为，包括这些术语中的一个，其中一个，或者这两个术语的可能性。例如，“a或b”应理解为，“a”，或者“b”，或者“a和b”的可能性。[0206]从前述可知，出于说明目的，本发明已描述了各种实施方案，并且在不偏离本发明的范围和精神的情况下，可以进行各种变形。因此，此处所公开的各种实施方式不用于限制，真实的范围和申请由权利要求表示。当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
