视频编解码中自适应环内颜色空间变换的选择性启用的制作方法

视频编解码中自适应环内颜色空间变换的选择性启用
1.相关申请的交叉引用
2.根据适用的《专利法》和/或《巴黎公约》的规定，本技术及时要求于2019年6月21日提交的国际专利申请号pct/cn2019/092326的优先权和利益。根据法律的所有目的，将上述申请的全部公开以引用方式并入本文，作为本技术公开的一部分。
技术领域
3.本专利文献总体上涉及视频编解码和解码技术。


背景技术：

4.视频编解码标准主要是通过开发著名的itu-t和iso/iec标准而发展起来的。itu-t制定了h.261和h.263，iso/iec制定了mpeg-1和mpeg-4视频，并且两个组织联合制定了h.262/mpeg-2视频和h.264/mpeg-4高级视频编解码(avc)和h.265/高效视频编解码(hevc)标准。自h.262以来，视频编解码标准基于混合视频编解码结构，其中采用了时域预测加变换编解码。为了探索hevc之外的未来视频编解码技术，vceg和mpeg于2015年共同成立了联合视频探索小组(jvet)。此后，jvet采用了许多新的方法，并将其应用到名为联合探索模型(jem)的参考软件中。2018年4月，vceg(q6/16)与iso/iec jtc1 sc29/wg11(mpeg)之间成立联合视频专家团队(jvet)，致力于开发下一代通用视频编解码(versatile video coding，vvc)标准，目标是比hevc降低50％的比特率。


技术实现要素：

5.利用已公开的视频编解码、转码或解码技术，视频编码器或视频解码器实施例可以处理编解码树块的虚拟边界，以提供更好的压缩效率和编解码或解码工具的更简单实现方式。
6.在一个示例方面，公开了一种视频处理方法。该方法包括：由于为视频单元和视频单元的编解码表示之间的转换使用双树分割结构，确定为视频单元禁用自适应颜色空间变换(adaptive color space transformation，act)工具；以及，基于确定，通过对视频单元禁用act工具来执行转换；其中，act工具的使用包括：在编码期间，将视觉信号的表示从第一色域转换到第二色域，或者，在解码期间，将视觉信号的表示从第二色域转换到第一色域。
7.在另一个示例方面，公开了另一种视频处理方法。该方法包括：确定为视频单元和该视频单元的编解码表示之间的转换使用双树分割结构和自适应颜色空间变换(act)工具；以及，基于确定，通过对视频单元启用act工具来执行转换；其中，act工具的使用包括：在编码期间，将视觉信号的表示从第一色域转换到第二色域，或者，在解码期间，将视觉信号的表示从第二色域转换到第一色域。
8.在另一个示例方面，公开了另一种视频处理方法。该方法包括：为视频的当前视频块和视频的编解码表示之间的转换，确定第一编解码工具和第二编解码工具的适用性是互
斥的；以及，基于确定来执行转换；其中，第一编解码工具对应于自适应颜色空间变换(act)工具；其中，act工具的使用包括：在编码期间，将视觉信号的表示从第一色域转换到第二色域，或者，在解码期间，将视觉信号的表示从第二色域转换到第一色域。
9.在另一个示例方面，公开了另一种视频处理方法。该方法包括：确定为视频的当前视频块和视频的编解码表示之间的转换使用编解码工具和自适应颜色空间变换(act)工具两者；以及，基于确定，通过对当前视频块启用act工具来执行转换，其中，act工具的使用包括：在编码期间，将视觉信号的表示从第一色域转换到第二色域，或者，在解码期间，将视觉信号的表示从第二色域转换到第一色域。
10.在另一个示例方面，公开了另一种视频处理方法。该方法包括：为视频的视频单元的当前视频块和视频的编解码表示之间的转换，确定由于为视频单元启用环内整形(in-loop reshaping，ilr)工具而为转换禁用自适应颜色空间变换(act)工具；以及，基于确定来执行转换，其中，ilr工具的使用包括：基于第一域和第二域之间的亮度整形和/或以亮度相关的方式进行的色度残差缩放来构建视频单元，并且其中，act工具的使用包括：在编码期间，将视觉信号的表示从第一色域转换到第二色域，或者，在解码期间，将视觉信号的表示从第二色域转换到第一色域。
11.在另一个示例方面，公开了另一种视频处理方法。该方法包括：确定为视频单元和该视频单元的编解码表示之间的转换，启用环内整形(ilr)工具和自适应颜色空间变换(act)工具两者；以及，基于确定来执行转换；其中，ilr工具的使用包括：基于第一域和第二域和/或以亮度相关方式缩放色度残差来构建当前视频单元，并且，其中，act工具的使用包括：在编码期间，将视觉信号的表示从第一色域转换到第二色域，或者，在解码期间，将视觉信号的表示从第二色域转换到第一色域。
12.在另一个示例方面，公开了另一种视频处理方法。该方法包括：确定为当前视频块和该当前视频块的编解码表示之间的转换启用子块变换(sub-block transform，sbt)工具和自适应颜色空间变换(adaptive color space transformation，act)编解码工具两者；以及，基于确定来执行转换，其中，sbt工具的使用包括：在预测残差块的子部分上应用变换处理或逆变换处理，并且，其中，act工具的使用包括：在编码期间，将视觉信号的表示从第一色域转换到第二色域，或者，在解码期间，将视觉信号的表示从第二色域转换到第一色域。
13.在另一个示例方面，公开了另一种视频处理方法。该方法包括：执行视频的视频单元和该视频的编解码表示之间的转换，其中，视频单元包括第一级的一个或多个分区，而该第一级的一个或多个分区包括第二级的一个或多个分区，其中，编解码表示符合格式化规则，其中，格式化规则规定是否包括分区级，在该分区级上指示使用自适应颜色空间变换(act)工具来表示编解码表示中的一个或多个第二级分区的语法元素包括在编解码表示中，其中，该分区级是第一级、第二级、或视频单元之一。
14.在又一个示例方面，公开了一种视频编码装置，配置为执行上述方法。
15.在又一个示例方面，公开了一种视频解码器，配置为执行上述方法。
16.在又一个示例方面，公开了一种机器可读介质。该介质存储代码，该代码在被执行时使处理器实现一种或多种上述方法。
17.在附图、具体实施方式、和权利要求书中更详细地描述了所公开技术的上述以及
其他的方面和特征。
附图说明
18.图1示出了利用了自适应颜色空间变换(act)的编码流程的示例。
19.图2示出了利用了act的解码流程的示例。
20.图3示出了用于导出ic参数的邻近样点的示例。
21.图4示出了具有整形的解码流程的示例流程图。
22.图5是参考行示例。
23.图6示出了4
×
8和8
×
4块的划分的示例。
24.图7示出了除4
×
8、8
×
4和4
×
4以外的所有块的划分的示例。
25.图8是用于4
×
4块的alwip的图示。
26.图9是用于8
×
8块的alwip的图示。
27.图10是用于8
×
4块的alwip的图示。
28.图11是用于16
×
16块的alwip的图示。
29.图12是子块变换模式sbt-v和sbt-h的图示(灰色区域是可以具有非零系数的tu；白色区域是具有全部零系数的归零tu)。
30.图13是子块变换模式sbt-q的图示。
31.图14和图15是用于视频处理的示例装置的框图。
32.图16a和图16b是基于所公开技术的一些实施方式的视频处理的示例方法的流程图。
33.图17a至图17e是基于所公开技术的一些实施方式的视频处理的示例方法的流程图。
34.图18是基于所公开技术的一些实施方式的视频处理的示例方法的流程图。
具体实施例
35.在本文中，使用章节标题是为了便于理解，并非将每个章节中描述的实施例仅限于该章节。此外，尽管参考通用视频编解码(versatile video coding)或其他特定视频编码器描述了某些实施例，但是所公开的技术也适用于其他视频编解码技术。此外，尽管一些实施例详细描述了视频编解码步骤，但是应当理解的是，将由解码器来实施解开编解码的相应解码步骤。此外，术语“视频处理”涵盖视频编解码或压缩、视频解码或解压缩、和视频转码，其中视频像素从一种压缩格式表示为另一种压缩格式或以不同的压缩比特率表示。
36.1.综述
37.本文件涉及视频编解码技术。具体而言，其涉及在视频编解码中，自适应颜色空间变换与其他工具的交互。其可以应用于现有的视频编解码标准(例如hevc)或待定案的标准(多功能视频编解码，versatile video coding)。它还可以应用于未来的视频编解码标准或视频编解码器。
38.2.背景
39.视频编解码标准主要是通过开发著名的itu-t和iso/iec标准而发展起来的。itu-t制定了h.261和h.263，iso/iec制定了mpeg-1和mpeg-4视频，并且两个组织联合制定了
h.262/mpeg-2视频和h.264/mpeg-4高级视频编解码(advanced video coding，avc)和h.265/hevc标准。自h.262以来，视频编解码标准基于混合视频编解码结构，其中采用了时域预测加变换编解码。为了探索hevc之外的未来视频编解码技术，vceg和mpeg于2015年共同成立了联合视频探索小组(jvet)。此后，jvet采用了许多新的方法，并将其应用到名为联合探索模型(jem)的参考软件中。2018年4月，vceg(q6/16)与iso/iec jtc1 sc29/wg11(mpeg)之间成立联合视频专家团队(jvet)，致力于研究vvc标准，目标是比hevc降低50％的比特率。
40.最新版本的vvc草案，即多功能视频编解码(草案5)可以在以下位置找到：
41.http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/14_geneva/wg11/jvet-n1001-v2.zip
42.称为vtm的vvc的最新参考软件可以在以下位置找到：
43.https://vcgit.hhi.fraunhofer.de/jvet/vvcsoftware_vtm/tags/vtm-5.0
44.2.1hevc屏幕内容编解码扩展中的自适应颜色空间变换(adaptive color-space transform，act)
45.在hevc scc扩展中，提出并采用了几种工具来提高hevc框架下的scc效率。例如，为了利用scc中的重复图案，采用了帧内块复制(ibc)方案。类似于用于图片间的运动补偿方案，该ibc模式在当前图片的已重构区域中搜索重复图案。改善scc的另一个方向是减少4:4:4色度格式的rgb/ycbcr序列的颜色分量间冗余。
46.跨分量预测(cross-component prediction，ccp)技术发变换单元的每个色度颜色分量信令通知加权参数索引。ccp仅增加有限的复杂度而提供了良好的编解码效率改进，因此被hevc范围扩展(hevc range extensions)所采用，并且是hevc第二版本的一部分，该版本指定了范围扩展和其他扩展的描述内容。
47.为了进一步利用scc的颜色分量间的相关性，采用了针对hevc scc扩展的环内自适应颜色空间变换(act)。act的基本思想是将预测残差自适应地转换为三色分量之间冗余度降低的颜色空间。在此之前和在此之后，信号遵循hevc范围扩展中的现有编解码路径。为了保持尽可能低的复杂度，仅考虑一种附加的颜色空间(即rgb到ycgco-r的逆变换)，这可以通过移位和加法操作轻松实现。
48.2.1.1 act中使用的变换
49.对于有损编解码，使用ycgco变换，而将其可逆变量，即ycgco-r用于无损编解码。
50.ycgco正向和逆向变换过程如下：以(r，g，b)颜色格式的像素为例：
51.正向:
52.逆向:
53.与可以通过矩阵乘法实施的ycgco变换不同，act中使用的可逆颜色空间变换(即ycgco-r)只能在基于提升(lifting-based)的操作中执行，如下所示：
54.正向:
55.逆向:r＝co b
56.2.1.2 act的使用
57.对于每个tu，可以信令通知标志以指示颜色空间变换的使用。另外，对于帧内编解码的cu，仅在色度和亮度帧内预测模式相同时，即，色度块以dm模式编解码时，才启用act。
58.图1示出了所提出的在编码器侧的方法的框图，其中从帧内/帧间预测导出的残差信号作为输入。所提出的功能块(包括正向和逆向颜色空间变换)位于编解码环路中并突出显示。如图1所示，在帧内或帧间预测处理(包括ibc模式的预测过程)之后，确定是否执行正向颜色空间变换。通过引入的颜色空间变换，可以将输入信号的颜色空间转换为ycgco，而三色分量之间的相关性较小。此后，依次调用原始编解码流，例如ccp、整数变换(即，图1中的t)、如果适用的话，还调用量化(即，图1中的q)和熵编解码过程。同时，在如图2所示的重构或解码过程中，在常规逆量化(即，图2中的iq)、逆变换(即，图2中的it)和逆ccp之后，如果适用的话，则调用逆向颜色变换以将编解码残差转换回原始颜色空间。应当注意的是，将颜色空间转换过程应用于残差信号而不是重构信号。使用这种方法，解码器仅需要执行颜色空间逆变换处理，这可以尽可能低地增加复杂度。此外，在act中，不管输入颜色空间如何，都使用固定的颜色空间变换，即ycgco和ycgco-r。
59.2.2.jem中的局部照明补偿
60.局部照明补偿(local illumination compensation，lic)基于照明变化的线性模型，使用比例因子a和偏移b，并且，对于每个帧间模式编解码的编解码单元(cu)自适应地启用或禁用lic。
61.当lic应用于cu时，采用最小二乘误差法，通过使用当前cu的邻近样点及其对应的参考样点来推导参数a和b。更具体地说，如图3所示，使用cu的子采样(2：1子采样)的邻近样点和参考图片中的对应样点(由当前cu或子cu的运动信息标识)。
62.2.2.1预测块的推导
63.ic参数被导出并分别应用于每个预测方向。对于每个预测方向，使用解码的运动信息生成第一预测块，然后通过应用lic模型获得临时预测块。之后，利用两个临时预测块来推导最终预测块。
64.当cu以merge模式编解码时，以与merge模式中的运动信息复制类似的方式从邻近块复制lic标志；否则，将lic标志信令通知给cu以指示是否应用lic。
65.当对图片启用lic时，需要进行额外的cu级rd验证，以确定lic是否应用于cu。当对cu启用lic时，对于整数像素运动搜索(integer pel motion search)和分数像素运动搜索(fractional pel motion search)，分别使用去除均值的绝对差值之和(mr-sad)以及去除均值的阿达马变换(hadamard-transformed)绝对差值之和(mr-satd)，而不是使用sad和
satd。
66.为了降低编解码复杂度，在jem中应用了以下编解码方案：
67.在当前图片与其参考图片之间没有明显的照明变化时，将对整个图片禁用lic。为了识别这种情况，在编码器侧计算当前图片和该当前图片的每个参考图片的直方图。如果当前图片和该当前图片的每个参考图片之间的直方差小于给定阈值，则对当前图片禁用lic；否则，将对当前图片启用lic。
68.2.3 vvc中的帧间预测方法
69.为了帧间预测改进，存在几种新的编解码工具，例如，信令通知mvd的自适应运动矢量差精度(amvr)、仿射预测模式、三角预测模式(tpm)、atmvp、广义双向预测(gbi)、双向光流(bio)等。
70.2.3.1 vvc中的编解码块结构
71.在vvc中，采用四叉树/二叉树/三叉树(qt/bt/tt)结构将图片划分为正方形或矩形块。
72.除了qt/bt/tt，vvc中还为i帧采用了单独的树(又称为双编解码树)。利用单独的树，分别为亮度分量和色度分量信令通知编解码块结构。
73.2.4 jvet-m0427中的环内整形(in-loop reshaping ilr)
74.环内整形(ilr)的基本思想是将原始(在第一域中)信号(预测/重构信号)转换到第二域(整形域)中。
75.环内亮度整形器实施为一对查找表(lut)，但是仅需要信令通知两个lut中的一个，因为可以从信令通知的lut中计算出另一个。每个lut是一维、10比特、1024条目的映射表(1d-lut)。一个lut是正向lut，fwdlut，其将输入的亮度代码值yi映射到更改后的值yr:yr＝fwdlut[yi]。另一个lut是逆向lut，invlut，其将更改的代码值yr映射到映射到(代表yi的重构值)。
[0076]
2.4.1 pwl模型
[0077]
概念上，分段线性(pwl)以下列方式实施：
[0078]
令x1、x2为两个输入枢轴(pivot)点，而y1、y2为对于一个分段的对应地输出枢轴点。介于x1和x2之间的任何输入值x的输出值y可以通过以下公式进行插值：
[0079]
y＝((y2-y1)/(x2-x1))*(x-x1) y1
[0080]
在定点实施方式中，该公式可重写为：
[0081]
y＝((m*x 2
fp_prec-1
)》》fp_prec) c
[0082]
其中，m是标量，c是偏移量，并且fp_prec是用于规定精度的常数值。
[0083]
请注意，在ce-12软件中，pwl模型用于预先计算1024条目的fwdlut和invlut映射表；但是，pwl模型还允许在无需预先计算lut情况下即时计算相同的映射值的实施方式。
[0084]
2.4.2亮度整形
[0085]
环内亮度整形的测试2(即提案中的ce12-2)提供了较低复杂度的流水线，该流水线还消除了条带间重构中对于块的帧内预测的解码等待时间。对于条带间和条带内，均在整形域中执行帧内预测。
[0086]
不管条带类型如何，始终在整形域中执行帧内预测。通过这种设置，可以在先前的
tu重构完成之后立即开始帧内预测。这样的安排还可以为帧内模式提供统一的过程，而不依赖于条带。图4示出了基于模式的ce12-2解码处理的框图。
[0087]
ce12-2还测试了亮度和色度残差缩放的16段式分段线性(pwl)模型，而不是ce12-1的32段式pwl模型。
[0088]
图4示出了具有整形步骤的解码流程的流程图。
[0089]
在ce12-2中使用环内亮度整形器进行条带间重构(浅绿色阴影块指示在整形域中的信号：亮度残差；预测的帧内亮度；以及重构的帧内亮度)。
[0090]
2.4.3依赖于亮度的色度残差缩放
[0091]
依赖于亮度的色度残差缩放是利用定点整数运算实现的乘法处理。色度残差缩放可补偿与色度信号交互的亮度信号。色度残差缩放适用于tu级。更具体地说，适用以下条件：
[0092]
对于帧内，对重构后的亮度进行平均。
[0093]
对于帧间，对预测亮度进行平均。
[0094]
该平均值用于标识pwl模型中的索引。该索引标识缩放因子cscaleinv。色度残差乘以该数字。
[0095]
请注意，色度缩放因子是根据正向映射的预测亮度值而不是重构后地亮度值来计算的。
[0096]
2.4.3.1 ilr侧信息的信令通知
[0097]
目前，参数在片组头中发送(类似于alf)。据说这些参数占用40到100个比特。
[0098]
2.4.3.2 ilr的使用
[0099]
在编码器侧，首先将每个图片(或片组)转换到整形域。并且，所有编解码过程都在整形域中执行。对于帧内预测，邻近块位于整形域中；对于帧间预测，首先将参考块(从解码图片缓冲区的原始域中生成)转换到整形域。然后产生残差并将其编解码到比特流。
[0100]
在整个图片(或片组)完成编码/解码之后，将整形域中的样点转换到原始域，然后应用去块滤波器和其他滤波器。
[0101]
对于以下情况，禁止对预测信号进行正向整形：
[0102]
当前块是帧内编解码的
[0103]
当前块被编解码为cpr(当前图片参考，又称为帧内块复制(ibc))
[0104]
当前块被编解码为帧间帧内组合模式(ciip)，并且对帧内预测块禁用正向整形
[0105]
2.5虚拟流水线数据单元(vpdu)
[0106]
虚拟流水线数据单元(vpdu)被定义为图片中的非重叠的m
×
m-亮度(l)/n
×
n-色度(c)单元。在硬件解码器中，连续的vpdu由多个流水线级同时处理。不同级同时处理不同的vpdu。在大多数流水线级，vpdu的尺寸大致与缓冲区的尺寸成正比，因此，保持小的vpdu尺寸非常重要。在hevc硬件解码器中，vpdu的尺寸设置为最大变换块(tb)的尺寸。将最大tb尺寸从32
×
32-l/16
×
16-c(如hevc)扩大到64
×
64-l/32
×
32-c(如当前vvc)可以带来编解码增益，从而与hevc相比，预计可使vpdu尺寸增加4倍(64
×
64-l/32
×
32-c)。但是，除了四叉树(qt)编解码单元(cu)分割之外，vvc中还采用了三叉树(tt)和二叉树(bt)来实现额外的编解码增益，并且tt和bt划分可递归地应用于128
×
128-l/64
×
64-c编解码树块(ctu)，据说与hevc相比，可使vpdu的尺寸达到16倍(128
×
128-l/64
×
64-c)。
[0107]
在当前的vvc设计中，vpdu的尺寸定义为64
×
64-l/32
×
32-c。
[0108]
2.6多参考行(mrl)
[0109]
多参考行(mrl)帧内预测为帧内预测使用更多参考行。在图5中，描绘了4个参考行的一个示例，其中分段a和f的样点不是从重构的邻近样点中获取的，而是分别由分段b和e的最接近的样点来填补的。hevc图片内预测使用最近的参考行(即，参考行0)。在mrl中，使用了2条附加行(参考行1和参考行3)。
[0110]
信令通知选定参考行的索引(mrl_idx)，并将其用于生成帧内预测值。对于大于0的参考行索引，仅在mpm列表中包括附加参考行模式，并且仅信令通知mpm索引而没有其他模式。在帧内预测模式之前信令通知参考行索引，并且，在信令通知非零参考行索引的情况下，从帧内预测模式中排除平面模式和dc模式。
[0111]
图5是与预测块邻近的4个参考行的示例。
[0112]
ctu内对第一行的块禁用mrl，以防止在当前ctu行之外使用扩展的参考样点。同样，当使用附加行时，禁用pdpc。
[0113]
2.7帧内子块分割(isp)
[0114]
在jvet-m0102中，提出了isp，如表1所示，其根据块的尺寸维度将亮度帧内预测块垂直或水平地分割为2或4个子分区。图6和图7示出了两种可能性的示例。所有子分区均满足至少有16个样点的条件。对于块尺寸，如果允许4
×
n或n
×
4(n》8)，则可能存在1
×
n或n
×
1个子分区。
[0115]
表1：取决于块尺寸的子分区数目(由maxtbsize表示最大转换尺寸)
[0116][0117]
对于这些子分区中的每一个，通过对由编码器发送的系数进行熵解码，再对其进行逆量化和逆变换，来生成残差信号。然后，对该子分区进行帧内预测，最后通过将残差信号加在预测信号上来获得相应的重构样点。因此，每个子分区的重构值将可用于生成下一个子分区的预测，重复该过程，依此类推。所有子分区共享相同的帧内模式。
[0118]
下文中，内部(inner)子分区用于表示除了第一子分区之外的子分区。如果将isp块沿水平(垂直)方向划分，则第一个子分区表示上方(左侧)子分区。
[0119]
表2：取决于predmodeintra的trtypehor和trtypever的规范
[0120][0121]
2.8仿射线性加权帧内预测(alwip，又名基于矩阵的帧内预测)
[0122]
在jvet-n0217中提出了仿射线性加权帧内预测(alwip，又名基于矩阵的帧内预测(mip))。
[0123]
2.8.1通过矩阵矢量乘法生成缩减预测信号
[0124]
首先，通过求平均对邻近参考样点进行下采样，以生成缩减参考信号bdry
red
。然后，通过计算矩阵矢量乘积并加上偏移量，来计算出缩减预测信号pred
red
：
[0125]
pred
red
＝a
·
bdry
red
b
[0126]
此处，a是矩阵，其中如果w＝h＝4，则该矩阵a具有w
red
·hred
行和4列，在所有其他情况下具有8列。b是尺寸w
red
·hred
的矢量。
[0127]
2.8.2整个alwip过程的图示
[0128]
图8、图9、图10和图11示出了对于不同形状的求平均、矩阵矢量乘法和线性插值的整个过程。请注意，剩余形状被视为所描述的情况之一。
[0129]
1.给定4
×
4的块，alwip沿边界的每个轴取两个平均值。得到的四个输入样点进入矩阵矢量乘法。矩阵取自集合s0。添加偏移后，这将产生16个最终预测样点。线性插值对于生成预测信号不是必需的。因此，对每个样点执行总共(4
·
16)/(4
·
4)＝4次乘法。
[0130]
2.给定8
×
8的块，alwip沿边界的每个轴取四个平均值。得到的八个输入样点进入矩阵矢量乘法。矩阵取自集合s1。这在预测块的奇数位置上产生16个样点。因此，对每个样点执行总共(8
·
16)/(8
·
8)＝2次乘法。添加偏移后，使用缩减的上方边界垂直插值这些样点。接着通过使用原始的左侧边界进行水平插值。
[0131]
3.给定8
×
4的块，alwip沿着边界的水平轴取四个平均值，在左侧边界取四个原始边界值。得到的八个输入样点进入矩阵矢量乘法。矩阵取自集合s1。这在预测块的奇数的水平位置和每个垂直位置上产生16个样点。因此，每个样点执行总共(8
·
16)/(8
·
4)＝4次乘法。添加偏移后，通过使用原始的左侧边界水平地插值这些样点。
[0132]
4.给定16
×
16的块，alwip沿边界的每个轴取四个平均值。得到的八个输入样点进入矩阵矢量乘法。矩阵取自集合s2。这在预测块的奇数位置上产生64个样点。因此，对每个样点执行总共(8
·
64)/(16
·
16)＝2次乘法。添加偏移后，通过使用上方边界的八个平均值垂直地插值这些样点。接着通过使用原始的左侧边界进行水平插值。在这种情况下，插值过程不增加任何乘法。因此，每个样点总共需要两次乘法来计算alwip预测。
[0133]
对于较大的形状，过程基本相同，很容易检查每个样点的乘法次数是否少于四次。
[0134]
对于w》8的w
×
8块，只需要水平插值，因为样点给定在奇数的水平位置和每个垂直位置。
[0135]
最后，对于w》8的w
×
4块，让ak为通过省略与沿着下采样块的水平轴的奇数条目相对应的每一行而产生的矩阵。因此，输出尺寸为32，并且同样，只剩下水平插值需要执行。
[0136]
转置的情况会相应地处理。
[0137]
2.8.3适用于常规亮度和色度帧内预测模式的mpm列表推导
[0138]
将所提出的alwip模式与常规帧内预测模式中基于mpm的编解码协调如下。常规帧内预测模式的亮度和色度mpm列表推导过程使用固定表map_alwip_to_angular
idx
,idx∈{0,1,2，将给定pu上的alwip模式predmode
alwip
映射到常规帧内预测模式之一中。
[0139]
predmode
angular
＝map_alwip_to_angular
idx(pu)
[predmode
alwip
]
[0140]
对于亮度mpm列表推导，每当遇到使用alwip模式predmode
alwip
的邻近亮度块，该块就被视为使用了常规帧内预测模式predmode
angular
。对于色度mpm列表推导，每当当前亮度块使用lwip模式时，使用相同的映射将alwip模式转换为常规帧内预测模式。
[0141]
2.9量化残差块差分脉冲编解码调制(qr-bdpcm)
[0142]
在jvet-m0413中，提出了一种量化残留块差分脉冲编解码调制(qr-bdpcm)，以有效地编解码屏幕内容。
[0143]
qr-bdpcm中使用的预测方向可以是垂直和水平预测模式。通过在类似于帧内预测的预测方向(水平或垂直预测)上进行样点复制来对整个块进行帧内预测。对残差进行量化，并对量化后的残差及其预测值(水平或垂直)量化值之间的增量进行编解码。描述如下：对于尺寸为m(行)
×
n(列)的块，令r
i,j
,0i≤m-1,0≤j≤n-1为使用来自上方或左侧块边界样点中的未经滤波的样点进行水平帧内预测(逐行跨预测块复制左侧邻居像素值)或垂直帧内预测(将顶部邻居行复制到预测块中的每一行)之后的预测残差。令q(r
i,j
),0≤i≤m-1,0≤j≤n-1表示残差r
i,j
的量化版本，其中，残差是原始块值与预测块值之间的差值。然后，将块dpcm应用于量化后的残差样点，生成具有元素的修改后的m
×
n数组当信令通知垂直bdpcm时：
[0144][0145]
对于水平预测，适用类似的规则，并且通过下面的公式获得残差量化样点：
[0146][0147]
将残差量化样点发送给解码器。
[0148]
在解码器侧，将上述计算取反以生成q(r
i,j
),0≤i≤m-1,0≤j≤n-1。对于垂直预测，
[0149][0150]
对于水平预测，
[0151][0152]
将逆量化残差q-1
(q(r
i,j
))添加到帧内块预测值，以产生重构样点值。
[0153]
该方案的主要优点在于，逆向dpcm可以在系数解析过程中即时完成，只需在解析系数时添加预测值即可，或者可以在解析之后执行逆向dpcm。
[0154]
2.10帧内色度编解码
[0155]
除了帧内色度预测模式，vvc中还引入了cclm和联合色度残差编解码。
[0156]
2.10.1跨分量线性模型(cclm)
[0157]
为了减少跨分量冗余，在vtm4中使用了跨分量线性模型(cclm)预测模式，针对该模型，通过使用以下线性模型，基于相同cu的重构亮度样点来预测色度样点：
[0158]
predc(i,j)＝α
·
rec
l
′
(i,j) β
[0159]
其中，predc(i,j)表示cu中的预测色度样点，并且rec
l
(i,j)表示相同cu的下采样重构亮度样点。线性模型参数α和β源自在特定位置处的四个样点的亮度值和色度值之间的关系。在这四个样点中，对两个较大的值求平均，再对两个较小的值求平均。然后，将平均值用于推导线性模型参数。
[0160]
2.10.2联合色度残差编解码
[0161]
如果色度整形器有效，对接收的残差实施整形，方法与在单独的编解码模式下所做的相同(即，对联合残差信号进行整形)。测试此模式时，在编码器侧，将正cb残差和负cr残差的平均值作为联合残差：
[0162]
resjoint＝(rescb rescr)/2
[0163]
在比特流中信令通知一个二进制位(bin)指示器去启用该模式。在启用模式的情况下，在比特流中编解码联合残差信号。在解码器侧，联合残差用于cb分量，残差的负值版本适用于cr。
[0164]
2.11 vvc中的子块变换(sbt)
[0165]
对于其中cu_cbf等于1的帧间预测的cu，可以信令通知cu_sbt_flag以指示是对整个残差块还是对残差块的子部分解码。在前一种情况下，进一步解析帧间mts信息以确定cu的变换类型。在后一种情况下，残差块的一部分通过推断的自适应变换进行编解码，而残差块的另一部分被归零。由于几乎没有实现编解码增益，因此sbt不适用于组合的帧间-帧内模式。
[0166]
2.11.1子块tu拼接(tiling)
[0167]
当sbt用于帧间cu时，进一步从比特流中解码sbt类型和sbt位置信息。如图12所示，存在两种sbt类型和两种sbt位置。对于sbt-v(或sbt-h)，tu宽度(或高度)可以等于cu宽
度(或高度)的一半，或者等于cu宽度(或高度)的1/4，这由另一个标志信令通知，得到2：2划分或1：3/3：1划分。2：2划分就像二叉树(bt)划分，而1：3/3：1划分就像非对称二叉树(abt)划分。如果在亮度样点中cu的一侧为8，则不允许沿这一侧进行1：3/3：1划分。因此，cu最多有8种sbt模式。
[0168]
如图13所示，四叉树(qt)划分还用于将一个cu拼接为4个子块，并且还有一个子块具有残差。此sbt类型表示为sbt-q。这部分未被vvc采用。
[0169]
对于宽度和高度均不大于maxsbtsize的cu，允许采用sbt-v、sbt-h、和sbt-q。在sps中用信令通知maxsbtsize。对于hd和4k序列，编码器将maxsbtsize设置为64；对于其他较小的分辨率序列，将maxsbtsize设置为32。
[0170]
2.11.2子块的变换类型
[0171]
sbt-v和sbt-h中的亮度变换块采用位置相关的变换(色度tb始终使用dct-2)。sbt-h和sbt-v的两个位置与不同的核心变换相关联。更具体地说，在图12中规定了每个sbt位置的水平变换和垂直变换。例如，sbt-v位置0的水平和垂直变换分别是dct-8和dst-7。当残差tu的一侧大于32时，相应的变换设置为dct-2。因此，子块变换联合规定残差块的tu拼接、cbf、以及水平和垂直变换，其可以被视为对于块的主要残差在块的一侧的情况的语法快捷方式。
[0172]
图12是子块变换模式sbt-v和sbt-h的图示(灰色区域是可以具有非零系数的tu；白色区域是具有全部零系数的归零tu)。
[0173]
图13是子块变换模式sbt-q的图示。
[0174]
2.12分割树
[0175]
在vtm5中，编解码树方案支持亮度和色度具有单独的块树结构的能力。当前，对于p条带和b条带，一个ctu中的亮度ctb和色度ctb必须共享相同的编解码树结构。但是，对于i条带，亮度和色度可以具有单独的块树结构。当应用单独的块树模式时，通过一种编解码树结构将亮度ctb分割为亮度cu，并且通过另一编解码树结构将色度ctb分割为色度cu。这意味着i条带中的cu可能由亮度分量的编解码块或两个色度分量的编解码块组成，而p或b条带中的cu总是由所有三种颜色分量的编解码块组成，除非视频是单色的。
[0176]
3.本文档中描述的解决方案所解决的技术问题的示例
[0177]
需要研究如何将act应用于vvc设计，特别是需要解决act与其他工具之间的交互：
[0178]
1.ilr将来自整个图片/条带/片的亮度分量从原始域转换到整形域，并对整形域中的所有内容进行编解码。但是，对于色度分量，其是在原始域中编解码的。act需要获取三色分量的像素的残差信号。
[0179]
2.当启用双树时如何处理act。
[0180]
4.解决方案和实施例的示例
[0181]
下面的列表应被视为示例来解释一般概念。这些发明不应狭义地解释。此外，可以以任何方式组合这些技术。
[0182]
在以下讨论中，cu可以包括与采用单树编解码结构的所有三色分量相关联的信息。或者，cu可以包括仅与采用单色编解码的亮度颜色分量相关的信息。或者，cu可以包括仅与采用双树编解码结构的亮度颜色分量(例如，ycbcr格式的y分量或gbr格式的g分量)相关联的信息。或者，cu可以包括仅与采用双树编解码结构的两个色度分量(例如，ycbcr格式
的cb和cr分量或gbr格式的b和r分量)相关联的信息。
[0183]
在以下描述中，“块”可以指编解码单元(cu)或变换单元(tu)或视频数据的任何矩形或多边形区域。“当前块”可以指当前正在被解码/编解码的编解码单元(cu)或当前正在被解码/编解码的变换单元(tu)或视频数据的任何正在被解码/编解码的编解码矩形区域.“cu”或“tu”也可以被称为“编解码块”和“变换块”。
[0184]
在以下讨论中，术语“act”可以表示可以将三色分量的原始信号/预测信号/重构信号/残差信号从一个域转换到另一域的任何技术，不一定是和hevc scc中的相同的设计。
[0185]
1.当对视频单元(例如，条带/片/砖块/图片/覆盖一个或多个ctu的区域)启用双树分割结构时，对视频单元中所有块禁用act。
[0186]
a.可以基于双树分割结构的使用来有条件地信令通知对act的使用的指示。
[0187]
i.在一个示例中，当应用双树分割结构时，可以跳过信号通知对act的使用的指示。
[0188]
2.当对视频单元(例如，条带/片/砖块/图片/覆盖一个或多个ctu的区域)启用ilr时，对视频单元中所有块禁用act。
[0189]
a.可以基于ilr的使用来有条件地信令通知对act的使用的指示。
[0190]
i.在一个示例中，当应用ilr时，可以跳过信令通知对act的使用的指示。
[0191]
3.act和编解码工具x专用于视频块(例如，cu/tu)。
[0192]
a.在一个示例中，x是cclm。如果为视频块的色度分量启用cclm，则禁用act；反之亦然。
[0193]
b.在一个示例中，x是联合色度残差编解码。如果对视频块的色度分量启用联合色度残差编解码，则禁用act；反之亦然。
[0194]
c.在一个示例中，x是基于矩阵的帧内预测方法。如果对视频块的亮度分量启用基于矩阵的帧内预测方法，则禁用act；反之亦然。
[0195]
d.在一个示例中，x是qr-bdpcm。如果对视频块的亮度分量启用qr-bdpcm，则禁用act；反之亦然。
[0196]
e.在一个示例中，x是子块变换(sbt)。如果对视频块的亮度分量启用sbt，则禁用act；反之亦然。
[0197]
f.在一个示例中，x是多重变换选择(mts)。如果对视频块的亮度分量启用mts，则禁用act；反之亦然。
[0198]
g.在一个示例中，x是低频不可分离变换(lfnst)。如果启用lfnst，则禁用act；反之亦然。
[0199]
h.在一个示例中，x是脉冲编解码调制(pcm)。如果启用pcm，则禁用act；反之亦然。
[0200]
i.在一个示例中，x是变换跳过(ts)。如果启用ts，则禁用act；反之亦然。
[0201]
j.在一个示例中，x是帧内子块分割(isp)。如果启用isp，则禁用act；反之亦然。
[0202]
k.此外，可替代地，可以基于编解码工具x的使用来有条件地信令通知对act的使用的指示。
[0203]
i.在一个示例中，当启用编解码工具x时，可以跳过信令通知对act的使用的指示。
[0204]
l.此外，可替代地，可以基于act的使用来有条件地信令通知对工具x的使用的指示。
[0205]
i.在一个示例中，当启用act时，可以跳过信令通知对编解码工具x的使用的指示。
[0206]
m.可替代地，对一个视频块可以启用上述工具和act两者。
[0207]
4.可以对一个视频单元(例如图片/条带/片/砖块)启用act和双树分割结构两者。
[0208]
a.此外，可替换地，对双树分割结构的使用的信令通知从视频单元级移动到视频块(例如，ctu/ctb或vpdu)级。
[0209]
b.可以对一个视频块启用act和双树分割结构两者。
[0210]
i.在一个示例中，在编码器侧，可以在对ctu/ctb进行分割之前先将act应用于ctu/ctb。
[0211]
ii.在一个示例中，在解码器侧，可以先对ctu/ctb进行解码，然后进行逆向颜色空间变换。
[0212]
5.可以对一个视频单元(例如图片/条带/片/砖块)启用act和ilr两者。
[0213]
a.此外，可替换地，对ilr的使用的信令通知从视频单元级移动到视频块(例如，cu/tu)级。
[0214]
b.可以对一个视频块(例如cu/tu)启用act和ilr两者。
[0215]
i.在一个示例中，在编码器侧，可以先应用act，然后进行ilr。也就是说，首先在原始域中生成预测信号和残差信号，应用act将残差信号从原始域转换到不同的颜色空间域；以及进一步应用ilr将残差信号转换到整形域。
[0216]
ii.在一个示例中，在解码器侧，可以先应用ilr，然后进行逆向颜色空间变换。也就是说，首先应用ilr将解码后的残差信号从整形域转换到颜色空间域。然后应用act来从颜色空间域转换到原始域。
[0217]
6.可以对一个视频块(例如cu/tu)启用act和sbt两者。
[0218]
a.在一个示例中，用两个tu对转换后的颜色空间域(例如，原始域是rgb，转换后的域是使用act的ycocg)中的预测值误差进行编解码。其中一个是全部零系数，并且另一个具有非零系数。
[0219]
i.此外，可替换地，可以通过变换或变换跳过来获得一个具有非零系数的tu。
[0220]
ii.在一个示例中，(例如以类似于sbt的方式)，可以信令通知如何划分成2个tu；和/或将哪种类型的变换应用于两个tu之一。
[0221]
7.对于视频单元(例如，条带/片/砖块/图片)，可以在不同级(例如，cu级和tu级)启用act。
[0222]
a.在一个示例中，对于视频单元中的不同视频块，对act的使用的信令通知可以在不同级，诸如cu级和tu级。
[0223]
b.可以基于编解码特性来确定是否在cu或tu级启用/信令通知act和/或是否信令通知act的使用。
[0224]
i.在一个示例中，可以基于当前cu的维度来确定是否在cu或tu级启用/信令通知act。假设当前cu的宽度和高度分别表示为w和h。
[0225]
1.例如，可以基于当前cu的尺寸是否大于vpdu的尺寸来确定是否在cu或tu级启用/信令通知act。
[0226]
a.在一个示例中，如果当前cu的尺寸大于vpdu的尺寸，则可以应用cu级的act的信令通知/使用(即，所有tu共享相同的act的开/关控制)。否则，可以应用tu级的act的信令通
知/使用。
[0227]
b.可替换地，如果当前cu的尺寸大于vpdu的尺寸，则可以应用tu级的act的信令通知/使用(即，所有tu共享相同的act的开/关控制)。否则，可以应用cu级的act信令通知/使用。
[0228]
c.在一个示例中，如果当前cu的尺寸大于vpdu的尺寸，则禁用act而不进行信令通知。
[0229]
2.在一个示例中，可以基于当前cu的尺寸是否大于最大tu尺寸来确定是否在cu或tu级启用/信令通知act。
[0230]
3.在一个示例中，当w》＝t1且h》＝t2时，禁用act。例如，t1＝t2＝32。
[0231]
a.可替换地，当w》＝t1或h》＝t2时，禁用act。例如，t1＝t2＝32。
[0232]
b.可替换地，当w《＝t1且h《＝t2时，禁用act。例如，t1＝t2＝8。
[0233]
c.可替换地，当w《＝t1或h《＝t2时，禁用act。例如，t1＝t2＝8。
[0234]
d.可替换地，当w*h》＝t时，禁用act。例如，t＝1024。
[0235]
e.可替换地，当w*h《＝t时，禁用act。例如，t＝64。
[0236]
ii.在一个示例中，可以基于是否使用诸如isp的子块分割工具来对当前cu进行编解码，来确定是否在cu或tu级启用/信令通知act。
[0237]
图14是视频处理装置1400的框图。装置1400可以用于实施本文中描述的一种或多种方法。装置1400可以体现在智能手机、平板电脑、计算机、物联网(iot)接收器等中。装置1400可以包括一个或多个处理器1402、一个或多个存储器1404和视频处理硬件1406。(多个)处理器1402可以被配置为实施本文档中描述的一种或多种方法。(多个)存储器1404可以用于存储用于实施本文描述的方法和技术的数据和代码。视频处理硬件1406可以用于在硬件电路中实施本文档中描述的一些技术。
[0238]
图15是可以实施所公开的技术的视频处理系统的框图的另一示例。图15是示出了可以实施本文中所公开的各种技术的实例视频处理系统1510的框图。各种实施方式可以包括系统1510的一些或全部组件。系统1510可以包括用于接收视频内容的输入1512。视频内容可以以原始或未压缩的格式(例如，8或10比特的多分量像素值)接收，或者可以以压缩或编码的格式接收。输入1512可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括有线接口(例如，以太网、无源光网络(pon)等)和无线接口(例如，wi-fi或蜂窝接口)。
[0239]
系统1510可以包括编解码组件1514，其可以实施本文档中描述的各种编解码方法。编解码组件1514可以降低从输入1512到编解码组件1514的输出的视频的平均比特率，以产生视频的编解码表示。因此，编解码技术有时被称为视频压缩或视频转码技术。编解码组件1514的输出可以被存储，或者经由连接的通信(如由组件1516表示的)传输。组件1518可以使用存储的或在输入1512处接收的视频的通信传送的比特流(或编解码)表示来生成发送到显示接口1520的像素值或可显示视频。从比特流表示生成用户可观看视频的过程有时称为视频解压缩。此外，虽然某些视频处理操作被称为“编解码”操作或工具，但是应当理解的是，编解码工具或操作在编码器侧使用，并且将使用解码器执行反转编解码结果的相应解码工具或操作。
[0240]
外围总线接口或显示接口的示例可以包括通用串行总线(usb)或高清晰度多媒体接口(hdmi)或显示端口(displayport)等。存储接口的示例包括sata(串行高级技术附件)、
pci、ide接口等。本文档中描述的技术可以体现在各种电子设备中，诸如移动电话、膝上型计算机、智能手机或能够执行数字数据处理和/或视频显示的其他设备。
[0241]
在一些实施例中，视频编解码方法可以使用如图14或图15所描述的在硬件平台上实施的装置来实现。
[0242]
图16a是视频处理的示例方法1610的流程图。该方法1610包括，在步骤1612中，由于对视频单元和视频单元的编解码表示之间的转换使用双树分割结构，确定对视频单元禁用自适应颜色空间变换(act)工具。该方法1610还包括，在步骤1614中，基于该确定，通过对视频单元禁用act工具来执行转换。在本方法1610以及其他示例方法的一些实施方式中，act工具的使用包括：在编码期间，将视觉信号的表示从第一色域转换到第二色域，或者，在解码期间，将视觉信号的表示从第二色域转换到第一色域。
[0243]
图16b是视频处理的实例方法1620的流程图。该方法1620包括，在步骤1622中，确定为视频单元和视频单元的编解码表示之间的转换使用双树分割结构和自适应颜色空间变换(act)工具两者。该方法1620还包括，在步骤1624中，基于确定，通过对视频单元启用act工具来执行转换。
[0244]
图17a是视频处理的示例方法1710的流程图。该方法1710包括，在步骤1712中，为视频的当前视频块和视频的编解码表示之间的转换，确定第一编解码工具和第二编解码工具的适用性是互斥的。该方法1710还包括，在步骤1714中，基于确定来执行转换。
[0245]
图17b是视频处理的实例方法1720的流程图。该方法1720包括，在步骤1722中，确定为视频的当前视频块和视频的编解码表示之间的转换使用编解码工具和自适应颜色空间变换(act)工具两者。方法1720还包括，在步骤1724中，基于确定，通过对当前视频块启用act工具来执行转换。
[0246]
图17c是视频处理的示例方法1730的流程图。该方法1730包括，在步骤1732中，为视频的视频单元的当前视频块和视频的编解码表示之间的转换，确定由于对视频单元启用了环内整形(ilr)工具而对转换禁用自适应颜色空间变换(act)工具。该方法1730还包括，在步骤1734中，基于确定来执行转换。在本方法1730和其他示例方法的一些实施方式中，ilr工具的使用包括：基于第一域和第二域之间的亮度整形和/或以亮度相关的方式进行的色度残差缩放来构建视频单元。
[0247]
图17d是视频处理的示例方法1740的流程图。该方法1740包括，在步骤1742中，确定为视频单元和该视频单元的编解码表示之间的转换，启用环内整形(ilr)工具和自适应颜色空间变换(act)工具两者。该方法1740还包括，在步骤1744中，基于确定来执行转换。
[0248]
图17e是视频处理的示例方法1750的流程图。该方法1750包括，在步骤1752中，确定为当前视频块和当前视频块的编解码表示之间的转换，启用子块变换(sbt)工具和自适应颜色空间变换(act)编解码工具两者。该方法1750还包括，在步骤1754种，基于确定来执行转换。在本方法1750和其他示例方法的一些实施方式中，sbt工具的使用包括：在预测残差块的子部分上应用变换过程或逆变换过程。
[0249]
图18是视频处理的示例方法1800的流程图。该方法1800包括，在步骤1810中，执行在视频的视频单元和该视频的编解码表示之间的转换，其中，视频单元包括第一级的一个或多个分区，而该第一级的一个或多个分区包括第二级的一个或多个分区。在一些实施方式中，编解码表示符合格式化规则，其中，该格式化规则规定是否包括分区级，在该分区级
上指示使用自适应颜色空间变换(act)工具来表示编解码表示中的一个或多个第二级分区的语法元素包括在编解码表示中，其中，分区级是第一级、第二级、或视频单元之一。
[0250]
所公开的技术的一些实施例包括做出启用视频处理工具或模式的决定或确定。在一个示例中，当启用视频处理工具或模式时，编码器将在视频块的处理中使用或实施该工具或模式，但不一定基于工具或模式的使用来修改所产生的比特流。也就是说，从视频块到视频的比特流表示的转换将在基于决策或确定启用视频处理工具或模式时使用该视频处理工具或模式。在另一示例中，当启用视频处理工具或模式时，解码器将在知晓比特流已经基于视频处理工具或模式进行了修改的情况下处理比特流。即，将使用基于决定或确定而启用的视频处理工具或模式来执行从视频的比特流表示到视频块的转换。
[0251]
所公开的技术的一些实施例包含做出禁用视频处理工具或模式决定或确定。在一个示例中，当禁用视频处理工具或模式时，编码器将在视频块到视频的比特流表示的转换中不使用该工具或模式。在另一个示例中，当禁用视频处理工具或模式时，解码器将在知晓比特流尚未根据决定或确定禁用的视频处理工具或模式进行修改的情况下处理比特流。
[0252]
在本文件中，术语“视频处理”可以指视频编码、视频解码、视频压缩、或视频解压缩。例如，视频压缩算法可以在从视频的像素表示到相应比特流表示的转换期间应用，反之亦然。当前视频块的比特流表示可以例如对应于比特流中的并置或分布在不同位置的比特，如语法所定义的。例如，可以根据变换的和编解码的误差残差值以及使用报头中的比特和比特流中的其他字段来对宏块进行编码。
[0253]
使用条款列表进一步描述本文档中所描述的各种解决方案和实施例。第一组条款在前述章节中描述了所公开技术的某些特征和方面。
[0254]
前述章节中的项目1提供了以下条款的其他示例。
[0255]
1.一种视频处理方法，包括：由于对视频单元和视频单元的编解码表示之间的转换使用双树分割结构，确定对视频单元禁用自适应颜色空间变换(act)工具；以及基于确定，通过对视频单元禁用act工具来执行转换.
[0256]
2.根据条款1所述的方法，其中，比特流表示不包括为提供关于act的使用的信息的比特。
[0257]
前述章节中的项目2提供了以下条款的其他示例。
[0258]
1.一种视频处理方法，包括：由于为视频单元和视频单元的比特流表示之间的转换启用环内整形器，确定为转换禁用自适应颜色空间变换(act)；以及，基于确定，通过对视频单元禁用act来执行转换。
[0259]
2.根据条款1所述的方法，其中，比特流表示包括为提供关于ilr的使用的信息的比特。
[0260]
前述章节中的项目3提供了以下条款的其他示例。
[0261]
3.一种视频处理方法，包括：由于对视频单元和视频单元的编解码表示之间的转换使用编解码工具，确定对转换禁用自适应颜色空间变换(act)工具；以及，基于确定，通过对视频单元禁用act工具来执行转换。
[0262]
4.根据条款3所述的方法，其中，编解码工具对应于跨分量线性模型工具。
[0263]
5.根据条款3所述的方法，其中，编解码工具对应于联合色度残差编解码。
[0264]
6.根据条款3所述的方法，其中，编解码工具对应于多重变换选择(mts)编解码工
具。
[0265]
前述章节中的项目4提供了以下条款的其他示例。
[0266]
7.一种视频处理方法，包括：确定为视频单元和视频单元的比特流表示之间的转换使用双树分割结构和自适应颜色空间变换(act)编解码工具两者；以及，根据确定，通过对视频单元启用act来执行转换。
[0267]
8.根据条款7所述的方法，其中，比特流表示包括在视频块级上信令通知双树分割结构，该视频块级比视频单元级更精细。
[0268]
前述章节中的项目5提供了以下条款的其他示例。
[0269]
9.一种视频处理方法，包括：确定为视频单元和视频单元的比特流表示之间的转换使用环内整形(ilr)和自适应颜色空间变换(act)编解码工具两者；以及，基于确定，使用ilr和act编解码工具来执行转换。
[0270]
10.根据条款9所述的方法，其中，执行转换包括：在编码期间，首先应用act编解码工具，然后对应用act后的结果应用ilr。
[0271]
11.根据条款9所述的方法，其中，执行转换包括：首先应用ilr，然后对ilr的结果应用逆向颜色空间变换。
[0272]
前述章节中的项目6提供了以下条款的其他示例。
[0273]
12.一种视频处理方法，包括：确定为视频单元和视频单元的比特流表示之间的转换使用sbt和自适应颜色空间变换(act)编解码工具两者；以及,基于确定，使用sbt和act编解码工具来进行转换。
[0274]
13.根据条款12所述的方法，其中，将转换期间的预测误差从rgb颜色空间变换为ycocg颜色空间。
[0275]
14.根据条款13所述的方法，其中，在变换后，使用至少两个变换单元(tu)分区对预测误差进行编解码。
[0276]
前述章节中的项目7提供了以下条款的其他示例。
[0277]
15.根据上述条款中的任一项所述的方法，其中，视频单元包括条带或片或砖块或图片。
[0278]
16.根据条款15所述的方法，其中，在子视频单元级执行该确定，其中，子单元级对应于编解码单元(cu)或变换单元(tu)。
[0279]
17.根据条款16所述的方法，其中，在子视频单元级的确定是基于子单元级的编解码特性。
[0280]
18.根据条款17所述的方法，其中，编解码特性包括cu的尺寸和/或tu的尺寸，和/或cu的尺寸与tu的尺寸之间的关系。
[0281]
19.根据上述条款中的任一项所述的方法，其中，转换包括对比特流表示进行解码以生成视频单元。
[0282]
20.根据上述条款中的任一项所述的方法，其中，转换包括将视频单元编码为比特流表示。
[0283]
21.一种视频编码器装置，包括处理器，被配置为实施根据上述条款中的任一项或多项所述的方法。
[0284]
22.一种视频解码器装置，包括处理器，被配置为实施根据上述条款中的任一项或
多项所述的方法。
[0285]
23.一种计算机可读介质，其上存储了用于实施根据上述条款中的任一项或多项所述的方法的代码。
[0286]
第二组条款描述了前述章节中公开的技术(例如，示例实施方式1和4)的某些特征和方面。
[0287]
1.一种视频处理方法，包括：由于为视频单元和视频单元的编解码表示之间的转换使用双树分割结构，确定对视频单元禁用自适应颜色空间变换(act)工具；以及，基于确定，通过对视频单元禁用act工具来执行转换；其中，act工具的使用包括：在编码期间，将视觉信号的表示从第一色域转换到第二色域，或者，在解码期间，将视觉信号的表示从第二色域转换到第一色域。
[0288]
2.根据条款1所述的方法，其中，视觉信号包括：原始信号、预测信号、重构信号或残差信号。
[0289]
3.根据条款1所述的方法，其中，视频单元对应于条带、片、砖块、图片、或覆盖一个或多个编解码树单元的视频区域。
[0290]
4.根据条款1所述的方法，其中，对视频单元中的所有编解码块禁用act工具，并且基于双树分割结构来生成编解码块。
[0291]
5.根据条款1所述的方法，其中，双树分割结构为亮度分量和色度分量使用单独的分割树。
[0292]
6.根据条款1所述的方法，其中，基于对双树分割结构的使用来信令通知act工具的使用。
[0293]
7.根据条款1所述的方法，其中，由于双树分割结构的使用，编解码表示排除为提供关于act工具的使用的信息的比特。
[0294]
8.一种视频处理方法，包括：确定为视频单元和视频单元的编解码表示之间的转换使用双树分割结构和自适应颜色空间变换(act)工具；以及基于确定，通过对视频单元启用act工具来执行转换；其中，act工具的使用包括：在编码期间，将视觉信号的表示从第一色域转换到第二色域，或者，在解码期间，将视觉信号的表示从第二色域转换到第一色域。
[0295]
9.根据条款8所述的方法，其中，视觉信号包括：原始信号、预测信号、重构信号或残差信号。
[0296]
10.根据条款8所述的方法，其中，视频单元对应于条带、片、砖块、图片、或覆盖一个或多个编解码树单元的视频区域。
[0297]
11.根据条款8所述的方法，其中，编解码表示包括在视频块级上信令通知双树分割结构，该视频块级比视频单元级更精细。
[0298]
12.根据条款8所述的方法，其中，对视频单元的视频块启用双树分割结构和act工具两者。
[0299]
13.根据条款12所述的方法，其中，执行转换包括：在编码期间，在对视频块进行分割之前，将act工具应用于视频块。
[0300]
14.根据条款12所述的方法，其中，执行转换包括：对视频块进行解码，然后对解码的结果执行逆向颜色空间变换。
[0301]
15.根据条款1至14中的任一项所述的方法，其中，转换包括对编解码表示进行解
码以生成视频单元。
[0302]
16.根据条款1至14中的任一项所述的方法，其中，转换包括将视频单元编解码为编解码表示。
[0303]
17.一种视频处理装置，包括：处理器，被配置为实施根据条款1至16中的任一项或多项所述的方法。
[0304]
18.一种计算机可读介质，其上存储程序代码，该程序代码在被执行时使处理器实施根据条款1至16中的任一项或多项所述的方法。
[0305]
第三组条款描述了前述章节中，例如示例实施方式2、3、5和6中，公开的技术的某些特征和方面。
[0306]
1.一种视频处理方法，包括：为视频的当前视频块和视频的编解码表示之间的转换，确定第一编解码工具和第二编解码工具的适用性是互斥的；以及，基于确定来执行转换；其中，第一编解码工具对应于自适应颜色空间变换(act)工具；其中，act工具的使用包括：在编码期间，将视觉信号的表示从第一色域转换到第二色域，或者，在解码期间，将视觉信号的表示从第二色域转换到第一色域。
[0307]
2.根据条款1所述的方法，其中，视觉信号包括：原始信号、预测信号、重构信号或残差信号。
[0308]
3.根据条款1所述的方法，其中，第二编解码工具对应于跨分量线性模型工具，该跨分量线性模型工具使用线性模式从另一个分量推导色度分量的预测值。
[0309]
4.根据条款1所述的方法，其中，第二编解码工具对应于联合色度残差编解码工具，在联合色度残差编解码工具中，联合处理两个颜色分量的预测残差块。
[0310]
5.根据条款1所述的方法，其中，第二编解码工具对应于基于矩阵的帧内预测工具，该工具包括基于沿着当前视频块的边界的两个轴而获得的预定义的矩阵和样点来生产预测信号。
[0311]
6.根据条款1所述的方法，其中，第二编解码工具对应于量化残差块差分脉冲编解码调制(qr-bdpcm)工具，该工具包括将量化残差和预测残差之间的残差差值编解码到编解码表示中，或者，从编解码表示中包括的残差差值中推导出量化残差。
[0312]
7.根据条款1所述的方法，其中，第二编解码工具对应于子块变换(sbt)工具，在该工具中，将当前视频块划分成多个子块，并且仅在一部分子块上执行变换或逆变换。
[0313]
8.根据条款1所述的方法，其中，第二编解码工具对应于多重变换选择(mts)工具，该工具为当前视频块在多个变换中选择一个变换。
[0314]
9.根据条款1所述的方法，其中，第二编解码工具对应于低频不可分离变换(lfnst)工具，该工具包括在编码期间，在量化之前，对应用于视频块的残差的正向主变换的输出应用正向二次变换，或包括在解码期间，在应用逆向主变换之前，对视频块的去量化的输出应用逆向二次变换。
[0315]
10.根据条款1所述的方法，其中，第二编解码工具对应于脉冲编解码调制(pcm)工具，该工具数字化表示采样的模拟信号。
[0316]
11.根据条款1所述的方法，其中，第二编解码工具对应于变换跳过(ts)模式，在该模式中绕过变换或应用标识变换(identify transform)。
[0317]
12.根据条款1所述的方法，其中，第二编解码工具对应于帧内子块分割(isp)工
具，该工具包括将亮度帧内预测块垂直地或水平地划分为子分区。
[0318]
13.根据条款1所述的方法，其中，基于第二编解码工具的使用来信令通知第一编解码工具的使用。
[0319]
14.根据条款13所述的方法，其中，由于第二编解码工具的使用，编解码表示排除为提供关于第一编解码工具的使用的信息的比特。
[0320]
15.根据条款1所述的方法，其中，基于第一编解码工具的使用来信令通知第二编解码工具的使用。
[0321]
16.根据条款15所述的方法，其中，由于第一编解码工具的使用，编解码表示排除为提供关于第二编解码工具的使用的信息的比特。
[0322]
17.一种视频处理方法，包括：确定为视频的当前视频块和视频的编解码表示之间的转换使用编解码工具和自适应颜色空间变换(act)工具两者；以及，基于确定，通过对当前视频块启用act工具来执行转换，其中，act工具的使用包括：在编码期间，将视觉信号的表示从第一色域转换到第二色域，或者，在解码期间，将视觉信号的表示从第二色域转换到第一色域。
[0323]
18.根据条款17所述的方法，其中，编解码工具包括基于矩阵的帧内预测(mip)工具、子块变换(sbt)工具、多重变换选择(mts)、低频不可分离变换(lfnst)工具或变换跳过(ts)工具。
[0324]
19.一种视频处理方法，包括：为视频的视频单元的当前视频块和视频的编解码表示之间的转换，确定由于为视频单元启用环内整形(ilr)工具而为转换禁用自适应颜色空间变换(act)工具；以及，基于确定来执行转换，其中，ilr工具的使用包括：基于第一域和第二域之间的亮度整形和/或以亮度相关的方式进行的色度残差缩放来构建视频单元，并且其中，act工具的使用包括：在编码期间，将视觉信号的表示从第一色域转换到第二色域，或者，在解码期间，将视觉信号的表示从第二色域转换到第二色域。
[0325]
20.根据条款19所述的方法，其中，视频单元对应于条带、片、砖块、图片、或覆盖一个或多个编解码树单元的视频区域。
[0326]
21.根据条款19所述的方法，其中，基于ilr工具的使用来信令通知act工具的使用。
[0327]
22.根据条款19所述的方法，其中，由于ilr的使用，编解码表示排除为提供关于act的使用的信息的比特。
[0328]
23.一种视频处理方法，包括：确定为视频单元和视频单元的编解码表示之间的转换启用环内整形(ilr)工具和自适应颜色空间变换(act)工具两者；以及，基于确定来执行转换；并且其中，ilr工具的使用包括：基于第一域和第二域和/或以亮度相关的方式进行的色度残差缩放来构建视频单元，并且其中，act工具的使用包括：在编码期间，将视觉信号的表示从第一色域转换到第二色域，或者，在解码期间，将视觉信号的表示从第二色域转换到第一色域。
[0329]
24.根据条款23所述的方法，其中，视频单元对应于条带、片、砖块、图片、或覆盖一个或多个编解码树单元的视频区域。
[0330]
25.根据条款23所述的方法，其中，编解码表示包括在视频块级上信令通知双树分割结构，该视频块级比视频单元级更精细。
[0331]
26.根据条款23所述的方法，其中，对视频单元的视频块启用ilr工具和act工具两者。
[0332]
27.根据条款26所述的方法，其中，执行转换包括：在编码期间，首先对视频块应用act工具，然后对应用act工具后的结果应用ilr工具。
[0333]
28.根据条款26所述的方法，其中，执行转换包括：首先对视频块应用ilr工具，然后对应用ilr工具后的结果应用逆向颜色空间变换。
[0334]
29.一种视频处理方法，包括：确定为当前视频块和当前视频块的编解码表示之间的转换启用子块变换(sbt)工具和自适应颜色空间变换(act)编解码工具两者；以及，基于确定来执行转换，其中，sbt工具的使用包括：在预测残差块的子部分上应用变换处理或逆变换处理，并且其中，act工具的使用包括：在编码期间，将视觉信号的表示从第一色域转换到第二色域，或者，在解码期间，将视觉信号的表示从第二色域转换到第一色域。
[0335]
30.根据条款29所述的方法，其中，在编码的变换处理之前将预测误差从rgb颜色空间转换到ycocg颜色空间，或者，在解码的逆变换处理之后将预测误差从ycocg颜色空间转换到rgb颜色空间。
[0336]
31.根据条款30所述的方法，其中，使用两个变换单元(tu)对预测误差进行编解码，该两个变换单元(tu)包括第一变换单元(tu)和第二变换单元(tu)。
[0337]
32.根据条款31所述的方法，其中，第一变换单元(tu)具有全零系数，并且，第二变换单元(tu)具有非零系数。
[0338]
33.根据条款32所述的方法，其中，通过执行变换或变换跳过来获得第二变换单元(tu)。
[0339]
34.根据条款31所述的方法，其中，编解码表示包括关于如何将当前视频块划分为两个变换单元(tu)和/或关于应用于两个变换单元(tu)中至少一个的变换的类型的信息。
[0340]
35.根据条款1至34中任一项所述的方法，其中，转换包括从编解码表示中生成视频单元或当前视频块。
[0341]
36.根据条款1至34中任一项所述的方法，其中，转换包括从视频单元或当前视频块中生成编解码表示。
[0342]
37.一种视频处理装置，包括：处理器，被配置为实施根据条款1至36中的任一项或多项所述的方法。
[0343]
38.一种计算机可读介质，其上存储程序代码，该程序代码在被执行时使处理器实施根据条款1至36中任一项或多项所述的方法。
[0344]
第四组条款描述了前述章节中，例如示例实施方式7中，公开的技术的某些特征和方面。
[0345]
1.一种视频处理方法，包括：执行在视频的视频单元和视频的编解码表示之间的转换，其中，视频单元包括在第一级的一个或多个分区，该第一级的一个或多个分区包括在第二级的一个或多个分区，其中，编解码表示符合格式化规则，其中，该格式化规则规定是否包括分区级，在该分区级上指示使用自适应颜色空间变换(act)工具来表示编解码表示中的一个或多个第二级分区的语法元素包括在编解码表示中，其中分区级是第一级、第二级、或视频单元之一。
[0346]
2.根据条款1所述的方法，其中，视频单元对应于条带或片或砖块或图片。
[0347]
3.根据条款1所述的方法，其中，act工具的使用包括：在编码期间，将视觉信号的表示从第一色域转换到第二色域；或者，在解码期间，将视觉信号的表示从第二色域转换到第一色域。
[0348]
4.根据条款1至3中任一项所述的方法，其中，格式化规则规定视频单元中的不同视频块的不同级。
[0349]
5.根据条款4所述的方法，其中，不同级对应于编解码单元(cu)和/或变换单元(tu)。
[0350]
6.根据条款1至5中任一项所述的方法，其中，格式化规则基于转换的编解码特性来规定分区级。
[0351]
7.根据条款6所述的方法，其中，编解码特性包括当前编解码单元的宽度(w)和/或高度(h)。
[0352]
8.根据条款7所述的方法，其中，格式化规则基于当前编解码单元的尺寸是否大于虚拟流水线数据单元(vpdu)的尺寸来规定分区级。
[0353]
9.根据条款8所述的方法，其中，在当前编解码单元的尺寸大于vpdu的尺寸的情况下，分区级对应于编解码单元(cu)级。
[0354]
10.根据条款8所述的方法，其中，在当前编解码单元的尺寸大于vpdu的尺寸的情况下，分区级对应于变换单元(tu)级。
[0355]
11.根据条款8所述的方法，其中，格式化规则规定，由于在当前编码单元的尺寸大于vpdu的尺寸的情况下禁用act工具而不包括语法元素。
[0356]
12.根据条款7所述的方法，其中，格式化规则基于当前编解码单元的尺寸是否大于变换单元(tu)的最大尺寸来规定分区级。
[0357]
13.根据条款1所述的方法，其中，格式化规则规定，由于在w》＝t1且h》＝t2的情况下禁用act工具而不包括语法元素，其中w和h分别对应于当前编解码单元的宽度和高度。
[0358]
14.根据条款1所述的方法，其中，格式化规则规定，由于在w》＝t1或者h》＝t2的情况下禁用act工具而不包括语法元素，其中w和h分别对应于当前编解码单元的宽度和高度。
[0359]
15.根据条款7所述的方法，其中，格式化规则规定，由于在w《＝t1并且h《＝t2的情况下禁用act工具而不包括语法元素，其中w和h分别对应于当前编解码单元的宽度和高度。
[0360]
16.根据条款7所述的方法，其中，格式化规则规定，由于在w《＝t1或者h《＝t2的情况下禁用act工具而不包括语法元素，其中w和h分别对应于当前编解码单元的宽度和高度。
[0361]
17.根据条款7所述的方法，其中，格式化规则规定，由于在w*h》＝t的情况下禁用act工具而不包括语法元素，其中w和h分别对应于当前编解码单元的宽度和高度。
[0362]
18.根据条款7所述的方法，其中，格式化规则规定，由于在w*h《＝t的情况下禁用act工具而不包括语法元素，其中w和h分别对应于当前编解码单元的宽度和高度。
[0363]
19.根据条款7所述的方法，其中，格式化规则基于是否用子块分割工具对当前编解码单元进行编解码来规定分区级。
[0364]
20.根据条款1至19中任一项所述的方法，其中，转换包括从编解码表示中生成视频单元.
[0365]
21.根据条款1至19中任一项所述的方法，其中，转换包括从视频单元中生成编解码表示。
[0366]
22.一种视频处理装置，包括：处理器，被配置为实施根据条款1至21中的任一项或多项所述的方法。
[0367]
23.一种计算机可读介质，其上存储程序代码，该程序代码在被执行时使处理器实施根据条款1至21中任一项或多项所述的方法。
[0368]
根据前述内容，可以理解的是，为了说明的目的，这里已经描述了当前公开的技术的具体实施例，但是在不脱离本发明的范围的情况下，可以进行各种修改。因此，除了所附权利要求之外，当前公开的技术不受限制。
[0369]
本专利文件中描述的主题名称和功能操作的实施方式可以在各种系统、数字电子电路、或在计算机软件、固件或硬件中实现，包括在本说明书中公开的结构及其结构等效物，或其中一个或多个的组合。本说明书中描述的主题名称的实施方式可以实现为一个或多个计算机程序产品，即，在有形和非暂时性计算机可读介质上编解码的计算机程序指令的一个或多个模块，由数据处理设备执行或控制数据处理设备的操作。所述计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备、影响机器可读传播信号的物质组成、或其中一个或多个的组合。术语“数据处理单元”或“数据处理装置”涵盖用于处理数据的所有装置、设备、和机器，例如包括可编程处理器、计算机、或多个处理器或计算机。除了硬件之外，该装置还可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或其中一项或多项的组合的代码。
[0370]
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写，并且可以以任何形式部署，包括作为独立程序或作为模块、组件、子程序或其他适合在计算环境中使用的单元。计算机程序不一定与文件系统中的文件对应。程序可以存储在保存其他程序或数据的文件的部分中(例如，存储在标记语言文档中的一个或多个脚本)、专用于该程序的单个文件中、或多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以部署在一台或多台计算机上来执行，这些计算机位于一个站点上或分布在多个站点上，并通过通信网络互连。
[0371]
本说明书中描述的处理和逻辑流可以通过一个或多个可编程处理器执行，该处理器执行一个或多个计算机程序，通过在输入数据上操作并生成输出来执行功能。处理和逻辑流也可以通过特殊用途的逻辑电路来执行，并且装置也可以实现为特殊用途的逻辑电路，例如，fpga(现场可编程门阵列)或asic(专用集成电路)。
[0372]
例如，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型数字计算机的任何一个或多个。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是执行指令的处理器和存储指令和数据的一个或多个存储设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备，例如，磁盘、磁光盘或光盘，或通过操作耦合到一个或多个大容量存储设备来从其接收数据或将数据传输到一个或多个大容量存储设备，或两者兼有。然而，计算机不一定具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如eprom、eeprom和闪存设备。处理器和存储器可以由专用逻辑电路来补充，或合并到专用逻辑电路中。
[0373]
说明书和附图仅被认为是示例性的，其中示例性意味着示例。如本文所使用的，“或”的使用旨在包括“和/或”，除非上下文另外明确指出。
[0374]
虽然本专利文档包含许多细节，但不应将其解释为对任何发明或权利要求范围的限制，而应解释为对特定发明的特定实施例的特征的描述。本专利文件在单独实施例的上下文描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种功能也可以在多个实施例中单独实施，或在任何合适的子组合中实施。此外，尽管上述特征可以描述为在某些组合中起作用，甚至最初要求是这样，但在某些情况下，可以从组合中移除权利要求组合中的一个或多个特征，并且权利要求的组合可以指向子组合或子组合的变体。
[0375]
同样，尽管附图中以特定顺序描述了操作，但这不应理解为要获得想要的结果必须按照所示的特定顺序或顺序执行此类操作，或执行所有说明的操作。此外，本专利文件所述实施例中各种系统组件的分离不应理解为在所有实施例中都需要这样的分离。
[0376]
仅描述了一些实施方式和示例，可以基于本专利文档中描述和说明的内容做出其他实施方式、增强和变化。