独立约束定向增强滤波器的制作方法

独立约束定向增强滤波器
优先权信息
1.本技术要求2020年6月18日提交的美国临时申请第63/040,856号和2020年11月6日提交的美国申请第17/091,759号的优先权的权益，上述两件申请在此通过引用以其全部内容并入本文中。
技术领域
2.本公开内容一般性涉及数据处理领域，并且更具体地涉及视频编码和/或解码(例如，通过编码器、解码器或编解码器(解码器和编码器))。


背景技术：

3.aomedia视频1(av1)是被设计成用于通过因特网进行视频传输的开放视频编码格式。aomedia视频1是作为例如相关技术中的编解码器扩展的继承者开发的。


技术实现要素：

4.实施方式涉及用于对视频数据进行编码和/或解码的方法、系统和计算机可读介质。根据一个方面，提供了一种用于对视频数据进行编码和/或解码的方法。该方法可以包括：接收包括色度分量和亮度分量的视频数据；解析、导出或选择一帧中的色度分量的预设的数目以及这一帧中的亮度分量的预设的数目；以及对视频数据进行解码，其中，所述方法包括：基于一帧中的色度分量的预设的数目以及这一帧中的亮度分量的预设的数目来执行彼此独立地对亮度分量和色度分量进行滤波的独立约束定向增强滤波器(constrained directional enhancement filter，cdef)处理。
5.该方法可以包括当亮度分量和色度分量具有不同的划分或半解耦划分时，执行彼此独立地对亮度分量和色度分量进行滤波的独立约束定向增强滤波器(cdef)处理；以及获得包括亮度分量/色度分量的经滤波的重建样本的独立cdef处理的输出，其中，独立cdef处理的输入是亮度分量/色度分量的重建样本，独立cdef处理的中间输出包括使用导出的滤波器预设和每块级预设索引。
6.在图片级，亮度分量的所导出的预设的数目与色度分量的所导出预设的数目不同。
7.在图片级的预设的数目可以包括1、2、4或8之一。
8.一帧中的亮度分量的所导出和选择的预设的数目为2，而一帧中的色度分量的所导出和选择的预设的数目为1。
9.为亮度分量导出和选择的预设的数目为n，n为正整数，而色度分量的预设的数目固定为1，色度分量的预设的数目在解码器中被导出为1而无需用信令通知。
10.当前亮度块的选定预设索引与当前色度块的选定预设索引不同，并且独立cdef处理的输入是当前块的亮度/色度重建样本，以及在帧级所导出和选择的预设。该处理的输出是指示为当前块选择哪个预设的索引。
11.该方法还可以包括：当在帧级处亮度分量的数目对应于8个预设并且色度分量的数目对应于4个预设时，将亮度块a的预设索引选择为7，并且将色度块b的预设索引选择为1，其中，亮度块a和色度块b位于相同位置或部分地位于相同位置。
12.该方法还可以包括：当导出色度分量的cdef滤波强度时，由当前色度编码块大小确定输入重建样本。
13.该方法还可以包括：在当前色度块具有特定大小时，输入是具有特定大小的当前块的色度重建样本值。
14.该方法还可以包括：当对亮度块和色度块应用独立划分或半解耦划分时，亮度块和色度块仍然共享相同的预设索引，并且在预设索引导出/信令处理中采用亮度块或色度块的大小中的仅一个。
15.该方法还可以包括：当亮度分量和色度分量具有相同的编码块大小时，分别执行亮度分量和色度分量的cdef滤波处理。
16.可以在高级参数集、切片头、图片头或辅助增强信息(sei)消息中针对亮度分量和色度分量分别用信令通知图片级预设。
17.可以先用信令通知亮度预设，然后用信令通知色度预设。
18.针对亮度分量和色度分量分别用信令通知块级预设索引。
19.先用信令通知亮度分量的预设索引，然后用信令通知色度分量的预设索引。
20.一种用于对视频数据进行解码的计算机系统，所述计算机系统包括：被配置成存储计算机程序代码的一个或更多个计算机可读非暂态存储介质；以及一个或更多个计算机处理器，所述一个或更多个计算机处理器被配置成访问所述计算机程序代码并按照所述计算机程序代码的指令进行操作，所述计算机程序代码包括：接收代码，其被配置成使一个或更多个计算机处理器接收包括色度分量和亮度分量的视频数据；解析、导出或选择代码，其被配置成使一个或更多个计算机处理器解析、导出或选择一帧中的色度分量的预设的数目以及这一帧中的亮度分量的预设的数目；以及解码代码，其被配置成使一个或更多个计算机处理器对视频数据进行解码，其中，所述方法包括：基于一帧中的色度分量的预设的数目以及这一帧中的亮度分量的预设的数目来执行彼此独立地对亮度分量和色度分量进行滤波的独立约束定向增强滤波器(cdef)处理。
21.一种非暂态计算机可读介质，所述非暂态计算机可读介质上存储有用于对视频数据进行解码的计算机程序，所述计算机程序被配置成使一个或更多个计算机处理器：接收包括色度分量和亮度分量的视频数据；解析、导出或选择代码，其被配置成使一个或更多个计算机处理器解析、导出或选择一帧中的色度分量的预设的数目以及这一帧中的亮度分量的预设的数目；以及解码代码，其被配置成使一个或更多个计算机处理器对视频数据进行解码，其中，所述方法包括：基于一帧中的色度分量的预设的数目以及这一帧中的亮度分量的预设的数目来执行彼此独立地对亮度分量和色度分量进行滤波的独立约束定向增强滤波器(cdef)处理。
附图说明
22.根据要结合附图阅读的以下说明性实施方式的详细描述，这些和其他目的、特征和优点将变得明显。附图的各种特征不是按比例的，因为该图示是为了在便于本领域技术
人员结合详细描述进行理解方面是清楚的。在附图中：
23.图1示出了根据至少一个实施方式的联网计算机环境；
24.图2示出了自适应环路滤波(alf)滤波器形状；
25.图3a至图3d示出了对角线梯度的子采样位置；
26.图4示出了虚拟边界处的修改的块分类；
27.图5示出了虚拟边界处用于亮度分量的修改的alf滤波；
28.图6示出色度样本相对于亮度样本的位置；
29.图7示出了对8
×
8块的方向搜索的示例；
30.图8示出了对8
×
8块的方向搜索的示例；
31.图9示出了编码树结构(亮度和色度)的示例；
32.图10示出了独立约束定向增强滤波器(scdef)；
33.图11是示出根据至少一个实施方式的由对视频数据进行编码的程序执行的步骤的操作流程图；
34.图12是根据至少一个实施方式的图1中描绘的计算机和服务器的内部部件和外部部件的框图；
35.图13是根据至少一个实施方式的包括图1中描绘的计算机系统的说明性云计算环境的框图；以及
36.图14是根据至少一个实施方式的图13的说明性云计算环境的功能层的框图。
具体实施方式
37.本文中公开了所要求保护的结构和方法的详细实施方式；然而，可以理解，所公开的实施方式仅仅是对可以以各种形式实现的所要求保护的结构和方法的说明。然而，这些结构和方法可以以许多不同的形式来实现，并且不应被解释为限于本文中阐述的示例性实施方式。相反，提供这些示例性实施方式使得本公开内容将是透彻且完整的并且将向本领域技术人员完整地传达范围。在说明书中，可以省略公知特征和技术的细节，以避免不必要地模糊所呈现的实施方式。
38.实施方式一般涉及数据处理领域，更具体地涉及视频编码和/或解码。以下描述的示例性实施方式提供了一种系统、方法和计算机程序，以尤其对视频数据进行编码和/或解码。
39.如先前描述的，aomedia视频1(av1)是被设计成用于通过因特网进行视频传输的开放视频编码格式。aomedia视频1是由开放媒体联盟(alliance for open media，aomedia)作为vp9的继承者开发的，开放媒体联盟是于2015年成立的联盟，包括半导体公司、视频点播提供商、视频内容生产商、软件开发公司和web浏览器供应商。
40.本文中参照根据各种实施方式的方法、装置(系统)和计算机可读介质的流程图图示和/或框图来描述各方面。应当理解，流程图图示和/或框图的每一个框，以及流程图图示和/或框图中的框的组合可以通过计算机可读程序指令来实现。
41.现在参照图1，示出了根据实施方式的用于对视频数据进行编码和/或解码的视频编码系统100(在下文中称为“系统”)的联网计算机环境的功能框图。应当理解，图1仅提供了一个实现方式的图示，并且并不暗示关于可以实现不同实施方式的环境的任何限制。可
以基于设计和实现要求进行对所描绘的环境的许多修改。
42.系统100可以包括计算机102和服务器计算机114。计算机102可以经由通信网络110(在下文中称为“网络”)与服务器计算机114进行通信。计算机102可以包括处理器104和存储在数据存储设备106上的软件程序108，并且能够与用户进行接口并与服务器计算机114进行通信。如下面将参照图12讨论的，计算机102可以分别包括内部部件800a和外部部件900a，并且服务器计算机114可以分别包括内部部件800b和外部部件900b。计算机102可以是例如移动设备、电话、个人数字助理、上网本、膝上型计算机、平板电脑、台式计算机或者能够运行程序、访问网络和访问数据库的任何类型的计算设备。
43.服务器计算机114还可以在云计算服务模型，例如软件即服务(software as a service，saas)、平台即服务(platform as a service，paas)或基础设施即服务(infrastructure as a service，iaas)中操作，如下面关于图13和图14讨论的。服务器计算机114还可以位于云计算部署模型，例如私有云、社区云、公共云或混合云中。
44.可以用于对视频数据进行编码的服务器计算机114能够运行可以与数据库112交互的视频编码或解码程序116(在下文中称为“程序”)。下面关于图3更详细说明视频编码或解码程序方法。在一个实施方式中，计算机102可以操作为包括用户接口的输入设备，同时程序116可以主要在服务器计算机114上运行。在替选实施方式中，程序116可以主要在一个或更多个计算机102上运行，同时服务器计算机114可以用于处理和存储由程序116所使用的数据。应当注意，程序116可以是独立程序，或者可以集成到更大的视频编码程序中。视频编码或解码程序116可以对应于编码器、解码器或编解码器(编码器和解码器两者)。
45.然而，应该注意，在某些情况下，程序116的处理可以以任何比率在计算机102和服务器计算机114之间共享。在另一实施方式中，程序116可以在多于一个计算机、服务器计算机或者计算机和服务器计算机的一些组合，例如，与单个服务器计算机114通过网络110进行通信的多个计算机102上操作。在另一实施方式中，例如，程序116可以在与多个客户端计算机通过网络110进行通信的多个服务器计算机114上操作。替选地，该程序可以在与服务器和多个客户端计算机通过网络进行通信的网络服务器上操作。
46.网络110可以包括有线连接、无线连接、光纤连接或其某种组合。通常，网络110可以是将支持计算机102与服务器计算机114之间的通信的连接和协议的任何组合。网络110可以包括各种类型的网络，例如局域网(local area network，lan)、诸如因特网的广域网(wide area netowrk，wan)、诸如公共交换电话网络(public switched telephone network，pstn)的电信网络、无线网络、公共交换网络、卫星网络、蜂窝网络(例如，第五代(fifth generation，5g)网络、长期演进(long-term evolution，lte)网络、第三代(third generation，3g)网络、码分多址(code division multiple access，cdma)网络等)、公共陆地移动网络(public land mobile network，plmn)、城域网(metropolitan area network，man)、专用网络、自组织网络、内联网、基于光纤的网络等、以及/或者这些或其他类型的网络的组合。
47.图1中所示的设备和网络的数目和布置作为示例被提供。实际上，可以存在附加的设备和/或网络、更少的设备和/或网络、不同的设备和/或网络、或者与图1中所示的设备和/或网络不同布置的设备和/或网络。此外，图1中所示的两个或更多个设备可以在单个设备内实现，或者图1中所示的单个设备可以实现为多个分布式设备。另外地或替选地，系统
100的一组设备(例如，一个或更多个设备)可以执行被描述为由系统100的另一组设备执行的一个或更多个功能。
48.1自适应环路滤波器(alf)
49.在通用视频编码(vvc)(草案8)中，应用了具有基于块的滤波器自适应的自适应环路滤波器(alf)。对于亮度分量，基于局部梯度的方向和活动，为每个4
×
4块选择25个滤波器中的一个。
50.1.1滤波器形状
51.在vvc(草案8)中，可以使用两种菱形滤波器形状(如图2所示)。7
×
7菱形适用于亮度分量，并且5
×
5菱形适用于色度分量。
52.1.2块分类
53.对于亮度分量，每个4
×
4块被分类成25个类中的一个。分类索引c基于其方向性d和活动的量化值导出，如下：
54.为了计算d和先使用一维拉普拉斯计算水平、垂直和两个对角线方向的梯度：先使用一维拉普拉斯计算水平、垂直和两个对角线方向的梯度：先使用一维拉普拉斯计算水平、垂直和两个对角线方向的梯度：先使用一维拉普拉斯计算水平、垂直和两个对角线方向的梯度：
55.其中，索引i和j是指4
×
4块内的左上样本的坐标，并且r(i，j)表示坐标(i，j)处的重建样本。
56.为了降低块分类的复杂度，应用子采样的一维拉普拉斯计算。如图3a至图3d所示，所有方向的梯度计算使用相同的子采样位置(例如，所有方向的子采样拉普拉斯计算)。例如，图3a示出了垂直梯度的子采样位置，图3b示出了水平梯度的子采样位置，以及图3c和图3d示出了对角线梯度的子采样部分。
57.然后水平方向和垂直方向的梯度的d最大值和最小值被设置为：
58.两个对角线方向的梯度的最大值和最小值被设置为：
59.为了导出方向性d的值，将这些值彼此进行比较，并使用两个阈值t1和t2：步骤1.如果和两者为真，则d被设置为0。步骤2.如果则从步骤3继续；否则，从步骤4继续。步骤3.如果则d被设置为2；否则，d被设置为1。
步骤4.如果则d被设置为4；否则，d被设置为3。
60.活动值a被计算为：
61.a被进一步量化到0到4的范围，包括0和4，并且量化值被表示为
62.对于图片中的色度分量，未应用分类方法，即，对每个色度分量应用单组alf系数。
63.1.3滤波器系数和限幅值的几何变换
64.在对每个4
×
4亮度块进行滤波之前，根据针对该块计算的梯度值，对滤波器系数f(k，l)和相应的滤波器限幅值c(k，l)应用诸如旋转或对角线和垂直翻转的几何变换。这相当于将这些变换应用于滤波器支持区域中的样本。该构思是通过对齐应用alf的不同块的方向性使应用alf的不同块更相似。
65.引入三个几何变换，包括对角线、垂直翻转和旋转：对角线：fd(k，l)＝f(l，k)，cd(k，l)＝c(l，k)，
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(等式9)垂直翻转：fv(k，l)＝f(k，k-l-1)，cv(k，l)＝c(k，k-l-1)
ꢀꢀꢀ
(等式10)旋转：fr(k，l)＝f(k-l-1，k)，cr(k，l)＝c(k-l-1，k)
ꢀꢀꢀꢀꢀꢀ
(等式11)其中，k是滤波器的大小，0≤k，l≤k-1是系数坐标，使得位置(0，0)在左上角，位置(k-1，k-1)在右下角。根据针对该块计算的梯度值，对滤波器系数f(k，l)和限幅值c(k，l)应用变换。下表1总结了变换与四个方向的四个梯度之间的关系。表1-针对一个块计算的梯度和变换的映射梯度值变换g
d2
＜g
d1
且gh＜gv无变换g
d2
＜g
d1
且gv＜gh对角线g
d1
＜g
d2
且gh＜gv垂直翻转g
d1
＜g
d2
且gv＜gh旋转
66.1.4滤波器参数信令
67.在vvc(草案8)中，在白适应参数集(aps)中用信令通知alf滤波器参数。在一个aps中，可以用信令通知多达25组亮度滤波器系数和限幅值索引，以及多达8组色度滤波器系数和限幅值索引。为了减少位开销，可以合并亮度分量的不同分类的滤波器系数。在切片头中，用信令通知用于当前切片的aps的索引。alf的信令在vvc中基于ctu(草案8)。
68.根据aps解码的限幅值索引允许使用亮度和色度的限幅值的表来确定限幅值。这些限幅值取决于内部位深度。更准确地说，限幅值的表通过下式获得：alfclip＝{round(2
b-α*n
)对于n∈[0..n-1]}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(等式12)在b等于内部位深度的情况下，α是等于2.35的预定义常数值，且n等于4，即vvc中允许的限幅值的数目(草案8)。
[0069]
表2示出了等式12的输出。表2-规格alfclip取决于bitdepth和clipidx
[0070]
在切片头中，可以用信令通知多达7个aps索引以指定用于当前切片的亮度滤波器组。可以在编码树块(ctb)级别进一步控制滤波过程。总是用信令通知指示是否将alf应用于亮度ctb的标记。亮度ctb可以在16个固定滤波器组和来自aps的滤波器组中选择滤波器组。针对亮度ctb用信令通知滤波器组索引以指示应用哪个滤波器组。16个固定滤波器组在编码器和解码器两者中被预先定义和硬编码。
[0071]
对于色度分量，在切片头中用信令通知指示用于当前切片的色度滤波器组的aps索引。在ctb级别，如果在aps中存在多于一个的色度滤波器组，则为每个色度ctb用信令通知滤波器索引。
[0072]
滤波器系数可以用等于128的范数进行量化。为了限制乘法复杂度，应用码流一致性，使得非中心位置的系数值应当在-27至27-1的范围内，包括端值。在码流中未用信令通知中心位置系数，并且中心位置系数被认为等于128。
[0073]
在vvc(草案8)中，限幅索引和限幅值的语法和语义定义如下：alf_luma_clip_idx[sfidx][j]指定在乘以由sfidx指示的用信令通知的亮度滤波器的第j个系数之前使用的限幅值的限幅索引。码流一致性的要求是：具有sfidx＝0..alf_luma_num_filters_signalled_minus1和j＝0..11的alf_luma_clip_idx[sfidx][j]的值应当在o至3的范围内，包括0和3。
[0074]
具有元素alfclipl[adaptation_parameter_set_id][filtidx][j](其中，filtidx＝0..numalffilters-1和j＝0..11)的亮度滤波器限幅值alfclipl[adaptation_parameter_set_id]根据等于bitdepthy的bitdepth集和等于alf_luma_clip_idx[alf_luma_coeff_delta_idx[filtidx]][j]的clipidx集被导出为表2所指定的。
[0075]
alf_chroma_clip_idx[altidx][j]指定在乘以具有索引altidx的替选色度滤波器的第j个系数之前使用的限幅值的限幅索引。码流一致性的要求是：具有altidx＝0..alf_chroma_num_alt_filters_minus1、j＝0..5的alf_chroma_clip_idx[altidx][j]的值应当在0至3的范围内，包括0和3。
[0076]
具有元素alfclipc[adaptation_parameter_set_id][altidx][j](其中，altidx＝0..alf_chroma_num_alt_filters_minus1、j＝0..5)的色度滤波器限幅值alfclipc[adaptation_parameter_set_id][altidx]根据等于bitdepthc的bitdepth集和等于alf_chroma_clip_idx[altidx][j]的clipidx集被导出为表2所指定的。
[0077]
1.5滤波过程
[0078]
在解码器侧，当针对ctb启用alf时，对cu内的每个样本r(i，j)进行滤波，从而得到如下所示的样本值r
′
(i，j)，r
′
(i，j)＝r(i，j) ((∑
k≠0
∑
l≠0
f(k，l)
×
k(r(i k，j l)-r(i，j)，c(k，l)) 64)＞＞7)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(等式13)其中，f(k，l)表示解码的滤波器系数，k(x，y)是限幅函数，c(k，l)表示解码的限幅参数。变量k和l在与之间变化，其中l表示滤波长度。限幅函数k(x，y)＝min(y，max(-y，x))，其对应于函数clip3(-y，y，x)。通过合并该限幅函数，该环路滤波方法变为非线性过程，被称为非线性alf。通过使用与表2中的限幅值的索引相对应的golomb编码方案，在“alf_data”语法元素中对所选择的限幅值进行编码。该编码方案与滤波器索引的编码方案相同。
[0079]
1.6用于行缓冲区缩减的虚拟边界滤波过程
[0080]
为了缩减alf的行缓冲区要求，对水平ctu边界附近的样本采用了修改的块分类和滤波。为此目的，如图4所示，通过将水平ctu边界移动“n”个样本，虚拟边界可以被定义为线，其中，对于亮度分量，n等于4；对于色度分量，n等于2。
[0081]
修改的块分类应用于如图4所示的亮度分量。对于虚拟边界上方的4
×
4块的一维拉普拉斯梯度计算，仅使用虚拟边界上方的样本。类似地，对于虚拟边界下方的4
×
4块的一维拉普拉斯梯度计算，仅使用虚拟边界下方的样本。通过考虑一维拉普拉斯梯度计算中使用的减少数目的样本，相应地对活动值a的量化进行缩放。
[0082]
对于滤波处理，虚拟边界处的对称填充操作被用于亮度分量和色度分量两者。如图5所示(“在虚拟边界处用于亮度分量的修改的alf滤波”)，当正被滤波的样本位于虚拟边界下方时，位于虚拟边界上方的相邻样本被填充。同时，在另一侧的相应样本也被对称地填充。
[0083]
1.7最大编码单元(lcu)-对齐的图片四叉树分割
[0084]
为了提高编码效率，在jctvc-c143[3]中提出了基于编码单元同步图片四叉树的自适应环路滤波器。亮度图片被分割成几个多级四叉树划分，并且每个划分边界与最大编码单元(lcu)的边界对齐。每个划分都有其自己的滤波过程，因此称为滤波单元(fu)。
[0085]
下面描述2通编码流。在第一通时，确定每个fu的四叉树分割模式和最佳滤波器。在决策过程期间，由ffde估计滤波失真。根据所确定的所有fu的四叉树分割模式和所选择的滤波器，对重建图片进行滤波。在第二通时，执行cu同步alf开/关控制。根据alf开/关结果，由重建图片将第一滤波图片部分地恢复。
[0086]
采用自上而下的分割策略，通过使用率失真标准将图片分割为多级四叉树划分。每个划分被称为滤波单元。分割过程将四叉树划分与lcu边界对齐。fu的编码顺序遵循z扫描顺序。例如，图片可以被分割成10个fu，并且编码顺序为fu0、fu1、fu2、fu3、fu4、fu5、fu6、
fu7、fu8和fu9。
[0087]
为了指示图片四叉树分割模式，可以按z顺序编码和发送分割标志。
[0088]
可以基于率失真标准从两个滤波器组中选择每个fu的滤波器。第一组可以具有针对当前fu新导出的1/2对称方形和菱形滤波器。第二组可以来自时延滤波器缓冲区；时延滤波器缓冲区存储先前为先前图片的fu导出的滤波器。可以为当前fu选择这两组中率失真成本最小的滤波器。类似地，如果当前fu不是最小的fu，并且可以进一步被分割为4个子fu，则计算4个子fu的率失真成本。通过递归地比较分割情况和非分割情况下的率失真成本，可以确定图片四叉树分割模式。
[0089]
在jctvc-c143中，最大四叉树分割级别为2，这意味着fu的最大数目为16。在四叉树分割决策期间，可以重新使用用于导出在底部四叉树级别(最小fu)的16个fu的维纳系数的相关值。其余的fu可以根据在底部四叉树级别的16个fu的相关性导出其维纳滤波器。因此，只有一次帧缓冲区访问以用于导出所有fu的滤波器系数。
[0090]
在确定四叉树分割模式后，为了进一步减少滤波失真，执行cu同步alf开/关控制。通过比较滤波失真和非滤波失真，叶cu可以在其局部区域中显式地切换alf开/关。可以通过根据alf开/关结果重新设计滤波器系数来进一步提高编码效率。然而，重新设计过程需要附加的帧缓冲区访问。在所提出的cs-pqalf编码器设计中，在cu同步alf开/关决策之后没有重新设计过程，以最大限度地减少帧缓冲区访问次数。
[0091]
2.交叉分量自适应环路滤波器
[0092]
交叉分量自适应环路滤波器(cc-alf)利用亮度样本值来细化每个色度分量。
[0093]
cc-alf通过针对每个色度分量对亮度通道应用线性菱形滤波器来进行操作。滤波器系数在aps中发送，按因子210缩放，并四舍五入以用于定点表示。滤波器的应用受可变块大小的控制，并且通过为每个样本块接收的上下文编码标志用信令通知滤波器的应用。在切片级别为每个色度分量接收块大小以及cc-alf启用标志。在贡献中，支持以下块大小(在色度样本中)16
×
16、32
×
32、64x64。
[0094]
cc-alf的语法变化在表3中如下描述。表3
[0095]
cc-alf相关语法的语义描述如下：
[0096]
alf_ctb_cross_component_cb_idc[xctb＞＞ctblog2sizey][yctb＞＞ctblog2sizey]等于0表示交叉分量cb滤波器未应用于亮度位置(xctb，yctb)的cb色彩分量样本块。
[0097]
alf_cross_component_cb_idc[xctb＞＞ctblog2sizey][yctb＞＞ctblog2sizey]不等于0表示第alf_cross_component_cb_idc[xctb＞＞ctblog2sizey]
[yctb＞＞ctblog2sizey]个交叉分量cb滤波器应用于亮度位置(xctb，yctb)的cb色彩分量样本块。
[0098]
alf_ctb_cross_component_cr_idc[xctb＞＞ctblog2sizey][yctb＞＞ctblog2sizey]等于0表示交叉分量cr滤波器未应用于亮度位置(xctb，yctb)的cr色彩分量样本块。alf_cross_component_cr_idc[xctb＞＞ctblog2sizey][yctb＞＞ctblog2sizey]不等于0表示第alf_cross_component_cr_idc[xctb＞＞ctblog2sizey][yctb＞＞ctblog2sizey]个交叉分量cr滤波器应用于亮度位置(xctb，yctb)的cr色彩分量样本块。
[0099]
3色度采样格式
[0100]
本技术的图6(“色度样本相对于亮度样本的位置”)示出了当chroma_format_idc等于1(4∶2∶0色度格式)并且chroma_sample_loc_type_top_field或chroma_sample_loc_type_bottom_field等于可变chromaloctype的值时左上色度样本的指示的相对位置。由左上4∶2∶0色度样本表示的区域(被描绘为在其中心处具有大红色点的大红色方块)相对于由左上亮度样本表示的区域(被描绘为在其中心处具有小黑色点的小黑色方块)被示出。由相邻亮度样本表示的区域被描绘为在其中心处具有小灰色点的小灰色方块。
[0101]
4约束定向增强滤波器
[0102]
环路内约束定向增强滤波器(cdef)的主要目标是滤除编码伪影，同时保留图像的细节。在hevc中，采样自适应偏移(sao)算法通过为不同类别的像素定义信号偏移来实现类似的目标。与sao不同，cdef是非线性空间滤波器。滤波器的设计被限制为易于矢量化(即，可通过simd操作实现)，而其他非线性滤波器(如中值滤波器和双边滤波器)不是这种情况。
[0103]
cdef设计源自以下观察结果。编码图像中振铃伪影的量往往与量化步长大小大致成比例。细节量是输入图像的属性，但量化图像中保留的最小细节往往也与量化步长大小成比例。对于给定的量化步长大小，振铃的幅度通常小于细节的幅度。
[0104]
cdef的工作原理是：识别每个块的方向，然后沿着所识别的方向进行自适应滤波，并且沿着与所识别的方向旋转45度的方向进行较小程度地自适应滤波。明确地用信令通知滤波器强度，这允许对模糊进行高度控制。针对滤波器强度设计有效的编码器搜索。cdef基于两个先前提出的环路内滤波器，并且组合滤波器被用于新兴的av1编解码器。
[0105]
4.1方向搜索
[0106]
方向搜索在去块滤波器之后马上对重建像素进行操作。由于这些像素可用于解码器，因此方向不需要信令。搜索对8
×
8块进行操作，8
×
8块足够小以充分处理非直线边缘，同时足够大以在应用于量化图像时可靠地估计方向。在8
×
8区域上具有恒定方向也使得滤波器的矢量化更容易。对于每个块，我们通过使量化块与最近的完美定向块之间的平方差之和(ssd)最小化来确定与块中的模式最佳匹配的方向。完美定向块是沿一个方向上的线的所有像素具有相同值的块。图7是对8
×
8块的方向搜索的示例。在这种情况下，选择45度方向(如围绕列12的方框所示)，原因是45度方向使误差最小化。
[0107]
4.2非线性低通定向滤波器
[0108]
识别方向的主要原因是沿着该方向对准滤波器抽头以减少振铃同时保留方向边缘或图案。然而，仅定向滤波有时不能充分地减少振铃。还期望对不沿主方向的像素使用滤波器抽头。为了降低模糊的风险，这些额外的抽头会被更适当地处理。为此，cdef定义了主抽头和辅助抽头。完整的二维cdef滤波器表示为
其中，d是阻尼参数，s
(p)
和s
(s)
分别是主抽头和辅助抽头的强度，以及round(
·
)远离零进行四舍五入，wk是滤波器权重，以及f(d，s，d)是对滤波像素和每个相邻像素之间的差值进行操作的约束函数。对于较小的差值，f(d，s，d)＝d，使滤波器的特性类似于线性滤波器。当差值较大时，f(d，s，d)＝0，这实际上忽略了滤波器抽头。
[0109]
5.av1中的环路恢复
[0110]
提出了一组环路内恢复方案，用于视频编码后去块，以在传统去块操作之外一般地去噪和提高边缘质量。这些方案以适当大小的图块为单位在帧内可切换。所描述的具体方案基于可分离对称维纳滤波器和具有子空间投影的双自导滤波器。因为内容统计在帧内可能显著变化，所以这些工具被集成在可切换框架内，其中可以在帧的不同区域中触发不同的工具。
[0111]
5.1可分离对称维纳滤波器
[0112]
在文献中已表明有前景的一种恢复工具是维纳滤波器。退化帧中的每个像素可以被重建为其周围w
×
w窗内的像素的非因果滤波版本，其中w＝2r 1对于整数r为奇数。如果二维滤波器抽头由列向量化形式的w2×
1元素向量f表示，则直接lmmse优化导致滤波器参数由f＝h-1
m给出，其中h＝e[xx
t
]是x的自协方差，w2样本在像素周围的w
×
w窗中的列向量化版本，并且m＝e[yx
t
]是x与要估计的标量源样本y的互相关。编码器可以根据去块帧和源中的实现来估计h和m，并将结果滤波器f发送至解码器。然而，这不仅会在发送w2个抽头时引起相当大的码率成本，而且不可分离的滤波会使解码过于复杂。因此，对f的性质施加几个附加的约束。首先，f被约束为可分离的，使得滤波可以实现为可分离的水平和垂直w-抽头卷积。其次，水平滤波器和垂直滤波器中的每一个被约束为对称的。第三，假设水平滤波器系数和垂直滤波器系数之和为1。
[0113]
5.2具有子空间投影的双自导滤波
[0114]
引导滤波是最近的图像滤波范例之一，其中局部线性模型：y＝fx g
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(等式15)被用于根据未滤波样本x计算滤波输出y，其中f和g基于滤波像素附近的退化图像和引导图像的统计信息确定。如果引导图像与退化图像相同，则所产生的所谓自导滤波具有边缘保持平滑的效果。我们提出的自导滤波的具体形式取决于两个参数：半径r和噪声参数e，并列举如下：1.获得每像素周围(2r 1)
×
(2r 1)窗中像素的均值μ和方差σ2。这可以基于积分成像通过盒式滤波来有效地实现。2.对每个像素进行计算：f＝σ2/(σ2 e)；g＝(1-f)μ3.将每个像素的f和g计算为像素周围3
×
3窗中的f值和g值的平均值，以供使用。
[0115]
滤波由r和e控制，其中r越大意味着空间方差越大，以及e越大意味着范围方差越
大。
[0116]
在图8中示意性地示出了子空间投影的原理。即使廉价恢复x1、x2中没有一个接近源y，适当的乘法器{α，β}可以使它们更接近源，只要它们在正确的方向上稍微移动。图8示出了使用廉价恢复来产生更接近源的最终恢复的子空间投影。
[0117]
6.半解耦划分
[0118]
半解耦划分(sdp)方案或半分离树(sst)或灵活块划分用于色度分量。在该方法中，一个超级块(sb)中的亮度块和色度块可以具有相同或不同的块划分，这取决于亮度编码块大小或亮度树深度。具体而言，当亮度块区域大小大于一个阈值t1或者亮度块的编码树分割深度小于或等于一个阈值t2时，色度块使用与亮度相同的编码树结构。否则，当块区域大小小于或等于t1或者亮度分割深度大于t2时，对应的色度块可以与亮度分量具有不同的编码块划分，这被称为对色度分量的灵活块划分。t1是正整数，例如128或256。t2是正整数，例如1或2。
[0119]
提出了一种改进的半解耦划分(sdp)方案，其中亮度分量和色度分量可以共享来自超级块的根节点的部分树结构，并且亮度和色度何时开始分离树划分的条件取决于亮度的划分信息。例如，图9示出用于亮度分量和色度分量的编码树结构的示例。
[0120]
在约束定向增强滤波器(cdef)中，亮度分量和色度分量被限制为在图片级共享预设。另外，亮度分量和色度分量还被限制为在块级具有相同的预设索引。最后，当导出色度分量的滤波强度时，使用亮度块大小来确定色度分量的输入。这些约束可能限制cdef的编码效率。
[0121]
在传统cdef中，一个预设包含亮度和色度主/次强度。在图片级用信令通知允许/可用的预设的数目。在编码块级，用信令通知索引以指示为当前块选择哪个预设。cdef的编码块大小包括128
×
128、128
×
64、64
×
64和64
×
128。传统cdef有三个局限性：一个局限性是亮度分量和色度分量被强制在图片级共享预设；另一个局限性是亮度分量和色度分量被强制在块级拾取相同的预设索引；另一个局限性是当导出色度分量的滤波强度时，使用亮度块大小来确定色度分量的输入。上述局限性可能一起限制cdef的性能，尤其是在亮度分量和色度分量具有不同的划分方案例如半解耦划分(sdp)中的划分方案的情况下。
[0122]
在该文件中，提出了一种独立约束定向增强滤波器(scdef)，其分别执行亮度分量和色度分量的cdef处理。与传统的cdef相比，scdef允许彼此独立地对亮度分量和色度分量进行滤波。更具体地，亮度分量和色度分量在图片级可以具有不同数目的预设；此外，亮度分量和色度分量可以在块级选择不同的预设索引；当导出色度分量的滤波强度时，使用色度块大小来确定色度分量的输入。
[0123]
如图12所示，提出了当亮度分量和色度分量具有不同的划分或半解耦划分时，分别执行亮度分量和色度分量的cdef滤波处理。cdef滤波处理的输入是亮度/色度分量的重建样本。该处理的中间输出包括但不限于在上述提出的方法中提到的导出的滤波器预设和每块级预设索引。该处理的最终输出是亮度/色度分量的经滤波的重建样本。
[0124]
在一个实施方式中，亮度分量和色度分量的所导出的预设的数目可能在图片级彼此不同。cdef滤波处理的输入是亮度/色度分量中的重建样本。该处理的输出是在图片级的导出的预设。在图片级的预设的示例数目包括但不限于1、2、4、8。
[0125]
在一个示例中，一帧中的当前亮度分量的所导出和选择的预设的数目为2，以及为
该帧中的当前色度分量导出和选择的预设的数目为1。
[0126]
在另一示例中，亮度分量的所导出和选择的预设的数目为n，n为正整数，例如1、2、4或8，而色度分量的预设的数目固定为1。不需要在码流中用信令通知色度分量的预设的数目，并且色度分量的预设的数目在解码器中导出为1。
[0127]
例如，图10示出了独立约束定向增强滤波器(scdef)。
[0128]
在一个实施方式中，当前亮度块和色度块的所选择的预设索引可以彼此不同。该处理的输入是当前块的亮度/色度重建样本，以及在帧级所导出和选择的预设。该处理的输出是指示为当前块选择哪个预设的索引。
[0129]
在一个示例中，当在帧级处亮度分量具有8个预设并且色度分量具有4个预设时，亮度块a的所选择的预设索引为7，并且色度块b的所选择的预设索引为1。亮度块a和色度块b位于相同位置或部分地位于相同位置。
[0130]
在一个实施方式中，当导出色度分量的cdef滤波强度时，由当前色度编码块大小确定输入重建样本。
[0131]
在一个示例中，在当前色度块的大小为32
×
64时，输入是当前32
×
64块的色度重建样本值。
[0132]
在一个实施方式中，当对亮度块和色度块应用单独划分或半解耦划分时，亮度块和色度块仍然共享相同的预设索引，并且仅在预设索引导出/信令处理中采用亮度(或色度)块大小。
[0133]
在一些实施方式中，当亮度分量和色度分量具有相同的编码块大小时，分别执行亮度分量和色度分量的cdef滤波处理。
[0134]
在一些实施方式中，对亮度分量和色度分量分别执行scdef的信令。
[0135]
在一个实施方式中，针对亮度分量和色度分量分别用信令通知图片级预设。可以在高级参数集(dps，vps，sps，pps，aps)、切片头、图片头、sei消息中用信令通知这些预设。
[0136]
在一个示例中，先用信令通知亮度预设，然后用信令通知色度预设。
[0137]
在一个实施方式中，针对亮度分量和色度分量分别用信令通知块级预设索引。
[0138]
在一个示例中，先用信令通知亮度分量的预设索引，然后用信令通知色度分量的预设索引。
[0139]
现在参照图11，描绘了说明用于解码视频数据的方法300的步骤的操作流程图。然而，普通技术人员可以理解编码过程基于图11如何工作。在一些实现方式中，图3的一个或更多个处理块可以由计算机102(图1)和服务器计算机114(图1)执行。在一些实现方式中，图3的一个或更多个处理块可以由与计算机102和服务器计算机114分离或者包括计算机102和服务器计算机114的另一设备或一组设备执行。
[0140]
在302处，方法300包括接收包括色度分量和亮度分量的视频数据。
[0141]
在304处，方法300包括解析、导出或选择一帧中的色度分量的预设的数目以及这一帧中的亮度分量的预设的数目。
[0142]
在306处，方法300包括对视频数据进行编码和/或解码。
[0143]
操作306可以基于一帧中的色度分量的预设的数目以及这一帧中的亮度分量的预设的数目。
[0144]
该方法还可以包括：基于一帧中的色度分量的预设的数目以及这一帧中的亮度分
量的预设的数目来执行彼此独立地对亮度分量和色度分量进行滤波的独立约束定向增强滤波器(cdef)处理。
[0145]
可以理解，图11仅提供了一个实现方式的图示，并且不暗示关于可以如何实现不同实施方式的任何限制。可以基于设计和实现要求进行对所描绘的环境的许多修改。
[0146]
图12是根据说明性实施方式的图1所描绘计算机的内部部件和外部部件的框图400。应当理解，图4仅提供了一个实现的图示，并且并不暗示关于可以实现不同实施方式的环境的任何限制。可以基于设计和实现要求进行对所描绘的环境的许多修改。
[0147]
计算机102(图1)和服务器计算机114(图1)可以包括在图12中示出的内部部件800a、800b和外部部件900a、900b的相应组。内部部件800的组中的每一组包括一个或更多个总线826上的一个或更多个处理器820、一个或更多个计算机可读ram 822以及一个或更多个计算机可读rom 824、一个或更多个操作系统828以及一个或更多个计算机可读有形存储设备830。
[0148]
处理器820以硬件、固件或者硬件和软件的组合来实现。处理器820是中央处理单元(central processing unit，cpu)、图形处理单元(graphicsprocessing unit，gpu)、加速处理单元(accelerated processing unit，apu)、微处理器、微控制器、数字信号处理器(digital signal processor，dsp)、现场可编程门阵列(field-programmable gate array，fpga)、专用集成电路(application-specific integrated circuit，asic)或其他类型的处理部件。在一些实现中，处理器820包括能够被编程以执行功能的一个或更多个处理器。总线826包括允许内部部件800a、800b之间的通信的部件。
[0149]
一个或更多个操作系统828、软件程序108(图1)和服务器计算机114(图1)上的视频编码程序116(图1)被存储在相应的计算机可读有形存储设备830中的一个或更多个上以经由相应的ram 822(其通常包括高速缓冲存储器)中的一个或更多个由相应的处理器820中的一个或更多个执行。在图12中示出的实施方式中，计算机可读有形存储设备830中的每一个是内部硬盘驱动器的磁盘存储设备。替选地，计算机可读有形存储设备830中的每一个是半导体存储设备，例如rom 824、eprom、闪速存储器、光盘、磁光盘、固态盘、致密盘(compact disc，cd)、数字通用光盘(digital versatile disc，dvd)、软盘、盒、磁带以及/或者可以存储计算机程序和数字信息的另一类型的非暂态计算机可读有形存储设备。
[0150]
每一组内部部件800a、800b还包括r/w驱动器或接口832，以从一个或更多个便携式计算机可读有形存储设备936，例如cd-rom、dvd、记忆棒、磁带、磁盘、光盘或半导体存储设备读取和向其写入。软件程序，例如软件程序108(图1)和视频编码程序116(图1)可以被存储在相应的便携式计算机可读有形存储设备936中的一个或更多个上，经由相应的r/w驱动器或接口832读取并加载到相应的硬盘驱动器830中。
[0151]
每一组内部部件800a、800b还包括网络适配器或接口836，例如tcp/ip适配器卡；无线wi-fi接口卡；或者3g、4g或5g无线接口卡或其他有线或无线通信链路。软件程序108(图1)和服务器计算机114(图1)上的视频编码程序116(图1)可以经由网络(例如，因特网、局域网或其他、广域网)和相应的网络适配器或接口836从外部计算机下载到计算机102(图1)和服务器计算机114。从网络适配器或接口836，软件程序108和服务器计算机114上的视频编码程序116被加载到相应的硬盘驱动器830中。网络可以包括铜线、光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。
[0152]
外部部件900a、900b的组中的每一组可以包括计算机显示器920、键盘930和计算机鼠标934。外部部件900a、900b还可以包括触摸屏、虚拟键盘、触摸板、定点设备和其他人机接口设备。内部部件800a、800b的组中的每一组还包括设备驱动器840，以与计算机显示器920、键盘930和计算机鼠标934接口。设备驱动器840、r/w驱动器或接口832以及网络适配器或接口836包括硬件和软件(存储在存储设备830和/或rom 824中)。
[0153]
预先理解的是，尽管本公开内容包括关于云计算的详细描述，但是本文中所述的教导的实现不限于云计算环境。相反，一些实施方式能够结合现在已知或以后开发的任何其他类型的计算环境来实现。
[0154]
云计算是用于实现对可配置计算资源(例如，网络、网络带宽、服务器、处理、存储器、存储设备、应用程序、虚拟机和服务)的共享池的方便、按需网络访问的服务递送模型，该可配置计算资源可以以最小的管理努力或与服务提供商的互动快速地供应和发布。该云模型可以包括至少五个特性、至少三个服务模型和至少四个部署模型。
[0155]
特性如下：按需自助服务：云消费者可以单方面地根据需要自动地供应计算能力，例如服务器时间和网络存储，而不需要与服务的提供商的人机交互。广泛的网络访问：能力可通过网络获得，并且通过促进由异构的瘦客户端平台或厚客户端平台(例如，移动电话、膝上型计算机和pda)使用的标准机制来访问。资源池化：提供商的计算资源被池化以使用多租户模型来服务多个消费者，其中不同的物理资源和虚拟资源根据需求被动态地分配和重新分配。存在位置无关的感觉，因为消费者通常不控制或不知道所提供的资源的确切位置，但是能够在更高的抽象层次(例如，国家、州或数据中心)指定位置。快速弹性：能力可以快速且弹性地供应(在某些情况下是自动地)以快速地横向扩展(scale out)，并且能力可以快速地发布以快速地纵向扩展(scale in)。对于消费者，可用于供应的能力通常看起来不受限制，并且可以在任何时间以任何数量购置。测量服务：云系统通过在适合于服务类型(例如，存储、处理、带宽和活动用户账户)的某种抽象层次利用计量能力来自动控制和优化资源使用。可以管理、控制和报告资源使用，从而为所利用的服务的提供商和消费者两者提供透明度。
[0156]
服务模型如下：软件即服务(software as a service，saas)：提供给消费者的能力是使用在云基础设施上运行的提供商的应用。可通过诸如web浏览器(例如，基于web的电子邮件)的瘦客户端界面从各种客户端设备访问应用。消费者不管理或控制包括网络、服务器、操作系统、存储设备、或甚至个别应用能力的底层云基础设施，可能的例外是有限的用户特定应用配置设置。平台即服务(platform as a service，paas)：提供给消费者的能力是将使用由提供商支持的编程语言和工具创建的消费者创建或获取的应用部署到云基础设施上。消费者不管理或控制包括网络、服务器、操作系统或存储设备的底层云基础设施，但是具有对部署的应用和可能的应用托管环境配置的控制。基础设施即服务(infrastructure as a service，iaas)：提供给消费者的能力是供应处理、存储、网络以及消费者能够部署和运行任意软件的其他基本计算资源，所述软件
可以包括操作系统和应用。消费者不管理或控制底层云基础设施，但是具有对操作系统、存储、部署的应用的控制，以及可能对选择联网部件(例如，主机防火墙)的有限控制。
[0157]
部署模型如下：私有云：云基础设施仅为组织操作。其可以由组织或第三方管理，并且可以存在于场所内或场所外。社区云：云基础设施由若干组织共享，并且支持具有共享关注(例如，任务、安全要求、策略和合规性考虑)的特定社区。其可以由组织或第三方管理，并且可以存在于本地(on-premises)或外部(off-premises)。公共云：云基础设施可供一般公众或大型行业团体使用，并且由销售云服务的组织所有。混合云：云基础设施是两个或更多个云(私有、社区或公共)的组合，所述两个或更多个云仍然是唯一的实体，但是通过标准化或专有技术绑定在一起，该技术实现数据和应用的可移植性(例如，用于云之间的负载平衡的云爆发)。
[0158]
云计算环境是面向服务的，其焦点在于无状态、低耦合、模块性和语义互操作性。在云计算的核心是包括互连节点的网络的基础设施。
[0159]
参照图13，描绘了说明性云计算环境500。如所示地，云计算环境500包括一个或更多个云计算节点10，由云消费者使用的本地计算设备，例如个人数字助理(personal digital assistant，pda)或蜂窝电话54a、台式计算机54b、膝上型计算机54c和/或汽车计算机系统54n可以与所述一个或更多个云计算节点10进行通信。云计算节点10可以彼此通信。其可以被物理地或虚拟地分组(未示出)在一个或更多个网络，例如如上文描述的私有云、社区云、公共云或混合云，或其组合中。这允许云计算环境600提供基础设施、平台和/或软件作为服务，云消费者不需要为其维护本地计算设备上的资源。应当理解，图13中所示的计算设备54a至54n的类型仅旨在是说明性的，并且云计算节点10和云计算环境500可以通过任何类型的网络和/或网络可寻址连接(例如，使用web浏览器)与任何类型的计算机化设备进行通信。
[0160]
参照图14，示出了由云计算环境500(图13)提供的一组功能抽象层600。应当预先理解的是，图6中所示的部件、层和功能仅旨在是说明性的，并且实施方式不限于此。如所描绘的，提供了以下层和相应的功能：
[0161]
硬件和软件层60包括硬件部件和软件组件。硬件部件的示例包括：大型主机61；基于risc(reduced instruction set computer，精简指令集计算机)架构的服务器62；服务器63；刀片式服务器64；存储设备65；以及网络和网络部件66。在一些实施方式中，软件组件包括网络应用服务器软件67和数据库软件68。
[0162]
虚拟化层70提供抽象层，从该抽象层可以提供虚拟实体的以下示例：虚拟服务器71；虚拟存储设备72；包括虚拟专用网络的虚拟网络73；虚拟应用和操作系统74；以及虚拟客户端75。
[0163]
在一个示例中，管理层80可以提供以下描述的功能。资源供应81提供用于在云计算环境内执行任务的计算资源和其他资源的动态采购。计量和定价82提供了在云计算环境内利用资源时的成本查询，以及对这些资源的消耗的帐单或发票。在一个示例中，这些资源可以包括应用软件许可证。安全性为云消费者和任务提供身份验证，以及为数据和其他资
arrays，fpga)或可编程逻辑阵列(programmable logic arrays，pla)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以使电子电路个性化，以便执行各方面或操作。
[0169]
可以将这些计算机可读程序指令提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图的一个框或多个框中所指定的功能/动作的装置。这些计算机可读程序指令还可以被存储在计算机可读存储介质中，该计算机可读存储介质可以以特定的方式引导计算机、可编程数据处理装置和/或其他设备起作用，使得其中存储有指令的计算机可读存储介质包括制品，该制品包括实现流程图和/或框图的一个框或多个框中所指定的功能/动作各方面的指令。
[0170]
计算机可读程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上，以使在计算机、其他可编程装置或其他设备上执行一系列操作步骤以产生计算机实现的过程，使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图的一个框或多个框中指定的功能/动作。
[0171]
图中的流程图和框图示出了根据各种实施方式的系统、方法和计算机可读介质的可能实现的架构、功能和操作。在这方面，流程图或框图中的每一个框可以表示模块、段或部分指令，该模块、段或部分指令包括用于实现指定的逻辑功能的一个或更多个可执行指令。方法、计算机系统和计算机可读介质可以包括与图中所描绘的这些框相比附加的框、更少的框、不同的框或不同布置的框。在一些替选实现中，框中指出的功能可以不按图中指出的顺序发生。例如，连续示出的两个框实际上可以同时或基本上同时执行，或者框有时可以根据所涉及的功能而以相反的顺序执行。还将注意的是，可以通过基于专用硬件的系统来实现框图和/或流程图图示中的每一个框以及框图和/或流程图图示中的框的组合，该基于专用硬件的系统执行指定功能或动作，或者实现专用硬件和计算机指令的组合。
[0172]
将明显的是，本文中所描述的系统和/或方法可以以不同形式的硬件、固件、或硬件和软件的组合来实现。用于实现这些系统和/或方法的实际的专用控制硬件或软件代码并不限制实现。因此，本文中在不参考特定软件代码的情况下描述了系统和/或方法的操作和行为——应当理解的是，可以基于本文中的描述将软件和硬件设计成实现系统和/或方法。
[0173]
除非对此明确地描述，否则本文中使用的元素、动作或指令均不应当被解释为关键的或必要的。而且，如本文中使用的，冠词“一种”和“一个”旨在包括一个或更多个项，并且可以与“一个或更多个”互换使用。此外，如本文中所使用的，术语“组”旨在包括一个或更多个项(例如，相关项、不相关项、相关项与不相关项的组合等)，并且可以与“一个或更多个”互换使用。在意指仅一项的情况下，使用术语“一”或类似语言。而且，如本文中使用的，术语“具有”、“有”、“含有”等旨在是开放式的术语。此外，除非另有明确说明，否则短语“基于”旨在是指“至少部分地基于”。
[0174]
已经出于说明的目的呈现了对各个方面和实施方式的描述，但是了对各个方面和实施方式的描述不旨在是穷举的或限于所公开的实施方式。尽管在权利要求中记载了以及/或者在说明书中公开了特征的组合，但是这些组合不旨在限制可能的实现的公开内容。实际上，这些特征中的许多特征可以以权利要求中未具体记载以及/或者说明书中未具体
公开的方式组合。尽管以下列出的每一个从属权利要求可以直接引用仅一个权利要求，但是可能的实现的公开内容包括与权利要求组中的每一个其他权利要求组合的每一个从属权利要求。在不偏离所描述的实施方式的范围的情况下，许多修改和变化对于本领域普通技术人员而言将是明显的。本文中所使用的术语被选择以最好地解释实施方式的原理、实际应用或相对于市场上发现的技术的技术改进，或者使得本领域普通技术人员能够理解本文中所公开的实施方式。
[0175]
在整个公开内容中使用的首字母缩略词包括以下内容：hevc：高效视频编码hdr：高动态范围sdr：标准动态范围vvc：通用视频编码jvet：联合视频探索组mpm：最可能模式waip：广角帧内预测cu：编码单元ctb：编码树块pu：预测单元tu：变换单元ctu：编码树单元pdpc：位置相关预测组合isp：帧内子划分sps：序列参数设置pps：图片参数集aps：自适应参数集vps：视频参数集dps：解码参数集alf：自适应环路滤波器sao：采样自适应偏移cc-alf：交叉分量自适应环路滤波器cdef：约束方向增强滤波器lr：环路恢复滤波器av1：aomedia视频1av2：aomedia视频2sdp：半解耦划分sei：辅助增强信息