用于视频译码的自适应缩放列表控制的制作方法

用于视频译码的自适应缩放列表控制
1.相关申请的交叉引用
2.本技术要求于2021年4月8日提交的美国申请号17/225,643和于2020年4月20日提交的美国临时申请号63/012,794的优先权，其全部内容通过引用并入本文中。美国申请号17/225,643要求于2020年4月20日提交的美国临时申请号63/012,794的权益。
技术领域
3.本公开涉及视频编码和视频解码。


背景技术：

4.数字视频能力可以被结合到多种设备中，这些设备包括数字电视、数字直播系统、无线广播系统、个人数字助理(pda)、膝上型或台式计算机、平板计算机、电子书阅读器、数码相机、数字记录设备、数字媒体播放器、视频游戏设备、视频游戏控制台、蜂窝或卫星无线电电话、所谓的“智能电话”、视频电话会议设备、视频流式传输设备等。数字视频设备实施视频译码技术，诸如在由mpeg-2、mpeg-4、itu-t h.263、itu-t h.264/mpeg-4第10部分高级视频译码(avc)、itu-t h.265/高效视频译码(hevc)以及这些标准的扩展所定义的标准中描述的那些技术。通过实施这样的视频译码技术，视频设备可以更高效地发送、接收、编码、解码和/或存储数字视频信息。
5.视频译码技术包括空间(图片内)预测和/或时间(图片间)预测，以减少或移除视频序列中固有的冗余。对于基于块的视频译码，视频切片(例如，视频图片或视频图片的一部分)可以被分割成视频块，视频块也可以被称为译码树单元(ctu)、译码单元(cu)和/或译码节点。图片的帧内译码(i)切片中的视频块使用相对于同一图片中的相邻块中的参考样本的空间预测来编码。图片的帧间译码(p或b)切片中的视频块可以使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其他参考图片中的参考样本的时间预测。图片可以被称为帧，并且参考图片可以被称为参考帧。


技术实现要素：

6.本公开总体上描述了用于自适应缩放列表控制的技术。视频译码器(例如，视频编码器和/或视频解码器)可以应用缩放列表来进行去量化。例如，视频译码器可以使用缩放列表来缩放视频数据块的变换系数。在一些示例中，视频译码器可以应用自适应颜色变换(act)。例如，视频译码器可以将残差信号的颜色空间从第一颜色空间(例如，rgb)转换到第二颜色空间(例如，ycgco)。应用缩放列表和act的组合可能存在一个或多个缺点。例如，一般而言，rgb域中三个分量的残差信号之间的相关性比ycgco域中的相关性强，这意味着rgb和ycgco域中变换系数的能量分布会不同。一些编解码器要求缩放列表对于g和y、b和cg、r和co总是共享的。然而，这种缩放列表的共享可能导致量化过程的不希望的行为。克服这样的不希望的行为的一种方案是禁用将缩放列表应用到对其应用了act的块(即act块)。然而，这种方案可能存在其自身的缺点。例如，可能仍然希望允许将一些缩放列表应用到act
块。
7.根据本公开的一个或多个技术，视频译码器可以显式地发信号通知缩放列表有资格应用到的块类型集。例如，在视频译码器确定缩放列表没有资格应用到act块类型的情况下(例如，块类型集不包括act块类型)，视频译码器可以不(例如，可以抑制)缩放对其应用了act的视频数据块的变换系数。在视频译码器确定缩放列表有资格应用到act块类型的情况下，视频译码器可以使用缩放列表来缩放对其应用了act的视频数据块的变换系数。因此，对缩放列表的应用的控制可以是自适应的。这样，视频译码器可以避免缩放列表共享的缺点，同时还保留将缩放列表应用到act块的能力。
8.在一个示例中，一种方法包括：从经译码的视频比特流中对显式地定义的缩放列表进行解码；基于从经译码的视频比特流的序列参数集(sps)解码的一个或多个语法元素的值，确定显式地定义的缩放列表有资格应用到的块类型集；以及将显式地定义的缩放列表应用到包括在块类型集中的块。
9.在另一示例中，一种设备包括：存储器，被配置为存储视频比特流的至少一部分；以及处理电路，被配置为：从经译码的视频比特流中对显式地定义的缩放列表进行解码；基于从经译码的视频比特流的sps解码的一个或多个语法元素的值，确定显式地定义的缩放列表有资格应用到的块类型集；以及将显式地定义的缩放列表应用到包括在块类型集中的块。
10.在另一示例中，一种方法包括：在经译码的视频比特流中对显式地定义的缩放列表进行编码；在经译码的视频比特流的sps中对指定显式地定义的缩放列表有资格应用到的块类型集的一个或多个语法元素进行编码；以及将显式地定义的缩放列表应用到包括在块类型集中的块。
11.在另一示例中，一种设备包括：存储器，被配置为存储视频比特流的至少一部分；以及处理电路，被配置为在经译码的视频比特流中对显式地定义的缩放列表进行编码；在经译码的视频比特流的sps中对指定显式地定义的缩放列表有资格应用到的块类型集的一个或多个语法元素进行编码；以及将显式地定义的缩放列表应用到包括在块类型集中的块。
12.在另一示例中，一种设备包括：用于从经译码的视频比特流中对显式地定义的缩放列表进行解码的部件；用于基于从经译码的视频比特流的sps解码的一个或多个语法元素的值，确定显式地定义的缩放列表有资格应用到的块类型集的部件；以及用于将显式地定义的缩放列表应用到包括在块类型集中的块的部件。
13.在另一示例中，一种设备包括：用于在经译码的视频比特流中对显式地定义的缩放列表进行编码的部件；用于在经译码的视频比特流的sps中对指定显式地定义的缩放列表有资格应用到的块类型集的一个或多个语法元素进行编码的部件；以及用于将显式地定义的缩放列表应用到包括在块类型集中的块的部件。
14.在另一示例中，一种计算机可读存储介质存储指令，当指令被执行时，使一个或多个处理器：从经译码的视频比特流中对显式地定义的缩放列表进行解码；基于从经译码的视频比特流的sps解码的一个或多个语法元素的值，确定显式地定义的缩放列表有资格应用到的块类型集；以及将显式地定义的缩放列表应用到包括在块类型集中的块。
15.在另一示例中，一种计算机可读存储介质存储指令，当指令被执行时，使一个或多
个处理器：在经译码的视频比特流中对显式地定义的缩放列表进行编码；在经译码的视频比特流的sps中对指定显式地定义的缩放列表有资格应用到的块类型集的一个或多个语法元素进行编码；以及将显式地定义的缩放列表应用到包括在块类型集中的块。
16.一个或多个示例的细节在附图和以下描述中阐述。根据说明书、附图和权利要求，其他特征、目的和优点将变得显而易见。
附图说明
17.图1是示出可以执行本公开的技术的示例视频编码和解码系统的框图。
18.图2a和图2b是示出示例四叉树二叉树(qtbt)结构和对应的译码树单元(ctu)的概念图。
19.图3是示出可以执行本公开的技术的示例视频编码器的框图。
20.图4是示出可以执行本公开的技术的示例视频解码器的框图。
21.图5是示出用于对当前块进行编码的示例方法的流程图。
22.图6是示出用于对当前块进行解码的示例方法的流程图。
23.图7是示出根据本公开的一种或多种技术的用于自适应缩放列表控制的示例方法的流程图。
具体实施方式
24.图1是示出可以执行本公开的技术的示例视频编码和解码系统100的框图。本公开的技术总体上涉及译码(编码和/或解码)视频数据。一般而言，视频数据包括用于处理视频的任何数据。因此，视频数据可以包括原始的未经编码的视频、经编码的视频、经解码的(例如，重构的)视频和视频元数据，诸如信令数据。
25.如图1所示，在该示例中，系统100包括源设备102，该源设备102提供要由目的地设备116进行解码和显示的经编码的视频数据。具体地，源设备102经由计算机可读介质110向目的地设备116提供视频数据。源设备102和目的地设备116可以包括多种设备中的任何一种，包括台式计算机、笔记本(即膝上型)计算机、移动设备、平板计算机、机顶盒、诸如智能手机的电话手持机、电视、相机、显示设备、数字媒体播放器、视频游戏控制台、视频流式传输设备、广播接收器设备等。在一些情况下，源设备102和目的地设备116可以被装备用于无线通信，并且因此可以被称为无线通信设备。
26.在图1的示例中，源设备102包括视频源104、存储器106、视频编码器200和输出接口108。目的地设备116包括输入接口122、视频解码器300、存储器120和显示设备118。根据本公开，源设备102的视频编码器200和目的地设备116的视频解码器300可以被配置为应用用于自适应缩放列表控制的技术。源设备102表示视频编码设备的示例，而目的地设备116表示视频解码设备的示例。在其他示例中，源设备和目的地设备可以包括其他组件或布置。例如，源设备102可以从诸如外部相机的外部视频源接收视频数据。同样地，目的地设备116可以与外部显示设备对接，而不是包括集成的显示设备。
27.如图1中所示的系统100仅是一个示例。一般而言，任何数字视频编码和/或解码设备都可以执行用于自适应缩放列表控制的技术。源设备102和目的地设备116仅是这样的译码设备的示例，其中，源设备102生成经译码的视频数据用于传输至目的地设备116。本公开
将“译码”设备指代为执行数据的译码(编码和/或解码)的设备。因此，视频编码器200和视频解码器300表示译码设备的示例，具体地，分别表示视频编码器和视频解码器。在一些示例中，源设备102和目的地设备116可以以基本上对称的方式操作，使得源设备102和目的地设备116中的每个包括视频编码和解码组件。因此，系统100可以支持源设备102与目的地设备116之间的单向或双向视频传输，例如，用于视频流式传输、视频回放、视频广播或视频电话。
28.一般而言，视频源104表示视频数据的源(即，原始的未经编码的视频数据)，并且将视频数据的一系列连续图片(也称为“帧”)提供给视频编码器200，视频编码器200对图片的数据进行编码。源设备102的视频源104可以包括视频捕获设备，诸如摄像机、包含先前捕获的原始视频的视频档案，和/或从视频内容提供商接收视频的视频馈送接口。作为进一步的替代，视频源104可以生成基于计算机图形的数据作为源视频，或者实况视频、存档视频和计算机生成视频的组合。在每种情况下，视频编码器200对捕获的、预捕获的或计算机生成的视频数据进行编码。视频编码器200可以将图片从接收的顺序(有时被称为“显示顺序”)重新布置成用于译码的译码顺序。视频编码器200可以生成包括经编码的视频数据的比特流。然后，源设备102可以经由输出接口108将经编码的视频数据输出至计算机可读介质110上，以供例如目的地设备116的输入接口122接收和/或取得。
29.源设备102的存储器106和目的地设备116的存储器120代表通用存储器。在一些示例中，存储器106、120可以存储原始视频数据，例如，来自视频源104的原始视频以及来自视频解码器300的原始的经解码的视频数据。附加地或替代地，存储器106、120可以存储可分别由例如视频编码器200和视频解码器300执行的软件指令。尽管在该示例中存储器106和存储器120与视频编码器200和视频解码器300分开示出，但应理解，视频编码器200和视频解码器300也可包括功能上类似或等同目的的内部存储器。此外，存储器106、120可以存储例如从视频编码器200输出的并且输入至视频解码器300的经编码的视频数据。在一些示例中，存储器106、120的部分可以被分配为一个或多个视频缓冲器，例如，以存储原始的、经解码的和/或经编码的视频数据。
30.计算机可读介质110可以表示能够将经编码的视频数据从源设备102传输至目的地设备116的任何类型的介质或设备。在一个示例中，计算机可读介质110表示使源设备102能够例如经由射频网络或基于计算机的网络实时地向目的地设备116直接发送经编码的视频数据的通信介质。根据诸如无线通信协议的通信标准，输出接口108可以解调包括经编码的视频数据的传输信号，并且输入接口122可以解调所接收的传输信号。通信介质可以包括任何无线或有线通信介质，诸如，射频(rf)频谱或一条或多条物理传输线。通信介质可以形成基于分组的网络(诸如，局域网、广域网或诸如因特网的全球网络)的一部分。通信介质可以包括路由器、交换机、基站或有助于促进从源设备102到目的地设备116的通信的任何其他装备。
31.在一些示例中，源设备102可以将经编码的数据从输出接口108输出至存储设备112。类似地，目的地设备116可以经由输入接口122从存储设备112访问经编码的数据。存储设备112可以包括各种分布式或本地访问的数据存储介质中的任何一种，诸如硬盘、蓝光光盘、dvd、cd-rom、闪存、易失性或非易失性存储器、或者用于存储经编码的视频数据的任何其他合适的数字存储介质。
32.在一些示例中，源设备102可以将经编码的视频数据输出至文件服务器114或者可以存储由源设备102生成的经编码的视频数据的另一中间存储设备。目的地设备116可以经由流式传输或下载来从文件服务器114访问所存储的视频数据。文件服务器114可以是能够存储经编码的视频数据并将此经编码的视频数据发送至目的地设备116的任何类型的服务器设备。文件服务器114可以代表(例如，用于网站的)网络服务器、文件传输协议(ftp)服务器、内容递送网络设备或网络附接存储(nas)设备。目的地设备116可以通过包括因特网连接的任何标准数据连接访问来自文件服务器114的经编码的视频数据。这可以包括无线信道(例如，wi-fi连接)、有线连接(例如，数字订户线(dsl)、电缆调制解调器等)或适合用于访问存储在文件服务器114上的经编码的视频数据的这两者的组合。文件服务器114和输入接口122可以被配置为根据流式传输协议、下载传输协议或其组合来操作。
33.输出接口108和输入接口122可以表示无线发送器/接收器、调制解调器、有线联网组件(例如，以太网卡)、根据各种ieee 802.11标准中的任何标准操作的无线通信组件，或其他物理组件。在输出接口108和输入接口122包括无线组件的示例中，输出接口108和输入接口122可以被配置为根据诸如4g、4g-lte(长期演进)、lte高级、5g等的蜂窝通信标准来传送诸如经编码的视频数据的数据。在输出接口108包括无线发送器的一些示例中，输出接口108和输入接口122可以被配置为根据诸如ieee 802.11规范、ieee802.15规范(例如，zigbee
tm
)、蓝牙
tm
标准或类似标准的其他无线标准来传送诸如经编码的视频数据的数据。在一些示例中，源设备102和/或目的地设备116可以包括相应的片上系统(soc)设备。例如，源设备102可以包括执行归属于视频编码器200和/或输出接口108的功能性的soc设备，并且目的地设备116可以包括执行归属于视频解码器300和/或输入接口122的功能性的soc设备。
34.本公开的技术可以应用到视频译码，以支持多种多媒体应用中的任何一种，多媒体应用诸如空中电视广播、有线电视传输、卫星电视传输、因特网流式传输视频传输(诸如，通过http的动态自适应流式传输(dash))、被编码到数据存储介质上的数字视频、存储在数据存储介质上的数字视频的解码、或其他应用。
35.目的地设备116的输入接口122从计算机可读介质110(例如，通信介质、存储设备112、文件服务器114等)接收经编码的视频比特流。经编码的视频比特流可以包括由视频编码器200定义的信令信息，诸如具有描述视频块或其他译码单元(例如，切片、图片、图片组、序列等)的特性和/或处理的值的语法元素，该信令信息也被视频解码器300使用。显示设备118向用户显示经解码的视频数据的经解码的图片。显示设备118可以表示多种显示设备中的任何一种，诸如液晶显示器(lcd)、等离子显示器、有机发光二极管(oled)显示器、或另一类型的显示设备。
36.尽管未在图1中示出，但在一些示例中，视频编码器200和视频解码器300可以各自与音频编码器和/或音频解码器集成在一起，并且可以包括适当的mux-demux单元或其他硬件和/或软件，来处理公共数据流中包括音频和视频两者的多路复用流。如果适用，mux-demux单元可以符合itu h.223多路复用器协议、或其他协议(诸如，用户数据报协议(udp))。
37.视频编码器200和视频解码器300各自可以被实现为多种合适的编码器和/或解码器电路中的任何一种，诸如一个或多个微处理器、数字信号处理器(dsp)、专用集成电路
(asic)、现场可编程门阵列(fpga)、分立逻辑、软件、硬件、固件或其任何组合。当该技术部分地以软件实现时，设备可以将用于软件的指令存储在合适的非暂时计算机可读介质中，并使用一个或多个处理器在硬件中执行该指令来执行本公开的技术。视频编码器200和视频解码器300中的每个可以被包括在一个或多个编码器或解码器中，这一个或多个编码器或解码器中的任一个可以被集成为相应设备中的组合编码器/解码器(编解码器)的部分。包括视频编码器200和/或视频解码器300的设备可以包括集成电路、微处理器和/或诸如蜂窝电话的无线通信设备。
38.视频编码器200和视频解码器300可以根据诸如itu-t h.265(也被称为高效视频译码(hevc))或其扩展(诸如多视图和/或可缩放视频译码扩展)的视频译码标准来操作。可替代地，视频编码器200和视频解码器300可以根据诸如itu-t h.266(也称为多功能视频译码(vvc))的其他专有或行业标准来操作。vvc标准的最新草案在bross等人的“versatile video coding(draft 8)(多功能视频译码(草案8))”(itu-t sg 16wp 3和iso/iec jtc 1/sc 29/wg 11联合视频专家组(jvet)第17次会议：比利时布鲁塞尔，2020年1月7日至17日，jvet-q2001-ve)中进行了描述(下文简称“vvc草案8”)。然而，本公开的技术不限于任何特定的译码标准。
39.一般而言，视频编码器200和视频解码器300可以执行图片的基于块的译码。术语“块”通常指包括待处理的数据(例如，编码的、解码的或以其他方式在编码过程和/或解码过程中使用的数据)的结构。例如，块可以包括亮度和/或色度数据的样本的二维矩阵。一般而言，视频编码器200和视频解码器300可以对以yuv(例如，y、cb、cr)格式表示的视频数据进行译码。也就是说，视频编码器200和视频解码器300可以对亮度和色度分量进行译码，而不是对图片的样本的红色、绿色和蓝色(rgb)数据进行译码，其中色度分量可以包括红色调和蓝色调色度分量两者。在一些示例中，视频编码器200在编码之前将所接收的rgb格式化数据转换成yuv表示，并且视频解码器300将yuv表示转换成rgb格式。可替代地，预处理和后处理单元(未示出)可以执行这些转换。
40.本公开通常可以涉及图片的译码(例如，编码和解码)，以包括对图片的数据进行编码或解码的过程。类似地，本公开可以涉及图片的块的译码，以包括对块的数据进行编码或解码的过程，例如，预测和/或残差译码。经编码的视频比特流通常包括用于表示译码决策(例如，译码模式)和图片到块的分割的语法元素的一系列值。因此，对图片或块进行译码的引用通常应被理解为对用于形成图片或块的语法元素的值进行译码。
41.hevc定义了各种块，包括译码单元(cu)、预测单元(pu)和变换单元(tu)。根据hevc，视频译码器(诸如，视频编码器200)根据四叉树结构来将译码树单元(ctu)分割为cu。也就是说，视频译码器将ctu和cu分割为四个相等的、不重叠的正方形，并且四叉树的每个节点有零个或四个子节点。没有子节点的节点可以被称为“叶节点”，并且此类叶节点的cu可以包括一个或多个pu和/或一个或多个tu。视频译码器还可以分割pu和tu。例如，在hevc中，残差四叉树(rqt)表示tu的分割。在hevc中，pu表示帧间预测数据，而tu表示残差数据。经帧内预测的cu包括帧内预测信息，诸如帧内模式指示。
42.作为另一示例，视频编码器200和视频解码器300可以被配置为根据vvc来操作。根据vvc，视频译码器(诸如，视频编码器200)将图片分割为多个译码树单元(ctu)。视频编码器200可以根据树结构，诸如四叉树-二叉树(qtbt)结构或多类型树(mtt)结构，来分割ctu。
qtbt结构移除了多个分割类型的概念，诸如hevc的cu、pu和tu之间的分离。qtbt结构包括两个级别：根据四叉树分割而分割的第一级别，以及根据二叉树分割而分割的第二级别。qtbt结构的根节点对应于ctu。二叉树的叶节点对应于译码单元(cu)。
43.在mtt分割结构中，可以使用四叉树(qt)分割、二叉树(bt)分割和一种或多种类型的三叉树(tt)(也称为三元树(tt))分割来分割块。三叉或三元树分割是将块划分成三个子块的分割。在一些示例中，三叉或三元树分割在不通过中心对原始块进行划分的情况下将块划分为三个子块。mtt中的分割类型(例如，qt、bt和tt)可以是对称的或非对称的。
44.在一些示例中，视频编码器200和视频解码器300可以使用单个qtbt或mtt结构来表示亮度分量和色度分量中的每一个，而在其他示例中，视频编码器200和视频解码器300可以使用两个或更多个qtbt或mtt结构，诸如一个qtbt/mtt结构用于亮度分量，而另一qtbt/mtt结构用于两个色度分量(或者两个qtbt/mtt结构用于相应的色度分量)。
45.视频编码器200和视频解码器300可以被配置为使用按照hevc的四叉树分割、qtbt分割、mtt分割或其他分割结构。出于解释的目的，关于qtbt分割来呈现本公开的技术的描述。然而，应当理解的是，本公开的技术也可以应用到被配置为使用四叉树分割或其他类型的分割的视频译码器。
46.在一些示例中，ctu包括亮度样本的译码树块(ctb)、具有三个样本阵列的图片的色度样本的两个对应ctb、或者单色图片或使用三个单独的颜色平面和用于对样本进行译码的语法结构来译码的图片的样本的ctb。ctb可以是对于某个值n的n
×
n样本块，使得将分量(component)划分为ctb是一种分割。分量是来自构成4:2:0、4:2:2或4:4:4颜色格式的图片的三个阵列(亮度和两个色度)之一的阵列或单个样本，或构成单色格式的图片的阵列或阵列的单个样本。在一些示例中，译码块是对于m和n的某些值的m
×
n样本块，使得将ctb划分为译码块是一种分割。
47.这些块(例如，ctu或cu)可以在图片中以各种方式来分组。作为一个示例，砖块(brick)可以指代图片中的特定图块(tile)内的ctu行的矩形区域。图块可以是图片中的特定图块列和特定图块行内的ctu的矩形区域。图块列是指具有与图片的高度相等的高度以及由语法元素(例如，诸如在图片参数集中)指定的宽度的ctu的矩形区域。图块行是指具有由语法元素(例如，诸如在图片参数集中)指定的高度以及与图片的宽度相等的宽度的ctu的矩形区域。
48.在一些示例中，图块可以被分割成多个砖块，砖块中的每一个可以包括图块内的一个或多个ctu行。未被分割成多个砖块的图块也可以被称为砖块。然而，作为图块的真实子集的砖块不可以被称为图块。
49.图片中的砖块也可以被布置在切片(slice)中。切片可以是图片的可以被排他地包含在单个网络抽象层(nal)单元中的整数个砖块。在一些示例中，切片包括多个完整图块或者仅一个图块的完整砖块的连续序列。
50.本公开可互换地使用“n
×
n”和“n乘n”来指代块(诸如，cu或其他视频块)的就垂直和水平维度而言的样本维度，例如，16
×
16样本或者16乘16样本。一般而言，16
×
16cu将在垂直方向上具有16个样本(y＝16)且在水平方向上具有16个样本(x＝16)。同样，n
×
n cu通常在垂直方向上具有n个样本且在水平方向上具有n个样本，其中n表示非负整数值。cu中的样本可以按行和列来布置。此外，cu在水平方向上不一定需要具有与垂直方向上相同数目
的样本。例如，cu可以包括n
×
m个样本，其中m不一定等于n。
51.视频编码器200对针对cu的表示预测和/或残差信息以及其他信息的视频数据进行编码。预测信息指示将如何预测cu以便形成针对cu的预测块。残差信息通常表示编码之前的cu的样本与预测块之间的逐样本差。
52.为了预测cu，视频编码器200通常可以通过帧间预测或帧内预测来形成针对cu的预测块。帧间预测通常指从先前译码的图片的数据来预测cu，而帧内预测通常指从相同图片的先前译码的数据来预测cu。为了执行帧间预测，视频编码器200可以使用一个或多个运动矢量来生成预测块。视频编码器200通常可以执行运动搜索以例如根据cu与参考块之间的差来标识紧密匹配cu的参考块。视频编码器200可以使用绝对差之和(sad)、平方差之和(ssd)、平均绝对差(mad)、均方差(msd)或其他此类差计算来计算差度量以确定参考块是否紧密匹配当前cu。在一些示例中，视频编码器200可以使用单向预测或双向预测来预测当前cu。
53.vvc的一些示例也提供仿射运动补偿模式，该模式可以被认为是帧间预测模式。在仿射运动补偿模式下，视频编码器200可以确定表示诸如以下各项的非平移运动的两个或更多个运动矢量：放大或缩小、旋转、透视运动或其他不规则运动类型。
54.为了执行帧内预测，视频编码器200可以选择帧内预测模式以生成预测块。vvc的一些示例提供了六十七个帧内预测模式，包括各种方向模式、以及平面模式和dc模式。一般而言，视频编码器200选择描述当前块(例如，cu的块)的相邻样本的帧内预测模式，以此来预测当前块的样本。假设视频编码器200以光栅扫描顺序(从左到右，从上到下)对ctu和cu进行译码，则此类样本通常可以位于与当前块相同的图片中的当前块的上方、左上方、或左方。
55.视频编码器200对表示用于当前块的预测模式的数据进行编码。例如，对于帧间预测模式，视频编码器200可以对表示以下内容的数据进行编码：使用各种可用帧间预测模式中的哪一个，以及用于对应模式的运动信息。例如，对于单向或双向帧间预测，视频编码器200可以使用高级运动矢量预测(amvp)或合并(merge)模式对运动矢量进行编码。对于仿射运动补偿模式，视频编码器200可以使用类似模式来对运动矢量进行编码。
56.在对块的预测之后，诸如在对块的帧内预测或帧间预测之后，视频编码器200可以计算针对块的残差数据。诸如残差块之类的残差数据表示块与使用对应预测模式形成的针对该块的预测块之间的逐样本差。视频编码器200可以对残差块应用一个或多个变换，以在变换域而非样本域中产生经变换的数据。例如，视频编码器200可以对残差视频数据应用离散余弦变换(dct)、整数变换、小波变换或概念上类似的变换。附加地，视频编码器200可以在第一变换之后应用次级变换，诸如模式相关不可分离次级变换(mdnsst)、信号相关变换、karhunen-loeve变换(klt)等。视频编码器200在应用一个或多个变换之后产生变换系数。
57.如上所述，在用于产生变换系数的任何变换之后，视频编码器200可以执行对变换系数的量化。量化通常是指如下过程：对变换系数进行量化以可能地减少用于表示变换系数的数据量，从而提供进一步压缩。通过执行量化过程，视频编码器200可以减小与变换系数中的某些或全部相关联的比特深度。例如，视频编码器200可以在量化期间将n比特值向下舍入成m比特值，其中，n大于m。在一些示例中，为了执行量化，视频编码器200可以执行对待量化的值的逐位右移。
58.在量化之后，视频编码器200可以扫描变换系数，从包括经量化的变换系数的二维矩阵产生一维矢量。扫描可以被设计成将较高能量(并且因此较低频率)变换系数置于矢量的前方而将较低能量(并且因此较高频率)变换系数置于矢量的后方。在一些示例中，视频编码器200可以利用预定义扫描顺序来扫描经量化的变换系数以产生串行化(serialized)矢量，且随后对矢量的经量化的变换系数进行熵编码。在其他示例中，视频编码器200可以执行自适应扫描。在扫描经量化的变换系数以形成一维矢量之后，视频编码器200可以例如根据上下文自适应二进制算术译码(cabac)来对一维矢量进行熵编码。视频编码器200还可以对针对描述与经编码的视频数据相关联的元数据的语法元素的值进行熵编码，以供视频解码器300在对视频数据进行解码时使用。
59.为了执行cabac，视频编码器200可以将上下文模型内的上下文分配给待发送的符号。上下文可以涉及例如符号的相邻值是否为零值。概率确定可以基于分配给符号的上下文。
60.视频编码器200可以进一步例如在图片头部、块头部、切片头部中向视频解码器300生成诸如基于块的语法数据、基于图片的语法数据和基于序列的语法数据之类的语法数据或诸如序列参数集(sps)、图片参数集(pps)或视频参数集(vps)之类的其他语法数据。视频解码器300可以同样解码此类语法数据以确定如何解码对应的视频数据。
61.以这种方式，视频编码器200可以生成比特流，该比特流包括经编码的视频数据，例如，描述图片到块(例如，cu)的分割的语法元素以及针对块的预测和/或残差信息。最终，视频解码器300可以接收比特流并对经编码的视频数据进行解码。
62.一般而言，视频解码器300执行与视频编码器200所执行的过程相反的过程以对比特流的经编码的视频数据进行解码。例如，视频解码器300可以以虽然与视频编码器200的cabac编码过程相反但基本上类似的方式使用cabac来解码比特流的针对语法元素的值。语法元素可以定义针对图片到ctu的分割的分割信息，以及根据诸如qtbt结构之类的对应分割结构进行的对每个ctu的分割，以定义ctu的cu。语法元素可以进一步定义针对视频数据块(例如，cu)的预测和残差信息。
63.残差信息可以由例如经量化的变换系数来表示。视频解码器300可以对块的经量化的变换系数进行逆量化和逆变换以再现针对块的残差块。视频解码器300使用发信号通知的预测模式(帧内或帧间预测)和相关预测信息(例如，用于帧间预测的运动信息)来形成针对块的预测块。视频解码器300随后可以(在逐样本基础上)组合预测块和残差块以再现原始块。视频解码器300可以执行附加处理，诸如执行去块过程以减少沿块的边界的视觉伪影。
64.在vvc草案8中，用户定义的缩放列表可被应用来进行去量化。
65.同样在vvc草案8中，自适应颜色变换(act)可以应用到4:4:4rgb视频信号。act可以在cu级别标志(cu_act_enabled_flag)处被控制。当视频译码器(例如，视频编码器200和/或视频解码器300)将act应用到当前cu时，视频译码器可以将残差信号的颜色空间从rgb(gbr)转换为ycgco。如iwamura等人“scaling list for adaptive colour transform(自适应颜色变换的缩放列表)”(itu-t sg 16wp 3和iso/iec jtc 1/sc 29/wg 11的联合视频专家组(jvet)，第18次会议：通过电话会议，2020年4月15日至24日，jvet-r0380v3(下文简称“jvet-r0380”))所建议的，一般而言，rgb域中三个分量的残差信号之间的相关性比
ycgco域中的相关性更强，这意味着rgb和ycgco域中变换系数的能量分布会不同。在vvc草案8中，对于g和y、对于b和cg、对于r和co，缩放列表总是共享的，这可能导致量化过程的不希望的行为。jvet-r0380建议禁用针对用act译码的块的缩放矩阵。然而，可以存在这样的情况，其中，对于act译码的块而不是非act译码的块，可能期望使用缩放列表。
66.本公开描述了用于自适应颜色变换(act)的自适应缩放列表控制的技术。视频译码器可以接收用户指定的变量scalinglisttype，其指示缩放列表可以应用到哪种类型的经译码的块。作为一个示例，变量scalinglisttype等于第一值(例如，scaling_list_type_act)可以指示缩放列表可以仅应用到act译码的块，而不应用到其他块。作为另一示例，变量scalinglisttype等于第二值(例如，scaling_list_type_other)可以指示缩放列表不应用到act译码的块，但可以应用到其他块。其他信令技术可以用于相同的目的(例如，用于指示缩放列表可以应用到哪种类型的经译码的块)。
67.上述技术可以扩展用于控制低频不可分离变换(lfnst)译码的块的缩放列表。作为一个示例，变量scalinglisttype等于第一值(例如，scaling_list_type_act)可以指示缩放列表可以仅应用到act译码的块，而不应用到其他块。作为另一示例，变量scalinglisttype等于第二值(例如，scaling_list_type_lfnst)可以指示缩放列表仅应用到lfnst译码的块，而不应用到其他块。作为另一示例，变量scalinglisttype等于第三值(例如，scaling_list_type_other)可以指示缩放列表不应用到act译码的块，也不应用到lfnst译码的块，但可以应用到其他块。
68.视频译码器可在任何参数集或头部结构中发信号通知变量scalinglisttype的值。例如，表示scalinglisttype的值的语法元素可以在序列参数集(sps)、图片参数集(pps)、图片头部(ph)、切片头部(sh)、自适应参数集(aps)或任何其他这样的结构中发信号通知。视频译码器可对scalinglisttype的发信号通知应用一些约束。作为一个示例，如果act未被启用(例如，如果cu_act_enabled_flag指示act未被启用)，则视频译码器可推断scalinglisttype的值不等于scaling_list_type_act。作为另一示例，如果lfnst未被启用，则视频译码器可以推断scalinglisttype的值不等于scaling_list_type_lfnst。
69.注意，是否应用缩放列表的确定也可以由其他高级语法元素来控制，其他高级语法元素例如序列参数集(sps)和/或图片头部(ph)处的开/关控制。
70.根据本公开的技术，视频译码器可以获得缩放列表(例如，对表示显式缩放列表的一个或多个语法元素进行编码或解码)；经由经译码的视频比特流对指定缩放列表可以应用到的块类型集的语法元素进行译码。
71.本公开通常可以涉及“发信号通知”某些信息，诸如语法元素。术语“发信号通知”通常可以涉及针对语法元素的值和/或用于对经编码的视频数据进行解码的其他数据的通信。也就是说，视频编码器200可以在比特流中发信号通知针对语法元素的值。一般而言，发信号通知涉及在比特流中生成值。如上所述，源设备102可以基本上实时地或者非实时地向目的地设备116传输比特流，诸如可以在将语法元素存储到存储设备112以供目的地设备116随后取得时发生。
72.图2a和图2b是示出了示例四叉树二叉树(qtbt)结构130和对应译码树单元(ctu)132的概念图。实线表示四叉树划分，并且虚线指示二叉树划分。在二叉树的每个划分节点(即，非叶节点)中，一个标志被发信号通知以指示使用哪种划分类型(即，水平或垂直)，其
中在该示例中，0指示水平划分，1指示垂直划分。对于四叉树划分，由于四叉树节点将块水平地和垂直地划分为具有相等大小的4个子块，因此无需指示划分类型。相应地，视频编码器200可以对用于qtbt结构130的区域树级别(即实线)的语法元素(诸如划分信息)和用于qtbt结构130的预测树级别(即虚线)的语法元素(诸如划分信息)进行编码，并且视频解码器300可以对这些语法元素进行解码。视频编码器200可以对用于由qtbt结构130的末端叶节点表示的cu的视频数据(诸如，预测和变换数据)进行编码，并且视频解码器300可以对该视频数据进行解码。
73.一般而言，图2b的ctu 132可以与参数相关联，这些参数定义与第一和第二级别处的qtbt结构130的节点对应的块的大小。这些参数可以包括ctu大小(表示样本中ctu 132的大小)、最小四叉树大小(minqtsize，表示最小允许的四叉树叶节点大小)、最大二叉树大小(maxbtsize，表示最大允许的二叉树根节点大小)、最大二叉树深度(maxbtdepth，表示最大允许的二叉树深度)和最小二叉树大小(minbtsize，表示最小允许的二叉树叶节点大小)。
74.与ctu对应的qtbt结构的根节点可以在qtbt结构的第一级别具有四个子节点，该子节点中的每一个可以根据四叉树分割来分割。也就是说，第一级别的节点要么是叶节点(没有子节点)，要么具有四个子节点。qtbt结构130的示例将此类节点表示为包括父节点和具有用于分支的实线的子节点。如果第一级别的节点不大于最大允许的二叉树根节点大小(maxbtsize)，则这些节点能够被相应的二叉树进一步分割。可以迭代进行一个节点的二叉树划分，直到划分得到的节点达到最小允许的二叉树叶节点大小(minbtsize)或最大允许的二叉树深度(maxbtdepth)。qtbt结构130的示例将此类节点表示为具有用于分支的虚线。二叉树叶节点被称为译码单元(cu)，其用于预测(例如，图片内预测或图片间预测)和变换，而无需任何进一步的分割。如上文所讨论的，cu也可以被称为“视频块”或“块”。
75.在qtbt分割结构的一个示例中，ctu大小被设置为128
×
128(亮度样本和两个对应的64
×
64色度样本)，minqtsize被设置为16
×
16、maxbtsize被设置为64
×
64，minbtsize(对于宽度和高度两者)被设置为4，并且maxbtdepth被设置为4。首先对ctu应用四叉树分割，以生成四叉树叶节点。四叉树叶节点可以具有从16
×
16(即，minqtsize)到128
×
128(即，ctu大小)的大小。如果四叉树叶节点为128
×
128，则由于该大小超过maxbtsize(即，在此示例中为64
×
64)，因此该叶四叉树节点不会进一步被二叉树划分。否则，四叉树叶节点将被二叉树进一步分割。因此，四叉树叶节点也是二叉树的根节点，并且具有二叉树深度0。当二叉树深度达到maxbtdepth(在此示例中为4)时，不允许进一步划分。当二叉树节点的宽度等于minbtsize(在本示例中为4)时，这意味着不允许进一步的垂直划分。类似地，二叉树节点的高度等于minbtsize意味着不允许对该二叉树节点进行进一步的水平划分。如上所述，二叉树的叶节点被称为cu，并且根据预测和变换对其进行进一步处理而无需进一步分割。
76.视频编码器200和视频解码器300可以被配置为处理量化参数。qp值用于确定用于对系数进行量化/逆量化的步长。qp值指定在-qpbdoffset到63(含-qpbdoffset和63)的范围内，其中63是最大qp值。qpbdoffset被指定为特定比特深度的固定值，被推导为6*(比特深度
–
8)。qp主(prime)值通过将qpbdoffset与所指定的qp值相加来计算，该qp主值用于推导实际步长。为了便于描述，qp和qp主值可以在其余的描述中互换使用，应该理解的是，qp值可以仅在大多数qp推导过程中使用，而qp主值可以仅在确定步长之前的最后阶段使用。
qp值改变1大致指示步长改变12％，并且qp值改变6对应于步长改变2倍。较高的量化参数值意味着较大的量化步长和被量化的系数的较粗略的表示。
77.视频编码器200和视频解码器300可以被配置为处理量化和缩放矩阵。在视频译码中，预测操作之后获得的残差使用dct2或其他变换操作进行变换。随后，变换系数被量化，并且所量化的系数被熵译码。
78.量化过程由两个因素控制：量化参数和缩放矩阵。上面描述了量化参数的描述。在解码器(例如，视频解码器300)处，与量化参数对应的缩放因子被确定。该缩放因子被应用如下：
79.levelscale[][qp％6])《《(qp/6)
[0080]
其中，qp是量化参数，levelscale[][]是如下定义的阵列
[0081]
列表levelscale[][]被指定为levelscale[j][k]＝{{40,45,51,57,64,72},{57,64,72,80,90,102}}，其中，j＝0..1，k＝0..5。
[0082]
qp差为6导致比特移位为1，并且因此通过(qp/6)的移位和使用qp％6计算的缩放来应用与qp相关联的缩放。
[0083]
此外，缩放参数被应用到每个系数。对于不同的系数，缩放参数可以不同。与缩放矩阵相关联的缩放因子被推导如下：
[0084]
–
中间缩放因子m[x][y]被推导如下：
[0085]
–
如果以下条件中的一个或多个成立，则m[x][y]被设置为等于16：
[0086]
–
sps_scaling_list_enabled_flag等于0。
[0087]
–
transform_skip_flag[xtby][ytby]等于1。
[0088]
–
否则，以下适用：
[0089]
m[x][y]＝scalingfactor[log2(ntbw)][log2(ntbh)][matrixid][x][y]，matrixid如表7-5中指定
[0090]
(8-958)
[0091]
逆量化中使用的最终缩放因子通过将两个缩放项(来自qp和缩放矩阵)相乘来获得，如下所示：
[0092]
–
如果dep_quant_enabled_flag等于1，则以下适用：
[0093]
ls[x][y]＝(m[x][y]*levelscale[rectnontsflag][(qp 1)％6])《《((qp 1)/6)
ꢀꢀ
(8-959)
[0094]
–
否则(dep_quant_enabled_flag等于0)，以下适用：
[0095]
ls[x][y]＝(m[x][y]*levelscale[rectnontsflag][qp％6])《《(qp/6)
ꢀꢀ
(8-960)
[0096]
缩放的变换系数被推导如下，并且然后结果被发送到逆量化步骤。
[0097]
–
值dnc[x][y]被推导如下：
[0098]
dnc[x][y]＝(dz[x][y]*ls[x][y] bdoffset)》》bdshift (8-963)
[0099]
–
缩放的变换系数d[x][y]被推导如下：
[0100]
d[x][y]＝clip3(coeffmin,coeffmax,dnc[x][y])
ꢀꢀ
(8-964)
[0101]
接下来描述信令的描述和缩放矩阵的定义。视频编码器200和视频解码器300可以被配置为处理缩放矩阵。缩放矩阵是用于缩放变换系数的一组系数。缩放矩阵的两种用途是速率控制和感知质量控制。视频的速率控制通常通过调整块的qp值来执行。然而，qp差导致应用到整个块的统一缩放因子。缩放矩阵可以用于变换块内各种系数之间的相对控制。
例如，缩放矩阵可以被定义为使得低频系数比高频系数量化得少，这对于高频内容较少的内容可能是有益的。对于感知质量控制，缩放矩阵也可以用于控制变换块内系数的相对精度，使得视频的感知质量以较低比特率维持。使用缩放矩阵的基于人类视觉系统(hvs)的量化可以为某些类型的内容提供较好质量的视频。
[0102]
缩放矩阵是使用在自适应参数集(aps)中发信号通知的缩放列表来发信号通知的。在sps中，缩放列表可以被启用或禁用。如果sps指示缩放列表被启用，则切片头部中的附加信令可以被使用来打开和关闭缩放矩阵。
[0103]
针对每个变换块大小和块的预测类型来定义缩放矩阵。矩阵是从缩放列表中推导的。pps/sps中发信号通知的缩放列表的语法如下：
[0104]
[0105][0106]
在jvet-q2001的7.4.3.21部分(例如，vvc草案8)中提供了缩放矩阵的语义，并在此被再现以供参考。
[0107]
缩放列表数据语义描述如下。
[0108]
scaling_matrix_for_lfnst_disabled_flag等于1指定缩放矩阵不被应用于用lfnst译码的块。scaling_matrix_for_lfnst_disabled_flag等于0指定缩放矩阵可以应用到用lfnst译码的块。
[0109]
scaling_list_chroma_present_flag等于1指定色度缩放列表存在于scaling_list_data()中。scaling_list_chroma_present_flag等于0指定色度缩放列表不存在于scaling_list_data()中。比特流一致性的一个要求是，当chromaarraytype等于0时，scaling_list_chroma_present_flag(当存在时)应等于0，并且当chromaarraytype不等于0时，scaling_list_chroma_present_flag应等于1。
[0110]
scaling_list_copy_mode_flag[id]等于1指定缩放列表的值与参考缩放列表的值相同。参考缩放列表由scaling_list_pred_id_delta[id]指定。scaling_list_copy_mode_flag[id]等于0指定scaling_list_pred_mode_flag存在。
[0111]
scaling_list_pred_mode_flag[id]等于1指定缩放列表的值可以从参考缩放列表预测。参考缩放列表由scaling_list_pred_id_delta[id]指定。scaling_list_pred_mode_flag[id]等于0指定缩放列表的值可以被显式地发信号通知。当不存在时，scaling_list_pred_mode_flag[id]的值被推断为等于0。
[0112]
scaling_list_pred_id_delta[id]指定用于推导预测缩放矩阵scalingmatrixpred[id]的参考缩放列表。当不存在时，scaling_list_pred_id_delta[id]的值被推断为等于0。scaling_list_pred_id_delta[id]的值应在0到maxiddelta的范围内，maxiddelta根据id推导，如下所示：
[0113]
maxiddelta＝(id《2)？id:((id《8)？(id-2):(id-8))(106)
[0114]
变量refid和matrixsize被推导如下：
[0115]
refid＝id-scaling_list_pred_id_delta[id]
ꢀꢀ
(107)
[0116]
matrixsize＝(id《2)？2:((id《8)？4:8)
ꢀꢀ
(108)
[0117]
(matrixsize)
×
(matrixsize)阵列scalingmatrixpred[x][y](其中，x＝0..matrixsize-1，y＝0..matrixsize-1)和变量scalingmatrixdcpred可以被推导如下：
[0118]-当scaling_list_copy_mode_flag[id]和scaling_list_pred_mode_flag[id]都等于0时，scalingmatrixpred的所有元素都被设置为等于8，并且scalingmatrixdcpred的值被设置为等于8。
[0119]-否则，当scaling_list_pred_id_delta[id]等于0时，scalingmatrixpred的所有元素都被设置为等于16，scalingmatrixdcpred被设置为等于16。
[0120]-否则(scaling_list_copy_mode_flag[id]或scaling_list_pred_mode_flag[id]等于1并且scaling_list_pred_id_delta[id]大于0)，scalingmatrixpred被设置为等于scalingmatrixrec[refid]，以下适用于scalingmatrixdcpred：
[0121]-如果refid大于13，则scalingmatrixdcpred被设置为等于scalingmatrixdcrec[refid-14]。
[0122]-否则(refid小于或等于13)，scalingmatrixdcpred被设置为等于scalingmatrixpred[0][0]。
[0123]
当id大于13时，scaling_list_dc_coef[id-14]用于推导变量scalingmatrixdc
[id-14]的值，如下所示：
[0124]
scalingmatrixdcrec[id-14]＝(scalingmatrixdcpred scaling_list_dc_coef[id-14])&255
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(109)
[0125]
不存在时，scaling_list_dc_coef[id-14]的值被推断为等于0。scaling_list_dc_coef[id
–
14]的值应在-128到127(含-128和127)的范围内。scalingmatrixdcrec[id-14]的值应大于0。
[0126]
scaling_list_delta_coef[id][i]指定当scaling_list_copy_mode_flag[id]等于0时，当前矩阵系数scalinglist[id][i]与先前矩阵系数scalinglist[id][i-1]之间的差。scaling_list_delta_coef[id][i]的值应在-128到127(含-128和127)的范围内。当scaling_list_copy_mode_flag[id]等于1时，scalinglist[id]的所有元素都被设置为等于0。
[0127]
(matrixsize)
×
(matrixsize)阵列scalingmatrixrec[id]被推导如下：
[0128]
scalingmatrixrec[id][x][y]＝(scalingmatrixpred[x][y] scalinglist[id][k])&255
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(110)
[0129]
其中，k＝0...(matrixsize*matrixsize-1)，x＝diagscanorder[log2(matrixsize)][log2(matrixsize)][k][0]，并且y＝diagscanorder[log2(matrixsize)][log2(matrixsize)][k][1]
[0130]
scalingmatrixrec[id][x][y]的值应大于0。
[0131]
由变量scalingfactor[wid][hid][matrixid][x][y]表示的缩放矩阵是根据缩放列表数据推导的。wid和hid指代表变换块的大小的sizeid变量。sizeid和matrixid由下表给出：
[0132]
表7-5
–
缩放列表id与预测模式和分量的关联
[0133][0134]
缩放矩阵及其推导物的一些显著特征提供如下：
[0135]
·
针对三种颜色分量和两种预测类型中的每一种分别指定缩放矩阵：帧间预测和ibc被一起视为一种类型，并且帧内预测被视为另一种类型。
[0136]
·
为方形变换块指定缩放列表(以及因此推导的矩阵)。对于矩形tb，缩放矩阵是根据对应正方形tb的缩放矩阵推导的。
[0137]
·
对于16
×
16、32
×
32和64
×
64缩放矩阵，只有64个系数被指定为8
×
8网格，并且较大块的矩阵系数通过将系数上采样到期望的大小来获得。在这样的情况下，也发信号通知dc系数。
[0138]
·
基于发信号通知的缩放列表的大小，缩放列表被分为三个类别：
[0139]
ο类别1：id为0和1的缩放列表；这些列表具有4(即2
×
2)个系数的大小
[0140]
ο类别2：id为2到7(含2和7)的缩放列表；这些列表具有16(即4
×
4)个系数的大小
[0141]
ο类别3：id为8到27(含8和27)的缩放列表；这些列表具有64(即8
×
8)个系数的大小
[0142]
在缩放列表aps中可以指定总共28个缩放列表。在3个类别中的每个类别中，缩放列表可以根据具有较小id的其他缩放列表预测或复制。例如，id为5(类别2)的缩放列表可以根据id为2到4(含2和4)(也是类别2)的任何缩放列表预测，但不能根据类别1和3或id为6和7的缩放列表预测。预测可以是复制(参考缩放列表的值被不加改变地使用)或者增量(delta)预测(增量值被发信号通知给参考缩放矩阵的值)。当还针对特定的sizeid发信号通知dc系数时，dc系数也可以根据参考缩放列表的dc系数复制或预测，或被显式发信号通知。
[0143]
图3是示出可以执行本公开的技术的示例视频编码器200的框图。图3是为了说明的目的而提供，并且不应被认为是对本公开中广泛例示和描述的技术的限制。出于解释的目的，本公开描述了根据vvc(itu-t h.266，正在开发中)和hevc(itu-t h.265)的技术的视频编码器200。然而，本公开的技术可以由被配置为其他视频译码标准的视频编码设备来执行。
[0144]
在图3的示例中，视频编码器200包括视频数据存储器230、模式选择单元202、残差生成单元204、变换处理单元206、量化单元208、逆量化单元210、逆变换处理单元212、重构单元214、滤波器单元216、解码图片缓冲器(dpb)218、以及熵编码单元220。视频数据存储器230、模式选择单元202、残差生成单元204、变换处理单元206、量化单元208、逆量化单元210、逆变换处理单元212、重构单元214、滤波器单元216、dpb 218以及熵编码单元220中的任何一个或全部可以在一个或多个处理器中或在处理电路中实施。例如，视频编码器200的单元可实施为一个或多个电路或逻辑元件，作为硬件电路的一部分，或作为fpga的处理器asic的一部分。此外，视频编码器200可以包括附加的或可替代的处理器或处理电路来执行这些功能和其他功能。
[0145]
视频数据存储器230可以存储要由视频编码器200的组件编码的视频数据。视频编码器200可以从例如视频源104(图1)接收存储在视频数据存储器230中的视频数据。dpb 218可以充当参考图片存储器，其存储参考视频数据用于由视频编码器200预测后续视频数据。视频数据存储器230和dpb218可以由多种存储器设备中的任何一种形成，多种存储器设备诸如动态随机存取存储器(dram)，包括同步dram(sdram)、磁阻ram(mram)、电阻ram(rram)或其他类型的存储器设备。视频数据存储器230和dpb218可以由相同的存储器设备或分离的存储器设备提供。在各种示例中，视频数据存储器230可以与视频编码器200的其他组件一起在片上(如图所示)，或者相对于那些组件在片外。
[0146]
在本公开中，对视频数据存储器230的引用不应被解释为仅限于视频编码器200内部的存储器(除非具体描述为这样)，或者不应被解释为仅限于视频编码器200外部的存储器(除非具体描述为这样)。而是，对视频数据存储器230的引用应当理解为存储视频编码器200接收用于编码的视频数据(例如，要编码的当前块的视频数据)的参考存储器。图1的存储器106还可以提供来自视频编码器200的各个单元的输出的临时存储。
[0147]
示出图3的各个单元以帮助理解由视频编码器200执行的操作。这些单元可以实施为固定功能电路、可编程电路或其组合。固定功能电路指的是提供特定功能性并且被预设了可以执行的操作的电路。可编程电路指的是可以被编程以执行各种任务，并且在可以执行的操作中提供灵活功能性的电路。例如，可编程电路可以执行软件或固件，该软件或固件使可编程电路以由该软件或固件的指令所定义的方式来操作。固定功能电路可以执行软件指令(例如，以接收参数或输出参数)，但是固定功能电路执行的操作的类型通常是不变的。在一些示例中，一个或多个单元可以是不同的电路块(固定功能或可编程)，并且在一些示例中，一个或多个单元可以是集成电路。
[0148]
视频编码器200可以包括由可编程电路形成的算术逻辑单元(alu)、基本功能单元(efu)、数字电路、模拟电路和/或可编程核。在使用由可编程电路执行的软件来执行视频编码器200的操作的示例中，存储器106(图1)可以存储视频编码器200接收并执行的软件的指令(例如，目标代码)，或者在视频编码器200内的另一个存储器(未显示)可以存储这样的指令。
[0149]
视频数据存储器230被配置为存储接收到的视频数据。视频编码器200可从视频数据存储器230取得视频数据的图片，并将视频数据提供给残差生成单元204和模式选择单元202。视频数据存储器230中的视频数据可以是将被编码的原始视频数据。
[0150]
模式选择单元202包括运动估计单元222、运动补偿单元224和帧内预测单元226。模式选择单元202可以包括附加功能单元，以根据其他预测模式来执行视频预测。作为示例，模式选择单元202可以包括调色板单元、帧内块复制单元(其可以是运动估计单元222和/或运动补偿单元224的一部分)、仿射单元、线性模型(lm)单元等。
[0151]
模式选择单元202通常协调多个编码通道(pass)，以测试编码参数的组合以及针对这种组合的结果速率失真值。编码参数可以包括将ctu分割为cu、用于cu的预测模式、用于cu的残差数据的变换类型、用于cu的残差数据的量化参数等。模式选择单元202可以最终选择具有比其他测试的组合更好的速率失真值的编码参数的组合。
[0152]
视频编码器200可以将从视频数据存储器230取得的图片分割为一系列ctu，并将一个或多个ctu封装在切片中。模式选择单元202可以根据诸如上述hevc的qtbt结构或四叉树结构的树结构来分割图片的ctu。如以上所描述，视频编码器200可以通过根据树结构分割ctu来形成一个或多个cu。这样的cu通常也可以被称为“视频块”或“块”。
[0153]
一般而言，模式选择单元202还控制其组件(例如，运动估计单元222、运动补偿单元224和帧内预测单元226)以生成针对当前块(例如，当前cu，或hevc中，pu和tu的重叠部分)的预测块。对于当前块的帧间预测，运动估计单元222可以执行运动搜索以识别一个或多个参考图片(例如，存储在dpb 218中的一个或多个先前译码的图片)中的一个或多个紧密匹配的参考块。具体地，运动估计单元222可以例如根据绝对差之和(sad)、平方差之和(ssd)、平均绝对差(mad)、均方差(msd)等来计算代表潜在参考块与当前块有多相似的值。运动估计单元222通常可以使用当前块与所考虑的参考块之间的逐样本差来执行这些计算。运动估计单元222可以识别具有通过这些计算产生的最低值的参考块，从而指示与当前块最紧密匹配的参考块。
[0154]
运动估计单元222可以形成一个或多个运动矢量(mv)，其定义参考图片中的参考块相对于当前图片中的当前块的位置的位置。然后，运动估计单元222可以将运动矢量提供
给运动补偿单元224。例如，对于单向帧间预测，运动估计单元222可提供单个运动矢量，而对于双向帧间预测，运动估计单元222可以提供两个运动矢量。运动补偿单元224然后可以使用运动矢量来生成预测块。例如，运动补偿单元224可以使用运动矢量来取得参考块的数据。作为另一示例，如果运动矢量具有分数采样精度，则运动补偿单元224可以根据一个或多个插值滤波器来插值用于预测块的值。此外，对于双向帧间预测，运动补偿单元224可以取得由相应运动矢量识别的两个参考块的数据，并例如通过逐样本平均或加权平均来将所取得的数据进行组合。
[0155]
作为另一示例，对于帧内预测或帧内预测译码，帧内预测单元226可以根据与当前块相邻的样本生成预测块。例如，对于方向模式，帧内预测单元226通常可以在数学上组合相邻样本的值，并在跨当前块的定义方向上填充这些计算值以产生预测块。作为另一示例，对于dc模式，帧内预测单元226可以计算当前块的相邻样本的平均值，并且生成预测块以对于预测块的每个样本包括这样所得到的平均值。
[0156]
模式选择单元202将预测块提供给残差生成单元204。残差生成单元204从视频数据存储器230接收当前块的原始的未编码的版本，并从模式选择单元202接收预测块。残差生成单元204计算当前块与预测块之间的逐样本差。得到的逐样本差定义了当前块的残差块。在一些示例中，残差生成单元204还可以确定残差块中的样本值之间的差，以使用残差差分脉冲译码调制(rdpcm)生成残差块。在一些示例中，可以使用执行二进制减法的一个或多个减法器电路来形成残差生成单元204。
[0157]
在模式选择单元202将cu分割为pu的示例中，每个pu可以与亮度预测单元和对应的色度预测单元相关联。视频编码器200和视频解码器300可以支持具有各种大小的pu。如上所指示的，cu的大小可以指cu的亮度译码块的大小，pu的大小可以指pu的亮度预测单元的大小。假设特定cu的大小是2n
×
2n，视频编码器200可以支持用于帧内预测的2n
×
2n或n
×
n的pu大小，以及用于帧间预测的2n
×
2n、2n
×
n、n
×
2n、n
×
n或类似大小的对称pu大小。视频编码器200和视频解码器300还可以支持用于帧间预测的2n
×
nu、2n
×
nd、nl
×
2n和nr
×
2n的pu大小的非对称分割。
[0158]
在模式选择单元202不将cu进一步分割为pu的示例中，每个cu可以与亮度译码块和对应的色度译码块相关联。如上所述，cu的大小可以指cu的亮度译码块的大小。视频编码器200和视频解码器300可以支持2n
×
2n、2n
×
n或n
×
2n的cu大小。
[0159]
对于诸如帧内块复制模式译码、仿射模式译码和线性模型(lm)模式译码(仅举几例)的其他视频译码技术，模式选择单元202经由与译码技术相关联的各个单元，为正在被编码的当前块生成预测块。在一些示例中，诸如调色板模式译码中，模式选择单元202可以不生成预测块，而是生成指示基于所选调色板来重构块的方式的语法元素。在这种模式中，模式选择单元202可以将这些语法元素提供给熵编码单元220以被编码。
[0160]
如以上所描述，残差生成单元204接收当前块和对应预测块的视频数据。残差生成单元204随后生成针对当前块的残差块。为了生成残差块，残差生成单元204计算预测块与当前块之间的逐样本差。
[0161]
变换处理单元206对残差块应用一个或多个变换以生成变换系数的块(本文称为“变换系数块”)。变换处理单元206可以将各种变换应用到残差块以形成变换系数块。例如，变换处理单元206可以将离散余弦变换(dct)、方向变换、karhunen-loeve变换(klt)或概念
上类似的变换应用到残差块。在一些示例中，变换处理单元206可以对残差块执行多个变换，例如，主变换和次级变换(诸如，旋转变换)。在一些示例中，变换处理单元206不对残差块应用变换。
[0162]
量化单元208可以对变换系数块中的变换系数进行量化，以产生经量化的变换系数块。量化单元208可以根据与当前块相关联的量化参数(qp)值对变换系数块的变换系数进行量化。视频编码器200(例如，经由模式选择单元202)可以通过调整与cu相关联的qp值来调整应用到与当前块相关联的变换系数块的量化程度。量化可能引入信息损失，因此，经量化的变换系数可以具有比由变换处理单元206产生的原始变换系数更低的精度。
[0163]
逆量化单元210和逆变换处理单元212可以分别对经量化的变换系数块应用逆量化和逆变换，以根据变换系数块重构残差块。重构单元214可以基于重构的残差块以及由模式选择单元202生成的预测块来产生与当前块对应的重构块(尽管潜在地具有某种程度的失真)。例如，重构单元214可以将重构的残差块的样本与由模式选择单元202生成的预测块的对应样本相加，以产生重构块。
[0164]
滤波器单元216可以对重构块执行一个或多个滤波操作。例如，滤波器单元216可以执行去块操作以减少沿cu边缘的块状伪影。在一些示例中，可以跳过滤波器单元216的操作。
[0165]
视频编码器200将重构块存储在dpb 218中。例如，在不需要滤波器单元216的操作的示例中，重构单元214可以将重构块存储到dpb 218中。在需要滤波器单元216的操作的示例中，滤波器单元216可以将滤波后的重构块存储到dpb 218中。运动估计单元222和运动补偿单元224可以从dpb 218取得由重构(和可能滤波)的块形成的参考图片，以对随后经编码的图片的块进行帧间预测。另外，帧内预测单元226可以使用当前图片的dpb 218中的重构块来对当前图片中的其他块进行帧内预测。
[0166]
一般而言，熵编码单元220可以对从视频编码器200的其他功能组件接收的语法元素进行熵编码。例如，熵编码单元220可以对来自量化单元208的经量化的变换系数块进行熵编码。作为另一示例，熵编码单元220可以对来自模式选择单元202的预测语法元素(例如，用于帧间预测的运动信息或用于帧内预测的帧内模式信息)进行熵编码。熵编码单元220可以对作为视频数据的另一示例的语法元素执行一个或多个熵编码操作，以生成经熵编码的数据。例如，熵编码单元220可以执行上下文自适应可变长度译码(cavlc)操作、cabac操作、可变至可变(v2v)长度译码操作、基于语法的上下文自适应二进制算术译码(sbac)操作、概率区间分割熵(pipe)译码操作，指数-格伦布(golomb)编码操作，或对数据的另一类型的熵编码操作。在一些示例中，熵编码单元220可以在不对语法元素进行熵编码的旁路模式下操作。
[0167]
视频编码器200可以输出包括重构切片或图片的块所需的经熵编码的语法元素的比特流。具体地，熵编码单元220可以输出该比特流。
[0168]
以上描述的操作是相对于块而描述的。这样的描述应当理解为用于亮度译码块和/或色度译码块的操作。如以上所描述，在一些示例中，亮度译码块和色度译码块是cu的亮度和色度分量。在一些示例中，亮度译码块和色度译码块是pu的亮度和色度分量。
[0169]
在一些示例中，相对于色度译码块执行的操作不需要针对亮度译码块进行重复。作为一个示例，用于识别针对亮度译码块的运动向量(mv)和参考图片的操作不需要被重复
以用于识别针对色度块的mv和参考图片。而是，针对亮度译码块的mv可以被缩放以确定针对色度块的mv，并且参考图片可以相同。作为另一示例，对于亮度译码块和色度译码块，帧内预测处理可以是相同的。
[0170]
视频编码器200表示被配置为对视频数据进行编码的设备的示例，该设备包括被配置为存储视频数据的存储器，以及在电路中实施并且被配置为执行以下操作的一个或多个处理单元：获得用于自适应颜色变换(act)的缩放列表；在经译码的视频比特流中对指定缩放列表可以应用到的块类型集的语法元素进行编码；以及将act应用到具有包括在块类型集中的块类型的视频数据块。
[0171]
视频编码器200表示被配置为对视频数据进行编码的设备的示例，该设备包括被配置为存储视频数据的存储器，以及在电路中实施并且被配置为执行以下操作的一个或多个处理单元：获得低频不可分离变换(lfnst)的缩放列表；在经译码的视频比特流中对指定缩放列表可以应用到的块类型集的语法元素进行编码；以及将lfnst应用到具有包括在块类型集中的块类型的视频数据块。
[0172]
图4是示出可以执行本公开的技术的示例视频解码器300的框图。图4是为了说明的目的而提供，并且不限制在本公开中广泛例示和描述的技术。出于解释的目的，本公开描述了根据vvc(itu-t h.266，正在开发中)和hevc(itu-t h.265)的技术的视频解码器300。然而，本公开的技术可以由被配置为其他视频译码标准的视频译码设备来执行。
[0173]
在图4的示例中，视频解码器300包括经译码图片缓冲器(cpb)存储器320、熵解码单元302、预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310、滤波器单元312和解码图片缓冲器(dpb)314。cpb存储器320、熵解码单元302、预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310、滤波器单元312和dpb 314中的任何以一个或全部可以在一个或多个处理器中或处理电路中实施。例如，视频解码器300的单元可实施为一个或多个电路或逻辑元件，作为硬件电路的一部分，或作为fpga的处理器asic的一部分。此外，视频解码器300可以包括附加的或可替代的处理器或处理电路来执行这些功能或其他功能。
[0174]
预测处理单元304包括运动补偿单元316和帧内预测单元318。预测处理单元304可以包括附加单元，以根据其他预测模式执行预测。作为示例，预测处理单元304可以包括调色板单元、帧内块复制单元(其可以形成运动补偿单元316的一部分)、仿射单元、线性模型(lm)单元等。在其他示例中，视频解码器300可以包括更多、更少或不同的功能组件。
[0175]
cpb存储器320可以存储要由视频解码器300的组件进行解码的视频数据，诸如经编码的视频比特流。存储在cpb存储器320中的视频数据可以例如从计算机可读介质110(图1)获得。cpb存储器320可以包括存储来自经编码的视频比特流的经编码的视频数据(例如，语法元素)的cpb。此外，cpb存储器320可以存储除了经译码的图片的语法元素以外的视频数据，诸如代表来自视频解码器300的各个单元的输出的临时数据。dpb 314通常存储经解码的图片，视频解码器300可以输出这些经解码的图片和/或视频解码器300在对经编码的视频比特流的后续数据或图片进行解码时可以将这些经解码的图片用作参考视频数据。cpb存储器320和dpb 314可以由多种存储器设备中的任何一种形成，多种存储器设备诸如dram，包括sdram、mram、rram或其他类型的存储器设备。cpb存储器320和dpb 314可以由相同的存储器设备或分离的存储器设备提供。在各种示例中，cpb存储器320可以与视频解码
器300的其他组件一起位于片上，或者相对于这些组件位于片外。
[0176]
附加地或可替代地，在一些示例中，视频解码器300可以从存储器120(图1)取得经译码的视频数据。也就是说，存储器120可以如上所讨论地与cpb存储器320一起存储数据。同样地，当视频解码器300的部分或全部功能性在将由视频解码器300的处理电路执行的软件中实施时，存储器120可以存储将由视频解码器300执行的指令。
[0177]
图4所示的各种单元被示出以帮助理解视频解码器300执行的操作。这些单元可以实施为固定功能电路、可编程电路或其组合。与图3类似，固定功能电路指的是提供特定功能性并且被预设了可以执行的操作的电路。可编程电路指的是可以被编程以执行各种任务，并且在可以执行的操作中提供灵活功能性的电路。例如，可编程电路可以执行软件或固件，该软件或固件使可编程电路以由该软件或固件的指令所定义的方式来操作。固定功能电路可以执行软件指令(例如，以接收参数或输出参数)，但是固定功能电路执行的操作的类型通常是不变的。在一些示例中，一个或多个单元可以是不同的电路块(固定功能或可编程)，并且在一些示例中，一个或多个单元可以是集成电路。
[0178]
视频解码器300可以包括alu、efu、数字电路、模拟电路和/或由可编程电路形成的可编程核。在视频解码器300的操作由在可编程电路上执行的软件执行的示例中，片上或片外存储器可以存储视频解码器300接收和执行的软件的指令(例如，目标代码)。
[0179]
熵解码单元302可以从cpb接收经编码的视频数据，并且对视频数据进行熵解码以再现语法元素。预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310和滤波器单元312可以基于从比特流提取的语法元素生成经解码的视频数据。
[0180]
通常，视频解码器300在逐块的基础上重构图片。视频解码器300可以单独地对每个块执行重构操作(其中当前正在被重构的块，即被解码的块，可以被称为“当前块”)。
[0181]
熵解码单元302可以对定义经量化的变换系数块的经量化的变换系数的语法元素以及诸如量化参数(qp)和/或变换模式指示的变换信息进行熵解码。逆量化单元306可以使用与经量化的变换系数块相关联的qp来确定量化程度，并且同样地，确定逆量化单元306要应用的逆量化程度。逆量化单元306例如可以执行逐位左移操作以对经量化的变换系数进行逆量化。逆量化单元306由此可以形成包括变换系数的变换系数块。
[0182]
在逆量化单元306形成变换系数块之后，逆变换处理单元308可以对变换系数块应用一个或多个逆变换，以生成与当前块相关联的残差块。例如，逆变换处理单元308可以对变换系数块应用逆dct、逆整数变换、逆karhunen-loeve变换(klt)、逆旋转变换、逆方向变换或另一逆变换。
[0183]
此外，预测处理单元304根据由熵解码单元302熵解码的预测信息语法元素来生成预测块。例如，如果预测信息语法元素指示当前块是帧间预测的，则运动补偿单元316可以生成预测块。在这种情况下，预测信息语法元素可以指示dpb 314中要从中取得参考块的参考图片，以及标识参考图片中的参考块相对于当前图片中的当前块的位置的位置的运动矢量。运动补偿单元316通常可以以基本上类似于相对于运动补偿单元224(图3)所描述的方式的方式来执行帧间预测处理。
[0184]
作为另一示例，如果预测信息语法元素指示当前块是帧内预测的，则帧内预测单元318可以根据由预测信息语法元素指示的帧内预测模式生成预测块。同样，帧内预测单元318通常可以以基本上类似于相对于帧内预测单元226(图3)所描述的方式的方式来执行帧
内预测处理。帧内预测单元318可以从dpb 314取得当前块的相邻样本的数据。
[0185]
重构单元310可以使用预测块和残差块来重构当前块。例如，重构单元310可以将残差块的样本与预测块的对应样本相加，以重构当前块。
[0186]
滤波器单元312可以对重构块执行一个或多个滤波操作。例如，滤波器单元312可以执行去块操作以减少沿重构块边缘的块状伪影。滤波器单元312的操作并不一定在所有示例中都必须执行。
[0187]
视频解码器300可以将重构块存储在dpb 314中。例如，在不执行滤波器单元312的操作的示例中，重构单元310可以将重构块存储至dpb 314。在执行滤波器单元312的操作的示例中，滤波器单元312可以将滤波后的重构块存储至dpb 314。如上所讨论的，dpb 314可以向预测处理单元304提供参考信息，诸如用于帧内预测的当前图片的样本和用于后续运动补偿的先前解码的图片的样本。此外，视频解码器300可以输出来自dpb 314的经解码的图片(例如，经解码的视频)，用于随后在诸如图1的显示设备118的显示设备上呈现。
[0188]
以这种方式，视频解码器300表示视频解码设备的示例，该设备包括被配置为存储视频数据的存储器，以及在电路中实施并且被配置为执行以下操作的一个或多个处理单元：获得用于自适应颜色变换(act)的缩放列表；从经译码的视频比特流中对指定缩放列表可以应用到的块类型集的语法元素进行解码；以及将act应用到具有包括在块类型集中的块类型的视频数据块。
[0189]
视频解码器300表示被配置为对视频数据进行解码的设备的示例，该设备包括被配置为存储视频数据的存储器，以及在电路中实施并且被配置为执行以下操作的一个或多个处理单元：获得低频不可分离变换(lfnst)的缩放列表；从经译码的视频比特流中对指定缩放列表可以应用到的块类型集的语法元素进行解码；以及将lfnst应用到具有包括在块类型集中的块类型的视频数据块。
[0190]
图5是示出用于对当前块进行编码的示例方法的流程图。当前块可以包括当前cu。尽管关于视频编码器200(图1和图3)进行了描述，但是应当理解，其他设备可以被配置为执行类似于图5的方法的方法。
[0191]
在该示例中，视频编码器200最初预测当前块(350)。例如，视频编码器200可以形成当前块的预测块。然后，视频编码器200可以计算当前块的残差块(352)。为了计算残差块，视频编码器200可以计算原始的未编码块与当前块的预测块之间的差。视频编码器200然后可以对残差块进行变换并且对残差块的变换系数进行量化(354)。接下来，视频编码器200可以扫描残差块的经量化的变换系数(356)。在扫描期间或扫描之后，视频编码器200可以对变换系数进行熵编码(358)。例如，视频编码器200可以使用cavlc或cabac对变换系数进行编码。视频编码器200然后可以输出块的经熵编码的数据(360)。
[0192]
图6是示出用于对视频数据的当前块进行解码的示例方法的流程图。当前块可以包括当前cu。尽管关于视频解码器300(图1和图4)进行了描述，但是应当理解，其他设备可以被配置为执行类似于图6的方法的方法。
[0193]
视频解码器300可以接收当前块的经熵编码的数据，诸如经熵编码的预测信息和与当前块相对应的残差块的变换系数的经熵编码的数据(370)。视频解码器300可以对经熵编码的数据进行熵解码，以确定当前块的预测信息和再现残差块的变换系数(372)。视频解码器300可以例如使用由当前块的预测信息指示的帧内或帧间预测模式来预测当前块
(374)，以计算当前块的预测块。视频解码器300然后可以逆扫描经再现的变换系数(376)，以创建经量化的变换系数的块。视频解码器300然后可以对变换系数进行逆量化和将逆变换应用到变换系数以产生残差块(378)。视频解码器300可以通过组合预测块和残差块来最终对当前块进行解码(380)。
[0194]
图7是示出根据本公开的一种或多种技术的用于自适应缩放列表控制的示例方法的流程图。尽管关于视频解码器300(图1和图4)进行了描述，但是应当理解，其他设备可以被配置为执行类似于图7的方法的方法。例如，视频编码器200(图1和图3)可以被配置为执行类似于图7的方法的方法。
[0195]
视频解码器300可以经由经译码的视频比特流对显式地定义的缩放列表进行解码(702)。例如，熵解码单元302可以对表示缩放列表的一个或多个语法元素(例如，scaling_list_pred_id_delta、scaling_list_dc_coef、scaling_list_delta_coef等)进行解码。
[0196]
视频解码器300可以基于经译码的视频比特流的序列参数集(sps)中的一个或多个语法元素来确定显式地定义的缩放列表有资格应用到的块类型集(704)。例如，熵解码单元302可以对一个或多个语法元素(例如，scalinglisttype)进行解码，并且基于语法元素的值来确定块类型集。在一些示例中，块类型集可以包括act块类型或其他块(例如，非act块类型)。如果自适应颜色变换被应用到块，则该块可以是act块类型。
[0197]
在一些示例中，一个或多个语法元素可以包括具有指定act是否被启用的值的第一语法元素。在第一语法元素的值指定act未被启用的情况下，视频解码器300可以确定块类型集不包括act块类型。一个或多个语法元素可以包括第二语法元素，该第二语法元素具有指定块类型集是否包括对其应用了颜色空间转换的块的值(例如，sps_scaling_matrix_for_alternative_colour_space_disabled_flag)。因此，视频解码器300可以基于具有指定块类型集是否包括对其应用了颜色空间转换的块的值的第二语法元素来确定显式地定义的缩放列表有资格应用到的块类型集。
[0198]
视频解码器300可以将显式地定义的缩放列表应用到包括在块类型集中的块(706)。例如，逆量化单元306可以使用显式地定义的缩放列表来对变换系数进行缩放。
[0199]
以下编号的条款可以说明本公开的一个或多个方面：
[0200]
条款1a.一种对视频数据进行译码的方法，该方法包括：获得用于自适应颜色变换(act)的缩放列表；经由经译码的视频比特流对指定可以对其应用缩放列表的块类型集的语法元素进行译码；以及将act应用到具有包括在块类型集中的块类型的视频数据块。
[0201]
条款2a.根据条款1a的方法，其中语法元素包括scalinglisttype语法元素。
[0202]
条款3a.根据条款2a的方法，还包括：响应具有第一值的语法元素，确定块类型集仅包括act块类型。
[0203]
条款4a.根据条款2a或3a的方法，还包括：响应于具有第二值的语法元素，确定块类型集包括act块类型。
[0204]
条款5a.根据条款1a至4a中任一条款的方法，其中将act应用到该块包括将act应用到具有包括在块类型集中的块类型的多个块。
[0205]
条款6a.根据条款1a至5a中任一条款的方法，其中对语法元素进行译码包括在序列参数集(sps)、图片参数集(pps)、图片头部(ph)、切片头部(sh)或自适应参数集(aps)中对语法元素进行译码。
[0206]
条款7a.一种方法，包括：获得用于低频不可分离变换(lfnst)的缩放列表；经由经译码的视频比特流对指定可以对其应用缩放列表的块类型集的语法元素进行译码；以及将lfnst应用到具有包括在块类型集中的块类型的视频数据块。
[0207]
条款8a.根据条款7a的方法，其中语法元素包括scalinglisttype语法元素。
[0208]
条款9a.根据条款8a的方法，还包括：响应具有第一值的语法元素，确定块类型集仅包括自适应颜色变换(act)块类型。
[0209]
条款10a.根据条款8a或9a的方法，还包括：响应于具有第二值的语法元素，确定块类型集仅包括lfnst块类型。
[0210]
条款11a.根据条款8a至10a的方法，还包括：响应于具有第三值的语法元素，确定块类型集包括自适应颜色变换(act)块类型并且不包括lfnst块类型。
[0211]
条款12a.根据条款7a至11a中任一条款的方法，其中将lfnst应用到该块包括将lfnst应用到具有包括在块类型集中的块类型的多个块。
[0212]
条款13a.根据条款7a至12a中任一条款的方法，其中对语法元素进行译码包括在序列参数集(sps)、图片参数集(pps)、图片头部(ph)、切片头部(sh)或自适应参数集(aps)中对语法元素进行译码。
[0213]
条款14a.根据条款1a至13a中任一条款的方法，其中译码包括解码。
[0214]
条款15a.根据条款1a至14a中任一条款的方法，其中译码包括编码。
[0215]
条款16a.一种用于对视频数据进行译码的设备，该设备包括用于执行条款1a15a至中任一条款的方法的一个或多个部件。
[0216]
条款17a.根据权利要求16a的设备，其中一个或多个部件包括在电路中实施的一个或多个处理器。
[0217]
条款18a.根据条款16a和17a中任一条款的设备，还包括存储视频数据的存储器。
[0218]
条款19a.根据条款16a至18a中任一条款的设备，还包括被配置为显示经解码的视频数据的显示器。
[0219]
条款20a.根据条款16a至19a中任一条款的设备，其中该设备包括相机、计算机、移动设备、广播接收器设备或机顶盒中的一个或多个。
[0220]
条款21a.根据条款16a至20a中任一条款的设备，其中该设备包括视频解码器。
[0221]
条款22a.根据条款16a至21a中任一条款的设备，其中该设备包括视频编码器。
[0222]
条款23a.一种计算机可读存储介质，其上存储有指令，该指令在被执行时，使一个或多个处理器执行条款1a至15a中任一条款的方法。
[0223]
条款1b.一种对视频数据进行解码的方法，该方法包括：从经译码的视频比特流中对显式地定义的缩放列表进行解码；基于从经译码的视频比特流的序列参数集(sps)解码的一个或多个语法元素的值，确定显式地定义的缩放列表有资格应用到的块类型集；以及将显式地定义的缩放列表应用到包括在块类型集中的块。
[0224]
条款2b.根据条款1b的方法，还包括：不将显式地定义的缩放列表应用到不包括在块类型集中的块。
[0225]
条款3b.根据条款1b的方法，其中确定块类型集包括确定块类型集是否包括自适应颜色变换(act)块类型。
[0226]
条款4b.根据条款3b的方法，其中一个或多个语法元素包括具有指定act是否被启
用的值的第一语法元素，其中确定块类型集包括确定块类型集不包括act未被启用的act块类型。
[0227]
条款5b.根据条款4b的方法，其中一个或多个语法元素包括具有指定块类型集是否包括对其应用了颜色空间转换的块的值的第二语法元素。
[0228]
条款6b.一种用于对视频数据进行解码的设备，该设备包括：存储器，被配置为存储经译码的视频比特流的至少一部分；以及一个或多个处理器，在电路中实施，并且被配置为：从经译码的视频比特流中对显式地定义的缩放列表进行解码；基于从经译码的视频比特流的序列参数集(sps)解码的一个或多个语法元素的值，确定显式地定义的缩放列表有资格应用到的块类型集；以及将显式地定义的缩放列表应用到包括在块类型集中的块。
[0229]
条款7b.根据条款6b的设备，其中一个或多个处理器被配置为：不将显式地定义的缩放列表应用到不包括在块类型集中的块。
[0230]
条款8b.根据条款6b的设备，其中确定块类型集包括确定块类型集是否包括自适应颜色变换(act)块类型。
[0231]
条款9b.根据条款8b的设备，其中一个或多个语法元素包括具有指定act是否被启用的值的第一语法元素，其中为了确定块类型集，一个或多个处理器被配置为确定块类型集不包括act未被启用的act块类型。
[0232]
条款10b.根据条款9b的设备，其中一个或多个语法元素包括具有指定块类型集是否包括对其应用了颜色空间转换的块的值的第二语法元素。
[0233]
条款11b.一种对视频数据进行编码的方法，该方法包括：在经译码的视频比特流中对显式地定义的缩放列表进行编码；在经译码的视频比特流的序列参数集(sps)中对指定显式地定义的缩放列表有资格应用到的块类型集的一个或多个语法元素进行编码；以及将显式地定义的缩放列表应用到包括在块类型集中的块。
[0234]
条款12b.根据条款11b的方法，还包括：不将显式地定义的缩放列表应用到不包括在块类型集中的块。
[0235]
条款13b.根据条款11b的方法，其中确定块类型集包括确定块类型集是否包括自适应颜色变换(act)块类型。
[0236]
条款14b.根据条款13b的方法，其中一个或多个语法元素包括具有指定act是否被启用的值的第一语法元素，其中确定块类型集包括确定块类型集不包括act未被启用的act块类型。
[0237]
条款15b.根据条款14b的方法，其中一个或多个语法元素包括具有指定块类型集是否包括对其应用了颜色空间转换的块的值的第二语法元素。
[0238]
条款16b.一种用于对视频数据进行编码的设备，该设备包括：存储器，被配置为存储经译码的视频比特流的至少一部分；以及一个或多个处理器，在电路中实施，并且被配置为：在经译码的视频比特流中对显式地定义的缩放列表进行编码；在经译码的视频比特流的序列参数集(sps)中对指定显式地定义的缩放列表有资格应用到的块类型集的一个或多个语法元素进行编码；以及将显式地定义的缩放列表应用到包括在块类型集中的块。
[0239]
条款17b.根据条款16b的设备，其中一个或多个处理器被配置为：不将显式地定义的缩放列表应用到不包括在块类型集中的块。
[0240]
条款18b.根据条款16b的设备，其中确定块类型集包括确定块类型集是否包括自
适应颜色变换(act)块类型。
[0241]
条款19b.根据条款18b的设备，其中一个或多个语法元素包括具有指定act是否被启用的值的第一语法元素，其中为了确定块类型集，一个或多个处理器被配置为确定块类型集不包括act未被启用的act块类型。
[0242]
条款20b.根据条款19b的设备，其中一个或多个语法元素包括具有指定块类型集是否包括对其应用了颜色空间转换的块的值的第二语法元素。
[0243]
条款21b.一种用于对视频数据进行解码的设备，该设备包括：用于从经译码的视频比特流中对显式地定义的缩放列表进行解码的部件；用于基于从经译码的视频比特流的序列参数集(sps)解码的一个或多个语法元素的值，确定显式地定义的缩放列表有资格应用到的块类型集的部件；以及用于将显式地定义的缩放列表应用到包括在块类型集中的块的部件。
[0244]
条款22b.一种用于对视频数据进行编码的设备，该设备包括：用于在经译码的视频比特流中对显式地定义的缩放列表进行编码的部件；用于在经译码的视频比特流的序列参数集(sps)中对指定显式地定义的缩放列表有资格应用到的块类型集的一个或多个语法元素进行编码的部件；以及用于将显式地定义的缩放列表应用到包括在块类型集中的块的部件。
[0245]
条款23b.一种存储指令的计算机可读存储介质，该指令在被执行时使一个或多个处理器：从经译码的视频比特流中对显式地定义的缩放列表进行解码；基于从经译码的视频比特流的序列参数集(sps)解码的一个或多个语法元素的值，确定显式地定义的缩放列表有资格应用到的块类型集；以及将显式地定义的缩放列表应用到包括在块类型集中的块。
[0246]
条款24b.一种存储指令的计算机可读存储介质，该指令在被执行时使一个或多个处理器：在经译码的视频比特流中对显式地定义的缩放列表进行编码；在经译码的视频比特流的序列参数集(sps)中对指定显式地定义的缩放列表有资格应用到的块类型集的一个或多个语法元素进行编码；以及将显式地定义的缩放列表应用到包括在块类型集中的块。
[0247]
条款1c.一种对视频数据进行解码的方法，该方法包括：从经译码的视频比特流中对显式地定义的缩放列表进行解码；基于从经译码的视频比特流的序列参数集(sps)解码的一个或多个语法元素的值，确定显式地定义的缩放列表有资格应用到的块类型集；以及将显式地定义的缩放列表应用到包括在块类型集中的块。
[0248]
条款2c.根据条款1c的方法，还包括：不将显式地定义的缩放列表应用到不包括在块类型集中的块。
[0249]
条款3c.根据条款1c或2c的方法，其中确定块类型集包括确定块类型集是否包括自适应颜色变换(act)块类型。
[0250]
条款4c.根据条款3c的方法，其中一个或多个语法元素包括具有指定act是否被启用的值的第一语法元素，其中确定块类型集包括确定块类型集不包括act未被启用的act块类型。
[0251]
条款5c.根据条款4c的方法，其中一个或多个语法元素包括具有指定块类型集是否包括对其应用了颜色空间转换的块的值的第二语法元素。
[0252]
条款6c.一种用于对视频数据进行解码的设备，该设备包括：存储器，被配置为存
储经译码的视频比特流的至少一部分；以及一个或多个处理器，在电路中实施，并且被配置为：从经译码的视频比特流中对显式地定义的缩放列表进行解码；基于从经译码的视频比特流的序列参数集(sps)解码的一个或多个语法元素的值，确定显式地定义的缩放列表有资格应用到的块类型集；以及将显式地定义的缩放列表应用到包括在块类型集中的块。
[0253]
条款7c.根据条款6c的设备，其中一个或多个处理器被配置为：不将显式地定义的缩放列表应用到不包括在块类型集中的块。
[0254]
条款8c.根据条款6c或7c的设备，其中确定块类型集包括确定块类型集是否包括自适应颜色变换(act)块类型。
[0255]
条款9c.根据条款8c的设备，其中一个或多个语法元素包括具有指定act是否被启用的值的第一语法元素，其中为了确定块类型集，一个或多个处理器被配置为确定块类型集不包括act未被启用的act块类型。
[0256]
条款10c.根据条款9c的设备，其中一个或多个语法元素包括具有指定块类型集是否包括对其应用了颜色空间转换的块的值的第二语法元素。
[0257]
条款11c.一种对视频数据进行编码的方法，该方法包括：在经译码的视频比特流中对显式地定义的缩放列表进行编码；在经译码的视频比特流的序列参数集(sps)中对指定显式地定义的缩放列表有资格应用到的块类型集的一个或多个语法元素进行编码；以及将显式地定义的缩放列表应用到包括在块类型集中的块。
[0258]
条款12c.根据条款11c的方法，还包括：不将显式地定义的缩放列表应用到不包括在块类型集中的块。
[0259]
条款13c.根据条款11c或12c的方法，其中确定块类型集包括确定块类型集是否包括自适应颜色变换(act)块类型。
[0260]
条款14c.根据条款13c的方法，其中一个或多个语法元素包括具有指定act是否被启用的值的第一语法元素，其中确定块类型集包括确定块类型集不包括act未被启用的act块类型。
[0261]
条款15c.根据条款14c的方法，其中一个或多个语法元素包括具有指定块类型集是否包括对其应用了颜色空间转换的块的值的第二语法元素。
[0262]
条款16c.一种用于对视频数据进行编码的设备，该设备包括：存储器，被配置为存储经译码的视频比特流的至少一部分；以及一个或多个处理器，在电路中实施，并且被配置为：在经译码的视频比特流中对显式地定义的缩放列表进行编码；在经译码的视频比特流的序列参数集(sps)中对指定显式地定义的缩放列表有资格应用到的块类型集的一个或多个语法元素进行编码；以及将显式地定义的缩放列表应用到包括在块类型集中的块。
[0263]
条款17c.根据条款16c的设备，其中一个或多个处理器被配置为：不将显式地定义的缩放列表应用到不包括在块类型集中的块。
[0264]
条款18c.根据条款16c或17c的设备，其中确定块类型集包括确定块类型集是否包括自适应颜色变换(act)块类型。
[0265]
条款19c.根据条款18c的设备，其中一个或多个语法元素包括具有指定act是否被启用的值的第一语法元素，其中为了确定块类型集，一个或多个处理器被配置为确定块类型集不包括act未被启用的act块类型。
[0266]
条款20c.根据条款19c的设备，其中一个或多个语法元素包括具有指定块类型集
是否包括对其应用了颜色空间转换的块的值的第二语法元素。
[0267]
条款21c.一种用于对视频数据进行解码的设备，该设备包括：用于从经译码的视频比特流中对显式地定义的缩放列表进行解码的部件；用于基于从经译码的视频比特流的序列参数集(sps)解码的一个或多个语法元素的值，确定显式地定义的缩放列表有资格应用到的块类型集的部件；以及用于将显式地定义的缩放列表应用到包括在块类型集中的块的部件。
[0268]
条款22c.一种用于对视频数据进行编码的设备，该设备包括：用于在经译码的视频比特流中对显式地定义的缩放列表进行编码的部件；用于在经译码的视频比特流的序列参数集(sps)中对指定显式地定义的缩放列表有资格应用到的块类型集的一个或多个语法元素进行编码的部件；以及用于将显式地定义的缩放列表应用到包括在块类型集中的块的部件。
[0269]
条款23c.一种存储指令的计算机可读存储介质，该指令在被执行时使一个或多个处理器：从经译码的视频比特流中对显式地定义的缩放列表进行解码；基于从经译码的视频比特流的序列参数集(sps)解码的一个或多个语法元素的值，确定显式地定义的缩放列表有资格应用到的块类型集；以及将显式地定义的缩放列表应用到包括在块类型集中的块。
[0270]
条款24c.一种存储指令的计算机可读存储介质，该指令在被执行时使一个或多个处理器：在经译码的视频比特流中对显式地定义的缩放列表进行编码；在经译码的视频比特流的序列参数集(sps)中对指定显式地定义的缩放列表有资格应用到的块类型集的一个或多个语法元素进行编码；以及将显式地定义的缩放列表应用到包括在块类型集中的块。
[0271]
条款1d.条款1a至24c的任何组合。
[0272]
应当认识到，取决于该示例，本文中描述的任何技术的某些动作或事件可以以不同的顺序执行，可以一起添加、合并或省略(例如，并非所有描述的动作或事件对于技术的实践都是必需的)。此外，在某些示例中，动作或事件可以并发地执行，例如，通过多线程处理、中断处理或多个处理器，而不是顺序地执行。
[0273]
在一个或多个示例中，所描述的功能可以在硬件、软件、固件或其任何组合中实现。如果以软件实现，则这些功能可以作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质传输，并由基于硬件的处理单元执行。计算机可读介质可以包括计算机可读存储介质，其对应于诸如数据存储介质之类的有形介质，或者包括例如根据通信协议促进计算机程序从一个地方传输到另一个地方的任何介质的通信介质。以这种方式，计算机可读介质通常可对应于(1)非暂时性的、有形的计算机可读存储介质或(2)诸如信号或载波的通信介质。数据存储介质可以是可由一个或多个计算机或一个或多个处理器访问以取得用于实现本公开中描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可以包括计算机可读介质。
[0274]
作为示例而非限制，这种计算机可读存储介质可以包括ram、rom、eeprom、cd-rom或其他光盘存储、磁盘存储或其他磁存储设备、闪存、或任何其他可用于以指令或数据结构的形式存储所需程序代码并可由计算机访问的介质。此外，任何连接都适当地称为计算机可读介质。例如，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(dsl)或诸如红外、无线电和微波的无线技术从网站、服务器或其他远程源传输指令，则同轴电缆、光纤电缆、双绞
线、dsl或诸如红外、无线电和微波的无线技术被包括在介质的定义中。然而，应当理解，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其他暂时性介质，而是指向非暂时性的有形存储介质。本文所使用的磁盘和光盘包括压缩光盘(cd)、激光光盘、光盘、数字多功能光盘(dvd)、软盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘则用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。
[0275]
指令可由诸如以下各项的一个或多个处理器执行：一个或多个数字信号处理器(dsp)、通用微处理器、专用集成电路(asic)、现场可编程门阵列(fpga)或其他等效的集成或分立逻辑电路。因此，如本文所使用的术语“处理器”、“处理电路”可以指上述结构中的任何一种或适合于实现本文所描述的技术的任何其他结构。另外，在一些方面中，本文所描述的功能性可在配置用于编码和解码的专用硬件和/或软件模块内提供，或并入组合编解码器中。此外，这些技术可以在一个或多个电路或逻辑元件中完全实现。
[0276]
本公开的技术可以在多种设备或装置中实现，包括无线手持机、集成电路(ic)或ic集(例如，芯片集)。在本公开中描述了各种组件、模块或单元，以强调被配置为执行所公开的技术的设备的功能方面，但不一定需要由不同的硬件单元实现。而是，如以上所描述，各种单元可以组合在编解码器硬件单元中，或者由包括如以上所描述的一个或多个处理器的互操作硬件单元的集合结合适当的软件和/或固件来提供。
[0277]
已经描述了各种示例。这些示例和其他示例在所附权利要求的范围内。