在视频编码中用于执行帧内预测编码的系统和方法与流程

1.本公开涉及视频编码，并且更具体地涉及用于执行帧内预测的技术。


背景技术：

2.数字视频功能可以结合到各种设备中，包括数字电视、笔记本电脑或台式电脑、平板电脑、数字录音设备、数字媒体播放器、视频游戏设备、蜂窝电话(包括所谓的智能电话)、医学成像设备等。可以根据视频编码标准对数字视频进行编码。视频编码标准定义了封装编码视频数据的兼容比特流的格式。兼容比特流是可以由视频解码设备接收和解码以生成重构视频数据的数据结构。视频编码标准可以结合视频压缩技术。视频编码标准的示例包括iso/iec mpeg-4visual和itu-t h.264(也被称为iso/iec mpeg-4avc)和高效视频编码(hevc)。hevc在2016年12月的itu-t h.265建议书的高效视频编码(hevc)中有所描述，该文献以引用方式并入本文，并且在本文中被称为itu-t h.265。目前正在考虑对itu-t h.265进行扩展和改进以开发下一代视频编码标准。例如，itu-t视频编码专家组(vceg)和iso/iec活动图像专家组(mpeg)(被统称为联合视频研究组(jvet))正在致力于标准化压缩能力显著超过当前hevc标准的视频编码技术。以引用方式并入本文的联合探索模型7(jem 7)、联合探索测试模型7(jem 7)的算法描述、iso/iec jtc1/sc29/wg11文档：jvet-g1001(2017年7月，意大利，都灵)描述了由jvet在联合测试模型研究下的编码特征，该技术是超越itu-t h.265功能的潜在增强视频编码技术。应当指出的是，jem7的编码特征在jem参考软件中实现。如本文所用，术语jem可统称包括在jem 7中的算法以及jem参考软件的具体实施。此外，响应于由vceg和mpeg联合发布的“joint call for proposals on video compression with capabilities beyond hevc”，在2018年4月16日至20日于加利福尼亚州圣地亚哥(san diego,ca)举行的iso/iec jtc1/sc29/wg11第10次会议上，各个小组提出了对视频编码工具的多种描述。根据对视频编码工具的多种描述，视频编码规范的最终初始草案文本在2018年4月16日至20日于加利福尼亚州圣地亚哥举行的iso/iec jtc1/sc29/wg11第10次会议中的“versatile video coding(draft 1)”即文档jvet-j1001-v2中有所描述，该文档以引用方式并入本文并且被称为jvet-j1001。vceg和mpeg的下一代视频编码标准的当前开发被称为通用视频编码(vvc)项目。2019年3月19日至27日在瑞士日内瓦(geneva,ch)举行的iso/iec jtc1/sc29/wg11第14次会议中的“versatile video coding(draft 5)”(文档jvet-n1001-v8，其以引用方式并入本文，并且称为jvet-n1001)表示对应于vvc项目的视频编码规范的草稿文本的当前迭代。
3.视频压缩技术能够减少存储和传输视频数据的数据需求。视频压缩技术可以通过利用视频序列中固有的冗余来减少数据需求。视频压缩技术可将视频序列再分成连续较小的部分(即，视频序列内的一组图片、一组图片内的图片、图片内的区域、区域内的子区域等)。可以使用帧内预测编码技术(例如，图片内的空间预测技术)和帧间预测技术(即图片间的技术(时间))来生成待编码的单位视频数据与视频数据的参考单元之间的差值。该差值可以被称为残差数据。残差数据可以被编码为量化变换系数。语法元素可以涉及残差数
据和参考编码单元(例如，帧内预测模式索引和运动信息)。可以对残差数据和语法元素进行熵编码。熵编码的残差数据和语法元素可以包括在形成兼容比特流的数据结构中。


技术实现要素：

4.在一个示例中，一种对视频数据进行编码的方法，该方法包括：导出帧内预测角度参数；基于该帧内预测角度参数来导出反转角度参数；对于包括在限定的一组预测模式中的预测模式，基于所导出的反转角度来设置缩放变量的值；以及使用该缩放变量的值来执行位置相关的帧内预测样本滤波过程。
5.在一个示例中，一种包括一个或多个处理器的设备，该一个或多个处理器被配置为：导出帧内预测角度参数；基于该帧内预测角度参数来导出反转角度参数；对于限定的一组预测模式，基于所导出的反转角度来设置缩放变量的值；以及使用该缩放变量的值来执行位置相关的帧内预测样本滤波过程。
附图说明
6.[图1]图1是示出根据本公开的一种或多种技术的根据四叉树多叉树划分进行编码的一组图片的示例的概念图。[图2a]图2a是示出根据本公开的一种或多种技术的对视频数据块进行编码的示例的概念图。[图2b]图2b是示出根据本公开的一种或多种技术的对视频数据块进行编码的示例的概念图。[图3]图3是示出根据本公开的一种或多种技术的可使用的视频分量采样格式的示例的概念图。[图4]图4是示出根据本公开的一种或多种技术封装编码视频数据和对应元数据的数据结构的概念图。[图5]图5是示出根据本公开的一种或多种技术的可被配置为对视频数据进行编码和解码的系统的示例的框图。[图6]图6是示出根据本公开的一种或多种技术的可被配置为对视频数据进行编码的视频编码器的示例的框图。[图7]图7是示出根据本公开的一种或多种技术的可被配置为对视频数据进行解码的视频解码器的示例的框图。
具体实施方式
[0007]
一般来讲，本公开描述了用于对视频数据进行编码的各种技术。具体而言，本公开描述了用于执行帧内预测的技术。应当指出的是，尽管本公开的技术是关于itu-t h.264、itu-t h.265、jem和jvet-n1001描述的，但本公开的技术可普遍应用于视频编码。例如，除了包括在itu-t h.265、jem和jvet-n1001中的那些技术，本文所述的编码技术可并入视频编码系统(包括基于未来视频编码标准的视频编码系统)，包括视频块结构、帧内预测技术、帧间预测技术、变换技术、滤波技术和/或其他熵编码技术。因此，对itu-t h.264、itu-t h.265、jem和/或jvet-n1001的参考是出于描述性目的，并且不应被解释为限制本文所述技
术的范围。此外，应当指出的是，将文献以引用方式并入本文是出于描述性目的，并且不应被解释为限制或产生关于本文所用术语的歧义。例如，在某个并入的参考文献中提供的对某个术语的定义不同于另一个并入的参考文献和/或如本文所用的该术语的情况下，则该术语应以广泛地包括每个相应定义的方式和/或以包括替代方案中每个特定定义的方式来解释。
[0008]
在一个示例中，对视频数据进行编码的方法包括：基于由帧内预测模式提供的反转角度来设置缩放变量的值，以及基于该缩放变量的值来执行位置相关的帧内预测样本滤波过程。
[0009]
在一个示例中，用于对视频数据进行编码的设备包括一个或多个处理器，该一个或多个处理器被配置为：基于由帧内预测模式提供的反转角度来设置缩放变量的值，以及基于该缩放变量的值来执行位置相关的帧内预测样本滤波过程。
[0010]
在一个示例中，非暂态计算机可读存储介质包括存储在其上的指令，这些指令在被执行时使得设备的一个或多个处理器：基于由帧内预测模式提供的反转角度来设置缩放变量的值，以及基于该缩放变量的值来执行位置相关的帧内预测样本滤波过程。
[0011]
在一个示例中，装置包括：用于基于由帧内预测模式提供的反转角度来设置缩放变量的值的装置，以及用于基于该缩放变量的值来执行位置相关的帧内预测样本滤波过程的装置。
[0012]
在以下附图和描述中阐述了一个或多个示例的细节。根据描述和附图以及权利要求书，其他特征、对象和优点将显而易见。
[0013]
视频内容包括由一系列帧(或图片)组成的视频序列。一系列帧也可以被称为一组图片(gop)。每个视频帧或图片可被分成一个或多个区域。可根据基本单元(例如，视频块)和限定区域的一组规则来限定区域。例如，限定区域的规则可以是区域必须是布置成矩形的整数个视频块。此外，区域中的视频块可以根据扫描模式(例如，光栅扫描)来排序。如本文所用，术语“视频块”通常可以指图片的区域，或者可以更具体地指可以被预测性地编码的样本值的最大阵列、其子分区和/或对应结构。此外，术语“当前视频块”可以指图片的正被编码或解码的区域。视频块可被定义为样本值的阵列。应当指出的是，在一些情况下，像素值可被描述为包括视频数据的相应分量的样本值，其也可被称为颜色分量(例如，亮度(y)和色度(cb和cr)分量或红色、绿色和蓝色分量)。应当指出的是，在一些情况下，术语“像素值”和“样本值”可互换使用。此外，在一些情况下，像素或样本可被称为pel。视频采样格式(也可以被称为色度格式)可以相对于视频块中包括的亮度样本的数量来定义视频块中包括的色度样本的数量。例如，对于4:2:0采样格式，亮度分量的采样率是水平和垂直两个方向的色度分量的采样率的两倍。
[0014]
视频编码器可对视频块和其子分区执行预测编码。视频块和其子分区可以被称为节点。itu-t h.264指定包括16
×
16亮度样本的宏块。也就是说，在itu-t h.264中，图片被分段成宏块。itu-t h.265指定了类似的编码树单元(ctu)结构(其可被称为最大编码单元(lcu))。在itu-t h.265中，图片被分段成ctu。在itu-t h.265中，对于图片，ctu大小可被设置为包括16
×
16、32
×
32或64
×
64亮度样本。在itu-th.265中，ctu由视频数据的每个分量(例如，亮度(y)和色度(cb和cr))的相应编码树块(ctb)组成。应当指出的是，具有一个亮度分量和两个对应色度分量的视频可被描述为具有两个通道，即，亮度通道和色度通道。此
外，在itu-t h.265中，可根据四叉树(qt)划分结构来划分ctu，这使得ctu的ctb被划分为编码块(cb)。也就是说，在itu-t h.265中，ctu可被划分为四叉树叶节点。根据itu-t h.265，一个亮度cb连同两个对应的色度cb和相关联语法元素被称为编码单元(cu)。在itu-t h.265中，可以发送信号通知cb的最小允许大小。在itu-t h.265中，亮度cb的最小允许最小大小是8
×
8亮度样本。在itu-t h.265中，使用帧内预测或帧间预测对图片区域进行编码的决定在cu位阶处进行。
[0015]
在itu-t h.265中，cu与在cu处具有其根的预测单元(pu)结构相关联。在itu-t h.265中，pu结构允许分割亮度cb和色度cb以生成对应的参考样本。即，在itu-t h.265中，可将亮度cb和色度cb分割成相应的亮度预测块和色度预测块(pb)，其中pb包括对其应用相同预测的样本值的块。在itu-t h.265中，可将cb划分为1个、2个或4个pb。itu-t h.265支持从64
×
64样本向下至4
×
4样本的pb大小。在itu-t h.265中，正方形pb被支持用于帧内预测，其中cb可以形成pb或者cb可以被分割成四个正方形pb。在itu-t h.265中，除了正方形pb之外，还支持矩形pb来进行帧间预测，其中cb可垂直地或水平地减半以形成pb。此外，应当指出的是，在itu-t h.265中，对于帧间预测，支持四个非对称pb划分，其中cb在cb的高度(顶部或底部)或宽度(左侧或右侧)的四分之一处被划分为两个pb。对应于pb的帧内预测数据(例如，帧内预测模式语法元素)或帧间预测数据(例如，运动数据语法元素)用于生成pb的参考和/或预测样本值。
[0016]
jem指定具有最大大小的256
×
256亮度样本的ctu。jem指定四叉树加二叉树(qtbt)块结构。在jem中，qtbt结构允许由二叉树(bt)结构进一步划分四叉树叶节点。也就是说，在jem中，二叉树结构允许将四叉树叶节点垂直或水平递归划分。在jvet-n1001中，根据四叉树加多类型树(qtmt或qt mtt)结构来划分ctu。jvet-n1001中的qtmt类似于jem中的qtbt。然而，在jvet-n1001中，除了指示二进制分割之外，多类型树还可以指示所谓的三元(或三叉树(tt))分割。三元分割将一个块垂直地或水平地分成三个块。在垂直tt分割的情况下，块从左边缘起在其宽度的四分之一处以及从右边缘起在其宽度的四分之一处分割，并且在水平tt分割的情况下，块从顶部边缘起在其高度的四分之一处以及从底部边缘起在其高度的四分之一处分割。再次参考图1，图1示出了ctu被划分为四叉树叶节点并且四叉树叶节点根据bt分割或tt分割被进一步划分的示例。即，在图1中，虚线指示四叉树中的附加二元和三元分割。
[0017]
如上所述，每个视频帧或图片可被分成一个或多个区域。例如，根据itu-t h.265，每个视频帧或图片可被划分为包括一个或多个切片，并且进一步被划分为包括一个或多个图块，其中每个切片包括ctu序列(例如，以光栅扫描顺序排列)，并且其中图块是对应于图片的矩形区域的ctu序列。应当指出的是，在itu-t h.265中，切片是从独立切片片段开始并且包含在下一个独立切片片段(如果有的话)之前的所有后续从属切片片段(如果有的话)的一个或多个切片片段的序列。切片片段(如切片)是ctu序列。因此，在一些情况下，术语“切片”和“切片片段”可互换使用以指示以光栅扫描顺序排列布置的ctu序列。此外，应当指出的是，在itu-t h.265中，图块可由包含在多于一个切片中的ctu组成，并且切片可由包含在多于一个图块中的ctu组成。然而，itu-t h.265规定了应满足以下一个或两个条件：(1)切片中的所有ctu属于同一个图块；以及(2)图块中的所有ctu属于同一个切片。
[0018]
关于jvet-n1001，切片需要由整数个砖块组成，而不是仅需要由整数个ctu组成。
在jvet-n1001中，砖块是图片中特定图块内的矩形ctu行区域。此外，在jvet-n1001中，图块可被划分成多个砖块，每个砖块由图块内的一个或多个ctu行组成。未被划分成多个砖块的图块也被称为砖块。然而，作为图块的真子集的砖块不被称为图块。因此，在一些视频编码技术中，可支持或可不支持包括不形成图片的矩形区域的一组ctu的切片。此外，应当指出的是，在一些情况下，切片可能需要由整数个完整图块组成，并且在这种情况下，切片被称为图块组。本文所述的技术可适用于砖块、切片、图块和/或图块组。图1是示出包括切片的图片组的示例的概念图。在图1所示的示例中，pic3被示出为包括两个切片(即，切片0和切片1)。在图1所示的示例中，切片0包括一个砖块，即砖块0，并且切片1包括两个砖块，即砖块1和砖块2。应当指出的是，在一些情况下，切片0和切片1可满足图块和/或图块组的要求并被分类为图块和/或图块组。
[0019]
视频采样格式(也可以被称为色度格式)可以相对于cu中包括的亮度样本的数量来定义cu中包括的色度样本的数量。例如，对于4:2:0采样格式，亮度分量的采样率是水平和垂直两个方向的色度分量的采样率的两倍。因此，对于根据4:2:0格式格式化的cu，用于亮度分量的样本阵列的宽度和高度是用于色度分量的每个样本阵列的宽度和高度的两倍。图3是示出根据4:2:0样本格式格式化的编码单元的示例的概念图。图3示出了色度样本相对于cu内的亮度样本的相对位置。如上所述，通常根据水平和垂直亮度样本的数量来定义cu。因此，如图3所示，根据4:2:0样本格式格式化的16
×
16cu包括亮度分量的16
×
16样本和用于每个色度分量的8
×
8样本。此外，在图3所示的示例中，示出了16
×
16cu的相邻视频块的色度样本相对于亮度样本的相对位置。对于根据4:2:2格式格式化的cu，亮度分量的样本阵列的宽度是每个色度分量的样本阵列的宽度的两倍，但是亮度分量的样本阵列的高度等于每个色度分量的样本阵列的高度。此外，对于根据4:4:4格式格式化的cu，亮度分量的样本阵列具有与每个色度分量的样本阵列相同的宽度和高度。
[0020]
对于帧内预测编码，帧内预测模式可指定图片内的参考样本的位置。在itu-t h.265中，已定义的可能的帧内预测模式包括平面(即，表面拟合)预测模式、dc(即平坦的整体平均)预测模式，以及33个角度预测模式(predmode:2-34)。在jem中，已定义的可能的帧内预测模式包括平面预测模式、dc预测模式，以及65个角度预测模式。应当指出的是，平面预测模式和dc预测模式可以被称为无方向预测模式，并且角度预测模式可以被称为方向预测模式。应当指出的是，无论已定义的可能预测模式的数量如何，本文描述的技术可以是普遍适用的。
[0021]
对于帧间预测编码，确定参考图片，并且运动矢量(mv)识别该参考图片中用于生成对当前视频块的预测的样本。例如，可使用位于一个或多个先前编码的图片中的参考样本值来预测当前视频块，并且运动矢量用于指示参考块相对于当前视频块的位置。运动矢量可描述例如运动矢量的水平位移分量(即mvx)、运动矢量的垂直位移分量(即mvy)和运动矢量的分辨率(例如，四分之一像素精度、二分之一像素精度、一像素精度、二像素精度、四像素精度)。先前解码的图片(其可包括在当前图片之前或之后输出的图片)可被组织成一个或多个参考图片列表，并且使用参考图片索引值来标识。此外，在帧间预测编码中，单预测是指使用来自单个参考图片的样本值生成预测，双预测是指使用来自两个参考图片的相应样本值生成预测。也就是说，在单预测中，单个参考图片和对应的运动矢量用于生成对当前视频块的预测，而在双预测中，第一参考图片和对应的第一运动矢量以及第二参考图片
和对应的第二运动矢量用于生成对当前视频块的预测。在双预测中，将相应的样本值组合(例如，相加、舍入和裁剪，或根据权重进行平均)以生成预测。图片及其区域可基于哪些类型的预测模式可用于对其视频块进行编码而被分类。也就是说，对于具有b类型的区域(例如，b切片)，可利用双预测、单预测和帧内预测模式，对于具有p类型的区域(例如，p切片)，可利用单预测和帧内预测模式，对于具有i类型的区域(例如，i切片)，只能利用帧内预测模式。如上所述，通过参考索引来识别参考图片。例如，对于p切片，可以存在单个参考图片列表refpiclist0，并且对于b切片，除了refpiclist0之外，可以存在第二独立参考图片列表refpiclist1。应当指出的是，对于b切片中的单预测，可使用refpiclist0或refpiclist1中的一者来生成预测。此外，应当指出的是，在解码过程期间，在开始对图片进行解码时，从存储在解码图片缓冲器(dpb)中的先前解码的图片生成参考图片列表。
[0022]
此外，编码标准可支持各种运动矢量预测模式。运动矢量预测使能够基于另一运动矢量来导出用于当前视频块的运动矢量的值。例如，可以从当前视频块的空间相邻块和时间相邻块导出具有相关联的运动信息的一组候选块。此外，所生成的(或默认的)运动信息可用于运动矢量预测。运动矢量预测的示例包括高级运动矢量预测(amvp)、时间运动矢量预测(tmvp)、所谓的“合并”模式，以及“跳过”和“直接”运动推理。此外，运动矢量预测的其他示例包括高级时间运动矢量预测(atmvp)和空间-时间运动矢量预测(stmvp)。对于运动矢量预测，视频编码器和视频解码器两者执行相同的过程以导出一组候选。因此，对于当前视频块，在编码和解码期间生成相同的一组候选。
[0023]
如上所述，对于帧间预测编码，先前编码的图片中的参考样本用于对当前图片中的视频块进行编码。在对当前图片进行编码时可用作参考的先前编码的图片被称为参考图片。应当指出的是，解码顺序不一定对应于图片输出顺序，即视频序列中图片的时间顺序。在itu-t h.265中，当图片被解码时，其被存储到解码图片缓冲器(dpb)(其可被称为帧缓冲器、参考缓冲器、参考图片缓冲器等)。在itu-t h.265中，存储到dpb的图片在被输出时从dpb中移除，并且不再需要用于编码后续图片。在itu-t h.265中，在对切片标头进行解码之后，即，在对图片进行解码开始时，每个图片调用一次是否应从dpb中移除图片的确定。例如，参考图1，pic3被示出为参考pic2。类似地，pic4被示出为参考pic1。关于图1，假设图片数量对应于解码顺序，dpb将填充如下：在解码pic1之后，dpb将包括{pic1}；在解码pic2开始时，dpb将包括{pic1}；在解码pic2之后，dpb将包括{pic1,pic2}；在解码pic3开始时，dpb将包括{pic1,pic2}。然后，将参考pic2解码pic3，并且在解码pic3之后，dpb将包括{pic1,pic2,pic3}。在解码pic4开始时，图片pic2和pic3将被标记以从dpb中移除，因为它们不是解码pic4(或任何后续图片，未示出)所需的，并且假设pic2和pic3已被输出，则dpb将被更新以包括{pic1}。然后将参考pic1对pic4进行解码。标记图片以将其从dpb中移除的过程可以称为参考图片集(rps)管理。
[0024]
如上所述，帧内预测数据或帧间预测数据用于产生样本值的块的参考样本值。包括在当前pb或另一类型的图片区域结构和相关联的参考样本(例如，使用预测生成的那些)中的样本值之间的差可以被称为残差数据。残差数据可以包括对应于视频数据的每个分量的相应差值阵列。残差数据可能在像素域中。可对差值阵列应用变换诸如离散余弦变换(dct)、离散正弦变换(dst)、整数变换、小波变换或概念上类似的变换，以生成变换系数。应当指出的是，在itu-t h.265和jvet-n1001中，cu与在cu位阶处具有其根的变换单元(tu)结
构相关联。即，为了生成变换系数，可以对差值的阵列进行划分(例如，可以将四个8
×
8变换应用于16
×
16残差值阵列)。对于视频数据的每个分量，差值的此类再分可被称为变换块(tb)。应当指出的是，在一些情况下，可以(在视频编码器中)应用核心变换和后续二次变换来生成变换系数。对于视频解码器，变换的顺序是相反的。
[0025]
可以直接对变换系数或残差样本值执行量化过程(例如，就调色板编码量化而言)。量化通过限制为一组指定值的振幅来近似变换系数。量化实质上对变换系数进行缩放以便改变表示一组变换系数所需的数据量。量化可以包括将变换系数(或将偏移值添加到变换系数得到的值)除以量化缩放因子和任何相关联的取整函数(例如，取整为最接近的整数)。量化的变换系数可以被称为系数位阶值。逆量化(或“去量化”)可以包括将系数位阶值与量化缩放因子相乘，以及任何倒数取整或偏移加法运算。应当指出的是，如本文所用，术语量化过程在一些情况下可指除以缩放因子以生成位阶值，并且在一些情况下可指乘以缩放因子以恢复变换系数。也就是说，量化过程在一些情况下可以指量化，而在一些情况下可以指逆量化。此外，应当指出的是，虽然在下面的示例中的一些示例中关于与十进制记数法相关的算术运算描述了量化过程，但是这样的描述是为了说明的目的，并且不应该被解释为进行限制。例如，本文描述的技术可以在使用二进制运算等的设备中实现。例如，本文描述的乘法和除法运算可以使用移位运算等来实现。
[0026]
可根据熵编码技术对量化的变换系数和语法元素(例如，指示视频块的编码结构的语法元素)进行熵编码。熵编码过程包括使用无损数据压缩算法对语法元素值进行编码。熵编码技术的示例包括内容自适应可变长度编码(cavlc)、上下文自适应二进制算术编码(cabac)、概率区间划分熵编码(pipe)等。熵编码的量化变换系数和对应的熵编码的语法元素可形成可用于在视频解码器处再现视频数据的兼容比特流。熵编码过程，例如cabac，可以包括对语法元素进行二值化。二值化是指将语法元素的值转换为一个或多个位的序列的过程。这些位可以被称为“bin”。二值化可以包括以下编码技术中的一种或组合：固定长度编码、一元编码、截断一元编码、截断rice编码、golomb编码、k阶指数golomb编码和golomb-rice编码。例如，二值化可以包括使用8位固定长度二值化技术将语法元素的整数值5表示为00000101，或者使用一元编码二值化技术将整数值5表示为11110。如本文所用，术语固定长度编码、一元编码、截断一元编码、截断rice编码、golomb编码、k阶指数golomb编码和golomb-rice编码中的每一个可以指这些技术的一般实现和/或这些编码技术的更具体实现。例如，可以根据视频编码标准具体地定义golomb-rice编码实现。在cabac的示例中，对于特定bin，上下文提供bin的最大概率状态(mps)值(即，bin的mps为0或1中的一者)，以及bin是mps或最小概率状态(lps)的概率值。例如，上下文可以指示bin的mps为0，并且bin为1的概率为0.3。应当指出的是，可以基于包括当前语法元素和先前编码的语法元素中的bin的先前编码的bin的值来确定上下文。例如，与相邻视频块相关联的语法元素的值可以用于确定当前bin的上下文。
[0027]
关于本文所用的公式，可以使用以下算术运算符： 加法-减法*乘法，包括矩阵乘法xy求幂。将x指定为y的幂。在其他上下文中，此类符号用于上标而非旨在用于解
释为求幂。/将结果向着零截断的整数除法。例如，将7/4和-7/-4截断为1，将-7/4和7/-4截断为-1。
÷
在不旨在进行截断或舍入情况下用于表示数学公式中的除法。在不旨在进行截断或舍入情况下用于表示数学公式中的除法。x％y模量。x除以y的余数，仅针对x≥0且y》0的整数x和y定义。
[0028]
此外，可以使用以下逻辑运算符：x&&yx和y的布尔逻辑“和”x||yx和y的布尔逻辑“或”！布尔逻辑“否”x？y:z如果x为true或不等于0，则求值为y；否则，求值为z。
[0029]
此外，可以使用以下关系运算符：》大于≥大于或等于《小于≤小于或等于＝＝等于！＝不等于
[0030]
此外，可以使用以下逐位运算符：&逐位“与”。当对整型变量进行运算时，对整数值的二进制补码表示进行运算。当对包含比另一变量更少位的二进制变量进行运算时，通过添加等于0的更多有效位来扩展较短变量。|逐位“或”。当对整型变量进行运算时，对整数值的二进制补码表示进行运算。当对包含比另一变量更少位的二进制变量进行运算时，通过添加等于0的更多有效位来扩展较短变量。^逐位“异或”。当对整型变量进行运算时，对整数值的二进制补码表示进行运算。当对包含比另一变量更少位的二进制变量进行运算时，通过添加等于0的更多有效位来扩展较短变量。x》》yx乘y二进制数字的二进制补码整数表示的算术右移。该函数仅针对y的非负整数值来定义。由于右移而移位到最高有效位(msb)中的位具有等于移位操作之前的x的msb的值。x《《yx乘y二进制数字的二进制补码整数表示的算术左移。该函数仅针对y的非负整数值来定义。由于左移而移位到最低有效位(lsb)中的位具有等于0的值。
[0031]
此外，可以使用以下赋值运算符：＝赋值运算符 递增，即，x 等同于x＝x 1；当在阵列索引中使用时，在递增操作之前评估变
量的值。
‑‑ꢀ
递减，即，x
‑‑
等同于x＝x-1；当在阵列索引中使用时，在递减操作之前评估变量的值。 ＝ 按指定量递增，即x ＝3等同于x＝x 3，并且x ＝(-3)等同于x＝x (-3)。-＝ 按指定量递减，即x-＝3等同于x＝x-3，并且x-＝(-3)等同于x＝x-(-3)。
[0032]
此外，可使用以下定义的数学函数：floor(x)，小于或等于x的最大整数。log2(x)，x的以2为底的对数。x的以2为底的对数。round(x)＝sign(x)*floor(abs(x) 0.5)
[0033]
此外，应当指出的是，在本文所用的语法描述符中，可以应用以下描述符：-b(8)：具有任何位串模式的字节(8位)。该描述符的解析过程由函数read_bit(8)的返回值指定。-f(n)：从最左位起使用n位(从左到右)写入的固定模式位串。该描述符的解析过程由函数read_bit(n)的返回值指定。-se(v)：有符号整数0阶exp-golomb编码的语法元素，从最左位起。-tb(v)：使用至多maxval位的截断二元码，其中maxval在语法元素的语义中定义。-tu(v)：使用至多maxval位的截断一元码，其中maxval在语法元素的语义中定义。-u(n)：使用n位的无符号整数。当语法表中n是“v”时，位数以取决于其他语法元素的值的方式变化。该描述符的解析过程由函数read_bits(n)的返回值指定，该返回值被解释为首先写入最高有效位的无符号整数的二进制表示。-ue(v)：无符号整数0阶exp-golomb编码的语法元素，从最左位起。
[0034]
图2a至图2b是示出对视频数据块进行编码的示例的概念图。如图2a所示，通过从当前视频数据块中减去一组预测值生成残差、对残差执行变换并且将变换系数量化来生成位阶值，对视频数据的当前块(例如，对应于视频分量的cb)进行编码。位阶值被编码成比特流。如图2b中所示，通过对位阶值执行逆量化，执行逆变换，并且将一组预测值加上所得残差来对当前视频数据块进行解码。应当指出的是，在图2a至图2b的示例中，重构块的样本值不同于被编码的当前视频块的样本值。这样，编码可被认为是有损的。然而，样本值的差值可被认为是重构视频的观看者可接受的或不可察觉的。
[0035]
另外，如图2a至图2b所示，使用缩放因子阵列生成系数位阶值。在itu-t h.265中，通过选择缩放矩阵并将缩放矩阵中的每个条目乘以量化缩放因子来生成缩放因子阵列。可部分地基于预测模式和颜色分量来选择缩放矩阵。应当指出的是，在一些示例中，缩放矩阵可以为每个条目提供相同的值(即，根据单个值缩放所有系数)。可以由量化参数qp确定量
化缩放因子的值。此外，可以使用预测量化参数值(可以被称为预测qp值或qp预测值)和可选地发送信号通知的量化参数增量值(可以被称为qp增量值或增量qp值)来导出一组变换系数的qp值。可以针对每个cu更新量化参数，并且可以针对亮度和色度通道中的每一个导出相应量化参数。
[0036]
参考图1中所示的示例，pic3中包括的每个视频数据切片(即，切片0切片1)被示出为封装在nal单元中。在jvet-n1001中，视频序列、gop、图片、切片和ctu中的每一者可以与描述视频编码属性的元数据相关联。jvet-n1001定义了可用于描述视频数据和/或视频编码属性的参数集。具体地讲，jvet-n1001包括以下五种类型的参数集：解码参数集(dps)、视频参数集(vps)、序列参数集(sps)、图片参数集(pps)和自适应参数集(aps)。在jvet-n1001中，参数集可以被封装为特殊类型的nal单元，或者可以作为消息发送信号通知。包括编码视频数据(例如，切片)的nal单元可以被称为vcl(视频编码层)nal单元，并且包括元数据(例如，参数集)的nal单元可以被称为非vcl nal单元。此外，jvet-n1001使得补充增强信息(sei)消息能够被发送信号通知。在jvet-n1001中，sei消息协助与解码、显示或其他目的有关的过程，然而，可能不需要sei消息来通过解码过程构建亮度或色度样本。在jvet-n1001中，可以使用非vcl nal单元在比特流中发送信号通知sei消息。此外，sei消息可以通过某种方式传送，而不是通过存在于比特流中(即，在带外发送信号通知)。图4示出了包括多个cvs的比特流的示例，其中cvs由包括在相应的访问单元中的nal单元表示。在图4所示的示例中，非vcl nal单元包括相应的参数集nal单元(即，序列参数集(sps)和图像参数集(pps)nal单元)、sei消息nal单元和访问单元界定符nal单元。应当指出的是，在图4中，header是nal单元标头。
[0037]
如上所述，帧内预测数据可指示如何为当前视频块生成预测。也就是说，帧内预测数据指示如何生成预测样本值阵列，例如predsamples[x][y]。应当指出的是，预测样本阵列的生成可包括填充(即，复制样本值)、投影(即，将角度方向映射到特定样本，和/或内插来自角度预测的样本值)；以及对预测样本值进行平滑和/或滤波中的一者或多者。在jvet-n1001中，针对亮度的限定的可能帧内预测模式包括平面预测模式(predmode:0)、dc预测模式(predmode:1)和93个方向预测模式(predmode:-14至-1和2至80)，包括仅应用于非正方形块的28个广角模式。jvet-n1001指定用于从方向预测模式导出预测样本阵列predsamples[x][y]的以下操作：方向帧内预测模式过程该过程的输入为：-帧内预测模式predmodeintra，-变量refidx，其指定帧内预测参考行索引，-变量ntbw，其指定变换块宽度，-变量ntbh，其指定变换块高度，-变量refw，其指定参考样本宽度，-变量refh，其指定参考样本高度，-变量ncbw，其指定编码块宽度，-变量ncbh，其指定编码块高度，-变量reffilterflag，其指定参考滤波器标记的值，-变量cidx，其指定当前块的颜色分量，-相邻样本p[x][y]，其中x＝-1-refidx、y＝-1-refidx
…
refh-1和x＝-refidx
…
refw-1、y＝-1-refidx。该过程的输出是预测的样本predsamples[x][y]，其中x＝0
…
ntbw-1，y＝0
…
ntbh-1。将变量ntbs设置为等于(log2(ntbw) log2(ntbh))》》1。变量filterflag如下导出：-如果以下条件中的一者或多者为真，则将filterflag设置为等于0。-reffilterflag等于1-refidx不等于0-intrasubpartitionssplittype不等于isp_no_split，并且predmodeintra大于或等于intra_angular34，并且ntbw小于或等于8-intrasubpartitionssplittype不等于isp_no_split，并且predmodeintra小于intra_angular34，并且ntbh小于或等于8。-否则，以下适用：-将变量mindistverhor设置为等于min(abs(predmodeintra-50),abs(predmodeintra-18))。-变量intrahorverdistthres[ntbs]在表1中指定-变量filterflag如下导出：-如果以下条件中的一者或多者为真，则将filterflag设置为等于1：-intrasubpartitionssplittype不等于isp_no_split-mindistverhor大于intrahorverdistthres[ntbs]并且reffilterflag等于0-否则，将filterflag设置为等于0。 ntbs＝2ntbs＝3ntbs＝4ntbs＝5ntbs＝6ntbs＝7intrahorverdistthres[ntbs]16142000
表1表2指定predmodeintra与角度参数intrapredangle之间的映射表。
表2基于intrapredangle来如下导出反转角度参数invangle：内插滤波器系数fc[相位][j]和fg[相位][j]，其中相位＝0
…
31并且j＝0
…
3，在表3中指定。
表3预测样本predsamples[x][y](其中x＝0
…
ntbw-1，y＝0
…
ntbh-1)的值如下导出：-如果predmodeintra大于或等于34，则应用以下有序步骤：1.参考样本阵列ref[x]如下指定：-以下适用：ref[x]＝p[-1-refidx x][-1-refidx]，其中x＝0
…
ntbw refidx-如果intrapredangle小于0，则主参考样本阵列如下扩展：-当(ntbh*intrapredangle)》》5小于-1时，ref[x]＝p[-1-refidx][-1-refidx ((x*invangle 128)》》8)]，其中x＝-1
…
(ntbh*intrapredangle)》》5ref[((ntbh*intrapredangle)》》5)-1]＝ref[(ntbh*intrapredangle)》》5]ref[ntbw 1 refidx]＝ref[ntbw refidx]-否则，ref[x]＝p[-1-refidx x][-1-refidx]，其中x＝ntbw 1 refidx
…
refw refidxref[-1]＝ref[0]-附加样本ref[refw refidx x]，其中x＝l
…
(max(1,ntbw/ntbh)*refidx 1)，如下导出：ref[refw refidx x]＝p[-1 refw][-1-refidx]2.预测样本predsamples[x][y](其中x＝0
…
ntbw-1，y＝0
…
ntbh-1)的值如下导出：-指数变量iidx和乘法因子ifact如下导出：iidx＝((y 1 refidx)*intrapredangle)》》5 refidxifact＝((y 1 refidx)*intrapredangle)&31-如果cidx等于0，则以下适用：-内插滤波器系数ft[j](其中j＝0
…
3)如下导出：
ft[j]＝filterflag？fg[ifact][j]:fc[ifact][j]-预测样本predsamples[x][y]的值如下导出：-否则(cidx不等于0)，根据ifact的值，以下适用：-如果ifact不等于0，则预测样本predsamples[x][y]的值如下导出：predsamples[x][y]＝((32-ifact)*ref[x iidx 1] ifact*ref[x iidx 2] 16)》》5-否则，预测样本predsamples[x][y]的值如下导出：predsamples[x][y]＝ref[x iidx 1]-否则(predmodeintra小于34)，应用以下有序步骤：1.参考样本阵列ref[x]如下指定：-以下适用：ref[x]＝p[-1-refidx][-1-refidx x]，其中x＝0
…
ntbh refidx-如果intrapredangle小于0，则主参考样本阵列如下扩展：-当(ntbw*intrapredangle)》》5小于-1时，ref[x]＝p[-1-refidx ((x*invangle 128)》》8)][-1-refidx]，其中x＝-1
…
(ntbw*intrapredangle)》》5ref[((ntbw*intrapredangle)》》5)-1]＝ref[(ntbw*intrapredangle)》》5]ref[ntbg 1 refidx]＝ref[ntbh refidx]-否则，ref[x]＝p[-1-refidx][-1-refidx x]，其中x＝ntbh 1 refidx
…
refh refidxref[-1]＝ref[0]-附加样本ref[refh refidx x]，其中x＝1
…
(max(1,ntbw/ntbh)*refidx 1)，如下导出：ref[refh refidx x]＝p[-1 refh][-1-refidx]2.预测样本predsamples[x][y](其中x＝0
…
ntbw-1，y＝0
…
ntbh-1)的值如下导出：-指数变量iidx和乘法因子ifact如下导出：iidx＝((x 1 refidx)*intrapredangle)》》5ifact＝((x 1 refidx)*intrapredangle)&31-如果cidx等于0，则以下适用：-内插滤波器系数ft[j](其中j＝0
…
3)如下导出：ft[j]＝filterflag？fg[ifact][j]:fc[ifact][j]-预测样本predsamples[x][y]的值如下导出：-否则(cidx不等于0)，根据ifact的值，以下适用：-如果ifact不等于0，则预测样本predsamples[x][y]的值如下导出：predsamples[x][y]＝((32-ifact)*ref[y iidx 1] ifact*refty iidx 2] 16)》》5-否则，预测样本predsamples[x][y]的值如下导出：predsamples[x][y]＝ref[y iidx 1]
[0038]
应当指出的是，根据在jvet-n1001中提供的用于导出预测样本阵列的过程，参考样本阵列的填充定义如下(假设使用“以上”样本的“垂直”预测)：如果角度为正，则将第一个样本向左复制，并将最后一个样本复制向右复制；如果角度为负，则将与当前pu的最右列对准的样本向右复制，并且投影来自左参考阵列的样本以将参考阵列向左延伸。
[0039]
当角度为正时，向左填充看起来是不必要的，因为填充的样本从不被参考。当角度为负时，向右填充是不可取的，因为有效样本通常可用。在视频编码器中，如果使用同一参考阵列来测试各种角度，则不必要在模式之间改变该样本。因此，jvet-n1001中提供的填充不太理想。此外，jvet-n1001中提供的投影过程不太理想。
[0040]
应当指出的是，jvet-n1001为色度提供交叉分量预测模式。此外，可存在可基于用于亮度分量的帧内预测模式导出用于色度分量的帧内预测模式的各种方法。在一个示例中，可以通过使用所谓的最大概率模式(mpm)来发送信号通知当前视频块的帧内预测模式。通常，在mpm信令中，如下发送信号通知帧内预测模式：创建mpm列表(例如，通过继承相邻视频块的帧内预测模式)；提供关于当前视频块的帧内预测是否是mpm列表中的模式的指示(例如，标记)；并且如果当前帧内模式在mpm列表中，则可以发送信号通知指示对应条目在mpm列表中的位置的索引；或者如果当前帧内模式不在mpm列表中，则发送信号通知指示帧内模式预测模式(其是不在mpm列表中的模式)的语法元素。
[0041]
此外，在jvet-n1001中，所谓的帧内子分区(isp)编码模式可用于帧内预测。对于jvet-n1001中的isp编码模式，根据块大小维度，一些亮度帧内预测块(即，亮度cb)被进一步垂直地或水平地划分为两个或四个子分区。在jvet-n1001中，亮度帧内预测块中的每个子分区共享相同的帧内预测模式。表3示出了用于jvet-n1001中的帧内预测的编码单元语法的相关部分，并且包括对应于isp编码模式的语法元素。
表3
[0042]
关于表3中包括的语法元素，jvet-n1001提供了以下语义：cu_skip_flag[x0][y0]等于1指定对于当前编码单元，当解码p或b切片时，在cu_skip_flag[x0][y0]之后不再解析除了以下中的一者或多者之外的语法元素：ibc模式标记pred_mode，，ibc_flag[x0][y0]，以及merge_data()语法结构；当解码i切片时，在cu_skip_flag[x0][y0]之后不再解析除了merge_idx[x0][y0]之外的语法元素。cu_skip_flag[x0][y0]等于0指定不跳过编码单元。阵列索引x0、y0指定所考虑编码块的左上亮度样本相对于图片的左上亮度样本的位置(x0,y0)。当cu_skip_flag[x0][y0]不存在时，推断其等于0。
pred_mode_flag等于0指定当前编码单元在帧间预测模式中进行编码。pred_mode_flag等于1指定当前编码单元在帧内预测模式中进行编码。当pred_mode_flag不存在时，推断如下：-当cbwidth等于4并且cbheight等于4时，推断pred_mode_flag等于1。-否则，当在解码i切片时推断pred_mode_flag等于1，并且在解码p或b切片时推断其等于0。对于x＝x0
…
x0 cbwidth-1和y＝y0
…
y0 cbheight-1，如下导出变量cupredmode[x][y]：-如果pred_mode_flag等于0，则将cupredmode[x][y]设置为等于mode_inter。-否则(pred_mode_flag等于1)，则将cupredmode[x][y]设置为等于mode_intra。pred_mode_ibc_flag等于1指定当前编码单元在ibc预测模式中进行编码。pred_mode_ibc_flag等于0指定当前编码单元不在ibc预测模式中进行编码。当pred_mode_ibc_flag不存在时，推断如下：-如果cu_skip_flag[x0][y0]等于1并且cbwidth等于4并且cbheight等于4，则推断pred_mode_ibc_flag等于1。-否则，如果cbwidth和cbheight两者等于128，则推断pred_mode_ibc_flag等于0。-否则，在解码i切片时推断pred_mode_ibc_flag等于sps_ibc_enabled_flag的值，并且在解码p或b切片时推断其等于0。当pred_mode_ibc_flag等于1时，对于x＝x0
…
x0 cbwidth-1和y＝y0
…
y0 cbheight-1，将变量cupredmode[x][y]设置为等于mode_ibc。intra_bdpcm_flag[x0][y0]等于1指定将bdpcm应用于位置(x0,y0)处的当前亮度编码块，即，跳过变换，由intra_bdpcm_dir_flag[x0][y0]指定帧内亮度预测模式。intra_bdpcm_dir_flag[x0][y0]等于0指定不将bdpcm应用于位置(x0,y0)处的当前亮度编码块。当intra_bdpcm_flag[x0][y0]不存在时，推断其等于0。将变量bdpcmflag[x][y]设置为等于intra_bdpcm_flag[x0][y0]，其中x＝x0
…
x0 cbwidth-1并且y＝y0
…
y0 cbheight-1。intra_bdpcm_dir_flag[x0][y0]等于0指定bdpcm预测方向是水平的。intra_bdpcm_dir_flag[x0][y0]等于1指定bdpcm预测方向是垂直的。将变量bdpcmdir[x][y]设置为等于intra_bdpcm_dir_flag[x0][y0]，其中x＝x0
…
x0 cbwidth-1并且y＝y0
…
y0 cbheight-1。intra_mip_flag[x0][y0]等于1指定亮度样本的帧内预测类型是基于矩阵的帧内预测。intra_mip_flag[x0][y0]等于0指定亮度样本的帧内预测类型不是基于矩阵的帧内预测。当intra_mip_flag[x0][y0]不存在时，推断其等于0。语法元素intra_mip_mpm_flag[x0][y0]、intra_mip_mpm_idx[x0][y0]和intra_mip_mpm_remainder[x0][y0]指定亮度样本的基于矩阵的帧内预测模式。阵列索引x0、y0指定所考虑编码块的左上亮度样本相对于图片的左上亮度样本的位置(x0,y0)。当intra_mip_mpm_flag[x0][y0]等于1时，从相邻帧内预测编码单元推断基于矩阵的帧内预测模式。当intra_mip_mpm_flag[x0][y0]不存在时，推断其等于1。
intra_luma_ref_idx[x0][y0]指定对于x＝x0
…
x0 cbwidth-1和y＝y0
…
y0 cbheight-1的帧内预测参考行索引intralumareflineidx[x][y]，如表4中所指定。当intra_luma_ref_idx[x0][y0]不存在时，推断其等于0。表4intra_subpartitions_mode_flag[x0][y0]等于1指定当前帧内编码单元被划分成numintrasubpartitions[x0][y0]矩形变换块子分区。intra_subpartitions_mode_flag[x0][y0]等于0指定当前帧内编码单元不被划分成矩形变换块子分区。当intra_subpartitions_mode_flag[x0][y0]不存在时，推断其等于0。intra_subpartitions_split_flag[x0][y0]指定帧内子分区分割类型是水平还是垂直。当intra_subpartitions_split_flag[x0][y0]不存在时，推断如下：-如果cbheight大于maxtbsizey，则推断intra_subpartitions_split_flag[x0][y0]等于0。-否则(cbwidth大于maxtbsizey)，推断intra_subpartitions_split_flag[x0][y0]等于1。变量intrasubpartitionssplittype指定用于当前亮度编码块的分割的类型，如表5所示，如下导出intrasubpartitionssplittype：-如果intra_subpartitions_mode_flag[x0][y0]等于0，则将intrasubpartitionssplittype设置为等于0。-否则，将intrasubpartitionssplittype设置为等于1 intra_subpartitions_split_flag[x0][y0]。split_flag[x0][y0]。表5变量numintrasubpartitions指定帧内亮度编码块被划分成的变换块子分区的数量。numintrasubpartitions如下导出：-如果intrasubpartitionssplittype等于isp_no_split，则将numintrasubpartitions设置为等于1。-否则，如果以下条件之一为真，则将numintrasubpartitions设置为等于2：-cbwidth等于4并且cbheight等于8，-cbwidth等于8并且cbheight等于4。-否则，将numintrasubpartitions设置为等于4。语法元素intra_luma_mpm_flag[x0][y0]、intra_luma_not_planar_flag[x0][y0]、intra_luma_mpm_idx[x0][y0]和intra_luma_mpm_remainder[x0][y0]指定亮度样本的帧内预测模式。阵列索引x0、y0指定所考虑编码块的左上亮度样本相对于图片的左上亮度样本的位置(x0,y0)。当intra_luma_mpm_flag[x0][y0]等于1时，从相邻帧内预测编码单元推断帧内预测模式。当intra_luma_mpm_flag[x0][y0]不存在时，推断其等于1。当intra_luma_not_planar_flag[x0][y0]不存在时，推断其等于1。intra_chroma_pred_mode[x0][y0]指定色度样本的帧内预测模式。阵列索引x0、y0指定所考虑编码块的左上亮度样本相对于图片的左上亮度样本的位置(x0,y0)。
[0043]
此外，jvet-n1001提供以下用于帧内块的解码过程，其指定如何根据isp编码模式将亮度帧内预测块进一步垂直或水平划分成两个或四个子分区：用于帧内块的解码过程该过程的输入为：-样本位置(xtb0,ytb0)，其指定当前变换块相对于当前图片左上样本的左上样本，-变量ntbw，其指定当前变换块的宽度，-变量ntbh，其指定当前变换块的高度，-变量predmodeintra，其指定帧内预测模式，-变量cidx，其指定当前块的颜色分量。该过程的输出是循环中滤波之前的经修改的重构图片。最大变换块尺寸maxtbsize如下导出：maxtbsize＝(cidx＝＝0)？maxtbsizey:maxtbsizey/2亮度样本位置如下导出：(xtby,ytby)＝(cidx＝＝0)？(xtb0,ytb0):(xtb0*2,ytb0*2)根据maxtbsize，以下适用：-如果intrasubpartitionssplittype等于no_isp_split，并且ntbw大于maxtbsize或者ntbh大于maxtbsize，则应用以下有序步骤。1.变量newtbw和newtbh如下导出：newtbw＝(ntbw》maxtbsize)？(ntbw/2):ntbwnewtbh＝(ntbh》maxtbsize)？(ntbh/2):ntbh2.调用如该子句中指定的用于帧内块的一般解码过程，其中以位置(xtb0,ytb0)、设置为等于newtbw的变换块宽度ntbw和设置为等于newtbh的高度ntbh、帧内预测模式predmodeintra以及变量cidx作为输入，并且输出是循环中滤波之前的经修改的重构图片。3.如果ntbw大于maxtbsize，则调用如该子句中指定的用于帧内块的一般解码过程，其中以设置为等于(xtb0 newtbw,ytb0)的位置(xtb0,ytb0)、设置为等于newtbw的变换块宽度ntbw和设置为等于newtbh的高度ntbh、帧内预测模式predmodeintra以及变量cidx
作为输入，并且输出是循环中滤波之前的经修改的重构图片。4.如果ntbh大于maxtbsize，则调用如该子句中指定的用于帧内块的一般解码过程，其中以设置为等于(xtb0,ytb0 newtbh)的位置(xtb0,ytb0)、设置为等于newtbw的变换块宽度ntbw和设置为等于newtbh的高度ntbh、帧内预测模式predmodeintra以及变量cidx作为输入，并且输出是循环中滤波之前的经修改的重构图片。5.如果ntbw大于maxtbsize并且ntbh大于maxtbsize，则调用如该子句中指定的用于帧内块的一般解码过程，其中以设置为等于(xtb0 newtbw,ytb0 newtbh)的位置(xtb0,ytb0)、设置为等于newtbw的变换块宽度ntbw和设置为等于newtbh的高度ntbh、帧内预测模式predmodeintra以及变量cidx作为输入，并且输出是循环中滤波之前的经修改的重构图片。-否则，应用以下有序步骤：-变量nw、nh、numpartsx和numpartsy如下导出：nw＝intrasubpartitionssplittype＝＝isp_ver_split？ntbw/numintrasubpartitions:ntbwnh＝intrasubpartitionssplittype＝＝isp_hor_split？ntbh/numintrasubpartitions:ntbhnumpartsx＝intrasubpartitionssplittype＝＝isp_ver_split？numintrasubpartitions:1numpartsy＝intrasubpartitionssplittype＝＝isp_hor_split？numintrasubpartitions:1-对于xpartidx＝0
…
numpartsx-1并且ypartidx＝0
…
numpartsy-1，以下适用：1.调用如下文指定的帧内样本预测过程，其中以设置为等于(xtb0 nw*xpartidx,ytb0 nh*ypartidx)的位置(xtbcmp,ytbcmp)、帧内预测模式predmodeintra、设置为等于nw和nh的变换块宽度ntbw和高度ntbh、设置为等于ntbw和ntbh的编码块宽度ncbw和高度ncbh以及变量cidx作为输入，并且输出是(ntbw)
×
(ntbh)阵列predsamples。帧内样本预测过程该过程的输入为：-样本位置(xtbcmp,ytbcmp)，其指定当前变换块相对于当前图片左上样本的左上样本，-变量predmodeintra，其指定帧内预测模式，-变量ntbw，其指定变换块宽度，-变量ntbh，其指定变换块高度，-变量ncbw，其指定编码块宽度，-变量ncbh，其指定编码块高度，-变量cidx，其指定当前块的颜色分量。该过程的输出是预测的样本predsamples[x][y]，其中x＝0
…
ntbw-1，y＝0
…
ntbh-1。预测样本predsamples[x][y]如下导出：-如果intra_mip_flag[xtbcomp][ytbcomp]等于1并且cidx等于0，则调用基于矩
阵的帧内样本预测过程，其中以位置(xtbcmp,ytbcmp)、帧内预测模式predmodeintra、变换块宽度ntbw和高度ntbh作为输入，并且输出是predsamples。-否则调用如下文指定的通用(非mip)帧内样本预测过程，其中以位置(xtbcmp,ytbcmp)、帧内预测模式predmodeintra、变换块宽度ntbw和高度ntbh、编码块宽度ncbw和高度ncbh以及变量cidx作为输入来，并且输出是predsamples。通用(非mip)帧内样本预测过程该过程的输入为：-样本位置(xtbcmp,ytbcmp)，其指定当前变换块相对于当前图片左上样本的左上样本，-变量predmodeintra，其指定帧内预测模式，-变量ntbw，其指定变换块宽度，-变量ntbh，其指定变换块高度，-变量ncbw，其指定编码块宽度，-变量ncbh，其指定编码块高度，-变量cidx，其指定当前块的颜色分量。该过程的输出是预测的样本predsamples[x][y]，其中x＝0
…
ntbw-1，y＝0
…
ntbh-1。变量refw和refh如下导出：-如果intrasubpartitionssplittype等于isp_no_split或者cidx不等于0，则以下适用：refw＝ntbw*2refh＝ntbh*2-否则(intrasubpartitionssplittype不等于isp_no_split并且cidx等于0)，以下适用：refw＝ncbw*2refh＝ncbh*2refidx＝(cidx＝＝0)？intralumareflineidx[xtbcmp][ytbcmp]:0调用广角帧内预测模式映射过程，其中以predmodeintra、ntbw、ntbh和cidx作为输入，并且以经修改的predmodeintra作为输出。变量reffilterflag如下导出：-如果predmodeintra等于以下值中的一者：0、-14、-12、-10、-6、2、34、66、72、76、78、80，则将reffilterflag设置为等于1。-否则，将reffilterflag设置为等于0。对于参考样本p[x][y]的生成，其中x＝-1-refidx、y＝-1-refidx
…
refh-1和x＝-refidx
…
refw-1、y＝-1-refidx，应用以下有序步骤：1.调用参考样本可用性标记过程，其中以样本位置(xtbcmp,ytbcmp)、帧内预测参考行索引refidx、参考样本宽度refw、参考样本高度refh、颜色分量索引cidx作为输入，并且以参考样本refunfilt[x][y](其中x＝-1-refidx、y＝-1-refidx
…
refh-1和x＝-refidx
…
refw-1、y＝-1-refidx)作为输出。
2.当至少一个样本refunfilt[x][y](其中x＝-1-refidx、y＝-1-refidx
…
refh-1和x＝-refidx
…
refw-1、y＝-1-refidx)被标记为“不可用于帧内预测”时，调用参考样本替换过程，其中以帧内预测参考行索引refidx、参考样本宽度refw、参考样本高度refh、参考样本refunfilt[x][y](其中x＝-1-refidx、y＝-1-refidx
…
refh-1和x＝-refidx
…
refw-1、y＝-1-refidx)和颜色分量索引cidx作为输入，并且以经修改的参考样本refunfilt[x][y](其中x＝-1-refidx、y＝-1-refidx
…
refh-1和x＝-refidx
…
refw-1、y＝-1-refidx)作为输出。3.调用如下文指定的参考样本滤波过程，其中以帧内预测参考行索引refidx、变换块宽度ntbw和高度ntbh、参考样本宽度refw、参考样本高度refh、参考滤波器标记reffilterflag、未经滤波样本refunfilt[x][y](其中x＝-1-refidx、y＝-1-refidx
…
refh-1和x＝-refidx
…
refw-1、y＝-1-refidx)和颜色分量索引cidx作为输入，并且以参考样本p[x][y](其中x＝-1-refidx、y＝-1-refidx
…
refh-1和x＝-refidx
…
refw-1、y＝-1-refidx)作为输出。根据predmodeintra的帧内样本预测过程应用如下：-如果predmodeintra等于intra_planar，则调用如下文指定的对应帧内预测模式过程，其中以变换块宽度ntbw和变换块高度ntbh以及参考样本阵列p作为输入，并且输出是预测的样本阵列predsamples。-否则，如果predmodeintra等于intra_dc，则调用如下文指定的对应帧内预测模式过程，其中以变换块宽度ntbw、变换块高度ntbh、帧内预测参考行索引refidx以及参考样本阵列p作为输入，并且输出是预测的样本阵列predsamples。-否则，如果predmodeintra等于intra_lt_cclm、intra_l_cclm或intra_t_cclm，则调用对应的帧内预测模式过程，其中以帧内预测模式predmodeintra、设置为等于(xtbcmp,ytbcmp)的样本位置(xtbc,ytbc)、变换块宽度ntbw和高度ntbh以及参考样本阵列p作为输入，并且输出是预测的样本阵列predsamples。-否则，调用对应的帧内预测模式过程，其中以帧内预测模式predmodeintra、帧内预测参考行索引refidx、变换块宽度ntbw、变换块高度ntbh、参考样本宽度refw、参考样本高度refh、编码块宽度ncbw和高度ncbh、参考滤波器标记reffilterflag、颜色分量索引cidx和参考样本阵列p作为输入，并且以预测的样本阵列predsamples作为输出。当所有以下条件都为真时，调用下文指定的位置相关的预测样本滤波过程，其中以帧内预测模式predmodeintra、变换块宽度ntbw、变换块高度ntbh、预测样本predsamples[x][y](其中x＝0
…
ntbw-1、y＝0
…
ntbh-1)、参考样本宽度refw、参考样本高度refh、参考样本p[x][y](其中x＝-1、y＝-1
…
refh-1和x＝0
…
refw-1、y＝-1)和颜色分量索引cidx作为输入，并且输出是经修改的预测的样本阵列predsamples：-intrasubpartitionssplittype等于isp_no_split或者cidx不等于0-refidx等于0或者cidx不等于0-bdpcmflag[xtbcmp][xtbcmp]等于0-以下条件之一为真：-predmodeintra等于intra_planar-predmodeintra等于intra_dc-predmodeintra等于intra_angular18-predmodeintra等于intra_angular50-predmodeintra小于或等于intra_angular10-predmodeintra大于或等于intra_angular58
[0044]
应当指出的是，根据上面提供的用于帧内块的解码过程、帧内样本预测过程和通用(非mip)帧内样本预测过程，在jvet-n1001中，可以从先前编码的cu检索以用于帧内预测的参考样本基于isp是否用于给定cu而改变。也就是说，对于在isp模式中编码的cu，可检索在为其他cu提供的参考样本范围之外的样本。对于在isp模式中编码的cu，具有可检索的增大的样本范围不太理想。
[0045]
如上所述，预测样本阵列的生成可以包括对预测样本值进行滤波。应当指出的是，根据方向帧内预测模式过程，可变filterflag确定角度预测是否平滑。根据jvet-n1001中提供的filterflag的推导，当使用isp时，不同的规则适用于确定可变filterflag，这是不期望的。
[0046]
此外，jvet-n1001规定了以下参考样本滤波过程：参考样本滤波过程参考样本滤波过程该过程的输入为：-变量refidx，其指定帧内预测参考行索引，-变量ntbw，其指定变换块宽度，-变量ntbh，其指定变换块高度，-变量refw，其指定参考样本宽度，-变量refh，其指定参考样本高度，-变量reffilterflag，其指定参考滤波器标记的值，-(未经滤波的)相邻样本refunfllt[x][y]，其中x＝-1-refidx、y＝-1-refidx
…
refh-1和x＝-refidx
…
refw-1、y＝-1-refidx，-变量cidx，其指定当前块的颜色分量。该过程的输出是参考样本p[x][y]，其中x＝-1-refidx、y＝-1-refidx
…
refh-1和x＝-refidx
…
refw-1、y＝-1-refidx。变量filterflag如下导出：-如果以下条件中的全部为真，则将filterflag设置为等于1：-refidx等于0-ntbw*ntbh大于32-cidx等于0-intrasubpartitionssplittype等于isp_no_split-reffilterflag等于1-否则，将filterflag设置为等于0。对于参考样本p[x][y]的推导，以下适用：-如果filterflag等于1，则经滤波的样本值p[x][y](其中x＝-1，y＝-1
…
refh-1和x＝0
…
refw-1，y＝-1)如下导出：
p[-1][-1]＝(refunfilt[-1][0] 2*refunfilt[-1][-1] refunfilt[0][-1] 2)》》2p[-1][y]＝(refunfilt[-1][y 1] 2*refunfilt[-1][y] refunfilt[-1][y-1] 2)》》2对于y＝0
…
refh-2p[-1][refh-1]＝refunfilt[-1][refh-1]p[x][-1]＝(refunfilt[x-1][-1] 2*refunfilt[x][-1] refunfilt[x 1][-1] 2)》》2对于x＝0
…
refw-2p[refw-1][-1]＝refunfilt[refw-1][-1]-否则，将参考样本值p[x][y]设置为等于未经滤波的样本值refunfilt[x][y]，其中x＝-1-refidx、y＝-1-refidx
…
refh-1和x＝-refidx
…
refw-1、y＝-1-refidx。
[0047]
应当指出的是，根据上面提供的方向帧内预测模式过程、通用(非mip)帧内样本预测过程和参考样本滤波过程，在jvet-n1001中，当斜率是整数斜率时，参考样本被平滑以用于角度预测，并且当参考样本被平滑时，使用三次插值滤波器代替高斯滤波器。具有用于具有整数斜率的角度的特殊规则不太理想，因为这很复杂而本不必要并且可对相对大量的样本应用平滑。
[0048]
如上所述，在通用(非mip)帧内样本预测过程中，jvet-n1001进一步指定了可应用于帧内预测样本的位置相关的帧内预测组合(pdpc)。pdpc使用具有权重的参考样本对帧内预测样本应用滤波器。特别地，在jvet-n1001中提供了以下位置相关的帧内预测样本滤波过程：位置相关的帧内预测样本滤波过程该过程的输入为：-帧内预测模式predmodeintra，-变量ntbw，其指定变换块宽度，-变量ntbh，其指定变换块高度，-变量refw，其指定参考样本宽度，-变量refh，其指定参考样本高度，-预测的样本predsamples[x][y]，其中x＝0
…
ntbw-1，y＝0
…
ntbh-1，-相邻样本p[x][y]，其中x＝-1，y＝-1
…
refh-1并且x＝0
…
refw-1，y＝-1，-变量cidx，其指定当前块的颜色分量。该过程的输出是修改的预测的样本predsamples[x][y]，其中x＝0
…
ntbw-1，y＝0
…
ntbh-1。根据cidx的值，函数clip1cmp设置如下：-如果cidx等于0，则将clip1cmp设置为等于clip1y。-否则，将clip1cmp设置为等于clip1c。将变量nscale设置为((log2(ntbw) log2(ntbh)-2)》》2)。参考样本阵列mainref[x]和sideref[y](其中x＝0
…
refw-1，并且y＝0
…
refh-1)
如下导出：mainref[x]＝p[x][-1]sideref[y]＝p[-1][y]变量refl[x][y]、reft[x][y]、wt[y]、wl[x]和wtl[x][y](其中x＝0
…
ntbw-1、y＝0
…
ntbh-1)如下导出：-如果predmodeintra等于intra_planar或intra_dc，则以下适用：refl[x][y]＝p[-1][y]reft[x][y]＝p[x][-1]wt[y]＝32》》((y《《1)》》nscale)wl[x]＝32》》((x《《1)》》nscale)wtl[x][y]＝(predmodeintra＝＝intra_dc)？((wl[x]》》4) (wt[y]》》4)):0-否则，如果predmodeintra等于intra_angular18或intra_angular50，则以下适用：refl[x][y]＝p[-1][y]reft[x][y]＝p[x][-1]wt[y]＝(predmodeintra＝＝intra_angular 18)？32》》((y《《1)》》nscale):0wl[x]＝(predmodeintra＝＝intra_angular50)？32》》((x《《1)》》nscale):0wtl[x][y]＝(predmodeintra＝＝intra_angular18)？wt[y]:wl[x]-否则，如果predmodeintra等于intra_angular2或intra_angular66，则以下适用：refl[x][y]＝p[-1][x y 1]reft[x][y]＝p[x y 1][-1]wt[y]＝(32》》1)》》((y《《1)》》nscale)wl[x]＝(32》》1)》》((x《《1)》》nscale)wtl[x][y]＝0-否则，如果predmodeintra小于或等于intra_angular10，则应用以下有序步骤：1.变量dxpos[y]、dxfrac[y]、dxint[y]和dx[x][y]根据intrapredmode使用如上指定的invangle如下导出：dxpos[y]＝((y 1)*invangle 2)》》2dxfrac[y]＝dxpos[y]&63dxint[y]＝dxpos[y]》》6dx[x][y]＝x dxint[y]2.变量refl[x][y]、reft[x][y]、wt[y]、wl[x]和wtl[x][y]如下导出：refl[x][y]＝0reft[x][y]＝(dx[x][y]《refw-1)？mainref[dx[x][y] (dxfrac[y]》》5)]:0wt[y]＝(dx[x][y]《refw-1)？32》》((y《《1)》》nscale):0
wl[x]＝0wtl[x][y]＝0-否则，如果predmodeintra大于或等于intra_angular58，则应用以下有序步骤：1.变量dypos[x]、dyfrac[x]、dyint[x]和dy[x][y]根据intrapredmode使用如上指定的invangle如下导出：dypos[x]＝((x 1)*invangle 2)》》2dyfrac[x]＝dypos[x]&63dyint[x]＝dypos[x]》》6dy[x][y]＝y dyint[x]2.变量refl[x][y]、reft[x][y]、wt[y]、wl[x]和wtl[x][y]如下导出：refl[x][y]＝(dy[x][y]《refh-1)？sideref[dy[x][y] (dyfrac[x]》》5)]:0reft[x][y]＝0wt[y]＝0wl[x]＝(dy[x][y]《refh-1)？32》》((x《《1)》》nscale):0wtl[x][y]＝0-否则，refl[x][y]、reft[x][y]、wt[y]、wl[x]和wtl[x][y]全部被设置为等于0。经修改的预测的样本predsamples[x][y](其中x＝0
…
ntbw-1、y＝0
…
ntbh-1)的值如下导出：predsamples[x][y]＝clip1cmp((refl[x][y]*wl[x] reft[x][y]*wt[y]-p[-1][-1]*wtl[x][y] (64-wl[x]-wt[y] wtl[x][y])*predsamples[x][y] 32)》》6)
[0049]
jvet-n1001中的位置相关的帧内预测样本滤波过程可能不太理想。具体地讲，存在用于角度模式的两种pdpc操作模式(除hor/ver之外)。也就是说，特殊规则适用于模式2和66，这可能很复杂而本不必要。另外，对于角度模式，需要进行逐个样本检查以确定参考样本是否在范围内。如果其不在范围内，则对于当前样本将pdpc权重设置为0。此外，对于dc和平面模式，除了左上参考的使用之外，pdpc过程是相同的，这可提供不太理想的设计。
[0050]
图5是示出根据本公开的一种或多种技术的可以被配置为对视频数据进行编码(例如，编码和/或解码)的系统的示例的框图。系统100表示可以根据本公开的一种或多种技术使用所述划分技术执行视频编码的系统的示例。如图5所示，系统100包括源设备102、通信介质110和目标设备120。在图5所示的示例中，源设备102可以包括被配置为对视频数据进行编码并将编码的视频数据传输到通信介质110的任何设备。目标设备120可以包括被配置为经由通信介质110接收编码视频数据并且对编码视频数据进行解码的任何设备。源设备102和/或目标设备120可以包括配备用于进行有线和/或无线通信的计算设备，并且可以包括机顶盒、数字视频录像机、电视机、台式电脑、膝上型电脑或平板电脑、游戏控制台、移动设备包括例如“智能”电话、蜂窝电话、个人游戏设备和医学成像设备。
[0051]
通信介质110可以包括无线和有线通信介质和/或存储设备的任意组合。通信介质110可以包括同轴电缆、光纤电缆、双绞线电缆、无线发射器和接收器、路由器、交换机、中继器、基站或可用于促进各种设备和站点之间的通信的任何其他设备。通信介质110可以包括一个或多个网络。例如，通信介质110可以包括被配置为允许访问万维网例如互联网的网络。网络可以根据一个或多个电信协议的组合操作。电信协议可以包括专有方面并且/或者
可以包括标准化电信协议。标准化电信协议的示例包括数字视频广播(dvb)标准、高级电视系统委员会(atsc)标准、综合服务数字广播(isdb)标准、有线数据业务接口规范(docsis)标准、全球移动通信系统(gsm)标准、码分多址(cdma)标准、第3代合作伙伴计划(3gpp)标准、欧洲电信标准协会(etsi)标准、互联网协议(ip)标准、无线应用协议(wap)标准以及电气与电子工程师协会(ieee)标准。
[0052]
存储设备可以包括能够存储数据的任何类型的设备或存储介质。存储介质可以包括有形或非暂态计算机可读介质。计算机可读介质可以包括光盘、闪存存储器、磁存储器或任何其他合适的数字存储介质。在一些示例中，存储器设备或其部分可以被描述为非易失性存储器，并且在其他示例中，存储器设备的部分可以被描述为易失性存储器。易失性存储器的示例可以包括随机存取存储器(ram)、动态随机存取存储器(dram)和静态随机存取存储器(sram)。非易失性存储器的示例可以包括磁性硬盘、光盘、软盘、闪存或电可编程存储器(eprom)或电可擦除和可编程(eeprom)存储器的形式。存储设备可以包括存储卡(例如，安全数字(sd)存储卡)、内部/外部硬盘驱动器和/或内部/外部固态驱动器。数据可以根据定义的文件格式存储在存储设备上。
[0053]
再次参考图5，源设备102包括视频源104、视频编码器106和接口108。视频源104可以包括被配置为捕获和/或存储视频数据的任何设备。例如，视频源104可以包括摄像机和可操作地与其耦接的存储设备。视频编码器106可以包括被配置为接收视频数据并生成表示视频数据的兼容比特流的任何设备。兼容比特流可以指视频解码器可以从其接收和再现视频数据的比特流。兼容比特流的各方面可根据视频编码标准来定义。当生成兼容比特流时，视频编码器106可以压缩视频数据。压缩可能是有损的(可觉察的或不可觉察的)或无损的。接口108可以包括被配置为接收兼容视频比特流并且将该兼容视频比特流传输和/或存储到通信介质的任何设备。接口108可以包括网络接口卡诸如以太网卡，并且可以包括光收发器、射频收发器或者可以发送和/或接收信息的任何其他类型的设备。此外，接口108可以包括计算机系统接口，该计算机系统接口可以允许兼容视频比特流存储在存储设备上。例如，接口108可以包括支持外围部件互连(pci)和高速外围部件互连(pcie)总线协议、专用总线协议、通用串行总线(usb)协议、i2c的芯片集或可用于互连对等设备的任何其他逻辑和物理结构。
[0054]
再次参考图5，目标设备120包括接口122、视频解码器124和显示器126。接口122可以包括被配置为从通信介质接收兼容视频比特流的任何设备。接口108可以包括网络接口卡诸如以太网卡，并且可以包括光收发器、射频收发器或者可接收和/或发送信息的任何其他类型的设备。此外，接口122可以包括允许从存储设备检索兼容视频比特流的计算机系统接口。例如，接口122可以包括支持pci和pcie总线协议、专用总线协议、usb协议、i2c的芯片集或可用于互连对等设备的任何其他逻辑和物理结构。视频解码器124可以包括被配置为接收兼容比特流和/或其可接受变体，并且从其再现视频数据的任何设备。显示器126可以包括被配置为显示视频数据的任何设备。显示器126可以包括各种显示设备诸如液晶显示器(lcd)、等离子显示器、有机发光二极管(oled)显示器或另外的类型的显示器中的一种。显示器126可以包括高清显示器或超高清显示器。应当指出的是，尽管在图3所示的示例中，视频解码器124被描述为将数据输出到显示器126，但视频解码器124可以被配置为将视频数据输出到各种类型的设备和/或其子部件。例如，视频解码器124可被配置为将视频数据
输出到任何通信介质，如本文所述。
[0055]
图6是示出可实现本文所述的用于对视频数据进行编码的技术的视频编码器200的示例的框图。应当指出的是，尽管示例性视频编码器200被示出为具有不同的功能块，但此类图示旨在用于描述目的，并且不将视频编码器200和/或其子部件限制为特定的硬件或软件架构。可使用硬件、固件和/或软件具体实施的任何组合来实现视频编码器200的功能。在一个示例中，视频编码器200可被配置为根据本文描述的技术对视频数据进行编码。视频编码器200可执行图片区域的帧内预测编码和帧间预测编码，并且因此可被称为混合视频编码器。在图6所示的示例中，视频编码器200接收源视频块。在一些示例中，源视频块可以包括已经根据编码结构划分的图片区域。例如，源视频数据可以包括宏块、ctu、cb、其子分区和/或另外的等效编码单元。在一些示例中，视频编码器200可被配置为执行源视频块的附加细分。应当指出的是，无论在编码之前和/或期间如何划分源视频数据，本文所述的一些技术都可普遍适用于视频编码。在图6所示的示例中，视频编码器200包括求和器202、变换系数生成器204、系数量化单元206、逆量化/变换处理单元208、求和器210、帧内预测处理单元212、帧间预测处理单元214、滤波器单元216和熵编码单元218。
[0056]
如图6所示，视频编码器200接收源视频块并输出比特流。视频编码器200可通过从源视频块中减去预测视频块来生成残差数据。求和器202表示被配置为执行该减法运算的部件。在一个示例中，视频块的减法发生在像素域中。变换系数生成器204将变换，诸如离散余弦变换(discrete cosine transform,dct)、离散正弦变换(discrete sine transform,dst)或概念上类似的变换，应用到其残差块或子分区(例如，可以将四个8
×
8变换应用于16
×
16残差值阵列)以生成一组残差变换系数。变换系数生成器204可被配置为执行离散三角变换系列中包括的变换的任意和全部组合。如上所述，在itu-t h.265中，tb被限制为以下大小4
×
4、8
×
8、16
×
16和32
×
32。在一个示例中，变换系数生成器204可被配置为根据大小为4
×
4、8
×
8、16
×
16和32
×
32的阵列执行变换。在一个示例中，变换系数生成器204可进一步被配置为根据其他尺寸的阵列执行变换。具体地，在一些情况下，对不同值组成的矩形阵列执行变换可能是有用的。在一个示例中，变换系数生成器204可被配置为根据以下阵列大小来执行变换：2
×
2、2
×
4n、4m
×
2和/或4m
×
4n。在一个示例中，二维(2d)m
×
n逆变换可实现为一维(1d)m点逆变换后再进行1d n点逆变换。在一个示例中，2d逆变换可实现为1d n点垂直变换后再进行1d n点水平变换。在一个示例中，2d逆变换可实现为1d n点水平变换后再进行1d n点垂直变换。变换系数生成器204可将变换系数输出到系数量化单元206。
[0057]
系数量化单元206可被配置为执行变换系数的量化。如上所述，可以通过调整量化参数来修改量化程度。系数量化单元206可以进一步被配置为确定量化参数并且输出qp数据(例如，用于确定量化组大小和/或增量qp值的数据)，视频解码器可以使用该qp数据来重构量化参数以在视频解码期间执行逆量化。应当指出的是，在其他示例中，可以使用一个或多个附加或另选的参数来确定量化位阶(例如，缩放因子)。本文所述的技术通常可应用于基于对应于视频数据的某一分量的变换系数的量化位阶，确定对应于视频数据的另一分量的变换系数的量化位阶。
[0058]
再次参见图6，量化的变换系数被输出到逆量化/变换处理单元208。逆量化/变换处理单元208可被配置为应用逆量化和逆变换来生成重构残差数据。如图6所示，在求和器210处，重构残差数据可以被添加到预测视频块。这样，可以重构编码的视频块，并且可以使
用所得重构视频块来评估给定的预测、变换和/或量化的编码质量。视频编码器200可被配置为执行多个编码回合(例如，在改变预测、变换参数和量化参数中的一者或多者的同时执行编码)。比特流的率失真或其他系统参数可以基于重构的视频块的评估来优化。此外，重构视频块可被存储并用作预测后续块的参考。
[0059]
如上所述，可以使用帧内预测来编码视频块。帧内预测处理单元212可被配置为针对待编码视频块选择帧内预测模式。帧内预测处理单元212可被配置为评估帧和/或其区域并且确定用以对当前块进行编码的帧内预测模式。如图6所示，帧内预测处理单元212将帧内预测数据(例如，语法元素)输出到熵编码单元218和变换系数生成器204。如上所述，对残差数据执行的变换可以取决于模式。如上所述，可能的帧内预测模式可以包括平面预测模式、dc预测模式和角度预测模式。此外，在一些示例中，可以从用于亮度预测模式的帧内预测推断出对色度分量的预测。
[0060]
如上所述，在jvet-n1001中，在isp模式下编码的cu的参考样本，可检索的样本具有不太理想的增大范围。也就是说，出于一致性目的，期望从先前编码的cu获取以用于帧内预测的参考样本是相同的，无论isp是否用于给定cu。在一个示例中，根据本文的技术，建议将针对isp模式中的cu内的给定分区检索的参考样本的量减少等于cu内的分区的偏移的量。具体地讲，根据本文的技术，在一个示例中，当isp分割发生时，参考样本宽度refw和参考样本高度refh可如下导出：refw＝ncbw*2 xtb0-xtbcmpt；refh＝ncbh*2 ytb0-ytbcmp；其中，-样本位置(xtbcmp,ytbcmp)指定当前变换块相对于当前图片左上样本的左上样本，-样本位置(xtb0,ytb0)指定当前编码单元中的第一变换块相对于当前图片左上样本的左上样本，并且
[0061]
应当指出的是，当将针对isp模式中的cu内的给定分区检索的参考样本的量减少等于cu内的分区的偏移的量时，益处在于当预测角度为正时，在应用pdpc过程之前，在具有isp和不具有isp的情况下获得的预测相同。
[0062]
如进一步所述，在jvet-n1001中，当斜率是整数斜率并且具有用于具有整数斜率的角度的特殊规则不太理想时，对参考样本进行平滑以用于角度预测。根据本文的技术，在一个示例中，帧内样本预测过程可以不对样本进行平滑以用于角度预测滑，无论斜率是否是整数斜率。
[0063]
如上所述，jvet-n1001中的位置相关的帧内预测样本滤波过程可能不太理想，因为对于角度模式存在两种pdpc操作模式，并且以及对于dc和平面模式，除了左上参考的使用之外，pdpc过程是相同的，这可提供不太理想的设计。在一个示例中，根据本文的技术，对于角度模式可存在单个pdpc操作模式。此外，根据本文的技术，指定pdpc缩放的推导，使得参考样本始终在范围内。在一个示例中，根据本文的技术，对于dc和平面模式pdpc方法可以是相同的。
[0064]
如上所述，根据jvet-n1001中提供的filterflag的推导，当使用isp时，不同的规则适用于确定可变filterflag，这是不期望的。在一个示例中，根据本文的技术，可使用独
立于isp的统一推导方法。
[0065]
如上所述，jvet-n1001中提供的填充和投影过程不太理想。表6提供了对样本投影过程中的界限的分析。值x被设置为(ntbh*intrapredangle)》》5，并且表示其可根据jvet-n1001中的以下公式采用的最小值：ref[x]＝p[-1-refidx][-1-refidx min((x*invangle 256)》》9,ntbh)]，其中x＝-ntbh
…‑1[0066]
在表6中，值y表示用于对同一公式中的p阵列进行寻址的对应索引。加粗并下划线的值是超过ntbh的值。此类值是不可取的。例如，给定ntbh＝8，不可能从p[][0
…
7]加载8个连续的样本并根据intrapredangle的值将它们置乱以获得ref[]的投影值。即使引入偏移并加载p[][o 0
…
o 7]也将不能够进行此类置乱。此类置乱。表6
[0067]
在一个示例中，根据本文的技术，提供了投影过程，诸如以不包括较远处的参考样本。因此，进入参考阵列的索引被限于不超过ntbh-1。另外，期望具有以下特性：对于0
…
intrapredangle-1中的x，32 ((x*invangle 128)》》8)等于(((x intrapredangle)*invangle 128)》》8)，使得当投影具有尺寸64的边缘时，该过程可被分成2个具有尺寸32的相同的投影。在jvet-n1001中，当intrapredangle等于29时，不满足该特性。向反转角度推导中添加1位精度修复了这个问题。下面是使用simd的示例性c代码，其实现所提出的投影
过程，其中每组8个样本的操作次数是2次矢量负载、1次矢量置乱和1次矢量存储：const int sizediv8＝(1《《log2size)》》3；int64_t offset＝offsets[angleidx]；for(int i＝0；i《sizediv8；i ){const_m128i x＝_mm_loadu_si128((const_m128i*)&side[1 8*i])；const_m128i y＝_mm_loadu_si128((const_m128i*)shuffle[angleidx][i&3])；_mm_storeu_si128((_m128i*)&main[offset》》56],_mm_shuffle_epi8(x,y))offset《《＝8》}
[0068]
具体地讲，根据本文的技术，在一个示例中，可基于intrapredangle如下导出反转角度参数invangle：
[0069]
也就是说，例如，根据本文的技术，在一个示例中，可根据以下过程中的一个或多个过程执行帧内样本预测过程：方向帧内预测模式过程该过程的输入为：-帧内预测模式predmodeintra，-变量refidx，其指定帧内预测参考行索引，-变量ntbw，其指定变换块宽度，-变量ntbh，其指定变换块高度，-变量refw，其指定参考样本宽度，-变量refh，其指定参考样本高度，-变量ncbw，其指定编码块宽度，-变量ncbh，其指定编码块高度，-变量cidx，其指定当前块的颜色分量，-相邻样本p[x][y]，其中x＝-1-refidx、y＝-1-refidx
…
refh-1和x＝-refidx
…
refw-1、y＝-1-refidx。该过程的输出是预测的样本predsamples[x][y]，其中x＝0
…
ntbw-1，y＝0
…
ntbh-1。将变量ntbs设置为等于(log2(ntbw) log2(ntbh))》》1。变量filterflag如下导出：-将变量mindistverhor设置为等于min(abs(predmodeintra-50),abs(predmodeintra-18))。-变量intrahorverdistthres[ntbs]在表1中指定-如果mindistverhor大于intrahorverdistthres[ntbs]，则将filterflag设置为等于1。-否则，将filterflag设置为等于0。
另选地，变量filterflag如下导出：-将变量mindistverhor设置为等于min(abs(predmodeintra-50),abs(predmodeintra-18))。-变量intrahorverdistthres[ntbs]在表1中指定-如果refidx等于0，intrasubpartitionssplittype等于isp_no_split，并且mindistverhor大于intrahorverdistthres[ntbs]，则将filterflag设置为等于1。-否则，将filterflag设置为等于0。表2指定predmodeintra与角度参数intrapredangle之间的映射表。基于intrapredangle来如下导出反转角度参数invangle：内插滤波器系数fc[相位][j]和fg[相位][j]，其中相位＝0
…
31并且j＝0
…
3，在表3中指定。预测样本predsamples[x][y](其中x＝0
…
ntbw-1，y＝0
…
ntbh-1)的值如下导出：-如果predmodeintra大于或等于34，则应用以下有序步骤：1.参考样本阵列ref[x]如下指定：-以下适用：ref[x]＝p[-1-refidx x][-1-refidx]，其中x＝0
…
ntbw refidx 1-如果intrapredangle小于0，则主参考样本阵列如下扩展：ref[x]＝p[-1-refidx][-1-refidx ((x*invangle 256)》》9,ntbh)]，其中x＝-ntbh
…‑
1-否则，ref[x]＝p[-1-refidx x][-1-refidx]，其中x＝ntbw 2 refidx
…
refw refidx-附加样本ref[refw refidx x]，其中x＝1
…
(max(1,ntbw/ntbh)*refidx 2)，如下导出：ref[refw refidx x]＝p[-1 refw][-1-refidx]2.预测样本predsamples[x][y](其中x＝0
…
ntbw-1，y＝0
…
ntbh-1)的值如下导出：-指数变量iidx和乘法因子ifact如下导出：iidx＝(((y 1 refidx)*intrapredangle)》》5) refidxifact＝((y 1 refidx)*intrapredangle)&31-如果cidx等于0，则以下适用：-内插滤波器系数ft[j](其中j＝0
…
3)如下导出：ft[j]＝filterflag？fg[ifact][j]:fc[ifact][j]-预测样本predsamples[x][y]的值如下导出：-否则(cidx不等于0)，根据ifact的值，以下适用：-如果ifact不等于0，则预测样本predsamples[x][y]的值如下导出：predsamples[x][y]＝((32-ifact)*ref[x iidx 1] ifact*ref[x iidx 2] 16)》
》5-否则，预测样本predsamples[x][y]的值如下导出：predsamples[x][y]＝ref[x iidx 1]-否则(predmodeintra小于34)，应用以下有序步骤：1.参考样本阵列ref[x]如下指定：-以下适用：ref[x]＝p[-1-refidx][-1-refidx x]，其中x＝0
…
ntbh refidx 1-如果intrapredangle小于0，则主参考样本阵列如下扩展：ref[x]＝p[-1-refidx ((x*invangle 256)》》9,ntbw)][-1-refidx]，其中x＝-ntbw
…‑
1-否则，ref[x]＝p[-1-refidx][-1-refidx x]，其中x＝ntbh 2 refidx
…
refh refidx-附加样本ref[refh refidx x]，其中x＝1
…
(max(1,ntbw/ntbh)*refidx 2)，如下导出：ref[refh refidx x]＝p[-1 refh][-1-refidx]2.预测样本predsamples[x][y](其中x＝0
…
ntbw-1，y＝0
…
ntbh-1)的值如下导出：-指数变量iidx和乘法因子ifact如下导出：iidx＝(((x 1 refidx)*intrapredangle)》》5) refidxifact＝((x 1 refidx)*intrapredangle)&31-如果cidx等于0，则以下适用：-内插滤波器系数ft[j](其中j＝0
…
3)如下导出：ft[j]＝filterflag？fg[ifact][j]:fc[ifact][j]-预测样本predsamples[x][y]的值如下导出：-否则(cidx不等于0)，根据ifact的值，以下适用：-如果ifact不等于0，则预测样本predsamples[x][y]的值如下导出：predsamples[x][y]＝((32-ifact)*ref[y iidx 1] ifact*ref[y iidx 2] 16)》》5-否则，预测样本predsamples[x][y]的值如下导出：predsamples[x][y]＝ref[y iidx 1]用于帧内块的解码过程该过程的输入为：-样本位置(xtb0,ytb0)，其指定当前变换块相对于当前图片左上样本的左上样本，-变量ntbw，其指定当前变换块的宽度，-变量ntbh，其指定当前变换块的高度，-变量predmodeintra，其指定帧内预测模式，-变量cidx，其指定当前块的颜色分量。该过程的输出是循环中滤波之前的经修改的重构图片。最大变换块尺寸maxtbsize如下导出：maxtbsize＝(cidx＝＝0)？maxtbsizey:maxtbsizey/2亮度样本位置如下导出：(xtby,ytby)＝(cidx＝＝0)？(xtb0,ytb0):(xtb0*2,ytb0*2)根据maxtbsize，以下适用：-如果intrasubpartitionssplittype等于no_isp_split，并且ntbw大于maxtbsize或者ntbh大于maxtbsize，则应用以下有序步骤。1.变量newtbw和newtbh如下导出：newtbw＝(ntbw》maxtbsize)？(ntbw/2):ntbwnewtbh＝(ntbh》maxtbsize)？(ntbh/2):ntbh2.调用如该子句中指定的用于帧内块的一般解码过程，其中以位置(xtb0,ytb0)、设置为等于newtbw的变换块宽度ntbw和设置为等于newtbh的高度ntbh、帧内预测模式predmodeintra以及变量cidx作为输入，并且输出是循环中滤波之前的经修改的重构图片。3.如果ntbw大于maxtbsize，则调用如该子句中指定的用于帧内块的一般解码过程，其中以设置为等于(xtb0 newtbw,ytb0)的位置(xtb0,ytb0)、设置为等于newtbw的变换块宽度ntbw和设置为等于newtbh的高度ntbh、帧内预测模式predmodeintra以及变量cidx作为输入，并且输出是循环中滤波之前的经修改的重构图片。4.如果ntbh大于maxtbsize，则调用如该子句中指定的用于帧内块的一般解码过程，其中以设置为等于(xtb0,ytb0 newtbh)的位置(xtb0,ytb0)、设置为等于newtbw的变换块宽度ntbw和设置为等于newtbh的高度ntbh、帧内预测模式predmodeintra以及变量cidx作为输入，并且输出是循环中滤波之前的经修改的重构图片。5.如果ntbw大于maxtbsize并且ntbh大于maxtbsize，则调用如该子句中指定的用于帧内块的一般解码过程，其中以设置为等于(xtb0 newtbw,ytb0 newtbh)的位置(xtb0,ytb0)、设置为等于newtbw的变换块宽度ntbw和设置为等于newtbh的高度ntbh、帧内预测模式predmodeintra以及变量cidx作为输入，并且输出是循环中滤波之前的经修改的重构图片。-否则，应用以下有序步骤：-变量nw、nh、numpartsx和numpartsy如下导出：nw＝intrasubpartitionssplittype＝＝isp_ver_split？ntbw/numintrasubpartitions:ntbwnh＝intrasubpartitionssplittype＝＝isp_hor_split？ntbh/numintrasubpartitions:ntbhnumpartsx＝intrasubpartitionssplittype＝＝isp_ver_split？numintrasubpartitions:1numpartsy＝intrasubpartitionssplittype＝＝isp_hor_split？numintrasubpartitions:1-对于xpartidx＝0
…
numpartsx-1并且ypartidx＝0
…
numpartsy-1，以下适用：
1.调用如下文指定的帧内样本预测过程，其中以设置为等于(xtb0 nw*xpartidx,ytb0 nh*ypartidx)的位置(xtbcmp,ytbcmp)、位置(xtb0,ytb0)、帧内预测模式predmodeintra、设置为等于nw和nh的变换块宽度ntbw和高度ntbh、设置为等于ntbw和ntbh的编码块宽度ncbw和高度ncbh以及变量cidx作为输入，并且输出是(ntbw)
×
(ntbh)阵列predsamples。帧内样本预测过程该过程的输入为：-样本位置(xtbcmp,ytbcmp)，其指定当前变换块相对于当前图片左上样本的左上样本，-样本位置(xtb0,ytb0)，其指定当前编码单元中的第一变换块相对于当前图片左上样本的左上样本，-变量predmodeintra，其指定帧内预测模式，-变量ntbw，其指定变换块宽度，-变量ntbh，其指定变换块高度，-变量ncbw，其指定编码块宽度，-变量ncbh，其指定编码块高度，-变量cidx，其指定当前块的颜色分量。该过程的输出是预测的样本predsamples[x][y]，其中x＝0
…
ntbw-1，y＝0
…
ntbh-1。预测样本predsamples[x][y]如下导出：-如果intra_mip_flag[xtbcomp][ytbcomp]等于1并且cidx等于0，则调用基于矩阵的帧内样本预测过程，其中以位置(xtbcmp,ytbcmp)、位置(xtb0,ytb0)、帧内预测模式predmodeintra、变换块宽度ntbw和高度ntbh作为输入，并且输出是predsamples。-否则调用如下文指定的通用(非mip)帧内样本预测过程，其中以位置(xtbcmp,ytbcmp)、帧内预测模式predmodeintra、变换块宽度ntbw和高度ntbh、编码块宽度ncbw和高度ncbh以及变量cidx作为输入来，并且输出是predsamples。通用(非mip)帧内样本预测过程该过程的输入为：-样本位置(xtbcmp,ytbcmp)，其指定当前变换块相对于当前图片左上样本的左上样本，-样本位置(xtb0,ytb0)，其指定当前编码单元中的第一变换块相对于当前图片左上样本的左上样本，-变量predmodeintra，其指定帧内预测模式，-变量ntbw，其指定变换块宽度，-变量ntbh，其指定变换块高度，-变量ncbw，其指定编码块宽度，-变量ncbh，其指定编码块高度，-变量cidx，其指定当前块的颜色分量。该过程的输出是预测的样本predsamples[x][y]，其中x＝0
…
ntbw-1，y＝0
…
ntbh-1。变量refw和refh如下导出：-如果intrasubpartitionssplittype等于isp_no_split或者cidx不等于0，则以下适用：refw＝ntbw*2refh＝ntbh*2-否则(intrasubpartitionssplittype不等于isp_no_split并且cidx等于0)，以下适用：refw＝ncbw*2 xtb0-xtbcmprefh＝ncbh*2 ytb0-ytbcmprefidx＝(cidx＝＝0)？intralumareflineidx[xtbcmp][ytbcmp]:0调用广角帧内预测模式映射过程，其中以predmodeintra、ntbw、ntbh和cidx作为输入，并且以经修改的predmodeintra作为输出。对于参考样本p[x][y]的生成，其中x＝-1-refidx、y＝-1-refidx
…
refh-1和x＝-refidx
…
refw-1、y＝-1-refidx，应用以下有序步骤：1.调用参考样本可用性标记过程，其中以样本位置(xtbcmp,ytbcmp)、帧内预测参考行索引refidx、参考样本宽度refw、参考样本高度refh、颜色分量索引cidx作为输入，并且以参考样本refunfilt[x][y](其中x＝-1-refidx、y＝-1-refidx
…
refh-1和x＝-refidx
…
refw-1、y＝-1-refidx)作为输出。2.当至少一个样本refunfilt[x][y](其中x＝-1-refidx、y＝-1-refidx
…
refh-1和x＝-refidx
…
refw-1、y＝-1-refidx)被标记为“不可用于帧内预测”时，调用参考样本替换过程，其中以帧内预测参考行索引refidx、参考样本宽度refw、参考样本高度refh、参考样本refunfilt[x][y](其中x＝-1-refidx、y＝-1-refidx
…
refh-1和x＝-refidx
…
refw-1、y＝-1-refidx)和颜色分量索引cidx作为输入，并且以经修改的参考样本refunfilt[x][y](其中x＝-1-refidx、y＝-1-refidx
…
refh-1和x＝-refidx
…
refw-1、y＝-1-refidx)作为输出。3.调用如下文指定的参考样本滤波过程，其中以帧内预测参考行索引refidx、变换块宽度ntbw和高度ntbh、参考样本宽度refw、参考样本高度refh、未经滤波样本refunfilt[x][y](其中x＝-1-refidx、y＝-1-refidx
…
refh-1和x＝-refidx
…
refw-1、y＝-1-refidx)和颜色分量索引cidx作为输入，并且以参考样本p[x][y](其中x＝-1-refidx、y＝-1-refidx
…
refh-1和x＝-refidx
…
refw-1、y＝-1-refidx)作为输出。根据predmodeintra的帧内样本预测过程应用如下：-如果predmodeintra等于intra_planar，则调用如下文指定的对应帧内预测模式过程，其中以变换块宽度ntbw和变换块高度ntbh以及参考样本阵列p作为输入，并且输出是预测的样本阵列predsamples。-否则，如果predmodeintra等于intra_dc，则调用如下文指定的对应帧内预测模式过程，其中以变换块宽度ntbw、变换块高度ntbh、帧内预测参考行索引refidx以及参考样本阵列p作为输入，并且输出是预测的样本阵列predsamples。-否则，如果predmodeintra等于intra_lt_cclm、intra_l_cclm或intra_t_cclm，
则调用对应的帧内预测模式过程，其中以帧内预测模式predmodeintra、设置为等于(xtbcmp,ytbcmp)的样本位置(xtbc,ytbc)、变换块宽度ntbw和高度ntbh以及参考样本阵列p作为输入，并且输出是预测的样本阵列predsamples。-否则，调用对应的帧内预测模式过程，其中以帧内预测模式predmodeintra、帧内预测参考行索引refidx、变换块宽度ntbw、变换块高度ntbh、参考样本宽度refw、参考样本高度refh、编码块宽度ncbw和高度ncbh、颜色分量索引cidx和参考样本阵列p作为输入，并且以预测的样本阵列predsamples作为输出。当所有以下条件都为真时，调用下文指定的位置相关的预测样本滤波过程，其中以帧内预测模式predmodeintra、变换块宽度ntbw、变换块高度ntbh、预测样本predsamples[x][y](其中x＝0
…
ntbw-1、y＝0
…
ntbh-1)、参考样本宽度refw、参考样本高度refh、参考样本p[x][y](其中x＝-1、y＝-1
…
refh-1和x＝0
…
refw-1、y＝-1)和颜色分量索引cidx作为输入，并且输出是经修改的预测的样本阵列predsamples：-intrasubpartitionssplittype等于isp_no_split或者cidx不等于0-refidx等于0或者cidx不等于0-bdpcmflag[xtbcmp][xtbcmp]等于0-predmodeintra小于或等于intra_angular18或大于或等于intra_angular50参考样本滤波过程参考样本滤波过程该过程的输入为：-变量refidx，其指定帧内预测参考行索引，-变量ntbw，其指定变换块宽度，-变量ntbh，其指定变换块高度，-变量refw，其指定参考样本宽度，-变量refh，其指定参考样本高度，-(未经滤波的)相邻样本refunfilt[x][y]，其中x＝-1-refidx、y＝-1-refidx
…
refh-1和x＝-refidx
…
refw-1、y＝-1-refidx，-变量cidx，其指定当前块的颜色分量。该过程的输出是参考样本p[x][y]，其中x＝-1-refidx、y＝-1-refidx
…
refh-1和x＝-refidx
…
refw-1、y＝-1-refidx。变量filterflag如下导出：-如果以下条件中的全部为真，则将filterflag设置为等于1：-ntbw*ntbh大于32-cidx等于0-intrasubpartitionssplittype等于isp_no_split-predmodeintra等于intra_planar-否则，将filterflag设置为等于0。对于参考样本p[x][y]的推导，以下适用：-如果filterflag等于1，则经滤波的样本值p[x][y](其中x＝-1，y＝-1
…
refh-1和x＝0
…
refw-1，y＝-1)如下导出：
p[-1][-1]＝refunfilt[-1][-1]p[-1][y]-(refunfilt[-1][y 1] 2*refunfilt[-1][y] refunfilt[-1][y-1] 2)》》2对于y＝0
…
ntbhp[-1][y]＝refunfilt[-1][y]，对于y＝ntbh 1
…
refh-1p[x][-1]＝(refunfilt[x-1][-1] 2*refunfilt[x][-1] refunfilt[x 1][-1] 2)》》2对于x＝0
…
ntbwp[x][-1]＝refunfilt[x][-1]，对于y＝ntbw 1
…
refh-1-否则，将参考样本值p[x][y]设置为等于未经滤波的样本值refunfilt[x][y]，其中x＝-1-refidx、y＝-1-refidx
…
refh-1和x＝-refidx
…
refw-1、y＝-1-refidx。位置相关的帧内预测样本滤波过程该过程的输入为：-帧内预测模式predmodeintra，-变量ntbw，其指定变换块宽度，-变量ntbh，其指定变换块高度，-变量refw，其指定参考样本宽度，-变量refh，其指定参考样本高度，-预测的样本predsamples[x][y]，其中x＝0
…
ntbw-1，y＝0
…
ntbh-1，-相邻样本p[x][y]，其中x＝-1，y＝-1
…
refh-1并且x＝0
…
refw-1，y＝-1，-变量cidx，其指定当前块的颜色分量。该过程的输出是修改的预测的样本predsamples[x][y]，其中x＝0
…
ntbw-1，y＝0
…
ntbh-1。根据cidx的值，函数clip1cmp设置如下：-如果cidx等于0，则将clip1cmp设置为等于clip1y。-否则，将clip1cmp设置为等于clip1c。将变量nscale设置为((log2(ntbw) log2(ntbh)-2)》》2)。如果predmodeintra大于intra_angular50，则使用如上文指定的invangle将可变nscale进一步设置为min(2,log2(ntbh)-floor(log2(3*invangle-2)) 7)。如果predmodeintra小于intra_angular18并且不等于intra_planar或intra__dc中的任一者，则使用如上文指定的invangle将可变nscale进一步设置为min(2,log2(ntbw)-floor(log2(3*invangle-2)) 7)。应当指出的是，在一个示例中，如果反转角度的精度增加，则将可变nscale进一步设置为min(2,log2(ntbh)-floor(log2(3*invangle-2)) 8)，并且将可变nscale进一步设置为min(2,log2(ntbw)-floor(log2(3*invangle-2)) 8)。参考样本阵列mainref[x]和sideref[y](其中x＝0
…
refw-1，并且y＝0
…
refh-1)如下导出：mainref[x]＝p[x][-1]sideref[y]＝p[-1][y]变量refl[x][y]、reft[x][y]、wt[y]、wl[x]和wtl[x][y](其中x＝0
…
ntbw-1、y＝0…
ntbh-1)如下导出：-如果predmodeintra等于intra_planar或intra_dc，则以下适用：refl[x][y]＝p[-1][y]reft[x][y]＝p[x][-1]wt[y]＝32》》((y《《1)》》nscale)wl[x]＝32》》((x《《1)》》nscale)wtl[x][y]＝0-否则，如果predmodeintra等于intra_angular18或intra_angular50，则以下适用：refl[x][y]＝p[-1][y]reft[x][y]＝p[x][-1]wt[y]＝(predmodeintra＝＝intra_angular 18)？32》》((y《《1)》》nscale):0wl[x]＝(predmodeintra＝＝intra_angular50)？32》》((x《《1)》》nscale):0wtl[x][y]＝(predmodeintra＝＝intra_angular18)？wt[y]:wl[x]-否则，如果predmodeintra小于intra_angular18，并且nscale等于或大于0，则应用以下有序步骤：1.变量dxint[y]和dx[x][y]根据intrapredmode使用如上指定的invangle如下导出：dxpos[y]＝((y 1)*invangle 128)》》8或((y 1)*invangle 256)》》9，如果反转角度的精度增加。dx[x][y]＝x dxint[y]2.变量refl[x][y]、reft[x][y]、wt[y]、wl[x]和wtl[x][y]如下导出：refl[x][y]＝0reft[x][y]＝(y《(3《《nscale))？mainref[dx[x][y]]:0wt[y]＝32》》((y《《1)》》nscale)wl[x]＝0wtl[x][y]＝0-否则，如果predmodeintra大于intra_angular50，并且nscale等于或大于0，则应用以下有序步骤：1.变量dypos[x]、dyfrac[x]、dyint[x]和dy[x][y]根据intrapredmode使用如上指定的invangle如下导出：dylnt[x]-((x 1)*invangle 128)》》8或((x 1)*invangle 256)》》9，如果反转角度的精度增加。dy[x][y]＝y dyint[x]2.变量refl[x][y]、reft[x][y]、wt[y]、wl[x]和wtl[x][y]如下导出：
refl[x][y]＝(x《(3《《nscale))？sideref[dy[x][y]]:0reft[x][y]＝0wt[y]＝0wl[x]＝32》》((x《《1)》》nscale)wtl[x][y]＝0-否则，refl[x][y]、reft[x][y]、wt[y]、wl[x]和wtl[x][y]全部被设置为等于0。经修改的预测的样本predsamples[x][y](其中x＝0
…
ntbw-1、y＝0
…
ntbh-1)的值如下导出：predsamples[x][y]＝clip1cmp((refl[x][y]*wl[x] reft[x][y]*wt[y]-p[-1][-1]*wtl[x][y] (64-wl[x]-wt[y] wtl[x][y])*predsamples[x][y] 32)》》6)
[0070]
这样，视频编码器200表示设备的示例，该设备被配置为：基于由帧内预测模式提供的反转角度来设置缩放变量的值，以及基于该缩放变量的值来执行位置相关的帧内预测样本滤波过程。
[0071]
帧间预测处理单元214可被配置为针对当前视频块执行帧间预测编码。帧间预测处理单元214可被配置为接收源视频块并且计算视频块的pu的运动矢量。运动矢量可以指示当前视频帧内的视频块的pu(或类似的编码结构)相对于参考帧内的预测块的位移。帧间预测编码可以使用一个或多个参考图片。此外，运动预测可以是单向预测(使用一个运动矢量)或双向预测(使用两个运动矢量)。帧间预测处理单元214可被配置为通过计算由例如绝对差之和(sad)、平方差之和(ssd)或其他差值度量确定的像素差来选择预测块。如上所述，可以根据运动矢量预测来确定和指定运动矢量。如上所述，帧间预测处理单元214可被配置为执行运动矢量预测。帧间预测处理单元214可被配置为使用运动预测数据生成预测块。例如，帧间预测处理单元214可定位帧缓冲器内的预测视频块(图6中未示出)。应当指出的是，帧间预测处理单元214可以进一步被配置为将一个或多个内插滤波器应用于重构残差块，以计算用于运动估计的子整数像素值。帧间预测处理单元214可将所计算的运动矢量的运动预测数据输出到熵编码单元218。如图6所示，帧间预测处理单元214可经由滤波器单元216接收重构的视频块。
[0072]
如图6所示，滤波器单元216接收重构的视频块和编码参数，并且输出经修改的重构视频数据。滤波器单元216可被配置为执行解块、样本自适应偏移(sao)滤波、自适应环路滤波(alf)等。sao滤波是一种可用于通过向重构视频数据添加偏移以改善重构的非线性振幅映射。应当指出的是，如图5所示，帧内预测处理单元212和帧间预测处理单元214可以经由滤波器单元216接收经修改的重构视频块。熵编码单元218接收量化的变换系数和预测语法数据(即，帧内预测数据和运动预测数据)。熵编码单元218可以被配置为根据本文所述的技术中的一种或多种技术执行熵编码。
[0073]
图7是示出根据本公开的一种或多种技术的可被配置为对视频数据进行解码的视频解码器的示例的框图。在一个示例中，视频解码器300可被配置为基于上文所述的技术中的一种或多种技术来重构视频数据。也就是说，视频解码器300可以与上述视频编码器200互逆的方式操作。视频解码器300可被配置为执行帧内预测解码和帧间预测解码，并且因此可被称为混合解码器。在图7所示的示例中，视频解码器300包括熵解码单元302、逆量化单元304、逆变换处理单元306、帧内预测处理单元308、帧间预测处理单元310、求和器312、滤
波器单元314和参考缓冲器316。视频解码器300可被配置为以与视频编码系统一致的方式对视频数据进行解码，该视频编码系统可以实现视频编码标准的一个或多个方面。应当指出的是，尽管示出的示例性视频解码器300具有不同的功能块，但此类图示旨在用于描述目的，并且不将视频解码器300和/或其子部件限制为特定的硬件或软件架构。可使用硬件、固件和/或软件具体实施的任何组合来实现视频解码器300的功能。
[0074]
如图7所示，熵解码单元302接收熵编码的比特流。熵解码单元302可被配置为根据与熵编码过程互逆的过程对来自比特流的量化语法元素和量化系数进行解码。熵解码单元302可被配置为根据上文所述的任何熵编码技术来执行熵解码。熵解码单元302可以与视频编码标准一致的方式解析编码的比特流。视频解码器300可被配置为解析编码的比特流，其中该编码的比特流基于上述技术生成。
[0075]
再次参考图7，逆量化单元304从熵解码单元302接收量化变换系数(即，位阶值)和量化参数数据。量化参数数据可以包括上述增量qp值和/或量化组大小值等的任意组合和全部组合。视频解码器300和/或逆量化单元304可被配置为基于由视频编码器发信号通知的值和/或通过视频属性和/或编码参数来确定用于逆量化的qp值。也就是说，逆量化单元304可以与上述系数量化单元206互逆的方式操作。例如，逆量化单元304可被配置为根据上述技术推断预先确定的值)、允许的量化组大小、导出量化参数等。逆量化单元304可被配置为应用逆量化。逆变换处理单元306可被配置为执行逆变换以生成重构残差数据。由逆量化单元304和逆变换处理单元306分别执行的技术可类似于由上述逆量化/变换处理单元208执行的技术。逆变换处理单元306可被配置为应用逆dct、逆dst、逆整数变换、不可分二次变换(nsst)或概念上类似的逆变换过程来变换系数，以便产生像素域中的残差块。此外，如上所述，是否执行特定变换(或特定变换的类型)可以取决于帧内预测模式。如图7所示，可将重构残差数据提供给求和器312。求和器312可以将重构残差数据添加到预测视频块并且生成重构视频数据。可根据预测视频技术(即帧内预测和帧间预测)确定预测视频块。
[0076]
帧内预测处理单元308可被配置为接收帧内预测语法元素并且从参考缓冲器316检索预测视频块。参考缓冲器316可以包括被配置为存储一个或多个视频数据帧的存储器设备。帧内预测语法元素可识别帧内预测模式，诸如上述的帧内预测模式。在一个示例中，帧内预测处理单元308可以使用根据本文所述的帧内预测编码技术中的一种或多种技术来重构视频块。帧间预测处理单元310可接收帧间预测语法元素并生成运动矢量，以识别存储在参考缓冲器316中的一个或多个参考帧中的预测块。帧间预测处理单元310可以生成运动补偿块，可能基于内插滤波器执行内插。用于具有子像素精度的运动估计的内插滤波器的标识符可以包括在语法元素中。帧间预测处理单元310可以使用内插滤波器来计算参考块的子整数像素的内插值。滤波器单元314可被配置为对重构的视频数据执行滤波。例如，滤波器单元314可被配置为执行解块和/或sao滤波，如上面关于滤波器单元216所描述的。此外，应当指出的是，在一些示例中，滤波器单元314可被配置为执行专用的任意滤波(例如，视觉增强)。如图7所示，视频解码器300可以输出重构的视频块。这样，视频解码器300表示设备的示例，该设备被配置为：基于由帧内预测模式提供的反转角度来设置缩放变量的值，以及基于该缩放变量的值来执行位置相关的帧内预测样本滤波过程。
[0077]
在一个或多个示例中，所述功能可以通过硬件、软件、固件或它们的任何组合来实现。如果以软件实现，则可将功能作为一个或多个指令或代码存储在计算机可读介质上或
经由计算机可读介质上传输，并且由基于硬件的处理单元执行。计算机可读介质可以包括对应于有形介质诸如数据存储介质的计算机可读存储介质，或者包括例如根据通信协议促进计算机程序从一个地方传输到另一个地方的任何介质的传播介质。这样，计算机可读介质通常可以对应于：(1)非暂态的有形计算机可读存储介质，或者(2)通信介质诸如信号或载波。数据存储介质可以是可以由一个或多个计算机或一个或多个处理器访问以检索用于实现本公开中所述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可以包括计算机可读介质。
[0078]
以举例而非限制的方式，此类计算机可读存储介质可以包括ram、rom、eeprom、cd-rom或其他光盘存储设备、磁盘存储设备或其他磁存储设备、闪存存储器、或者可用于存储指令或数据结构形式的所需程序代码并且可由计算机访问的任何其他介质。而且，任何连接都被适当地称为计算机可读介质。例如，如果使用同轴电缆、光纤电缆、双绞线、数字用户线路(dsl)或无线技术诸如红外线、无线电和微波从网站、服务器或其他远程源传输指令，则同轴电缆、光纤电缆、双绞线、dsl或无线技术诸如红外线、无线电和微波都包含在介质的定义中。然而，应当理解，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其他暂态介质，而是针对非暂态有形存储介质。如本文所用，磁盘和光盘包括压缩光盘(cd)、激光盘、光学光盘、数字通用光盘(dvd)、软磁盘及blu-ray光盘，其中磁盘通常以磁性方式复制数据，而光盘则利用激光以光学方式复制数据。上述的组合也应该被包括在计算机可读介质的范围内。
[0079]
可以由一个或多个处理器诸如一个或多个数字信号处理器(dsp)、通用微处理器、专用集成电路(asic)、现场可编程逻辑阵列(fpga)或其他等效集成或离散逻辑电路执行指令。因此，如本文所用的术语“处理器”可以指任何前述结构或适用于实现本文所描述的技术的任何其他结构。此外，在一些方面中，可以在被配置用于编码和解码的专用硬件和/或软件模块内提供本文所述的功能，或者将其结合到组合编解码器中。而且，这些技术可以完全在一个或多个电路或逻辑元件中实现。
[0080]
本公开的技术可以在各种设备或装置包括无线手机、集成电路(ic)或ic集(例如，芯片集)中实现。在本公开中描述了各种部件、模块或单元，以强调被配置为执行所公开的技术的设备的功能方面，但是不一定需要通过不同的硬件单元来实现。相反，如上所述，可以将各种单元组合在编解码器硬件单元中，或者通过互操作硬件单元包括如上所述的一个或多个处理器的集合，结合合适的软件和/或固件来提供各种单元。
[0081]
此外，每个上述实施方案中所使用的基站设备和终端设备的每个功能块或各种特征可通过电路(通常为一个集成电路或多个集成电路)实现或执行。被设计为执行本说明书中所述的功能的电路可以包括通用处理器、数字信号处理器(dsp)、专用或通用集成电路(asic)、现场可编程门阵列(fpga)或其他可编程逻辑设备、分立栅极或晶体管逻辑器或分立硬件部件或它们的组合。通用处理器可为微处理器，或另选地，该处理器可为常规处理器、控制器、微控制器或状态机。通用处理器或上述每种电路可由数字电路进行配置，或可由模拟电路进行配置。此外，当由于半导体技术的进步而出现制成取代当前集成电路的集成电路的技术时，也能够使用通过该技术生产的集成电路。
[0082]
已经描述了各种示例。这些示例和其他示例在以下权利要求的范围内。《发明内容》
[0083]
在一个示例中，一种对视频数据进行编码的方法，该方法包括：基于由帧内预测模式提供的反转角度来设置缩放变量的值；以及基于该缩放变量的值来执行位置相关的帧内预测样本滤波过程。
[0084]
在一个示例中，提供了该方法，其中基于由帧内预测模式提供的反转角度来设置缩放变量的值包括基于该帧内预测模式是否大于指定模式来设置该缩放变量的该值。
[0085]
在一个示例中，提供了该方法，根据本文描述的一种或多种技术确定由帧内预测模式提供的反转角度。
[0086]
在一个示例中，一种用于对视频数据进行编码的设备，该设备包括被配置为执行这些步骤的任意和全部组合的一个或多个处理器。
[0087]
在一个示例中，提供了该设备，其中该设备包括视频编码器。
[0088]
在一个示例中，提供了该设备，其中该设备包括视频解码器。
[0089]
在一个示例中，一种系统，该系统包括：设备，该设备包括视频编码器；并且该设备包括视频解码器。
[0090]
在一个示例中，一种用于对视频数据进行编码的装置，该装置包括用于执行步骤的任意和全部组合的装置。
[0091]
在一个示例中，一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质包括存储在其上的指令，当这些指令被执行时，使得用于编码视频数据的设备的一个或多个处理器执行步骤的任意和全部组合。
[0092]
在一个示例中，一种对视频数据进行编码的方法，该方法包括：导出帧内预测角度参数；基于该帧内预测角度参数来导出反转角度参数；对于包括在限定的一组预测模式中的预测模式，基于所导出的反转角度来设置缩放变量的值；以及使用该缩放变量的值来执行位置相关的帧内预测样本滤波过程。
[0093]
在一个示例中，提供了该方法，其中该限定的一组预测模式包括2至17范围内的预测模式和51至80范围内的预测模式。
[0094]
在一个示例中，提供了该方法，其中基于帧内预测角度参数来导出反转角度参数包括将16,384除以该帧内预测角度参数。
[0095]
在一个示例中，提供了该方法，其中基于所导出的反转角度来设置该缩放变量的该值包括除非所导出的反转角度大于对应于变换块尺寸的阈值，否则将该缩放变量的该值设置为2。
[0096]
在一个示例中，提供了该方法，其中确定所导出的反转角度是否大于阈值包括执行以下计算：floor(log2(3*invangle-2))，其中invangle是所导出的反转角度。
[0097]
在一个示例中，提供了该方法，还包括对于未包括在该限定的一组预测模式中的预测模式，基于变换块高度尺寸和宽度尺寸来设置该缩放变量的该值。
[0098]
在一个示例中，一种包括一个或多个处理器的设备，该一个或多个处理器被配置为：导出帧内预测角度参数；基于该帧内预测角度参数来导出反转角度参数；对于限定的一组预测模式，基于所导出的反转角度来设置缩放变量的值；以及使用该缩放变量的值来执行位置相关的帧内预测样本滤波过程。
[0099]
在一个示例中，提供了该设备，其中该限定的一组预测模式包括2至17范围内的预测模式和51至80范围内的预测模式。
[0100]
在一个示例中，提供了该设备，其中基于帧内预测角度参数来导出反转角度参数包括将16,384除以该帧内预测角度参数。
[0101]
在一个示例中，提供了该设备，其中基于所导出的反转角度来设置该缩放变量的该值包括除非所导出的反转角度大于对应于变换块尺寸的阈值，否则将该缩放变量的该值设置为2。
[0102]
在一个示例中，提供了该设备，其中确定所导出的反转角度是否大于阈值包括执行以下计算：floor(log2(3*invangle-2))，其中invangle是所导出的反转角度。
[0103]
在一个示例中，提供了该设备，还包括对于未包括在该限定的一组预测模式中的预测模式，基于变换块高度尺寸和宽度尺寸来设置该缩放变量的该值。
[0104]
在一个示例中，提供了该设备，其中该设备是视频解码器。《交叉引用》
[0105]
本非临时专利申请根据《美国法典》第35卷第119节(35 u.s.c.
§
119)要求于2019年6月24日提交的临时申请62/865,661、2019年6月28日提交的临时申请62/868,276的优先权，这两个申请的全部内容据此以引用方式并入。