视频编码中帧内编码模式的扩展的制作方法

视频编码中帧内编码模式的扩展
1.相关申请的交叉引用
2.根据适用的《专利法》和/或《巴黎公约》的规定，本技术及时要求2019年8月26日提交的国际专利申请no.pct/cn2019/102586的优先权和权益。将国际专利申请no.pct/cn2019/102586的全部公开以参考方式并入本文，作为本技术公开的一部分。
技术领域
3.该专利文件涉及视频编码技术、解码技术、设备和系统。


背景技术：

4.尽管视频压缩取得了进步，但在互联网和其他数字通信网络中，数字视频仍占用最大带宽。随着能够接收和显示视频的连接用户设备数量的增加，预计数字视频使用的带宽需求将继续增长。


技术实现要素：

5.本文档公开了与在视频编码和解码中使用仿射运动补偿有关的方法、系统和设备。
6.在一个代表性方面，公开了一种视频处理方法。该方法包括：执行当前视频块和当前视频块的编码表示之间的转换，其中，在转换处理期间，至少一个编码预测方法被视为ipm集合中的帧内预测模式(ipm)，而没有使用标志来信令通知至少一种编码预测模式。
7.在又一方面，公开了另一种视频处理方法。该方法包括：执行当前视频块和当前视频块的编码表示之间的转换，其中，在转换期间，至少一种编码预测方法被视为最可能模式(mpm)列表中的帧内预测模式(ipm)，而不使用标志来信令通知至少一种编码预测模式。
8.在又一方面，公开了另一种视频处理方法。该方法包括：执行当前视频块和当前视频块的编码表示之间的转换，其中，在转换期间，在调色板模式下，与当前视频块关联的语法元素的上下文是从用于导出mpm列表的临近块导出的；和将临近块的位置与当前视频块的位置对齐。
9.在又一方面，公开了另一种视频处理方法。该方法包括：对于视频的当前视频块和所述视频的比特流表示之间的转换，通过修改现有ipm集合以包括至少一种新编码方法，来生成与所述当前视频块相关联的扩展帧内预测模式(ipm)集合，其中，所述新编码方法不同于所述现有ipm中的编码方法，并被视为ipm；以及基于所述扩展ipm集合执行所述转换。
10.在又一方面，公开了另一种视频处理方法。该方法包括：对于视频的当前视频块和所述视频的比特流表示之间的转换，生成与所述当前视频块相关联的修改的最可能帧内模式(mpm)列表，其中，所述修改的mpm列表包括至少一种新编码方法，所述至少一种新编码方法与现有ipm集合中的现有帧内预测模式(ipm)不同，且被视为ipm；以及基于所述修改的mpm列表执行所述转换。
11.在又一方面，公开了另一种视频处理方法。该方法包括：对于在视频的色度块和所
述色度块的比特流表示之间的转换，确定所述色度块是否是屏幕内容块；响应于指示所述色度块是屏幕内容块的确定，修改所述色度块的帧内预测处理和/或变换处理；和基于修改的帧内预测处理和/或变换处理执行所述转换。
12.在又一方面，公开了另一种视频处理方法。该方法包括：在视频的当前视频块和所述视频的比特流表示之间执行转换，其中，在所述转换期间，将在一个或多个语法元素的上下文推导中采用的左临近块和/或上临近块的位置与在最可能帧内模式(mpm)推导中使用的左临近块和/或上临近块的位置对齐。
13.在又一方面，公开了另一种视频处理方法。该方法包括：对于在视频的当前视频块和视频的比特流表示之间的转换，使用多个上下文信令通知调色板模式的使用的指示；基于指示执行转换。
14.在又一个代表性方面，本文描述的各种技术可以体现为存储在非暂时性计算机可读介质上的计算机程序产品。该计算机程序产品包括用于执行本文描述的方法的程序代码。
15.在又一个代表性方面，视频解码器装置可以实现如本文所述的方法。
16.一种或多种实施方式的细节在所附的附件、附图和以下描述中阐明。根据描述和附图以及权利要求书，其他特征将显而易见。
附图说明
17.图1示出了帧内块复制的示例。
18.图2示出了以调色板模式编码的块的示例。
19.图3示出了使用调色板预测器来信令通知调色板条目的示例。
20.图4示出了水平和垂直遍历扫描的示例。
21.图5示出了调色板索引的编码的示例。
22.图6示出帧内预测模式的示例。
23.图7示出了当前块的邻居。
24.图8示出了用于推导模型参数的样点的位置的示例。
25.图9a-9d示出了应用于对角和临近帧内模式的由pdpc使用的样点的定义。
26.图10示出了与预测块临近的四个参考线的示例。
27.图11a示出了用于4
×
8和8
×
4cu的子分割的示例。
28.图11b示出了除了4x8、8x4和4x4之外的cu的子分割的示例。
29.图12示出矩阵加权帧内预测处理的示例。
30.图13a和13b示出了4参数仿射模型和6参数仿射模型。
31.图14示出了每个子块的仿射mvf的示例。
32.图15a和15b示出了scipu的示例。
33.图16示出了用于4：2：0颜色格式的亮度区域的示例。
34.图17示出了当前块的左邻居和上邻居的示例。
35.图18是示出了可用于实现本公开技术的各个部分的计算机系统或其他控制设备的结构的示例的框图。
36.图19示出了可以被用来实现本公开技术的各个部分的移动设备的示例实施例的
框图。
37.图20是其中可以实现所公开的技术的示例视频处理系统的框图。
38.图21示出了用于视频处理的示例方法的流程图。
39.图22示出了用于视频处理的示例方法的流程图。
40.图23示出了用于视频处理的示例方法的流程图。
41.图24示出了用于视频处理的示例方法的流程图。
42.图25示出了用于视频处理的示例方法的流程图。
43.图26示出了用于视频处理的示例方法的流程图。
具体实施方式
44.本文档提供了可以体现在数字视频编码器和解码器中的几种技术。为了清楚理解，在本文档中使用节标题，并且不将每个节中公开的技术和实施例的范围仅限于该节。
45.1.概要
46.所公开的技术涉及视频编码技术。具体而言，它涉及视频编码中的帧内模式编码。可以将其应用于诸如hevc的现有视频编码标准，或者将被最终确定的标准(例如，通用视频编码)。它也可能适用于将来的视频编码标准或视频编解码器。
47.2.介绍
48.视频编码标准主要是通过开发众所周知的itu-t和iso/iec标准而发展起来的。itu-t制作了h.261和h.263，iso/iec制作了mpeg-1和mpeg-4视频，并且这两个组织共同制作了h.262/mpeg-2视频和h.264/mpeg-4高级视频编码(avc)和h.265/hevc标准。自h.262开始，视频编码标准基于混合视频编码结构，其中利用了时域预测加变换编码。为探索hevc之外的未来视频编码技术，vceg和mpeg于2015年共同成立了联合视频探索团队(jvet)。从那时起，jvet采用了许多新的方法，并将其应用到了名为联合探索模型(jem)的参考软件中。2018年4月，vceg(q6/16)和iso/iec jtc1 sc29/wg11(mpeg)之间的联合视频专家团队(jvet)成立，以致力于目标是与hevc相比其降低50％比特率的vvc标准。
49.2.1帧内块复制
50.在hevc屏幕内容编码扩展(hevc-scc)和当前vvc测试模型(vtm-4.0)中，采用了帧内块复制(ibc)(又称为当前图片参考)。ibc将运动补偿的概念从帧间编码扩展到了帧内编码。如图1所示，当应用ibc时，当前块由同一图片中的参考块预测。在对当前块进行编码或解码之前，必须已经重构了参考块中的样点。尽管ibc对于大多数摄像机捕获的序列而言效率不高，但它显示了屏幕内容的显著编码增益。原因是屏幕内容图片中有很多重复的图案，诸如图标和文本字符。ibc可以有效地消除这些重复图案之间的冗余。在hevc-scc中，如果帧间编码单元(cu)选择当前图片作为其参考图片，则它可以应用ibc。在这种情况下，mv被重命名为块矢量(bv)，并且bv始终具有整数像素精度。为了与主配置文件hevc兼容，当前图片在解码图片缓冲区(dpb)中被标记为“长期”参考图片。应当注意，类似地，在多视图/3d视频编码标准中，视图间参考图片也被标志为“长期”参考图片。
51.在bv找到其参考块之后，可以通过复制参考块来生成预测。可以通过从原始信号中减去参考像素来获得残差。然后可以像在其他编码模式中一样应用变换和量化。
52.然而，当参考块在图片之外、或与当前块重叠、或在重构的区域之外、或在受某些
约束限制的有效区域之外时，则不定义部分或全部像素值。基本上，应对此种问题有两种解决方案。一种是禁止这种情形，例如在比特流一致性方面。另一种是对那些未定义的像素值应用填充。以下子章节详细描述了解决方案。
53.2.2 hevc屏幕内容编码扩展中的ibc
54.在hevc的屏幕内容编码扩展中，当块使用当前图片作为参考时，应确保整个参考块在可用的重构区域内，如说明书中的以下文本所示：
55.变量offsetx和offsety的推导如下：
56.offsetx＝(chromaarraytype＝＝0)？0:(mvclx[0]&0x7？2:0)(8-106)
[0057]
offsety＝(chromaarraytype＝＝0)？0:(mvclx[1]&0x7？2:0)(8-107)
[0058]
这是比特流一致性的要求，即当参考图片是当前图片时，亮度运动矢量mvlx应当遵循以下限制：
[0059]-当第6.4.1节中规定的z扫描顺序块可用性的推导处理为将设置为(xcb，ycb)的(xcuee,ycurr)、设置为等于(xpb (mvlx[0]》》2)-offsetx,ypb (mvlx[1]》》2)-offsety)的临近亮度位置(xnby,ynby)作为输入时，输出应当为真(true)。
[0060]-当第6.4.1节中规定的z扫描顺序块可用性的推导处理为将设置为(xcb，ycb)的(xcuee,ycurr)、设置为等于(xpb (mvlx[0]》》2) npbw-1 offsetx,ypb (mvlx[1]》》2) npbh-1 offsety)的临近亮度位置(xnby,ynby)作为输入时，输出应当为真(true)
[0061]-以下条件中的一个或两者应当为真：
[0062]-(mvlx[0]》》2) npbw xb1 offsetx的值小于或等于0。
[0063]-(mvlx[1]》》2) npbh yb1 offsety的值小于或等于0。
[0064]-以下条件应当为真：
[0065]
(xpb (mvlx[0]》》2) npbsw-1 offsetx)/ctbsizey-xcurr/ctbsizey《＝ycurr/ctbsizey-(ypb (mvlx[1]》》2) npbsh-1 offsety)/ctbsizey(8-108)
[0066]
因此，将不会发生参考块与当前块重叠或参考块在图片之外的情况。无需填充参考或预测块。
[0067]
2.3.vvc测试模型中的ibc
[0068]
在当前的vvc测试模型(即vtm-4.0设计)中，整个参考块应与当前的编码树单元(ctu)重叠，且不与当前块重叠。因此，不需要填充参考或预测块。ibc标志被编码为当前cu的预测模式。因此，每个cu总共存在三种预测模式：mode_intra\mode_inter和mode_ibc。
[0069]
2.3.1.ibc merge模式
[0070]
在ibc merge模式中，从比特流中解析指向ibc merge候选列表中的条目的索引。ibc merge列表的构造可以根据以下步骤顺序进行总结：
[0071]
●
步骤1：推导空域候选
[0072]
●
步骤2：插入hmvp候选
[0073]
●
步骤3.插入成对平均候选
[0074]
在空域merge候选的推导中，在位于附图2描绘的位置的候选当中选择最多四个merge候选。推导的顺序是a1、b1、b0、a0和b2。仅当位置a1、b1、b0、a0的任何预测单元(pu)不可用(例如，因为它属于另一条带或区块)或者没有用ibc模式进被编码时，才考虑位置b2。在添加位置a1处的候选之后，对剩余候选的插入进行冗余校验，其确保具有相同运动信息的
候选被排除在列表之外，使得编码效率提高。为了降低计算复杂度，在所提到的冗余校验中并未考虑所有可能的候选对。相反，仅考虑附图3中描绘的用箭头连接的对，并且仅在用于冗余校验的对应候选具有不一样的运动信息时，才将候选添加到列表。
[0075]
在插入空域候选之后，如果ibc merge列表尺寸仍小于最大ibc merge列表尺寸，则可以插入来自hmvp表的ibc候选。插入hmvp候选时执行冗余检查。
[0076]
最后，将成对平均候选插入ibc merge列表。
[0077]
当由merge候选标识的参考块在图片之外、或者与当前块重叠、或者在重构区域之外、或者在受某些约束限制的有效区域之外时，merge候选被称为无效merge候选。
[0078]
注意，可以将无效的merge候选插入到ibc merge列表中。
[0079]
2.3.2 ibc amvp模式
[0080]
在ibc amvp模式下，指向ibc amvp列表中条目的amvp索引是从比特流中解析出来的。ibc amvp列表的构造可以根据以下步骤顺序进行总结：
[0081]
●
步骤1：推导空域候选
[0082]
○
检查a0、a1，直到找到可用的候选。
[0083]
○
检查b0、b1、b2，直到找到可用的候选。
[0084]
●
步骤2：插入hmvp候选
[0085]
●
步骤3：插入零候选
[0086]
在插入空域候选之后，如果ibc amvp列表尺寸仍然小于最大ibc amvp列表尺寸，则可以插入来自hmvp表的ibc候选。
[0087]
最后，将零候选插入到ibc amvp列表中。
[0088]
2.4调色板模式
[0089]
调色板模式背后的基本思想是cu中的样点由一小组表示性颜色值表示。该组称为调色板。也可以通过信令通知后跟(可能是量化的)分量值的逸出符号(escape symbol)来指示调色板之外的样点。这在图2中示出。
[0090]
2.5 hevc屏幕内容编码扩展中的调色板模式(hevc-scc)
[0091]
在hevc-scc的调色板模式中，预测方式用于编码调色板和索引图。
[0092]
2.5.1调色板条目的编码
[0093]
为了对调色板条目进行编码，维护了调色板预测器。在sps中信令通知调色板预测器以及调色板的最大尺寸。在hevc-scc中，在pps中引入了palette_predictor_initializer_present_flag。当此标志为1时，在比特流中信令通知用于初始化调色板预测器的条目。在每个ctu行、每个条带和每个片的开始处初始化调色板预测器。根据palette_predictor_initializer_present_flag的值，将调色板预测器重置为0或使用pps中信令通知的调色板预测器初始化器条目进行初始化。在hevc-scc中，启用了尺寸为0的调色板预测器初始化器，以允许在pps级别上显式禁用调色板预测器初始化。
[0094]
对于调色板预测器中的每个条目，信令通知重用标志以指示其是否是当前调色板的一部分。这在图3中示出。使用零的游程长度(run-length)编码发送重用标志。此后，使用阶数为0的指数golomb代码信令通知新调色板的数量。最后，信令通知新调色板条目的分量值(component value)。
[0095]
2.5.2调色板索引的编码
[0096]
如图4所示，使用水平和垂直遍历扫描来对调色板索引进行编码。使用palette_transpose_flag在比特流中显式地信令通知扫描顺序。对于本小节的剩余部分，假定扫描是水平的。
[0097]
使用两个主调色板样点模式(“index”和“copy_above”)对调色板索引进行编码。如前所述，逸出符号也信令通知为“index”模式，并被分配了等于最大调色板尺寸的索引。使用除顶部行以外的标志或在前一个模式为“copy_above”时信令通知该模式。在“copy_above”模式下，将复制上一行中样点的调色板索引。在“index”模式下，显式地信令通知调色板索引。对于“index”和“copy_above”模式两者，都会信令通知运行值，该值指定了也使用相同模式进行编码的后续样点数。当“index”或“copy_above”模式下逸出符号是运行的一部分时，将为每个逸出符号信令通知逸出分量值。调色板索引的编码在图5中示出。
[0098]
该语法顺序如下完成。首先，信令通知cu的索引值的数量。这之后是使用截断的二进制编码来信令通知整个cu的实际索引值。索引数和索引值均以旁路模式进行编码。这会将与索引相关的旁路箱组合在一起。然后以交错方式信令通知调色板样点模式(如果需要)和运行。最后，将与整个cu的逸出样点相对应的分量逸出值组合在一起，并以旁路模式进行编码。
[0099]
在信令通知索引值之后，信令通知了另外的语法元素last_run_type_flag。该语法元素与索引数量一起，消除了信令通知与块中最后一次运行相对应的运行值的需要。
[0100]
在hevc-scc中，还为4：2：2、4：2：0和单色色度格式启用了调色板模式。对于所有色度格式，调色板条目和调色板索引的信令几乎相同。如果是非单色格式，则每个调色板条目均由3个分量组成。对于单色格式，每个调色板条目均由单个分量组成。对于子样点的色度方向，色度样点与可被2整除的亮度样点索引相关联。在为cu重构调色板索引之后，如果样点仅具有与其相关联的单个分量，则仅使用调色板条目的第一个分量。信令的唯一区别在于逸出分量值。对于每个逸出样点，信令通知的逸出分量值的数量可能会有所不同，具体取决于与该样点相关联的分量的数量。
[0101]
2.6 vvc中的帧内预测
[0102]
2.6.1具有67种帧内预测模式的帧内模式编码
[0103]
为了捕获自然视频中呈现的任意边缘方向，vtm4中的定向帧内模式的数量从hevc中使用的33扩展到65。hevc中没有的新定向模式在图6中用红色虚线箭头表示，平面模式和dc模式保持相同。这些更密集的定向帧内预测模式适用于所有块尺寸以及亮度和色度帧内预测。
[0104]
针对帧内块提出了统一的6-mpm列表，而不管是否应用了mrl和isp编码工具。如图7所示，mpm列表是基于vtm4.0中左侧和上方临近块的帧内模式构造的。
[0105]
假设将左侧的模式表示为left，并将以上方块的模式表示为above，则按以下步骤依次构造统一的mpm列表：
[0106]-当临近块的帧内预测模式无效时，默认情况下将其帧内模式设置为“planar(平面)”。
[0107]-如果left和above相同且都成角度：
[0108]
○
mpm列表
→
{planar,left,left-1,left 1,dc,left-2}
[0109]-如果left和above不同并且都成角度：
[0110]
○
将max模式设置为left和above
[0111]
○
如果left和above模式的差值在2到62(包含2和62)范围内
[0112]
■
mpm列表
→
{planar,left,above,dc,max-1,max 1}
[0113]
○
否则
[0114]
■
mpm列表
→
{planar,left,above,dc,max-2,max 2}
[0115]-如果left和above是不同的，并且left和above的模式之一是角度模式，另一个是非角度的：
[0116]
○
将max模式设置为left和above
[0117]
○
mpm列表
→
{planar,max,dc,max-1,max 1,max-2}
[0118]-如果left和above两个模式均为非角度模式：
[0119]
○
mpm列表
→
{planar,dc,v,h,v-4,v 4}
[0120]
请注意，当模式索引(例如，max 2)超出范围[0，66]时，可以用另一个有效的模式索引来替换。
[0121]
第一个mpm候选，即planar模式与剩余mpm候选分开信令通知。
[0122]
2.6.2模式相关的帧内平滑(mdis)
[0123]
四抽头帧内插值滤波器用于提高定向帧内预测精度。在hevc中，已经使用两抽头线性插值滤波器来以定向预测模式(即，不包括平面和dc预测器)生成帧内预测块。在vtm6中，简化的6比特4抽头高斯插值滤波器仅用于定向帧内模式。未修改非定向帧内预测处理。根据提供非分数位移的定向帧内预测模式的mdis条件执行4抽头滤波器的选择，即除以下各项以外的所有定向模式：2、hor_idx、dia_idx、ver_idx、66。
[0124]
取决于帧内预测模式，执行以下参考样点处理：
[0125]
1.定向帧内预测模式分类为以下组之一：
[0126]
a.垂直或水平模式(hor_idx、ver_idx)，
[0127]
b.对角模式，表示45度倍数的角度(2、dia_idx、vdia_idx)，
[0128]
c.剩余定向模式；
[0129]
2.如果定向帧内预测模式被分类为属于a组，则没有滤波器应用于参考样点以生成预测样点；
[0130]
3.否则，如果模式属于b组，则可以将[1，2，1]参考样点滤波器应用于(取决于mdis条件)参考样点，以根据选择的方向将这些滤波的值进一步复制到帧内预测器中，但不应用插值滤波器；
[0131]
4.否则，如果将模式分类为属于c组，则仅将帧内参考样点插值滤波器应用于参考样点，以根据选择的方向生成落入参考样点之间的分数或整数位置的预测样点(不执行参考样点滤波)。
[0132]
2.6.3跨分量线性模型预测
[0133]
为减少跨分量冗余，在vtm4中使用了跨分量线性模型(cclm)预测模式，为此，使用线性模型基于相同cu的重构亮度样点来预测色度样点，如下所示：
[0134]
predc(i,j)＝α
·
rec
l
′
(i,j) β
ꢀꢀ
(2-1)
[0135]
其中，predc(i,j)表示cu中的预测的色度样点，rec
l
(i,j)表示同一cu的下采样重构亮度样点。线性模型参数α和β是从两个样点的亮度值和色度值之间的关系得出的，这两
个值是临近亮度样点集合中的最小亮度样点a(xa,ya)和最大亮度样点b(xb,yb)。根据以下等式获得线性模型参数α和β。
[0136][0137][0138]
其中xa和xa表示最小亮度样点的亮度值和色度值。xb和xb分别表示最大亮度样点的亮度值和色度值。对于正方形的编码块，直接应用上述两个等式。对于非正方形编码块，首先对较长边界的临近样点进行子采样，以具有与较短边界相同数量的样点。图8示出了cclm模式中调用当前块的样点和左侧和上方样点的位置。
[0139]
除了上方的模板和左侧模板可用于一起计算线性模型系数外，还可以在其他2个lm模式(称为lm_a和lm_l模式)中交替使用它们。
[0140]
在lm_a模式下，仅使用上方的模板来计算线性模型系数。为了获得更多样点，将上方的模板扩展为(w h)。在lm_l模式下，仅左侧模板用于计算线性模型系数。为了获得更多样点，将左侧模板扩展为(h w)。
[0141]
对于非正方形块，上方的模板扩展为w w，左侧模板扩展为h h。
[0142]
请注意，当上参考线位于ctu边界时，仅使用一条亮度线(帧内预测中的通用线缓冲区)来进行下采样的亮度样点。
[0143]
该参数计算是解码处理的一部分，而不仅仅是作为编码器搜索操作。结果，没有语法被用于将α和β值传达给解码器。
[0144]
对于色度帧内模式编码，总共允许8个帧内模式用于色度帧内模式编码。这些模式包括五个传统的帧内模式和三个跨分量线性模型模式(cclm，lm_a和lm_l)。色度模式信令和推导处理在表2-1中示出。色度模式编码直接取决于对应的亮度块的帧内预测模式。由于在i个条带中对亮度和色度分量启用了单独的块分割结构，因此一个色度块可以对应于多个亮度块。因此，对于色度dm模式，覆盖当前色度块的中心位置的对应的亮度块的帧内预测模式被直接继承。
[0145]
表2-1
–
启用cclm_时从亮度模式推导色度预测模式
[0146][0147]
2.6.4位置相关帧内预测组合
[0148]
在vtm4中，用位置相关的帧内预测组合(pdpc)方法还修正平面模式的帧内预测结果。pdpc是一种帧内预测方法，其调用未滤波的边界参考样点和hevc样式帧内预测与滤波的边界参考样点的组合。pdpc应用于以下无信令的帧内模式：平面、dc、水平、垂直、左下角度模式及其八个临近角度模式、右上角度模式及其八个临近角度模式。
[0149]
使用帧内预测模式(dc、平面、角)和参考样点的线性组合根据以下等式3-4对预测样点pred(x,y)进行预测：
[0150]
pred(x,y)＝(wl
×
r-1,y
wt
×rx,-1
–
wtl
×
r-1,-1
(64
–
wl
–
wt wtl)
×
pred(x,y) 32)》》6
ꢀꢀ
(1-4)
[0151]
其中,r
x,-1
,r-1,y
分别表示位于当前样点(x，y)的顶部和左侧的参考样点，并且r-1,-1
表示位于当前块的左上角的参考样点。
[0152]
如果pdpc应用于dc、平面、水平和垂直帧内模式，则不需要额外的边界滤波器，而在hevc的情况下需要dc模式边界滤波器或水平/垂直模式边缘滤波器。
[0153]
图9a-9d说明了应用于各种预测模式的pdpc的参考样点(rx,-1,r-1,y和r-1,-1)的定义。预测样点pred(x’,y’)位于预测块内的(x'，y')处。参考样点rx,-1的坐标x由x＝x’ y’ 1给出，参考样点r-1,y的坐标y类似地由y＝x’ y’ 1给出。
[0154]
pdpc权重取决于预测模式，并且如表2-2所示。
[0155]
表2-2：根据预测模式的pdpc权重的示例
[0156]
预测模式wtwlwtl右上对角16》》((y’《《1)》》shift16》》((x’《《1)》》shift)0左下对角16》》((y’《《1)》》shift)16》》((x’《《1)》》shift)0右上临近对角32》》((y’《《1)》》shift)00
左下临近对角032》》((x’《《1)》》shift)0
[0157]
2.6.5多参考线(mrl)帧内预测
[0158]
多参考线(multiple reference line，mrl)帧内预测使用更多参考线进行帧内预测。在图10中，描绘了4条参考线的示例，其中段a和f的样点不是从重构的临近样点中获取的，而是分别填充有来自段b和e的最接近的样点。hevc帧内图片预测使用最近的参考线(例如，参考线0)。在mrl中，使用了2条附加线(参考线1和参考线3)。
[0159]
用信令通知选择的参考线的索引(mrl_idx)，并将其用于生成帧内预测器。对于大于0的参考线索引，仅在mpm列表中包括其他参考线模式，并且仅用信令通知mpm索引而不用信令通知剩余模式。在帧内预测模式之前用信令通知参考线索引，并且在用信令通知非零参考线索引的情况下，从帧内预测模式中排除平面模式和dc模式。
[0160]
ctu内第一行块的mrl被禁用，以防止在当前ctu线外使用扩展的参考样点。同样，当使用附加线时，pdpc被禁用。
[0161]
2.6.6帧内子分割(isp)
[0162]
帧内子分割(isp)工具根据块尺寸将亮度帧内预测块垂直或水平划分为2或4个子分割。例如，isp的最小块尺寸为4x8(或8x4)。如果块尺寸大于4x8(或8x4)，则将相应的块除以4个子分割。图11a和11b示出了两种可能性的示例。所有子分割均满足具有至少16个样点的条件。
[0163]
表2-3
–
熵编码系数组尺寸
[0164]
块尺寸系数组尺寸1
×
n,n≥161
×
16n
×
1,n≥1616
×
12
×
n,n≥82
×
8n
×
2,n≥88
×
2所有其他可能的m
×
n情况4
×4[0165]
对于每个子分割，通过将残差信号与预测信号相加来获得重构样点。在此，通过诸如熵解码、逆量化和逆变换的处理来生成残差信号。因此，每个子分割的重构样点值可用于生成下一子分割的预测，并且每个子分割被重复处理。此外，要处理的第一个子分割是包含cu左上样点，然后继续向下(水平划分)或向右(垂直划分)的子分割。结果，用于生成子分割预测信号的参考样点仅位于线的左侧和上方。所有子分割共享相同的帧内模式。以下是isp与其他编码工具的交互的概述。
[0166]-多参考线(mrl)：如果块的mrl索引不为0，则isp编码模式将被推断为0，因此isp模式信息将不会发送到解码器。
[0167]-熵编码系数组尺寸：已对熵编码子块的尺寸进行了修改，以使它们在所有可能的情况下均具有16个样点，如表2-3所示。请注意，新尺寸仅影响isp产生的块，其中维度之一小于4个样点。在所有其他情况下，系数组保留4
×
4维度。
[0168]-cbf编码：假定至少有一个子分割的cbf不为零。因此，如果n是子分割的数量，并且第一n-1个子分割已产生零cbf，则将第n个子分割的cbf推断为1。
[0169]-mpm用法：在isp模式编码的块中，mpm标志将被推断为1，并且修改了mpm列表以排除dc模式，并为isp水平划分优先处理水平帧内模式，为垂直划分优先处理垂直帧内模式。
[0170]-变换尺寸限制：所有长度大于16点的isp变换都使用dct-ii。
[0171]-pdpc：当cu使用isp编码模式时，pdpc滤波器将不会应用于产生的子分割。
[0172]-mts标志：如果cu使用isp编码模式，则mts cu标志将设置为0，并且不会将其发送到解码器。因此，编码器将不会对每个产生的子分割的不同可用变换执行rd测试。isp模式的变换选择将改为固定的，并根据帧内模式、处理顺序和使用的块尺寸进行选择。因此，不需要信令通知。例如，令th和tv为分别为w
×
h子分割选择的水平和垂直变换，其中w是宽度，h是高度。然后根据以下规则选择变换：
[0173]
●
如果w＝1或h＝1，则分别没有水平或垂直变换。
[0174]
●
如果w＝2或w》32，则th＝dct-ii
[0175]
●
如果h＝2或h》32，则tv＝dct-ii
[0176]
●
否则，选择变换，如表2-4。
[0177]
表2-4
–
变换选择取决于帧内模式
[0178][0179]
2.7量化残差块差分脉冲码调制(qr-bdpcm)
[0180]
提出了一种量化残差块差分脉冲码调制(qr-bdpcm)来有效地对屏幕内容进行编码。
[0181]
qr-bdpcm中使用的预测方向可以是垂直和水平预测模式。通过在类似于帧内预测的预测方向(水平或垂直预测)上进行样点复制来对整个块进行帧内预测。对残差进行量化，并对量化后的残差及其预测器(水平或垂直)量化值之间的增量进行编码。这可以由以下进行描述：对于尺寸为m(行)
×
n(列)的块，令r
i,j
,0≤i≤m-1,0≤j≤n-1是使用来自上方或左侧块边界样点的未经滤波的样点水平地(逐行复制整个预测块的左侧临近像素值)或垂直地(将顶部邻居行复制到预测块中的每一行)进行帧内预测之后的预测残差。令q(r
i,j
),0≤i≤m-1,0≤j≤n-1表示残差r
i,j
的量化版本，其中残差是原始块与预测块值之间的差。然后，将块dpcm应用于量化后的残差样点，得到具有元素的修改后的m
×
n阵列当用信令通知垂直bdpcm时：
[0182]
[0183]
对于水平预测，适用类似的规则，并且通过以下操作获得残差量化样点
[0184][0185]
将残差量化样点发送到解码器。
[0186]
在解码器侧，将上述计算取反以产生q(r
i,j
),0≤i≤m-1,0≤j≤n-1。对于垂直预测的情况，
[0187][0188]
对于水平情况，
[0189][0190]
将逆量化残差q-1
(q(r
i,j
))添加到块内预测值以产生重构样点值。
[0191]
2.8矩阵加权帧内预测(mip)
[0192]
矩阵加权帧内预测(mip)方法是vtm6中新增的帧内预测技术。为了预测宽度w和高度h的矩形块的样点，矩阵加权帧内预测(mip)以该块左侧的h个重构的临近边界样点的一行和该块上方的w个重构的临近边界样点的一行作为输入。如果重构样点不可用，则会像在常规帧内预测中所做的那样生成它们。预测信号的生成基于以下三个步骤，即平均、矩阵矢量乘法和线性插值，如图12所示。
[0193]
2.9仿射运动补偿预测
[0194]
在hevc中，仅将平移运动模型应用于运动补偿预测(mcp)。在现实世界中，有许多种运动，例如放大/缩小、旋转、透视运动和其他不规则运动。在vtm6中，应用了基于块的仿射变换运动补偿预测。如图13a和13b所示，通过两个控制点运动矢量(4参数)或三个控制点运动矢量(6参数)的运动信息来描述块的仿射运动场。
[0195]
对于4参数仿射运动模型，块中样点位置(x，y)处的运动矢量推导为：
[0196][0197]
对于6参数仿射运动模型，块中样点位置(x，y)处的运动矢量推导为：
[0198][0199]
其中(mv
0x
,mv
0y
)是左上角控制点的运动矢量，(mv
1x
,mv
1y
)是右上角控制点的运动矢量，(mv
2x
,mv
2y
)是左下角的运动矢量控制点。
[0200]
为了简化运动补偿预测，应用了基于块的仿射变换预测。为了导出每个4
×
4亮度子块的运动矢量，根据上述等式计算每个子块的中心样点的运动矢量，如图14所示，并且将其舍入到1/16的分数精度。然后，将运动补偿插值滤波器应用于生成具有导出运动矢量的每个子块的预测。色度分量的子块尺寸也设置为4
×
4。将4
×
4色度子块的mv计算为四个对应的4
×
4亮度子块的mv的平均。
[0201]
与平移运动帧间预测一样，仿射运动帧间预测模式也有两种：仿射merge模式和仿射amvp模式。
[0202]
2.10 vvc中的局部双树
[0203]
在典型的硬件视频编码器和解码器中，由于临近的帧内块之间的样点处理数据相关性，当图片具有较小的帧内块时，处理吞吐量会下降。帧内块的预测器生成需要来自临近块的顶部和左侧的边界重构样点。因此，必须逐块顺序地处理帧内预测。
[0204]
在hevc中，最小的内部cu是8x8亮度样点。最小帧内cu的亮度分量可以进一步划分为四个4x4亮度帧内预测单元(pu)，但是最小帧内cu的色度分量无法进一步划分。因此，在处理4x4色度帧内块或4x4亮度帧内块时，会发生最坏情况下的硬件处理吞吐量。
[0205]
在vtm5.0中，在单个编码树中，由于色度分割始终遵循亮度，并且最小帧内cu是4x4亮度样点，因此最小色度帧内cb是2x2。因此，在vtm5.0中，单个编码树中最小色度帧内cb为2x2。vvc解码的最坏情况下的硬件处理吞吐量仅为hevc解码的1/4。此外，在采用包括跨分量线性模型(cclm)、4抽头插值滤波器、位置相关的帧内预测组合(pdpc)和组合帧间帧内预测(ciip)等工具之后，色度帧内cb的重构处理比hevc的重构处理复杂得多。在硬件解码器中实现高处理吞吐量具有挑战性。在本节中，提出了一种提高最坏情况下的硬件处理吞吐量的方法。
[0206]
该方法的目的是通过限制色度帧内cb的分割来禁止小于16个色度样点的色度帧内cb。
[0207]
在单个编码树中，scipu被定义为其色度块尺寸大于或等于th色度样点、并具有至少一个小于4th亮度样点的子亮度块的编码树节点，其中在这项贡献中th设置为16。要求在每个scipu中，所有cb都是帧间的，或者所有cb都是非帧间的，即帧内或ibc。在非帧间scipu的情况下，进一步要求非帧间scipu的色度不得进一步划分，并且应允许scipu的亮度进一步被划分。这样，最小色度帧内cb尺寸为16个色度样点，并删除了2x2、2x4和4x2的色度cb。另外，在非帧内scipu的情况下，不应用色度缩放。另外，当进一步划分亮度块并且不划分色度块时，构造了局部双重树编码结构。
[0208]
在图15a和15b中示出了两个scipu示例。在图15a中，一个8x4色度样点的色度cb和三个亮度cb(4x8、8x8、4x8亮度cb)形成一个scipu，因为从8x4色度样点中划分出的三叉树(tt)会导致色度cb小于16个色度样点。在图15b中，一个4x4色度样点的色度cb(8x4色度样点的左侧)和三个亮度cb(8x4、4x4、4x4亮度cb)形成一个scipu，另一个4x4样点的色度cb(8x4色度样点的右侧)和两个亮度cb(8x4、8x4亮度cb)形成一个scipu，因为从4x4色度样点中划分出的二叉树(bt)会导致色度cb小于16个色度样点。
[0209]
在提出的方法中，如果当前条带是i条带、或者当前scipu在进一步划分一次之后在其中具有4x4亮度分割，则将scipu的类型推断为非帧间(因为在vvc中不允许有帧内4x4)；否则，在解析scipu中的cu之前，用一个信令通知的标志指示scipu的类型(帧内或非帧内)。
[0210]
通过应用上述方法，当处理4x4、2x8或8x2色度块而不是2x2色度块时，发生最坏情况下的硬件处理吞吐量。最坏情况下的硬件处理吞吐量与hevc中的吞吐量相同，是vtm5.0中的4倍。
[0211]
3.问题
[0212]
除了vvc中的常规帧内和帧间预测模式之外，调色板、ibc还被视为不同的预测模式。即使对于hevc scc，调色板也被视为帧内预测模式，但是，通过调色板模式标志，信令仍
然与常规帧内预测模式(例如，dc/平面和角度模式)分开。对于hevc scc，通过检查信令通知的/导出的参考图片是否为当前图片，将ibc视为帧间预测模式。即，参考图片列表被修改为包括当前图片作为附加参考图片。
[0213]
当编解码器支持调色板模式时，如何编码调色板标志成为编码性能的关键因素。调色板标志可能在临近块之间具有相关性。如果我们仅对调色板模式标志进行编码而不考虑临近标志的上下文，则可能会损失编码效率。
[0214]
色度帧内预测和变换可能需要考虑亮度块的预测模式。
[0215]
4.示例实施例
[0216]
以下讨论的实施例应被视为示例以解释一般概念。这些实施例不应以狭义的方式解释。此外，这些实施例可以以任何方式组合。
[0217]
在该文档中，提出将新编码方法x(例如，x是调色板/ibc/qr-bdpcm)视为附加的帧内预测模式。因此，不需要单独信令通知新编码方法的启用/禁用标志。
[0218]
1.允许帧内预测模式(ipm)的集合可能会进一步扩展以包括新编码方法。假设现有ipm的索引范围是[0，m-1]，则使用所建议的方法，可能适用以下条件：
[0219]
a.ipm的索引范围可以修改为[0，m-1 k]，其中k是被视为ipm一部分的新编码方法的数量。
[0220]
b.在一个示例中，调色板模式可以被标记为第idx
new
个ipm，其中idx
new
在[0，m-1 k]的范围内。
[0221]
i.在一个示例中，可以将用于新编码方法的ipm索引设置为不小于m，即，在所有现有帧内预测模式之后，将新编码方法包括在该ipm集合中。
[0222]
1)调色板模式可以设置为m(即idx
new
等于m)
[0223]
2)ibc模式可以设置为m或m 1(即，idx
new
等于m，m 1)
[0224]
3)qr-bdpcm可以设置为m或m 1或m 2(即，idx
new
等于m，m 1或m 2)
[0225]
ii.在一个示例中，可以在现有帧内预测模式之一之前的ipm集合中包括新编码方法，即，idx
new
不大于m-1。
[0226]
1)在一个示例中，在所有现有的帧内预测模式之前，可以在ipm集合中包括新编码方法。
[0227]
a)在一个示例中，针对调色板模式的ipm索引可以设置为0(即，idx
new
等于0)。
[0228]
b)在一个示例中，针对ibc模式的ipm索引可以设置为0(即idx
new
等于0)。
[0229]
c)在一个示例中，针对qr-bdpcm模式的ipm索引可以设置为0(即，idx
new
等于0)。
[0230]
2)可替代地，另外，原始索引不小于idx
new
的剩余ipm的索引可以进行修改，例如增加1。
[0231]
iii.在一个示例中，idx
new
可以是预定义的，或者信令通知的或者取决于以下：
[0232]
1)当前视频块的块维度，
[0233]
2)当前视频块的当前量化参数，
[0234]
3)颜色格式的指示(诸如4：2：0、4：4：4)，，
[0235]
4)分离/双重编码树结构，
[0236]
5)条带/片组类型和/或图片类型，
[0237]
6)在sps、pps、图片标头、条带标头、片标头中信令通知的指示。
[0238]
c.在一个示例中，是否和/或如何将某种编码方法包括在所允许的ipm集合中可以取决于块维度和/或解码信息。
[0239]
i.在一个示例中，对于mxn(例如128x128/128x64/64x128)块，可能不允许与ibc对应的ipm。
[0240]
ii.在一个示例中，对于mxn(例如128x128/128x64/64x128)块，可能不允许与调色板对应的ipm。
[0241]
iii.在一个示例中，对于宽度大于k(例如，k＝32)或高度大于l
[0242]
(例如，l＝32)的块，可以不允许与bdpcm相对应的ipm。
[0243]
2.最可能的帧内模式(mpm)集合可能包括新编码方法。
[0244]
a.在一个示例中，可以首先构造mpm列表，然后经由使用不同于传统帧内预测的新编码方法(例如ibc/调色板/qr-bdpcm/mip)替换所构造的mpm列表中的模式来修改mpm列表。
[0245]
i.在一个示例中，新编码方法可以替换mpm列表中第一位置的模式。
[0246]
1)可替代地，在一个示例中，新编码方法可以替换mpm列表中最后位置的模式。
[0247]
ii.可替代地，此外，新编码方法可以用帧内预测模式索引来表示，例如项目符号1中定义的索引。
[0248]
iii.可替代地，此外，在构造mpm列表期间，如果用新方法对临近块进行编码，则可以将临近块标记为不可用，或者以与使用帧间模式编码的那些相同的方式对待临近块。
[0249]
b.在一个示例中，可以首先构造mpm列表，然后经由向列表的给定位置添加新编码模式(例如ibc/调色板/qr-bdpcm)来修改mpm列表，并且mpm列表的尺寸可以增加k，其中k是新编码模式的数量
[0250]
i.新编码模式的位置可能取决于
[0251]
1)当前块的块维度，
[0252]
2)当前块的预测模式，
[0253]
3)当前块的当前量化参数，
[0254]
4)临近块的调色板标志，
[0255]
5)临近块的帧内块复制标志，
[0256]
6)颜色格式的指示(诸如4：2：0、4：4：4)，
[0257]
7)分离或双重编码树结构，
[0258]
8)条带/片组类型和/或图片类型，
[0259]
9)在sps/pps/片标头中的标志。
[0260]
c.在一个示例中，可以修改mpm列表构造处理，使得如果用新编码方法对临近块进行编码，则可以将编码方法直接添加为mpm之一。
[0261]
d.在一个示例中，可以修改mpm列表构造处理，以便如果用新编码方法对临近块进行编码，则可以将与该编码方法相对应的ipm索引添加为mpm之一。
[0262]
e.是否/如何将新编码方法添加到mpm列表可能取决于块维度和/或解码信息。
[0263]
i.在一个示例中，对于某些块尺寸，可能不允许将与新编码模式相对应的帧内预测模式(ipm)添加到mpm列表。
[0264]
1)在一个示例中，对于mxn(例如128x128/128x64/64x128)块，可能不允许将与ibc
相对应的ipm添加到mpm列表中。
[0265]
2)在一个示例中，对于mxn(例如128x128/128x64/64x128)块，可能不允许从mpm列表中导出与调色板相对应的ipm。
[0266]
3)在一个示例中，对于宽度大于l(例如，l＝32)或高度大于k(例如，k＝32)的块，可能不允许将与bdpcm相对应的ipm添加到mpm列表。
[0267]
f.在一个示例中，是否和/或如何在mpm中包括新编码模式可以取决于sps/pps/vps/片标头/条带标头中的编码模式的启用标志。
[0268]
3.滤波处理(例如，去方块滤波器、sao、alf、双边滤波器、哈达玛hadamard域滤波器)可能取决于帧内预测模式(ipm)。
[0269]
a.在一个示例中，去方块滤波器中的边界强度(bs)设置可能取决于ipm索引，诸如如果索引表示调色板模式，则bs设置为0。
[0270]
4.当色度块被确定为屏幕内容块时，可以修改色度块的帧内预测处理和/或变换处理。
[0271]
a.在一个示例中，当一个或多个选择的亮度块以ibc模式或调色板模式编码时，色度块可以被确定为屏幕内容块。
[0272]
i.在一个示例中，选择的亮度块的尺寸可以是最小的cu/pu/tu尺寸或用于运动/模式存储的单位(诸如4
×
4)。
[0273]
ii.在一个示例中，选择的亮度块可以是覆盖相应亮度区域的中心、左上、右上、左下或右下位置的cu/pu/tu。下图16示出了相应亮度区域的示例。
[0274]
iii.在一个示例中，假设当前色度块的左上坐标为(x0，y0)，当前色度块的宽度和高度分别为w0和h0。可以根据颜色格式来缩放相应亮度区域中的左上样点的坐标、相应亮度区域的宽度和高度。
[0275]
1)对于4：2：0颜色格式，共位亮度区域的左上坐标为(2*x0，2*y0)，其宽度和高度分别为2*w0和2*h0。
[0276]
2)对于4：4：4颜色格式，共位亮度区域的左上坐标为(x0，y0)，其宽度和高度分别为w0和h0。
[0277]
iv.假设共位的亮度区域的左上坐标为(x，y)，其宽度和高度为w和h，则中心位置的坐标可能为：
[0278]
1)(x w/2,y h/2)
[0279]
2)(x w/2-1,y h/2-1)
[0280]
3)(x w/2,y h/2-1)
[0281]
4)(x w/2-1,y h/2)。
[0282]
v.假设共位亮度区域的左上坐标为(x，y)，其宽度和高度为w和h，则左上位置的坐标可能为(x，y)。
[0283]
vi.假设共位的亮度区域的左上坐标为(x，y)，其宽度和高度为w和h，则右上位置的坐标可能为：
[0284]
1)(x w,y)
[0285]
2)(x w-1,y)。
[0286]
vii.假设共位的亮度区域的左上坐标为(x，y)，其宽度和高度为w和h，则左下位置
的坐标可能为：
[0287]
1)(x,y h)
[0288]
2)(x,y h-1)。
[0289]
viii.假设共位亮度区域的左上坐标为(x，y)，其宽度和高度为w和h，则右下位置的坐标可能为：
[0290]
1)(x w,y h)
[0291]
2)(x w,y h-1)
[0292]
3)(x w-1,y h)
[0293]
4)(x w-1,y h-1)。
[0294]
b.在一个示例中，当色度块被确定为屏幕内容块时，可能不允许某些ipm(例如，dc和/或调色板planar模式)。
[0295]
i.可替代地，在一个示例中，当色度块被确定为屏幕内容块时，可能不允许ver和/或hor模式。
[0296]
ii.可替代地，在一个示例中，当色度块被确定为屏幕内容块时，可能不允许导出模式。
[0297]
c.在一个示例中，当色度块被确定为屏幕内容块时，可能不允许pdpc。
[0298]
d.在一个示例中，当色度块被确定为屏幕内容块时，可能不允许mdis。
[0299]
5.建议将某些语法元素的上下文推导中采用的左临近块和/或上临近块的位置与在mpm推导中使用的左临近块和/或上临近块的位置对齐。
[0300]
a.在一个示例中，语法元素可以与划分标志、模式约束标志、跳过标志、预测模式标志、ibc标志、mip标志、仿射merge标志和仿射帧间标志相关。
[0301]
b.可以将在某些语法元素的上下文推导中采用的左临近块和/或上临近块的位置与merge/amvp候选列表推导处理中使用的左临近块和/或上临近块的位置对齐。
[0302]
c.在一个示例中，在以上语法元素的上下文推导中采用的左临近块和/或上临近块的位置可以是图7中所示的左/上临近块。
[0303]
6.建议使用超过1个上下文来信令通知调色板模式的使用的指示。
[0304]
a.在一个示例中，用于指示调色板模式的使用的上下文推导可以基于左/上临近块。令a为左临近块的调色板标志，b为上临近块的调色板标志。
[0305]
i.在一个示例中，可以通过a*2 b来导出用于指示调色板模式的使用的上下文索引。
[0306]
1)可替代地，在一个示例中，用于指示调色板模式的使用的上下文索引可以由a b导出。
[0307]
ii.在一个示例中，在mpm推导中使用的用于推导左和上临近块的位置可以用于推导用于对调色板模式标志进行编码的上下文。
[0308]
iii.在一个示例中，用于导出用于对调色板模式标志进行编码的上下文的左临近块和上临近块的位置可以是图17所示的位置。
[0309]
7.是否和/或如何应用以上方法可能基于：
[0310]
a.视频内容(例如屏幕内容或自然内容)
[0311]
b.在dps/sps/vps/pps/aps/图片标头/条带标头/片组标头/最大编码单元(lcu)/
编码单元(cu)/lcu行/lcu组/tu/pu块/视频编码单元中信令通知的消息
[0312]
c.cu/pu/tu/块/视频编码单元的位置
[0313]
d.当前块和/或其临近块的块维度
[0314]
e.当前块和/或其临近块的块形状
[0315]
f.颜色格式的指示(诸如4：2：0、4：4：4、rgb或yuv)
[0316]
g.编码树结构(例如双树或单树)
[0317]
h.条带/片组类型和/或图片类型
[0318]
i.颜色分量(例如只能应用于亮度分量和/或色度分量)
[0319]
j.时域层id
[0320]
k.配置文件/级别/标准层
[0321]
图18是说明可以用于实现本公开技术的各个部分的计算机系统或其他控制设备1800的结构的示例的示意图。在图16中，计算机系统1800包括通过互连1825连接的一个或多个处理器1805和存储器1810。互连1825可以表示由适当的桥、适配器或控制器连接的任何一条或多条单独的物理总线、点对点连接或两者。因此，互连1825可以包括例如系统总线、外围分量互连(pci)总线、超传输或工业标准体系结构(isa)总线、小型计算机系统接口(scsi)总线、通用串行总线(usb)、iic(i2c)总线或电气与电子工程师协会(ieee)标准674总线(有时被称为“火线”)。
[0322]
处理器1805可以包括中央处理器(cpu)，来控制例如主机的整体操作。在一些实施例中，处理器1805通过执行存储在存储器1810中的软件或固件来实现这一点。处理器1805可以是或可以包括一个或多个可编程通用或专用微处理器、数字信号处理器(dsp)、可编程控制器、专用集成电路(asic)、可编程逻辑器件(pld)等，或这些器件的组合。
[0323]
存储器1810可以是或包括计算机系统的主存储器。存储器1810表示任何适当形式的随机存取存储器(ram)、只读存储器(rom)、闪存等，或这些设备的组合。在使用中，存储器1810除其他外可包含一组机器指令，当处理器1805执行该指令时，使处理器1805执行操作以实现本公开技术的实施例。
[0324]
通过互连1825连接到处理器1805的还有(可选的)网络适配器1815。网络适配器1815为计算机系统1800提供与远程设备(诸如存储客户机和/或其他存储服务器)通信的能力，并且可以是例如以太网适配器或光纤通道适配器。
[0325]
图19示出了可以用于实施本公开技术的各个部分的移动设备1900的示例实施例的框图。移动设备1900可以是笔记本电脑、智能手机、平板电脑、摄像机或其他能够处理视频的设备。移动设备1900包括处理器或控制器1901来处理数据，以及与处理器1901通信的存储器1902来存储和/或缓冲数据。例如，处理器1901可以包括中央处理器(cpu)或微控制器单元(mcu)。在一些实现中，处理器1901可以包括现场可编程门阵列(fpga)。在一些实现中，移动设备1900包括或与图形处理单元(gpu)、视频处理单元(vpu)和/或无线通信单元通信，以实现智能手机设备的各种视觉和/或通信数据处理功能。例如，存储器1902可以包括并存储处理器可执行代码，当处理器1901执行该代码时，将移动设备1900配置为执行各种操作，例如接收信息、命令和/或数据、处理信息和数据，以及将处理过的信息/数据发送或提供给另一个数据设备，诸如执行器或外部显示器。为了支持移动设备1900的各种功能，存储器1902可以存储信息和数据，诸如指令、软件、值、图像以及处理器1901处理或引用的其
他数据。例如，可以使用各种类型的随机存取存储器(ram)设备、只读存储器(rom)设备、闪存设备和其他合适的存储介质来实现存储器1902的存储功能。在一些实现中，移动设备1900包括输入/输出(i/o)单元1903，来将处理器1901和/或内存1902与其他模块、单元或设备进行接口。例如，i/o单元1903可以与处理器1901和内存1902进行接口，以利用与典型数据通信标准兼容的各种无线接口，例如，在云中的一台或多台计算机和用户设备之间。在一些实现中，移动设备1900可以通过i/o单元1903使用有线连接与其他设备进行接口。i/o单元1903可以包括无线传感器，例如用于检测远程控制信号的红外探测器，或其他合适的无线人机界面技术。移动设备1900还可以与其他外部接口(例如数据存储器)和/或可视或音频显示设备1904连接，以检索和传输可由处理器处理、由存储器存储或由显示设备1904或外部设备的输出单元上显示的数据和信息。例如，显示设备1904可以根据所公开的技术显示基于mvp修改的视频帧。
[0326]
图20是示出了可在其中实现本文公开的各种技术的示例视频处理系统2000的框图。各种实现可以包括系统2000的部分或全部组件。系统2000可以包括用于接收视频内容的输入2002。视频内容可以原始或未压缩格式(例如，8或10比特多分量像素值)接收，或者可以压缩或编码格式接收。输入2002可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(pon)等有线接口和诸如wi-fi或蜂窝接口的无线接口。
[0327]
系统2000可以包括编码组件2004，其可以实现本文中描述的各种编码或译码方法。编码组件2004可以降低从输入2002到编码组件2004的输出的视频的平均比特率，以产生视频的编码表示。因此，编码技术有时被称为视频压缩或视频转码技术。编码组件2004的输出可以存储，或者通过由组件2006表示的连接的通信来发送。组件2008可以使用在输入2002处接收的视频的存储或通信比特流(或编码)表示来生成发送到显示接口2010的像素值或可显示视频。从比特流表示生成用户可视视频的处理有时称为视频解压缩。此外，虽然某些视频处理操作被称为“编码”操作或工具，但是应当理解，在编码器处使用编码工具或操作，并且将由解码器执行相应的解码工具或反转编码结果的操作。
[0328]
外围总线接口或显示接口的示例可以包括通用串行总线(usb)或高清晰度多媒体接口(hdmi)或显示端口等。存储接口的示例包括sata(串行高级技术附件)、pci、ide接口等。本文中描述的技术可以实施在各种电子设备中，例如能够执行数字数据处理和/或视频显示的移动电话、膝上型计算机、智能手机或其他设备。
[0329]
图21示出了用于视频处理的示例方法的流程图。该方法包括执行(2102)当前视频块和当前视频块的编码表示之间的转换，其中，在转换处理期间，至少一个编码预测方法被视为ipm集合中的帧内预测模式(ipm)，而没有使用标志来信令通知至少一种编码预测模式。
[0330]
以基于子句的格式呈现所公开技术的一些实施例。
[0331]
1.一种视频处理方法，包括：
[0332]
执行当前视频块和当前视频块的编码表示之间的转换，其中，在转换处理期间，至少一个编码预测方法被视为ipm集合中的帧内预测模式(ipm)，而没有使用标志来信令通知至少一种编码预测模式。
[0333]
2.根据条款1的方法，其中，所述至少一种编码预测方法对应于以下之一：调色板
模式、帧内块复制(ibc)模式或量化残差块差分脉冲编码调制模式(qr-bdpcm)。
[0334]
3.根据条款2的方法，其中，该ipm集合与索引范围[0，m-1]相关联，还包括：
[0335]
将索引范围修改为[0，m-1 k]，其中，k是将被视为ipm集合的一部分的至少一种编码预测方法的数量。
[0336]
4.根据条款3的方法，其中，如果至少一种编码预测方法对应于调色板模式，则还包括：
[0337]
在索引范围内将调色板模式映射到索引值m。
[0338]
5.根据条款3的方法，其中，如果至少一种编码预测方法对应于ibc模式，则还包括：
[0339]
在索引范围内将ibc模式映射到索引值m或m 1。
[0340]
6.根据条款3的方法，其中，如果至少一种编码预测方法对应于qr-bdpcm模式，则还包括：
[0341]
在索引范围内将ibc模式映射到索引值m、m 1或m 2。
[0342]
7.根据条款3的方法，其中，所述至少一种编码预测方法被映射到小于或等于m-1的索引值。
[0343]
8.根据条款1-7中的任一项的方法，其中，至少部分地基于一个或多个条件，选择性地允许或不允许将至少一种编码预测方法视为ipm。
[0344]
9.根据根据条款8的方法，其中，所述一个或多个条件涉及：当前视频块的维度、当前视频块的量化参数、当前视频块的颜色格式、与当前视频块相关联的编码树结构、与当前视频块相关联的条带/片组/图片的类型，或在sps/pps/图片标头/条带标头/片标头中信令通知的标志。
[0345]
10.一种视频处理方法，包括：
[0346]
执行当前视频块和当前视频块的编码表示之间的转换，其中，在转换期间，至少一种编码预测方法被视为最可能模式(mpm)列表中的帧内预测模式(ipm)，而不使用标志来信令通知至少一种编码预测模式。
[0347]
11.根据条款10的方法，还包括：
[0348]
建构mpm列表；和
[0349]
用至少一种编码预测方法替换mpm列表中的模式。
[0350]
12.根据条款11的方法，其中，至少一种编码预测方法替换了列表中的最后一个模式。
[0351]
13.根据条款11的方法，其中，至少一种编码预测方法替换了列表中的第一模式。
[0352]
14.根据条款11的方法，其中该构造包括：
[0353]
如果根据至少一种编码预测方法对临近块进行编码，则将当前视频块的临近块标记为不可用。
[0354]
15.根据条款11的方法，其中构造包括：
[0355]
如果根据至少一种编码预测方法对临近块进行编码，则将该临近块作为帧间编码块。
[0356]
16.根据条款15的方法，其中至少一种编码预测方法替换了列表中某个位置的模式。
[0357]
17.根据条款10-16中任一项的方法，还包括：
[0358]
在列表中添加与至少一种预测方法相对应的ipm索引。
[0359]
18.根据条款10-17中的任一项的方法，其中，至少部分地基于一个或多个条件，选择性地允许或不允许将至少一种编码预测方法视为ipm。
[0360]
19.根据条款18.根据权利要求18所述的方法，其中，所述列表中与所述至少一种编码预测方法相对应的位置涉及：当前视频块的维度、当前视频块的量化参数、当前视频块的颜色格式、与当前视频块相关联的编码树结构、与当前视频块相关联的条带/片组/图片的类型，或在sps/pps/图片标头/条带标头/片标头中信令通知的标志。
[0361]
20.根据条款10-19中任一项的方法，还包括：
[0362]
部分地基于与所述至少一种编码预测方法相对应的索引来设置滤波步骤的参数。
[0363]
21.根据条款20所述的方法，其中，参数包括去方块滤波器的边界强度(bs)。
[0364]
22.根据条款21所述的方法，其中，如果所述至少一种编码预测方法是调色板模式，则将bs设置为零。
[0365]
23.根据条款1-22中任一项的方法，还包括：
[0366]
在确定当前视频块是屏幕内容块时，修改ipm步骤或变换处理。
[0367]
24.根据条款23所述的方法，其中确定所述当前视频块是屏幕内容块包括确定用ibc模式或调色板模式对一个或多个亮度块进行编码。
[0368]
25.根据条款24的方法，其中色度块不允许位置相关的帧内预测组合(pdpc)。
[0369]
26.一种视频处理方法，包括：
[0370]
执行当前视频块和当前视频块的编码表示之间的转换，其中，在转换期间，在调色板模式下，与当前视频块关联的语法元素的上下文是从用于导出mpm列表的临近块导出的；和
[0371]
将临近块的位置与当前视频块的位置对齐。
[0372]
27.根据条款26的方法，其中，与当前视频块相关联的语法元素的上下文对应于编码用于调色板模式的标志。
[0373]
28.根据条款26的方法，其中，所述临近块包括以下至少之一：左临近块或上临近块。
[0374]
29.根据条款26的方法，其中，所述调色板模式包括对多个上下文的使用，并且进一步其中，在所述编码表示中信令通知对所述多个上下文的使用。
[0375]
30.根据条款26-29中任一项的方法，其中，至少部分地基于一个或多个条件，选择性地允许或不允许导出上下文。
[0376]
31.根据条款30的方法，其中，一个或多个条件涉及：当前视频块的内容、dps/sps/vps/pps/aps/图片标头/条带标头/片组标头/最大编码单元(lcu)/编码单元(cu)/lcu行/lcu组/tu/pu块/视频编码单元、与当前视频块相关联的cu/pu/tu的位置、当前视频块和/或临近块的维度、当前视频块和/或临近块的形状、当前视频块的颜色格式、与当前视频块相关联的编码树结构、与当前视频块相关联的条带/片组/图片的类型、当前视频块的颜色分量、当前视频块的时域层id或当前视频块的配置文件级别。
[0377]
32.一种视频解码装置，包括处理器，该处理器被配置为实现条款1至31中的一项或多项所述的方法。
[0378]
33.一种视频编码装置，包括处理器，该处理器被配置为实施条款1至31中的一项或多项所述的方法。
[0379]
34.一种其上存储有计算机代码的计算机程序产品，该代码在由处理器执行时使处理器实现条款1到31中任一条所述的方法。
[0380]
35.本文档中描述的方法、装置或系统。
[0381]
图22示出了用于视频处理的示例方法的流程图。该方法包括：对于视频的当前视频块和所述视频的比特流表示之间的转换，通过修改现有ipm集合以包括至少一种新编码方法，来生成(2202)与所述当前视频块相关联的扩展帧内预测模式(ipm)集合，其中，所述新编码方法不同于所述现有ipm中的编码方法，并被视为ipm；以及基于所述扩展ipm集合执行(2204)所述转换。
[0382]
在一些示例中，用相同的标志信令通知所述扩展ipm集合。
[0383]
在一些示例中，所述至少一种新编码方法包括以下至少一个：调色板模式、帧内块复制ibc模式和量化残差块差分脉冲编码调制模式(qr-bdpcm)。
[0384]
在一些示例中，所述现有ipm集合的索引范围是[0，m-1]，并且，所述扩展ipm集合的索引范围被修改为[0，m-1 k]，其中k是要包括在扩展ipm集合中的至少一种新编码方法的数量，其中m和k是整数。
[0385]
在一些示例中，所述至少一种新编码方法被标记为第idx
new
个ipm，其中，所述至少一种新编码方法idxnew的所述ipm索引的范围是[0，m-1 k]。
[0386]
在一些示例中，在所有现有ipm之后，所述至少一种新编码方法被包括在所述扩展ipm集合中。
[0387]
在一些示例中，针对所述调色板模式的所述ipm索引被设置为m。
[0388]
在一些示例中，针对所述ibc模式的所述ipm索引被设置为m或m 1。
[0389]
在一些示例中，针对所述qr-bdpcm模式的ipm索引设置为m、m 1或m 2。
[0390]
在一些示例中，所述至少一种新编码方法被包括在现有ipm之一之前的所述扩展ipm集合中。
[0391]
在一些示例中，在所有现有ipm之前，在所述扩展ipm集合中包括所述至少一种新编码方法。
[0392]
在一些示例中，针对所述调色板模式的所述ipm索引被设置为0。
[0393]
在一些示例中，针对所述ibc模式的ipm索引被设置为0。
[0394]
在一些示例中，针对所述qr-bdpcm模式的所述ipm索引被设置为0。
[0395]
在一些示例中，通过将原始索引不小于idx
new
的剩余ipm的索引增加1来进行修改。
[0396]
在一些示例中，idx
new
是预定义的，或者信令通知的或者取决于以下至少一个：
[0397]
1)当前视频块的块维度，
[0398]
2)当前视频块的当前量化参数，
[0399]
3)指示包括4：2：0和4：4：4的颜色格式，，
[0400]
4)分离/双重编码树结构，
[0401]
5)条带/片组类型和/或图片类型，
[0402]
6)在序列参数集(sps)、图片参数集(pps)、图片标头、条带标头、片标头中的至少一个中信令通知的指示。
[0403]
在一些示例中，是否和/或如何将新编码方法包括到所述现有ipm集合中取决于所述当前视频块的块维度和/或解码信息。
[0404]
在一些示例中，对于mxn块，不允许将ibc模式包括在扩展ipm集合中，其中，mxn块包括128x128、128x64和64x128块中的至少一个。
[0405]
在一些示例中，对于m
×
n块，不允许将调色板模式包括在扩展ipm集合中，其中，m
×
n块包括128
×
128、128
×
64和64
×
128中的至少一个。
[0406]
在一些示例中，对于宽度大于k或高度大于l的块，不允许将bdpcm模式包括在扩展ipm集合中，其中k＝32，l＝32。
[0407]
图23示出了用于视频处理的示例方法的流程图。该方法包括：对于视频的当前视频块和所述视频的比特流表示之间的转换，生成(2302)与所述当前视频块相关联的修改的最可能帧内模式(mpm)列表，其中，所述修改的mpm列表包括至少一种新编码方法，所述至少一种新编码方法与现有ipm集合中的现有帧内预测模式(ipm)不同，且被视为ipm；以及基于所述修改的mpm列表执行(2304)所述转换。
[0408]
在一些示例中，所述至少一种新编码方法包括以下至少一个：调色板模式、帧内块复制ibc模式、量化残差块差分脉冲编码调制模式qr-bdpcm以及矩阵加权帧内预测(mip)模式。
[0409]
在一些示例中，生成所述修改的mpm列表包括：构造现有帧内预测模式的mpm列表；和用所述至少一种新编码方法替换所述mpm列表中的模式以生成所述修改的mpm列表。
[0410]
在一些示例中，用所述至少一种新编码方法替换所述mpm列表中的模式包括：用所述至少一种新编码方法替换所述mpm列表中第一位置处的模式。
[0411]
在一些示例中，用所述至少一种新编码方法替换所述mpm列表中的模式包括：用所述至少一种新编码方法替换所述mpm列表中最后位置处的模式。
[0412]
在一些示例中，所述现有ipm集合的索引范围是[0，m-1]，并且针对所述调色板模式的ipm索引被设置为m，或者针对所述ibc模式的ipm索引被设置为m或m 1，或者针对所述qr-bdpcm模式的ipm索引设置为m、m 1或m 2，m为整数。
[0413]
在一些示例中，在所述mpm列表的构造期间，如果使用所述新编码方法对所述当前视频块的临近块进行编码，则将所述临近块标记为不可用或视为帧间编码块。
[0414]
在一些示例中，生成所述修改的mpm列表包括：构造现有帧内预测模式的mpm列表；和将所述至少一种新编码方法添加到所述mpm列表的给定位置，以生成所述修改的mpm列表，其中所述mpm列表的尺寸增加k，k为所述新编码模式的数量。
[0415]
在一些示例中，所述新编码模式的所述位置取决于以下至少一个：
[0416]
1)所述当前视频块的块维度，
[0417]
2)所述当前视频块的预测模式，
[0418]
3)所述当前视频块的当前量化参数，
[0419]
4)临近块的调色板标志，
[0420]
5)临近块的帧内块复制标志，
[0421]
6)包括4：2：0和4：4：4的颜色格式的指示，
[0422]
7)分离或双重编码树结构，
[0423]
8)条带、片组类型和/或图片类型，
[0424]
9)在sps、pps、片标头的至少一个中的标志。
[0425]
在一些示例中，生成所述修改的mpm列表包括：如果使用至少一种新编码方法对当前视频块的临近块进行编码，则使用至少一种新编码方法作为mpm之一直接添加来构造修改的mpm列表。
[0426]
在一些示例中，生成所述修改的mpm列表包括：如果所述当前视频块的临近块是用所述至少一种新编码方法编码的，则构造所述修改的mpm列表，其中与所述至少一种新编码方法相对应的ipm索引被直接添加为mpm中的一个。
[0427]
在一些示例中，是否和/或如何向所述mpm列表添加新编码方法取决于所述当前视频块的块维度和/或解码信息。
[0428]
在一些示例中，对于某些块尺寸，不允许将与所述新编码模式相对应的ipm添加到所述mpm列表。
[0429]
在一些示例中，对于m
×
n块，不允许将与ibc模式相对应的ipm添加到所述mpm列表。
[0430]
在一些示例中，对于m
×
n块，不允许将与调色板模式相对应的ipm添加到所述mpm列表。
[0431]
在一些示例中，m
×
n块包括128
×
128、128
×
64和64
×
128块中的至少一个。
[0432]
在一些示例中，对于宽度大于k或高度大于l的块，不允许将与bdpcm模式相对应的ipm包括在所述现有ipm集合中，其中k＝32，l＝32。
[0433]
在一些示例中，是否和/或如何在所述mpm中包括新编码模式取决于所述sps、pps、vps、片标头和条带标头的至少一个中的所述新编码模式的启用标志。
[0434]
在一些示例中，用于所述当前视频块的滤波处理取决于所述ipm。
[0435]
在一些示例中，所述滤波处理与去方块滤波器、样点自适应偏移(sao)、自适应环路滤波器(alf)、双边滤波器、哈达玛域滤波器中的至少一个相关联。
[0436]
在一些示例中，所述去方块滤波器中的边界强度(bs)设置取决于ipm的索引。
[0437]
在一些示例中，如果所述索引表示调色板模式，则将bs设置为0。
[0438]
图24示出了用于视频处理的示例方法的流程图。该方法包括：对于在视频的色度块和所述色度块的比特流表示之间的转换，确定(2402)所述色度块是否是屏幕内容块；响应于指示所述色度块是屏幕内容块的确定，修改(2404)所述色度块的帧内预测处理和/或变换处理；和基于修改的帧内预测处理和/或变换处理执行(2406)所述转换。
[0439]
在一些示例中，当一个或多个选择的亮度块以ibc模式或调色板模式编码时，所述色度块被确定为屏幕内容块。
[0440]
在一些示例中，一个选择的亮度块的尺寸是最小的cu、pu或tu尺寸或用于运动或模式存储的单位。
[0441]
在一些示例中，一个选择的亮度块是覆盖相应亮度区域的中心、左上、右上、左下或右下位置的cu、pu或tu。
[0442]
在一些示例中，在当前色度块的左上坐标是(x0，y0)并且所述当前色度块的宽度和高度分别是w0和h0时，根据与所述当前色度块相关联的颜色格式，缩放所述相应亮度区域的左上样点的坐标、所述相应亮度区域的宽度和高度。
[0443]
在一些示例中，对于4：2：0颜色格式，共位的亮度区域的左上坐标是(2*x0，2*y0)，
并且所述共位的亮度区域的宽度和高度分别是2*w0和2*h0。
[0444]
在一些示例中，对于4：4：4的颜色格式，共位的亮度区域的左上坐标是(x0，y0)，其宽度和高度分别是w0和h0。
[0445]
在一些示例中，当共位的亮度区域的左上坐标是(x，y)并且其宽度和高度为w和h时，将中心位置的坐标确定为以下之一：
[0446]
1)(x w/2,y h/2)
[0447]
2)(x w/2-1,y h/2-1)
[0448]
3)(x w/2,y h/2-1)
[0449]
4)(x w/2-1,y h/2)。
[0450]
在一些示例中，当共位的亮度区域的左上坐标是(x，y)并且其宽度和高度为w和h时，左上位置的坐标为(x，y)。
[0451]
在一些示例中，当共位的亮度区域的左上坐标是(x，y)并且其宽度和高度是w和h时，右上位置的坐标是以下之一：
[0452]
1)(x w,y)
[0453]
2)(x w-1,y)。
[0454]
在一些示例中，当共位的亮度区域的左上坐标是(x，y)并且其宽度和高度为w和h时，左下位置的坐标为以下之一：
[0455]
1)(x,y h)
[0456]
2)(x,y h-1)。
[0457]
在一些示例中，当共位的亮度区域的左上坐标是(x，y)并且其宽度和高度是w和h时，右下位置的坐标是以下之一：
[0458]
1)(x w,y h)
[0459]
2)(x w,y h-1)
[0460]
3)(x w-1,y h)
[0461]
4)(x w-1,y h-1)。
[0462]
在一些示例中，当将所述色度块确定为屏幕内容块时，不允许某些帧内预测模式(ipm)。
[0463]
在一些示例中，所述某些帧内预测模式(ipm)包括dc模式和/或planar模式，ver和/或hor模式或导出模式。
[0464]
在一些示例中，当所述色度块被确定为屏幕内容块时，不允许位置相关的帧内预测组合(pdpc)。
[0465]
在一些示例中，当所述色度块被确定为屏幕内容块时，不允许模式相关的帧内平滑(mdis)。
[0466]
图25示出了用于视频处理的示例方法的流程图。该方法包括：在视频的当前视频块和所述视频的比特流表示之间执行(2502)转换，其中，在所述转换期间，将在一个或多个语法元素的上下文推导中采用的左临近块和/或上临近块的位置与在最可能帧内模式(mpm)推导中使用的左临近块和/或上临近块的位置对齐。
[0467]
在一些示例中，所述语法元素与划分标志、模式约束标志、跳过标志、预测模式标志、ibc标志、mip标志、仿射merge标志和仿射帧间标志相关。
[0468]
在一些示例中，在所述转换期间，将在一个或多个语法元素的上下文推导中采用的左临近块和/或上临近块的位置与在merge或amvp候选列表推导处理中使用的左临近块和/或上临近块的位置对齐。
[0469]
在一些示例中，在一个或多个语法元素的上下文推导中采用的左临近块和/或上临近块的位置是左下和/或右上临近块。
[0470]
图26示出了用于视频处理的示例方法的流程图。该方法包括：对于在视频的当前视频块和所述视频的比特流表示之间的转换，使用多个上下文信令通知(2602)调色板模式的使用的指示；和基于所述指示执行(2604)所述转换。
[0471]
在一些示例中，用于指示调色板模式的使用的上下文推导是基于左临近块和/或上临近块。
[0472]
在一些示例中，用于指示调色板模式的使用的上下文索引是通过a*2 b导出的，其中，a是左临近块的调色板标志，而b是上临近块的调色板标志。
[0473]
在一些示例中，用于指示调色板模式的使用的上下文索引是通过a b导出的，其中，a是左临近块的调色板标志，而b是上临近块的调色板标志。
[0474]
在一些示例中，用于导出在最可能帧内模式(mpm)推导中使用的左临近块和上临近块的位置被用于导出用于对所述调色板模式标志进行编码的上下文。
[0475]
在一些示例中，用于导出用于对所述调色板模式标志进行编码的上下文的左临近块和上临近块的位置是所述左上临近块和/或上左临近块的位置。
[0476]
在一些示例中，基于以下至少一个，是否和/或如何应用上述生成处理、确定处理、执行处理或信令通知处理：
[0477]
a.视频内容，其包括屏幕内容或自然内容；
[0478]
b.在dps、sps、vps、pps、aps、图片标头、条带标头、片组标头、最大编码单元(lcu)、编码单元(cu)、lcu行、lcu组、tu、pu块和视频编码单元中的至少一个中信令通知的消息；
[0479]
c.cu、pu、tu、块、视频编码单元中的至少一个的位置；
[0480]
d.所述当前视频块和/或其临近块的块维度；
[0481]
e.所述当前视频块和/或其临近块的块形状；
[0482]
f.颜色格式的指示，所述颜色格式包括4：2：0、4：4：4、rgb或yuv；
[0483]
g.编码树结构，包括双树或单树；
[0484]
h.条带、片组类型和/或图片类型；
[0485]
i.颜色分量，包括亮度分量和/或色度分量；
[0486]
j.时域层id；
[0487]
k.配置文件、级别、标准层。
[0488]
在一些示例中，所述执行所述转换包括从所述当前视频块生成所述比特流表示。
[0489]
在一些示例中，所述执行所述转换包括从所述比特流表示生成所述当前视频块。
[0490]
本文中描述的所公开的和其他实施例、模块和功能操作可以在数字电子电路或计算机软件、固件或硬件中实现，包括本文中公开的结构及其结构等效物，或者一个或多个的组合。所公开的实施例和其他实施例可以实现为一个或多个计算机程序产品，即在计算机可读介质上编码以供数据处理设备执行或控制其操作的计算机程序指令的一个或多个模块。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备、影响机器可
读传播信号的物质的组合，或者一个或多个它们的组合。术语“数据处理设备”包括用于处理数据的所有设备、装置和机器，包括例如可编程处理器、计算机或多个处理器或计算机。除硬件外，设备还可以包括为计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或其中一个或多个的组合的代码。传播的信号是人为生成的信号，例如，机器生成的电、光或电磁信号，其被生成以编码信息以传输到合适的接收器设备。
[0491]
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写，并且可以以任何形式部署，包括作为独立程序或作为模块、组件、子程序或其他适合在计算环境中使用的单元。计算机程序不一定与文件系统中的文件对应。程序可以存储在保存其他程序或数据的文件的部分中(例如，存储在标志语言文档中的一个或多个脚本)、专用于该程序的单个文件中、或多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以部署在一台或多台计算机上来执行，这些计算机位于一个站点上或分布在多个站点上，并通过通信网络互连。
[0492]
本说明书中描述的处理和逻辑流可以通过一个或多个可编程处理器执行，该处理器执行一个或多个计算机程序，通过在输入数据上操作并生成输出来执行功能。处理和逻辑流也可以通过特殊用途的逻辑电路来执行，并且装置也可以实现为特殊用途的逻辑电路，例如，fpga(现场可编程门阵列)或asic(专用集成电路)。
[0493]
例如，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型数字计算机的任何一个或多个。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是执行指令的处理器和存储指令和数据的一个或多个存储设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备，例如，磁盘、磁光盘或光盘，或通过操作耦合到一个或多个大容量存储设备来从其接收数据或将数据传输到一个或多个大容量存储设备，或两者兼有。然而，计算机不一定具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如eprom、eeprom和闪存设备；磁盘，例如，内部硬盘或可移动硬盘；磁光盘；以及cd rom和dvd rom盘。处理器和存储器可以由专用逻辑电路来补充，或merge到专用逻辑电路中。
[0494]
虽然本专利文件包含许多细节，但不应将其解释为对任何发明或权利要求范围的限制，而应解释为对某些发明的某些实施例的特征的描述。本专利文件在单独实施例的上下文描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种功能也可以在多个实施例中单独实施，或在任何合适的子组合中实施。此外，尽管上述特征可以描述为在某些组合中起作用，甚至最初要求是这样，但在某些情况下，可以从组合中移除权利要求组合中的一个或多个特征，并且权利要求的组合可以指向子组合或子组合的变体。
[0495]
同样，尽管附图中以某些顺序描述了操作，但这不应理解为要获得想要的结果必须按照所示的某些顺序或顺序执行此类操作，或执行所有说明的操作。此外，本专利文件实施例中各种系统组件的分离不应理解为在所有实施例中都需要这样的分离。
[0496]
仅描述了一些实现和示例，其他实现、增强和变体可以基于本专利文件中描述和说明的内容做出。