变换大小与编码工具的相互作用的制作方法

1.本实施方案中的至少一个实施方案通常涉及用于视频编码或解码、压缩或解压缩的一种方法或一种装置。


背景技术：

2.为了实现高压缩效率，图像和视频编码方案通常采用包括运动维度预测在内的预测以及转化来利用视频内容中的空间和时间冗余。一般来讲，帧内或帧间预测用于利用帧内或帧间相关性，然后对在原始图像与预测图像之间的差值(通常表示为预测错误或预测残差)进行转化、量化和熵编码。为了重建视频，通过对应于熵编码、量化、转化和预测的逆过程对压缩数据进行解码。
3.在通用视频编码(vvc)标准的开发中，最大变换大小能够在32和64之间改变。最大变换大小与其他变换编码工具相互作用。


技术实现要素：

4.本实施方案中的至少一个实施方案通常涉及用于视频编码或解码的一种方法或一种装置，并且更具体地涉及，用于在视频编码器或视频解码器中的最大变换大小与变换编码工具之间进行相互作用的一种方法或一种装置。
5.根据第一方面，提供了一种方法。该方法包括用于基于最大变换大小启用编码工具的步骤；在包括块的样本子集上执行离散三角变换的至少一部分；以及，使用所启用的编码工具对块进行编码。
6.根据第二方面，提供了一种方法。该方法包括用于基于最大变换大小启用编码工具的步骤；在包括块的样本子集上执行逆离散三角变换的至少一部分；以及，使用所启用的编码工具对块进行解码。
7.根据另一方面，提供了一种装置。该装置包括处理器。该处理器可以被配置为通过执行前述方法中的任一种来对视频块进行编码或对比特流进行解码。
8.根据至少一个实施方案的另一一般方面，提供了一种设备，该设备包括：根据解码实施方案中的任一实施方案的装置；以及以下项中的至少一者：(i)天线，该天线被配置为接收信号，该信号包括视频块；(ii)频带限制器，该频带限制器被配置为将所接收的信号限制为包括该视频块的频带；以及(iii)显示器，该显示器被配置为显示表示视频块的输出。
9.根据至少一个实施方案的另一一般方面，提供了一种非暂态计算机可读介质，该非暂态计算机可读介质包含根据所描述的编码实施方案或变体中的任一实施方案或变体生成的数据内容。
10.根据至少一个实施方案的另一一般方面，提供了一种信号，该信号包括根据所描述的编码实施方案或变体中的任一实施方案或变体生成的视频数据。
11.根据至少一个实施方案的另一一般方面，比特流被格式化以包括根据所描述的编码实施方案或变体中的任一实施方案或变体生成的数据内容。
12.根据至少一个实施方案的另一一般方面，提供了一种计算机程序产品，该计算机程序产品包括指令，该指令在由计算机执行时使该计算机执行所描述的编码实施方案或变体中的任一实施方案或变体。
13.通过将结合附图阅读的示例性实施方案的以下详细描述，一般方面的这些和其它方面、特征和优点将变得显而易见。
附图说明
14.图1示出了标准的通用视频压缩方案
15.图2示出了标准的通用视频解压缩方案。
16.图3示出了用于实现一般描述的方面的示例性基于处理器的子系统。
17.图4示出了在所描述方面情况下的方法的一个实施方案。
18.图5示出了在所描述方面情况下的方法的另一个实施方案。
19.图6示出了在所描述方面情况下的示例性装置。
具体实施方式
20.本实施方案中的至少一个实施方案通常涉及用于视频编码或解码的一种方法或一种装置，并且更具体地涉及，用于在视频编码器或视频解码器中的最大变换大小与变换编码工具之间进行相互作用的一种方法或一种装置。
21.此处描述的一般方面在视频压缩领域中。该一般方面是最大变换大小与其他变换编码工具之间的相互作用，其中最近采用的vvc最大变换大小变为能够在32和64之间改变。该最大变换大小的值计算为：
22.mintblog2sizey＝2
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7-27)
23.maxtblog2sizey＝sps_max_luma_transform_size_64_flag？6:5
ꢀꢀꢀ
(7-28)
24.mintbsizey＝1《《mintblog2sizey
25.(7-29)
26.maxtbsizey＝1《《maxtblog2sizey
27.(7-30)
28.最大变换大小与以下工具相互作用：
29.1-清空过程：最初，vvc执行清空以降低大变换大小的复杂性。对于二维dct2变换，仅保持左上32
×
32系数而将其余部分设定为零。也就是说，对于64
×
64、64
×
32和32
×
32，执行dct2以在水平方向和垂直方向两者上计算第一32系数。类似地，非dct2变换(dst7和dct8)执行清空以保留左上16
×
16系数。随着采用jvet-00545，不能解决如何在最大变换大小为32时执行清空。
30.下面示出了对草拟文本的捕获，其中阴影部分是清空：
[0031][0032][0033]
这示出了如果tu_mts_idx大于零，这意味着使用了mts变换(dst7,dst7)，则清空的宽度和高度设定为16，而在tu_mts_idx为零的情况下，清空被设定为32(dct2)。
[0034]
2-mts-大小：mts或多个变换选择为适应vvc的变换工具，其中允许在dst7和dct8对之间选择作为增强dct2变换对的其他变换对。针对从4
×
4到32
×
32的块大小执行mts。也就是说，dct2大小的一半。随着采用jvet-00545，不能解决如何在最大变换大小为32时考虑到mts大小。
[0035]
下面示出了对草拟文本的捕获，其中阴影部分是mts大小：
[0036]
[0037]
[0038][0039]
这示出了如果宽度和高度均小于32，则发信号通知mts，而不管maxtbsizey如何。
[0040]
3-色度变换大小：在vvc中，色度大小是亮度大小的一半。也就是说，允许色度变换块从2
×
2到32
×
32，而亮度大小为4
×
4到64
×
64。随着采用jvet-00545，不能解决如何在最大变换大小为32时固定色度大小。
[0041]
在vvc规格中，色度大小计算为：
[0042]
表6-1-源自chroma_format_idc和separate_colour_plane_flag的subwidthc和subheightc值
[0043]
chroma_format_idcseparate_colour_plane_flag色度格式subwidthcsubheightc00单色11104:2:022204:2:221304:4:411314:4:411
[0044]
maxtbwidth＝(cidx＝＝0)？maxtbsizey:maxtbsizey/subwidthc
ꢀꢀ
(8-41)
[0045]
maxtbheight＝(cidx＝＝0)？maxtbsizey:maxtbsizey/subheightc
ꢀꢀ
(8-42)
[0046]
其中cidx是颜色指数(0代表亮度并且1代表色度)。
[0047]
在常见测试条件(ctc)中，使用4:2:0的色度格式，并且最大变换大小(maxtbsizey)为64。因此，针对ctc中的色度，最大变换大小为32。然而，如果maxtbsizey为32，则根据当前规格，色度最大大小为16。
[0048]
4-变换跳过大小：在vvc中，针对具有与dct2相同范围的块大小执行变换跳过。换句话讲，针对4
×
4到64
×
64的块大小执行变换跳过。随着采用jvet-00545，不能解决如何在最大变换大小为32时固定变换跳过大小。
[0049]
在vvc规格中，最大变换跳过大小被定义为：
[0050]
log2_transform_skip_max_size_minus2指定用于变换跳过的最大块大小，并且
其应在0到3的范围内。
[0051]
当不存在时，指示log2_transform_skip_max_size_minus2的值等于0。
[0052]
变量maxtssize设定为等于1《《(log2_transform_skip_max_size_minus2 2)。
[0053]
也就是说，maxtssize最大值可以在4和32之间取值，而不管maxtbsizey值如何。
[0054]
5-bdcm大小：bd-pcm是基于块的增量脉码调制。其是用于变换跳过残差的编码工具。其当前允许与变换跳过具有相同大小条件。也就是说，最高至maxtssize。以下文本示出了针对编码bdpcm标记的条件(阴影)
[0055]
[0056][0057]
6-mip
[0058]
在vvc草案6中，mip(基于矩阵的帧内预测)是帧内预测模式，其中通过将参考样本乘以一些经训练的常移预测矩阵来生成预测信号。当cu大小小于或等于最大允许变换大小尺寸时，发信号通知该模式。这种限制是必要的以限制存储要求以及编码复杂性。这是因为mip是基于矩阵的方法，其中预测矩阵针对较大块会更大。
[0059]
最初，最大变换大小(maxtbsizey)不断地保持为vtm5.0中的64。然而，在vtm6.0中，该值可以是64或32。下面提供了vtm6.0的草拟文本的样本(阴影部分指示mip部分)：
[0060]
[0061][0062]
其中maxtbsizey值固定为64。然而，随着采用jvet-00545，maxtbsizey可以为64或32。
[0063]
直观地，如果maxtbsizey为32，则mip被发信号通知为最高至32
×
32的cu大小。这防止较大的cu大小使用mip，并因此限制了编码效率。当前所描述的方面提出，针对最高至64
×
64的cu大小启用mip，而不管最大变换大小如何。这在cu大小大于maxtbsizey时通过启用tu拼接来完成。
[0064]
最初，最大变换大小不断保持为vtm5.0中的64。然而，随着最近采用jvet-00545，最大变换大小(maxtbsizey)可以为64或32，其由sps标记(sps_sbt_max_size_64_flag)控制。当这种情况发生时，清空过程、mts-大小、色度变换大小、变换跳过大小和bdcm大小需要适应这种改变。
[0065]
一般方面提出，根据最大变换大小调整以下工具的信令：清空过程、mts-大小、色度变换大小、变换跳过大小和bdcm。受影响的编解码器模块是图1和图2的帧内编码设计
(160)和260。
[0066]
实施方案1：清空过程
[0067]
在该实施方案中，清空过程取决于最大变换大小。以这种方式，如果最大大小为32而不是64，则清空大小减小到一半。这在下面的文本中指示(以斜体表示)
[0068][0069]
这也可以针对dct2变换和其他mts变换(dst7和dst8)独立地完成。也就是说，如果仅希望针对dct2进行操作，则：
[0070][0071]
否则，针对dst7/dct8仅
[0072][0073][0074]
实施方案2：mts-大小
[0075]
mts信令允许最高至32
×
32的大小。这独立于maxtbsizey，无论其是64还是32。为了与maxtbsizey进行连接，可以允许mts的信令最高至maxtbsizey/2x maxtbsizey/2。这在下面的规格中以斜体表示：
[0076]
[0077]
[0078][0079]
应注意，这直接影响了子块变换(sbt)工具。sbt是用于帧间块的变换单元分区工具，其暗示从dct2、dst7和dct8选择变换。根据规格：
[0080]
变量implicitmtsenabled导出如下：
[0081]-如果sps_mts_enabled_flag等于1且以下条件中的一个为真，则设定implicitmtsenabled等于1：
[0082]-intrasubpartitionssplittype不等于isp_no_split
[0083]-cu_sbt_flag等于1且max(ntbw,ntbh)小于或等于32
[0084]-sps_explicit_mts_intra_enabled_flag等于0且cupredmode[0][xtby][ytby]等于mode_intra并且lfnst_idx[x0][y0]等于0且intra_mip_flag[x0][y0]等于0
[0085]-否则，设定implicitmtsenabled等于0。
[0086]
指定水平变换内核的变量trtypehor和指定垂直变换内核的变量trtypever导出如下：
[0087]-如果cidx大于0，则设定trtypehor和trtypever等于0。
[0088]-否则，如果implicitmtsenabled等于1，则以下应用：
[0089]-如果intrasubpartitionssplittype不等于isp_no_split或sps_explicit_mts_intra_enabled_flag等于0且cupredmode[0][xtby][ytby]等于mode_intra,则trtypehor和trtypever导出如下：
[0090]
trtypehor＝(ntbw》＝4&&ntbw《＝16)？1:0
ꢀꢀꢀꢀ
(8-975)
[0091]
trtypever＝(ntbh》＝4&&ntbh《＝16)？1:0
ꢀꢀꢀꢀ
(8-976)
[0092]-否则(cu_sbt_flag等于1)，在表8-15中根据cu_sbt_horizontal_flag和cu_sbt_pos_flag指定trtypehor和trtypever。
[0093]-否则，在表8-14中根据tu_mts_idx[xtby][ytby]指定trtypeho和trtypever。
[0094]
表8-15-根据cu_sbt_horizontal_flag和cu_sbt_pos_flag指定trtypehor和trtypever
[0095]
cu_sbt_horizontal_flagcu_sbt_pos_flagtrtypehortrtypever0021011110121111
[0096]
其中变换类型2意味着dct8并且变换类型1意味着dst7。
[0097]
也就是说，当mts限制为maxtbsizey/2并且maxtbsizey为32时，不能使用上表，因为不支持大小为32
×
32的dst7和dct8。相反，应当使用dct2。对应的规格改变如下：
[0098]
变量implicitmtsenabled导出如下：
[0099]-如果sps_mts_enabled_flag等于1且以下条件中的一个为真，则设定implicitmtsenabled等于1：
[0100]-intrasubpartitionssplittype不等于isp_no_split
[0101]-cu_sbt_flag不等于1且max(ntbw,ntbh)小于或等于maxtbsizey/2
[0102]-sps_explicit_mts_intra_enabled_flag等于0且cupredmode[0][xtby][ytby]等于mode_intra并且lfnst_idx[x0][y0]等于0且intra_mip_flag[x0][y0]等于0
[0103]
实施方案3：色度变换大小
[0104]
根据vvc规格，色度最大变换宽度和高度可以是亮度最大变换宽度和高度的一半。然而，在最大亮度变换大小可以为32时，色度的最大大小可以为16。这似乎是很小的数字，但不适用于实际。因此，该实施方案将色度大小的最小值固定为32。规格可以改变如下(以斜体表示)：
[0105]
maxtbwidth＝(cidx＝＝0)？maxtbsizey:max(maxtbsizey/subwidthc,32)
ꢀꢀꢀꢀ
(8-41)
[0106]
maxtbheight＝(cidx＝＝0)？maxtbsizey:max(maxtbsizey/subheightc,32)
ꢀꢀꢀꢀ
(8-42)
[0107]
实施方案4：变换跳过大小
[0108]
变换跳过标记可以被发信号通知为最高至32
×
32的大小。这独立于最大变换块大小，无论是64还是32。为了与最大变换大小进行连接，文本修改如下：
[0109]
log2_transform_skip_max_size_minus2指定用于变换跳过的最大块大小，并且其应在0到maxtblog 2sizey-3的范围内。
[0110]
其中maxtblog2sizey计算如下(根据vvc规格)：
[0111]
maxtblog2sizey＝sps_max_luma_transform_size_64_flag？6:5
ꢀꢀꢀꢀ
(7-28)
[0112]
实施方案5：bdcm
[0113]
bdpcm使用被发信号通知为与变换跳过相同的条件。因此，以上实施方案4也适用于bdpcm。
[0114]
实施方案6：mip
[0115]
所描述的一般方面提出，针对最高至64
×
64的cu大小启用mip，而不管最大变换大小如何。这在cu大小大于maxtbsizey时通过启用tu拼接来完成。这在maxtbsizey为32时提高了编码效率。
[0116]
本发明的基本想法是，针对最高至64
×
64大小的cu大小允许mip，而不管maxtbsizey如何。这是为了通过在cu大小大于32
×
32时启用mip而将maxtbsizey设定为32时改善编码性能。在实验上，示出了mip针对具有大尺寸的序列执行得更好。下面的结果是通过使用vtm软件作为锚来生成的，并且测试是vtm而不是mip：
[0117]
[0118][0119]
显然，mip对a1级(大尺寸)赋予0.6％增益并且对c类(小尺寸)赋予0.3。因此，在maxtbsizey为32时针对64
×
64cu大小启用mip，这为具有大尺寸的序列提供了编码益处。此外，由于维持了相同的mip结构，因此不需要任何额外的工具。
[0120]
与当前设计相比，即使变换大小更小，也允许编码器具有更多灵活性以针对最高至64
×
64的cu大小执行mip。
[0121]
这可以通过tu拼接来实现。也就是说，将cu划分成多个tu并独立执行mip。有两种方式执行这一操作：
[0122]
1-先tu拼接，然后mip预测
[0123]
2-先mip预测，然后tu拼接
[0124]
也就是说，考虑到cu大小为64
×
64、32
×
64或64
×
32且maxtbsizey为32，第一选项是将cu划分成32
×
32的tu，在32
×
32块上执行mip以生成预测信号并编码残差。当这样做时，来自重建的32
×
32块的参考样本可以用于生成预测信号。第二选项是利用大cu(64
×
64、32
×
64或64
×
32)执行mip，然后将cu划分成大小为32
×
32的tu并编码残差。第二选项更符合vtm的当前设计。这是因为对于常规的帧内预测(角度、dc或平面)，预测信号是以与tu相同的大小生成，使得重建块的参考样本可以用于改善对相邻块的预测。
[0125]
对应的规格文本在下面以斜体示出：
[0126]
[0127]
[0128][0129]
本规格文本已在转换单元尺寸大于最大变换大小时支持tu拼接，这在下面的文本中指示(阴影)
[0130]
[0131][0132]
实施方案7：lfnst索引
[0133]
在规格文本中，允许lfnst(低频不可分离变换)最高至maxtbsizey。初始动机是在解码大小为128
×
128的大cu大小时避免延迟问题，其中在解码tu残差之后解码lfnst索引。因此，决定允许lfnst最高至最初为64的最大变换大小。随着采用jvet-00545，延迟问题对于当cu大小为64
×
64且maxtbsizey为32时并非关键。因此，当maxtbsizey设定为32时，可以允许lfnst索引在这种情况下改善编码增益。
[0134]
对应的规格变化为斜体：
[0135]
[0136][0137]
进一步地，由于仅在主要变换为dct2(条件：tu_mts_idx[x0][y0]＝＝0)时允许lfnst，因此该条件需要检查多个tu大小。变化如下：
[0138][0139]
[0140][0141]
也就是说，定义了变量mts_notdct2，其检查是否tu大小中的任一个不使用dct2。如果是，则lfnst不被允许。
[0142]
图4中示出了根据本文所述的一般方面的方法400的一个实施方案。该方法开始于开始框401，并且控制前进到框410，以基于最大变换大小启用编码工具。控制从框410前进到框420，以在包括块的样本子集上执行离散三角变换的至少一部分。控制从框420前进到框430，以使用所启用的编码工具对块进行编码。使用经变换的样本子集确定块的变换系数。
[0143]
图5中示出了根据本文所述的一般方面的方法500的一个实施方案。该方法开始于开始框501，并且控制前进到框510，以基于最大变换大小启用编码工具。控制从框510前进到框520，以在包括块的样本子集上执行逆离散三角变换的至少一部分。控制从框520前进到框530，以使用所启用的编码工具对块进行解码。
[0144]
图6示出了用于根据最大变换大小使用各种编码工具对视频进行压缩、编码或解码的装置600的一个实施方案。该装置包括处理器1410并且可以通过至少一个端口互连到存储器1420。处理器1410和存储器1420两者还可以具有与外部连接的一个或多个附加互连。
[0145]
处理器610还被配置为在比特流中插入或接收信息，并且使用所述方面中的任一方面来进行压缩、编码或解码。
[0146]
本文档描述了多个方面，包括工具、特征、实施方案、模型、方法等。这些方面中的许多方面被具体地描述，并且至少为了示出个体特性，通常以可能听起来有限的方式进行描述。然而，这是为了描述清楚，并不限制这些方面的应用或范围。实际上，所有不同的方面可以组合和互换以提供进一步的方面。此外，这些方面也可与先前提交中描述的方面组合和互换。
[0147]
本文档中描述和设想的方面可以许多不同的形式实现。下文的图1、图2和图3提供了一些实施方案，但是设想了其他实施方案，并且图1、图2和图3的讨论不限制具体实施的广度。这些方面中的至少一个方面通常涉及视频编码和解码，并且至少一个其他方面通常涉及发射生成或编码的比特流。这些和其他方面可实现为方法、装置、其上存储有用于根据所述方法中任一种对视频数据编码或解码的指令的计算机可读存储介质，和/或其上存储有根据所述方法中任一种生成的比特流的计算机可读存储介质。
[0148]
在本技术中，术语“重建”和“解码”可以互换使用，术语“像素”和“样本”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用。通常，但不一定，术语“重构”在编码端使用，而“解码”在解码端使用。
[0149]
本文描述了各种方法，并且每种方法包括用于实现所述方法的一个或多个步骤或动作。除非正确操作方法需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或用途。
[0150]
本文献中所描述的各种方法和其他方面可用于修改视频编码器100和解码器200的模块(例如，帧内预测、熵编码和/或解码模块(160,360,145,330))，如图1和图2所示。此外，本发明方面不限于vvc或hevc，并且可应用于例如其他标准和推荐(无论是预先存在的还是未来开发的)以及任何此类标准和推荐的扩展(包括vvc和hevc)。除非另外指明或技术上排除在外，否则本文献中所述的方面可单独或组合使用。
[0151]
本文献中使用各种数值，例如，{{1,0},{3,1},{1,1}}。具体值是为了示例目的，并且所述方面不限于这些具体值。
[0152]
图1例示了编码器100。设想了这一编码器100的变型，但是为了清楚起见，下文描述了编码器100而不描述所有预期的变型。
[0153]
在编码之前，视频序列可经过预编码处理(101)，例如，将颜色变换应用于输入彩色图片(例如，从rgb 4:4:4到ycbcr 4:2:0的转换)，或执行输入图片分量的重新映射，以便获得对压缩更具弹性的信号分布(例如，使用颜色分量中的一个颜色分量的直方图均衡化)。元数据可与预处理相关联并且附接到比特流。
[0154]
在编码器100中，图片由编码器元件进行编码，如下所述。以例如cu为单位对要编码的图片进行分区(102)和处理。例如，使用帧内模式或帧间模式对每个单元进行编码。当单元以帧内模式进行编码时，其执行帧内预测(160)。在帧间模式中，执行运动估计(175)和补偿(170)。编码器决定(105)帧内模式或帧间模式中的哪一者用于对单元进行编码，并且通过例如预测模式标志来指示帧内/帧间决策。例如通过从原始图像块减去(110)预测块来计算预测残差。
[0155]
然后对预测残差进行变换(125)和量化(130)。对经量化的变换系数以及运动向量和其他语法元素进行熵编码(145)，以输出比特流。编码器可跳过变换，并对未变换的残余信号直接应用量化。编码器可绕过变换和量化两者，即，在不应用变换或量化过程的情况下直接对残差进行编码。
[0156]
编码器对编码块进行解码以提供用于进一步预测的参考。对量化的变换系数进行去量化(140)和逆变换(150)以解码预测残差。组合(155)经解码的预测残差和预测块，重构图像块。向重建画面应用环路滤波器(165)以执行例如解块/sao(样本自适应偏移)滤波，以减少编码伪影。经滤波的图像存储在参考图片缓冲器(180)中。
[0157]
图2例示了视频解码器200的框图。在解码器200中，比特流由解码器元件进行解码，如下所述。视频解码器200通常执行与如图1所述的编码程相反的解码程。编码器100通常还执行视频解码作为对视频数据编码的一部分。
[0158]
解码器的输入包括视频比特流，该视频比特流可由视频编码器100生成。首先对比特流进行熵解码(230)以获得变换系数、运动向量和其他经编码的信息。图片分区信息指示如何对图片进行分区。因此，解码器可以根据解码图片分区信息划分(235)图片。对变换系数进行去量化(240)和逆变换(250)以对预测残差进行解码。组合(255)经解码的预测残差和预测块，重构图像块。可从帧内预测(260)或运动补偿预测(即帧间预测)(275)获得(270)预测块。向重构图像应用环路滤波器(265)。经滤波的图像存储在参考图片缓冲器(280)中。
[0159]
经解码的图片还可经过解码后处理(285)，例如，逆颜色变换(例如，从ycbcr 4:2:0到rgb 4:4:4的变换)或执行在预编码处理(101)中执行的重新映射过程的逆重新映射。解码后处理可使用在预编码处理中导出并且在比特流中发信号通知的元数据。
[0160]
图3例示了在其中实现各种方面和实施方案的系统的示例的框图。系统1000可体现为包括下文所述的各个部件的设备，并且被配置为执行本文档中所述的一个或多个方面。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板电脑、数字多媒体机顶盒、数字电视机接收器、个人视频录制系统、连接的家用电器和服务器。系统1000的元件可单独地或组合地体现在单个集成电路(ic)、多个ic和/或分立部件中。例如，在至少一个实施方案中，系统1000的处理元件和编码器/解码器元件分布在多个ic和/或分立部件上。在各种实施方案中，系统1000经由例如通信总线或通过专用输入和/或输出端口通信地耦接到其他类似系统或其他电子设备。在各种实施方案中，系统1000被配置为实现本文档中描述的一个或多个方面。
[0161]
系统1000包括至少一个处理器1010，该处理器被配置为执行加载到其中的指令，以用于实现例如本文档中所述的各个方面。处理器1010可包括嵌入式存储器、输入输出接口和本领域已知的各种其他电路。系统1000包括至少一个存储器1020(例如，易失性存储器设备和/或非易失性存储器设备)。系统1000包括存储设备1040，该存储设备可以包括非易失性存储器和/或易失性存储器，包括但不限于eeprom、rom、prom、ram、dram、sram、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备1040可包括内部存储设备、附接存储设备和/或网络可访问的存储设备。
[0162]
系统1000包括编码器/解码器模块1030，该编码器/解码器模块被配置为例如处理数据以提供编码视频或解码视频，并且编码器/解码器模块1030可包括其自身的处理器和存储器。编码器/解码器模块1030表示可被包括在设备中以执行编码和/或解码功能的模块。众所周知，设备可包括编码模块和解码模块中的一者或两者。此外，编码器/解码器模块1030可实现为系统1000的独立元件，或者可结合在处理器1010内作为本领域技术人员已知的硬件和软件的组合。
[0163]
要加载到处理器1010或编码器/解码器1030上以执行本文档中所述的各个方面的程序代码可存储在存储设备1040中，并且随后被加载到存储器1020上以供处理器1010执行。根据各种实施方案，处理器1010、存储器1020、存储设备1040和编码器/解码器模块1030中的一者或多者可在本文档中所述过程的执行期间存储各个项目中的一个或多个项目。此类存储项目可包括但不限于输入视频、解码的视频或部分解码的视频、比特流、矩阵、变量
以及处理等式、公式、运算和运算逻辑的中间或最终结果。
[0164]
在若干实施方案中，处理器1010和/或编码器/解码器模块1030内部的存储器用于存储指令和提供工作存储器以用于在编码或解码期间需要的处理。然而，在其他实施方案中，处理设备外部的存储器(例如，处理设备可以是处理器1010或编码器/解码器模块1030)用于这些功能中的一个或多个功能。外部存储器可以是存储器1020和/或存储设备1040，例如动态易失性存储器和/或非易失性闪存存储器。在若干实施方案中，外部非易失性闪存存储器用于存储电视机的操作系统。在至少一个实施方案中，诸如ram的快速外部动态易失性存储器被用作用于视频编码和解码操作的工作存储器，诸如用于mpeg-2、hevc或vvc(通用视频编码)。
[0165]
对系统1000的元件的输入可通过如框1130中所示的各种输入设备提供。此类输入设备包括但不限于：(i)接收例如由广播器通过无线电
[0166]
发射的rf信号的rf部分，(ii)复合输入端子，(iii)usb输入端子，和/或(iv)hdmi输入端子。
[0167]
在各种实施方案中，框1130的输入设备具有如本领域已知的相关联的相应输入处理元件。例如，rf部分可与以下所必需的元件相关联：(i)选择所需的频率(也称为选择信号，或将信号频带限制到一个频带)，(ii)下变频选择的信号，(iii)再次频带限制到更窄频带以选择(例如)在某些实施方案中可称为信道的信号频带，(iv)解调下变频和频带限制的信号，(v)执行纠错，以及(vi)解复用以选择所需的数据分组流。各种实施方案的rf部分包括用于执行这些功能的一个或多个元件，例如频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。rf部分可包括执行这些功能中的各种功能的调谐器，这些功能包括例如下变频接收信号至更低频率(例如，中频或近基带频率)或至基带。在一个机顶盒实施方案中，rf部分及其相关联的输入处理元件接收通过有线(例如，电缆)介质发射的rf信号，并且通过滤波、下变频和再次滤波至所需的频带来执行频率选择。各种实施方案重新布置上述(和其他)元件的顺序，移除这些元件中的一些元件，和/或添加执行类似或不同功能的其他元件。添加元件可包括在现有元件之间插入元件，例如，插入放大器和模数变换器。在各种实施方案中，rf部分包括天线。
[0168]
此外，usb和/或hdmi端子可包括用于跨usb和/或hdmi连接将系统1000连接到其他电子设备的相应接口处理器。应当理解，输入处理(例如，reed-solomon纠错)的各个方面可根据需要例如在单独的输入处理ic内或在处理器1010内实现。类似地，usb或hdmi接口处理的方面可根据需要在单独的接口ic内或在处理器1010内实现。将解调流、纠错流和解复用流提供给各种处理元件，包括例如处理器1010以及编码器/解码器1030，该处理元件与存储器和存储元件结合操作以根据需要处理数据流以呈现在输出设备上。
[0169]
系统1000的各种元件可设置在集成外壳内。在集成外壳内，各种元件可使用合适的连接布置1140(例如，如本领域已知的内部总线，包括ic间(i2c)总线、布线和印刷电路板)互连并且在其间发射数据。
[0170]
系统1000包括能够经由通信信道1060与其他设备通信的通信接口1050。通信接口1050可包括但不限于被配置为通过通信信道1060发射和接收数据的收发器。通信接口1050可包括但不限于调制解调器或网卡，并且通信信道1060可例如在有线和/或无线介质内实现。
[0171]
在各种实施方案中，使用诸如ieee 802.11的无线网络将数据流式传输到系统1000。例如，这些实施方案的无线信号通过适用于wi-fi通信的通信信道1060和通信接口1050接收。这些实施方案的通信信道1060通常连接到接入点或路由器，该接入点或路由器提供对包括互联网的外部网络的访问，以用于允许流式应用和其他云上通信。其他实施方案使用机顶盒向系统1000提供流式数据，该机顶盒通过输入块1130的hdmi连接递送数据。还有其他实施方案使用输入块1130的rf连接向系统1000提供流式数据。
[0172]
系统1000可向各种输出设备(包括显示器1100、扬声器1110和其他外围设备1120)提供输出信号。在实施方案的各个示例中，其他外围设备1120包括以下中的一者或多者：独立dvr、磁盘播放器、立体系统、照明系统和基于系统1000的输出提供功能的其他设备。在各种实施方案中，控制信号使用信令(诸如av.link、cec或其他通信协议)在系统1000与显示器1100、扬声器1110或其他外围设备1120之间传送，该其他通信协议使得能够在有或没有用户干预的情况下进行设备到设备控制。输出设备可通过相应接口1070、1080和1090经由专用连接通信地耦接到系统1000。另选地，输出设备可使用通信信道1060经由通信接口1050连接到系统1000。显示器1100和扬声器1110可与电子设备(例如，电视机)中的系统1000的其他部件集成在单个单元中。在各种实施方案中，显示接口1070包括显示驱动器，例如，定时控制器(t con)芯片。
[0173]
另选地，如果输入1130的rf部分是单独机顶盒的一部分，则显示器1100和扬声器1110可选地与其他部件中的一个或多个部件分开。在显示器1100和扬声器1110为外部部件的各种实施方案中，输出信号可经由专用输出连接(包括例如hdmi端口、usb端口或comp输出)提供。
[0174]
这些实施方案可由处理器1010或由硬件或由硬件和软件的组合实现的计算机软件执行。作为非限制性示例，这些实施方案可由一个或多个集成电路实现。作为非限制性示例，存储器1020可以是适合于技术环境的任意类型，并且可使用任何适当的数据存储技术实现，
[0175]
诸如光学存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器。作为非限制性示例，处理器1010可以是适合于技术环境的任何类型，并且可涵盖微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一者或多者。
[0176]
各种具体实施参与解码。如本技术中所用，“解码”可包括例如对所接收的编码序列执行以产生适于显示的最终输出的过程的全部或部分。在各种实施方案中，此类过程包括通常由解码器执行的一个或多个过程，例如熵解码、逆量化、逆变换和差分解码。在各种实施方案中，此类过程还或另选地包括由本技术中描述的各种实施方式的解码器执行的过程，例如，提取待用于各种帧内预测参考阵列的权重索引。
[0177]
作为进一步的示例，在一个实施方案中，“解码”仅是指熵解码，在另一个实施方案中，“解码”仅是指差分解码，并且在又一个实施方案中，“解码”是指熵解码和差分解码的组合。短语“解码过程”是具体地指代操作的子集还是广义地指代更广泛的解码过程基于具体描述的上下文将是清楚的，并且据信将被本领域的技术人员很好地理解。
[0178]
各种具体实施参与编码。以与上面关于“解码”的讨论类似的方式，如在本技术中使用的“编码”可涵盖例如对输入视频序列执行以产生编码比特流的过程的全部或部分。在各种实施方案中，此类过程包括通常由编码器执行的一个或多个过程，例如，分区、差分编
码、变换、量化和熵编码。在各种实施方案中，此类过程还或另选地包括由本技术中描述的各种实施方式的编码器执行的过程，例如，对帧内预测参考阵列进行加权。
[0179]
作为进一步的示例，在一个实施方案中，“编码”仅是指熵编码，在另一个实施方案中，“编码”仅是指差分编码，并且在又一个实施方案中，“编码”是指差分编码和熵编码的组合。短语“编码过程”是具体地指代操作的子集还是广义地指代更广泛的编码过程基于具体描述的上下文将是清楚的，并且据信将被本领域的技术人员很好地理解。
[0180]
注意，本文所用的语法元素是描述性术语。因此，它们不排除使用其他语法元素名称。
[0181]
当附图呈现为流程图时，应当理解，其还提供了对应装置的框图。类似地，当附图呈现为框图时，应当理解，其还提供了对应的方法/过程的流程图。
[0182]
各种实施方案是指速率失真计算或速率失真优化。在编码过程期间，通常考虑速率和失真之间的平衡或权衡，这常常考虑到计算复杂性的约束。速率失真优化通常表述为最小化速率失真函数，该速率失真函数是速率和失真的加权和。存在不同的方法解决速率失真优化问题。例如，这些方法可基于对所有编码选项(包括所有考虑的模式或编码参数值)的广泛测试，并且完整评估其编码成本以及重构信号在编码和解码之后的相关失真。更快的方法还可用于降低编码复杂性，特别是对基于预测或预测残差信号而不是重构的残差信号的近似失真的计算。也可使用这两种方法的混合，诸如通过针对可能的编码选项中的仅一些编码选项使用近似失真，而针对其他编码选项使用完全失真。其他方法仅评估可能的编码选项的子集。更一般地，许多方法采用各种技术中任一种来执行优化，但是优化不一定是对编码成本和相关失真两者的完整评估。
[0183]
本文所述的具体实施和方面可在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单个形式的具体实施的上下文中讨论(例如，仅作为方法讨论)，讨论的特征的具体实施也可以其他形式(例如，装置或程序)实现。装置可在例如适当的硬件、软件和固件中实现。方法可在例如一般是指处理设备的处理器中实施，
[0184]
该处理设备包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，诸如例如计算机、手机、便携式/个人数字助理(“pda”)以及便于最终用户之间信息通信的其他设备。
[0185]
提及“一个实施方案”或“实施方案”或“一个具体实施”或“具体实施”以及它们的其他变型，意味着结合实施方案描述的特定的特征、结构、特性等包括在至少一个实施方案中。因此，短语“在一个实施方案中”或“在实施方案中”或“在一个具体实施中”或“在具体实施中”的出现以及出现在本文献通篇的各个地方的任何其他变型不一定都是指相同的实施方案。
[0186]
此外，本文档可提及“确定”各条信息。确定信息可包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一者或多者。
[0187]
此外，本文献可指“访问”各条信息。访问信息可包括例如接收信息、检索信息(例如，从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一者或多者。
[0188]
此外，本文献可指“接收”各条信息。与“访问”一样，接收旨在为广义的术语。接收信息可包括例如访问信息或检索信息(例如，从存储器)中的一者或多者。此外，在诸如例如
存储信息、处理信息、发射信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，“接收”通常以一种方式或另一种方式参与。
[0189]
应当理解，例如，在“a/b”、“a和/或b”以及“a和b中的至少一者”的情况下，使用以下“/”、“和/或”和“至少一种”中的任一种旨在涵盖仅选择第一列出的选项(a)，或仅选择第二列出的选项(b)，或选择两个选项(a和b)。作为进一步的示例，在“a、b和/或c”和“a、b和c中的至少一者”的情况下，此类短语旨在涵盖仅选择第一列出的选项(a)，或仅选择第二列出的选项(b)，或仅选择第三列出的选项(c)，或仅选择第一列出的选项和第二列出的选项(a和b)，或仅选择第一列出的选项和第三列出的选项(a和c)，或仅选择第二列出的选项和第三列出的选项(b和c)，或选择所有三个选项(a和b和c)。如对于本领域和相关领域的普通技术人员显而易见的是，这可扩展到所列出的尽可能多的项目。
[0190]
而且，如本文所用，词语“发信号通知”是指(除了别的以外)向对应解码器指示某物。例如，在某些实施方案中，编码器发信号通知多个权重中要用于帧内预测参考阵列的特定权重。这样，在一个实施方案中，在编码器侧和解码器侧两者均使用相同的参数。因此，例如，编码器可将特定参数发射(显式信令)到解码器，使得解码器可使用相同的特定参数。相反，如果解码器已具有特定参数以及其他，则可在不发射(隐式信令)的情况下使用信令，以简单允许解码器知道和选择特定参数。通过避免发射任何实际功能，在各种实施方案中实现了位节省。应当理解，信令可以各种方式实现。例如，在各种实施方案中，使用一个或多个语法元素、标志等将信息发信号通知至对应解码器。虽然前面涉及词语“signal(发信号通知)”的动词形式，但是词语“signal(信号)”在本文也可用作名词。
[0191]
对于本领域的普通技术人员将显而易见的是，具体实施可产生格式化为携带例如可存储或可传输的信息的各种信号。信息可包括例如用于执行方法的指令或由所述具体实施中的一个具体实施产生的数据。例如，可格式化信号以携带所述实施方案的比特流。可格式化此类信号例如为电磁波(例如，使用频谱的射频部分)或基带信号。格式化可包括例如对数据流编码并且用编码的数据流调制载体。信号携带的信息可以是例如模拟或数字信息。已知的是，信号可通过各种不同的有线或无线链路发射。信号可存储在处理器可读介质上。
[0192]
实施方案可包括跨各种不同的权利要求类别和类型单独的或组合的以下特征或实体中的一个或多个：
[0193]
·
针对最高至确定大小的编码单元，启用基于矩阵的帧内预测，而不管最大变换大小如何。
[0194]
·
当编码单元大小大于最大变换大小时，启用变换单元拼接。
[0195]
·
启用最高至确定大小的低频不可分离变换(lfnst)。
[0196]
·
在比特流中包括语法元素或针对语法元素检查比特流，该语法元素指示是否任何变换单元都不使用dct2作为变换，并且如果是如此指示，则lfnst不被允许。
[0197]
·
包括所描述的语法元素中的一个或多个语法元素或其变型的比特流或信号。
[0198]
·
对包括所描述的语法元素中的一个或多个语法元素或其变型的比特流或信号进行创建和/或传输和/或接收和/或解码。
[0199]
·
根据所描述的实施方案中的任一实施方案执行环路滤波的电视机、机顶盒、移动电话、平板电脑或其他电子设备。
[0200]
·
根据所描述的实施方案中的任一实施方案执行环路滤波并(例如，使用监视器、屏幕或其他类型的显示器)显示所得图像的电视机、机顶盒、移动电话、平板电脑或其他电子设备。
[0201]
·
调谐(例如，使用调谐器)信道以接收包括编码图像的信号并根据所描述的实施方案中任一实施方案执行环路滤波的电视机、机顶盒、移动电话、平板电脑或其他电子设备。
[0202]
·
通过无线电(例如，使用天线)接收包括编码图像的信号并根据所描述的实施方案中任一实施方案执行环路滤波的电视机、机顶盒、移动电话、平板电脑或其他电子设备。
[0203]
在整个本公开中还支持和设想了各种其他广义以及特殊的发明和权利要求。