视频编码的二次转换视频方法与装置与流程

视频编码的二次转换视频方法与装置
1.交叉引用
2.本技术享有2020年2月25日提交的申请号为62/981,066、2020年3月22日提交的申请号为62/988,423的美国临时专利申请的优先权，该先前申请在此全文引用。
技术领域
3.本发明关于视频编解码。尤其，本发明揭示用于二次转换发信的方法与装置以改善效能。


背景技术：

4.高效率视频编码(hevc)是由视频编码联合协作小组(joint collaborative team on video coding，jct-vc)所发展的新一代国际性视频编解码标准。hevc是基于混合块为基础的运动补偿类似dct转换的编解码架构。补偿的基本单元(称为编解码单元，cu)是一2nx2n的方型块，而每一cu可以递回式地被分割成四个较小的cu，一直达到预定的最小尺寸为止。每个cu包括一或多个预测单元(prediction unit，pu)。
5.为改善混合编解码架构的编解码效率，对于每一pu hevc提供了两种类型的预测模式，即帧内预测与帧间预测。对于帧内预测模式而言，可以用空间相邻重构像素来产生方向性的预测，在hevc中有多达35种方向。对于帧间预测模式而言，可以用时间重构参考帧来产生运动补偿的预测。有三种不同模式，包括跳过(skip)、合并(merge)以及帧间高级运动向量预测(帧间amvp)模式。
6.转换程序
7.在预测之后，用于cu的预测后残差被分割为转换单元(transform units，tu)而且使用转换和量化加以编解码。像许多其他先前标准，hevc采用离散余弦转换类型ii(discrete cosine transform type ii，dct-ii)作为其核心转换(主要转换)，这是因为其强大的
″
能量压缩
″
(energy compaction)特性。为了改善转换，对帧内模式(intra mode)，离散正弦转换(discrete sine transform，dst)也被引入使用在部分情况下取代dct。对帧间-预测残差，dct-ii是目前hevc唯一使用的转换。然而，dct-ii并非对于所有情况都是最佳转换。离散正弦转换类型七(discrete sine transform type vii，dst-vii)与离散余弦转换类型八(discrete cosine transform typeviii，dct-viii)在有些案例中被提议来取代dct-ii。多重转换选择(multiple transform selection，mts)方案也被使用于残差编解码以用于帧内与帧间编解码块二者。它还利用了从dct/dst家族系列中(除了hevc中的当前转换之外)的多个选择的转换。新引入的变换矩阵是dct-viii。在vvc中，用于核心转换的多重变换选择(mts)描述如下。
8.除了已在hevc中使用的dct-ii之外，一多重转换选择(mts)方案被用于残差编码帧间与/或帧内编解码块中。它使用从dct8(dct-viii)/dst7(dst-vii)中所选择的多个转换。新引进的转换矩阵是dst-vii与dct-viii。以下表格显示所选择dst/dct的基础函数。
9.表格1：用于n-点输入的dct-ii/viii与dstvii转换基础函数
[0010][0011][0012]
为了保持转换矩阵正交性(orthogonality)，转换矩阵比在hevc中的转换矩阵被量化的更准确。为了保持转换后系数的中间数值(intermediate values)在16-比特的范围(在水平与在垂直转换之后)，所有系数都保持在10-比特。
[0013]
为了控制mts方案，分开致能的旗标(separate enabling flags)被指明于sps层级以分别用于帧内与帧间模式。当mts被致能于sps，cu层级索引被发信来指示出转换模式(指示出用于当前cu的水平与垂直方向的转换类型)。在此，mts仅被应用于亮度。当宽度与高度二者皆小于或等于32而且cbf旗标等于一时，此mts cu层级索引(即，mts_idx)可以被发信。
[0014]
如果mts cu索引等于0，则dct2被应用于二个方向。然而，如果mts cu索引大于零，用于水平与垂直方向的转换类型被指明于表格二。
[0015]
表格二：转换与发信映射表格
[0016][0017][0018]
在一些实施例中，为了降低大尺寸dst-7与dct-8的复杂度，在具有尺寸(宽度或高
度、或宽度与高度二者)等于32的dst-7与dct-8块中，高频转换系数被归零。仅有在16x16低频区域之中的系数被使用。
[0019]
低频非可分离转换(lfnst)
[0020]
在vvc中，如图1所示，顺向lfnst(低频非可分离转换)120(被称为缩减的二次转换)被应用于顺向主要转换110和量化130(在编码器处)，而逆向lfnst150被应用于去量化140和逆向主要转换160(在解码器侧)之间。在lfnst中，依据块的尺寸大小来应用一4x4非可分离转换或8x8非可分离转换。例如，将4x4 lfnst应用于较小的块(即，min(宽度，高度)＜8)，而且将8x8 lfnst应用于较大的块(即，min(宽度，高度)＞4)。在图1中，点状区域122相对应于用于4
×
4顺向lfnst的16个输入系数，或用于8
×
8顺向lfnst的48个输入系数。点状区域152相对应于用于4x4逆向lfnst的8或16个输入系数，或用于8x8逆向lfnst的8或16个输入系数。在这种情况下，顺向主要转换的输入是预测残差，而且逆向主要转换的输出是重构后残差。
[0021]
非可分离转换的应用(被使用于lfnst)被描述于下列例子中。为了应用4x4lfnst，4x4输入块x
[0022][0023]
首先以一向量来表示：
[0024][0025]
此非可分离转换被计算为其中指示出转换系数向量，而且t是一16x16转换矩阵。使用用于该块的扫描顺序(即，水平、垂直、或对角线)，16x1系数向量接着被重组为4x4块。具有较小索引的系数会被放在4x4系数块中具有较小扫描索引之处。
[0026]
缩减的(reduced)非可分离转换
[0027]
lfnst(低频非可分离转换)是基于直接矩阵乘法方式来应用非可分离转换，使得其被施行于单一通道而不用多次迭代(a single passwithout multiple iterations)。然而，非可分离转换矩阵维度(dimension)需要被缩减来减少计算复杂度与记忆体空间来储存转换系数。因此，缩减的非可分离转换(或rst)方法被使用在lfnst中。缩减的非可分离转换的主要概念是将一n维向量映射至一不同空间的一r维向量，其中n/r(r＜n)是缩减因子(reduction factor)而且对8x8 nsst(non-separable secondary transforms，非可分离二次转换)，n通常是等于64。因此，rst矩阵变成如下的一r
×
n矩阵(而非nxn矩阵)：
[0028][0029]
其中，转换的r列(row)是n维度空间的r基础(base)。用于rt的逆转换矩阵是其顺向转换的转置(transpose)。对8x8 lfnst，缩减因子4被应用。在此情况下，64x64直接矩阵
(其通常用于一8x8非可分离转换矩阵)被缩减为16x48直接矩阵。因此，48
×
16逆rst矩阵被使用在解码器侧来产生在8
×
8左上方区域的核心(主要)转换系数。当具有相同转换组配置的16x48矩阵被应用(而非16x64)，其每一个从左上方8
×
8块的三个4x4块(不包括右下方4x4块)拿走48个输入数据。
[0030]
有了缩减维度的协助，在合理的效能下降情况下，用于储存所有lfnst矩阵的记忆体使用从10kb缩减到8kb。为了减少复杂度，lfnst被限制于只有当第一系数次群组之外的所有系数都是非-有效(non-significant)的时候才可应用。因此，当lfnst被应用时，所有主要-仅(primary-only)转换系数都是零。这允许一有条件式的lfnst索引发信是取决于最后有效的位置。因此，这避免在当前lfnst设计中额外的系数扫描(其仅在特定位置需要检查有效系数)。lfnst的最差状况处理(以每一像素的乘法而言)将用于4x4与8x8块的非可分离转换分别限制于8x16与8x48转换。在这些状况下，当lfnst被应用于其他小于16的尺寸时，最后有效扫描位置必须小于8。对具有4xn与nx4(而且n＞＝4)形状的块，所提议的限制隐含lfnst只被应用一次，而且只用在左上方4x4区域。对具有8xn与nx8(而且n＞＝8)形状的块，所提议限制隐含lfnst只被应用一次，而且只用在左上方8x8区域。由于当lfnst被应用时，所有主要-仅(primary-only)系数都被归零，需用于主要转换的操作数目在这些状况被缩减。从编码器的观点，当lfnst转换被测试时，系数的量化是相当程度被简化的。一率-失真最佳化量化(rate-distortion optimized quantization)最多需要在扫描顺序中的前8或16个系数处完成，其余系数被强制为零。
[0031]
lfnst转换选择
[0032]
在lfnst中，总共有4转换组与2非可分离转换矩阵(核心)/每转换组。从帧内预测模式到转换组的映射被事先定义如下面表格中所示。如果三个cclm(cross-component linear model，跨分量线性模式)模式(即，通过81＜＝predmodeintra＜＝83所指示出的intra_lt_cclm、intra_t_cclm或intra_l_cclm)之一被用于当前块中，转换组0或用于亮度的帧内预测模式被选择用于当前色度块。对每一转换组，所选择的非可分离次要转换候选(或称非可分离转换矩阵)被显性发信的lfnst索引所进一步加以指明。对一帧内cu，此lfnst索引在转换系数之后被发信于比特流中。
[0033]
表格3：转换选择表格
[0034]
intrapredmode转换组索引intrapredmode＜010＜＝intrapredmode＜＝102＜＝intrapredmode＜＝12113＜＝intrapredmode＜＝23224＜＝intrapredmode＜＝44345＜＝intrapredmode＜＝55256＜＝intrapredmode＜＝80181＜＝intrapredmode＜＝830
[0035]
lfnst索引发信以及与其他工具的互动
[0036]
由于只有当第一系数次群组之外的所有系数都是非-有效(non-significant)时，lfnst才会被限制成可应用的，在一些实施例中，lfnst索引(cu层级)编解码取决于最后有
效系数的位置。此外，lfnst索引为上下文编解码(context coded)。然而，lfnst索引并非取决于帧内预测模式，而且至少一比特子(bin)是以上下文编解码。更进一步，lfnst是应用于在帧内与帧间切片中的帧内cu，以及用于亮度与/或色度二者。如果一双树被致能时，用于亮度与色度的lfnst索引被分别发信。对帧间切片(即，双树被失能)，单一lfnst索引被发信与被使用于亮度与/或色度。
[0037]
考虑由于现存最大转换尺寸限制(即，64x64或以配置所设定)，大于64x64的大cu被隐性地分割(tu分块，tu tiling)，对某些数目的解码管线阶段，lfnst索引搜寻可以增加四倍数据缓冲(data buffering)。因此，lfnst所允许的最大尺寸被限制于64x64或最大转换尺寸。注意，只有当lfnst为关闭(off)时，mts才被致能。
[0038]
如提议于jvet-p0058(由t.tsukuba等人所提的“ce8-2.1：transform skip for chroma with limiting maximum number of context-coded bin in ts residual coding”，于国际电信通讯联盟-电信标准化部门，研究小组16，工作集会3(itu-t sg16 wp3)以及国际标准化组织/国际电工协会的第一技术委员会第29子委员会第11号工作群组(iso/iec jtc1/sc29/wg11)，第16次会议：在瑞士的日内瓦(geneva，ch)，2019年10月1-11日，文件jvet-p0058)，它引进了用于色度的转换跳过(ts)并将ts残差编解码应用于转换-跳过的色度块。例如，ts被致能于所有色度取样格式的色度中。此外，由于bdpcm(block-based delta pulse code modulation，基于块的增量脉冲编解码调变)使用ts，所以只有当ts致能条件被满足时bdpcm才可以被致能。ts致能条件包含尺寸大小约束，这表示当块宽度小于或等于最大转换跳过尺寸大小(maxtssize)而且块高度小于或等于maxtssize时。如果条件被满足，ts可以被致能。maxtssize是一固定整数或等于1＜＜(log2_transform_skip_max_size_minus2 2)的一变数，其中log2_transform_skip_max_size_minus2指明用于转换跳过的最大块尺寸大小。log2_transform_skip_max_size_minus2应该在0到3的范围内，而且当不存在时，则被推论等于0。
[0039]
在vvc中，用于亮度的ts尺寸大小约束为：如果tbwidth＜＝maxtssize&&tbheight＜＝maxtssize，ts可以被致能。
[0040]
在vvc中，用于色度的ts尺寸大小约束为：如果wc＜＝maxtssize&&hc＜＝maxtssize，ts可以被致能。
[0041]
在上述限制中，wc＝tbwidth/subwidthc以及hc＝tbheight/subheightc。tbwidth为用于亮度的块宽度而且tbheight为用于亮度的块高度。变数subwidthc与subheightc于以下表格中加以指明，取决于色度格式取样结构(其通过chroma_format_idc与separate_colour_plane_flag加以指明)。chroma_format_idc、subwidthc与subheightc的其他数值可以在以后加以指明。
[0042]
表格4：变数subwidthc与subheightc的规格
[0043][0044]
以下表格中显示了每个分量的转换跳过模式的详细发信条件。
[0045]
表格5.每个分量的转换跳过模式的发信条件
[0046]
[0047]
[0048][0049][0050]
在上面的语法表格中，transform_skip_flag[x0][y0][cidx]指明一转换是否被应用于相关联的转换块。阵列索引x0，y0指明相对于画面的左上亮度样本的所考虑的转换
块的左上方亮度样本的位置(x0，y0)。阵列索引cidx指明用于颜色分量的一指示子(indicator)；其对于y等于0，对于cb等于1，而且对于cr等于2。transform_skip_flag[x0][y0][cidx]等于1指明没有转换会被应用于相关联的转换块。transform_skip_flag[x0][y0][cidx]等于0指明是否将转换应用于相关联的转换块的决定取决于其他语法元素。
[0051]
当transform_skip_flag[x0][y0][cidx]不存在时，可以作如下推论：
[0052]-如果bdpcmflag[x0][y0][cidx]等于1，transform_skip_flag[x0][y0][cidx]被推论等于1。
[0053]-否则(bdpcmflag[x0][y0][cidx]等于0)，transform_skip_flag[x0][y0][cidx]被推论等于0。
[0054]
在以上，bdpcmflag[x0][y0][cidx]是一变数，相对应用于亮度分量(即，cidx＝0)或色度分量(即，cidx＝1或2)的一帧内bdpcm旗标。
[0055]
bdpcm(块dpcm)
[0056]
旧的bdpcm方法被提议于文件jvet-m0057(“ce8：bdpcm with horizontal/vertical predictor and independently decodable areas(test 8.3.1b)”，文件jvet-m0057，于国际电信通讯联盟-电信标准化部门，研究小组16，工作集会3(itu-t sg16 wp3)以及国际标准化组织/国际电工协会的第一技术委员会第29子委员会第11号工作群组(iso/iec jtc1/sc29/wg11)下辖的联合视频专家组(jvet)中，在麻州的马拉喀什(marrakech，ma)，2019年1月)，使用重构后样本逐行(line by line)来预测行(row)或栏(column)。所发信bdpcm的方向指示出垂直或是水平预测是否被使用。所使用的参考像素是未经过滤的样本。预测误差在空间域(spatial domain)中被量化。通过将去量化的预测误差加入于预测中来重构像素。
[0057]
在jvet-n0413(由marta karczewicz，muhammed coban所提的“ce8-related：quantized residual bdpcm”，于国际电信通讯联盟-电信标准化部门，研究小组16，工作集会3(itu-t sg16 wp3)以及国际标准化组织/国际电工协会的第一技术委员会第29子委员会第11号工作群组(iso/iec jtc1/sc29/wg11)下辖的联合视频专家组(jvet)中，第14次会议：在瑞士的日内瓦(geneva，ch)，2019年3月19-27日，文件jvet-n0413，作为旧的bdpcm的一替代性机制(scheme)，量化后残差域bdpcm(称为rdpcm或bdpcm)被提议。所使用的发信和预测方向与jvet-m0057中所描述旧bdpcm机制相同(由f.henry等人所提的“ce8：bdpcm with horizontal/vertical predictor and independently decodable areas(test 8.3.1b)”，于国际电信通讯联盟-电信标准化部门，研究小组16，工作集会3(itu-t sg16 wp3)以及国际标准化组织/国际电工协会的第一技术委员会第29子委员会第11号工作群组(iso/iec jtc1/sc29/wg11)下辖的联合视频专家组(jvet)中，在麻州的马拉喀什(marrakech，ma)，2019年1月，文件jvet-m0057。bdpcm的帧内预测是通过类似于一般帧内预测于预测方向(水平或垂直预测)上的样本复制在整个块上完成的。对残差进行量化，并对量化后的残差及其预测子(水平或垂直)量化后数值之间的差量(delta)进行编解码。这可以如以下加以描述。
[0058]
对一m(行(row))
×
n(栏(col))块，令r
i，j
，0≤i≤m-1，0≤j≤n-1，为使用来自上方或左方块边界样本的未滤波样本，在进行帧内预测垂直地(即，横跨预测块中逐行复制左方相邻像素值)或水平地(即，复制上方相邻行至预测块中每一行)之后的预测残差。令q
(r
i，j
)，0≤i≤m-1，0≤j≤n-1，表示残差r
i，j
的量化后版本，其中残差为原始块与预测后的块数值之间的差值。然后将块dpcm应用于量化后的残差样本，而形成具有元素的一修正后m
×
n阵列当垂直bdpcm被发信时，残差的量化后样本通过以下获得：
[0059][0060]
对水平预测，适用相似的规则，而且残差量化后样本可以通过以下方式获得：
[0061][0062]
残差量化后样本被编码而且被送到解码器。
[0063]
在解码器侧，以上计算被逆转以产生eq(r
i，j
)，0≤i≤m-1，0≤j≤n-1。对垂直预测情况，
[0064][0065]
对水平情况，
[0066][0067]
逆量化后的量化后残差q-1
(q(r
i，j
))被加入帧内块预测数值中来产生重构后的样本数值。
[0068]
rdpcm的语法被发信于cu/cb层级，当cu/cb是亮度帧内cu/cb并且cb宽度与/或高度小于或等于一预先定义阈值(例如，16、32、64、128、256、512或1024)时，一旗标(例如，bdpcm_flag)被发信来指示出是否致能rdpcm。如果bdpcm_flag为真，一额外的旗标(bdpcm_dir_flag)被发信给使用于rdpcm中的预测方向。例如，如果bdpcm_dir_flag等于0，水平方向被使用；否则，如果bdpcm_dir_flag等于1，垂直方向被使用。
[0069]
bdpcm可以被应用于亮度与色度。用于bdpcm的语法表格显示于下面表格中。更多细节可以发现于文件jvet-n0413(由(m.karczewicz等人所提的“ce8-related：quantized residual bdpcm”，于国际电信通讯联盟-电信标准化部门，研究小组16，工作集会3(itu-t sg16 wp3)以及国际标准化组织/国际电工协会之第一技术委员会第29子委员会第11号工作群组(iso/iec jtc1/sc29/wg11)下辖的联合视频专家组(jvet)中，第14次会议：在瑞士的日内瓦(geneva，ch)，2019年3月19-27日，文件jvet-n0413)。
[0070]
表格6.用于bdpcm的语法表格
[0071]
[0072][0073]
vvc支援色度残差的联合编解码(jccr)的工具，其中色度残差被联合加以编解码。jccr模式的使用(致能)通过tu层级的旗标tu_joint_cbcr_residual_flag加以指示，而且所选择的模式是通过色度cbf加以隐性指示。如果tu的色度cbf的一或两个都等于1，旗标tu_joint_cbcr_residual_flag则存在。在pps和切片标头中，色度qp偏移数值被发信用于jccr模式，以和所发信用于常规的色度残差编解码模式的通常色度qp偏移数值加以区别。这些色度qp偏移数值被使用于推导出使用jccr模式所编解码的某些块的色度qp数值。jccr模式具有3个次模式。当相对应的jccr次模式(表格7中的次模式2)在tu中处于活动状态(active)时，此色度qp偏移在该tu的量化和解码过程中被加入到所应用的亮度-推导色度qp之中。表格7相对应于文件jvet-q2002的表格3-13(由(j.chen等人所提的“algorithm description for versatile video coding and test model 8(vtm 8)”，于国际电信通讯联盟-电信标准化部门，研究小组16，工作集会3(itu-t sg16 wp3)以及国际标准化组织/国际电工协会的第一技术委员会第29子委员会第11号工作群组(iso/iec jtc1/sc29/wg11)下辖的联合视频专家组(jvet)中，第17次会议：在比利时的布鲁塞尔(brussels，be)，2020年1月7-17日，文件jvet-q2002)。对其他jccr次模式(表格7中的次模式1与3)，色度qp以与传统cb或cr块的相同方式加以推导出。从传输的转换块中重建色度残差(rescb与rescr)的过程在表格7中加以描述。当jccr模式被致能时，一单一的联合色度残差块(表格7中的resjointc[x][y])会被发信，用于cb的残差块(rescb)与用于cr的残差块(rescr)在考虑以下的信息而加以推导，例如tu_cbf_cb、tu_cbf_cr、与csign(这是在切片标头中所指明的一符号数值)。
[0074]
在编码器侧，联合色度分量如以下所说明加以推导。取决于模式(如上面表格中列出)，resjointc{1，2}由编码器产生如下：
[0075]-如果模式等于2(具有重构cb＝c，cr＝csign*c的单一残差)，联合残差依据以下来加以决定
[0076]
resjointc[x][y]＝(rescb[x][y] csign*rescr[x][y])/2，
[0077]-否则，如果模式等于1(具有重构cb＝c，cr＝(csign*c)/2的单一残差)，联合残差依据以下来加以决定
[0078]
resjointc[x][y]＝(4*rescb[x][y] 2*csign*rescr[x][y])/5，
[0079]-否则(模式等于3，即单一残差，重构cr＝c，cb＝(csign*c)/2)，联合残差依据以下来加以决定
[0080]
resjointc[x][y]＝(4*rescr[x][y] 2*csign*rescb[x][y])/5。
[0081]
色度残差的重构。csign的数值是一符号数值( 1或-1)，该值在切片标头中加以指明，resjointc[][]是传输后的残差。
[0082]
表格7.用于bdpcm的语法表
[0083][0084][0085]
上面表格7中所描述的三个联合色度编解码次模式仅在i切片中被支援。在p与b切片中，仅模式2被支援。因此，在p与b切片中，只有当色度cbf二者均为1时，语法元素tu_joinlcbcr_residual_flag才存在。
[0086]
jccr模式可以与色度转换跳过(ts)模式相结合。为了加快编码器决策速度，jccr转换选择取决于cb和cr分量的独立编解码是否选择dct-2或ts作为最佳转换，而且在独立色度编解码中是否有非零系数。具体而言，如果一色度分量选择dct-2(或ts)，而且另一分量都是零，或者两个色度分量都选择dct-2(或ts)，则只有dct-2(或ts)会在jccr编码中被考虑。否则，如果一分量选择dct-2而且另一分量选择ts，则dct-2和ts二者在jccr编码中都将会被考虑。更多细节可以发现于文件jvet-n0054(由j.lainema所提的“ce7：joint coding of chrominance residuals(ce7-1)”，于国际电信通讯联盟-电信标准化部门，研究小组16，工作集会3(itu-t sg16 wp3)以及国际标准化组织/国际电工协会的第一技术委员会第29子委员会第11号工作群组(iso/iec jtcl/sc29/wg11)下辖的联合视频专家组(jvet)中，第14次会议：在瑞士的日内瓦(geneva，ch)，2019年3月19-27日，文件jvet-n0054)。
[0087]
在vvc中的帧内次分割(intra sub-partition，isp)
[0088]
帧内子分割(isp)依据块尺寸大小将亮度帧内预测块垂直地或水平地分割为2或4个次分割。例如，isp分割一块的最小块尺寸大小为4x8(或8x4)。如果块尺寸大小大于4x8(或8x4)，则相对应块被分割为4个次分割。已经注意到m x128(其中m≤64)和m x128(其中n≤64)isp块可能会造成64x64vdpu的潜在问题。例如，在单一树情况下的一m x128 cu具有一m x128亮度tb和两个相对应的(m/2)x64色度tb。如果cu使用isp，则亮度tb将被分割为四个m x32 tb(只有在水平分割是可能的)，其中每一个都小于一64x64块。然而，在当前的isp设计中，色度块没有被分割。因此，两个色度分量会具有大于一32x32块的尺寸大小。类似地，使用isp可以创造出一相似情况于126x n cu。因此，这两种情况对64x64解码器管道(decoder pipeline)是个问题。为了这个原因，可以使用isp的cu尺寸大小被限制为最大64x64。图2a与图2b示出了两种可能性的例子。所有子分割都满足具有至少16个样本的条件。图2a绘示块尺寸大小为4x8或8x4的情况。在此情况，块210被水平地分割为两个次块220或垂直地被分割为两个次块230。图2b绘示块尺寸大小为4x8与8x4之外的其他情况。在此情况下，块240被水平地分割为四个次块250或垂直地被分割为四个次块260。
[0089]
在isp中，1xn或2xn次块预测对于编解码块的先前解码后的1xn或2xn次块的重构
数值的依赖性是不被允许，使得用于子块的最小宽度预测变成四个样本。例如，使用具有垂直分割的isp所编解码的一8xn(n＞4)编解码块被分割为两个预测区域(每一尺寸大小为4xn)以及四个尺寸大小为2xn的转换。同样，使用具有垂直分割的isp所编解码的一4xn编解码块是使用完整的4xn块加以预测；四个转换(每个为1xn)被使用。虽然1xn与2xn的转换尺寸大小被允许，但吾人主张在4xn区域中这些块的转换可以并行来进行。例如，当4xn预测区域包含四个1xn转换时，水平方向上没有转换；垂直方向上的转换可以在垂直方向上以单一个4xn转换加以进行。类似地，当一4
×
n预测区域包含两个2
×
n转换块时，每个方向(水平与垂直)上两个2
×
n块的转换操作可以并行地加以进行。因此，与处理4
×
4常规编解码帧内块相比，在处理这些较小的块时没有增加延迟。
[0090]
对于每一子分割，通过将残差信号加入至预测信号中来获得重构后样本。在此，残差信号是通过例如熵解码、逆量化、与逆转换的处理来加以产生。因此，每一子分割的重构后样本数值可用于产生下一个子分割的预测，而且每一子分割被重复处理。此外，第一个要被处理的子分割是包含cu左上方样本的分割，然后继续向下方(水平分割)或向右方(垂直分割)。结果，用于产生子分割预测信号的参考样本仅位于线的左方和上方。所有子分割共享相同的帧内模式。以下是isp与其他编解码工具的互动的摘要。
[0091]-多重参考线(mrl)：如果一块具有不是0的一mrl索引，则isp编解码模式将被推论为0，因此isp模式信息将不会发送到解码器。
[0092]-熵编解码系数群的尺寸大小：熵编解码次块的尺寸大小已经被修改，以使其在所有可能的情况下都有16个样本，如表格8所示。需要注意，新的尺寸大小仅影响由isp生产的块，其中维度之一少于4个样本。在所有其他情况下，系数群保持4
×
4维度。
[0093]-cbf编解码：假定至少有一个子分割具有一非零的cbf。因此，如果n是子分割的数目而且前n-1个子分割已经产生一为零的cbf，则将第n个子分割的cbf被推论为1。
[0094]-mpm使用：在通过isp模式所编解码的块中，mpm旗标被推论为1，并且mpm列表被修改以排除dc模式，并且优先设置水平帧内模式用于isp水平分割，并且优先设置垂直帧内模式用于垂直分割。
[0095]-转换尺寸大小限制：所有长度大于16点的isp转换都使用dct-ii。
[0096]-pdpc：当一cu使用isp编解码模式时，pdpc滤波器将不会被应用于所生成的子分割。
[0097]-mts旗标：如果一cu使用isp编解码模式，则mts cu旗标将被设定为0，并且不会传送到解码器。因此，编码器将不会对每一生成的子分割的不同可用的转换进行rd测试。用于isp模式的转换选择将变为固定的，并根据帧内模式、处理顺序、和所使用的块尺寸大小加以选择。因此，不需要发信。例如，令th和tv分别为用于w
×
h次分割所选择的水平和垂直转换，其中w为宽度，h为高度。然后依据以下规则选择转换：
[0098]-如果w＝1或h＝1，则分别没有水平或垂直转换。
[0099]-如果w＝2或w＞32，则th＝dct-ii
[0100]-如果h＝2或h＞32，则tv＝dct-ii
[0101]-否则，转换如表格9中加以选择。
[0102]
表格8.熵编解码系数群的尺寸大小
[0103]
块尺寸大小系数群尺寸大小1×
n，n≥161
×
16n
×
1，n≥1616
×
12
×
n，n≥82
×
8n
×
2，n≥88
×
2所有其他可能的m
×
n情况4
×4[0104]
表格9.转换选择取决于帧内模式
[0105][0106]
在isp模式下，所有67个帧内模式都被允许。如果相对应的宽度和高度至少为4个样本长，pdpc也会被应用。此外，用于帧内内插滤波器选择的条件不再存在，而且立方(cubic)(dct-if)滤波器总是被应用在isp模式中的分数位置内插。更多细节可以发现于文件jvet-m0102(由s.de-lux
á
n-hern
á
ndez等人所提的“ce3：intra sub-partitions coding mode(tests 1.1.1 and 1.1.2)”，于国际电信通讯联盟-电信标准化部门，研究小组16，工作集会3(itu-t sg16 wp3)以及国际标准化组织/国际电工协会的第一技术委员会第29子委员会第11号工作群组(iso/iec jtc1/sc29/wg11)下辖的联合视频专家组(jvet)中，第13次会议：在麻州的马拉喀什(marrakech，ma)，2019年1月9-18日，文件jvet-m0102。
[0107]
在此提案中的“块(block)”可以是tb/tu/pu/pb/cb/cu。


技术实现要素：

[0108]
揭示使用低频非可分离转换(low frequency non-separable transform，lfnst)模式的视频编码与解码方法以及装置。依据本发明在解码程序中，关于在一当前画面中一当前编解码单元(cu)中的输入数据被接收，其中该当前cu被分割为一或多个转换块(tb)，而且该输入数据相对应于该当前cu的编解码数据。基于该编解码数据检查一或多个编解码块旗标(coded block flag，cbf)指示以用于一或多个目标tb。如果一或多个条件满足时，一lfnst语法被剖析，其中该lfnst语法指示出该lfnst模式是否被应用于该当前cu中，与/或如果该lfnst模式被应用时，哪一个lfnst核心被应用。该一或多个条件包括用于该一或多个目标tb的该一或多个cbf指示为假。依据通过该lfnst语法所指示出的该lfnst模式于
解码器侧来解码该当前cu。
[0109]
在编码程序中，关于一当前画面中一当前编解码单元(cu)的输入数据被接收，其中该输入数据相对应于主要转换后数据。基于一lfnst核心来应用lfnst程序以推导出暂时输出数据。如果一或多个条件满足时，一lfnst语法被决定并被发信。该些条件包括用于一或多个目标转换块(tb)的一或多个编解码块旗标(coded block flag，cbf)指示为假。依据通过所决定的该lfnst语法所指示出的lfnst模式来编码该当前cu。
[0110]
在一实施例中，该些目标tb相对应于具有转换跳过(transform skip，ts)旗标不等于0的一或多个目标tb。
[0111]
在一实施例中，在一亮度分割树中，该当前cu相对应于一亮度编码块，而且所述一或多个目标tb相对应于一或多个亮度tb。在另一实施例中，在一色度分割树中，该当前cu相对应于一或多个色度编码块，而且所述一或多个目标tb相对应于一或多个色度tb。在又另一实施例中，在一单一分割树中，该当前cu相对应于一亮度编码块以及一或多个色度编码块，而且所述一或多个目标tb相对应于一或多个亮度tb以及一或多个色度tb。
[0112]
在一实施例中，目标tb相对应于在该当前cu中用于每一编解码块的一预先定义的tb。例如，该预先定义的tb相对应于在该当前cu中用于每一编解码块的第一tb。
[0113]
在一实施例中，如果用于目标tb的所有cbf指示都为假，该lfnst模式被允许用于该当前cu中。在另一实施例中，如果用于具有转换跳过(ts)旗标不等于0的目标tb的所有cbf指示都为假的时候，该lfnst模式被允许用于该当前cu中。在又另一实施例中，如果用于具有转换跳过(ts)旗标不等于0的目标tb的任一cbf指示为真的时候，该lfnst模式不被允许用于该当前cu中。
附图说明
[0114]
在本揭示被提出当例子的各种实施例将会参照下列图式被更详细地解说，其中类似的数字参照类似的元件，而且其中：
[0115]
图1绘示出lfnst(低频非可分离转换)程序的例子。
[0116]
图2a与图2b显示帧内次分割(intra sub-partition，isp)的例子。
[0117]
图3依据本发明的实施例绘示体现lfnst剖析的示例性解码系统的流程图。
[0118]
图4依据本发明的实施例绘示体现lfnst剖析的示例性编码系统的流程图。
具体实施方式
[0119]
将容易理解的是，本发明的组件，如本文图中一般描述和示出的，可以以各种各样的不同配置进行配置和设计。因此，如附图所示的本发明的系统和方法的实施例的以下更详细的描述并不旨在限制如所要求保护的本发明的范围，而是仅代表本发明的选定实施例。本说明书中对“实施例”，“一些实施例”或类似语言的引用意味着结合实施例描述的具体特征、结构或特性可以包括在本发明的至少一实施例中。因此，贯穿本说明书在各个地方出现的短语“在实施例中”或“在一些实施例中”不一定都指代相同的实施例。
[0120]
此外，所描述的特征，结构或特性可在一个或多个实施例中以任何合适的方式组合。然而，相关领域的习知技艺者将认识到，可在没有一个或多个具体细节的情况下或者利用其他方法，组件等来实践本发明。在其他情况下，未示出或详细描述公知的结构或操作，
以避免模糊本发明的各方面。本发明所示的实施例通过参考附图将最好地被理解，其中相同的部分通篇用相同的数字表示。以下描述仅旨在作为例子，并且简单地示出了与在此所要求保护的本发明相一致的装置和方法的某些选择的实施例。
[0121]
lfnst与转换跳过的结合不应被允许，因为转换跳过被应用时，转换程序(主要/核心转换与/或二次转换)不应被使用。在vvc草稿7(由b.bross等人所提的“versatile video coding(draft 7)”，于国际电信通讯联盟-电信标准化部门，研究小组16，工作集会3(itu-t sg16 wp3)以及国际标准化组织/国际电工协会的第一技术委员会第29子委员会第11号工作群组(iso/iec jtc1/sc29/wg11)下辖的联合视频专家组(jvet)中，第16次会议：在瑞士的日内瓦(geneva，ch)，2019年10月1-11日，文件jvet-p2001)，用于转换跳过模式的语法在tb层级被发信/剖析。另一方面，在对该cu/cb之中的所有tu/tb加以发信/剖析之后，用于lfnst的语法在cu层级被发信/剖析。因此，在当前的vvc草稿文字中(如表格6a所示)，用于lfnst的发信/剖析条件考虑了如下用于亮度的转换跳过旗标。如下语法表格所示，现存条件包括对亮度转换跳过的检查(即，transform_skip_flag[x0][y0][0]＝＝0)，以防止这种组合。对这个检查，vvc测试模式版本7(vtm7，由j.chen等人所提的“algorithm description for versatile video coding and test model 7(vtm 7)”，于国际电信通讯联盟-电信标准化部门，研究小组16，工作集会3(itu-t sg16 wp3)以及国际标准化组织/国际电工协会的第一技术委员会第29子委员会第11号工作群组(iso/iec jtc1/sc29/wg11)下辖的联合视频专家组(jvet)中，第16次会议：在瑞士的日内瓦(geneva，ch)，2019年10月1-11日，文件jvet-p2002)，程式码似乎与vvc草稿7相匹配。依据jvet-p2001用于残差编解码的语法表格显示于表格10b中。
[0122]
表格10a.vvc草稿7中用于lfnst的发信/剖析条件
[0123]
[0124][0125]
[0126]
表格10b.vvc草稿7中用于残差编解码的语法表格
[0127]
[0128][0129]
在lfnst发信/剖析的现存条件下，有两个问题被观察到。一个问题是，当亮度和色度使用不同的分割树时，当当前cu位于一色度分割树(即，treetype＝＝dual_tree_chroma的情况)时，它无法找到用于亮度的转换跳过旗标(即，transform_skip_flag[x0][y0][0]))。另一个问题是由jvet-p0058中所揭示将转换跳过延伸至色度所引起的。上述检查应延伸为包括cb和cr检查。一些方法被提议来处理这些问题。
[0130]
所提议的检查将cu中的m tb(一或多个)的转换跳过旗标的条件纳入考虑中。对具有一或多个转换系数层级不等于0的一tb，用于tb的转换跳过旗标被用来指示出转换操作是否被应用于tb，并且所提议的检查用于防止tb与lfnst以及转换跳过的组合。如之前所述，在相对应的分割树中(其可以是一亮度分割树(dual_tree_luma)，色度分割树(dual_tree_chroma)或一单一分割树(single_tree))，当前cu中有一或多个tb。m tb(一或多个)相对应于一组所选择的tb，称为目标tb。对目标tb组的转换跳过旗标(一或多个)的条件加以检查。通过检查表示所有m tb(一或多个)的转换跳过旗标为假(即，用于所有m tb的转换跳过旗标(一或多个)等于0)；换句话说，通过检查表示目标条件(相对应于目标tb组中的所有目标tb都具有ts模式指示为假)被满足。换句话说，如果所选择的tb(一或多个)没有一个
使用转换跳过模式时，转换跳过模式旗标(一或多个)的条件被满足。在通过检查之后(即，转换跳过模式旗标(一或多个)的条件被满足)，关于转换跳过模式用于lfnst的发信/剖析条件被满足，并且如果用于lfnst的其他发信/剖析条件也被满足，用于lfnst的语法可以被发信/剖析。
[0131]
在一实施例中，m tb(一或多个)只包括在每一亮度/色度分割树的第一分量。所提议语法表格的一例子显示如下。
[0132]
表格11.根据本发明的一实施例用于lfnst的条件式发信/剖析的一示例性语法表格
[0133][0134]
在另一实施例中，对使用于亮度和色度分量二者的单一分割树，m tb(一或多个)包括一或多个分量。
[0135]
在一次实施例中，m tb(一或多个)是指一个所选择的分量。例如，m tb(一或多个)是指第一分量。在另一个例子中，m tb(一或多个)是指y(即，亮度分量)。以下显示出依据一实施例的一示例性语法表格。在另一例子中，m tb(一或多个)可以是分割树中的任何一个分量。
[0136]
表格12.依据本发明的一实施例用于lfnst的发信/剖析的一示例性语法表格
[0137][0138]
[0139]
在另一个实施例中，当分割树不是色度树时(即，分割树包含y(即，亮度)分量)，m tb(一或多个)指y(即，亮度)tb(一或多个)。以下显示出依据一实施例的一示例性语法表格。
[0140]
表格13.依据本发明的一实施例用于lfnst的发信/剖析的一示例性语法表格
[0141][0142]
在另一个实施例中，对一色度分割树，m tb(一或多个)包括所有色度分量(例如，cb与cr)。如果用于色度分量的任何转换跳过旗标为假(即，转换跳过旗标等于0)，则检查通过。
[0143]
在另一实施例中，对一亮度分割树，m tb(一或多个)包括所有分量(例如，y)。如果用于这些分量的任何转换跳过旗标为假(即，转换跳过旗标等于0)，则检查通过。表格14中显示出依据此实施例的一示例性语法表格。
[0144]
在另一实施例中，对用于亮度与色度分量的一单一树，m tb(一或多个)包括所有分量(例如，y，cb与cr)。如果用于这些分量的任何转换跳过旗标为假(即，转换跳过旗标等于0)，则检查通过。表格14中显示出依据此实施例的一示例性语法表格。
[0145]
表格14.依据本发明的一实施例用于lfnst的发信/剖析的一示例性语法表格
[0146][0147]
在另一实施例中，对一色度分割树，m tb(一或多个)包括所有色度分量(例如，cb与cr)。如果用于色度分量的所有转换跳过旗标都为假(即，用于色度分量的所有转换跳过旗标都等于0)，则检查通过。
[0148]
在另一实施例中，对一亮度分割树，m tb(一或多个)包括所有亮度分量(例如，y)。如果用于这些分量的所有转换跳过旗标都为假(即，用于这些分量的所有转换跳过旗标都等于0)，则检查通过。表格15中显示出依据此实施例的一示例性语法表格。
[0149]
在另一实施例中，对用于亮度和色度分量的一单一树，m tb(一或多个)包括所有分量(例如，y，cb与cr)。如果用于这些分量的所有转换跳过旗标都为假(即，转换跳过旗标等于0)，则检查通过。表格15中显示出依据此实施例的一示例性语法表格。
[0150]
在又一实施例中，可以将上述三个实施例中的两个或多个加以组合。例如，组合后的实施例可以当分割树不是一色度分割树时(例如，不是用于dual_tree_chroma)只检查亮度transform_skip_flag，而且当分割树不是一亮度分割树时(例如，不是用于dual_tree_luma)只检查色度transform_skip_flag。表格15中显示出依据此实施例的一示例性语法表格。
[0151]
表格15.依据本发明的一实施例用于lfnst的发信/剖析的一示例性语法表格
[0152][0153]
表格16显示出用于上述三个实施例的组合的另一示例性语法表格。
[0154]
表格16.依据本发明的一实施例用于lfnst的发信/剖析的一示例性语法表格
[0155][0156]
在另一实施例中，检查不通过，用于lfnst的语法(例如，lfnst索引)不被发信/剖析。
[0157]
在一次实施例中，用于lfnst的语法(lfnst索引)被推论为0(即，lfnst未被应用)。
[0158]
在另一实施例中，如果检查未通过，需要一个比特流规约(bitstream conformance)来处理这种情况。比特流规约如下。比特流规约的要求是，当检查未通过时，lfnst_index的数值不得大于0。以下，以比特流规约的一例子加以说明来检查“用于m tb(一或多个)的转换跳过旗标(一或多个)，其中m tb(一或多个)仅表示每一亮度/色度分割树中的第一分量”的情况。比特流规约的要求相对应于：当每一亮度/色度分割树中的第一分量的转换跳过旗标的数值(例如，transform_skip_flag[x0][y0][chtype]，其中如果treetype＝＝dual_tree_chroma，则chtype指示出为1(即，cb)；否则，chtype指示出为0(即，y))大于1时，lfnst_index的数值不得大干0。
[0159]
在另一实施例中，一变量可以被创建于在草稿文字或软体中来记录是否发信/剖析用于lfnst的语法。此变数的数值是依据一或多个现存用于lfnst的发信/剖析条件与/或于本发明中一或多个所提议的检查来加以更新。例如，此变数被初始化为1，并且如果任何现存用于lfnst的发信/剖析条件与/或于本发明中一或多个所提议的检查不满足时，此变数被改变为0而且用于lfnst的语法不被发信/剖析。
[0160]
在另一个实施例中，一统一的检查机制被使用在用于亮度和色度的不同分割树。例如，当亮度和色度使用双树(即，分开的分割树)时，亮度cu是在一亮度分割树中，而色度cu是在一色度分割树中。此统一机制为：如果在当前cu中所有分量的任何一个转换跳过旗标都使用转换跳过的时候，lfnst则被失能。
[0161]
由于lfnst当前的尺寸大小约束，当一个cu/cb包含一个tu/tb时，lfnst可以被应用。该检查可以将用于一个tu/tb(而不是多个tu/tb)的转换跳过旗标纳入考虑。当一个cu/cb包含多个tu/tb时，所提议的检查是依据在该cu/cb中的一或多个tu/tb加以进行的。在一实施例中，所提议的检查是依据在该cu/cb中的所有tu/tb加以进行的。在另一实施例中，该检查是依据在该cu/cb中的任一个tu/tb(例如，第一tu/tb或最后tu/tb)加以进行的。例如，在一亮度分割树中，目标tb组包括在当前cu中用于亮度cb的第一亮度tb。在另一例子中，在一色度分割树中，目标tb组包括在当前cu中用于cb cb的第一cb tb以及在当前cu中用于cr cb的第一cr tb。在另一例子中，在一单一分割树中，目标tb组包括在当前cu中用于亮度cb的第一亮度tb、在当前cu中用于cb cb的第一cb tb、以及在当前cu中用于cr cb的第一cr tb。在另一实施例中，该检查是依据在该cu/cb中的任一个tu/tb的子集合组加以进行的。
[0162]
此外，在某些情况下，lfnst的使用可以加以限制。在当前设计中，lfnst被应用在用于帧内与帧间切片二者、以及亮度与/或色度的帧内cu中。如果一双树被致能，用于亮度和色度的lfnst索引则分别被发信/剖析。对帧间切片，当双树被失能时，一单一lfnst索引被发信/剖析，而且被使用于亮度与/或色度。在本发明中，在某些情况下色度lfnst被失能。
[0163]
在一实施例中，对于一单一树，色度lfnst被失能。
[0164]
在一次实施例中，当色度lfnst被失能时，lfnst索引仍会被发信/剖析，而且可以于亮度中加以使用。
[0165]
在另一实施例中，色度lfnst被失能。
[0166]
在一次实施例中，当色度lfnst被失能时，lfnst索引不被发信/剖析于色度双树中。
[0167]
在另一实施例中，即使包含tb的cu的lfnst索引大于零，lfnst也不能使用于一tb中。一变数(applylfnstflag)被创建来指示出lfnst是否可以被使用。如果applylfnstflag等于0，lfnst不可以被使用。如果applylfnstflag等于1，lfnst可以被使用。
[0168]
例如，对一单一树，色度lfnst被失能。变数applylfnstflag如以下加以推导：(其中xtby与ytby表示用于tb的相对应亮度样本位置，cidx表示用于tb的分量(例如cidx等于0表示亮度分量，cidx等于1表示cb分量，以及cidx等于2表示cr分量)，lfnst_idx是用于cu的lfnst索引，而且ntbw与ntbh表示tb的宽度与高度)，lfnst_idx是用于cu的lfnst索引，而且ntbw与ntbh表示tb的宽度和高度)。
[0169]-如果(1)treetype等于single_tree，(2)lfnst_idx不等于0，(3)transform_skip_flag[xtby][ytby][cidx]等于0，(4)cidx等于0，而且(5)ntbw与ntbh二者都大于或等
于4，applylfnstflag被设定为1。((1)到(5)的任何子集合组可以被使用在这个条件下)
[0170]-否则，如果(1)treetype不等于single_tree，(2)lfnst_idx不等于0，(3)transform_skip_flag[xtby][ytby][cidx]等于0，并且(4)ntbw与ntbh二者都等于大于或等于4，applylfnstflag被设定为1。((1)到(4)的任何子集合组可以被使用在这个条件下)
[0171]-否则，applylfnstflag被设定为0。
[0172]
对于另一个例子，色度lfnst被失能。变数applylfnstflag如以下加以推导：
[0173]-如果(1)lfnst_idx不等于0，(2)transform_skip_flag[xtby][ytby][cidx]等于0，(3)cidx等于0，而且(4)ntbw和ntbh二者都大于或等于4，applylfnstflag被设定为1。(可以使用1到4中的任何子集在这种条件下)
[0174]-否则，applylfnstflag被设定为0。
[0175]
在另一次实施例中，applylfnstflag可以被使用于一或多个lfnst相关的小节(section)。例如，lfnst索引在标准草案的相对应小节中被参考。
[0176]
8.7.4用于缩放转换系数的转换程序
[0177]
…
当applylfnstflag等于1时//lfnst_idx不等于0而且transform_skip_flag[xtby][ytby][cidx]等于0而且ntbw和ntbh二者都大于或等于4//，应用以下：
…
[0178]
在上述基于标准草案所修改的文字中，通过一对“//”所括起来的文字指示出被删除的文字。
[0179]
8.7.3用于转换系数的缩放程序
[0180]
…
对缩放后转换系数d[x][y]的推导(具有x＝0..ntbw-1，y＝0..ntbh-1)，应用以下：
[0181]-中间缩放因子m[x][y]如以下加以推导：
[0182]-如果以下一或多个条件为真，则m[x][y]被设定等于16：
[0183]-sps_scaling_list_enabled_flag等于0。
[0184]-pic_scaling_list_present_flag等于0。
[0185]-transform_skip_flag[xtby][ytby][cidx]等于1。
[0186]-scale_matrix_follfnst_disabled_flag等于1，而且applylfnstflag等于1//lfnst_idx[xtby][ytby]不等于0//
…
[0187]
在上述基于标准草案所修改的文字中，通过一对“//”所括起来的文字指示出被删除的文字。
[0188]
在另一实施例中，当某些情况下色度lfnst被失能时，lfnstdconly(其在剖析一个cu中的每一tb之前被初始化为1，且如果该cu中的任何tb具有任何有效性系数(或最后有效性系数(lastsignificant coefficient))位在大于dc位置的位置时，则lfnstdconly被改变为0)不会被更新于非-lfnst(no-lfnst)tb中。例如，色度lfnst在一单一树中为失能的。然后，非-lfnst tb包括用于一单一树的色度tb。在语法表格中相对应改变的一例子显示如下。
[0189]
表格17.依据本发明的一实施例用于lfnst的发信/剖析的一示例性语法表格
[0190]
[0191][0192]
在另一例子中，色度lfnst被失能，并且非-lfnst tb包括色度tb。在语法表格中相对应改变的一例子显示如下。
[0193]
表格18.依据本发明的一实施例用于lfnst的发信/剖析的一示例性语法表格
[0194][0195]
当一tb没有cbf时，不需要应用转换程序。然而，在这种情况下lfnst索引可能仍被发信/被剖析。例如，对于一单一树，当亮度不包含cbf，但色度满足lfnst发信/剖析条件时(例如，色度不是转换跳过，而且有系数位于非-dc位置)，lfnst索引可以被发信/被剖析。在这种情况下，lfnst索引被发信/被剖析，而且总是具有一0的数值，因为lfnst被应用于单一树的亮度，而且该索引是一冗余。
[0196]
在一实施例中，lfnstdconlyflag仅通过y(将被应用的lfnst tb)加以更新而用于一单一树。
[0197]
在另一实施例中，lfnstdconlyflag被分开为lfnstdconlylumaflag与lfnstdconlychromaflag。lfnstdconlylumaflag通过y tb加以更新，而且lfnstdconlychromaflag通过cb或cr tb加以更新。
[0198]
在一次实施例中，对单一树，仅lfnstdconlylumaflag被考虑用于lfnst发信/剖
析。
[0199]
在另一次实施例中，对亮度双树，仅lfnstdconlylumaflag被考虑用于lfnst发信/剖析。
[0200]
在另一次实施例中，对色度双树，仅lfnstdconlychromaflag被考虑用于lfnst发信/剖析。
[0201]
在另一实施例中，如下，一检查被加入用于lfnst发信。如果亮度没有cbf，lfnst索引不被发信/被剖析。语法表格的一例子显示如下。
[0202]
表格19.依据本发明的一实施例用于lfnst的发信/剖析的一示例性语法表格
[0203][0204][0205]
在一次实施例中，此检查被加入于cu-层级检查。
[0206]
在另一次实施例中，此检查被加入于tb-层级检查。
[0207]
在另一次实施例中，如以下例子所示此检查在单一树加以进行。
[0208]
表格20.依据本发明的一实施例用于lfnst的发信/剖析的一示例性语法表格
[0209][0210]
在另一次实施例中，该检查不限于isp模式。将原因描述如下。当isp被应用时，一个亮度cb被分割为多个tb(例如4tb)，而且至少一个有效系数(significant coefficient)被包含在一tb内(包含有效系数的tb可以是此cu内的任一个或多个tb)。语法表格的例子显示如下。
[0211]
表格21a.依据本发明的一实施例用于lfnst的发信/剖析的一示例性语法表格
[0212][0213]
表格21b.依据本发明的一实施例用于lfnst的发信/剖析的一示例性语法表格
[0214][0215][0216]
表格21c.依据本发明的一实施例用于lfnst的发信/剖析的一示例性语法表格
[0217][0218]
在上面的表格20与21a-c中，lfnstnottsflag是一个旗标，其中如果lfnstnottsflag等于1，lfnst模式可以被应用(假设lfnst的其他致能条件为满足。)否则，(即lfnstnottsflag等于0)，lfnst模式无法被应用(即，lfnst语法被推论为失能)。
[0219]
在另一次实施例中，此检查进行于亮度双树。
[0220]
在一实施例中，当lfnst索引＞0(即，正在进行lfnst)时，lfnst被应用于一分割树中的第一可用分量。lfnst不被应用于其他分量。
[0221]
在一次实施例中，第一可用分量是包含cbf的第一分量。例如，对双树色度，如果cb包含有效系数，第一可用分量为cb；否则，如果cb cbf＝0而且cr包含有效系数，第一可用分量是cr；否则，如果cb与cr没有包含有效系数，lfnst不被应用(即，lfnst索引被推论为0而
不发信)。以另一例子，对单一树，lfnst被应用于亮度。在这种情况下，如果亮度包含有效系数，第一可用分量为亮度；否则，lfnst不被应用。
[0222]
在另一实施例中，当jccr模式被致能时，一单一的联合色度残差块(表格7中的resjointc[x][y])会被发信/剖析，因此lfnst可以被应用于该单一块(即，lfnst影响cb与cr二者)。
[0223]
在另一实施例中，lfnst被发信/剖析在第一可用tb处。
[0224]
在一个次实施例中，第一可用tb是包含cbf的第一tb。例如，对双树色度，如果cb包含有效系数，第一可用tb是cb；否则，如果cb cbf＝0而且cr包含有效系数，第一可用tb是cr；否则，如果cb与cr不包含有效系数，lfnst不被应用(即，lfnst索引被推论为0而不发信)。以另一例子，lfnst被应用于亮度。对单一树，如果亮度包含有效系数，第一可用分量是亮度；否则，第一个可用分量是亮度。否则，lfnst不被发信/剖析。
[0225]
在另一次实施例中，当色度残差的联合编解码(jccr)被应用时，对双树色度，第一可用tb是色度tb，其残差被用于推导出其他色度分量的残差。lfnst可以被视为应用于两个色度分量。例如，对双树色度，如果tu_cbf_cb[x0][y0]＞0而且tu_cbf_cr[x0][y0]＝0(cr的残差推导自cb，而且cb的残差相关信息被发信)，第一可用tb是cb。以另一例子，对双树色度，如果tu_cblcb[x0][y0]＝0而且tu_cbf_cr[x0][y0]＞0(cb的残差是从cr推导出而且cr的残差相关信息被发信)，第一可用tb是cr。以另一例子，对双树色度，如果tu_cbf_cb[x0][y0]＞0而且tu_cbf_cr[x0][y0]＞0(cr的残差是从cb推导出而且cb的残差相关信息被发信)，第一可用tb是cb。
[0226]
在另一次实施例中，lfnst索引在第一可用tb的结尾处被发信/剖析。例如，在剖析该tb中每个次块(编解码群或4x4次块)的残差之后，lfnst索引被剖析。
[0227]
在另一次实施例中，在发信/剖析该tb的有效旗标之后，lfnst索引被发信/剖析。用于lfnst的发信/剖析条件(例如lfnstdconlyflag或lfnstzerooutsigcoeffflag)仅取决于第一可用tb的信息。
[0228]
在另一实施例中，对单一树，lfnst仅被应用于亮度。当亮度不能应用lfnst(例如没有包含cbf的亮度)时，即使色度可用于发信/剖析lfnst(例如，包含cbf的色度或用于色度的jccr)，lfnst索引不被发信/剖析。
[0229]
当一tb没有cbf时，不需要转换程序。然而，在这种情况下转换跳过(ts)旗标可能等于1。例如，对一bdpcm块，转换跳过旗标被推论为1。然而，此bdpcm块可能不包含cbf。当考虑lfnst发信/剖析时，不带cbf的tb被视为ts块而且由于lfnst不被允许用于一ts块，lfnst索引无法被发信/剖析。一些方法被提出来防止无预期的情况。
[0230]
在一实施例中，当考虑发信/剖析一lfnst索引时，编解码块旗标(cbf)指示被用于防止不允许lfnst于包含一或多个tb的cu，其中所述一或多个tb具有一或多个不等于0的ts旗标但是实际上未以ts程序来进行。首先，用于当前cu的一编解码块旗标(cbf)指示被检查。当前cu的cbf指示被表示为cu_coded_flag(或cu_cbf)。
[0231]
cu_coded_flag等于1指明transform_tree()语法结构存在于当前编解码单元。cu_coded_flag等于0指明transform_tree()语法结构不存在于当前编解码单元。当cu_coded_flag不存在时，其可以被推论如下：
[0232]
如果cu_skip_flag[x0][y0]等于1或pred_mode_plt_flag等于1，cu_coded_flag
被推论等于0。
[0233]
否则，cu_coded_flag被推论等于1。
[0234]
如果用于当前cu的cbf指示为真，需要对用一或多个目标tb的一或多个指示进行以下检查；否则，lfnst语法被推论为失能。
[0235]
在一实施例中，当考虑发信/剖析一lfnst索引时，除了检查用于当前cu的cbf指示之外，tu_cbf也被检查。因此，对具有ts旗标等于1的一tb，如果此tb不包含cbf，其不会被视为用于lfsnt发信/剖析的一ts块。lfnstnottsflag被更新如下：
[0236]
lfnstnottsflag＝(treetype＝＝dual_tree_chroma||(transform_skip_flag[x0][y0][0]＝＝0||！tu_cbf_luma[x0][y0]))&&(treetype＝＝dual_tree_luma||((transform_skip_flag[x0][y0][1]＝＝0||！tu_cbf_cb[x0][y0])&&(transform_skip_flag[x0][y0][2]＝＝0||！tu_cbf_cr[x0][y0])))
[0237]
上面所示的lfnstnottsflag的推导是基于两个因子中的至少一个：ts模式指示为假而且cbf指示为假。如果每一目标tb至少满足因子1与因子2之一，lfnst模式被允许用于当前cu。允许lfnst模式用于当前cu表示如果lfnst的其他致能条件被满足时，lfnst语法会被发信号/剖析以指示出当lfnst模式被应用时，lfnst模式是否被应用于当前cu与/或哪一个lfnst核心被应用。ts模式指示取决于转换跳过(ts)旗标。cbf指示取决用于一目标tb的编解码块旗标(cbf)。y、cb与cr的cbf可以通过tu_y_coded_flag(或tu_cbf_luma)、tu_cb_coded_flag(或tu_cbf_cb)与tu_cr_coded_flag(或tu_cbf_cr)加以表示。
[0238]
tu_cb_coded_flag[x0][y0]等于1指明cb转换块包含一或多个不等于0的转换系数水平(level)。阵列索引x0与y0指明指明相对于画面左上方亮度样本的所考虑的转换块的左上方亮度样本的位置(x0，y0)。
[0239]
当tu_cb_coded_flag[x0][y0]不存在时，其数值被推论等于0。
[0240]
tu_cr_coded_flag[x0][y0]等于1指明cr转换块包含一或多个不等于0的转换系数水平。阵列索引x0，y0指明相对于画面左上方亮度样本的所考虑的转换块的左上方亮度样本的位置(x0，y0)。
[0241]
当tu_cr_coded_flag[x0][y0]不存在时，其数值被推论等于0。
[0242]
tu_y_coded_flag[x0][y0]等于1指明亮度转换块包含一或多个不等于0的转换系数水平。阵列索引x0，y0指明相对于画面左上方亮度样本的所考虑的转换块的左上方亮度样本的位置(x0，y0)。
[0243]
当tu_y_coded_flag[x0][y0]不存在而且treetype不等于dual_tree_chroma时，其数值被推论如下：
[0244]-如果cu_sbt_flag等于1，而且以下条件之一为真时，tu_y_coded_flag[x0][y0]被推论等于0：
[0245]-subtuindex等于0，cu_sbt_pos_flag等于1；
[0246]-subtuindex等于1，而且cu_sbt_pos_flag等于0。
[0247]-否则，tu_y_coded_flag[x0][y0]被推论等于1。
[0248]
例如，在一亮度分割树中：
[0249]-如果用于一目标亮度tb的ts旗标等于0，lfnstnottsflag被设定为1。
[0250]-如果目标亮度tb不包含有效的编解码数据(cbf指示等于假)，lfnstnottsflag被
设定为1。
[0251]-其他：lfnstnottsflag被设定为0。
[0252]
于另一例子中，在一色度分割树中：
[0253]-如果所有目标cb与cr tb的ts旗标都等于0，lfnstnottsflag被设定为1。
[0254]-如果“所有目标tb都不包含有效的编解码数据”，lfnstnottsflag被设定为1。
[0255]-如果“每个ts目标tb(ts目标tb＝具有ts旗标不等于0的目标tb)不包含有效的编解码数据”，lfnstnottsflag被设定为1。
[0256]-其他：lfnstnottsflag被设定为0。
[0257]
于另一例子中，在一单一分割树中：
[0258]-如果所有目标亮度、cb、和cr tb的ts旗标都等于0，lfnstnottsflag被设定为1。
[0259]-如果“所有目标tb都不包含有效的编解码数据”，lfnstnottsflag被设定为1。
[0260]-如果“每个ts目标tb(ts目标tb＝具有ts旗标不等于0的目标tb)不包含有效的编解码数据”，lfnstnottsflag被设定为1。
[0261]-否则，将lfnstnottsflag被设定为0。
[0262]
在一实施例中，目标tb相对应于具有不等于0的转换跳过(ts)旗标的一或多个tb。
[0263]
在一实施例中，在一亮度分割树中，当前cu相对应于一亮度编解码块，而且所述一或多个目标tb相对应于一或多个亮度tb。在另一实施例中，在一色度分割树中，当前cu相对应于一或多个色度编解码块，而且所述一或多个目标tb相对应于一或多个色度tb。例如，色度编解码块是cb与cr编解码块，而且色度tb是cb与cr tb。在又一实施例中，在单一分割树中，当前cu相对应于一个亮度编解码块以及一或多个色度编解码块，而且所述一或多个目标tb相对应于一或多个亮度tb以及一或多个色度tb。例如，色度编解码块是cb与cr编解码块，而且色度tb是cb与cr tb。
[0264]
在一实施例中，目标tb相对应于当前cu中用于的每一编解码块的一预先定义的tb。例如，该预先定义的tb相对应于当前cu中用于的每一编解码块的第一tb。第一tb的位置可以是所考虑的转换块的左上方亮度样本的位置。第一tb的位置可以是相对应于画面的左上亮度样本所考虑的编解码块(当前cu中所考虑的cb)的左上方亮度样本的位置。
[0265]
在一实施例中，如果用于目标tb的所有cbf指示都为假，lfnst模式被允许用于当前cu(与ts检查无关)。在另一实施例中，如果具有不等于0的转换跳过(ts)旗标的lfnst模式被允许用于当前cu。在又一实施例中，如果具有不等于0的变换跳过(ts)旗标的目标tb的cbf指示中的任何一个为真，lfnst模式不被允许用于当前cu。
[0266]
在另一实施例中，当块不包含cbf(cbf等于假)时，ts旗标将不为1。例如，如果一bdpcm块不具有cbf，其ts旗标将不被推论为1。依据本发明的一实施例，以下显示出修改后的语义的一例子。
[0267]
当transform_skip_flag[x0][y0][cidx]不存在时，可以如下加以推论：
[0268]-如果bdpcmflag[x0][y0][cidx]等于1，
[0269]
transform_skip_flag[x0][y0][cidx]被推论如下
[0270]-如果cidx＝0且tu_cbf_luma[x0][y0]＝1，transform_skip_flag[x0][y0][cidx]被推论等于1。
[0271]-否则，如果cidx＝1且tu_cbf_cb[x0][y0]＝1，transform_skip_flag[x0][y0]
[cidx]被推论等于1。
[0272]-否则，如果cidx＝1且tu_cbf_cr[x0][y0]＝1，transform_skip_flag[x0][y0][cidx]被推论等于1。
[0273]-否则，将transform_skip_flag[x0][y0][cidx]被推论等于0。
[0274]
在另一实施例中，当某些情况下色度lfnst被失能时，lfnstzerooutsigcoeffflag(其在剖析一个cu中的每一tb之前被初始化为1，且如果该cu中的任何tb具有任何有效系数(或最后有效系数(last significant coefficient))位在lfnst归零区域(zero-out region)时，则lfnstzerooutsigcoeffflag被改变为0)不会被更新于非-lfnst(no-lfnst)tb中。例如，色度lfnst在一单一树中为失能的。然后，非-lfnst tb包括用于一单一树的色度tb。在语法表格中相对应改变的一例子显示如下。
[0275]
表格22.依据本发明的一实施例用于lfnst的发信/剖析的一示例性语法表格
[0276][0277][0278]
在另一例子中，色度lfnst被失能，并且非-lfnst tb包括色度tb。在语法表格中相对应改变的一例子显示如下。
[0279]
表格23.依据本发明的一实施例用于lfnst的发信/剖析的一示例性语法表格
[0280]
[0281]
基于表格15(这指当编解码亮度tu时，只检查亮度transform_skip_flag(例如，不是用于dual_tree_chroma)，而且编解码色度tu时，只检查色度transform_skip_flag(例如，不是用于dual_tree_luma))，在某些情况下色度lfnst被失能。例如，在一单一树中，色度lfnst为失能的。所提议语法表格的一例子显示如下。
[0282]
表格24.依据本发明的一实施例用于lfnst的发信/剖析的一示例性语法表格
[0283][0284]
基于表格16所提议语法表格的一例子也表示如下。
[0285]
表格25.依据本发明的一实施例用于lfnst的发信/剖析的一示例性语法表格
[0286][0287]
在另一例子中，色度lfnst为失能的。所提议语法表格显示如下。所提议语法表格的一例子显示如下。
[0288]
表格26.依据本发明的一实施例用于lfnst的发信/剖析的一示例性语法表格
[0289][0290]
在vvc草稿7中，lfnst与mts索引被编码于cu的末尾，这引进了延迟(latency)和缓冲(buffer)的问题，一解码器在接收mts与lfnst索引之前需要缓冲所有三个颜色分量的所有系数。为了减少延迟和缓冲的问题，提议发送mts与/或lfnst致能旗标或索引(例如，0表示失能，1和2表示致能。1和2表示使用不同的主要转换或不同的lfnst矩阵)在一cu中第一个tb的末端或第一颜色分量的一或多个tb的末端，或是在一cu中的第一非-零tb(和非-转换跳过tb)的末端或在第一颜色分量的一或多个tb(和非-转换跳过tb)的末端。
[0291]
在另一实施例中，提议在一cu中的第一非-零tb(和非-转换跳过tb)的末端或是第一颜色分量的一或多个tb的末端(以及非-转换跳过tb)来传送mts与/或lfnst致能旗标或索引。在一个例子中，它只能被应用于单一树。在一单一树中，lfnst和mts索引是在亮度tb之后(或在色度tb之前)被发信/剖析。如果单一树和isp被应用，lfnst和mts索引是在最后亮度tb之后(或在色度tb之前)被发信/剖析。例如，subtuindex可以被使用。当subtuindex等于numintrasubpartitions-1时，当前tb是亮度tb，而且当前树类型是单一树，mts与lfnst索引被发信/剖析(如果满足一或多个条件)。
[0292]
在另一实施例中，提议在以下位置发送mts与/或lfnst致能旗标或索引：在单一树情况下，在一cu中一或多个亮度tb的末端(或在色度tb之前)；而在亮度双树中，mts与/或lfnst索引在一cu中的一或多个亮度tb的末端(或在cu的末端)加以发信/剖析；而在色度双树中，mts与/或lfnst索引是在一cu中的cr tb的末端之后(或在cu的末端)加以发信/剖析。如果单一树和isp被应用，lfnst和mts索引是在最后亮度tb之后(或在色度tb之前)被发信/剖析。例如，subtuindex可以被使用。当subtuindex等于numintrasubpartitions-1时，当前tb是亮度tb，而且当前树类型是单一树，mts与lfnst索引被发信/剖析(如果满足一或多个条件)。
[0293]
在另一实施例中，当使用isp模式时，mts与/或lfnst致能旗标或索引被发信/剖析于第一tb(例如，在第一tb的末端)。所提议的方法只能被应用于单一树(例如，在亮度双树或色度双树中，仍在cu的末端对mts与/或lfnst加以发信/剖析)。
[0294]
在上述方法中，mts索引可以于lfnst索引之后再加以发信/剖析。如果lfnst被使用(例如lfnst索引不为0)，mts索引被推论为0。在另一实施例中，lfnst可以在mts索引发信/剖析之后再被发信/剖析。如果mts被使用(例如mts索引不为0)，lfnst索引被推论为0。
[0295]
以上提出的任何方法可以加以结合。
[0296]
以上的任何变异可以用块宽度或块高度或块面积隐性地加以决定，或通过发信/剖析于cu、ctu、切片、方块(tile)、方块群组(tile group)、sps、pps、或画面层级的一旗标显性地加以决定。在此发明中的“块(block)”可以指tu/tb/cu/cb/pu/pb。
[0297]
以上提出的任何方法可以在编码器与/或解码器中加以施行实作。例如，所提出的任何方法可以在一编码器的一帧间/帧内/转换编解码模组、一运动补偿模组、一解码器的一合并候选推导模组中加以施行实作。所提出的任何方法也可以备选式地施行实作为一电路而耦合至一编码器的帧间/帧内/转换编解码模组、与/或运动补偿模组、解码器的一合并候选推导模组中。
[0298]
体现本发明一实施例的解码程序可以基于上面描述的揭示而加以理解。对用于体现lfnst的一系统的解码程序，输入数据是包括被解码的cu的编解码数据。然后解码程序基于编解码数据来检查cbf指示。依据检查结果对一lfnst语法加以分析。然后，依据lfnst语法对cu加以解码。图3依据本发明的一实施例绘示体现lfnst(低频非可分离转换)剖析的一示例性解码系统的一流程图。流程图中所示的步骤可被实作为在编码器侧的一或多个处理器(例如，一或多个cpu)上可执行的程式码。流程图中所示的步骤也可以基于诸如被安排来进行流程图中的步骤的例如一或多个电子装置或处理器的硬体来加以实作。
[0299]
如图3所示，在步骤310中接收关于当前画面中当前编解码单元(cu)的输入数据，其中该当前cu被分割为一或多个转换块(tb)，而且该输入数据相对应于该当前cu的编解码数据。在步骤320中，基于该编解码数据检查一或多个编解码块旗标(cbf)指示以用于一或多个目标tb。在步骤330中，如果一或多个条件满足时，lfnst语法被剖析，其中该lfnst语法指示出该lfnst模式是否被应用于该当前cu中，与/或当该lfnst模式被应用时，哪一个lfnst核心被应用，以及该一或多个条件包括用于该一或多个目标tb为假。在步骤340中，依据通过该lfnst语法所指示出的该lfnst模式来解码该当前cu。
[0300]
体现本发明实施例的编码程序可以基于上面描述的揭示而加以理解。对体现lfnst的系统的编码程序，用于lfnst的输入数据是主要转换后数据。然后，编码程序将基于lfnst核心来应用lfnst以推导出暂时输出数据。例如，如果检查通过，lfnst语法被发信。在另一例子中，如果检查未通过(而且ts检查也未通过)，lfnst语法被强制为零。lfnst语法被决定并依据检查结果被发信。然后依据所决定的lfnst语法对当前cu加以编码。
[0301]
图4依据本发明的实施例绘示体现lfnst(低频非可分离转换)剖析的示例性编码系统的流程图。如图4所示，在步骤410中，关于当前画面中当前编解码单元(cu)的输入数据被接收，其中该当前cu被分割为一或多个转换块(tb)，而且该输入数据相对应于主要转换后数据。在步骤420中，基于lfnst核心来应用低频非可分离转换程序以推导暂时输出数据。在步骤430中，如果一或多个条件满足时，lfnst语法被决定并被发信，其中该lfnst语法指示出该lfnst模式是否被应用于该当前cu中，与/或当该lfnst模式被应用时，哪一个lfnst核心被应用，以及该一或多个条件包括用于一或多个目标转换块(tb)的一或多个编解码块旗标(cbf)指示为假。在步骤440中，依据通过所决定的该lfnst语法所指示出的该lfnst模式来编码该当前cu。
[0302]
所示的流程图用于示出根据本发明的视频编码/解码的示例。在不脱离本发明的精神的情况下，所属领域中具有习知技术者可以修改每个步骤、重组这些步骤、将一个步骤进行分离或者组合这些步骤而实施本发明。在本揭示中，具体的语法和语义已被使用以示
出实现本发明实施例的示例。在不脱离本发明的精神的情况下，透过用等同的语法和语义来替换该语法和语义，具有习知技术者可以实施本发明。
[0303]
上述说明，使得所属领域中具有习知技术者能够在特定应用程式的内容及其需求中实施本发明。对所属领域中具有习知技术者来说，所描述的实施例的各种变形将是显而易见的，并且本文定义的一般原则可以应用于其他实施例中。因此，本发明不限于所示和描述的特定实施例，而是将被赋予与本文所公开的原理和新颖特征相一致的最大范围。在上述详细说明中，说明了各种具体细节，以便透彻理解本发明。尽管如此，将被本领域的具有习知技术者理解的是，本发明能够被实践。
[0304]
如上所述的本发明的实施例可以在各种硬体、软体代码或两者的结合中实现。例如，本发明的实施例可以是集成在视频压缩晶片内的电路，或者是集成到视频压缩软体中的程式码，以执行本文所述的处理。本发明的一个实施例也可以是在数位讯号处理器(digital signal processor，dsp)上执行的程式码，以执行本文所描述的处理。本发明还可以包括由电脑处理器、数位讯号处理器、微处理器或现场可程式设计闸阵列(field programmable gate array，fpga)所执行的若干函数。根据本发明，透过执行定义了本发明所实施的特定方法的机器可读软体代码或者固件代码，这些处理器可以被配置为执行特定任务。软体代码或固件代码可以由不同的程式设计语言和不同的格式或样式开发。软体代码也可以编译为不同的目标平台。然而，执行本发明的任务的不同的代码格式、软体代码的样式和语言以及其他形式的配置代码，不会背离本发明的精神和范围。以上所描述本发明的实施例可以于一视频编码器和一视频解码器中加以施行实作。视频编码器和视频解码器的组件可以由硬体组件、一个或复数个处理器被配置为执行存储在存储器中的程式指令、或硬体和处理器的组合来实现。例如，处理器执行程式指令以控制与一视频序列(包括一当前画面中的一当前块)相关联的输入数据的接收。处理器配备有单个或复数个处理核心。在一些例子中，处理器执行程式指令以在编码器和解码器中的一些组件中执行功能，并且与处理器电耦合的存储器用于存储程式指令，对应于块的已重构影像的信息与/或编码或解码过程中的中间数据。在一些实施例中的存储器包括非暂时性计算机可读介质，诸如半导体或固态存储器，随机存取存储器(ram)，只读存储器(rom)，硬碟，光碟或其他合适的存储介质。存储器还可以是上面列出的两个或更复数个非暂时性计算机可读介质的组合。
[0305]
本发明可以以不脱离其精神或本质特征的其他具体形式来实施。所描述的例子在所有方面仅是说明性的，而非限制性的。因此，本发明的范围由附加的权利要求来表示，而不是前述的描述来表示。权利要求的含义以及相同范围内的所有变化都应纳入其范围内。