视频编解码器中用信号通知的方法与流程

技术特征：
1.一种编码器，可操作以将视频帧的块编码到比特流上，所述编码器包括：帧内预测模块，可操作以根据多个帧内预测模式中的选择的帧内预测模式参考所述帧中的一个或多个其他块来预测所述块，所述多个帧内预测模式包括多个方向模式，以参考所述一个或多个其他块形成残差信息；和变换模块，可操作以将矩阵变换应用于所述残差信息，所述矩阵变换由主变换矩阵和二次变换矩阵管制，其中，基于被编码的所述块的特性，从变换矩阵列表中选择所述二次变换矩阵。2.根据权利要求1所述的编码器，其中，所述变换模块可操作以基于要编码的所述块的特性确定候选二次变换矩阵的集合，并且然后基于性能标准从所述候选二次变换矩阵的集合中选择所述二次变换矩阵。3.根据权利要求2所述的编码器，其中，所述变换模块可操作以确定候选数量，所述候选数量确定在所述候选二次变换矩阵的集合中要确定多少个候选二次变换矩阵，所述候选数量是基于被编码的所述块的特性确定的。4.根据权利要求2或权利要求3所述的编码器，其中，所述性能标准是压缩效率。5.根据前述权利要求中任一项所述的编码器，其中，所述特性包括所述块是包括色度数据还是亮度数据。6.根据前述权利要求中任一项所述的编码器，其中，所述特性包括被包含在所述块中的非零系数的数量。7.根据前述权利要求中任一项所述的编码器，其中，所述特性包括在所述块的指定部分内的非零系数的数量。8.根据前述权利要求中任一项所述的编码器，其中，所述特性包括所述块的尺寸特性。9.根据权利要求8所述的编码器，其中，所述尺寸特性包括所述块的高度或宽度中的至少一个。10.根据权利要求8或权利要求9所述的编码器，其中，所述尺寸特性包括所述块的高度与宽度的比率。11.根据前述权利要求中任一项所述的编码器，其中，所述变换模块可操作以基于所述主变换矩阵的选择来选择所述二次变换矩阵。12.根据权利要求11所述的编码器，其中，所述变换模块可操作以根据是预定字符的所述主变换矩阵来选择不应用二次变换。13.根据权利要求12所述的编码器，其中，所述主变换的所述预定字符包括它被推导为在水平方向和垂直方向上使用的离散余弦变换的整数近似。14.根据权利要求13所述的编码器，其中，所述离散余弦变换是dct2。15.根据前述权利要求中任一项所述的编码器，其中，所述变换模块可操作以根据被包含在块内或所述块的指定部分内的非零系数的数量来选择要应用或不应用二次变换。16.根据前述权利要求中任一项所述的编码器，其中，所述二次变换矩阵是基于应用于所述残差信息中的一个或多个的计算操作来选择的。17.根据权利要求16所述的编码器，其中，所述计算操作是应用于所述残差信息中的一个或多个的模操作。18.根据权利要求17所述的编码器，其中，所述模操作被应用于所述残差信息中的一个
或多个预定残差信息。19.一种将视频帧的块编码到比特流上的方法，所述方法包括：根据多个帧内预测模式中的选择的帧内预测模式参考所述帧中的一个或多个其他块来对所述块进行编码，所述多个帧内预测模式包括多个方向模式，以参考所述一个或多个其他块形成残差信息；和将矩阵变换应用于所述残差信息，所述矩阵变换由主变换矩阵和二次变换矩阵管制，其中，基于被编码的所述块的特性，从变换矩阵列表中选择所述二次变换矩阵。20.根据权利要求18所述的方法，包括基于要编码的所述块的特性确定候选二次变换矩阵的集合，并且然后基于性能标准从所述候选二次变换矩阵的集合中选择所述二次变换矩阵。21.根据权利要求20所述的方法，包括确定候选数量，所述候选数量确立在所述候选二次变换矩阵的集合中要确定多少个候选二次变换矩阵，所述候选数量是基于被编码的所述块的特性确定的。22.根据权利要求20或权利要求21所述的方法，其中，所述性能标准是压缩效率。23.根据权利要求19至22中任一项所述的方法，其中，所述特性包括所述块是包括色度数据还是亮度数据。24.根据权利要求19至23中任一项所述的方法，其中，所述特性包括被包含在所述块中的非零系数的数量。25.根据权利要求19至24中任一项所述的方法，其中，所述特性包括在所述块的指定部分内的非零系数的数量。26.根据权利要求19至25中任一项所述的方法，其中，所述特性包括所述块的尺寸特性。27.根据权利要求26所述的方法，其中，所述尺寸特性包括所述块的高度或宽度中的至少一个。28.根据权利要求26或权利要求27所述的方法，其中，所述尺寸特性包括所述块的高度与宽度的比率。29.根据权利要求19至28中任一项所述的方法，包括基于所述主变换矩阵的选择来选择所述二次变换矩阵。30.根据权利要求29所述的方法，包括根据是预定字符的所述主变换矩阵来选择不应用二次变换。31.根据权利要求30所述的方法，其中，所述主变换的所述预定字符包括它被推导为在水平方向和垂直方向上使用的离散余弦变换的整数近似。32.根据权利要求31所述的方法，其中，所述离散余弦变换是dct2。33.根据权利要求19至32中任一项所述的方法，包括根据被包含在块内或所述块的指定部分内的非零系数的数量来确定是否应用二次变换。34.根据权利要求19至33中任一项所述的方法，其中，所述二次变换矩阵是基于应用于所述残差信息中的一个或多个的计算操作来选择的。35.根据权利要求34所述的方法，其中，所述计算操作是应用于所述残差信息中的一个或多个的模操作。
36.根据权利要求35所述的方法，其中，所述模操作被应用于所述残差信息中的一个或多个预定残差信息。37.一种计算机可读介质，包括计算机可执行指令，所述计算机可执行指令当在计算机上执行时，使该计算机被配置成执行根据权利要求19至36中任一项所述的方法。38.一种由根据权利要求19至36中任一项所述的方法编码的数据集。39.一种存储根据权利要求38所述的数据集的存储介质。40.一种承载计算机可执行指令的信号，所述计算机可执行指令当在计算机上执行时，使该计算机被配置成执行根据权利要求19至36中任一项所述的方法。41.一种承载根据权利要求38所述的数据集的信号。42.一种用于对表示视频帧的块的被编码的比特流进行解码的解码器，所述解码器包括：逆变换模块，可操作以将逆矩阵变换应用于变换后的残差信息，以提取未变换的残差信息，所述矩阵变换由逆二次变换矩阵和逆主变换矩阵管制，其中，所述逆二次变换矩阵是基于被解码的所述块的特性从变换矩阵列表中选择的；和帧内预测模块，用于根据帧内预测模式计算所述块的预测，并通过将逆变换后的残差数据与所述预测组合来重构所述块。43.根据权利要求42所述的解码器，其中，所述逆变换模块可操作以基于要解码的所述块的特性确定候选逆二次变换矩阵的集合，并且然后基于在所述比特流上接收到的信号从所述候选变换矩阵的集合中选择所述逆二次变换矩阵。44.根据权利要求42所述的解码器，其中，所述逆变换模块可操作以确定候选数量，所述候选数量确定在所述候选二次变换矩阵的集合中要确定多少个候选逆二次变换矩阵，所述候选数量是基于被解码的所述块的特性确定的。45.根据权利要求42所述的解码器，其中，所述逆变换模块可操作以基于从被解码的所述块的特性的推断来确定所述逆二次变换矩阵。46.根据权利要求42至45中任一项所述的解码器，其中，所述特性包括所述块是包括色度数据还是亮度数据。47.根据权利要求42至46中任一项所述的解码器，其中，所述特性包括被包含在所述块中的非零系数的数量。48.根据权利要求42至47中任一项所述的解码器，其中，所述特性包括在所述块的指定部分内的非零系数的数量。49.根据权利要求42至48中任一项所述的解码器，其中，所述逆二次变换矩阵是基于应用于所述残差信息中的一个或多个的计算操作来选择的。50.根据权利要求49所述的解码器，其中，所述计算操作是应用于所述残差信息中的一个或多个的模操作。51.根据权利要求50所述的解码器，其中，所述模操作被应用于所述残差信息中的一个或多个预定残差信息。52.根据权利要求42至51中任一项所述的解码器，其中，所述特性包括所述块的尺寸特性。53.根据权利要求52所述的解码器，其中，所述尺寸特性包括所述块的高度或宽度中的
至少一个。54.根据权利要求52或权利要求53所述的解码器，其中，所述尺寸特性包括所述块的高度与宽度的比率。55.根据权利要求42至54中任一项所述的解码器，其中，所述变换模块可操作以基于所述主变换矩阵的选择来选择所述二次变换矩阵。56.根据权利要求51所述的解码器，其中，所述变换模块可操作以根据是预定字符的所述主变换矩阵不应用二次变换。57.根据权利要求56所述的解码器，其中，所述主变换的所述预定字符包括它被推导为在水平方向和垂直方向上使用的离散余弦变换的整数近似。58.根据权利要求57所述的解码器，其中，所述离散余弦变换是dct2。59.根据权利要求44至58中任一项所述的解码器，包括根据被包含在块内或所述块的指定部分内的非零系数的数量来确定是否应用逆二次变换。60.一种对视频帧的块的被编码的变换后的残差信息进行解码的方法，所述方法包括：应用逆二次变换和逆主变换对所述残差信息进行逆变换，以提取未变换的残差信息，其中，所述逆二次变换是基于逆二次变换矩阵计算的，其中，所述逆二次变换矩阵是基于被解码的所述块的特性从变换矩阵列表中选择的；和根据帧内预测模式计算所述当前块的预测；和通过将逆变换后的残差数据与所述预测组合来重构所述块。61.根据权利要求60所述的方法，其中，所述逆变换模块可操作以基于要解码的所述块的特性确定候选逆二次变换矩阵的集合，并且然后基于在所述比特流上接收到的信号从所述候选变换矩阵的集合中选择所述逆二次变换矩阵。62.根据权利要求61所述的方法，其中，所述逆变换模块可操作以确定候选数量，所述候选数量确定在所述候选二次变换矩阵的集合中要确定多少个候选逆二次变换矩阵，所述候选数量是基于被解码的所述块的特性确定的。63.根据权利要求62所述的方法，其中，所述逆变换模块可操作以基于从被解码的所述块的特性的推断来确定所述逆二次变换矩阵。64.根据权利要求60至63中任一项所述的方法，其中，所述特性包括所述块是包括色度数据还是亮度数据。65.根据权利要求60至64中任一项所述的方法，其中，所述特性包括被包含在所述块中的非零系数的数量。66.根据权利要求60至65中任一项所述的方法，其中，所述特性包括在所述块的指定部分内的非零系数的数量。67.根据权利要求60至66中任一项所述的方法，其中，所述逆二次变换矩阵是基于应用于所述残差信息中的一个或多个的计算操作来选择的。68.根据权利要求67所述的方法，其中，所述计算操作是应用于所述残差信息中的一个或多个的模操作。69.根据权利要求68所述的方法，其中，所述模操作被应用于所述残差信息中的一个或多个预定残差信息。70.根据权利要求60至69中任一项所述的方法，其中，所述特性包括所述块的尺寸特
性。71.根据权利要求70所述的方法，其中，所述尺寸特性包括所述块的高度或宽度中的至少一个。72.根据权利要求70或权利要求71所述的方法，其中，所述尺寸特性包括所述块的高度与宽度的比率。73.根据权利要求60至72中任一项所述的方法，其中，所述变换模块可操作以基于所述主变换矩阵的选择来选择所述二次变换矩阵。74.根据权利要求73所述的方法，其中，所述变换模块可操作以根据是预定字符的所述主变换矩阵不应用二次变换。75.根据权利要求74所述的方法，其中，所述主变换的所述预定字符包括它被推导为在水平方向和垂直方向上使用的离散余弦变换的整数近似。76.根据权利要求75所述的方法，其中，所述离散余弦变换是dct2。77.根据权利要求60至76中任一项所述的方法，包括根据被包含在块内或所述块的指定部分内的非零系数的数量来确定是否应用逆二次变换。78.一种计算机可读介质，包括计算机可执行指令，所述计算机可执行指令当在计算机上执行时，使该计算机被配置成执行根据权利要求60至77中任一项所述的方法。79.一种承载计算机可执行指令的信号，所述计算机可执行指令当在计算机上执行时，使该计算机被配置成执行根据权利要求60至77中任一项所述的方法。

技术总结
视频编解码器中视频数据的编码涉及残差的变换。这可以由主变换和二次变换组成。二次变换的选择是通过考虑要编码的块的特性来实现的。可以向解码器用信号通知二次变换的选择，或在解码器中推断。或在解码器中推断。


技术研发人员：萨韦里奥
受保护的技术使用者：英国广播公司
技术研发日：2020.04.21
技术公布日：2022/2/6