视频译码中的矩阵帧内预测参数的信令的制作方法

技术特征：
1.一种对视频数据进行解码的方法，所述方法包括：获得包括使用编解码器来编码的所述视频数据的经编码表示的比特流；确定用于所述视频数据的图片的多个可用矩阵帧内预测(mip)参数集(mps)，其中：所述多个可用mps是以下各项的并集：(i)所有默认mps的子集、以及(ii)在所述比特流中用信号通知的额外mps的集合，所述默认mps中的每个默认mps与所述编解码器中的预定义mip模式相关联，并且所述额外mps的集合中的每个额外mps与新mip模式的集合中的新mip模式相关联；使用与所述多个可用mps中的mps相关联的mip模式来生成用于所述图片的当前块的预测块；以及基于用于所述当前块的所述预测块和用于所述当前块的残差数据来重构所述当前块。2.根据权利要求1所述的方法，其中：所述多个可用mps包括用于多个类别中的每个类别的至少一个mps，以及所述多个类别中的每个类别对应于不同的块大小集合。3.根据权利要求1所述的方法，其中：所述mip模式在所述新mip模式的集合中并且是显式mip(e-mip)模式，所述比特流中的语法元素指示所述mip模式是相对于已经指定的mip模式来指定的还是所述mip模式是独立地指定的，以及所述方法还包括：基于所述语法元素指示所述mip模式是相对于所述已经指定的模式来指定的，使用一种或多种mip模式的参数来推导所述mip模式的参数。4.根据权利要求1所述的方法，其中：所述mip模式在所述新mip模式的集合中并且是显式mip(e-mip)模式，所述mip模式的预测样本位置阵列(psla)是所述当前块中的与所述mip模式直接地生成预测值的位置相对应的样本位置集合，与所述mip模式相关联的所述mps包括用于所述mip模式的显式样本预测器参数子集(espps)列表，用于所述mip模式的所述espps列表是在所述比特流中用信号通知的，所述espps中的每个espps对应于所述mip模式的所述psla中的样本位置，以及使用所述mip模式来生成用于所述当前块的所述预测块包括：对于所述mip模式的所述psla中的每个样本位置，使用在与所述样本位置相对应的所述espps中包含的参数来预测用于所述样本位置的样本；以及基于用于所述mip模式的所述psla的所述样本位置的所预测的样本来对所述预测块的剩余样本进行插值。5.根据权利要求4所述的方法，其中，用于所述mip模式的所述espps在所述比特流中用信号通知为依赖于另一espps。6.根据权利要求5所述的方法，其中，所述另一espps是所述编解码器中的另一e-mip模式或特定的预定义mip模式中的一项。7.根据权利要求1所述的方法，还包括：基于在所述比特流的序列参数集(sps)中用信号通知的语法元素，来确定所述默认mps中的特定默认mps可供用于所述视频数据的引用所述sps的图片的预测。
8.根据权利要求1所述的方法，其中：所述mip模式在所述新mip模式的集合中并且是显式mip(e-mip)模式，所述比特流中的语法元素指示所述mip模式是相对于已经指定的mip模式来指定的还是所述mip模式是独立地指定的，以及所述方法还包括：基于所述语法元素指示所述e-mip模式是独立地指定的，在不使用任何其它mip模式的任何参数的情况下推导所述mip模式的参数。9.根据权利要求1所述的方法，其中：mip模式索引是在所述比特流中用信号通知的，并且用信号通知所述mip模式索引取决于mip模式列表中的mip模式数量，并且所述mip模式索引指示所述mip模式。10.根据权利要求1所述的方法，其中：用于所述mip模式的参考样本位置阵列(rsla)是在所述比特流中用信号通知的，用于所述mip模式的所述rsla指示在所述当前块的邻域中的在所述mip模式中使用的参考样本位置集合，以及使用所述mip模式来生成所述预测块包括：对于所述mip模式的预测样本位置阵列(psla)中的每个样本位置，通过将由用于所述mip模式的所述rsla指示的参考样本位置处的参考样本乘以在与所述mip模式相关联的所述mps中指定的矩阵的矩阵系数并且加上在与所述mip模式相关联的所述mps中指定的偏移值来确定预测值。11.一种使用编解码器对视频数据进行编码的方法，所述方法包括：确定用于所述视频数据的图片的多个可用矩阵帧内预测(mip)参数集(mps)，其中：所述多个可用mps是以下各项的并集：(i)所有默认mps的子集、以及(ii)在所述比特流中用信号通知的额外mps的集合，所述默认mps中的每个默认mps与所述编解码器中的预定义mip模式相关联，并且所述额外mps的集合中的每个额外mps与新mip模式相关联；在包括所述视频数据的经编码表示的比特流中用信号通知所述额外mps的集合；使用与所述多个可用mps中的mps相关联的mip模式来生成用于所述图片的当前块的预测块；以及基于用于所述当前块的所述预测块和所述当前块的样本来生成用于所述当前块的残差数据。12.根据权利要求11所述的方法，其中：所述多个可用mps包括用于多个类别中的每个类别的至少一个mps，以及所述多个类别中的每个类别对应于不同的块大小集合。13.根据权利要求11所述的方法，其中：所述mip模式在所述新mip模式的集合中并且是显式mip(e-mip)模式，所述方法还包括：使用一种或多种mip模式的参数来推导所述mip模式的参数；以及在所述比特流中用信号通知指示所述mip模式是相对于已经指定的mip模式来指定的语法元素。
14.根据权利要求11所述的方法，其中：所述mip模式在所述新mip模式的集合中，并且是显式mip(e-mip)模式，所述mip模式的预测样本位置阵列(psla)是所述当前块中的与所述mip模式直接地生成预测值的位置相对应的样本位置集合，与所述mip模式相关联的所述mps包括用于所述mip模式的显式样本预测器参数子集(espps)列表，所述方法还包括：在所述比特流中用信号通知用于所述mip模式的所述espps列表，所述espps中的每个espps对应于所述mip模式的所述psla中的样本位置，以及使用所述mip模式来生成用于所述当前块的所述预测块包括：对于所述mip模式的所述psla中的每个样本位置，使用在与所述样本位置相对应的所述espps中包含的参数来预测用于所述样本位置的样本；以及基于用于所述mip模式的所述psla的所述样本位置的所预测的样本来对所述预测块的剩余样本进行插值。15.根据权利要求14所述的方法，其中，所述方法还包括：在所述比特流中将用于所述mip模式的所述espps用信号通知为依赖于另一espps。16.根据权利要求15所述的方法，其中，所述另一espps是所述编解码器中的另一e-mip模式或特定的预定义mip模式中的一项。17.根据权利要求11所述的方法，还包括：在所述比特流的序列参数集(sps)中包括指示所述默认mps中的特定默认mps可供用于所述视频数据的引用所述sps的图片的预测的语法元素。18.根据权利要求11所述的方法，其中：所述mip模式在所述新mip模式的集合中，并且是显式mip(e-mip)模式，所述方法还包括：在不使用任何其它mip模式的任何参数的情况下推导所述mip模式的参数；以及在所述比特流中用信号通知指示所述mip模式是独立地指定的语法元素。19.根据权利要求11所述的方法，其中，所述方法还包括：用信号通知指示所述mip模式的mip模式索引，其中，用信号通知所述mip模式索引取决于mip模式列表中的mip模式数量。20.根据权利要求11所述的方法，其中：所述方法还包括：在所述比特流中用信号通知用于所述mip模式的参考样本位置阵列(rsla)，用于所述mip模式的所述rsla指示在所述当前块的邻域中的在所述mip模式中使用的参考样本位置集合，并且使用所述mip模式来生成所述预测块包括：对于所述mip模式的预测样本位置阵列(psla)中的每个样本位置，通过将由用于所述mip模式的所述rsla指示的参考样本位置处的参考样本乘以在与所述mip模式相关联的所述mps中指定的矩阵的矩阵系数并且加上在与所述mip模式相关联的所述mps中指定的偏移值来确定预测值。21.一种用于对视频数据进行解码的设备，所述设备包括：存储器，其用于存储所述视频数据；以及在电路中实现的一个或多个处理器，所述一个或多个处理器被配置为：
获得包括使用编解码器来编码的所述视频数据的经编码表示的比特流；确定用于所述视频数据的图片的多个可用矩阵帧内预测(mip)参数集(mps)，其中：所述多个可用mps是以下各项的并集：(i)所有默认mps的子集、以及(ii)在所述比特流中用信号通知的额外mps的集合，所述默认mps中的每个默认mps与所述编解码器中的预定义mip模式相关联，并且所述额外mps的集合中的每个额外mps与新mip模式的集合中的新mip模式相关联；使用与所述多个可用mps中的mps相关联的mip模式来生成用于所述图片的当前块的预测块；以及基于用于所述当前块的所述预测块和用于所述当前块的残差数据来重构所述当前块。22.根据权利要求21所述的设备，其中：所述多个可用mps包括用于多个类别中的每个类别的至少一个mps，以及所述多个类别中的每个类别对应于不同的块大小集合。23.根据权利要求21所述的设备，其中：所述mip模式在所述新mip模式的集合中，并且是显式mip(e-mip)模式，所述比特流中的语法元素指示所述mip模式是相对于已经指定的mip模式来指定的还是所述mip模式是独立地指定的，以及所述一个或多个处理器还被配置为：基于所述语法元素指示所述mip模式是相对于所述已经指定的模式来指定的，使用一种或多种mip模式的参数来推导所述mip模式的参数。24.根据权利要求21所述的设备，其中：所述mip模式在所述新mip模式的集合中并且是显式mip(e-mip)模式，所述mip模式的预测样本位置阵列(psla)是所述当前块中的与所述mip模式直接地生成预测值的位置相对应的样本位置集合，与所述mip模式相关联的所述mps包括用于所述mip模式的显式样本预测器参数子集(espps)列表，用于所述mip模式的所述espps列表是在所述比特流中用信号通知的，所述espps中的每个espps对应于所述mip模式的所述psla中的样本位置，以及所述一个或多个处理器被配置为使得：作为使用所述mip模式来生成用于所述当前块的所述预测块的一部分，所述一个或多个处理器进行以下操作：对于所述mip模式的所述psla中的每个样本位置，使用在与所述样本位置相对应的所述espps中包含的参数来预测用于所述样本位置的样本；以及基于用于所述mip模式的所述psla的所述样本位置的所预测的样本来对所述预测块的剩余样本进行插值。25.根据权利要求24所述的设备，其中，用于所述mip模式的所述espps在所述比特流中用信号通知为依赖于另一espps。26.根据权利要求25所述的设备，其中，所述另一espps是所述编解码器中的另一e-mip模式或特定的预定义mip模式中的一项。27.根据权利要求21所述的设备，其中，所述一个或多个处理器还被配置为：基于在所述比特流的序列参数集(sps)中用信号通知的语法元素，来确定所述默认mps中的特定默认mps可供用于所述视频数据的引用所述sps的图片的预测。
28.根据权利要求21所述的设备，其中：所述mip模式在所述新mip模式的集合中，并且是显式mip(e-mip)模式，所述比特流中的语法元素指示所述mip模式是相对于已经指定的mip模式来指定的还是所述mip模式是独立地指定的，以及所述一个或多个处理器还被配置为：基于所述语法元素指示所述mip模式是独立地指定的，在不使用任何其它mip模式的任何参数的情况下推导所述mip模式的参数。29.根据权利要求21所述的设备，其中：mip模式索引是在所述比特流中用信号通知的，并且用信号通知所述mip模式索引取决于mip模式列表中的mip模式数量，并且所述mip模式索引指示所述mip模式。30.根据权利要求21所述的设备，其中：用于所述mip模式的参考样本位置阵列(rsla)是在所述比特流中用信号通知的，用于所述mip模式的所述rsla指示在所述当前块的邻域中的在所述mip模式中使用的参考样本位置集合，以及所述一个或多个处理器被配置为使得：作为使用所述mip模式来生成所述预测块的一部分，所述一个或多个处理器进行以下操作：对于所述mip模式的预测样本位置阵列(psla)中的每个样本位置，通过将由用于所述mip模式的所述rsla指示的参考样本位置处的参考样本乘以在与所述mip模式相关联的所述mps中指定的矩阵的矩阵系数并且加上在与所述mip模式相关联的所述mps中指定的偏移值来确定预测值。31.根据权利要求21所述的设备，还包括：被配置为显示经解码的视频数据的显示器。32.根据权利要求21所述的设备，其中，所述设备包括相机、计算机、移动设备、广播接收器设备或机顶盒中的一者或多者。33.一种用于使用编解码器对视频数据进行编码的设备，所述设备包括：存储器，其用于存储所述视频数据；以及在电路中实现的一个或多个处理器，所述一个或多个处理器被配置为：确定用于所述视频数据的图片的多个可用矩阵帧内预测(mip)参数集(mps)，其中：所述多个可用mps是以下各项的并集：(i)所有默认mps的子集、以及(ii)在所述比特流中用信号通知的额外mps的集合，所述默认mps中的每个默认mps与所述编解码器中的预定义mip模式相关联，并且所述额外mps的集合中的每个额外mps与新mip模式相关联；在包括所述视频数据的经编码表示的比特流中用信号通知所述额外mps的集合；使用与所述多个可用mps中的mps相关联的mip模式来生成用于所述图片的当前块的预测块；以及基于用于所述当前块的所述预测块和所述当前块的样本来生成用于所述当前块的残差数据。34.根据权利要求33所述的设备，其中：所述多个可用mps包括用于多个类别中的每个类别的至少一个mps，以及所述多个类别中的每个类别对应于不同的块大小集合。
35.根据权利要求33所述的设备，其中：所述mip模式在所述新mip模式的集合中，并且是显式mip(e-mip)模式，所述一个或多个处理器还被配置为：使用一种或多种mip模式的参数来推导所述mip模式的参数；以及在所述比特流中用信号通知指示所述mip模式是相对于已经指定的mip模式来指定的语法元素。36.根据权利要求33所述的设备，其中：所述mip模式在所述新mip模式的集合中，并且是显式mip(e-mip)模式，所述mip模式的预测样本位置阵列(psla)是所述当前块中的与所述mip模式直接地生成预测值的位置相对应的样本位置集合，与所述mip模式相关联的所述mps包括用于所述mip模式的显式样本预测器参数子集(espps)列表，所述一个或多个处理器还被配置为：在所述比特流中用信号通知用于所述mip模式的所述espps列表，所述espps中的每个espps对应于所述mip模式的所述psla中的样本位置，并且所述一个或多个处理器被配置为使得：作为使用所述mip模式来生成用于所述当前块的所述预测块的一部分，所述一个或多个处理器进行以下操作：对于所述mip模式的所述psla中的每个样本位置，使用在与所述样本位置相对应的所述espps中包含的参数来预测用于所述样本位置的样本；以及基于用于所述mip模式的所述psla的所述样本位置的所预测的样本来对所述预测块的剩余样本进行插值。37.根据权利要求36所述的设备，其中，所述一个或多个处理器还被配置为：在所述比特流中将用于所述mip模式的所述espps用信号通知为依赖于另一espps。38.根据权利要求37所述的设备，其中，所述另一espps是所述编解码器中的另一e-mip模式或特定的预定义mip模式中的一项。39.根据权利要求33所述的设备，其中，所述一个或多个处理器还被配置为：在所述比特流的序列参数集(sps)中包括指示所述默认mps中的特定默认mps可供用于所述视频数据的引用所述sps的图片的预测的语法元素。40.根据权利要求33所述的设备，其中：所述mip模式在所述新mip模式的集合中并且是显式mip(e-mip)模式，所述一个或多个处理器还被配置为：在不使用任何其它mip模式的任何参数的情况下推导所述mip模式的参数；以及在所述比特流中用信号通知指示所述mip模式是独立地指定的语法元素。41.根据权利要求33所述的设备，其中，所述一个或多个处理器还被配置为：用信号通知指示所述mip模式的mip模式索引，其中，用信号通知所述mip模式索引取决于mip模式列表中的mip模式数量。42.根据权利要求33所述的设备，其中：所述一个或多个处理器还被配置为：在所述比特流中用信号通知用于所述mip模式的参考样本位置阵列(rsla)，用于所述mip模式的所述rsla指示在所述当前块的邻域中的在
所述mip模式中使用的参考样本位置集合，并且所述一个或多个处理器被配置为使得：作为使用所述mip模式来生成所述预测块的一部分，所述一个或多个处理器进行以下操作：对于所述mip模式的预测样本位置阵列(psla)中的每个样本位置，通过将由用于所述mip模式的所述rsla指示的参考样本位置处的参考样本乘以在与所述mip模式相关联的所述mps中指定的矩阵的矩阵系数并且加上在与所述mip模式相关联的所述mps中指定的偏移值来确定预测值。43.根据权利要求33所述的设备，其中，所述设备包括相机、计算机、移动设备、广播接收器设备或机顶盒中的一者或多者。

技术总结
视频译码器确定用于视频数据的图片的多个可用矩阵帧内预测(MIP)参数集(MPS)。多个可用MPS是以下各项的并集：(i)所有默认MPS的子集、以及(ii)在比特流中用信号通知的额外MPS的集合。默认MPS中的每个默认MPS与编解码器中的预定义MIP模式相关联。额外MPS的集合中的每个额外MPS与新MIP模式的集合中的新MIP模式相关联。视频解码器使用与多个可用MPS中的MPS相关联的MIP模式来生成用于图片的当前块的预测块。块。块。


技术研发人员：A
受保护的技术使用者：高通股份有限公司
技术研发日：2020.06.19
技术公布日：2022/2/6