回归基础的矩阵基础帧内预测的制作方法
本公开涉及视频编解码。具体而言，本公开涉及通过基于矩阵的帧内预测对像素块进行编码的方法。
背景技术：
1、除非在此处另有说明，本节中描述的方法并非下述权利要求的现有技术，且不因其包含于本节而被承认为现有技术。
2、高效率视频编解码（high-efficiency video coding，简称 hevc）是由视频编解码联合协作组（joint collaborative team on video coding，简称 jct-vc）开发的国际视频编解码标准。hevc 基于混合块基运动补偿的类 dct 变换编解码架构。用于压缩的基本单元称为编解码单元（coding unit，简称 cu），是一个 2n×2n 的像素方块，每个 cu 可以递归地分割为四个更小的 cu，直到达到预定义的最小尺寸为止。每个 cu 包含一个或多个预测单元（prediction unit，简称 pu）。
3、通用视频编解码（versatile video coding，简称 vvc）是由 itu-t sg16 wp3 和iso/iec jtc1/sc29/wg11 的联合视频专家组（joint video expert team，简称 jvet）开发的最新国际视频编解码标准。输入视频信号由重建信号预测，重建信号由编码图像区域推导而来。预测残差信号通过块变换处理。变换系数被量化，并与其他辅助信息一起在比特流中进行熵编码。重建信号由预测信号和经逆变换后的重建残差信号生成，逆变换作用于去量化的变换系数。重建信号进一步通过环路内滤波处理，以去除编解码伪影。解码后的图像存储在帧缓冲器中，用于预测输入视频信号中的后续图像。
4、在 vvc 中，编码图像被分割为由相关编解码树单元（coding tree unit，简称ctu）表示的不重叠方块区域。编解码树的叶节点对应编解码单元（cu）。编码图像可以由多个切片（slice）组成，每个切片包含整数数量的 ctu。切片中的各个 ctu 按光栅扫描顺序处理。双向预测（b）切片可通过帧内预测或帧间预测进行解码，最多使用两个运动向量（motion vector，简称 mv）和参考索引来预测每个块的样本值。预测（p）切片通过帧内预测或帧间预测进行解码，最多使用一个运动向量和参考索引来预测每个块的样本值。帧内（i）切片仅通过帧内预测进行解码。
5、ctu 可通过四叉树（quadtree，简称 qt）与嵌套多类型树（multi-type-tree，简称mtt）结构分割为一个或多个不重叠的编解码单元（cu），以适应不同的局部运动和纹理特性。cu 可进一步通过五种分割类型之一分割为更小的 cu：四叉树分割、垂直二叉树分割、水平二叉树分割、垂直中心侧三叉树分割、水平中心侧三叉树分割。
6、每个cu包含一个或多个预测单元（pu）。预测单元与相关cu语法一起作为信令预测子信息的基本单元。指定的预测过程用于预测pu内相关像素样本的值。每个cu可包含一个或多个变换单元（transform unit，简称tu），用于表示预测残差块。变换单元（tu）由一个亮度变换块（transform block，简称tb）以及两个对应的色度变换块组成，且每个tb对应一个颜色分量的残差样本块。对变换块应用整数变换。量化系数的级别值与其他辅助信息一起在比特流中进行熵编码。编码树块（coding tree block，简称ctb）、编码块（coding block，简称cb）、预测块（prediction block，简称pb）和变换块（transform block，简称tb）分别用于指定与ctu、cu、pu和tu相关联的单一颜色分量的二维样本阵列。因此，一个ctu包含一个亮度ctb、两个色度ctb及相关语法元素。cu、pu和tu也有类似的关系。
7、对于每个帧间预测的 cu，运动参数包括运动向量、参考图像索引、参考图像列表使用索引以及其他附加信息，用于帧间预测样本生成。运动参数可以以显式或隐式方式信令。当 cu 以跳过模式编码时，该 cu 关联一个 pu，并且没有显著残差系数、没有编码运动向量增量或参考图像索引。vvc 中指定了合并模式（merge mode），其中当前 cu 的运动参数从邻近 cu 获得，包括空间和时间候选以及vvc中引入的附加机制/附加安排。合并模式可应用于任何帧间预测的 cu。合并模式的替代方式是运动参数的显式传输，其中每个 cu的运动向量、每个参考图像列表的对应参考图像索引、参考图像列表使用标志及其他所需信息以显式方式信令。
8、帧内块复制（intra block copy，简称ibc）或当前图像参考（current picturereferencing，简称cpr）指通过块向量引用与当前块位于同一当前图像内的像素位置来编码像素块。
技术实现思路
1、以下摘要仅用于说明，并非以任何方式作为限制。也就是说，以下摘要旨在介绍本文所述新颖且非显而易见技术的概念、重点、益处和优势。部分实现方式将在下文详细描述中进一步阐述，并非全部实现方式。因此，以下摘要并非旨在识别所要求保护主题的必要特征，也不用于确定所要求保护主题的范围。
2、本公开的某些实施例提供了一种使用基于回归的矩阵帧内预测（matrix-basedintra prediction，简称mip）对像素块进行编码或解码的方法。视频编解码器接收要做为视频的当前图像的当前像素块被编码或解码的数据。视频编解码器从至少一个像素重建区域及其邻近l形区域中识别对应的输入训练样本和输出训练样本。输入训练样本来自重建区域的邻近l形区域，输出（目标）训练样本来自像素重建区域。视频编解码器基于所识别的训练样本，通过回归推导帧内预测矩阵。视频编解码器基于该帧内预测矩阵以及邻近该当前块的样本执行矩阵乘法，以生成该当前块的预测子。视频编解码器使用所生成的预测子对该当前块进行编码或解码。
3、在某些实施例中，训练样本从多个重建区域及其邻近l形区域中的样本中识别。每个重建区域可以具有与该当前块相同或不同的尺寸。在某些实施例中，通过对该重建区域下采样来识别输出训练样本。
4、在某些实施例中，对应的输入训练样本和输出训练样本可以包括从一个或多个预定义位置（例如非相邻位置）相对于该当前块识别的样本。在某些实施例中，对应的输入训练样本和输出训练样本可以包括从该当前图像的一个或多个预定义搜索区域中的位置识别的样本，例如从帧内模板匹配预测（intra template matching prediction，简称intratmp）候选列表中识别的位置。在某些实施例中，对应的输入训练样本和输出训练样本可以包括从参考图像中的参考块及其邻近l形区域识别的样本，其中该参考图像为由运动向量指向的参考图像或为预定义的同位置图像。在某些实施例中，对应的输入训练样本和输出训练样本可以包括从由块向量定位的该当前图像中的参考块及其邻近l形区域识别的样本（例如用于块拷贝模式（ibc mode））。
5、在某些实施例中，视频编解码器通过推导一个或多个线性模型来推导帧内预测矩阵，并通过将邻近该当前块的样本作为该线性模型的输入执行矩阵乘法。视频编解码器可以通过加入偏置项来生成预测子，并且用于推导帧内预测矩阵的回归也用于推导该偏置项的系数。
6、在某些实施例中，当在比特流中信令第一标志以指示是否通过将邻近该当前块的样本执行矩阵乘法来推导帧内预测预测子（intra-prediction predictor）时，可以信令第二标志以指示是否基于该训练样本执行用于矩阵乘法的回归，或该矩阵的系数是否通过基于该训练样本的回归推导。在某些实施例中，当信令第一标志以指示是否使用帧内模板匹配预测来生成该当前块的预测子时，可以信令第二标志以指示是否通过将邻近该当前块的样本执行矩阵乘法来推导帧内预测预测子，并且该系数通过基于该训练样本的回归推导。在某些实施例中，是否基于该训练样本执行用于矩阵乘法的回归根据至少以下之一确定：该当前块的尺寸、该当前块的比例、该当前块的切片类型、以及该当前块的颜色分量（例如该当前块是亮度块还是色度块）。