用于帧内子分区编解码模式的方法和设备与流程

用于帧内子分区编解码模式的方法和设备1.相关申请的交叉引用2.本技术基于2019年2月1日提交的临时申请号62/800,375并要求其优先权，该临时申请的全部内容通过引用并入本文。
技术领域：
：3.本技术涉及视频编解码和压缩。更具体地，本公开涉及用于视频编解码的帧内子分区编解码模式的改进和简化。
背景技术：
：：4.可以使用各种视频编解码技术来压缩视频数据。视频编解码是根据一个或多个视频编解码标准来执行的。例如，视频编解码标准包括通用视频编解码(vvc)、联合探索测试模型(jem)、高效视频编解码(h.265/hevc)、高级视频编解码(h.264/avc)、运动图片专家组(mpeg)编解码等。视频编解码通常使用预测方法(例如，帧间预测、帧内预测等)进行，这些方法利用存在于视频图像或序列中的冗余。视频编解码技术的一个重要目标在于将视频数据压缩成在避免或最小化视频质量降级的同时使用较低比特率的形式。技术实现要素：5.本公开的示例提供用于提高合并相关模式的语法信令的效率的方法。6.根据本公开的第一方面，一种解码视频信号的帧内子分区(isp)方法包括：将视频数据块分割为多个分区，其中，每个分区包括n×m个样点，其中n和m是水平方向或垂直方向的样点数；基于当前块的相邻块的帧内预测模式获得多个最可能的帧内预测，并确定帧内预测模式以预测块分区的样点；获得第一分区的残差系数并通过对第一分区的残差系数执行反量化来得到第一分区的去量化残差系数；从dct‑ii和dst‑vii变换核选择最佳变换组合并通过在水平方向和垂直方向上对第一分区的去量化残差系数执行逆变换来得到第一分区的残差样点；通过基于邻近于第一分区的相邻重建样点对第一分区执行帧内预测来得到第一分区的预测样点；通过将第一分区的残差样点与第一分区的预测样点相加来得到第一分区的重建样点；以及通过基于第一分区的重建样点对第二分区执行帧内预测来得到第二分区的预测样点。7.根据本公开的第二方面，一种计算设备包括一个或多个处理器、存储可由一个或多个处理器执行的指令的非暂态计算机可读存储器，其中，一个或多个处理器被配置为：将视频数据块分割为多个分区，其中，每个分区包括n×m个样点，其中n和m是水平方向或垂直方向的样点数；基于当前块的相邻块的帧内预测模式获得多个最可能的帧内预测，并确定帧内预测模式以预测块分区的样点；获得第一分区的残差系数并通过对第一分区的残差系数执行反量化来得到第一分区的去量化残差系数；从dct‑ii和dst‑vii变换核选择最佳变换组合并通过在水平方向和垂直方向上对第一分区的去量化残差系数执行逆变换来得到第一分区的残差样点；通过基于邻近于第一分区的相邻重建样点对第一分区执行帧内预测来得到第一分区的预测样点；通过将第一分区的残差样点与第一分区的预测样点相加来得到第一分区的重建样点；以及通过基于第一分区的重建样点对第二分区执行帧内预测来得到第二分区的预测样点。8.根据本公开的第三方面，提供了一种其中存储有指令的非暂态计算机可读存储介质。当由一个或多个处理器执行时，使计算设备执行包括以下各项的操作：将视频数据块分割为多个分区，其中，每个分区包括n×m个样点，其中n和m是水平方向或垂直方向的样点数；基于当前块的相邻块的帧内预测模式获得多个最可能的帧内预测，并确定帧内预测模式以预测块分区的样点；获得第一分区的残差系数并通过对第一分区的残差系数执行反量化来得到第一分区的去量化残差系数；从dct‑ii和dst‑vii变换核选择最佳变换组合并通过在水平方向和垂直方向上对第一分区的去量化残差系数执行逆变换来得到第一分区的残差样点；通过基于邻近于第一分区的相邻重建样点对第一分区执行帧内预测来得到第一分区的预测样点；通过将第一分区的残差样点与第一分区的预测样点相加来得到第一分区的重建样点；以及通过基于第一分区的重建样点对第二分区执行帧内预测来得到第二分区的预测样点。9.应当理解的是，前述概括描述和以下详细描述均仅是示例而不是对本公开的限制。附图说明10.结合在说明书中并构成本说明书的一部分的附图图示了与本公开一致的示例，并与描述一起用于解释本公开的原理。11.图1是根据本公开的示例的编码器的框图。12.图2是根据本公开的示例的解码器的框图。13.图3是图示根据本公开的示例的用于对视频信号进行解码的方法的流程图。14.图4是图示根据本公开的示例的用于获得多个最可能的帧内预测的方法的流程图。15.图5a是图示根据本公开的示例的多类型树结构中的块分区的图。16.图5b是图示根据本公开的示例的多类型树结构中的块分区的图。17.图5c是图示根据本公开的示例的多类型树结构中的块分区的图。18.图5d是图示根据本公开的示例的多类型树结构中的块分区的图。19.图5e是图示根据本公开的示例的多类型树结构中的块分区的图。20.图6是根据本公开的示例的vvc中的帧内模式的图解说明。21.图7是图示根据本公开的示例的用于vvc中的帧内预测的多个参考行的图。22.图8a是图示根据本公开的示例的用于帧内预测的参考样点和角度方向的图。23.图8b是图示根据本公开的示例的用于帧内预测的参考样点和角度方向的图。24.图8c是图示根据本公开的示例的用于帧内预测的参考样点和角度方向的图。25.图9是图示根据本公开的示例的用于一个编码块的pdpc的相邻重建样点的位置的图。26.图10a是图示根据本公开的示例的块的sdip分区的图。27.图10b是图示根据本公开的示例的块的sdip分区的图。28.图10c是图示根据本公开的示例的块的sdip分区的图。29.图11a是图示根据本公开的示例的有效帧内方向的范围和所使用的参考样点的比较的图。30.图11b是图示根据本公开的示例的有效帧内方向的范围和所使用的参考样点的比较的图。31.图12是图示根据本公开的示例的用于一个isp子块的帧内预测的有效帧内模式和参考样点的图。32.图13是图示根据本公开的示例的水平分割中的非第一子分区的不可用参考样点的图。33.图14是图示根据本公开的示例得到水平分割中的非第一子分区的不可用参考样点的替代参考样点的图。34.图15是图示根据本公开的示例得到垂直分割中的非第一子分区的不可用参考样点的替代参考样点的图。35.图16是图示根据本公开的示例得到水平分割中的非第一子分区的不可用参考样点的替代参考样点的图。36.图17是图示根据本公开的示例的与用户界面耦接的计算环境的图。具体实施方式37.现在将详细参考示例实施例，附图中图示了这些实施例的示例。以下描述均参考附图，在附图中，除非另有说明，否则不同附图中的相同参考标记表示相同或相似的要素。以下实施例描述中阐述的实施方式并不表示与本公开一致的所有实施方式。而是，它们仅仅是与所附权利要求中叙述的与本公开相关的方面一致的装置和方法的示例。38.本公开中使用的术语仅出于描述特定实施例的目的，而不旨在限制本公开。如在本公开和所附权利要求中使用的，单数形式“一个(a)”、“一个(an)”和“所述(the)”旨在也包括复数形式，除非上下文另有明确指示。还应当理解，本文中使用的术语“和/或”旨在表示并包括相关联列举项目中的一个或多个项目的任何或所有可能组合。39.应当理解，尽管本文可以使用术语“第一”、“第二”、“第三”等来描述各种信息，但是这些信息不应受这些术语的限制。这些术语仅仅是用来将一类信息与另一类信息进行区分。例如，在不脱离本公开的范围的情况下，第一信息也可以被称为第二信息；并且类似地，第二信息也可以被称为第一信息。如本文所使用的，根据上下文，术语“如果”可以被理解为意指“当……时”或“在……时”或“响应于判断”。40.hevc标准的第一版本于2013年10月完成，其与上一代视频编解码标准h.264/mpegavc相比，提供了大约50％的比特率节省或同等的感知质量。尽管hevc标准提供了优于其前身的显著编解码改进，但有证据表明，可以使用附加的编解码工具实现优于hevc的编解码效率。在此基础上，vceg和mpeg都开始了新编解码技术的探索工作，用于未来的视频编解码标准化。itu‑tvecg和iso/iecmpeg于2015年10月成立了一个联合视频探索小组(jvet)，以开始对能够大幅提高编解码效率的先进技术进行重大研究。jvet通过在hevc测试模型(hm)的顶上整合多个附加编解码工具来维护一种称为联合探索模型(jem)的参考软件。41.2017年10月，itu‑t和iso/iec发布了关于具有超越hevc的能力的视频压缩的联合提案征稿启事(cfp)。2018年4月，第10届jvet会议上接收并评估了23份cfp回复，论证了压缩效率比hevc提高约40％。基于这样的评估结果，jvet启动了开发名为通用视频编解码(vvc)的新一代视频编解码标准的新项目。同月，建立了一个称为vvc测试模型(vtm)的参考软件代码库，用于演示vvc标准的参考实施。42.与hevc一样，vvc在基于块的混合视频编解码框架上构建。图1(如下所述)给出了通用的基于块的混合视频编码系统的框图。输入视频信号被逐块(称为编码单元(cu))处理。在vtm‑1.0中，cu可以高达128×128像素。然而，不同于仅仅基于四叉树来分割块的hevc，在vvc中，一个编码树单元(ctu)被划分成多个cu，以基于四/二/三叉树适应不同的局部特性。另外，hevc中的多种分割单元类型的概念被移除了，即，cu、预测单元(pu)和变换单元(tu)的划分不再存在于vvc中；相反，每个cu一直用作预测和变换两者的基本单元，而不进行进一步分割。在多类型树结构中，一个ctu首先被四叉树结构分割。然后，每个四叉树叶节点可以进一步被二叉树结构和三叉树结构分割。如图5(如下所述)所示，有五种划分类型，四元分割、水平二元分割、垂直二元分割、水平三元分割以及垂直三元分割。在图1(如下所述)中，可以执行空间预测和/或时间预测。空间预测(或“帧内预测”)使用来自同一视频图片/条带中的已经编解码的相邻块的样点(被称为参考样点)的像素来预测当前视频块。空间预测减少了视频信号中固有的空间冗余。时间预测(也被称为“帧间预测”或“运动补偿预测”)使用来自已经编码的视频图像的重建像素来预测当前视频块。时间预测减少了在视频信号中固有的时间冗余。给定cu的时间预测信号通常由指示当前cu与其时间参考之间的运动量和运动方向的一个或多个运动矢量(mv)用信号发送。同样，当支持多个参考图片时，另外发送一个参考图片索引，该参考图片索引用于标识时间预测信号来自参考图片中的哪个参考图片。在空间和/或时间预测之后，编码器中的模式决策块例如基于率失真优化方法来选择最佳预测模式。然后，从当前视频块减去预测块，并且使用变换对预测残差进行解相关并进行量化。对已量化的残差系数进行反量化和逆变换以形成重建残差，然后将该重建残差加回预测块以形成cu的重建信号。进一步地，在将重建的cu置于参考图片存储中并用于对未来的视频块进行编解码之前，可以对重建的cu应用比如去块滤波器、样点自适应偏移(sao)和自适应环路滤波器(alf)等环路滤波。为了形成输出视频比特流，将编码模式(帧间或帧内)、预测模式信息、运动信息、以及量化残差系数都发送至熵编码单元，以进行进一步压缩和打包来形成比特流。43.图2(如下所述)给出了基于块的视频解码器的一般框图。视频比特流首先在熵解码单元处被熵解码。将编码模式和预测信息发送到空间预测单元(在帧内编码的情况下)或时间预测单元(在帧间编码的情况下)以形成预测块。将残差变换系数发送到反量化单元和逆变换单元以重建残差块。然后，将预测块和残差块相加在一起。重建块在被存储在参考图片存储中之前，可以进一步通过环路滤波。然后，将参考图片存储中的重建视频发送出去以驱动显示设备，并用于预测未来的视频块。44.通常，vvc中应用的基本帧内预测方案与hevc的基本帧内预测方案保持相同，除了进一步扩展和/或改进了几个模块，例如，帧内子分区(isp)编码模式、利用广角帧内方向的扩展帧内预测、位置相关帧内预测组合(pdpc)以及4抽头帧内插值(4‑tapintrainterpolation)。本公开的主要焦点是改进vvc标准中的现有isp设计。然而，在下文中，简要回顾了包括在vvc中并且与本公开中所提出的技术密切相关的其他编解码工具(例如，帧内预测和变换编码中的工具)。45.图1示出了典型的编码器100。编码器100具有视频输入110、运动补偿112、运动估计114、帧内/帧间模式决策116、块预测值140、加法器128、变换130、量化132、预测相关信息142、帧内预测118、图片缓冲器120、反量化134、逆变换136、加法器126、存储器124、环路滤波器122、熵编码138以及比特流144。46.图2示出了典型的解码器200框图。解码器200具有比特流210、熵解码212、反量化214、逆变换216、加法器218、帧内/帧间模式选择220、帧内预测222、存储器230、环路滤波器228、运动补偿224、图片缓冲器226、预测相关信息234以及视频输出232。47.图3示出了根据本公开的用于对视频信号进行解码的示例方法。48.在步骤310中，将视频数据块分割为多个分区，其中，每个分区包括n×m个样点，其中n和m是水平方向或垂直方向的样点数。49.在步骤312中，基于当前块的相邻块的帧内预测模式获得多个最可能的帧内预测，并确定帧内预测模式以预测块分区的样点。50.在步骤314中，获得第一分区的残差系数并通过对第一分区的残差系数执行反量化来得到第一分区的去量化残差系数。51.在步骤316中，从dct‑ii和dst‑vii变换核选择最佳变换组合并通过在水平方向和垂直方向上对第一分区的去量化残差系数执行逆变换来得到第一分区的残差样点。52.在步骤318中，通过基于邻近于第一分区的相邻重建样点对第一分区执行帧内预测来得到第一分区的预测样点。53.在步骤320中，通过将第一分区的残差样点与第一分区的预测样点相加来得到第一分区的重建样点。54.在步骤322中，通过基于第一分区的重建样点对第二分区执行帧内预测来得到第二分区的预测样点。55.图4示出了根据本公开的用于获得多个最可能的帧内预测的示例方法。56.在步骤410中，使用与应用于非isp编码块的最可能模式生成方法相同的最可能模式生成方法生成当前isp块的最可能模式。57.在步骤412中，从当前isp块的最可能模式列表中排除dc模式。58.在步骤414中，当当前块被水平分割时，从最可能模式列表中排除角度帧内预测方向‑14至18。59.在步骤416中，当当前块被垂直分割时，从最可能模式列表中排除角度帧内预测50至80。60.图5a示出了图示根据本公开的多类型树结构中的块四元分区的图。61.图5b示出了图示根据本公开的多类型树结构中的块垂直二元分区的图。62.图5c示出了图示根据本公开的多类型树结构中的块水平二元分区的图。63.图5d示出了图示根据本公开的多类型树结构中的块垂直三元分区的图。64.图5e示出了图示根据本公开的多类型树结构中的块水平三元分区的图。65.利用广角帧内方向的帧内预测模式66.与hevc一样，vvc使用与一个当前cu相邻(即，上方或左侧)的先前解码的样点的集合来预测该cu的样点。然而，为了捕获自然视频中存在的更精细的边缘方向(尤其是对于高分辨率的视频内容，例如4k)，角度帧内模式的数量从hevc中的33个扩展到vvc中的93个。除了角度方向之外，vvc标准中还应用了hevc的相同平面模式(其假设逐渐变化的表面，水平斜率和垂直斜率源自边界)和dc模式(其假设平坦表面)。图6(如下所述)图示了在vvc标准中定义的现有帧内模式。与hevc中的帧内预测类似，vvc中的所有帧内模式(即平面、dc和角度方向)都利用预测块上方和左侧的相邻重建样点的集合作为帧内预测的参考。然而，与仅将最近的重建样点行/列(即，图7中的行0，如下所述)作为参考的hevc不同，在vvc中引入了多参考行(mrl)，其中两个额外的行/列(即，图7中的行1和行3，如下所述)被用于帧内预测。所选择的参考行/列的索引从编码器用信号发送到解码器。当选择非最近的行/列时，平面模式和dc模式被从可以用于预测当前块的帧内模式集合中排除。假设最近邻的情况，图8(如下所述)图示了在vvc中被使用以得到一个帧内块的预测样点的参考样点的位置。如图8(如下所述)所示，由于应用了四叉/二叉/三叉树分区结构，因此除了正方形的编码块外，还存在矩形的编码块用于vvc的帧内预测。由于一个给定块的宽度和高度不相等，因此针对不同的块形状选择了各种不同的角度方向集合，这也称为广角帧内预测。具体地，对于正方形编码块和矩形编码块两者，除了平面模式和dc模式外，每个块形状还支持93个角度方向中的65个，如67.表1所示。这种设计不仅可以有效地捕获通常存在于视频中的方向结构(通过基于块形状自适应地选择角度方向)，而且还可以确保为每个编码块启用总共67个帧内模式(即，平面、dc和65个角度方向)。这可以在提供跨不同块尺寸的一致设计的同时实现对帧内模式进行信号发送的良好效率。68.表1vvc中用于不同块形状的帧内预测的选定角度方向[0069][0070]图6示出了根据本公开的vvc中的帧内模式的图示。[0071]图7示出了根据本公开的用于vvc中的帧内预测的多个参考行。[0072]图8a示出了根据本公开的用于扁平矩形块(w/h＝2)的帧内预测的参考样点和角度方向的图示。[0073]图8b示出了根据本公开的用于高矩形块(w/h＝1/2)的帧内预测的参考样点和角度方向的图示。[0074]图8c示出了根据本公开的用于正方形块(w＝h)的帧内预测的参考样点和角度方向的图示。[0075]位置相关的帧内预测组合[0076]如前所述，帧内预测样点是从未滤波的或已滤波的相邻参考样点的集合生成的，这可能会沿当前编码块与其相邻块之间的块边界引入不连续性。为了解决这种问题，通过利用2抽头滤波器(对于dc模式)或基于梯度的平滑滤波器(对于水平预测模式和垂直预测模式)将dc预测模式、水平预测模式(即，模式18)以及垂直预测模式(即，模式50)的预测样点的第一行/列与未滤波的参考样点组合，在hevc中应用边界滤波。[0077]vvc中的位置相关帧内预测组合(pdpc)工具通过采用帧内预测样点与未滤波参考样点的加权组合来扩展上述想法。在当前的vvc工作草案中，在没有信令的情况下为以下帧内模式启用pdpc：平面、dc、水平(即，模式18)、垂直(即，模式50)、接近左下角对角线方向的角度方向(即，模式2、3、4、...、10)以及接近右上角对角线方向的角度方向(即，模式58、59、60、...、66)。假设定位为坐标(x，y)的预测样点是pred(x，y)，其在pdpc之后的对应值计算如下[0078]pred(x，y)＝(wl×r‑1，y wt×rx，‑1‑wtl×r‑1‑1 (64‑wl‑wt wtl)×pred(x，y) 32)＞＞6[0079]其中rx，‑1、r‑1，y分别表示位于当前样点(x，y)上方和左侧的参考样点，并且r‑1，‑1表示位于当前块左上角的参考样点。图8图示了在pdpc过程期间用于与当前预测样点组合的参考样点的位置。等式(1)中的权重wl、wt和wtl是根据预测模式和样点位置自适应选择的，如下所述，其中假设当前编码块的尺寸为w×h：[0080]·对于dc模式，[0081]wt＝32＞＞((y＜＜1)＞＞shift)，wl＝32＞＞((x＜＜1)＞＞shift)，wtl＝(wl＞＞4) (wt＞＞4)[0082]·对于平面模式，[0083]wt＝32＞＞((y＜＜1)＞＞shift)，wl＝32＞＞((x＜＜1)＞＞shift)，wtl＝0[0084]·对于水平模式：[0085]wt＝32＞＞((y＜＜1)＞＞shft)，wl＝32＞＞((x＜＜1)＞＞shift)，wtl＝wt[0086]·对于垂直模式：[0087]wt＝32＞＞((y＜＜1)＞＞shift)，wl＝32＞＞((x＜＜1)＞＞shift)，wtl＝wl[0088]·对于左下角对角线方向：[0089]wt＝16＞＞((y＜＜1)＞＞shift)，wl＝16＞＞((x＜＜1)＞＞shift)，wtl＝0[0090]·对于右上角对角线方向：[0091]wt＝16＞＞((y＜＜1)＞＞shift)，wl＝16＞＞((x＜＜1)＞＞shift)，wtl＝0[0092]其中shift＝(log2(w)‑2 log2(h)‑2 2)＞＞2。[0093]多变换选择和形状自适应变换选择[0094]除了在hevc中使用的dct‑ii变换之外，通过引入额外的核心变换dct‑viii和dst‑vii，在vvc中启用了多变换选择(mts)工具。在vvc中，通过向比特流用信号发送一个mts标志，在编码块级别启用变换的自适应选择。具体地，当一个块的mts标志等于0时，在水平方向和垂直方向上应用一对固定变换(例如，dct‑ii)。否则(当mts标志等于1时)，将进一步针对该块用信号发送两个附加标志，以指示用于每个方向的变换类型(dct‑viii或dst‑vii)。[0095]另一方面，由于在vvc中引入了基于四/二/三叉树的块分割结构，因此帧内预测的残差分布与块形状高度相关。因此，当mts被禁用(即，对于一个编码块，mts标志等于0)时，一种形状自适应变换选择方法应用于所有帧内编码块，其中基于当前块的宽度和高度隐式启用dct‑ii和dst‑vii变换。更具体地，对于每个矩形块，该方法在与一个块的较短边相关联的方向上使用dst‑vii变换并且在与该块的较长边相关联的方向上使用dct‑ii变换。对于每个正方形块，dst‑vii应用于两个方向。[0096]另外，为了避免在不同的块尺寸中引入新的变换，仅当一个帧内编码块的较短边等于或小于16时才启用dst‑vii变换。否则，将总是应用dct‑ii变换。表2图示了vvc中基于形状自适应变换选择方法针对帧内编码块的启用的水平变换和垂直变换。[0097]表2vvc中用于帧内块的形状自适应变换选择[0098][0099]帧内子分区编码模式[0100]传统的帧内模式仅利用与一个编码块相邻的重建样点来生成该块的帧内预测样点。基于这种方法，预测样点与参考样点之间的空间相关性与预测样点与参考样点之间的距离大致成正比。因此，内部的样点(尤其是位于块右下角的样点)通常比靠近块边界的样点具有更差的预测质量。为了进一步提高帧内预测效率，很早以前就提出了短距离帧内预测(sdip)，并在hevc标准的开发时期得到了很好的研究。[0101]该方法将一个帧内编码块水平或垂直划分为多个子块用于预测。通常，正方形块被划分为四个子块。例如，8×8的块可以被划分为四个2×8或四个8×2的子块。这种基于子块的帧内预测的一种极端情况是所谓的基于行的预测，其中块被划分为1d行/列用于预测。例如，一个w×h(宽×高)块可以被分成尺寸为w×1的h个子块或尺寸为1×h的w个子块用于帧内预测。得到的每一行/列都以与普通2维(2d)块相同的方式编码(如图1所示)，即，通过可用的帧内模式之一来预测，并且基于变换和量化来对预测误差进行去相关并将其发送到解码器进行重建。[0102]因此，一个子块(例如，行/列)中的重建样点可以用作预测下一子块中的样点的参考。重复上述过程，直到当前块内的所有子块都被预测和编码。另外，为了减少信令开销，一个编码块内的所有子块共享相同的帧内模式。[0103]利用sdip，不同的子块分区可以提供不同的编解码效率。通常，基于行的预测提供了最好的编解码效率，因为它提供了不同分区之间的“最短预测距离”。另一方面，对于编解码器硬件实施，它也有最糟糕的编码/解码吞吐量问题。例如，考虑具有4×4子块的块与具有4×1或1×4子块的同一块，后一种情况仅为前一种情况的吞吐量的四分之一。在hevc中，亮度的最小帧内预测块尺寸为4×4。[0104]最近，被称为子分区预测(isp)的视频编解码工具被引入到vvc中。从概念上讲，isp与sdip非常相似。具体地，isp根据块尺寸将当前编码块分为水平或垂直方向的2个或4个子块，并且每个子块至少包含16个样点。图10图示了不同编码块尺寸的所有可能的分区情况。此外，当前isp设计还包括以下主要方面，以处理其与vvc中其他编解码工具的交互：[0105]与广角帧内方向的交互：isp与广角帧内方向组合。在当前的设计中，原始编码块的块尺寸(即宽/高比)用于确定应该应用普通的帧内方向还是其对应的广角帧内方向。换句话说，这里使用子块分区之前的块的块尺寸。[0106]与多个参考行的交互：isp不能与多个参考行联合启用。具体地，在当前的vvc信令设计中，在mrl索引之后用信号发送isp启用/禁用标志。当一个帧内块具有一个非零mrl索引(即，参考非最近相邻样点)时，isp启用/禁用标志不会被用信号发送而是推断为0，即在这种情况下，对于编码块会自动禁用isp。[0107]与最可能模式的交互：类似于普通帧内模式，用于一个isp块的帧内模式通过最可能模式(mpm)机制用信号发送。然而，与普通的帧内模式相比，用于isp的mpm方法做了以下修改：1)每个isp块只启用mpm列表中包含的帧内模式并且禁用所有其他不在mpm列表中的帧内模式；2)对于每个isp块，其mpm列表排除dc模式并且分别对于isp水平分区优先考虑水平帧内模式以及对于isp垂直分区优先考虑垂直模式。[0108]与多变换选择的交互：isp排斥性地与mts应用，即，当一个编码块使用isp时，其mts标志不被用信号发送，而是总是推断为0，即禁用。然而，并非总是使用dct‑ii变换，而是基于块尺寸将固定的核心变换集合(包括dst‑vii和dct‑ii)隐式应用于isp编码块。具体地，假设w和h为一个isp子分区的宽度和高度，其水平变换和垂直变换根据以下规则进行选择，如表3所述。[0109]表3用于isp块的选定水平和垂直变换[0110][0111]图9示出了根据本公开的用于一个编码块的pdpc的相邻重建样点的位置。[0112]图10a示出了根据本公开的8×4块的sdip分区的图示。[0113]图10b示出了根据本公开的4×8块的sdip分区的图示。[0114]图10c示出了根据本公开的其他块的sdip分区的图示。[0115]对isp的改进[0116]虽然vvc中的isp工具可以提高帧内预测效率，但其性能仍有进一步提升的空间。同时，现有isp的一些部分也需要简化以实现高效的编解码器硬件实施。具体地，在本公开中已经认识到现有isp设计中的以下问题。[0117]首先，对于实际的编解码器设计，为了最小化isp的实施成本，最大程度地对isp块重用普通帧内块的现有帧内预测模块(例如，参考样点访问、帧内样点预测等)是更合理的。然而，如“帧内子分区编码模式”部分中所讨论的，当isp与广角帧内预测组合时，对于每个子块，基于原始编码块的尺寸/形状而不是被预测的实际块(例如，子块)来做出关于原始帧内模式(即，在编码块级别用信号发送的帧内模式)是否应该被替换为其对应的广角帧内模式的决策。这与非isp帧内编码块不一致，非isp帧内编码块基于其自身的块尺寸在普通帧内方向与广角帧内方向之间进行选择。据称，这种不一致的设计可能会导致硬件实施的以下复杂性问题。首先，相同尺寸的块所支持的有效帧内方向的范围在isp模式与非isp模式之间是不同的。第二，用于对相同尺寸的块执行帧内预测的相邻参考样点在isp模式与非isp模式之间是不同的。此外，为了支持由当前isp定义的有效帧内方向，每个子块可能需要访问比相同尺寸但未通过isp模式编码的块更多的上方或左侧相邻参考样点。[0118]为了说明以上两个问题，令w和h为一个正方形块的宽度和高度(即，w＝h)，图11a和图11b比较了当其通过普通帧内模式编码时和当其作为isp模式的一个子分区编码(假设使用垂直isp分割将编码块分成两个子块)时两种情况下块的有效帧内方向的范围和所使用的参考样点。如图11a所示，对于普通帧内模式，支持的角度帧内方向的范围从模式2到模式66(即，覆盖从45度到‑135度的角度)。为了支持这些方向，提取2w 1个上方参考样点和2h 1个左侧参考样点来预测块内的样点。但是当如图11b中通过isp模式对块进行编码时，由于父编码块是扁平矩形形状，因此对块应用广角帧内预测，使得有效角度方向为从模式8到模式72(即，覆盖从63.4度到‑116.6度的角度)。相应地，需要访问3w 1个上方参考样点和3h/2 1个左侧参考样点。请注意，与图11(a)相比，在图11(b)中需要从上方相邻块多访问w个参考样点。[0119]第二，如“引言”部分中所讨论的，由于帧内预测的残差内存在强相关性的事实，因此当mts被禁用时，dct‑ii和dst‑vii两者被应用于帧内预测编码块。然而，如表2和表3所示，通过普通帧内模式和isp模式进行编码的编码块利用不同的方法来在dct‑ii与dst‑vii之间选择最佳水平/垂直变换。从概念上讲，最佳变换的选择取决于预测残差的实际分布，其应该与块尺寸和所应用的帧内模式高度相关，而不是是否应用isp的决策。另一方面，针对所有帧内编码块的一种统一的变换选择设计对于高效的硬件实施更为有益。[0120]第三，如“帧内子分区编码模式”部分中所讨论的，mrl不能与isp模式联合应用。这是通过当一个帧内块的mrl索引非零时总是推断isp标志的值为零来完成的。然而，mrl工具的增益主要来自以下两个方面：1)由于量化/去量化是在变换域中应用的，因此不同位置处的重建样点可能具有不同的重建质量，使得最近邻可能不总是帧内预测的最佳参考；2)最近邻中可能存在编码噪声和遮挡，这可能导致帧内预测样点的质量降级。基于这种分析，为isp模式禁用mrl似乎是不合理的。换句话说，当启用isp与mrl的组合时，可以预期额外的编码增益。[0121]图11a示出了根据本公开的一个普通w×h块的有效帧内方向的范围和所使用的参考样点的比较。[0122]图11b示出了根据本公开的一个w×hisp子块的有效帧内方向的范围和所使用的参考样点的比较。[0123]基于子块尺寸为isp启用/禁用广角帧内方向[0124]根据当前的vvc设计，可以将广角帧内预测应用于isp编码块，并且对于一个子块应该使用原始帧内模式还是对应的广角帧内模式的决策是基于整个编码块的尺寸做出的。如“问题陈述”部分中所指出的，这种设计不仅使得isp块与非isp块之间支持的帧内方向范围不一致，而且可能增加从上方邻居或左侧邻居需要的参考样点的数量，以便预测一个块内的样点。为了实现更好的设计，代替使用整个编码块的尺寸，在本公开的一个实施例中提出基于其isp子分区的尺寸来启用/禁用用于编码块的帧内预测的广角帧内模式。使用图11中的相同示例，图12图示了当应用所提出的方法时每个isp子分区的有效帧内方向的范围和所使用的参考样点。从图12可以看出，在应用所提出的方法之后，每个子块的支持的帧内模式的范围是从模式2到模式66(即，从45度到‑135度)，并且帧内预测所需的对应参考样点包括来自上方邻居的2w 1个参考样点和来自左侧邻居的2h 1个参考样点。所有这些统计数据与图11(a)中相同尺寸(即，w×h)的一个普通帧内块的统计数据保持相同。因此，所提出的方法可以为帧内块的广角帧内预测提供一种协调的设计，而不管帧内块是否使用isp模式编码。[0125]另外，在当前的vtm‑3.0中，最大帧内编码块宽度或高度为64，并且最小帧内编码块宽度或高度为4。相应地，一个帧内块的纵横比可以是m:1或1:m，其中m可以是1、2、4、8和16。然而，在启用isp之后，一个子分区的宽度或高度可以降到2个样点，并且1:32和/或32:1的纵横比也成为可能。因此，当基于子块尺寸为isp启用/禁用广角帧内预测时，在为isp定义支持的广角帧内方向时，应该引入一对纵横比，即32:1和1:32。为了实施这一点，需要在定义各种帧内角度的tan和atan值的angtable[]和invangtable[]中引入一个新元素，如[0126]表4所示，其中灰色元素是由于isp模式而新引入的广角帧内方向。[0127]表4用于角度帧内预测的修改后的angtable[]和invangtable[][0128]angtable[]012346810121416182023invangtable[]0819240962731204813651024819683585512455410356[0129][0130]根据本公开的另一实施例，代替[0131]在表4中添加新元素来处理具有1∶32和/或32∶1的新纵横比的子块的帧内预测，对于这样的情况可以总是禁用sip。换句话说，在解码器端，每当产生的子块具有32∶1和/或1∶32的纵横比时，sip模式被推断为0(即，禁用)。[0132]根据本公开的第三实施例，代替[0133]在表4中添加新元素来处理具有1∶32和/或32∶1的新纵横比的子块的帧内预测，用于1∶16和16∶1的纵横比的相同的帧内预测方向集合分别用于纵横比为1∶32和32∶1的子块。[0134]图12示出了根据本公开的当基于子块尺寸启用/禁用广角帧内预测时用于一个isp子块的帧内预测的有效帧内模式和参考样点。[0135]帧内编码块的统一变换选择[0136]在当前的vvc中，当mts被禁用时，对于非isp编码块(如表2所示)和isp编码块(如表3所示)，应用不同的方法从dct‑ii和dst‑vii中选择最佳水平/垂直变换。如“问题陈述”部分中所分析的，这种设计可能不合理，因为每个块/子块的帧内预测残差的统计分布应该与当前编码块是否应用isp模式无关。为了实现更加统一的设计，下面提出两种方法来协调用于isp编码块和非isp编码块的变换选择方法。[0137]在第一种方法中，提出将非isp编码块的变换选择方法(如表2所示)的应用扩展到isp编码块。具体地，通过这种方法，非isp编码块的变换选择方法保持与表2中的现有设计相同，而isp编码块的变换选择方法修改如下：当一个isp编码块被划分成矩形子分区时，dst‑vii应用于每个isp子分区的较短维度，并且dct‑ii应用于子分区的较长维度；否则，当isp编码块被划分成正方形子分区时，dst‑vii应用于水平方向和垂直方向两者。另外，为了避免引入新的变换尺寸，仅当子分区的对应维度等于或小于16时才应用dst‑vii(表2中的相同约束设计)。[0138]在第二种方法中，提出将isp编码块的变换选择方法(如表3所示)的应用扩展到非isp块。在该方法中，isp子分区的变换选择方法保持与表3中的现有设计相同，并且非isp编码块的变换选择修改为基于表3中指定的编码块尺寸和应用的帧内模式。[0139]isp编码块和非isp编码块的mpm生成方法的协调[0140]如“帧内子分区编码模式”部分中所讨论的，与非isp编码块相比，isp模式利用一种不同的方法来形成排除了dc模式的mpm候选列表，并基于所应用的分区方向优先考虑一些邻近的水平帧内模式或一些邻近的垂直帧内模式。然而，对应的编码益处可能是有限的。出于统一的目的，在本公开中提出使用与用于非isp编码块的相同的mpm列表生成方法来生成isp块的mpm候选。[0141]用于isp编码块的更高效的mpm生成方法[0142]在isp编码块的mpm生成与非isp编码块的mpm生成保持不同的情况下，可以改进vvc中isp编码块的mpm生成的当前设计以获得更好的编解码效率。根据本公开，在为isp编码块生成mpm时，当当前块被水平分割时，如图6所示，从‑14到18范围内的帧内预测方向(除了平面的方向0和dc的方向1之外)被排除在选择之外。这种排除的动机是这些预测方向不太可能为isp模式下的水平分割子块提供预测益处。同样，当为isp编码块生成mpm并且当前块被垂直分割时，如图6所示，从‑50到80范围内的帧内预测方向被排除在选择之外。[0143]根据本公开，当基于上述规则从用于isp编码块的mpm选择中排除这种帧内预测方向时，可以添加某个其他帧内预测方向作为替代。在一个示例中，当其对应的广角帧内预测方向存在时，广角帧内预测方向可以被用作替代并被放入mpm列表。在另一示例中，与已经在mpm列表中的帧内模式相邻的某个帧内预测方向可以被用作替代。[0144]isp与mrl的组合[0145]在当前的vvc中，当使用的参考样点不是来自编码块的最近邻域(即，mrl索引非零)时，通过强制isp标志的值为零(即，禁用)来使isp模式和mrl模式不能联合应用于一个帧内编码块。如前所指出的，isp和mrl从两个不同的方面提高了帧内编解码效率。首先，isp通过缩短预测样点与参考样点之间的距离来提高帧内预测效率。第二，mrl旨在减轻最近相邻样点中存在的编码噪声和遮挡对整体帧内编码性能的负面影响。因此，isp和mrl可以实现的编码益处之间几乎没有重叠。为了进一步提高帧内预测的效率，在本公开中，提出对一个帧内编码块启用isp模式与mrl模式的组合。[0146]在一个实施例中，提出在mrl索引之前或之后用信号发送一个isp标志，并且mrl索引由同一isp编码块中的所有子分区共享，即，所有子分区可以使用其各自重建样点的第i行/列(如mrl索引所指示的)作为参考以生成帧内预测样点。[0147]在另一个实施例中，提出允许每个子分区参考重建的相邻样点的不同行/列。具体地，在该方法中，在isp标志之后用信号发送mrl索引。当isp标志等于零(即，编码块没有被分割)时，将用信号发送一个mrl索引，其被应用以用于确定整个编码块的参考样点；否则(isp标志等于1)，取决于编码块中子分区的数量，将用信号发送多个mrl索引，每个子分区一个，以分别指示对应参考样点的位置，用于得到每个isp子分区的帧内预测。[0148]isp的扩展参考样点[0149]如图13所示，非第一帧内子分区的参考样点可能不可用。在isp的当前设计中，最接近的可用参考样点被用作那些不可用参考样点的替代。为了提高isp的预测效率，本公开使用不同的方案来为那些不可用的参考样点得到替代参考样点。[0150]在一个实施例中，当前编码块(或cu)的参考样点被用作那些不可用参考样点的替代参考样点。如图14和图15所示，例如，每个不可用参考样点的替代参考样点是从角度帧内预测模式指示的当前编码块(或cu)的参考样点得到的。在生成替代参考样点时，这里也可以应用传统帧内预测所使用的内插滤波器或参考样点平滑滤波器。此外，当预测模式为dc模式或平面模式时，不需要额外的过程来得到替代参考样点。[0151]在又一实施例中，如图16所示，部署简单复制以生成替代参考样点。[0152]所提出的isp扩展样点生成方法(如图14、图15以及图16所示)可以与本部分中提出的其他isp改进/简化方法自由组合。在一个具体示例中，在“基于子块尺寸为isp启用/禁用广角帧内方向”部分(即，基于子分区尺寸确定是否启用/禁用广角帧内方向)中提出将isp扩展样点生成方法与isp广角帧内方向组合。当启用这种组合时，由于非第一子分区的不可用参考样点是从第一子分区的相邻参考样点生成的，因此可能需要第一子分区的更多相邻参考样点，这是因为非第一子分区使用的替代参考样点的数量取决于根据子块尺寸而不是编码块尺寸得到的子分区的对应广角帧内方向。换句话说，这种设计可以潜在地增加第一子分区的被访问的参考样点的数量。为了避免这种复杂性增加，在本公开的一个实施例中，提出通过填充子分区的原始参考样点区域中最近的参考样点的值来生成这些额外的参考。在另一个实施例中，提出将一个非第一子分区的帧内模式削减为不需要使用超出第一子分区的参考样点的额外参考样点的最接近的帧内模式。[0153]图13示出了水平分割中的非第一子分区的不可用参考样点；根据本公开，在垂直分割中的非第一子分区中会出现相同的情况。[0154]图14示出了得到水平分割中的非第一子分区的不可用参考样点的替代参考样点的图示；根据本公开，根据帧内预测模式从当前编码块的参考样点得到替代参考样点。[0155]图15示出了得到垂直分割中的非第一子分区的不可用参考样点的替代参考样点的图示；根据本公开，根据帧内预测模式从当前编码块的参考样点得到替代参考样点。[0156]图16示出了得到水平分割中的非第一子分区的不可用参考样点的替代参考样点的图示；替代参考样点直接从当前编码块的参考样点复制；根据本公开，相同的方法适用于垂直分区中的非第一子分区。[0157]图17示出了与用户界面1760耦接的计算环境1710。计算环境1710可以是数据处理服务器的一部分。计算环境1710包括处理器1720、存储器1740以及i/o接口1750。[0158]处理器1720通常控制计算环境1710的整体操作，比如与显示、数据获取、数据通信以及图像处理相关联的操作。处理器1720可以包括一个或多个处理器以执行指令以执行上述方法中的所有或一些步骤。此外，处理器1720可以包括促进处理器1720与其他部件之间的交互的一个或多个模块。处理器可以是中央处理单元(cpu)、微处理器、单片机、gpu等。[0159]存储器1740被配置为存储各种类型的数据以支持计算环境1710的操作。这种数据的示例包括在计算环境1710上操作的任何应用或方法的指令、mri数据集、图像数据等。存储器1740可以通过使用任何类型的易失性或非易失性存储器设备或其组合来实施，比如静态随机访问存储器(sram)、电可擦可编程只读存储器(eeprom)、可擦可编程只读存储器(eprom)、可编程只读存储器(prom)、只读存储器(rom)、磁存储器、快闪存储器、磁盘或光盘。[0160]i/o接口1750提供处理器1720与外围接口模块(比如键盘、点击轮、按钮等)之间的接口。按钮可以包括但不限于主页按钮、开始扫描按钮和停止扫描按钮。i/o接口1750可以与编码器和解码器耦接。[0161]在实施例中，还提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质包括多个程序，比如包含在存储器1740中，可由计算环境1710中的处理器1720执行，用于执行上述方法。例如，该非暂态计算机可读存储介质可以是rom、ram、cd‑rom、磁带、软盘、光学数据存储设备等。[0162]该非暂态计算机可读存储介质中存储有用于由具有一个或多个处理器的计算设备执行的多个程序，其中，该多个程序在由该一个或多个处理器执行时，使该计算设备执行上述运动预测方法。[0163]在实施例中，计算环境1710可以用一个或多个专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑设备(pld)、现场可编程门阵列(fpga)、图形处理单元(gpu)、控制器、微控制器、微处理器、或其他电子部件来实施，用于执行上述方法。当前第1页12当前第1页12