用于帧内子分区编码模式的方法和设备与流程

用于帧内子分区编码模式的方法和设备1.相关申请的交叉引用2.本技术基于并要求于2019年02月11日提交的62/804,207号临时申请的优先权，其全部内容通过引用并入本文。
技术领域：
：3.本技术涉及视频编解码和压缩。更具体地，本公开涉及对用于视频编解码的帧内子分区(isp)编码模式的改进和简化。
背景技术：
：：4.可使用各种视频编解码技术来压缩视频数据。根据一个或更多个视频编解码标准来执行视频编解码。例如，视频编解码标准包括通用视频编解码(vvc)、联合探索测试模型(jem)、高效视频编解码(h.265/hevc)、高级视频编解码(h.264/avc)、运动图片专家组(mpeg)编解码等。视频编解码通常使用利用了视频图像或序列中存在的冗余的预测方法(例如，帧间预测、帧内预测等)。视频编解码技术的目标在于将视频数据压缩为使用更低比特率的形式，同时避免或最小化视频质量的下降。技术实现要素：5.本公开的示例提供了用于对用于视频编解码的帧内子分区编码模式的改进和简化的方法。6.根据本公开的第一方面，提供了一种对视频信号进行解码的帧内子分区(isp)方法。所述方法可包括：将视频数据的块分割为多个子分区，其中每个子分区包括n×m个样点，其中n和m是水平方向或垂直方向上的样点的数量；基于当前块的邻近块的帧内预测模式获得多个最可能帧内预测，并且确定用于预测所述块子分区的样点的帧内预测模式；针对每个子分区从dct‑ii变换核、dst‑vii变换核和dct‑viii变换核中选择最优变换组合，其中选择最优变换组合包括将多重变换选择mts模式应用于所述isp，其中所述最优变换组合由一个mts标志和一个mts索引指示；获得第一子分区的残差系数，并且通过对所述第一子分区的所述残差系数执行反量化来导出所述第一子分区的反量化的残差系数。7.所述方法还可包括：通过在水平方向和垂直方向上对所述第一子分区的反量化的残差系数执行逆变换来导出所述第一子分区的残差样点，其中所述逆变换基于所述第一子分区的所述最优变换组合；通过基于与所述第一子分区相邻的邻近重建样点对所述第一子分区执行帧内预测来导出所述第一子分区的预测样点；通过将所述第一子分区的所述残差样点与所述第一子分区的所述预测样点相加来导出所述第一子分区的重建样点；并且通过基于所述第一子分区的所述重建样点对第二子分区执行帧内预测来导出所述第二子分区的预测样点。8.根据本公开的第二方面，提供了一种计算设备，所述计算设备包括一个或更多个处理器、存储能够由所述一个或更多个处理器执行的指令的非暂态计算机可读存储器。所述一个或更多个处理器可被配置为：将视频数据的块分割为多个子分区，其中每个子分区包括n×m个样点，其中n和m是水平方向或垂直方向上的样点的数量；基于当前块的邻近块的帧内预测模式获得多个最可能帧内预测，并且确定用于预测所述块子分区的样点的帧内预测模式；针对每个子分区从dct‑ii变换核、dst‑vii变换核和dct‑viii变换核中选择最优变换组合，其中选择最优变换组合包括将多重变换选择mts模式应用于所述isp，其中所述最优变换组合由一个mts标志和一个mts索引指示；获得第一子分区的残差系数，并且通过对所述第一子分区的所述残差系数执行反量化来导出所述第一子分区的反量化的残差系数。9.所述一个或更多个处理器还可被配置为：通过在水平方向和垂直方向上对所述第一子分区的反量化的残差系数执行逆变换来导出所述第一子分区的残差样点，其中所述逆变换可基于所述第一子分区的所述最优变换组合；通过基于与所述第一子分区相邻的邻近重建样点对所述第一子分区执行帧内预测来导出所述第一子分区的预测样点；通过将所述第一子分区的所述残差样点与所述第一子分区的所述预测样点相加来导出所述第一子分区的重建样点；并且通过基于所述第一子分区的所述重建样点对第二子分区执行帧内预测来导出所述第二子分区的预测样点。10.根据本公开的第三方面，提供了一种非暂态计算机可读存储介质，其中存储有用于由具有一个或更多个处理器的计算设备执行的多个程序。当所述多个程序由所述设备的所述一个或更多个处理器执行时，使所述计算设备执行：将视频数据的块分割为多个子分区，其中每个子分区包括n×m个样点，其中n和m是水平方向或垂直方向上的样点的数量；基于当前块的邻近块的帧内预测模式获得多个最可能帧内预测，并且确定用于预测所述块子分区的样点的帧内预测模式；针对每个子分区从dct‑ii变换核、dst‑vii变换核和dct‑viii变换核中选择最优变换组合，其中选择最优变换组合包括将多重变换选择mts模式应用于所述isp，其中所述最优变换组合可由一个mts标志和一个mts索引指示；获得第一子分区的残差系数，并且通过对所述第一子分区的所述残差系数执行反量化来导出所述第一子分区的反量化的残差系数。11.所述多个程序还可使所述一个或更多个处理器执行：通过在水平方向和垂直方向上对所述第一子分区的反量化的残差系数执行逆变换来导出所述第一子分区的残差样点，其中所述逆变换可基于所述第一子分区的所述最优变换组合；通过基于与所述第一子分区相邻的邻近重建样点对所述第一子分区执行帧内预测来导出所述第一子分区的预测样点；通过将所述第一子分区的所述残差样点与所述第一子分区的所述预测样点相加来导出所述第一子分区的重建样点；并且通过基于所述第一子分区的所述重建样点对第二子分区执行帧内预测来导出所述第二子分区的预测样点。12.应当理解，前述一般描述和以下详细描述都仅是示例性和说明性的，并不限制如所要求保护的本发明。附图说明13.并入本说明书中并构成本说明书的一部分的附图示出了与本公开一致的示例，并且与描述一起用于解释本公开的原理。14.图1是根据本公开的示例的编码器的框图。15.图2是根据本公开的示例的解码器的框图。16.图3是示出根据本公开的示例的用于对视频信号进行解码的帧内子分区(isp)方法的流程图。17.图4是示出根据本公开的示例的用于将多重变换选择(mts)模式应用于isp的方法的流程图。18.图5a是示出根据本公开的示例的多类型树结构中的块分割的示图。19.图5b是示出根据本公开的示例的多类型树结构中的块分割的示图。20.图5c是示出根据本公开的示例的多类型树结构中的块分割的示图。21.图5d为示出根据本公开的示例的多类型树结构中的块分割的示图。22.图5e为示出根据本公开的示例的多类型树结构中的块分割的示图。23.图6是示出本公开的示例的通用视频编解码(vvc)中的帧内模式的示图。24.图7是示出根据本公开的示例的vvc中用于帧内预测的多参考线的示图。25.图8a是示出根据本公开的示例的用于帧内预测的参考样点和角度方向的示图。26.图8b是示出根据本公开的示例的用于帧内预测的参考样点和角度方向的示图。27.图8c是示出根据本公开的示例的用于帧内预测的参考样点和角度方向的示图。28.图9是示出根据本公开的示例的用于一个编码块的pdpc的邻近重建样点的位置的示图。29.图10a是示出根据本公开的示例的块的sdip分割的示图。30.图10b是示出根据本公开的示例的块的sdip分割的示图。31.图10c是示出根据本公开的示例的块的sdip分割的示图。32.图11a是示出根据本公开的示例的有效帧内方向的范围与所使用的参考样点的比较的示图。33.图11b是示出根据本公开的示例的有效帧内方向的范围与所使用的参考样点的比较的示图。34.图12是示出根据本公开的示例的用于一个isp子块的帧内预测的有效帧内模式和参考样点的示图。35.图13是示出根据本公开的示例的水平分割中的非第一子分区的不可用参考样点的示图。36.图14是示出根据本公开的示例的导出用于水平分割中的非第一子分区的不可用参考样点的替代参考样点的示图。37.图15是示出根据本公开的示例的导出用于垂直分割中的非第一子分区的不可用参考样点的替代参考样点的示图。38.图16是示出根据本公开的示例的导出用于水平分割中的非第一子分区的不可用参考样点的替代参考样点的示图。39.图17是示出根据本公开的示例的与用户接口耦合的计算环境的示图。具体实施方式40.现在将详细参照示例实施例，其示例在附图中示出。以下描述参照附图，其中不同附图中的相同数字表示相同或相似的元件，除非另有表示。在示例实施例的以下描述中阐述的实施方式不表示与本公开一致的所有实施方式。相反，它们仅是与如所附权利要求中描述的与本公开相关的方面一致的装置和方法的示例。41.本公开中使用的术语仅用于描述特定实施例的目的，并不旨在限制本公开。如在本公开和所附权利要求中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文另有明确说明。还应当理解，本文使用的术语“和/或”旨在表示并包括一个或更多个相关联的所列项目的任何或所有可能的组合。42.应当理解，尽管本文可使用术语“第一”、“第二”、“第三”等来描述各种信息，但是信息不应受这些术语的限制。这些术语仅用于将一类信息与另一类信息区分开。例如，在不脱离本公开的范围的情况下，第一信息可被称为第二信息；并且类似地，第二信息也可被称为第一信息。如本文所使用的，根据上下文，术语“如果”可被理解为意指“当......时”或“在......时”或“响应于判断”。43.hevc标准的第一版本在2013年10月完成，与前一代视频编解码标准h.264/mpegavc相比，hevc标准的第一版本提供大约50％的比特率节省或同等的感知质量。尽管hevc标准提供与其前身相比显著的编解码改进，但有证据表明可利用额外编解码工具实现优于hevc的编解码效率。基于此，vceg和mpeg都开始了用于未来视频编解码标准化的新编解码技术的探索工作。itu‑tvecg和iso/iecmpeg在2015年10月形成了一个联合视频探索小组(jvet)，以开始对可实现显著提高编解码效率的先进技术的重要研究。被称为联合探索模型(jem)的一个参考软件由jvet通过在hevc测试模型(hm)之上集成若干额外编解码工具来维护。44.在2017年10月，由itu‑t和iso/iec发布了关于具有超出hevc的能力的视频压缩的联合提议呼吁(cfp)。在2018年4月，在第10次jvet会议上接收并评估了23个cfp回应，其展示了超过hevc约40％的压缩效率增益。基于这样的评估结果，jvet发起新项目以开发被命名为通用视频编解码(vvc)的新一代视频编解码标准。在同月，建立了一个被称为vvc测试模型(vtm)的参考软件代码库，用于展示vvc标准的参考实现。45.类似于hevc，vvc建立在基于块的混合视频编解码框架上。图1(下面描述)给出了通用的基于块的混合视频编码系统的框图。输入视频信号被逐块(称为编码单元(cu))地处理。在vtm‑1.0中，cu可多达128×128个像素。然而，与仅基于四叉树对块进行分割的hevc不同，在vvc中，一个编码树单元(ctu)被划分为多个cu以适应基于四叉树/二叉树/三叉树的变化的局部特性。另外，hevc中的多个分区单元类型的概念被移除，即，对cu、预测单元(pu)和变换单元(tu)的区分不再存在于vvc中；相反，每个cu始终被用作用于预测和变换两者的基本单元，而无需进一步的分割。在多类型树结构中，首先通过四叉树结构对一个ctu进行分割。然后，可通过二叉和三叉树结构进一步对每个四叉树叶节点进行分割。如图5a、图5b、图5c、图5d和图5e(如下所述)所示，存在五种划分类型：四元分割、水平二元分割、垂直二元分割、水平三元分割和垂直三元分割。在图1中(如下所述)，可执行空间预测和/或时间预测。空间预测(或“帧内预测”)使用来自同一视频图片/条带中的已经编码的邻近块的样点(其被称为参考样点)的像素来预测当前视频块。空间预测减少了视频信号中固有的空间冗余。时间预测(也被称为“帧间预测”或“运动补偿预测”)使用来自已经编码的视频图片的重建像素来预测当前视频块。时间预测减少了视频信号中固有的时间冗余。对于给定cu的时间预测信号通常由一个或更多个运动矢量(mv)用信号发送，运动矢量指示当前cu与其时间参考之间的运动的量和方向。此外，当支持多个参考图片时，另外发送一个参考图片索引，其用于识别时间预测信号来自所存储的参考图片中的哪个参考图片。在空间和/或时间预测之后，编码器中的模式决策框例如基于率失真优化方法来选择最优预测模式。然后从当前视频块减去预测块；并且使用变换对预测残差进行去相关并进行量化。量化的残差系数被反量化和逆变换以形成重建残差，然后重建残差被加回到预测块以形成cu的重建信号。在将重建cu放入参考图片存储器并用于对未来视频块进行编解码之前，可进一步对重建cu应用环路滤波，诸如去块滤波器、样点自适应偏移(sao)和自适应环路滤波器(alf)。为了形成输出视频比特流，编码模式(帧间或帧内)、预测模式信息、运动信息和量化的残差系数都被发送到熵编码单元以进一步压缩和打包以形成比特流。46.图2(下面描述)给出了基于块的视频解码器的一般框图。视频比特流首先在熵解码单元被熵解码。编码模式和预测信息被发送到空间预测单元(当帧内编码时)或时间预测单元(当帧间编码时)以形成预测块。残差变换系数被发送到反量化单元和逆变换单元以重建残差块。然后预测块和残差块相加在一起。重建块可在其被存储在参考图片存储器之前进一步被执行环路滤波。然后参考图片存储器中的重建视频被发送出去以驱动显示设备，以及用于预测未来的视频块。47.通常，在vvc中应用的基本帧内预测方案与hevc的基本帧内预测方案保持相同，除了若干模块被进一步扩展和/或改进，例如帧内子分区(isp)编码模式、具有广角帧内方向的扩展帧内预测、位置相关帧内预测组合(pdpc)和4抽头帧插值。本公开的主要焦点在于改进vvc标准中的现有isp设计。然而，在下文中，简要回顾包括在vvc中且与本公开中所提出的技术密切相关的其它编解码工具(例如，帧内预测和变换编解码中的工具)。48.图1展示了典型的编码器100。编码器100具有视频输入110、运动补偿112、运动估计114、帧内/帧间模式决策116、块预测因子140、加法器128、变换130、量化132、预测相关信息142、帧内预测118、图片缓冲器120、反量化134、逆变换136、加法器126、存储器124、环路滤波器122、熵编码138和比特流144。49.图2展示了典型的解码器200的框图。解码器200具有比特流210、熵解码212、反量化214、逆变换216、加法器218、帧内/帧间模式选择220、帧内预测222、存储器230、环路滤波器228、运动补偿224、图片缓冲器226、预测相关信息234和视频输出232。50.图3展示了根据本公开的用于对视频信号进行解码的示例isp方法。51.在步骤310，将视频数据的块分割为多个子分区，其中每个子分区可包括n×m个样点，其中n和m是水平方向或垂直方向上的样点的数量。52.在步骤312，基于当前块的邻近块的帧内预测模式获得多个最可能帧内预测，并且确定用于预测块子分区的样点的帧内预测模式。53.在步骤314，获得第一子分区的残差系数，并通过对第一子分区的残差系数执行反量化来导出第一子分区的反量化的残差系数。54.在步骤316，从变换核选择最优变换组合，并且通过在水平方向和垂直方向上对第一子分区的反量化的残差系数执行逆变换来导出第一子分区的残差样点，其中选择最优变换组合包括将多重变换选择(mts)模式应用于isp，其中mts将核变换引入到从块分割出的子分区，并且基于mts选择可选的变换组合。55.在步骤318，通过基于与第一子分区相邻的邻近重建样点对第一子分区执行帧内预测来导出第一子分区的预测样点。56.在步骤320，通过将第一子分区的残差样点与第一子分区的预测样点相加来导出第一子分区的重建样点。57.在步骤322，通过基于第一子分区的重建样点对第二子分区执行帧内预测来导出第二子分区的预测样点。58.图4展示了根据本公开的用于将mts模式应用于isp的示例方法。59.在步骤410，以当前块级提供mts标志。60.在步骤412，当应用mts时，针对被分割的块的至少一个子分区来选择变换。61.在步骤414，针对块内的子分区同时启用或禁用mts模式。62.图5a展示了示出根据本公开的多类型树结构中的块四元分割的示图。63.图5b展示了示出根据本公开的多类型树结构中的块垂直二元分割的示图。64.图5c展示了示出根据本公开的多类型树结构中的块水平二元分割的示图。65.图5d展示了示出根据本公开的多类型树结构中的块垂直三元分割的示图。66.图5e展示了示出根据本公开的多类型树结构中的块水平三元分割的示图。67.具有广角帧内方向的帧内预测模式68.类似于hevc，vvc使用与一个当前cu邻近(即，上方或左侧)的先前解码样点集来预测cu的样点。然而，为了捕获自然视频中存在的更精细的边缘方向(特别是对于高分辨率的视频内容，例如4k)，角度帧内模式的量从hevc中的33扩展到vvc中的93。除了角度方向之外，与hevc相同的平面模式(其假设具有从边界导出的水平和垂直斜率的逐渐变化的表面)和dc模式(其假设平坦表面)也被应用于vvc标准中。图6(如下所述)示出了如vvc标准中定义的现有帧内模式。类似于hevc中的帧内预测，vvc中的所有帧内模式(即，平面、dc和角度方向)利用预测块上方和左侧的邻近重建样点集作为用于帧内预测的参考。然而，与仅重建样点的最近行/列(即，下文描述的图7中的线0)作为参考的hevc不同，在vvc中引入多参考线(mrl)，其中两个额外行/列(即，下文描述的图7中的线1和线3)用于帧内预测。将所选的参考行/列的索引从编码器用信号发送到解码器。当非最近行/列被选择时，从可用于预测当前块的帧内模式集合中排除平面模式和dc模式。假设最近的邻近者，图8a、图8b和图8c(下面描述)示出了在vvc中用于导出一个帧内块的预测样点的参考样点的位置。如图8a、图8b和图8c所示，因为应用了四叉/二叉/三叉树分区结构，所以除了正方形形状的编码块之外，还存在矩形编码块用于vvc的帧内预测。由于一个给定块的宽度和高度不等，所以针对不同的块形状来选择各种角度方向集合，这也被称为广角帧内预测。具体地，对于正方形和矩形编码块，除了平面模式和dc模式之外，对于每个块形状还支持93个角度方向中的65个角度方向，如表1所示。这种设计不仅可有效地捕获通常存在于视频中的方向结构(通过基于块形状自适应地选择角度方向)，而且还可确保针对每个编码块启用总共67个帧内模式(即，平面、dc和65个角度方向)。这可实现用信号发送帧内模式的良好效率，同时提供跨不同块尺寸的一致设计。69.表1vvc中用于不同块形状的帧内预测的选择的角度方向70.[0071][0072]图6展示了根据本公开的vvc中的帧内模式的示图。[0073]图7展示了根据本公开的vvc中用于帧内预测的多参考线。[0074]图8a展示了根据本公开的用于平矩形块(w/h＝2)的帧内预测的参考样点和角度方向的示图。[0075]图8b展示了根据本公开的用于高矩形块(w/h＝1/2)的帧内预测的参考样点和角度方向的示图。[0076]图8c展示了根据本公开的用于正方形块(w＝h)的帧内预测的参考样点和角度方向的示图。[0077]位置相关帧内预测组合[0078]如前所述，帧内预测样点从未被滤波或被滤波的邻近参考样点集中生成，这可能沿着当前编码块与其邻近者之间的块边界引入不连续性。为了解决这种问题，在hevc中，通过将dc预测模式、水平预测模式(即，模式18)和垂直预测模式(即，模式50)的预测样点的第一行/列预测样点与未被滤波的参考样点进行组合，利用2抽头滤波器(用于dc模式)或基于梯度的平滑滤波器(用于水平预测模式和垂直预测模式)来应用边界滤波。[0079]vvc中的位置相关帧内预测组合(pdpc)工具通过采用帧内预测样点与未被滤波的参考样点的加权组合来扩展上述构思。在当前的vvc工作草案中，pdpc在无需信令的情况下针对以下帧内模式被启用：平面、dc、水平(即，模式18)、垂直(即，模式50)、接近左下对角线方向的角度方向(即，模式2、3、4、…、10)和接近右上对角线方向的角度方向(即，模式58、59、60、…、66)。假设定位为坐标(x,y)的预测样点是pred(x,y)，其在pdpc之后的相应值被计算为[0080]pred(x,y)＝(wl×r‑1,y wt×rx,‑1–wtl×r‑1,‑1 (64–wl–wt wtl)×pred(x,y) 32)>>6[0081]其中rx,‑1,r‑1,y分别表示位于当前样点(x，y)的顶部和左侧的参考样点，并且r‑1,‑1表示位于当前块的左上角的参考样点。图8a、图8b和图8c示出了用于在pdpc过程期间与当前预测样点组合的参考样点的位置。根据预测模式和样点位置来自适应地选择等式(1)中的权重wl,wt和wtl，如下所述，其中假设当前编码块的尺寸为w×h:[0082]对于dc模式，[0083]wt＝32>>((y<<1)>>shift),wl＝32>>((x<<1)>>shift),wtl＝(wl>>4) (wt>>4)[0084]对于平面模式，[0085]wt＝32>>((y<<1)>>shift),wl＝32>>((x<<1)>>shift),wtl＝0[0086]对于水平模式：[0087]wt＝32>>((y<<1)>>shift),wl＝32>>((x<<1)>>shift),wtl＝wt[0088]对于垂直模式：[0089]wt＝32>>((y<<1)>>shift),wl＝32>>((x<<1)>>shift),wtl＝wl[0090]对于左下对角线方向：[0091]wt＝16>>((y<<1)>>shift),wl＝16>>((x<<1)>>shift),wtl＝0[0092]对于右上对角线方向：[0093]wt＝16>>((y<<1)>>shift),wl＝16>>((x<<1)>>shift),wtl＝0[0094]其中shift＝(log2(w)–2 log2(h)–2 2)>>2。[0095]多重变换选择和形状自适应变换选择[0096]除了在hevc中使用的离散余弦变换ii(dct‑ii)变换之外，在vvc中，还通过引入离散余弦变换viii(dct‑viii)、离散正弦变换iv(dst‑iv)和离散正弦变换vii(dst‑vii)的额外核变换来启用多重变换选择(mts)工具。在vvc中，通过向比特流用信号发送一个mts标志，在编码块级启用对变换的自适应选择。具体地，当对于一个块来说mts标志等于0时，在水平方向和垂直方向上应用一对固定变换(例如，dct‑ii)。否则(当mts标志等于1时)，将针对该块进一步用信号发送两个额外标志以指示用于每个方向的变换类型(dct‑viii或dst‑vii)。[0097]另一方面，由于在vvc中引入了基于四叉/二叉/三叉树的块分割结构，所以帧内预测的残差的分布与块形状高度相关。因此，当禁用mts(即，对于一个编码块来说mts标志等于0)时，将一种形状自适应变换选择方法应用于所有帧内编码块，在该方法中，基于当前块的宽度和高度隐式地启用dct‑ii和dst‑vii变换。更具体地，对于每个矩形块，该方法在与一个块的较短边相关联的方向上使用dst‑vii变换，并且在与该块的较长边相关联的方向上使用dct‑ii变换。对于每个正方形块，在两个方向上应用dst‑vii。另外，为避免以不同块尺寸引入新变换，仅在一个帧内编码块的较短边等于或小于16时启用dst‑vii变换。否则，始终应用dct‑ii变换。表2示出了vvc中的基于形状自适应变换选择方法的用于帧内编码块的所启用的水平变换和垂直变换。[0098]表2vvc中的用于帧内块的形状自适应变换选择[0099][0100]帧内子分区编码模式[0101]常规帧内模式仅利用与一个编码块邻近的重建样点来生成块的帧内预测样点。基于这种方法，预测样点和参考样点之间的空间相关性与预测样点和参考样点之间的距离大致成比例。因此，内部部分处的样点(尤其是位于块的右下角处的样点)通常具有比靠近块边界的样点更差的预测质量。为了进一步提高帧内预测效率，很久以前提出了短距离帧内预测(sdip)，并且在hevc标准的开发期间进行了很好地研究。该方法将一个帧内编码块水平地或垂直地划分为多个子块以进行预测。通常，正方形块被划分为四个子块。例如，8×8块可被划分为四个2×8子块或四个8×2子块。这种基于子块的帧内预测的一种极端情况是所谓的基于线的预测，其中块被划分为1‑d行/列以用于预测。例如，一个w×h(宽度×高度)块可被划分为尺寸为w×1的h个子块或尺寸为1×h的w个子块以用于帧内预测。所得到的行/列中的每一个按照与普通2维(2‑d)块(如图1所示)相同的方式进行编解码，即，它由可用帧内模式之一被预测，并且预测误差基于变换和量化被去相关并被发送到解码器以进行重建。因此，一个子块(例如，行/列)中的重建样点可被用作用于预测下一子块中的样点的参考。重复上述过程，直到当前块内的所有子块被预测和编解码为止。另外，为减少信令开销，一个编码块内的所有子块共享相同的帧内模式。[0102]在sdip的情况下，不同的子块分区可提供不同的编解码效率。一般来说，基于线的预测提供最优编解码效率，这是因为它在不同分区之间提供“最短预测距离”。另一方面，对于编解码器硬件实现，它也具有最差的编码/解码吞吐量问题。例如，考虑具有4×4子块的块与具有4×1或1×4子块的相同块，后一种情况仅是前一种情况的吞吐量的四分之一。在hevc中，亮度的最小帧内预测块尺寸是4×4。[0103]最近，被称为子分区预测(isp)的视频编解码工具被引入到vvc中。isp与sdip在概念上非常相似。具体地，根据块尺寸，isp在水平方向或垂直方向上将当前编码块划分为2或4个子块，并且每个子块包含至少16个样点。图10a、图10b、图10c(下面描述)示出了针对不同编码块尺寸的所有可能的分割情况。此外，以下主要方面也被包括在当前isp设计中以处理isp与vvc中的其它编解码工具的交互：[0104]与广角帧内方向的交互：isp与广角帧内方向组合。在当前设计中，原始编码块的块尺寸(即，宽度/高度比)用于确定是应该应用普通帧内方向还是应该应用其对应的广角帧内方向。换句话说，这里使用块在子块分割之前的块尺寸。[0105]与多参考线的交互：isp不能与多参考线共同启用。具体地，在当前的vvc信令设计中，在mrl索引之后用信号发送isp启用/禁用标志。当一个帧内块具有一个非零mrl索引(即，参考非最近邻近样点)时，isp启用/禁用标志不用信号发送而被推断为0，即，在这种情况下，针对编码块自动禁用isp。[0106]与最可能模式的交互：类似于普通帧内模式，通过最可能模式(mpm)机制用信号发送用于一个isp块的帧内模式。然而，与普通帧内模式相比，对用于isp的mpm方法进行以下修改：1)每个isp块仅启用包括在mpm列表中的帧内模式并且禁用不在mpm列表中的所有其它帧内模式；2)对于每个isp块，其mpm列表排除dc模式并且分别优先化用于isp水平分割的水平帧内模式和用于isp垂直分割的垂直模式。[0107]与多重变换选择的交互：isp与mts排他地应用，即，当一个编码块使用isp时，其mts标志不用信号发送，而是始终被推断为0，即，被禁用。然而，并非始终使用dct‑ii变换，而是基于块尺寸将一组固定的核变换(包括dst‑vii和dct‑ii)隐式地应用于isp编码块。具体地，假设w和h是一个isp子分区的宽度和高度，根据如表3中所描述的以下规则来选择该isp子分区的水平变换和垂直变换。[0108]表3用于isp块选择的水平变换和垂直变换[0109][0110][0111]图9展示了根据本公开的用于一个编码块的pdpc的邻近重建样点的位置。[0112]图10a展示了根据本公开的8×4块的sdip分割的示图。[0113]图10b展示了根据本公开的4×8块的sdip分割的示图。[0114]图10c展示了根据本公开的其他块的sdip分割的示图。[0115]isp的改进[0116]尽管vvc中的isp工具可提高帧内预测效率，但是仍然存在进一步改善其性能的空间。同时，为了有效的编解码器硬件实现，还需要简化现有isp的一些部分。具体地，在本公开中已经认识到现有isp设计中的以下问题。[0117]首先，对于实际编解码器设计，为了最小化isp的实现成本，针对isp块最大限度地重新使用普通帧内块的现有帧内预测模块(例如，参考样点访问、帧内样点预测等)是更合理的。然而，如在“帧内子分区编码模式”部分中所讨论的，当isp与广角帧内预测组合时，针对每个子块的关于原始帧内模式(即，在编码块级用信号发送的帧内模式)是否应该被替换为其相应的广角帧内模式的决策基于原始编码块而非正被预测的实际块(例如，子块)的尺寸/形状做出。这与非isp帧内编码块不一致，非isp帧内编码块基于其自身的块尺寸在普通帧内方向和广角帧内方向之间进行选择。据称，这种不一致设计可能导致用于硬件实现的以下复杂性问题。首先，由相同尺寸的块支持的有效帧内方向的范围在isp模式和非isp模式之间不同。其次，用于对相同尺寸的块进行帧内预测的邻近参考样点在isp模式和非isp模式之间不同。此外，为了支持由当前isp定义的有效帧内方向，与相同尺寸但不是由isp模式编码的块相比，每个子块可能需要访问更多的上方邻近参考样点或左侧邻近参考样点。[0118]为了说明上述两个问题，令w和h是一个正方形块的宽度和高度(即，w＝h)，图11a和图11b比较了当块通过普通帧内模式被编码时和当该块按照isp模式的一个子分区(假设垂直isp分割用于将编码块划分为两个子块)被编码时的两种情况之间该块的有效帧内方向的范围和所使用的参考样点。如图11a中所示，对于普通帧内模式，所支持的角度帧内方向的范围从模式2到模式66(即，覆盖从45度到‑135度的角度)。为了支持那些方向，提取2w 1个上方参考样点和2h 1个左侧参考样点以预测块内的样点。但是当通过isp模式对块进行编解码时，如图11b所示，因为父编码块是平矩形形状，所以广角帧内预测被应用于该块，使得有效角度方向从模式8到模式72(即，覆盖从63.4度到‑116.6度的角度)。相应地，需要访问3w 1个上方参考样点和3h/2 1个左侧参考样点。注意，与图11a相比，在图11b中需要从上方邻近块多访问w个参考样点。[0119]其次，如在“介绍”部分中所讨论的，由于帧内预测的残差内存在强相关性的事实，所以当mts被禁用时，dct‑ii和dst‑vii都被应用于被帧内预测的编码块。然而，如表2和表3所示，通过普通帧内模式和isp模式编码的编码块利用不同的方法来在dct‑ii和dst‑vii之间选择最优水平/垂直变换。在概念上，对最优变换的选择取决于预测残差的实际分布，其应当与块尺寸和所应用的帧内模式高度相关，而不是与关于是否应用isp的决策高度相关。另一方面，一种用于所有帧内编码块的变换选择的统一设计对于有效的硬件实现更有益。[0120]第三，如在“帧内子分区编码模式”部分中所讨论的，mrl不能与isp模式联合应用。这是通过在一个帧内块的mrl索引为非零时总是将isp标志的值推断为零来完成的。然而，mrl工具的益处主要来自以下两个方面：1)因为在变换域中应用量化/反量化，所以不同位置处的重建样点可能具有变化的重建质量，使得最近的邻近者可能并非始终是用于帧内预测的最优参考；2)在最近的邻近者中可能存在编解码噪声和遮挡，这可能导致帧内预测样点的质量下降。基于这种分析，针对isp模式禁用mrl似乎不合理。换句话说，当启用isp和mrl的组合时，可预期额外的编解码益处。[0121]图11a展示了根据本公开的一个普通w×h块的有效帧内方向的范围与所使用的参考样点的比较。[0122]图11b展示了根据本公开的一个w×hisp子块的有效帧内方向的范围与所使用的参考样点的比较。[0123]基于子块尺寸启用/禁用用于isp的广角帧内方向[0124]根据当前的vvc设计，广角帧内预测可被应用于isp编码块，并且关于原始帧内模式还是相应的广角帧内模式应被用于一个子块的决策基于整个编码块的尺寸做出。如“问题陈述”部分所指出的，这种设计不仅使isp块和非isp块之间支持的帧内方向的范围不一致，而且还可能增加需要来自上方或左侧邻近者的参考样点的数量以便预测一个块内的样点。为了实现更好的设计，在本公开的一个实施例中提出了基于编码块的isp子分区的尺寸来启用/禁用用于编码块的帧内预测的广角帧内模式，而非使用整个编码块的尺寸。使用图11中的相同示例，图12示出了当应用所提出的方法时每个isp子分区的有效帧内方向的范围和所使用的参考样点。从图12可看出，在应用所提出的方法之后，每个子块的支持的帧内模式的范围从模式2到模式66(即，从45度到‑135度)，并且帧内预测所需的相应参考样点包括来自上方邻近者的2w 1个参考样点和来自左侧邻近者的2h 1个参考样点。所有这些统计量保持与图11a中的相同尺寸(即，w×h)的一个普通帧内块的统计量相同。因此，所提出的方法可提供一种用于帧内块的广角帧内预测的协调设计，而不管帧内块是用isp模式编码还是不用isp模式编码。[0125]另外，在当前vtm‑3.0中，最大帧内编码块宽度或高度为64，并且最小帧内编码块宽度或高度为4。相应地，一个帧内块的宽高比可以是m:1或1:m，其中m可以是1、2、4、8和16。然而，在启用isp之后，一个子分区的宽度或高度可低至2个样点，并且1:32和/或32:1的宽高比也变得可能。因此，当基于子块尺寸启用/禁用用于isp的广角帧内预测时，在定义针对isp支持的广角帧内方向时，应该引入一对宽高比，即32:1和1:32。为了实现这个，需要将一个新元素引入angtable[]和invangtable[]中，其定义了各种帧内角度的tan值和atan值，如表4所示，其中灰色元素是由于isp模式而新引入的广角帧内方向。[0126]表4用于角度帧内预测的修改的angtable[]和invangtable[][0127][0128][0129]根据本公开的另一实施例，不是在表4中添加新元素来处理具有1:32和/或32:1的新宽高比的子块的帧内预测，而是可针对这种情况始终禁用sip。换句话说，在解码器侧，每当所得到的子块具有32:1和/或1:32的宽高比时，sip模式被推断为0(即，禁用)。[0130]根据本公开的第三实施例，不是在表4中添加新元素来处理具有1:32和/或32:1的新宽高比的子块的帧内预测，而是将用于1:16和16:1的宽高比的相同帧内预测方向集合分别用于具有1:32和32:1的宽高比的子块。[0131]图12展示了根据本公开的当基于子块尺寸启用/禁用广角帧内预测时用于一个isp子块的帧内预测的有效帧内模式和参考样点。[0132]用于帧内编码块的统一变换选择[0133]在当前的vvc中，当mts被禁用时，应用不同的方法来针对非isp编码块(如表2所示)和isp编码块(如表3所示)从dct‑ii和dst‑vii中选择最优水平/垂直变换。如在“问题陈述”部分中所分析的，这种设计可能不合理，这是因为针对每个块/子块的帧内预测残差的统计分布应该不依赖于isp模式是否被应用于当前编码块。为了实现更统一的设计，下面提出了两种方法来协调用于isp编码块和非isp编码块的变换选择方法。[0134]在第一种方法中，提出了将非isp编码块(如表2所示)的变换选择方法的应用扩展到isp编码块。具体地，通过这种方法，非isp编码块的变换选择方法保持与表2中的现有设计相同，而isp编码块的变换选择方法被修改为如下：当一个isp编码块被划分为矩形子分区时，离散正弦变换vii(dst‑vii)dst‑vii被应用于每个isp子分区的较短尺寸，并且离散余弦变换ii(dct‑ii)被应用于子分区的较长尺寸；否则，当isp编码块被划分为正方形子分区时，dst‑vii被应用于水平方向和垂直方向两者。另外，为避免引入新变换尺寸，dst‑vii仅在子分区的相应尺寸等于或小于16(表2中的相同约束设计)时被应用。[0135]在第二种方法中，提出了将isp编码块(如表3所示)的变换选择方法的应用扩展到非isp块。在该方法中，isp子分区的变换选择方法保持与表3中的现有设计相同，并且非isp编码块的变换选择被修改为基于如表3中所指定的编码块尺寸和所应用的帧内模式。[0136]isp编码块和非isp编码块的mpm生成方法的协调[0137]如在“帧内子分区编码模式”部分中所讨论的，与非isp编码块相比，isp模式利用一种不同的方法来形成mpm候选列表，mpm候选列表不包括dc模式并且基于所应用的分割方向来优先化一些相邻的水平帧内模式或一些相邻的垂直帧内模式。然而，相应的编码益处可能有限。出于统一的目的，在本公开中提出了使用与用于非isp编码块的mpm列表生成方法相同的mpm列表生成方法来生成isp块的mpm候选。[0138]用于isp编码块的更有效的mpm生成方法[0139]在用于isp编码块的mpm生成保持与用于非isp编码块的mpm生成不同的情况下，可改进vvc中用于isp编码块的mpm生成的当前设计以获得更好的编码效率。根据本公开，当生成用于isp编码块的mpm时，当对当前块进行水平分割时，从‑14到18范围内的帧内预测方向(除了平面的方向0和dc的方向1)被排除在选择之外，如图6所示。这种排除的动机是这些预测方向不太可能为isp模式下水平分割出的子块提供预测益处。同样地，当生成用于isp编码块的mpm时并且当对当前块进行垂直分割时，从‑50到80范围内的帧内预测方向被排除在选择之外(如图6所示)。[0140]根据本公开，当基于上述规则从用于isp编码块的mpm选择排除这种帧内预测方向时，可添加一些其他帧内预测方向作为替代。在一个示例中，当存在其相应的广角帧内预测方向时，广角帧内预测方向可被用作替代并放入mpm列表中。在另一示例中，与已在mpm列表中的帧内模式邻近的某个帧内预测方向可被用作替代。[0141]isp与mrl的组合[0142]在当前的vvc中，当所使用的参考样点不是来自编码块的最近邻域(即，mrl索引非零)时，通过强制isp标志值为零(即，禁用)，使isp模式和mrl模式不能被联合应用于一个帧内编码块。如前所述，isp和mrl从两个不同的方面提高了帧内编码效率。首先，isp通过缩短预测样点与参考样点之间的距离来以帧内预测效率为目标。其次，mrl以减轻存在于最近邻近样点中的编码噪声和遮挡对整体帧内编码性能的负面影响为目标。因此，在可通过isp和mrl实现的编码益处之间几乎没有重叠。为了进一步提高帧内预测的效率，在本公开中，提出了针对一个帧内编码块启用isp模式和mrl模式的组合。[0143]在一个实施例中，提出了在mrl索引之前或之后用信号发送一个isp标志，并且mrl索引由同一isp编码块中的所有子分区共享，即，所有子分区可使用它们各自的重建样点的第i行/列(如mrl索引所指示的)作为参考来生成帧内预测样点。[0144]在另一实施例中，提出了允许每个子分区参考重建邻近样点的不同行/列。具体地，在该方法中，在isp标志之后用信号发送mrl索引。当isp标志等于零时(即，编码块未被分割)，将用信号发送一个mrl索引，其被应用于确定整个编码块的参考样点；否则(isp标志等于1)，根据编码块中的子分区的数量，将用信号发送多个mrl索引，每个子分区有一个mrl索引，以单独指示用于导出每个isp子分区的帧内预测的相应参考样点的位置。[0145]用于isp的扩展参考样点[0146]如图13所示，用于非第一帧内子分区的参考样点可能不可用。在isp的当前设计中，最接近的可用参考样点被用作那些不可用参考样点的替代。为了提高isp的预测效率，本公开使用不同方案来导出那些不可用参考样点的替代参考样点。[0147]在一个实施例中，当前编码块(或cu)的参考样点被用作那些不可用参考样点的替代参考样点。如图14和图15所示，例如，每个不可用参考样点的替代参考样点是从由角度帧内预测模式指示的当前编码块(或cu)的参考样点导出的。当生成替代参考样点时，这里也可应用由常规帧内预测使用的插值滤波器或参考样点平滑滤波器。此外，当预测模式是dc模式或平面模式时，不需要额外过程来导出替代参考样点。[0148]在又一实施例中，部署简单复制以生成替代参考样点，如图16所示。[0149]所提出的isp扩展样点生成方法(如图14、图15和图16所示)可与本部分中提出的其他isp改进/简化方法自由组合。在一个特定示例中，提出了将isp扩展样点生成方法与在“基于子块尺寸启用/禁用用于isp的广角帧内方向”部分(即基于子分区尺寸确定是否启用/禁用广角帧内方向)中的isp广角帧内方向进行组合。当启用这种组合时，因为非第一子分区的不可用参考样点是从第一子分区的邻近参考样点生成的，所以可能需要第一子分区的更多邻近参考样点，这是由于以下事实：由非第一子分区使用的替代参考样点的数量取决于根据子块尺寸而非编码块尺寸导出的子分区的相应广角帧内方向。换句话说，这种设计可潜在地增加第一子分区的访问的参考样点的数量。为了避免这种复杂度增加，在本公开的一个实施例中，提出了通过填充子分区的原始参考样点区域中的最近参考样点的值来生成那些额外参考。在另一实施例中，提出了将一个非第一子分区的帧内模式裁剪为不需要使用除第一子分区的参考样点之外的额外参考样点的最接近帧内模式。[0150]图13展示了根据本公开的水平分割中的非第一子分区的不可用参考样点；在垂直分割中的非第一子分区中发生相同的情况。[0151]图14展示了根据本公开的导出水平分割中的非第一子分区的不可用参考样点的替代参考样点的图示；根据帧内预测模式从当前编码块的参考样点导出替代参考样点。[0152]图15展示了根据本公开的导出垂直分割中的非第一子分区的不可用参考样点的替代参考样点的图示；根据帧内预测模式从当前编码块的参考样点导出替代参考样点。[0153]图16展示了根据本公开的导出水平分割中的非第一子分区的不可用参考样点的替代参考样点的图示；替代参考样点直接从当前编码块的参考样点复制；相同的方法适用于垂直分割中的非第一子分区。[0154]图17展示了与用户接口1760耦合的计算环境1710。计算环境1710可以是数据处理服务器的一部分。计算环境1710包括处理器1720、存储器1740和i/o接口1750。[0155]处理器1720通常控制计算环境1710的整体操作，诸如与显示、数据采集、数据通信和图像处理相关联的操作。处理器1720可包括用于执行指令以执行上述方法中的全部或一些步骤的一个或更多个处理器。此外，处理器1720可包括促进处理器1720与其它组件之间的交互的一个或更多个模块。处理器可以是中央处理单元(cpu)、微处理器、单片机、gpu等。[0156]存储器1740被配置为存储各种类型的数据以支持计算环境1710的操作。这种数据的示例包括用于在计算环境1710上操作的任何应用或方法的指令、视频数据集、图像数据等。存储器1740可通过使用任何类型的易失性或非易失性存储器设备或其组合来实现，诸如静态随机存取存储器(sram)、电可擦除可编程只读存储器(eeprom)、可擦除可编程只读存储器(eprom)、可编程只读存储器(prom)、只读存储器(rom)、磁存储器、闪存、磁盘或光盘。[0157]i/o接口1750提供处理器1720与外围接口模块(诸如键盘、点击轮、按钮等)之间的接口。按钮可包括但不限于主页按钮、开始扫描按钮和停止扫描按钮。i/o接口1750可与编码器和解码器耦合。[0158]在实施例中，还提供了一种包括多个程序的非暂态计算机可读存储介质，诸如在计算环境1710中被包括在存储器1740中，可由处理器1720执行，用于执行上述方法。例如，非暂态计算机可读存储介质可以是rom、ram、cd‑rom、磁带、软盘、光学数据存储设备等。[0159]非暂态计算机可读存储介质中存储有用于由具有一个或更多个处理器的计算设备执行的多个程序，其中多个程序在由一个或更多个处理器执行时使计算设备执行上述用于运动预测的方法。[0160]在实施例中，计算环境1710可由用于执行上述方法的一个或更多个专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑设备(pld)、现场可编程门阵列(fpga)、图形处理单元(gpu)、控制器、微控制器、微处理器或其他电子组件来实现。当前第1页12当前第1页12