用于处理图像信息以进行图像/视频编译的方法和装置与流程

1.本技术涉及一种用于在对图像/视频进行编译时处理图像信息的方法和设备。


背景技术：

2.最近，在各种领域中对诸如4k或8k或以上超高清晰度(uhd)图像/视频的高分辨率、高质量图像/视频的需求在增加。随着图像/视频分辨率或质量变得更高，与对于常规图像/视频数据相比，发送相对更多量的信息或比特。因此，如果图像/视频数据经由诸如现有有线/无线宽带线路的介质来发送或者被存储在传统存储介质中，则容易增加用于传输和存储的成本。
3.此外，对虚拟现实(vr)和人工现实(ar)内容以及诸如全息图这样的沉浸式媒体的兴趣和需求日益增长；并且表现出与实际图像/视频不同的图像/视频特性的图像/视频(例如，游戏图像/视频)的广播也日益增长。
4.因此，需要高度高效的图像/视频压缩技术来有效地压缩并发送、存储或播放如上所述显示出各种特性的高分辨率、高质量图像/视频。


技术实现要素：

5.技术问题
6.本文档的技术主题是为了提供一种用于提高图像/视频编译效率的方法和设备。
7.本文档的另一技术主题是为了提供一种用于在图像/视频编译中高效地执行帧间预测和/或帧内预测的方法和设备。
8.本文档的再一技术主题是为了提供一种用于在对图像/视频进行编译时防止不必要的信令的方法和设备。
9.本文档的再一技术主题是为了提供一种用于在传送图像/视频信息时跳过用于帧间预测和/或帧内预测的不必要的信令的方法和设备。
10.技术方案
11.根据本文档的实施例，一种由视频解码设备执行的视频解码方法可以包括：从比特流获得图像信息，该图像信息包括与当前图片相关的图片报头，并且该当前图片包括多个切片；从图片报头解析表示用于解码过程的帧间预测操作所必需的信息是否存在于图片报头中的第一标志或表示用于解码过程的帧内预测操作所必需的信息是否存在于图片报头中的第二标志中的至少一个；通过基于第一标志或第二标志中的至少一个，对于当前图片中的切片执行帧内预测或帧间预测中的至少一个，生成预测样本；以及基于预测样本来生成重构样本。
12.根据本文档的另一实施例，一种由视频编码设备执行的视频编码方法可以包括：确定当前图片中的当前块的预测模式，该当前图片包括多个切片；基于预测模式来生成用于当前块的预测样本；基于预测模式来生成表示用于解码过程的帧间预测操作所必需的信息是否存在于与当前图片相关的图片报头中的第一信息或表示用于解码过程的帧内预测
操作所必需的信息是否存在于图片报头中的第二信息中的至少一个；以及对包括第一信息或第二信息中的至少一个的图像信息进行编码，其中第一信息和第二信息被包括在图像信息的图片报头中。
13.根据本文档的再一实施例，一种计算机可读数字存储介质，该计算机可读数字存储介质包括使解码设备执行视频解码方法的信息，其中该解码方法可以包括：从比特流获得图像信息，该图像信息包括与当前图片相关的图片报头，并且该当前图片包括多个切片；从图片报头解析表示用于解码过程的帧间预测操作所必需的信息是否存在于图片报头中的第一标志或表示用于解码过程的帧内预测操作所必需的信息是否存在于图片报头中的第二标志中的至少一个；通过基于第一标志或第二标志中的至少一个，对于当前图片中的切片执行帧内预测或帧间预测中的至少一个，生成预测样本；以及基于预测样本来生成重构样本。
14.有益效果
15.根据本文档的实施例，能够提高整体图像/视频压缩效率。
16.根据本文档的实施例，能够在图像/视频编译期间高效地执行帧间预测和/或帧内预测。
17.根据本文档的实施例，能够在图像/视频编译期间跳过不必要的信令。
18.根据本文档的实施例，能够在图像/视频传输期间防止用于帧间预测或帧内预测的不必要的语法元素的信令。
附图说明
19.图1示意性地示出可应用本公开的实施例的视频/图像编译系统的示例。
20.图2是示意性地图示可应用本公开的实施例的视频/图像编码设备的配置的图。
21.图3是示意性地图示可应用本公开的实施例的视频/图像解码设备的配置的图。
22.图4示出基于帧内预测的视频/图像编码方法的示例。
23.图5示意性地图示编码设备中的帧内预测器。
24.图6图示基于帧内预测的视频/图像解码方法的示例。
25.图7示意性地图示解码设备中的帧间预测器。
26.图8图示基于帧间预测的视频/图像编码方法的示例。
27.图9示意性地图示编码设备中的帧间预测器。
28.图10图示基于帧间预测的视频/图像解码方法的示例。
29.图11示意性地图示解码设备中的帧间预测器。
30.图12和图13示意性地图示根据本文档的实施例的视频/图像编码方法和相关组件的示例。
31.图14和图15示意性地图示根据本文档的实施例的视频/图像解码方法和相关组件的示例。
32.图16图示本文档中公开的实施例适用于的内容流传输系统的示例。
具体实施方式
33.可以各种形式修改本公开的公开内容，并且将在附图中描述和图示其具体实施
例。在本公开中使用的术语仅用于描述具体实施例，而不旨在限制本公开中的所公开的方法。单数的表达包括“至少一个”的表达，只要它被清楚地不同地解读。诸如“包括”和“具有”的术语旨在指示存在文档中使用的特征、数量、步骤、操作、元素、组件或其组合，并且因此应当理解，不排除存在或添加一个或多个不同特征、数量、步骤、操作、元素、组件或其组合的可能性。
34.此外，本文档中描述的附图的每个配置是用于解释作为彼此不同的特征的功能的独立图示，并且不意味着每个配置由相互不同的硬件或不同的软件实现。例如，可将两种或更多种配置组合以形成一种配置，并且还可将一种配置分成多种配置。在不脱离本公开的所公开的方法的主旨的情况下，组合和/或分离配置的实施例包括在本公开的公开内容的范围内。
35.本文档涉及视频/图像编译。例如，本文档中公开的方法/实施例可以应用于在通用视频编译(vvc)标准中公开的方法。此外，本文档中公开的方法/实施例可以应用于基本视频编译(evc)标准、aomedia视频1(av1)标准、第2代音频视频编译标准(avs2)或下一代视频/图像编译标准(例如，h.267、h.268等)中公开的方法。
36.在本文档呈现与视频/图像编译有关的各种实施例，并且除非另外指定，否则也可以彼此组合地执行上述实施例。
37.在本文档中，视频可以指随着时间的一系列图像。图片通常是指表示特定时间帧处的一个图像的单元，并且切片(slice)/拼块(tile)是指在编译方面构成图片的一部分的单元。切片/拼块可以包括一个或多个编译树单元(ctu)。一个图片可以由一个或多个切片/拼块组成。一个图片可以由一个或多个拼块组组成。一个拼块组可以包括一个或多个拼块。图块(brick)可以表示图片中的拼块内的ctu行的矩形区域。拼块可以被分割成多个图块，每个图块可由拼块内的一个或多个ctu行组成。未被分割成多个图块的拼块也可以被称为图块。图块扫描可以表示分割图片的ctu的特定顺序排序，其中ctu在图块内以ctu光栅扫描连续地排序，拼块内的图块以拼块的图块的光栅扫描连续地排序，并且图片中的拼块以图片的拼块的光栅扫描连续地排序。拼块是图片中的特定拼块列和特定拼块行内的ctu的矩形区域。拼块列是ctu的矩形区域，其具有等于图片的高度的高度和由图片参数集中的语法元素指定的宽度。拼块行是ctu的矩形区域，其具有由图片参数集中的语法元素指定的高度和等于图片的宽度的宽度。拼块扫描是分割图片的ctu的特定顺序排序，其中ctu在拼块中以ctu光栅扫描连续地排序而图片中的拼块以图片的拼块的光栅扫描连续地排序。切片包括可仅包含在单个nal单元中的图片的整数个图块。切片可以由多个完整图块组成，或者仅由一个拼块的连续完整图块序列组成。在本文档中，可以使用拼块组和切片来代替彼此。例如，在本文档中，拼块组/拼块组报头可以称为切片/切片报头。
38.像素或像元(pel)可以意指构成一个图片(或图像)的最小单元。另外，“样本”可用作与像素对应的术语。样本通常可以表示像素或像素值，并且可仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。
39.单元可以表示图像处理的基本单位。单元可包括图片的特定区域和与该区域有关的信息中的至少一个。一个单元可包括一个亮度块和两个色度(例如，cb、cr)块。在一些情况下，单元可与诸如块或区域这样的术语互换使用。在一般情况下，m
×
n块可包括m列和n行的样本(或样本阵列)或变换系数的集合(或阵列)。可替选地，样本可意指空间域中的像素
值，并且当这样的像素值被变换到频域时，它可意指频域中的变换系数。
40.在本文档中，术语“/”和“，”应解释为指示“和/或”。例如，表达“a/b”可以意指“a和/或b”。此外，“a、b”可以意指“a和/或b”。此外，“a/b/c”可以意指“a、b和/或c中的至少一个”。此外，“a/b/c”可以意指“a、b和/或c中的至少一个”。
41.此外，在文档中，术语“或”应解释为指示“和/或”。例如，表达“a或b”可以包括1)仅a、2)仅b和/或3)a和b两者。换句话说，本文档中的术语“或”应解释为指示“附加地或替代地”。
42.此外，本说明书中使用的括号可以意指“例如”。具体地，在表达“预测(帧内预测)”的情况下，可以指示将“帧内预测”作为“预测”的示例提出。换句话说，本说明书中的术语“预测”不限于“帧内预测”，并且可以指示将“帧内预测”作为“预测”的示例提出。此外，即使在表达“预测(即，帧内预测)”的情况下，也可以指示将“帧内预测”作为“预测”的示例提出。
43.在下文中，将参考附图详细描述本文档的实施例。另外，在所有附图中，相同的附图标记可用于指示相同的元件，并且将省略对相同元件的相同描述。
44.图1图示可应用本公开的实施例的视频/图像编译系统的示例。
45.参照图1，视频/图像编译系统可以包括第一装置(源装置)和第二装置(接收装置)。源装置可以通过数字存储介质或网络将编码的视频/图像信息或数据以文件或流的形式发送至接收装置。
46.源装置可以包括视频源、编码设备和发送器。接收装置可包括接收器、解码设备和渲染器。编码设备可被称为视频/图像编码设备，解码设备可被称为视频/图像解码设备。发送器可被包括在编码设备中。接收器可被包括在解码设备中。渲染器可包括显示器，并且显示器可被配置为单独的装置或外部部件。
47.视频源可以通过捕获、合成或生成视频/图像的处理来获取视频/图像。视频源可包括视频/图像捕获装置，和/或视频/图像生成装置。例如，视频/图像捕获装置可包括一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。例如，视频/图像生成装置可包括计算机、平板计算机和智能电话，并且可(以电子方式)生成视频/图像。例如，可通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获处理可以由生成相关数据的处理代替。
48.编码设备可以对输入视频/图像进行编码。为了压缩和编译效率，编码设备可执行诸如预测、变换和量化的一系列过程。编码的数据(编码的视频/图像信息)可按比特流的形式输出。
49.发送器可以通过数字存储介质或网络将以比特流的形式输出的编码的图像/图像信息或数据以文件或流的形式发送至接收装置的接收器。数字存储介质可包括诸如usb、sd、cd、dvd、蓝光、hdd、ssd等的各种存储介质。发送器可包括用于通过预定文件格式生成媒体文件的元件，并且可包括用于通过广播/通信网络传输的元件。接收器可接收/提取比特流并且将所接收的比特流发送至解码设备。
50.解码设备可以通过执行与编码设备的操作对应的诸如解量化、逆变换和预测的一系列过程对视频/图像进行解码。
51.渲染器可以渲染解码的视频/图像。渲染的视频/图像可通过显示器显示。
52.在本说明书中，在一个附图中单独说明的技术特征可以被单独实现，或者可以被
同时实现。
53.图2是示意性地图示本公开的实施例可以应用于的视频/图像编码设备的配置的图。在下文中，被称为视频编码设备的设备可以包括图像编码设备。
54.参照图2，编码设备200包括图像分区器210、预测器220、残差处理器230和熵编码器240、加法器250、滤波器260和存储器270。预测器220可包括帧间预测器221和帧内预测器222。残差处理器230可包括变换器232、量化器233、解量化器234和逆变换器235。残差处理器230还可包括减法器231。加法器250可被称为重构器或重构块生成器。根据实施方式，图像分区器210、预测器220、残差处理器230、熵编码器240、加法器250和滤波器260可由至少一个硬件部件(例如，编码器芯片组或处理器)配置。另外，存储器270可以包括解码图片缓冲器(dpb)，或者可以由数字存储介质配置。硬件部件还可以包括存储器270作为内部/外部部件。
55.图像分区器210可以将输入到编码设备200的输入图像(或者图片或帧)分割成一个或更多个处理单元。例如，处理单元可被称为编译单元(cu)。在这种情况下，编译单元可根据四叉树二叉树三叉树(qtbttt)结构从编译树单元(ctu)或最大编译单元(lcu)递归地分割。例如，一个编译单元可基于四叉树结构、二叉树结构和/或三元结构被分割成深度更深的多个编译单元。在这种情况下，例如，可首先应用四叉树结构，稍后可应用二叉树结构和/或三元结构。可替选地，可首先应用二叉树结构。可基于不再分割的最终编译单元来执行根据本公开的编译过程。在这种情况下，根据图像特性基于编译效率等，最大编译单元可用作最终编译单元，或者如果需要，编译单元可被递归地分割成深度更深的编译单元并且具有最优大小的编译单元可用作最终编译单元。这里，编译过程可包括预测、变换和重构的过程(将稍后描述)。作为另一示例，处理单元还可包括预测单元(pu)或变换单元(tu)。在这种情况下，预测单元和变换单元可从上述最终编译单元分割或分区。预测单元可以是样本预测的单元，变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。
56.在一些情况下，单元可以与诸如块或区域这样的术语互换使用。在一般情况下，m
×
n块可表示由m列和n行组成的样本或变换系数的集合。样本通常可表示像素或像素值，可仅表示亮度分量的像素/像素值或者仅表示色度分量的像素/像素值。样本可用作与像素或像元的一个图片(或图像)对应的术语。
57.编码设备200可以从输入图像信号(原始块、原始样本阵列)减去从帧间预测器221或帧内预测器222输出的预测信号(预测块、预测样本阵列)以生成残差信号(残差块、残差样本阵列)，并且所生成的残差信号被发送到变换器232。在这种情况下，如所示，在编码器200中从输入图像信号(原始块、原始样本阵列)减去预测信号(预测块、预测样本阵列)的单元可以被称为减法器231。预测器可以对处理目标块(以下，称为当前块)执行预测并且生成包括当前块的预测样本的预测块。预测器可以确定在当前块或cu的单元中应用帧内预测还是帧间预测。如在各个预测模式的描述中稍后描述的，预测器可以生成关于预测的各种类型的信息(例如，预测模式信息)并将所生成的信息发送到熵编码器240。关于预测的信息可以由熵编码器240编码并以比特流的形式输出。
58.帧内预测器222可以参考当前图片中的样本来预测当前块。根据预测模式，所参考的样本可位于当前块附近或者可隔开。在帧内预测中，预测模式可包括多个非定向模式和
多个定向模式。例如，非定向模式可包括dc模式和平面模式。例如，根据预测方向的详细程度，定向模式可包括33个定向预测模式或65个定向预测模式。然而，这仅是示例，可根据设置使用更多或更少的定向预测模式。帧内预测器222可以使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
59.帧间预测器221可以基于参考图片上运动矢量所指定的参考块(参考样本阵列)来推导当前块的预测块。这里，为了减少在帧间预测模式下发送的运动信息量，可基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测运动信息。运动信息可包括运动矢量和参考图片索引。运动信息还可包括帧间预测方向(l0预测、l1预测、bi预测等)信息。在帧间预测的情况下，邻近块可包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可相同或不同。时间邻近块可被称为并置参考块、并置cu(colcu)等，并且包括时间邻近块的参考图片可被称为并置图片(colpic)。例如，帧间预测器221可基于邻近块来配置运动信息候选列表并且生成指示哪一候选用于推导当前块的运动矢量和/或参考图片索引的信息。可基于各种预测模式执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测器221可使用邻近块的运动信息作为当前块的运动信息。在跳过模式下，与合并模式不同，可不发送残差信号。在运动矢量预测(mvp)模式的情况下，邻近块的运动矢量可用作运动矢量预测器，并且可通过用信号通知运动矢量差来指示当前块的运动矢量。
60.预测器220可以基于稍后描述的各种预测方法来生成预测信号。例如，预测器220可以应用帧内预测或帧间预测来预测一个块，并且可以同时应用帧内预测和帧间预测。这可以被称为组合帧间和帧内预测(ciip)。此外，预测器可以基于帧内块复制(ibc)预测模式或基于调色板模式以用于预测块。ibc预测模式或调色板模式可用于游戏等的内容的图像/视频编译，例如屏幕内容编译(scc)。ibc基本上在当前图片中执行预测，但是它可以与帧间预测类似地执行在于在当前图片中推导参考块。也就是说，ibc可以使用本文档中描述的帧间预测技术中的至少一个。调色板模式可以被视为帧内编译或帧内预测的示例。当应用调色板模式时，可以基于关于调色板表和调色板索引的信息用信号通知图片中的样本值。
61.通过预测器(包括帧间预测器221和/或帧内预测器222)生成的预测信号可以用于生成重构信号或可以用于生成残差信号。
62.变换器232可以通过将变换技术应用于残差信号来生成变换系数。例如，变换技术可以包括以下中的至少一个：离散余弦变换(dct)、离散正弦变换(dst)、基于图形的变换(gbt)或条件非线性变换(cnt)。这里，当像素之间的关系信息被图示为图形时，gbt意指从图形获取的变换。cnt意指基于通过使用所有先前重构的像素生成的预测信号而获取的变换。另外，变换处理还可以应用于具有相同大小的正方形的像素块，或者还可以应用于不是正方形的可变大小的块。
63.量化器233量化变换系数并且将量化的变换系数发送到熵编码器240，并且熵编码器240编码量化的信号(关于量化的变换系数的信息)并且输出编码的信号作为比特流。关于量化的变换系数的信息可以被称为残差信息。量化器233可以基于系数扫描顺序以一维向量形式重新排列具有块形式的量化的变换系数，并且还基于一维向量形式的量化的变换系数来生成关于量化的变换系数的信息。
64.熵编码器240可以执行诸如例如指数哥伦布(golomb)、上下文自适应可变长度编
译(cavlc)、和上下文自适应二进制算术编译(cabac)等的各种编码方法。熵编码器240还可以一起或单独地对除了量化的变换系数之外的视频/图像重构所必需的信息(例如，语法元素的值等)进行编码。编码的信息(例如，编码的视频/图像信息)可以比特流的形式以网络抽象层(nal)为单位被发送或存储。视频/图像信息还可以包括关于各种参数集的信息，例如适配参数集(aps)、图片参数集(pps)、序列参数集(sps)或视频参数集(vps)。另外，视频/图像信息还可以包括一般约束信息。在该文档中，可以在视频/图像信息中包括从编码设备用信号通知/发送到解码设备的信息和/或语法元素。视频/图像信息可以通过前述编码过程来编码并且因此包括在比特流中。比特流可以通过网络被发送或者可以被存储在数字存储介质中。这里，网络可以包括广播网络和/或通信网络，并且数字存储介质可以包括诸如usb、sd、cd、dvd、蓝光、hdd、ssd等的各种存储介质。用于发送从熵编码器240输出的信号的发送单元(未示出)和/或用于存储该信号的存储单元(未示出)可以被配置为编码设备200的内部/外部元件，或者发送单元也可以被包括在熵编码器240中。
65.从量化器233输出的量化的变换系数可以用于生成预测信号。例如，可以通过解量化器234和逆变换单元235将解量化和逆变换应用于量化的变换系数来重构残差信号(残差块或残差样本)。加法器250可以将重构的残差信号与从帧间预测器221或帧内预测器222输出的预测信号相加，以生成重构信号(重构图片、重构块、重构样本阵列)。诸如在应用跳过模式时，当针对处理目标块不存在残差时，预测块可用作重构块。加法器250可以被称为恢复器或恢复块生成器。所生成的重构信号可以用于当前图片内的下一个处理目标块的帧内预测，并且，还可以在滤波之后用于下一图片的帧间预测，如下所述。
66.同时，也可以在图片编码和/或重构处理期间应用亮度映射与色度缩放(lmcs)。
67.滤波器260可以通过对重构信号应用滤波来改进主观/客观图像质量。例如，滤波器260可以通过对重构图片应用各种滤波方法来生成修改的重构图片并将修改的重构图片存储在存储器270(具体地，存储器270的dpb)中。例如，各种滤波方法可以包括去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。滤波器260可以生成与滤波有关的各种类型的信息并且将所生成的信息传送到熵编码器240，如在各个滤波方法的描述中稍后描述的。与滤波有关的信息可以由熵编码器240编码并以比特流的形式输出。
68.发送到存储器270的修改的重构图片可以用作帧间预测器221中的参考图片。当通过编码设备应用帧间预测时，可以避免编码设备200与解码设备之间的预测失配并且可以改善编译效率。
69.存储器270的dpb可以存储修正后的重构图片，以用作帧间预测器221中的参考图片。存储器270可以存储从其推导出(或编码)当前图片中的运动信息的块的运动信息和/或已经重构的图片中的块的运动信息。所存储的运动信息可以被传送到帧间预测器221，以被用作空间邻近块的运动信息或时间邻近块的运动信息。存储器270可以存储当前图片中的重构块的重构样本，并可以将重构样本传送到帧内预测器222。
70.图3是用于示意性地解释可应用本公开的实施例的视频/图像解码设备的配置的图。
71.参照图3，解码设备300可包括熵解码器310、残差处理器320、预测器330、加法器340、滤波器350和存储器360。预测器330可包括帧间预测器331和帧内预测器332。残差处理器320可包括解量化器321和逆变换器321。根据实施方式，熵解码310、残差处理器320、预测
器330、加法器340和滤波器350可由硬件部件(例如，解码器芯片组或处理器)配置。另外，存储器360可包括解码图片缓冲器(dpb)或者可由数字存储介质配置。硬件部件还可包括存储器360作为内部/外部部件。
72.当输入包括视频/图像信息的比特流时，解码设备300可重构与在图2的编码设备中处理视频/图像信息的处理对应的图像。例如，解码设备300可基于从比特流获得的块分区相关信息来推导单元/块。解码设备300可使用编码设备中应用的处理单元来执行解码。因此，例如，解码的处理单元可以是编译单元，并且编译单元可根据四叉树结构、二叉树结构和/或三叉树结构从编译树单元或最大编译单元分割。可从编译单元推导一个或更多个变换单元。通过解码设备300解码和输出的重构图像信号可通过再现设备再现。
73.解码设备300可以接收以比特流的形式从图2的编码设备输出的信号，并且可以通过熵解码器310对接收的信号进行解码。例如，熵解码器310可以解析比特流来推导图像重构(或图片重构)所需的信息(例如，视频/图像信息)。视频/图像信息还可以包括关于各种参数集的信息，例如适配参数集(aps)、图片参数集(pps)、序列参数集(sps)或视频参数集(vps)。另外，视频/图像信息还可以包括一般约束信息。解码设备还可以基于关于参数集和/或一般约束信息的信息来解码图片。稍后将在本文档中描述的用信号通知/接收的信息和/或语法元素可以通过解码过程解码且从比特流获取。例如，熵解码器310可以基于诸如指数golomb编译、上下文自适应可变长度编译(cavlc)、或上下文自适应二进制算术编译(cabac)的编译方法解码比特流内的信息，并且输出图像重构所需的语法元素和用于残差的变换系数的量化值。更具体地，cabac熵解码方法可以接收与比特流中的每个语法元素相对应的bin，通过使用解码目标语法元素信息、解码目标块的解码信息或者在先前阶段中解码的符号/bin的信息来确定上下文模型，并且通过根据所确定的上下文模型预测出现bin的概率来对bin执行算术解码，并且生成与每个语法元素的值相对应的符号。在这种情况下，cabac熵解码方法可以在确定上下文模型之后通过将解码的符号/bin的信息用于下一符号/bin的上下文模型来更新上下文模型。由熵解码器310所解码的信息之中与预测有关的信息可以被提供给预测器(帧间预测器332和帧内预测器331)，并且在熵解码器310已经执行熵解码的残差值(即，量化的变换系数和相关参数信息)可以被输入到残差处理器320。
74.残差处理器320可以推导残差信号(残差块、残差样本、残差样本阵列)。另外，由熵解码器310解码的信息之中关于滤波的信息可以被提供给滤波器350。同时，用于接收从编码设备输出的信号的接收器(未示出)还可以被配置成解码设备300的内部/外部元件，或者接收器可以是熵解码器310的组件。同时，根据该文档的解码设备可以被称为视频/图像/图片解码设备，并且解码设备可以被分类为信息解码器(视频/图像/图片信息解码器)和样本解码器(视频/图像/图片样本解码器)。信息解码器可以包括熵解码器310，并且样本解码器可以包括以下中的至少一个：解量化器321、逆变换器322、加法器340、滤波器350、存储器360、帧间预测器332和帧内预测器331。
75.解量化器321可以将量化后的变换系数解量化并输出变换系数。解量化器321可以按二维块形式重排量化后的变换系数。在这种情况下，可以基于在编码设备中执行的系数扫描顺序来执行重排。解量化器321可以使用量化参数(例如，量化步长信息)对量化后的变换系数执行解量化并且获得变换系数。
76.逆变换器322对变换系数逆变换以获得残差信号(残差块、残差样本阵列)。
77.预测器330可以对当前块执行预测并生成包括当前块的预测样本的预测块。预测器可以基于从熵解码器310输出的关于预测的信息来确定对当前块应用帧内预测还是帧间预测并且确定特定帧内/帧间预测模式。
78.预测器330可以基于下述各种预测方法来生成预测信号。例如，预测器可以应用帧内预测或帧间预测以用于预测一个块，而且可以同时应用帧内预测和帧间预测。这可以被称为组合帧间和帧内预测(ciip)。另外，预测器可以基于帧内块复制(ibc)预测模式或调色板模式来预测块。ibc预测模式或调色板模式可用于游戏等的内容的图像/视频编译，例如屏幕内容编译(scc)。ibc可以基本上执行当前图片中的预测，但是可以与帧间预测相似地执行，使得在当前图片内推导参考块。即，ibc可以使用该文档中描述的至少一个帧间预测技术。调色板模式可以被视为帧内编译或帧内预测的示例。当应用调色板模式时，关于调色板表和调色板索引的信息可以包括在视频/图像信息中并且用信号通知。
79.帧内预测器331可以通过参考当前图片中的样本来预测当前块。根据预测模式，所参考的样本可位于当前块附近或者可以与当前块隔开。在帧内预测中，预测模式可以包括多个非定向模式和多个定向模式。帧内预测器331可以通过使用应用于相邻块的预测模式来确定应用于当前块的预测模式。
80.帧间预测器332可以基于参考图片上由运动向量指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式下发送的运动信息量，可以基于相邻块与当前块之间的运动信息的相关性以块、子块或样本为单位预测运动信息。运动信息可以包括运动向量和参考图片索引。运动信息还可以包括关于帧间预测方向(l0预测、l1预测、bi预测等)的信息。在帧间预测的情况下，相邻块可以包括存在于当前图片中的空间相邻块和存在于参考图片中的时间相邻块。例如，帧间预测器332可以基于相邻块来构造运动信息候选列表并且基于所接收的候选选择信息来推导当前块的运动向量和/或参考图片索引。可以基于各种预测模式来执行帧间预测，并且关于预测的信息可以包括指示用于当前块的帧间预测模式的信息。
81.加法器340可以通过将所获取的残差信号与从预测器(包括帧间预测器332和/或帧内预测器331)输出的预测信号(预测块、预测样本阵列)相加来生成重构信号(重构图片、重构块、重构样本阵列)。如果针对处理目标块不存在残差，例如应用跳过模式的情况，预测块可以用作重构块。
82.加法器340可以被称为重构器或重构块生成器。所生成的重构信号可以用于在当前图片中将处理的下一个块的帧内预测，并且如随后描述的，还可以通过滤波来输出或者还可以用于下一个图片的帧间预测。
83.此外，具有色度缩放的亮度映射(lmcs)还可以被应用于图片解码处理。
84.滤波器350可以通过向重构信号应用滤波来改善主观/客观图像质量。例如，滤波器350可以通过向重构图片应用各种滤波方法来生成修正后的重构图片，并将修正后的重构图片存储在存储器360中，具体地，存储在存储器360的dpb中。各种滤波方法可以包括例如解块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。
85.存储在存储器360的dpb中的(修改的)重构图片可以用作帧间预测器332中的参考图片。存储器360可以存储从其中推导(解码)当前图片内的运动信息的块的运动信息和/或已经重构的图片内的块的运动信息。存储的运动信息可以被传送到帧间预测器260，以用作
空间相邻块的运动信息或时间相邻块的运动信息。存储器360可以存储当前图片内的重构块的重构样本，并且将所重构样本传送到帧内预测器331。
86.在本文档中，在编码设备200的滤波器260、帧间预测器221和帧内预测器222中描述的实施例可以被同等地应用于或对应于滤波器350、帧间预测器332和帧内预测器331。
87.可以基于以下分区结构来执行根据本文档的视频/图像编译方法。具体地，可以根据基于分区结构而推导的ctu和cu(和/或tu和pu)来执行要稍后描述的预测、残差处理((逆)变换和(解)量化)、语法元素编译和滤波的过程。块分区过程可以由上述编码设备的图像分区器210执行，并且分区相关信息可以由熵编码器240处理(编码)，并且可以被以比特流的形式传送到解码设备。解码设备的熵解码器310可以基于从比特流获得的分区相关信息来推导当前图片的块分区结构，并且基于此，可以执行用于图像解码的一系列过程(例如，预测、残差处理、块/图片重构和环路内滤波)。cu大小和tu大小可以彼此相等，或者多个tu可以存在于cu区域中。同时，cu大小可以通常表示亮度分量(样本)编译块(cb)大小。tu大小可以通常表示亮度分量(样本)变换块(tb)大小。可以根据图片/图像的颜色格式(色度格式，例如，4:4:4、4:2:2、4:2:0等)依照分量比基于亮度分量(样本)cb或tb大小来推导色度分量(样本)cb或tb大小。可以基于maxtbsize来推导tu大小。例如，如果cu大小大于maxtbsize，则可以推导maxtbsize的多个tu(tb)，并且能够以tu(tb)为单位执行变换/逆变换。此外，例如，在应用帧内预测的情况下，能够以cu(或cb)为单位推导帧内预测模式/类型，并且能够以tu(或tb)为单位执行邻近参考样本的推导和预测样本的生成。在这种情况下，一个或多个tu(或tb)可以存在于一个cu(或cb)区域中，并且在这种情况下，多个tu(或tb)可以共享相同的帧内预测模式/类型。
88.此外，在根据本文档对视频/图像进行编译时，图像处理单元可以具有分层结构。可以将一个图片划分成一个或多个拼块、图块、切片和/或拼块组。一个切片可以包括一个或多个图块。一个图块可以包括拼块中的一个或多个ctu行。切片可以包括图片的整数个图块。一个拼块组可以包括一个或多个拼块。一个拼块是在图片中的特定拼块列和特定拼块行内的ctu的矩形区域。拼块组可以依照图片中的拼块光栅扫描包括整数个拼块。切片报头可以承载能够被应用于相应切片(切片中的块)的信息/参数。如果编码/解码设备具有多核心处理器，则可以并行处理用于拼块、切片、图块和/或拼块组的编码/解码过程。在本文档中，可以互换地使用切片或拼块组。也就是说，可以将拼块组报头称作切片报头。这里，切片可以具有包括帧内(i)切片、预测(p)切片和双向预测(b)切片的切片类型之一。对于i切片中的块的预测，可以不使用帧间预测，但是可以使用仅帧内预测。即使在这种情况下，也可以在没有预测的情况下对原始样本值进行编译并用信号通知。对于p切片中的块，可以使用帧内预测或帧间预测，并且在使用帧间预测的情况下，可以使用仅单向预测。同时，对于b切片中的块，可以使用帧内预测或帧间预测，并且在使用帧间预测的情况下，可以使用最大可达双向预测。
89.依照视频图像的特性(例如，分辨率)，或者考虑到编译效率或并行处理，编码器可以确定拼块/拼块组、图块、切片、最大和最小编译单元大小，并且可以在比特流中包括相应信息或能够归纳相应信息的信息。
90.解码器可以获得表示当前图片的拼块中的拼块/拼块组、图块、切片或ctu是否已被分区成多个编译单元的信息。通过仅在特定条件下获得(发送)这种信息，能够提高效率。
91.可以将图片划分成编译树单元(ctu)的序列。ctu可以对应于编译树块(ctb)。此外，ctu可以包括亮度样本的编译树块和相应色度样本的两个编译树块。换句话说，对于包括三个样本阵列的图片，ctu可以包括亮度样本的nxn块和色度样本的两个相应块。
92.用于编译和预测的ctu的最大支持的大小可以与用于变换的ctu的最大支持的大小不同。例如，ctu中的亮度块的最大支持的大小可以是128x128。
93.可以基于四叉树(qt)结构来将ctu划分成cu。可以将四叉树(quad-tree)结构称作四叉树(quaternary tree)结构。这是为了反映各种局部特性。同时，在本文档中，可以基于不仅包括四叉树而且包括二叉树(bt)和三叉树(tt)的多类型树结构的分割来划分ctu。在下文中，qtbt结构可以包括基于四叉树和二叉树的分割结构，而qtbttt可以包括基于四叉树、二叉树和三叉树的分割结构。此外，qtbt结构可以包括基于四叉树、二叉树和三叉树的分割结构。在编译树结构中，cu可以具有正方形或矩形形状。可以将ctu首先分割成四叉树结构。此后，可以通过多类型树结构来进一步分割四叉树结构的叶节点。例如，示意性地可以在多类型树结构中包括四种分割类型。
94.四种分割类型可以包括垂直二叉分割(split_bt_ver)、水平二叉分割(split_bt_hor)、垂直三叉分割(split_tt_ver)和水平三叉分割(split_tt_hor)。可以将多类型树结构的叶子节点称作cu。此类cu可以被用于预测和变换过程。在本文档中，cu、pu和tu可以通常具有相同的块大小。然而，如果最大支持的变换长度小于cu的颜色分量的宽度或高度，则cu和tu可以具有不同的块大小。
95.同时，如上所述，一个图片可以包括多个切片，并且一个切片可以包括切片报头和切片数据。在这种情况下，可以为一个图片中的多个切片(切片报头和切片数据的集合)进一步添加一个图片报头。图片报头(图片报头语法)可以包括能够被共同地应用于图片的信息/参数。切片报头(切片报头语法)可以包括能够被共同地应用于切片的信息/参数。自适应参数集(aps)或图片参数集(pps)可以包括能够被共同地应用于一个或多个图片的信息/参数。序列参数集(sps)可以包括能够被共同地应用于一个或多个序列的信息/参数。视频参数集(vps)可以包括能够被共同地应用于多个层的信息/参数。解码参数集(dps)可以包括能够被共同地应用于整体视频的信息/参数。dps可以包括与编译视频序列(cvs)的级联相关的信息/参数。
96.在本文档中，上层语法可以包括aps语法、pps语法、sps语法、vps语法、dps语法、图片报头语法和切片报头语法中的至少一个。
97.此外，例如，关于拼块/拼块组/图块/切片的划分和配置的信息可以由编码端通过上层语法来配置，并且可以被以比特流的形式传送到解码设备。
98.在本文档中，可以省略量化/解量化和/或变换/逆变换中的至少一个。当量化/解量化被省略时，量化变换系数可以被称为变换系数。当变换/逆变换被省略时，变换系数可以被称作系数或残差系数或者为了表达的一致性可以仍被称作变换系数。
99.在本文档中，可以将量化变换系数和变换系数分别称为变换系数和缩放变换系数。在这种情况下，残差信息可以包括关于变换系数的信息，并且可以通过残差编译语法来用信号通知关于变换系数的信息。可以基于残差信息(或关于变换系数的信息)来推导变换系数，并且可以通过对变换系数的逆变换(缩放)来推导缩放变换系数。可以基于缩放变换系数的逆变换(变换)来推导残差样本。也可以在本文档的其他部分中应用/表达这个。
100.作为上述内容，编码设备可以执行各种编码方法，例如诸如指数哥伦布、上下文自适应可变长度编译(cavlc)和上下文自适应二进制算术编译(cabac)。此外，解码设备可以基于诸如指数哥伦布、cavlc或cabac的编译方法来对比特流中的信息进行解码，并且可以输出图像重构所必需的语法元素的值和用于残差的变换系数的量化值。例如，可以如在要稍后描述的内容中一样执行上述编译方法。
101.在本文档中，帧内预测可以表示基于当前块所属于的图片(在下文中，当前图片)中的参考样本来生成用于当前块的预测样本的预测。在将帧内预测应用于当前块的情况下，可以推导要用于当前块的帧内预测的邻近参考样本。当前块的邻近参考样本可以包括与大小为nwxnh的当前块的左边界相邻的样本和与左底部相邻的总共2xnh个样本、与当前块的顶部边界相邻的样本和邻近右顶部的总共2xnw个样本、以及邻近当前块的左顶部的一个样本。此外，当前块的邻近参考样本可以包括多列顶部邻近样本和多行左邻近样本。此外，当前块的邻近参考样本可以包括与大小为nwxnh的当前块的右边界相邻的总共nh个样本、与当前块的底部边界相邻的总共nw个样本、以及邻近当前块的右底部的一个样本。
102.然而，当前块的一些邻近参考样本可能尚未被解码或启用。在这种情况下，解码设备可以将邻近参考样本配置成被用于通过用启用的样本取代未启用的样本进行预测。此外，可以通过已启用的样本的插值来配置要用于预测的邻近参考样本。
103.如果推导邻近参考样本，则(i)可以基于当前块的邻近参考样本的平均或插值来归纳预测样本，并且(ii)可以基于在当前块的邻近参考样本之中存在于预测样本的特定(预测)方向上的参考样本来归纳预测样本。可以将(i)的情况称作非定向模式或非角度模式，并且可以将(ii)的情况称作定向模式或角度模式。此外，可以通过在邻近参考样本之中的、基于当前块预测样本位于与当前块的帧内预测模式的预测方向相反的方向上的第一相邻样本与第二相邻样本的插值，来生成预测样本。可以将上述情况称作线性插值帧内预测(lip)。此外，可以通过使用线性模型基于亮度样本来生成色度预测样本。可以将这种情况称作lm模式。此外，可以基于滤波的邻近参考样本来推导当前块的临时预测样本，并且可以通过计算临时预测样本与现有邻近参考样本之中的根据帧内预测模式推导的至少一个参考样本(即未滤波的邻近参考样本)的加权和，来推导当前块的预测样本。可以将上述情况称作方位相关帧内预测(pdpc)。此外，可以通过经由相应线的选择，使用在当前块的邻近多参考样本线之中具有最高预测准确度的参考样本线上的位于预测方向上的参考样本，来推导预测样本，并且在这种情况下，可以在用于向解码设备指示(用信号通知)所使用的参考样本线的方法中执行帧内预测编译。可以将上述情况称作多参考线(mrl)帧内预测或基于mrl的帧内预测。此外，可以通过将当前块划分成垂直子分区或水平子分区基于相同的帧内预测模式来执行帧内预测，并且能够以子分区为单位推导和使用邻近参考样本。也就是说，在这种情况下，由于用于当前块的帧内预测模式被同等地应用于子分区，并且以子分区为单位推导和使用邻近参考样本，所以能够在一些情况下提高帧内预测性能。可以将这样的预测方法称为帧内子分区(isp)或基于isp的帧内预测。可以将上述帧内预测方法称作帧内预测类型，以区别于帧内预测模式。帧内预测类型可以由诸如帧内预测技术或附加帧内预测模式的各种术语来称呼。例如，帧内预测类型(或附加帧内预测模式)可以包括上述lip、pdpc、mrl或isp中的至少一个。可以将排除诸如lip、pdpc、mrl或isp的特定帧内预测类型的一般帧内预测方法称作正常帧内预测类型。在未应用特定帧内预测类型情况下通常可以应
用正常帧内预测类型，并且可以基于上述帧内预测模式来执行预测。同时，根据需要，可以对于所推导的预测样本执行后滤波。
104.具体地，帧内预测过程可以包括帧内预测模式/类型确定、邻近参考样本推导和基于帧内预测模式/类型的预测样本推导的步骤。此外，根据需要，可以对于所推导的预测样本执行后滤波步骤。
105.同时，除了上述预测类型之外，还可以使用仿射线性加权帧内预测(alwip)。可以将alwip称作线性加权帧内预测(lwip)或矩阵加权帧内预测(mip)或基于矩阵的帧内预测。在对于当前块应用mip的情况下，i)通过使用已对其执行了平均过程的邻近参考样本，ii)可以执行矩阵矢量乘法过程，以及iii)根据需要，可以通过进一步执行水平/垂直插值来推导用于当前块的预测样本。可以与上述lip、pdpc、mrl或isp帧内预测不同地配置被用于mip的帧内预测模式，或者帧内预测模式被用于正常帧内预测。可以将用于mip的帧内预测模式称作mip帧内预测模式、mip预测模式或mip模式。例如，根据用于mip的帧内预测模式，可以不同地配置用于矩阵矢量乘法的矩阵和偏移。这里，可以将矩阵称作(mip)加权矩阵，并且可以将偏移称作(mip)偏移矢量或(mip)偏置矢量。
106.示意性地例如，基于帧内预测的视频/图像编码过程可以包括下述。
107.图4图示基于帧内预测的视频/图像编码方法的示例，并且图5示意性地图示编码设备中的帧内预测器。
108.参考图4和图5，s400可以由编码设备的帧内预测器222执行，并且s410至s430可以由编码设备的残差处理器230执行。具体地，s410可以由编码设备的减法器231执行，s420可以由编码设备的变换器232和量化器233执行，并且s430可以由编码设备的解量化器234和逆变换器235执行。在s400中，预测信息可以由帧内预测器222导出，并且可以由熵编码器240编码。通过s410和s420，可以导出残差信息，并且残差信息可以由熵编码器240编码。残差信息是关于残差样本的信息。残差信息可以包括关于用于残差样本的量化变换系数的信息。如上所述，可以通过编码设备的变换器232来将残差样本导出为变换系数，并且可以通过量化器233来将变换系数导出为量化变换系数。可以由熵编码器240通过残差编译过程来编码关于量化变换系数的信息。
109.编码设备对于当前块执行帧内预测(s400)。编码设备可以导出用于当前块的帧内预测模式，导出当前块的邻近参考样本，并且基于帧内预测模式和邻近参考样本来生成当前块中的预测样本。这里，可以同时地执行确定帧内预测模式、导出邻近参考样本并且生成预测样本的过程，并且可以在另一过程之前执行任何一个过程。例如，编码设备的帧内预测器222可以包括预测模式/类型确定器222_1、参考样本导出器222_2和预测样本导出器222_3，并且预测模式/类型确定器222_1可以确定用于当前块的帧内预测模式/类型，参考样本导出器222_2可以导出当前块的邻近参考样本，并且预测样本导出器222_3可以导出当前块的运动样本。同时，在执行稍后要描述的预测样本滤波过程的情况下，帧内预测器222还可以包括预测样本滤波器(未图示)。编码设备可以在多种帧内预测模式之中确定针对当前块应用的模式。
110.编码设备可以比较帧内预测模式的rd成本，并且可以确定用于当前块的最佳帧内预测模式。
111.同时，编码设备可以执行预测样本滤波过程。可以将预测样本滤波称作后滤波。可
以通过预测样本滤波过程来对一些或所有预测样本进行滤波。在一些情况下，可以省略预测样本滤波过程。
112.编码设备基于预测样本来推导用于当前块的残差样本(s410)。编码设备可以基于相位将预测样本与当前块的原始样本进行比较，并且可以推导残差样本。
113.编码设备可以通过残差样本的变换/量化来推导量化变换系数(s420)，然后可以通过再次执行量化变换系数的解量化/逆变换来推导(修改的)残差样本(s430)。在变换/量化之后再次执行解量化/逆变换的原因是为了推导与由解码设备如上所述推导的残差样本相同的残差样本。
114.编码设备可以基于预测样本和(修改的)残差样本来生成包括当前块的重构样本的重构块(s440)。基于重构块，可以生成当前图片的重构图片。
115.如上所述，编码设备可以对包括关于帧内预测的预测信息(例如，表示预测模式的预测模式信息)和关于帧内/残差样本的残差信息的图像信息进行编码，并且能够以比特流的形式输出编码图像信息。残差信息可以包括残差编译语法。编码设备可以通过残差样本的变换/量化来推导量化变换系数。残差信息可以包括关于量化变换系数的信息。
116.示意性地例如，基于帧内预测的视频/图像解码过程可以包括下述。
117.图6图示基于帧内预测的视频/图像解码方法的示例，并且图7示意性地图示解码设备中的帧内预测器。
118.解码设备可以执行与由编码设备执行的操作相对应的操作。
119.参考图6和图7，s600至s610可以由解码设备的帧内预测器331执行，并且s600的预测信息和s630的残差信息可以由解码设备的熵解码器310从比特流获得。解码设备的残差处理器320可以基于残差信息来导出用于当前块的残差样本。具体地，残差处理器320的解量化器321可以通过根据基于残差信息而导出的量化变换系数执行解量化来导出变换系数，并且残差处理器的逆变换器322可以通过对于变换系数执行解量化来导出用于当前块的残差样本。s640可以由解码设备的加法器340或重构器执行。
120.具体地，解码设备可以基于所接收到的预测信息来导出用于当前块的帧内预测模式(s600)。解码设备可以导出当前块的邻近参考样本(s610)。解码设备通过基于帧内预测模式和邻近参考样本执行帧内预测来生成当前块中的预测样本(s620)。在这种情况下，解码设备可以执行预测样本滤波过程。可以将预测样本滤波称作后滤波。可以通过预测样本滤波过程来对一些或所有预测样本进行滤波。在一些情况下，可以省略预测样本滤波过程。
121.解码设备基于所接收到的残差信息来生成用于当前块的残差样本(s630)。解码设备可以基于预测样本和残差样本来生成用于当前块的重构样本，并且可以导出包括重构样本的重构块(s640)。可以基于重构块来生成用于当前图片的重构图片。
122.这里，解码设备的帧内预测器331可以包括预测模式/类型确定器331_1、参考样本导出器331_2和预测样本导出器331_3。预测模式/类型确定器331_1可以基于由解码设备的熵解码器310获得的预测模式信息来确定用于当前块的帧内预测模式，参考样本导出器331_2可以导出当前块的邻近参考样本，并且预测样本导出器331_3可以导出当前块的预测样本。同时，在执行上述预测样本滤波过程的情况下，帧内预测器331还可以包括预测样本滤波器(未图示)。
123.预测信息可以包括帧内预测模式信息和/或帧内预测类型信息。例如，帧内预测模
式信息可以包括表示对当前块应用最可能模式(mpm)还是剩余模式的标志信息(例如，intra_luma_mpm_flag)，并且如果对当前块应用mpm，则预测模式信息还可包括表示帧内预测模式候选(mpm候选)之一的索引信息(例如，intra_luma_mpm_idx)。帧内预测模式候选(mpm候选)可以构成mpm候选列表或mpm列表。此外，在不对当前块应用mpm的情况下，帧内预测模式信息还可以包括指示排除帧内预测模式候选(mpm候选)的剩余帧内预测模式之一的剩余模式信息(例如，intra_luma_mpm_remainder)。解码设备可以基于帧内预测模式信息来确定当前块的帧内预测模式。对于上述mip，可以配置单独的mpm列表。
124.此外，能够以各种形式实现帧内预测类型信息。作为示例，帧内预测类型信息可以包括指示帧内预测类型之一的帧内预测类型索引信息。作为另一示例，帧内预测类型信息可以包括以下各项中的至少一个：表示是否对当前块应用mrl并且在应用mrl的情况下使用哪条参考样本线的参考样本线信息(例如，intra_luma_ref_idx)、表示是否对当前块应用isp的isp标志信息(例如，intra_subpartitions_mode_flag)、在应用isp的情况下指示子分区的分区类型的isp类型信息(例如，intra_subpartitions_split_flag)、表示是否应用pdcp的标志信息、或表示是否应用lip的标志信息。此外，帧内预测类型信息可以包括表示是否对当前块应用mip的mip标志。
125.可以通过本文档中描述的编译方法来对帧内预测模式信息和/或帧内预测类型信息进行编码/解码。例如，可以基于截断(莱斯(rice))二进制码通过熵编译(例如，cabac或cavlc)来对帧内预测模式信息和/或帧内预测类型信息进行编码/解码。
126.同时，示意性地例如，基于帧间预测的视频/图像编码过程可以包括下述。
127.图8图示基于帧间预测的视频/图像编码方法的示例，并且图9示意性地图示编码设备中的帧间预测器。
128.参考图8和图9，编码设备对于当前块执行帧间预测(s800)。编码设备可以导出当前块的帧间预测模式和运动信息，并且可以生成当前块的预测样本。这里，可以同时执行确定帧间预测模式、导出运动信息并且生成预测样本的过程，并且可以在另一过程之前执行任何一个过程。例如，编码设备的帧间预测器221可以包括预测模式确定器221_1、运动信息导出器221_2和预测样本导出器221_3，并且预测模式确定器221_1可以确定用于当前块的预测模式，运动信息导出器221_2可以导出当前块的运动信息，并且预测样本导出器221_3可以导出用于当前块的预测样本。例如，编码设备的帧间预测器可以通过运动估计在参考图片的特定区域(搜索区域)中搜索与当前块类似的块，并且可以导出与当前块具有为最小值或等于或低于预定水平的差的参考块。基于这个，导出指示参考块所位于的参考图片的参考图片索引，并且基于参考块与当前块之间的位置差来导出运动矢量。编码设备可以在各种预测模式之中确定针对当前块应用的模式。编码设备可以比较各种预测模式的速率失真(rd)成本，并且可以确定用于当前块的最佳预测模式。
129.例如，在对当前块应用跳过模式或合并模式的情况下，编码设备可以配置合并候选列表，并且可以导出在由合并候选列表中包括的合并候选指示的参考块之中的与当前块具有为最小值或等于或低于预定水平的差的参考块。在这种情况下，可以选择与导出的参考块相关的合并候选，并且可以生成指示所选择的合并候选的合并索引信息并将其用信号通知给解码设备。可以通过使用所选择的合并候选的运动信息来导出当前块的运动信息。
130.作为另一示例，在(a)mvp模式被应用于当前块的情况下，编码设备可以配置(a)
mvp候选列表，并且可以使用在(a)mvp候选列表中包括的运动矢量预测器(mvp)候选之中选择的mvp候选的运动矢量作为当前块的mvp。在这种情况下，例如，可以使用指示通过上述运动估计导出的参考块的运动矢量作为当前块的运动矢量，并且在mvp候选之中具有与当前块的运动矢量的差最小的运动矢量的mvp候选可以是所选择的mvp候选。可以导出运动矢量差(mvd)，其是通过从当前块的运动矢量减去mvp所获得的差。在这种情况下，可以向解码设备用信号通知关于mvd的信息。此外，在应用(a)mvp模式的情况下，参考图片索引的值可以被配置为参考图片索引信息，并且可以被分开地用信号通知给解码设备。
131.编码设备可以基于预测样本来导出残差样本(s810)。编码设备可以通过将预测样本与当前块的原始样本进行比较来导出残差样本。
132.编码设备对包括预测信息和残差信息的图像信息进行编码(s820)。编码设备能够以比特流的形式输出编码图像信息。预测信息可以是与预测过程相关的信息，并且可以包括与预测模式信息(例如，跳过标志、合并标志或模式索引)和运动信息相关的信息。关于运动信息的信息可以包括作为用于导出运动矢量的信息的候选选择信息(例如，合并索引、mvp标志或mvp索引)。此外，关于运动信息的信息可以包括关于上述mvd和/或参考图片索引信息的信息。此外，关于运动信息的信息可以包括表示是否应用l0预测、l1预测或者双向预测的信息。残差信息是关于残差样本的信息。残差信息可以包括关于用于残差样本的量化变换系数的信息。
133.输出比特流可以被存储在(数字)存储介质中以被传送到解码设备，或者可以通过网络被传送到解码设备。
134.同时，如上所述，编码设备可以基于参考样本和残差样本来生成重构图片(包括重构样本和重构块)。这是为了编码设备导出与在解码设备中执行的预测结果相同的预测结果，并且通过这样，能够提高编译效率。因此，编码设备可以将重构图片(或重构样本或重构块)存储在存储器中，并且可以利用该重构图片作为用于帧间预测的参考图片。如上所述，可以对重构图片进一步应用环路内滤波过程。
135.示意性地例如，基于帧间预测的视频/图像解码过程可以包括下列的。
136.图10图示基于帧间预测的视频/图像解码方法的示例，并且图11示意性地图示解码设备中的帧间预测器。
137.解码设备可以执行与由编码设备执行的操作相对应的操作。解码设备可以基于所接收到的预测信息来对于当前块执行预测，并且可以导出预测样本。
138.具体地，参考图10和图11，解码设备可以基于从比特流接收到的预测信息来确定用于当前块的预测模式(s1000)。解码设备可以基于预测信息中的预测模式信息来确定对当前块应用哪种帧间预测模式。
139.例如，可以基于合并标志来确定是否对当前块应用合并模式，或者确定(a)mvp模式。此外，可以基于合并索引来选择各种帧间预测模式候选之一。帧间预测模式候选可以包括各种帧间预测模式，诸如跳过模式、合并模式和/或(a)mvp模式。
140.解码设备基于所确定的帧间预测模式来导出当前块的运动信息(s1010)。例如，在对当前块应用跳过模式或合并模式的情况下，解码设备可以配置稍后要描述的合并候选列表，并且可以选择合并候选列表中包括的合并候选之一。可以基于上述选择信息(合并索引)来执行选择。可以通过使用所选择的合并候选的运动信息来导出当前块的运动信息。可
以将所选择的合并候选的运动信息用作当前块的运动信息。
141.作为另一示例，在对当前块应用(a)mvp模式的情况下，解码设备可以配置(a)mvp候选列表，并且可以使用在(a)mvp候选列表中包括的运动矢量预测器(mvp)候选之中选择的mvp候选的运动矢量。可以基于上述选择信息(mvp标志或mvp索引)来执行选择。在这种情况下，可以基于关于mvd的信息来导出当前块的mvd，并且可以基于当前块的mvp和mvd来导出当前块的运动矢量。此外，可以基于参考图片索引信息来导出当前块的参考图片索引。可以将在用于当前块的参考图片列表中通过参考图片索引指示的图片导出为被参考用于当前块的帧间预测的参考图片。
142.同时，可以在没有候选列表配置的情况下导出当前块的运动信息，并且在这种情况下，可以省略上述候选列表配置。
143.解码设备可以基于当前块的运动信息来生成用于当前块的预测样本(s1020)。在这种情况下，可以基于当前块的参考图片索引来导出参考图片，并且当前块的运动矢量可以通过使用在参考图片中指示的参考块的样本来导出当前块的预测样本。在这种情况下，可以根据需要对于当前块的所有或一些预测样本进一步执行稍后要描述的预测样本滤波过程。
144.例如，解码设备的帧间预测器332可以包括预测模式确定器332_1、运动信息导出器332_2和预测样本导出器332_3，并且预测模式确定器332_1可以基于所接收到的预测模式信息来确定用于当前块的预测模式，运动信息导出器332_2可以基于关于所接收到的运动信息的信息来导出当前块的运动信息(运动矢量和/或参考图片索引)，并且预测样本导出器332_3可以导出当前块的预测样本。
145.解码设备基于所接收到的残差信息来生成用于当前块的残差样本(s1030)。解码设备可以基于预测样本和残差样本来生成用于当前块的重构样本(s1040)。此后，可以如上所述将环路内滤波过程进一步应用于重构图片。
146.同时，如上所述，可以对高级语法(hls)进行编译/用信号通知以用于视频/图像编译。编译图片可以由一个或多个切片组成。在图片报头中用信号通知描述编译图片的参数，并且在切片报头中用信号通知描述切片的参数。图片报头以nal单元本身的形式被承载。切片报头存在于包括切片的有效负载(即，切片数据)的nal单元的开始部分。
147.每个图片与图片报头相关。图片可以由不同类型的切片(帧内编译的切片(即，i切片)和帧间编译的切片(即，p切片和b切片))组成。因此，图片报头可以包括图片的帧内切片和图片的帧间切片所必需的语法元素。例如，图片报头的语法可以如在下表1中那样。
148.[表1]
[0149]
[0150]
[0151]
[0152][0153]
在表1的语法元素之中，在其标题中包括“intra_slice”的语法元素(例如，pic_log2_diff_min_qt_min_cb_intra_slice_luma)是正在相应图片的i切片中使用的语法元素，并且与其标题中包括“inter_slice”的语法元素(例如，pic_log2_diff_min_qt_min_cb_inter_slice、mvp、mvd、mmvd和merge)相关的语法元素(例如，pic_temporal_mvp_enabled_flag)是正在相应图片的p切片和/或b切片中使用的语法元素。
[0154]
也就是说，图片报头对于每一单个图片包括帧内编译的切片所必需的所有语法元
素和帧间编译的切片所必需的语法元素。然而，这仅相对于包括混合类型片的图片(包括所有帧内编译的切片和帧间编译的切片的图片)是有用的。一般而言，由于图片不包括混合类型切片(即，一般图片包括仅帧内编译的切片或仅帧间编译的切片)，所以不必执行所有数据(正在帧内编译的切片中使用的语法元素和正在帧间编译的切片中使用的语法元素)的信令。
[0155]
已准备以下附图来说明本文档的详细示例。由于详细装置的名称或详细信号/信息的名称被示例性地呈现，所以本文档的技术特征不限于以下附图中使用的详细名称。
[0156]
本文档提供以下方法以便解决上述问题。每种方法的项目可以被单独地应用，或者可以被相结合地应用。
[0157]
1.可以用信号通知图片报头中用于指定仅帧内编译的切片所需要的语法元素是否存在于图片报头中的标志。可以将该标志称为intra_signaling_present_flag。
[0158]
a)当intra_signaling_present_flag等于1时，帧内编译的切片所需要的语法元素存在于图片报头中。同样地，当intra_signaling_present_flag等于0时，帧内编译的切片所需要的语法元素不存在于图片报头中。
[0159]
b)在与图片报头相关联的图片具有至少一个帧内编译的切片时，图片报头中的intra_signaling_present_flag的值应等于1。
[0160]
c)即使当与图片报头相关联的图片不具有帧内编译的切片时，图片报头中的intra_signaling_present_flag的值也可以等于1。
[0161]
d)当图片具有仅包含帧内编译的切片的一个或多个子图片并且预期可以提取一个或多个子图片并且将其与包含一个或多个帧间编译的切片的子图片合并时，应该将intra_signaling_present_flag的值设置为等于1。
[0162]
2.可以用信号通知图片报头中用于指定仅帧间编译的切片所需要的语法元素是否存在于图片报头中的标志。可以将该标志称为inter_signaling_present_flag。
[0163]
a)当inter_signaling_present_flag等于1时，帧间编译的切片所需要的语法元素存在于图片报头中。同样地，当inter_signaling_present_flag等于0时，帧间编译的切片所需要的语法元素不存在于图片报头中。
[0164]
b)在与图像报头相关联的图像具有至少一个帧间编译的切片时，图像报头中的inter_signaling_present_flag的值应等于1。
[0165]
c)即使当与图片报头相关联的图片不具有帧间编译的切片时，图片报头中的inter_signaling_present_flag的值也可以等于1。
[0166]
d)当图片具有仅包含帧间编译的切片的一个或多个子图片并且预期可以提取一个或多个子图片并且将其与包含一个或多个帧内编译的切片的子图片合并时，应该将inter_signaling_present_flag的值设置为等于1。
[0167]
3.可以在诸如图片参数集(pps)的其他参数集中而不是在图片报头中用信号通知上述标志(intra_signaling_present_flag和inter_signaling_present_flag)。
[0168]
4.用于用信号通知上述标志的另一替代方案可以如下。
[0169]
a)可以定义指定帧内编译的切片所需要的语法元素和帧间编译的切片所需要的语法元素是否分别存在于图片报头中的两个变量intrasignalingpresentflag和intersignalingpresentflag。
[0170]
b)可以用信号通知图片报头中称作mixed_slice_types_present_flag的标志。当mixed_slice_types_present_flag等于1时，intrasignalingpresentflag和intersignalingpresentflag的值被设置为等于1。
[0171]
c)当mixed_slice_types_present_flag等于0时，可以在图片报头中用信号通知称作intra_slice_only_flag的附加标志并且下文适用。如果intra_slice_only_flag等于1，则intrasignalingpresentflag的值被设置为1并且intersignalingpresentflag的值被设置为0。否则，intrasignalingpresentflag的值被设置为等于0并且intersignalingpresentflag的值被设置为等于1。
[0172]
5.可以用信号通知图片报头中固定长度的语法元素，其可以被称作slice_types_idc，指定以下信息。
[0173]
a)与图片报头相关联的图片是否包含仅帧内编译的切片。对于这种类型，可以将slice_types_idc的值设置为等于0。
[0174]
b)与图片报头相关联的图片是否包含仅帧间编译的切片。可以将slice_types_idc的值设置为等于1。
[0175]
c)与图片报头相关联的图片是否可以包含帧内编译的切片和帧间编译的切片。可以将slice_types_idc的值设置为等于2。
[0176]
注意，当slice_types_idc具有等于2的值时，仍可能的是图片包含仅帧内编译的切片或仅帧间编译的切片。
[0177]
d)slice_types_idc的其他值可以被保留以供将来使用。
[0178]
6.对于图片报头中的slice_types_idc语义，可以进一步指定以下约束。
[0179]
a)当与图片报头相关联的图片具有一个或多个帧内编译的切片时，slice_types_idc的值不应等于1。
[0180]
b)当与图片报头相关联的图片具有一个或多个帧间编译的切片时，slice_types_idc的值应当不等于0。
[0181]
7.可以在诸如图片参数集(pps)的其他参数集中而不是在图片报头中用信号通知slice_types_idc。
[0182]
作为实施例，编码设备和解码设备可以使用以下表2和表3作为基于如上所述的方法1和2的图片报头的语法和语义。
[0183]
[表2]
[0184]
[0185][0186]
[表3]
[0187]
[0188][0189]
参考表2和表3，如果intra_signaling_present_flag的值是1，则这可以表示仅在帧内编译的切片中使用的语法元素存在于图片报头中。如果intra_signaling_present_flag的值是0，则这可以表示仅在帧内编译的切片中使用的语法元素不存在于图片报头中。因此，如果与图片报头相关的图片包括具有i切片的切片类型的一个或多个切片，则intra_signaling_present_flag的值变为1。此外，如果与图片报头相关的图片不包括具有i切片的切片类型的切片时，则intra_signaling_present_flag的值变为0。
[0190]
如果inter_signaling_present_flag的值是1，则这可以表示仅在帧间编译的切片中使用的语法元素存在于图片报头中。如果inter_signaling_present_flag的值是0，则这可以表示仅在帧间编译的切片中使用的语法元素不存在于图片报头中。因此，如果与图片报头相关的图片包括具有p切片和/或b切片的切片类型的一个或多个切片，则intra_signaling_present_flag的值变为1。此外，如果与图片报头相关的图片不包括具有p切片和/或b切片的切片类型的切片，则intra_signaling_present_flag的值变为0。
[0191]
此外，在图片包括能够与包括帧间编译的切片的一个或多个子图片合并的包括帧内编译的切片的一个或多个子图片的情况下，intra_signaling_present_flag的值和inter_signaling_present_flag的值都被设置为1。
[0192]
例如，在当前图片中包括仅帧间编译的切片(p切片和/或b切片)的情况下，编码设备可以将inter_signaling_present_flag的值确定为1，并且将intra_signaling_present_flag的值确定为0。
[0193]
作为另一示例，在当前图片中包括仅帧内编译的切片(i切片)的情况下，编码设备可以将inter_signaling_present_flag的值确定为0，并且将intra_signaling_present_flag的值确定为1。
[0194]
作为再一示例，在当前图片中包括至少一个帧间编译的切片或至少一个帧内编译的切片的情况下，编码设备可以总共将inter_signaling_present_flag的值和intra_
signaling_present_flag的值确定为1。
[0195]
在intra_signaling_present_flag的值被确定为0的情况下，编码设备可以生成其中帧内切片所必需的语法元素被排除或省略并且仅帧间切片所必需的语法元素被包括在图片报头中的图像信息。如果inter_signaling_present_flag的值被确定为0，则编码设备可以生成其中帧间切片所必需的语法元素被排除或省略并且仅帧内切片所必需的语法元素被包括在图片报头中的图像信息。
[0196]
如果从图像信息中的图片报头获得的inter_signaling_present_flag的值是1，则解码设备可以确定在相应图片中包括至少一个帧间编译的切片，并且可以从图片报头解析帧内预测所必需的语法元素。如果inter_signaling_present_flag的值是0，则解码设备可以确定在相应图片中包括仅帧内编译的切片，并且可以从图片报头解析帧内预测所必需的语法元素。如果从图像信息中的图片报头获得的intra_signaling_present_flag的值是1，则解码设备可以确定在相应图片中包括至少一个帧内编译的切片，并且可以从图片报头解析帧内预测所必需的语法元素。如果intra_signaling_present_flag的值是0，则解码设备可以确定在相应图片中包括仅帧间编译的切片，并且可以从图片报头解析帧间预测所必需的语法元素。
[0197]
作为另一实施例，编码设备和解码设备可以基于上述方法5和6使用以下表4和表5作为图片报头的语法和语义。
[0198]
[表4]
[0199]
[0200][0201]
[表5]
[0202]
[0203][0204]
参考表4和表5，如果slice_types_idc的值是0，则这表示与图片报头相关的图片中的所有切片的类型都是i切片。在slice_types_idc的值是1的情况下，这表示与图片报头相关的图片中的所有切片的类型都是p或b切片。在slice_types_idc的值是2的情况下，这表示与图片报头相关的图片中的切片的切片类型是i、p和/或b切片。
[0205]
例如，如果在当前图片中包括仅帧内编译的切片，则编码设备可以将slice_types_idc的值确定为0，并且可以在图片报头中包括仅帧内切片的解码所必需的语法元素。也就是说，在这种情况下，在图片报头中不包括帧间切片所必需的语法元素。
[0206]
作为另一示例，如果在当前图片中包括仅帧间编译的切片，则编码设备可以将slice_types_idc的值确定为1，并且可以在图片报头中包括仅帧间切片的解码所必需的语法元素。也就是说，在这种情况下，在图片报头中不包括帧内切片所必需的语法元素。
[0207]
作为再一示例，如果在当前图片中包括至少一个帧间编译的切片和至少一个帧内编译的切片，则编码设备可以将slice_types_idc的值确定为2，并且可以在图片报头中包括帧间切片的解码所必需的语法元素和帧内切片的解码所必需的语法元素中的全部。
[0208]
如果从图像信息中的图片报头获得的slice_types_idc的值是0，则解码设备可以确定在相应图片中包括仅帧内编译的切片，并且可以从图片报头解析帧内编译的切片的解码所必需的语法元素。如果slice_types_idc的值是1，则解码设备可以确定在相应图片中包括仅帧间编译的切片，并且可以从图片报头解析帧间编译的切片的解码所必需的语法元素。如果slice_types_idc的值是2，则解码设备可以确定在相应图片中包括至少一个帧内编译的切片和至少一个帧间编译的切片，并且可以从图片报头解析帧内编译的切片的解码所必需的语法元素和帧间编译的切片的解码所必需的语法元素。
[0209]
作为再一实施例，编码设备和解码设备可以使用表示图片是否包括帧内编译的切片和帧间编译的切片的一个标志。如果该标志是真，即，如果该标志的值是1，则可以将所有帧内切片和帧间切片包括在相应图片中。在这种情况下，可以使用以下表6和表7作为图片报头的语法和语义。
[0210]
[表6]
[0211]
[0212]
[0213][0214]
[表7]
[0215][0216]
参考表6和表7，如果mixed_slice_signaling_present_flag的值是1，则这可以表示与相应图片报头相关的图片具有不同类型的一个或多个切片。如果mixed_slice_signaling_present_flag的值是0，则这可以意味着与相应图片报头相关的图片包括仅与单一切片类型相关的数据。
[0217]
变量intersignalingpresentflag和intrasignalingpresentflag分别表示帧内编译的切片所必需的语法元素和帧间编译的切片所必需的语法元素是否存在于相应图片报头中。如果mixed_slice_signaling_present_flag的值是1，则
intrasignalingpresentflag和intersignalingpresentflag的值被设置为1。
[0218]
如果将intra_slice_only_flag的值被设置为1，则这表示intrasignalingpresentflag的值被设置为1，并且intersignalingpresentflag的值被设置为0。如果intra_slice_only_flag的值被设置为0，则这表示intrasignalingpresentflag的值被设置为0，并且intersignalingpresentflag的值被设置为1。
[0219]
如果与图片报头相关的图片具有切片类型为i切片的一个或多个切片，则intrasignalingpresentflag的值被设置为1。如果与图片报头相关的图片具有切片类型为p或b切片的一个或多个切片，则intersignalingpresentflag的值被设置为1。
[0220]
例如，如果在当前图片中包括仅帧内编译的切片，则编码设备可以将mixed_slice_signaling_present_flag的值确定为0，可以将intra_slice_only_flag的值确定为1，可以将intrasignalingpresentflag的值确定为1，并且可以将intersignalingpresentflag的值确定为0。
[0221]
作为另一示例，如果在当前图片中包括仅帧间编译的切片，则编码设备可以将mixed_slice_signaling_present_flag的值确定为0，可以将intra_slice_only_flag的值确定为0，可以将intrasignalingpresentflag的值确定为0，并且可以将intersignalingpresentflag的值确定为1。
[0222]
作为再一示例，如果在当前图片中包括至少一个帧内编译的切片和至少一个帧间编译的切片，则编码设备可以将mixed_slice_signaling_present_flag、intrasignalingpresentflag和intersignalingpresentflag的值分别确定为1。
[0223]
如果从图像信息中的图片报头获得的mixed_slice_signaling_present_flag的值是0，则解码设备可以确定在相应图片中包括仅帧内编译的切片或帧间编译的切片。在这种情况下，如果从图片报头获得的intra_slice_only_flag的值是0，则解码设备可以从图片报头解析仅帧间编译的切片的解码所必需的语法元素。如果intra_slice_only_flag的值是1，则解码设备可以从图片报头解析仅帧内编译的切片的解码所必需的语法元素。
[0224]
如果从图像信息中的图片报头获得的mixed_slice_signaling_present_flag的值是1，则解码设备可以确定在相应图片中包括至少一个帧内编译的切片和至少一个帧间编译的切片，并且可以从图片报头解析帧间编译的切片的解码所必需的语法元素和帧内编译的切片的解码所必需的语法元素。
[0225]
图12和图13示意性地图示根据本文档的实施例的视频/图像编码方法和相关组件的示例。
[0226]
图12中公开的视频/图像编码方法可以由图2和图13中公开的(视频/图像)编码设备200执行。具体地，例如，图12的s1200和s1210可以由编码设备200的预测器220执行，并且s1220和s1230可以由编码设备200的熵编码器240执行。图12中公开的视频/图像编码方法可以包括本文档的上述实施例。
[0227]
具体地，参考图12和图13，编码设备的预测器220可以确定当前图片中的当前块的预测模式(s1200)。当前图片可以包括多个切片。编码设备的预测器220可以基于预测模式来生成当前块的预测样本(预测块)(s1210)。这里，预测模式可以包括帧间预测模式和帧内预测模式。如果当前块的预测模式是帧间预测模式，则预测样本可以由预测器220的帧间预
测器221生成。如果当前块的预测模式是帧内预测模式，则预测样本可以由预测器220的帧内预测器222生成。
[0228]
编码设备的残差处理器230可以基于预测样本和原始图片(原始块和原始样本)来生成残差样本和残差信息。这里，残差信息是关于残差样本的信息，并且可以包括关于用于残差样本的(量化的)变换系数的信息。
[0229]
编码设备的加法器(或重构器)可以通过将由残差处理器230生成的残差样本和由帧间预测器221或帧内预测器222生成的预测样本彼此相加来生成重构样本(重构图片、重构块或重构样本阵列)。
[0230]
同时，编码设备的熵编码器240可以生成表示用于解码过程的帧间预测操作所必需的信息是否存在于与当前图片相关的图片报头中的第一信息或表示用于解码过程的帧内预测操作所必需的信息是否存在于与当前图片相关的图片报头中的第二信息(s1220)。这里，第一信息和第二信息是包括在图像信息的图片报头中的信息，并且可以对应于上述intra_signaling_present_flag、inter_signaling_present_flag、slice_type_idc、mixed_slice_signaling_present_flag、intra_slice_only_flag、intrasignalingpresentflag和/或intersignalingpresentflag。
[0231]
作为示例，在由于在当前图片中包括帧间编译的切片而在与当前图片相关的图片报头中包括用于解码过程的帧间预测操作所必需的信息的情况下，编码设备的熵编码器240可以将第一信息的值确定为1。此外，在由于在当前帧中包括帧内编译的切片而在相应图片报头中包括用于解码过程的帧内预测操作所必需的信息的情况下，编码设备的熵编码器240可以将第二信息的值确定为1。在这种情况下，第一信息可以对应于inter_signaling_present_flag，并且第二信息可以对应于intra_signaling_present_flag。可以将第一信息称作第一标志、关于被用于帧间切片的语法元素是否存在于图片报头中的信息、针对被用于帧间切片的语法元素是否存在于图片报头中的标志、关于当前图片中的切片是否是帧间切片的信息、或针对切片是否是帧间切片的标志。可以将第二信息称作第二标志、关于被用于帧内切片的语法元素是否存在于图片报头中的信息、针对被用于帧内切片的语法元素是否存在于图片报头中的标志、关于当前图片中的切片是否是帧内切片的信息、或针对切片是否是帧内切片的标志。
[0232]
同时，在由于在图片中包括仅帧内编译的切片而在相应图片报头中仅包括帧内预测操作所必需的信息的情况下，编码设备的熵编码器240可以将第一信息的值确定为0，并且可以将第二信息的值确定为1。此外，在由于在图片中包括仅帧间编译的切片而在相应图片报头中仅包括帧间预测操作所必需的信息的情况下，可以将第一信息的值确定为1，并且可以将第二信息的值确定为0。相应地，如果第一信息的值是0，则当前图片中的所有切片都可以具有i切片类型。如果第二信息的值是0，则当前图片中的所有切片都可以具有p切片类型或b切片类型。这里，帧内预测操作所必需的信息可以包括被用于帧内切片的解码的语法元素，并且帧间预测操作所必需的信息可以包括被用于帧间切片的解码的语法元素。
[0233]
作为另一示例，如果当前图片中的所有切片都具有i切片类型，则编码设备的熵编码器240可以将关于切片类型的信息的值确定为0，并且如果当前图片中的所有切片都具有p切片类型或b切片类型，则编码设备的熵编码器240可以将关于切片类型的信息的值确定为1。如果当前图片中的所有切片都具有i切片类型、p切片类型和/或b切片类型(即，图片中
的切片的切片类型是混合的)，则编码设备的熵编码器240可以将关于切片类型的信息的值确定为2。在这种情况下，关于切片类型的信息可以对应于slice_type_idc。
[0234]
作为再一示例，如果当前图片中的所有切片都具有相同的切片类型，则编码设备的熵编码器240可以将关于切片类型的信息的值确定为0，并且如果当前图片中的切片具有不同的切片类型，则编码设备的熵编码器240可以将关于切片类型的信息的值确定为1。在这种情况下，关于切片类型的信息可以对应于mixed_slice_signaling_present_flag。
[0235]
如果关于切片类型的信息的值是0，则可以在相应图片报头中包括关于在切片中是否包括帧内切片的信息。关于在切片中是否包括帧内切片的信息可以对应于intra_slice_only_flag。如果图片中的所有切片都具有i切片类型，则编码设备的熵编码器240可以将关于在切片中是否包括帧内切片的信息的值确定为1，将关于被用于帧内切片的语法元素是否存在于图片报头中的信息的值确定为1，并且将关于被用于帧间切片的语法元素是否存在于图片报头中的信息的值确定为0。如果图片中的所有切片的类型是p切片类型和/或b切片类型，则编码设备的熵编码器240可以将关于在切片中是否包括帧内切片的信息的值确定为0，将关于被用于帧内切片的语法元素是否存在于图片报头中的信息的值确定为0，并且将关于被用于帧间切片的语法元素是否存在于图片报头中的信息的值确定为1。
[0236]
编码设备的熵编码器240可以对包括第一信息、第二信息和关于切片类型的信息以及残差信息和预测相关信息的图像信息进行编码(s1230)。例如，图像信息可以包括分区相关信息、关于预测模式的信息、残差信息、环路内滤波相关信息、第一信息、第二信息和关于切片类型的信息，并且可以包括其各种语法元素。作为示例，图像信息可以包括关于诸如自适应参数集(aps)、图片参数集(pps)、序列参数集(sps)或视频参数集(vps)的各种参数集的信息。此外，图像信息可以包括各条信息，诸如图片报头语法、图片报头结构语法、切片报头语法和编译单元语法。可以将上述第一信息、第二信息、关于切片类型的信息、帧内预测操作所必需的信息和帧间预测操作所必需的信息包括在图片报头中的语法中。
[0237]
能够以比特流的形式输出由编码设备的熵编码器240编码的信息。可以通过网络或存储介质来发送比特流。
[0238]
图14和图15示意性地图示根据本文档的实施例的视频/图像解码方法和相关组件的示例。
[0239]
图14中公开的视频/图像解码方法可以由图3和图15中公开的(视频/图像)解码设备300执行。具体地，例如，图14的s1400和s1410可以由解码设备的熵解码器310执行，s1420可以由解码设备300的预测器330执行，并且s1430可以由解码设备300的加法器340执行。图14中公开的视频/图像解码方法可以包括本文档的上述实施例。
[0240]
参考图14和图15，解码设备的熵解码器310可以从比特流获得图像信息(s1400)。图像信息可以包括与当前图片相关的图片报头。当前图片可以包括多个切片。
[0241]
同时，解码设备的熵解码器310可以从图片报头解析表示用于解码过程的帧间预测操作所必需的信息是否存在于与当前图片相关的图片报头中的第一标志和/或者表示用于解码过程的帧内预测操作所必需的信息是否存在于与当前图片相关的图片报头中的第二标志(s1410)。这里，第一标志和第二标志可以对应于上述intra_signaling_present_flag、inter_signaling_present_flag、slice_type_idc、mixed_slice_signaling_
present_flag、intra_slice_only_flag、intrasignalingpresentflag和/或intersignalingpresentflag。解码设备的熵解码器310可以如上所述基于表2、表4和表6中的任何一种图片报头语法来解析包括在图像信息的图片报头中的语法元素。
[0242]
解码设备可以通过基于第一标志、第二标志和关于切片类型的信息对当前图片中的切片执行帧内预测或帧间预测中的至少一个，生成预测样本(s1420)。
[0243]
具体地，解码设备的熵解码器310可以基于第一标志、第二标志和/或关于切片类型的信息来从与当前图片相关的图片报头解析(或获得)帧内预测操作所必需的信息和/或用于解码过程的帧间预测操作所必需的信息中的至少一个。解码设备的预测器330可以通过基于帧内预测操作所必需的信息或用于帧间预测的信息中的至少一个执行帧内预测和/或帧间预测来生成预测样本。这里，帧内预测操作所必需的信息可以包括用于帧内切片的解码的语法元素，并且帧间预测操作所必需的信息可以包括用于帧间切片的解码的语法元素。
[0244]
作为示例，如果第一标志的值是0，则解码设备的熵解码器310可以确定(或决定)用于帧间预测的语法元素不存在于图片报头中，并且可以从图片报头解析仅帧内预测操作所必需的信息。如果第一标志的值是1，则解码设备的熵解码器310可以确定(或决定)用于帧间预测的语法元素存在于图片报头中，并且可以从图片报头解析帧间预测操作所必需的信息。在这种情况下，第一标志可以对应于inter_signaling_present_flag。
[0245]
此外，如果第二标志的值是0，则解码设备的熵解码器310可以确定(或决定)用于帧内预测的语法元素不存在于图片报头中，并且可以从图片报头解析仅帧间预测操作所必需的信息。如果第二标志的值是1，则解码设备的熵解码器310可以确定(或决定)用于帧内预测的语法元素存在于图片报头中，并且可以从图片报头解析帧内预测操作所必需的信息。在这种情况下，第二标志可以对应于intra_signaling_present_flag。
[0246]
如果第一标志的值是0，则解码设备可以确定当前图片中的所有切片都具有i切片的类型。如果第一标志的值是1，则解码设备可以确定当前图片中的0个或多个切片具有p切片或b切片的类型。换句话说，如果第一标志的值是1，则可以在当前图片中包括具有p切片类型或b切片类型的切片，或者可以不在当前图片中包括具有p切片类型或b切片类型的切片。
[0247]
此外，如果第二标志的值是0，则解码设备可以确定当前图片中的所有切片都具有p切片或b切片的类型。如果第二标志的值是1，则解码设备可以确定当前图片中的0个或多个切片具有i切片的类型。换句话说，如果第二标志的值是1，则可以在当前图片中包括具有i切片的类型的切片，或者可以不在当前图片中包括具有i切片的类型的切片。
[0248]
作为另一示例，如果关于切片类型的信息的值是0，则解码设备的熵解码器310可以确定当前图片中的所有切片都具有i切片类型，并且可以解析仅帧内预测操作所必需的信息。如果关于切片类型的信息是1，则解码设备的熵解码器310可以确定相应图片中的所有切片都具有p切片类型或b切片类型，并且可以从图片报头解析仅帧间预测操作所必需的信息。如果切片类型的信息的值是2，则解码设备的熵解码器310可以确定对于相应图片中的切片具有其中i切片类型、p切片类型和/或b切片类型混合的切片类型，并且可以从图片报头解析帧间预测操作所必需的信息和帧内预测操作所必需的信息中的全部。在这种情况下，关于切片类型的信息可以对应于slice_type_idc。
[0249]
作为再一示例，解码设备的熵解码器310在关于切片类型的信息的值被确定为0的情况下可以确定当前图片中的所有切片都具有相同的切片类型，并且在关于切片类型的信息的值被确定为1的情况下可以确定当前图片中的切片具有不同的切片类型。在这种情况下，关于切片类型的信息可以对应于mixed_slice_signalling_present_flag。
[0250]
如果关于切片类型的信息的值被确定为0，则解码设备的熵解码器310可以从图片报头解析关于在切片中是否包括帧内切片的信息。关于在切片中是否包括帧内切片的信息可以对应于如上所述的intra_slice_only_flag。如果关于在切片中是否包括帧内切片的信息是1，则图片中的所有切片都可以具有i切片类型。
[0251]
如果关于在切片中是否包括帧内切片的信息的值是1，则编码设备的熵解码器310可以从图片报头解析仅帧内预测操作所必需的信息。如果关于在切片中是否包括帧内切片的信息的值是0，则解码设备的熵解码器310可以从图片报头解析仅帧间预测操作所必需的信息。
[0252]
如果关于切片类型的信息的值是1，则解码设备的熵解码器310可以从图片报头解析帧间预测操作所需的信息和帧内预测操作所必需的信息中的全部。
[0253]
同时，解码设备的残差处理器320可以基于由熵解码器310获得的残差信息来生成残差样本。
[0254]
解码设备的加法器340可以基于由预测器330生成的预测样本和由残差处理器320生成的残差样本来生成重构样本(1430)。此外，解码设备的加法器340可以基于重构样本来生成重构图片(重构块)。
[0255]
此后，根据需要，为了提高主观/客观图片质量，可以对重构图片应用环路内滤波过程，诸如解块滤波、sao和/或afl过程。
[0256]
尽管已经在上述实施例中基于在其中按顺序列举步骤或框的流程图描述了方法，但是本公开的步骤不限于特定次序，并且可以相对于上述次序在不同步骤中或按不同次序或同时地执行某个步骤。此外，本领域的普通技术人员应理解，流程图中的步骤不是排他性的，并且在不对本公开的范围施加影响的情况下，可以在其中包括另一步骤或者可以删除流程图中的一个或多个步骤。
[0257]
根据本公开的以上提到的方法可以是软件的形式，并且根据本公开的编码设备和/或解码设备可以被包括在用于执行图像处理的装置(例如，tv、计算机、智能电话、机顶盒、显示装置等)中。
[0258]
当用软件实现本公开的实施方式时，可以用执行以上提到的功能的模块(处理或功能)实现以上提到的方法。模块可以被存储在存储器中并且由处理器执行。存储器可以安装在处理器的内部或外部，并可以经由各种公知装置连接到处理器。处理器可以包括专用集成电路(asic)、其他芯片集、逻辑电路和/或数据处理装置。存储器可以包括只读存储器(rom)、随机存取存储器(ram)、闪速存储器、存储卡、存储介质和/或其他存储装置。换句话说，根据本公开的实施方式可以在处理器、微处理器、控制器或芯片上实现和执行。例如，相应图中例示的功能单元可以在计算机、处理器、微处理器、控制器或芯片上实现和执行。在这种情况下，关于实现方式的信息(例如，关于指令的信息)或算法可以被存储在数字存储介质中。
[0259]
另外，应用本公开的实施方式的解码设备和编码设备可以被包括在多媒体广播收
发器、移动通信终端、家庭影院视频装置、数字影院视频装置、监视相机、视频聊天装置、诸如视频通信这样的实时通信装置、移动流传输装置、存储介质、便携式摄像机、视频点播(vod)服务提供器、顶置(ott)视频装置、互联网流传输服务提供器、3d视频装置、虚拟现实(vr)装置、增强现实(ar)装置、图像电话视频装置、车载终端(例如，车(包括自主车辆)载终端、飞机终端或轮船终端)和医疗视频装置中；并且可以被用于处理图像信号或数据。例如，ott视频装置可以包括游戏控制台、blueray(蓝光)播放器、联网tv、家庭影院系统、智能手机、平板pc和数字视频记录仪(dvr)。
[0260]
另外，应用本公开的实施方式的处理方法能够以由计算机执行的程序的形式产生，并可以被存储在计算机可读记录介质中。根据本公开的实施方式的具有数据结构的多媒体数据也可以被存储在计算机可读记录介质中。计算机可读记录介质包括存储有计算机可读数据的所有种类的存储装置和分布式存储装置。计算机可读记录介质可以包括例如蓝光盘(bd)、通用串行总线(usb)、rom、prom、eprom、eeprom、ram、cd-rom、磁带、软盘和光学数据存储装置。计算机可读记录介质还包括以载波(例如，互联网上的传输)的形式实施的媒体。另外，通过编码方法生成的比特流可以被存储在计算机可读记录介质中，或者可以通过有线或无线通信网络传输。
[0261]
另外，本公开的实施方式可以基于程序代码被实施为计算机程序产品，并且程序代码可以根据本文献的实施方式在计算机上执行。程序代码可以被存储在计算机可读载体上。
[0262]
图16表示可以应用本公开的实施例的内容流传输系统的示例。
[0263]
参考图16，被应用本公开的实施例的内容流传输系统可以通常包括编码服务器、流传输服务器、网络服务器(web server)、媒体存储、用户装置和多媒体输入装置。
[0264]
编码服务器用来将从诸如智能电话、照相机、便携式摄像机等这样的多媒体输入装置输入的内容压缩为数字数据，生成比特流，并且将其传送至流传输服务器。作为另一示例，在诸如智能电话、照相机、便携式摄像机等这样的多媒体输入装置直接生成码流的情况下，可以省略编码服务器。
[0265]
可以通过本公开的实施方式应用于的编码方法或比特流生成方法来生成比特流。并且流传输服务器可在发送或接收比特流的过程中暂时存储比特流。
[0266]
流传输服务器基于用户的请求通过网络服务器向用户设备传送多媒体数据，该网络服务器充当向用户通知存在什么服务的工具。当用户请求用户想要的服务时，网络服务器将请求转移至流传输服务器，并且流传输服务器将多媒体数据传送至用户。在这方面，内容流系统可包括单独的控制服务器，并且在这种情况下，控制服务器用来控制内容流系统中的各个设备之间的命令/响应。
[0267]
流传输服务器可以从媒体存储装置和/或编码服务器接收内容。例如，在从编码服务器接收到内容的情况下，可实时地接收内容。在这种情况下，流传输服务器可将比特流存储预定时间段以流畅地提供流传输服务。
[0268]
例如，用户设备可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(pda)、便携式多媒体播放器(pmp)、导航、板式pc、平板pc、超极本、可穿戴装置(例如，手表型终端(智能手表)、眼镜型终端(智能眼镜)、头戴式显示器(hmd))、数字tv、台式计算机、数字标牌等。
[0269]
可以将内容流系统中的每个服务器作为分布式服务器操作，并且在这种情况下，可以分布式方式处理由每个服务器接收的数据。