视频编码的方法与装置与流程

视频编码的方法与装置
1.交叉引用
2.本发明主张在2016年3月18日提出的申请号为62/309,991，标题为“methods for intra prediction in image and video compression”的美国临时专利申请的优先权，主张在2016年7月8日提出的申请号为62/359,822，标题为“methods for intra prediction with multiple reference lines in image and video compression”的美国临时专利申请的优先权，其内容以引用方式整体并入本文中。
技术领域
3.本发明涉及视频编码。具体而言，本发明涉及利用视频编解码系统中的预测技术。


背景技术：

4.本文提供的背景描述是为了通常呈现本公开的上下文的目的。在发明人呈现的本公开中，在很大程度上背景部分描述的内容，与实施方式描述的内容一样不能被视为申请日之前的现有技术。也就是说，既不被明确地也不暗示承认为本发明的现有技术。
5.许多视频编码标准包括将输入视频的图像帧划分成一个或多个编码单元。通常，编码单元可以进一步包括对应于图像帧的亮度和色度分量的至少一预测单元(或块)。当对块的原始图像进行编码时，依据预定的视频编码标准，块的原始图像可以被划分为可预测部分(也称为预测子(predictor))和块的残差部分。当解码块时，可以通过依据相同的预定视频编码标准产生并组合预测子和块的残差部分来获得块的重构图像。
6.在一些应用中，块的预测子可以基于其他块和/或其他帧的图像来生成。这种预测方案旨在减少编码视频数据中的时间冗余，并且也称为帧间预测(inter prediction)。在一些应用中，块的预测子可以通过基于多个预定预测模式中所选择的一个来外推与相邻像素(pixel)的样本来生成。这种预测方案可以减少已编码的视频数据中的空间冗余，也称为帧内预测(intra prediction)。


技术实现要素：

7.本公开的方面提供了一种视频编码方法。该方法包括接收与图像帧中的当前块相关联的输入数据，从与当前块的边缘相邻的多个候选相邻像素组中选择参考像素组，基于所选择的参考像素组和当前块的帧内预测模式生成当前块的帧内预测子，并且基于帧内预测子对当前块进行编码或解码以输出已编码的视频数据或已解码的块。每个候选相邻像素组与当前块的边缘并行布置。
8.在一个实施例中，该方法还可以还包括从输入资料中提取指示所选择的参考像素组的信息、或将所选择的参考像素组的信息包括于已编码的视频数据中。在另一个实施例中，该方法还可以包括基于帧内预测模式或当前块的形状导出所选择的参考像素组。
9.此外，该方法还可以包括从多个候选相邻像素组中选择第二参考像素组。所选择的参考像素组定义第一参考线，并且所选择的第二参考像素组定义第二参考线。当前块的
帧内预测模式的预测方向定义多个预测参考线。产生帧内预测子可以包括：基于所选择的参考像素组来确定第一样本值，第一样本值对应于第一参考线和多个预测参考线中的一个相交的第一位置，基于所选择的第二参考像素组确定第二样本值，第二样本值对应于第二参考线和多个预测参考线中的一个相交的第二位置，基于第一样本值和第二样本值之间的差值以及第一样本值和第二样本值中的一个来计算与多个预测参考线中的一个重叠的该帧内预测子的像素值。
10.在一个实施例中，确定第一样本值包括在与第一位置相邻的所选择的参考像素组的至少两个像素的像素值之间内插第一样本值。在一个实施例中，多个候选相邻像素组中选择参考像素组包括：选择多个候选相邻像素组中最接近于当前块的边缘的一个候选相邻像素组。
11.在一个示例中，计算帧内预测子的像素值可以基于等式：p＝ref1 w
·
(ref1-ref2)，其中p是帧内预测子的像素值，ref1是第一个样本值，ref2是第二个样本值，w是乘法因子(multiplication factor)。
12.此外，该方法可以包括从多个候选相邻像素组中选择k个参考像素组，k个参考像素组包括所选择的参考像素组，k是大于1的正整数。选择的k个参考像素组分别定义k个参考线。当前块的帧内预测模式的预测方向定义多个预测参考线。生成帧内预测子包括基于选择的k个参考像素组来分别确定k个样本值，以及基于k个样本值计算与多个预测参考线中的一个重叠的帧内预测子的像素值。k个样本值中的每一个分别对应于一位置，该位置为各个参考线和多个预测参考线中的一个相交的位置。
13.在至少一个实施例中，生成帧内预测子包括分别基于选择的k个参考像素组来确定k个样本值，并且基于k个样本值计算与预测参考线中的一个重叠的帧内预测子的像素值。
14.此外，该方法还可以包括基于所选择的参考像素组导出当前块的帧内预测模式。
15.本公开的一方面还可以提供一种包括处理电路的视频编码装置。处理电路被配置为接收与图像帧中的当前块相关联的输入数据，从与当前块的边缘相邻的多个候选相邻像素组中选择参考像素组，基于所选择的参考像素组和当前块的帧内预测模式生成当前块的帧内预测子，并且基于帧内预测子对当前块进行编码或解码以输出已编码的视频数据或已解码的块。每个候选相邻像素组与当前块的边缘并行布置。
16.本公开的方面进一步提供非瞬时计算机可读媒体(non-transitory computer readable medium)，该非瞬时计算机可读媒体存储用于使装置的处理电路执行视频编码方法的程序指令。该方法包括接收与图像帧中的当前块相关联的输入数据，从与当前块的边缘相邻的多个候选相邻像素组中选择参考像素组，基于所选择的参考像素组和当前块的帧内预测模式生成当前块的帧内预测子，并且基于帧内预测子对当前块进行编码或解码以输出已编码的视频数据或已解码的块。每个候选相邻像素组与当前块的边缘并行布置。
附图说明
17.将参考以下图式详细描述作为示例提出的本公开的各种实施例，其中相同的图式标记表示相同的组件，并且其中：
18.图1示出了依据本公开的实施例的视频编解码系统的示例性功能框图；
19.图2示出了依据本公开的示例性实施例的从与当前块的第一边缘相邻的多个第一候选相邻像素组中选择至少一个第一参考像素组并且从与当前块的第二边缘相邻的多个第二候选相邻像素组中选择至少一个第二参考像素组以用于生成当前块的帧内预测子的示意图；
20.图3示出了依据本公开的示例性实施例的使用两个选择的参考像素组来计算帧内预测子的像素值的示意图；
21.图4示出了依据本公开的示例性实施例的从多个候选相邻像素组中选择参考像素组以导出当前块的帧内预测模式的示意图；
22.图5示出了依据本公开的实施例的图1中的视频编解码系统中的示例性解码电路的功能框图；
23.图6示出了依据本公开的实施例的图1中的视频编解码系统中用于视频编码的处理电路的示例性功能框图；
24.图7示出了依据本公开的实施例的使用例如图5中的处理电路之类的用于视频解码的处理电路的视频解码处理的流程图；以及
25.图8示出了依据本公开的实施例的使用例如图6中的处理电路之类的用于视频编码的处理电路的视频编码处理的流程图。
具体实施方式
26.图1示出了依据本公开的实施例的视频编解码系统100的示例性功能框图。视频编解码系统100包括用于视频解码的处理电路(即，解码电路110)和用于视频编码的处理电路(即，编码电路120)。编码电路120接收输入帧106作为输入数据，并通过对输入帧106进行编码产生已编码的视频数据102。解码电路110接收已编码的视频数据102作为输入数据，并通过解码已编码的视频数据102来生成输出帧104。视频编解码系统100可以通过一个或多个视频编解码装置来实作，视频编码装置可以包括解码电路110，编码电路120，或解码电路110和编码电路120。
27.解码电路110可以至少包括帧内预测模块112，参考像素组选择器(reference pixel set selector)114和解码控制器116。帧内预测模块112可以使用帧内预测生成在图像帧中要解码的块(或者当前的块)的帧内预测子。参考像素组选择器114可以从与当前块的上边缘相邻并与其并行布置多个第一候选相邻像素组中选择至少一个水平参考像素组和/或从与当前块的左边缘相邻并与其并行布置的多个第二候选相邻像素组中选择至少一个垂直参考像素组。解码控制器116可以监视已编码的视频数据102的解码，包括确定是否使用帧内预测模块112来解码当前块和/或控制帧内预测模块112和参考像素组选择器114的操作。
28.在操作中，解码控制器116接收与当前块相关联的已编码的视频数据102，并从中提取关于是否使用帧内预测模块112，相应帧内预测模式，和/或所选择的参考像素组的信息，以用于生成当前块的帧内预测子。所选择的参考像素组可以由帧内预测模块112使用以生成帧内预测子，以导出用于滤波原始帧内预测子的梯度滤波参数(gradient filtering parameters)，以计算帧内预测子的右下角像素的像素值，导出用于生成帧内预测子的帧内预测模式，或其任何组合等。
29.可以在编码视频数据102中明确地指定所选择的参考像素组，或者基于已编码的视频数据102和预定视频编码标准导出所选择的参考像素组。可以基于帧内预测模式，当前块的尺寸或形状，来导出所选择的参考像素组。在一些示例中，当当前块是色度块时，可以明确地提供所选择的参考像素组，其基于与对应于色度块的亮度块的所选择的参考像素组导出，或者推定为紧邻色度块的边缘的相邻参考像素组。
30.所选择的参考像素组可以使用块级别的语法元素而被发送。此外，仅当当前块的尺寸大于预定阈值时，才能发送所选择的参考像素组。在一些示例中，当前块的尺寸可基于块的像素面积，块的相应边缘的尺寸，块的较长边缘的尺寸，和/或块的较短边缘的尺寸来测量。在一些示例中，如本技术中所述从多个候选相邻集合中选择一个或多个参考像素组可以仅适用于具有大于阈值的尺寸的亮度块或色度块的边缘，而具有等于或小于阈值的尺寸的色度块或色度块的边缘可以自动使用最靠近相应边缘的参考像素组。
31.帧内预测模式也可以在已编码的视频数据102中明确指定，或者基于已编码的视频数据102和预定的视频编码标准导出。可以使用任何适用的方法来导出帧内预测模式。在至少一个示例中，可以基于图像帧的已解码部分作为参考模板和所选择的参考像素组来导出帧内预测模式。
32.编码电路120可以至少包括帧内估计模块121，帧内预测模块122，参考像素组选择器124和编码控制器126。帧内估计模块121可以分析输入帧106并利用帧内预测确定预测参数以用于编码图像帧中的块(或当前块)。预测参数可以包括用于生成当前块的帧内预测子的帧内预测模式和/或用于生成帧内预测子的所选择的参考像素组。参考像素组选择器124可以与帧内估计模块121一起选择来自与当前块的上边缘相邻并与其并行布置的多个第一候选相邻像素组中的至少一个水平参考像素组和/或来自与当前块的左边缘相邻并与其并行布置的多个第二候选相邻像素组中的至少一个垂直参考像素。
33.由帧内估计模块121选择或识别的预测参数可以转发到编码控制器126，并且编码控制器126可以使用帧内预测来确定是否对当前块进行编码，并且如果要使用帧内预测对当前块进行编码，则编码预测参数作为已编码视频数据102的一部分。
34.由帧内估计模块121选择或识别的预测参数也可以被转发到帧内预测模块122以生成当前块的帧内预测子。帧内预测模块122可以以类似于帧内预测模块112的操作的方式生成用于进一步编码处理的当前块的帧内预测子。此外，编码控制器126可以监视当前块的编码，包括确定是否使用帧内估计模块121和帧内预测模块122来对当前块进行编码，和/或控制帧内预测模块121，帧内预测模块122和参考像素组选择器124的操作。
35.在操作中，编码控制器126可以通过包括关于是否使用帧内预测，对应的帧内预测模式和/或所选择的参考像素组的信息来生成与当前块相关联的已编码的视频数据102以用于产生当前块的帧内预测子。
36.所选择的参考像素组可以由解码电路110的帧内预测模块112使用以生成帧内预测子，以导出用于对原始帧内预测子进行滤波的梯度滤波参数，以计算帧内预测子的右下角像素的像素值，或其任意组合等。所选择的参考像素组还可以对应于导出用于生成帧内预测子的帧内预测模式。
37.所选择的参考像素组可以在已编码的视频数据102中被明确指定，或者可以基于已编码的视频数据102和预定视频编码标准由解码电路110导出。可以基于帧内预测模式，
当前块的尺寸或形状来确定是否发送所选择的参考像素组。在一些示例中，当当前块是色度块时，可以基于针对对应于色度块的亮度块的所选择的参考像素组来显式地提供或导出所选择的参考像素组。
38.所选择的参考像素组可以使用块级别的语法元素而被发送。此外，仅当当前块的尺寸，块的对应边缘的尺寸，和/或与块的相应边缘相对的相邻块的边缘的尺寸大于预定阈值时，才能发送所选择的参考像素组。在一些示例中，如本技术中从多个候选相邻集合中选择一个或多个参考像素组可以仅适用于具有大于阈值的尺寸的亮度块或色度块的边缘，而具有小于阈值的尺寸的色度块或色度块的边缘可以自动使用最靠近相应边缘的参考像素组。
39.帧内预测模式也可以在已编码的视频数据102中明确指定，或者基于已编码的视频数据102和预定视频编码标准导出，如参考编码电路110所描述。
40.此外，由帧内估计模块121选择或识别的预测参数也可以被转发到帧内预测模块122以生成当前块的帧内预测子。帧内预测子还可以用于生成当前块的残差信息。残留信息和预测参数可由编码控制器126编码并包括在已编码的视频数据102中。
41.如上所述，在一些示例中，所选择的参考像素组可以由解码电路110或编码电路120使用以用于生成帧内预测子，以导出用于过滤原始帧内预测子的梯度滤波参数，以计算帧内预测子的右下角像素的像素值，以导出用于生成帧内预测子的帧内预测模式等。参照图2-图4进一步说明从解码的角度来看这些应用的非限制性示例，这将可应用于从编码的角度的相应的应用。
42.图2示出了依据本公开的示例性实施例的从与当前块210的上边缘212相邻的多个第一候选相邻像素组222[1]-222[m]中选择至少一个水平参考像素组并且从与当前块210的左边缘214相邻的多个第二候选相邻像素组224[1]-224[n]选择至少一个垂直参考像素组用于生成当前块210的帧内预测子。
[0043]
多个第一候选相邻像素组222[1]-222[m]对应于与上边缘212相邻并与其并行布置的m行像素。m是大于1的预定整数。多个第二个候选相邻像素组224[1]-224[n]对应于与左边缘214相邻并与其并行布置的n行像素。n是大于1的预定整数。在一些示例中，m或n可以在2至16的范围内。在一些实例中，m等于n。
[0044]
此外，当对应的边缘(例如，上边缘212或左边缘214)具有等于或小于预定阈值的尺寸时，从相应的多个候选参考像素组中选择参考像素组可能不适用，并且可以默认使用最接近对应边缘的参考像素组(例如，对应于左边缘214的参考像素组224[1]或对应于上边缘212的参考像素组222[1])。在一些示例中，可以基于当前块210的尺寸是否大于预定阈值，来确定是否从多个候选参考像素组中选择参考像素组。在一些示例中，基于块的像素区域，块的较长边缘的尺寸，和/或块的较短边缘的尺寸，来测量当前块的尺寸。
[0045]
可以基于从已编码的视频数据发送或导出的可用帧内预测模式中选择的一个来生成当前块210的帧内预测子。可用的帧内预测模式可以被分为三类，包括：(1)第一组角度帧内预测模式(例如，从垂直方向到指向左下方向45度方向的预测方向)，其仅需要对应于上边缘212的水平参考像素组；(2)第二组角度帧内预测模式(例如，具有从水平方向到指向上方右-左方向(upper right-left direction)45度的预测方向)，其仅需要对应于左边缘214的垂直参考像素组；和(3)第三组角度帧内预测模式(例如，在垂直方向和水平方向之间
的预测方向)和非角度帧内预测模式，其需要水平参考像素组和垂直参考像素组。
[0046]
在对应于上述类别(1)的示例中，可以基于具有预测方向202和至少一个所选水平参考像素组的角度帧内预测模式来生成当前块210的帧内预测子。当仅需要一个水平参考像素组以产生当前块210的帧内预测子时，可以选择m个候选相邻像素组222[1]-222[m]中的任何一个。当需要多个水平参考像素组来产生当前块210的帧内预测子时，可以以任何顺序选择m个候选相邻像素组222[1]-222[m]的任何组合，并且所选择的水平参考像素组可以是连续行或非连续行。
[0047]
在对应于上面讨论的类别(2)或类别(3)的示例中，可以基于角度预测模式和至少一个所选择的垂直参考像素组，或者基于角度预测模式或非角度选择模式、和至少一个所选择的水平参考像素组和至少一个所选择的垂直参考像素组，生成当前块210的帧内预测子。可以以与当前块210的左边缘214相邻并且与当前块210的左边缘214并行的第二多个候选相邻像素组224[1]-224[n]来选择至少一个所选择的垂直参考像素组，选取方法类似于从多个候选相邻像素组222[1]-222[m]中选择至少一个所选择的垂直参考像素组。
[0048]
当角度帧内预测模式具有比垂直方向更靠近水平方向的预测方向时，或者当当前块的高度大于其宽度时，用于生成帧内预测子的垂直参考像素组可以从多个候选相邻像素组224[1]-224[n]中选择，而水平参考像素组可以被设置为默认选择(例如接近于上边界的相邻参考像素组224[1])，并且因此不需要在块级别被发送。类似地，当角度预测模式具有比水平方向更靠近垂直方向的预测方向时，或当当前块的宽度大于其高度时，用于生成帧内预测子的水平参考像素组可以从多个候选相邻像素组222[1]-222[m]中选择，而垂直参考像素组可以被设置为默认选择(例如接近于左边缘214的相邻参考像素组224[1])，并且因此不需要在块级别被发送。在一些示例中，当选择两个或多个参考像素组时，最接近候选相邻像素组合中的一个(例如，用于上边缘212的候选相邻像素组222[1]和/或用于左边缘214的候选相邻像素组合224[1])可以总是默认地选择为所选择的参考像素组之一。
[0049]
当选择对应于特定边缘的两个或多个参考像素组以产生帧内预测子时，帧内预测子可以被生成为从两个或多个选择的参考像素组导出的各个样本值的权重组合。相应的权重可以从编码视频数据102中提取或包括在编码视频数据102中。相应的权重可以依据应用视频编码标准导出或预定。依据本发明的一实施方式，包括从输入数据中提取指示k个权重的信息、或将k个权重的信息包括于已编码的视频数据中。
[0050]
例如，当从m个候选相邻像素组222[1]-222[m]中选择k个参考像素组时，k是大于1的正整数，所选择的k个参考像素组可以分别定义k个参考线。当前块的帧内预测模式的预测方向也可以定义多个预测参考线。可以通过分别基于k个选择的参考像素组来确定k个样本值来生成与预测参考线之一重叠的帧内预测子的像素值，并且基于k个样本值来计算帧内预测子的像素值。k个样本值中的每个可以对应于所选择的参考像素组的各个参考线和一个预测参考线相交的相应位置。可以基于分别适用于k个样本值的k个权重来计算帧内预测子的像素值。换句话说，帧内预测子的像素值可以基于以下等式来确定：
[0051]
p＝w1
·
ref1 w2
·
ref2 ... wk
·
refk,
[0052]
其中p表示帧内预测子的像素值，ref1-refk表示从k个选择的参考像素组导出的各个样本值，并且w1-wk表示适用于k个选择的参考像素组的各个权重。
[0053]
在一些示例中，依据适用的视频编码标准，权重w1-wk可以基于当前块中的像素的
位置，当前块的帧内预测模式的预测方向，或者在k个选择的参考像素组中的主参考像素组来确定。可以将k个选择的参考像素组中的所选主要参考像素组的权重设置为在所有权重w1-wk中最大。此外，对于更靠近当前块210的对应边缘的所选择的参考像素组的权重可以被设置为大于对当前块210的相应边缘更远的另一个选择的参考像素组的权重。
[0054]
依据各种替代方法或组合，可以使用来自多个候选相邻参考像素组222[1]-222[m]和/或224[1]-224[n]的所选择的参考像素组来生成帧内预测子。
[0055]
依据使用所选择的参考像素组的一种替代方法，可以基于最接近对应边缘212和214的相邻参考像素组222[1]和224[1]和指定的帧内预测模式，来生成当前块的原始帧内预测子。可以使用基于从多个相邻候选像素组222[1]-222[m]和/或224[1]-224[n]中的所选择的参考像素组计算的梯度信息，来调整原始帧内预测子。可以通过基于所计算的梯度信息调整原始帧内预测子，来生成最终帧内预测子。
[0056]
在一些示例中，梯度信息g可以对应于基于沿特定的帧内预测模式的预测方向的对应的相同边缘的两个选择的参考像素组导出的两个样本值之间的差值。当原始帧内预测子的像素的值是praw时，可以基于以下等式来确定与praw对应的最终帧内预测子p的像素值：
[0057]
p＝praw a
·
g,
[0058]
其中a表示预定参数。在一些示例中，当预测像素更靠近所选择的参考像素组时，可以将参数a设置得更大。在至少另一个示例中，参数a可以随块尺寸而变化。
[0059]
在至少一个实施例中，梯度信息可以总是通过使用对应边缘的第一和第二最近参考像素组(例如，对应于上边缘212的候选像素组222[1]和222[2]和/或对应于左边缘214的候选像素组224[1]和224[2])之间的差值来生成。
[0060]
依据使用所选择的参考像素组的另一种替代方法，针对相应边缘选择至多一个参考像素组。当选择水平参考像素组和垂直参考像素组以产生当前块210的帧内预测子时，所选择的水平参考像素组和当前块210的上边缘212之间的最短距离可以不同于垂直选择的参考像素组与当前块210的左边缘214之间的最短距离。
[0061]
依据使用所选择的参考像素组的另一替代方法，在生成如上所述的原始帧内预测子之后，可以通过应用梯度滤波器和/或双边界(bi-boundary)滤波器于原始帧内预测子生成当前块的最终帧内预测子。可以基于所选择的水平参考像素组和/或所选择的垂直参考像素组而不是仅使用最接近的参考像素组(例如，候选像素组222[1]或224[1])，来生成用于梯度滤波器和/或双边界滤波器的滤波参数。
[0062]
依据使用所选择的参考像素组的另一替代方法，当前块的帧内预测子的生成包括首先计算当前块210的帧内预测子的右下角像素216的像素值，其可以基于所选择的参考像素组来计算。可以基于来自角像素216(corner pixel)正上方的候选像素组222[1]的像素226的像素值，来自角像素216的正左侧的候选像素组224[1]的像素228的像素值，基于来自相邻候选像素组222[1]-222[m]的两个或更多个选择的参考像素组导出的第一梯度信息delta_t，和基于在来自相邻候选像素组224[1]-224[n]的两个或更多个选择的参考像素组导出的第二梯度信息delta_l，来确定右下角像素216的像素值。角像素216的像素值p可以基于以下等式来确定：
[0063]
p＝(ref_t a
·
height
·
delta_t ref_l b
·
width
·
delta_l),
[0064]
其中高和宽对应于当前块210的尺寸，并且a和b表示预定参数。
[0065]
参数a和b可以基于预测方向，块尺寸，角像素216到所选择的参考像素组的距离等来确定。在一些示例中，参数a和b可以基于预测和/或块尺寸的方向来发送或导出，或从多个候选值中选择。
[0066]
在一些示例中，发送角像素216的粗略值，并且可以基于从所选择的参考像素组导出的梯度信息来调整角像素216的最终像素值。
[0067]
尽管在本公开中示出了用于使用所选择的参考像素组来生成帧内预测子的许多示例方法，但是存在其他可应用的方法并且这些方法也包括于实施例中。
[0068]
此外，在一些示例中，是否选择至少一个对应于当前块的特定边缘的参考像素组或者自动使用最接近对应替代边缘的参考像素组可以取决于边缘的尺寸是否大于预定阈值。例如，当边缘具有大于预定数量像素的尺寸时，将基于从多个相邻候选参考像素组中选择至少一个参考像素组来执行帧内预测子的生成。在这种情况下，可以通过已编码的视频数据102来发送要被选择的参考像素组，或者基于已编码的视频数据102来导出要被选择的参考像素组。当边缘具有等于或小于预定数目像素的尺寸时，可以基于最接近对应边缘的相邻候选像素组来执行帧内预测子的生成。在这种情况下，不需要指示哪个参考像素组被选择。
[0069]
此外，是否选择对应于当前块的特定边缘的至少一个参考像素组或者自动使用最接近对应边缘的相邻候选像素组，可以取决于与边缘及/或当前块相邻的相邻块的边缘尺寸是否大于各自的预定阈值。指示要选择哪个参考像素组的信息可以通过已编码的视频数据102来发送或者基于已编码的视频数据102来导出。
[0070]
在一些示例中，当当前块是色度块时，可以基于为对应于色度块的亮度块的所选参考像素组，来发送或导出所选择的参考像素组。在一些示例中，当当前块是色度块时，通过如上所述选择参考像素组或使用与替代色度块的边缘紧邻的参考像素组来对色度块进行编码或解码。
[0071]
此外，当使用四叉树加二叉树(quadtree plus binary tree,qtbt)结构对当前块所属的帧进行编码时，该帧的亮度和色度块可以具有不同块尺寸和/或形状的不同的块划分。用于色度块的参考像素组可以使用默认设置的最接近的参考像素，参考包括与色度的左上角像素共位(co-located)的像素的对应亮度块的参考像素组的选择。在一些示例中，当使用4:2:0颜色格式时，用于亮度块的第一和第二最接近的参考像素组可以对应于相应色度块的第一最近参考像素组，并且用于亮度块的第三和第四最近参考像素组可以对应于针对相应色度块的第二最接近的参考像素组。当然，色度块可以使用单独被发送的或导出的参考像素组选择。
[0072]
图3示出了依据本公开的示例性实施例的使用两个选择的参考像素组322[m1]和322[m2]来计算帧内预测子的像素值的示意图。图3示出了使用参考图2简要示出的从多个相邻像素组中选择的参考像素组来生成帧内预测子的具体示例。
[0073]
从与当前块210的上边缘212相邻并并行的相邻候选像素组222[1]-222[m]中选择所选择的参考像素组322[m1]和322[m2]，并且索引m1和m2的范围从1到m。当然，依据用于生成帧内预测子的指定帧内预测模式，可以额外地或替代地基于从相邻候选参考像素组224[1]-224[n]中选择的参考像素组，以与图3所示的示例相似的方式，来计算帧内预测子的像
素值。
[0074]
当选择对应于特定边缘212的两个参考像素组322[m1]和322[m2]以产生帧内预测子时，可以依据从两个所选择的参考像素组导出样本值的权重组合，生成帧内预测子。权重组合可以以从两个选择的参考像素组中的一个导出的样本值和从由预定乘法因子(multiplication factor)调整的两个选择的参考像素组导出的不同样本值的总和的形式来执行。
[0075]
例如，所选择的参考像素组322[m1]可以定义第一参考线l1。所选择的参考像素组322[m2]可以定义第二参考线l2。此外，当前块的指定帧内预测模式的预测方向302可以定义预测参考线，其中预测参考线l3中的一个与帧内预测子的像素316重叠。可以基于所选择的参考像素组322[m1]来确定第一样本值ref1。第一样本值ref1可以对应于第一参考线l1和预测参考线l3相交的第一位置342。在一些示例中，可以通过在被选择的参考像素组322[m1]中的至少两个像素(例如，像素m1-a和m1-b)的像素值之间，使用与第一位置和至少两个像素之间的距离d1a和d1b分别成反比的比率的内插(interpolation)操作来确定第一样本值ref1，其中该至少两个像素与第一位置342相邻。此外，可以基于所选择的参考像素组322[m2]来确定第二样本值ref2。第二样本值ref2对应于第二参考线l2和预测参考线l3相交的第二位置344。在一些示例中，可以通过在被选择的参考像素组322[m2]中的至少两个像素(例如，像素m2-a和m2-b)的像素值之间，使用与第二位置和至少两个像素之间的距离d2a和d2b分别成反比的比率的内插操作来确定第二样本值ref2，其中该至少两个像素与第二位置344相邻。当然，可以通过基于所选择的参考像素组322[m1]和/或参考像素组322[m2]的任何其它适用方法来确定样本值ref1和ref2。
[0076]
可以基于第一样本值ref1和第二样本值ref2来计算与预测参考线l3重叠的帧内预测子的像素316的像素值。在一些示例中，可以基于第一样本值ref1和第二样本值ref2之间的差值以及第一样本值ref1和第二样本值ref2中的一个，来计算像素316的值。在至少一个示例中，帧内预测子的像素值可以基于以下等式来确定：
[0077]
p＝ref1 w
·
(ref1-ref2),
[0078]
其中p表示帧内预测子的像素值，w表示乘法因子。
[0079]
可以基于当前块的尺寸或帧内预测模式或当前块中的像素316的位置来设置乘法因子w。在一些示例中，乘法因子w可以基于第一位置342和像素316之间的距离d和第一位置342与第二位置344之间的距离dref来确定。在至少一个示例中，可以基于以下等式来确定帧内预测子的像素值：
[0080][0081]
其中b表示另一预定参数。在一些示例中，可以经由已编码的视频数据102发送参数b，或者基于已编码的视频数据102中提供的信息导出参数b。
[0082]
图4标出了使用所选择的像素组的另一种方法的示意图，该方法包括依据本公开的示例性实施例从多个候选相邻像素组中选择参考像素组，以导出当前块410的帧内预测模式。当前块410是帧400的一部分，并且帧400包括已处理部分402和未处理部分404。已处理部分402包括在处理当前块410之前已被用于编码或解码处理的块。未处理部分404包括尚未被处理用于编码或解码的块，其中当前块410是未处理部分404的一部分。
[0083]
当前块410包括上边缘412和左边缘414。对应于上边缘412的一个或多个参考像素组432和对应于左边缘414的一个或多个参考像素组434，以类似于参考图2所示的参考像素组的方式而被选择。所选择的参考像素组432和所选择的参考像素组434被一起标记为所选择的参考像素组430。也就是说，基于该帧内预测模式或该当前块的形状导出所选择的参考像素组。
[0084]
代替直接用于生成帧内预测子或除了直接用于生成帧内预测子之外，所选择的参考像素组430可以与帧400的处理部分402一起使用以导出当前块410的帧内预测模式。例如，处理部分402内与上边缘412相邻的参考模板(template)像素422和与左边缘414相邻的参考模板像素424可以用作表示当前块410的参考模板。参考模板像素422可以具有与上边缘412的长度相同的宽度和预定高度lt0。在一些示例中，参考模板像素422可以具有与所选参考像素组432和上边缘412之间的最短距离相同的高度l
t1
。参考模板像素424可以具有与左边缘414的长度相同的宽度和预定高度ll0。在一些示例中，参考模板像素424可以具有与所选择的参考像素组434和左边缘414之间的最短距离相同的高度ll1。
[0085]
因此，编码电路可以从已编码的视频数据排除关于当前块的帧内预测模式的信息，并且解码电路可以如本文所述相应地导出帧内预测模式。解码电路可以推导出帧内预测模式，其是通过识别对应于参考模板像素422和参考模板像素424的已解码的像素值和使用选择的参考像素组430和各种候选帧内预测模式产生对应的计算像素值之间的最小误差的帧内预测模式而来导出的。另一方面，编码电路可以基于参考模板像素422和参考模板像素424的像素值和使用所选择的参考像素组430和各种候选帧内预测模式对应的计算的像素值，确定帧内预测模式。在一些示例中，编码电路可以基于当前块410和各种候选帧内预测模式来确定帧内预测模式，并且还可以确定所选择的参考像素组，其可以与参考模板像素422和424的已解码像素值结合，被用作发送所确定的帧内预测模式的方法。
[0086]
此外，在确定了帧内预测模式之后，可以基于相同的所选择的参考像素组430或不同的水平和/或垂直参考像素组来生成当前块410的帧内预测子。
[0087]
图5示出了依据本公开的实施例的例如图1中的视频编解码系统100的视频编解码系统中的示例性解码电路510的功能框图。图5是解码电路510的简化图，因此可能不显示解码电路510的所有细节和变化。
[0088]
解码电路510包括可以对应于图1中的帧内预测模块112，参考像素组选择器114和解码控制器116的帧内预测模块512，参考像素组选择器514和解码控制器516。如果解码控制器516确定使用帧内预测来解码当前块，帧内预测模块512可以基于指定或导出的帧内预测模式生成当前块的最终预测子。如参考图3所示，参考像素组选择器514可以从多个相邻候选像素组中选择水平和/或垂直参考像素组。在一些示例中，如参考图2和图3所示，帧内预测模块512可以基于所选择的参考像素组和由解码控制器516通知的帧内预测模式来生成帧内预测子。在一些示例中，帧内预测模块512可以基于如参考图2和图4所示的所选择的参考像素组导出帧内预测模式。
[0089]
解码电路510还包括帧间预测模块532，加法器542，残差解码器544，输出滤波器546，内存550和处理器560。当使用帧间预测来解码当前块时，帧间预测模块532可以基于指定或导出的运动信息，生成当前块的帧间预测模块。此外，残差解码器544可以依据来自解码控制器516的残差信息生成当前块的剩余部分。加法器542可以通过将自残差解码器544
的当前块的残差部分、自帧内预测模块512的当前块的帧内预测子，及/或自帧间预测模块532的当前块的帧间预测子相加，来产生当前块(即，已解码的块)的已解码图像。
[0090]
输出滤波器546可以将来自加法器542的已解码块组合成图像帧，依据预定滤波处理来处理图像帧，并输出滤波后的图像帧作为输出帧504。内存550可以存储来自输出滤波器546的已滤波的图像帧和/或来自预测模块(帧内预测模块512或帧间预测模块532)的当前帧的先前已解码的块，其可被预测模块(帧内预测模块512或帧间预测模块532)进一步用于检索参考样本。
[0091]
解码控制器516接收并分析已编码的视频数据502并提取当前块的残留信息和预测参数。解码控制器516可以向残差解码器544提供残留信息，并将预测参数提供给帧内预测模块512或帧间预测模块532，以便重建当前块的图像。
[0092]
在操作中，当要解码当前块时，解码控制器516接收与当前块相关联的已编码的视频数据502，并使用帧间预测或帧内预测来提取关于是否要解码当前块的信息。当解码控制器516使用帧内预测确定当前块要解码时，解码控制器516将当前块的预测参数转发给帧内预测模块512。预测参数可以包括帧内预测信息，例如指示要选择哪一个相邻候选像素组的参考像素组选择信息，指示用于生成当前块的帧内预测子的帧内预测模式是否要被发送或导出的标志，和/或帧内预测模式。由解码控制器516提取或识别的预测参数可以在已编码的视频数据502中明确指定，或者基于已编码的视频数据502中提供的信息和预定视频编码标准导出。
[0093]
如参考图2和图3所示，帧内预测模块512可以依据由解码控制器516提供的所选择的参考像素组和帧内预测模式来生成当前块的帧内预测子。如参考图2和图4所示，帧内预测模块512可以依据所选择的参考像素组和当前块所属的帧的处理部分，导出当前块的帧内预测模式，并且基于导出的帧内模式，生成帧内预测模式模式。
[0094]
解码控制器516还将残差信息转发到残差解码器544，其中残差解码器544生成当前块的残差部分。现在当前块可以通过在加法器542处将来自帧内预测模块512的帧内预测子和来自残差解码器544的当前块的残差部分相加来解码。
[0095]
此外，如图5所示，处理器560与内存550电耦合，并且可以被配置为执行存储在内存550中的程序指令以执行各种功能。处理器560可以包括单个或多个处理核心。例如解码控制器516，帧内预测模块512，参考像素组选择器514，帧间预测模块532，加法器542，残差解码器544，和/或输出滤波器546等的解码电路510的各种组件可以由硬件组件，执行程序指令的处理器560，或其组合来实作。当然，处理器560还可以执行程序指令来控制已编码的视频数据502的接收以及输出帧504的输出或显示。在一些示例中，处理器560可执行程序指令以执行可能不直接涉及解码已编码的视频数据502的功能。
[0096]
内存550可用于存储程序指令，对应于预测参数的信息，先前解码的块，输出帧，和/或中间数据，以用于执行解码电路510的各种功能。在一些示例中，内存550包括例如半导体或固态内存，随机存取内存(ram)，只读内存(rom)，硬盘，光盘或其它合适的存储媒体的非瞬时计算机可读媒体。在一些实施例中，内存550包括上面列出的两个或多个非瞬时计算机可读媒体的组合。
[0097]
图6示出了依据本公开的实施例的图1中的视频编码系统100的视频编解码系统中用于视频编码的编码电路620的示例性功能框图。图6是编码电路620的简化图，因此可能不
显示编码电路620的所有细节和变化。
[0098]
编码电路620包括帧内估计模块621，帧内预测模块622，参考像素组选择器624和编码控制器626，其可分别对应于图1中的帧内估计模块121，帧内预测模块122，参考像素组选择器124和编码控制器126。编码电路620还包括帧间估计模块631，帧间预测模块632，加法器642，残差编码器644，重构模块648，内存650和处理器660。
[0099]
编码控制器626监视帧内估计模块621，帧内预测模块622，参考像素组选择器624，帧间估计模块631和帧间预测模块632的操作。编码控制器626可以将每个输入帧划分为多个块并且指示帧内估计模块621和/或帧间估计模块631确定每个块的预测方案，预测模式和/或相应的预测参数。编码控制器626可以选择帧内预测模块622或帧间预测模块632中的一个，以将当前块的对应的最终预测子输出到加法器642。加法器642接收当前块的原始图像和当前块的最终预测子，并通过从当前块的原始图像中减去最终预测子来输出当前块的残差部分。残差编码器644接收并编码当前块的剩余部分。编码控制器626可以基于来自帧内估计模块621和/或帧间估计模块631的预测参数来产生已编码的视频数据602，并自残差编码器644来输出。
[0100]
帧内预测模块622和帧间预测模块632可以分别从帧内估计模块621和帧间估计模块631接收预测参数，并且可以以类似于图5中帧内预测模块512和帧间预测模块532的操作相似的方式来产生用于当前块的对应的最终预测子。帧内预测模块622和/或帧间预测模块632可以以类似于帧内预测模块512和帧间预测模块532的操作类似的方式生成最终预测子。因此，省略其详细描述。
[0101]
在一些示例中，编码控制器626可以控制帧内估计模块621，参考像素组选择器624，帧间估计模块631，帧内预测模块622，帧间预测模块632，和/或残差编码器644，以对基于不同预测方案和参数编码当前块，然后可以选择用于对当前块进行编码的编码方案和参数的最佳组合。
[0102]
重构模块648可以从帧内预测模块622或帧间预测模块632接收最终预测值，并从残差编码器644接收当前块的已重建残差部分。基于这样的信息，重建模块648可以生成以与图5中的加法器542和输出滤波器546的操作相似的方式，产生当前块的已重建图像及/或已重建帧。已重建的块和/或帧可以存储在内存650中，并且可由帧内预测模块622，帧间预测模块632，帧内估计模块621和/或帧间估计模块631存取，以用于估计下一个块的预测参数。
[0103]
在操作中，当如编码控制器626所指示，当前块利用帧内预测而被编码时，帧内估计模块621从输入帧606接收当前块的原始图像。帧内估计模块621可以使用参考像素组选择器624来确定合适的预测参数，例如如参考图2和3所示的所选择的帧内预测模式和/或来自相邻候选参考像素组的所选择的参考像素组。可以依据预定的视频编码标准从可用的帧内预测模式中选择帧内预测模式以用于帧内预测。
[0104]
帧内预测模块622可以基于由帧内估计模块621提供的预测参数来生成当前块的帧内预测子。帧内预测模块622可以与参考像素组选择器624一起工作，以依据如图2和图3所示的自相邻候选参考图像组和帧内预测模式产生当前块的帧内预测子。在一些示例中，帧内预测模块622可以与相邻参考像素组选择器624一起工作，以依据如图2和图4所示的来自相邻参考像素组的所选择的参考像素组来导出帧内预测模式，并依据所选择的参考像素
组，其它预定的相邻参考像素组和导出的帧内预测模式，生成当前块的帧内预测子。
[0105]
加法器642可以基于当前块的原始图像和最终预测子输出当前块的残差部分，并对残差部分进行编码。编码控制器626可以从帧内估计模块621和/或帧间估计模块631和已编码的残差信息收集预测参数，并且确定当前块的所选编码方案是否可接受。
[0106]
此外，如图6所示，处理器660与内存650电耦合，并且可以被配置为执行存储在内存650中的程序指令，以执行各种功能。处理器660可以包括单个或多个处理核心。例如编码控制器626，帧内预测模块622，帧内估计模块621，帧间预测模块632，帧间估计模块631，参考像素组选择器624，加法器642，残差编码器644和/或重建模块648的编码单元620的各种组件可以由硬件组件，执行程序指令的处理器660，或其组合来实作。当然，处理器660还可以执行程序指令以控制输入帧606的接收和已编码的视频数据602的输出。在一些示例中，处理器660可以执行程序指令以执行可能对已编码视频数据602进行编码不直接相关的功能。
[0107]
内存650可用于存储程序指令，对应于预测参数已重建块的信息，输入帧，和/或中间数据，以用于执行编码电路620的各种功能。在一些示例中，内存650包括例如半导体或固态内存，随机存取内存(ram)，只读内存(rom)，硬盘，光盘或其它合适的存储媒体之类的非瞬时计算机可读媒体。在一些实施例中，内存650包括上面列出的两个或更多个非瞬时计算机可读媒体的组合。
[0108]
此外，图5中的解码电路510和图6中编码电路620可以在相同的电子设备中实现，并且解码电路510和编码电路620的各种组件可以被共享或重用。例如，解码电路510中的内存550，处理器560，帧内预测模块512，帧内预测模块532，相邻参考像素组选择器514和输出滤波器546中的一个或多个也可以用作图6中的内存650，处理器660，帧内预测模块622，帧内预测模块632，相邻参考像素组选择器624和重建模块648。
[0109]
图7示出了依据本公开的实施例的使用例如图5中的解码电路510的视频解码处理电路的视频解码处理700的流程图。应当理解，可以在图7所示的处理700之前，期间和/或之后执行附加操作。处理700从步骤s701开始，并进入步骤s710。
[0110]
在步骤s710，与图像帧中的当前块相关联的已编码的视频数据被接收作为输入数据。例如，解码控制器516可以接收包括与当前块相关联的输入数据的已编码的视频数据502。
[0111]
在步骤s720，当使用帧内预测对当前块进行编码时，识别当前块的帧内预测模式。在一些示例中，帧内预测模式可以通过已编码的视频数据被发送或者依据已编码的视频数据中提供的信息而导出。在步骤s730和/或步骤s740中与所识别的帧内预测模式一起选择的参考像素组可以被使用，以生成当前块的帧内预测子。例如，解码控制器516可以从已编码的视频数据502提取预测参数，并确定当前块的帧内预测模式。
[0112]
在一些示例中，在步骤s730和/或步骤s740中选择的参考像素组可以被使用，以导出当前块的帧内预测模式。在这种情况下，可以在步骤s730和步骤s740之后执行步骤s720。
[0113]
在步骤s730，从与当前块的第一边缘并列布置的多个第一候选相邻像素组中选择一个或多个第一参考像素组。例如，参考像素组选择器514可以从对应于上边缘212的候选相邻像素组222[1]-222[m]中选择一个或多个参考像素组，或者从候选向量像素组224[1]-224[n]中选择一个或多个参考像素组作为如参照图2所描述的一个或多个第一参考像素
组。
[0114]
在步骤s740，从与当前块的第二边缘并列布置的多个第二候选相邻像素组中选择一个或多个第二参考像素组。例如，参考像素组选择器514还可以从如参考图2所述的另一个候选相邻像素组222[1]-222[m]或224[1]-224[n]中选择一个或多个参考像素组作为一个或多个第二参考像素组。
[0115]
当帧内预测子的生成需要对应于当前块的两个不同边缘的所选择的参考像素组时，可以执行步骤s740。在一些示例中，当依据预定的视频编码标准已经预先指定当前块的第二边缘的所选择的参考像素组时，或者当仅需要来自当前块的上边缘或左侧边缘中的一个的选择的参考像素组时，可以省略步骤s740。
[0116]
在一些示例中，步骤s730和步骤s740中所选择的参考像素组可用于导出当前块的帧内预测模式。在这种情况下，可以在步骤s730和步骤s740之后执行步骤s720。例如，帧内预测模块512，参考像素组选择器514和解码控制器516可以一起工作，以如参照图4所述的方式导出帧内预测模式。
[0117]
在步骤s750，使用所识别的帧内预测模式和/或所选择的参考像素组来生成当前块的帧内预测子。例如，当使用帧内预测对当前块进行编码时，帧内预测模块512可以使用如参考图2和图3所描述的所选择的参考像素组和/或使用如参考图2和图4所示的所识别的帧内预测模式，来生成当前块的帧内预测子。
[0118]
在步骤s760，基于帧内预测子对当前块进行解码以输出已解码的块。例如，如参照图5所述，加法器542基于组合当前块的残差部分和来自帧内-帧间预测模块512的最终预测子，来生成当前块的已解码块。
[0119]
在步骤s760之后，该过程进行到步骤s799并终止。
[0120]
图8示出了依据本公开的实施例的使用例如图6中的编码电路620的视频编码处理电路的视频编码处理800的流程图。应当理解，可以在图8所示的处理800之前，期间和/或之后执行附加操作。处理800从步骤s801开始，进入步骤s810。
[0121]
在步骤s810，包括将利用帧内预测编码的当前块的输入图像帧被接收作为输入数据。例如，处理电路620可以接收包括具有当前块的图像帧的输入帧606。
[0122]
在步骤s820-步骤s840中，用于使用帧内-帧间预测对当前块进行编码的预测参数被估计。例如，帧内估计模块621与相邻参考像素组选择器624一起使用如参照图2-图4所述帧内预测来估计用于对当前块进行编码的预测参数。
[0123]
在步骤s820中，用于对当前块进行编码的帧内预测模式被识别。在步骤s830，从与当前块的第一边缘并列布置的多个第一候选相邻像素组中选择一个或多个第一参考像素组。例如，参考像素组选择器624可以从对应于从如图2所示的上边缘212的候选相邻像素组222[1]-222[m]中选择一个或多个参考像素组，或者对应于左边缘214的候选相邻像素组224[1]-224[n]选择一个或多个参考像素组作为一个或多个第一参考像素组。
[0124]
在步骤s840，从与当前块的第二边缘并联布置的多个第二候选相邻像素组中选择一个或多个第二参考像素组。例如，参考像素组选择器814还可以从如图2所示的对应于边缘212或边缘214中的另一个的候选相邻像素组222[1]-222[m]或224[1]-224[n]中选择一个或多个参考像素组，作为一个或多个第二参考像素组。
[0125]
当帧内预测子的生成需要对应于当前块的两个不同边缘的所选择的参考像素组
时，可以执行步骤s840。在一些示例中，当依据预定的视频编码标准已经预先指定当前块的第二边缘的所选择的参考像素组时，或者当仅需要来自当前块的上边缘或左侧边缘中的一个的选择的参考像素组时，可以省略步骤s840。
[0126]
在一些示例中，步骤s830和/或步骤s840中所选择的参考像素组可用于导出当前块的帧内预测模式。在这种情况下，可以在步骤s830和步骤s840之后执行步骤s820。例如，帧内估计模块621，参考像素组选择器624和编码控制器626可以一起工作，以参照图6所述的方式导出帧内预测模式。
[0127]
在步骤s850，基于在步骤s820-步骤s840中确定的预测参数来生成当前块的帧内预测子。例如，帧内预测模块622借助于参考像素组选择器624，基于由参照图6所述的帧内估计模块621提供的预测参数生成当前块的帧内预测子。在一些示例中，帧内预测模块622可以使用如参考图2和3所示的所选择的参考像素组和/或使用如参考图2和图4所示的所识别的帧内预测模式，来生成当前块的帧内预测子
[0128]
在步骤s860，预测参数是否可接受被确定。如果预测参数是可接受的，则处理进行到步骤s870。如果预测参数是不可接受的，则该处理可以进行到步骤s820或步骤s830，以确定可选的帧内预测模式或替可选的参考像素组，或者进行到步骤s899，使得可以使用不同的预测方案对当前块进行编码。例如，编码控制器626接收由帧内估计模块621估计的预测参数和来自残差编码器644的编码残差信息，其基于来自帧内预测模块622的帧内预测子而被产生。编码控制器626可以基于预定的编码标准，确定预测参数和编码残差信息是否可接受，并确定帧内-帧间估计模块是否必须提供不同的估计预测参数集合和/或是否仅使用帧内预测或帧间预测。
[0129]
在步骤s870，基于帧内预测子和估计的预测参数对当前块进行编码以输出已编码的视频数据。在一些示例中，
[0130]
通过对来自步骤s820-步骤s840的预测参数进行编码以及基于从当前块的原始图像中减去最终预测子而生成的残差信息，对当前块进行编码。例如，如图6所示的加法器642生成当前块的残差信息，残差编码器644生成已编码的残差信息，编码控制器626基于来自帧内预测模块621的预测参数和来自残差编码器的已编码的残差信息，生成已编码的视频数据。在一些示例中，预测参数可以包括帧内预测模式，指定是否从多个相邻候选集选择参考像素组的信息，和/或所选择的参考像素组。可以如参考图2和图4所示预测参数被发送或被导出。
[0131]
在步骤s870之后，处理进行到步骤s899并终止。
[0132]
尽管已经结合作为示例提出的具体实施例描述了本公开的各方面，但是可以对示例的替代，修改和变化进行说明。因此，本文所阐述的实施例旨在是说明性的而不是限制性的。在不脱离下面提出的权利要求的范围的情况下，可以进行改变。