用于视频编码或解码的局部照明补偿的制作方法

1.本实施例中的至少一个总体上涉及用于视频编码或解码的局部照明补偿。


背景技术：

2.为了实现高压缩效率，图像和视频编解码方案通常采用预测和变换来利用视频内容中的空间和时间冗余。通常，使用帧内或帧间预测来利用帧内或帧间相关性，然后对原始块和预测块之间的差异(通常表示为预测误差或预测残差)进行变换、量化和熵编解码。为了重建视频，通过与熵编解码、量化、变换和预测对应的逆过程来对压缩数据进行解码。


技术实现要素：

3.本实施例中的一个或多个提供一种用于使用局部照明补偿(lic)参数对图片进行编码/解码的方法和装置，所述lic参数使用提供降低的复杂性并且因此提高了lic相关过程的性能的推导来计算。
4.根据至少一个实施例的第一方面，一种视频编码方法包括：预测图片中的至少一个块的图片数据，其中，所述预测包括基于参考块执行运动补偿和局部照明补偿，所述局部照明补偿包括应用基于所述参考块的相邻重建样本和对应参考样本的绝对差之和的线性模型，其中，所述参考块的所述相邻重建样本和对应参考样本根据与待预测块基本上相邻的l形共位，所述l形包括位于所述预测块的顶侧的一行像素和位于所述预测块的左侧的一列像素，所述共位是根据所述预测块的运动矢量确定的。
5.根据至少一个实施例的第二方面，一种视频解码方法包括：预测图片中的至少一个块的图片数据，其中所述预测包括基于参考块执行运动补偿和局部照明补偿，所述局部照明补偿包括应用基于所述参考块的相邻重建样本和对应参考样本的绝对差之和的线性模型，其中所述参考块的所述相邻重建样本和对应参考样本根据与所述待预测块基本上相邻的l形共位，所述l形包括位于所述预测块的顶侧的一行像素和位于所述预测块的左侧的一列像素，所述共位是根据所述预测块的运动矢量确定的。
6.根据至少一个实施例的第三方面，一种装置包括：编码器，用于对图片或视频中的至少一个块的图片数据进行编码，其中所述编码器被配置为预测图片中的至少一个块的图片数据，其中所述预测包括基于参考块执行运动补偿和局部照明补偿，所述局部照明补偿包括应用基于参考块的相邻重建样本与对应参考样本的绝对差之和的线性模型，其中所述参考块的所述相邻重建样本和对应参考样本根据与所述待预测块基本上相邻的l形共位，所述l形包括位于所述预测块的顶侧的一行像素和位于所述预测块的左侧的一列像素，所述共位是根据所述预测块的运动矢量确定的。
7.根据至少一个实施例的第四方面，一种装置包括：解码器，用于对图片或视频中的至少一个块的图片数据进行解码，其中，所述解码器被配置为预测图片中的至少一个块的图片数据，其中，所述预测基于参考块执行运动补偿和局部照明补偿，所述局部照明补偿包括应用基于参考块的相邻重建样本与对应参考样本的绝对差之和的线性模型，其中所述参
考块的所述相邻重建样本和对应参考样本根据与所述待预测块基本上相邻的l形共位，所述l形包括位于所述预测块的顶侧的一行像素和位于所述预测块的左侧的一列像素，所述共位是根据所述预测块的运动矢量确定的。
8.根据第一、第二、第三和第四方面的变型方面，通过以下方式计算线性模型的参数：
[0009][0010][0011]
其中cur(r)为当前图片中的相邻重建样本，ref(s)为用运动补偿构建的参考样本，所述运动补偿由来自参考图片的运动矢量mv转换，并且s＝r mv。
[0012]
根据第一方面、第二方面、第三方面和第四方面的变型方面，参数“a”利用附加的简单正则化项“corr”推导并且通过以下方式确定：
[0013][0014]
其中并且例如reg_shift＝7。
[0015]
根据至少一个实施例的第五方面，提出了一种包括可由处理器执行的程序代码指令的计算机程序，该计算机程序实现根据至少第一或第二方面的方法的步骤。
[0016]
根据至少一个实施例的第六方面，提出了一种计算机程序产品，该计算机程序产品存储在非暂时性计算机可读介质上并且包括可由处理器执行的程序代码指令，该计算机程序产品实现根据至少第一方面或第二方面的方法的步骤。
附图说明
[0017]
图1示出了诸如高效视频编解码(hevc)编码器的视频编码器100的示例的框图。
[0018]
图2示出了诸如hevc解码器的视频解码器200的示例的框图。
[0019]
图3示出了压缩域中的编解码树单元和编解码树的示例。
[0020]
图4示出了将ctu分割成编码单元、预测单元和变换单元的示例。
[0021]
图5示出了用于局部照明补偿的“l形”的示例。
[0022]
图6示出了其中实现各个方面和实施例的系统的示例的框图。
[0023]
图7示出了其中模型被阈值划分(split)的多模型lic的示例实施例。
[0024]
图8a示出了其中根据极值确定单模型的示例。
[0025]
图8b示出了其中根据平均极值确定单模型的另一示例。
[0026]
图9a示出了在包括用于推导lic参数的第一方法的双向预测的情况下的预测方法。
[0027]
图9b示出了在包括用于推导lic参数的第二方法的双向预测的情况下的预测方法。
[0028]
图10a示出了多模型不连续性问题的示例。
[0029]
图10b示出了在模型被构建为穿过每个子集的(最小；最大)点的线的情况下解决多模型不连续性问题的技术的第一示例。
[0030]
图11示出了包括正则化步骤的lic的示例实施例。
[0031]
图12示出了其中参数在给定范围之外时被调整的正则化函数。
[0032]
图13示出了与分层图片编解码原理相关的时域深度。
[0033]
图14示出了用于处理多模型lic的正则化的示例实施例。
[0034]
图15a示出了用于确定两个lic模型之间的不连续性的方法。
[0035]
图15b示出了根据至少一个实施例的用于校正lic模型的方法，其确保了多模型的连续性。
[0036]
图16示出了多模型lic参数校正的框图的示例。
[0037]
图17示出了用于划分两个lic模型的示例实施例。
[0038]
图18示出了用于使用两个lic模型推导lic参数的方法。
[0039]
图19示出了用于在发生不连续性问题时确定单模型参数的示例实施例。
[0040]
图20示出了决策过程的示例实施例。
具体实施方式
[0041]
在至少一个实施例中，视频编码或解码使用lic，并且通过降低其复杂度来简化lic参数的计算，从而提高视频编码或解码性能。
[0042]
在至少一个实施例中，视频编码或解码使用lic，该lic使用至少一个线性模型，该线性模型的参数使用推导过程来确定，该推导过程包括用于提高局部照明变化的估计的正则化过程和用于防止在使用多个线性模型时的不连续性问题的校正过程。因此，防止了视觉伪像。
[0043]
图1示出了诸如高效视频编解码(hevc)编码器的视频编码器100的示例的框图。图1还可示出其中对hevc标准进行改进的编码器或采用类似于hevc的技术的编码器，诸如由jvet(联合视频探索小组)开发的jem(联合探索模型)编码器。
[0044]
在被编码之前，视频序列可以经历预编码处理(101)。这例如通过将颜色变换应用于输入颜色图片(例如，从rgb 4：4：4到ycbcr 4：2：0的转换)或者执行输入图片分量的重新映射以便获得对压缩更具弹性的信号分布(例如，使用颜色分量之一的直方图均衡化)来执行。元数据可以与预处理相关联并附加到比特流。
[0045]
在hevc中，为了编码具有一个或多个图片的视频序列，将图片分割(partition)(102)成一个或多个条带，其中每个条带可以包括一个或多个条带片段。条带片段被组织成编解码单元、预测单元和变换单元。hevc规范区分“块”和“单元”，其中“块”寻址样本阵列中的特定区域(例如，亮度，y)，并且“单元”包括与块相关联的所有编码的颜色分量(y、cb、cr或单色)、语法元素和与块相关联的预测数据(例如，运动矢量)。
[0046]
对于hevc中的编解码，图片被分割成具有可配置尺寸的正方形形状的编解码树块(ctb)，并且编解码树块的连续集合被分组为条带。编解码树单元(ctu)包含编码的颜色分
量的ctb。ctb是分割成编解码块(cb)的四叉树的根，并且编解码块可被分割成一个或多个预测块(pb)并且形成分割成变换块(tb)的四叉树的根。对应于编解码块、预测块及变换块，编解码单元(cu)包括预测单元(pu)和变换单元(tu)的树结构化集合，pu包括所有颜色分量的预测信息，并且tu包括每个颜色分量的残差编解码语法结构。亮度分量的cb、pb及tb的尺寸适用于对应的cu、pu及tu。在本技术中，术语“块”可以用于指例如ctu、cu、pu、tu、cb、pb和tb中的任一个。另外，“块”还可以用于指h.264/avc或其他视频编解码标准中指定的宏块和分区，并且更一般地指各种尺寸的数据阵列。
[0047]
在编码器100的示例中，图片由编码器元件编码，如下所述。以cu为单位处理待编码的图片。使用帧内或帧间模式对每个cu进行编码。当以帧内模式对cu进行编码时，它执行帧内预测(160)。在帧间模式中，执行运动估计(175)和补偿(170)。编码器决策(105)使用帧内模式或帧间模式中的哪一种来对cu进行编码，并通过预测模式标志指示帧内/帧间决策。通过从原始图像块中减去(110)预测块来计算预测残差。
[0048]
从同一条带内的重建相邻样本预测帧内模式中的cu。在hevc中可获得35个帧内预测模式的集合，包含dc、平面和33个角度预测模式。从与当前块相邻的行和列中重建帧内预测参考。使用来自先前重建块的可用样本，参考在水平和垂直方向上延伸超过块尺寸的两倍。当角度预测模式用于帧内预测时，可以沿着由角度预测模式指示的方向复制参考样本。
[0049]
可使用两个不同选项对当前块的适用的亮度帧内预测模式进行编解码。如果适用的模式包括在三个最可能模式(mpm)的构造列表中，则通过mpm列表中的索引来发信号通知该模式。否则，通过模式索引的固定长度二进制化来发信号通知该模式。三个最可能模式是从顶部和左侧相邻块的帧内预测模式推导的。
[0050]
对于帧间cu，将对应编解码块进一步分割成一个或多个预测块。在pb级上执行帧间预测，并且对应pu包含关于如何执行帧间预测的信息。运动信息(例如，运动矢量和参考图片索引)可以以两种方法(即，“合并(merge)模式”和“高级运动矢量预测(amvp)”)发信号通知。
[0051]
在合并模式中，视频编码器或解码器基于已经编码的块来组装候选列表，并且视频编码器发信号通知候选列表中的候选之一的索引。在解码器侧，基于发信号通知的候选重建运动矢量(mv)和参考图片索引。
[0052]
在amvp中，视频编码器或解码器基于从已经编码的块确定的运动矢量来组装候选列表。然后，视频编码器发信号通知候选列表中的索引以识别运动矢量预测符(mvp)，并发信号通知运动矢量差(mvd)。在解码器侧，运动矢量(mv)被重建为mvp mvd。适用的参考图片索引也在用于amvp的pu语法中被显式地编解码。
[0053]
然后对预测残差进行变换(125)和量化(130)，包括用于适配下面描述的色度量化参数的至少一个实施例。变换通常基于可分离变换。例如，首先在水平方向上应用dct变换，然后在垂直方向上应用dct变换。在诸如jem的最近的编解码器中，在两个方向上使用的变换可能不同(例如，一个方向上是dct，另一个方向是dst)，这导致各种各样的2d变换，而在先前的编解码器中，用于给定块尺寸的2d变换的种类通常是有限的。
[0054]
量化的变换系数以及运动矢量和其他语法元素被熵编解码(145)以输出比特流。编码器还可以跳过变换，并在4x4 tu的基础上将量化直接应用于未变换的残差信号。编码器还可以绕过变换和量化两者，即，在不应用变换或量化过程的情况下直接对残差进行编
解码。在直接pcm编解码中，不应用预测，并且将编解码单元样本直接编解码到比特流中。
[0055]
编码器对编码块进行解码以提供用于进一步预测的参考。量化的变换系数被去量化(140)和逆变换(150)以对预测残差进行解码。组合(155)解码的预测残差和预测块，以重建图像块。环内(in
‑
loop)滤波器(165)被应用于重建图片，例如，以执行去方块/sao(样本自适应偏移)滤波以减少对伪像进行编码。滤波的图像被存储在参考图片缓冲器(180)中。
[0056]
图2示出了诸如hevc解码器的视频解码器200的示例的框图。在解码器200的示例中，如下所述，由解码器元件对比特流进行解码。视频解码器200通常执行与如图1中所描述的编码通道互逆的解码通道，其执行视频解码作为编码视频数据的一部分。图2还可示出其中对hevc标准作出改进的解码器或采用类似于hevc的技术的解码器，诸如jem解码器。
[0057]
具体地，解码器的输入包括可以由视频编码器100生成的视频比特流。首先对比特流进行熵解码(230)以获得变换系数、运动矢量、图片分割信息和其他编解码信息。图片分割信息指示ctu的尺寸，及ctu划分成cu且在适用时可能划分成pu的方式。解码器可因此根据解码的图片分割信息将图片分割(235)成ctu，并且将每个ctu分割成cu。变换系数被去量化(240)，包括用于适配下面描述的色度量化参数的至少一个实施例，并且被逆变换(250)以对预测残差进行解码。
[0058]
组合(255)解码的预测残差和预测块，以重建图像块。可以从帧内预测(260)或运动补偿预测(即，帧间预测)(275)获得(270)预测块。如上文所描述，amvp及合并模式技术可用以推导用于运动补偿的运动矢量，所述运动补偿可使用内插滤波器来计算参考块的子整数样本的内插值。将环内滤波器(265)应用于重建图像。滤波的图像被存储在参考图片缓冲器(280)处。
[0059]
解码的图片可以进一步经历后解码处理(285)，例如，逆颜色变换(例如，从ycbcr 4：2：0到rgb 4：4：4的转换)或执行在预编码处理(101)中执行的重新映射过程的逆的逆重新映射。后解码处理可以使用在预编码处理中推导并在比特流中发信号通知的元数据。
[0060]
图3示出了压缩域中的编解码树单元和编解码树的示例。在hevc视频压缩标准中，图片被分割成所谓的编解码树单元(ctu)，其尺寸通常为64
×
64、128
×
128或256
×
256像素。每个ctu由压缩域中的编解码树表示。这是ctu的四叉树互粉，其中每个叶被称为编解码单元(cu)。
[0061]
图4示出了将ctu分割成编解码单元、预测单元和变换单元的示例。然后，每个cu被给予一些帧内或帧间预测参数(预测信息)。为此，它在空间上被分割成一个或多个预测单元(pu)，每个pu被分配一些预测信息。在cu级别上分配帧内或帧间编解码模式。
[0062]
在本技术中，术语“重建”和“解码”可以互换使用，术语“编码”或“编解码”可以互换使用，并且术语“图像”、“图片”和“帧”可以互换使用。通常但不一定，术语“重建”在编码器侧使用，而“解码”在解码器侧使用。术语“块”或“图片块”可用于指ctu、cu、pu、tu、cb、pb和tb中的任一个。另外，术语“块”或“图片块”可以用于指h.264/avc或其他视频编解码标准中指定的宏块、分区和子块，并且更一般地指许多尺寸的样本阵列。
[0063]
图5示出了用于局部照明补偿的“l形”的示例。实际上，如在联合探索模型(jem)和由jvet(联合视频探索小组)小组开发的通用视频编解码参考软件[2]中研究的新出现的视频压缩工具使用具有在解码器侧确定的相关参数的一些附加时间预测工具，诸如局部照明补偿(lic)。
[0064]
基本上，lic的目的是补偿在预测块与其通过运动补偿的时间预测采用的参考块之间可能发生的照明变化。lic的使用通常通过与以帧间模式编解码的每个编解码单元(cu)相关联的标志(lic标志)在cu级上发信号通知，或在例如当前cu以合并模式编解码的情况下从先前解码的块推断。当该工具被激活时，解码器基于位于待预测的当前块的左侧和/或顶侧的一些重建图片样本、以及位于运动补偿块的左侧和/或顶侧的参考图片样本来计算一些预测参数(图5)。在所考虑的现有技术编解码器(jem)中，用于给定块的lic的使用取决于与此块相关联的标志，称为lic标志。
[0065]
在下文中，我们将称为与当前块相关联的“l形”，该集合由位于当前块上方的行上的样本和位于当前块左侧的列上的样本组成，如图5中的灰色所示。在变型中，可以使用多于一行(或一列)。
[0066]
lic的第一实现方式使用基于应用于常规当前块预测的等式1的简单线性校正的lic模型：
[0067]
ycorr(x)＝a.ypred(x) b
ꢀꢀ
(等式1)
[0068]
其中，ypred(x)是位于位置x处的预测样本值，ycorr(x)是位于位置x处的照明补偿预测样本值，并且(a，b)是lic参数。
[0069]
lic参数(a，b)是基于当前样本与线性修改的参考样本之间的误差的最小化的权重和偏移，其在等式2中定义如下：
[0070]
dist＝∑
r∈vcur,s∈vref
(cur(r)
‑
a.ref(s)
‑
b)2ꢀꢀꢀ
(等式2)
[0071]
其中：
[0072]
cur(r)是当前图片(图5的右侧)中的相邻重建样本，
[0073]
ref(s)是利用mc从参考图片(图5的左侧)构建的参考样本，其中s＝r mv，cur(r)和ref(r)分别是重建l形和参考l形中的共位样本。
[0074]
使用最小二乘最小化(lsm)获得(a，b)的值，如以下等式3所示：
[0075][0076][0077]
注意，可以进一步调整(递增地减小)n的值，以便使等式3中的和(sum)项保持低于允许的最大整数存储数值(例如，和项<2
16
)。此外，对于大块，顶侧和左侧样本集的子采样可以递增。
[0078]
在用于选择重建样本的附加条件的情况下，n可等于“numvalid”，或非有效样本可用复制的有效样本替换。
[0079]
(a,b)的值可以例如使用比最小二乘最小化更简单的计算来获得，例如使用极值。
[0080]
一旦编码器或解码器获得当前cu的lic参数(a，b)，则当前cu的预测包括以下(单向预测情况)：
[0081]
pred(current_block)＝a
×
ref_block b
ꢀꢀꢀꢀꢀ
(等式4)
[0082]
其中current_block是要预测的当前块，pred(current_block)是当前块的预测，并且ref_block是利用用于当前块的时间预测的常规运动补偿(mc)过程构建的参考块。在
变型中，在双向预测的情况下，ref_block是两个参考块的加权和。
[0083]
应注意，相邻重建样本集合及参考样本集合(参见图5中的灰色样本)具有相同数目及相同图案。在下文中，我们将“左侧样本”表示位于当前块左侧的相邻重建集合(或参考样本集合)，并且将“顶侧样本”表示位于当前块顶侧的相邻重建集合(或参考样本集合)。我们将“样本集”表示“左侧样本”和“顶侧样本”集的组合。
[0084]
表1提供了根据等式3的lic参数推导的复杂度的估计。复杂度在本文中被测量为推导lic参数所需的操作的数目。在此表中，n＝2
k
对应于具有等于“d”的比特深度的重建及参考样本的数目。第一列标识所需的操作，第二列测量存储器中所需的比特数，第三至第六列分别计数所需的和、乘、移位(除以2)和整除操作的数目，并且最后一行提供所需操作的总数。
[0085][0086][0087]
表1
[0088]
在至少第一实施例中，lic参数计算过程使用如等式6所示的绝对差之和(sad)：
[0089][0090][0091]
其中cur(r)是当前图片(图5的右侧)中的相邻重建样本，ref(s)是利用运动补偿从参考图片(图5的左侧)(通过运动量mv转换)构建的参考样本，且s＝r mv。当前块的相邻重建样本(cur(r))和参考样本(ref(s))通过关系“s＝r mv”相对于l形共位，如图5所示。
[0092]
表2提供了根据该第一实施例的lic参数推导的复杂度的估计。
[0093][0094]
表2
[0095]
将绝对差之和用于lic参数计算的结果明显更有效。首先，减少了存储器需求(第2列)。所需的补充加法在很大程度上通过乘法方面的急剧减少来补偿(第4列)。因此，此技术极大地提高lic相关计算的效率且更一般来说提高编码或解码的效率。
[0096]
在变型实施例中，利用如在等式7中所示的正则化项“corr”来确定等式6的参数a:
[0097][0098]
在至少一个实施例中，如在等式8中所示定义了正则化项：
[0099][0100]
其中reg_shift例如取值7。
[0101]
图6示出了其中实现各个方面和实施例的系统的示例的框图。系统1000可以体现为包括下面描述的各种组件的设备，并且被配置为执行本技术中描述的各方面中的一个或多个方面。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收器、个人视频记录系统、连接的家用电器、编码器、转码器和服务器。系统1000的元件可以单独地或组合地体现在单个集成电路、多个ic和/或分立组件中。例如，在至少一个实施例中，系统1000的处理和编码器/解码器元件分布在多个ic和/或分立组件上。在各种实施例中，系统1000经由例如通信总线或通过专用输入和/或输出端口通信地耦合到其他类似系统或其他电子设备。在各种实施例中，系统1000被配置为实现本文档中描述的各方面中的一个或多个方面。
[0102]
系统1000包括至少一个处理器1010，其被配置为执行加载在其中的指令，用于实现例如本文档中描述的各个方面。处理器1010可以包括嵌入式存储器、输入输出接口和本领域已知的各种其他电路。系统1000包括至少一个存储器1020(例如，易失性存储器设备
和/或非易失性存储器设备)。系统1000包括存储设备1040，其可以包括非易失性存储器和/或易失性存储器，包括但不限于eeprom、rom、prom、ram、dram、sram、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备1040可以包括内部存储设备、附接存储设备和/或网络可访问存储设备。
[0103]
系统1000包括编码器/解码器模块1030，其被配置为例如处理数据以提供编码的视频或解码的视频，并且编码器/解码器模块1030可以包括其自己的处理器和存储器。编码器/解码器模块1030表示可以包括在设备中以执行编码和/或解码功能的模块。众所周知，设备可以包括编码和解码模块中的一个或两个。另外，编码器/解码器模块1030可以实现为系统1000的单独元件，或者可以作为本领域技术人员已知的硬件和软件的组合并入处理器1010内。
[0104]
要加载到处理器1010或编码器/解码器1030上以执行本文档中描述的各个方面的程序代码可以存储在存储设备1040中，并且随后加载到存储器1020上以供处理器1010执行。根据各种实施例，处理器1010、存储器1020、存储设备1040和编码器/解码器模块1030中的一个或多个可以在执行本文档中描述的过程期间存储各种项目中的一个或多个。这样的存储项可以包括但不限于输入视频、解码的视频或解码的视频的部分、比特流、矩阵、变量以及来自等式、公式、操作和操作逻辑的处理的中间或最终结果。
[0105]
在若干实施例中，处理器1010和/或编码器/解码器模块1030内部的存储器用于存储指令并提供用于在编码或解码期间所需的处理的工作存储器。然而，在其他实施例中，处理设备(例如，处理设备可以是处理器1010或编码器/解码器模块1030)外部的存储器用于这些功能中的一个或多个。外部存储器可以是存储器1020和/或存储设备1040，例如动态易失性存储器和/或非易失性存储器。在若干实施例中，使用外部非易失性闪存来存储电视的操作系统。在至少一个实施例中，诸如ram的快速外部动态易失性存储器被用作用于视频编解码和解码操作(诸如用于mpeg
‑
2、hevc或vvc(通用视频编解码))的工作存储器。
[0106]
可以通过各种输入设备提供对系统1000的元件的输入，如块1130所示。这样的输入设备包括但不限于(i)接收例如由广播者通过空中发送的rf信号的rf部分，(ii)复合输入端子，(iii)usb输入端子，和/或(iv)hdmi输入端子。
[0107]
在各种实施例中，块1130的输入设备具有如本领域中已知的相关联的相应输入处理元件。例如，rf部分可以与以下所需的元件相关联：(i)选择期望的频率(也称为选择信号，或将信号频带限制到频带)，(ii)下变频所选择的信号，(iii)再次频带限制到更窄的频带以选择(例如)在某些实施例中可以称为信道的信号频带，(iv)解调下变频和频带限制的信号，(v)执行纠错，以及(vi)解复用以选择期望的数据分组流。各种实施例的rf部分包括用于执行这些功能的一个或多个元件，例如频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。rf部分可以包括执行这些功能中的各种功能的调谐器，这些功能包括例如将接收到的信号下变频到较低频率(例如，中频或近基带频率)或基带。在一个机顶盒实施例中，rf部分及其相关联的输入处理元件接收在有线(例如，电缆)介质上传输的rf信号，并且通过滤波、下变频和再次滤波到期望的频带来执行频率选择。各种实施例重新排列上述(和其他)元件的顺序，移除这些元件中的一些，和/或添加执行类似或不同功能的其他元件。添加元件可以包括在现有元件之间插入元件，诸如，例如插入放大器和模数转换器。在各种实施例中，rf部分包括天线。
[0108]
另外，usb和/或hdmi端子可以包括用于通过usb和/或hdmi连接将系统1000连接到其他电子设备的相应接口处理器。应当理解，输入处理的各个方面，例如里德
‑
所罗门纠错，可以根据需要例如在单独的输入处理ic内或在处理器1010内实现。类似地，usb或hdmi接口处理的各方面可以根据需要在单独的接口ic内或在处理器1010内实现。将解调、纠错和解复用的流提供给各种处理元件，包括例如处理器1010和编码器/解码器1030，其与存储器和存储元件组合操作以根据需要处理数据流以在输出设备上呈现。
[0109]
系统1000的各种元件可以设置在集成壳体内，在集成壳体内，各种元件可以互连并使用合适的连接布置(例如，本领域已知的内部总线，包括i2c总线、布线和印刷电路板)在它们之间传输数据。
[0110]
系统1000包括能够经由通信信道1060与其他设备进行通信的通信接口1050。通信接口1050可以包括但不限于被配置为通过通信信道1060发送和接收数据的收发器。通信接口1050可以包括但不限于调制解调器或网卡，并且通信信道1060可以例如在有线和/或无线介质内实现。
[0111]
在各种实施例中，使用诸如ieee 802.11的wi
‑
fi网络将数据流式传输到系统1000。通过适于wi
‑
fi通信的通信信道1060和通信接口1050接收这些实施例的wi
‑
fi信号。这些实施例的通信信道1060通常连接到接入点或路由器，该接入点或路由器提供对包括互联网的外部网络的访问，以允许流式传输应用和其他过顶(over
‑
the
‑
top)通信。其他实施例使用通过输入块1130的hdmi连接递送数据的机顶盒向系统1000提供流式传输的数据。其他实施例使用输入块1130的rf连接向系统1000提供流式传输的数据。
[0112]
系统1000可以向各种输出设备提供输出信号，包括显示器1100、扬声器1110和其他外围设备1120。在实施例的各种示例中，其他外围设备1120包括独立dvr、盘播放器、立体声系统、照明系统和基于系统1000的输出提供功能的其他设备中的一个或多个。在各种实施例中，使用诸如av.link、cec或在有或没有用户干预的情况下实现设备到设备控制的其他通信协议的信令，在系统1000与显示器1100、扬声器1110或其他外围设备1120之间通信控制信号。输出设备可以通过相应的接口1070、1080和1090经由专用连接通信地耦合到系统1000。可替代地，输出设备可以经由通信接口1050使用通信信道1060连接到系统1000。显示器1100和扬声器1110可以与诸如例如电视的电子设备中的系统1000的其他组件集成在单个单元中。在各种实施例中，显示接口1070包括显示驱动器，诸如例如时序控制器(t con)芯片。
[0113]
例如，如果输入1130的rf部分是单独的机顶盒的一部分，则显示器1100和扬声器1110可以替代地与其他组件中的一个或多个分离。在显示器1100和扬声器1110是外部组件的各种实施例中，可以经由专用输出连接(包括例如hdmi端口、usb端口或comp输出)来提供输出信号。本文描述的实现方式可以在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在实现方式的单个形式的上下文中讨论(例如，仅作为方法讨论)，所讨论的特征的实现方式也可以以其他形式(例如，装置或程序)来实现。装置可以以例如适当的硬件、软件和固件实现。该方法可以在例如诸如例如处理器的装置中实现，该处理器通常是指处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，诸如例如计算机、蜂窝电话、便携式/个人数字助理(“pda”)和促进终端用户之间的信息通信的其他设备。
[0114]
图7示出了其中模型被阈值划分的多模型lic的示例实施例。在这样的实施例中，两个线性模型使用不同的lic参数((a0,b0)和(a1,b1))，如图7所示，并且例如使用上述等式3或使用其他方法确定。第一模型和第一lic参数用于样本的第一子集，并且第二模型和第二lic参数用于样本的第二子集。在下文中，该模式被称为多模型lic(mm
‑
lic)。该实施例使用两个线性模型(a0，b0)和(a1，b1)以及关于重建亮度样本值的阈值来确定使用哪个模型。阈值例如被确定为重建亮度样本值的平均值。
[0115]
图8a示出了其中根据极值确定单模型的示例。在该示例中，使用具有最小值(min)和最大值(max)的两个参考样本(xa,xb)以及相关联的重建样本(ya，yb)来获得“a”的值(等式3b)：
[0116][0117]
图8b示出了其中根据平均极值确定单模型的另一示例。在该示例中，最小值和最大值分别由两个或更多个最小值或两个或更多个最大值的平均值代替。在图中所示的示例中，min1和min2是两个最小值。这些元素被平均以确定xa和ya的值。max1和max2是两个最大值。这些元素被平均以确定xb和yb的值。然后根据xa、xb、ya、yb的这些校正值确定“a”的值。这允许增加鲁棒性，并且在异常值(例如由于噪声)的情况下特别有效。在所示的示例中，max1显然是轮廓线，并且仅使用min1和max1的值来确定线性模型将导致不是非常准确的模型。
[0118]
图9a示出了在包括用于推导lic参数的第一方法的双向预测的情况下的预测方法。在这种情况下，预测基于组合在一起的称为参考0和参考1的两个参考。lic过程被应用两次，首先应用于参考0预测(lic
‑
0)，其次应用于参考1预测(lic_1)。接下来，使用默认加权(p＝(p0 p1 1)＞＞1)或双向预测加权平均(bpwa)：p＝(g0.p0 g1.p1 (1＜＜(s
‑
1)))＞＞s)照常将两个预测组合在一起。
[0119]
图9b示出了在包括用于推导lic参数的第二方法的双向预测的情况下的预测方法。在称为方法b的该变型中，首先在步骤360中组合常规预测。然后，在步骤330中应用单个lic过程，并且在步骤340中根据所确定的lic参数来计算预测。
[0120]
用于帧内预测的参数估计的另一方法被命名为跨分量线性模型(cclm)。色度样本块预测(ycorr)可从用线性模型校正的(经按比例缩小的)重建亮度样本块(ypred)构建。在这种情况下，使用与等式1相同的模型，其中：
[0121]
ypred(x)是位于位置x处的重建亮度样本值，
[0122]
ycorr(x)是位于位置x处的色度样本值的预测。
[0123]
基于l形的重建亮度样本的最小值和最大值(minluma，maxluma)以及重建色度样本的最小值和最大值ycurr(minchroma，maxchroma)来估计(a，b)的值，如等式5所示：
[0124]
a＝((〖max〗_chroma
‑
〖min〗_chroma))/((〖max〗_luma
‑
〖min〗_luma))
[0125]
b＝〖min〗
‑
chroma
‑
a.〖min〗_luma
ꢀꢀꢀꢀ
(等式5)
[0126]
如图7所示，为了改进lic，可使用两个不同lic模型，具有例如使用如图8a或8b所示的等式3或3b确定的不同lic参数((a0,b0)及(a1,b1))。第一模型和第一lic参数用于样本的第一子集，并且第二模型和第二lic参数用于样本的第二子集。两个集合之间的划分是关于阈值来完成的。
[0127]
图10a示出了多模型不连续性问题的示例。这是模型不连续的情况，换句话说，当由两个模型((a0；b0)和(a1；b1))生成的两条线在阈值处不相交时。这种不连续性问题可能引起视觉伪像和/或降低编码效率，并且应该被防止。
[0128]
图10b示出了在模型被构建为穿过每个子集的(最小；最大)点的线的情况下解决多模型不连续性问题的技术的第一示例。通过用先前的max0和min1(图中的点t)之间的平均值替换max0和min1并使用这些校正值确定两个模型的lic参数来完成校正。这防止了不连续性，因为第一模型的最大值等于第二模型的最小值(在图中等于t)。
[0129]
lic面临的至少一个问题是lic参数的推导是基于与当前块尺寸相比相对较小数目的样本。另外，这些样本不与当前块共位，使得它们可能是局部照明变化的不良估计。此外，lic参数估计还取决于用于推导(a，b)的方法。例如，在等式3的情况下，如果分母低，则“a”的值可能发生一些不一致。在另一示例中，如果分子低，则可能发生“a”的值的不一致。这通常是例如当ref(s)或cur(r)的分布窄时的情况。因此，在一些情况下，lic参数的推导包括一些不确定性。为了减少这种不确定性，在预测阶段中插入正则化过程，使得检测潜在问题并且相应地校正lic参数以防止视觉伪像和/或提高编码效率。
[0130]
图11示出了包括正则化步骤的lic的示例实施例。在这样的实施例中，包括lic参数推导(330)的总体原理不变，但是一旦已经计算了lic参数，就在步骤350中应用正则化函数，以便潜在地校正先前确定的lic参数。当lic参数的推导不确定时，换句话说，当所确定的lic参数的置信度水平太低时，特别需要这种正则化或校正。
[0131]
图12示出了其中参数在给定范围之外时被调整的正则化函数。在该变型实施例中，如果“a”和/或“b”超过默认(1，0)值附近的一些预定义阈值(th_a，th_b)，则调整值(a，b)。例如：对于10比特样本，th_a＝0.25并且th_b＝100。在至少一个实施例中，预定义阈值th_a和th_b平均地分布在等于1.0的默认值周围。
[0132]
在至少一个实施例中：
[0133]
如果(a<1
‑
th_a)或(a>1 th_a)，则调整“a”。
[0134]
如果(b<
‑
th_b)或(b>th_b)，则调整“b”。
[0135]
在变型中，阈值不平均地分布在默认(1,0)值周围：
[0136]
如果(a<1
‑
th_a1)或(a>1 th_a2)，则调整“a”。
[0137]
如果(b<
‑
th_b1)或(b>th_b2)，则调整“b”。
[0138]
在至少一个实施例中，所述正则化函数在所述参数在给定范围之外时提供对所述参数的调整。在这样的实施例中，首先调整参数a，并且根据等式1确定b。实际上，关于等式1，lic参数的推导基于属性r1:
[0139]
dcrec＝a.dcref b(r1)
[0140]
其中dcrec是重建样本的平均值，并且dcref是参考样本的平均值。因此，在该实施例中：
[0141]
如果((b>th_b)&&(a<1
‑
th_a))，则
[0142]“a”被设置为“1
‑
th_a”，并且
[0143]
用(r1)计算“b”。
[0144]
如果((b<
‑
th_b)&&(a>1 th_a))，则
[0145]“a”被设置为“1 th_a”，并且
[0146]
用(r1)计算“b”，并且因此b＝dcrec
‑
a.dcref。
[0147]
在至少另一个实施例中，还利用调整的值(a da,b db)来验证属性(r1):
[0148]
dcrec＝(a da).dcref (b db)(r2)
[0149]
给定(r1)，(r2)变为：
[0150]
da＝
‑
db/dcref(r3)
[0151]
根据该实施例，a被调整为(a da)并且b被调整为(b db)，调整“da”被用(r3)明确地计算，并且“db”被确定为：
[0152]
如果(b<
‑
th_b)，则db＝
‑
th_b
‑
b
[0153]
如果(b>th_b)，则db＝th_b
‑
b
[0154]
这些正则化调整确保lic参数符合一定范围的值，并且因此，预测步骤在良好条件下正确地表现。
[0155]
在至少一个实施例中，“th_a”和/或“th_b”的值被编解码在比特流中。例如，它们可以在序列报头、图片报头、条带报头或片(title)报头中被编解码。在另一个实施例中，它们是固定的或与某个简档和/或级别相关联。
[0156]
在至少另一个实施例中，“th_a”和/或“th_b”的值是至少参数(或参数集合)p的函数，并且可以使用解码过程从比特流获得。例如，p可包括当前图片(poccur)与参考图片(pocref)之间的图片顺序计数(poc)距离。
[0157]
例如：th_a＝0.25x(1 0.25xabs(poccur
–
pocref))
[0158]
或：th_a＝0.25x(1 0.25xmin(4；abs(poccur
–
pocref)))
[0159]
在另一示例中，参数p包括当前图片的时域深度。图13示出了与分层图片编解码原理相关的时域深度。
[0160]
在至少一个实施例中，参数p包括实际用于估计lic模型的l形的样本的数目(例如，numvalid)。在这种情况下，“th_a”和/或“th_b”的值是p的函数。
[0161]
例如：如果(numvalid<nc)，则
[0162]
th_a＝th_a1且th_b＝th_b1
[0163]
否则
[0164]
th_a＝th_a2且th_b＝th_b2
[0165]
其中，例如，th_a1＝0.3，th_a2＝0.4，th_b1＝0，th_b2＝80，并且nc是置信度阈值。该阈值可能因为样本的数目不同在亮度方面与在色度方面不同。在一个示例中，阈值32用于亮度并且阈值16用于色度。在变型中，nc是当前块尺寸的函数，例如nc＝0.5x(blockwidth blockheight)。
[0166]
在该实施例中，numvalid的低值指示减少的样本数目并且因此暗示lic模型的有效性的低置信度。
[0167]
在多模型lic的情况下，需要多个正则化过程：一个正则化过程用于每个模型(图14中的元件350)，因为多模型lic的每个个体模型独立于其他个体模型。
[0168]
图14示出了用于处理多模型lic的正则化的示例实施例。如上文所介绍的，可使用两个不同lic模型并且可导致不连续性问题。在步骤380，添加校正过程以确保多个模型的连续性。该过程可以直接在正则化过程之后实现。
[0169]
在至少一个实施例中，仅在合并模式下应用校正过程(380)。实际上，当编码器检
测到多模型不连续性问题时，可以针对一个块禁用lic。这通过针对此块将lic标志编码为假来执行。然而，在合并模式中，lic标志是从另一相邻块继承，并且编码器具有较少灵活性来避免此问题，除非递归地重新编码先前块。
[0170]
在至少一个实施例中，如果不连续性尺寸高于不连续性阈值(dt)，则应用校正过程(380)。
[0171]
在至少一个实施例中，如果不连续性尺寸高于dt，则仅在合并模式下应用校正过程(380)。
[0172]
不连续性尺寸(ds)可以由解码器以不同的方式计算：
[0173]
作为每个线性模型与阈值线之间的交叉处的值之间的距离，例如，如图15a所示。
[0174]
作为第一模型m0的最大值与第二模型m1的最小值之间的差。ds＝max0
‑
min1
[0175]
不连续性阈值dt的值可以由解码器隐式地知道、在比特流中编解码、从其他解码的参数计算或通过其他手段获得。
[0176]
在至少一个实施例中并且如图15b所示，图8的校正步骤380操作如下：
[0177]
对于yref＝“阈值”，将c0和c1计算为分别由模型m0和m1给出的值，
[0178]
将t计算为这两个值之间的平均值:t＝(c0 c1)/2，
[0179]
当线穿过(avg0；t)和(t；avg1)时校正m0和m1，其中avg0和avg1分别是低于和高于阈值的样本值的平均值。
[0180]
在前一实施例的变型实施例中，m0和m1被校正为穿过(min0；t)和(t；max1)的线，其中min0是与第一模型m0相关的样本的最小值，并且max1是与第二模型m1相关的样本的最大值。
[0181]
图16示出了多模型lic参数校正的框图的示例。该元素对应于图8的块380。首先，在步骤381，计算两个模式之间的不连续性尺寸ds。然后，在步骤382，将该不连续性尺寸ds与不连续性阈值dt进行比较。当ds>dt(分支“是”)时，已经检测到不连续性问题。在这种情况下，第三步骤383包括使用上述实施例之一来校正两个模型的lic参数。当没有检测到不连续性时(分支“否”)，不校正lic参数。然后，在步骤340，利用两个模型的lic参数执行预测。
[0182]
图17示出了用于划分两个lic模型的示例实施例。在这样的实施例中，两个线性模型使用不同lic参数((a0,b0)和(a1,b1))，如图7所示，并且例如使用等式3或使用其他方法确定。第一模型和第一lic参数用于样本的第一子集，并且第二模型和第二lic参数用于样本的第二子集。在下文中，该模式被称为多模型lic(mm
‑
lic)。
[0183]
两个集合之间的划分是关于阈值来完成的。在图6中，nm0和nm1分别表示具有分别低于和高于阈值的值的重建相邻样本的数目。
[0184]
可以根据各种实施例执行确定划分两个模型的阈值。
[0185]
在至少一个实施例中，划分两个模型的阈值例如被确定为重建样本的平均值(“cur(s)”)。
[0186]
在至少一个实施例中，确定阈值，使得每个模型中使用的样本数目(nm0和nm1)基本上相同。这增加了lic模型的有效性。实际上，当模型之一的样本的数目太小时(nm0比nm1大得多或nm0比nm1小得多)，对应lic模型(分别为nm1或nm0)的有效性是不确定的，并且使用等式3推导的lic参数可能是不可靠的，因为基于太少的样本。这可以使用如图6所示的直
方图并对样本数目进行计数来完成。在变型中，仅当直方图的尺寸(2
比特
‑
深度
‑
s
(2
bit
‑
depth
–
s
))小于n＝nm0 nm1时才应当使用该实施例。
[0187]
在替代实施例中，当模型的样本数目不是很好地平衡时，使用单个lic模型。这可以通过将具有最高样本数目的模型的样本数目除以另一模型的样本数目来确定。如果比率大于阈值，则模型被认为不是很好地平衡，并且在这种情况下，使用单个线性模型。阈值的一个例子是10。在另一个示例中，如果采样的一个数目低于预定值(例如，nmi＝4个采样)，则可以确定这一点。
[0188]
在至少一个实施例中，通过使用小于重建样本范围值(例如，0
…2比特
‑
深度
)的直方图缓冲器尺寸来实现存储器节省。这是通过使用例如与样本值的右移位对应的适当的缩放因子“s”来完成的。在这种情况下，直方图缓冲器尺寸减小到2
比特
‑
深度
‑
s
，并且直方图步长为2
s
，因此节省了存储器。
[0189]
在变型实施例中，直方图的最低值和最高值是饱和的。这由图中的值min范围和max范围示出。将小于min范围的所有样本值设置为min范围，并且将高于max范围的所有样本值设置为max范围。当知道阈值的潜在范围时，在可能的阈值周围仅需要粗略分布，从而允许节省一些存储器。例如，可从相同或先前编解码的图片中的先前编解码的样本推断样本值范围的估计，或可在比特流中编码范围值。
[0190]
在至少一个实施例中，通过在直方图上聚合部分和来执行对数据的单次传递：以与直方图的值的相同间隔来计算。一旦计算了诸如的值并且选择了阈值，就用直方图值累加部分和，使得不需要在ref和cur值上再次循环。这对应于绝对差之和的近似，即：
[0191][0192]
其中，n
cur
(h)是具有值∈[h2s；(h 1).2s]的重建cur样本的数目，并且h＝{h0，h1
…
}是直方图值的数目。相同的近似可以应用于参考样本。当lic参数a和b不是使用如等式3所示的最小二乘最小化(lsm)而是通过使用如等式6所示的绝对差之和(sad)来获得时，该单次传递是特别有趣的：
[0193][0194][0195]
其中cur(r)是当前图片(图3c的右侧)中的相邻重建样本，ref(s)是从参考图片(图3c的左侧)利用运动补偿(通过运动矢量mv转换)构建的参考样本，并且s＝r mv。当前块的相邻重建样本(cur(r))和参考样本(ref(s))通过关系“s＝r mv”相对于l形共位，如图3c所示。
[0196]
当使用最小二乘最小化(lsm)获得lic参数a和b时，该实施例也是适用的。两个模
型的和项被简单地相加以获得单模型的和项。
[0197]
图18示出了用于使用两个lic模型推导lic参数的方法。在该方法中，一旦在步骤370从直方图确定了阈值，就在步骤330将重建样本的值与阈值进行比较，以确定该重建样本是否将用于确定第一lic模型或第二lic模型的lic参数。然后，在步骤340，为两个模型确定对应lic参数，并且用两个模型计算预测。然后组合这些预测(在步骤360)，例如使用简单平均或双向预测加权平均将这些预测组合在一起。
[0198]
在至少一个实施例中，多模型不连续性问题由编码器检测，并且可以由编码器针对发生多模型不连续性的块禁用lic特征。这可由编码器通过针对该块将lic标志编码为假来发信号通知。然而，在合并模式中，lic标志是从另一相邻块继承，并且编码器具有较少灵活性来避免此问题，除非递归地重新编码先前块。
[0199]
在至少一个实施例中，在以合并模式编解码的块的多模型不连续性的情况下，编码器不使用mm
‑
lic而是使用单个lic模型。
[0200]
在变型实施例中，由解码器计算不连续性尺寸(ds)，并且如果ds高于不连续性阈值，则选择单个lic模型方法，否则使用多模型lic模型。不连续性阈值是解码器隐式已知的，或者在比特流中被编解码，或者从其他解码参数计算，或者使用其他手段获得。
[0201]
图19示出了用于在发生不连续性问题时确定单模型参数的示例实施例。在对应于由于不连续性问题而选择单个lic模型方法的情况的该实施例中，单模型的lic参数直接从低于和高于划分两个模型的阈值的样本的平均值(分别为avg0和avg1)中推导。这具有以下优点：以简单的方式有效地推导单模型的参数，而不需要重新扫描样本，并且不需要再次计算等式6，因为已经计算了平均值avg0和avg1。
[0202]
图20示出了根据一个实施例的决策过程的示例实施例。该过程旨在决策lic是使用单个线性模型还是多个线性模型。首先，针对使用两个模型的情况确定lic参数。然后，在步骤335，做出决策以决策是否应该使用lic以及使用哪个模型。根据上述不同元素(不平衡的样本数目、不连续性问题)做出决策。当应当使用单模型时，则在步骤336例如使用图9b所示的方法针对单模型确定lic参数，并且在步骤342执行块预测。当决策是选择多模型lic时，则在步骤340使用针对两个模型计算的lic参数来执行块预测。
[0203]
lic使用单个线性模型还是多个线性模型的决策对于编码器和解码器两者都有效，但不使用lic的决策仅在编码器侧有效。
[0204]
对“一个实施例”或“实施例”或“一个实现方式”或“实现方式”以及其其他变型的引用意味着结合该实施例描述的特定特征、结构、特性等被包括在至少一个实施例中。因此，在整个说明书中出现在各个地方的短语“在一个实施例中”或“在实施例中”或“在一个实现方式中”或“在实现方式中”以及任何其他变型的出现不一定都指相同的实施例。另外，本技术或其权利要求可以指“确定”各种信息。确定信息可以包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一个或多个。此外，本技术或其权利要求可以指“访问”各种信息。访问信息可以包括例如接收信息、检索信息(例如，从存储器)、存储信息、移动信息、复制信息、计算信息、预测信息或估计信息中的一个或多个。
[0205]
另外，本技术或其权利要求可以指“接收”各种信息。与“访问”一样，接收旨在是广义的术语。接收信息可以包括例如访问信息或检索信息(例如，从存储器或光学介质存储)中的一个或多个。此外，在诸如例如存储信息、处理信息、发送信息、移动信息、复制信息、擦
除信息、计算信息、确定信息、预测信息或估计信息的操作期间，通常以一种方式或另一种方式涉及“接收”。
[0206]
应当认识到，例如，在“a/b”、“a和/或b”和“a和b中的至少一个”的情况下，使用以下“/”、“和/或”和“其中的至少一个”中的任何一个旨在涵盖仅选择第一个列出的选项(a)，或仅选择第二个列出的选项(b)，或选择两个选项(a和b)。作为另一示例，在“a、b和/或c”和“a、b和c中的至少一个”的情况下，这种短语旨在涵盖仅选择第一个列出的选项(a)，或仅选择第二个列出的选项(b)，或仅选择第三个列出的选项(c)，或仅选择第一个和第二个列出的选项(a和b)，或仅选择第一个和第三个列出的选项(a和c)，或仅选择第二个和第三个列出的选项(b和c)，或选择所有三个选项(a和b和c)。如本领域和相关领域的普通技术人员显而易见的，这可以扩展到所列出的许多项目。
[0207]
对于本领域技术人员显而易见的是，实现方式可以产生被格式化为携带可以例如被存储或发送的信息的各种信号。该信息可以包括例如用于执行方法的指令或由所描述的实现方式之一产生的数据。例如，信号可以被格式化以携带所描述的实施例的比特流。这样的信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可以包括例如对数据流进行编码以及利用编码的数据流来调制载波。信号携带的信息可以是例如模拟或数字信息。如已知的，信号可以通过各种不同的有线或无线链路发送。信号可以存储在处理器可读介质上。