用于视频译码中的色度信号增强的交叉平面滤波的制作方法

用于视频译码中的色度信号增强的交叉平面滤波
1.本案为2018年10月22日递交的题为“用于视频译码中的色度信号增强的交叉平面滤波”的中国发明专利申请201811230342.7的分案申请。
2.相关申请的交叉引用
3.本技术要求享有2012年9月28日提交的申请号为61/707,682的美国临时专利申请、2013年2月8日提交的申请号为61/762,611的美国临时申请、2013年3月12日提交的申请号为61/778,218的美国临时申请、以及2013年7月12提交的申请号为61/845,792的美国临时申请的权益，这些申请的内容在这里全部合并作为参考。


背景技术：

4.通过使用视频译码系统来压缩数字视频信号，例如以便减少消耗的存储空间和/或减少与这种信号相关联的传输带宽消耗。例如，基于块的混合视频译码系统被广泛部署和频繁使用。
5.数字视频信号典型地具有三个颜色平面(color plane)，包括：亮度平面(luma plane)、蓝色差色度平面(blue
‑
difference chroma plane)、以及红色差色度平面(red
‑
difference chroma plane)。色度平面的像素典型地具有比亮度平面更小的动态范围，从而视频图像的色度平面典型地比亮度平面更平滑和/或具有更少的细节。因此，视频图像的色度块可以更易于正确地预测，例如消耗更少的资源和/或产生更少的预测错误。
6.然而，使用公知色度预测技术的视频译码会产生在色度平面中具有显著的模糊边缘和/或纹理的视频图像。


技术实现要素：

7.可以使用交叉平面滤波以通过使用来自相应亮度平面的信息来恢复一个或两个色度平面中的模糊边缘和/或纹理(texture)。可以实施自适应交叉平面滤波器。可以量化和/或用信号发送交叉平面滤波器系数，以使得比特流中的开销是可承受的(例如被减少和/或被最小化)而不会带来性能恶化。可以确定交叉平面滤波器的一个或多个特征(例如大小、可分离性、对称性等等)，以使得比特流中的开销是可承受的(例如被减少和/或被最小化)而不会带来性能恶化。可以将交叉平面滤波应用于具有各种颜色二次采样(subsampling)格式(例如4:4:4、4:2:2、以及4:2:0)的视频。可以应用交叉平面滤波以选择视频图像的区域，例如应用于边缘区域和/或由在比特流中用信号发送的一个或多个参数所规定的区域。可以在单层视频译码系统和/或多层视频译码系统中实施交叉平面滤波器。
8.根据交叉平面滤波的示例性视频解码过程可以包括接收视频信号以及与该视频信号相关联的交叉平面滤波器。视频解码过程可以包括将交叉平面滤波器应用于视频信号的亮度平面像素以确定色度偏移。视频解码过程可以包括将色度偏移添加到视频信号的相应色度平面像素。
9.视频译码设备可以被配置用于交叉平面滤波。视频译码设备可以包括网络接口，该网络接口被配置为接收视频信号和与该视频信号相关联的交叉平面滤波器。视频译码设
备可以包括处理器，该处理器被配置为将交叉平面滤波器应用于视频信号的亮度平面像素以确定色度偏移。所述处理器可以被配置为将色度偏移添加到视频信号的相应色度平面像素。
10.根据交叉平面滤波的示例性视频编码过程可以包括接收视频信号。视频编码过程可以包括使用视频信号的分量来产生交叉平面滤波器。视频编码过程可以包括对与交叉平面滤波器相关联的滤波器系数进行量化。视频编码过程可以包括将所述滤波器系数编码到代表视频信号的比特流中。视频编码过程可以包括传送所述比特流。
11.视频译码设备可以被配置用于交叉平面滤波。视频译码设备可以包括网络接口，该网络接口被配置为接收视频信号。视频译码设备可以包括处理器，该处理器被配置为使用视频信号的分量来产生交叉平面滤波器。该处理器可以被配置为对与交叉平面滤波器相关联的滤波器系数进行量化。该处理器可以被配置为将所述滤波器系数编码到代表视频信号的比特流中。该处理器可以被配置为传送所述比特流，例如经由网络接口来进行传送。
附图说明
12.图1是示出示例性的基于块的视频编码器的框图；
13.图2是示出示例性的基于块的视频解码器的框图；
14.图3是示出示例性的两层空间可缩放视频编码器的框图；
15.图4是示出示例性的两层空间可缩放视频解码器的框图；
16.图5是示例性层间预测处理和管理单元的框图；
17.图6a描绘了示例性4:4:4颜色二次采样格式；
18.图6b描绘了示例性4:2:2颜色二次采样格式；
19.图6c描绘了示例性4:2:0颜色二次采样格式；
20.图7是交叉平面滤波的示例的框图；
21.图8a和图8b是交叉平面滤波的另一示例的框图；
22.图9a和图9b是交叉平面滤波的另一示例的框图；
23.图10a描绘了用于4:4:4中的选择色度像素的交叉平面滤波器(滤波器_y4cb和滤波器_y4cr)的示例性大小和支持区域；
24.图10b描绘了用于4:2:2中的选择色度像素的交叉平面滤波器(滤波器_y4cb和滤波器_y4cr)的示例性大小和支持区域；
25.图10c描绘了用于4:2:0中的选择色度像素的交叉平面滤波器(滤波器_y4cb和滤波器_y4cr)的示例性大小和支持区域；
26.图11a描绘了用于4:4:4中的选择色度像素的交叉平面滤波器(滤波器_y4cb和滤波器_y4cr)的示例性统一大小(unified size)和支持区域；
27.图11b描绘了用于4:2:2中的选择色度像素的交叉平面滤波器(滤波器_y4cb和滤波器_y4cr)的示例性统一大小和支持区域；
28.图11c描绘了用于4:2:0中的选择色度像素的交叉平面滤波器(滤波器_y4cb和滤波器_y4cr)的示例性统一大小和支持区域；
29.图12a描绘了示例性交叉平面滤波器的缺少对称属性的示例；
30.图12b描绘了示例性交叉平面滤波器的示例性水平和垂直对称属性；
31.图12c描绘了示例性交叉平面滤波器的示例性垂直对称属性；
32.图12d描绘了示例性交叉平面滤波器的示例性水平对称属性；
33.图12e描绘了示例性交叉平面滤波器的示例性点对称属性；
34.图13a描绘了不具有对称性的示例性水平和垂直一维滤波器；
35.图13b描绘了具有对称性的示例性水平和垂直一维滤波器；
36.图14是示出了用信号发送交叉平面滤波器系数集的示例的示例性句法表格；
37.图15a和图15b描绘了交叉平面滤波器系数的示例性排列；
38.图16是示出了用信号发送多个交叉平面滤波器系数集的示例的示例性句法表格；
39.图17是示出了用信号发送规定了用于交叉平面滤波的区域的信息的示例的示例性句法表格；
40.图18描绘了根据基于区域的交叉平面滤波的实施检测到的多个图像区域的示例；
41.图19是示出了用信号将关于多个区域的信息和多个交叉平面滤波器系数集一起发送的示例的示例性句法表格；
42.图20描绘了用于交叉平面滤波的示例性图片级别选择算法；
43.图21a描绘了示例性通信系统的系统图，在该通信系统中可以实施所公开的一个或多个实施方式；
44.图21b描绘了可以在图21a所示的通信系统中使用的示例性无线发射/接收单元(wtru)的系统图；
45.图21c描绘了可以在图21a所示的通信系统中使用的示例性无线电接入网和示例性核心网的系统图；
46.图21d描绘了可以在图21a所示的通信系统中使用的示例性无线电接入网和示例性核心网的系统图；
47.图21e描绘了可以在图21a所示的通信系统中使用的示例性无线电接入网和示例性核心网的系统图。
具体实施方式
48.图1示出了示例性的基于块的视频编码器。可以处理(例如逐块处理)输入视频信号102。视频块单元可以包括16x16个像素。这种块单元可以称为宏块(mb)。视频块单元大小可以扩展到例如64x64个像素。可以使用大小被扩展的视频块来压缩高分辨率视频信号(例如1080p视频信号及以上)。扩展的块大小可以称为译码单元(cu)。cu可以分为一个或多个预测单元(pu)，单独的预测方法可以应用于所述一个或多个pu。
49.对于一个或多个输入视频块(例如每个输入视频块)，例如mb或cu，可以执行空间预测160和/或时间预测162。空间预测160(其可以称为内预测(intra prediction))可以使用来自视频图片和/或片中的一个或多个已经译码的邻近块的像素，例如以便预测视频块。空间预测160可以减少空间冗余，该空间冗余可能是视频信号固有的。时间预测162(其可以称为间预测(inter prediction)和/或运动补偿预测)或运动预测(估计和补偿)162可以使用来自一个或多个已经译码的视频图片的像素，例如以便预测视频块。时间预测可以减少时间冗余，该时间冗余可能是视频信号固有的。用于视频块的时间预测信号可以包括一个或多个运动矢量和/或一个或多个参考图片索引(例如如果使用了多个参考图片的话)，以
识别时间预测信号可以源自参考图片存储器164中的哪些参考图片。
50.在执行空间预测和/或时间预测之后，模式决定块180(例如位于编码器中)，其可被称之为模式决定和其他编码器控制逻辑180，可以选择预测模式，例如基于率失真优化方法进行选择。可以从视频块116减去预测块。可以变换104和/或量化106预测残差。可以逆量化110和/或逆变换112一个或多个量化后的残差系数，例如以便形成重构残差。该重构残差可以被添加到预测块126中，例如以形成重构视频块。
51.此外，在环路滤波中，例如在将重构视频块存储在参考图片存储器164和/或用于译码随后的视频块之前，可将例如一个或多个去块化(deblocking)滤波器和/或自适应环路滤波器(例如，环路滤波器166)应用于重构视频块上。为了形成输出视频比特流120，可以将译码模式(例如间(inter)或内(intra))、预测模式信息、运动信息、和/或量化后的残差系数发送给熵译码单元108，例如以被进一步压缩和/或打包以形成比特流120。
52.图2示出了示例性的基于块的视频解码器，其可对应于图1中描绘的基于块的编码器。可以在例如熵解码单元208处对视频比特流202进行解包和/或熵解码。可以将译码模式和/或预测信息发送给空间预测单元260(例如针对内译码)或时间预测单元262(例如针对间译码)，例如以便形成预测块。时间预测262可被称之为运动补偿预测262，可以将一个或多个残差变换系数发送给逆量化单元210和/或逆变换单元212，例如以对残差块进行重构。预测块和残差块可以在226处被添加到一起，例如以便形成重构块。可以在例如重构块被添加到将被传送的(例如传送到显示设备)重构输出视频220之前和/或在重构块被存储在参考图片存储器264中之前，通过环路中滤波(例如使用环路滤波器266)来处理重构块，以例如用于预测一个或多个随后的视频块。
53.可以在计算能力、寄存器和/或存储器大小、显示分辨率、显示帧率等等方面具有不同能力的设备上例如通过智能电话和/或输入板来享用视频。网络和/或传输信道可以在分组丢失率、可用信道带宽、突发错误率等方面具有不同的特性。可以通过有线网络和/或无线网络的组合传送视频数据，这可以使得一个或多个底层(underlying)视频传输信道特征复杂。在这种情况下，可缩放的视频编码可以改进由视频应用提供的视频质量，例如由在具有不同能力的设备上运行的视频应用通过异构网络提供的视频质量。
54.可缩放视频译码可以根据最高表示(例如时间分辨率、空间分辨率、质量等)对视频信号进行编码，但是能够例如根据在客户设备上运行的一个或多个应用所采用的规定速率和/或表示，从一个或多个视频流的各个子集进行解码。可缩放视频译码能够节约带宽和/或存储器。
55.图3示出了具有一个基础层(bl)和一个增强层(el)的示例性两层可缩放视频译码系统。这两个层之间的空间分辨率可以不同，从而可以应用空间可缩放性。基础层编码器(例如高效视频译码(hevc)编码器)可以对基础层视频输入进行编码，例如逐块编码，并且可以产生基础层比特流(例如根据图1中描绘的框图)。增强层编码器可以对增强层视频输入进行编码，例如逐块编码，并且可以产生增强层比特流(例如根据图1中描绘的框图)。可以改进可缩放视频译码系统的译码效率(例如增强层译码的译码效率)。例如，可以使用来自基础层重构视频的信号相关性来改进预测准确性。
56.可以对基础层重构视频进行处理，以使得一个或多个处理的基础层图片的至少部分能够被插入到增强层解码图片缓存(el dpb)中和/或用于预测增强层视频输入。基础层
视频和增强层视频可以是用各个不同空间分辨率表示的基本上相同的视频源，以使得它们经由例如下采样过程来彼此对应。层间预测(ilp)处理可以由层间处理和/或管理单元执行，例如可用于将基础层重构的空间分辨率与增强层视频的空间分辨率对准的上采样操作。可缩放视频译码比特流可以包括由基础层和增强层编码器产生的基础层比特流、增强层比特流、和/或层间预测信息。
57.层间预测信息可以由ilp处理和管理单元产生。例如，ilp信息可以包括以下一者或多者：应用的层间处理的类型；处理中使用的一个或多个参数(例如使用哪些上采样滤波器)；应当将一个或多个处理后的基础层图片中的哪些基础层图片插入el dpb中；等等。可以将基础层和增强层比特流和/或ilp信息一起进行复用，例如从而形成可缩放比特流(例如shvc比特流)。
58.图4示出了可以对应于图3中描绘的可缩放编码器的示例性两层可缩放视频解码器。该解码器可以执行一个或多个操作，例如按照与编码器相反的顺序来执行。可以将可缩放比特流解复用成基础层比特流、增强层比特流、和/或ilp信息。基础层解码器可以对基础层比特流进行解码和/或可以产生基础层重构。
59.ilp处理和管理单元可以接收ilp信息和/或可以处理基础层重构，例如根据接收到的ilp信息来处理。ilp处理和管理单元可以选择性地将一个或多个处理后的基础层图片插入到el dpb中，例如根据所接收到的ilp信息来进行插入。增强层解码器可以对增强层比特流(例如该增强层比特流具有时间参考图片和/或层间参考图片的组合(例如一个或多个处理后的基础层图片))进行解码，以便重构增强层视频。为了便于进行公开，术语“层间参考图片”和“处理后的基础层图片”可以互换使用。
60.图5描绘了示例性层间预测和处理管理单元，例如其可以在图3中示出的示例性两层空间可缩放视频编码器和/或图4中示出的示例性两层空间可缩放视频解码器中实施。层间预测和处理管理单元可以包括一个或多个级(例如图5中描绘的三个级)。在第一级(例如级1)中，可以增强bl重构图片(例如在其被上采样之前)。在第二级(例如级2)中，可以执行上采样(例如当bl的分辨率低于空间缩放中的el的分辨率时)。第二级的输出的分辨率与具有对准的采样格栅(grid)的el的分辨率基本相同。可以例如在将上采样后的图片放入el dpb中之前在第三级(例如级3)中执行增强，这可以改进层间参考图片质量。
61.可以由层间预测和处理管理单元执行上述三个级中的一个或多个级、或者不执行任何级。例如，在信噪比(snr)可缩放性中(其中bl图片的分辨率基本与具有更低质量的el图片的分辨率相同)，可以不执行上述三个级中的一个或多个级(例如执行所有级)，例如从而可以将bl重构图片插入到el dpb中以直接用于层间预测。在空间可缩放性中，可以执行第二级，例如以便使得上采样后的bl重构图片具有与el图片对准的采样格栅。可以执行第一和第三级来改进层间参考图片质量，例如，其可以帮助实现el译码的更高效率。
62.在可缩放视频译码系统(例如图3和图4中所示)中执行图片级ilp可以降低实施复杂度，例如因为(例如在块级处的)各个基础层和/或增强层编码器和/或解码器逻辑可以至少部分地被再次使用而无需改变。高级(例如图片级和/或片级)配置将一个或多个各个处理后的基础层图片插入到增强层dpb中。为了改进译码效率，可以在可缩放系统中允许一个或多个块级改变，例如从而促进块级层间预测，其可以在图片级层间预测之外执行。
63.这里描述的单层和/或多层视频译码系统可以用于对彩色视频进行译码。在彩色
视频中，携带亮度和色度信息的每个像素可以由主(primary)颜色的各个强度的组合(例如ycbcr、rgb、或yuv)构成。彩色视频的每个视频帧可以由对应于三个颜色信道的三个矩形阵列组成。颜色信道(例如每个颜色信道)中的一个或多个采样可以具有离散和/或有限的幅度，该幅度在数字视频应用中可以使用8比特值来表示。可以在视频捕获和/或显示系统中使用红色、绿色以及蓝色(rgb)主色。
64.在视频译码和/或传输中，可以将rgb空间中的视频信号转换到一个或多个其他颜色空间(例如具有亮度和/或色度坐标)中，诸如用于pal和secam tv系统的yuv和用于ntsc tv系统的yiq，例如以从而减少带宽消耗和/或实现与单色视频应用的兼容性。y分量的值可以代表像素的亮度，而其他两个分量(例如cb和cr)可以承载色度信息。数字颜色空间(例如ycbcr)可以是模拟颜色空间(例如yuv)的缩放和/或偏移版本。用于从rgb坐标获得ycbcr坐标的变换矩阵可以表示为等式(1)。
[0065][0066]
因为人眼视觉系统(hvs)对颜色的敏感性低于对亮度的敏感性，因此可以对色度分量cb和cr进行二次采样，而几乎不会恶化感受到的视频质量。颜色二次采样格式可以由由冒号分离的数字三元组指示。例如，根据4:2:2颜色二次采样格式，用于色度分量的水平采样率可以减半，而垂直采样率可以不变。根据4:2:0颜色二次采样格式，为了降低相关联的数据速率，用于色度分量的采样率在水平方向和垂直方向上都可以减半。根据可被用于使用甚高视频质量的应用的4:4:4颜色二次采样格式，色度分量可以具有与用于亮度分量的采样率基本相同的采样率。图6a
‑
图6c中分别描绘了示出用于上述颜色二次采样格式的亮度和色度样本的示例性采样格栅。
[0067]
视频序列中的帧的y、cb以及cr颜色平面可以与内容相关(例如高度相关)，但是两个色度平面可以显示比亮度平面更少的纹理和/或边缘。三个颜色平面可以共享相同的运动。当基于块的混合视频译码系统(例如根据图1和图2)应用于颜色块时，可以不对块内的这三个平面独立地译码。如果用间预测对颜色块进行译码，则这两个色度块可以再次使用亮度块的运动信息，例如运动矢量和/或参考索引。如果用内预测对颜色块进行译码，则亮度块可以比两个色度块中的一个或两个色度块具有更多的预测方向可供选择，例如这是因为亮度块可以具有更多的种类和/或更强的边缘。
[0068]
例如，根据h.264/avc内预测，亮度块可以具有九个候选方向，但是色度块可以具有四个候选方向。根据hevc内预测，色度块可以具有四个候选方向，并且亮度块可以具有多于四个候选方向(例如三十五个候选方向)。可以独立执行用于亮度和/或色度预测错误的各个变换和/或量化过程，例如在内或间预测之后执行。在低比特率(例如其中用于亮度的qp大于三十四)，色度可以比相应的亮度具有更精细的(lighter)量化(例如更小的量化步长)，例如这是因为色度平面中的边缘和/或纹理可以更精致并且可以更多地受到粗糙量化(heavy quantization)的影响，其中粗糙量化可以引起可见的伪像，例如渗色。
[0069]
被配置为执行视频译码(例如以便编码和/或解码视频信号)的设备可以称为视频译码设备。这种视频译码设备可以包括能够处理视频的设备，例如电视、数字媒体播放器、
dvd播放器、蓝光播放器、联网的媒体播放器设备、台式电脑、便携式个人电脑、平板设备、移动电话、视频会议系统、基于硬件和/或软件的视频编码系统等等。这种视频译码设备可以包括无线通信网络元件，例如无线发射/接收单元(wtru)、基站、网关、或其他网络元件。
[0070]
视频译码设备可以被配置为经由网络接口来接收视频信号(例如视频比特流)。视频译码设备可以具有无线网络接口、有线网络接口、或其任意组合。例如，如果视频译码设备是无线通信网络元件(例如无线发射接收单元(wtru))，则网络接口可以是wtru的收发信机。再举个例子，如果视频译码设备是不被配置为用于无线通信的能够处理视频的设备(例如后端架编码器)，则网络接口可以是有线网络连接(例如光纤连接)。再举个例子，网络接口可以是被配置为与物理存储媒介(例如光盘驱动器、存储器卡接口、到视频摄像机的直接接口等等)进行通信的接口。应当理解网络接口不限于这些例子，并且网络接口可以包括使得视频译码设备能够接收视频信号的其他接口。
[0071]
视频译码设备可以被配置为对一个或多个视频信号(例如由视频译码设备的网络接口接收到的源视频信号)执行交叉平面滤波。
[0072]
可以使用交叉平面滤波，例如以便使用来自相应亮度平面的信息来恢复一个或两个色度平面中的模糊边缘和/或纹理。可以实施自适应交叉平面滤波器。可以量化和/或用信号发送交叉平面滤波器系数，以使得比特流中的开销减少(例如最小化)性能恶化，例如根据与视频信号相关联的比特流的传输性能的阈值水平来执行。可以在比特流(例如输出视频比特流)中传送和/或可以在比特流相关的带外传送交叉平面滤波器系数。
[0073]
可以确定交叉平面滤波器的一个或多个特征(例如大小、可分离性、对称性等等)，以使得比特流中的开销可承受，而不会使得性能恶化。交叉平面滤波可以应用于具有不同颜色二次采样格式(例如包括4:4:4、4:2:2、以及4:2:0)的视频。可以应用交叉平面滤波来选择视频图像的区域(例如边缘区域和/或可以在比特流中用信号发送的一个或多个区域)。可以在单层视频译码系统中实施交叉平面滤波器。可以在多层视频译码系统中实施交叉平面滤波器。
[0074]
亮度平面可以用作改进一个或两个色度平面的质量的向导。例如，关于亮度平面的信息的一个或多个部分可以混合到相应的色度平面中。为了便于公开，原始(例如未译码)的视频图像的三个颜色平面可以分别标记为y_org、cb_org以及cr_org，并且原始视频图像的译码后版本的三个颜色平面可以分别标记为y_rec、cb_rec以及cr_rec。
[0075]
图7示出了可以使用的交叉平面滤波的示例，例如用于通过使用逆过程(例如上面示出的过程(1))将y_rec、cb_rec以及cr_rec变换回rgb空间，其中在rgb空间中将三个平面分别标记为r_rec、g_rec以及b_rec。可以将y_org、cb_org以及cr_org变换回rgb空间(例如基本上同时变换)，从而可以获得被标记为r_org、g_org以及b_org的各个原始rgb平面。最小二乘(ls)训练方法可以将平面对(r_org，r_rec)、(g_org，g_rec)、以及(b_org，b_rec)作为训练数据集来分别训练用于r、g以及b平面的三个滤波器，这三个滤波器被标记为filter_r、filter_g、以及filter_b。通过使用filter_r、filter_g、以及filter_b来分别对r_rec、g_rec以及b_rec进行滤波，可以获得三个被标记为r_imp、g_imp以及b_imp的改进rgb平面，和/或与r_org与r_rec、g_org与g_rec、以及b_org与b_rec之间的各个失真相比，r_org与r_imp、g_org与g_imp、以及b_org与b_imp之间的失真可以分别被减小(例如最小化)。r_imp、g_imp以及b_imp可以被转换到ycbcr空间，并且可以获得y_imp、cb_imp以及cr_
imp，其中cb_imp以及cr_imp可以是交叉平面滤波过程的输出。
[0076]
例如如图7中示出的来回转换颜色空间可以消耗编码器和/或解码器侧的一侧或两侧的计算资源(例如不期望的大量计算资源)。因为空间转换过程和滤波过程都是线性的，示出的交叉平面滤波过程的至少一部分可以例如使用简化过程来近似，在该简化过程中在ycbcr空间中执行所述操作中的一个或多个操作(例如所有操作)。
[0077]
如图8a所示，为了改进cb_rec的质量，ls训练模块可以将y_rec、cb_rec、cr_rec以及cb_org作为训练数据集，并且可被连带得到的最佳滤波器filter_y4cb、filter_cb4cb、以及filter_cr4cb可以分别应用于y_rec、cb_rec以及cr_rec。可以将对三个平面的滤波的各个输出添加到一起，例如以便获得被标记为cb_imp的改进cb平面。可以通过ls方法来训练三个最佳滤波器，从而可以例如根据等式(2)来使得cb_imp与cb_org之间的失真最小化：
[0078][0079]
其中代表二维(2
‑
d)卷积， 和
‑
分别代表矩阵加法和减法，并且e[(x)2]代表矩阵x中每个元素的均方。
[0080]
如图8b所示，为了改进cr_rec的质量，ls训练模块可以将y_rec、cb_rec、cr_rec以及cr_org作为训练数据集，并且可被连带得到的最佳滤波器filter_y4cr、filter_cb4cr、以及filter_cr4cr可以分别应用于y_rec、cb_rec以及cr_rec。可以将对三个平面的滤波的各个输出添加到一起，例如以便获得被标记为cr_imp的改进cr平面。可以通过ls方法来训练三个最佳滤波器，从而可以例如根据等式(3)使得cr_imp与cr_org之间的失真最小化：
[0081]
cr对改进cb贡献很少。cb对改进cr贡献很少。
[0082]
可以简化图8a和图8b中示出的交叉平面滤波技术。例如，如图9a所示，可以通过在ls训练中采用y和cb平面而不是cr平面来改进cb平面的质量，从而两个滤波器即filter_y4cb和filter_cb4cb可以被连带得到并且可以分别应用于y和cb。可以将滤波器的各个输出添加到一起，例如以便获得被标记为cb_imp的改进cb平面。
[0083]
如图9b所示，可以通过在ls训练中采用y和cr平面而不是cb平面来改进cr平面的质量，从而两个滤波器即filter_y4cr和filter_cr4cr可以被连带得到并且可以分别应用于y和cr。可以将滤波器的各个输出添加到一起，例如以便获得被标记为cr_imp的改进cr平面。
[0084]
图9a和图9b中示出的交叉平面滤波技术可以减少训练和/或滤波的各自计算复杂度，和/或可以减少向解码器侧传送交叉平面滤波器系数的开销比特，从而性能恶化可以是微小的。
[0085]
为了在视频译码系统中实施交叉平面滤波，可以解决以下一者或多者：交叉平面滤波器大小确定；交叉平面滤波器系数量化和/或传输(例如用信号发送)；以及将交叉平面滤波适用于一个或多个局部区域。
[0086]
为了训练最佳交叉平面滤波器，可以确定合适的滤波器大小。滤波器的大小可以大致与和滤波器关联的开销的大小和/或与滤波器的计算复杂度成比例。例如，3x3滤波器可以具有要传送的九个滤波器系数，并且可以采用九次乘法和八次加法来完成对一个像素的滤波。5x5滤波器可以具有要传送的二十五个滤波器系数，并且可以采用二十五次乘法和二十四次加法来完成对一个像素的滤波。更大大小的滤波器可以实现更低的最小失真(例如按照等式(2)和(3))，和/或可以提供更好的性能。可以选择滤波器大小来对例如计算复杂度、开销大小和/或性能进行平衡。
[0087]
自身可以应用于平面的训练过的滤波器，例如filter_cb4cb以及filter_cr4cr可以实施为低通滤波器。可以用于交叉平面的训练过的滤波器，例如filter_y4cb、filter_y4cr、filter_cb4cr以及filter_cr4cb可以实施为高通滤波器。使用不同大小的不同滤波器可以对相应视频译码系统的性能影响很小。交叉平面滤波器的大小可以保持很小(例如尽可能小)，例如从而性能损失是可忽略的。例如，可以选择交叉平面滤波器大小，从而基本观察不到性能损失。可以实施较大大小的交叉平面滤波器(例如mxn交叉平面滤波器，其中m和n可以是整数)。
[0088]
例如，对于低通滤波器，例如filter_cb4cb和filter_cr4cr，滤波器大小可以实施为1x1，从而该滤波器具有与要被滤波的各个像素相乘的一个系数。1x1的filter_cb4cb和filter_cr4cr的滤波器系数可以固定为1.0，从而可以节省(例如不应用和/或不用信号发送)filter_cb4cb和filter_cr4cr。
[0089]
对于高通滤波器，例如filter_y4cb和filter_y4cr，滤波器大小可以依赖于或独立于颜色采样格式。交叉平面滤波器大小可以依赖于颜色采样格式。例如，可以针对选择色度像素实施交叉平面滤波器(例如filter_y4cb和filter_y4cr)的大小和/或支持区域，例如如图10a
‑
10c中所示，其中圆圈可以代表亮度样本的各自位置，实心三角形可以代表色度样本的各自位置，并且用于对(例如由空心三角形表示的)选择色度样本进行滤波的亮度样本可以由灰色圆圈代表。如图所示，filter_y4cb和filter_y4cr的滤波器大小对于4:4:4和4:2:2颜色格式而言可以是3x3，并且对于4:2:0颜色格式而言可以是4x3。滤波器大小可以独立于颜色格式，例如如图11a
‑
图11c所示。例如根据针对4:2:0格式的大小，滤波器大小可以是4x3。
[0090]
交叉平面滤波过程可以将训练后的高通滤波器应用于y平面，并且可以将滤波结果(标记为y_offset4cb和y_offset4cr)作为添加到色度平面中的相应像素的偏移，例如根据等式(4)和(5)来执行。
[0091]
和
[0092]
ꢀꢀꢀꢀꢀꢀ
(4)
[0093]
cb_imb＝cb_rec y_offset4cb和cr_imp＝cr_rec y_offset4cr
[0094]
ꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0095]
可以对交叉平面滤波器系数进行量化。例如在传输之前，训练后的交叉平面滤波器可以具有可被量化的实数值系数。例如，filter_y4cb可以由被标记为filter_int的整数滤波器来大致近似。filter_int中的元素可以具有小的动态范围(例如根据4
‑
比特表示可以从
‑
8到7)。第二系数被标记为coeff.，并且可以被使用以使filter_int更准确地接近于filter_y4cb，例如根据等式(6)所示。
[0096]
filter_y4c6≈filter_int
×
coeff.(6)
[0097]
在等式(6)中，为实数值数的coeff.可以由m/2
n
近似，其中m和n是整数，例如根据等式(7)所示。
[0098]
filter_y4c6≈filter_int
×
m/2
n
(7)
[0099]
为了传送filter_y4cb，可以例如将filter_int中的系数和m、n一起译码到比特流中。可以例如扩展上述量化技术，以便量化filter_y4cr。
[0100]
交叉平面滤波器(例如filter_y4cb和/或filter_y4cr)可以具有灵活的分离性和/或对称性。可以相对于示例性4x3交叉平面滤波器来描述这里引入的交叉平面滤波器属性(例如根据图10a
‑
图10c或者图11a
‑
图11c)，但是该交叉平面滤波器属性可应用于其他滤波器大小。
[0101]
交叉平面滤波器可以具有各种对称属性，例如根据图12a
‑
图12e描述的。交叉平面滤波器可以不具有对称性，例如如图12a所描述的。每个正方形可以代表一个滤波器系数，并且可以用唯一索引来标记，唯一索引可以指示其值可以不同于其余滤波器系数的值。交叉平面滤波器可以具有水平和垂直对称性，例如如图12b所示的，从而系数可以具有与一个或多个其他象限中的一个或多个相应系数相同的值。交叉平面滤波器可以具有垂直对称性，例如如图12c所示。交叉平面滤波器可以具有水平对称性，例如如图12d所示。交叉平面滤波器可以具有点对称性，例如如图12e所示。
[0102]
交叉平面滤波器可以不限于图12a
‑
图12e中所示的对称性，并且可以具有一个或多个其他对称性。如果滤波器中的至少两个系数具有相同的值(例如至少两个系数可以用相同的索引来标记)，则交叉平面滤波器可以具有对称性。例如，对于高通交叉平面滤波器(例如filter_y4cb和filter_y4cr)，有利的是：在沿着滤波器支持区域的边界处，对一个或多个(例如所有)系数不施加对称性，但对滤波器支持区域的内部系数的一个或多个(例如所有)系数施加某种对称性(例如，水平和垂直对称，水平对称，垂直对称，或点对称)。
[0103]
交叉平面滤波器可以是可分离的。例如，使用4x3二维滤波器的交叉平面滤波可以等效于将1x3水平滤波器应用于行(例如在第一级期间)和将4x1垂直滤波器应用于第一级的输出的列(例如在第二级期间)。第一级和第二级的顺序可以改变。对称性可以应用于1x3水平滤波器和/或4x1垂直滤波器。图13a和图13b分别描绘了不具有对称性和具有对称性的两个一维滤波器。
[0104]
无论交叉平面滤波器是否是可分离的和/或对称的，将滤波器系数译码到比特流中可以局限于具有唯一值的滤波器系数。例如，根据图12a中描绘的交叉平面滤波器，可以对十二个滤波器系数(索引为0到11)进行译码。根据图12b中描绘的交叉平面滤波器，可以对四个滤波器系数(索引为0到3)进行译码。在交叉平面滤波器中实施对称性可以减小(例如视频信号比特流中的)开销大小。
[0105]
交叉平面滤波器的滤波器系数的总和可以等于零，例如在交叉平面滤波器(例如filter_y4cb和filter_y4cr)是高通滤波器的情况下。根据这种属性(其可以是约束的)，交叉平面滤波器中的系数(例如至少一个系数)的幅度可以等于其他系数的总和，但是可以具有相反的符号。如果交叉平面滤波器具有x个系数要传送(例如如图12a所示，x等于12)，可以将x
‑
1个系数译码到比特流中(例如显性地译码)。解码器可以接收x
‑
1个系数并且可以例如基于零总和的约束来得到(例如隐性地得到)其余系数的值。
[0106]
可以例如在视频比特流中用信号发送交叉平面滤波系数。图14中的示例性句法表格示出了用信号发送用于色度平面(例如cb或cr)的二维、非可分离的、非对称的交叉平面滤波器系数集的示例。以下描述可以应用于示例性句法表格中的项。项num_coeff_hori_minus1加上1( 1)可以指示交叉平面滤波器的水平方向中的系数数量。项num_coeff_vert_minus1加上1( 1)可以指示交叉平面滤波器的垂直方向中的系数数量。项num_coeff_reduced_flag等于0可以指示交叉平面滤波器系数的数量可以等于(num_coeff_hori_minus1 1)
×
(num_coeff_vert_minus1 1)，例如如图15a所示。如图15a所示，num_coeff_hori_minus1等于2，并且num_coeff_vert_minus1等于3。
[0107]
项num_coeff_reduced_flag等于1可以指示交叉平面滤波器系数的数量(其可以典型地等于(num_coeff_hori_minus1 1)
×
(num_coeff_vert_minus1 1))可以例如通过去除四个角的系数而被减小到(num_coeff_hori_minus1 1)
×
(num_coeff_vert_minus1 1)
–
4，例如如图15b所示的例子。可以减小交叉平面滤波器的支持区域，例如通过去除四个角的系数来执行。利用num_coeff_reduced_flag项可以提供增强的灵活性，例如无论是否滤波器系数被减小。
[0108]
项filter_coeff_plus8[i]减去8可以对应于第i个交叉平面滤波器系数。滤波器系数的值可以在例如
‑
8到7的范围内。在该情况中，项filter_coeff_plus8[i]可以在0到15的范围中，并且可以被译码，例如根据4比特的固定长度译码(flc)来译码。项scaling_factor_abs_minus1和scaling_factor_sign可以一起规定缩放因子(例如等式(7)中的m)的值如下：
[0109]
m＝(1
‑
2*scaling_factor_sign)*(scaling_factor_abs_minusl 1)
[0110]
项bit_shifting可以规定在缩放过程之后右移的比特数量。该项可以代表等式(7)中的n。
[0111]
图片的不同区域可以具有不同的统计属性。得到用于一个或多个这种区域(例如用于每个这种区域)的交叉平面滤波器系数可以改进色度译码性能。为了说明，不同的交叉平面滤波器系数集可以应用于图片或片的不同区域，针对该图片或片，可以在图片级(例如在自适应图片集(aps)中)和/或片级(例如在片报头中)传送多个交叉平面滤波器系数集。
[0112]
如果在后处理实施中使用交叉平面滤波，例如将该交叉平面滤波在显示视频之前应用于重构视频，则一个或多个滤波器系数集可以作为补充增强信息(sei)消息而被传送。对于每个颜色平面，可以用信号发送滤波器集合的总数。如果该数量大于零，则可以传送，例如顺序地传送一个或多个交叉平面滤波器系数集。
[0113]
图16的示例性句法表格示出了在可被称为cross_plane_filter()的sei消息中用信号发送多个交叉平面滤波器系数集的示例。以下描述可以应用于示例性句法表格中的项。项cross_plane_filter_enabled_flag等于一(1)可以规定交叉平面滤波被启用。相反地，项cross_plane_filter_enabled_flag等于零(0)可以规定交叉平面滤波被禁用。
[0114]
项cb_num_of_filter_sets可以规定可用于对当前图片的cb平面进行译码的交叉平面滤波器系数的数量。项cb_num_of_filter_sets等于零(0)可以指示交叉平面滤波不应用于当前图片的cb平面。项cb_filter_coeff[i]可以是用于cb平面的第i个交叉平面滤波器系数集。项cb_filter_coeff可以是数据结构，并且可以包括以下一者或多者：num_coeff_hori_minus1、num_coeff_vert_minus1、num_coeff_reduced_flag、filter_coeff_
plus8、scaling_factor_abs_minus1、scaling_factor_sign和bit_shifting。
[0115]
项cr_num_of_filter_sets可以规定可用于对当前图片的cr平面进行译码的交叉平面滤波器系数集的数量。项cr_num_of_filter_sets等于零(0)可以指示交叉平面滤波不应用于当前图片的cr平面。项cr_filter_coeff[i]可以是用于cr平面的第i个交叉平面滤波器系数集。项cr_filter_coeff可以是数据结构，并且可以包括以下一者或多者：num_coeff_hori_minus1、num_coeff_vert_minus1、num_coeff_reduced_flag、filter_coeff_plus8、scaling_factor_abs_minus1、scaling_factor_sign和bit_shifting。
[0116]
可以实施基于区域的交叉平面滤波。交叉平面滤波可以适用于对视频图像中的一个或多个局部区域进行滤波，例如在期望(例如在亮度平面的引导下)恢复相关联的色度平面中的高频信息的损失的情况下。例如，交叉平面滤波可以应用于边缘和/或纹理丰富的区域。可以首先执行边缘检测，例如从而找到交叉平面滤波器可应用于其中的一个或多个区域。可以首先将高通滤波器(例如filter_y4cb和/或filter_y4cr)应用于y平面。
[0117]
滤波结果的幅度可以暗示滤波后的像素是否位于高频区域中。大幅度可以指示滤波后的像素的区域中的尖锐边缘。接近零的幅度可以指示滤波后的像素位于同类区域中。可以采用阈值来测量filter_y4cb和/或filter_y4cr的滤波输出。可以将该滤波输出添加到色度平面中的相应像素，例如在其大于阈值的情况下。例如，平滑区域中的各个色度像素可能不变，这可以避免随机滤波噪声。基于区域的交叉平面滤波可以在维持译码性能的同时降低视频译码复杂度。例如，可以将可包括一个或多个区域的区域信息用信号发送给解码器。
[0118]
在基于区域的交叉平面滤波的实施中，可以检测到具有不同统计属性(例如平滑的、鲜艳的、纹理、和/或边缘丰富的区域)的一个或多个区域，例如在编码器侧上检测到。可以获得多个交叉平面滤波器，并且可以将其应用于一个或多个区域中的相应的一些区域。可以将关于一个或多个区域中的各自的一些区域的信息传送给解码器侧。这些信息可以包括例如区域的面积、区域的位置、和/或应用于区域的特定交叉平面滤波器。
[0119]
图17的示例性句法表格示出了用信号发送关于特定区域的信息的示例。以下内容可以应用于示例性句法表格中的项。项top_offset(上_偏移)、left_offset(左_偏移)、right_offset(右_偏移)以及bottom_offset(下_偏移)可以规定当期区域的面积和/或位置。这些项可以代表从当前区域的上侧、左侧、右侧以及底侧到相关联图片的相对应四个侧的、例如就像素而言的各个距离，例如如图18所示。
[0120]
cross_plane_filtering_region_info()可以包括关于cb平面的指定区域的交叉平面滤波、cr平面的指定区域的交叉平面滤波、或cb平面和cr平面的各自指定区域的交叉平面滤波的信息。
[0121]
项cb_filtering_enabled_flag等于一(1)可以指示针对cb平面的当前区域的交叉平面滤波被启用。项cb_filtering_enabled_flag等于零(0)可以指示针对cb平面的当前区域的交叉平面滤波被禁用。项cb_filter_idx可以规定交叉平面滤波器cb_filter_coeff[cb_filter_idx](例如如图16中描绘的信令cb_filter_coeff)可以应用于cb平面的当前区域。
[0122]
项cr_filtering_enabled_flag等于一(1)可以指示针对cr平面的当前区域的交叉平面滤波被启用。项cr_filtering_enabled_flag等于零(0)可以指示针对cr平面的当前
区域的交叉平面滤波被禁用。项cr_filter_idx可以规定交叉平面滤波器cr_filter_coeff[cr_filter_idx](例如如图16中描绘的信令cr_filter_coeff)可以应用于cr平面的当前区域。
[0123]
可以在图片级(例如在aps或sei消息中)或在片级(例如在片报头中)传送关于一个或多个区域的信息。图19的示例性句法表格示出了在可被称为cross_plane_filter()的sei消息中用信号将多个交叉平面滤波器和多个区域一起发送的示例。关于区域的信息用斜体表示。
[0124]
以下内容可以应用于示例性句法表格中的项。项cb_num_of_regions_minus1加上1( 1)可以规定cb平面中的多个区域。可以由相应的交叉平面滤波器来对每个区域进行滤波。项cb_num_of_regions_minus1等于零(0)可以指示cb平面的整体可以由一个交叉平面滤波器滤波。项cb_region_info[i]可以是cb平面中的第i个区域信息。项cb_region_info可以是数据结构，并且可以包括以下一者或多者：top_offset、left_offset、right_offset、bottom_offset、cb_filtering_enabled_flag和cb_filter_idx。
[0125]
项cr_num_of_regions_minus1加上1( 1)可以规定cr平面中的多个区域。可以由相应的交叉平面滤波器来对每个区域进行滤波。项cr_num_of_regions_minus1等于零(0)可以指示cr平面的整体可以由一个交叉平面滤波器滤波。项cr_region_info[i]可以是cr平面中的第i个区域信息。项cr_region_info可以是数据结构，并且可以包括以下一者或多者：top_offset、left_offset、right_offset、bottom_offset、cr_filtering_enabled_flag、和cr_filter_idx。
[0126]
可以在单层视频译码系统中和/或在多层视频译码系统中使用交叉平面滤波。根据单层视频译码(例如如图1和图2所示)，可以应用交叉平面滤波，例如以便改进参考图片(例如参考图片存储器164和/或264中存储的图片)，从而可以更好地预测一个或多个随后的帧(例如关于色度平面)。
[0127]
交叉平面滤波可以用作后处理方法。例如，交叉平面滤波可以应用于重构输出视频220(例如在其被显示之前)。虽然这种滤波不是mcp环路的一部分并且因此不会影响随后图片的译码，但是后处理可以(例如直接)改进用于显示的视频质量。例如，交叉平面滤波可以通过使用补充增强信息(sei)信令来应用于hevc后处理中。可以(例如在sei消息中)传递在译码器侧估计的交叉平面滤波器信息。
[0128]
根据使用多层视频译码的示例(例如在图3和图4所示)，例如在将一个或多个图片放入el dpb缓存器(例如参考图片列表)中之前，交叉平面滤波可以应用于一个或多个上采样bl图片，以用于预测更高层图片。如图5所示，可以在第三级中执行交叉平面滤波。为了改进上采样后的基础层重构图片(例如ilp图片)中的一个或两个色度平面的质量，训练和/或滤波中所涉及的相应亮度平面可以是来自同一ilp图片的一个亮度平面，其中训练和/或滤波过程可以与单层视频译码中使用的相同。
[0129]
根据使用多层视频译码的另一示例，可以在未进行上采样的基础层重构图片中(例如直接)使用相应的亮度平面，以支持交叉平面训练和/或滤波，例如以增强ilp图片中的色度平面。例如，根据具有4:2:0视频源的2x空间svc，基础层亮度平面的大小可以基本与ilp图片中的一个或两个相应色度平面的大小相同(例如精确地相同)。两种类型的平面的采样格栅可以不同。基础层图片中的亮度平面可以由相位纠正滤波器进行滤波，例如以便
与ilp图片中的色度平面的采样栅格对准(例如精确地对准)。一个或多个以下操作可以与在本文其他地方中描述的操作(例如针对单层视频译码的操作)相同。可以认为颜色格式是4:4:4(例如根据图10a或图11a)。使用基础层亮度平面来支持用于ilp图片中的色度平面的交叉平面滤波可以例如通过简单的推导而被扩展到其他比率的空间缩放和/或其他颜色格式。
[0130]
根据使用多层视频译码的另一示例，可以将交叉平面滤波应用于还未被上采样的重构基础层图片。可以对交叉平面滤波的输出进行上采样。如图5所示，可以在第一级中执行交叉平面滤波。在空间缩放情况下(例如其中bl比el具有更低的分辨率)，可以将交叉平面滤波应用于较低的像素，其可以比这里描述的一个或多个其他多层视频译码示例涉及更少的计算复杂度。等式(2)和(3)不能直接应用，例如这是因为，参考等式(2)，和cb
org
可以具有不同的维数并且不能被直接减去。y
rec
、cb
rec
以及cr
rec
可以具有与在基础层图片中相同的分辨率。cb
org
可以具有与在增强层图片中相同的分辨率。可以使用等式(8)和(9)来实现根据多层视频译码的该示例的交叉平面滤波器系数的推导：
[0131][0132][0133]
其中u可以是上采样函数，该上采样函数将基础层图片作为输入并且可以输出具有增强层分辨率的上采样后的图片。
[0134]
根据图9a和图9b示出的交叉平面滤波技术，色度平面可以由亮度平面和其自身(例如排除其他色度平面)增强，并且可以简化等式(8)和(9)，例如如等式(10)和(11)中所示。
[0135][0136][0137]
基于图9a和图9b所示的交叉平面滤波技术，可以将filter_cb4cb和/或filter_cr4cr的大小减小到1x1，并且可以将滤波器系数的值设定为1.0。
[0138]
可以简化等式(10)和(11)，例如如等式(12)和(13)中所示。
[0139]
[0140][0141]
可以自适应地应用交叉平面滤波。例如，当应用于多层视频译码时，可以在例如图5中所示的第一和/或第三级中自适应地应用交叉平面滤波。
[0142]
交叉平面滤波可以自适应地应用于一个或多个译码级别，例如包括序列级、图片级、片级和块级中的一者或多者。例如根据序列级自适应，编码器可以确定在第一级和/或第三级中采用交叉平面滤波来对视频序列的一部分(例如视频序列的整体)进行译码。该确定可以表示为例如可以包括在序列报头和/或一个或多个序列级参数集(例如视频参数集(vps)和/或序列参数集(sps))中的二进制标志。
[0143]
例如根据图片级自适应，编码器可以确定在第一级和/或第三级中采用交叉平面滤波来对一个或多个el图片(例如视频序列的每个el图片)进行译码。该确定可以表示为例如可以被包括在图片报头和/或一个或多个图片级参数集(例如自适应参数集(aps)和/或图片参数集(pps))中的二进制标志。
[0144]
例如根据片级自适应，编码器可以确定在第一级和/或第三级中采用交叉平面滤波来对一个或多个el视频片(例如每个el片)进行译码。该确定可以表示为例如可以被包括在片报头中的二进制标志。可以根据(例如扩展到)一个或多个其他级别自适应来实施(例如上面描述的)信令机制。
[0145]
例如，可以针对多层视频译码来实施基于图片的交叉平面滤波。可以用信号发送与这种交叉平面滤波相关的信息。例如，一个或多个标志(例如uplane_filtering_flag和/或vplane_filtering_flag)可以被译码(例如针对每个图片被译码一次)，并且可以被传送给解码器。标志uplane_filtering_flag和/或vplane_filtering_flag可以指示例如交叉平面滤波是否应当分别应用于cb平面和/或cr平面。编码器可以确定是为一个或多个图片(例如基于逐个图片)的色度平面启用还是禁用交叉平面滤波。编码器可以被配置为做出这一确定，例如以便改进译码性能和/或根据译码性能和复杂度的期望级别(例如开启交叉平面滤波可以增加解码复杂度)。
[0146]
编码器可以被配置为利用一种或多种技术来确定是否将基于图片的交叉平面滤波应用于一个或多个色度平面。例如，根据执行图片级选择的示例，滤波之前和之后的cb平面(例如cb_rec和cb_imp)可以与el图片中的原始cb平面(例如cb_org)相对比。可以计算和比较滤波前后的均方误差(mse)值(可分别被称为mse_rec和mse_imp)。例如，mse_imp可以小于mse_rec，其可以指示应用交叉平面滤波可以减少失真，并且可以在cb平面上启用交叉平面滤波。如果mse_imp不小于mse_rec，则可以在cb平面上禁用交叉平面滤波。根据这一技术，可以基于整个图片来计算mse，这可以意味着单个权重因子可以在mse计算中应用于一个或多个像素(例如每个像素)。
[0147]
根据执行图片级选择的另一示例，可以基于ilp中涉及的一个或多个像素来计算mse，例如基于仅ilp中涉及的那些像素进行计算。当编码器确定是否将交叉平面滤波应用于cb平面上时，针对图片的ilp映射(map)或许还不可用。例如，可以在对el图片进行译码之前进行确定，然而直到el图片已被译码时，ilp映射可以是不可用的。
[0148]
根据执行图片级选择的另一示例，可以利用多通路(pass)编码策略。在第一通路
中，可以编码el图片，并且可以记录ilp映射。在第二通路中，可以确定是否使用交叉平面滤波，例如根据可局限于ilp映射所标记的ilp块的mse计算进行确定。可以根据这一确定来对图片进行编码。这种多通路编码可以是费时的，并且可以比单通路编码涉及更大的计算复杂度。
[0149]
各个图片(例如视频序列的各个图片)中的一个或多个移动物体与非移动物体相比可以更可能由ilp图片来译码。连续图片(例如视频序列的连续图片)的ilp映射可以是相关的(例如可以显示为高度相关)。这种连续的ilp映射可以显示相对于彼此的一个或多个位移(displacement)(例如相对小的位移)。这种位移可以是由于例如图片的各自不同时刻引起的。
[0150]
根据执行图片级选择的另一示例，一个或多个先前译码的el图片的ilp映射可以用于预测将被译码的当前el图片的ilp映射。预测的ilp映射可以用于在译码当前el图片过程中定位可能被用于ilp的一个或多个块。这种可能使用的块可以称为潜在的ilp块。一个或多个潜在的ilp块可以包括在计算mse的过程中(例如按照上面描述的内容)和/或可以用于例如基于所计算的mse确定是否应用交叉平面滤波。
[0151]
ilp映射的维数可以取决于例如编码器选择的粒度(granularity)。如果例如图片的维数是wxh(例如根据亮度分辨率)，则ilp的维数可以是wxh，其中一个项可以代表相应像素是否是用于ilp的。ilp映射的维数可以是(w/m)x(h/n)，其中一个项可以代表大小为mxn的相应块是否是用于ilp的。根据示例性实施，可以选择m＝n＝4。
[0152]
准确的ilp映射(例如在el图片被译码之后被记录)可以是二进制映射，从而项(例如每个项)可以限于两个可能的值(例如零(0)或一(1))中的一个值，所述两个可能的值可以指示所述项是否是用于ilp的。值0和1可以分别指示例如所述项是用于ilp的或者不是用于ilp的。
[0153]
所预测的ilp映射可以是多级别映射。根据这种ilp映射，每个项可以具有多个可能的值，所述多个可能的值可以代表在预测将被用于ilp的块的过程中的多级别信任度(confidence)。更大的值可以指示更高的信任度。根据示例性的实施，可以使用从0到128的所预测的ilp映射的可能值，其中128代表最高可信度，并且0代表最低可信度。
[0154]
图20描绘了用于交叉平面滤波的示例性图片级选择算法2000。所示出的图片级选择算法可以应用于例如cb平面和/或cr平面。在2010，例如在编码第一图片之前，可以初始化预测的ilp映射，其被标记为predilpmap。根据所描绘的算法，可以假设每个块可以具有将被用于ilp的同等机会，并且predilpmap的每个项的值可以设定为128。
[0155]
在2020，编码器可以确定是否应用交叉平面滤波。可以由交叉平面滤波产生增强的cb平面即cb_imp。可以计算加权的mse，例如使用等式(14)和(15)来计算。
[0156]
[0157][0158]
在等式(14)和(15)中，cb_rec和cb_imp可以代表交叉平面滤波之前和之后的cb平面，cb_org可以代表将被译码的当前el图片的原始cb平面，并且(x,y)可以代表亮度平面的格栅中的某个像素的位置。如图所示，等式(14)和(15)假设4:2:0颜色二次采样，并且ilp映射的项代表4x4块大小，从而cb平面中的相应位置和predilpmap可以分别是(x/2,y/2)和(x/4,y/4)。对于每个像素，方差(cb_imp(x/2,y/2)
–
cb_org(x/2,y/2))2或(cb_rec(x/2,y/2)
–
cb_org(x/2,y/2))2可以由predilpmap中的相应因子加权，例如在将误差累积到weighted_mse_imp或weighted_mse_rec中之前进行加权。这可以意味着更可能被用于ilp的一个或多个像素上的失真在加权的mse中可以具有更高的权重。
[0159]
可替换地或另外，在2020，可以由交叉平面滤波产生增强的cr平面即cr_imp。可以计算加权的mse，例如使用等式(16)和(17)来计算。
[0160][0161][0162]
在等式(16)和(17)中，cr_rec和cr_imp可以代表交叉平面滤波之前和之后的cr平面，cr_org可以代表将被译码的当前el图片的原始cr平面，并且(x,y)可以代表亮度平面的格栅中的某个像素的位置。如图所示，等式(16)和(17)假设4:2:0颜色二次采样，并且ilp映射的项代表4x4块大小，从而cr平面中的相应位置和predilpmap可以分别是(x/2,y/2)和(x/4,y/4)。对于每个像素，方差(cr_imp(x/2,y/2)
–
cr_org(x/2,y/2))2或(cr_rec(x/2,y/2)
–
cr_org(x/2,y/2))2可以由predilpmap中的相应因子加权，例如在将误差累积到weighted_mse_imp或weighted_mse_rec中之前进行加权。这可以意味着更可能被用于ilp
的一个或多个像素上的失真可以在加权的mse中具有更高的权重。
[0163]
weighted_mse_imp和weighted_mse_rec可以彼此相比较。如果weighted_mse_imp小于weighted_mse_rec，其可以指示交叉平面滤波可以减少失真(例如潜在的ilp块中的一个或多个潜在的ilp块的失真)，则可以启用交叉平面滤波。如果weighted_mse_imp不小于weighted_mse_rec，则可以禁用交叉平面滤波。
[0164]
一旦在2020处进行了确定，就可以在2030处对当前el图片进行编码，并且可以在2040处记录当前ilp映射，其可以标记为currilpmap。可以将当前ilp映射与例如在当前el图片之后的el图片一起使用。当前ilp映射可以是准确的而不是预测的，并且可以是二进制的。如果相应的块被用于ilp，则可以将针对所述块的项的值设定为128。如果相应的块不被用于ilp，则可以将针对所述块的项的值设定为零(0)。
[0165]
在2050，当前ilp映射可以用于更新所预测的ilp映射，例如如等式(18)中所示。根据示例性的更新过程，先前预测的ilp映射(例如predilpmap(x,y))和当前ilp映射(例如currilpmap(x,y))的和可以除以2，这可以意味着与另一图片相关联的ilp映射可以对更新后的预测ilp映射具有相对小的影响。
[0166][0167]
在2060，可以确定是否已经到达视频序列的结尾。如果还没有到达视频序列的结尾，则可以重复上面描述的操作中的一个或多个操作(例如2020到2060)，例如以便对随后的el图片进行译码。如果已经到达视频序列的结尾，则在2070处示例性的图片级选择算法2000可以终止。
[0168]
这里描述的(例如利用交叉平面滤波的)视频译码技术可以根据在图21a
‑
图21e中描绘的无线通信系统(例如示例性无线通信系统2100)及其组件中传输视频来实施。
[0169]
图21a是可以在其中实现一个或多个公开的实施方式的示例通信系统2100的示图。例如，无线网络(例如包括通信系统2100的一个或多个组件的无线网络)可以被配置为使得延伸到无线网络之外(例如与无线网络相关联的园墙园墙之外)的承载可以被指派qos特征。
[0170]
通信系统2100可以是用于提供诸如语音、数据、视频、消息、广播等内容给多个无线用户的多接入系统。通信系统2100能够使得多个无线用户通过共享包括无线带宽在的系统资源来接入这些内容。例如，通信系统2100可以使用一种或多种信道接入方法，例如码分多址(cdma)、时分多址(tdma)、频分多址(fdma)、正交fdma(ofdma)、单载波fdma(sc
‑
fdma)等。
[0171]
如图21a所示，通信系统2100可以包括至少一个无线发射/接收单元(wtru)(例如wtru 2102a、2102b、2102c、和2102d)、无线电接入网(ran)2104、核心网2106、公共交换电话网(pstn)2108、因特网2110和其他网络2112，但是应当理解，所公开的实施方式预期了任意数量的wtru、基站、网络和/或网络元件。wtru 2102a、2102b、2102c、2102d中的每一个可以是被配置为在无线环境中工作和/或通信的任何类型的设备。举例来说，wtru 2102a、2102b、2102c、2102d可被配置为发送和/或接收无线信号，并且可包括用户设备(ue)、移动站、固定或移动用户单元、寻呼机、蜂窝电话、个人数字助理(pda)、智能电话、膝上型电脑、
上网本、个人电脑、无线传感器、消费类电子产品等。
[0172]
通信系统2100还可以包括基站2114a和基站2114b。基站2114a、2114b中的每一个可以是任何类型的被配置为与wtru 2102a、2102b、2102c、2102d中的至少一个进行无线连接以便于接入例如核心网2106、因特网2110和/或网络2112那样的一个或多个通信网络的装置。作为例子，基站2114a、2114b可以是基站收发信机(bts)、节点b、e节点b、家用节点b、家用e节点b、站点控制器、接入点(ap)、无线路由器等等。虽然基站2114a、2114b分别被画为单个元件，但是可以理解基站2114a、2114b可以包括任意数量的互连基站和/或网络元件。
[0173]
基站2114a可以是ran 2104的一部分，该ran 2104还可以包括其它基站和/或网络元件(未示出)，例如基站控制器(bsc)、无线电网络控制器(rnc)、中继节点等。基站2114a和/或基站2114b可以被配置为在特定地理区域内发射和/或接收无线信号，该特定地理区域被称作小区(未示出)。所述小区还被分割成小区扇区。例如，与基站2114a相关联的小区被分割成三个扇区。如此，在一个实施方式中，基站2114a包括三个收发信机，例如每个小区使用一个收发信机。在另一实施方式中，基站2114a可以使用多输入多输出(mimo)技术，因此，小区的每个扇区使用多个收发信机。
[0174]
基站2114a、2114b可以通过空中接口2116与wtru 2102a、2102b、2102c、2102d中的一个或多个通信，所述空中接口2116可以是任何适当的无线通信链路(例如射频(rf)、微波、红外线(ir)、紫外线(uv)、可见光等等)。可以使用任何适当的无线电接入技术(rat)来建立空中接口2116。
[0175]
更具体而言，如上所述，通信系统2100可以是多接入系统且可以采用一种或多种信道接入方案，诸如cdma、tdma、fdma、ofdma、sc
‑
fdma等等。例如，ran 2104中的基站2114a和wtru 2102a、2102b、2102c可以实现诸如通用移动电信系统(umts)陆地无线电接入(utra)之类的无线电技术，其中该无线电技术可以使用宽带cdma(wcdma)来建立空中接口2116。wcdma可以包括诸如高速分组接入(hspa)和/或演进型hspa(hspa )之类的通信协议。hspa可以包括高速下行链路分组接入(hsdpa)和/或高速上行链路分组接入(hsupa)。
[0176]
在另一实施方式中，基站2114a和wtru 2102a、2102b、2102c可以实现诸如演进型umts陆地无线电接入(e
‑
utra)之类的无线电技术，其中该无线电技术可以使用lte和/或高级lte(lte
‑
a)来建立空中接口2116。
[0177]
在其它实施方式中，基站2114a和wtru 2102a、2102b、2102c可以实现诸如ieee 802.16(即全球微波互通接入(wimax))、cdma2000、cdma2000 1x、cdma2000 ev
‑
do、临时标准2000(is
‑
2000)、临时标准95(is
‑
95)、临时标准856(is
‑
856)、全球移动通信系统(gsm)、增强型数据速率gsm演进(edge)、gsm edge(geran)等无线电技术。
[0178]
图21a中的基站2114b可以是诸如无线路由器、家用节点b、家用e节点b、或接入点，并且可以利用任何适当的rat来促进诸如营业场所、家庭、车辆、校园等局部区域中的无线连接。在一个实施方式中，基站2114b和wtru 2102c和/或2102d可以实施诸如ieee 802.11之类的无线电技术以建立无线局域网(wlan)。在另一个实施方式中，基站2114b和wtru2102c、2102d可以实施诸如ieee 802.15之类的无线电技术以建立无线个域网(wpan)。在再一个实施方式中，基站2114b和wtru 2102c、2102d可以利用基于蜂窝的rat(例如wcdma、cdma2000、gsm、lte、lte
‑
a等)以建立微微小区或毫微微小区。如图21a所示，基站2114b可以具有到因特网2110的直接连接。因此，基站2114b可以不需要经由核心网2106接
入因特网2110。
[0179]
ran 2104可以与核心网2106通信，该核心网2106可以是被配置为向wtru 2102a、2102b、2102c、2102d中的一个或多个提供语音、数据、应用程序、和/或网际协议上的语音(voip)服务的任何类型的网络。例如，核心网2106可以提供呼叫控制、计费服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等，和/或执行诸如用户认证等高级安全功能。虽然图21a未示出，但应认识到ran 2104和/或核心网2106可以与跟ran2104采用相同的rat或不同的rat的其它ran进行直接或间接通信。例如，除连接到可以利用e
‑
utra无线电技术的ran 2104之外，核心网2106还可以与采用gsm无线电技术的另一ran(未示出)通信。
[0180]
核心网2106也可以充当wtru 2102a、2102b、2102c、2102d接入pstn2108、因特网2110、和/或其它网络2112的网关。pstn 2108可以包括提供普通老式电话服务(pots)的电路交换电话网。因特网2110可以包括使用公共通信协议的互连计算机网络和设备的全局系统，所述公共通信协议例如为传输控制协议(tcp)/网际协议(ip)因特网协议族中的tcp、用户数据报协议(udp)和ip。网络2112可以包括由其它服务提供商所拥有和/或操作的有线或无线通信网络。例如，网络2112可以包括连接到可以与ran 2104采用相同的rat或不同的rat的一个或多个ran的另一核心网。
[0181]
通信系统2100中的某些或全部wtru 2102a、2102b、2102c、2102d可以包括多模能力，即wtru 2102a、2102b、2102c、2102d可以包括用于通过不同的无线链路与不同的无线网络通信的多个收发信机。例如，图21a所示的wtru 2102c可以被配置为与可以采用蜂窝式无线电技术的基站2114a通信，且与可以采用ieee 802无线电技术的基站2114b通信。
[0182]
图21b是示例wtru 2102的系统图。如图21b所示，wtru2102可以包括处理器2118、收发信机2120、发射/接收元件2122、扬声器/麦克风2124、键盘2126、显示器/触摸屏2128、不可移除存储器2130、可移除存储器2132、电源2134、全球定位系统(gps)芯片组2136、和/或其它外围设备2138。应当理解在与实施方式保持一致的同时，wtru 2102可以包括前述元件的任何子组合。
[0183]
处理器2118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(dsp)、多个微处理器、与dsp核相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(asic)、现场可编程门阵列(fpga)电路、任何其它类型的集成电路(ic)、状态机等等。处理器2118可以执行信号编码、数据处理、功率控制、输入/输出处理、和/或使得wtru 2102能够在无线环境中操作的任何其它功能。处理器2118可以耦合到收发信机2120，收发信机2120可以耦合到发射/接收元件2122。虽然图21b将处理器2118和收发信机2120画为单独的元件，但应认识到处理器2118和收发信机2120可以被一起集成在电子组件或芯片中。
[0184]
发射/接收元件2122可以被配置为通过空中接口2116向基站(例如基站2114a)发射信号和/或从基站(例如基站2114a)接收信号。例如，在另一个实施方式中，发射/接收元件2122可以是被配置为发射和/或接收rf信号的天线。在再一个实施方式中，发射/接收元件2122可以是被配置为发射和/或接收例如ir、uv、或可见光信号的发射器/检测器。在一个实施方式中，发射/接收元件2122可以被配置为发射和接收rf和光信号两者。应当理解发射/接收元件2122可以被配置为发射和/或接收无线信号的任何组合。
[0185]
另外，虽然发射/接收元件2122在图21b中被画为单个元件，但个wtru2102可以包括任何数目的发射/接收元件2122。更具体而言，wtru 2102可以采用mimo技术。因此，在一
个实施方式中，wtru 2102可以包括用于通过空中接口2116来发射和接收无线信号的两个或更多个发射/接收元件2122(例如多个天线)。
[0186]
收发信机2120可以被配置为调制将由发射/接收元件2122发射的信号和/或对由发射/接收元件2122接收到的信号进行解调。如上所述，wtru2102可以具有多模式能力。因此，例如，收发信机2120可以包括用于使得wtru 2102能够经由诸如utra和ieee 802.11之类的多种rat通信的多个收发信机。
[0187]
wtru 2102的处理器2118可以耦合到扬声器/麦克风2124、键盘2126、和/或显示器/触摸屏2128(例如液晶显示器(lcd)显示单元或有机发光二极管(oled)显示单元)，并且可以从这些组件接收用户输入数据。处理器2118还可以向扬声器/麦克风2124、键盘2126、和/或显示器/触摸屏2128输出用户数据。另外，处理器2118可以访问来自任意类型的合适的存储器(例如不可移除存储器2130和可移除存储器2132)的信息，或者将数据存储在该存储器中。不可移除存储器2130可以包括随机存取存储器(ram)、只读存储器(rom)、硬盘、或任何其它类型的存储器存储设备。可移除存储器2132可以包括用户标识模块(sim)卡、记忆棒、安全数字(sd)存储卡等。在其它实施方式中，处理器2118可以访问来自在物理上不位于wtru2102上(诸如在服务器或家用计算机(未示出)上)的存储器的信息和将数据存储在该存储器中。
[0188]
处理器2118可以从电源2134接收电力，并且可以被配置为分配和/或控制到wtru 2102中的其它元件的电力。电源2134可以是用于为wtru 2102供电的任何适当设备。例如，电源2134可以包括一个或多个干电池(例如镍镉(nicd)、镍锌(nizn)、镍氢(nimh)、锂离子(li)等等)、太阳能电池、燃料电池等等。
[0189]
处理器2118也可以耦合到gps芯片组2136，gps芯片组2136可以被配置为提供关于wtru 2102的当前位置的位置信息(例如，经度和纬度)。除来自gps芯片组2136的信息之外或作为其替代，wtru 2102可以通过空中接口2116从基站(例如基站2114a、2114b)接收位置信息和/或基于从两个或更多个附近的基站接收到信号的时序来确定其位置。应认识到wtru2102可以在保持与实施方式一致的同时，通过任何适当的位置确定实施方式来获取位置信息。
[0190]
处理器2118还可以耦合到其它外围设备2138，外围设备2138可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，外围设备2138可以包括加速计、电子指南针、卫星收发信机、数码相机(用于拍照或视频)、通用串行总线(usb)端口、振动设备、电视收发信机、免提耳机、模块、调频(fm)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器等等。
[0191]
图21c是包括ran 2104a和核心网2106a的通信系统2100的系统图，该ran 2104a和核心网2106a分别包括ran 2104和核心网2106的示例性实施。如上所述，ran 2104例如ran 2104a可使用utra无线电技术通过空中接口2116来与wtru 2102a、2102b、2102c进行通信。该ran 2104a还可与核心网2106a进行通信。如图21c所示，ran 2104a可包括节点b2140a、2140b、2140c，其中每个节点b都可包含一个或多个收发信机，以用于通过空中接口2116与wtru 2102a、2102b、2102c进行通信。该节点b 2140a、2140b、2140c中的每一个可与ran 2104a内的特定小区(未示出)相连接。ran 2104a还可以包括rnc 2142a、2142b。应当理解在保持与实施方式一致的同时，ran 2104a可以包括任何数量的节点b和rnc。
2143还可以提供控制平面功能以用于在ran 2104b和使用其他无线电技术例如gsm或者wcdma的其他ran(未显示)之间切换。
[0202]
服务网关2145可以经由s1接口连接到ran 2104b的e节点b 2140d、2140e、2140f中的每一个。服务网关2145通常可以向/从wtru 2102a、2102b、2102c路由和转发用户数据分组。服务网关2145还可以执行其他功能，例如在e节点b间切换期间锚定用户平面，当下行链路数据可由wtru2102a、2102b、2102c使用时触发寻呼，管理和存储wtru 2102a、2102b、2102c的内容等等。
[0203]
服务网关2145还可以被连接到pdn网关2147，pdn网关2147向wtru2102a、2102b、2102c提供到分组交换网络(例如因特网2110)的接入，以便于wtru 2102a、2102b、2102c与ip使能设备之间的通信。
[0204]
核心网2106b可以便于与其他网络的通信。例如，核心网2106b可以向wtru 2102a、2102b、2102c提供到电路交换网络(例如pstn 2108)的接入，以便于wtru 2102a、2102b、2102c与传统陆地线路通信设备之间的通信。例如，核心网2106b可以包括ip网关(例如ip多媒体子系统(ims)服务器)，或者与之通信，该ip网关作为核心网2106b与pstn 2108之间的接口。另外，核心网2106b可以向wtru 2102a、2102b、2102c提供到网络2112的接入，该网络2112可以包括其他服务提供商拥有和/或操作的有线或无线网络。
[0205]
图21e是包括ran 2104c和核心网2106c的通信系统2100的系统图，该ran 2104c和核心网2106c分别包括ran 2104和核心网2106的示例性实施。ran 2104(例如ran 2104c)可以是采用ieee 802.16无线电技术以通过空中接口2116与wtru 2102a、2102b、以及2102c通信的接入服务网络(asn)。如下所述，wtru 2102a、2102b、和/或2102c、ran 2104c、以及核心网2106c的不同功能实体之间的通信链路可以定义为参考点。
[0206]
如图21e所示，ran 2104c可以包括基站2140g、2140h、2140i以及asn网关2141，但是应当理解的是在与实施方式保持一致的同时，ran2104c可以包括任意数量的基站和asn网关。基站2140g、2140h、2140i可以各与ran 2104c中的特定小区(未示出)相关联，并且可以各包括一个或多个收发信机，以通过空中接口2116与wtru 2102a、2102b、2102c通信。在一个实施方式中，基站2140g、2140h、2140i可以实施mimo技术。从而，举例来说，基站2140g可以使用多个天线来传送无线信号给wtru2102a，并且接收来自该wtru 2102a的信号。基站2140g、2140h、2140i还可以提供移动性管理功能，例如切换触发、隧道建立、无线电资源管理、业务分类、服务质量(qos)策略实施等等。asn网关2141可以用作业务汇聚点，并且可以负责寻呼、缓存用户简档、路由到核心网2106c等等。
[0207]
wtru 2102a、2102b、2102c与ran 2104c之间的空中接口2116可以被定义为实施ieee 802.16规范的r1参考点。另外，wtru 2102a、2102b、2102c中的每个wtru可以建立与核心网2106c的逻辑接口(未示出)。wtru 2102a、2102b、2102c与核心网2106c之间的逻辑接口可以定义为r2参考点，该r2参考点可以用于认证、授权、ip主机管理、和/或移动性管理。
[0208]
基站2140g、2140h、2140i中的每个基站之间的通信链路可以定义为r8参考点，该r8参考点可以包括用于促进基站之间的wtru切换和数据传递的协议。基站2140g、2140h、2140i与asn网关2141之间的通信链路可以定义为r6参考点。r6参考点可以包括用于基于与wtru 2102a、2102b、2102c中的每个wtru相关联的移动性事件来促进移动性管理的协议。
[0209]
如图21e所示，ran 2104c可以连接到核心网2106c。ran 2104c与核心网2106c之间
的通信链路可以定义为r3参考点，该r3参考点包括用于促进例如数据传递和移动性管理性能的协议。核心网2106c可以包括移动ip家用代理(mip
‑
ha)2154、认证、授权、记账(aaa)服务器2156、和/或网关2158。虽然前述元件中的每个元件被描述为核心网2106c的一部分，但是可以理解这些元件中的任意元件都可以由除核心网运营商之外的实体拥有和/或运营。
[0210]
mip
‑
ha可以负责ip地址管理，并使得wtru 2102a、2102b、2102c能够在不同asn和/或不同核心网之间进行漫游。mip
‑
ha2154可以为wtru 2102a、2102b、2102c提供针对分组切换网(例如因特网2110)的接入，以促进wtru 2102a、2102b、2102c与ip使能设备之间的通信。aaa服务器2156可以负责用户认证和支持用户服务。网关2158可以为wtru2102a、2102b、2102c提供针对电路交换网络(例如pstn 2108)的接入，以促进wtru 2102a、2102b、2102c与传统陆线通信设备之间的通信。例如，网关2158可以为wtru 2102a、2102b、2102c提供针对网络2112(可以包括由其他服务提供商拥有和/或操作的其他有线或无线网络)的接入。
[0211]
虽然在图21e中没有示出，但是将会理解的是ran 2104c可以连接到其他asn和核心网2106c可以连接到其他核心网。ran 2104c与其他asn之间的通信链路可以被定义为r4参考点，该r4参考点可以包括用于协调wtru 2102a、2102b、2102c在ran 2104c与其他ran之间的移动性的协议。核心网2106c与其他核心网之间的通信链路可以被定义为r5参考点，该r5参考点可以包括用于促进家用核心网与被访问核心网之间的网络互联的协议。
[0212]
可以在结合在计算机可读介质中的计算机程序、软件、或固件中实施上述过程，以便由计算机或处理器执行。计算机可读介质的例子包括但不限于电信号(通过有线和/或无线连接发送的)或计算机可读存储介质。计算机可读存储介质的示例包括只读存储器(rom)、随机存取存储器(ram)、寄存器、高速缓冲存储器、半导体存储器装置、磁介质(诸如但不限于内部硬盘和可移动磁盘)、磁光介质、或光学介质，诸如cd
‑
rom磁盘或数字多功能磁盘(dvd)。与软件相关联的处理器可以用于实现射频收发信机，以在wtru、终端、基站、rnc或任意主机中使用。在这里根据一个或多个示例性实施方式描述的特征和/或元素可以结合根据一个或多个其他示例性实施方式描述的特征和元素来使用。