用于点云的自适应流式传输的方法和装置与流程

用于点云的自适应流式传输的方法和装置


背景技术：

1.高质量3d点云最近已经作为沉浸式媒体的高级表示出现。点云由使用指示每个点的定位的坐标以及一个或多个属性(例如与每个点相关联的颜色、透明度、获取时间、激光的反射率或材料属性等)在3d空间中表示的一组点组成。可以以多种方式捕获用于创建点云的数据。例如，一种用于捕捉点云的技术是使用多个相机和深度传感器。光检测和测距(lidar)激光扫描仪也通常用于捕获点云。为了使用点云来逼真地重建对象和场景所需的点的数量是数百万(或者甚至数十亿)的量级。因此，有效的表示和压缩对于存储和传输点云数据是必要的。
2.捕捉和渲染3d点的技术的最新进展已经引起在远程呈现、虚拟现实和大规模动态3d图领域的新颖应用。iso/iec jtc1/sc29/wg11移动画面专家组(mpeg)的3d图形子组当前正致力于开发两个3d点云压缩(pcc)标准：用于静态点云(用于静止对象的点云)的基于几何结构的压缩标准，以及用于动态点云(用于移动对象的点云)的基于视频的压缩标准。这些标准的目标是支持3d点云的高效且可互操作的存储和传输。这些标准的要求之一是支持点云几何结构坐标和属性的有损和/或无损译码。
附图说明
3.从以下结合附图以示例方式给出的详细描述中可以获得更详细的理解。与详细描述一样，这些附图中的图是示例。因此，附图和详细描述不应被认为是限制性的，并且其它等效的示例是可能的并且是可行的。此外，图中相同的附图标记表示相同的元件，其中：
4.图1a是示出其中可以执行和/或实现一个或多个实施例的示例视频编码和解码系统的框图；
5.图1b是说明用于与图1a的视频编码和/或解码系统一起使用的示例视频编码器单元的框图。
6.图2是一般的基于块的混合视频编码系统的框图；
7.图3是基于块的视频解码器的一般框图；
8.图4示出了用于基于视频的点云压缩(v
‑
pcc)的比特流的结构；
9.图5示出mpd分级数据模型；
10.图6示出了用于对属于mpeg
‑
dash mpd文件内的单个点云的v
‑
pcc分量进行分组的示例性dash配置；以及
11.图7是示出根据实施例的用于流式传输点云内容的示例解码器过程的流程图。
具体实施方式
12.可以在其中实现实施例的示例系统
13.图1a是示出其中可以执行和/或实现一个或多个实施例的示例视频编码和解码系统100的框图。系统100可包含源设备设备112，其可经由通信信道116将编码视频信息发射到目的设备114。
14.源设备112和/或目的设备114可以是各种设备中的任何一种。在一些代表性实施例中，源设备112和/或目的设备114可包含无线发射和/或接收单元(wtru)，例如无线手持机或可经由通信信道116传送视频信息的任何无线设备，在此情况下，通信信道116包含无线链路。然而，本文中描述、公开或以其他方式明确地、隐含地和/或固有地提供(统称为“提供”)的方法、装置和系统不一定限于无线应用或设置。例如，这些技术可应用于无线电视广播、有线电视传输、卫星电视传输、因特网视频传输、编码到存储介质上的编码数字视频和/或其它场景。通信信道116可包含和/或可为适合于编码视频数据的传输的无线或有线媒体的任何组合。
15.源设备112可以包括视频编码器单元118、发射和/或接收(tx/rx)单元120和/或tx/rx元件122。如图所示，源设备112可以包括视频源124。目的设备114可包含tx/rx元件126、tx/rx单元128及/或视频解码器单元130。如图所示，目的设备114可以包括显示设备132。tx/rx单元120、128中的每一个可以是或可以包括发射机、接收机或发射机和接收机的组合(例如，收发信机或发射机
‑
接收机)。tx/rx元件122、126的每一个可以是，例如天线。根据本发明，源设备112的视频编码器单元118和/或目的设备114的视频解码器单元130可被配置和/或适用(统称为“适用”)以应用本文提供的译码技术。
16.源设备112和目的设备114可以包括其他元件/组件或布置。举例来说，源设备112可适于从外部视频源接收视频数据。目的设备114可与外部显示设备设备(未示出)对接，和/或可包含和/或使用(例如，集成)显示设备设备132。在一些实施例中，在不将数据调制到载波信号上的情况下，由视频编码器单元118生成的数据流可以被传达到其他设备(诸如通过直接数字转发)，并且其他设备可以调制或不可以调制数据以用于传输。
17.本文提供的技术可由任何数字视频编码和/或解码设备执行。尽管通常由单独的视频编码和/或视频解码设备执行本文所提供的技术，但所述技术还可由通常称为“编解码器”的组合视频编码器/解码器执行。源设备112和目的设备114仅为源设备112可产生(和/或可接收视频数据且可产生)用于传输到目的设备114的编码视频信息的此类译码设备的实例。在一些代表性实施例中，源设备112和目的设备114可以大体上对称的方式操作，使得装置112、114中的每一者可包含视频编码和解码组件和/或元件(统称为“元件”)。因此，系统100可支持源设备112与目的设备114之间的单向及双向视频传输中的任一者(例如，尤其针对视频流式传输流、视频回放、视频广播、视频电话及/或视频会议中的任一者)。在某些代表性实施例中，源设备112可为(例如)适于产生(和/或接收视频数据且适于产生)一个或多个目的设备的编码视频信息的视频流式传输服务器，其中目的设备可经由有线和/或无线通信系统与源设备112通信。
18.外部视频源和/或视频源124可以是和/或包括视频捕获设备，诸如视频相机、包含先前捕获的视频的视频档案和/或来自视频内容提供商的视频馈送。在某些代表性实施例中，外部视频源和/或视频源124可产生基于计算机图形的数据作为源视频、或实况视频、存档视频和/或计算机产生的视频的组合。在某些代表性实施例中，当视频源124为视频相机时，源设备112和目的设备114可为或可体现相机电话或视频电话。
19.所俘获、预俘获、计算机产生的视频、视频馈送和/或其它类型的视频数据(统称为“未编码视频”)可由视频编码器单元118编码以形成编码视频信息。tx/rx单元120可以调制编码的视频信息(例如，根据通信标准，以形成携带编码视频信息的一个或多个调制信号)。
tx/rx单元120可以将调制信号传递到其发射机以便传输。发射机可以经由tx/rx元件122发送调制信号到目的设备114。
20.在目的设备114处，tx/rx单元128可以经由tx/rx元件126从信道116接收调制信号。tx/rx单元128可以解调调制信号以获得编码视频信息。tx/rx单元128可将经编码视频信息传递到视频解码器单元130。
21.视频解码器单元130可对编码视频信息进行解码以获得解码视频数据。编码视频信息可包含由视频编码器单元118界定的语法信息。该语法信息可以包括一个或多个元素(“语法元素”)；其中的一些或全部可用于解码编码视频信息。语法元素可包含(例如)编码视频信息的特性。语法元素还可包含用以形成编码视频信息的未编码视频的特性，和/或描述所述未编码视频的处理。
22.视频解码器单元130可输出解码视频数据以供稍后存储和/或在外部显示器(未示出)上显示。在某些代表性实施例中，视频解码器单元130可将解码视频数据输出到显示设备132。显示设备132可为和/或可包含适于向用户显示解码视频数据的多种显示设备的任何个别、多个、组合。这种显示设备的例子包括液晶显示器(lcd)、等离子显示器、有机发光二极管(oled)显示器和/或阴极射线管(crt)等。
23.通信信道116可以是任何无线或有线通信介质(诸如射频(rf)频谱或一个或多个物理传输线)，或无线和有线介质的任何组合。通信信道116可形成基于分组的网络的一部分，所述基于分组的网络例如局域网、广域网或全球网络，例如因特网。通信信道116通常表示用于将视频数据从源设备112传送到目的设备114的任何合适的通信介质或不同通信介质的集合，其包含有线和/或无线媒体的任何合适组合。通信信道116可以包括路由器、交换机、基站和/或任何其它可以用于促进从源设备112到目的设备114的通信的设备。下面参照图15a
‑
15e提供了可以促进设备112、114之间的这种通信的示例通信系统的细节。下面还提供了可以代表源设备112和目的设备114的设备细节。
24.视频编码器单元118和视频解码器单元130可根据一个或多个标准和/或规范操作，例如，mpeg
‑
2、h.261、h.263、h.264、h.264/avc和/或根据svc扩展(“h.264/svc”)而扩展的h.264等。本领域技术人员理解，本文阐述的方法、装置和/或系统适用于根据(和/或符合)不同标准实现的其它视频编码器、解码器和/或编解码器，或者适用于专有的视频编码器、解码器和/或编解码器(包括未来的视频编码器、解码器和/或编解码器)。本文所阐述的技术不限于任何特定译码标准。
25.上述h.264/avc的相关部分可从国际电信联盟作为itu
‑
t建议h.264获得，或者更具体地，“itu
‑
t rec.264和iso/iec14496
‑
10(mpeg4
‑
avc)，2010年3月的
‘
用于一般视听服务的高级视频译码’版本5”，
″
通过引用并入本文，并且其在本文可以被称为h.264标准、h.264规范、h.264/avc标准和/或规范。本文提供的技术可应用于符合(例如，大体上符合)h.264标准的设备。
26.尽管图1a中未展示，但视频编码器和视频解码器单元118、130中的每一者可包含音频编码器和/或音频解码器(视情况而定)，和/或与音频编码器和/或音频解码器集成。视频编码器和视频解码器单元118、130可包括适当的mux
‑
demux单元、或其它硬件和/或软件，以处置共同数据流和/或单独数据流中的音频和视频两者的编码。如果适用，那么mux
‑
demux单元可遵循(例如)itu
‑
t建议h.223多路复用器协议和/或例如用户数据报协议(udp)
等其它协议。
27.一个或多个视频编码器和/或视频解码器单元118、130可以被包括在一个或多个编码器和/或解码器中；其中的任何一个可以被集成为编解码器的一部分，并且可以与相应的相机、计算机、移动设备、订户设备、广播设备、机顶盒和/或服务器等集成和/或组合。视频编码器单元118和/或视频解码器单元130可分别实施为多种合适的编码器和/或解码器电路中的任一者，例如一个或一个以上微处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)、离散逻辑、软件、硬件、固件或其任何组合。视频编码器和视频解码器单元118、130中的任一者或两者可大体上以软件实施，且视频编码器单元118和/或视频解码器单元130的元件的操作可由一个或一个以上处理器(未示出)执行的适当软件指令执行。除了处理器之外，这样的实施例可以包含芯片外组件，例如外部存储(例如，以非易失性存储器的形式)和/或输入/输出接口等。
28.在视频编码器和/或视频解码器单元118、130的元件的操作可以由一个或多个处理器执行的软件指令来执行的任何实施例中，软件指令可以被保持在计算机可读介质上，该计算机可读介质包括例如磁盘、光盘、任何其他易失性(例如，随机存取存储器(“ram”))、非易失性(例如，只读存储器(“rom”))和/或cpu可读的大容量存储系统等。计算机可读介质可以包括协作或互连的计算机可读介质，其可以专门存在于处理系统上和/或分布在可以位于处理系统本地或远程的多个互连的处理系统之间。
29.图1b是示出用于与例如系统100的视频编码和/或解码系统一起使用的示例视频编码器单元118的框图。视频编码器单元118可以包括视频编码器133、输出缓冲器134和系统控制器136。视频编码器133(或其一个或多个元件)可根据一个或多个标准和/或规范来实现，诸如，例如，h.261、h.263、h.264、h.264/avc、h.264/avc的svc扩展(h.264/avc附录g)、hevc、和/或hevc的可缩放扩展(shvc)等等。本领域技术人员理解，本文提供的方法、装置和/或系统可以适用于根据不同标准实现的其它视频编码器和/或适用于专有编解码器(包括未来的编解码器)。
30.视频编码器133可以接收从视频源(例如视频源124和/或外部视频源)提供的视频信号。该视频信号可以包括未编码视频。视频编码器133可以对未编码视频进行编码，并且在其输出处提供编码(即，压缩)视频比特流(bs)。
31.编码视频比特流bs可以被提供给输出缓冲器134。输出缓冲器134可缓冲编码视频比特流bs，并可提供这样的编码视频比特流bs作为缓冲比特流(bbs)，以经由通信信道116进行传输。
32.从输出缓冲器134输出的缓冲比特流bbs可被发送到存储设备(未示出)以供稍后查看或传输。在某些代表性实施例中，视频编码器单元118可被配置用于视觉通信，其中缓冲比特流bbs可经由通信信道116以指定的恒定和/或可变比特率(例如，具有延迟(例如，非常低或最小的延迟))被传送。
33.编码视频比特流bs，以及缓冲比特流bbs可以携带编码视频信息的比特。缓冲比特流bbs的比特可以被布置为编码视频帧的流。编码视频帧可以是帧内编码帧(例如，i帧)或帧间编码帧(例如，b帧和/或p帧)。编码视频帧的流可以被布置为例如一系列画面组(gop)，其中每个gop的编码视频帧以指定的顺序布置。通常，每个gop可以以帧内编码帧(例如，i帧)开始，随后是一个或多个帧间编码帧(例如，p帧和/或b帧)。每个gop可以仅包括单个帧
内编码帧；尽管任何gop可以包括多个。可以预期，b帧可能不用于实时、低延迟应用，因为例如双向预测与单向预测(p帧)相比可能导致额外的编码延迟。如本领域技术人员所理解的，可以使用附加和/或其它帧类型，并且可以修改编码视频帧的特定排序。
34.每个gop可以包括语法数据(“gop语法数据”)。gop语法数据可以被布置在gop的报头中、gop的一个或多个帧的报头中和/或其他地方。gop语法数据可指示排序、数量或类型，和/或描述相应gop的编码视频帧。每一编码视频帧可包含语法数据(“编码帧语法数据”)。编码帧语法数据可指示和/或描述用于相应编码视频帧的编码模式。
35.系统控制器136可以监视与信道116、视频编码器单元118的计算能力、用户的需求等相关联的各种参数和/或约束，并且可以建立目标参数以提供适合于指定的约束和/或信道116的条件的伴随体验质量(qoe)。可以根据指定的约束和/或信道条件不时地或周期性地调整一个或多个目标参数。作为实例，可使用用于评估视频质量的一个或一个以上度量来定量地评估qoe，所述度量包括(例如)通常称为编码视频序列的相对感知质量的度量。例如使用峰值信噪比(“psnr”)度量测量的编码视频序列的相对感知质量可以由编码比特流bs的比特率(br)控制。可以调整一个或多个目标参数(包括例如量化参数(qp))，以在与编码比特流bs的比特率相关联的约束内最大化视频的相对感知质量。
36.图2是用于与诸如系统100的视频编码和/或解码系统一起使用的基于块的混合视频编码器200的框图。
37.参考图2，基于块的混合编码系统200可以包括变换单元204、量化单元206、熵译码单元208、逆量化单元210、逆变换单元212、第一加法器216、第二加法器226、空间预测单元260、运动预测单元262、参考画面存储264、一个或多个滤波器266(例如，环路滤波器)和/或模式决定和编码器控制器单元280等。
38.视频编码器200的细节仅意味着说明性的，并且现实世界的实现可以不同。例如，现实世界的实现可以包括更多、更少和/或不同的元件，和/或可以不同于图2中所示的布置来布置。例如，尽管单独示出，但是变换单元204和量化单元206两者的一些或全部功能可以高度集成在一些现实世界的实现中，诸如使用h.264标准的核心变换的实现。类似地，逆量化单元210及逆变换单元212可高度集成于现实世界实施方案中的一些实施方案(例如，h.264或hevc标准兼容实施方案)中，但同样出于概念目的而单独说明。
39.如上所述，视频编码器200可以在其输入202处接收视频信号。视频编码器200可以从所接收的未编码视频生成编码视频信息，并且以编码视频比特流bs的形式从其输出220输出编码视频信息(例如，帧内或帧间中的任何一种)。视频编码器200可以例如作为混合视频编码器来操作，并且采用基于块的译码过程来对未编码的视频进行编码。当执行此编码过程时，视频编码器200可对未编码视频的各个帧、画面和/或图像(统称为“未编码图片”)进行操作。
40.为了促进基于块的编码过程，视频编码器200可将在其输入202处接收的每一未编码画面切片、分割、划分和/或分段(统称为“分段”)成多个未编码视频块。举例来说，视频编码器200可将未编码画面分段成多个未编码视频分段(例如，切片)，且可(例如，接着可)将未编码视频分段中的每一者分段成未编码视频块。视频编码器200可将未编码视频块传递、供应、发送或提供到空间预测单元260、运动预测单元262、模式决定和编码器控制器单元280和/或第一加法器216。如下文更详细地描述，可在逐块基础上提供未编码视频块。
41.空间预测单元260可接收未经编码视频块，且以帧内模式对此些视频块进行编码。帧内模式是指基于空间的压缩的若干模式中的任何模式，并且帧内模式中的编码试图提供未编码画面的基于空间的压缩。如果存在基于空间的压缩，则其可以由减少或去除未编码画面内的视频信息的空间冗余而产生。在形成预测块时，空间预测单元260可相对于未编码画面的已被编码(“编码视频块”)和/或重构(“重构视频块”)的一个或一个以上视频块，执行每一未编码视频块的空间预测(或“帧内预测”)。编码和/或重构视频块可为未编码视频块的相邻者、邻近于未编码视频块或接近于(例如，紧密接近于)未编码视频块。
42.运动预测单元262可从输入202接收未编码视频块，且以帧间模式对其进行编码。帧间模式是指基于时间的压缩的若干模式中的任一者，包含(例如)p模式(单向预测)和/或b模式(双向预测)。帧间模式中的编码试图提供未编码画面的基于时间的压缩。如果存在基于时间的压缩，则其可由减少或移除未编码画面与一个或一个以上参考(例如，邻近)画面之间的视频信息的时间冗余而产生。运动/时间预测单元262可相对于参考画面的一个或多个视频块(“参考视频块”)执行每一未编码视频块的时间预测(或“帧间预测”)。所执行的时间预测可以是单向预测(例如，对于p模式)和/或双向预测(例如，对于b模式)。
43.对于单向预测，参考视频块可来自一个或多个先前编码和/或重构画面。该编码和/或重构画面(一个或多个)可以是未编码画面的相邻者、与未编码画面相邻和/或与未编码画面邻近。
44.对于双向预测，参考视频块可来自一个或多个先前编码和/或重构画面。该编码和/或重构画面可以是未编码画面的相邻者、与未编码画面相邻和/或与未编码画面临近。
45.如果针对每一视频块使用多个参考画面(如对于例如h.264/avc和/或hevc等最近视频译码标准的情况可为此)，那么可将其参考画面索引发送到熵译码单元208以用于后续输出和/或传输。参考索引可以用于识别时间预测来自参考画面存储264中的哪个或哪些参考画面。
46.尽管通常是高度集成的，但是运动/时间预测单元262的用于运动估计和运动补偿的功能可以由单独的实体或单元(未示出)来执行。可执行运动估计以估计每一未编码视频块相对于参考画面视频块的运动，且可涉及产生未编码视频块的运动向量。所述运动向量可指示预测块相对于正被译码的未编码视频块的位移。此预测块是基于(例如)正被译码的未编码视频块的像素差被发现紧密匹配的参考画面视频块。匹配可以由绝对差之和(sad)、平方差之和(ssd)和/或其它差度量来确定。运动补偿可涉及基于由运动估计确定的运动向量来提取和/或产生预测块。
47.运动预测单元262可通过将未编码视频块与来自存储在参考画面存储264中的参考画面的参考视频块进行比较，来计算未编码视频块的运动向量。运动预测单元262可计算包含在参考画面存储264中的参考画面的分数像素位置的值。在一些情况下，视频编码器200的加法器226或另一单元可计算重构视频块的分数像素位置的值，且可将该重构视频块与所计算的分数像素位置的值一起存储在参考画面存储264中。运动预测单元262可内插参考画面(例如，i帧和/或p帧和/或b帧)的子整数像素。
48.运动预测单元262可以被配置为相对于所选择的运动预测器(predictor)对运动矢量进行编码。由运动/时间预测单元262选择的运动预测器可以是例如与已经被编码的相邻块的运动矢量的平均值相等的矢量。为了对未编码视频块的运动向量进行编码，运动/时
间预测单元262可计算运动向量与运动预测器之间的差以形成运动向量差值。
49.h.264和hevc将潜在参考帧的集合称为“列表”。存储在参考画面存储264中的参考画面的集合可对应于参考帧的此列表。运动/时间预测单元262可将来自参考画面存储264的参考画面的参考视频块与(例如，p帧或b帧的)未编码视频块进行比较。当参考画面存储264中的参考画面包含子整数像素的值时，由运动/时间预测单元262计算的运动向量可参考参考画面的子整数像素定位。运动/时间预测单元262可将所计算的运动向量发送到熵译码单元208和运动/时间预测单元262的运动补偿功能模块。运动预测单元262(或其运动补偿功能模块)可计算预测块相对于正被译码的未编码视频块的误差值。运动预测单元262可基于预测块计算预测数据。
50.模式决定和编码器控制器单元280可选择编码模式、帧内模式或帧间模式中的一者。模式决定和编码器控制器单元280可基于(例如)速率失真优化方法和/或每一模式中产生的误差结果来进行此操作。
51.视频编码器200可通过从正被译码的未编码视频块减去从运动预测单元262提供的预测数据来形成残余块(“残余视频块”)。加法器216表示可以执行该减法运算的一个元件或多个元件。
52.变换单元204可将变换应用于残余视频块，以将此残余视频块从像素值域转换到变换域(例如频域)。所述变换可为(例如)本文所提供的变换中的任一者、离散余弦变换(dct)或概念上类似的变换。变换的其它示例包括在h.264和/或hevc、小波变换、整数变换和/或子带变换等中定义的那些变换。由变换单元204将变换应用于残余视频块，产生残余视频块的变换系数的对应块(“残余变换系数”)。这些残余变换系数可表示残余视频块的频率分量的大小。变换单元204可将残余变换系数转发到量化单元206。
53.量化单元206可量化残余变换系数以进一步减小编码比特速率。举例来说，量化过程可减少与残余变换系数中的一些或全部相关联的比特深度。在某些情况下，量化单元206可将残余变换系数的值除以对应于qp的量化级别以形成量化变换系数块。可通过调整qp值来修改量化的程度。量化单元206可使用所期望的数量量化步长的数量应用量化以表示残余变换系数；所使用的步长的数量(或对应地量化级别的值)可确定用于表示残余视频块的编码视频比特的数量。量化单元206可从速率控制器(未示出)获得qp值。在量化之后，量化单元206可将量化变换系数提供到熵译码单元208和逆量化单元210。
54.熵译码单元208可将熵译码应用于量化变换系数以形成熵译码系数(即，比特流)。熵译码单元208可使用自适应可变长度译码(cavlc)、上下文自适应二进制算术译码(cabac)和/或另一熵译码技术来形成熵译码系数。如本领域技术人员所理解的，cabac可能需要输入上下文信息(“上下文”)。举例来说，此上下文可基于相邻视频块。
55.熵译码单元208可将熵译码系数连同运动向量和一个或多个参考画面索引一起以原始编码视频比特流的形式提供到内部比特流格式(未示出)。此比特流格式可通过将包括报头和/或其它信息的额外信息附加到原始编码视频比特流，以使得(例如)视频解码器单元300(图3)能够从原始编码视频比特流解码编码视频块来形成提供到输出缓冲器134(图1b)的编码视频比特流bs。在熵译码之后，可将从熵译码单元208提供的编码视频比特流bs输出到(例如)输出缓冲器134，且可经由信道116将其传送到(例如)目的设备114或将其存档以供稍后传输或检索。
56.在某些代表性实施例中，熵译码单元208或视频编码器133、200的另一单元可经配置以执行除熵译码之外的其它译码功能。举例来说，熵译码单元208可经配置以确定视频块的码块模式(cbp)值。在某些代表性实施例中，熵译码单元208可执行视频块中的量化变换系数的游程长度译码。作为一实例，熵译码单元208可应用之字形(zigzag)形扫描或其它扫描模式以在视频块中布置量化变换系数，且编码零游程以用于进一步压缩。熵译码单元208可用适当的语法元素构造报头信息以用于在编码视频比特流bs中传输。
57.逆量化单元210及逆变换单元212可分别应用逆量化及逆变换以在像素域中重构残余视频块，例如以供稍后用作参考视频块中的一者(例如，在参考画面列表中的参考画面中的一者内)。
58.模式决定和编码器控制器单元280可通过将重构的残余视频块添加到存储于参考画面存储264中的参考画面中的一者的预测块来计算参考视频块。模式决定和编码器控制器单元280可将一个或一个以上内插滤波器应用于重构残余视频块以计算用于运动估计的子整数像素值(例如，用于半像素位置)。
59.加法器226可将重构的残余视频块与运动补偿的预测视频块相加，以产生重构的视频块以供存储在参考画面存储264中。重构(像素值域)视频块可由运动预测单元262(或其运动估计功能模块和/或其运动补偿功能模块)用作参考块中的一者以用于对后续未编码视频中的未编码视频块进行帧间编码。
60.滤波器266(例如，环路滤波器)可包含解块滤波器。解块滤波器可以操作以去除可能存在于重构宏块中的视觉伪像。这些伪像可能由于例如使用诸如i型、p型或b型的不同编码模式而被引入编码过程中。举例来说，在所接收的视频块的边界和/或边缘处可存在伪像，且解块滤波器可操作以使视频块的边界和/或边缘平滑以改进视觉质量。解块滤波器可以对加法器226的输出进行滤波。滤波器266可包含其它环路内滤波器，例如hevc标准所支持的样本自适应偏移(sao)滤波器。
61.图3为示出与例如图1a的视频解码器单元130等视频解码器单元一起使用的视频解码器300的实例的框图。视频解码器300可以包括输入302、熵解码单元308、运动补偿预测单元362、空间预测单元360、逆量化单元310、逆变换单元312、参考画面存储364、滤波器366、加法器326和输出320。视频解码器300可执行解码过程，所述解码过程通常与相对于视频编码器133、200提供的编码过程互逆。该解码过程可以如下所述地执行。
62.运动补偿预测单元362可基于从熵解码单元308接收的运动矢量产生预测数据。可相对于用于对应于编码运动向量的视频块的运动预测器来编码运动向量。运动补偿预测单元362可将运动预测器确定为(例如)与待解码的视频块相邻的块的运动向量的中值(median)。在确定运动预测器之后，运动补偿预测单元362可通过从编码视频比特流bs提取运动向量差值，并将运动向量差值添加到运动预测器来解码编码运动向量。运动补偿预测单元362可将运动预测器量化为与编码运动向量相同的分辨率。在某些代表性实施例中，运动补偿预测单元362可针对一些或所有编码运动预测器使用相同精度。作为另一实例，运动补偿预测单元362可经配置以使用上述方法中的任一者，且通过分析从编码视频比特流bs获得的序列参数集、切片参数集或画面参数集中包含的数据来确定使用哪一方法。
63.在解码运动向量之后，运动补偿预测单元362可从参考画面存储364的参考画面提取由运动向量识别的预测视频块。如果运动向量指向分数像素位置(例如半像素)，那么运
动补偿预测单元362可内插分数像素位置的值。运动补偿预测单元362可使用自适应内插滤波器或固定内插滤波器来内插这些值。运动补偿预测单元362可以从接收到的编码视频比特流bs中获得使用哪个滤波器366的索引，以及在各种代表性实施例中获得滤波器366的系数。
64.空间预测单元360可使用在编码视频比特流bs中接收的帧内预测模式来从空间相邻块形成预测视频块。逆量化单元310可逆量化(例如，解量化)在编码视频比特流bs中提供且由熵解码单元308解码的量化块系数。逆量化过程可包含常规过程，例如，如h.264所定义。逆量化过程可包含使用由视频编码器133、200针对每一视频块计算的量化参数qp来确定待应用的量化程度和/或逆量化程度。
65.逆变换单元312可将逆变换(例如，本文提供的变换中的任一者的逆变换、逆dct、逆整数变换或概念上类似的逆变换过程)应用于变换系数以产生像素域中的残余视频块。运动补偿预测单元362可产生运动补偿块，且可基于内插滤波器执行内插。用于具有子像素精度的运动估计的内插滤波器的识别符可包含于视频块的语法元素中。运动补偿预测单元362可使用如由视频编码器133、200在对视频块进行编码期间使用的内插滤波器来计算参考块的子整数像素的内插值。运动补偿预测单元362可根据所接收的语法信息确定由视频编码器133、200使用的内插滤波器，且使用所述内插滤波器来产生预测块。
66.运动补偿预测单元262可使用：(1)所述语法信息用以确定用于编码编码视频序列的一个或多个画面的视频块的大小；(2)划分信息，其描述如何划分所述编码视频序列的帧的每一视频块；(3)指示如何编码每个分区的模式(或模式信息)；(4)每一帧间编码视频块的一个或多个参考画面，和/或(5)用以解码所述编码视频序列的其它信息。
67.加法器326可将残余块与由运动补偿预测单元362或空间预测单元360产生的对应预测块求和以形成解码视频块。可应用环路滤波器366(例如，解块滤波器或sao滤波器)以对解码视频块进行滤波，以移除成块伪像和/或改进视觉质量。解码视频块可存储在参考画面存储364(其可提供参考视频块以用于后续运动补偿)中，且可产生解码视频以用于呈现在显示设备(未示出)上。
68.点云压缩
69.图4示出了用于基于视频的点云压缩(v
‑
pcc)的比特流的结构。将所生成的视频比特流和元数据复用在一起，以生成最终的v
‑
pcc比特流。
70.v
‑
pcc比特流由如图4所示的一组v
‑
pcc单元组成。表1中给出了在v
‑
pcc标准的共同体草案(v
‑
pcc cd)的最新版本中定义的v
‑
pcc单元的语法，其中各v
‑
pcc单元具有v
‑
pcc单元报头和v
‑
pcc单元有效载荷。v
‑
pcc单元报头描述了v
‑
pcc单元类型(表2)。具有单元类型2、3和4的v
‑
pcc单元是如共同体草案中定义的占用率(occupancy)、几何结构和属性数据单元。这些数据单元表示重建点云所需的三个主要分量。除了v
‑
pcc单元类型之外，v
‑
pcc属性单元报头还指定属性类型及其索引，从而允许支持相同属性类型的多个实例。
71.占用率、几何结构和属性v
‑
pcc单元的有效载荷(表3)对应于视频数据单元(例如，hevc nal(网络抽象层)单元)，其可以由在对应的占用率、几何结构和属性参数集v
‑
pcc单元中指定的视频解码器来解码。
72.表1 v
‑
pcc单元语法
[0073][0074]
表2 v
‑
pcc单元报头语法
[0075][0076]
表3 v
‑
pcc单元有效载荷语法
[0077][0078]
通过iittp的动态流式传输(dash)
[0079]
通过http的mpeg动态自适应流式传输(mpeg
‑
dash)是一种通用的递送格式，其通过动态地适应变化的网络条件来向终端用户提供最佳可能的视频体验。
[0080]
诸如mpeg
‑
dash的http自适应流式传输要求在服务器处可获得多媒体内容的各种比特率的替换。另外，多媒体内容可以包括若干媒体分量(例如音频、视频、文本)，其中的每一个可以具有不同的特性。在mpeg
‑
dash中，这些特征由媒体呈现描述(mpd)描述。
[0081]
图5示出了mpd分级数据模型。mpd描述一系列的时段，其中媒体内容分量的编码版本的一致性集合在时段期间不改变。每个时段具有开始时间和持续时间，并且由一个或多个适配集合适配集(适配集)组成。
[0082]
适配集表示共享相同属性的一个或多个媒体内容分量的编码版本的集合，所述属性诸如语言、媒体类型、画面纵横比、角色、可访问性和评级属性。例如，适配集可以包含相同多媒体内容的视频分量的不同比特率。另一适配集可包含相同多媒体内容的音频分量(例如，较低质量立体声和较高质量环绕声)的不同比特速率。每个适配集通常包括多个表示。
[0083]
一种表示描述了一个或多个媒体分量的可递送编码版本，其在比特率、分辨率、信道数量或其他特性方面与其他表示不同。每个表示由一个或多个分段组成。表示元素的属性，诸如@id、@带宽、@质量排序和@依赖性id，用于指定相关联的表示的属性。表示还可以包括作为表示的一部分的子表示，以描述表示并从表示中提取部分信息。子表示可以提供访问其中包含所述子表示的表示的较低质量版本的能力。
[0084]
分段是可以用单个http请求检索的最大数据单元。每个分段具有url(即服务器上的可寻址定位)，所述分段可以使用http get或具有字节范围的http get来下载。
[0085]
为了使用该数据模型，dash客户端解析mpd xml文档，基于在每个适配集元素中提供的信息选择适合于其环境的适配集的选集。在每个适配集中，客户端通常基于@带宽属性的值，而且还考虑客户端解码和渲染能力来选择一个表示。客户端下载所选择的表示的初始化分段，然后通过请求整个分段或分段的字节范围来访问内容。一旦呈现已经开始，客户端就通过连续地请求媒体分段或媒体分段的部分并根据媒体呈现时间线播放内容，来继续消费媒体内容。客户端可以考虑来自其环境的更新信息来切换表示。客户端应当在多个时段上连续播放内容。一旦客户端正在消费包含在分段中的媒体直至该表示中所通告的媒体
的末尾，则媒体呈现被终止，新的时段被开启，或者mpd需要被重新取回。
[0086]
dash中的描述符
[0087]
mpeg
‑
dash引入描述符的概念，以提供关于媒体内容的应用特定信息。描述符元素都以相同的方式构造，即它们包含提供uri以标识方案的@方案iduri属性、可选属性@值、以及可选属性@id。元素的语义是所采用的方案所特定的。标识方案的uri可以是urn(统一资源名称)或url(统一资源定位符)。mpd没有提供关于如何使用这些元素的任何特定信息。由应用程序使用dash格式来例示具有适当方案信息的描述符元素。使用这些元素之一的dash应用必须首先以uri形式定义方案标识符，然后必须在使用该方案标识符时定义该元素的值空间。如果需要结构化数据，则可在单独的名称空间中定义任何扩展元素或属性。描述符可以出现在mpd内的多个级别上：
[0088]
‑
在mpd级别存在元素意味着该元素是mpd元素的子元素。
[0089]
‑
在适配集级别上存在元素意味着该元素是适配集元素的子元素。
[0090]
‑
在表示等级上存在元素意味着该元素是表示元素的子元素。
[0091]
预选
[0092]
在mpeg
‑
dash中，捆绑(bundle)是可以由单个解码器实例联合消费的一组媒体分量。每个捆绑包括主媒体分量，该主媒体分量包含解码器特定信息并引导解码器。预选定义了期望被联合消费的捆绑中的媒体分量的子集。
[0093]
包含主媒体分量的适配集被称为主适配集。主媒体分量总是被包括在与捆绑相关联的任何预选中。此外，每个捆绑可以包括一个或多个部分适配集。部分适配集仅可以与主适配集结合处理。
[0094]
预选可以通过表4中定义的预选元素来定义。预选的选择基于在预选元素中包含的属性和元素。
[0095]
表4预选元素的语义
[0096][0097]
点云的自适应流式传输
[0098]
尽管诸如视频的传统多媒体应用仍然很流行，但是对诸如vr和沉浸式3d图形的新媒体存在很大的兴趣。高质量3d点云最近已经作为沉浸式媒体的高级表示出现，从而实现与虚拟世界的新形式的交互和通信。表示这种动态点云所需的大量信息需要有效的译码算法。mpeg的3dg工作组当前正在开发用于基于视频的点云压缩的标准，该标准具有在mpeg#124会议上发布的共同体草案(cd)版本。最新版本的cd定义了用于压缩的动态点云的比特流。并行地，mpeg还正在开发用于点云数据的运送的系统标准。
[0099]
上述点云标准仅解决了点云的译码和存储方面的问题。然而，可以想象，实际的点
云应用将需要通过网络流式传输点云数据。这样的应用可以根据如何生成内容来执行点云内容的实况或按需流式传输。此外，由于表示点云所需的大量信息，这样的应用需要支持自适应流式传输技术以避免使网络过载，并且在任何给定时刻提供关于该时刻的网络容量的最佳观看体验。
[0100]
用于点云的自适应递送的一个强有力的候选方法是通过http的动态自适应流式传输(dash)。然而，当前的mpeg
‑
dash标准没有提供用于点云媒体的任何信令机制，包括基于mpeg v
‑
pcc标准的点云流。因此，定义新的信令元素是重要的，这些信令元素使得流式传输客户端能够识别媒体呈现描述符(mpd)文件内的点云流及其分量子流。另外，还需要用信号通知与点云分量相关联的不同种类的元数据，以使得流式传输客户端能够选择点云或其分量的能够支持的最佳版本(一个或多个)。
[0101]
与传统媒体内容不同，v
‑
pcc媒体内容由多个分量组成，其中一些分量具有多层。每个分量(和/或层)被分别编码为v
‑
pcc比特流的子流。使用常规视频编码器(例如，h.264/avc或hevc)对例如几何结构及占用率图(除例如纹理等一些属性外)等一些分量子流进行编码。然而，这些子流需要与附加元数据一起被共同解码以便渲染点云。
[0102]
定义了多个xml元素和属性。这些xml元素在单独的名称空间“urn：mpeg：mpegi：vpcc：2019”中定义。名称空间指示符“vpcc：”用于指该本文件中的该名称空间。
[0103]
在dash mpd中用信号通知v
‑
pcc分量
[0104]
每个v
‑
pcc分量和/或分量层可以在dash清单(mpd)文件中表示为单独的适配集(下文中称为“分量适配集”)与用作v
‑
pcc内容的主接入点(下文中称为“主适配集”)附加的适配集。在另一实施例中，每分辨率每分量用信号通知一个适配集。
[0105]
在一个实施例中，包括所有v
‑
pcc分量适配集的v
‑
pcc流的适配集应具有被设置为
′
vpc1
′
的@编解码器属性(例如，如针对v
‑
pcc定义的)的值，这将表示mpd属于云点。在另一个实施例中，只有主适配集具有被设置为
′
vpc1
′
的@编解码器属性，而基于用于对分量进行编码的相应的编解码器来设置点云分量的适配集(或者如果没有为适配集元素用信号通知@编解码器的话，则为相应的表示)的@编解码器属性。在视频编码的分量的情况下，@编解码器的值应该被设置为
′
resv.pccv.xxxx
′
，其中xxxx对应于视频编解码器编解码器(例如avc1或hvc1)的四字符代码(4cc)。
[0106]
为了识别分量适配集中的v
‑
pcc分量(一个或多个)的类型(例如，占用率图、几何结构或属性)，可使用关键性质描述符及等于“urn：mpeg：mpegi：vpcc：2019：component”的@方案iduri属性。该描述符被称为vpcc分量描述符。
[0107]
在适配集级别，可以针对存在于适配集的表示中的每个点云分量用信号通知一个vpcc分量描述符。
[0108]
在一个实施例中，vpcc分量描述符的@值属性将不存在。vpcc分量描述符可以包括如表5中所指定的元素和属性。
[0109]
表5 vpcc分量描述符的元素和属性
[0110]
[0111][0112]
vpcc分量描述符的各种元素和属性的数据类型可以如在以下xml方案中所定义的那样。
[0113]
[0114][0115]
在一个实施例中，主适配集应当包含适配集级别的单个初始化分段或者表示级别的多个初始化分段(针对每个表示包括一个)。在一个实施例中，初始化分段应当包含如共同体草案中定义的v
‑
pcc序列参数集，其用于初始化v
‑
pcc解码器。在单个初始化分段的情况下，所有表示的v
‑
pcc序列参数集可以被包含在初始化分段中。当在主适配集中用信号通知多于一个表示时，每个表示的初始化分段可以包含该特定表示的v
‑
pcc序列参数集。当iso基本媒体文件格式(isobmff)用作如iso/iec 23090
‑
10的wd中定义的v
‑
pcc内容的媒体容器时，初始化分段还可包括如iso/iec 14496
‑
12中定义的元框(metabox)。该元框包含一个或多个vpcc组框(groupbox)实例(如在vpcc cd中定义的)，其提供在文件格式级描述轨道的元数据信息以及它们之间的关系。
[0116]
在一个实施例中，用于主适配集的表示的媒体分段包含在共同体草案中定义的v
‑
pcc轨道的一个或多个轨道分段。用于分量适配集的表示的媒体分段包含文件格式级别的对应分量轨道的一个或多个轨道分段。
[0117]
在另一个实施例中，为vpcc分量描述符定义了附加属性，这里称为@视频编解码器属性，其值指示用于编码相应点云部件的编解码器。这使得能够支持其中在适配集或表示中存在多于一个点云部件的场景。
[0118]
适配集或表示
[0119]
在另一实施例中，角色描述符元素可与用于v
‑
pcc分量的新定义的值一起使用，以指示对应的适配集或表示(例如，几何结构、占用率图或属性)的角色。例如，几何结构、占用率图和属性分量可以分别具有以下相应值：vpcc
‑
几何结构、vpcc
‑
占用率和vpcc
‑
属性。可以在适配集级别用信号通知与表5中描述的减去分量类型属性的描述符元素类似的附加的关键性质描述符元素，以识别该分量的层和属性类型(如果该分量是点云属性)。
[0120]
对v
‑
pcc适配集进行分组
[0121]
流式传输客户端能够通过检查相应元素内的vpcc分量描述符，来识别适配集或表示中的点云部件的类型。然而，流式传输客户端还需要在mpd文件中存在的不同点云流之间进行区分，并且识别它们各自的分量流。
[0122]
可以引入具有等于“um：mpeg：mpegi：vpcc：2019：vpc”@方案iduri属性的关键性质元素，并且在这里将其称为vpcc描述符。在针对点云的主适配集的适配集级别上可以存在至多一个vpcc描述符。如果在主适配集中存在多于一个表示，则在表示级别(即，在每个表示元素内)可以存在至多一个vpcc描述符。表6示出了根据一个实施例的vpcc描述符的属性
[0123]
表6 vpcc描述符的属性
[0124][0125]
当点云的多于一个版本可用时(例如，不同的分辨率)，每个版本可以存在于包含单个表示和具有用于@pcid属性的相同值的vpcc描述符的单独的分量适配集。在另一实施例中，可以将点云的不同版本作为单个(主)适配集的表示来用信号通知。在这种情况下，vpcc描述符将存在于每个表示中，并且@pcid属性可以对于主适配集中的所有表示以相同的值被用信号通知，或者被省略。
[0126]
在另一个实施例中，在mpd中用@预选分量属性的值来用信号通知预选，该属性包括用于点云的主适配集的id(其后跟随有与点云分量相对应的分量适配集的id)。预选的@编解码器属性应被设置为
′
vpc1
′
，指示预选媒体是基于视频的点云。可以使用时段元素内的预选元素或者在适配集级别(或者当多个版本/表示可用于相同点云时的表示级别)的预选描述符来用信号通知预选。当使用预选元素并且同一点云的多于一个版本可用时，在单独的预选元素中使用@预选元素属性的id列表中的第一个id用信号通知每个版本，其中所述第一个id是主适配集中相应点云版本的表示的id。图6示出了用于对属于mpeg
‑
dash mpd文件内的单个点云的v
‑
pcc分量进行分组的示例性dash配置。
[0127]
使用预选描述符，可以如下用信号通知该分组/关联。
[0128][0129]
在另一个实施例中，点云的主适配集或其表示(一个或多个)可以使用具有被设置为v
‑
pcc的4cc(即，
‘
vpcl’)@关联类型值的在iso/iec 23009
‑
1中定义的@关联id属性列出分量的适配集和/或表示的标识符。
[0130]
在另一个实施例中，点云的主适配集或其表示(一个或多个)可以使用iso/iec 23009
‑
1中定义的@依赖性id属性列出分量的适配集和/或表示的标识符。这是因为存在固有的依赖性，因为主适配集中的分段需要与来自点云分量的分量自适配集的分段一起被解码，以便重建点云。
[0131]
信令分量元数据
[0132]
几何结构和属性元数据通常用于渲染。在v
‑
pcc比特流的参数集中用信号通知这些元数据。然而，可能需要在mpd中用信号通知这些元数据元素，以便流式传输客户端能够尽可能早地获得信息。另外，流式传输客户端可以在具有不同几何结构和属性元数据值的点云的多个版本之间做出选择决定(例如，基于客户端是否支持用信号通知的值)。
[0133]
用信号通知几何结构元数据
[0134]
可以引入具有等于“urn：mpeg：mpegi：vpcc：2019：geom_meta”的@方案idurri属性的补充性质元素，并且在此将其称为几何结构元数据描述符或geometa描述符。至多，一个geommeta描述符可以存在于mpd级别，在这种情况下，它适用于mpd中用信号通知的所有点云的几何结构分量，除非如下所述被较低级别geometa描述符覆盖。至多，一个geommeta描述符可以存在于主适配集中的适配集级别。至多，一个geommeta描述符可以存在于主适配集中的表示级别。如果在某一级别存在geommeta描述符，则它覆盖更高级别用信号通知的任何geommeta描述符。
[0135]
在一个实施例中，geommeta描述符的@值属性将不存在。在一个实施例中，geommeta描述符包括表7中指定的元素和属性。
[0136]
表7 用于geommeta描述符的元素和属性
[0137]
[0138]
[0139][0140]
在一个实施例中，geommeta描述符的各种元素和属性的数据类型可为以下xml模式中所定义的内容。
[0141]
[0142]
[0143][0144]
用信号通知属性元数据
[0145]
可以引入具有等于“urn：mpeg：mpegi：vpcc：2019：attr_meta
”″
的@方案iduri属性的补充性质元素，并且在此将其称为属性元数据描述符或attrmeta描述符。在主适配集级别上可以存在至多一个attrmeta描述符。在主适配集中的表示级别上可以存在至多一个attrmeta描述符。如果在表示级别存在attrmeta描述符，则它覆盖用于表示所属的适配集的在适配集级别用信号通知的任何attrmeta描述符。
[0146]
在一个实施例中，不存在attrmeta描述符的@值属性。在一个实施例中，attrmeta描述符可包括如表8中指定的元素和属性。
[0147]
表8用于attrmeta描述符的元素和属性
[0148]
[0149][0150]
在一个实施例中，attrmeta描述符的各种元素和属性的数据类型可如以下xml模式中定义的那样。
[0151]
[0152]
[0153][0154]
流式传输客户端行为
[0155]
dash客户端(解码器节点)由mpd中提供的信息引导。以下是根据本说明书中所呈现的信令来处理流式点云内容的示例性客户端行为，其中假设使用vpcc描述符来用信号通知分量适配集与主点云适配集的关联的实施例。图7是示出根据实施例的示例性流式传输客户端过程的流程图。
[0156]
在711处，客户端首先发出http请求并从内容服务器下载mpd文件。客户端然后解析mpd文件以生成mpd文件中的xml元素的对应的内存表示。
[0157]
接下来，在713处，为了识别一个时段中的可用点云媒体内容，流式传输客户端扫描适配集元素以找到具有被设置为
′
vpcl
′
的编解码器@code属性的适配集以及vpcc描述符元素。所得到的子集是用于点云内容的一组主适配集。
[0158]
接下来，在715处，流式传输客户端通过检查那些适配集的vpcc描述符来识别唯一点云的数量，并将在其vpcc描述符中具有相同@pcid值的适配集分组为相同内容的版本。
[0159]
在717处，识别具有与用户期望流式传输的点云内容相对应的@pcid值的一组适配集。如果该组包含多于一个的适配集，则流式传输客户端选择具有支持的版本(例如，视频分辨率)的适配集。否则，选择该组的唯一适配集。
[0160]
接下来，在719处，流式传输客户端检查所选择的适配集的vpcc描述符，以识别点云分量的适配集。这些是从@依赖性id、@几何结构id和@属性id属性的值识别的。如果在所选择的主要适配集中存在geommeta和/或attrmeta描述符，则流式传输客户端能够在下载任何分段之前识别其是否支持用于点云流的信号通知的渲染配置。否则，客户端需要从初始化分段中提取该信息。
[0161]
接下来，在721处，客户端通过下载用于主适配集的初始化分段来开始流式传输点云，该初始化分段包含初始化v
‑
pcc解码器所需的参数集。
[0162]
在723处，下载用于视频译码分量流的初始化分段，并将其高速缓存在存储器中。
[0163]
在725处，流式传输客户端然后开始通过http并行地从主适配集和分量适配集下载时间对齐的媒体分段，并且所下载的分段被存储在内存分段缓冲器中。
[0164]
在727处，从时间对齐的媒体分段的相应缓冲器中移除所述时间对齐的媒体分段，并将其与相应初始化分段连接。
[0165]
最后，在729处，对媒体容器(例如，isobmff)进行解析以提取基本流信息并根据v
‑
pcc标准来构造v
‑
pcc比特流，然后将该比特流传递到v
‑
pcc解码器。
[0166]
尽管以上以特定的组合描述了特征和元素，但是本领域的普通技术人员将理解，每个特征或元素可以单独使用或与其它特征和元素任意组合使用。另外，本文描述的方法可以在计算机程序、软件或固件中实现，所述计算机程序、软件或固件并入计算机可读介质中以由计算机或处理器执行。非暂时性计算机可读存储介质的示例包括但不限于只读存储器(rom)、随机存取存储器(ram)、寄存器、高速缓冲存储器、半导体存储器设备、诸如内部硬
盘和可移除盘的磁介质、磁光介质和诸如cd
‑
rom盘和数字多功能盘(dvd)的光介质。与软件相关联的处理器可以用于实现在wtru 102、ue、终端、基站、rnc或任何主计算机中使用的射频收发信机。
[0167]
此外，在上述实施例中，注意到处理平台、计算系统、控制器和包含处理器的其它设备。这些设备可以包含至少一个中央处理单元(“cpu”)和存储器。根据计算机编程领域的技术人员的实践，对动作和操作或指令的符号表示的引用可以由各种cpu和存储器来执行。这样的动作和操作或指令可以被称为“被执行”、“计算机执行”或“cpu执行”。
[0168]
本领域的普通技术人员将理解，动作和符号表示的操作或指令包括由cpu对电信号的操纵。电气系统表示数据比特，其可以导致电信号的变换或减少以及数据比特在存储器系统中的存储位置处的维护，从而重新配置或以其他方式改变cpu的操作以及信号的其他处理。维护数据比特的存储位置是具有对应于或代表数据比特的特定电、磁、光或有机性质的物理定位。应当理解，示例性实施例不限于上述平台或cpu，并且其它平台和cpu可以支持所提供的方法。
[0169]
数据比特也可以保存在计算机可读介质上，所述计算机可读介质包括磁盘、光盘和cpu可读的任何其它易失性(例如，随机存取存储器(“ram”))或非易失性(例如，只读存储器(“rom”))大容量存储系统。所述计算机可读介质可以包括协作或互连的计算机可读介质，其专门存在于处理系统上或者分布在可以位于处理系统本地或远程的多个互连的处理系统之间。应当理解，代表性实施例不限于上述存储器，并且其它平台和存储器可以支持所描述的方法。
[0170]
在说明性实施例中，本文描述的任何操作、过程等可以被实现为存储在计算机可读介质上的计算机可读指令。计算机可读指令可以由移动单元、网络元件和/或任何其他计算设备的处理器执行。
[0171]
在系统的各方面的硬件和软件实现之间几乎没有差别。硬件或软件的使用通常(但不总是，因为在某些情况下，硬件和软件之间的选择可能变得重要)是代表成本相对于效率折衷的设计选择。可以存在各种媒介，通过这些媒介可以影响本文所述的过程和/或系统和/或其它技术(例如，硬件、软件和/或固件)，并且优选的媒介可以随着部署过程和/或系统和/或其它技术的上下文而变化。例如，如果实施者确定速度和准确性是最重要的，则实施者可以选择主要是硬件和/或固件的媒介。如果灵活性是最重要的，则实现者可以选择主要是软件的实现。可替换地，实现者可以选择硬件、软件和/或固件的某种组合。
[0172]
前述详细描述已经通过使用框图、流程图和/或示例阐述了设备和/或过程的各种实施例。在这样的框图、流程图和/或示例包含一个或多个功能和/或操作的情况下，本领域技术人员将理解，这样的框图、流程图或示例内的每个功能和/或操作可以由各种各样的硬件、软件、固件或实际上其任何组合单独地和/或共同地实现。举例来说，合适的处理器包括通用处理器、专用处理器、常规处理器、数字信号处理器(dsp)、多个微处理器、与dsp核心相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(asic)、应用专用标准产品(assp)；现场可编程门阵列(fpga)电路、任何其它类型的集成电路(ic)和/或状态机。
[0173]
尽管以上以特定组合提供了特征和元素，但是本领域普通技术人员将理解，每个特征或元素可以单独使用或者与其它特征和元素以任何组合使用。本公开不应在本技术中描述的特定实施例方面受到限制，这些实施例旨在说明各个方面。在不背离本发明的精神
和范围的情况下，可以进行许多修改和变型，这对于本领域技术人员来说是显而易见的。除非明确地这样提供，否则在本技术的描述中使用的元素、动作或指令不应被解释为对本发明是关键的或必要的。除了本文列举的那些之外，本公开范围内的功能上等同的方法和装置根据前述描述对于本领域技术人员将是显而易见的。这些修改和变型旨在落入所附权利要求的范围内。本公开仅由所附权利要求书的术语以及这些权利要求所授权的等效物的全部范围来限制。应当理解，本公开不限于特定的方法或系统。
[0174]
还应理解，本文所用的术语仅是为了描述具体实施方案的目的，而不是旨在限制。如这里所使用的，当这里提及术语“基站”及其缩写“sta”、“用户设备”及其缩写“ue”时可以表示(i)无线发射和/或接收单元(wtru)，例如下面所描述的；(ii)wtru的多个实施方式中的任一个，例如下文所描述的；(iii)具有无线和/或有线能力的(例如可网络共享的)设备，其配置有wtru的一些或所有结构和功能，例如下文所述；(iii)一种具有无线能力和/或有线能力的设备，其被配置为具有少于wtru的所有结构和功能的结构和功能，例如下文所描述的；或(iv)类似物。
[0175]
在某些代表性实施例中，本文所述主题的若干部分可通过专用集成电路(asic)、现场可编程门阵列(fpga)、数字信号处理器(dsp)和/或其它集成格式来实现。然而，本领域技术人员将认识到，本文公开的实施例的一些方面可以整体或部分地等效地在集成电路中实现为在一个或多个计算机上运行的一个或多个计算机程序(例如，在一个或多个计算机系统上运行的一个或多个程序)、在一个或多个处理器上运行的一个或多个程序(例如，在一个或多个微处理器上运行的一个或多个程序)、固件或实际上其任何组合，并且本领域技术人员根据本公开将完全在其技能范围内设计电路和/或编写用于软件和/或固件的代码。此外，本领域技术人员将理解，本文描述的主题的机制可以作为各种形式的程序产品来分发，并且本文描述的主题的说明性实施例适用，而不管用于实际执行分发的信号承载介质的特定类型。信号承载介质的示例包括但不限于以下：可记录型介质(例如软盘、硬盘驱动器、cd、dvd、数字磁带、计算机存储器等)，以及传输型介质(例如数字和/或模拟通信介质(例如，光缆、波导、有线通信链路、无线通信链路等))。
[0176]
本文描述的主题有时示出了包含在不同的其它组件内或与不同的其它组件连接的不同组件。应当理解，这样描述的架构仅仅是示例，并且实际上可以实现许多其他可实现相同功能的架构。在概念意义上，实现相同功能的组件的任何布置被有效地“关联”，由此可以实现期望的功能。因此，本文中组合以实现特定功能性的任何两个组件可被视为彼此“相关联”，由此实现所期望的功能性，而不管架构或中间组件如何。同样，如此关联的任何两个部件也可被视为彼此“可操作地连接”或“可操作地耦合”以实现期望的功能，并且能够如此关联的任何两个组件也可被视为彼此“可操作地可耦合的”以实现期望的功能。可操作地可耦合的具体示例包括但不限于物理上可配对和/或物理上交互的组件和/或可无线交互和/或无线交互的组件和/或逻辑上交互和/或逻辑上可交互的组件。
[0177]
关于本文中基本上任何复数和/或单数术语的使用，本领域技术人员可以根据上下文和/或应用的需要，将复数转化为单数和/或将单数转化为复数。为了清楚起见，这里可以明确地阐述各种单数/复数置换。
[0178]
本领域技术人员将理解，一般而言，本文中并且尤其是在所附权利要求(例如，所附权利要求的主体)中使用的术语一般旨在作为“开放式”术语(例如，术语“包括”应被解释
为“包括但不限于”，术语“具有”应被解释为“至少具有”，术语“包含”应被解释为“包含但不限于”等)。本领域技术人员还将理解，如果意图是所引入的权利要求叙述的特定数量，则这样的意图将在权利要求中明确地叙述，并且在没有这样的叙述的情况下，不存在这样的意图。例如，在仅想要一个特征的情况下，可以使用术语“单个”或类似语言。为了帮助理解，以下所附权利要求和/或本文的描述可以包含介绍性短语“至少一个”和“一个或多个”的使用，以引入权利要求叙述。然而，这种短语的使用不应被解释为暗示着由不定冠词“一”或“一个”引入的权利要求叙述将包含这种引入的权利要求叙述的任何特定权利要求限制为仅包含一个这种叙述的实施例，即使当同一权利要求包括介绍性短语“一个或多个”或“至少一个”以及不定冠词如“一”或“一个”时(例如，“一”和/或“一个”应被解释为意指“至少一个”或“一个或多个”)。这同样适用于使用定冠词来引入权利要求叙述。另外，即使明确地叙述了所引入的权利要求叙述的特定数量，本领域技术人员将认识到，这样的叙述应当被解释为意味着至少所叙述的数量(例如，在没有其他修饰语的情况下，“两个叙述”的无修饰叙述意味着至少两个叙述，或者两个或更多个叙述)。此外，在使用类似于“a、b和c等中的至少一个”的惯例的那些实例中，通常这样的构造旨在本领域技术人员将理解惯例的意义上(例如，“具有a、b和c中的至少一个的系统”将包括但不限于仅具有a、仅具有b、仅具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b和c等的系统)。在使用类似于“a、b或c等中的至少一个”的惯例的那些实例中，通常这样的构造旨在本领域技术人员将理解惯例的意义上(例如，“具有a、b或c中的至少一个的系统”将包括但不限于仅具有a、仅具有b、仅具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b和c等的系统)。本领域技术人员还将理解，无论在说明书、权利要求书还是附图中，实际上呈现两个或更多个替代术语的任何转折连词和/或短语应当被理解为预期包括这些术语之一、这些术语中的任一个或两个术语的可能性。例如，短语“a或b”将被理解为包括“a”或“b”或“a和b”的可能性。此外，如本文所使用的，前面有多个特征和/或多个特征类别的列表的术语“任意”旨在包括特征和/或特征类别的“任意”、“任意组合”、“任意多个”和/或“任意多个组合”，单独地或与其他特征和/或其他特征类别相结合。此外，如本文所使用的，术语“集(合)”或“组”旨在包括任何数量(包括零)的特征。另外，如本文所用，术语“数量”旨在包括任何数量(包括零)。
[0179]
另外，在本公开的特征或方面是按照马库什(markush)组来描述的情况下，本领域技术人员将认识到，本公开也由此按照马库什组的任何单独成员或成员子组来描述。
[0180]
如本领域技术人员将理解的，为了任何和所有目的，例如在提供书面描述方面，本文公开的所有范围还涵盖任何和所有可能的子范围及其子范围的组合。任何列出的范围可以容易地被认为充分描述并且使得相同的范围能够被分解成至少相等的两份、三份、四份、五份、十份等。作为非限制性示例，本文讨论的每个范围可以容易地分解成下三分之一(1/3)、中三分之一(1.5/3)和上三分之一(2/3)等。本领域技术人员还将理解，所有语言例如“高达”、“至少”、“大于”、“小于”等包括所列举的数字，并且是指随后可以分解成如上所述的子范围的范围。最后，如本领域技术人员将理解的，范围包括每个单独的成员。因此，例如，具有1
‑
3个单元的组是指具有1、2或3个单元的组。类似地，具有1
‑
5个单元的组是指具有1、2、3、4或5个单元的组，等等。
[0181]
此外，权利要求不应被理解为限于所提供的顺序或元素，除非陈述为那样的效果。此外，在任何权利要求中使用术语“装置用于”旨在援引美国法典第35章第112节第6段或装
置加功能权利要求格式，并且没有术语“装置用于”的任何权利要求并非如此。
[0182]
尽管在此参考具体实施例对本发明进行了说明和描述，但是本发明并不旨在限于所示的细节。相反，在权利要求的等同范围内并且在不背离本发明的情况下，可以对细节进行各种修改。
[0183]
在整个公开中，技术人员理解，某些代表性实施例可以替代地或与其它代表性实施例组合地使用。
[0184]
尽管以上以特定的组合描述了特征和元素，但是本领域的普通技术人员将理解，每个特征或元素可以单独使用或与其它特征和元素任意组合使用。另外，本文描述的方法可以在计算机程序、软件或固件中实现，所述计算机程序、软件或固件并入计算机可读介质中以由计算机或处理器执行。非暂时性计算机可读存储介质的示例包括但不限于只读存储器(rom)、随机存取存储器(ram)、寄存器、高速缓冲存储器、半导体存储器设备、诸如内部硬盘和可移除盘的磁介质、磁光介质和诸如cd
‑
rom盘和数字多功能盘(dvd)的光介质。与软件相关联的处理器可以用于实现在wrtu、ue、终端、基站、rnc或任何主机计算机中使用的射频收发信机。
[0185]
此外，在上述实施例中，注意到处理平台、计算系统、控制器和包含处理器的其它设备。这些设备可以包含至少一个中央处理单元(“cpu”)和存储器。根据计算机编程领域的技术人员的实践，对动作和操作或指令的符号表示的引用可以由各种cpu和存储器来执行。这样的动作和操作或指令可以被称为“被执行”、“计算机执行”或“cpu执行”。
[0186]
本领域的普通技术人员将理解，动作和符号表示的操作或指令包括由cpu对电信号的操纵。电气系统表示数据比特，其可以导致电信号的变换或减少以及数据比特在存储器系统中的存储位置处的维护，从而重新配置或以其他方式改变cpu的操作以及信号的其他处理。维护数据比特的存储位置是具有对应于或代表数据比特的特定电、磁、光或有机性质的物理定位。
[0187]
数据比特也可以保存在计算机可读介质上，所述计算机可读介质包括磁盘、光盘和cpu可读的任何其它易失性(例如，随机存取存储器(“ram”))或非易失性(
″
例如，只读存储器(“rom”))大容量存储系统。所述计算机可读介质可以包括协作或互连的计算机可读介质，其专门存在于处理系统上或者分布在可以位于处理系统本地或远程的多个互连的处理系统之间。应当理解，代表性实施例不限于上述存储器，并且其它平台和存储器可以支持所描述的方法。
[0188]
除非明确地描述，否则在本技术的描述中使用的元素、动作或指令不应被解释为对本发明是关键的或必要的。另外，如本文所用，冠词“一”旨在包括一个或多个特征。在仅意指一个特征的情况下，使用术语“一个”或类似语言。此外，如本文所使用的，前面有多个特征和/或多个特征类别的列表的术语“任意”旨在包括特征和/或特征类别的“任意”、“任意组合”、“任意多个”和/或“任意多个组合”，单独地或与其他特征和/或其他特征类别相结合。此外，如本文所使用的，术语“集(合)”旨在包括任何数量“集(合)”的特征。此外，如本文所使用的，术语“数量”旨在包括任何数量(包括零)。
[0189]
此外，权利要求不应被理解为限于所描述的顺序或元素，除非陈述为那样的效果。此外，在任何权利要求中使用术语“装置”旨在援引美国法典第35章第112节第6段，并且没有词语“装置”的任何权利要求不是如此意图。
[0190]
举例来说，合适的处理器包括通用处理器、专用处理器、常规处理器、数字信号处理器(dsp)、多个微处理器、与dsp核心相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(asic)、应用专用标准产品(assp)；现场可编程门阵列(fpga)电路、任何其它类型的集成电路(ic)和/或状态机。
[0191]
与软件相关联的处理器可以用于实现在无线发射接收单元(wrtu)、用户设备(ue)、终端、基站、移动性管理实体(mme)或演进分组核心(epc)、或任何主机计算机中使用的射频收发信机。wrtu可以与以硬件和/或软件实现的模块结合使用，所述模块包括软件定义无线电(sdr)和其他组件(诸如相机、摄像机模块、视频电话、扬声器电话、振动设备、扬声器、麦克风、电视收发信机、免提耳机、键盘、蓝牙模块、调频(fm)无线电单元、近场通信(nfc)模块、液晶显示器(lcd)显示单元、有机发光二极管(oled)显示单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器和/或任何无线局域网(wlan)或超宽带(uwb)模块。
[0192]
虽然本发明已经根据通信系统进行了描述，但是可以预期，该系统可以在微处理器/通用计算机(未示出)上以软件实现。在某些实施例中，各种组件的功能中的一个或多个可以在控制通用计算机的软件中实现。
[0193]
此外，尽管在此参考具体实施例示出和描述了本发明，但是本发明并不限于所示的细节。相反，在权利要求的等同范围内并且在不背离本发明的情况下，可以对细节进行各种修改。