基于视频的点云流的制作方法

基于视频的点云流
1.相关申请的交叉引用
2.本技术要求2019年5月23日提交的美国临时申请号62/852,046和2019年9月27日提交的美国临时申请号62/907,249的权益，其公开内容全文通过引用方式并入本文。


背景技术：

3.视频编码系统可用于压缩和/或解压数字视频信号，例如以减少此类信号需要的存储和/或传输带宽。三维(3d)点云已成为沉浸式媒体的高级表示。可使用例如多个相机、深度传感器和/或光检测和测距(lidar)激光扫描仪，以多种方式来捕获这些点云。在3d空间中现实地重建对象和/或场景所需的点数可为约数百万或数十亿个。因此，期望有效的表示、压缩和/或递送技术以用于存储和/或传输点云数据。


技术实现要素：

4.本发明公开了用于处理与三维(3d)空间相关联的视频数据的系统、方法和工具。如本文所述的视频解码设备可包括被配置为接收媒体容器文件(例如，国际标准化组织(iso)基础媒体文件格式(isobmff)容器文件)的处理器，该媒体容器文件包括基于视频的点云压缩(v-pcc)比特流。该处理器可解析其中包括的该媒体容器文件和/或该v-pcc比特流以确定该3d空间中的3d区域的区域识别符(id)以及与该3d空间相关联的一个或多个轨组的相应轨组id。该处理器可基于确定该一个或多个轨组的该相应轨组id与该3d区域的该区域id链接，确定该一个或多个轨组与该3d区域相关联。该处理器可对属于该一个或多个轨组的视频轨(例如，对应于2d帧中的一个或多个区块)进行解码以渲染该3d空间的该3d区域的视觉表示。本文中描述的该一个或多个轨组可共享公共轨组类型，并且可进一步基于该轨组类型来确定该一个或多个轨组与该3d区域相关联。该媒体容器文件可包括定义与该3d空间相关联的区域的数量以及与该区域中的每一者相关联的轨组的数量的一个或多个结构，并且该处理器可被配置为基于包括在该结构中的信息来确定该一个或多个轨组的该相应轨组id与该3d区域的该区域id链接。
5.该媒体容器文件可包括定时元数据，该定时元数据包括与已被更新的该区域的子集相关联的信息，并且该定时元数据可指示对该区域的该子集的该更新(例如，位置、维度等)。此外，该视频轨可包括一个或多个样本条目，并且该一个或多个样本条目中的每一者可包括指示网络抽象层(nal)单元大小的数据字段的长度的指示。该样本条目还可包括与该样本条目相关联的v-pcc参数集的数量或与该样本条目相关联的图集nal单元的阵列的数量的指示。
附图说明
6.图1a是示出可在其中实现一个或多个所公开的实施方案的示例性通信系统的系统图。
7.图1b是示出根据实施方案可在图1a所示的通信系统内使用的示例性无线发射/接
收单元(wtru)的系统图。
8.图1c是示出根据实施方案的可在图1a所示的通信系统内使用的示例性无线电接入网络(ran)和示例性核心网络(cn)的系统图。
9.图1d是示出根据实施方案的可在图1a所示的通信系统内使用的另一个示例性ran和另一个示例性cn的系统图。
10.图2示出了包括多个v-pcc单元的示例性基于视频的点云压缩(v-pcc)比特流结构。
11.图3示出了示例性媒体容器结构。
12.图4示出了部件的内随机接入点(irap)样本被对准的示例性约束。
13.图5示出了使用irap周期的最小公倍数来指示v-pcc irap的示例。
14.图6示出了可用于实现对3d空间内的特定区域的空间访问的示例性媒体容器结构。
具体实施方式
15.由以下结合附图以举例的方式给出的描述可得到更详细的理解。
16.图1a是示出在其中一个或多个所公开的实施方案可得以实现的示例性通信系统100的示意图。通信系统100可为向多个无线用户提供诸如语音、数据、视频、消息、广播等内容的多址接入系统。通信系统100可使多个无线用户能够通过系统资源(包括无线带宽)的共享来访问此类内容。例如，通信系统100可采用一个或多个信道接入方法，诸如码分多址接入(cdma)、时分多址接入(tdma)、频分多址接入(fdma)、正交fdma(ofdma)、单载波fdma(sc-fdma)、零尾唯一字dft扩展ofdm(zt uw dts-s ofdm)、唯一字ofdm(uw-ofdm)、资源块滤波ofdm、滤波器组多载波(fbmc)等。
17.如图1a所示，通信系统100可包括无线发射/接收单元(wtru)102a、102b、102c、102d、ran 104/113、cn 106/115、公共交换电话网(pstn)108、互联网110和其他网络112，但应当理解，所公开的实施方案设想了任何数量的wtru、基站、网络和/或网络元件。wtru 102a、102b、102c、102d中的每一者可以是被配置为在无线环境中操作和/或通信的任何类型的设备。作为示例，wtru 102a、102b、102c、102d(其中任何一个均可被称为“站”和/或“sta”)可被配置为传输和/或接收无线信号，并且可包括用户装备(ue)、移动站、固定或移动用户单元、基于订阅的单元、寻呼机、蜂窝电话、个人数字助理(pda)、智能电话、膝上型电脑、上网本、个人计算机、无线传感器、热点或mi-fi设备、物联网(iot)设备、手表或其他可穿戴设备、头戴式显示器(hmd)、车辆、无人机、医疗设备和应用(例如，远程手术)、工业设备和应用(例如，在工业和/或自动处理链环境中操作的机器人和/或其他无线设备)、消费电子设备、在商业和/或工业无线网络上操作的设备等。wtru 102a、102b、102c和102d中的任一者可互换地称为ue。
18.通信系统100还可包括基站114a和/或基站114b。基站114a、114b中的每一者可为任何类型的设备，其被配置为与wtru 102a、102b、102c、102d中的至少一者无线对接以促进对一个或多个通信网络(诸如cn 106/115、互联网110和/或其他网络112)的访问。作为示例，基站114a、114b可为基站收发台(bts)、节点b、演进节点b、家庭节点b、家庭演进节点b、gnb、nr节点b、站点控制器、接入点(ap)、无线路由器等。虽然基站114a、114b各自被描绘为
单个元件，但应当理解，基站114a、114b可包括任何数量的互连基站和/或网络元件。
19.基站114a可以是ran 104/113的一部分，该ran还可包括其他基站和/或网络元件(未示出)，诸如基站控制器(bsc)、无线电网络控制器(rnc)、中继节点等。基站114a和/或基站114b可被配置为在一个或多个载波频率(其可被称为小区(未示出))上传输和/或接收无线信号。这些频率可在许可频谱、未许可频谱或许可和未许可频谱的组合中。小区可向特定地理区域提供无线服务的覆盖，该特定地理区域可为相对固定的或可随时间改变。小区可进一步被划分为小区扇区。例如，与基站114a相关联的小区可被划分为三个扇区。因此，在一个实施方案中，基站114a可包括三个收发器，即，小区的每个扇区一个收发器。在一个实施方案中，基站114a可采用多输入多输出(mimo)技术并且可针对小区的每个扇区利用多个收发器。例如，可使用波束成形在所需的空间方向上传输和/或接收信号。
20.基站114a、114b可通过空中接口116与wtru 102a、102b、102c、102d中的一者或多者通信，该空中接口可为任何合适的无线通信链路(例如，射频(rf)、微波、厘米波、微米波、红外(ir)、紫外(uv)、可见光等)。可使用任何合适的无线电接入技术(rat)来建立空中接口116。
21.更具体地讲，如上所指出，通信系统100可为多址接入系统，并且可采用一个或多个信道接入方案，诸如cdma、tdma、fdma、ofdma、sc-fdma等。例如，ran 104/113中的基站114a和wtru 102a、102b、102c可实现诸如通用移动电信系统(umts)陆地无线电接入(utra)之类的无线电技术，其可使用宽带cdma(wcdma)来建立空中接口115/116/117。wcdma可包括诸如高速分组接入(hspa)和/或演进的hspa(hspa )之类的通信协议。hspa可包括高速下行链路(dl)分组接入(hsdpa)和/或高速ul分组接入(hsupa)。
22.在一个实施方案中，基站114a和wtru 102a、102b、102c可实现诸如演进的umts陆地无线电接入(e-utra)之类的无线电技术，其可使用长期演进(lte)和/高级lte(lte-a)和/或高级lte pro(lte-a pro)来建立空中接口116。
23.在一个实施方案中，基站114a和wtru 102a、102b、102c可实现无线电技术诸如nr无线电接入，其可使用新无线电(nr)来建立空中接口116。
24.在一个实施方案中，基站114a和wtru 102a、102b、102c可实现多种无线电接入技术。例如，基站114a和wtru 102a、102b、102c可例如使用双连接(dc)原理一起实现lte无线电接入和nr无线电接入。因此，wtru 102a、102b、102c所使用的空中接口可由多种类型的无线电接入技术和/或向/从多种类型的基站(例如，enb和gnb)发送的传输来表征。
25.在其他实施方案中，基站114a和wtru 102a、102b、102c可实现诸如ieee 802.11(即，无线保真(wifi))、ieee 802.16(即，全球微波接入互操作性(wimax))、cdma2000、cdma20001x、cdma2000 ev-do、暂行标准2000(is-2000)、暂行标准95(is-95)、暂行标准856(is-856)、全球移动通信系统(gsm)、gsm增强数据率演进(edge)、gsm edge(geran)等无线电技术。
26.图1a中的基站114b可为例如无线路由器、家庭节点b、家庭演进节点b或接入点，并且可利用任何合适的rat来促进诸如商业场所、家庭、车辆、校园、工业设施、空中走廊(例如，供无人机使用)、道路等局部区域中的无线连接。在一个实施方案中，基站114b和wtru 102c、102d可实现诸如ieee 802.11之类的无线电技术以建立无线局域网(wlan)。在一个实施方案中，基站114b和wtru 102c、102d可实现诸如ieee 802.15之类的无线电技术以建立
无线个域网(wpan)。在又一个实施方案中，基站114b和wtru 102c、102d可利用基于蜂窝的rat(例如，wcdma、cdma2000、gsm、lte、lte-a、lte-a pro、nr等)来建立微微小区或毫微微小区。如图1a所示，基站114b可具有与互联网110的直接连接。因此，基站114b可不需要经由cn 106/115访问互联网110。
27.ran 104/113可与cn 106/115通信，该cn可以是被配置为向wtru 102a、102b、102c、102d中的一者或多者提供语音、数据、应用和/或互联网协议语音技术(voip)服务的任何类型的网络。数据可具有不同的服务质量(qos)要求，诸如不同的吞吐量要求、延迟要求、误差容限要求、可靠性要求、数据吞吐量要求、移动性要求等。cn 106/115可提供呼叫控制、账单服务、基于移动位置的服务、预付费呼叫、互联网连接、视频分发等，和/或执行高级安全功能，诸如用户认证。尽管未在图1a中示出，但是应当理解，ran 104/113和/或cn 106/115可与采用与ran 104/113相同的rat或不同rat的其他ran进行直接或间接通信。例如，除了连接到可利用nr无线电技术的ran 104/113之外，cn 106/115还可与采用gsm、umts、cdma 2000、wimax、e-utra或wifi无线电技术的另一ran(未示出)通信。
28.cn 106/115也可充当wtru 102a、102b、102c、102d的网关，以访问pstn 108、互联网110和/或其他网络112。pstn 108可包括提供普通老式电话服务(pots)的电路交换电话网络。互联网110可包括使用常见通信协议(诸如传输控制协议(tcp)、用户数据报协议(udp)和/或tcp/ip互联网协议组中的互联网协议(ip))的互连计算机网络和设备的全球系统。网络112可包括由其他服务提供商拥有和/或操作的有线和/或无线通信网络。例如，网络112可包括连接到一个或多个ran的另一个cn，其可采用与ran 104/113相同的rat或不同的rat。
29.通信系统100中的一些或所有wtru 102a、102b、102c、102d可包括多模式能力(例如，wtru 102a、102b、102c、102d可包括用于通过不同无线链路与不同无线网络通信的多个收发器)。例如，图1a所示的wtru102c可被配置为与可采用基于蜂窝的无线电技术的基站114a通信，并且与可采用ieee 802无线电技术的基站114b通信。
30.图1b是示出示例性wtru 102的系统图。如图1b所示，wtru 102可包括处理器118、收发器120、发射/接收元件122、扬声器/麦克风124、小键盘126、显示器/触摸板128、不可移动存储器130、可移动存储器132、电源134、全球定位系统(gps)芯片组136和/或其他外围设备138等。应当理解，wtru 102可包括前述元件的任何子组合，同时保持与实施方案一致。
31.处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(dsp)、多个微处理器、与dsp核心相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(asic)、现场可编程门阵列(fpga)电路、任何其他类型的集成电路(ic)、状态机等。处理器118可执行信号编码、数据处理、功率控制、输入/输出处理和/或任何其他功能，这些其他功能使wtru 102能够在无线环境中工作。处理器118可耦合到收发器120，该收发器可耦合到发射/接收元件122。虽然图1b将处理器118和收发器120描绘为单独的部件，但是应当理解，处理器118和收发器120可在电子封装或芯片中集成在一起。
32.发射/接收元件122可被配置为通过空中接口116向基站(例如，基站114a)传输信号或从基站接收信号。例如，在一个实施方案中，发射/接收元件122可以是被配置为传输和/或接收rf信号的天线。在一个实施方案中，发射/接收元件122可以是被配置为传输和/或接收例如ir、uv或可见光信号的发射器/检测器。在又一个实施方案中，发射/接收元件
122可被配置为传输和/或接收rf和光信号。应当理解，发射/接收元件122可被配置为传输和/或接收无线信号的任何组合。
33.尽管发射/接收元件122在图1b中被描绘为单个元件，但是wtru 102可包括任何数量的发射/接收元件122。更具体地讲，wtru 102可采用mimo技术。因此，在一个实施方案中，wtru 102可包括用于通过空中接口116传输和接收无线信号的两个或更多个发射/接收元件122(例如，多个天线)。
34.收发器120可被配置为调制将由发射/接收元件122传输的信号并且解调由发射/接收元件122接收的信号。如上所指出，wtru 102可具有多模式能力。因此，收发器120可包括多个收发器，以便使wtru 102能够经由多种rat(诸如nr和ieee 802.11)进行通信。
35.wtru 102的处理器118可耦合到扬声器/麦克风124、小键盘126和/或显示器/触摸板128(例如，液晶显示器(lcd)显示单元或有机发光二极管(oled)显示单元)并且可从其接收用户输入数据。处理器118还可将用户数据输出到扬声器/麦克风124、小键盘126和/或显示器/触摸板128。此外，处理器118可从任何类型的合适存储器(诸如不可移动存储器130和/或可移动存储器132)访问信息，并且将数据存储在任何类型的合适存储器中。不可移动存储器130可包括随机存取存储器(ram)、只读存储器(rom)、硬盘或任何其他类型的存储器存储设备。可移动存储器132可包括用户身份模块(sim)卡、记忆棒、安全数字(sd)存储卡等。在其他实施方案中，处理器118可从未物理上定位在wtru 102上(诸如，服务器或家用计算机(未示出)上)的存储器访问信息，并且将数据存储在该存储器中。
36.处理器118可从电源134接收电力，并且可被配置为向wtru 102中的其他部件分配和/或控制电力。电源134可以是用于为wtru 102供电的任何合适的设备。例如，电源134可包括一个或多个干电池组(例如，镍镉(nicd)、镍锌(nizn)、镍金属氢化物(nimh)、锂离子(li-ion)等)、太阳能电池、燃料电池等。
37.处理器118还可耦合到gps芯片组136，该gps芯片组可被配置为提供关于wtru 102的当前位置的位置信息(例如，经度和纬度)。除了来自gps芯片组136的信息之外或代替该信息，wtru 102可通过空中接口116从基站(例如，基站114a、114b)接收位置信息和/或基于从两个或更多个附近基站接收到信号的定时来确定其位置。应当理解，在与实施方案保持一致的同时，该wtru 102可通过任何合适的位置确定方法来获取位置信息。
38.处理器118还可耦合到其他外围设备138，该其他外围设备可包括提供附加特征、功能和/或有线或无线连接的一个或多个软件模块和/或硬件模块。例如，外围设备138可包括加速度计、电子指南针、卫星收发器、数字相机(用于照片和/或视频)、通用串行总线(usb)端口、振动设备、电视收发器、免提耳麦、模块、调频(fm)无线电单元、数字音乐播放器、媒体播放器、视频游戏播放器模块、互联网浏览器、虚拟现实和/或增强现实(vr/ar)设备、活动跟踪器等。外围设备138可包括一个或多个传感器，该传感器可为以下一者或多者：陀螺仪、加速度计、霍尔效应传感器、磁力计、方位传感器、接近传感器、温度传感器、时间传感器；地理位置传感器；测高计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物识别传感器和/或湿度传感器。
39.wtru 102可包括全双工无线电台，对于该全双工无线电台，一些或所有信号的传输和接收(例如，与用于ul(例如，用于传输)和下行链路(例如，用于接收)的特定子帧相关联)可为并发的和/或同时的。全双工无线电台可包括干扰管理单元，该干扰管理单元用于
经由硬件(例如，扼流圈)或经由处理器(例如，单独的处理器(未示出)或经由处理器118)进行的信号处理来减少和/或基本上消除自干扰。在一个实施方案中，wtru 102可包括全双工无线电台，对于该全双工无线电台，一些或所有信号的发射和接收(例如，与用于ul(例如，用于发射)和下行链路(例如，用于接收)的特定子帧相关联)可为并发的和/或同时的。
40.图1c是示出根据一个实施方案的ran 104和cn 106的系统图。如上所述，ran 104可采用e-utra无线电技术通过空中接口116与wtru 102a、102b、102c通信。ran 104还可与cn 106通信。
41.ran 104可包括演进节点b 160a、160b、160c，但是应当理解，ran 104可包括任何数量的演进节点b，同时保持与实施方案一致。演进节点b 160a、160b、160c各自可包括一个或多个收发器以便通过空中接口116与wtru 102a、102b、102c通信。在一个实施方案中，演进节点b 160a、160b、160c可实现mimo技术。因此，演进节点b 160a例如可使用多个天线来向wtru 102a传输无线信号和/或从wtru 102a接收无线信号。
42.演进节点b 160a、160b、160c中的每一者可与特定小区(未示出)相关联，并且可被配置为处理无线电资源管理决策、切换决策、ul和/或dl中的用户的调度等。如图1c所示，演进节点b 160a、160b、160c可通过x2接口彼此通信。
43.图1c所示的cn 106可包括移动性管理实体(mme)162、服务网关(sgw)164和分组数据网络(pdn)网关(或pgw)166。虽然前述元件中的每一者被描绘为cn 106的一部分，但是应当理解，这些元件中的任何元件可由除cn运营商之外的实体拥有和/或操作。
44.mme 162可经由s1接口连接到ran 104中的演进节点b 162a、162b、162c中的每一者，并且可用作控制节点。例如，mme 162可负责认证wtru 102a、102b、102c的用户、承载激活/去激活、在wtru 102a、102b、102c的初始附加期间选择特定服务网关等。mme 162可提供用于在ran 104和采用其他无线电技术(诸如gsm和/或wcdma)的其他ran(未示出)之间进行切换的控制平面功能。
45.sgw 164可经由s1接口连接到ran 104中的演进节点b 160a、160b、160c中的每一者。sgw 164通常可向/从wtru 102a、102b、102c路由和转发用户数据分组。sgw 164可执行其他功能，诸如在演进节点b间切换期间锚定用户平面、当dl数据可用于wtru 102a、102b、102c时触发寻呼、管理和存储wtru 102a、102b、102c的上下文等。
46.sgw 164可连接到pgw 166，该pgw可向wtru 102a、102b、102c提供对分组交换网络(诸如互联网110)的访问，以促进wtru 102a、102b、102c和启用ip的设备之间的通信。
47.cn 106可有利于与其他网络的通信。例如，cn 106可为wtru 102a、102b、102c提供对电路交换网络(诸如，pstn 108)的访问，以有利于wtru 102a、102b、102c与传统传统陆线通信设备之间的通信。例如，cn 106可包括用作cn 106与pstn 108之间的接口的ip网关(例如，ip多媒体子系统(ims)服务器)或者可与该ip网关通信。另外，cn 106可向wtru 102a、102b、102c提供对其他网络112的访问，该其他网络可包括由其他服务提供商拥有和/或运营的其他有线和/或无线网络。
48.尽管wtru在图1a至图1d中被描述为无线终端，但是可以设想到，在某些代表性实施方案中，这种终端可(例如，临时或永久)使用与通信网络的有线通信接口。
49.在代表性实施方案中，其他网络112可为wlan。
50.处于基础结构基本服务集(bss)模式的wlan可具有用于bss的接入点(ap)以及与
ap相关联的一个或多个站点(sta)。ap可具有至分配系统(ds)或将流量携带至和/或携带流量离开bss的另一种类型的有线/无线网络的接入或接口。源自bss外部并通向sta的流量可通过ap到达并且可被传递到sta。源自sta并通向bss外部的目的地的流量可被发送到ap以被传递到相应目的地。bss内的sta之间的流量可通过ap发送，例如，其中源sta可向ap发送流量，并且ap可将流量传递到目的地sta。bss内的sta之间的流量可被视为和/或称为点对点流量。可利用直接链路建立(dls)在源和目的地sta之间(例如，直接在它们之间)发送点对点流量。在某些代表性实施方案中，dls可使用802.11e dls或802.11z隧道dls(tdls)。使用独立bss(ibss)模式的wlan可不具有ap，并且ibss内或使用ibss的sta(例如，所有sta)可彼此直接通信。ibss通信模式在本文中有时可称为“ad-hoc”通信模式。
51.当使用802.11ac基础结构操作模式或相似操作模式时，ap可在固定信道(诸如主信道)上传输信标。主信道可为固定宽度(例如，20mhz宽带宽)或经由信令动态设置的宽度。主信道可为bss的操作信道，并且可由sta用来建立与ap的连接。在某些代表性实施方案中，可例如在802.11系统中实现载波侦听多路访问/冲突避免(csma/ca)。对于csma/ca，sta(例如，每个sta)(包括ap)可侦听主信道。如果主信道被特定sta侦听/检测和/或确定为繁忙，则特定sta可退避。一个sta(例如，仅一个站)可在给定bss中在任何给定时间传输。
52.高吞吐量(ht)sta可使用40mhz宽的信道进行通信，例如，经由主20mhz信道与相邻或不相邻的20mhz信道的组合以形成40mhz宽的信道。
53.极高吞吐量(vht)sta可支持20mhz、40mhz、80mhz和/或160mhz宽的信道。40mhz和/或80mhz信道可通过组合连续的20mhz信道来形成。可通过组合8个连续的20mhz信道，或通过组合两个非连续的80mhz信道(这可被称为80 80配置)来形成160mhz信道。对于80 80配置，在信道编码之后，数据可通过可将数据分成两个流的段解析器。可单独地对每个流进行快速傅里叶逆变换(ifft)处理和时间域处理。可将这些流映射到两个80mhz信道，并且可通过发射sta来传输数据。在接收sta的接收器处，可颠倒上述用于80 80配置的操作，并且可将组合的数据发送到介质访问控制(mac)。
54.802.11af和802.11ah支持低于1ghz的操作模式。相对于802.11n和802.11ac中使用的那些，802.11af和802.11ah中减少了信道操作带宽和载波。802.11af支持电视白空间(tvws)频谱中的5mhz、10mhz和20mhz带宽，并且802.11ah支持使用非tvws频谱的1mhz、2mhz、4mhz、8mhz和16mhz带宽。根据代表性实施方案，802.11ah可支持仪表类型控制/机器类型通信，诸如宏覆盖区域中的mtc设备。mtc设备可具有某些能力，例如有限的能力，包括支持(例如，仅支持)某些带宽和/或有限的带宽。mtc设备可包括电池寿命高于阈值(例如，以保持非常长的电池寿命)的电池。
55.可支持多个信道的wlan系统以及诸如802.11n、802.11ac、802.11af和802.11ah之类的信道带宽包括可被指定为主信道的信道。主信道可具有等于由bss中的所有sta支持的最大公共操作带宽的带宽。主信道的带宽可由来自在bss中操作的所有sta的sta(其支持最小带宽操作模式)设置和/或限制。在802.11ah的示例中，对于支持(例如，仅支持)1mhz模式的sta(例如，mtc型设备)，主信道可为1mhz宽，即使ap和bss中的其他sta支持2mhz、4mhz、8mhz、16mhz和/或其他信道带宽操作模式。载波侦听和/或网络分配向量(nav)设置可取决于主信道的状态。如果主信道繁忙，例如，由于sta(仅支持1mhz操作模式)正在向ap传输，即使大多数频段保持空闲并且可能可用，整个可用频段也可被视为繁忙。
56.在美国，可供802.11ah使用的可用频段为902mhz至928mhz。在韩国，可用频段为917.5mhz至923.5mhz。在日本，可用频段为916.5mhz至927.5mhz。802.11ah可用的总带宽为6mhz至26mhz，具体取决于国家代码。
57.图1d是示出根据一个实施方案的ran 113和cn 115的系统图。如上所指出，ran 113可采用nr无线电技术通过空中接口116与wtru 102a、102b、102c通信。ran 113还可与cn 115通信。
58.ran 113可包括gnb 180a、180b、180c，但是应当理解，ran 113可包括任何数量的gnb，同时保持与实施方案一致。gnb 180a、180b、180c各自可包括一个或多个收发器以便通过空中接口116与wtru 102a、102b、102c通信。在一个实施方案中，gnb 180a、180b、180c可实现mimo技术。例如，gnb 180a、108b可利用波束成形来向gnb 180a、180b、180c传输信号和/或从gnb 180a、180b、180c接收信号。因此，gnb 180a例如可使用多个天线来向wtru 102a传输无线信号和/或从wtru 102a接收无线信号。在一个实施方案中，gnb 180a、180b、180c可实现载波聚合技术。例如，gnb 180a可向wtru 102a(未示出)传输多个分量载波。这些分量载波的子集可在免许可频谱上，而其余分量载波可在许可频谱上。在一个实施方案中，gnb 180a、180b、180c可实现协作多点(comp)技术。例如，wtru 102a可从gnb 180a和gnb 180b(和/或gnb 180c)接收协作传输。
59.wtru 102a、102b、102c可使用与可扩展参数集相关联的传输来与gnb 180a、180b、180c通信。例如，ofdm符号间隔和/或ofdm子载波间隔可因不同传输、不同小区和/或无线传输频谱的不同部分而变化。wtru102a、102b、102c可使用各种或可扩展长度的子帧或传输时间间隔(tti)(例如，包含不同数量的ofdm符号和/或持续变化的绝对时间长度)来与gnb 180a、180b、180c通信。
60.gnb 180a、180b、180c可被配置为以独立配置和/或非独立配置与wtru 102a、102b、102c通信。在独立配置中，wtru 102a、102b、102c可与gnb 180a、180b、180c通信，同时也不访问其他ran(例如，诸如演进节点b 160a、160b、160c)。在独立配置中，wtru 102a、102b、102c可将gnb180a、180b、180c中的一者或多者用作移动性锚定点。在独立配置中，wtru 102a、102b、102c可在未许可频带中使用信号与gnb 180a、180b、180c通信。在非独立配置中，wtru 102a、102b、102c可与gnb 180a、180b、180c通信或连接，同时也与其他ran(诸如，enode-b160a、160b、160c)通信或连接。例如，wtru 102a、102b、102c可实现dc原理以基本上同时与一个或多个gnb 180a、180b、180c和一个或多个演进节点b 160a、160b、160c通信。在非独立配置中，演进节点b 160a、160b、160c可用作wtru 102a、102b、102c的移动性锚点，并且gnb 180a、180b、180c可提供用于服务wtru 102a、102b、102c的附加覆盖和/或吞吐量。
61.gnb 180a、180b、180c中的每一者可与特定小区(未示出)相关联，并且可被配置为处理无线电资源管理决策、切换决策、ul和/或dl中的用户的调度、网络切片的支持、双连接、nr和e-utra之间的互通、用户平面数据朝向用户平面功能(upf)184a、184b的路由、控制平面信息朝向接入和移动性管理功能(amf)182a、182b的路由等。如图1d所示，gnb 180a、180b、180c可通过xn接口彼此通信。
62.图1d所示的cn 115可包括至少一个amf 182a、182b、至少一个upf 184a，184b、至少一个会话管理功能(smf)183a、183b以及可能的数据网络(dn)185a、185b。虽然前述元件
中的每一者被描绘为cn 115的一部分，但是应当理解，这些元件中的任何元件可由除cn运营商之外的实体拥有和/或操作。
63.amf 182a、182b可在ran 113中经由n2接口连接到gnbs 180a、180b、180c中的一者或多者，并且可用作控制节点。例如，amf 182a、182b可负责认证wtru 102a、102b、102c的用户、网络切片的支持(例如，具有不同要求的不同pdu会话的处理)、选择特定smf 183a、183b、注册区域的管理、nas信令的终止、移动性管理等。amf 182a、182b可使用网络切片，以便基于wtru 102a、102b、102c所使用的服务的类型来为wtru 102a、102b、102c定制cn支持。例如，可针对不同的用例(诸如，依赖超高可靠低延迟(urllc)接入的服务、依赖增强型移动宽带(embb)接入的服务、用于机器类型通信(mtc)接入的服务等)建立不同的网络切片。amf 162可提供用于在ran 113和采用其他无线电技术(诸如lte、lte-a、lte-a pro和/或非3gpp接入技术，诸如wifi)的其他ran(未示出)之间进行切换的控制平面功能。
64.smf 183a、183b可经由n11接口连接到cn 115中的amf 182a、182b。smf 183a、183b还可经由n4接口连接到cn 115中的upf 184a、184b。smf 183a、183b可选择并控制upf 184a、184b，并且配置通过upf 184a、184b进行的流量路由。smf 183a、183b可执行其他功能，诸如管理和分配ue ip地址、管理pdu会话、控制策略实施和qos、提供下行链路数据通知等。pdu会话类型可以是基于ip的、非基于ip的、基于以太网的等。
65.upf 184a、184b可经由n3接口连接到ran 113中的gnb 180a、180b、180c中的一者或多者，这些gnb可向wtru 102a、102b、102c提供对分组交换网络(诸如互联网110)的访问，以促进wtru 102a、102b、102c和启用ip的设备之间的通信。upf 184、184b可执行其他功能，诸如路由和转发分组、实施用户平面策略、支持多宿主pdu会话、处理用户平面qos、缓冲下行链路分组、提供移动性锚定等。
66.cn 115可有利于与其他网络的通信。例如，cn 115可包括用作cn 115与pstn 108之间的接口的ip网关(例如，ip多媒体子系统(ims)服务器)或者可与该ip网关通信。另外，cn 115可向wtru 102a、102b、102c提供对其他网络112的访问，该其他网络可包括由其他服务提供商拥有和/或运营的其他有线和/或无线网络。在一个实施方案中，wtru 102a、102b、102c可通过upf 184a、184b经由至upf 184a、184b的n3接口以及upf 184a、184b与本地数据网络(dn)185a、185b之间的n6接口连接到dn 185a、185b。
67.鉴于图1a至图1d以及图1a至图1d的对应描述，本文参照以下中的一者或多者描述的功能中的一个或多个功能或全部功能可由一个或多个仿真设备(未示出)执行：wtru 102a-d、基站114a-b、演进节点b 160a-c、mme 162、sgw 164、pgw 166、gnb 180a-c、amf 182a-b、upf 184a-b、smf 183a-b、dn 185a-b和/或本文所述的任何其他设备。仿真设备可以是被配置为模仿本文所述的一个或多个或所有功能的一个或多个设备。例如，仿真设备可用于测试其他设备和/或模拟网络和/或wtru功能。
68.仿真设备可被设计为在实验室环境和/或运营商网络环境中实现其他设备的一个或多个测试。例如，该一个或多个仿真设备可执行一个或多个或所有功能，同时被完全或部分地实现和/或部署为有线和/或无线通信网络的一部分，以便测试通信网络内的其他设备。该一个或多个仿真设备可执行一个或多个功能或所有功能，同时临时被实现/部署为有线和/或无线通信网络的一部分。仿真设备可直接耦合到另一个设备以用于测试目的和/或可使用空中无线通信来执行测试。
69.该一个或多个仿真设备可执行一个或多个(包括所有)功能，同时不被实现/部署为有线和/或无线通信网络的一部分。例如，仿真设备可在测试实验室和/或非部署(例如，测试)有线和/或无线通信网络中的测试场景中使用，以便实现一个或多个部件的测试。该一个或多个仿真设备可为测试设备。经由rf电路(例如，其可包括一个或多个天线)进行的直接rf耦合和/或无线通信可由仿真设备用于传输和/或接收数据。
70.3d点云(例如，高质量3d点云)可用于表示沉浸式媒体。点云可包括一个或多个点(例如，点集)，其可使用指示每个点的位置的坐标和/或一个或多个属性在3d空间中进行表示。例如，属性可包括以下中的一者或多者：与每个点相关联的颜色、透明度、采集时间、激光反射率或材料特性等。可以多种方式捕获点云。例如，可使用多个相机和深度传感器来捕获点云。光检测和测距(lidar)激光扫描仪可用于捕获点云。用于在3d空间中现实地重建对象和/或场景的点云中包括的点数可为约数百万或数十亿个。高效表示和压缩可促进存储和/或传输点云数据。
71.图2示出了用于基于视频的点云压缩(v-pcc)的比特流200的示例性结构，其可由编码设备传输(例如，发信号通知)并且由解码设备解析和解码。v-pcc比特流200可包括一个或多个v-pcc单元202的集合，并且表1包括用于发信号通知v-pcc单元的示例性语法。每个v-pcc单元202可包括v-pcc单元标头204和v-pcc单元有效负载206，并且v-pcc单元有效负载206可继而包括序列参数集208、占用视频数据210、各种类型的补片数据组212、几何视频数据214或属性视频数据216中的一者或多者。v-pcc单元标头204可定义v-pcc单元的v-pcc单元类型(例如，如表2中的vpcc_unit_type字段指示)，其可以是多个值中的一者，包括例如可分别对应于占用、几何形状、属性、补片数据组和序列参数集数据单元的vpcc_ovd、vpcc_gvd和vpcc_avd、vpcc_pdg、vpcc_sps。这些单元类型中的一些或全部的v-pcc单元可用于重建点云。v-pcc属性单元标头可指定属性类型及其索引。v-pcc属性单元标头可允许支持相同属性类型的多个实例。如图所示，vpcc_unit_type可指示v-pcc单元的类型，vpcc_sequence_parameter_set_id可指示v-pcc序列参数集的标识符，vpcc_attribute_index可指示v-pcc属性的索引，vpcc_attribute_dimension_index可指示v-pcc属性的维度分区的索引，sps_multiple_layer_streams_present_flag可指示序列参数集(sps)是否与多个层或视图相关联，vpcc_layer_index可指示多个层中的一者的索引，pcm_separate_video_data可指示脉冲代码调制(pcm)视频数据(例如，在单独视频流中)和/或与对pcm数据进行编码相关联的参数，并且vpcc_reserved_zero_23bits或vpcc_reserved_zero_27bits可指示保留的零位的数量。
72.占用、几何形状和/或属性v-pcc单元的有效负载可对应于可由视频解码设备(例如，如在对应的占用、几何形状和属性参数集v-pcc单元中指定)解码的视频数据单元(例如，hevc网络抽象层(nal)单元)。表3示出了示例性v-pcc单元有效负载语法。
73.表1-v-pcc单元语法
74.vpcc_unit(){描述符vpcc_unit_header() vpcc_unit_payload() } 75.表2-v-pcc单元标头语法
[0076][0077]
表3-v-pcc单元有效负载语法
[0078][0079]
在示例中(例如，当在v-pcc中使用无损编码时)，编码器可生成缺失点的补片，该补片包括关于在根据压缩v-pcc比特流的重建之后可能缺失的点的信息。缺失点可被称为缺失脉冲代码调制(pcm)点。pcm点可被直接编码，例如，不利用补片投影过程。缺失点的补片可使得解码器能够重建(例如，完全重建)可作为输入提供给v-pcc编码器的原始点云。包括与缺失点相关的信息的补片可包装在相同视频中(例如，在承载其他点的相同视频流中)或在单独视频中(例如，在与承载其他点的视频流分开的视频流中)。
[0080]
补片数据组(pdg)可通过补片nal(pnal)单元(例如，或图集nal单元)来替换。pnal单元可等同于用于视频流的网络抽象层(nal)单元。每个pnal单元可包括标头，该标头包括单元类型和/或附加信息(例如，诸如层识别)。pnal单元可以一种或多种格式定义。一种或
多种格式可包括简单pnal单元流格式和/或样本流格式。在样本流格式中，附加标头可在pnal单元之前。附加标头可指示pnal单元的大小(例如，精确大小)。
[0081]
国际标准化组织(iso)基础媒体文件格式(isobmff)可定义结构上的、媒体无关的文件格式。isobmff(例如，isobmff容器文件)可包括例如用于媒体内容(诸如音频、视频等)的定时呈现的结构和/或媒体数据信息。isobmff容器文件可包括对非定时数据(诸如文件结构内的不同级别的元数据)的支持。文件的逻辑结构可具有(例如，可模拟)可包括时间并行轨的集合的电影。文件的时间结构是可包括时间样本的序列的轨。序列可映射到整个电影的时间线中。isobmff可基于框结构化文件的概念。框结构化文件可包括一系列框(例如，原子)，其可具有相应的大小和/或类型(例如，每个框可与大小和类型相关联)。类型可以是32位值并且可由四个可印刷字符表示，也称为四字符代码(4cc)。未定时数据可包括在元数据框中(例如，在文件级)，和/或可附接到电影框或电影内的定时数据流(例如，轨)中的一者。
[0082]
isobmff容器(例如，isobmff容器文件)可包括moviebox(“moov”)。moviebox可包括文件中存在的媒体流(例如，连续媒体流)的元数据。可在movie box中的框的层级内发信号通知元数据，例如，在trackbox(“trak”)内。轨可表示文件中存在的媒体流(例如，连续媒体流)。媒体流可包括样本(例如，样本条目)的序列，诸如基本媒体流的音频或视频访问单元，并且可被包封在mediadatabox(“mdat”)(例如，其可存在于容器的顶级)内。每个轨的元数据可包括样本描述条目的列表，每个样本描述条目提供轨中使用的编码或封装格式和用于处理该格式的初始化数据。每个样本可与轨的样本描述条目中的一者相关联。可使用工具来定义每个轨的显式时间线图。例如，编辑列表可定义每个轨的显式时间线图。编辑列表可通过表4中所示的示例性语法使用editlistbox(或类似实体)来发信号通知，其中每个条目定义轨时间线的一部分，例如通过映射组成时间线的一部分，或通过指示“空”时间或“空”编辑(例如，呈现时间线的映射到无媒体的部分)。
[0083]
表4-示例性editlistbox语法
[0084][0085]
isobmff可用于处理其中文件作者(例如，编码设备)可指示将在播放器或渲染器上执行的某些动作的情况。在视频流的情况下，文件作者可通过使用受限视频方案轨来指示此类动作。当视频轨是受限视频方案轨时(例如，如iso/iec 14496-12标准的子条款8.15中定义的)，可在轨上发信号通知解码器后要求。轨可通过将其样本条目代码设置为四字符
代码(4cc)“resv”以及将restrictedschemeinfobox(或类似实体)添加到其样本描述中来转换成受限视频方案轨。一个或多个(例如，所有其他)框可保持未修饰。基于用于对流进行编码的视频编解码器的原始样本条目类型可存储在restrictedschemeinfobox内的originalformatbox(或类似实体)内。restrictedschemeinfobox可包括三个框：originalformatbox、schemetypebox和schemeinformationbox。originalformatbox可存储原始样本条目类型，其基于用于对部件流进行编码的视频编解码器。限制的性质(例如，特性)可在schemetypebox中定义。
[0086]
图3示出了isobmff v-pcc容器300的示例性结构。基于此示例性结构，v-pcc isobmff容器可包括以下中的一者或多者。v-pcc isobmff容器可包括v-pcc轨302。v-pcc轨302可包括承载一个或多个非视频编码信息v-pcc单元(例如，v-pcc单元类型为vpcc_sps和/或vpcc_pdg)的有效负载的一个或多个序列参数集和/或样本。v-pcc轨302可提供对包含承载一个或多个视频压缩v-pcc单元(例如，v-pcc单元类型为vpcc_gvd、vpcc_avd和/或vpcc_ovd)的有效负载的样本的其他轨的轨引用。v-pcc isobmff容器可包括一个或多个受限视频方案轨304，其样本可包括几何数据的视频编码基本流的nal单元(例如，类型vpcc_gvd的v-pcc单元的有效负载)。v-pcc isobmff容器可包括一个或多个受限视频方案轨306，其样本可包括属性数据的视频编码基本流的nal单元(例如，类型vpcc_avd的v-pcc单元的有效负载)。v-pcc isobmff容器可包括一个或多个受限视频方案轨308，其样本可包括占用图数据的视频编码基本流的nal单元(例如，类型vpcc_ovd的v-pcc单元的有效负载)。
[0087]
可提供点云数据的容器格式。缺失pcm点信息的承载可由点云数据的容器格式支持。可提供v-pcc区块组和/或空间访问的信令。v-pcc轨的样本格式可支持pnal单元。可提供许多文件格式结构以支持pcm信息和/或提供实现对v-pcc比特流内的不同分量、层和/或空间区域的灵活访问的信令。轨(例如，仅单个轨)可用于存储v-pcc分量的层(例如，所有层)的信息，例如，当v-pcc分量的层构成单个视频流时。样本分组机制可用于对属于每个层的样本进行分组。
[0088]
如果层存储在单独轨中，则可使用轨分组工具来发信号通知单独轨是针对属于相同v-pcc分量的层。例如，可例如通过扩展trackgrouptypebox来定义轨组类型(例如，vpcccomponentgroupbox或类似实体)。trackgrouptypebox可包括作为组的标识符的track_group_id字段，以及存储识别组类型的四字符代码的track_group_type字段。track_group_id和track_group_type的对可识别容器文件内的轨组。vpcccomponentgroupbox可如下定义。vpcccomponentgroupbox可以是“vplg”的框类型并且可位于trackgroupbox容器内。在示例中，vpcccomponentgroupbox可以是任选的(例如，非强制性)。在示例中，可在trackgroupbox中存在多个vpcccomponentgroupbox框。
[0089]
表5示出了示例性vpcccomponentgroupbox语法。
[0090]
表5-示例性vpcccomponentgroupbox语法
[0091][0092]
属于相同分量的层的轨(例如，所有轨)可具有trackgroupbox内的
vpcccomponentgroupbox。在每个vpcccomponentgroupbox中，track_group_id的值可为相同的。v-pcc媒体播放器可通过解析容器中的每个轨和/或识别具有带相同track_group_id值的vpcccomponentgroupboxes的那些轨来识别属于相同v-pcc分量的轨。
[0093]
为了共同引用属于相同分量的轨(例如，所有轨)，对应于主v-pcc轨中的v-pcc分量的轨引用可使用分量的轨组的track_group_id(例如，以识别与分量相关联的一个或多个跟踪组)。例如，对应于分量的trackreferencetypebox可在其track_id阵列中具有使用track_group_id来识别分量的轨组的条目。
[0094]
在示例中，trackgrouptypebox可包括标记字段和位(例如，字段的位0，其中位0是最低有效位)，其可用于指示track_group_id的唯一性。可对承载相同层的几何形状和/或属性信息的轨进行分组。对承载几何形状和/或属性信息的轨进行分组可使得媒体播放器能够执行对v-pcc内容的可缩放访问。vpcclayergroupbox或类似实体可被定义并且可被给予“vplg”的框类型。vpcclayergroupbox可位于trackgroupbox容器内。在示例中，vpcclayergroupbox可以是任选的(例如，非强制性)。在示例中，可在trackgroupbox中存在多个vpcclayergroupbox框。
[0095]
表6示出了示例性vpcclayergroupbox语法。
[0096]
表6-示例性vpcclayergroupbox语法
[0097][0098]
如示例性语法中所示，vpcclayergroupbox字段可包括以下字段中的一者或多者。layer_index字段可指示组的一个或多个轨属于的层的索引。absolute_coding_flag字段可指示该轨组中的几何轨是否取决于另一个层中的几何轨。如果absolute_coding_flag被设置为1，则轨可能不取决于另一个层。如果absolute_coding_flag被设置为0，则轨可能取决于另一个层。predictor_layer_index字段可指示该组中的几何轨取决于的层的索引。
[0099]
可提供v-pcc分量轨。在示例中(例如，当一个或多个v-pcc流分量(诸如占用、几何形状和/或属性分量)被视频编码时)，承载与v-pcc流分量有关的信息(例如，占用、几何形状和/或属性分量中的任一者)的一个或多个轨可被发信号通知为受限视频方案轨。受限视频方案轨可能不计划用于直接渲染。schemetypebox中的scheme_type字段可被设置为针对v-pcc内容的分量的4cc(例如，“pccv”)。与v-pcc方案相关联的数据可存储在schemeinformationbox中。例如，与v-pcc方案相关联的数据可在vpcccomponentinfobox(或类似实体)中发信号通知，该vpcccomponentinfobox可在schemeinformationbox中承载并且如下定义。
[0100]
表7示出了示例性vpcccomponentinfobox语法。
[0101]
表7-示例性vpcccomponentinfobox语法
[0102][0103]
如示例性语义中所示，vpcccomponentinfobox可包括以下字段中的一者或多者。component_type字段可指示分量的类型。例如，可保留component_type的值0。component_type的值1可指示占用图分量。component_type的值2可指示几何分量。component_type的值3可指示属性分量。应注意，本文中提供数字作为示例，并且其他数字可用于指示各种分量类型。is_pcm_flag字段可指示轨中承载的信息是否用于pcm点。当is_pcm_flag被设置(例如，被设置为值1)，轨可承载由component_type指示的分量的pcm信息。all_layers_present_flag字段可指示轨是否正承载分量的所有层的信息。分量的层(例如，所有层)的编码数据可存在于轨中，例如，当all_layers_present_flag被设置(例如，被设置为值1)时。否则(例如，当all_layers_present_flag未被设置或被设置为值0时)，轨可承载分量的单层的编码数据。layer_index字段可指示由轨承载的数据属于的分量层的索引。
[0104]
schemeinformationbox可包括附加的vpccattributeinfobox(或类似实体)，其可提供对属性分量的附加描述，例如，如果分量轨正承载属性信息(例如，component_type被设置为3)。vpccattributeinfobox可如表8所示的那样定义。
[0105]
表8-示例性vpccattributeinfobox语法
[0106][0107]
如表8的示例性语义中所示，vpccattributeinfobox可包括以下字段中的一者或多者。attr_index字段可指示属性列表中的属性的索引。attr_type字段可指示属性的属性类型。attr_dimensions字段可指示属性的维度的数量(例如，总数)。attr_first_dim_
index字段可指示由轨承载的第一属性维度的索引(例如，基于零的索引)。
[0108]
vpccattributeinfobox可包括分区索引。表9示出了另一个示例性vpccattributeinfobox语法。
[0109]
表9-示例性vpccattributeinfobox语法
[0110][0111]
如表9的示例性语法中所示，vpccattributeinfobox可包括以下字段中的一者或多者。attr_index字段可指示属性列表中的属性的索引。attr_type字段可指示属性的类型。attr_dimensions字段可指示属性的维度的数量(例如，总数)。attr_dim_partition_index字段可表示由轨承载的维度分区的索引(例如，基于零)。
[0112]
在示例中，vpcccomponentbox可承载(例如，直接承载)对应于由轨承载的分量信息的vpcc_unit_type的vpcc_unit_header()hls结构。如果vpcc_unit_type是vpcc_avd，则schemeinformationbox中的vpccattributeinfobox的存在可以是任选的。
[0113]
关于缺失pcm点的信息可包括几何数据和/或属性数据。pcm点信息可包装在相关分量的视频流中和/或作为单独视频流可用(例如，每个分量的一个视频流)。pcm点信息可承载在单独轨中(例如，与特定分量有关的信息的一个轨)，例如，当pcm点信息为单独可用时。单独轨可被发信号通知为受限视频方案轨(例如，如本文所描述的)，其中vpcccomponentbox中的is_pcm_flag字段被设置为1。承载pcm点信息的每个轨可包括在相关分量的轨组中。从主轨到v-pcc分量的track_group_id的轨引用可引用(例如，共同引用)pcm和/或非pcm点的轨。
[0114]
与pcm相关联的几何信息和属性信息可被分组，例如，以使得能够容易地识别和访问缺失点。可使用如表10所示的vpccpcmtrackgroupbox(或类似实体)来定义轨分组，例如以识别具有pcm点信息的轨。
[0115]
表10-示例性vpccpcmtrackgroupbox语法
[0116][0117]
承载与特定v-pcc内容的pcm点有关的信息的轨可包括trackgroupbox内的vpccpcmtrackgroupbox(或类似实体)。在每个vpccpcmtrackgroupbox中，track_group_id的值可为相同的。
[0118]
4cc值(例如“pccp”)可针对trackreferencetypebox的reference_type字段进行定义。4cc值可用于发信号通知对承载pcm点数据(例如，包括几何形状和/或属性数据)的轨的引用。
[0119]
在示例中，可不存在对用于对v-pcc比特流的各种分量进行编码的预测结构的约
束。因此，可以通过将导致跨各种分量子流的非对准内刷新周期的编码配置对不同分量和/或相同分量的不同层进行编码(例如，如果分量不处于相同的视频流中)。此类跨各种分量子流的非对准内刷新周期可使随机访问具有挑战性，因为在给定解码时间的主v-pcc轨中的补片流中的内编码样本可能不具有针对相同解码时间的其他分量轨中的对应内编码样本。在不具有指示分量轨中的同步样本相对于主轨的位置的的附加信息的情况下，媒体播放器可对最近同步样本的分量轨采取扫描。
[0120]
一个v-pcc分量中的同步样本可与其他分量中的同步样本未对准。主轨中的同步样本可具有其他(例如，所有其他)分量轨中的对应同步样本。例如，如果补片序列流的内刷新周期为每30帧一次，则几何分量可具有每60帧一次的内刷新周期，和/或纹理属性可具有每30帧一次的内刷新周期。例如，内刷新帧可在主轨中以及在其他(例如，所有其他)分量中以每30秒存在。内刷新帧可具有相同的解码时间。
[0121]
可定义对跨分量的编码内随机接入点(irap)周期的约束(例如，以支持随机接入)，使得irap样本跨轨对准。例如，可约束编码器以便以规则间隔生成具有对准同步样本的子流。利用约束，解码器和/或客户端可假设irap样本在一个(例如，任何)分量轨中检测到irap样本的同时在一个或多个(例如，所有其他)分量中可用。每个分量的irap可表示vpcc比特流的irap。图4示出了分量的irap样本被对准的约束的示例。
[0122]
本文描述的约束可消除对附加信息的需要以发信号通知跨轨的同步样本的对应关系。当在主轨中达到同步样本时，可在其他(例如，所有其他)分量轨中发现具有相同解码时间的对应同步样本。
[0123]
在示例中，可选择不同分量和主补片序列轨的irap周期，使得时间对准(例如，同步化)内样本以规则间隔出现。当时间对准(例如，同步化)内样本以规则间隔出现时，访问主v-pcc轨中的同步样本的v-pcc媒体播放器可在其他分量轨中找到相同解码时间的对应同步样本。每个分量可具有不同的irap周期。主v-pcc轨的irap周期可以是其他(例如，所有)分量轨的irap周期的最小公倍数。主v-pcc轨的irap可表示v-pcc比特流的irap。图5示出了使用irap周期的最小公倍数来指示v-pcc irap的示例。
[0124]
在示例中，可能没有对v-pcc分量的irap周期的约束。主v-pcc轨的irap可表示v-pcc比特流的irap。对于其他分量，可鉴于主v-pcc中的irap的解码和/或呈现时间来定位最近的irap。
[0125]
v-pcc高级语法(hls)可支持区块组。在视频编码标准(例如，hevc)中，可将2d帧划分为区块网格。一个或多个区块组可对应于包括多个区块的2d帧中的矩形区域。可对运动约束区块集(mcts)进行解码(例如，独立解码)，并且该mcts可使得能够在帧内提取特定区域。在v-pcc中，对应于属于空间的特定区域(例如，3d区域或长方体)的点的补片可包装在一个或多个mcts中。区块组和mcts在本文中可互换使用。
[0126]
图6示出了可用于实现对3d空间内的特定区域的空间访问的v-pcc容器结构600的示例。如图所示，点云的3d空间602(例如，对应于3d空间的边界框)可被划分成3d立方体网格(例如，长方体602a、602b、602c等)，其表示3d空间中的多个区域和/或对象。属于3d空间内的区域和/或对象中的每一者的点可被聚类，并且可使用边界框来表示该区域或对象。属于相同对象的不同部分的点可被分组在一起，并且可由该部分的相应边界框表示。
[0127]
由每个所得边界框内的点投影产生的补片可在多个v-pcc分量流或轨的2d帧内的
一个或多个区块组中包装在一起(例如，占用、几何形状和/或属性流或轨)。可使用生成区块组(例如，可独立解码的区块组)的编码配置来对补片进行编码。这些区块组可在isobmff容器内的单独轨中承载，并且因此术语“区块组”在本文中可与“轨组”互换使用(例如，区块组可以是轨组的实例)。在单独轨中承载区块组可使得解码设备(例如，媒体播放器)能够访问和/或下载那些承载与3d空间中的特定区域或对象相关的信息的轨。例如，当区块组承载在v-pcc比特流的单独轨中时，媒体播放器可能仅能够当对特定区域进行解码时(例如，当渲染区域的视觉表示时)访问和/或下载与3d空间的特定区域相关的轨。
[0128]
具有跨v-pcc分量的对应区块组的轨(例如，承载表示区域或对象的边界框内的点的信息的那些)可使用轨分组工具来分组在一起。可将trackgroupbox(“trgr”)或类似实体添加到这些轨中的每一者的trackbox中，并且可通过扩展如下所示的trackgrouptypebox来定义v-pcc区块组的轨分组类型(例如，利用track_group_id或tile_group_id字段)。
[0129]
表11示出了示例性vpcctilegroupbox语法。
[0130]
表11-示例性vpcctilegroupboxsyntax
[0131][0132]
如表11的示例性语义所示，vpcctilegroupbox可包括识别v-pcc区块组(例如，如其标识)的tile_group_id字段(或类似字段)。在示例中，tile_group_id可对应于区块组地址(例如，诸如ptgh_address的字段，其可包括在v-pcc比特流的区块组标头中)(例如，与其相同)。属于相同点云区块组的轨可具有针对track_group_type“vptg”的track_group_id的相同值。来自一个点云区块组的轨的track_group_id可与来自任何其他点云区块组的轨的track_group_id不同。例如，如图6所示，对应于3d区域602a的第一区块组可具有为1的轨组id，并且对应于3d区域602b的第二区块组可具有为2的轨组id。因此，具有等于“vptg”(或类似4cc值)的track_group_type的trackgrouptypebox内的track_group_id可用作isobmff容器文件内的点云区块组的标识符。
[0133]
例如，可使用样本分组来发信号通知哪个样本属于哪个v-pcc区块组。例如，如果对于一个v-pcc分量，在轨中承载与多于一个v-pcc区块组相关的信息(例如，对于v-pcc区块组的集合，在轨内存在样本组的集合，其中每个样本组与相应v-pcc区块组相关联)，则可使用样本分组。可定义样本组条目(例如，如下表12所示)，其中tile_group_id的语义(例如，定义)可与如本文提供的vpcctilegroupbox中定义的tile_group_id的那些语义相同。组类型可以是“vpge”或类似4cc值。容器可以是samplegroupdescriptionbox(“sgpd”)或类似实体。vpcctilegroupbox可能不是必需的(例如，可以是任选的)，并且每个轨可具有多个vpcctilegroupbox(例如，与其相关联)。表12示出了vpcctilegroupentry的示例性语法。
[0134]
表12-示例性vpcctilegroupentry语法
[0135][0136]
在示例中，可在分量轨内定义承载一个或多个v-pcc区块组的子轨。可使用
subtracksamplegroupbox(或类似实体)以及列出与对应subtracksamplegroupbox中的每个子轨中承载的v-pcc区块组相对应的vpcctilegroupentry实例(或类似实体)来定义一个或多个v-pcc区块组(例如，通过引用其group_description_index)。一个或多个v-pcc区块组可通过定义v-pcc特定的vpcctilegroupsubtrackbox来定义(例如，如表13所示)。框类型可被设置为“vpst”或类似4cc值。容器可以是subtrackdefinitionbox(“strd”)或类似实体。vpcctilegroupsubtrackbox可能不是必需的(例如，可以是任选的)，并且每个轨可具有多个vpcctilegroupsubtrackbox。
[0137]
表13-示例性vpcctilegroupsubtrackbox语法
[0138][0139]
vpcctilegroupsubtrackbox中的tile_group_id的联合(例如，收集)可描述(例如，共同描述)由框定义的子轨。vpcctilegroupsubtrackbox的语义可包括以下字段中的一者或多者。item_count字段可表示vpcctilegroupsubtrackbox中列出的区块组的数量的计数。tile_group_id字段可表示包含在此子轨中的v-pcc区块组的标识符。vpcctilegroupsubtrackbox中的tile_group_id字段可匹配(例如，对应于)在vpcctilegroupentry中定义的tile_group_id。
[0140]
可在3d空间中的区域或对象(例如，3d边界框中的每一者)与其相应区块组之间提供映射，以例如使得客户端(例如，媒体播放或解码设备)能够识别要访问/下载哪些轨以便渲染3d空间中的特定区域(例如，如由边界框表示)。应注意，虽然2d帧内的区块组的位置可能不改变，但3d空间内的边界框(例如，区域)的位置和可能的大小(例如，维度)可随时间推移而变化，例如，由于由边界框内的点表示的对象的移动。点云中的3d区域可使用表14所示的示例性3d区域结构来定义。
[0141]
表14-示例性3dregionstruct语法
[0142][0143]
如表14的示例性语义中所示，3dregionstuct可包括以下字段中的一者或多者。region_id字段可表示3d区域的唯一标识符。region_x字段可表示与3d区域相关联的参考点(例如，与区域相关联的边界框)的x坐标。region_y字段可表示参考点的y坐标。region_z
字段可表示参考点的z坐标。region_width字段可指示沿着x轴的3d区域(例如，与区域相关联的边界框)的长度。region_heigh字段可指示沿着y轴的3d区域(例如，与区域相关联的边界框)的长度。region_depth字段可指示沿着z轴的3d区域(例如，与区域相关联的边界框)的长度。dimensions_included_flag字段可指示是否在结构的相同实例中发信号通知3d区域(例如，与区域相关联的边界框)的维度。例如，如果dimensions_included_flag具有为0的值，则可指示不发信号通知维度，并且可能先前已经针对相同区域发信号通知维度(例如，具有相同region_id的vpcc3dregionstruct的先前实例发信号通知维度)。如果dimension_included_flag具有为1的值，则可指示发信号通知维度。
[0144]
点云中的3d区域或对象可使用vpccregiontotilegroupbox或类似实体来与一个或多个点云区块组(例如，轨组的实例)相关联。表15示出了示例性vpccregiontotilegroupbox语法。
[0145]
表15-示例性vpccregiontotilegroupbox语法
[0146][0147]
如表15的示例性语义所示，vpccregiontotilegroupbox可指示3d空间中的区域(或对象)与一个或多个区块组(例如，轨组)之间的映射关系。vpccregiontotilegroupbox可包括以下字段中的一者或多者。num_regions字段可指示与3d空间相关联的点云中的3d区域的数量。region_id字段可识别3d区域(例如，包括其标识符)。num_tile_groups字段可指示与3d区域相关联的v-pcc区块组的数量。tile_group_id字段可识别v-pcc区块组。因此，vpccregiontotilegroupbox可至少经由tile_group_id字段和region_id字段将一个或多个区块链接到3d区域。
[0148]
可在主v-pcc轨604的样本条目中或在与主v-pcc轨相关联的单独定时元数据轨606的样本条目中发信号通知vpccregiontotilegroupbox，如图6所示。定时元数据轨606(例如，其可与主v-pcc轨分离)可包括在isobmff容器中，并且可用于例如随时间推移更新点云的定义3d区域的一种或多种特性(例如，位置和/或维度)。该定时元数据轨606可包括具有为“vp3r”的4cc(或类似4cc值)的定义样本条目(例如，vpcc3dregionsampleentry)，并且定义样本条目可通过表16中的示例性语法(例如，针对vpcc3dregioninfobox或类似实体)来扩展metadatasampleentry或类似实体，如图所示。
[0149]
表16-示例性vpcc3dregioninfobox语法
[0150][0151]
如表16的示例性语义所示，vpcc3dregioninfobox可包括指示3d空间中的3d区域的总数的num_regions字段。定时元数据轨606可例如使用为“cdsc”的4cc(或类似4cc值)作为轨参考来与主v-pcc轨604链接。该定时元数据轨中的(例如，每个)样本可指定3d区域，例如，使用下表17中所示的示例性语法。可以导出的轨格式扩展vpcc3dregionsample结构(例如，或类似实体)。
[0152]
表17-示例性vpcc3dregionsample语法
[0153][0154]
如表17的示例性语义所示，vpcc3dregionsample可包括可指示在样本中发信号通知的3d区域的数量的num_regions字段。样本中发信号通知的3d区域的数量可等于或可不等于可用区域的总数。例如，样本中发信号通知的3d区域的数量可指示在样本中更新其特性(例如，位置和/或维度)的3d区域。
[0155]
补片信息可承载在v-pcc轨中。v-pcc轨的vpccdecoderconfigurationrecord(或类似实体)和样本格式语法可如下格式化，例如，以支持被构造为补片网络抽象层(pnal)单元的序列的补片信息子流的承载。vpccdecoderconfigurationrecord可向解码器提供配置信息(例如，在解码过程的开始时)。vpccdecoderconfigurationrecord可包括一个或多个参数集和/或一个或多个补充增强信息(sei)消息。vpccdecoderconfigurationrecord可包括lengthsizeminusone字段。可在下表18中示出了示例性vpccdecoderconfigurationrecord语法。
[0156]
表18-示例性vpccdecoderconfigurationrecord语法
[0157][0158]
如表18的示例性语义所示，vpccdecoderconfigurationrecord可包括指示配置记录的当前版本的configurationversion字段。在示例中，对解码器配置记录的不兼容改变可由配置版本编号的改变指示。解码设备可被配置为如果未识别出配置版本编号，则不尝试对配置记录或其应用于的流进行解码。vpccdecoderconfigurationrecord可包括lengthsizeminusone字段，并且lengthsizeminusone的值加1可指示v-pcc样本(例如，该配置记录应用于的流中)中的pnalunitlength字段的长度(例如，以字节为单位)。例如，一个字节的pnalunitlength字段长度可通过为0值的lengthsizeminusone指示。lengthsizeminusone字段的值可以是0、1或3，其可对应于分别通过1、2或4个字节进行编码的长度(例如，pnalunitlength)。
[0159]
在示例中，解码器配置记录可包括一个或多个设置单元阵列，诸如针对v-pcc参数集(例如，vsequence参数集)的第一设置单元阵列和针对补片信息子流的其他设置单元的第二设置单元阵列。下表19示出了指示一个或多个设置单元阵列的示例。
[0160]
表19-示例性vpccdecoderconfigurationrecord语法
[0161][0162][0163]
如表19的示例性语义中所示，vpccdecoderconfigurationrecord(或类似实体)可包括以下字段中的一者或多者。configurationversion字段(或类似命名的字段)可指示配
置记录的当前版本。在示例中，对解码器配置记录的不兼容改变可由配置版本编号的改变指示。解码设备可被配置为如果未识别出配置版本编号，则不尝试对配置记录或其应用于的流进行解码。numofsequenceparametersets字段(或类似命名的字段)可指示解码器配置记录(例如，针对解码器配置记录应用于的流)中发信号通知(例如，定义)的v-pcc参数集(例如，阵列)的数量。numofsetupunitarrays字段可指示解码器配置记录(例如，针对解码器配置记录应用于的流)中发信号通知(例如，定义)的指示类型(例如，如由pnal_unit_type指示)的pnal单元的阵列的数量。array_completeness字段可指示所有pnal单元是否包括在阵列中。例如，当array_completeness字段等于1时，它可指示给定类型的pnal单元(例如，所有pnal单元)包括在以下阵列中(例如，都不在流中)。当array_completeness字段等于0时，它可指示所指示类型的附加pnal单元可在流中。array_completeness的默认值和/或许可值可被对应样本条目的样本条目名称或样本条目类型限制。例如，vpccdecoderconfiguraionrecord可在不同样本条目中使用。vpccdecoderconfiguraionrecord的容器可以是vpccdecoderconfigurationbox(或类似实体)，其可以是包含在vpccsampleentry内的框。vpccsampleentry可具有不同类型，并且样本条目的类型可对包封的vpccdecoderconfigurationrecord中的array_completeness字段的许可值和/或默认值设置约束。
[0164]
vpccdecoderconfigurationrecord(或类似实体)可包括指示以下阵列中的pnal单元的类型的pnal_unit_type字段(例如，阵列中的所有pnal单元可具有指示类型)。pnal_unit_type字段可具有(例如，被限制为采取)指示pup_psps、pup_prefix_sei或pup_suffix_sei pnal单元的以下值中的一者。vpccdecoderconfigurationrecord(或类似实体)可包括numpnalunits字段，该字段指示包括在配置记录(例如，针对该配置记录应用于的流)中的指示类型的pnal单元的数量。补充增强信息(sei)阵列可包括(例如，仅包括)声明式sei消息。声明式sei消息可包括指示关于整个流的信息的sei消息。例如，用户数据sei可以是声明式sei消息。
[0165]
vpccdecoderconfigurationrecord(或类似实体)可包括指示pnal单元的长度(例如，以字节为单位)的pnalunitlength字段。vpccdecoderconfigurationrecord(或类似实体)可包括可用于保持pup_psps或声明式sei pnal单元的pnalunit字段。
[0166]
基于本文所示的示例性vpccdecoderconfigurationrecord语法，可在下表20中示出v-pcc轨中的样本(例如，表示为vpccsample)的样本格式。
[0167]
表20-示例性vpccsample语法
[0168][0169]
如表20的示例性语义所示，vpccdecoderconfigurationrecord字段可指示对应v-pcc样本条目中的解码器配置记录。pnalunitlength字段可指示pnal单元的大小(例如，以字节为单位测量)。在示例中，pnalunitlength字段可包括pnal单元标头和pnal单元有效负载两者的大小。在示例中，pnalunitlength字段可不包括pnalunitlength字段本身的大小。此外，可包括pnalunit字段以表示pnal单元(例如，单个图集nal单元)。
[0170]
在示例中，v-pcc轨的样本中的补片信息可基于补片信息样本流(例如，图集样本流)来格式化。vpccdecoderconfigurationrecord(或类似实体)可包括lengthsizeminusone字段。表21示出了另一个示例性vpccdecoderconfigurationrecord语法。
[0171]
表21-示例性vpccdecoderconfigurationrecord语法
[0172][0173]
表21的示例性语法中的字段(例如，变量)可与表19中的那些类似地定义。例如，lengthsizeminusone的值加1可指示pnalunitlength字段(例如，该配置记录应用于的流中的v-pcc样本中)的长度(例如，以字节为单位)。因此，pnalunitlength字段的一个字节的大小可由具有为0的值的lengthsizeminusone字段指示。在表21的示例性语法中，
lengthsizeminusone字段可被定义为无符号的int(3)，并且因此lengthsizeminusone字段的值可在0至7的范围内。
[0174]
尽管上文以特定组合描述了特征和元件，但是本领域的普通技术人员将理解，每个特征或元件可单独使用或以与其他特征和元件的任何组合来使用。另外，本文所述的方法可在结合于计算机可读介质中以供计算机或处理器执行的计算机程序、软件或固件中实现。计算机可读介质的示例包括电子信号(通过有线或无线连接传输)和计算机可读存储介质。计算机可读存储介质的示例包括但不限于只读存储器(rom)、随机存取存储器(ram)、寄存器、高速缓存存储器、半导体存储器设备、磁介质(诸如内置硬盘和可移动磁盘)、磁光介质和光介质(诸如cd-rom磁盘和数字通用光盘(dvd))。与软件相关联的处理器可用于实现用于wtru、ue、终端、基站、rnc或任何主计算机的射频收发器。