子画面比特流提取和重新定位的制作方法

子画面比特流提取和重新定位
1.相关申请的交叉引用
2.本技术是2019年3月11日提交的名称为“sub
‑
picture bitstream extraction and reposition”的美国临时专利申请序列号62/816,703和2019年5月31日提交的名称为“sub
‑
picture bitstream extraction and reposition”的美国临时专利申请序列号62/855,446的非临时申请，并且根据35u.s.c.
§
119(e)要求这两个美国临时专利申请的权益，这两个临时专利申请据此全文以引用方式并入本文。


背景技术：

3.360
°
视频是出现在媒体行业中的一种快速增长的新格式。vr设备的可用性不断增加促使了该格式的产生，而且该格式能够为观看者提供非常新鲜的临场感。与常规的直线视频(2d或3d)相比，360
°
视频对视频处理和递送提出了一组新的而且困难的工程挑战。实现舒适度和沉浸式用户体验要求高视频质量和非常低的延迟，而大视频尺寸可能妨碍递送高质量360
°
视频。
4.视频编码标准指定要遵循的语法以用于在比特流中传送视频和相关信息。在一些情况下，可能期望仅使用可用语法的特定子集，例如以降低复杂性。整个比特流语法的不同子集被称为不同“配置文件”。即使使用特定配置文件，视频编码器和解码器设备的存储器和处理能力也可能存在广泛的变化。虽然不同的视频可遵循由特定配置文件指定的语法，但那些不同的视频可能仍然需要编码器和解码器的性能的较大变化。所需性能可与比特流中发信号通知的某些值(诸如解码画面的尺寸)高度相关。
5.为了解决这个问题，一些视频编码标准在每个配置文件内指定“级别”。“级别”是对比特流中发信号通知的语法元素和变量可能取的值施加的预定义的一组约束。这些约束中的一些对各个值施加限制；其他约束对值的算术组合施加限制。例如，特定级别可以对画面宽度乘以画面高度乘以每秒解码的画面数量施加限制。
6.在一些标准中，将级别与“层”一起指定。一般来讲，为较低层指定的级别比为较高层指定的级别受到更大约束。层用作对比特流中发信号通知的值施加的级别约束的类别。级别约束在层内嵌套，使得能够解码具有特定层和级别的比特流的解码器预期能够解码符合相同层、该级别的较低层或低于该级别的任何级别的所有比特流。
7.在一些视频编码标准中，以语法结构诸如“profile_tier_level()”结构发信号通知配置文件、层和级别信息。例如，在hevc中，“profile_tier_level()”结构包含“general_level_idc”元素，该元素指示比特流的编码视频序列符合的级别。


技术实现要素：

8.本文描述的实施方案包括在视频编码和解码(统称为“编码”)和比特流重写过程中使用的方法。
9.在一些实施方案中，一种方法包括：在比特流中对包括至少一个画面的视频进行编码，画面包括多个子画面；以及在该比特流中发信号通知每个相应子画面的级别信息；其
中对于每个子画面，级别信息指示对相应子画面的语法元素的值的预定义的一组约束。
10.一些实施方案还包括发信号通知相应子画面的层或配置文件中的一者或多者。
11.在一些实施方案中，子画面中的至少一个子画面是使用多个层在该比特流中编码的分层子画面，并且针对每个层在该比特流中发信号通知级别信息。
12.在一些实施方案中，每个子画面与层相关联，并且层内的每个子画面独立于同一层中的其他子画面进行编码。
13.在一些实施方案中，一种方法还包括在该比特流中发信号通知至少一个输出子画面集，其中该输出子画面集识别多个子画面的至少一个子集并且包括该子集中的每个子画面的级别信息。
14.在一些实施方案中，一种方法还包括在该比特流中发信号通知至少一个输出子画面集，其中该输出子画面集识别多个子画面的至少一个子集并且包括该子集中的每个子画面的位置偏移信息。
15.在一些实施方案中，一种方法还包括在该比特流中发信号通知至少一个输出子画面集，其中该输出子画面集识别多个子画面的至少一个子集并且包括该子集中的每个子画面的尺寸信息。
16.在一些实施方案中，在profile_tier_level()数据结构中发信号通知子画面的级别信息。
17.在一些实施方案中，一种方法包括从该比特流解码多个相应子画面中的每个子画面的级别信息，其中对于每个子画面，该级别信息指示对相应子画面的语法元素的值的预定义的一组约束；以及根据该级别信息从该比特流解码多个子画面。
18.在一些实施方案中，一种方法还包括至少部分地基于级别信息选择子画面的输出子画面集，其中对多个子画面进行解码包括对所选择的输出子画面集进行解码。
19.在一些实施方案中，一种方法还包括对于子画面中的至少一个子画面，对指示相应子画面的层的信息进行解码。
20.在一些实施方案中，一种方法还包括对于子画面中的至少一个子画面，对指示相应子画面的配置文件的信息进行解码。
21.在一些实施方案中，子画面中的至少一个子画面是使用多个层在该比特流中编码的分层子画面，并且该方法还包括针对这些层中的至少一个层从该比特流解码级别信息。
22.在一些实施方案中，每个子画面与层相关联，并且层内的至少一个子画面独立于同一层中的其他子画面进行解码。
23.一些实施方案还包括从该比特流解码至少一个输出子画面集，其中该输出子画面集识别多个子画面的至少一个子集并且包括该子集中的每个子画面的级别信息。
24.一些实施方案还包括从所解码的多个子画面合成至少一个输出帧。
25.一些实施方案还包括从该比特流解码至少一个输出子画面集，其中该输出子画面集识别多个子画面的至少一个子集并且包括该子集中的每个子画面的位置偏移信息，并且其中输出帧基于该位置偏移信息合成。
26.一些实施方案还包括从该比特流解码至少一个输出子画面集，其中该输出子画面集识别多个子画面的至少一个子集并且包括该子集中的每个子画面的尺寸信息，并且其中输出帧基于该尺寸信息合成。
27.在一些实施方案中，在profile_tier_level()数据结构中对子画面的级别信息进行解码。
28.在一些实施方案中，信号包括：对包括至少一个画面的视频进行编码的信息，画面包括多个子画面；和每个相应子画面的级别信息；其中对于每个子画面，级别信息指示对相应子画面的语法元素的值的预定义的一组约束。该信号可存储在计算机可读介质上。该计算机可读介质可以是非暂态介质。
29.在另外的实施方案中，提供编码器、解码器和比特流重写/提取系统以执行本文所述的方法。
30.一些实施方案包括一种处理器，该处理器被配置为执行本文所述的方法中的任一种。在一些此类实施方案中，提供了一种计算机可读介质(例如，非暂态介质)，该计算机可读介质存储用于执行本文所述的方法中的任一种方法的指令。
31.一些实施方案包括一种计算机可读介质(例如，非暂态介质)，该计算机可读介质存储使用本文所公开的方法中的一种或多种方法编码的视频。
32.本发明实施方案中的一个或多个实施方案还提供一种计算机可读存储介质，该计算机可读存储介质具有存储在其上的用于根据上述方法中的任一种方法对视频数据进行编码或解码的指令。本发明实施方案还提供了一种计算机可读存储介质，该计算机可读存储介质具有存储在其上的根据上述方法生成的比特流。本发明实施方案还提供了一种用于传输根据上述方法生成的比特流的方法和装置。本发明实施方案还提供了一种计算机程序产品，该计算机程序产品包括用于执行所述方法中的任一种方法的指令。
附图说明
33.图1a是示出可在其中实现一个或多个所公开的实施方案的示例性通信系统的系统图。
34.图1b是示出根据实施方案可在图1a所示的通信系统内使用的示例性无线发射/接收单元(wtru)的系统图。
35.图1c是在本文所述的一些实施方案中使用的系统的功能框图。
36.图2a是基于块的视频编码器(诸如用于vvc的编码器)的功能框图。
37.图2b是基于块的视频解码器(诸如用于vvc的解码器)的功能框图。
38.图3是双层可分级视频编码器的示例性架构的图示。
39.图4是双层可分级视频解码器的示例性架构的图示。
40.图5是示出二视图视频编码结构的示例的图示。
41.图6是示出示例性层间预测结构的图示。
42.图7是示出编码比特流结构的示例的图示。
43.图8是示出示例性通信系统的图示。
44.图9示出了360视频视口自适应流传输示例。
45.图10示出了输出画面的跳过区域的示例。
46.图11示出了示例性层结构。
47.图12示出了参数集的激活顺序。
48.图13示出了子dpb结构的示例。
49.图14示出了用于子画面提取和重新定位的poc导出示例。
50.图15示出了子画面的分层参数集结构示例。
51.图16示出了用于多种介质类型的层结构。
52.图17是在一些实施方案中执行的方法的流程图。
53.用于实现实施方案的示例性网络
54.图1a是示出在其中一个或多个所公开的实施方案可得以实现的示例性通信系统100的示意图。通信系统100可为向多个无线用户提供诸如语音、数据、视频、消息、广播等内容的多址接入系统。通信系统100可使多个无线用户能够通过系统资源(包括无线带宽)的共享来访问此类内容。例如，通信系统100可采用一个或多个信道接入方法，诸如码分多址接入(cdma)、时分多址接入(tdma)、频分多址接入(fdma)、正交fdma(ofdma)、单载波fdma(sc
‑
fdma)、零尾唯一字dft扩展ofdm(zt uw dts
‑
s ofdm)、唯一字ofdm(uw
‑
ofdm)、资源块滤波ofdm、滤波器组多载波(fbmc)等。
55.如图1a所示，通信系统100可包括无线发射/接收单元(wtru)102a、102b、102c、102d、ran 104、cn 106、公共交换电话网(pstn)108、互联网110和其他网络112，但应当理解，所公开的实施方案设想了任何数量的wtru、基站、网络和/或网络元件。wtru 102a、102b、102c、102d中的每一者可以是被配置为在无线环境中操作和/或通信的任何类型的设备。作为示例，wtru 102a、102b、102c、102d(其中任何一个均可被称为“站”和/或“sta”)可被配置为传输和/或接收无线信号，并且可包括用户装备(ue)、移动站、固定或移动用户单元、基于订阅的单元、寻呼机、蜂窝电话、个人数字助理(pda)、智能电话、膝上型电脑、上网本、个人计算机、无线传感器、热点或mi
‑
fi设备、物联网(iot)设备、手表或其他可穿戴设备、头戴式显示器(hmd)、车辆、无人机、医疗设备和应用(例如，远程手术)、工业设备和应用(例如，在工业和/或自动处理链环境中操作的机器人和/或其他无线设备)、消费电子设备、在商业和/或工业无线网络上操作的设备等。wtru 102a、102b、102c和102d中的任一者可互换地称为ue。
56.通信系统100还可包括基站114a和/或基站114b。基站114a、114b中的每一者可为任何类型的设备，其被配置为与wtru 102a、102b、102c、102d中的至少一者无线对接以促进对一个或多个通信网络(诸如cn 106、互联网110和/或其他网络112)的访问。作为示例，基站114a、114b可为基站收发台(bts)、节点b、演进节点b、家庭节点b、家庭演进节点b、gnb、nr节点b、站点控制器、接入点(ap)、无线路由器等。虽然基站114a、114b各自被描绘为单个元件，但应当理解，基站114a、114b可包括任何数量的互连基站和/或网络元件。
57.基站114a可以是ran 104的一部分，该ran还可包括其他基站和/或网络元件(未示出)，诸如基站控制器(bsc)、无线电网络控制器(rnc)、中继节点等。基站114a和/或基站114b可被配置为在一个或多个载波频率(其可被称为小区(未示出))上发射和/或接收无线信号。这些频率可在许可频谱、未许可频谱或许可和未许可频谱的组合中。小区可向特定地理区域提供无线服务的覆盖，该特定地理区域可为相对固定的或可随时间改变。小区可进一步被划分为小区扇区。例如，与基站114a相关联的小区可被划分为三个扇区。因此，在一个实施方案中，基站114a可包括三个收发器，即，小区的每个扇区一个收发器。在一个实施方案中，基站114a可采用多输入多输出(mimo)技术并且可针对小区的每个扇区利用多个收发器。例如，可使用波束成形在所需的空间方向上传输和/或接收信号。
58.基站114a、114b可通过空中接口116与wtru 102a、102b、102c、102d中的一者或多者通信，该空中接口可为任何合适的无线通信链路(例如，射频(rf)、微波、厘米波、微米波、红外(ir)、紫外(uv)、可见光等)。可使用任何合适的无线电接入技术(rat)来建立空中接口116。
59.更具体地讲，如上所指出，通信系统100可为多址接入系统，并且可采用一个或多个信道接入方案，诸如cdma、tdma、fdma、ofdma、sc
‑
fdma等。例如，ran 104中的基站114a和wtru 102a、102b、102c可实现无线电技术诸如通用移动电信系统(umts)陆地无线电接入(utra)，其可使用宽带cdma(wcdma)来建立空中接口116。wcdma可包括诸如高速分组接入(hspa)和/或演进的hspa(hspa )之类的通信协议。hspa可包括高速下行链路(dl)分组接入(hsdpa)和/或高速ul分组接入(hsupa)。
60.在一个实施方案中，基站114a和wtru 102a、102b、102c可实现诸如演进的umts陆地无线电接入(e
‑
utra)之类的无线电技术，其可使用长期演进(lte)和/高级lte(lte
‑
a)和/或高级lte pro(lte
‑
a pro)来建立空中接口116。
61.在一个实施方案中，基站114a和wtru 102a、102b、102c可实现无线电技术诸如nr无线电接入，其可使用新无线电(nr)来建立空中接口116。
62.在一个实施方案中，基站114a和wtru 102a、102b、102c可实现多种无线电接入技术。例如，基站114a和wtru 102a、102b、102c可例如使用双连接(dc)原理一起实现lte无线电接入和nr无线电接入。因此，wtru 102a、102b、102c所使用的空中接口可由多种类型的无线电接入技术和/或向/从多种类型的基站(例如，enb和gnb)发送的传输来表征。
63.在其他实施方案中，基站114a和wtru 102a、102b、102c可实现诸如ieee 802.11(即，无线保真(wifi))、ieee 802.16(即，全球微波接入互操作性(wimax))、cdma2000、cdma2000 1x、cdma2000 ev
‑
do、暂行标准2000(is
‑
2000)、暂行标准95(is
‑
95)、暂行标准856(is
‑
856)、全球移动通信系统(gsm)、gsm增强数据率演进(edge)、gsm edge(geran)等无线电技术。
64.图1a中的基站114b可为例如无线路由器、家庭节点b、家庭演进节点b或接入点，并且可利用任何合适的rat来促进诸如商业场所、家庭、车辆、校园、工业设施、空中走廊(例如，供无人机使用)、道路等局部区域中的无线连接。在一个实施方案中，基站114b和wtru 102c、102d可实现诸如ieee 802.11之类的无线电技术以建立无线局域网(wlan)。在一个实施方案中，基站114b和wtru 102c、102d可实现诸如ieee 802.15之类的无线电技术以建立无线个域网(wpan)。在又一个实施方案中，基站114b和wtru 102c、102d可利用基于蜂窝的rat(例如，wcdma、cdma2000、gsm、lte、lte
‑
a、lte
‑
a pro、nr等)来建立微微小区或毫微微小区。如图1a所示，基站114b可具有与互联网110的直接连接。因此，基站114b可不需要经由cn 106访问互联网110。
65.ran 104可与cn 106通信，该cn可以是被配置为向wtru 102a、102b、102c、102d中的一者或多者提供语音、数据、应用和/或互联网协议语音技术(voip)服务的任何类型的网络。数据可具有不同的服务质量(qos)要求，诸如不同的吞吐量要求、延迟要求、误差容限要求、可靠性要求、数据吞吐量要求、移动性要求等。cn 106可提供呼叫控制、账单服务、基于移动位置的服务、预付费呼叫、互联网连接、视频分发等，和/或执行高级安全功能，诸如用户认证。尽管未在图1a中示出，但是应当理解，ran 104和/或cn 106可与采用与ran 104相
同的rat或不同rat的其他ran进行直接或间接通信。例如，除了连接到可利用nr无线电技术的ran104之外，cn106还可与采用gsm、umts、cdma 2000、wimax、e
‑
utra或wifi无线电技术的另一ran(未示出)通信。
66.cn 106也可充当wtru 102a、102b、102c、102d的网关，以访问pstn 108、互联网110和/或其他网络112。pstn108可包括提供普通老式电话服务(pots)的电路交换电话网络。互联网110可包括使用常见通信协议(诸如传输控制协议(tcp)、用户数据报协议(udp)和/或tcp/ip互联网协议组中的互联网协议(ip))的互连计算机网络和设备的全球系统。网络112可包括由其他服务提供商拥有和/或操作的有线和/或无线通信网络。例如，网络112可包括连接到一个或多个ran的另一个cn，其可采用与ran 104相同的rat或不同的rat。
67.通信系统100中的一些或所有wtru 102a、102b、102c、102d可包括多模式能力(例如，wtru 102a、102b、102c、102d可包括用于通过不同无线链路与不同无线网络通信的多个收发器)。例如，图1a所示的wtru102c可被配置为与可采用基于蜂窝的无线电技术的基站114a通信，并且与可采用ieee 802无线电技术的基站114b通信。
68.图1b是示出示例性wtru 102的系统图。如图1b所示，wtru 102可包括处理器118、收发器120、发射/接收元件122、扬声器/麦克风124、小键盘126、显示器/触摸板128、不可移动存储器130、可移动存储器132、电源134、全球定位系统(gps)芯片组136和/或其他外围设备138等。应当理解，wtru 102可包括前述元件的任何子组合，同时保持与实施方案一致。
69.处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(dsp)、多个微处理器、与dsp核心相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(asic)、现场可编程门阵列(fpga)电路、任何其他类型的集成电路(ic)、状态机等。处理器118可执行信号编码、数据处理、功率控制、输入/输出处理和/或任何其他功能，这些其他功能使wtru 102能够在无线环境中工作。处理器118可耦合到收发器120，该收发器可耦合到发射/接收元件122。虽然图1b将处理器118和收发器120描绘为单独的部件，但是应当理解，处理器118和收发器120可在电子封装或芯片中集成在一起。
70.发射/接收元件122可被配置为通过空中接口116向基站(例如，基站114a)传输信号或从基站接收信号。例如，在一个实施方案中，发射/接收元件122可以是被配置为传输和/或接收rf信号的天线。在一个实施方案中，发射/接收元件122可以是被配置为传输和/或接收例如ir、uv或可见光信号的发射器/检测器。在又一个实施方案中，发射/接收元件122可被配置为传输和/或接收rf和光信号。应当理解，发射/接收元件122可被配置为传输和/或接收无线信号的任何组合。
71.尽管发射/接收元件122在图1b中被描绘为单个元件，但是wtru 102可包括任何数量的发射/接收元件122。更具体地讲，wtru 102可采用mimo技术。因此，在一个实施方案中，wtru 102可包括用于通过空中接口116传输和接收无线信号的两个或更多个发射/接收元件122(例如，多个天线)。
72.收发器120可被配置为调制将由发射/接收元件122传输的信号并且解调由发射/接收元件122接收的信号。如上所指出，wtru 102可具有多模式能力。因此，收发器120可包括多个收发器，以便使wtru 102能够经由多种rat(诸如nr和ieee 802.11)进行通信。
73.wtru 102的处理器118可耦合到扬声器/麦克风124、小键盘126和/或显示器/触摸板128(例如，液晶显示器(lcd)显示单元或有机发光二极管(oled)显示单元)并且可从其接
收用户输入数据。处理器118还可将用户数据输出到扬声器/麦克风124、小键盘126和/或显示器/触摸板128。此外，处理器118可从任何类型的合适存储器(诸如不可移动存储器130和/或可移动存储器132)访问信息，并且将数据存储在任何类型的合适存储器中。不可移动存储器130可包括随机存取存储器(ram)、只读存储器(rom)、硬盘或任何其他类型的存储器存储设备。可移动存储器132可包括用户身份模块(sim)卡、记忆棒、安全数字(sd)存储卡等。在其他实施方案中，处理器118可从未物理上定位在wtru 102上(诸如，服务器或家用计算机(未示出)上)的存储器访问信息，并且将数据存储在该存储器中。
74.处理器118可从电源134接收电力，并且可被配置为向wtru 102中的其他部件分配和/或控制电力。电源134可以是用于为wtru 102供电的任何合适的设备。例如，电源134可包括一个或多个干电池组(例如，镍镉(nicd)、镍锌(nizn)、镍金属氢化物(nimh)、锂离子(li
‑
ion)等)、太阳能电池、燃料电池等。
75.处理器118还可耦合到gps芯片组136，该gps芯片组可被配置为提供关于wtru 102的当前位置的位置信息(例如，经度和纬度)。除了来自gps芯片组136的信息之外或代替该信息，wtru 102可通过空中接口116从基站(例如，基站114a、114b)接收位置信息和/或基于从两个或更多个附近基站接收到信号的定时来确定其位置。应当理解，在与实施方案保持一致的同时，该wtru 102可通过任何合适的位置确定方法来获取位置信息。
76.处理器118还可耦合到其他外围设备138，该其他外围设备可包括提供附加特征、功能和/或有线或无线连接的一个或多个软件模块和/或硬件模块。例如，外围设备138可包括加速度计、电子指南针、卫星收发器、数字相机(用于照片和/或视频)、通用串行总线(usb)端口、振动设备、电视收发器、免提耳麦、模块、调频(fm)无线电单元、数字音乐播放器、媒体播放器、视频游戏播放器模块、互联网浏览器、虚拟现实和/或增强现实(vr/ar)设备、活动跟踪器等。外围设备138可包括一个或多个传感器，该传感器可为以下一者或多者：陀螺仪、加速度计、霍尔效应传感器、磁力计、方位传感器、接近传感器、温度传感器、时间传感器；地理位置传感器；测高计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物识别传感器和/或湿度传感器。
77.wtru 102可包括全双工无线电台，对于该全双工无线电台，一些或所有信号的传输和接收(例如，与用于ul(例如，用于传输)和下行链路(例如，用于接收)的特定子帧相关联)可为并发的和/或同时的。全双工无线电台可包括干扰管理单元，该干扰管理单元用于经由硬件(例如，扼流圈)或经由处理器(例如，单独的处理器(未示出)或经由处理器118)进行的信号处理来减少和/或基本上消除自干扰。在一个实施方案中，wtru 102可包括全双工无线电台，对于该全双工无线电台，一些或所有信号的发射和接收(例如，与用于ul(例如，用于发射)和下行链路(例如，用于接收)的特定子帧相关联)可为并发的和/或同时的。
78.尽管wtru在图1a至图1b中被描述为无线终端，但是可以设想到，在某些代表性实施方案中，这种终端可(例如，临时或永久)使用与通信网络的有线通信接口。
79.在代表性实施方案中，其他网络112可为wlan。
80.鉴于图1a至图1b以及对应的描述，本文所描述的功能中的一个或多个功能或全部功能可由一个或多个仿真设备(未示出)来执行。仿真设备可以是被配置为模仿本文所述的一个或多个或所有功能的一个或多个设备。例如，仿真设备可用于测试其他设备和/或模拟网络和/或wtru功能。
81.仿真设备可被设计为在实验室环境和/或运营商网络环境中实现其他设备的一个或多个测试。例如，该一个或多个仿真设备可执行一个或多个或所有功能，同时被完全或部分地实现和/或部署为有线和/或无线通信网络的一部分，以便测试通信网络内的其他设备。该一个或多个仿真设备可执行一个或多个功能或所有功能，同时临时被实现/部署为有线和/或无线通信网络的一部分。仿真设备可直接耦合到另一个设备以用于测试目的和/或可使用空中无线通信来执行测试。
82.该一个或多个仿真设备可执行一个或多个(包括所有)功能，同时不被实现/部署为有线和/或无线通信网络的一部分。例如，仿真设备可在测试实验室和/或非部署(例如，测试)有线和/或无线通信网络中的测试场景中使用，以便实现一个或多个部件的测试。该一个或多个仿真设备可为测试设备。经由rf电路(例如，其可包括一个或多个天线)进行的直接rf耦合和/或无线通信可由仿真设备用于传输和/或接收数据。
83.示例性系统
84.本文所述的实施方案并不限于在wtru上实现。此类实施方案可使用其他系统诸如图1c的系统来实现。图1c是实现各种方面和实施方案的系统的示例的框图。系统2000可体现为包括下文所述的各种部件的设备，并且被配置为执行本文档中所述的一个或多个方面。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板电脑、数字多媒体机顶盒、数字电视接收器、个人视频记录系统、连接的家用电器和服务器。系统2000的元件可单独地或组合地体现在单个集成电路(ic)、多个ic和/或分立部件中。例如，在至少一个实施方案中，系统2000的处理和编码器/解码器元件分布在多个ic和/或分立部件上。在各种实施方案中，系统2000经由例如通信总线或通过专用输入端口和/或输出端口通信地耦接到一个或多个其他系统或其他电子设备。在各种实施方案中，系统2000被配置为实现本文档中所述的一个或多个方面。
85.系统2000包括至少一个处理器2010，该至少一个处理器被配置为执行加载到其中的指令以用于实现例如本文档中所述的各个方面。处理器2010可包括嵌入式存储器、输入输出接口和本领域已知的各种其他电路。系统2000包括至少一个存储器2020(例如，易失性存储器设备和/或非易失性存储器设备)。系统2000包括存储设备2040，该存储设备可包括非易失性存储器和/或易失性存储器，包括但不限于电可擦除可编程只读存储器(eeprom)、只读存储器(rom)、可编程只读存储器(prom)、随机存取存储器(ram)、动态随机存取存储器(dram)、静态随机存取存储器(sram)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备2040可包括内部存储设备、附接的存储设备(包括可拆卸和不可拆卸的存储设备)和/或网络可访问的存储设备。
86.系统2000包括编码器/解码器模块2030，该编码器/解码器模块被配置为例如处理数据以提供编码视频或解码视频，并且编码器/解码器模块2030可包括其自身的处理器和存储器。编码器/解码器模块2030表示可包括在设备中以执行编码和/或解码功能的模块。众所周知，设备可包括编码模块和解码模块中的一者或两者。另外，编码器/解码器模块2030可被实现为系统2000的独立元件，或者可被结合在处理器2010内作为本领域技术人员已知的硬件和软件的组合。
87.要加载到处理器2010或编码器/解码器2030上以执行本文档中所述的各个方面的程序代码可被存储在存储设备2040中，并且随后被加载到存储器2020上以供处理器2010执
行。根据各种实施方案，处理器2010、存储器2020、存储设备2040和编码器/解码器模块2030中的一者或多者可在本文档中所述的过程的执行期间存储各种项目中的一个或多个项目。此类存储项目可包括但不限于输入视频、解码视频或解码视频的部分、比特流、矩阵、变量，以及来自方程、公式、操作和操作逻辑的处理的中间结果或最终结果。
88.在一些实施方案中，处理器2010和/或编码器/解码器模块2030内的存储器用于存储指令以及提供用于在编码或解码期间所需的处理的工作存储器。然而，在其他实施方案中，处理设备外部的存储器(例如，处理设备可为处理器2010或编码器/解码器模块2030)用于这些功能中的一者或多者。外部存储器可以是存储器2020和/或存储设备2040，例如动态易失性存储器和/或非易失性闪存存储器。在若干实施方案中，外部非易失性闪存存储器用于存储例如电视机的操作系统。在至少一个实施方案中，快速外部动态易失性存储器(诸如ram)用作视频编码和解码操作的工作存储器，这些视频编码和解码操作诸如mpeg
‑
2(mpeg是指运动图像专家组，mpeg
‑
2又称iso/iec 13818，13818
‑
1又称h.222，13818
‑
2又称h.262)、hevc(hevc是指高效视频编码，又称h.265和mpeg
‑
h第2部分)或vvc(通用视频编码，一种由联合视频专家小组jvet开发的新标准)。
89.可通过如框2130中所示的各种输入设备来提供对系统2000的元件的输入。此类输入设备包括但不限于：(i)接收例如由广播器通过空中传输的射频(rf)信号的rf部分，(ii)分量(comp)输入端子(或一组comp输入端子)，(iii)通用串行总线(usb)输入端子，和/或(iv)高清晰度多媒体接口(hdmi)输入端子。图1c中未示出的其他示例包括复合视频。
90.在各种实施方案中，框2130的输入设备具有如本领域已知的相关联的相应输入处理元件。例如，rf部分可与适用于以下操作的元件相关联：(i)选择所需频率(也称为选择信号，或将信号频带限制为多个频率的带)，(ii)将所选择的信号降频转换，(iii)再次频带限制为较窄频带以选择(例如)在某些实施方案中可称为信道的信号频带，(iv)解调经降频转换和频带限制的信号，(v)执行纠错，以及(vi)解复用以选择所需的数据包流。各种实施方案的rf部分包括用于执行这些功能的一个或多个元件，例如频率选择器、信号选择器、频带限制器、信道选择器、滤波器、降频转换器、解调器、纠错器和解复用器。rf部分可包括执行这些功能中的各种功能的调谐器，这些功能包括例如将接收到的信号降频转换到较低频率(例如，中频或近基带频率)或降频转换到基带。在一个机顶盒实施方案中，rf部分及其相关联的输入处理元件接收通过有线(例如，电缆)介质传输的rf信号，并且通过滤波、降频转换和再次过滤到期望的频带来执行频率选择。各种实施方案重新布置上述(和其他)元件的顺序，移除这些元件中的一些，和/或添加执行类似或不同功能的其他元件。添加元件可包括在现有元件之间插入元件，例如，插入放大器和模拟
‑
数字转换器。在各种实施方案中，rf部分包括天线。
91.另外，usb和/或hdmi端子可包括用于跨usb和/或hdmi连接将系统2000连接到其他电子设备的相应接口处理器。应当理解，输入处理的各个方面(例如reed
‑
solomon纠错)可根据需要例如在单独的输入处理ic内或在处理器2010内实现。类似地，usb或hdmi接口处理的各个方面可根据需要在单独的接口ic内或在处理器2010内实现。解调、纠错和解复用流被提供给各种处理元件，包括例如处理器2010，以及与存储器和存储元件结合操作以根据需要处理数据流以呈现在输出设备上的编码器/解码器2030。
92.系统2000的各种元件可设置在集成外壳内，在集成外壳内，各种元件可使用合适
的连接布置2140互连并在其间传输数据，例如，如本领域已知的内部总线，包括ic间(i2c)总线、接线和印刷电路板。
93.系统2000包括能够经由通信信道2060与其他设备通信的通信接口2050。通信接口2050可包括但不限于被配置为通过通信信道2060传输和接收数据的收发器。通信接口2050可包括但不限于调制解调器或网卡，并且通信信道2060可例如在有线和/或无线介质内实现。
94.在各种实施方案中，使用无线网络诸如wi
‑
fi网络例如ieee 802.11(ieee是指电气和电子工程师协会)将数据流传输或以其他方式提供给系统2000。通过适于wi
‑
fi通信的通信信道2060和通信接口2050接收这些实施方案的wi
‑
fi信号。这些实施方案的通信信道2060通常连接到接入点或路由器，该接入点或路由器提供对包括互联网的外部网络的访问，以用于允许流传输应用和其他越过运营商的通信。其他实施方案使用机顶盒向系统2000提供流传输数据，该机顶盒通过输入框2130的hdmi连接来递送数据。其他实施方案使用输入框2130的rf连接向系统2000提供流传输数据。如上所述，各种实施方案以非流传输方式提供数据。另外，各种实施方案使用wi
‑
fi之外的无线网络，例如蜂窝网络或蓝牙网络。
95.系统2000可向各种输出设备(包括显示器2100、扬声器2110和其他外围设备2120)提供输出信号。各种实施方案的显示器2100包括例如触摸屏显示器、有机发光二极管(oled)显示器、曲面显示器和/或可折叠显示器中的一者或多者。显示器2100可用于电视机、平板电脑、膝上型电脑、蜂窝电话(移动电话)或其他设备。显示器2100还可与其他部件集成(例如，如在智能电话中)，或与单独的部件集成(例如，膝上型电脑的外部监视器)。在实施方案的各种示例中，其他外围设备2120包括独立数字视频光盘(或数字多功能光盘)(dvr，可表示这两个术语)、碟片播放器、立体声系统和/或照明系统中的一者或多者。各种实施方案使用基于系统2000的输出提供功能的一个或多个外围设备2120。例如，碟片播放器执行播放系统2000的输出的功能。
96.在各种实施方案中，使用信令诸如av.link、消费电子控制(cec)或使得能够在有或没有用户干预的情况下进行设备到设备控制的其他通信协议在系统2000与显示器2100、扬声器2110或其他外围设备2120之间传送控制信号。输出设备可通过相应接口2070、2080和2090、经由专用连接通信地耦接到系统2000。另选地，可使用通信信道2060经由通信接口2050将输出设备连接到系统2000。显示器2100和扬声器2110可与电子设备(诸如电视机)中的系统2000的其他部件集成在单个单元中。在各种实施方案中，显示接口2070包括显示驱动器，诸如例如定时控制器(t con)芯片。
97.如果输入2130的rf部分是独立机顶盒的一部分，则显示器2100和扬声器2110可另选地与其他部件中的一个或多个部件分开。在显示器2100和扬声器2110为外部部件的各种实施方案中，可经由专用输出连接(包括例如hdmi端口、usb端口或comp输出)来提供输出信号。
98.这些实施方案可由处理器2010实现的计算机软件，或由硬件，或由硬件和软件的组合来执行。作为非限制性示例，这些实施方案可由一个或多个集成电路来实现。存储器2020可以是适合于技术环境的任何类型，并且可以使用任何适当的数据存储技术来实现，作为非限制性示例，诸如光学存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器。处理器2010可以是适用于技术环境的任何类型，并且作为非限制
性示例，可涵盖微处理器、通用计算机、专用计算机和基于多核心架构的处理器中的一者或多者。
具体实施方式
99.基于块的视频编码
100.与hevc类似，vvc建立在基于块的混合视频编码框架上。图2a给出了基于块的通用混合视频编码系统的框图。输入视频信号103逐块地经历处理。在hevc中，扩展块尺寸(称为“编码单元”或cu)用于有效地压缩高分辨率(1080p及以上)视频信号。在hevc中，cu可为最多64
×
64像素。cu可以被进一步划分为预测单元或pu，为这些预测单元或pu应用单独的预测方法。对于每个输入视频块(mb或cu)，可执行空间预测(161)和/或时间预测(163)。空间预测(或“帧内预测”)使用来自相同视频画面/切片中的已编码相邻块的像素来预测当前视频块。空间预测减少了视频信号中固有的空间冗余。时间预测(也称为“帧间预测”或“运动补偿预测”)使用来自已编码的视频画面的像素来预测当前视频块。时间预测减少了视频信号中固有的时间冗余。用于给定视频块的时间预测信号通常通过一个或多个运动向量发信号通知，该一个或多个运动向量指示当前块与其参考块之间的运动的量和方向。另外，如果支持多个参考画面(诸如h.264/avc或hevc的最新视频编码标准的情况)，则对于每个视频块，另外发送其参考画面索引；并且该参考索引用于识别时间预测信号来自参考画面存储库(165)中的哪个参考画面。在空间和/或时间预测之后，编码器中的模式决策框(181)例如基于率失真优化方法来选择最佳预测模式。然后从当前视频块中减去预测块(117)；并且使用变换(105)和量化(107)使预测残差去相关以实现目标比特率。对量化残差系数进行逆量化(111)和逆变换(113)以形成重构残差，然后将重构残差加回预测块(127)以形成重构视频块。在将重构视频块放入参考画面存储库(165)中并用于对未来视频块进行编码之前，可对重构视频块应用另外的环路滤波器(167)，诸如解块滤波器和自适应环路滤波器。为了形成输出视频比特流121，将编码模式(帧间或帧内)、预测模式信息、运动信息和量化残差系数全部发送到熵编码单元(109)以将其进一步压缩和打包以形成比特流。
101.图2b给出基于块的视频解码器的框图。视频比特流202首先在熵解码单元208处被解包和熵解码。编码模式和预测信息被发送到空间预测单元260(如果是帧内编码)或时间预测单元262(如果是帧间编码)以形成预测块。残差变换系数被发送到逆量化单元210和逆变换单元212以重构残差块。然后预测块和残差块在226处加在一起。重构块可在被存储在参考画面存储库264中之前进一步经历环路滤波。然后向外发送参考画面存储库中的重构视频以驱动显示设备，以及用于预测未来的视频块。
102.在现代视频编解码器中，双向运动补偿预测(mcp)因其通过利用画面之间的时间相关性在移除时间冗余方面的高效率而为人们所知，并且已经广泛用于大多数最先进的视频编解码器中。然而，双预测信号简单地通过使用等于0.5的权重值组合两个单预测信号来形成。这不一定最佳地组合单预测信号，尤其是在照度从一个参考画面到另一个参考画面快速变化的情况下。因此，若干预测技术旨在通过将一些全局或局部权重和偏移值应用于参考画面中的每个样本值来补偿照度随时间的变化。
103.可分级视频编码
104.单层视频编码器可采用单个视频序列输入并生成传输到单层解码器的单个压缩
比特流。视频编解码器可被设计用于数字视频服务(例如，诸如但不限于通过卫星、电缆和陆地传输信道发送tv信号)。利用部署在异构环境中的以视频为中心的应用，可开发多层视频编码技术作为视频编码标准的扩展以实现各种应用。例如，多层视频编码技术(诸如可分级视频编码和/或多视图视频编码)可被设计为处理多于一个视频层，其中每个层可被解码以重构特定空间分辨率、时间分辨率、保真性和/或视图的视频信号。尽管参考图2a和图2b描述了单层编码器和解码器，但本文所述的概念可利用多层编码器和/或解码器(例如)用于多视图和/或可分级编码技术。
105.可分级视频编码可改善在异构网络上具有不同能力的设备上运行的视频应用程序的体验质量。可分级视频编码可在最高表示(例如，时间分辨率、空间分辨率、质量等)处对信号进行一次编码，但能够根据在客户端设备上运行的某些应用程序所需的特定速率和表示从视频流的子集进行解码。与非可分级解决方案相比，可分级视频编码可节省带宽和/或存储。国际视频标准(例如mpeg
‑
2视频、h.263、mpeg4 visual、h.264等)可具有支持可分级性模式的工具和/或配置文件。
106.表1提供了不同类型的可分级性以及可支持它们的对应标准的示例。位深度可分级性和/或色度格式可分级性可与例如可主要由专业视频应用程序使用的视频格式(例如，高于8位视频，以及高于yuv4:2:0的色度采样格式)相关联。可提供长宽比可分级性。
[0107][0108][0109]
表1
[0110]
可分级视频编码可使用基底层比特流提供与第一组视频参数相关联的第一级别的视频质量。可分级视频编码可使用一个或多个增强层比特流来提供与一组或多组增强参数相关联的一个或多个级别的更高质量。该组视频参数可包括空间分辨率、帧速率、重构视频质量(例如，形式为snr、psnr、vqm、视觉质量等)、3d能力(例如，具有两个或更多个视图)、亮度和色度位深度、色度格式和底层单层编码标准中的一者或多者。不同的用例可使用不同类型的可分级性，例如，如表1所示。可分级编码架构可提供公共结构，该公共结构可被配置为支持一种或多种可分级性(例如，表1中列出的可分级性)。可分级编码架构可以是灵活的，以支持具有最少配置工作的不同可分级性。可分级编码架构可包括可能不需要对块级操作进行改变的至少一个优选操作模式，使得编码逻辑(例如，编码和/或解码逻辑)可在可分级编码系统内被最大程度地重复使用。例如，可提供基于画面级层间处理和管理单元的可分级编码架构，其中可在画面级执行层间预测。
[0111]
图3是双层可分级视频编码器的示例性架构的图示。视频编码器900可接收视频
(例如，增强层视频输入)。可使用降采样器902对增强层视频进行降采样以创建较低级别的视频输入(例如，基底层视频输入)。增强层视频输入和基底层视频输入可经由降采样过程彼此对应，并且可实现空间可分级性。基底层编码器904(例如，在该示例中为hevc编码器)可对基底层视频输入逐块地进行编码并且生成基底层比特流。图2a是可用作图3中的基底层编码器的示例性基于块的单层视频编码器的图示。
[0112]
在增强层，增强层(el)编码器906可接收el输入视频输入，该el输入视频输入可具有比基底层视频输入更高的空间分辨率(例如，和/或更高的其他视频参数值)。el编码器906可以与基底层视频编码器904基本上类似的方式产生el比特流，例如，使用空间和/或时间预测来实现压缩。层间预测(ilp)可在el编码器906处用于改善其编码性能。与可基于当前增强层中的编码视频信号导出预测信号的空间预测和时间预测不同，层间预测可基于来自基底层(例如，当可分级系统中存在多于两个层时，和/或其他较低层)的编码视频信号导出预测信号。在可分级系统中，可使用至少两种形式的层间预测，即画面级ilp和块级ilp。本文讨论了画面级ilp和块级ilp。比特流复用器908可将基底层比特流和增强层比特流组合在一起以产生可分级比特流。
[0113]
图4是双层可分级视频解码器的示例性架构的图示。图4的双层可分级视频解码器架构可对应于图3中的可分级编码器。视频解码器1000可例如从可分级编码器(例如，可分级编码器900)接收可分级比特流。解复用器1002可将可分级比特流分成基底层比特流和增强层比特流。基底层解码器1004可将基底层比特流解码并且可重构基底层视频。图2b是可用作图4中的基底层解码器的示例性基于块的单层视频解码器的图示。
[0114]
增强层解码器1006可将增强层比特流解码。el解码器1006可以与基底层视频解码器1004基本上类似的方式将el比特流解码。增强层解码器可使用来自当前层的信息和/或来自一个或多个从属层(例如，基底层)的信息来这样做。例如，来自一个或多个从属层的此类信息可经历层间处理，这可在使用画面级ilp和/或块级ilp时实现。尽管未示出，但附加ilp信息可在mux 908处与基底层比特流和增强层比特流复用在一起。ilp信息可由demux 1002解复用。
[0115]
图5是示出二视图视频编码结构的示例的图示。如大体在1100处所示，图5示出了用于二视图视频编码的时间和维度间/层间预测的示例。除了常规时间预测之外，层间预测(例如，由虚线例示)可用于通过探索多个视频层之间的相关性来提高压缩效率。在该示例中，可在两个视图之间执行层间预测。
[0116]
层间预测可用于hevc可分级编码扩展，例如以探索多个层之间的强相关性和/或提高可分级编码效率。
[0117]
图6是示出例如可被考虑用于hevc可分级编码系统的示例性层间预测结构的图示。如大体在1200处所示，增强层的预测可通过来自重构基底层信号的运动补偿预测(例如，如果两层之间的空间分辨率不同，则在上采样之后)、通过电流增强层内的时间预测和/或通过利用时间预测信号对基底层重构信号进行平均来形成。可执行下层画面的完全重构。类似的概念可用于具有多于两层的hevc可分级编码。
[0118]
编码比特流结构
[0119]
图7是示出编码比特流结构的示例的图示。编码比特流1300由多个nal(网络抽象层)单元1301组成。nal单元可包含编码样本数据诸如编码切片1306，或高级语法元数据诸
如参数集数据、切片标头数据1305或补充增强信息数据1307(其可被称为sei消息)。参数集是包含基本语法元素的高级语法结构，其可应用于多个比特流层(例如，视频参数集1302(vps))，或者可应用于一层内的编码视频序列(例如，序列参数集1303(sps))，或者可应用于一个编码视频序列内的多个编码画面(例如，画面参数集1304(pps))。参数集可与视频比特流的编码画面一起发送，或者通过其他方式(包括使用可靠信道的带外传输、硬编码等)发送。切片标头1305也是高级语法结构，它可包含相对较小或仅针对某些切片或画面类型的一些画面相关信息。sei消息1307携带解码过程可能不需要但可用于各种其他目的的信息，这些目的诸如画面输出定时或显示以及损失检测和隐藏。
[0120]
通信设备和系统
[0121]
图8是示出通信系统的示例的图示。通信系统1400可包括编码器1402、通信网络1404和解码器1406。编码器1402可经由连接1408与网络1404通信，该连接可为有线连接或无线连接。编码器1402可类似于图2a的基于块的视频编码器。编码器1402可包括单层编解码器(例如，图2a)或多层编解码器。解码器1406可经由连接1410与网络1404通信，该连接可为有线连接或无线连接。解码器1406可类似于图2b的基于块的视频解码器。解码器1406可包括单层编解码器(例如，图2b)或多层编解码器。
[0122]
编码器1402和/或解码器1406可结合到多种有线通信设备和/或无线传输/接收单元(wtru)中，诸如但不限于数字电视、无线广播系统、网络元件/终端、服务器诸如内容或web服务器(例如，诸如超文本传输协议(http)服务器)、个人数字助理(pda)、膝上型计算机或台式计算机、平板电脑、数字相机、数字记录设备、视频游戏设备、视频游戏机、蜂窝或卫星无线电电话、数字媒体播放器等。
[0123]
通信网络1404可以是合适类型的通信网络。例如，通信网络1404可以是向多个无线用户提供诸如语音、数据、视频、消息、广播等内容的多址接入系统。通信网络1404可使多个无线用户能够通过系统资源(包括无线带宽)的共享来访问此类内容。例如，通信网络1404可采用一种或多种信道接入方法，诸如码分多址(cdma)、时分多址(tdma)、频分多址(fdma)、正交fdma(ofdma)、单载波fdma(sc
‑
fdma)等。通信网络1404可包括多个连接的通信网络。通信网络1404可包括互联网和/或一个或多个私有商业网络，诸如蜂窝网络、wifi热点、互联网服务提供商(isp)网络等。
[0124]
子画面
[0125]
子画面是表示原始视频内容的空间子集的画面，在内容产生侧进行视频编码之前，该原始视频内容已被划分成空间子集。子画面比特流是包含子画面的一个或多个表示的编码版本。(术语“子画面”和“子画面比特流”在该语境中可互换使用。)
[0126]
子画面可用于感兴趣区域(roi)应用或用于视口自适应流传输的全向视频。图9示出了视口自适应流传输的示例。在该示例中，子画面可表示例如立方体映射投影格式的各面。以两种空间分辨率对内容进行编码。在两种分辨率中，都使用3
×
2子画面网格，并且独立于其他子画面对每个子画面进行编码。每个编码子画面序列被存储为子画面比特流，导致十二个子画面比特流可用于提取。根据用户的观看取向，可提取高分辨率子画面和低分辨率子画面的不同组合，然后重新封装以递送到用户的360视频流传输客户端。例如，如果用户的取向与“前”子画面内容很好地对准，则可提取高分辨率“前”子画面(例如前视图)以及各种其他低分辨率子画面(例如左视图、右视图、顶视图、后视图和底视图)。然后可重新
定位所提取的子画面以形成输出比特流，从而以总体减小的比特率将高分辨率视口递送给用户。
[0127]
子比特流
[0128]
子比特流提取过程在hevc中被指定为指定过程，该指定过程从比特流中移除比特流中不属于由目标最高temporalid和目标层标识符列表确定的目标集的nal单元，其中输出子比特流由比特流中属于目标集的nal单元组成。到子比特流提取过程的输入是比特流、目标最高temporalid值和目标层标识符列表，该过程的输出是子比特流。
[0129]
在子画面提取和重新定位过程中，不仅从一个比特流提取子比特流，而且子比特流被重新定位到另一个比特流中以形成输出比特流。
[0130]
在一些实施方案中解决的问题
[0131]
在第13次jvet会议中审查了子画面相关提议，以实现柔性拼接和可独立解码的矩形区域。在2019年1月的jvet
‑
m0261，“on grouping of tiles”(论图块的分组)中提出，子画面可以引用自身的具有子画面尺寸信令的pss，并且子画面可以像解码过程中的画面一样被处理，例如使用填充将子画面边界作为画面边界处理。在2019年1月的jvet
‑
m0388，“on merging of mctss for viewport dependent streaming”(论mct合并用于视口相关流传输)中提出，相同编码画面的子画面可具有不同的nal单元类型值以适应每个表示的不同irap(内部随机接入点)距离。如同使用sei消息指定的hevc那样，子画面也可以被视为的运动约束图块集(mcts)。
[0132]
本文公开了用于解码器缓冲器管理、画面顺序计数(poc)值同步、使用子画面参数集以促进基于子画面的提取和重新定位过程以及其他操作的系统和方法。
[0133]
如jvet
‑
n0826中所述，可在vvc中实现基于子画面的编码。画面可被划分为子画面，并且每个子画面可指其自身的pps及其自身的图块划分。在sps中指示每个子画面的位置和尺寸。sps还指定一个或多个输出子画面集。每个输出子画面集可包括多个子画面以形成具有特定分辨率、配置文件、层和级别的输出画面。然而，根据该系统的输出子画面集仅应用引用相同sps的子画面。相比之下，当使用视口相关的流传输来从引用不同sps的不同分辨率画面合成不同子画面时，可能是期望的。此外，如果在sps中仅发信号通知子画面的一种布局配置，则sps可能不在多个层之间共享。
[0134]
对于沉浸式媒体访问和递送，期望将一般化的系统解码器模型用于新应用。新媒体应用可由多个分量组成，并且媒体数据的渲染用来解码分量数据的全部或子集。每个分量数据可由不同媒体编解码器编码，并且相同分量内容的多个可分级版本(诸如空间编码分辨率、编码质量和时间编码率)可用于自适应访问和递送。例如，基于视频的点云压缩(vpcc)将点云数据投影到几何结构、纹理、占据图和补片分量；每个视频分量数据可由avc、hevc或vvc编码器编码，并且可通过将所有或部分解码的视频分量数据与定时元数据组合来重构点云数据。3dof 视觉编码为多个基本视图和附加视图数据提供该元数据以促进客户端侧的视图合成和渲染。这些多流场景传统上由系统规范诸如文件格式和流传输协议来处理，以解决访问、递送和呈现同步。视频编码标准可能需要新的解码模型和nal单元设计来处理多流场景。
[0135]
不具有层间预测的层概念被用作支持vvc中的沉浸式媒体访问和递送的起点，因为层结构可直接支持多流。对于子画面场景，每个子画面可被表示为特定层的独立画面；子
画面可表示用于vpcc数据的补片或补片组。输出画面可以是来自不同层的多个子画面的复合画面。然而，此前还没有开发足够的信令来指示来自不同层的子画面之间的内容和空间相关性。
[0136]
一些实施方案的概述
[0137]
本文所述的示例性系统和方法采用支持子画面提取和重新定位过程的高级语法设计。输入视频可被编码成多个表示，每个表示可被表示为层。层画面可被划分成多个子画面。每个子画面可具有其自身的图块划分、分辨率、颜色格式和位深度。每个子画面独立于同一层的其他子画面进行编码，但可从来自其从属层的对应子画面帧间预测。每个子画面可引用子画面参数集，其中发信号通知子画面属性诸如分辨率和坐标。每个子画面参数集可引用pps，其中发信号通知整个画面的分辨率。
[0138]
相关联的画面内的每个子画面nal单元的poc值优选地是一致的，并且nal单元类型可与访问单元不同。poc重置方法用于确保idr nal单元和非idr nal单元共享相同的poc值。
[0139]
dpb被划分为多个子dpb，每个子dpb与子画面相关联。可针对每个子画面发信号通知最大子dpb尺寸和重新排序的画面编号以用于会话协商。
[0140]
输出子画面集用于指示用于输出画面的要提取和重新定位的子画面。子画面提取过程移除子画面标识符或图块组id未包括在输出子画面集中的所有nal单元，并且移除时间id大于目标时间id的所有nal单元。
[0141]
在为输出画面重新定位子画面之后，每个子画面参数集可引用与输出画面相关联的新pps。每个子画面的poc值可以基于新输出序列的poc锚点画面来导出。这些约束被提议用于实现自适应分辨率变化(arc)并且使得对应的参考画面能够在dpb中获得。在arc期间，前一个子画面的参考画面可被缩放和变换以匹配所切换到的arc子画面。将经缩放和变换的参考画面放置在与新的子画面相关联的子dpb中，并且释放与前一个子画面相关联的子dpb。输出画面的每个子画面的尺寸可以改变，并且输出画面的尺寸也可以改变。可在输出子画面集中或与子画面提取和重新定位过程相关联的输出参数集中发信号通知最大输出画面分辨率、配置文件和级别。
[0142]
原始视频内容可被编码成具有不同分辨率、深度或颜色格式的多个版本或表示。这些表示中的每个表示可在多层结构中打包。每个比特流可被独立地编码或从其他层进行层间预测。每个表示具有其自身的层id和时间id。由于每个子画面仅包含一个图块组，因此图块组id可以用作子画面的标识符(例如，唯一标识符)。本文描述了输出子画面集、子画面参数集和子dpb管理，如将在下面的子部分中进一步描述的。
[0143]
输出子画面集
[0144]
可分级hevc(shvc)指定层集以标识在由子比特流提取过程的操作从另一个比特流创建的比特流内表示的层的集，如iso/iec dis 23008
‑
2：2018(e)，“high efficiency video coding”(高效视频编码)中所述。
[0145]
在一些实施方案中，对于子画面提取过程，使用输出子画面集进一步识别要包括在输出比特流中的跨多个层或多个表示的子画面。输出子画面集可在用于分层编码或会话协商的参数集中携带，诸如视频参数集(vps)、序列参数集(sps)或dps(解码器参数集)。输出子画面集指示包括在该集中的子画面的数量和每个子画面的图块组id。每个子画面可以
与层id相关联，并且可以从另一从属层处的另一个子画面层间预测。输出子画面集连同目标时间层id识别子画面提取操作点。中间系统或客户端可通过移除层id和子画面图块组id不包括在输出子画面集中的值中的所有nal单元并且移除时间id大于目标时间层id的nal单元来导出输出子比特流。
[0146]
在一些实施方案中，输出子画面集包括指示输出画面尺寸、颜色格式、位深度和子画面在输出画面内的用于比特流打包、输出画面重构和渲染的布局中的一者或多者的参数。可提供多个布局来用于比特流打包和输出画面重构目的。子画面布局可指示输出画面内的每个子画面的位置和尺寸。子画面布局可指示按区域变换类型，诸如子画面的镜像、翻转、旋转和缩放，以用于输出画面重构和渲染。在一些实施方案中，子画面在比特流中以低分辨率打包，但是基于输出子画面集信令以提高的高分辨率重构和渲染。
[0147]
表2.建议的输出子画面集
[0148][0149]
表2示出了建议的输出子画面集的语法结构示例。该示例中的每个输出子画面集(osps)指定输出帧分辨率、要输出的子画面的数量，以及合成输出帧的每个输出子画面的层id、子画面id、位置和尺寸。在表2的示例中，输出子画面集发信号通知该集中的每个子画面的配置文件、层和/或级别。在一些实施方案中，在每个子画面的profile_tier_level()数据结构中发信号通知该信息。元素sub_pic_max_tid[i][j]指定用于提取过程的相关联的子画面的最大时间id。变换语法元素指定用于合成输出画面的特定子画面的变换类型。每个osps还可指示其符合的配置文件、层和级别。
[0150]
在另一个实施方案中，由x_offset、y_offset指定的输出子画面布局对于推荐的按区域打包和渲染可以是可选的，并且客户端可采用任何输出布局格式来合成和渲染输出画面。输出画面可具有未被任何子画面填充的特定跳过区域，并且客户端可决定用于这些跳过区域的填充和渲染方法。图10示出了具有跳过区域(即跳过区域#0和#1)的输出画面的示例。
[0151]
参数集诸如vps或sps可跨层指定多个子画面，每个子画面具有其自己的唯一id。涉及相同vps或sps的子画面可源自相同的内容，但被编码成不同的版本。编码版本可涉及
特定的空间分辨率、时间帧速率、色彩空间、深度或分量。相同编码版本的所有子画面可跨层引用相同sps。
[0152]
在sps可由多个层共享的情况下，sps可发信号通知与每个层画面相关联的所有子画面配置，并且pps或与由多个子画面组成的画面相关联的参数集可将索引引用到这样的子画面配置列表中。表3示出建议的sps语法结构，其中num_sub_pic_cfgs_minus1加1指定可用的子画面配置的数量，并且每个子画面配置可由多个子画面组成，每个子画面具有其自身的位置和尺寸。表4中指定的索引pps_sub_pic_cfg_idx是到sps中子画面配置列表中的索引，并且对应的子画面布局应用于与pps相关联的画面。
[0153]
表3.建议的子画面sps信令
[0154][0155][0156]
表4.建议的子画面pps信令
[0157][0158]
在另一个实施方案中，可在vps中发信号通知所有子画面配置；并且sps、pps或与由多个子画面组成的画面相关联的参数集可将索引引用到这样的子画面配置列表中。
[0159]
在另一个实施方案中，建议在图像级参数集或标头处覆写sps子画面像配置，以用于在编码视频序列(cvs)期间改变其属性的那些子画面。覆写语法元素可包括重写标记、更新的子画面的数量以及当设置覆写标记时更新的子画面的配置。表5是覆写sps或vps中指定的子画面位置和尺寸的pps语法结构示例。
[0160]
表5.建议的子画面覆写信号
[0161][0162]
在另一个实施方案中，可在vps或dps中发信号通知与每个层相关联的默认子画面配置，并且当与涉及sps的层相关联的子画面配置不同于在vps或dps中发信号通知的默认子画面配置时，sps可覆写子画面配置。可在sps中指示sps_sub_pic_cfg_override_flag以指定sps中存在子画面配置语法元素。
[0163]
图11示出了层结构示例。子画面#0、#1和#2表示第一源内容的多个区域。子画面#5和#6表示第二源内容的区域。子画面#3是子画面#0的增强版本(例如，更高分辨率)，子画面#4是子画面#1的增强版本，并且子画面#7是子画面#6的增强版本。子画面#3可从子画面#0预测，并且子画面#4可从子画面#1预测。子画面#7被独立地编码。总共有五层可用(第0层至第4层)；每层包含内容的一个版本。层可包含整个画面，或仅包含一个或多个子画面。每个子画面可引用其自身的pps。与相同源相关联的所有层可引用相同的sps或vps。跨层共享相同sps的一个益处是保证编码配置，诸如ctu大小、位深度、色度格式等。在一些实施方案中，提出了一个约束，即参考相同sps的每个子画面具有唯一的子画面id。
[0164]
表6提供了子画面对应关系和从属关系指示符的示例，以指示跨层的子画面之间的关系。当标记sub_pic_corresponding_flag[i][j]等于1时，提供标识符corresponding_sub_pic_id[i][j]来指定对应于第i层的第j个子画面的子画面。对应的子画面可以都覆盖原始内容的相同区域，但两个子画面的分辨率、质量和转换可以不同。
[0165]
当标记sub_pic_dependent_flag[i][j]等于1时，标识符dependent_sub_pic_id[i][j]指定用来预测第i层的第j个子画面的子画面的id。在图11中，子画面#0是子画面#3的从属子画面和对应子画面。子画面#1是子画面#4的从属子画面和对应子画面。子画面#6不是子画面#7的从属子画面，而是子画面#7的对应子画面。基底层画面可携带源内容的所有区域，并且增强层可携带一个或多个子画面区域。可以从基底层子画面布局推断源内容内的每个增强层子画面的相对协调。在层结构中存在多个内容分量的情况下，对应子画面的层可携带源内容的区域协调信息。
[0166]
表6.建议的子画面对应关系和从属关系指示符
[0167][0168]
在另一个实施方案中，可在参数集中指定对应组的子画面的列表。覆盖相同内容区域的子画面可将相同索引共享到子画面对应组列表中。可单独地发信号通知多个区域之间的协调关系，如表7所示。
[0169]
表7.建议的子画面对应关系和从属关系指示符
[0170][0171][0172]
值num_regions_minus1指定比由独立编码区域(子画面)覆盖的区域的总数少一。值nominal_pic_width和nominal_pic_height指定标称画面分辨率。索引corresponding_sub_pic_group_idx[i]将索引指定到对应子画面列表中；所识别的对应子画面覆盖画面的第i个区域。偏移值region_x_offset[i]和region_y_offset[i]指定第i区域的位置，并且nominal_region_width[i]和nominal_region_height[i]指定第i区域的标称尺寸。
[0173]
子画面参数集
[0174]
在一些实施方案中，参数集、子画面参数集用于指示一个或多个子画面参数，诸如图块划分、子画面的坐标和尺寸，以及从属子画面层。
[0175]
子画面的坐标可指示子画面在画面内的位置。从属子画面层指示可用来预测当前子画面的层。子画面参数集还可包括dpb管理信令，诸如参考画面列表和每个子画面所需的最大dpb缓冲区大小。每个子画面可引用由子画面参数集id设置的其自身的子画面参数。图12示出了序列参数集(sps)、画面参数集(pps)、子画面参数集(spps)以及它们的激活顺序。子画面参数集在其被图块组引用时激活，pps在其被spps或图块组引用时被激活。使子画面参数集在其激活之前可用于解码过程，并且包含spps的nal单元可具有等于0的nal单元层id。图块组还可引用pps和spps两者，其中pps id和spps id在图块组标头处发信号通知。在spps中包括语法元素的益处是避免在每个图块组标头中发信号通知的冗余开销并且简化了子比特流重写过程。
[0176]
在一些实施方案中，在子画面提取期间，移除包含未被子画面集中包括的子画面的图块组引用的子画面参数集的那些nal单元。
[0177]
子画面的dpb管理
[0178]
解码画面缓冲器(dpb)保存解码画面以供参考、输出重新排序或输出为假设的参考解码器指定的延迟。一些实施方案通过采用在子画面级操作的dpb结构来利用每个子画面的独立编码。在一些实施方案中，每个子画面与画面内的其他子画面共享相同的参考画面列表。在一些实施方案中，每个子画面可具有其自己的参考画面列表以改善编码性能；在此类实施方案中，可在子画面参数集中发信号通知对应的参考画面列表。
[0179]
在2013年10月的jctvc
‑
o0217，“sub
‑
dpb based dpb operations”(基于子dpb的dpb操作)提出了子dpb操作的两个模式：(i)特定于层的子dpb模式，其中为每层分配单独的子dpb，以及(ii)特定于分辨率的子dpb模式，其中具有相同空间分辨率、颜色格式和位深度的所有画面共享相同的子dpb。
[0180]
在一些实施方案中，dpb被划分为多个子dpb，并且针对每个子画面独立地管理每个子dpb。特定于子画面的子dpb模式允许独立于其他子画面插入、标记和移除解码的子画面。在一些实施方案中，针对会话协商的每个子画面，在pps或sei消息中发信号通知最大子dpb尺寸、重新排序画面的最大数量和最大延迟增加。这允许中间系统或客户端导出要用于子画面重新定位的最大dpb尺寸。pps可以是用于携带多个子画面上的子画面相关属性的适当参数集。
[0181]
图13示出了dpb划分成多个基于层的子dpb的示例。每个基于层的子dpb可被进一步划分为多个基于子画面的子dpb。每个子画面可在其对应的子dpb内以不同方式编码。
[0182]
当按区域打包方法可旋转或翻转子画面，或者将子画面打包到画面内的不同位置时，如本文所述的将子dpb用于子画面的方法可简化解码过程。由于每个子画面被独立地编码，因此子画面可基于画面顺序计数(poc)、时间id和图块组id在特定子dpb内找到其参考子画面，而不管子画面在画面内的坐标如何。
[0183]
对于子画面切换诸如自适应分辨率变化(arc)，sei消息或外部装置可指示arc切换之前的第一子画面标识符和arc切换之后的第二子画面。可将约束应用于arc子画面以提供一致的解码过程。例如，切换之后的第二子画面可具有与arc之前的第一子画面相同的时
间子层结构和编码结构；这样的约束确保第二子画面的参考画面可来源于dpb中(例如，子dpb之一中)可用的第一子画面的参考画面。arc切换之前和之后的子画面序列的子画面的poc值优选地一致。例如，如果arc操作从子画面#a切换到子画面#b，则子画面#a和#b可采用不同的分辨率、颜色格式或位深度编码。为子画面#a分配子dpb#a，为子画面#b分配子dpb#b。在arc期间，客户端可增大或减小缓冲区大小以匹配子dpb#b的大小。子dpb#a中的参考画面被缩放或变换以与子画面#b的属性一致，包括新分辨率、颜色格式和/或位深度。然后将那些经缩放或变换的参考画面分配给子dpb#b，并且可释放子dpb#a。
[0184]
poc值导出
[0185]
hevc和vvc用于针对瞬时解码刷新(idr)画面将poc值重置为零，并且针对norasloutputflag等于1的内部随机接入点(irap)画面将picordercntmsb重置为零。在不同表示具有不同irap距离的情况下，来自子画面提取和重新定位过程的输出画面可由不同类型的子画面nal单元组成，并且相关联的子画面或图块组的导出的poc值可不一致。
[0186]
在一些实施方案中，为了使poc值在画面内的子画面之间一致，在图块组标头处发信号通知的poc lsb值被重写。tile_group_pic_order_cnt_lsb语法元素的长度是log2_max_pic_order_cnt_lsb_minus4 4位，并且log2_max_pic_order_cnt_lsb_minus4语法元素在关联表示的sps处发信号通知。对于一些实施方案，提出了要求与跨表示的子画面相关联的gps共享相同的log2_max_pic_order_cnt_lsb_minus4值的约束，以简化tile_group_pic_order_cnt_lsb元素语法重写过程。在其他实施方案中，log2_max_pic_order_cnt_lsb_minus4可在pps或子画面参数集处针对每个子画面明确地发信号通知。
[0187]
在一个或多个nal单元类型是idr的情况下，相关联的子画面的poc值为零，并且可与同一画面内的其他非idr子画面的poc值不相同。在一些实施方案中，提出poc重置方案以在画面中包括至少一个idr子画面时将所有子画面的tile_group_pic_order_cnt_lsb值重置为零。
[0188]
由于picordercntmsb在输入子画面比特流和输出重新定位比特流之间可能不一致，因此可以不允许长期参考画面用于arc画面和以解码顺序在arc画面之后的画面。
[0189]
在一些实施方案中，poc重置标记由每个子画面或子画面参数集携带，使得poc导出可由外部装置进行，而不管先前的画面如何。
[0190]
图14示出了从三个子画面创建的画面的poc值重置的示例。子画面#0的idr间隔为8，并且子画面#1和#2的idr间隔为4。当访问单元中包括至少一个idr nal单元或者poc重置标记在外部设置时，新形成的画面poc值被重置为0。
[0191]
输出参数集
[0192]
在sps中可指定许多编码配置参数和编码使能标记，以指示应用于整个编码视频序列(cvs)的语法元素长度、编码单元大小和工具配置。例如，log2_ctu_size_minus2定义ctu大小，log2_min_luma_coding_block_size_minus2定义最小亮度编码块大小，sps_sao_enabled_flag确定样本自适应偏移过程是否应用于重构画面。每个表示可使用其自身的编码参数设置，并且每个表示cvs可引用不同的gps。在子画面提取和重新定位之后，形成单个输出cvs，并且它引用一个sps。然后，这些sps配置参数的值可应用于来自多个表示的所有子画面。使它们一致的一种方式是需要包括在输出子画面集中的所有子画面引用相同sps或共享相同参数值。然而，如果以相同配置对高分辨率和低分辨率表示进行编码，则编码性
能可能受到影响。一个另选的实施方案是针对pps或sps中的输出子画面集中包括的每个子画面明确地发信号通知这些配置参数或编码使能标记，并且每个子画面可使用子画面标识符来引用对应的编码配置参数。
[0193]
在另一个实施方案中，每个子画面可被视为单个画面：它可引用其自身的pps，每个pps可引用hevc或vvc中指定的sps，并且多个sps可引用覆盖所有潜在编码参数或用于整个解码序列的最大编码能力的dps。在一些实施方案中，将所合成的输出画面的属性诸如输出画面分辨率和子画面布局在pps或sps中作为语法元素发信号通知。在一些实施方案中，将所合成的输出画面的属性诸如输出画面分辨率和子画面布局在单独的参数集例如输出参数集(ops)中发信号通知。ops可用于指示用于渲染和呈现的输出画面的属性；这些属性可包括输出画面尺寸和重新定位子画面的布局。ops可由pps或子画面参数集引用。图15示出了参数集之间的关系的示例，其中相同的子画面可与多个输出画面分辨率和布局相关联。
[0194]
子画面提取和重新定位过程
[0195]
hevc指定用于从输入层比特流中提取子比特流的子比特流提取过程，具体是通过移除temporalid大于tidtarget的所有nal单元和nuh_layer_id不等于lidtarget的所有nal单元。
[0196]
新媒体应用可用于从层比特流的不同层提取多个子画面流，并且以特定顺序将所提取的子比特流合并在一起以形成新的一致比特流。这里提出了子比特流提取和重新定位过程。该过程的输入是比特流和目标子画面集subpicsettarget。该过程的输出是比特流。
[0197]
为了实现符合输入比特流的比特流，可施加以下条件。作为这里指定的过程的输出(作为输入的是比特流，每个nuh_layer_id值、lidtarget(其与活动vps中指定的subpicsettarget相关联)等于0至126范围内的任何值(包括端值)，并且每个最高时间id值、tidtarget(其与在活动vps中指定的subpicsettarget相关联)等于0至6范围内的任何值(包括端值)，并且子画面id值、sidtarget等于与在活动vps中指定的subpicsettarget相关联的sub_pic_id)以及满足以下条件的任何输出子比特流应是合规比特流：
[0198]
·
输出子比特流包含sub_pic_id等于sidtarget，temporalid等于tidtarget并且nuh_layer_id等于lidtarget的至少一个vcl nal单元。
[0199]
所提取的子比特流可在包括以下操作的方法中导出：(i)移除temporalid大于tidtarget的所有nal单元，以及(ii)移除nuh_layer_id不等于lidtarget的所有nal单元。
[0200]
重新定位的比特流可在包括以subpicsettarget中指定的顺序合并所提取的子比特流的并置访问单元的方法中导出。所提取的子比特流的访问单元表示对应子画面的帧。多个子画面的并置访问单元可共享相同的时间戳，诸如画面顺序计数。
[0201]
不同子画面的nal单元的顺序可在输出子画面集中发信号通知，或者从输出子画面集中指示的子画面布局推断。输出画面的每个访问单元可按输出子画面集中指定的顺序由子画面的多组nal单元组成。
[0202]
用于沉浸式媒体访问和递送的层结构
[0203]
不同的媒体类型(例如，视频数据、元数据)、分量(例如，几何形状、纹理、属性、深度、图块)、编码版本(分辨率、帧速率、位深度、色彩空间、编解码器)可被称为不同层处的不同表示数据。特定层的组合可输出以形成输出比特流以支持应用。客户端可访问和呈现具
有完整或部分表示的重构媒体数据。图16示出了在层比特流中复用360度可分级视频、pcc数据和3dof 数据的一个示例。不同的层可具有不同的格式并由不同的媒体编码器编码。
[0204]
可在交叉层媒体参数集中指定若干语法元素，以支持沉浸式媒体访问、递送和渲染，如下所述。表8中示出了示例性语法结构。
[0205]
在一些实施方案中，层可用标记用于指定与特定层相关联的表示数据是在比特流内可用还是由规格范围之外的外部装置提供。例如，表8中指定的mps_layer_available_flag[i]指示第i层是在层比特流中可用(mps_layer_available_flag[i]等于1)还是由外部装置(mps_layer_available_flag[i]等于0)提供。
[0206]
在一些实施方案中，层呈现标记用于指定相关联的层的表示数据是否旨在单独输出。例如，具有与点云对象相关联的几何视频数据的层可能不会被单独输出、解码和渲染。例如，表8中指定的mps_layer_output_flag[i]指示第i层是否可被单独解码和输出。
[0207]
映射表可将每个层表示数据映射到特定媒体类型、特定媒体的分量和/或表示数据的子集。例如，层表示数据可表示点云几何视频数据的特定图块组，并且这种映射可从层id和子画面id导出。例如，表8中指定的mps_media_type指示包括在层结构中的媒体类型或编解码器类型。索引mps_media_type_idx[i]指定用于映射到特定媒体或分量类型的mps_media_type语法结构的列表中的索引。
[0208]
在一些实施方案中，输出媒体集用于指定多个层表示数据，和/或具有时间id、子画面id或切片id的特定层表示数据的子集，以形成表示整个或部分媒体呈现的输出比特流。输出媒体集还可指示输出表示数据速率、最大分辨率和编解码器配置文件、所支持的层和级别。表8中指定的语法元素mps_num_output_set_minus1指示输出媒体集的数量。元素mps_media_type_idx[i]指定第i个输出集的媒体类型，并且num_sub_layers[i]指定要包括在第i个输出集中的子画面或子分量(例如，vpcc几何结构层)的数量。
[0209]
表8.建议的媒体参数集
[0210]
[0211][0212]
在每个层表示数据内，针对一些实施方案提出子层数据集以指示合规子层比特流。该集可使用nal单元类型、时间id、子画面id来识别子层输出数据。子层数据集还可使用字节偏移或字节数来指示包括在层数据中的子层数据。子层数据集id可用于输出媒体集中以提取和重新定位输出媒体表示数据。
[0213]
在表9所示的实施方案中，num_sub_layer_minus1指定比用于特定层数据的子层的总数少一。第i个子层的标识符由sub_layer_id[i]指定。元素sub_layer_entry_count_minus1加1指定层数据中可用的子层条目的数量。第i个条目的数据长度由entry_byte_length[i]表示。元素sub_layer_idx[i]指定与第i个条目相关联的子层集的索引。
[0214]
表9.建议的子层数据集
[0215][0216][0217]
在一些实施方案中，客户端或中间系统可基于输出媒体集来提取部分媒体表示数据。客户端可应用针对每个层或子层表示的特定媒体编解码器，以基于所提议的媒体参数集和子层数据集重构完整或部分媒体数据。在仅可重构媒体数据的一部分的情况下，可使用层或子层数据与目标3d呈现空间之间的空间映射。
[0218]
例如，多层表示可包括360度视频和点云对象两者。一组层可表示特定vpcc对象，
并且另一组层可表示360度视频。与特定vpcc对象相关联的层数据可表示vpcc分量(例如，属性)，并且子层数据可表示分量的独立可解码区域，诸如vpcc几何结构切片，或分量维度，诸如vpcc几何结构层或属性类型。在客户端在360度视频背景上部分地渲染vpcc对象的情况下，客户端可不必访问所有360度视频和vpcc数据。客户端可基于一个输出媒体集访问与vpcc对象相关联的每个分量的一个切片，并且客户端可基于另一个输出媒体集访问360度视频的特定视口数据。客户端可通过解码、合成和渲染两个输出媒体集来重构部分vpcc对象和360度视口。
[0219]
语法设计概述
[0220]
本文所述的示例性系统和方法采用支持子画面提取和重新定位过程的高级语法设计。输入视频可被编码成多个表示，每个表示可被表示为层。层画面可被划分成多个子画面。每个子画面可具有其自身的图块划分、分辨率、颜色格式和位深度。每个子画面独立于同一层的其他子画面进行编码，但可从来自其从属层的对应子画面帧间预测。每个子画面可引用子画面参数集，其中发信号通知子画面属性。子画面属性可包括诸如每个子画面的分辨率和指示每个子画面在输出画面内的位置的坐标的信息。每个子画面参数集可引用pps，其中发信号通知整个画面的分辨率。
[0221]
相关联的画面内的每个子画面nal单元的poc值优选地是一致的，并且nal单元类型可与访问单元不同。poc重置方法用于确保idr nal单元和非idr nal单元共享相同的poc值。
[0222]
dpb被划分为多个子dpb，每个子dpb与子画面相关联。可针对每个子画面发信号通知最大子dpb尺寸和重新排序的画面编号以用于会话协商。
[0223]
输出子画面集用于指示用于输出画面的要提取和重新定位的子画面。子画面提取过程移除子画面标识符或图块组id未包括在输出子画面集中的所有nal单元，并且移除时间id大于目标时间id的所有nal单元。
[0224]
在为输出画面重新定位子画面之后，每个子画面参数集可引用与输出画面相关联的新pps。每个子画面的poc值可以基于新输出序列的poc锚点画面来导出。这些约束被提议用于实现arc并且使得对应的参考画面能够在dpb中获得。在arc期间，前一个子画面的参考画面可被缩放和变换以匹配所切换到的arc子画面。将经缩放和变换的参考画面放置在与新的子画面相关联的子dpb中，并且释放与前一个子画面相关联的子dpb。输出画面的每个子画面的尺寸可以改变，并且输出画面的尺寸也可以改变。可在输出子画面集中或与子画面提取和重新定位过程相关联的输出参数集中发信号通知最大输出画面分辨率、配置文件和级别。
[0225]
示例性系统和方法
[0226]
如图17所示，在一些实施方案中执行的方法包括在比特流中对包括至少一个画面的视频进行编码(1702)，画面包括多个子画面。可使用针对子画面所确定(1704)的约束来对子画面进行编码。在比特流中发信号通知(1706)每个相应子画面的级别信息，其中对于每个子画面，级别信息指示对相应子画面的语法元素的值的预定义的一组约束。
[0227]
在一些实施方案中，一种方法包括从该比特流解码多个相应子画面中的每个子画面的级别信息，其中对于每个子画面，该级别信息指示对相应子画面的语法元素的值的预定义的一组约束；以及根据该级别信息从该比特流解码多个子画面。
[0228]
在一些实施方案中，提供了一种信号，其中该信号包括对包括至少一个画面的视频进行编码的信息，画面包括多个子画面；和每个相应子画面的级别信息；其中对于每个子画面，级别信息指示对相应子画面的语法元素的值的预定义的一组约束。该信号可存储在计算机可读介质上。该计算机可读介质可以是非暂态介质。
[0229]
在一些实施方案中，一种装置设置有被配置为执行如图17所示的编码方法的一个或多个处理器。
[0230]
在一些实施方案中，一种装置设置有被配置为执行方法的一个或多个处理器，该方法包括从该比特流解码多个相应子画面中的每个子画面的级别信息，其中对于每个子画面，该级别信息指示对相应子画面的语法元素的值的预定义的一组约束；以及根据该级别信息从该比特流解码多个子画面。
[0231]
在一些实施方案中，一种如本文所述的装置设置有以下中的至少一者：(i)被配置为接收信号的天线，该信号包括表示图像的数据，(ii)被配置为将所接收的信号限制到包括表示图像的数据的频带的频带限制器，或(iii)被配置为显示该图像的显示器。该设备可以是例如电视机、手机、平板电脑、stb或中间系统。
[0232]
在一些实施方案中，一种装置包括被配置为访问数据的访问单元，该数据包括多个子画面和每个子画面的级别信息。该装置还可包括被配置为传输该数据的发射器。
[0233]
在一些实施方案中，一种方法包括访问数据，该数据包括多个子画面和每个子画面的级别信息。该方法还可包括传输包括该多个子画面和每个子画面的级别信息的该数据。
[0234]
在一些实施方案中，提供了计算机可读介质和计算机程序产品，它们包括多个子画面和每个子画面的级别信息。
[0235]
在一些实施方案中，一种计算机可读介质包括多个子画面和每个子画面的级别信息。
[0236]
在一些实施方案中，一种计算机可读介质包括用于使得一个或多个处理器执行以下操作的指令：在比特流中对包括至少一个画面的视频进行编码，画面包括多个子画面；以及在该比特流中发信号通知每个相应子画面的级别信息；其中对于每个子画面，级别信息指示对相应子画面的语法元素的值的预定义的一组约束。
[0237]
在一些实施方案中，一种计算机可读介质包括用于使得一个或多个处理器执行以下操作的指令：从该比特流解码多个相应子画面中的每个子画面的级别信息，其中对于每个子画面，该级别信息指示对相应子画面的语法元素的值的预定义的一组约束；以及根据该级别信息从该比特流解码多个子画面。
[0238]
在一些实施方案中，一种计算机程序产品包括指令，当该程序由一个或多个处理器执行时，该指令使得该一个或多个处理器执行以下操作：在比特流中对包括至少一个画面的视频进行编码，画面包括多个子画面；以及在该比特流中发信号通知每个相应子画面的级别信息；其中对于每个子画面，级别信息指示对相应子画面的语法元素的值的预定义的一组约束。
[0239]
在一些实施方案中，一种计算机程序产品包括指令，当该程序由一个或多个处理器执行时，该指令使得该一个或多个处理器执行以下操作：从该比特流解码多个相应子画面中的每个子画面的级别信息，其中对于每个子画面，该级别信息指示对相应子画面的语
法元素的值的预定义的一组约束；以及根据该级别信息从该比特流解码多个子画面。
[0240]
附加实施方案
[0241]
在一些实施方案中，一种视频比特流重写方法包括：接收包括多个nal单元的输入比特流，每个nal单元具有层id和子画面图块组id；选择时间id和输出子画面集，其中输出子画面集识别至少一个层id和至少一个图块组id；以及对输入比特流执行重写过程以生成子比特流，其中该重写过程包括从输入比特流中移除(i)具有在输出子画面集中未识别的层id的nal单元，(ii)具有在输出子画面集中未识别的图块组id的nal单元，以及(iii)具有大于所选择的时间id的时间id的nal单元。
[0242]
在一些实施方案中，输入比特流还包括至少一个子画面参数集。
[0243]
在一些实施方案中，子画面参数集包括指示以下中的一者或多者的信息：图块划分、子画面在画面内的坐标、子画面的尺寸和从属子画面层。
[0244]
在一些实施方案中，子画面参数集包括解码画面缓冲器管理信令。
[0245]
在一些实施方案中，解码画面缓冲器管理信令包括以下中的一者或多者：参考画面列表和每个子画面的最大解码画面缓冲器(dpb)大小。
[0246]
在一些实施方案中，子画面参数集包括画面参数集(pps)的标识符。
[0247]
在一些实施方案中，该重写过程还包括从输入比特流中移除(iv)包含输出子画面集中包括的子画面的图块组未引用的子画面参数集的nal单元。
[0248]
在一些实施方案中，一种视频解码方法包括：接收包括多个子画面的视频的比特流，其中对于至少一个子画面，该比特流包括指示以下各项中的至少一项的dpb信息：最大子dpb大小、重新排序的画面的最大数量和最大延迟增加；基于dpb信息，将dpb划分为多个子dpb，每个子dpb与对应的子画面相关联；以及使用对应的子dpb对每个子画面进行解码。
[0249]
在一些实施方案中，视频包括多个层，并且每个子dpb与对应的层和对应的子画面相关联。
[0250]
在一些实施方案中，dpb信息包括在比特流中的pps中。
[0251]
在一些实施方案中，一种方法包括接收视频的比特流，该视频包括多个画面，每个画面包括多个子画面；以及响应于确定对应画面中的至少一个子画面是瞬时解码刷新(idr)画面，将对应的画面的画面顺序计数(poc)值设置为零。
[0252]
在一些实施方案中，一种方法包括：接收视频的比特流，该比特流对多个子画面进行编码，其中该比特流还包括输出参数集(ops)，其中ops指示子画面在输出画面中的位置；对子画面进行解码；以及通过根据ops定位解码子画面来合成输出画面。
[0253]
在一些实施方案中，一种方法包括：接收包括输入画面的视频；将输入画面划分为多个子画面；使用可分级编码将每个子画面在至少两层中编码，每个子画面中独立于其他子画面进行编码；以及对每个子画面的子画面参数集进行编码，其中子画面参数集指示相应子画面的层间预测的层从属性。
[0254]
在一些实施方案中，每个子画面对应于图块组，并且每个相应图块组的图块组标头引用对应的子画面参数集。
[0255]
在一些实施方案中，子画面参数集引用画面参数集(pps)。
[0256]
在一些实施方案中，每个子画面参数集识别对应子画面的分辨率。
[0257]
在一些实施方案中，每个子画面参数集识别对应子画面在输出画面中的位置。
[0258]
在一些实施方案中，一种视频比特流重写方法包括：接收包括多个nal单元的输入比特流，每个nal单元具有层id和子画面id；接收输出子画面参数集，其中对于多个输出子画面集中的每个输出子画面集，该输出子画面参数集指定相应输出子画面集中的每个子画面的层id和子画面id；选择(i)时间id和(ii)在输出子画面参数集中识别的输出子画面集；以及对输入比特流执行重写过程以生成子比特流，其中该重写过程包括从输入比特流中移除(i)不在所选择的输出子画面集中的子画面的nal单元，如层id和子画面id所指示，以及(ii)具有大于所选择的时间id的时间id的nal单元。
[0259]
在一些实施方案中，对于每个输出子画面集，输出子画面参数集进一步指定相应输出子画面集内的每个子画面的子画面偏移位置。
[0260]
在一些实施方案中，对于每个输出子画面集，输出子画面参数集进一步指定相应输出子画面集内的每个子画面的子画面宽度和高度。
[0261]
在一些实施方案中，对于每个输出子画面集，输出子画面参数集进一步指定相应输出子画面集的宽度和高度。
[0262]
在一些实施方案中，子画面id是图块组id。
[0263]
在一些实施方案中，一种视频解码方法包括：接收包括多个子画面的输入比特流，每个子画面具有相应的子画面id；接收输出子画面参数集，其中对于包括至少一个所选择的输出子画面集的多个输出子画面集，该输出子画面参数集指定所选择的输出子画面集中的每个子画面的子画面id；对所选择的输出子画面集中的每个子画面进行解码；以及将解码子画面合成为输出帧。
[0264]
在一些实施方案中，对于所选择的输出子画面集，输出子画面参数集进一步指定相应输出子画面集内的每个子画面的子画面偏移位置，其中合成解码子画面包括将每个解码子画面定位在相应的偏移位置处。
[0265]
在一些实施方案中，对于所选择的输出子画面集，输出子画面参数集进一步指定相应输出子画面集内的每个子画面的子画面宽度和高度，并且合成解码子画面包括将每个解码子画面缩放到相应的宽度和高度。
[0266]
在一些实施方案中，对于所选择的输出子画面集，输出子画面参数集进一步指定相应输出子画面集的宽度和高度。
[0267]
在一些实施方案中，子画面id是图块组id。
[0268]
在一些实施方案中，一种视频比特流重写方法包括：接收包括多个nal单元的输入比特流，每个nal单元具有层id和子画面id；接收画面参数集，其中对于多个子画面配置中的每个子画面配置，该画面参数集指定相应子画面配置中的每个子画面的子画面id；选择(i)时间id和(ii)在输出子画面参数集中识别的子画面配置；以及对输入比特流执行重写过程以生成子比特流，其中该重写过程包括从输入比特流中移除(i)不在所选择的子画面配置中的子画面的nal单元，如子画面id所指示，以及(ii)具有大于所选择的时间id的时间id的nal单元。
[0269]
在一些实施方案中，一种视频解码方法包括：接收包括多个子画面的输入比特流，每个子画面具有相应的子画面id；接收序列参数集，其中对于包括所选择的子画面配置的多个子画面配置中的每个子画面配置，该序列参数集指定相应子画面配置中的每个子画面的子画面id；对所选择的输出子画面集中的每个子画面进行解码；以及将解码子画面合成
为输出帧。
[0270]
在一些实施方案中，对于所选择的子画面配置，该序列参数集进一步指定所选择的子画面配置中的每个子画面的子画面偏移位置，并且合成解码子画面包括将每个解码子画面定位在相应的偏移位置处。
[0271]
在一些实施方案中，对于所选择的子画面配置，该序列参数集进一步指定所选择的子画面配置内的每个子画面的子画面宽度和高度，并且合成解码子画面包括将每个解码子画面缩放到相应的宽度和高度。
[0272]
一些实施方案还包括接收包括子画面配置索引的画面参数集，其中所选择的子画面配置基于子画面配置索引来选择。
[0273]
在一些实施方案中，一种视频解码方法包括：接收包括多个子画面的输入比特流，每个子画面具有相应的子画面id；接收画面参数集，其中该画面参数集包括子画面配置覆写标记；响应于确定子画面配置覆写标记被设置，确定在画面参数集中传送的子画面输出配置，包括输出配置中的每个子画面的id；对输出配置中的每个子画面进行解码；以及将解码子画面合成为输出帧。
[0274]
在一些实施方案中，一种视频解码方法包括：接收包括多个子画面的输入比特流，每个子画面具有相应的子画面id；接收视频参数集，对于每个子画面，该视频参数集指示子画面是否从属于另一个子画面；以及根据该视频参数集对输入比特流进行解码。
[0275]
在一些实施方案中，对于被指示为从属于另一个子画面的每个子画面，该视频参数集还指示其所从属的子画面的子画面id。
[0276]
在一些实施方案中，对于未被指示为从属于另一个子画面的每个子画面，该视频参数集还提供指示子画面是否对应于另一个子画面的标记。
[0277]
在一些实施方案中，对于被指示为对应于另一个子画面的每个子画面，该视频参数集还指示对应子画面的子画面id。
[0278]
在一些实施方案中，一种视频解码方法包括：接收包括多个子画面的输入比特流，每个子画面具有相应的子画面id；接收识别多个子画面组的参数集，每个组具有索引；接收参数集，对于输出帧的多个区域中的每个区域，该参数集识别对应于相应区域的子画面组的索引；对于每个区域，对对应于区域的子画面组中的子画面中的至少一个子画面进行解码；以及从解码子画面合成输出帧。
[0279]
在一些实施方案中，一种媒体解码方法包括：接收包括多个层和子层的比特流，每个子层具有相应的子层id；接收媒体参数集，对于多个层中的每个层，该媒体参数集指示该层在该比特流中是否可用；以及根据该媒体参数集对该比特流进行解码。
[0280]
在一些实施方案中，一种媒体解码方法包括：接收包括多个层和子层的比特流，每个子层具有相应的子层id；接收媒体参数集，对于多个层中的每个层，该媒体参数集指示该层是否能够被独立地解码和输出；以及根据该媒体参数集对该比特流进行解码。
[0281]
在一些实施方案中，一种媒体解码方法包括：接收包括多个层和子层的比特流，每个子层具有相应的子层id；接收媒体参数集，该媒体参数集指示多个层中的每个层的媒体类型；以及根据该媒体参数集对该比特流进行解码。
[0282]
在一些实施方案中，一种媒体解码方法包括：接收包括多个层和子层的比特流，每个子层具有相应的子层id；接收媒体参数集，该媒体参数集指示包括至少一个所选择的输
出集的子层的多个输出集；以及对所选择的输出集中的子层进行解码。
[0283]
在一些实施方案中，该媒体参数集还指示每个输出集的媒体类型。
[0284]
在一些实施方案中，该媒体参数集还指示每个输出集的层id。
[0285]
在一些实施方案中，一种比特流提取方法包括：接收包括多个层和子层的比特流，每个子层具有相应的子层id；接收子层参数集，该子层参数集指示每个子层的进入字节长度；以及根据该子层参数集提取至少部分媒体表示。
[0286]
在一些实施方案中，提供了一种系统，该系统包括处理器和非暂态计算机可读介质，该非暂态计算机可读介质存储用于执行本文所述的方法中的任一种方法的指令。
[0287]
在一些实施方案中，提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储使用本文所述的方法中的任一种方法生成的视频比特流。
[0288]
本公开描述了多个方面，包括工具、特征、实施方案、模型、方法等。这些方面中的许多方面被具体地描述，并且至少为了示出个体特性，通常以可能听起来进行限制的方式进行描述。然而，这是为了在描述中清楚起见，并且不限制那些方面的公开内容或范围。实际上，所有不同的方面可组合和互换以提供另外的方面。此外，这些方面也可与先前提交中描述的方面组合和互换。
[0289]
本公开中描述和设想的方面可以许多不同的形式实现。虽然具体地示出了一些实施方案，但设想了其他实施方案，并且具体实施方案的讨论并不限制具体实施的广度。这些方面中的至少一个方面通常涉及视频编码和解码，并且至少一个其他方面通常涉及传输所生成或编码的比特流。这些和其他方面可被实现为方法、装置、存储有用于根据所述方法中的任一种方法对视频数据进行编码或解码的指令的计算机可读存储介质，和/或存储有根据所述方法中的任一种方法生成的比特流的计算机可读存储介质。
[0290]
在本公开中，术语“重构的”和“解码的”可互换使用，术语“像素”和“样本”可互换使用，术语“图像”、“画面”和“帧”可互换使用。
[0291]
本文描述了各种方法，并且每种方法包括用于实现所述方法的一个或多个步骤或动作。除非方法的正确操作需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或使用。另外，术语诸如“第一”、“第二”等可在各种实施方案中用于修饰元件、部件、步骤、操作等，诸如例如“第一解码”和“第二解码”。除非特别需要，否则使用此类术语并不暗示所修饰的操作的顺序。因此，在该示例中，第一解码不需要在第二解码之前执行，并且可例如在第二解码之前、期间或与第二解码重叠的时间段中发生。
[0292]
例如，在本公开中可使用各种数值。具体的值是例如目的，并且所述方面不限于这些具体的值。
[0293]
本文所述的实施方案可由处理器或其他硬件实现的计算机软件或由硬件和软件的组合来执行。作为非限制性示例，这些实施方案可由一个或多个集成电路来实现。处理器可以是适用于技术环境的任何类型，并且作为非限制性示例，可涵盖微处理器、通用计算机、专用计算机和基于多核心架构的处理器中的一者或多者。
[0294]
各种具体实施涉及解码。如本公开中所用，“解码”可涵盖例如对所接收的编码序列执行以便产生适于显示的最终输出的过程的全部或部分。在各种实施方案中，此类过程包括通常由解码器执行的过程中的一个或多个，例如熵解码、逆量化、逆变换和差分解码。在各种实施方案中，此类过程还包括或另选地包括由本公开中描述的各种具体实施的解码
器执行的过程，例如，从平铺(打包)画面中提取画面，确定要使用的上采样滤波器然后对画面进行上采样，以及将画面翻转回其预期取向。
[0295]
作为另外的示例，在一个实施方案中，“解码”仅是指熵解码，在另一个实施方案中，“解码”仅是指差分解码，并且在另一个实施方案中，“解码”是指熵解码和差分解码的组合。短语“解码过程”是旨在具体地指代操作的子集还是通常指代更广泛的解码过程将基于具体描述的上下文而清楚。
[0296]
各种具体实施涉及编码。与上面关于“解码”的讨论的方式类似，如在本公开中使用的“编码”可涵盖例如对输入视频序列执行以便产生编码比特流的过程的全部或部分。在各种实施方案中，此类过程包括通常由编码器执行的过程中的一个或多个，例如，分割、差分编码、变换、量化和熵编码。在各种实施方案中，此类过程还包括或另选地包括由本公开中描述的各种具体实施的编码器执行的过程。
[0297]
作为另外的示例，在一个实施方案中，“编码”仅指熵编码，在另一个实施方案中，“编码”仅指差分编码，并且在另一个实施方案中，“编码”是指差分编码和熵编码的组合。短语“编码过程”是旨在具体地指代操作的子集还是通常指代更广泛的编码过程将基于具体描述的上下文而清楚。
[0298]
当附图被呈现为流程图时，应当理解，它还提供了对应装置的框图。类似地，当附图被呈现为框图时，应当理解，它还提供了对应方法/过程的流程图。
[0299]
各种实施方案涉及率失真优化。具体地讲，在编码过程期间，通常考虑速率和失真之间的平衡或权衡，这常常考虑到计算复杂性的约束。率失真优化通常被表述为使率失真函数最小化，该率失真函数是速率和失真的加权和。存在不同的方法来解决率失真优化问题。例如，这些方法可基于对所有编码选项(包括所有考虑的模式或编码参数值)的广泛测试，并完整评估其编码代价以及编码和解码之后重构信号的相关失真。还可以使用更快的方法来解决编码复杂性，特别是基于预测或预测残差信号而不是重构残差信号来计算近似失真。也可使用这两种方法的混合，诸如通过仅为可能的编码选项中的一些使用近似失真，并且为其他编码选项使用完全失真。其他方法仅评估可能的编码选项的子集。更一般地，许多方法采用多种技术中的任一种来执行优化，但是优化不一定是对编码代价和相关失真两者的完整评估。
[0300]
本文所述的具体实施和方面可在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单个形式的具体实施的上下文中讨论(例如，仅作为方法来讨论)，所讨论的特征的具体实施也可以其他形式(例如，装置或程序)来实现。装置可在例如适当的硬件、软件和固件中实现。方法可在例如处理器中实现，该处理器通常是指处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，诸如例如计算机、蜂窝电话、便携式/个人数字助理(“pda”)以及有利于最终用户之间信息通信的其他设备。
[0301]
提及“一个实施方案”或“实施方案”或“一个具体实施”或“具体实施”以及它们的其他变型意指结合该实施方案描述的特定特征、结构、特性等包括在至少一个实施方案中。因此，出现在本公开通篇的各个地方的短语“在一个实施方案中”或“在实施方案中”或“在一个具体实施中”或“在具体实施中”以及任何其他变型的出现不一定都是指相同的实施方案。
[0302]
另外，本公开可提及“确定”各种信息。确定信息可包括例如估计该信息、计算该信
息、预测该信息或从存储器检索该信息中的一者或多者。
[0303]
此外，本公开可提及“访问”各种信息。访问信息可包括例如接收该信息、(例如，从存储器)检索该信息、存储该信息、移动该信息、复制该信息、计算该信息、确定该信息、预测该信息或估计该信息中的一者或多者。
[0304]
另外，本公开可提及“接收”各种信息。与“访问”一样，接收意在是广义的术语。接收信息可包括例如访问该信息或(例如，从存储器)检索该信息中的一者或多者。此外，在诸如例如存储该信息、处理该信息、传输该信息、移动该信息、复制该信息、擦除该信息、计算该信息、确定该信息、预测该信息或估计该信息的操作期间，“接收”通常以一种方式或另一种方式涉及。
[0305]
应当理解，使用“/”、“和/或”和“...中的至少一者”中的任何一者(例如，在“a/b”、“a和/或b”以及“a和b中的至少一者”的情况下)旨在涵盖仅选择第一个列出的选项(a)，或仅选择第二个列出的选项(b)，或选择两个选项(a和b)。又如，在“a、b和/或c”和“a、b和c中的至少一者”的情况下，此类短语旨在涵盖仅选择第一个列出的选项(a)，或仅选择第二个列出的选项(b)，或仅选择第三个列出的选项(c)，或者仅选择第一个列出的选项和第二个列出的选项(a和b)，或者仅选择第一个列出的选项和第三个列出的选项(a和c)，或者仅选择第二个列出的选项和第三个列出的选项(b和c)，或者选择所有三个选项(a和b和c)。这可扩展到所列出的尽可能多的项目。
[0306]
另外，如本文所用，字词“发信号通知”是指向对应解码器指示某物等。例如，在某些实施方案中，编码器发信号通知用于去伪影滤波的基于区域的滤波器参数选择的多个参数中的特定一个参数。这样，在一个实施方案中，在编码器侧和解码器侧均使用相同的参数。因此，例如，编码器可将特定参数传输(显式信令)到解码器，使得解码器可使用相同的特定参数。相反，如果解码器已经具有特定参数以及其他参数，则可在不传输的情况下使用信令(隐式信令)，以简单地允许解码器知道和选择特定参数。通过避免传输任何实际功能，在各种实施方案中实现了位节省。应当理解，信令可以多种方式实现。例如，在各种实施方案中，使用一个或多个语法元素、标记等将信息发信号通知对应的解码器。虽然前面涉及字词“发信号通知”(动词)，但与其英文“signal”对应的中文字词在本文中也可用作名词(“信号”)。
[0307]
具体实施可产生各种信号，这些信号被格式化以携带可例如存储或传输的信息。该信息可包括例如用于执行方法的指令或由所述具体实施中的一个具体实施产生的数据。例如，信号可被格式化以携带所述实施方案的比特流。这样的信号可被格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可包括例如对数据流进行编码并且用编码数据来流调制载波。信号携带的信息可以是例如模拟或数字信息。已知的是，信号可通过多种不同的有线或无线链路传输。信号可存储在处理器可读介质上。
[0308]
我们描述了多个实施方案。这些实施方案的特征可在各种权利要求类别和类型中单独提供或以任何组合提供。此外，在各种权利要求类别和类型中，实施方案可包括以下特征、设备或方面中的一个或多个(单独地或以任何组合)：
[0309]
·
在信令中插入语法元素，该语法元素使得解码器或中间系统能够识别子画面的配置文件、层和/或级别。
[0310]
·
包括一个或多个所述语法元素或其变型的比特流或信号。
[0311]
·
包括传送根据所述实施方案中的任一项生成的信息的语法的比特流或信号。
[0312]
·
创建和/或传输和/或接收和/或解码包括一个或多个所述语法元素或其变型的比特流或信号。
[0313]
·
根据所述实施方案中的任一项创建和/或传输和/或接收和/或解码。
[0314]
·
根据所述实施方案中任一项的方法、过程、装置、存储指令的介质、存储数据的介质或信号。
[0315]
·
根据所述实施方案中任一项的用于对指示子画面的配置文件、层和/或级别的语法元素进行解码的电视机、机顶盒、蜂窝电话、平板电脑或其他电子设备。
[0316]
·
根据所述实施方案中任一项的用于对指示子画面的配置文件、层和/或级别的语法元素进行解码并且(例如，使用监视器、屏幕或其他类型的显示器)显示所得的图像的电视机、机顶盒、蜂窝电话、平板电脑或其他电子设备。
[0317]
·
根据所述实施方案中任一项的(例如，使用调谐器)选择信道以接收包括编码图像的信号并且对指示子画面的配置文件、层和/或级别的语法元素进行解码的电视机、机顶盒、蜂窝电话、平板电脑或其他电子设备。
[0318]
·
根据所述实施方案中任一项的(例如，使用天线)通过空中接收包括编码图像的信号并且对指示子画面的配置文件、层和/或级别的语法元素进行解码的电视机、机顶盒、蜂窝电话、平板电脑或其他电子设备。
[0319]
需注意，所描述的实施方案中的一个或多个实施方案的各种硬件元件被称为进行(即，执行、实行等)本文结合相应模块所描述的各种功能的“模块”。如本文所用，模块包括相关领域的技术人员认为适合于给定具体实施的硬件(例如，一个或多个处理器、一个或多个微处理器、一个或多个微控制器、一个或多个微芯片、一个或多个专用集成电路(asic)、一个或多个现场可编程门阵列(fpga)、一个或多个存储器设备)。每个所述的模块还可包括用于执行被描述为由相应模块执行的一个或多个功能的可执行指令，并且需注意，这些指令可采取以下指令的形式或包括以下指令：硬件(即，硬连线)指令、固件指令、软件指令等，并且可被存储在任何合适的一个或多个非暂态计算机可读介质(诸如通常称为ram、rom等)中。
[0320]
尽管上文以特定组合描述了特征和元件，但是本领域的普通技术人员将理解，每个特征或元件可单独使用或以与其他特征和元件的任何组合来使用。另外，本文所述的方法可在结合于计算机可读介质中以供计算机或处理器执行的计算机程序、软件或固件中实现。计算机可读存储介质的示例包括但不限于只读存储器(rom)、随机存取存储器(ram)、寄存器、高速缓存存储器、半导体存储器设备、磁介质(诸如内置硬盘和可移动磁盘)、磁光介质和光介质(诸如cd
‑
rom磁盘和数字通用光盘(dvd))。与软件相关联的处理器可用于实现用于wtru、ue、终端、基站、rnc或任何主计算机的射频收发器。