用于处理拆分渲染中的遮挡的方法和装置与流程

用于处理拆分渲染中的遮挡的方法和装置
1.相关申请的交叉引用
2.本技术要求享受以下申请的权益：于2020年4月3日递交的并且名称为“methods and apparatus for handling occlusions in split rendering”的美国临时申请no.63/005,164、以及于2020年10月1日递交的并且名称为“methods and apparatus for handling occlusions in split rendering”的美国专利申请no.17/061,179，上述申请被转让给本技术的受让人并且据此通过引用的方式被明确地并入本文中。
技术领域
3.概括而言，本公开内容涉及处理系统，并且更具体地，本公开内容涉及用于图形处理的一种或多种技术。


背景技术：

4.计算设备通常利用图形处理单元(gpu)来加速对用于显示的图形数据的渲染。这样的计算设备可以包括例如计算机工作站、诸如所谓的智能电话的移动电话、嵌入式系统、个人计算机、平板计算机和视频游戏控制台。gpu执行图形处理流水线，图形处理流水线包括一起操作以执行图形处理命令以及输出帧的一个或多个处理阶段。中央处理单元(cpu)可以通过向gpu发布一个或多个图形处理命令来控制gpu的操作。现代的cpu典型地能够并发地执行多个应用，其中的每个应用可能需要在执行期间利用gpu。提供内容以供在显示器上进行的视觉呈现的设备通常包括gpu。
5.通常，设备的gpu被配置为在图形处理流水线中执行过程。然而，随着无线通信和更小的手持设备的出现，对改进的图形处理的需求已经不断增加。


技术实现要素：

6.下文给出一个或多个方面的简要概述，以便提供对这样的方面的基本理解。该概述不是对全部预期方面的广泛概述，以及旨在既不标识全部方面的关键要素，也不描绘任何或全部方面的范围。其唯一目的是以简化形式呈现一个或多个方面的一些概念，作为稍后呈现的更加详细的描述的序言。
7.在本公开内容的一个方面中，提供了方法、计算机可读介质(例如，非暂时性可读计算机可读介质)和装置。该装置可以是服务器、客户端设备、中央处理单元(cpu)、图形处理单元(gpu)或可以执行图形处理的任何装置。该装置可以识别场景中的第一内容组和第二内容组。该装置还可以确定第一内容组的至少一部分是否遮挡或潜在地遮挡第二内容组的至少一部分。另外，该装置可以基于关于第一内容组的至少一部分是否遮挡或潜在地遮挡第二内容组的至少一部分的确定来表示第一内容组和第二内容组。在一些方面中，当第一内容组的至少一部分遮挡第二内容组的至少一部分时，该装置可以使用遮挡材料来渲染第一内容组的一个或多个表面的至少一部分。该装置还可以根据至少一个第一平面等式来生成至少一个第一公告板以及根据至少一个第二平面等式来生成至少一个第二公告板。该
装置还可以生成至少一个第一网格和第一着色纹理以及至少一个第二网格和第二着色纹理。此外，该装置还可以将与第一内容组相关联的信息和与第二内容组相关联的信息传送给客户端设备。
8.在另一方面中，一种图形处理的方法包括：识别场景中的第一内容组和第二内容组；确定第一内容组的至少一部分是否遮挡或潜在地遮挡第二内容组的至少一部分；以及基于关于第一内容组的至少一部分是否遮挡或潜在地遮挡第二内容组的至少一部分的确定，来表示第一内容组和第二内容组。
9.在进一步的示例中，提供了一种用于图形处理的装置，该装置包括：收发机；被配置为存储指令的存储器；以及一个或多个处理器，其与收发机和存储器通信地耦合。该方面可以包括一个或多个处理器被配置为：识别场景中的第一内容组和第二内容组；确定第一内容组的至少一部分是否遮挡或潜在地遮挡第二内容组的至少一部分；以及基于关于第一内容组的至少一部分是否遮挡或潜在地遮挡第二内容组的至少一部分的确定，来表示第一内容组和第二内容组。
10.在另一方面中，提供了一种用于图形处理的装置，该装置包括：用于识别场景中的第一内容组和第二内容组的单元；用于确定第一内容组的至少一部分是否遮挡或潜在地遮挡第二内容组的至少一部分的单元；以及用于基于关于第一内容组的至少一部分是否遮挡或潜在地遮挡第二内容组的至少一部分的确定，来表示第一内容组和第二内容组的单元。
11.在又一方面中，提供了一种非暂时计算机可读介质，其包括一个或多个处理器执行用于图形处理的代码，该代码在由处理器执行时使得处理器进行以下操作：识别场景中的第一内容组和第二内容组；确定第一内容组的至少一部分是否遮挡或潜在地遮挡第二内容组的至少一部分；以及基于关于第一内容组的至少一部分是否遮挡或潜在地遮挡第二内容组的至少一部分的确定，来表示第一内容组和第二内容组。
12.在附图和下文的描述中阐述了本公开内容的一个或多个示例的细节。根据说明书和附图以及根据权利要求书，本公开内容的其它特征、目的和优势将是显而易见的。
附图说明
13.图1是示出根据本公开内容的一种或多种技术的示例内容生成系统的框图。
14.图2示出了根据本公开内容的一种或多种技术的示例图像或场景。
15.图3示出了根据本公开内容的一种或多种技术的深度对齐的公告板的示例。
16.图4a示出了根据本公开内容的一种或多种技术的示例着色图集。
17.图4b示出了根据本公开内容的一种或多种技术的示例着色图集组织。
18.图5示出了根据本公开内容的一种或多种技术的示例图像或场景。
19.图6示出了根据本公开内容的一种或多种技术的示例方法的示例流程图。
具体实施方式
20.在增强现实(ar)系统中，准确地捕获遮挡可能是一种挑战。当真实世界内容遮挡增强内容时，可以是这种情况。此外，对于具有时延问题的ar系统而言，这可能尤其如此。真实世界内容和增强内容的准确遮挡可以帮助用户获得更逼真和沉浸式的ar体验。本公开内容的一些方面可以通过确定关于这些对象的深度信息来解决上述遮挡真实世界或增强对
象。例如，真实世界表面可以被视为用于增强目的的遮挡物，并且可以被流式传输到客户端设备并且使用遮挡材料在客户端上被渲染。具有遮挡材料或空显示值的对象可以被视为经渲染的对象，但是可能在客户端显示器处看不到。因此，本公开内容的各方面可以确定或渲染针对真实世界遮挡对象的值，并且为这些对象提供遮挡材料。在一些方面中，这些遮挡材料可以表示在物理上平坦的表面(例如，如在公告板中)的颜色。在其它方面中，可以将遮挡材料指派给通过网格(例如，与被视为遮挡物的真实世界对象相对应的网格)描述的表面。通过这样做，关于遮挡对象的网格和/或信息可以随着时间变得越来越精确。因此，本公开内容的各方面可以提高在拆分渲染系统中遮挡内容的准确性。
21.下文参考附图更加充分地描述系统、装置、计算机程序产品和方法的各个方面。然而，本公开内容可以以许多不同的形式来体现，以及不应当被解释为限于遍及本公开内容所呈现的任何特定的结构或功能。确切而言，提供这些方面以使得本公开内容将是全面和完整的，以及将向本领域技术人员充分地传达本公开内容的范围。基于本文的教导，本领域技术人员应当认识到的是，本公开内容的范围旨在涵盖本文所公开的系统、装置、计算机程序产品和方法的任何方面，无论该方面是独立于本公开内容的其它方面实现的还是与本公开内容的其它方面结合地实现的。例如，使用本文所阐述的任何数量的方面，可以实现装置或者可以实践方法。此外，本公开内容的范围旨在涵盖使用除了本文所阐述的本公开内容的各个方面以外或不同于本文所阐述的本公开内容的各个方面的其它结构、功能或者结构和功能来实践的这样的装置或方法。本文所公开的任何方面可以通过权利要求的一个或多个元素来体现。
22.尽管本文描述了各个方面，但是这些方面的许多变型和置换落在本公开内容的范围之内。尽管提到本公开内容的各方面的一些潜在益处和优势，但是本公开内容的范围并非旨在限于特定益处、用途或目标。确切而言，本公开内容的各方面旨在广泛地适用于不同的无线技术、系统配置、网络和传输协议，其中的一些是通过示例的方式在附图和下文的描述中进行说明的。具体实施方式和附图仅是对本公开内容的说明而不是限制，本公开内容的范围是通过所附的权利要求以及其等效物来限定的。
23.参考各种装置和方法给出了若干方面。通过各种框、组件、电路、过程、算法等(统称为“元素”)在下文的具体实施方式中描述以及在附图中示出这些装置和方法。这些元素可以是使用电子硬件、计算机软件或其任何组合来实现的。这样的元素是实现为硬件还是软件，取决于特定的应用和对整个系统所施加的设计约束。
24.举例而言，元素、或元素的任何部分、或元素的任何组合可以实现为“处理系统”，“处理系统”包括一个或多个处理器(其还可以称为处理单元)。处理器的示例包括：微处理器、微控制器、图形处理单元(gpu)、通用gpu(gpgpu)、中央处理单元(cpu)、应用处理器、数字信号处理器(dsp)、精简指令集计算(risc)处理器、片上系统(soc)、基带处理器、专用集成电路(asic)、现场可编程门阵列(fpga)、可编程逻辑器件(pld)、状态机、门控逻辑、分立硬件电路、以及被配置为执行遍及本公开内容描述的各种功能的其它合适的硬件。处理系统中的一个或多个处理器可以执行软件。无论被称为软件、固件、中间件、微代码、硬件描述语言还是其它，软件可以广泛地解释为意指指令、指令集、代码、代码段、程序代码、程序、子程序、软件组件、应用、软件应用、软件包、例程、子例程、对象、可执行文件、执行的线程、过程、函数等。术语应用可以指的是软件。如本文所描述的，一种或多种技术可以指的是被配
置为执行一种或多种功能的应用(即，软件)。在这样的示例中，应用可以被存储在存储器(例如，处理器的片上存储器、系统存储器或任何其它存储器)上。本文所描述的硬件(诸如处理器)可以被配置为执行应用。例如，应用可以被描述为包括当由硬件执行时使得硬件执行本文所描述的一种或多种技术的代码。作为示例，硬件可以从存储器存取代码以及执行从存储器存取的代码以执行本文所描述的一种或多种技术。在一些示例中，在本公开内容中标识了组件。在这样的示例中，组件可以是硬件、软件或其组合。组件可以是单独的组件或单个组件的子组件。
25.相应地，在本文所描述的一个或多个示例中，所描述的功能可以是以硬件、软件或其任何组合来实现的。如果以软件来实现，则功能可以作为一个或多个指令或代码被存储在计算机可读介质上或编码为计算机可读介质上的一个或多个指令或代码。计算机可读介质包括计算机存储介质。存储介质可以是能够由计算机存取的任何可用介质。通过举例而非限制的方式，这样的计算机可读介质可以包括随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程rom(eeprom)、光盘存储、磁盘存储、其它磁存储设备、上述类型的计算机可读介质的组合、或者可以用于以指令或数据结构的形式存储能够由计算机存取的计算机可执行代码的任何其它介质。
26.概括而言，本公开内容描述了如下的技术：所述技术用于在单个设备或多个设备中具有图形处理流水线，从而改善对图形内容的渲染和/或减少处理单元(即，被配置为执行本文所描述的一种或多种技术的任何处理单元，诸如gpu)的负载。例如，本公开内容描述了用于在利用图形处理的任何设备中的图形处理的技术。贯穿本公开内容描述了其它示例益处。
27.如本文所使用的，术语“内容”的实例可以指的是“图形内容”、“3d图形设计的产品”、其再现(即，“图像”)，反之亦然。不管术语被用作为形容词、名词还是其它词性，都是如此。在一些示例中，如本文所使用的，术语“图形内容”可以指的是由图形处理流水线的一个或多个过程产生的内容。在一些示例中，如本文所使用的，术语“图形内容”可以指的是由被配置为执行图形处理的处理单元产生的内容。在一些示例中，如本文所使用的，术语“图形内容”可以指的是由图形处理单元产生的内容。
28.在一些示例中，如本文所使用的，术语“显示内容”可以指的是由被配置为执行显示处理的处理单元生成的内容。在一些示例中，如本文所使用的，术语“显示内容”可以指的是由显示处理单元生成的内容。图形内容可以被处理以成为显示内容。例如，图形处理单元可以将诸如帧的图形内容输出给缓冲器(其可以被称为帧缓冲器)。显示处理单元可以从缓冲器读取图形内容(诸如一个或多个帧)，以及对其执行一种或多种显示处理技术以生成显示内容。例如，显示处理单元可以被配置为对一个或多个渲染层执行合成以生成帧。作为另一示例，显示处理单元可以被配置为将两个或更多个层合成、混合或者以其它方式组合在一起成为单个帧。显示处理单元可以被配置为对帧执行缩放(例如，放大或缩小)。在一些示例中，帧可以指的是层。在其它示例中，帧可以指的是已经被混合在一起以形成帧的两个或更多个层，即，帧包括两个或更多个层，以及包括两个或更多个层的帧随后可以被混合。
29.图1是示出被配置为实现本公开内容的一种或多种技术的示例系统100的框图。系统100包括设备104。设备104可以包括用于执行本文所描述的各种功能的一个或多个组件或电路。在一些示例中，设备104的一个或多个组件可以是soc的组件。设备104可以包括被
配置为执行本公开内容的一种或多种技术的一个或多个组件。在所示的示例中，设备104可以包括处理单元120、内容编码器/解码器122和系统存储器124。在一些方面中，设备104可以包括多个可选组件，例如，通信接口126、收发机132、接收机128、发射机130、显示处理器127和一个或多个显示器131。对显示器131的引用可以指的是一个或多个显示器131。例如，显示器131可以包括单个显示器或多个显示器。显示器131可以包括第一显示器和第二显示器。第一显示器可以是左眼显示器，而第二显示器可以是右眼显示器。在一些示例中，第一显示器和第二显示器可以接收用于在其上呈现的不同的帧。在其它示例中，第一显示器和第二显示器可以接收用于在其上呈现的相同的帧。在进一步的示例中，图形处理的结果可以不显示在设备上，例如，第一显示器和第二显示器可以不接收用于在其上呈现的任何帧。相反地，帧或图形处理结果可以被传输给另一设备。在一些方面中，这可以被称为拆分渲染。
30.处理单元120可以包括内部存储器121。处理单元120可以被配置为执行图形处理，诸如在图形处理流水线107中。内容编码器/解码器122可以包括内部存储器123。在一些示例中，设备104可以包括显示处理器(诸如显示处理器127)以在由一个或多个显示器131进行的呈现之前对由处理单元120生成的一个或多个帧执行一种或多种显示处理技术。显示处理器127可以被配置为执行显示处理。例如，显示处理器127可以被配置为对由处理单元120生成的一个或多个帧执行一种或多种显示处理技术。一个或多个显示器131可以被配置为显示或以其它方式呈现由显示处理器127处理的帧。在一些示例中，一个或多个显示器131可以包括以下各项中的一项或多项：液晶显示器(lcd)、等离子体显示器、有机发光二极管(oled)显示器、投影显示设备、增强现实显示设备、虚拟现实显示设备、头戴式显示器、或任何其它类型的显示设备。
31.在处理单元120和内容编码器/解码器122外部的存储器(诸如系统存储器124)可以是对于处理单元120和内容编码器/解码器122可存取的。例如，处理单元120和内容编码器/解码器122可以被配置为从诸如系统存储器124的外部存储器进行读取和/或写入该外部存储器。处理单元120和内容编码器/解码器122可以通过总线通信地耦合到系统存储器124。在一些示例中，处理单元120和内容编码器/解码器122可以通过总线或不同的连接彼此通信地耦合。
32.内容编码器/解码器122可以被配置为从任何源(诸如系统存储器124和/或通信接口126)接收图形内容。系统存储器124可以被配置为存储所接收的经编码或经解码的图形内容。内容编码器/解码器122可以被配置为以经编码的像素数据的形式例如从系统存储器124和/或通信接口126接收经编码或经解码的图形内容。内容编码器/解码器122可以被配置为对任何图形内容进行编码或解码。
33.内部存储器121或系统存储器124可以包括一个或多个易失性或非易失性存储器或存储设备。在一些示例中，内部存储器121或系统存储器124可以包括ram、sram、dram、可擦除可编程rom(eprom)、电可擦除可编程rom(eeprom)、闪存、磁性数据介质或光学存储介质、或任何其它类型的存储器。
34.根据一些示例，内部存储器121或系统存储器124可以是非暂时性存储介质。术语“非暂时性”可以指示存储介质没有体现在载波或传播的信号中。然而，术语“非暂时性”不应当被解释为意指内部存储器121或系统存储器124是不可移动的或者其内容是静态的。作
为一个示例，系统存储器124可以从设备104移除以及被移动到另一设备。作为另一示例，系统存储器124可以是不可从设备104移除的。
35.处理单元120可以是中央处理单元(cpu)、图形处理单元(gpu)、通用gpu(gpgpu)、或可以被配置为执行图形处理的任何其它处理单元。在一些示例中，处理单元120可以被整合到设备104的主板中。在一些示例中，处理单元120可以存在于安装在设备104的主板中的端口中的图形卡上，或者可以以其它方式并入被配置为与设备104进行互操作的外围设备内。处理单元120可以包括一个或多个处理器，诸如一个或多个微处理器、gpu、专用集成电路(asic)、现场可编程门阵列(fpga)、算术逻辑单元(alu)、数字信号处理器(dsp)、分立逻辑、软件、硬件、固件、其它等效的集成或分立逻辑电路、或其任何组合。如果技术是部分地以软件来实现的，则处理单元120可以将用于软件的指令存储在合适的非暂时性计算机可读存储介质(例如，内部存储器121)中，以及可以使用一个或多个处理器在硬件中执行指令，以执行本公开内容的技术。包括硬件、软件、硬件和软件的组合等的前述内容中的任何内容可以被认为是一个或多个处理器。
36.内容编码器/解码器122可以是被配置为执行内容解码的任何处理单元。在一些示例中，内容编码器/解码器122可以被集成到设备104的主板中。内容编码器/解码器122可以包括一个或多个处理器，诸如一个或多个微处理器、专用集成电路(asic)、现场可编程门阵列(fpga)、算术逻辑单元(alu)、数字信号处理器(dsp)、视频处理器、分立逻辑、软件、硬件、固件、其它等效的集成或分立逻辑电路、或其任何组合。如果所述技术部分地在软件中实现，则内容编码器/解码器122可以将用于软件的指令存储在合适的非暂时性计算机可读存储介质(例如，内部存储器121)中，以及可以使用一个或多个处理器在硬件中执行所述指令，以执行本公开内容的技术。包括硬件、软件、硬件和软件的组合等的前述内容中的任何内容可以被认为是一个或多个处理器。
37.在一些方面中，系统100可以包括可选的通信接口126。通信接口126可以包括接收机128和发射机130。接收机128可以被配置为执行本文中关于设备104描述的任何接收功能。另外，接收机128可以被配置为从另一设备接收信息(例如，眼睛或头部位置信息、渲染命令或位置信息)。发射机130可以被配置为执行本文中关于设备104描述的任何发送功能。例如，发射机130可以被配置为向另一设备发送可以包括针对内容的请求的信息。接收机128和发射机130可以被组合成收发机132。在这样的示例中，收发机132可以被配置为执行本文关于设备104描述的任何接收功能和/或发送功能。
38.再次参考图1，在某些方面中，图形处理流水线107可以包括确定组件198，确定组件198被配置为识别场景中的第一内容组和第二内容组。确定组件198还可以被配置为确定第一内容组的至少一部分是否遮挡或潜在地遮挡第二内容组的至少一部分。确定组件198还可以被配置为基于关于第一内容组的至少一部分是否遮挡或潜在地遮挡第二内容组的至少一部分的确定来表示第一内容组和第二内容组。确定组件198还可以被配置为当第一内容组的至少一部分遮挡第二内容组的至少一部分时，使用遮挡材料来渲染第一内容组的一个或多个表面的至少一部分。确定组件198还可以被配置为根据至少一个第一平面等式来生成至少一个第一公告板，并且根据至少一个第二平面等式来生成至少一个第二公告板。确定组件198还可以被配置为将与第一内容组相关联的信息和与第二内容组相关联的信息传送给客户端设备。
39.如本文所描述的，诸如设备104的设备可以指的是被配置为执行本文所描述的一种或多种技术的任何设备、装置或系统。例如，设备可以是服务器、基站、用户设备、客户端设备、站、接入点、计算机(例如，个人计算机、台式计算机、膝上型计算机、平板计算机、计算机工作站、或大型计算机)、最终产品、装置、电话、智能电话、服务器、视频游戏平台或控制台、手持设备(例如，便携式视频游戏设备或个人数字助理(pda))、可穿戴计算设备(例如，智能手表、增强现实设备或虚拟现实设备)、非可穿戴设备、显示器或显示设备、电视机、电视机顶盒、中间网络设备、数字媒体播放器、视频流设备、内容流设备、车载计算机、任何移动设备、被配置为生成图形内容的任何设备、或者被配置为执行本文所描述的一种或多种技术的任何设备。本文中的过程可以描述为由特定组件(例如，gpu)来执行，但是在进一步的实施例中，可以是使用与所公开的实施例一致的其它组件(例如，cpu)来执行的。
40.gpu可以在gpu流水线中处理多种类型的数据或数据分组。例如，在一些方面中，gpu可以处理两种类型的数据或数据分组，例如，上下文寄存器分组和绘制调用数据。上下文寄存器分组可以是可以管理将如何处理图形上下文的全局状态信息集合，例如，关于全局寄存器、着色程序或常量数据的信息。例如，上下文寄存器分组可以包括关于颜色格式的信息。在上下文寄存器分组的一些方面中，可以存在指示哪个工作负载属于上下文寄存器的比特。此外，可以存在同时和/或并行地运行的多个函数或程序。例如，函数或程序可以描述特定操作，例如，颜色模式或颜色格式。因此，上下文寄存器可以定义gpu的多个状态。
41.上下文状态可以用于确定单个处理单元(例如，顶点提取器(vfd)、顶点着色器(vs)、着色器处理器或几何处理器)如何运行、和/或处理单元以哪种模式运行。为此，gpu可以使用上下文寄存器和编程数据。在一些方面中，gpu可以基于模式或状态的上下文寄存器定义来在流水线中生成工作负载，例如，顶点或像素工作负载。某些处理单元(例如，vfd)可以使用这些状态来确定某些功能，例如，如何组装顶点。由于这些模式或状态可能改变，因此gpu可能需要改变对应的上下文。此外，与模式或状态相对应的工作负载可以遵循不断改变的模式或状态。
42.gpu可以以多种不同的方式渲染图像。在一些情况下，gpu可以使用渲染或分瓦片(tiled)渲染来渲染图像。在分瓦片渲染gpu中，可以将图像划分或分割为不同的区段或瓦片。在划分图像之后，可以单独地渲染每个区段或瓦片。分瓦片渲染gpu可以将计算机图形图像划分为网格格式，使得可以单独地渲染网格的每个部分(即，瓦片)。在一些方面中，在分容器(binning)通路期间，可以将图像划分为不同的容器(bin)或瓦片。此外，在分容器通路中，不同的图元可以在某些容器中着色，例如，使用绘制调用。在一些方面中，在分容器通路期间，可以构造可见性流，其中可以识别可见图元或绘制调用。
43.在渲染的一些方面中，可以存在多个处理阶段或通路。例如，渲染可以在两个通路(例如，可见性通路以及渲染通路)中执行。在可见性通路期间，gpu可以输入渲染工作负载，记录图元或三角形的位置，并且然后确定哪些图元或三角形落入帧的哪个部分中。在可见性通路的一些方面中，gpu还可以识别或标记可见性流中的每个图元或三角形的可见性。在渲染通路期间，gpu可以输入可见性流，并且一次处理帧的一个部分。在一些方面中，可以分析可见性流以确定哪些图元可见或不可见。因此，可以处理可见的图元。通过这样做，gpu可以减少处理或渲染不可见的图元的不必要的工作负载。
44.在一些方面中，可以在多个位置中和/或在多个设备上执行渲染，例如，以便在不
同设备之间划分渲染工作负载。例如，可以在服务器和客户端设备之间拆分渲染，这可以被称为“拆分渲染”。在一些情况下，拆分渲染可以是一种用于将内容带到用户设备或头戴式显示器(hmd)的方法，其中图形处理的一部分可以是在该设备或hmd之外(例如，在服务器处)执行的。
45.可以针对多种不同类型的应用(例如，虚拟现实(vr)应用、增强现实(ar)应用、云游戏和/或扩展现实(xr)应用)来执行拆分渲染。在vr应用中，在用户设备处显示的内容可以对应于人造或动画内容，例如，在服务器或用户设备处渲染的内容。在ar或xr内容中，在用户设备处显示的内容的一部分可以对应于真实世界内容(例如，真实世界中的对象)，并且内容的一部分可以是人造或动画内容。此外，可以在光学透视或视频透视设备中显示人造或动画内容和真实世界内容，使得用户可以同时查看真实世界对象以及人造或动画内容。在一些方面中，人造或动画内容可以被称为增强内容，或者反之亦然。
46.在ar应用中，对象可能从用户设备的有利点遮挡其它对象。在ar应用内还可能存在不同类型的遮挡。例如，增强内容可能遮挡真实世界内容，例如，经渲染的对象可能部分地遮挡真实对象。此外，真实世界内容可能遮挡增强内容，例如，真实对象可能部分地遮挡经渲染的对象。真实世界内容和增强内容的这种重叠(其产生上述遮挡)是增强内容和真实世界内容可以在ar内如此无缝混合的一个原因。这还可能导致增强内容和真实世界内容的遮挡难以解决，使得增强内容和真实世界内容的边缘可能错误地重叠。
47.在一些方面中，可以在真实世界或透视内容之上渲染增强内容或增强。因此，增强可能从用户设备的有利点遮挡在增强后面的任何对象。例如，可以渲染采用红色(r)、绿色(g)、蓝色(b)(rgb)值的像素以遮挡真实世界对象。因此，增强可能遮挡在增强后面的真实世界对象。在视频透视系统中，可以通过将增强层合成到前景来实现相同的效果。因此，增强可能遮挡真实世界内容，反之亦然。
48.如上文所指出的，在利用ar系统时，准确地捕获遮挡可能是一种挑战。此外，对于具有时延问题的ar系统而言，这可能尤其如此。在一些方面中，可能特别难以准确地捕获正在遮挡增强内容的真实世界对象。真实世界内容和增强内容的准确遮挡可以帮助用户获得更逼真和沉浸式ar体验。
49.图2示出了根据本公开内容的一种或多种技术的示例图像或场景200。场景200包括增强内容210和真实世界内容220(其包括边缘222)。更具体地，图2显示了正在遮挡增强内容210(例如，人)的真实世界对象220(例如，门)。如图2所示，增强内容210与真实世界对象220的边缘222略微重叠，即使真实世界对象220意在完全地遮挡增强内容210。例如，当门意在完全地遮挡人时，人的一部分与门的边缘略微重叠。
50.如上文所指出的，图2显示了在ar系统中可能难以准确地实现真实世界内容遮挡增强内容的效果。如图2所示，ar系统可能难以准确地反映真实世界对象何时遮挡增强内容，或者反之亦然。事实上，当两个对象是真实世界内容和增强内容时，一些ar系统可能难以快速并且准确地处理这些对象的边缘。因此，存在准确地描绘真实世界内容何时遮挡增强内容的需要。
51.为了准确地模拟遮挡增强内容的真实世界内容，或者反之亦然，可以确定真实世界遮挡对象的几何信息。在一些情况下，这可以通过计算机视觉技术、三维(3d)重建和/或网格化的组合来实现。在一种情况下，网格化可以在客户端设备或hmd上实时地运行，并且
经重建的几何可以被传输给服务器或云服务器。在另一种情况下，客户端设备或hmd可以按顺序捕获图像并且将它们发送给服务器，服务器然后执行3d重建和/或网格化算法以提取关于在真实世界场景中可见的对象的3d网格信息。例如，在一些方面中，可以确定真实世界3d网格。因此，遮挡对象的几何可以是在客户端设备上可用的并且被发送给服务器，或者反之亦然。随着对相同的一个或多个真实世界对象的更多观察变得可用，该几何表示可以随着时间进行调整并且变得更加精确。通过这样做，关于遮挡对象的网格和/或信息可以随着时间变得越来越精确。
52.在一些方面中，为了获得对增强内容和真实世界内容的精确描述，增强内容可能需要准确地停留在真实世界内容的边缘处，例如，如果真实世界内容正在遮挡增强内容的话。因此，正在遮挡增强内容的真实世界内容可能需要对应于增强内容中的未被渲染的部分。如图2所示，叠加的增强内容210可能需要停留在遮挡真实内容220的边缘处。
53.在一些情况下，本公开内容的各方面可以确定遮挡真实世界内容的精确边缘。此外，真实世界内容的这个边缘可以是在渲染时确定的或已知的。通过这样做，增强内容可以精确地停留在真实世界对象的边缘处，这可以提高ar体验的准确性。
54.在一些方面中，上述边缘确定可以是在可见性通路期间例如在渲染引擎中解决的。在拆分ar系统中，渲染引擎驻留在服务器上。可见性通路可以考虑所有相关网格(例如，在当前相机姿态的视角下的真实世界和增强网格两者)的姿态，和/或确定哪些三角形是从当前相机姿态可见的，从而考虑真实世界几何的深度以及增强内容的期望深度/放置。在本公开内容的各方面中，真实世界对象的网格上的可见三角形可以被渲染为遮挡材料或经由遮挡消息(例如，具有(0,0,0)值)来表示，并且计算机图形对象的网格上的可见三角形可以被渲染为非零像素(即，在颜色方面)。
55.在本公开内容的背景下，术语“相机”可以互换地用于表示两个不同的实体：计算机图形相机(例如，在图形渲染引擎内部的相机对象)或真实世界观察者(例如，佩戴ar设备的用户的眼睛)。可以基于经由相机“观察到的”内容来确定术语相机的适合当前用途的任何变体，例如，如果讨论真实世界内容，则“相机”可以表示真实世界观察者。另外应注意，在xr系统中的两种类型的相机之间可以存在对应关系，因为真实世界观察者的姿态可以用于修改图形渲染引擎相机的姿态。此外，在本公开内容中讨论的计算可以对真实对象和在计算机图形世界领域内的动画对象进行组合，使得两者都可以在图形渲染引擎内表示。当这种情况发生时，术语“相机”的两个概念可以合并以对应于计算机图形相机。
56.拆分xr、ar、云游戏系统在将经渲染的内容递送给客户端显示器时还可能引入时延。在一些方面中，与客户端渲染相比，在服务器上进行渲染时，这种时延可能甚至更高，但是其还可以实现更复杂的xr或ar应用。此外，在计算相机姿态的时间与内容出现在客户端显示器上的时间之间可能存在不可忽略的时延。例如，在拆分xr、ar、云游戏系统中可能总是存在一定量的时延。
57.本公开内容可以考虑拆分xr、ar、云游戏架构的两种模态：像素流(ps)架构和向量流(vs)架构。在ps系统中，可以在显示之前在客户端上使用异步时间扭曲的变体来补偿内容时延。在一些方面中，在拆分xr系统中，可以基于在用于渲染内容的视图与在时间上恰好用于显示相同内容的最新视图之间的视图变换来对被流式传输给客户端的ps帧进行时间扭曲。例如，本公开内容的各方面可以执行时间补偿重投影，使得可以基于在补偿的时间段
期间相机位置的估计距离和相机行进的朝向来确定被延迟的帧的出现。
58.本文描述的用于拆分/远程渲染ar系统中的遮挡处理的方法可以包括专门用于其中在屏幕空间中渲染的场景可以是在服务器和客户端之间的接口的一部分的系统的技术。这些系统可以被称为像素流系统。另外，本公开内容可以包括专门用于其中最终屏幕空间渲染可以在客户端上发生、而服务器可以在潜在可见纹理的对象空间中提供相关场景几何和姿态相关着色的系统的技术。这些系统可以被称为向量流系统。对这两种技术的描述可以分散在整个本公开内容中。确定正在描述哪种系统的一种方式是要考虑描述中的接口。例如，用于像素流系统的接口(信令介质)可以是公告板，而用于向量流系统的接口(信令介质)可以是网格或几何以及用于经着色的表面纹理的着色图集。
59.在一些情况下，ps客户端上的异步时间扭曲(atw)可能使经渲染的内容或cgi的形状失真。例如，atw可能内在地是一种平面视图变换，而cgi场景中的大多数内容本质上可能不是平面的，并且甚至更少的内容表面可以遵循共面关系，其中，所讨论的平面是严格与相机对齐的。在一些方面中，如果增强的一部分是在服务器上渲染的并且然后被发送给客户端以完成渲染，则经渲染的增强可能经历时间扭曲。在这些方面中，可能难以在任何真实世界对象与仅在增强上应用的时间扭曲之后的增强之间保留准确的遮挡边界。
60.在像素流架构中，服务器或游戏引擎可以确定用于场景的像素信息或眼睛缓冲器信息，并且将像素信息发送给客户端设备。然后，客户端设备可以基于像素信息来渲染场景。在一些情况下，该像素信息或眼睛缓冲器信息可以对应于xr相机的特定姿态。
61.在一些方面中，并且在拆分ar系统中，由atw对增强内容进行的重投影操作还可能相对于遮挡真实世界对象移动增强内容的边缘。例如，在上面的图2中，半开的门220看起来被人210部分地阻隔。此外，在部分半开的门220与被遮挡的人210之间可能存在间隙。
62.在向量流系统中，服务器可以将增强或cgi表面的外观以及这些增强对象的几何进行流式传输。在设备处理的后期阶段中，例如，在将信息传输给显示器之前，客户端可以对可见增强对象的几何进行光栅化和/或将来自流式传输的图集的相应纹理纹理映射到经光栅化的多边形。预显示处理的这种变体内在地没有长的姿态到渲染时延，并且可以不使增强对象的形状失真。结合作为本公开内容的主题的系统修改，预显示处理的这种变体还能够保持在前景与背景内容之间的准确边界，并且因此保持对混合现实场景的准确描绘。
63.在一些方面中，在向量流系统内传输的着色图集信息可以作为时间演化纹理进行发送，并且被编码为视频。在一些方面中，几何信息可以表示cgi对象的网格或部分网格，并且可以使用网格压缩方法进行原始传输或编码。客户端设备可以接收着色图集信息和用于渲染服务器帧的与头戴式耳机姿态t0相对应的几何信息两者，其可以解码该信息，并且使用其，以利用最近姿态t1来渲染场景的最终眼睛缓冲器表示。由于姿态t1可以比姿态t0更新和更新得多，并且由于在姿态t1处进行的最终渲染步骤是正确的几何光栅而不是近似值，因此与像素流的时延相比，所描述的系统可以时延限制更少。
64.客户端可以使用最近的姿态t1来对该着色图集信息和/或几何信息进行光栅化，即将该信息转换成可以在设备上显示的像素。此外，在一些方面中，服务器可以接收从客户端设备或hmd流式传输的姿态，并且然后基于该接收到的姿态t0来执行可见性和着色计算。可见性计算影响哪些网格或网格的哪些部分可以被发送给客户端，并且着色计算可以包括与当前帧对应的着色图集，该着色图集还被发送给客户端。本公开内容的各方面还可以假
设客户端设备具有关于这些网格或几何的信息(例如，作为离线场景加载步骤的结果)，使得几何可以不需要实时地流式传输给客户端。例如，服务器可以仅计算和流式传输对象表面上的着色，例如，该着色可能基于相机的有利点或场景的其它动态元素而改变，并且仅该着色信息可以实时地流式传输给客户端。
65.在一些方面中，无论是像素流架构还是向量流架构用于ar应用，都可以向客户端用信号通知关于真实世界遮挡内容以及其如何影响背景增强的信息。本公开内容可以用信号通知该信息并且简化客户端操作，同时在整个时延补偿中保持遮挡边缘保真度。
66.本公开内容的一些方面可以通过确定关于上述遮挡真实世界对象的深度信息来解决像素流系统中的这些对象。例如，仅使用遮挡材料作为表面材料类型，真实世界表面可以被视为另一混合现实资产，并且可以与真实世界资产的一些其它属性一起流式传输给客户端设备，以便客户端将其合并为预显示处理的一部分，目的是保持在真实世界与增强对象之间的遮挡边界接近其理想外观。具有遮挡材料的对象可以被拆分渲染客户端视为另一经渲染的对象，但是由于其表面材料类型，其可以在客户端显示器处不可见；相反，其从预显示头戴式耳机姿态t1渲染的剪影用于遮挡可以在背景中渲染的其它增强对象/资产。因此，本公开内容的各方面可以确定或渲染用于真实世界遮挡对象的值，并且将遮挡材料附加到这些对象。例如，可以通过包括用于遮挡材料图块(patch)的单独信令消息类型并且列出要使用遮挡材料来渲染的图块的唯一图块标识符，来将真实世界遮挡对象的存在用信号通知给向量流客户端。
67.通过包括使用遮挡材料表示的真实世界内容，内容合成设备可以使增强内容精确地停留在遮挡真实世界对象的边缘，而不管在拆分渲染系统中在姿态t0与姿态t1之间引入的延迟。实际上，为了防止增强与遮挡真实世界对象重叠，本公开内容可以使用遮挡材料来将前景真实世界内容渲染在背景动画的“顶部”，这可以最终有效地遮盖动画的应当被真实世界内容遮挡的部分。因此，本公开内容可以将真实世界内容视为被渲染，类似于动画层，但是ar设备的用户可能无法查看这种经渲染的内容，因为他们实际上正在通过“透明”遮罩查看真实世界内容。在客户端处使用遮挡材料来表示真实对象表面的目的可以是在预显示处理阶段期间充当“遮罩”；可以迫使透视(真实世界)内容在对应的像素中可见的遮罩。该概念可以有助于保持在真实世界前景内容与动画背景内容之间的清晰边界。
68.在一些方面中，用于场景的像素信息或眼睛缓冲器信息可以在服务器处确定或渲染并且在单独的公告板或层中发送给客户端。例如，可以在一个公告板或层中确定或渲染增强并且将该增强发送给客户端，并且可以在另一公告板或层中确定并且发送真实世界对象。在其它方面中，在服务器处生成并且被流式传输给客户端的每个公告板或层可以包含场景资产(真实世界对象或动画)的不相交平面投影，它们出现在距相机大致相同的距离/“深度”处(在给定最近相机/头戴式耳机姿态的情况下)。在这样的系统中，可以存在被发送给ps客户端以用于预显示处理的许多(例如，十几个)不同的公告板或层。
69.图3示出了根据本公开内容的一种或多种技术的示例深度对齐的公告板300。公告板300包括公告板或层310、320、330、340、350。如上文所指出的，公告板310、320、330、340、350可以表示不同的内容，诸如真实世界内容或增强内容。此外，图3显示了公告板310、320、330、340、350在像素流架构中的使用。
70.在一些情况下，可以使用公告板或层来刻画用于真实世界内容的上述遮挡材料，
并且可以使用另一公告板或层来刻画增强内容，而这两种类型的层都可以在预显示处理期间以从后到前方式在客户端上合成。通过这样做，遮挡材料真实世界内容和增强内容可以对应于单独的公告板或层。这些公告板或层可以近似于ar场景中的真实世界内容和动画内容，例如，经由它们的平面再现。
71.在一些方面中，当客户端设备处的ar相机移动时，以各种深度值渲染的这些公告板或层可以帮助保持在混合现实场景中预期的遮挡物/遮挡关系。因此，一个或多个公告板或层可以对应于真实世界内容，并且一个或多个其它公告板或层可以对应于增强内容，使得在真实世界与增强内容之间的相对遮挡可以保持准确，即使在客户端姿态从内容渲染的姿态t0移动到内容呈现的姿态t1时也是如此。
72.此外，公告板可以对应于处于不同深度的平面，当对ar相机进行时间调整时，这有助于保持场景的各个部分的视差/深度信息。此外，公告板上的这种深度信息可以通过可以是从后到前的内容合成的方式来隐式地确定哪些内容(例如，真实世界内容或增强内容)正在遮挡其它内容。此外，真实世界对象/表面的公告板或层表示可以提高在真实世界内容与增强内容之间的边缘或划分的准确性，而不管两者中的哪一者是遮挡物。
73.在一些方面中，混合现实场景中的真实世界对象可以在客户端上表示为描述对象的位置、形状和大小以及用于对应表面的遮挡材料的网格/几何。例如，可以在服务器处确定真实场景的网格表示，并且可以将具有遮挡材料的对应几何发送给客户端以针对场景执行渲染。此外，该网格表示可以是在服务器和/或客户端处确定的或已知的。如果其在客户端处也是已知的，那么用于表示真实世界内容所需要的任何信息都不需要由服务器进行发送。此外，从时延的角度来看，在客户端上具有真实世界网格化能力具有其好处。如果真实世界场景不是完全静态的(包含移动或可变形的对象)，那么在对世界进行网格化并且将网格信息带入利用遮挡材料的光栅化的系统中包括的时延可以开始发挥作用。具有设备上网格化能力的客户端可以具有优势，因为它们的真实世界表示组件将引发较低时延，因此更紧密地对应于实际的透视场景。
74.在对象渲染时，服务器可能需要若干条信息。例如，服务器可能需要真实世界遮挡对象的网格或模型，其然后可以被渲染为一系列公告板或替代者(例如，在像素流系统中)，或者可以作为伴随烘焙到着色图集中的空表面的网格被发送给客户端(例如，在向量流系统中)。在一些方面中，包含真实世界遮挡物的屏幕空间投影的公告板可以通过相应的平面参数来表征：距相机的朝向和距离(深度)。此外，包括增强和真实世界对象的公告板或层可以经过精确可见性计算来渲染(例如，在视锥体内)，或者它们可以至少部分地被过度着色，例如，以包括对象的屏幕空间投影的稍微在视锥体之外或从当前视点不完全可见(由于来自其它对象的遮挡)的部分。在客户端侧处，可以从后到前渲染或合成公告板或层，并且按深度排序。
75.取决于网络和处理时延，环境网格化可以完全地在云上完成(例如，上行链路数据是在客户端上捕获的实时视频馈送和imu数据)，部分地在云上和部分地在客户端上完成(例如，上行链路数据可以包括一些关键帧、伴随的元数据和在客户端上本地提取的其它环境描述符)，或者完全地在客户端上完成(例如，客户端可以向服务器发送一些高级网格化特性，但是通常局部地维护网格化属性)。这些选项可以在计算卸载(从客户端到边缘服务器或云)与业务要求(从最高到中等)之间提供各种权衡。
76.在像素流系统的一些情况下，假设在公告板上渲染增强(其中至少一些过度着色超出严格可见性)，并且如果大多数对象与显示器相机不太近，那么用于将真实世界遮挡物刻画到客户端显示器的方法可以容忍一些时延和相机运动，而不会使遮挡边界严重地失真。此外，在客户端上在用于渲染的头部姿态与在显示时的头部姿态之间累积的相对运动可能影响合成内容的质量。例如，ar相机移动和网络时延的组合可能影响经渲染的内容的准确性。
77.在像素流系统的一些情况下，每个真实和/或增强对象可以利用单独的公告板或层。这可能使服务器和客户端处理复杂化并且使下行链路业务上涨。在本公开内容的一些方面中，服务器可以识别或标记朝向增强对象与视锥体部分地相交并且在相机与增强之间的真实世界对象。剩余的真实世界对象可能不在下行链路上显式地用信号通知，从而节省传输带宽和对应的客户端处理。
78.此外，描述真实世界对象的公告板或替代者可以从渲染姿态t0的视点跟踪这些对象的轮廓。在一些方面中，当作为时延补偿的手段在客户端处应用atw时，用信号通知的真实世界遮挡对象的轮廓可以与姿态偏移t
1-t0成比例地调整或“拉伸”，并且可以不对应于来自最新视点的遮挡对象轮廓(与出于公告板渲染的目的而用信号通知的遮挡对象轮廓相比，其可以不同或更先进)。这可能导致在真实世界前景与增强背景之间的遮挡边缘出现不自然的外观。此外，在某些条件下，所感知到的遮挡边界可能相对于前景对象移动，这也可能看起来不自然。
79.大多数这些缺点可以在针对向量流系统提出的方法中自然地解决。在这样的系统中，客户端执行混合场景对象(动画和真实世界对象)到显示屏幕上的最终光栅化，例如，使用最新的客户端姿态。由于光栅化可以使用原始资产的3d网格/几何作为输入，因此只要用于真实世界和增强对象的几何网格在客户端处准确地呈现，形状失真问题和/或失真/移动遮挡边界的问题就可以不出现。除了混合现实场景中的潜在可见行动者的网格/几何之外，客户端还可以接收在着色图集中打包的对应的着色表面。
80.图4a示出了根据本公开内容的一种或多种技术的着色图集400。如图4a所示，着色图集400示出了存储处于对象空间中而不是处于图像空间中的纹理的高效方式。图4a还示出了着色图集400的不同部分是以不同的分辨率进行着色的，例如，取决于距相机的距离，需要以较多或较少的细节水平来刻画着色纹理。此外，着色图集400的深灰色部分(例如，图4a的最右侧的着色420)可以表示着色图集400的未被分配的部分。在一些情况下，可以基于高时间相干性来对着色图集400进行高效地编码。例如，着色图集400中的一个块可以表示混合现实世界中的相同物理表面。在一些方面中，着色图集400中的块可以保持在相同的地方，只要它们潜在地可见并且占据屏幕空间中的相似区域。
81.图4b示出了根据本公开内容的一种或多种技术的着色图集组织450。如图4b所示，着色图集460包括超级块462，其中每个超级块包括列470。特定宽度的列可以被分配在相同的超级块中，其中，列包括列宽度a和列宽度b。每一列还可以包括块480。在一些方面中，如着色图集组织450中所示，列宽度a可以是列宽度b的值的一半。如图4b所示，从大值到小值的着色图集组织450可以是超级块462到列470到块480。图4b示出了如何将块480高效地打包到着色图集460中。此外，当决定从块480到着色图集460中的相应地方的映射时，存储器管理的这种层级允许广泛的并行性。
82.着色图集的存储器组织可以如下。图集包括超级块，这些超级块被进一步划分为列(具有相等的宽度)，并且每一列包括堆叠块。块具有矩形形状(正方形是一种特殊情况)，并且它们包括固定数量的三角形(例如，三角形490)。这在图4b的如下部分中示出：该部分描绘了具有宽度b的列，其中，几个块被示为包括多个三角形(例如，三角形490)。例如，这个数量可以是1、2或3。在一些实现方式中，包括多于3个三角形的块星座还是可能的。在资产加载和场景预处理(例如，离线执行的)期间选择一次三角形到块指派，并且在该时刻之后，其在游戏的持续时间内保持固定。在一些方面中，三角形到块映射操作与块到着色图集中的在线存储器组织是分开的，如图4b中所描绘的。在一种情况下，可以选择被指派给一个块的三角形，使得它们在对象网格中是邻居，它们的纵横比可以与所选择的块星座“兼容”，它们的大小/面积可以相似，并且它们的表面法线可以相似。三角形到块指派可以纯粹是基于网格属性的，因此处于对象空间中，并且因此可以在游戏开始之前完成。与此相反，块到超级块指派可以随着时间而改变，并且与屏幕空间中的对象外观紧密地耦合，并且因此其取决于相机位置和朝向。存在规定块是否将出现在图集中的若干因素，并且如果是的话，出现在哪个超级块中。首先，一旦块成为潜在可见集合的一部分，其就被启动到着色图集中。这大致意味着一旦块可以被在当前位置附近移动的相机显露，则该块第一次被添加。所添加的块的初始超级块指派取决于屏幕空间中的块外观。更加靠近相机的块在屏幕空间中表现为较大，并且因此分配了图集基板面的较大部分。此外，相对于相机轴以大的入射角出现的块可能表现为倾斜，并且因此可以在图集中由具有高纵横比的块(例如，窄矩形)来表示。根据相机运动，屏幕空间中的三角形外观可能逐渐地变化，并且因此相应块的大小和纵横比也可能变化。在其中列宽度被限制为2的幂的着色图集组织的情况下，在图集中可能存在可用的有限数量的块大小和纵横比，并且因此将块从一个列宽度超级块切换到另一个列宽度超级块可能在时间上不是很频繁或连续的。
83.为了保持图集内的上述时间相干性，一个块一旦被添加到图集，可能被限制为尽可能长时间占据相同的地方，服从一些约束。然而，其在图集中的位置可以变化一次：(i)其屏幕空间面积和纵横比变得越来越不适合当前的超级块列宽度，因此切换变得必要，或者，(ii)块在延长的时间段内不再处于潜在可见集合中。在这两种情况下，所讨论的块可以在图集内移动或完全移除，特别是在情况(ii)中。变化可能导致编码比特率的暂时增加，但是新状态可以持续一段时间，从而导致整体降低编码比特率。为了促进快速存储器查找，水平和垂直块大小两者都保持为2的幂。例如，块可以是16像素高和64像素宽。该块将被指派给包含在宽度上全部是64像素的块的超级块。当头戴式耳机位置变化，使得块的纵横比表现为更接近1:2并且在大小上略大时，块将被从其当前位置移除，并且其可以被指派在高度上32像素和在宽度上64像素。在这种情况下，其可能再次被分配给宽度64的超级块，但是其需要改变其位置。
84.在所提出的用于向向量流客户端刻画关于真实世界遮挡物的信息的方法中，提出了将对应的网格/几何与在下行链路上发送的其余几何(例如，动画对象的几何)一起流式传输。在其中拆分渲染客户端支持遮挡材料渲染的系统中，所产生的真实世界多边形可能需要伴随对应的遮挡材料消息。在不支持遮挡材料渲染的客户端中，需要将对应的多边形表面刻画为着色图集中的纹理。如上文所述，被渲染到着色图集中的这些纹理可以是统一的黑色、(0,0,0)值、空纹理，因为在一些情况下，在增强现实显示器上渲染(0,0,0)值可能
导致相应区域被视为完全透明或透视。此外，由于针对这些特定对象的着色纹理在颜色上可以是统一的，因此它们的分辨率可以不遵循如下传统限制：3d场景中表现为较为靠近相机的多边形可以由较高分辨率的纹理来表示(即，着色图集中的较大矩形)。换句话说，混合现实场景中的真实世界对象的多边形纹理可以由使用统一空纹理而着色的小矩形来表示。在一些方面中，小矩形在大小上可以是2像素乘2像素(即，在每个维度上具有2个像素的正方形)。
85.此外，不支持在客户端上的遮挡材料渲染的一些向量流系统可以支持用于描述统一颜色的多边形的特殊消息格式，这可以被称为单色消息。可以发送这些消息而不是在着色图集中明确地对统一黑色正方形进行着色，并且这些消息可以包括指示正在发送单色消息的报头，之后跟随着正在被映射到相同颜色的一数量的唯一表面片。消息的主体可以描述统一颜色，其在遮挡表面的情况下是(0,0,0)黑色。这之后可以枚举可能呈现所描述的颜色的纹理的所有部分(图块/三角形)。使用唯一的单位表面标识符有助于这种枚举。例如，在混合现实场景中存在的所有图块都被指派唯一的图块id，并且这些图块id可以被包括在单色消息中。从比特率、存储器和/或时延的角度来看，这种传输方案可以更加高效(与其中将(0,0,0)颜色信息显式地用信号通知为着色图集中的单独矩形的方案相比)。此外，可以使用单色消息来描述某些表面，这是对在着色图集中显式地渲染它们的替代方式。这些单色消息可以通过简单地从视频中完全移除所有统一颜色的表面来消除使用标准视频压缩描述它们的大多数冗余和低效。
86.在一些情况下，向量流客户端可能不知道真实世界遮挡对象的存在。例如，在处理具有真实世界遮挡的ar应用或没有真实世界遮挡的ar应用时，在客户端操作中可以不存在差异。与异步时间扭曲(atw)和可以存在于基于像素流的拆分渲染系统中的新颖视图合成的类似方法相比，作为预显示处理的一部分存在于所有拆分渲染系统中的新颖视图合成步骤的向量流方法可以提供改进的性能。基于向量流的新颖视图合成通过从新颖视点重新渲染整个潜在可见的几何，来避免基于平面重投影的形状失真和遮挡边界移位/失真。在一些方面中，如果上行链路业务被延迟或中断，或者假设客户端上网格化，则客户端设备可以在本地重建遮挡真实世界对象的外观和几何，并且然后可以将相应的网格和全零值纹理添加到绘制调用的现有的列表。以这种方式，具有网格化能力的向量流客户端可以提供针对不稳定的通信链路的较多稳健性，并且还可以提供具有较低整体时延的用于将真实世界对象合并到复杂的混合现实体验中的解决方案。在一些方面中，本地可用的遮挡对象网格(使用客户端重建)可能不被极大地细化，并且可能在服务器处需要捆绑调整以便使其更精确并且遵循实际的真实世界几何。然而，在一些方面中，在长网络延迟或服务中断的情况下，仍然可以选择真实世界遮挡物的粗略版本而不是不具有任何这样的表示。
87.在一些方面中，如果吞吐量是慢的或时延是高的，则客户端可以选择例如针对真实世界内容使用本地网格，而不是来自服务器的网格。通过使用本地网格，客户端可以在客户端处渲染这种网格内容，而无需等待从服务器接收网格。这可以对真实世界遮挡提供更即时的响应。例如，本地客户端网格可以对于由客户端检测到但是服务器尚不知道的真实世界内容是有用的。
88.客户端设备还可以执行粗略的真实世界网格化并且将该信息发送给服务器。然后，服务器可以执行捆绑调整，使得服务器比较由客户端在许多不同的时间点对真实对象
所作的真实世界观察，并且将该信息细化为单个紧凑的细化网格信息，以供真实世界对象的未来表示。因此，真实世界内容细化可以发生在客户端或服务器两者上。
89.在一些情况下，客户端设备可以利用额外通路来渲染对于服务器未知的遮挡对象，例如，使用最新的真实世界对象网格和姿态。如果标记的遮挡对象未出现在下行链路数据中，则可以在客户端上检测到这种状况。此外，客户端可以自给自足地操作，例如，无需来自服务器的输入，即使在存在遮挡对象和/或没有可靠的通信网络服务的情况下。
90.如上文所指出的，本公开内容的各方面可以在像素流系统中通过经由层或公告板来渲染遮挡对象，来处理遮挡对象。例如，本公开内容可以经由与混合现实空间中的增强对象的几何比较来确定哪些真实世界对象可能正在遮挡对象。例如，真实世界对象的几何(例如，在与真实世界中的任意点相关的世界坐标系中检测和网格化的)可以通过使用在两个世界之间的共同主体(相机)的姿态而被“转换”为由动画对象指示的混合世界坐标。在此之后，可以在混合世界表示中执行标准可见性测试的变体，以便将选择的真实世界对象标记为潜在遮挡物。在像素空间中与动画部分重叠并且表现为比至少一个增强对象更靠近虚拟相机的真实世界对象可以被标记为潜在遮挡物并且使用最新的已知对象网格来渲染到单独的公告板上。这些遮挡对象可以在距ar相机的平均对象距离处被光栅化到公告板平面上(或者使用一些其它方法来确定相对于相机的平面距离和朝向)。公告板中的对象表面可以使用全零像素(例如，为(0,0,0)的rgb值)来渲染。
91.此外，本公开内容可以在向量流系统中处理与其它对象类似的遮挡对象。具有已知网格的真实世界对象可以按照与服务器处的动画对象相同的方式来看待。因此，这些真实世界对象可以参与可见性计算。如果发现真实世界对象遮挡至少一个动画对象，则本公开内容可以将该真实世界对象视为活动遮挡对象并且将对应信息添加到已知对象的组合集合。本公开内容还可以将这些对象的潜在可见几何或纹理作为具有单色值或为(0,0,0)的rgb值的消息进行发送。由于这些对象的网格信息可以在服务器上继续细化，因此本公开内容可以发送关于对象几何的更新。
92.如本文所指出的，本公开内容还可以包括：当从服务器接收到的消息不包括关于这些遮挡对象的信息时，在客户端设备上本地(而不是在服务器上)估计真实世界遮挡对象的几何。这种情形可能由于多种不同的原因而发生，例如，为了减少组合系统时延、由于上行链路临时中断和/或对服务器工作负载的限制。在本公开内容中，向量流客户端可以使用用于对应纹理的全零值来将真实世界对象的本地估计网格添加到在客户端上光栅化的网格列表。此外，在将结果与通过网络接收的像素流纹理进行组合之前，像素流客户端可以在单独的通路中对本地估计的网格进行光栅化。因此，在像素流系统中，本公开内容可以利用一种或多种解决方案来解决真实世界内容遮挡增强内容。并且在向量流系统中，本公开内容可以利用多种解决方案来解决真实世界内容遮挡增强内容。
93.图5示出了根据本公开内容的一种或多种技术的示例图像或场景500。场景500包括增强内容510和真实世界内容520(其包括边缘522)。更具体地，图5显示了真实世界对象520(例如，门)，其正在遮挡增强内容510(例如，人)。如图5所示，增强内容510停留在真实世界对象520的边缘522处，因为真实世界对象520完全遮挡增强内容510。例如，人510的任何部分都没有与门520的边缘522重叠。
94.如上文所指出的，图5准确地显示了在ar系统中真实世界内容(例如，内容520)遮
挡增强内容(例如，内容510)的效果。如图5所示，本公开内容的各方面可以准确地确定哪些真实世界对象和动画对象可以在两者在屏幕空间中完全地或部分地重叠时彼此遮挡。此外，本公开内容的各方面可以在拆分渲染架构中渲染混合现实场景的内容，使得当对象是真实世界内容和增强内容时，在遮挡/前景对象与被遮挡/背景对象之间的遮挡边界经历一系列网络时延和相机运动而保持清晰和准确。因此，本公开内容的各方面可以准确地描绘真实世界内容何时完全地或部分地遮挡增强内容，或者增强内容何时遮挡真实世界内容，以及在ar显示器中可以如何以及在何处描绘两者之间的边界。
95.图5示出了上述用于在具有真实世界内容和增强内容的拆分渲染中处理遮挡内容的过程的示例。如图5所示，本公开内容的各方面(例如，本文中的服务器和客户端设备)可以执行多个不同的步骤或过程来以沉浸式方式渲染其中真实世界内容和增强内容共存并且彼此交互的混合现实场景。例如，本文中的服务器和客户端设备可以识别场景中的在真实世界对象当中的第一内容组(例如，图5中的门520)以及在动画对象当中的第二内容组(例如，图5中的人510)。本文中的服务器和客户端设备还可以基于它们在视锥体中的位置，从当前相机姿态或附近相机姿态来确定一者是否可能潜在地遮挡另一者(部分地或完全地)，并且对于潜在遮挡物/被遮挡物，以如下这样的方式来表示它们的外观和几何属性：当混合场景被重新渲染(例如，根据密集的附近相机姿态和朝向集合)时，在两者之间的遮挡边界可以表现为准确。在一些方面中，第一内容组(例如，门520)可以包括至少一些真实内容，并且第二内容组(例如，人510)可以包括至少一些增强内容。本文中的服务器和客户端设备还可以确定第一内容组(例如，门520)的至少一部分是否遮挡或潜在地遮挡第二内容组(例如，人510)的至少一部分。
96.在一些方面中，可以使用至少一个第一公告板(例如，图3中的公告板320)来表示第一内容组(例如，门520)，并且可以可以使用至少一个第二公告板(例如，图3中的公告板310)来表示第二内容组(例如，人510)。本文中的服务器和客户端设备还可以根据至少一个第一平面等式来生成至少一个第一公告板(例如，公告板320)，并且根据至少一个第二平面等式来生成至少一个第二公告板(例如，公告板310)。在一些方面中，关于第一内容组的至少一部分是否遮挡或潜在地遮挡第二内容组的至少一部分的确定可以是基于以下各项中的至少一项的：当前相机姿态、具有附近位置或朝向的一个或多个相机姿态、或一个或多个预测的相机姿态(包括近期姿态)。此外，至少一个第一公告板(例如，公告板320)可以以对应于第一平面的方式来定位和定向，并且至少一个第二公告板(例如，公告板310)可以以对应于第二平面的方式来定位和定向。
97.在一些方面中，可以使用至少一个第一网格和至少一个第一着色纹理来表示第一内容组(例如，门520)，并且可以使用至少一个第二网格和至少一个第二着色纹理来表示第二内容组(例如，人510)。本文中的服务器和客户端设备还可以生成至少一个第一网格和一个第一着色纹理以及至少一个第二网格和一个第二着色纹理。
98.本文中的服务器和客户端设备还可以基于从当前或附近相机位置和朝向确定第一内容组的至少一部分是否可能遮挡第二内容组的至少一部分，来渲染第一内容组(例如，门520)和第二内容组(例如，人510)。在一些方面中，ar头戴式耳机中的没有渲染任何内容的像素可以表现得与渲染值是(0,0,0)的情况相同，即，这些像素对于真实世界内容保持完全透明(在观看者可以“透视”这些像素的意义上)。替代地，当第一内容组的至少一部分遮
挡第二内容组的至少一部分时，本文中的客户端设备可以使用遮挡材料表面属性来渲染第一内容组的一个或多个表面的至少一部分。在一些方面中，至少一个第一网格可以与第一几何信息相关联，并且至少一个第二网格可以与第二几何信息相关联。
99.本文中的服务器和客户端设备还可以将与第一内容组(例如，门520)相关联的信息和与第二内容组(例如，人510)相关联的信息传送给客户端设备。在一些方面中，客户端设备可以进行对于第一内容组(例如，门520)的元素和第二内容组(例如，人510)的元素不可区分的处理。在一些方面中，当至少一个眼睛缓冲器被合成用于显示时，客户端设备可以处理与第一内容组相关联的信息和与第二内容组相关联的信息。另外，第一内容组(例如，门520)和第二内容组(例如，人510)的表示可以至少部分地由服务器准备。此外，第一内容组(例如，门520)和第二内容组(例如，人510)的表示可以是至少部分地由客户端设备渲染到例如眼睛缓冲器中以供显示。在一些方面中，可以使用一个或多个第一网格元素和一个或多个第一像素来表示第一内容组，并且可以使用一个或多个第二网格元素和一个或多个第二像素来表示第二内容组。在一些方面中，第一内容组可以由一个或多个第一遮挡消息来表示。
100.在一些方面中，第一内容组(例如，门520)可以包括一个或多个像素，并且第二内容组(例如，人510)可以通过一个或多个像素来表示。此外，场景(例如，场景500)可以是在位于以下各项中的至少一项中的客户端设备处的显示器上合成和/或生成的：拆分增强现实(ar)架构、拆分扩展现实(xr)架构、或与服务器的云游戏。此外，关于第一内容组(例如，门520)的至少一部分是否遮挡或潜在地遮挡第二内容组(例如，人510)的至少一部分的确定可以是至少部分地由gpu或cpu执行的。在一些方面中，当第一内容组的至少一部分遮挡第二内容组的至少一部分时使用遮挡材料来渲染第一内容组的一个或多个表面的至少一部分可以是至少部分地在服务器上执行的。
101.如上文所指出的，本公开内容的利用像素流系统的各方面可以包括公告板、替代者或层，并且可以使用当前相机姿态来将真实世界内容作为全空/黑色剪影遮罩渲染到对应的公告板中。本公开内容的利用向量流系统的各方面还可以包括以完全相同的方式处理表示真实世界内容和动画内容的信息的客户端设备。例如，可以假设每个真实世界遮挡对象在服务器处都是已知的。此外，可以假设每个真实世界遮挡对象至少部分地由被发送给客户端的消息来表示。在某些方面中，表示在被嵌入在所发送的消息中的真实场景内的真实世界内容的模态可以与表示在虚拟/混合现实场景中的动画内容的模态相同。实际上，关于哪个表示对应于增强或真实世界对象，客户端设备可以不作出任何区分。
102.此外，本公开内容的各方面可以包括向量流架构，其中，服务器可以不知道真实世界遮挡对象，和/或到达客户端的下行链路业务可以不包含关于遮挡对象的信息，但是客户端设备可以知晓真实世界遮挡对象：它们的形状、大小和相对于相机/观察者的姿态。在这些情况下，客户端设备可以具有单独的渲染通路，其中，客户端对真实世界遮挡对象的网格进行光栅化，从而使用遮挡材料来渲染其纹理。例如，服务器可能需要若干帧才知晓遮挡对象，但是客户端可以在单个帧内知晓遮挡对象。因此，客户端设备可以比服务器更快地确定遮挡对象几何，从而可以更快地刻画遮挡对象的存在并且将明显不正确遮挡的发生最小化。
103.图6示出了根据本公开内容的一种或多种技术的示例方法的示例流程图600。该方
法可以由装置(诸如服务器、客户端、cpu、gpu、用于图形处理的装置)来执行。在602处，该装置可以识别场景中的第一内容组和第二内容组，如结合在图2、图3、图4和图5中的示例所描述的。在一些方面中，第一内容组可以包括至少一些真实内容，并且第二内容组可以包括至少一些增强内容，如结合在图2、图3、图4和图5中的示例所描述的。
104.在604处，该装置可以确定第一内容组的至少一部分是否遮挡或潜在地遮挡第二内容组的至少一部分(例如，从当前或附近相机姿态)，如结合在图2、图3、图4和图5中的示例所描述的。
105.在一些方面中，如果可能发生跨内容遮挡，则第一内容组可以是使用至少一个第一公告板来表示的。第二内容组可以是使用至少一个第二公告板来表示的，如结合在图2、图3、图4和图5中的示例所描述的。在606处，该装置可以根据至少一个第一平面等式来生成至少一个第一公告板，并且根据至少一个第二平面等式来生成至少一个第二公告板，如结合在图2、图3、图4和图5中的示例所描述的。在一些方面中，关于第一内容组的至少一部分是否遮挡或潜在地遮挡第二内容组的至少一部分的确定是基于以下各项中的至少一项的：当前相机姿态、具有附近位置或朝向的一个或多个相机姿态、或包括近期姿态的一个或多个预测的相机姿态，如结合在图2、图3、图4和图5中的示例所描述的。另外，至少一个第一公告板可以对应于第一平面，并且至少一个第二公告板可以对应于第二平面，如结合在图2、图3、图4和图5中的示例所描述的。
106.在一些方面中，第一内容组可以是使用至少一个第一网格和第一着色纹理来表示的，并且第二内容组可以是使用至少一个第二网格和第二着色纹理来表示的，如结合在图2、图3、图4和图5中的示例所描述的。
107.在610处，该装置可以基于关于第一内容组的至少一部分是否遮挡或潜在地遮挡第二内容组的至少一部分的确定，来表示第一内容组和第二内容组，如结合在图2、图3、图4和图5中的示例所描述的。在612处，当第一内容组的至少一部分遮挡或潜在地遮挡第二内容组的至少一部分时，该装置可以使用遮挡材料来渲染第一内容组的一个或多个表面的至少一部分，如结合在图2、图3、图4和图5中的示例所描述的。
108.在一些方面中，第一内容组可以是由第一着色图集来表示的，并且第二内容组可以是基于第二着色图集的，如结合在图2、图3、图4和图5中的示例所描述的。此外，至少一个第一网格可以与第一几何信息相关联，并且至少一个第二网格可以与第二几何信息相关联，如结合在图2、图3、图4和图5中的示例所描述的。
109.在614处，该装置可以将与第一内容组相关联的信息和与第二内容组相关联的信息传送给客户端设备，如结合在图2、图3、图4和图5中的示例所描述的。在一些方面中，例如，当至少一个眼睛缓冲器被合成用于显示时，客户端设备可以处理与第一内容组相关联的信息和与第二内容组相关联的信息，如结合在图2、图3、图4和图5中的示例所描述的。另外，第一内容组的表示和第二内容组的表示可以是在服务器上至少部分地着色的，如结合在图2、图3、图4和图5中的示例所描述的。此外，第一内容组和第二内容组可以是至少部分地由客户端设备渲染的，如结合在图2、图3、图4和图5中的示例所描述的。
110.在一些方面中，第一内容组可以包括一个或多个像素，并且第二内容组可以包括一个或多个像素，如结合在图2、图3、图4和图5中的示例所描述的。在一些方面中，第一内容组可以是由一个或多个第一遮挡消息来表示的，如结合在图2、图3、图4和图5中的示例所描
述的。在一些方面中，第一内容组可以是使用一个或多个第一网格元素和一个或多个第一像素来表示的，并且第二内容组可以是使用一个或多个第二网格元素和一个或多个第二像素来表示的，如结合在图2、图3、图4和图5中的示例所描述的。此外，场景可以是在位于以下各项中的至少一项中的客户端设备处的显示器上渲染的：拆分增强现实(ar)架构、拆分扩展现实(xr)架构、或与服务器的云游戏，如结合在图2、图3、图4和图5中的示例所描述的。此外，确定第一内容组的至少一部分是否遮挡或潜在地遮挡第二内容组的至少一部分(例如，从当前或附近相机位置和朝向)可以是至少部分地由gpu或cpu执行的，如结合在图2、图3、图4和图5中的示例所描述的。
111.在一些方面中，关于第一内容组的至少一部分是否遮挡或潜在地遮挡第二内容组的至少一部分的确定可以是至少部分地在服务器上执行的，如结合在图2、图3、图4和图5中的示例所描述的。此外，当第一内容组的至少一部分遮挡或潜在地遮挡第二内容组的至少一部分时使用遮挡材料来渲染第一内容组的一个或多个表面的至少一部分可以是至少部分地在服务器上执行的，如结合在图2、图3、图4和图5中的示例所描述的。
112.在一种配置中，提供了用于图形处理的方法或装置。该装置可以是服务器、客户端设备、cpu、gpu或可以执行图形处理的某种其它处理器。在一个方面中，该装置可以是在设备104内的处理单元120，或者可以是在设备104或另一设备内的某种其它硬件。该装置可以包括用于识别场景中的第一内容组和第二内容组的单元。该装置还可以包括用于确定第一内容组的至少一部分是否遮挡或潜在地遮挡第二内容组的至少一部分的单元。该装置还可以包括用于基于关于第一内容组的至少一部分是否遮挡或潜在地遮挡第二内容组的至少一部分的确定来表示第一内容组和第二内容组的单元。该装置还可以包括用于当第一内容组的至少一部分遮挡第二内容组的至少一部分时使用遮挡材料来渲染第一内容组的一个或多个表面的至少一部分的单元。该装置还可以包括用于根据至少一个第一平面等式和第一着色纹理来生成至少一个第一公告板以及根据至少一个第二平面等式来生成至少一个第二公告板和第二着色纹理的单元。该装置还可以包括用于将与第一内容组相关联的信息和与第二内容组相关联的信息传送给客户端设备的单元。
113.可以实现本文描述的主题以实现一个或多个益处或优点。例如，所描述的图形处理技术可以由服务器、客户端、gpu、cpu或可以执行图形处理以实现本文描述的拆分渲染技术的某种其它处理器来使用。与其它图形处理技术相比，这还可以以低成本来实现。此外，本文中的图形处理技术可以改进或加速数据处理或执行。进一步地，本文中的图形处理技术可以提高资源或数据利用和/或资源效率。此外，本公开内容的各方面可以利用可以提高在具有真实世界内容和增强内容的拆分渲染中处理遮挡内容的准确性的拆分渲染过程。
114.根据本公开内容，在上下文没有另外规定的情况下，术语“或”可以被解释为“和/或”。另外，虽然诸如“一个或多个”或“至少一个”等的短语可能已经用于本文所公开的一些特征，而没有用于其它特征，但是没有使用这样的语言的特征可以被解释为在上下文没有另外规定的情况下暗示了这样的含义。
115.在一个或多个示例中，本文所描述的功能可以用硬件、软件、固件或其任何组合来实现。例如，尽管已经遍及本公开内容使用了术语“处理单元”，但是这样的处理单元可以用硬件、软件、固件或其任何组合来实现。如果任何功能、处理单元、本文所描述的技术或其它模块是用软件实现的，则功能、处理单元、本文所描述的技术或其它模块可以作为一个或多
个指令或代码被存储在计算机可读介质上或者通过计算机可读介质进行发送。计算机可读介质可以包括计算机数据存储介质或通信介质，所述通信介质包括促进将计算机程序从一个地方传送到另一个地方的任何介质。以此方式，计算机可读介质通常可以对应于：(1)有形计算机可读存储介质，其是非暂时性的；或者(2)诸如信号或载波的通信介质。数据存储介质可以是可以由一个或多个计算机或者一个或多个处理器存取以取回用于实现在本公开内容中描述的技术的指令、代码和/或数据结构的任何可用的介质。通过举例而非限制性的方式，这样的计算机可读介质可以包括ram、rom、eeprom、cd-rom或其它光盘存储、磁盘存储或其它磁存储设备。如本文所使用的，磁盘和光盘包括压缩光盘(cd)、激光光盘、光盘、数字多功能光盘(dvd)、软盘和蓝光光盘，其中磁盘通常磁性地复制数据，而光盘利用激光来光学地复制数据。上述各项的组合还应当被包括在计算机可读介质的范围之内。计算机程序产品可以包括计算机可读介质。
116.代码可以由一个或多个处理器来执行，诸如一个或多个数字信号处理器(dsp)、通用微处理器、专用集成电路(asic)、算术逻辑单元(alu)、现场可编程逻辑阵列(fpga)、或其它等效的集成的或分立的逻辑电路。因此，如本文所使用的术语“处理器”可以指的是前述结构中的任何一者或适合于实现本文所描述的技术的任何其它结构。此外，所述技术可以是在一个或多个电路或逻辑元件中充分地实现的。
117.本公开内容的技术可以是在各种各样的设备或装置中实现的，包括无线手机、集成电路(ic)或一组ic(例如，芯片集)。在本公开内容中描述了各种组件、模块或单元，以强调被配置为执行所公开的技术的设备的功能方面，但是不一定需要通过不同的硬件单元来实现。确切而言，如上文所描述的，各个单元可以被组合在任何硬件单元中，或者由一批可互操作的硬件单元(包括如上文所描述的一个或多个处理器)结合合适的软件和/或固件来提供。
118.已经描述了各个示例。这些示例和其它示例在跟随的权利要求的范围内。