用于稀疏分布式渲染的系统和方法与流程

用于稀疏分布式渲染的系统和方法
1.相关申请的交叉引用
2.本技术是2019年07月2日递交的、名称为“用于稀疏分布式渲染的系统和方法(system and method for sparse distributed rendering)”的美国临时专利申请系列号62/869,832的非临时申请，并根据35美国
§
119(e)要求其权益，该申请通过引用整体结合于此。


背景技术：

3.对于无系留头戴式显示器(hmd)，可能有用的是更多的计算由hmd本身而不是外部设备来执行。类似地，可能期望无护目镜的3d显示器执行更大量的内容处理。在这两种情况下，取决于观看者位置和注视方向，以均匀的高采样密度渲染全视图可以产生大量的数据，并非所有这些数据都可以在改善感知质量方面有用。
4.利用光线跟踪的高质量渲染可能要求当前仅由具有专用图形卡的高端台式计算机提供图形处理性能。随着更多的显示器特定渲染与显示器更紧密地集成，例如在无系留hmd和光场显示器中，新颖的渲染解决方案还可以在利用诸如移动片上系统(soc)处理器之类的较不强大的计算平台来执行设备渲染的情况下实现更高的图像质量。
5.诸如光场显示器的自动立体显示器能够允许人眼在不需要佩戴特殊眼镜的情况下看到空间信息。光场显示器可以在宽的观看区域上提供具有连续运动视差的3d图像。在从屏幕方向测量的给定角度范围内，可以感知到可视化的光场，称为视场(fov)。存在以下种类的光场显示：
6.超多视图光场显示器——光场显示器可以是不提供可变焦控制但是能够同时向瞳孔提供多个视图的超多视图显示器，其可以帮助引起自然的调节响应以减少调节-会聚冲突，并且提供平滑的运动视差。
7.可变焦控制光场显示器——光场显示器可以是能够在不同深度位置处生成图像的多焦点显示器。
8.增强现实(ar)允许用户看到现实世界，其中虚拟对象叠加在现实世界上或与现实世界合成。因此，ar补充了真实性，而不是完全替代它。此外，利用ar内容的3d观看体验通常要求使用头戴式显示器(hmd)。在一些情况下，期望实现支持ar内容的使用而不需要耳机的基于投影仪的解决方案。然而，在基于投影仪的ar解决方案中存在限制。例如，投影仪通常不能在相反方向上为观看者投影视觉内容。相反，投影仪的取向通常必须改变以将图像投影到相反的观看方向。类似地，投影仪依赖于要投影到其上的表面，并且通常限于在这样的表面上的2d对象表示。


技术实现要素：

9.根据一些实施例的方法包括：从服务器接收合成3d场景的多个点云样本，所述点云样本包括(i)点位置、(ii)至少一个观看方向、以及(iii)针对所述观看方向中的每个观看方向的颜色信息；基于视点位置，从点云样本获得第一颜色样本集合；基于所述视点位
置，渲染所述合成3d场景的本地存储的副本的至少一部分以产生第二颜色样本集合；以及使用第一颜色样本集合和第二颜色样本集合来使得显示合成3d场景。
10.在一些实施例中，所述方法进一步包括组合第一颜色样本集合和第二颜色样本集合以生成组合的颜色样本集合，其中使得显示合成3d场景包括使得显示组合的颜色样本集合。一些实施例进一步包括对所述组合的颜色样本集合进行去噪。在一些实施例中，使得显示颜色样本可以通过实际显示颜色样本来执行；在其他实施例中，使得显示颜色样本可以通过将表示颜色样本的视频数据发送到单独的显示设备以用于显示来执行。
11.在一些实施例中，所述方法进一步包括将请求的采样密度用信号通知给服务器，其中，以请求的采样密度接收点云样本。在一些实施例中，请求的采样密度基于用于渲染合成3d场景的本地存储的副本的处理时间。
12.根据一些实施例的方法包括：生成合成3d场景的多个点云样本，所述点云样本中的每个点云样本具有(i)点位置、(ii)至少一个观看方向、以及(iii)所述观看方向中的每个观看方向的颜色信息；其中，所述点云样本通过包括以下步骤的方法生成：在3d场景中的表面上选择点云位置；以及对于至少一个观看方向中的每一个观看方向，在3d场景中执行光线跟踪以确定相应观看方向的颜色信息。所述方法进一步包括将点云样本发送至客户端。
13.一些实施例进一步包括从客户端接收请求的采样密度，其中，利用请求的采样密度生成点云样本。
14.在一些实施例中，点云样本的观看方向的数量至少部分地基于对应表面处的反的射漫射水平，其中观看方向的数量被减小以增加漫射。
15.一些实施例进一步包括从客户端接收指示视点位置的信息，其中基于视点位置选择观看方向。
16.根据一些实施例的装置包括处理器，该处理器被配置为至少执行：从服务器接收合成3d场景的多个点云样本，所述点云样本包括(i)点位置、(ii)至少一个观看方向、以及(iii)所述观看方向中的每个观看方向的颜色信息；基于视点位置，从点云样本获得第一颜色样本集合；基于所述视点位置，渲染所述合成3d场景的本地存储的副本的至少一部分以产生第二颜色样本集合；以及使用第一颜色样本集合和第二颜色样本集合来使得显示合成3d场景。
17.在一些实施例中，所述处理器进一步被配置为组合所述第一颜色样本集合与所述第二颜色样本集合以产生组合的颜色样本集合；其中使得显示所述合成3d场景包括使得显示所述组合的颜色样本集合。
18.在一些实施例中，处理器进一步被配置为执行：基于用于渲染所述合成3d场景的所述本地存储的副本的处理时间来选择请求的采样密度；以及将请求的采样密度用信号通知给服务器；其中，以请求的采样密度接收所述点云样本。
19.根据一些实施例的装置包括处理器，该处理器被配置为至少执行：生成合成3d场景的多个点云样本，所述点云样本中的每个点云样本具有(i)点位置、(ii)至少一个观看方向、以及(iii)所述观看方向中的每个观看方向的颜色信息；其中，所述点云样本通过包括以下步骤的方法生成：在3d场景中的表面上选择点云位置；以及对于至少一个观看方向中的每一个观看方向，在3d场景中执行光线跟踪以确定相应观看方向的颜色信息。将点云样
本发送到客户端。
20.在一些实施例中，处理器进一步被配置为从客户端接收请求的采样密度，其中，利用请求的采样密度生成点云样本。
21.在一些实施例中，点云样本的观看方向的数量至少部分地基于对应表面处的反射的漫射水平，其中观看方向的数量被减小以增加漫射。
22.一些实施例使客户端(其可以是例如具有本地处理的显示设备)和内容服务器(其可以是例如无线连接的台式计算机)能够共享实时光线跟踪的工作量。
23.在本文描述的一些示例系统和方法中，服务器通过根据内容的材料特性改变每个样本的观看方向来产生光线跟踪样本的稀疏集合。每个样本是具有用于改变观看方向的数量的颜色信息的点。内容服务器根据客户端所期望的观看方向的变化和材料特性来确定每个采样点的观看方向的数量。客户端可以通过将样本投影到新颖的视点来合成新颖的视点。客户端可以操纵内容服务器的采样密度和分布，并且组合本地渲染以增加采样密度并且适当地填充采样间隙。
24.一些实施例提供支持在光场显示器的被跟踪或预测的观看环境中准备感兴趣的物理对象的光场可视化的系统和方法。一些这样的方法和系统支持在正确的位置、取向和深度距离上为光场显示器的观看者显示感兴趣的物理对象的光场可视化。
附图说明
25.图1a是示出了可以实施所公开的一个或多个实施例的示例通信系统的系统图示。
26.图1b是示出了根据实施例的可以在图1a所示的通信系统内部使用的示例的无线发射/接收单元(wtru)的系统图示。
27.图2a示出了在一些实施例中使用的组件。
28.图2b是示出了在一些实施例中执行的示例方法的消息流程图。
29.图3示出了在一些实施例中由内容服务器执行的示例方法。
30.图4示出了在一些实施例中由服务器执行的示例稀疏渲染过程。
31.图5是稀疏渲染过程的一部分的示意图，其中表面样本点被确定。
32.图6是基于样本点材料和客户端请求确定要采样的视点变化的示意图。
33.图7是从为每个采样点确定的视点生成初始光线的过程的示意图。
34.图8是使用初始光线的递归光线跟踪的示意图。
35.图9示出了针对每个采样点的光线跟踪结果的收集。
36.图10示出了一些实施例中的第一渲染通道缓冲区。
37.图11示出了一些实施例中的第二渲染通道缓冲区。
38.图12是示出了在一些实施例中由客户端执行的示例方法的流程图。
39.图13是在观看者到光场显示器的视线上的视见体积内的适当深度位置处呈现针对感兴趣的现实世界对象的光场可视化的光场显示器的示意图。
40.图14是用于观看环境中的物理对象的初级和次级光场可视化的示意图。
41.图15是在一些实施例中使用的功能组件的示意图。
42.图16是在一些实施例中执行的示例过程的第一序列图。
43.图17是在一些实施例中执行的示例过程的第二序列图。
44.图18是根据一些实施例的示例方法的流程图。
具体实施方式
45.现在将参考各个附图来提供对说明性实施例的详细描述。尽管本说明书提供了可能实施方式的详细示例，但是应当注意，所提供的细节旨在作为示例，而绝不限制本技术的范围。
46.用于实施例的实现的示例网络
47.图1a是示出了可以实施所公开的一个或多个实施例的示例通信系统100的图示。该通信系统100可以是为多个无线用户提供语音、数据、视频、消息传递、广播等内容的多址接入系统。该通信系统100可以通过共享包括无线带宽在内的系统资源而使多个无线用户能够访问此类内容。举例来说，通信系统100可以使用一种或多种信道接入方法，例如码分多址(cdma)、时分多址(tdma)、频分多址(fdma)、正交fdma(ofdma)、单载波fdma(sc-fdma)、零尾唯一字dft扩展ofdm(zt uw dts-s ofdm)、唯一字ofdm(uw-ofdm)、资源块滤波ofdm以及滤波器组多载波(fbmc)等等。
48.如图1a所示，通信系统100可以包括无线发射/接收单元(wtru)102a、102b、102c、102d、ran 104/113、cn 106/115、公共交换电话网络(pstn)108、因特网110以及其他网络112，然而应该了解，所公开的实施例设想了任意数量的wtru、基站、网络和/或网络元件。每一个wtru 102a、102b、102c、102d可以是被配置成在无线环境中工作和/或通信的任何类型的设备。举例来说，任一wtru 102a、102b、102c、102d都可被称为“站”和/或“sta”，其可以被配置成发射和/或接收无线信号，并且可以包括用户设备(ue)、移动站、固定或移动订户单元、基于订阅的单元、寻呼机、蜂窝电话、个人数字助理(pda)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、热点或mi-fi设备、物联网(iot)设备、手表或其他可穿戴设备、头戴显示器(hmd)、车辆、无人机、医疗设备和应用(例如远程手术)、工业设备和应用(例如机器人和/或在工业和/或自动处理链环境中工作的其他无线设备)、消费类电子设备、以及在商业和/或工业无线网络上工作的设备等等。wtru 102a、102b、102c、102d任意者可被可互换地称为ue。
49.通信系统100还可以包括基站114a和/或基站114b。每一个基站114a、114b可以是被配置成通过以无线方式与wtru 102a、102b、102c、102d中的至少一者对接来促使其接入一个或多个通信网络(例如cn 106/115、因特网110、和/或其他网络112)的任何类型的设备。例如，基站114a、114b可以是基地收发信台(bts)、节点b、e节点b(enb)、家庭节点b、家庭e节点b、gnb、nr节点b、站点控制器、接入点(ap)、以及无线路由器等等。虽然每一个基站114a、114b都被描述成了单个元件，然而应该了解，基站114a、114b可以包括任何数量的互连基站和/或网络元件。
50.基站114a可以是ran 104/113的一部分，并且所述ran还可以包括其他基站和/或网络元件(未显示)，例如基站控制器(bsc)、无线电网络控制器(rnc)、中继节点等等。基站114a和/或基站114b可被配置成在名为小区(未显示)的一个或多个载波频率上发射和/或接收无线信号。这些频率可以处于授权频谱、无授权频谱或是授权与无授权频谱的组合之中。小区可以为相对固定或者有可能随时间变化的特定地理区域提供无线服务覆盖。小区可被进一步分成小区扇区。例如，与基站114a相关联的小区可被分为三个扇区。由此，在一
个实施例中，基站114a可以包括三个收发信机，也就是说，每一个收发信机都对应于小区的一个扇区。在实施例中，基站114a可以使用多输入多输出(mimo)技术，并且可以为小区的每一个扇区使用多个收发信机。例如，通过使用波束成形，可以在期望的空间方向上发射和/或接收信号。
51.基站114a、114b可以通过空中接口116来与wtru 102a、102b、102c、102d中的一者或多者进行通信，其中所述空中接口可以是任何适当的无线通信链路(例如射频(rf)、微波、厘米波、毫米波、红外线(ir)、紫外线(uv)、可见光等等)。空中接口116可以使用任何适当的无线电接入技术(rat)来建立。
52.更具体地说，如上所述，通信系统100可以是多址接入系统，并且可以使用一种或多种信道接入方案，例如cdma、tdma、fdma、ofdma以及sc-fdma等等。例如，ran 104/113中的基站114a与wtru 102a、102b、102c可以实施某种无线电技术，例如通用移动电信系统(umts)陆地无线电接入(utra)，其中所述技术可以使用宽带cdma(wcdma)来建立空中接口115/116/117。wcdma可以包括如高速分组接入(hspa)和/或演进型hspa(hspa )之类的通信协议。hspa可以包括高速下行链路(dl)分组接入(hsdpa)和/或高速ul分组接入(hsupa)。
53.在实施例中，基站114a和wtru 102a、102b、102c可以实施某种无线电技术，例如演进型umts陆地无线电接入(e-utra)，其中所述技术可以使用长期演进(lte)和/或先进lte(lte-a)和/或先进lte pro(lte-a pro)来建立空中接口116。
54.在实施例中，基站114a和wtru 102a、102b、102c可以实施某种无线电技术，例如nr无线电接入，其中所述无线电技术可以使用新无线电(nr)建立空中接口116。
55.在实施例中，基站114a和wtru 102a、102b、102c可以实施多种无线电接入技术。例如，基站114a和wtru 102a、102b、102c可以共同实施lte无线电接入和nr无线电接入(例如使用双连接(dc)原理)。由此，wtru 102a、102b、102c使用的空中接口可以通过多种类型的无线电接入技术和/或向/从多种类型的基站(例如enb和gnb)发送的传输来表征。
56.在其他实施例中，基站114a和wtru 102a、102b、102c可以实施以下的无线电技术，例如ieee 802.11(即无线高保真(wifi))、ieee 802.16(全球微波接入互操作性(wimax))、cdma2000、cdma20001x、cdma2000 ev-do、临时标准2000(is-2000)、临时标准95(is-95)、临时标准856(is-856)、全球移动通信系统(gsm)、用于gsm演进的增强数据速率(edge)以及gsm edge(geran)等等。
57.图1a中的基站114b可以是无线路由器、家庭节点b、家庭e节点b或接入点，并且可以使用任何适当的rat来促成局部区域中的无线连接，例如营业场所、住宅、车辆、校园、工业设施、空中走廊(例如供无人机使用)以及道路等等。在一个实施例中，基站114b与wtru 102c、102d可以通过实施ieee 802.11之类的无线电技术来建立无线局域网(wlan)。在实施例中，基站114b与wtru 102c、102d可以通过实施ieee 802.15之类的无线电技术来建立无线个人局域网(wpan)。在再一个实施例中，基站114b和wtru 102c、102d可通过使用基于蜂窝的rat(例如wcdma、cdma2000、gsm、lte、lte-a、lte-a pro、nr等等)来建立微微小区或毫微微小区。如图1a所示，基站114b可以直连到因特网110。由此，基站114b不需要经由cn 106/115来接入因特网110。
58.ran 104/113可以与cn 106/115进行通信，所述cn可以是被配置成向一个或多个wtru 102a、102b、102c、102d提供语音、数据、应用和/或借助网际协议语音(voip)服务的任
何类型的网络。该数据可以具有不同的服务质量(qos)需求，例如不同的吞吐量需求、时延需求、容错需求、可靠性需求、数据吞吐量需求、以及移动性需求等等。cn 106/115可以提供呼叫控制、记账服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等等，和/或可以执行用户验证之类的高级安全功能。虽然在图1a中没有显示，然而应该了解，ran 104/113和/或cn 106/115可以直接或间接地和其他那些与ran 104/113使用相同rat或不同rat的ran进行通信。例如，除了与使用nr无线电技术的ran 104/113相连之外，cn 106/115还可以与使用gsm、umts、cdma 2000、wimax、e-utra或wifi无线电技术的别的ran(未显示)通信。
59.cn 106/115还可以充当供wtru 102a、102b、102c、102d接入pstn 108、因特网110和/或其他网络112的网关。pstn 108可以包括提供简易老式电话服务(pots)的电路交换电话网络。因特网110可以包括使用了公共通信协议(例如传输控制协议/网际协议(tcp/ip)网际协议族中的tcp、用户数据报协议(udp)和/或ip)的全球性互联计算机网络设备系统。网络112可以包括由其他服务供应商拥有和/或运营的有线或无线通信网络。例如，网络112可以包括与一个或多个ran相连的另一个cn，其中所述一个或多个ran可以与ran 104/113使用相同rat或不同rat。
60.通信系统100中一些或所有wtru 102a、102b、102c、102d可以包括多模能力(例如wtru 102a、102b、102c、102d可以包括在不同无线链路上与不同无线网络通信的多个收发信机)。例如，图1a所示的wtru 102c可被配置成与使用基于蜂窝的无线电技术的基站114a通信，以及与可以使用ieee 802无线电技术的基站114b通信。
61.图1b是示出了示例wtru 102的系统图示。如图1b所示，wtru 102可以包括处理器118、收发信机120、发射/接收元件122、扬声器/麦克风124、数字键盘126、显示器/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位系统(gps)芯片组136、和/或其他外围设备138等。应该了解的是，在保持符合实施例的同时，wtru 102还可以包括前述元件的任何子组合。
62.处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(dsp)、多个微处理器、与dsp核心关联的一个或多个微处理器、控制器、微控制器、专用集成电路(asic)、现场可编程门阵列(fpga)电路、其他任何类型的集成电路(ic)以及状态机等等。处理器118可以执行信号编码、数据处理、功率控制、输入/输出处理、和/或其他任何能使wtru102在无线环境中工作的功能。处理器118可以耦合至收发信机120，收发信机120可以耦合至发射/接收元件122。虽然图1b将处理器118和收发信机120描述成单独组件，然而应该了解，处理器118和收发信机120也可以一起集成在一电子组件或芯片中。
63.发射/接收元件122可被配置成经由空中接口116来发射或接收去往或来自基站(例如基站114a)的信号。举个例子，在一个实施例中，发射/接收元件122可以是被配置成发射和/或接收rf信号的天线。作为示例，在实施例中，发射/接收元件122可以是被配置成发射和/或接收ir、uv或可见光信号的放射器/检测器。在再一个实施例中，发射/接收元件122可被配置成发射和接收rf和光信号两者。应该了解的是，发射/接收元件122可以被配置成发射和/或接收无线信号的任何组合。
64.虽然在图1b中将发射/接收元件122描述成是单个元件，但是wtru 102可以包括任何数量的发射/接收元件122。更具体地说，wtru 102可以使用mimo技术。由此，在一个实施例中，wtru 102可以包括两个或多个通过空中接口116来发射和接收无线电信号的发射/接
收元件122(例如多个天线)。
65.收发信机120可被配置成对发射/接收元件122所要传送的信号进行调制，以及对发射/接收元件122接收的信号进行解调。如上所述，wtru 102可以具有多模能力。因此，收发信机120可以包括允许wtru 102借助多种rat(例如nr和ieee 802.11)来进行通信的多个收发信机。
66.wtru 102的处理器118可以耦合到扬声器/麦克风124、数字键盘126和/或显示器/触摸板128(例如液晶显示器(lcd)显示单元或有机发光二极管(oled)显示单元)，并且可以接收来自这些元件的用户输入数据。处理器118还可以向扬声器/麦克风124、数字键盘126和/或显示器/触摸板128输出用户数据。此外，处理器118可以从诸如不可移除存储器130和/或可移除存储器132之类的任何适当的存储器中存取信息，以及将数据存入这些存储器。不可移除存储器130可以包括随机存取存储器(ram)、只读存储器(rom)、硬盘或是其他任何类型的记忆存储设备。可移除存储器132可以包括订户身份模块(sim)卡、记忆棒、安全数字(sd)记忆卡等等。在其他实施例中，处理器118可以从那些并非实际位于wtru 102的存储器存取信息，以及将数据存入这些存储器，作为示例，此类存储器可以位于服务器或家庭计算机(未显示)。
67.处理器118可以接收来自电源134的电力，并且可被配置分发和/或控制用于wtru 102中的其他组件的电力。电源134可以是为wtru 102供电的任何适当设备。例如，电源134可以包括一个或多个干电池组(如镍镉(ni-cd)、镍锌(ni-zn)、镍氢(nimh)、锂离子(li-ion)等等)、太阳能电池以及燃料电池等等。
68.处理器118还可以耦合到gps芯片组136，该芯片组可被配置成提供与wtru 102的当前位置相关的位置信息(例如经度和纬度)。作为来自gps芯片组136的信息的补充或替换，wtru 102可以经由空中接口116接收来自基站(例如基站114a、114b)的位置信息，和/或根据从两个或多个附近基站接收的信号定时来确定其位置。应该了解的是，在保持符合实施例的同时，wtru 102可以借助任何适当的定位方法来获取位置信息。
69.处理器118可以进一步耦合到其他外围设备138，其中所述外围设备可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，外围设备138可以包括加速度计、电子指南针、卫星收发信机、数码相机(用于照片和视频)、通用串行总线(usb)端口、振动设备、电视收发信机、免提耳机、模块、调频(fm)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器、虚拟现实和/或增强现实(vr/ar)设备、以及活动跟踪器等等。外围设备138可以包括一个或多个传感器，所述传感器可以是以下的一者或多者：陀螺仪、加速度计、霍尔效应传感器、磁强计、取向传感器、邻近传感器、温度传感器、时间传感器、地理位置传感器、高度计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物测定传感器和/或湿度传感器。
70.wtru 102可以包括全双工无线电设备，其中对于该无线电设备来说，一些或所有信号(例如与用于ul(例如对传输而言)和下行链路(例如对接收而言)的特定子帧相关联)的接收或传输可以是并发和/或同时的。全双工无线电设备可以包括借助于硬件(例如扼流线圈)或是凭借处理器(例如单独的处理器(未显示)或是凭借处理器118)的信号处理来减小和/或基本消除自干扰的干扰管理单元139。在实施例中，wtru 102可以包括传送或接收一些或所有信号(例如与用于ul(例如对传输而言)或下行链路(例如对接收而言)的特定子
帧相关联)的半双工无线电设备。
71.有鉴于图1a-1b，这里描述的一个或多个或所有功能可以由一个或多个仿真设备(未示出)来执行。仿真设备可以是被配置为仿真这里描述的功能中的一个或多个或全部的一个或多个设备。例如，仿真设备可以用于测试其他设备和/或模拟网络和/或wtru功能。
72.仿真设备可被设计成在实验室环境和/或运营商网络环境中实施关于其他设备的一项或多项测试。例如，所述一个或多个仿真设备可以在被完全或部分作为有线和/或无线通信网络一部分实施和/或部署的同时执行一个或多个或所有功能，以便测试通信网络内部的其他设备。所述一个或多个仿真设备可以在被临时作为有线和/或无线通信网络的一部分实施或部署的同时执行一个或多个或所有功能。所述仿真设备可以直接耦合到别的设备以执行测试，和/或可以使用空中无线通信来执行测试。
73.一个或多个仿真设备可以在未被作为有线和/或无线通信网络一部分实施或部署的同时执行包括所有功能在内的一个或多个功能。例如，所述仿真设备可以在测试实验室和/或未被部署(例如测试)的有线和/或无线通信网络的测试场景中使用，以便实施关于一个或多个组件的测试。所述一个或多个仿真设备可以是测试设备。所述仿真设备可以使用直接的rf耦合和/或借助了rf电路(作为示例，该电路可以包括一个或多个天线)的无线通信来发射和/或接收数据。
74.稀疏分布式渲染
75.一些实施例的概述。
76.为了实时沉浸式体验实现高水平的视觉保真度(例如，在与故事片中所见的相同的水平)，可能期望实时渲染范例从光栅化转变到光线跟踪。在光线跟踪中，即使当与基于深度学习的现有技术去噪方法结合使用时，必须被计算以产生个体图像的个体光线样本的数量也是难以置信地大的。即使具有嵌入gpu的专用光线跟踪核，单独的光线跟踪对于渲染复杂场景可能是不够的。
77.单独的单个计算单元可能不足以实时地用光线跟踪来渲染复杂的场景。等待时间问题通常禁止实时渲染使用情况中的分布式渲染。内容分布带宽限制通常禁止利用完全高分辨率光场的自由视点渲染以减轻等待时间。
78.本文公开的一些实施例通过实现观看客户端与内容服务器之间的分布式光线跟踪渲染来实现视觉丰富的合成场景的逼真渲染。在一些这样的实施例中，视觉内容以点样本格式从内容服务器分发到观看客户端，其中采样密度和视点由观看客户端和可用资源控制。用于分布的点样本格式可以以在观看客户端侧实现视点调整的格式来表征视点相关的视觉特征。
79.在一些实施例中，观看客户端是具有显著的计算和图形处理能力的显示器。内容服务器和观看客户端两者都具有相同的本地3d格式的完整内容，但是单独的观看客户端的渲染性能可能不足以根据内容渲染照片般逼真的光线跟踪图像。通过利用内容服务器侧可用的处理能力来辅助渲染，组合的渲染性能足以允许使用光线跟踪来高分辨率地呈现内容。
80.图2a示出了在一些实施例中使用的组件。如图所示，内容服务器202包括合成场景204并执行稀疏渲染206。数据可经由无线连接208在观看客户端内容服务器202和观看客户端210之间传送。观看客户端210包括合成场景2014，并执行图像和本地渲染212。观看客户
端可以从用户、设备或眼睛跟踪接收输入218。由系统处理的图像在显示器216上显示。在一些实施例中，模块216和218中的一者或多者是观看客户端210的组件。
81.图2b示出了根据至少一个实施例的示例性使用会话中的主实体之间的通信序列。在该示例中，内容服务器(诸如图2a中所示的内容服务器202)执行以下动作。在220，从观看客户端(例如，观看客户端210)接收内容请求。在222处，将全合成场景(例如，全3d内容)发送到客户端。在230，从观看客户端接收视点(一个或多个)和样本分发规范。在232，基于视点(一个或多个)和请求的采样密度从内容产生稀疏采样的点样本云。在234，将数据(例如，点样本云)提交给观看客户端。在236，观察性能度量，并相应地调整采样密度。如果没有发信号通知处理的结束，则处理可以返回到上述单元232。
82.在图2a的示例中，观看客户端(例如图2a中所示的观看客户端210)执行以下动作。在220，从内容服务器请求内容。可以初始化设备和注视跟踪。在222，接收全合成场景(例如，全3d内容)。在224，设置初始视点(一个或多个)。在228，基于用户输入和设备跟踪来更新当前视点(一个或多个)。在230，将当前视点(一个或多个)和期望的采样密度传送到内容服务器。在234，从内容服务器接收稀疏点样本云。在238，更新视点(一个或多个)，并且将稀疏点样本云投影到当前视点(一个或多个)。可以基于眼睛跟踪来更新用户中央凹区域。可检测稀疏采样中由运动视差引起的间隙。可产生深度图，且可丢弃被遮挡的样本点。在240，可以执行本地渲染以填充间隙。可以基于由运动视差引起的间隙和局部采样重要性(例如，由用户输入和/或眼睛跟踪确定)来执行本地渲染。可以执行从针对中央凹区域的全部3d内容的密集采样。在242，将接收到的样本与通过本地渲染产生的样本组合。在244，对组合稀疏采样的外围和密集采样的中央凹区域的图像缓冲区进行去噪，并且发送图像以供显示。如果没有发信号通知处理的结束，则该过程可以返回到上述单元228。
83.一些示例方法使得内容服务器和观看客户端能够例如通过动态地调整处理任务的分布以满足处理和数据分布限制来平衡渲染工作。一些实施例使得能够通过在显示器与无线连接的渲染服务器之间共享渲染任务来递送实时光线跟踪的高图像质量。
84.内容服务器
85.图3示出了由内容服务器执行的示例过程300。在302，服务器等待来自客户端的内容请求。可以接收来自观看客户端的对特定内容的请求。最初，在304，内容服务器向观看客户端发送合成数据306(例如，全合成场景)。观看客户端使用用户输入和/或眼睛跟踪来确定用户视点，并将其发信号通知给内容服务器(例如，一旦内容显示已经开始)。除了客户端视点之外，客户端还用信号通知期望的样本分布，该样本分布传达了客户端希望服务器从其渲染稀疏点云的角分辨率和角扇区。
86.在从客户端接收(308)当前视点和样本分布之后，内容服务器基于客户端所请求的视点和样本分布来产生(例如渲染)点云数据。可以以稀疏可变视点格式产生点样本云，如下面详细解释的。在312，内容服务器将数据发送到观看客户端。
87.在渲染和数据传输期间，内容服务器观察(312)性能度量(诸如以所请求的格式渲染点云数据所花费的处理时间以及数据通信性能)并相应地调整样本分布。例如，如果渲染或数据传输超过被设置为可用于单个帧的预算的阈值时间，则服务器可以降低点云渲染的角度和空间分辨率。这平衡了服务器和客户端之间的工作负荷，使得服务器的呈现或服务器和客户端之间的数据传输带宽不会成为瓶颈。在316，内容服务器检查会话结束的信号。
在318，内容服务器检查信号以结束处理。
88.具有可变视点的稀疏渲染
89.在一些实施例中，服务器通过使用来自客户端请求的视点的光线跟踪并使用客户端请求的采样密度稀疏地采样场景来产生合成场景的点云表示。除了来自单个视点的空间采样密度之外，客户端可以请求使用围绕主视点的特定角分辨率和角度视点分布。这使得客户端能够更新视点以减轻由分布式渲染和数据传输引起的延迟。此外，例如在客户端是光场显示器的情况下，视点的期望的角分辨率和分布可以特定于特定客户端显示设备的能力。
90.图4示出了在一些实施例中由服务器执行的示例稀疏渲染过程。在该示例中，基于由客户端用信号通知的视点和采样密度来执行渲染处理。示例渲染过程具有目标帧速率，并且稀疏渲染过程针对具有匹配期望帧速率的持续时间的每个时间步长执行一次。在单个渲染步骤的开始，服务器将虚拟相机设置(402)到场景以匹配由客户端用信号通知的视点。使用该视点，服务器通过使用客户端所请求的采样分布来产生(404)每个样本的初始光线(从视点到内容)。采样分布请求标识要从视点采样的视场、空间分辨率的分布、视点的角度变化、和角分辨率。对于每个生成的样本点，服务器基于来自采样分布请求的信息确定(406)要采样的视点变化的数量。视点变化的数量还可以基于与采样点关联的材料定义。对于要采样的每个视点变化，内容服务器通过生成(408)从特定视点变化到样本点的第一光线来开始光线跟踪。内容服务器通过从生成的第一光线开始递归地进行光线跟踪来产生(410)针对每个视点变化的颜色值。
91.图5是稀疏渲染过程的一部分的示意图，其中确定表面样本点。该示例示出了服务器基于视点504和客户端所请求的采样密度来生成多个样本点502。所请求的采样密度由网格506的分辨率示出。
92.追踪光线到最接近的命中点确定了每条光线命中的物体和表面点。从物体和表面点，该过程确定该特定样本点的材料特性。基于材料，该过程可以确定多大的视点的角度变化导致材料外观改变。服务器可以操作以基于i)关于材料外观在视点位置上如何改变的信息和ii)客户端所请求的要覆盖的角度区域和角分辨率来确定要针对每个样本点生成的多个采样方向。
93.图6是基于样本点材料和客户请求确定要采样的视点变化的示意图。该示例性图示示出了针对每个样本点材料和所请求的角度区域和角分辨率确定采样点应当具有多少视点变化的过程的结果。在示例性图示中，球体602的大部分是具有几乎完美的朗伯反射的材料，这对入射光产生了到所有方向的漫反射。对于这种材料，由于视点变化对样本点外观没有影响，因此单个样本方向就足够了。材料上所示的较小椭圆区域604的特征在于有光泽的反射材料，对于该材料，视点变化的稀疏角分辨率足以产生良好估计，因为稀疏分布的视点方向之间的内插给出实际外观的良好近似。所示的星形表面区606以镜面反射为特征，由于视点角度对采样点外观具有很大影响，因此需要密集的角采样。总之，基于高分辨率模型表示中定义的材料特性，返回客户端的数据的角采样密度可以在由服务器确定的位置之间变化。一旦已经为样本点定义了采样点和角采样密度，则每个采样方向被认为是视点，并且使用从视点方向到样本点的光线作为初始光线来启动递归光线跟踪。
94.图7是从为每个样本点的确定的视点生成初始光线的过程的示意图。对于每条光
线，当新光线从球体的椭圆形表面区域上的样本点产生时，可以执行完全递归的光线追踪。
95.图8是使用初始光线的递归光线跟踪的示意图。一旦递归光线跟踪已经达到最大递归深度步长，或者光线的进一步反弹由于在光线传播中发生的能量吸收而对最终样本点外观具有可忽略的影响，则将光线跟踪结果求和作为样本点的最终外观。在这种情况下，从各个视点方向得到的样本点值被收集为样本点的多个值，作为观看方向和颜色值的对。除了颜色值之外，还为每个样本点定义3d位置。
96.图9示出了针对每个采样点的光线跟踪结果的收集。在该示例中，点位置与从各个视点方向得到的样本点值相关联。例如，与图6所示的椭圆区域604相关联的样本点与一数量的观看位置相关联。针对所述一数量的观看位置中的每一个观看位置收集一对观看方向和颜色值。对于与图6所示的星形区域606相关联的样本点，收集了相对较大数量的观看方向和颜色值。值得注意的是，对于该特定样本点的较大的对数量反映了样本点的较密集的角采样，其中视点角度被确定为对样本点外观具有高影响。图9中描绘的其它样本点与单对收集的观看方向和颜色对值相关联，其中单个样本方向被确定为对于漫反射表面上的视点变化对样本点外观没有显著影响的这种点是足够的。
97.然后，将收集的样本点值发送到客户端，并且服务器使用由客户端发信号通知的更新的视点和样本密度来返回执行下一渲染步骤。
98.在一些实施例中，具有可变观看方向的采样被执行为多通道(multi-pass)渲染，其中第一采样仅根据由客户端发信号通知的主视点来完成。除了到颜色缓冲区的样本的颜色值(其大小由客户发信号通知的采样密度确定)之外，离视点的距离被存储为每个样本的第四值。为此目的，可以使用浮点4缓冲区，其中采样点rgb值被存储为前三个元素，并且深度(例如采样点距离到视点的距离)被存储为通常用于α值的第四个元素。
99.图10示出了一些实施例中的第一渲染通道缓冲区。在该示例中，颜色和深度值被存储在主观视点渲染缓冲区1002中。在第一渲染通道中，除了定义样本点的颜色和深度值之外，还可以确定期望的附加观看方向的量，例如基于材料属性和样本点与视点的距离。所确定的观看方向的数量可以被存储到单独的视点样本计数缓冲区1004(例如，一矩阵，其定义对于每个初始样本要采样多少个附加可变视点)。视点样本计数缓冲区1004中存储的值可以是无符号的字符(uchar)或比特值。缓冲区大小可以被配置为等于主视点渲染缓冲区1002的大小，其由客户端定义的采样密度确定。在该第一渲染通道中，如果材料有光泽，则服务器可以基于采样点的材料来增加为了进一步跟踪而引起的光线的数量，以避免采样噪声，或者在更反射和/或透明的材料的情况下，服务器可以增加要采样的可变视点的数量。
100.基于视点样本计数矩阵，服务器确定另一缓冲区的大小，其中备选视点样本将被存储到的该另一缓冲区。缓冲区大小由样本计数矩阵中定义的样本计数的和确定，其被增加到二分辨率的次幂。备选视点的范围和备选视点的散布由客户端发信号通知给服务器。为此，客户端将要为样本点产生的角度变化确定为可变视点位置的列表。服务器通过所提供的备选视点的数量来确定附加采样的最大数量，然后根据表面反射率和透明度对每个采样点要使用的采样数量进行插值。
101.图11示出了一些实施例中的第二渲染通道缓冲区。在第二渲染通道的示例实施例中，针对在视点样本计数缓冲区1004中确定的变化的观看方向的数量来确定样本点值。样本点位置是根据存储在主视点渲染缓冲区1002中的采样点的距离以及主视点的位置来解
析的。对于每个变化的视点方向，到采样点的入射光线角度由备选视点列表确定。从备选视点到采样点生成光线，并从那里递归地向前产生。对于这些光线，确定在产生原始光线时使用的备选视点的视点标识符与迭代光线跟踪的有效载荷一起存储，使得返回值被累积到备选视点采样缓冲区1006中的对应位置。备选视点采样缓冲区的缓冲区大小由要采样的备选观看方向的总数确定(例如，存储在来自第一渲染通道的视点采样计数缓冲区1004中)。
102.一旦服务器完成了第二渲染通道，它就可以向客户端发送主视点渲染缓冲区、视点样本计数缓冲区和备选视点采样缓冲区。
103.观看客户端
104.图12示出了根据一些实施例的由观看客户端执行的示例方法1200。在1202，该方法包括从内容服务器请求期望的内容。在1204，初始化设备和注视跟踪。在1206，客户端接收合成内容1226。最初，内容服务器可将全合成场景发送到观看客户端，或替代地，观看客户端可将全合成场景发送到内容服务器。客户端和服务器还可以都具有已经本地存储的内容，或者其可以由两个实体从第三内容源检索。当客户端和服务器都具有相同的可用合成场景时，处理继续进行。
105.该方法可以采用用户输入和/或眼睛跟踪来确定视点和样本分布。一旦客户端具有合成内容，在1208处，确定场景的初始视点。在1210，可基于跟踪和/或用户输入来更新当前视点。在1212，客户端将当前视点发送到内容服务器。在1214，客户端可以另外发送期望的样本分布。样本分布请求可包括要从视点采样的视场、空间分辨率的分布、视点的角度变化以及客户端希望服务器在渲染稀疏点云时使用的角分辨率。在一些实施例中，客户端可以基于例如跟踪的或估计的观看者和/或注视运动和/或基于显示能力来确定期望的采样分布。此外，客户端图形处理性能可以是确定期望的采样水平的因素。例如，客户端可以具有对其在本地的单个渲染步骤的处理预算内可以产生的采样的密集程度的估计。因此，客户端可以从服务器请求附加渲染以达到样本密度的特定水平。
106.在1216，观看客户端接收由内容服务器渲染的点云数据。在1218，客户端可基于跟踪来更新视点。在1220，客户端将点样本数据投影到当前视点。例如，当渲染所接收的内容时，观看客户端通过使用与当前视点匹配的观看方向或者通过对来自与每个采样点一起包括的附近观看方向的颜色值进行插值来渲染点云数据。观看客户端分析从将点云数据投影到当前视点所产生的采样，并且基于此可以执行本地渲染(1224)以填补样本空间中的间隙或增加期望区域的样本密度。例如，采样密度可以通过根据眼睛跟踪的本地渲染来增加，以增加中央凹区域处的分辨率。本地渲染也可用于填充采样中的间隙，该间隙例如可能是由于用于渲染的视点和局部最新视点之间的变化而发生的脱遮挡所导致的。
107.除了产生间隙之外，从服务器使用的主视点的客户端侧的视点变化可能导致遮挡。为了避免来自从服务器接收的点采样数据的、由于运动视差而被较近的几何结构遮挡的采样，客户端还可以使用本地全合成场景来光栅化(1222)深度图，并且然后使用深度图来丢弃具有比本地产生的深度图的深度值更大的深度的点样本。
108.一旦观看客户端将内容服务器产生的样本投影到当前最新的视点并利用本地渲染增强这些样本，则可以对所得图像进行去噪(1228)以获得正被发送到显示器的最终图像。
109.在渲染期间，客户端可以观察(1230)性能度量，诸如渲染执行本地渲染、数据合
成、去噪等任务所花费的处理时间。客户端可相应地调整采样的方式。例如，如果渲染超过被设置为可用于单个帧的预算的阈值时间，则客户端可以降低用于本地渲染的采样速率，并且向服务器请求更高的采样密度。此外，如果在阈值时间下可以很好地执行渲染，则客户端可以增加本地采样密度并且减少从服务器请求的采样。这平衡了服务器和客户端之间的工作负荷。在1232处，客户端可响应于结束过程请求而结束所述过程；否则，重复该方法，例如从上述单元1210开始。
110.附加实施例
111.在一些实施例中，客户端请求内容服务器渲染具有特定样本分布的特定视点。其它实施例在客户端拉模型中操作，其中代替客户端控制服务器侧的渲染，服务器产生具有变化的点样本的若干流，并且观看客户端可选择它接收的点样本馈送中的哪一个。在这种方法中，内容服务器可以使用一些预定义的角度变化和角分辨率根据场景周围的若干不同视点渲染内容。客户端然后可以选择与当前视点最接近地匹配的渲染馈送，然后将该数据与本地渲染组合。此外，代替发送具有一些支持视点变化的若干视点，内容服务器可以发送表示来自单个视点的视图的数据作为单个馈送，然后发送具有扩展视角的数据的附加馈送作为单独的流。
112.在观看环境中为现实世界对象提供光场
113.期望基于光场显示器的解决方案具有在不同观看方向上为多个用户呈现ar体验的能力。
114.光场显示器可以服务于不同观看方向上的多个观看者，并且可以能够为不同观看方向上的观看者显示不同深度位置处的光场可视化。本文描述的示例实施例提供了用于光场显示器的观看环境中的物理现实世界对象的光场可视化。
115.提供多个视图和用于光场内容的宽fov的光场显示器可以提供fov内的显示器的所有观看方向的光场可视化。光场显示器可用于向观看者所看到的现实世界对象周围的区域提供合适的视线，并表示观看者的视线中感兴趣的对象到物理对象上方正确深度位置处的光场显示设备的指令。
116.图13是在观看者1310的光场显示器的视线上的视见体积1308内部的适当深度位置处呈现用于现实世界感兴趣对象(游戏控制器1306)的光场可视化1304的光场显示器1302的示意图。然而，视线规则限制光场内容的放置，并且要求图像位于观看者的眼睛与显示表面之间的线上。
117.现有ar/mr解决方案支持用视觉内容丰富物理环境。然而，现有解决方案可能不足以支持光场的自适应准备以丰富光场显示器的观看环境中的物理对象的使用/观看。例如，在观看环境中可能存在大量物理对象。另外，光场显示器的属性(例如，fov、深度区域、以及显示器在观看环境中的姿态)可以设置对可以提供给观看者和感兴趣的物理对象的光场可视化的限制。
118.光场显示器可以用于在观看环境中显示光场可视化，使得观看者可以在不需要眼镜的情况下看到与感兴趣的物理对象有关的光场可视化。例如，可以存在一种光场显示系统，其能够跟踪观看者并检测观看环境中的物理对象，并且针对光场显示器的观看者以正确的位置、取向和深度距离显示感兴趣的物理对象的光场可视化。
119.在一些实施例中解决的问题
120.与感兴趣的物理对象相关的光场可视化的流畅使用要求支持对感兴趣的物理对象的光场可视化的高效准备的解决方案。
121.一些实施例操作以确定光场显示器的当前和预测观看位置的视见体积。例如，观看者相对于光场显示器的观看位置以及光场显示器的深度区域和fov可能影响视见体积的边界。
122.一些实施例操作以确定与不同观看位置中的物理对象的姿态的视见体积关系。一些实施例操作以相对于感兴趣对象的姿态对视见体积进行分类，并提供以下种类的关系分类：“视见体积内的对象”、“视见体积外的对象”、“视见体积左侧的对象”、“视见体积前面的对象”和“视见体积后面的对象”。所确定的与感兴趣对象的姿态的视见体积关系随后可用于为物理对象准备完全或有限光场可视化，并在观看环境中显示所准备的光场可视化。
123.一些实施例操作以对观看环境中的物理对象的光场可视化的准备进行优先级排序。一些实施例操作以确定要为光场显示器附近的感兴趣的物理对象提供的光场可视化的优化的准备顺序。例如，可以准备针对高和中优先级感兴趣对象的初级光场可视化以及针对低优先级感兴趣对象的次级光场可视化。优先级可以取决于视见体积与感兴趣对象的姿态的关系。例如，可以首先为观看者到光场显示设备的视线中的视见体积内的高优先级物理对象准备光场可视化。在第二阶段中，可以为在视见体积之外的中优先级物理对象(例如，为在视见体积左侧或在视见体积前面的对象)准备减小的光场可视化。在第三阶段中，可以为在视见体积之外但是可能潜在地在视见体积内移动的低优先级物理对象准备次级光场可视化。例如i)观看者可以移动，和/或ii)感兴趣对象可以移动，和/或iii)光场显示器可以移动或旋转，使得有可能为感兴趣对象提供完全的或减小的光场可视化。
124.本文描述的示例方法支持在光场显示器的观看环境中对感兴趣的物理对象的光场可视化的自适应准备。在一些实施例中，首先为当前在每个观看者的眼睛与显示表面之间的线上的物理对象准备初级光场可视化。可以稍后为不要求光场内容的紧急准备和可视化的较不重要的物理对象准备次级光场可视化。下面更详细地描述示例实施例。
125.光场可视化
126.光场客户端可以使用光场可视化作为输入，并且转换显示器特定光场可视化以便为观看者显示。光场可视化可以取决于光场显示器的类型。
127.对于不提供可变焦控制的超多视图光场显示器，光场可视化可以是角视图阵列，其使得光场客户端能够针对期望的观看方向转换显示器特定的光场可视化。
128.在多焦点显示器的情况下，光场可视化可以是包含针对不同观看方向的视图堆叠的角视图堆叠阵列。在视图堆叠中，可以存在为显示器的所支持的焦平面准备的视图。光场客户端可以使用角视图堆叠阵列并且针对期望的观看方向和针对所支持的焦平面转换显示器特定的光场可视化。
129.显示描述
130.在一些实施例中，如下所述，显示描述可以用于在显示器上提供信息。显示描述可以包括以下信息中的一些或全部。可以指示显示器在不同观看方向上的空间和角分辨率。在不同观看方向上光场显示器的空间和角分辨率可能不均匀。因此，在不同观看方向字段中的显示器的空间和角分辨率可以描述显示器的每个可能观看方向的空间和角分辨率。这可能是由于视图内插或处理元件的不同分配，因此随时间而变化。
131.显示器的水平视场可以由最大水平视场以能够在光场显示器中示出的度数来指示。
132.显示器的垂直视场可以由最大垂直视场以能够在光场显示器中示出的度数来指示。
133.显示类型可以指示光场显示器的类型。类型场可以具有诸如“超多视图光场显示器”或“多焦光场显示器”的值。
134.显示器的深度范围可以由描述光场显示器在不同深度距离中显示视觉内容(例如，焦平面)的能力的值来指示。
135.显示描述还可以包括焦平面计数。焦距可以量化成少数量的固定焦平面。焦平面计数字段可以指示可能存在于光场显示器中的焦平面的数量。
136.显示描述进一步可包括焦平面描述。焦平面描述可以描述可能存在于光场显示器中的焦平面。对于每个所支持的焦平面，可以有i)相关联的焦平面深度距离，其可以定义焦平面的深度距离，以及ii)相关联的焦平面分辨率，其可以指示焦平面的分辨率。
137.对象姿态描述
138.在一些实施例中，对象姿态描述可被用于描述在观看环境中的物理现实世界对象的被跟踪或预测的姿态。对象姿态描述可以包含以下信息中的一些或全部。
139.对象标识符字段可以指示用于所检测的物理对象的唯一标识符。
140.对象类型字段可以确定检测到的物理对象的类型。例如，对象的类型可以是“游戏控制器”。
141.对象姿态字段可确定在观看环境中的检测到的物理对象相对于光场显示器的姿态的x、y和z位置和取向。
142.对象姿态字段的时间戳可确定被跟踪或预测的对象姿态的时间戳。
143.光场对象描述
144.在一些实施例中，光场对象描述可确定观看环境中的感兴趣的物理现实世界对象。光场对象描述可以包含以下信息中的一些或全部。
145.对象姿态描述字段可指示感兴趣对象的对象姿态描述。
146.视见体积与感兴趣对象的关系字段可以指示诸如“对象在视见体积内”、“对象在视见体积外”、“对象在视见体积的左侧”、“对象在视见体积的前面”或“对象在视见体积的后面”之类的关系，其确定视见体积与感兴趣对象的关系。
147.对象优先级字段可以指示光场对象的确定的优先级。该字段可以具有指示诸如“高优先级对象”、“中优先级对象”或“低优先级对象”的优先级的值。
148.相关联的光场添加模式字段可以指示诸如“对于所有观看者相同的光场内容”或“观看者特定的光场内容”之类的模式，以引导针对所检测的物理现实世界对象和针对不同观看方向上的观看者的光场内容的选择。
149.视见体积描述。
150.在一些实施例中，视见体积描述描述了可能针对光场显示器的特定观看位置进行显示的视见体积。视见体积描述可以包含以下信息中的一些或全部。
151.用于视见体积边界的字段可以描述用于视见体积的3d边界，其可以用于为光场显示器的观看者显示光场可视化。可以相对于光场显示器的姿态来确定视见体积的边界。
152.观看位置描述
153.在一些实施例中，观看位置描述确定光场显示器的特定观看位置。观看位置描述可包含以下信息中的一些或全部。
154.一字段可以用于指示观看者的眼球相对于光场显示器的位置。
155.视见体积描述字段可以描述在观看位置中观看者可用的视见体积。
156.光场对象描述字段可以描述与观看位置有关的感兴趣物理对象的光场对象描述。
157.观看者标识符字段可以定义与观看位置相关的观看者的唯一标识符。
158.环境数据
159.在一些实施例中，环境数据提供关于被跟踪的或预测的观看环境中的观看者和对象的信息。环境数据可以包含以下信息中的一些或全部：
160.数据类型的字段可以确定环境数据的类型为“被跟踪的环境数据”或“预测的环境数据”。
161.观看位置描述字段可定义用于被跟踪或预测的观看位置描述。
162.对象姿态描述字段可定义感兴趣对象的被跟踪或预测姿态的对象姿态描述。
163.光场可视化描述
164.光场可视化描述描述了准备覆盖观看环境中的所确定的观看位置的光场可视化。光场可视化描述可以包含以下信息中的一些或全部：
165.覆盖的观看位置字段可以指示针对提供有光场可视化的观看位置的观看位置描述集合。例如，可以提供观看者的跟踪位置的观看位置描述。另外，可以提供针对特定观看位置的观看位置描述，以覆盖水平和垂直方向上的观看方向的范围(例如，10度范围)，其中针对所述观看方向提供了光场可视化。结果，对于当前观看位置以及对于水平和垂直方向上的特定观看区域，光场可视化是可见的。
166.回放时间字段可以描述光场可视化的回放时间。结果，可以确定可直接显示的光场可视化以及可在将来的确定时间显示的光场可视化的光场可视化描述。
[0167]“是高速缓存中的可视化”字段可以具有指示“是”或“否”的值。值“是”可以指示为所确定的观看位置准备了光场可视化并且将其存储到内容高速缓存。
[0168]“是高速缓存中的光场资产”字段可以具有指示“是”或“否”的值。值“是”可以指示要在准备光场可视化时使用的光场资产(例如3d模型)在内容高速缓存中可用。
[0169]
光场准备模型
[0170]
在一些实施例中，光场准备模型用于描述增强对观看室中的物理现实世界对象的初级和次级光场可视化的准备的模型。光场准备模型可以包含以下信息中的一些或全部：
[0171]
用于初级光场可视化的光场可视化描述可以确定在光场显示器的当前观看位置中使用的光场可视化的光场可视化描述。
[0172]
用于次级光场可视化的光场可视化描述可以确定在光场显示器的预测观看环境中使用的光场可视化的光场可视化描述。
[0173]
解决方案环境
[0174]
图14是用于观看环境中的物理对象的初级和次级光场可视化的示意图。在该示例中，观看者1404具有到光场显示器1402的视线。体积1406表示用于低优先级物理对象的体积，其中可以将该体积中的对象的可视化确定为不需要的。体积1408表示用于中优先级物
理对象的体积，其中可以为对象准备有限光场可视化。体积1410表示用于高优先级物理对象的体积，其中可以为对象准备全光场可视化。对象4表示移动对象1414。如果移动对象1414具有在光场显示器的fov内的预测姿态(并且因此具有观看者的更高的预测兴趣)，则可以准备有限的或完整的光场可视化。
[0175]
图15是在一些实施例中使用的功能组件的示意图。如图所示，示例组件包括内容服务器1530和光场客户端1502。内容服务器可以包括光场内容服务1532。光场内容服务能够为光场客户端递送光场资产。光场资产可以例如是使得能够针对感兴趣对象渲染完全或有限的光场可视化的3d模型。
[0176]
示例实施例可以使用光场客户端，例如光场客户端1502。在一些实施例中，光场客户端具有用于从内容服务器向光场客户端传递光场内容的快速因特网连接。光场客户端可以包括传感器，诸如能够提供观看室的rgb-d视频馈送的rgb-d相机1522。光场客户端可以包括能够为显示器的观看者呈现光场可视化的光场显示模块1524。
[0177]
光场客户端的附加模块可以包括环境跟踪模块1504。环境跟踪模块可提供能够产生观看环境的跟踪数据的一个或多个服务。服务可以包括以下中的一些或全部。
[0178]
眼睛跟踪模块1506能够在观看室中使用rgb-d相机的视频馈送来跟踪光场显示器的观看者的眼球的位置。眼睛跟踪可以基于支持来自远程rgb和rgb-d相机的注视估计的解决方案，诸如funes mora等人的“eyediap：一种用于开发和评估来自rgb和rgb-d相机的注视估计算法的数据库(eyediap：a database for the development and evaluation of gaze estimation algorithms from rgb and rgb-d cameras)”，在以下中：关于眼睛跟踪研究和应用的研讨会，acm，2014.p.255-258。
[0179]
对象跟踪1508是能够使用从观看室捕捉的rgb-d馈送并检测和跟踪室内的物理对象的服务。物理对象的检测可基于现有的室内场景分析方法，该方法能够解释来自rgb-d图像的室内场景的主表面、对象和支持关系。在一些实施例中使用的技术的示例在以下中描述：silberman等人的“室内分割和从rgbd图像的支持推断(indoor segmentation and support inference from rgbd images)”，在以下中：欧洲计算机图像会议，斯普林格，柏林，海德尔堡，2012，p.746-760。物理对象的跟踪可基于现有视觉对象跟踪方法和可用rgb-d相机传感器。在一些实施例中使用的技术包括在yilmaz等人的“对象跟踪：调查”，acm计算调查(csur)，2006，38.4：13。
[0180]
对象姿态预测1510是能够在未来的特定时间为感兴趣的物理对象产生预测的姿态值(例如，3d位置和取向)的服务。感兴趣的物理对象的预测姿态值的产生可基于rgb-d图像数据、所产生的对象跟踪数据、以及诸如基于卡尔曼滤波的对象运动预测模型和视觉对象运动预测解决方案等现有对象运动预测解决方案。在一些实施例中使用的运动预测技术包括在以下中描述的那些：zhang等人的“扩展自适应卡尔曼滤波对象运动预测模型(an extended self-adaptive kalman filtering object motion prediction model)”，在以下中：智能信息隐藏和多媒体信号处理，2008，iihmsp
′
08国际会议，ieee，2008，p.421-424，以及gennadiy等人的“跟踪对象的方法和支持该方法的电子设备(method of tracking object and electronic device supporting the same)”，美国专利申请us20140233800a1。
[0181]
观看位置预测1512是能够产生对观看者的观看位置的预测并确定对预测的观看
位置描述的服务。观看位置的预测可基于rgb-d图像数据、基于现有视觉头部跟踪解决方案以及基于现有预测用户姿态和头部跟踪解决方案。在一些实施例中可以采用的解决方案包括在以下中描述的：deisinger&kunz，“双指数平滑：基于卡尔曼滤波器的预测跟踪的替代方案(double exponential smoothing：an alternative to kalman filter-based predictive tracking)”；kiruluta等人，“使用卡尔曼滤波器的预测头部运动跟踪(predictive head movement tracking using a kalman filter)”，ieee系统、人与控制论汇刊b辑(控制论)，1997，27.2：326-331；以及la cascia等人，“在变化的照明下快速、可靠的头部跟踪：基于纹理映射3d模型的注册的方法(fast，reliable head tracking under varying illumination：an approach based on registration of texture-mapped 3d models)”，ieee模式分析与机器智能汇刊，2000，22.4：322-336。
[0182]
光场客户端的附加模块可以包括以下中的一些或全部。光场模型服务1514能够使用被跟踪或预测的环境数据并确定要在光场显示器的观看环境中使用的光场的光场准备模型。光场渲染1516是能够产生针对感兴趣对象的显示器特定光场可视化的软件模块。光场播放器1518是能够从服务器侧获取光场内容并且在光场显示器中呈现光场可视化表示的软件模块。内容高速缓存1520是能够存储光场资产和光场可视化的软件模块。例如，可以获取并缓存诸如3d资产的光场资产以使得能够呈现针对感兴趣的物理对象的光场可视化。另外，为感兴趣的物理对象准备的光场可视化可以被存储到内容高速缓存。
[0183]
示例方法的概述
[0184]
在一些实施例中，支持光场显示器的观看环境中的感兴趣的物理对象的光场可视化的自适应准备的示例方法包括1)环境跟踪，2)观看环境的光场可视化的准备和输出，以及3)预测的观看环境的光场可视化的准备。这些过程将在下面进一步详细描述。
[0185]
环境跟踪可包括跟踪物理对象、跟踪观看者、确定光场可视化描述、以及确定用于被跟踪的观看环境的光场准备模型。
[0186]
用于观看环境的光场可视化的准备和输出可以包括递送用于初级光场可视化的光场资产、准备用于超多视图光场显示器或多焦点光场显示器的初级光场可视化、以及光场的显示。
[0187]
针对预测的观看环境的光场可视化的准备可以包括观看位置的预测、感兴趣的物理对象的姿态的预测、针对预测的观看环境的光场准备模型的确定、次级光场资产的递送、次级光场可视化的准备、以及光场的更新。
[0188]
诸如前述的方法将在下面更详细地描述。示例方法能够经由光场显示器为感兴趣的物理对象准备光场可视化，而不需要用于位于观看者的眼睛与显示表面之间的线上的位置的耳机，从而满足视线规则。
[0189]
环境跟踪
[0190]
图16-17描绘了支持在光场显示器的观看环境中对感兴趣的物理对象的光场可视化的自适应准备的示例方法。在以下小节中更详细地描述该方法。
[0191]
在图16-17所示的方法中，通过执行以下小节中描述的过程，环境跟踪被用于产生环境数据并确定用于观看环境的光场准备模型。
[0192]
物理对象的跟踪。
[0193]
现在参考图16，环境跟踪服务1602可使用对象跟踪服务来跟踪感兴趣的物理对象
1608。对象跟踪服务可使用rgb-d数据，检测观看环境中的物理对象，确定物理对象的位置和尺寸(宽度、高度、深度)，并产生所检测的物理对象的对象姿态描述。
[0194]
观看者的跟踪。
[0195]
环境跟踪服务1602可执行观看者的跟踪1610。观看环境可以是观看者可以自由移动的房间(例如，家中的起居室)。环境跟踪服务可以使用眼睛跟踪服务，该眼睛跟踪服务可以检测观看者的眼球相对于光场显示器的位置以及观看者在不同时间点的观看方向，并且产生针对被跟踪的观看者的观看位置描述。
[0196]
环境跟踪服务还可以在期望为检测到的物理对象提供观看者特定的光场内容的情况下识别观看者。
[0197]
光场可视化描述的确定。
[0198]
环境跟踪服务1602递送环境数据更新消息1612，该消息包含用于光场播放器1604的环境数据，其请求光场模型服务确定用于观看环境的光场可视化描述。
[0199]
在1614，光场模型服务可以使用环境数据并且确定针对每个检测到的观看位置的光场可视化描述。
[0200]
可以准备光场可视化以覆盖观看者的当前观看位置，并且还覆盖水平和垂直方向上的特定观看区域。光场模型服务可以确定对光场可视化描述的观看位置描述。例如，光场模型服务可以使用显示描述和观看者的观看位置描述，并且确定观看位置的观看位置描述集合以覆盖水平和垂直方向上的观看方向的范围(例如，10度范围)，其中应当为该观看方向准备光场可视化。可以基于客户端的可用处理能力和期望的响应时间来选择所覆盖的观看范围。例如，光场模型服务可以限制覆盖的观看范围以便减少与光场可视化的准备相关的等待时间。
[0201]
光场模型服务然后可以为每个所产生的观看位置描述确定视见体积描述。
[0202]
光场模型服务然后可以使用环境数据的对象姿态描述并且针对每个对象姿态描述产生光场对象描述，并且最后将所确定的光场对象描述插入到观看位置描述。
[0203]
在确定光场对象描述时，光场模型服务可以首先将对象姿态描述插入到光场对象描述中。
[0204]
光场模型服务可使用物对象态描述和观看位置描述的视见体积描述，并确定视见体积与物理对象的关系。例如，视见体积与观看者的视见体积的关系可以被确定为“视见体积内的对象”、“视见体积外的对象”、“视见体积左侧的对象”、“视见体积前面的对象”或“视见体积后面的对象”。
[0205]
光场模型服务然后可以确定每个光场对象描述的对象优先级。对象优先级值可以取决于视见体积与观看者的视见体积的关系。例如，对象优先级值可以是用于在视见体积内的对象的“高优先级对象”、用于在视见体积附近的对象(例如，用于在视见体积左侧的物理对象)的“中优先级对象”、以及用于在视见体积外并且具有到视见体积的长距离的对象的“低优先级对象”。
[0206]
对象优先级值可以用于对于观看者不感兴趣的对象的“不需要光场可视化”。例如，观看者偏好可以指示针对所有对象类型提供光场内容，或者然后观看者偏好可以确定观看者感兴趣的对象类型的列表并且使用光场可视化来丰富观看室中的物理对象的使用/观看。
[0207]
光场模型服务可以例如使用观看者的隐私偏好并且确定光场对象描述中的关联光场添加模式以具有值“对于所有观看者相同的光场内容”或者“观看者特定的光场内容”。
[0208]
确定用于被跟踪的观看环境的光场准备模型。
[0209]
在1616，光场准备模型被确定。光场播放器递送针对光场模型服务的光场可视化描述，光场模型服务将光场可视化描述插入到光场准备模型。光场模型服务为光场播放器递送光场准备模型。
[0210]
用于观看环境的光场可视化的准备和输出。
[0211]
初级光场可视化的准备可以如以下小节中所述来执行。
[0212]
用于初级光场可视化的光场资产的递送。
[0213]
在1618，光场播放器可以递送包含针对光场内容服务的光场准备模型的初级光场资产请求，所述光场内容服务现在可以使用所述模型，并且在1620，准备诸如3d资产的光场资产以使得能够在客户端侧渲染感兴趣物理对象的光场可视化。另外，基于为物理对象确定的关联光场添加模式，可以递送光场资产以使得能够准备为物理现实世界感兴趣对象的所有观看者提供的光场可视化或者准备针对所标识的观看者和针对现实世界感兴趣对象的观看者特定光场可视化。
[0214]
在1622，光场内容服务可以在用于光场播放器的初级光场资产响应中递送光场资产。
[0215]
初级光场可视化的准备。
[0216]
在1624，初级光场可视化被准备。光场可视化描述确定光场可视化中要覆盖的观看位置。光场播放器可以使用光场准备模型并且请求光场渲染服务在光场可视化在内容高速缓存中还不可用的情况下产生针对所确定的观看位置的期望光场可视化。
[0217]
将所准备的光场可视化存储到内容高速缓存，从而为每个光场可视化提供光场可视化描述。结果，可以在以后获取特定观看者和观看者的观看位置的光场可视化。
[0218]
在准备光场可视化之后，光场渲染服务可以更新光场准备模型中的光场可视化描述中的“在高速缓存中是可视化(is visualization in cache)”参数。结果，更新的光场准备模型操作以确定已经存在于内容高速缓存中的光场可视化并且提供用于稍后准备的光场可视化的光场可视化描述。
[0219]
用于超多视图光场显示器的光场可视化准备。
[0220]
在一些实施例中，光场渲染服务可以使用光场准备模型和诸如3d模型之类的光场资产中的光场可视化描述来为超多视图光场显示器准备期望的光场可视化。在超多视图光场显示器的情况下，光场可视化可以是提供针对不同观看方向的视图的角视图阵列。
[0221]
在光场可视化的准备中，光场渲染服务可以使用光场准备模型并且确定光场可视化中的视觉内容的位置，使得在所确定的观看位置中针对感兴趣的物理对象的在正确位置和方向上显示内容。
[0222]
光场可视化的类型可以取决于视见体积与感兴趣对象的关系。例如，可以为在观看者到光场显示设备的视线中的视见体积内的物理对象准备完整的光场可视化。在视见体积和对象之间存在短距离的情况下，可以为视见体积之外的对象准备有限的光场可视化。例如，当对象在视见体积的右侧时，可以在对象的左侧提供有限的光场可视化。
[0223]
用于多焦点光场显示器的光场可视化的准备。
[0224]
在多焦点光场显示器的情况下，光场可视化可以是提供针对不同观看方向以及针对不同焦平面的视图的角视图堆叠阵列。光场渲染服务可以使用光场准备模型中的光场可视化描述和诸如3d模型之类的光场资产，并且针对不同观看者、针对不同观看方向以及还针对多焦点光场显示器的不同焦平面来准备期望的光场可视化。在光场可视化的准备中，光场渲染服务可以使用光场准备模型和环境描述来确定光场可视化中的视觉内容的位置，使得内容在光场显示器中在正确方向和深度位置上显示。
[0225]
光场的显示。
[0226]
在1626，光场播放器从所准备的光场可视化图像转换显示器特定的光场可视化图像，并且为观看者显示所产生的光场。
[0227]
针对预测的观看环境的光场可视化的准备。
[0228]
现在参考图17，针对预测的观看环境的光场可视化的准备步骤将首先产生对观看者的观看位置和感兴趣的物理对象的姿态的预测。然后，为预测的观看环境准备光场可视化描述，并且最后，将光场可视化准备到内容高速缓存以便稍后为光场显示器的观看者显示。
[0229]
针对预测的观看环境的光场可视化的准备步骤包括如以下小节中所述的方法。
[0230]
观看位置的预测
[0231]
在1630处，光场播放器请求观看位置预测服务产生针对预测的观看者的观看位置的观看位置描述。
[0232]
观看位置预测服务可使用预测用户姿态和头部跟踪解决方案来首先确定每一观看者在将来的特定时间的预测头部位置。另外，可以确定在光场可视化中要覆盖的观看方向的范围。因此，观看位置的预测可针对每一观看者产生一预测观看位置集合以覆盖光场显示器的不同观看方向。
[0233]
在产生观看位置描述时，可为每个预测的观看方向确定视见体积描述。显示器描述可以确定光场显示器的水平视场、垂直视场和深度范围。观看位置预测服务可使用预测的头部位置和光场显示器的水平视场、垂直视场和深度范围，并确定预测的头部位置的视见体积描述。观看位置预测服务将最终为光场播放器传递所产生的观看位置描述。
[0234]
感兴趣的物理对象的姿态的预测。
[0235]
在1632，光场播放器请求对象姿态预测服务产生感兴趣的物理对象的预测姿态值。对象姿态预测服务可以产生针对物理现实世界对象的预测姿态值的对象姿态描述，并且最终为光场播放器递送所产生的对象姿态描述。
[0236]
用于预测的观看环境的光场准备模型的确定。
[0237]
在1634，光场播放器递送光场准备模型请求，其包含用于光场模型服务的预测环境数据。现在，可以基于在确定光场可视化描述步骤中执行的动作并且基于提供针对观看环境的预测的观看位置描述和对象姿态描述的预测的环境数据来确定针对预测的观看环境的光场可视化描述。
[0238]
光场模型服务可以使用预测的观看位置描述和预测的对象姿态描述来向光场准备模型确定针对次级光场可视化的光场可视化描述，并且可以最终为光场播放器递送更新的光场准备模型。
[0239]
次级光场资产的递送
[0240]
在次级光场资产的递送中，光场播放器可以使用光场准备模型中的感兴趣物理对象的预测观看位置描述和预测对象姿态描述来确定在未来的特定时间调用光场可视化的那些感兴趣物理对象。
[0241]
在1636，光场播放器然后可以递送包含用于现在可以使用模型的光场内容服务的光场准备模型的次级光场资产请求，并且在1638，准备在内容高速缓存中尚不可用的光场资产并且使得能够针对预测的观看环境渲染光场可视化。在1638，光场内容服务在次级光场资产响应中为光场播放器递送光场资产，所述次级光场资产响应可以将光场资产存储到内容高速缓存。
[0242]
次级光场可视化的准备
[0243]
在1642处，光场播放器可以请求光场渲染服务准备针对预测的观看环境的次级光场可视化。次级光场可视化的准备可以基于：在为多视图或多焦点光场显示步骤准备初级光场可视化中执行的类似动作，针对在光场准备模型中为次级光场可视化提供的光场可视化描述，以及针对在内容高速缓存中可用的光场资产。
[0244]
光场渲染服务可以将所准备的光场可视化存储到内容高速缓存，使得在高速缓存中为每个光场可视化提供光场可视化描述。
[0245]
针对光场的更新
[0246]
光场的更新1646可以基于环境跟踪服务，该环境跟踪服务可以执行连续的环境跟踪并且递送包含针对光场播放器的更新环境数据的环境数据更新消息。
[0247]
光场播放器可以使用环境数据(例如，来自环境数据更新消息1644)并且可以激活光场的更新。举例来说，可在感兴趣物理对象的姿态已改变时更新光场。可以准备用于改变的观看环境的光场准备模型。此后，可以为新的光场可视化描述准备光场可视化。在准备中，可以首先执行对内容高速缓存的查找以确定对于高速缓存中的新光场描述是否已经存在合适的光场可视化。例如，期望为观看者的观看位置和感兴趣的物理对象的姿态准备高速缓存的光场可视化。如果在内容高速缓存中没有合适的光场可视化，则可以取得期望的光场资产以进行高速缓存，并且可以准备新的光场可视化。
[0248]
一旦光场可视化可用于改变的观看环境，光场播放器就可以从准备的光场可视化转换显示器特定的光场可视化，并且为观看者显示更新的光场。
[0249]
用于实现所述过程的模块的位置可以变化；例如，光场可视化的渲染可以在服务器侧或客户端侧或两者上执行。
[0250]
其他实施例
[0251]
图18是根据一些实施例的示例方法1800的流程图。示例方法包括从服务器接收(1802)合成3d场景的多个点云样本。点云样本可包括(i)点位置、(ii)至少一个观看方向、以及(iii)针对所述观看方向中的每个观看方向的颜色信息。方法1800进一步包括基于视点位置，从点云样本产生(1804)第一渲染的颜色样本集合。所述方法进一步包括基于视点位置，渲染(1806)合成3d场景的本地存储的副本的至少一部分以产生第二渲染的颜色样本集合。该方法进一步包括组合(1808)第一渲染的颜色样本集合和第二渲染的颜色样本集合以生成组合的颜色样本集合。所述方法进一步包括显示(1810)组合的颜色样本集合。
[0252]
根据一些实施例的第一示例方法包括：从服务器接收合成3d场景的多个点云样本，所述点云样本中的每一者包括(i)点位置、(ii)至少一个观看方向、以及(iii)针对所述
观看方向中的每个观看方向的颜色信息；以及基于点云样本和合成3d场景的本地存储的副本来渲染合成3d场景。
[0253]
在一些实施例中，所述方法进一步包括从服务器接收合成3d场景，并且将所接收的3d场景存储为本地存储的副本。
[0254]
在一些实施例中，所述方法进一步包括向服务器发送指示视点位置的信息。
[0255]
在一些实施例中，所述方法进一步包括向服务器发送指示请求的采样密度的信息。
[0256]
在一些实施例中，合成场景包括网格信息和表面纹理信息。
[0257]
根据一些实施例的第二示例方法包括：从服务器接收合成3d场景的多个点云样本，所述点云样本中的每一者包括(i)点位置、(ii)至少一个观看方向以及(iii)针对所述观看方向中的每个观看方向的颜色信息；基于视点位置，从所述点云样本产生第一渲染的颜色样本集合；基于所述视点位置，渲染所述合成3d场景的本地存储的副本的至少一部分以产生第二渲染的颜色样本集合；组合第一渲染的颜色样本集合和第二渲染的颜色样本集合以生成组合的颜色样本集合；以及显示组合的颜色样本集合。
[0258]
在一些实施例中，第二示例方法进一步包括从服务器接收合成3d场景，并且将所接收的3d场景存储为本地存储的副本。
[0259]
在一些实施例中，第二示例方法进一步包括向服务器发送指示视点位置的信息。
[0260]
在一些实施例中，第二示例方法进一步包括向服务器发送指示请求的采样密度的信息。
[0261]
在第二示例方法的一些实施例中，合成场景包括网格信息和表面纹理信息。
[0262]
根据一些实施例的第三示例方法包括，在服务器处：生成合成3d场景的多个点云样本，所述点云样本中的每个点云样本具有(i)点位置、(ii)至少一个观看方向、以及(iii)针对所述观看方向中的每个观看方向的颜色信息，其中每个点云样本是通过包括以下步骤的方法生成的：在3d场景中的表面上选择点云位置；以及对于至少一个观看方向中的每一个观看方向，在3d场景中执行光线跟踪以确定相应观看方向的颜色信息；将所述点云样本发送给客户端。
[0263]
在第三示例方法的一些实施例中，基于来自客户端的信令来选择一数量的点云样本。
[0264]
在第三示例方法的一些实施例中，基于来自客户端的信令选择至少一个观看方向。
[0265]
在第三示例方法的一些实施例中，点云样本的观看方向的数量至少部分地基于对应表面处的反射的漫射水平，其中观看方向的数量被减小以增加漫射。
[0266]
在第三示例方法的一些实施例中，合成场景包括网格信息和表面纹理信息。
[0267]
根据一些实施例，一种用于客户端和服务器之间的自适应分布式光线跟踪渲染复杂度的示例方法包括，在客户端处：从服务器请求合成3d内容；基于用户输入和跟踪来更新视点；确定要从所述服务器请求的所述客户端处的渲染辅助的级别；将当前视点、采样密度、角分辨率和角分布用信号通知给所述服务器；在所述客户端处从所述服务器接收稀疏采样的定向点云数据；在客户端将稀疏定向点云样本渲染到当前视点；产生本地渲染的采样以填充间隙，并对中央凹区域进行密集采样；对图像缓冲区进行去噪，所述图像缓冲区组
合由所述客户端和所述服务器产生的样本；显示所述图像缓冲区。
[0268]
在示例方法的一些实施例中，视图被跟踪，并且在选择期望的采样密度、视点、角分辨率和角度视点分布时使用注视方向。
[0269]
在示例方法的一些实施例中，服务器观察3d场景表面属性并相应地调整采样。
[0270]
在示例方法的一些实施例中，客户端向服务器发送渲染性能的概要。
[0271]
在示例方法的一些实施例中，服务器观察性能度量并且相应地调整采样密度。
[0272]
在示例方法的一些实施例中，客户端检测稀疏采样中由运动视差引起的间隙和遮挡以及缺失样本中的填充。
[0273]
根据一些实施例的示例光场显示方法包括：确定至少一个对象的位置，所述至少一个对象接近光场显示器；确定至少一个观看者的位置；至少部分地基于所述对象、所述观看者、和所述光场显示器的视见体积的相对位置来选择针对所述对象的增强；以及显示所选择的增强。
[0274]
在一些实施例中，一种系统包括处理器和存储指令的非暂时性计算机可读存储介质，所述指令可操作用于执行上述方法中的任何方法。
[0275]
注意，所描述的一个或多个实施例的各种硬件元件被称为“模块”，其施行(即，执行、实施等)在此结合相应模块描述的各种功能。如本文所使用的，模块包括相关领域的技术人员认为适合于给定实现的硬件(例如，一个或多个处理器、一个或多个微处理器、一个或多个微控制器、一个或多个微芯片、一个或多个专用集成电路(asic)、一个或多个现场可编程门阵列(fpga)、一个或多个存储器设备)。每个所描述的模块还可以包括可执行用于执行被描述为由相应模块执行的一个或多个功能的指令，并且注意，这些指令可以采取硬件(即，硬连线的)指令、固件指令、软件指令等的形式或包括它们，并且可以存储在任何适当的非暂时性计算机可读介质或媒介中，诸如通常被称为ram、rom等。
[0276]
尽管以上以特定的组合描述了特征和元件，但是本领域的普通技术人员将理解，每个特征或元件可以单独使用或与其它特征和元件任意组合使用。另外，本文描述的方法可以在计算机程序、软件或固件中实现，所述计算机程序、软件或固件并入计算机可读介质中以由计算机或处理器执行。计算机可读存储介质的示例包括但不限于，只读存储器(rom)、随机存取存储器(ram)、寄存器、高速缓冲存储器、半导体存储器设备、诸如内部硬盘和可移动盘的磁介质、磁光介质、以及诸如cd-rom盘和数字多功能盘(dvd)的光介质。与软件相关联的处理器可以用于实现在wtru、ue、终端、基站、rnc或任何主机计算机中使用的射频收发信机。