光场显示系统的制作方法

光场显示系统
1.相关申请的交叉引用
2.本技术涉及国际申请第pct/us2017/042275号、第pct/us2017/042276、第pct/us2017/042418号、第pct/us2017/042452号、第pct/us2017/042462号、第pct/us2017/042466号、第pct/us2017/042467号、第pct/us2017/042468号、第pct/us2017/042469号、第pct/us2017/042470号和第pct/us2017/042679号，所有所述国际申请通过引用以其全文并入本文。


背景技术：

3.本公开涉及一种全息环境，且更确切地说涉及环境内实施的光场显示器。
4.已经提出各种技术来扩增现实和模拟虚拟环境。这些技术常常包含在头戴式设备内部的电子显示器上显示立体图像以模拟深度的错觉，并且头部和眼睛跟踪传感器可用于估计虚拟环境的什么部分或虚拟环境内的什么对象正在被观看者观看。然而，这些常规方法需要佩戴某种外部装置(例如，3-d眼镜、近眼显示器、头戴式显示器等)的显示器(例如，立体、虚拟现实、扩增现实或混合现实)以观看内容。在虚拟现实中，佩戴外部装置会使观看者完全脱离现实，这在模拟某些活动和运动时可能很危险(例如，虚拟网球比赛可能需要一个实际网球场大小的区域才能进行比赛)，因为观看者可能会在不知不觉中碰到环境中的其它对象或人。


技术实现要素：

5.公开一种用于在娱乐上下文内显示全息内容的光场(lf)显示系统。lf显示系统包含多个lf显示器，所述多个lf显示器在一个实施例中平铺以在环境内形成lf显示器的阵列。lf显示系统可以使用人工智能(ai)和机器学习(ml)模型来定制观看者的体验，这些模型经由各种传感器(例如，相机、麦克风、lf显示传感器等)跟踪和响应于每个观看者在环境中的运动和/或请求，以及他们的行为(例如，肢体语言、面部表情、语调等)。相应地，结果是为每个观看者定制的娱乐环境，包含在所述环境内吸引观看者的ai全息表演者。
6.在一个实施例中，lf显示系统获得观看者对于全息内容的偏好。此可包含获得为观看者存储的信息(如果他们是回头客)，或者系统可以从观看者接收从例如目录对一个或多个全息表演者的选择。全息表演者可以是从不同远程位置将实况全息内容流式传输到lf显示系统的实况模型、真人的ai表示(例如，模特、女演员、男演员等)，或计算机生成的模型(例如，动漫卡通等)。
7.响应于观看者的偏好，lf显示系统向观看者呈现包含全息表演者的全息内容，其是呈现在环境的全息对象体中的位置处的图像，观看者可以看到，就好像全息表演者是一个真实的人站在房间里和他们交谈。
8.在呈现全息内容期间，lf显示系统的跟踪系统为观看者获得感觉信息，以不仅在空间上相对于观看者而且在行为上引导ai。感觉信息因此包含在标识观看者的上下文特性的同时观看者与全息表演者及环境中的其它对象的交互，所述上下文特性例如包含面部表
情的肢体语言(例如，可能表示快乐、兴奋、失望、无聊等)、语音分析和辨识、观看者可以明确表达的其它一般反馈(例如，全息表演者执行动作的命令等)等等。
9.相应地，lf显示系统响应于由跟踪系统获得的观看者的感觉信息来调整全息内容的呈现，例如全息表演者的行为。这可能是全息表演者响应于观看者评论的微笑或大笑这种细微调整，或者包含全息表演者响应于观看者的请求执行动作的较大规模的行为调整。因此，在一个实施例中，由全息表演者执行的响应是使用基于来自观看者的交互的ai模型生成的。因此，观看者无需佩戴外部装置即可看到全息表演者并与之交互。lf显示系统以一种对观看者可见的方式呈现全息表演者，其方式与现实生活中的人对他们可见的方式大致相同。
10.因此，本公开描述了全息显示器、若干不同传感器(例如，触觉、音频、视觉等)、网络以及生成全息产品的ai和ml模型的组合，所述全息产品在各种实施例中用虚拟代替和/或扩增实体，无需特殊的护目镜、眼镜或头戴式配件。
附图说明
11.图1是根据一个或多个实施例的呈现全息对象的光场显示模块的图。
12.图2a是根据一个或多个实施例的光场显示模块的一部分的横截面。
13.图2b是根据一个或多个实施例的光场显示模块的一部分的横截面。
14.图3a是根据一个或多个实施例的光场显示模块的透视图。
15.图3b是根据一个或多个实施例的包含交织的能量中继装置的光场显示模块的横截面视图。
16.图4a是根据一个或多个实施例的以二维方式平铺以形成单面无缝表面环境的光场显示系统的一部分的透视图。
17.图4b是根据一个或多个实施例的在多面无缝表面环境中的光场显示系统的一部分的透视图。
18.图4c是根据一个或多个实施例的具有处于翼状配置的聚合表面的光场显示系统的俯视图。
19.图4d是根据一个或多个实施例的具有处于倾斜配置的聚合表面的光场显示系统的侧视图。
20.图4e是根据一个或多个实施例的在房间的前壁上具有聚合表面的光场显示系统的俯视图。
21.图5a是根据一个或多个实施例的光场显示系统的框图。
22.图5b是根据一个或多个实施例并入有用于模拟的光场显示系统的光场环境的框图。
23.图6是根据一个或多个实施例向观看者呈现全息表演者的娱乐环境中的lf显示系统的图示。
24.图7a是根据一个或多个实施例向观看者呈现全息内容的lf显示系统的实施例的第一图示，所述lf显示系统包含与全息内容协同操作的感觉模拟装置。
25.图7b是根据一个或多个实施例的图7a中描述的lf显示系统的实施例的第二图示，其中已用全息内容扩增感觉模拟装置。
26.图8是根据一个或多个实施例用于向观看者显示全息内容的流程图。
具体实施方式
27.概述
28.在娱乐环境中实施光场(lf)显示系统以向用户呈现全息内容，例如全息表演者或模型。lf显示系统包括lf显示组件，所述lf显示组合件被配置成呈现包含一个或多个全息对象的全息内容，所述全息对象在娱乐环境的观看体中将对一个或多个观看者可见。全息模型还可以用其它感觉刺激(例如，触觉、音频或嗅觉)扩增。举例来说，lf显示系统中的超声发射器可以发射超声压力波，所述超声压力波为环境中的一些或全部全息表演者或其它全息对象提供触觉表面。全息内容可以包含额外视觉内容(即，2d或3d视觉内容)。协调发射器以确保实现一致性体验是多发射器实施方案中的系统的一部分(即，全息对象利用产生自体触觉投射系统的随附的匹配触觉表面投射，在任何给定时间点提供多重感觉刺激)。lf显示组合件可以包含用于生成全息内容的一个或多个lf显示模块。
29.lf显示组合件可以形成单面或多面无缝表面环境。举例来说，lf显示组合件可形成包围娱乐环境的外壳的多面无缝表面环境。lf显示系统的观看者可以进入可以被lf显示系统生成的全息内容部分或完全转换的外壳。全息内容可以增强或加强外壳中存在的物理对象(例如，椅子或长凳)。此外，观看者无需护目镜装置和/或头戴式设备就可以自由地注视外壳周围以观看全息内容。此外，娱乐环境外壳可具有被lf显示组合件的lf显示模块覆盖的表面。例如，在一些情况下，壁、天花板和地板中的一些或全部都被lf显示模块覆盖。
30.lf显示系统可经由跟踪系统和/或感觉反馈组合件接收输入。基于输入，lf显示系统可以调整全息内容以及向相关组件提供反馈。此外，lf显示系统可并入有用于标识每一观看者的观看者简档形成系统，以便向每一观看者提供个性化内容。观看者简档形成系统可以进一步记录关于观看者对娱乐环境的访问的其它信息，所述其它信息可以在后续访问中用于个性化全息内容。
31.在一些实施例中，lf显示系统可以包含使系统能够同时发射至少一种类型的能量，并且同时吸收至少一种类型的能量的元件，以用于响应观看者并且创建交互式体验的目的。举例来说，lf显示系统可以发射用于观看的全息对象以及用于触觉感知的超声波两者，并且同时吸收用于跟踪观看者的成像信息和其它场景分析，同时还吸收超声波以检测观看者的触摸响应。作为实例，此系统可投射全息表演者，所述全息表演者在由观看者虚拟地“触摸”时根据触摸刺激来修改其“行为”。执行环境能量感测的显示系统组件可以通过同时发射和吸收能量的双向能量元件集成到显示表面中，或者所述显示系统部件可以是与显示表面分离的专用传感器，例如超声扬声器以及例如相机的成像捕获装置。
32.lf显示系统还可并入有用于跟踪观看者在lf显示系统的全息对象体和/或观看体内的移动的系统。观看者的所跟踪的移动可以用于增强沉浸式娱乐体验。例如，lf显示系统可以使用跟踪信息来促进观看者与全息内容的交互(例如，按下全息按钮)。lf显示系统可以使用所跟踪的信息来监测手指相对于全息对象的位置。例如，全息对象可以是观看者可以“按下”的按钮。lf显示系统可以投射超声能量以生成与按钮相对应的触觉表面，并且占据与按钮基本上相同的空间。lf显示系统可以使用跟踪信息来动态地移动触觉表面的位置，并随着按钮被观看者“按下”而动态地移动所述按钮。lf显示系统可以使用跟踪信息来
渲染全息对象，所述全息对象看着观看者和/或与其进行眼神接触，或者以其它方式进行交互。lf显示系统可以使用跟踪信息来渲染“触摸”观看者的全息对象，其中超声扬声器创建触觉表面，通过所述触觉表面，全息对象可以通过触摸与观看者进行交互。
33.光场显示系统概述
34.图1是根据一个或多个实施例的呈现全息对象120的光场(lf)显示模块110的图100。lf显示模块110是光场(lf)显示系统的一部分。lf显示系统使用一个或多个lf显示模块来呈现包含至少一个全息对象的全息内容。lf显示系统可以向一个或多个观看者呈现全息内容。在一些实施例中，lf显示系统还可以用其它感觉内容(例如，触摸、音频、气味、温度等)来增强全息内容。例如，如下文所论述，聚焦超声波的投射可以生成可以模拟全息对象中的一些或全部的表面的空中触觉。lf显示系统包含一个或多个lf显示模块110，并且下文关于图2-5详细地论述。
35.lf显示模块110是将全息对象(例如，全息对象120)呈现给一个或多个观看者(例如，观看者140)的全息显示器。lf显示模块110包含能量装置层(例如，发射电子显示器或声学投射装置)和能量波导层(例如，光学透镜阵列)。另外，lf显示模块110可以包含能量中继层，以用于将多个能量源或检测器组合在一起以形成单个表面。在高水平处，能量装置层生成能量(例如，全息内容)，然后根据一个或多个四维(4d)光场函数使用能量波导层将所述能量引导到空间中的区域。lf显示模块110还可以同时投射和/或感测一种或多种类型的能量。例如，lf显示模块110可能够在观看体中投射全息图像以及超声触觉表面，同时从观看体检测成像数据。lf显示模块110的操作在下文关于图2-3详细地讨论。
36.lf显示模块110使用一个或多个4d光场函数(例如，从全光函数派生)来在全息对象体160内生成全息对象。全息对象可以是三维(3d)、二维(2d)或其某种组合。此外，全息对象可以是多色的(例如，全色)。全息对象可以投射在屏幕平面前面、屏幕平面后面，或者被屏幕平面分开。可以呈现全息对象120，使得在全息对象体160内的任何地方都可以感知到所述全息对象。全息对象体160内的全息对象对观看者140来说可以看起来是漂浮在空间中的。
37.全息对象体160表示观看者140可以在其中感知全息对象的体。全息对象体160可以在显示区域150的表面前面延伸(即，朝向观看者140)，使得全息对象可以呈现在显示区域150的平面前面。另外，全息对象体160可以在显示区域150的表面后面延伸(即，远离观看者140)，从而允许将全息对象呈现为好像其在显示区域150的平面后面。换句话说，全息对象体160可以包含源自显示区域150的所有光线(例如，被投射)，并且可以会聚以创建全息对象。本文中，光线可以会聚在显示表面前面、显示表面处或显示表面后面的点处。更简单地，全息对象体160涵盖观看者可以从中感知全息对象的所有体。
38.观看体130是空间的体，从所述空间可完全看到通过lf显示系统呈现在全息对象体160内的全息对象(例如，全息对象120)。可以将全息对象呈现在全息对象体160内，并在观看体130内对其进行观看，使得所述全息对象与实际对象没有区别。全息对象是通过投射与物理上存在时从对象表面生成的相同光线而形成的。
39.在一些情况下，全息对象体160和对应观看体130可以相对较小，使得其被设计用于单个观看者。在其它实施例中，如下文关于例如图4、6、7a、7b和8详细地讨论，可以放大和/或平铺lf显示模块以创建较大的全息对象体以及可以容纳大范围观看者(例如，1到数
千)的相应观看体。可以构建本公开中所呈现的lf显示模块，使得lf显示器的整个表面含有全息成像光学装置，没有无效或死角空间，并且不需要边框。在这些实施例中，lf显示模块可以被平铺，使得成像区域在lf显示模块之间的接缝上是连续的，并且使用眼睛的视敏度几乎无法检测到平铺的模块之间的结合线。值得注意的是，在一些配置中，尽管在本文中不详细地描述，但是显示表面的一些部分可以不包含全息成像光学装置。
40.观看体130的柔性尺寸和/或形状允许观看者不受约束在观看体130内。例如，观看者140可以移动到观看体130内的不同定位，并且从对应的视角看到全息对象120的不同视图。为了说明，参考图1，观看者140相对于全息对象120位于第一定位，使得全息对象120看起来是海豚的正面视图。观看者140可以相对于全息对象120移动到其它位置以看到海豚的不同视图。举例来说，观看者140可移动使得他/她看到海豚的左侧、海豚的右侧等，就非常像观看者140正在注视真实的海豚一样且改变他/她与真实的海豚的相对位置以看到海豚的不同面。在一些实施例中，全息对象120对于观看体130内的所有观看者可见，所有观看者到全息对象120的视线不受阻碍(即，未被对象/人阻挡)。这些观看者可以不受约束，使得其可以在观看体内四处移动以看到全息对象120的不同视角。因此，lf显示系统可以呈现全息对象，使得多个不受约束的观看者可以在现实世界空间中同时看到全息对象的不同视角，就好像全息对象是物理上存在的一样。
41.相比之下，常规显示器(例如，立体、虚拟现实、增强现实或混合现实)通常要求每个观看者穿戴某种外部装置(例如，3-d眼镜、近眼显示器或头戴式显示器)以看到内容。另外地和/或可替代地，常规的显示器可以要求观看者被约束到特定的观看定位(例如，在相对于显示器具有固定位置的椅子上)。例如，当观看由立体显示器示出的对象时，观看者总是聚焦在显示表面上，而不是聚焦在对象上，并且显示器将始终呈现对象的仅两个视图，所述视图将跟随试图在所述感知的对象周围移动的观看者，从而导致所述对象的感知失真。然而，利用光场显示器，通过lf显示系统呈现的全息对象的观看者不需要穿戴外部装置，也不必被限制在特定定位以看到全息对象。lf显示系统以观看者可见的方式呈现全息对象，与观看者可看见物理对象的方式几乎相同，而无需特殊的护目镜、眼镜或头戴式附件。进一步地，观看者可以从观看体内的任何位置观看全息内容。
42.值得注意的是，全息对象体160内的全息对象的潜在位置受体的大小的限制。为了增加全息对象体160的大小，可以增加lf显示模块110的显示区域150的大小和/或可以以形成无缝显示表面的方式将多个lf显示模块平铺在一起。无缝显示表面的有效显示区域大于各个lf显示模块的显示区域。下文关于图4和6-7论述与平铺lf显示模块相关的一些实施例。如图1所示，显示区域150是矩形的，从而使得全息对象体160是角锥形。在其它实施例中，显示区域可以具有某个其它形状(例如，六边形)，这也影响对应的观看体的形状。
43.另外，尽管上文论述聚焦于将全息对象120呈现在全息对象体160的位于lf显示模块110与观看者140之间的一部分内，但是lf显示模块110可以另外将内容呈现在显示区域150的平面后面的全息对象体160中。例如，lf显示模块110可以使显示区域150看起来是全息对象120正跳出的海洋表面。并且所显示的内容可以使得观看者140能够通过所显示的表面进行观看以看到水下的海洋生物。此外，lf显示系统可以生成在全息对象体160周围无缝地移动的内容，包含在显示区域150的平面后面和前面。
44.图2a说明根据一个或多个实施例的lf显示模块210的一部分的横截面200。lf显示
模块210可以是lf显示模块110。在其它实施例中，lf显示模块210可以是显示区域形状与显示区域150不同的另一lf显示模块。在所说明的实施例中，lf显示模块210包含能量装置层220、能量中继层230和能量波导层240。lf显示模块210的一些实施例具有与此处所描述的部件不同的部件。例如，在一些实施例中，lf显示模块210不包含能量中继层230。类似地，可以以与此处所描述的方式不同的方式在部件之间分配功能。
45.此处所描述的显示系统呈现了复制现实世界中通常包围对象的能量的能量发射。此处，将发射的能量从显示表面上的每个坐标引导朝向特定方向。来自显示表面的定向能量使许多能量射线汇聚，这由此可以创建全息对象。举例来说，对于可见光，lf显示器将投射可会聚在全息对象体中的任何点处的非常多的光线，因此从定位得比被投射的对象更远的观看者的视角看，所述光线将似乎来自定位在此空间的区域中的现实世界对象的表面。以此方式，lf显示器生成了从观看者的视角离开此对象表面的反射光线。观看者视角可以在任何给定的全息对象上发生变化，并且观看者将看到所述全息对象的不同视图。
46.如本文所描述的，能量装置层220包含一个或多个电子显示器(例如，发射显示器，如oled)和一个或多个其它能量投射和/或能量接收装置。一个或多个电子显示器被配置成根据显示指令(例如，来自lf显示系统的控制器)显示内容。一个或多个电子显示器包含多个像素，每个像素具有独立控制的强度。可以在lf显示器中使用许多类型的商用显示器，如发射led和oled显示器。
47.能量装置层220还可以包含一个或多个声学投射装置和/或一个或多个声学接收装置。声学投射装置生成与全息对象250互补的一个或多个压力波。所生成的压力波可以是例如可听的、超声的或其某种组合。超声压力波阵列可以用于体触觉(例如，在全息对象250的表面处)。可听压力波用于提供可以补充全息对象250的音频内容(例如，沉浸式音频)。例如，假设全息对象250是海豚，则可以使用一个或多个声学投射装置来(1)生成与海豚的表面并置的触觉表面，使得观看者可以触摸全息对象250；并且(2)提供与海豚发出的响声(如咔哒声、唧喳声或吱吱)相对应的音频内容。声学接收装置(例如，麦克风或麦克风阵列)可以被配置成监测lf显示模块210的局部区域内的超声和/或可听压力波。
48.能量装置层220还可以包含一个或多个成像传感器。成像传感器可能对可见光波段中的光敏感，并且在一些情况下，可能对其它波段中的光(例如，红外线)敏感。成像传感器可以是例如互补金属氧化物半导体(cmos)阵列、电荷耦合装置(ccd)、光电检测器阵列、捕获光的某个其它传感器或其某种组合。lf显示系统可以使用由一个或多个成像传感器捕获的数据来用于定位跟踪观看者的位置。
49.能量中继层230在能量装置层220与能量波导层240之间中继能量(例如，电磁能量、机械压力波等)。能量中继层230包含一个或多个能量中继元件260。每个能量中继元件包含第一表面265和第二表面270，并且其在两个表面之间中继能量。每个能量中继元件的第一表面265可以耦合到一个或多个能量装置(例如，电子显示器或声学投射装置)。能量中继元件可以由例如玻璃、碳、光纤、光学膜、塑料、聚合物或其某种组合构成。另外，在一些实施例中，能量中继元件可以调整在第一表面265与第二表面270之间通过的能量的放大率(增加或减少)。如果中继器提供放大率，则中继器可以采取被称为锥体的粘合锥形中继器的阵列的形式，其中锥体的一端的面积可以基本上大于相对端的面积。锥体的大端可以粘合在一起以形成无缝能量表面275。一个优点在于每个锥体的多个小端上都创建了空间，以
容纳多个能量源的机械包膜，如多个显示器的边框。此另外的房间允许将能量源并排放置在小锥体侧上，其中每个能量源的有效区域将能量引导到小锥体表面中并中继到大无缝能量表面。使用锥形中继器的另一个优点是，在由锥体的大端形成的组合的无缝能量表面上没有非成像死空间。不存在边界或边框，并且因此然后可以根据眼睛的视敏度将无缝能量表面平铺在一起以形成几乎没有接缝的更大的表面。
50.相邻的能量中继元件的第二表面汇聚在一起以形成能量表面275。在一些实施例中，相邻的能量中继元件的边缘之间的间隔小于由具有例如20/40视力的人眼的视敏度所定义的最小可感知轮廓，使得能量表面275从观看体285内的观看者280的视角来看是有效地无缝的。
51.在一些实施例中，能量中继元件中的一个或多个能量中继元件表现出能量局部化，其中在基本上垂直于表面265和270的纵向方向上的能量传输效率远高于在垂直横向平面中的传输效率，并且其中在能量波在表面265与表面270之间传播时，能量密度在此横向平面中是高度局部的。能量的这种局部化使得能量分布(如图像)在这些表面之间高效地中继，而分辨率没有任何显著的损失。
52.能量波导层240使用能量波导层240中的波导元件将能量从能量表面275上的位置(例如，坐标)引导到从显示表面向外进入全息观看体285的特定传播路径中。作为实例，对于电磁能量，能量波导层240中的波导元件将来自无缝能量表面275上的位置的光沿着不同的传播方向引导通过观看体285。在各个实例中，根据4d光场函数将光进行引导以在全息对象体255内形成全息对象250。
53.能量波导层240中的每个波导元件可以是例如由一个或多个元件构成的小透镜。在一些配置中，小透镜可以是正透镜。正透镜可以具有球形、非球形或自由形式的表面轮廓。另外，在一些实施例中，波导元件中的一些或全部波导元件可以包含一个或多个另外的光学部件。另外的光学部件可以是例如能量抑制结构，如挡板、正透镜、负透镜、球形透镜、非球形透镜、自由形式的透镜、液晶透镜、液体透镜、折射元件、衍射元件或其某种组合。在一些实施例中，小透镜和/或另外的光学部件中的至少一个能够动态地调整其光功率。例如，小透镜可以是液晶透镜或液体透镜。小透镜和/或至少一个另外的光学部件的表面轮廓的动态调整可以提供对从波导元件投射的光的另外的方向控制。
54.在所展示的实例中，lf显示器的全息对象体255具有由光线256和光线257形成的边界，但是可以由其它射线形成。全息对象体255是在能量波导层240前面(即，朝向观看者280)和在其后面(即，远离观看者280)两者延伸的连续的体。在所说明的实例中，用户可以感知的射线256和射线257以相对于显示表面277的法线的最大角度从lf显示模块210的相对边缘投射，但是射线可以是其它投射的射线。射线限定了显示器的视场，并因此限定了全息观看体285的边界。在一些情况下，射线限定了全息观看体，在所述全息观看体中可以在没有渐晕的情况下(例如，理想的观看体)观看整个显示器。随着显示器的视场增加，射线256和射线257的会聚点将更靠近显示器。因此，具有较大视场的显示器允许观看者280在更近的观看距离处看到整个显示器。另外，射线256和257可以形成理想的全息对象体。可以在观看体285中的任何地方看到以理想全息对象体呈现的全息对象。
55.在一些实例中，可以将全息对象呈现给观看体285的仅一部分。换句话说，全息对象体可以被划分成任何数量的观看子体(例如，观看子体290)。另外，可以将全息对象投射
到全息对象体255的外部。例如，全息对象251呈现在全息对象体255的外部。因为全息对象251呈现在全息对象体255的外部，所以不能从观看体285中的每个位置对其进行观看。例如，全息对象251可以从观看子体290中的位置可见，但是从观看者280的位置不可见。
56.例如，转到图2b以展示从不同观看子体观看全息内容。图2b说明根据一个或多个实施例的lf显示模块的一部分的横截面200。图2b的横截面与图2a的横截面相同。然而，图2b说明从lf显示模块210投射的一组不同光线。射线256和射线257仍形成全息对象体255和观看体285。然而，如所示，从lf显示模块210的顶部投射的射线和从lf显示模块210的底部投射的射线重叠以在观看体285内形成各个观看子体(例如，观看子体290a、290b、290c和290d)。第一观看子体(例如，290a)中的观看者可以能够感知在全息对象体255中呈现的全息内容，其它观看子体(例如，290b、290c和290d)中的观看者则无法进行感知。
57.更简单地，如图2a所说明，全息对象体255是其中全息对象可以通过lf显示系统呈现的体，使得所述全息对象可以被观看体285中的观看者(例如，观看者280)感知。以此方式，观看体285是理想观看体的实例，而全息对象体255是理想对象体的实例。然而，在各种配置中，观看者可在其它实例全息对象体中感知由lf显示系统200呈现的全息对象，使得在其它实例观看体中的观看者可感知全息内容。更一般而言，当观看从lf显示模块投射的全息内容时，将应用“视线指南”。视线指南断言，由观看者的眼睛定位和正在被观看的全息对象形成的线必须与lf显示表面相交。
58.因为根据4d光场函数呈现了全息内容，因此当观看通过lf显示模块210呈现的全息内容时，观看者280的每只眼睛看到全息对象250的不同视角。此外，在观看者280在观看体285内移动时，他/她还将看到全息对象250的不同视角，如同在观看体285内的其它观看者一样。如本领域普通技术人员将意识到，4d光场函数在本领域中是众所周知的，并且在本文中将不进一步详细说明。
59.如本文中更详细描述，在一些实施例中，lf显示器可以投射多于一种类型的能量。例如，lf显示器可以投射两种类型的能量，例如，机械能量和电磁能量。在此配置中，能量中继层230包含两个单独的能量中继器，所述能量中继器在能量表面275处交织在一起，但是被分离使得能量被中继到两个不同的能量装置层220。此处，一个中继器可以被配置成传输电磁能量，而另一个中继器可以被配置成传输机械能量。在一些实施例中，机械能量可以从能量波导层240上的电磁波导元件之间的位置投射，从而有助于形成抑制光从一个电磁波导元件传输到另一个的结构。在一些实施例中，能量波导层240还可以包含根据来自控制器的显示指令沿特定传播路径传输聚焦的超声的波导元件。
60.应注意，在替代实施例(未示出)中，lf显示模块210不包含能量中继层230。在这种情况下，能量表面275是使用能量装置层220内的一个或多个相邻电子显示器形成的发射表面。且在一些实施例中，邻近电子显示器的边缘之间的间隔小于由具有20/40视力的人眼的视敏度所限定的最小可感知轮廓，使得能量表面从观看体285内的观看者280的视角来看是有效地无缝的。
61.lf显示模块
62.图3a是根据一个或多个实施例的lf显示模块300a的透视图。lf显示模块300a可以是lf显示模块110和/或lf显示模块210。在其它实施例中，lf显示模块300a可以是某个其它lf显示模块。在所说明的实施例中，lf显示模块300a包含能量装置层310和能量中继层320
以及能量波导层330。lf显示模块300a被配置成从显示表面365呈现全息内容，如本文所描述的。为方便起见，显示表面365在lf显示模块300a的框架390上以虚线轮廓说明，但更准确地说是直接在由框架390的内边缘界定的波导元件前面的表面。lf显示模块300a的一些实施例具有与此处所描述的组件不同的组件。例如，在一些实施例中，lf显示模块300a不包含能量中继层320。类似地，可以以与此处所描述的方式不同的方式在部件之间分配功能。
63.能量装置层310是能量装置层220的实施例。能量装置层310包含四个能量装置340(在图中三个是可见的)。能量装置340可以全部是相同类型(例如，所有电子显示器)或者可以包含一种或多种不同类型(例如，包含电子显示器和至少一个声能装置)。
64.能量中继层320是能量中继层230的实施例。能量中继层320包含四个能量中继装置350(在图中三个是可见的)。能量中继装置350可以全部中继相同类型的能量(例如，光)或者可以中继一种或多种不同类型(例如，光和声音)。中继装置350中的每个中继装置包含第一表面和第二表面，能量中继装置350的第二表面被布置成形成单个无缝能量表面360。在所说明的实施例中，能量中继装置350中的每个能量中继装置是锥形的，使得第一表面具有比第二表面小的表面积，这允许在锥体的小端上容纳能量装置340的机械包膜。由于整个区域都可以投射能量，因此这也可以使无缝能量表面无边界。这意味着可以通过将lf显示模块300a的多个实例放置在一起而没有死空间或边框的方式来平铺此无缝能量表面，使得整个组合的表面是无缝的。在其它实施例中，第一表面和第二表面的表面积相同。
65.能量波导层330是能量波导层240的实施例。能量波导层330包含多个波导元件370。如上文关于图2所讨论的，能量波导层330被配置成根据4d全光函数沿着特定的传播路径从无缝能量表面360引导能量，以形成全息对象。应注意，在所说明的实施例中，能量波导层330由框架390界定。在其它实施例中，不存在框架390和/或减小框架390的厚度。框架390的厚度的去除或减小可以有助于将lf显示模块300a与另外的lf显示模块平铺。
66.应注意，在所说明的实施例中，无缝能量表面360和能量波导层330是平坦的。在未示出的替代实施例中，无缝能量表面360和能量波导层330可以在一个或多个维度上弯曲。
67.lf显示模块300a可以配置有驻存在无缝能量表面的表面上的另外的能量源，并允许除了光场之外的能量场的投射。在一个实施例中，声能场可以从安装在无缝能量表面360上的任何数量的位置处的静电扬声器(未示出)投射出来。此外，lf显示模块300a的静电扬声器定位在光场显示模块300a内，使得双能量表面同时投射声场和全息内容。举例来说，静电扬声器可形成有透射一些波长的电磁能量且由导电元件驱动的一个或多个隔膜元件。静电扬声器可以安装在无缝能量表面360上，使得隔膜元件覆盖波导元件中的一些波导元件。扬声器的导电电极可以与被设计成抑制电磁波导之间的光传输的结构定位在同一位置，和/或定位在电磁波导元件(例如，框架390)之间的位置处。在各种配置中，扬声器可以投射可听的声音和/或产生触觉表面的聚焦超声能量的许多来源。
68.在一些配置中，能量装置340可以感测能量。例如，能量装置可以是麦克风、光传感器、声换能器等。因此，能量中继装置还可以将能量从无缝能量表面360中继到能量装置层310。也就是说，当能量装置和能量中继装置340被配置成同时发射和感测能量(例如，发射光场并感测声音)时，lf显示模块的无缝能量表面360形成双向能量表面。
69.更广泛地，lf显示模块340的能量装置340可以是能量源或能量传感器。lf显示模块300a可以包含充当能量源和/或能量传感器的各种类型的能量装置，以促进向用户投射
高质量全息内容。其它源和/或传感器可以包含热传感器或源，红外传感器或源、图像传感器或源、生成声能的机械能量换能器、反馈源等。多个其它传感器或源是可能的。此外，lf显示模块可以平铺使得lf显示模块可以形成组合件，所述组合件从大聚合无缝能量表面投射和感测多种类型的能量。
70.在lf显示模块300a的各个实施例中，无缝能量表面360可以具有各个表面部分，其中每个表面部分被配置成投射和/或发射特定类型的能量。例如，当无缝能量表面是双能量表面时，无缝能量表面360包含投射电磁能量的一个或多个表面部分以及投射超声能量的一个或多个其它表面部分。投射超声能量的表面部分可位于波导元件之间的无缝能量表面360上，和/或与被设计成抑制波导元件之间的光传输的结构处于同一位置。在无缝能量表面是双向能量表面的实例中，能量中继层320可以包含在无缝能量表面360处交织的两种类型的能量中继装置。在各个实施例中，无缝能量表面360可被配置成使得表面的在特定波导元件370下方的部分均为能量源、均为能量传感器，或为能量源和能量传感器的混合。
71.图3b是根据一个或多个实施例的包含交织的能量中继装置的lf显示模块300b的横截面视图。lf显示模块300b可被配置为用于投射一种以上类型的能量的双能量投射装置，或者被配置为用于同时投射一种类型的能量且感测另一种类型的能量的双向能量装置。lf显示模块300b可以是lf显示模块110和/或lf显示模块210。在其它实施例中，lf显示模块302可为某一其它lf显示模块。
72.lf显示模块300b包含与图3a中的lf显示模块300a的部件类似地配置的许多部件。举例来说，在所示出的实施例中，lf显示模块300b包含能量装置层310、能量中继层320、无缝能量表面360和能量波导层330，其包含至少与关于图3a所描述的功能性相同的功能性。此外，lf显示模块300b呈现和/或接收来自显示表面365的能量。值得注意的是，与图3a中的lf显示模块300a的部件相比，lf显示模块300b的组件可替代地连接和/或定向。lf显示模块300b的一些实施例具有与此处所描述的部件不同的部件。类似地，可以以与此处所描述的方式不同的方式在部件之间分配功能。图3b示出可被平铺以产生具有更大面积的双能量投射表面或双向能量表面的单个lf显示模块302的设计。
73.在一个实施例中，lf显示模块300b是双向lf显示系统的lf显示模块。双向lf显示系统可以同时从显示表面365投射能量并感测能量。无缝能量表面360含有在无缝能量表面360上紧密交织的能量投射位置和能量感测位置两者。因此，在图3b的实例中，能量中继层320以与图3a的能量中继层不同的方式进行配置。为方便起见，lf显示模块300b的能量中继层在本文中将被称为“交织的能量中继层”。
74.交织的能量中继层320包含两个支脚：第一能量中继装置350a和第二能量中继装置350b。支脚中的每一个示出为浅色阴影区域。支脚中的每个支脚可以由柔性中继材料制成，并形成有足够的长度以用于各种尺寸和形状的能量装置。在交织的能量中继层的一些区域中，两个支脚在接近无缝能量表面360时紧紧地交织在一起。在所说明的实例中，交织的能量中继装置352被展示为深色阴影区域。
75.当在无缝能量表面360处交织时，能量中继装置被配置成向/从不同能量装置中继能量。能量装置位于能量装置层310处。如所说明，能量装置340a连接到能量中继装置350a，并且能量装置340b连接到能量中继装置350b。在各个实施例中，每个能量装置可以是能量源或能量传感器。
76.能量波导层330包含波导元件370，以将来自无缝能量表面360的能量波沿着投射的路径引导朝向一系列会聚点。在此实例中，在一系列会聚点处形成了全息对象380。值得注意的是，如所示出，在全息对象380处的能量会聚发生在显示表面365的观看者侧。然而，在其它实例中，能量的会聚可以在全息对象体中的任何地方，在显示表面365前面和显示表面365后面两者延伸。波导元件370可以同时将进入的能量引导到能量装置(例如，能量传感器)，如下文所描述的。
77.在lf显示模块300b的一个实例实施例中，发射显示器用作能量源，且成像传感器用作能量传感器。以此方式，lf显示模块300b可以同时投射全息内容并且检测来自显示表面365前面的体的光。
78.在实施例中，lf显示模块300b被配置成同时在显示表面365前面投射光场并且从显示表面365的前方捕获光场。在此实施例中，能量中继装置350a将无缝能量表面360处的定位在波导元件370下方的第一组位置连接到能量装置340a。在一个实例中，能量装置340a是具有源像素阵列的发射显示器。能量中继装置340b将无缝能量表面360处的定位在波导元件370下方的第二组位置连接到能量装置340b。在一个实例中，能量装置340b是具有传感器像素阵列的成像传感器。lf显示模块302可被配置成使得无缝能量表面365处的在特定波导元件370下方的位置均为发射显示器位置、均为成像传感器位置，或为位置的某种组合。在其它实施例中，双向能量表面可以投射和接收各种其它形式的能量。
79.在lf显示模块300b的另一个实例实施例中，lf显示模块被配置成投射两种不同类型的能量。例如，能量装置340a是配置成发射电磁能的发射显示器，并且能量装置340b是配置成发射机械能的超声换能器。因此，可以从无缝能量表面360处的各个位置投射光和声音两者。在此配置中，能量中继装置350a将能量装置340a连接到无缝能量表面360并中继电磁能量。能量中继装置被配置成具有使得所述能量中继装置高效传输电磁能量的性质(例如，变化的折射率)。能量中继装置350b将能量装置340b连接到无缝能量表面360并中继机械能量。能量中继装置350b被配置成具有用于超声能量的高效传输的性质(例如，具有不同声学阻抗的材料的分布)。在一些实施例中，机械能量可以从能量波导层330上的波导元件370之间的位置投射。投射机械能量的位置可以形成用于抑制光从一个电磁波导元件传输到另一个电磁波导元件的结构。在一个实例中，投射超声机械能量的在空间上分离的位置阵列可以被配置成在空中形成三维触觉形状和表面。表面可以与投射的全息对象(例如，全息对象380)重合。在一些实例中，阵列上的相位延迟和幅度变化可以帮助形成触觉形状。
80.在各个实施例中，双向lf显示模块302可包含多个能量装置层，其中每一能量装置层包含特定类型的能量装置。在这些实例中，能量中继层被配置成在无缝能量表面360与能量装置层330之间中继适当类型的能量。
81.平铺的lf显示模块
82.图4a是根据一个或多个实施例的以二维方式平铺以形成单面无缝表面环境的lf显示系统400的一部分的透视图。lf显示系统400包含被平铺以形成阵列410的多个lf显示模块。更明确地说，阵列410中的小方块中的每个小方块表示平铺的lf显示模块412。阵列410可以覆盖例如房间的表面(例如，壁)的一些或全部。lf阵列可以覆盖其它表面，例如桌面、广告牌、圆形建筑等。
83.阵列410可以投射一个或多个全息对象。举例来说，在所示出的实施例中，阵列410
投射全息对象420和全息对象430。lf显示模块412的平铺允许更大的观看体，并且允许对象被投射到距阵列410更远的距离。例如，在所说明的实施例中，观看体是大约阵列410前面和后面的整个区域，而不是lf显示模块412前面(和后面)的局部体。
84.在一些实施例中，lf显示系统400将全息对象420呈现给观看者430和观看者434。观看者430和观看者434接收全息对象420的不同视角。例如，向观看者430呈现全息对象420的直接视图，而向观看者434呈现全息对象420的更倾斜的视图。随着观看者430和/或观看者434的移动，向其呈现全息对象420的不同视角。这允许观看者通过相对于全息对象移动而在视觉上与全息对象进行交互。例如，在观看者430在全息对象420周围行走时，只要全息对象420保留在阵列410的全息对象体中，观看者430就看到全息对象420的不同侧面。因此，观看者430和观看者434可以同时在真实世界空间中看到全息对象420，就好像所述全息对象真实存在一样。另外，观看者430和观看者434不需要为了观看全息对象420而穿戴外部装置，因为全息对象420以与物理对象将是可见的几乎相同的方式对观看者可见。另外，此处，全息对象422被展示在阵列后面，因为阵列的观看体在阵列的表面后面延伸。以此方式，全息对象422可以呈现给观看者430和/或观看者434，就好像它比阵列410的表面更远离观看者一样。
85.在一些实施例中，lf显示系统400可以包含跟踪系统，所述跟踪系统跟踪观看者430和观看者434的定位。在一些实施例中，所跟踪的定位是观看者的定位。在其它实施例中，所跟踪的定位是观看者的眼睛的定位。眼睛的定位跟踪与注视跟踪不同，后者跟踪眼睛正在看的地方(例如，使用定向来确定注视位置)。观看者430的眼睛和观看者434的眼睛位于不同的位置。
86.在各种配置中，lf显示系统400可以包含一个或多个跟踪系统。例如，在图4a的所说明实施例中，lf显示系统包含在阵列410外部的跟踪系统440。此处，跟踪系统可以是耦合到阵列410的相机系统。关于图5a更详细地描述外部跟踪系统。在其它示例实施例中，跟踪系统可以如本文所描述的并入到阵列410中。举例来说，包含在阵列410中的lf显示模块412的能量装置(例如，能量装置340)可被配置成捕获阵列440前方的观看者的图像。在任何情况下，lf显示系统400的一个或多个跟踪系统确定关于观看通过阵列410呈现的全息内容的观看者(例如，观看者430和/或观看者434)的跟踪信息。
87.跟踪信息描述了观看者的定位或观看者的一部分(例如，观看者的一只或两只眼睛，或观看者的肢体)的定位在空间(例如，相对于跟踪系统)中的定位。跟踪系统可以使用任何数量的深度确定技术来确定跟踪信息。深度确定技术可以包含例如结构光、飞行时间、立体成像、某个其它深度确定技术或其某种组合。跟踪系统可以包含被配置成确定跟踪信息的各种系统。例如，跟踪系统可以包含一个或多个红外源(例如，结构化光源)、可以捕获红外图像的一个或多个成像传感器(例如，红-蓝-绿-红外相机)以及执行跟踪算法的处理器。跟踪系统可以使用深度估计技术来确定观看者的定位。在一些实施例中，lf显示系统400基于如本文所描述的观看者430和/或观看者434的跟踪定位、运动或手势而生成全息对象。例如，lf显示系统400可以响应于观看者进入阵列410的阈值距离和/或特定定位内而生成全息对象。
88.lf显示系统400可以部分地基于跟踪信息来呈现针对每个观看者定制的一个或多个全息对象。例如，可以向观看者430呈现全息对象420，而不是全息对象422。类似地，可以
向观看者434呈现全息对象422，而不是全息对象420。例如，lf显示系统400跟踪观看者430和观看者434中的每个观看者的定位。lf显示系统400基于观看者相对于全息对象要被呈现的地方的位置来确定对所述观看者应当可见的全息对象的视角。lf显示系统400选择性地投射来自与所确定的视角相对应的特定像素的光。因此，观看者434和观看者430可以同时具有可能完全不同的体验。换句话说，lf显示系统400可向观看体的观看子体呈现全息内容。例如，如所说明，观看体由在阵列前方和后方的所有空间表示。在此实例中，因为lf显示系统400可以跟踪观看者430的定位，所以lf显示系统400可以将空间内容(例如，全息对象420)呈现给观看者430周围的观看子体，并且将野生动物园内容(例如，全息对象422)呈现给观看者434周围的观看子体。相比之下，常规系统将必须使用单独的耳机来提供类似的体验。
89.在一些实施例中，lf显示系统400可以包含一个或多个感觉反馈系统。感觉反馈系统提供增强全息对象420和422的其它感觉刺激(例如，触觉、音频或气味)。例如，在图4a的所说明实施例中，lf显示系统400包含在阵列410外部的感觉反馈系统442。在一个实例中，感觉反馈系统442可以是耦合到阵列410的静电扬声器。关于图5a更详细地描述外部感觉反馈系统。在其它示例实施例中，如本文所描述的，可以将感觉反馈系统并入到阵列410中。例如，包含在阵列410中的lf显示模块412的能量装置(例如，图3b中的能量装置340a)可以被配置成将超声能量投射到阵列前面的观看者和/或从阵列前面的观看者接收成像信息。在任何情况下，感觉反馈系统向观看通过阵列410呈现的全息内容(例如，全息对象420和/或全息对象422)的观看者(例如，观看者430和/或观看者434)呈现感觉内容和/或从所述观看者接收感觉内容。
90.lf显示系统400可包含感觉反馈系统，所述感觉反馈系统包含在阵列外部的一个或多个声学投射装置。可替代地或另外地，lf显示系统400可以包含一个或多个集成到阵列410中的声学投射装置，如本文所描述的。对于全息对象的一个或多个表面，如果观看者的一部分在所述一个或多个表面的阈值距离内，则声学投射装置可投射生成体触觉感觉(例如，在全息对象420的表面处)的超声压力波。体触觉感觉允许用户触摸和感受全息对象的表面。多个声学投射装置还可以投射可听压力波，所述可听压力波向观看者提供音频内容(例如，沉浸式音频)。因此，超声压力波和/或可听压力波可以起到补充全息对象的作用。
91.在各个实施例中，lf显示系统400可以部分地基于观看者的所跟踪的定位来提供其它感觉刺激。举例来说，图4a中所示出的全息对象422是狮子，且lf显示系统400可使全息对象422在视觉上(即，全息对象430似乎在咆哮)和听觉上(即，一个或多个声学投射装置投射压力波)均咆哮，使观看者430将其感知为全息对象422发出的狮子的咆哮。
92.应注意，在所说明的配置中，可以以类似于图2中的lf显示系统200的观看体285的方式限制全息观看体。这可以限制观看者将用单个壁显示单元经历的感知的沉浸感。解决此问题的一个方式是使用沿着多个侧面平铺的多个lf显示模块，如下文相对于图4b到4f所描述。
93.图4b是根据一个或多个实施例的在多面无缝表面环境中的lf显示系统402的一部分的透视图。lf显示系统402与lf显示系统400基本上类似，除了将多个lf显示模块平铺以创建多面无缝表面环境之外。更具体地，将lf显示模块平铺以形成作为六面聚合无缝表面环境的阵列。图4b中的每一正方形，所述多个lf显示模块覆盖房间的所有壁、天花板和地
板。在其它实施例中，多个lf显示模块可以覆盖壁、地板、天花板或其某种组合中的一些但不是全部。在其它实施例中，多个lf显示模块被平铺以形成某个其它聚合无缝表面。例如，壁可以是弯曲的，使得形成圆柱形的聚合能量环境。此外，如下文关于图6-9所描述，在一些实施例中，lf显示模块可平铺以在场馆或私人观看室(例如，壁等)中形成表面。
94.lf显示系统402可以投射一个或多个全息对象。例如，在所说明的实施例中，lf显示系统402将全息对象420投射到由六面聚合无缝表面环境包围的区域中。因此，lf显示系统的观看体也含在六面聚合无缝表面环境内。应注意，在所示出的配置中，观看者432可定位在全息对象420与lf显示模块414之间，所述lf显示模块正投射用于形成全息对象420的能量(例如，光和/或压力波)。因此，观看者434的定位可以防止观看者430感知由来自lf显示模块414的能量形成的全息对象420。然而，在所示出的配置中，存在至少一个其它lf显示模块，例如lf显示模块416，所述lf显示模块不受阻碍(例如，被观看者434)且可投射能量以形成全息对象420。以此方式，在空间中被观看者遮挡可能导致全息投射的一些部分消失，但是这种影响比如果体的仅一侧填充有全息显示面板的影响小得多。全息对象422被展示为六面聚合无缝表面环境的壁的“外部”，因为全息对象体在聚合表面后面延伸。因此，观看者430和/或观看者434可以将全息对象422感知为他们可以移动穿过的六面环境的“外部”。
95.如上文参考图4a所描述，在一些实施例中，lf显示系统402主动跟踪观看者的定位并且可以基于所跟踪的定位动态地指示不同的lf显示模块呈现全息内容。因此，多面配置可以提供更稳健的环境(例如，相对于图4a)，以提供全息对象，其中不受约束的观看者可以自由地在由多面无缝表面环境包围的整个区域中移动。
96.值得注意的是，各种lf显示系统可以具有不同的配置。此外，每种配置可以具有表面的特定定向，所述表面聚合形成无缝显示表面(“聚合表面”)。也就是说，可以将lf显示系统的lf显示模块平铺以形成各种聚合表面。例如，在图4b中，lf显示系统402包含平铺以形成近似于房间的壁的六面聚合表面的lf显示模块。在一些其它实例中，聚合表面可以仅出现在表面的一部分(例如，壁的一半)上，而不是整个表面(例如，整个壁)上。本文描述了一些实例。
97.在一些配置中，lf显示系统的聚合表面可以包含聚合表面，所述聚合表面被配置成朝向局部观看体投射能量。将能量投射到局部观看体允许通过例如以下方式的更高质量的观看体验：增加特定观看体中的投射的能量的密度，增加观看者在所述观看体中的fov，并使观看体更接近显示表面。
98.例如，图4c展示了具有呈“翼状”配置的聚合表面的lf显示系统450a的俯视图。在此实例中，lf显示系统450a定位在具有前壁452、后壁454、第一侧壁456、第二侧壁458、天花板(未示出)和地板(未示出)的房间中。第一侧壁456、第二侧壁458、后壁454、地板和天花板都正交。lf显示系统450a包含平铺以形成覆盖前壁的聚合表面460的lf显示模块。前壁452以及因此聚合表面460包含三个部分：(i)第一部分462，所述第一部分与后壁454(即，中心表面)大致上平行，(ii)第二部分464，所述第二部分将第一部分462连接到第一侧壁456并成一定角度放置以朝向房间的中心(即，第一侧表面)投射能量，以及(iii)第三部分466，所述第三部分将第一部分462连接到第二侧壁458并成一定角度放置以朝向房间的中心(即，第二侧表面)投射能量。第一部分是房间中的竖直平面，并具有水平轴和竖直轴。第二部分和第三部分沿水平轴朝向房间的中心成角度。
99.在此实例中，lf显示系统450a的观看体468a位于房间的中心，并且被聚合表面460的三个部分部分地包围。至少部分包围观看者的聚合表面(“包围表面”)增加了观看者的沉浸式体验。
100.为了说明，考虑例如仅具有中心表面的聚合表面。参考图2a，如上文所描述的，从显示表面的任一端投射的射线创建理想的全息体和理想的观看体。现在考虑，例如，中心表面是否包含两个朝向观看者成角度的侧表面。在这种情况下，射线256和射线257将从中心表面的法线以更大的角度投射。因此，观看体的视场将增加。类似地，全息观看体将更靠近显示表面。另外，由于两个第二部分和第三部分倾斜得更靠近观看体，所以从显示表面以固定距离投射的全息对象更靠近所述观看体。
101.为简化起见，仅具有中心表面的显示表面具有平面视场、(中心)显示表面与观看体之间的平面阈值间隔以及全息对象与观看体之间的平面接近度。添加一个或多个朝向观看者成角度的侧表面，增加了相对于平面视场的视场，相对于平面间隔，减小了显示表面与观看体之间的间隔，并相对于平面接近度，增加了显示表面与全息对象之间的接近度。使侧表面朝向观看者进一步成角度进一步增加了视场，减小了间隔并增加了接近度。换句话说，侧表面的成角度的放置增加了观看者的沉浸式体验。
102.另外，如下文关于图6所描述，偏转光学件可用于针对lf显示参数(例如，尺寸和fov)优化观看体的大小和定位。
103.返回到图4d，在类似实例中，图4d展示了具有呈“倾斜”配置的聚合表面的lf显示系统450b的侧视图。在此实例中，lf显示系统450b定位在具有前壁452、后壁454、第一侧壁(未示出)、第二侧壁(未示出)、天花板472和地板474的房间中。第一侧壁、第二侧壁、后壁454、地板474和天花板472都正交。lf显示系统450b包含平铺以形成覆盖前壁的聚合表面460的lf显示模块。前壁452以及因此聚合表面460包含三个部分：(i)第一部分462，所述第一部分与后壁454(即，中心表面)大致上平行，(ii)第二部分464，所述第二部分将第一部分462连接到天花板472并成一定角度以朝向房间的中心(即，第一侧表面)投射能量，以及(iii)第三部分464，所述第三部分将第一部分462连接到地板474并成角度以朝向房间的中心(即，第二侧表面)投射能量。第一部分是房间中的竖直平面，并具有水平轴和竖直轴。第二部分和第三部分沿竖直轴朝向房间的中心成角度。
104.在此实例中，lf显示系统450b的观看体468b位于房间的中心，并且被聚合表面460的三个部分部分地包围。与图4c所示的配置类似，两个侧面部分(例如，第二部分464和第三部分466)成一定角度以包围观看者并形成包围表面。从全息观看体468b中的任何观看者的视角来看，包围表面增加了观看fov。另外，包围表面允许观看体468b更靠近显示器的表面，使得投射的对象显得更靠近。换句话说，侧表面的成角度放置增加了视场，减小了间隔，并增加了聚合表面的接近度，由此增加了观看者的沉浸式体验。此外，如下文将论述，偏转光学件可以用于优化观看体468b的大小和定位。
105.与如果第三部分466没有倾斜相比，聚合表面460的侧面部分的倾斜配置使得全息内容能够被呈现为更靠近观看体468b。例如，与如果使用具有平坦的前壁的lf显示系统相比，从呈倾斜配置的lf显示系统呈现的角色的下肢(例如，腿)可能看起来更靠近并且更真实。
106.另外，lf显示系统的配置及其所处的环境可以通知观看体和观看子体的形状和位
置。
107.图4e例如展示了具有在房间的前壁452上的聚合表面460的lf显示系统450c的俯视图。在此实例中，lf显示系统450d定位在具有前壁452、后壁454、第一侧壁456、第二侧壁458、天花板(未示出)和地板(未示出)的房间中。
108.lf显示系统450c从聚合表面460投射各种射线。从聚合表面460的左侧投射的射线具有水平角度范围481，从聚合表面的右侧投射的射线具有水平角度范围482，并且从聚合表面460的中心投射的射线具有水平角度范围483。在这些点之间，所投射射线可采取如下文关于图6所描述的角度范围的中间值。以此方式在跨越显示表面的投射射线中具有梯度偏转角创建了观看体468c。此外，此配置避免了在将射线投射到侧壁456和458中时浪费显示器的分辨率。
109.图4f展示了具有在房间的前壁452上的聚合表面460的lf显示系统450d的侧视图。在此实例中，lf显示系统450e定位在具有前壁452、后壁454、第一侧壁(未示出)、第二侧壁(未示出)、天花板472和地板474的房间中。在此实例中，地板是分层的使得每一层都从前壁向后壁逐步移动上升。此处，地板的每一层包含观看子体(例如，观看子体470a和470b)。分层地板允许不重叠的观看子体。换句话说，每个观看子体具有从观看子体到不通过另一观看子体的聚合表面460的视线。换句话说，这种定向产生了“体育场就座”效果，其中各层之间的竖直偏移使每一层都可以“查看”其它层的观看子体。包含不重叠的观看子体的lf显示系统可以提供比具有确实重叠的观看体的lf显示系统更高的观看体验。例如，在图4f所示的配置中，可以向观看子体470a和470b中的观众投射不同的全息内容。
110.lf显示系统的控制
111.图5a是根据一个或多个实施例的lf显示系统500的框图。lf显示系统500包括lf显示组合件510和控制器520。lf显示组合件510包含投射光场的一个或多个lf显示模块512。lf显示模块512可以包含源/传感器系统514，所述源/传感器系统包含投射和/或感测其它类型的能量的一个或多个集成能量源和/或一个或多个能量传感器。控制器520包含数据存储装置522、网络接口524和lf处理引擎530。控制器520还可以包含跟踪模块526和观看者简档形成模块528。在一些实施例中，lf显示系统500还包含感测反馈系统570和跟踪系统580。在图1、2、3和4的背景中描述的lf显示系统是lf显示系统500的实施例。在其它实施例中，lf显示系统500包括比本文所描述的模块另外的或更少的模块。类似地，可以以与此处描述的方式不同的方式在模块和/或不同实体之间分配功能。lf显示系统500的应用也将在下文关于图6到10详细地论述。
112.lf显示组合件510在全息对象体中提供全息内容，所述全息对象体对于定位在观看体内的观看者可以是可见的。lf显示组合件510可以通过执行从控制器520接收的显示指令来提供全息内容。全息内容可以包含投射在lf显示组合件510的聚合表面前面、lf显示组合件510的聚合表面后面或其某种组合的一个或多个全息对象。下文更详细地描述用控制器520生成显示指令。
113.lf显示组合件510使用包含在lf显示组合件510中的一个或多个lf显示模块(例如，lf显示模块110、lf显示系统200和lf显示模块300中的任一个)来提供全息内容。为了方便起见，一个或多个lf显示模块在本文中可以被描述为lf显示模块512。lf显示模块512可以被平铺以形成lf显示组合件510。lf显示模块512可以被结构化为各种无缝表面环境(例
如，单面、多面、场所的壁、弯曲的表面等)。也就是说，平铺的lf显示模块形成聚合表面。如先前所描述，lf显示模块512包含呈现全息内容的能量装置层(例如，能量装置层220)和能量波导层(例如，能量波导层240)。lf显示模块512还可以包含能量中继层(例如，能量中继层230)，当呈现全息内容时，所述能量中继层在能量装置层与能量波导层之间转移能量。
114.lf显示模块512还可以包含其它集成系统，所述其它集成系统被配置成用于如先前所描述的能量投射和/或能量感测。例如，光场显示模块512可以包含被配置成投射和/或感测能量的任何数量的能量装置(例如，能量装置340)。为了方便起见，本文可以将lf显示模块512的集成能量投射系统和集成能量感测系统聚合描述为源/传感器系统514。源/传感器系统514被集成在lf显示模块512内，使得源/传感器系统514与lf显示模块512共享相同的无缝能量表面。换句话说，lf显示组合件510的聚合表面包含lf显示模块512和源/传感器模块514两者的功能。换句话说，包含具有源/传感器系统514的lf显示模块512的lf组合件510可以在同时投射光场时投射能量和/或感测能量。例如，lf显示组合件510可以包含lf显示模块512和源/传感器系统514，所述源/传感器系统被配置为如先前所描述的双能量表面或双向能量表面。
115.在一些实施例中，lf显示系统500使用感觉反馈系统570用其它感觉内容(例如，协调的触摸、音频或气味)增强所生成的全息内容。感觉反馈系统570可以通过执行从控制器520接收的显示指令来增强全息内容的投射。通常，感觉反馈系统570包含在lf显示组合件510外部的任何数量的感觉反馈装置(例如，感觉反馈系统442)。一些实例感觉反馈装置可以包含协调的声学投射和接收装置、香气投射装置、温度调整装置、力致动装置、压力传感器、换能器等。在一些情况下，感觉反馈系统570可以具有与光场显示组合件510类似的功能性，且反之亦然。例如，感觉反馈系统570和光场显示组合件510两者都可以被配置成产生声场。作为另一个实例，感觉反馈系统570可以被配置成在没有光场显示器510组合件的情况下生成触觉表面。
116.为了说明，在光场显示系统500的实例实施例中，感觉反馈系统570可包含声学投射装置。声学投射装置被配置成在执行从控制器520接收的显示指令时生成补充全息内容的一个或多个压力波。所生成的压力波可以是例如可听的(用于声音)、超声的(用于触摸)或其某种组合。类似地，感觉反馈系统570可以包含香气投射装置。香气投射装置可以被配置成当执行从控制器接收的显示指令时向目标区域中的一些或全部提供香味。香气装置可以连接到空气循环系统(例如，管道、风扇或通风口)中，以协调目标区域内的空气流动。此外，感觉反馈系统570可以包含温度调整装置。温度调整装置被配置成当执行从控制器520接收的显示指令时增加或减小目标区域中的一些或全部中的温度。
117.在一些实施例中，感觉反馈系统570被配置成从lf显示系统500的观看者接收输入。在这种情况下，感觉反馈系统570包含用于从观看者接收输入的各种感觉反馈装置。传感器反馈装置可以包含例如声学接收装置(例如，麦克风)、压力传感器、操纵杆、运动检测器、换能器等的装置。感觉反馈系统可以将检测到的输入传输到控制器520以协调生成全息内容和/或感觉反馈。
118.为了说明，在光场显示组合件的实例实施例中，感觉反馈系统570包含麦克风。麦克风被配置成记录由一个或多个观看者产生的音频(例如，喘气、尖叫、笑声等)。感觉反馈系统570将所记录的音频作为观看者输入提供给控制器520。控制器520可以使用观看者输
入来生成全息内容。类似地，感觉反馈系统570可以包含压力传感器。压力传感器被配置成测量由观看者施加到压力传感器的力。感觉反馈系统570可以将所测量的力作为观看者输入提供给控制器520。
119.在一些实施例中，lf显示系统500包含跟踪系统580。跟踪系统580包含配置成确定目标区域中的观看者的定位、移动和/或特性的任何数目的跟踪装置。通常，跟踪装置在lf显示组合件510的外部。一些实例跟踪装置包含相机组合件(“相机”)、一个或多个2d相机、光场相机、深度传感器、结构光、lidar系统、卡片扫描系统或可以跟踪目标区域内的观看者的任何其它跟踪装置。
120.跟踪系统580可以包含用光照亮目标区域中的一些或全部目标区域的一个或多个能量源。然而，在一些情况下，当呈现全息内容时，目标区域被来自lf显示组合件510的自然光和/或环境光照亮。当执行从控制器520接收的指令时，能量源投射光。光可以是例如结构化光图案、光脉冲(例如，ir闪光灯)或其某种组合。跟踪系统可以投射以下中的光：可见波段(约380nm到750nm)、红外(ir)波段(约750nm到1700nm)、紫外波段(10nm到380nm)、电磁频谱的某个其它部分或其某种组合。源可以包含例如发光二极管(led)、微型led、激光二极管、tof深度传感器、可调激光器等。
121.当执行从控制器520接收的指令时，跟踪系统580可以调整一个或多个发射参数。发射参数是影响光如何从跟踪系统580的源投射的参数。发射参数可以包含例如亮度、脉冲率(包含连续照明)、波长、脉冲长度、影响光如何从源组合件投射的某个其它参数或其某种组合。在一个实施例中，源在飞行时间操作中投射光脉冲。
122.跟踪系统580的相机捕获从目标区域反射的光(例如，结构化光图案)的图像。当执行从控制器520接收的跟踪指令时，相机捕获图像。如先前所描述，光可以由跟踪系统580的源投射。相机可以包含一个或多个相机。也就是说，相机可以是例如光电二极管的阵列(1d或2d)、ccd传感器、cmos传感器、检测由跟踪系统580投射的光中的一些或全部光的某个其它装置或其某种组合。在一个实施例中，跟踪系统580可以含有在lf显示组合件510外部的光场相机。在其它实施例中，将相机包含为包含在lf显示组合件510中的lf显示模块的一部分。例如，如先前所描述，如果光场模块512的能量中继元件是在能量装置层220处交织发射显示器和成像传感器两者的双向能量层，则lf显示组合件510可以被配置成同时投射光场并记录来自显示器前面观看区域的成像信息。在一个实施例中，从双向能量表面捕获的图像形成光场相机。相机将捕获的图像提供给控制器520。
123.当执行从控制器520接收的跟踪指令时，跟踪系统580的相机可以调整一个或多个成像参数。成像参数是影响相机如何捕获图像的参数。成像参数可以包含例如帧速率、光圈、增益、曝光长度、帧定时、滚动快门或全局快门捕获模式、影响相机如何捕获图像的某个其它参数或其某种组合。
124.控制器520控制lf显示组合件510和lf显示系统500的任何其它部件。控制器520包括数据存储装置522、网络接口524、跟踪模块526、观看者简档形成模块528和光场处理引擎530。在其它实施例中，控制器520包括比本文所描述的模块更多或更少的模块。类似地，可以以与此处描述的方式不同的方式在模块和/或不同实体之间分配功能。例如，跟踪模块526可以是lf显示组合件510或跟踪系统580的一部分。
125.数据存储装置522是存储用于lf显示系统500的信息的存储器。所存储的信息可以
包含显示指令、跟踪指令、发射参数、成像参数、目标区域的虚拟模型、跟踪信息、由相机捕获的图像、一个或多个观看者简档、用于光场显示组合件510的校准数据、lf显示系统510的配置数据(包含lf模块512的分辨率和定向)、所期望的观看体几何形状、用于包含3d模型的图形创建的内容、场景和环境、材质和纹理以及lf显示系统500可以使用的其它信息或其某种组合。数据存储装置522是存储器，例如只读存储器(rom)、动态随机存取存储器(dram)、静态随机存取存储器(sram)，或其某一组合。
126.网络接口524允许光场显示系统通过网络与其它系统或环境进行通信。在一个实例中，lf显示系统500通过网络接口524从远程光场显示系统接收全息内容。在另一实例中，lf显示系统500使用网络接口524将全息内容传输到远程数据存储装置。
127.跟踪模块526跟踪观看由lf显示系统500呈现的内容的观看者。为此，跟踪模块526生成控制跟踪系统580的一个或多个源和/或一个或多个相机的操作的跟踪指令，并将跟踪指令提供给跟踪系统580。跟踪系统580执行跟踪指令，并将跟踪输入提供给跟踪模块526。
128.跟踪模块526可确定一个或多个观看者在目标区域内的位置(例如，坐着或站立)。所确定的定位可以相对于例如某个参考点(例如，显示表面)。在其它实施例中，所确定的定位可以在目标区域的虚拟模型内。所跟踪定位可以是例如观看者的所跟踪定位和/或观看者的一部分的所跟踪定位(例如，眼睛位置、手位置等)。跟踪模块526使用来自跟踪系统580的相机的一个或多个捕获的图像来确定定位。跟踪系统580的相机可以分布在lf显示系统500周围，并且可以捕获立体图像，从而允许跟踪模块526被动地跟踪观看者。在其它实施例中，跟踪模块526主动跟踪观看者。也就是说，跟踪系统580照亮目标区域的某个部分，对目标区域进行成像，并且跟踪模块526使用飞行时间和/或结构化光深度确定技术来确定定位。跟踪模块526使用所确定的定位来生成跟踪信息。
129.跟踪模块526还可以从lf显示系统500的观看者接收跟踪信息作为输入。跟踪信息可以包含与由lf显示系统500向观看者提供的各种输入选项相对应的身体移动。例如，跟踪模块526可以跟踪观看者的身体移动并且将任何各种移动作为输入分配到lf处理引擎530。跟踪模块526可以将跟踪信息提供给数据存储装置522、lf处理引擎530、观看者简档形成模块528、lf显示系统500的任何其它部件或其某种组合。
130.不限于观看者的手，跟踪系统580可以记录观看者的手的移动，并将记录传输到跟踪模块526。跟踪模块526在记录中跟踪观看者的手的运动，并将输入发送到lf处理引擎530。如下文所描述，观看者简档形成模块528确定图像中的信息指示观看者的手的运动与肯定响应相关联。因此，如果辨识出足够的观看者具有肯定响应，则lf处理引擎530针对所述肯定生成适当的全息内容。例如，lf处理引擎530可以在场景中投射纸屑。
131.lf显示系统500包含配置成标识观看者并对观看者进行简档形成的观看者简档形成模块528。观看者简档形成模块528生成观看由lf显示系统500显示的全息内容的一个观看者(或多个观看者)的简档。观看者简档形成模块528部分地基于观看者输入和所监测的观看者行为、动作和反应来生成观看者简档。观看者简档形成模块528可以访问从跟踪系统580获得的信息(例如，所记录的图像、视频、声音等)并处理所述信息以确定各种信息。在各个实例中，观看者简档形成模块528可以使用任何数量的机器视力或机器听力算法来确定观看者行为、动作和反应。监测的观看者行为可以包含例如微笑、欢呼、鼓掌、大笑、惊吓、尖叫、兴奋程度、后退、手势的其它变化，或观看者的移动等。
132.更一般地，观看者简档可以包含所接收和/或所确定的关于观看来自lf显示系统的全息内容的观看者的任何信息。例如，每个观看者简档可以记录所述观看者对由lf显示系统500显示的内容的动作或响应。下文提供了可以包含在观看者简档中的一些实例信息。
133.在一些实施例中，观看者简档可描述观看者关于所显示角色、演员、场景等的响应。举例来说，观看者简档可指示观看者通常对特定场景(例如，时间周期、位置、其某一组合等)中发生的内容具有肯定响应。
134.在一些实施例中，观看者简档可指示观看者的特性。举例来说，观看者穿着显示大学标志的运动衫。在这种情况下，观看者简档可以指示观看者正穿着运动衫，并且可能更喜欢与运动衫上的大学标志相关联的全息内容。更广泛地，可以在观看者简档中指示的观看者特性可以包含例如年龄、性别、种族、衣物、场所中的观看位置等。
135.在一些实施例中，观看者简档可以指示观看者关于场景的所要特性的偏好。举例来说，观看者简档可以指示全息对象体以显示全息内容(例如，在壁上)，以及指示全息对象体不显示全息内容(例如，在其头部上方)。观看者简档还可以指示观看者更喜欢在其附近呈现触觉界面，或者更喜欢避开所述触觉界面。
136.在另一实例中，观看者简档指示特定观看者观看的内容的历史。举例来说，观看者简档形成模块528确定观看者先前已经观看过系统的内容。如此，lf显示系统500可以显示与观看者先前一次观看系统的内容不同的全息内容。
137.在一些实施例中，数据存储装置522包含存储由观看者简档形成模块528生成、更新和/或维护的观看者简档的观看者简档存储装置。可以由观看者简档形成模块528随时在数据存储装置中更新观看者简档。例如，在一个实施例中，当特定观看者观看由lf显示系统500提供的全息内容时，观看者简档存储装置在其观看者简档中接收并存储关于特定观看者的信息。在此实例中，观看者简档形成模块528包含面部辨识算法，所述面部辨识算法可以辨识观看者并且在他们观看所呈现的全息内容时肯定地标识。为了说明，在观看者进入lf显示系统500的目标区域时，跟踪系统580获得观看者的图像。观看者简档形成模块528输入所捕获的图像，并使用面部辨识算法来标识观看者的面部。所标识的面部与简档存储装置中的观看者简档相关联，并且如此，所获得的关于所述观看者的所有输入信息可以存储在其简档中。观看者简档形成模块还可以利用卡标识扫描仪、语音标识符、射频标识(rfid)芯片扫描仪、条形码扫描仪等来肯定地标识观看者。
138.因为观看者概括分析模块528可以肯定地标识观看者，所以观看者概括分析模块528可以确定每个观看者对lf显示系统500的每次访问。观看者简档形成模块528然后可以将每次访问的时间和日期存储在每个观看者的观看者简档中。类似地，观看者简档形成模块528可以在每次其出现时存储从观看者接收的来自感觉反馈系统570、跟踪系统580和/或lf显示组合件510的任何组合的输入。观看者简档系统528可以另外从控制器520的其它模块或部件接收关于观看者的其它信息，所述信息随后可以与观看者简档一起存储。控制器520的其它组件然后也可以访问所存储的观看者简档，以确定提供给所述观看者的后续内容。
139.lf处理引擎530生成呈光栅化格式(“光栅化数据”)的4d坐标，所述4d坐标在由lf显示组合件510执行时使lf显示组合件510呈现全息内容。lf处理引擎530可以从数据存储装置522访问光栅化数据。另外，lf处理引擎530可以从向量化数据集构建光栅化数据。下文
描述向量化数据。lf处理引擎530还可以生成提供增强全息对象的感觉内容所需的感觉指令。如上文所描述，当由lf显示系统500执行时，感觉指令可以生成由lf显示系统500支持的触觉表面、声场和其它形式的感觉能量。lf处理引擎530可以从数据存储装置522访问感觉指令，从向量化数据集构建感觉指令。总的来说，4d坐标和感觉数据表示可由lf显示系统执行以生成全息和感觉内容的显示指令。
140.描述通过lf显示系统500中的各种能量源的能量流的光栅化数据量非常大。尽管当从数据存储装置522访问时可以将光栅化数据显示在lf显示系统500上，但是不能有效地传输、接收(例如，经由网络接口524)并随后在lf显示系统500上显示光栅化数据。例如，以表示由lf显示系统500进行的全息投射的短片的光栅化数据为例。在此实例中，lf显示系统500包含含有若干十亿像素的显示器，并且光栅化数据含有用于显示器桑的每个像素位置的信息。光栅化数据的对应大小是巨大的(例如，每秒数千兆字节的电影显示时间)，并且对于经由网络接口524在商业网络上的有效传递来说是不可管理的。对于包含全息内容的实时流式传输的应用，可以放大有效传递问题。当使用来自感觉反馈系统570或跟踪模块526的输入需要交互式体验时，产生仅在数据存储装置522上存储光栅化数据的额外问题。为了实现交互式体验，可以响应于感觉或跟踪输入实时修改由lf处理引擎530生成的光场内容。换句话说，在一些情况下，无法简单地从数据存储装置522读取lf内容。
141.因此，在一些配置中，可以用向量化数据格式(“向量化数据”)将表示由lf显示系统500显示的全息内容的数据传递到lf处理引擎530。向量化数据可能比光栅化数据小几个数量级。此外，向量化数据提供高图像质量，同时具有实现数据的有效共享的数据集大小。例如，向量化数据可以是源自更密集数据集的稀疏数据集。因此，基于如何从密集光栅化数据采样稀疏向量化数据，向量化数据可以在图像质量与数据传输大小之间具有可调整平衡。用于生成向量化数据的可调采样实现在给定网络速度下优化图像质量。因此，向量化数据实现全息内容经由网络接口524的有效传输。向量化数据还使全息内容能够通过商业网络实时流式传输。
142.总而言之，lf处理引擎530可以生成源自从数据存储装置522访问的光栅化数据、从数据存储装置522访问的向量化数据，或经由网络接口524接收的向量化数据的全息内容。在各种配置中，向量化数据可以在数据传输之前进行编码并且在由lf控制器520接收之后进行解码。在一些实例中，对向量化数据进行编码以用于与数据压缩相关的附加数据安全和性能改进。例如，通过网络接口接收的向量化数据可以是从全息流媒体应用接收的编码向量化数据。在一些实例中，向量化数据可能需要解码器、lf处理引擎530，或者两者来访问在向量化数据中编码的信息内容。编码器和/或解码器系统可供消费者使用或授权给第三方供应商。
143.向量化数据含有lf显示系统500以支持交互式体验的方式支持的每个感觉域的所有信息。例如，用于交互式全息体验的向量化数据包含可以为lf显示系统500所支持的每个感觉域提供准确物理效果的任何向量化特征。向量化特征可以包含可以进行合成地编程、捕获、计算评估等的任何特征。lf处理引擎530可以被配置成将向量化数据中的向量化特征转换成光栅化数据。lf处理引擎530然后可以从lf显示组合件510投射从向量化数据转换的全息内容。在各种配置中，向量化特征可以包含：一个或多个红/绿/蓝/α通道(rgba) 深度图像；具有或不具有不同分辨率的深度信息的多个视图图像，所述视图图像可以包含一个
高分辨率中心图像以及较低分辨率的其它视图；例如反照率和反射率的材料特征；表面法线；其它光学效应；表面标识；几何对象坐标；虚拟相机坐标；显示平面位置；照明坐标；表面的触觉刚度；触觉延展性；触觉强度；声场的振幅和坐标；环境条件；与用于纹理或温度、音频的机械感受器相关的体感能量向量；以及任何其它感觉域特征。许多其它向量化特征也是可能的。
144.lf显示系统500还可以产生交互式观看体验。也就是说，全息内容可以响应于输入刺激，所述输入刺激含有关于观看者位置、手势、交互、与全息内容的交互的信息，或源自观看者简档形成模块528和/或跟踪模块526的其它信息。例如，在实施例中，lf处理系统500使用经由网络接口524接收到的实时性能管理的向量化数据产生交互式观看体验。在另一实例中，如果全息对象需要响应于观看者交互而立即在特定方向上移动，则lf处理引擎530可以更新场景的渲染，因此全息对象在所述所需方向上移动。这可能需要lf处理引擎530使用向量化数据集来基于3d图形场景实时渲染光场，所述3d图形场景具有适当目标布置和移动、碰撞检测、遮挡、颜色、阴影、照明等，从而正确地对观看者交互作出响应。lf处理引擎530将向量化数据转换成光栅化数据以由lf显示组合件510呈现。
145.光栅化数据包含表示实时性能的全息内容指令和感觉指令(显示指令)。lf显示组合件510通过执行显示指令同时投射实时性能的全息和感觉内容。lf显示系统500通过跟踪模块526和观看者简档形成模块528监测与所呈现的实时性能的观看者交互(例如，声音响应、触摸等)。响应于观看者交互，lf处理引擎通过生成额外全息和/或感觉内容以显示给观看者来产生交互式体验。
146.为了说明，考虑包含lf处理引擎530的lf显示系统500的实例实施例，所述lf处理引擎生成表示从天花板落下的气球的多个全息对象。观看者可以移动以触摸表示气球的全息对象。相应地，跟踪系统580跟踪观看者的手相对于全息对象的移动。观看者的移动由跟踪系统580记录并发送到控制器520。跟踪模块526连续确定观看者的手的运动并将已确定的运动发送到lf处理引擎530。lf处理引擎530确定观看者的手在场景中的放置，调整图形的实时渲染以在全息对象中包含任何所需的改变(如定位、颜色或遮挡)。lf处理引擎530指示lf显示组合件510(和/或感觉反馈系统570)使用体触觉投射系统(例如，使用超声扬声器)生成触觉表面。所生成的触觉表面对应于全息对象的至少一部分，并且占据与全息对象的外部表面中的一些或全部外部表面基本上相同的空间。lf处理引擎530使用跟踪信息来动态地指示lf显示组合件510将触觉表面的位置与经渲染的全息对象的位置一起移动，使得给予观看者触摸气球的视觉和触觉感知两者。更简单地，当观看者观看他的手触摸全息气球时，观看者同时感觉到指示其手触摸了全息气球的触觉反馈，并且气球响应于触摸而改变定位或运动。在一些实例中，并非在从数据存储装置522访问的内容中呈现交互式气球，交互式气球可被接收为经由网络接口524从实况流式传输应用接收的全息内容的部分。
147.全息内容轨迹中的全息内容可与任何数目个时间、听觉、视觉等提示相关联以显示全息内容。举例来说，全息内容轨迹可包含待在内容中在特定时间显示的全息内容。在另一实例中，全息内容轨迹包含当感觉反馈系统570记录特定音频提示时将呈现的全息内容。在另一实例中，全息内容轨迹包含在跟踪系统580记录特定视觉提示时将显示的全息内容。下文更详细地描述了确定听觉和视觉提示。
148.全息内容轨迹还可以包含空间渲染信息。也就是说，全息内容轨迹可指示用于呈
现全息内容的空间位置。例如，全息内容片段可以指示将在一些全息观看体中，而不是其它全息观看体中呈现某些全息内容。类似地，全息内容轨迹可以指示全息内容呈现给一些观看体，而不是其它观看体。
149.lf处理引擎500还可以修改全息内容以适合正呈现全息内容的场所或位置。举例来说，并非每个位置都具有相同的大小，具有相同的布局，或具有相同的技术配置。因此，lf处理引擎530可以修改全息内容，使得其将被适当地显示在特定位置中。在一实施例中，lf处理引擎530可访问包含布局、分辨率、视野、其它技术规范等的位置的配置文件。lf处理引擎530可以基于包含在配置文件中的信息渲染和呈现全息内容。
150.lf处理引擎530还可以创建全息内容以由lf显示系统500显示。重要的是，此处，创建用于显示的全息内容不同于访问或接收用于显示的全息内容。也就是说，当创建内容时，lf处理引擎530生成用于显示的全新内容，而不是访问先前生成和/或接收的内容。lf处理引擎530可以使用来自跟踪系统580、感觉反馈系统570、观看者简档形成模块528、跟踪模块528或其某一组合的信息以创建全息内容以供显示。在一些实例中，lf处理引擎530可以访问来自lf显示系统500的元件的信息(例如，跟踪信息和/或观看者简档)，基于所述信息创建全息内容，并且作为响应，使用lf显示系统500显示创建的全息内容。当由lf显示系统500显示时，创建的全息内容可以用其它感觉内容(例如，触摸、音频或气味)增强。此外，lf显示系统500可以存储创建的全息内容，使得其可以在将来显示。
151.另外，lf处理引擎530可以响应于从例如管理员、观看者或两者接收到的动作请求而在应用内执行动作。在一些实施例中，动作请求可以是目标区域内的观看者提供的口头命令。可以使用声学装置检测口头命令。举例来说，观看者可能够使用一个或多个口头命令(例如，暂停或取消暂停)来暂停和/或取消暂停由lf显示系统500呈现的内容。在一些实施例中，动作请求可以是目标区域内的观看者提供的身体移动。身体移动可以由跟踪系统580记录。举例来说，观看者可以与全息表演者进行对话，以执行某些动作并提供各种服务。这些可以是待由全息表演者执行的基于内容的动作或请求，或者是基于物理的动作或请求，例如调暗灯光、改变风景，甚至请求零食或饮料。
152.在一些实施例中，所述一个或多个感觉装置由观看者结合由lf处理引擎530执行的应用使用。虽然所述一个或多个感觉装置可以独立于lf显示系统500操作，但在一些实施例中，所述一个或多个感觉装置与lf处理引擎530呈现的全息内容协同操作。在一个实施例中，所述感觉装置中的一个或多个可以从lf处理引擎530接收操作指令，以根据lf处理引擎530执行的应用进行操作。在另一实施例中，一个或多个lf显示模块可以并入到所述一个或多个感觉装置中或上，以扩增感觉模拟装置的外观，或者lp显示系统500可以跟踪环境中的感觉模拟装置的位置，并且致使所述一个或多个显示模块扩增感觉模拟装置的外观。
153.lf显示系统的动态内容生成
154.在一些实施例中，lf处理引擎530并入有人工智能(ai)模型，以创建全息内容以供lf显示系统500显示。ai模型可以包含监督或无监督的学习算法，包含但不限于回归模型、神经网络、分类器或任何其它ai算法。ai模型可以用于基于由lf显示系统500(例如，由跟踪系统580)记录的观看者信息来确定观看者偏好，所述观看者信息可以包含关于观看者的行为的信息。
155.ai模型可以从数据存储装置522访问信息以创建全息内容。例如，ai模型可以从数
据存储装置522中的一个或多个观看者简档访问观看者信息，或者可以从lf显示系统500的各个部件接收观看者信息。为了说明，ai模型可以确定观看者喜欢看到内容中的演员或模型佩戴蝴蝶结的全息内容。ai模型可以基于一组观看者对包含佩戴蝴蝶结的演员的先前观看的全息内容的积极反应或响应来确定偏好。换句话说，ai模型可以根据学习到的那些观看者的偏好来创建个性化针对一组观看者的全息内容。因此，例如，ai模型可以使用lf显示系统500将蝴蝶结并入由一组观看者观看的全息内容中所显示的演员。ai模型还可以将学习到的每个观看者的偏好存储在数据存储装置522的观看者简档存储中。在一些实例中，ai模型可以为单个观看者而不是一组观看者创建全息内容。
156.可以用于标识观看者的特性、标识反应和/或基于所标识的信息生成全息内容的ai模型的一个实例是具有节点层的卷积神经网络模型，其中当前层的节点处的值是先前层的节点处的值的变换。通过连接当前层和先前层的一组权重和参数确定模型中的变换。例如，并且ai模型可以包含五个节点层：层a、b、c、d和e。从层a到层b的变换由函数w1给出，从层b到层c的变换由w2给出，从层c到层d的变换由w3给出，并且从层d到层e的变换由w4给出。在一些实例中，还可以通过用于在模型中的先前层之间进行变换的一组权重和参数来确定变换。例如，从层d到层e的变换w4可以基于用于完成从层a到b的变换w1的参数。
157.模型的输入可以是由跟踪系统580获取的编码到卷积层a上的图像，并且模型的输出是从输出层e解码的全息内容。替代地或另外，输出可以是图像中的观看者的所确定特性。在此实例中，ai模型标识表示标识层c中的观看者特性的图像中的潜在信息。ai模型将卷积层a的维度减小到标识层c的维度，以标识图像中的任何特征、动作、响应等。在一些实例中，ai模型然后增加标识层c的维度以生成全息内容。
158.将来自跟踪系统580的图像编码到卷积层a。卷积层a中的图像输入可以与标识层c中的各种特性和/或反应信息等相关。可以通过在对应层之间应用一组变换来检索这些元件之间的相关信息。也就是说，ai模型的卷积层a表示编码图像，并且模型的标识层c表示微笑观看者。可以通过将变换w1和w2应用于卷积层a的空间中的图像的像素值来标识给定图像中的微笑观看者。用于变换的权重和参数可以指示包含在图像中的信息与微笑观看者的标识之间的关系。例如，权重和参数可以是包含在表示图像中的微笑观看者的信息中的形状、颜色、大小等的量化。权重和参数可以基于历史数据(例如，先前跟踪的观看者)。
159.在标识层c中标识图像中的微笑观看者。标识层c表示基于关于图像中的微笑观看者的潜在信息标识的微笑观看者。
160.图像中的所标识的微笑观看者可以用于生成全息内容。为了生成全息内容，ai模型在标识层c处开始且将变换w2和w3应用于标识层c中的给定所标识的微笑观看者的值。变换产生输出层e中的一组节点。用于变换的权重和参数可以指示所标识的微笑观看者与特定全息内容和/或偏好之间的关系。在一些情况下，全息内容直接从输出层e的节点输出，而在其它情况下，内容生成系统将输出层e的节点解码到全息内容。例如，如果输出是一组标识的特性，则lf处理引擎可以使用特性来生成全息内容。
161.另外，ai模型可以包含被称为中间层的层。中间层是不对应于图像、不标识特性/反应等或不生成全息内容的层。例如，在给定实例中，层b是卷积层a与标识层c之间的中间层。层d是标识层c与输出层e之间的中间层。隐藏层是在数据中观察不到的标识的不同方面的潜在表示，但是当标识特性并且生成全息内容时可以控制图像元素之间的关系。例如，隐
藏层中的节点可以与共享“高兴的人微笑”的共同性的输入值和标识值具有强连接(例如，大的权重值)。作为另一实例，隐藏层中的另一节点可以与共享“害怕的人尖叫”的共同性的输入值和标识值具有强连接。当然，神经网络中存在任何数目的连接。另外，每个中间层是功能的组合，例如残差块、卷积层、池化操作、跳过连接、串联等。任何数目的中间层b可以用于将卷积层减少到标识层，并且任何数目的中间层d可以用于将标识层增加到输出层。
162.在一个实施例中，ai模型包含已经用强化学习训练的确定性方法(由此创建强化学习模型)。所述模型进行训练以使用来自跟踪系统580的测量作为输入并且使用所创建全息内容的改变作为输出来提高性能的质量。
163.强化学习是机器学习系统，其中机器学习“做什么
”‑
如何将情况映射到动作-从而最大化数字奖励信号。不告知学习者(例如，lf处理引擎530)要采取哪些动作(例如，生成规定的全息内容)，而是通过尝试所述动作发现哪些动作产生最高的奖励(例如，通过使更多人欢呼来提高全息内容的质量)。在一些情况下，动作不仅可以影响即时奖励，而且影响下一种情况，并因此影响所有后续奖励。这两个特征
‑‑
尝试错误搜寻和延迟奖励
‑‑
是强化学习的两个显著特征。
164.强化学习不是通过表征学习方法，而是通过表征学习问题来定义。基本上，强化学习系统捕获学习代理与其环境进行交互以实现目标所面临的问题的那些重要方面。也就是说，在为表演者生成歌曲的实例中，强化学习系统捕获关于场所中观看者的信息(例如，年龄、性格等)。此代理感测环境的状态且采取影响状态的动作以实现一个或多个目标(例如，创作一首会让观看者为之欢呼的流行歌曲)。在其最基本形式中，强化学习的制定包含学习者的三个方面：感觉、动作和目标。继续歌曲实例，lf处理引擎530通过跟踪系统580的传感器感测环境的状态，向环境中的观看者显示全息内容，并且实现作为观看者对所述歌曲的接收的度量的目标。
165.强化学习中出现的挑战之一是探索与利用之间的权衡。为了增加系统中的奖励，强化学习代理更喜欢过去尝试过的并且发现要有效产生奖励的动作。然而，为了发现产生奖励的动作，学习代理会选择之前未选择的动作。代理“利用”它已经知道的信息以获得奖励，但它也“探索”信息以在未来做出更好的行动选择。学习代理尝试各种动作，并且在继续尝试新动作的同时逐渐偏爱那些看起来最佳的动作。在随机任务上，每个动作通常都会尝试多次，以获得对其预期奖励的可靠估计。例如，如果lf处理引擎创建lf处理引擎知道在长时间段后会导致观看者大笑的全息内容，则lf处理引擎可以改变全息内容，直到观看者大笑的时间减少。
166.此外，强化学习考虑目标导向代理与不确定环境交互的整个问题。强化学习代理有明确的目标，可以感测其环境的各方面，并可以选择接收高奖励的动作(即，咆哮的人群)。此外，尽管代理面临的环境具有显著不确定性，但它通常会运行。当强化学习涉及计划时，系统将解决计划与实时动作选择之间的相互作用，以及如何获取和改善环境要素的问题。为了使强化学习取得进步，必须分离和研究重要的子问题，子问题在完整的交互式寻求目标的代理中起明确作用。
167.强化学习问题是机器学习问题的框架，在所述框架中，处理交互并执行动作以实现目标。学习者和决策者称为代理(例如，lf处理引擎530)。代理与其交互的事物(包括代理之外的所有事物)称为环境(例如，场所中的观看者等)。这两个持续地进行交互，代理选择
动作(例如，创建全息内容)，并且环境响应于这些动作并将新情况呈现给代理。环境还带来了奖励，即代理试图随时间最大化的特殊数值。在一种背景下，奖励起到使观看者对全息内容的肯定反应最大化的作用。环境的完整规范定义一项任务，所述任务是强化学习问题的一个实例。
168.为了提供更多上下文，代理(例如，内容生成系统350)和环境在一系列离散时间步长中的每一个，即t＝0、1、2、3等处交互。在每一时间步长t，代理接收环境状态s
t
的一些表示(例如，来自跟踪系统580的测量值)。状态s
t
在s内，其中s是可能状态的集合。基于状态s
t
和时间步长t，代理选择动作at(例如，使执行者进行拆分)。动作at在a(s
t
)内，其中a(s
t
)是可能动作的集合。之后的一个时间状态(部分作为其动作的结果)，代理接收数字奖励r
t 1
。状态r
t 1
在r内，其中r是可能奖励的集合。一旦代理接收到奖励，代理就会选择新状态s
t 1
。
169.在每个时间步长处，代理都会实施从状态到选择每个可能动作的概率的映射。此映射称为代理的策略并且表示为π
t
，其中π
t
(s,a)是如果s
t
＝s，则a
t
＝a的概率。强化学习方法可以决定代理如何由于代理动作产生的状态和奖励来更改其策略。代理的目标是使随着时间的推移接收的奖励总数最大化。
170.这种强化学习框架非常灵活，并且可以以许多不同的方式(例如，生成全息内容)应用于许多不同的问题。框架提出，无论感觉、记忆和控制设备的细节如何，学习目标导向行为的任何问题(或目的)都可以减少到代理与其环境之间来回传递的三个信号：一个信号表示由代理做出的选择(动作)、一个信号表示做出选择的依据(状态)以及一个信号定义代理目标(奖励)。
171.当然，ai模型可以包含任何数量的机器学习算法。可以采用的一些其它ai模型是线性和/或逻辑回归、分类和回归树、k均值聚类、向量量化等。无论情况如何，lf处理引擎530通常从跟踪模块526和/或观看者简档形成模块528获取输入并且作为响应，机器学习模型创建全息内容。类似地，ai模型可以引导全息内容的渲染。
172.lf处理引擎530可基于电影创建全息内容。举例来说，电影院中放映的电影可与描述电影特性的一组元数据相关联。元数据可以包含例如背景、流派、男演员、女演员、主题、标题、运行时间、评级等。lf处理引擎530可以访问描述电影的元数据中的任何元数据，并作为响应生成全息内容以呈现在场所中。举例来说，标题为“the last merman”的电影将在用lf显示系统500扩增的场所中放映。lf处理引擎530访问电影的元数据以创建用于场所的壁的全息内容。此处，元数据包含背景是水下并且流派是浪漫。lf处理引擎530将元数据输入ai模型中，并且作为响应接收显示在场所的壁上的全息内容。在此实例中，lf处理引擎530创建海边日落以显示在场所的壁上。
173.在实例中，lf处理引擎530可将传统二维(2d)内容转换为全息内容以供由lf显示系统显示。举例来说，lf处理引擎530可将传统电影或其它内容输入到ai模型中，且ai模型将传统电影的任何部分转换成全息内容。在一实例中，ai模型可通过使用通过将二维数据转换成全息数据训练的机器学习算法将传统电影转换成全息内容。在各种情形中，训练数据可以是先前生成的、创建的或这两者的某一组合。lf显示系统500可接着显示与电影相关联的全息内容而非电影的传统二维版本。举例来说，全息内容可以是具有来自电影场景的背景的场景。
174.创建内容的前述实例不是限制性的。最广泛地，lf处理引擎530创建全息内容以用
于显示给lf显示系统500的观看者。可以基于lf显示系统500中包含的信息中的任何信息来创建全息内容。
175.全息模拟内容分发网络
176.图5b是根据一个或多个实施例并入有用于模拟的光场显示系统的光场环境的框图。由图5b所示的lf模拟内容分发系统560包括一个或多个客户端lf显示系统500a和500b、网络575、一个或多个第三方系统585以及在线系统590。在替代配置中，不同的和/或额外的组件可以包含在lf模拟内容分发系统560中。举例来说，在线系统590可包括社交网络系统、内容共享网络，或向观看者提供内容的另一系统。
177.客户端lf显示系统500a和500b能够经由网络575显示全息内容、接收输入并且传输和/或接收数据。客户端lf显示系统500a和500b是lf显示系统500的实施例。如此，每一客户端lf显示系统包括被配置成经由网络575和lf显示组合件(例如，lf显示组合件510)接收全息内容的控制器。lf显示组合件可包括一个或多个lf显示模块(例如，lf显示模块512)，其将全息内容作为全息对象体中的模拟显示给位于观看体中的观看者。客户端lf显示系统500a和500b被配置成经由网络575进行通信。在一些实施例中，客户端lf显示系统500a和500b执行允许客户端lf显示系统的观看者与在线系统590交互的应用。举例来说，客户端lf显示系统500a执行浏览器应用以实现客户端lf显示系统500a与在线系统590之间经由网络575的交互。在其它实施例中，客户端lf显示系统500a经由在客户端lf显示系统500a的本机操作系统，例如或android
tm
上运行的应用编程接口(api)与在线系统590交互。为了有效的传递速度，客户端lf显示系统500a和500b的数据可以作为向量化数据经由网络575进行传递。每一客户端lf显示系统处的lf处理引擎(例如，lf处理引擎530)可以对向量化数据进行解码并将其转换为光栅化格式以供在相应lf显示组合件(例如，lf显示组合件510)上显示。
178.客户端lf显示系统500a和500b被配置成使用有线和/或无线通信系统两者经由网络575进行通信，所述网络可包括局域网和/或广域网的任何组合。在一些实施例中，网络575使用标准通信技术和/或协议。举例来说，网络575包含使用例如以太网、802.11、全球微波接入互操作性(wimax)、3g、4g、码分多址(cdma)、数字订户线(dsl)等技术的通信链路。用于经由网络575通信的联网协议的实例包含多协议标记交换(mpls)、传输控制协议/互联网协议(tcp/ip)、超文本传输协议(http)、简单邮件传送协议(smtp)和文件传送协议(ftp)。在网络575上交换的数据可以使用任何合适的格式来表示，例如超文本标记语言(html)或可扩展标记语言(xml)。在一些实施例中，网络575的所有或一些通信链路可以使用任何合适的一种或多种技术进行加密。
179.一个或多个第三方系统585可以联接到网络575以与在线系统590进行通信。在一些实施例中，第三方系统585是经由网络575传送待分发到客户端lf显示系统500a和500b的全息内容的内容控制系统，例如内容提供商。在一些实施例中，第三方系统585还可以将全息内容传送到在线系统590，所述在线系统接着可以将全息内容分发到客户端lf显示系统500a和500b。每一第三方系统585具有可以存储全息内容项目的内容存储区582，所述全息内容项目可以被分发以呈现给客户端lf显示系统500a和500b。第三方系统585可以向所述一个或多个客户端lf显示系统500a和500b提供全息内容以换取报酬。在一个实施例中，全息内容项目可以与在被分发到客户端lf显示系统500a和500b以供呈现时在线系统590可以
收集的成本相关联。
180.在线系统590通过向客户端lf显示系统500a和500b提供全息内容以换取报酬来调节全息内容的分发。全息内容经由网络575提供。在线系统590包含观看者简档存储区592、内容存储区594、交易模块596以及内容分发模块598。在其它实施例中，在线系统590可包含用于各种应用的额外、更少或不同的部件。未示出常规部件，例如网络接口、安全功能、负载平衡器、故障接管服务器、管理和网络操作控制台等等，以免混淆系统架构的细节。
181.在线系统590的观看者可以与观看者简档相关联，所述观看者简档存储在观看者简档存储区592中。观看者简档包含由观看者明确共享的关于观看者的陈述性信息，并且还可包含由在线系统590推断的简档信息。在一些实施例中，观看者简档包含多个数据字段，每一数据字段描述相应在线系统观看者的一个或多个属性。存储在观看者简档中的信息的实例包含传记、人口统计和其它类型的描述性信息，例如工作经历、教育历史、性别、爱好或偏好、位置等。观看者简档还可以存储观看者提供的其它信息，例如图像或视频。在某些实施例中，观看者的图像可以用标识显示在图像中的在线系统观看者的信息，以及标识存储在观看者的观看者简档中的标记观看者的图像的信息来标记。观看者简档存储区592中的观看者简档还可维持对相应观看者对内容存储区594中的内容项目执行的动作的参考，包含所监测的观看者的响应或用跟踪系统(例如，跟踪系统580)捕获并由跟踪模块(例如，跟踪模块526)确定的观看者的特性。所监测的观看者的响应可包含观看者在观看体中的位置、观看者的移动、观看者的手势、观看者的面部表情和观看者的注视。lf显示组合件可以响应于所监测的观看者的响应来更新全息内容的呈现。观看者的特性可包含观看者的人口统计信息、工作经历、教育历史、性别、收入、购买上花费的金额、爱好、位置、年龄、观看历史、对项目花费的时间、先前观看的项目的类别以及购买历史。lf显示组合件可以响应于观看者的特性来更新全息内容的呈现。在一些实施例中，观看者简档存储区592可以存储观看者的特性和由在线系统推断的观看者信息。在一些实施例中，观看者简档可以存储由一个或多个客户端lf显示系统提供的信息，所述信息可以包含提供的信息和/或从观看者简档形成模块(例如，观看者简档形成模块528)记录或推断的信息。
182.虽然观看者简档存储区592中的观看者简档常常与个体相关联，允许个体经由在线系统590彼此交互，但观看者简档还可以被存储用于例如企业或组织等实体。这允许实体在在线系统590上建立存在以与其它在线系统观看者连接和交换内容。实体可以使用与实体的观看者简档相关联的品牌页面发布关于其自身、关于其产品的信息或向在线系统590的观看者提供其它信息。与品牌页面相关联的观看者简档可包含关于实体自身的信息，从而为观看者提供关于实体的背景或信息数据。在一个实施例中，在线系统590的其它观看者可以与品牌页面交互(例如，连接到品牌页面以接收发布到品牌页面的信息或从品牌页面接收信息)。观看者简档存储区592中的观看者简档可以维持对由相应观看者执行的交互的参考。如上文所描述，存储在观看者简档中(例如，在观看者简档形成模块528中)的任何信息都可以用作机器学习或ai模型的输入，以创建全息内容来显示给观看者。
183.内容存储区594存储例如待分发到所述一个或多个客户端lf显示系统500a和500b的观看者的全息内容等全息内容。除全息内容外，全息内容的实例的范围可包括：广告(例如，推广即将到来的销售活动、推广品牌等等)、通告(例如，政治演讲、励志演讲等等)、公共服务警报(例如，龙卷风警告、安珀警报等等)、新闻信息(例如，新闻头条、体育比分等等)、
天气信息(例如，当地天气预报、空气质量指数等等)、场馆信息(例如，票房时间、即将举行的演出时间表等等)、关于交通或旅行状况的信息(例如，交通报告、道路封闭等等)、关于企业实体的信息(例如，办公室目录、营业时间等等)、表演(例如，音乐会、戏剧等等)、艺术内容(例如，雕塑、陶瓷等等)、任何其它全息内容，或其任何组合。在一些实施例中，在线系统观看者可以创建由内容存储区594存储的全息内容。在其它实施例中，全息内容从独立于在线系统590的第三方系统585接收。内容存储区594中的对象可表示单条内容或内容“项目”。
184.交易模块596向所述一个或多个客户端lf显示系统500a和500b提供全息内容以换取报酬。在一个实施例中，交易模块596管理交易，其中存储在内容存储区594中的全息内容经由网络575分发到客户端lf显示系统500a和500b。在一个实施例中，客户端lf显示系统500a和/或500b或客户端lf显示系统500a和500b的联网实体所有者可为特定全息内容项目提供报酬，且交易可由交易模块596管理。替代地，第三方系统585可以将来自内容存储区582的内容提供给lf显示系统500a和/或500b，以换取提供给交易模块596的交易费用。在其它实施例中，在线系统590可以直接将内容分发到客户端lf显示系统500a和500b，而无论交易模块596是否向特定实体的账户收费。在一些实施例中，客户端lf显示系统500a和500b与一个或多个观看者简档相关联，且由交易模块596向相应观看者账户收取全息内容项目的展示费用。在一些实施例中，全息内容项目可以无限期购买和使用，也可以租用一段时间。然后，由交易模块596收取的全部或部分报酬可以提供给全息内容项目的提供商。举例来说，从内容存储区582提供全息内容项目的第三方系统585可接收从客户端lf显示系统500a和500b收集的用于购买全息内容项目的报酬的一部分。
185.内容分发模块598为客户端lf显示系统500a和500b提供全息内容项目。内容分发模块598可以接收来自交易模块596的对于待呈现给客户端lf显示系统500a和/或500b的全息内容项目的请求。内容分发模块598从内容存储区594检索全息内容项目并且将全息内容项目提供到客户端lf显示系统500a和/或500b以显示给观看者。
186.在一些实施例中，客户端lf显示系统500a和500b可以部分地取决于是否接收到输入而记录全息内容的呈现实例。在一个实施例中，客户端lf显示系统500a和500b可被配置成响应于全息内容的呈现而接收输入。在一些实施例中，如果观看者对在全息内容的呈现期间提供的提示提供响应，则客户端lf显示系统500a和500b可以确认全息内容的呈现实例。举例来说，客户端lf显示系统500a接收来自观看者的声音输入(例如，在被提示之后)，客户端lf显示系统500a使用所述声音输入来确认全息内容的呈现。客户端lf显示系统500a和500b可以使用接收的输入与其它度量(例如，由跟踪系统580获得的信息)的组合来确认全息内容的呈现实例。在其它实施例中，客户端lf显示系统500a和500b可被配置成响应于接收到的输入来更新全息内容的呈现。
187.在一些配置中，内容分发系统560中的客户端lf显示系统500a和500b可以具有不同的硬件配置。可以基于客户端lf显示系统500a和500b的硬件配置来呈现全息内容。硬件配置可包含分辨率、每度所投射光线的数目、视场、显示表面上的偏转角以及显示表面的维度。每个硬件配置可生成或使用呈不同数据格式的感测数据。如先前所论述，包含所有感觉数据(例如，全息、音频和触觉数据)的全息内容可以作为编码向量化格式传递到客户端lf显示系统500a和500b。因而，考虑到客户端lf显示系统500a或500b的相应硬件配置，每一客户端lf显示系统的lf处理引擎(例如，lf处理引擎530)可以对将在lf显示系统上呈现的编
码数据进行解码。举例来说，第一客户端lf显示系统500a可具有第一硬件配置，且第二客户端lf显示系统500b可具有第二硬件配置。第一客户端lf显示系统500a可以接收与第二客户端lf显示系统相同的全息内容。尽管第一硬件配置和第二硬件配置存在差异，但每一lf显示系统500a和500b的lf处理引擎必须呈现全息内容，可能以不同的分辨率、不同的视场等等来呈现所述全息内容。
188.用于娱乐的光场显示系统
189.图6是根据一个或多个实施例的被平铺以在娱乐场所600中形成多边无缝表面的lf显示系统500的一部分的透视图。lf显示系统500包含被平铺以形成lf显示模块阵列610的多个lf显示模块610。举例来说，阵列阵列可以覆盖房间的一些或全部表面(例如，一个或多个壁、地板和/或天花板)。在此实例中，观看者620正在观看全息表演者630的形式的全息内容。在此实例中，观看者620不是在计算机屏幕上或经由虚拟现实(vr)头戴式设备观看内容，而是站在房间中，全息表演者630正由lf显示模块阵列610显示。
190.如上所述，lf显示系统500可以使用人工智能(ai)和机器学习(ml)模型来定制观看者的体验，这些模型使用来自跟踪系统580的跟踪信息，所述跟踪系统记录每一观看者在他们与娱乐场所600中的全息内容交互时的移动。此包含通过各种传感器跟踪他们的行为(例如，肢体语言、面部表情、语调等)。一般来说，跟踪系统获得的观看者信息包含观看者对全息内容的响应，以及观看全息内容的观看者的特性。观看者响应可包含观看者的位置、观看者的移动、观看者的手势或观看者的面部表情。观看者的特性包含观看者的年龄、观看者的性别、观看者的偏好等。在另一实施例中，如上所述，虽然图像感测元件可以是与显示表面分离的专用传感器(例如，相机和/或麦克风)，但跟踪系统580的图像感测元件可以经由既发射又吸收能量的双向能量元件集成到lf显示模块610的显示表面中。在此实施例中，可以从相对于布置在整个环境中的若干2d相机潜在的更多角度来捕获图像数据。在一些实施例中，光场图像数据由lf显示模块记录。lf显示模块610的显示表面捕获的图像或光场数据可能来自娱乐环境中未被物体和其他观看者遮挡的所有角度。因此，结果是定制的ai(例如，全息表演者630)，其基于观看者在娱乐场所600中观察到的行为来吸引观看者。因此，与观看者仅限于观看经由头戴式设备显示的虚拟场景的虚拟现实(vr)环境不同，lf显示系统500能够经由例如全息表演者等对于真实对象更加身临其境的传感器系统，跟踪和响应观看者620做出的更微妙的提示和动作，例如他们的肢体语言、语调等。此外，观看者620不会因vr系统中常见的特殊护目镜、眼镜或头戴式配件的重量或不适而分心。
191.因此，在一个实施例中，lf处理引擎530生成全息表演者630并且跟踪系统580获得用于观看者620和全息表演者630之间的交互的图像数据。这些交互可以是公开的交互，例如他们之间的对话，或者交互可以更微妙，例如响应于来自全息表演者630的动作或评论的观看者的肢体语言。lf处理引擎530还使用ai和/或ml模型为全息执行器630生成响应以响应于交互执行。
192.在另一实施例中，全息表演者630可以是另一个人的全息表示，例如观看者620的重要的其他人从远程位置参与一对情侣的会话。举例来说，图6中的全息表演者630可以是在远离观看者620所在的娱乐场所600的位置的第二观看者的实况全息表示。在此实施例中，控制器520接收由系统的一个或多个图像捕获元件在第二观看者所在的位置处捕获的第二观看者的图像数据。因此，lf处理引擎530获得此图像数据并生成娱乐场所600内的第
二观看者的实况全息表示以呈现给观看者602。在此实例中，可以生成并提供观看者620的实况全息表示以在第二观看者的位置处同时呈现给第二观看者。在此实施例中，夫妻可以从物理上不同的位置一起玩游戏或坐下来一起吃饭。因此，虽然观看者620和第二观看者在物理上可能彼此相距数百英里，但他们可以交谈、一起吃饭等等，就好像他们一起在同一个房间里一样。或者，图6中表示的场景还可以在快速约会或虚拟约会情境中使用。虽然图6描绘了场所600，其中房间的多个表面(壁、天花板、地板)覆盖有lf显示模块610，但有可能具有其中较少的表面或仅表面的部分覆盖有lf显示模块610的实施方案。
193.如前所述，娱乐场所600中的lf显示系统可含有观看者简档形成模块528。根据上文的论述，概括地说，观看者简档形成系统被配置成标识观看者对全息内容的响应或观看全息内容的观看者的特性，且将所标识响应或特性包含在观看者简档中。所述特性包含观看者的位置、观看者的运动、观看者的手势、观看者的偏好、用户的面部表情、用户的性别、用户的年龄和用户的服装中的任一个。在一实施例中，观看者简档中关于观看者的信息被用作ai模型的输入，并且全息内容部分地基于ai模型生成。作为实例，在娱乐场所600中，一旦观看者被标识，全息表演者530可以说话、进行身体动作或以使观看者520的乐趣最大化的方式行动。
194.娱乐场所(例如，娱乐场所600)中的lf显示系统可包括感觉反馈系统，所述感觉反馈系统包括至少一个感觉反馈装置，所述至少一个感觉反馈装置被配置成在呈现全息内容时提供感觉反馈。举例来说，处理引擎可以被配置为利用包括触觉刺激、声学刺激、温度刺激、嗅觉刺激、压力刺激、力刺激或其任何组合的感觉内容来扩增所生成的全息内容。使用先前讨论的实例，lf显示表面可以是双能量表面，其同时投射全息内容(可见电磁能)以及声波形式的机械能。在一实施例中，声波由透明超声换能器生成，该超声换能器可以安装在显示表面上，并被驱动以创建体触觉表面。所产生的触觉表面可以与一个或多个全息对象重合，或者投射到全息对象(例如全息表演者)附近。在两个感官域中进行投射可以为观看者带来更加身临其境的体验，尤其是如果体触觉表面响应于观看者的跟踪移动或观看者对全息内容的所监测响应而改变。观看者的所跟踪移动或观看者的所监测响应可以输入到ai模型，其中体触觉表面部分基于ai模型投射，以使全息表演者630对观看者620的吸引力最大化。lf处理引擎530可以更改触觉表面以包含响应于用户触摸生成的体触觉表面的电阻变化、所生成的体触觉表面的纹理的选择，或基于在控制器520处接收的参数值对所生成的触觉表面的触觉强度的调整。作为实例，全息表演者630可以将身体部位推向观看者620附近，并且可以生成触觉表面以模拟来自表演者的相应触觉，也许是依照存储在观看者简档形成模块528中的信息。作为另一实例，全息表演者630可以移动他/她的身体的一部分，并且可以调整体触觉表面以跟随这种快速移动或应用这种移动的变型(例如，比全息内容移动得更快)，从而激发观看者620(例如，通过提供振动的感觉)。观看者的跟踪响应(即，身体运动、面部表情)以及观看者简档内的信息，可以由ai模型使用以调整全息内容和伴随的感官刺激，以使观看者的乐趣最大化。
195.图7a是根据一个或多个实施例的场所750的第一图示，场所750是向观看者620呈现全息内容的lf显示系统500的实施例，观看者620包含与全息内容协调操作的感觉模拟装置700。图7a另外展示具有感觉模拟装置700的场所750中的观看者620，观看者620可以结合全息内容使用所述感觉模拟装置。虽然感觉模拟装置700可以独立于lf显示系统500操作，
但在一些实施例中，感觉模拟装置700也可以与lf处理引擎530呈现的全息内容协同操作。在一个实施例中，感觉模拟装置700可以从lf处理引擎530接收操作指令，以根据lf处理引擎530执行的应用进行操作。在另一实施例中，一个或多个lf显示模块可以并入到感觉模拟装置700中或上，以扩增感觉装置的外观。在另一实施例中，lf显示系统500可以致使全息内容呈现在感觉模拟装置700上以扩增乃至隐藏其外观，如图7b所示。
196.图7b展示根据一个或多个实施例的具有上文关于图7a描述的lf显示系统的场所750，其中感觉模拟装置700已用全息内容扩增。在此实施例中，全息内容扩增的感觉模拟装置700是上文关于图6讨论的全息表演者630以在一个实施例中隐藏感觉模拟装置700并创建全息表演者630正在向观看者620而不是感觉模拟装置700提供物理刺激的错觉。感觉模拟装置700的位置对于lf显示系统500来说是已知的。在一个实施例中，跟踪系统580标识场所600内的感觉模拟装置700的位置(例如，装置700的位置坐标)并且将装置700的位置提供给lf处理引擎530。在一些实施例中，lf处理引擎530使用跟踪模块标识用户在环境内的位置。观看者可以发布指令以引导全息表演者630移动其全息身体，这可包含全息表演者移动身体位置、移动身体放置或实现某个重复的身体运动。指令可包含以下任何一种：由感觉反馈系统570记录的指令(例如口头指令)，或由跟踪系统580记录并由跟踪模块526解译的指令，包含所辨识的物理运动、手势、身体位置等。在一些实施例中，基于观看者620的位置、装置700的位置或来自观看者的移动全息表演者身体的指令，或这些的任意组合，lf处理引擎530为全息表演者630生成渲染指令以按可以给观看者620带来乐趣的方式呈现。lf处理引擎530还可以按给观看者620带来乐趣的方式生成用于感觉模拟装置700的控制指令。在其它实施例中，可以在lf处理引擎530内使用ai模型来使用由感觉反馈系统570记录的刺激(例如，音频信息)或者由跟踪系统580记录并由跟踪模块526解译的物理运动、手势、身体位置等，或这两者作为输入，渲染全息内容以使观看者630的乐趣最大化。
197.此外，在全息表演者630是从远程位置参与情侣会话的另一个人(例如，重要的其他人、实时聊天伙伴等)的全息表示的实施例中，远程观看者(例如，重要的其他人、实时聊天伙伴等)可能能够经由感觉模拟装置700远程控制给予观看者630的刺激强度。在另一实施例中，lf处理引擎530可以基于(例如，与之等成比例地)移动速度或强度和/或远程观看者的其它环境特性(例如，可听见的声音、噪音量、面部表情等)来改变由感觉模拟装置700提供给观看者630的刺激强度。
198.图8是用于在lf网络(例如，lf网络550)的上下文中向观看者600显示全息内容的方法800的流程图。方法800可包含额外或更少步骤，并且所述步骤可以不同次序进行。此外，可在所述方法的执行期间将各种步骤或步骤组合重复任何次数。
199.首先，包含lf显示系统500的场所600获得810观看者620对于待由场所600中的lf显示系统500呈现的全息内容的观看者偏好。这可包含lf显示系统500获得存储在观看者简档形成系统590中的观看者620的信息，或系统500接收观看者从例如表演者或模型的目录或其它列表中对一个或多个全息表演者630的选择。全息表演者630可以是通过网络系统552将他们自己的实况全息内容流式传输到lf显示系统500的实况模型、所记录的真人(例如，模特、女演员、男演员等)的ai表示，或者计算机生成的模型(例如，动漫卡通等)。
200.响应于观看者的偏好，lf显示系统500在场所600中的全息对象体内向观看者呈现820全息内容。如上所述，在一个实施例中，全息显示器是多个lf显示模块610，它们在场所
600中形成一个或多个表面，这些表面被平铺以形成无缝显示表面，所述无缝显示表面具有一起大于单个lf显示模块610的显示区域的有效显示区域。相应地，全息表演者630是呈现在场所600的全息对象体中的位置处的全息图，观看者600可以看到，就好像它是站在房间中并与他们交谈的真实的人，而观看者620不需要佩戴任何头饰或装置。
201.lf显示系统500的跟踪系统580或感觉反馈系统570获得830用于观看全息内容的观看者620的感觉信息。此包含观看者与全息表演者630的交互，同时标识观看者620的一个或多个上下文特性。这些上下文观看者特性包含观看者肢体语言的ml分类实例，这些实例可能表示快乐、兴奋、失望、无聊等，包含分类的面部表情、观看者620的发声分析(例如，他们说什么，以及他们怎么说，音调等)、观看者相对于全息表演者的运动、可由用户明确陈述的其它一般反馈(例如，用于全息表演者630执行动作的用户命令等)，等等。
202.因此，lf显示系统500响应于从跟踪系统580获得的感觉信息来调整640全息内容的呈现，例如全息表演者630的行为。这可能是全息表演者630响应于观看者620评论的微笑或大笑这种细微调整，或者全息表演者630响应于来自观看者620的请求执行动作(例如，调暗灯光、改变风景、给我点一杯饮料等)。如上所述，全息表演者630做出的响应可以基于来自观看者620的交互使用ai模型来生成。相应地，全息表演者630是呈现在场所600的全息对象体中的位置处的全息图，观看者600可以看到，就好像它是站在房间中并与他们交谈的真实的人，而观看者620不需要佩戴任何头饰或装置。ai模型可以允许观看者620与全息表演者630无缝交谈，就好像它是与他们一起站在房间里的真人一样。
203.额外的配置信息
204.对本公开的实施例的前述描述出于说明的目的而呈现；这并不旨在穷举或将本公开限制于所公开的精确形式。相关领域的技术人员可以理解，根据以上公开，许多修改和变化是可能的。
205.此描述的一些部分根据信息上的操作的算法和符号表示来描述本公开的实施例。这些算法描述和表示通常由数据处理领域的技术人员用来将其工作的实质有效地传递给本领域的其它技术人员。这些操作虽然在功能上、计算上或逻辑上进行了描述，但应理解为通过计算机程序或等效电路、微代码等来实施。此外，在不失一般性的情况下，将这些操作的布置称为模块有时也被证明很方便。所描述的操作及其相关模块可以以软件、固件、硬件或其任何组合具体化。
206.可以单独地或与其它装置组合地利用一个或多个硬件或软件模块来执行或实施本文所描述的步骤、操作或过程中的任何步骤、操作或过程。在一个实施例中，用计算机程序产品来实施软件模块，所述计算机程序产品包括含有计算机程序代码的计算机可读介质，所述计算机可读介质可以由计算机处理器执行以执行所描述的步骤、操作或过程中的任何或所有步骤、操作或过程。
207.本公开的实施例还可以涉及用于执行本文中的操作的设备。此设备可以被特殊构造用于所需目的，和/或其可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算装置。此计算机程序可以存储于非暂时性有形计算机可读存储介质或适合于存储电子指令的任何类型的介质中，所述介质可以耦合到计算机系统总线。此外，在说明书中提及的任何计算系统可以包含单个处理器，或可以是采用多处理器设计以得到增加的计算能力的架构。
208.本公开的实施例还可以涉及通过本文所描述的计算过程生产的产品。此产品可以包括产生于计算过程的信息，其中所述信息存储在非暂时性有形计算机可读存储介质上且可以包含本文所描述的计算机程序产品或其它数据组合的任何实施例。
209.最后，说明书中使用的语言主要是出于可读性和指导目的而选择的，并且可能未选择其来描绘或限制本发明的主题。因此，意图是本公开的范围不受此具体实施方式的限制，而是受基于其所附的申请的任何权利要求的限制。因此，实施例的公开旨在说明而非限制在以下权利要求中所阐述的本公开的范围。