通过提供多个瞳孔内视差视图在多个深度平面上呈现图像内容的系统和方法与流程

通过提供多个瞳孔内视差视图在多个深度平面上呈现图像内容的系统和方法
1.本技术是申请日为2017年10月20日、pct国际申请号为pct/us2017/057730、中国国家阶段申请号为201780078662.2、发明名称为“通过提供多个瞳孔内视差视图在多个深度平面上呈现图像内容的系统和方法”的申请的分案申请。
2.优先权声明
3.本技术要求2016年10月21日提交的美国临时申请no.62/411,490的优先权益，其内容通过引用合并于此。
4.相关申请的交叉引用
5.本技术通过引用整体并入以下专利申请中的每一个：2014年11月27日提交的美国申请no.14/555,585；2015年4月18日提交的美国申请no.14/690,401；2014年3月14日提交的美国申请no.14/212,961；2014年7月14日提交的美国申请no.14/331,218；2016年3月16日提交的美国申请no.15/072,290；以及2015年5月4日提交的美国临时申请no.62/156,809。
技术领域
6.本公开涉及光学装置，包括增强现实和虚拟现实成像和可视化系统。


背景技术：

7.现代计算和显示技术促进了用于所谓的“虚拟现实”或“增强现实”体验的系统的发展，其中数字再现的图像或其部分以其看起来是真实的或者可被感知为真实的方式呈现给用户。虚拟现实(或者“vr”)场景通常涉及数字或虚拟图像信息的呈现，而对于其他实际的真实世界的视觉输入不透明；增强现实(或者“ar”)场景通常涉及数字或虚拟图像信息的呈现作为对用户周围的实际世界的可视化的增强。混合现实(或者“mr”)场景是一种ar场景并且通常涉及集成到自然世界中并响应于自然世界的虚拟对象。例如，在mr场景中，ar图像内容可以被真实世界中的对象阻挡或者被感知为与对象交互。
8.参考图1，示出了增强场景10，其中ar技术的用户看到以人、树木、背景中的建筑物和混凝土平台30为特征的真实世界公园状设置20。除了这些项目之外，ar技术的用户同样感知到他“看到”诸如站在真实世界平台30上的机器人雕像40以及飞过的卡通式化身角色50的“虚拟内容”，该化身角色看起来是大黄蜂的化身，即使这些元素40、50在真实世界中不存在。因为人类的视觉感知系统是复杂的，因此产生有助于连同其他虚拟或真实世界的图像元素一起的虚拟图像元素的舒适、自然、丰富呈现的ar技术是具有挑战性的。
9.本文公开的系统和方法解决了与ar和vr技术相关的各种挑战。


技术实现要素：

10.在一些实施例中，提供了一种头戴式显示系统。所述显示系统包括：框架，其被配置为安装在观看者上；光源；空间光调制器，其被配置为调制来自所述光源的光；以及投射
光学器件，其安装在所述框架上并且被配置为将来自所述空间光调制器的光引导到观看者的眼睛中。所述显示系统被配置为通过将虚拟对象的视差上不同的瞳孔内图像的组注入到所述眼睛中而在深度平面上显示所述虚拟对象。
11.在一些其他实施例中，提供了一种用于显示图像内容的方法。所述方法包括：提供空间光调制器；提供光源，所述光源被配置为从多个不同的光输出位置向所述空间光调制器输出光；以及通过在时间上顺序地将虚拟对象的视差上不同的瞳孔内图像的组注入到观看者的眼睛中而在深度平面上显示所述虚拟对象。所述瞳孔内图像中的每一者通过以下方式形成：将来自所述光源的光输出到所述空间光调制器，其中所述光从所述光源的一个或多个相关联的光输出位置输出；使用所述空间光调制器调制所述光以形成与所述一个或多个相关联的光输出位置对应的瞳孔内图像；以及将所述调制光传播到所述眼睛。用于每个瞳孔内图像的所述一个或多个相关联的光输出位置不同于用于所述瞳孔内图像中的其他瞳孔内图像的所述一个或多个相关联的光输出位置。
12.在另外的实施例中，提供一种显示系统。所述显示系统包括：光源，其包括多个空间上不同的光输出位置；空间光调制器，其被配置为调制来自所述光源的光；投射光学器件，其安装在所述框架上并且被配置为将来自所述空间光调制器的光引导至观看者的眼睛中。所述显示系统被配置为通过在时间上顺序地将虚拟对象的视差上不同的瞳孔内图像的组注入到所述眼睛中而在深度平面上显示所述虚拟对象。
13.在一些其他实施例中，提供了一种用于显示图像内容的方法。所述方法包括提供头戴式显示器，所述头戴式显示器包括光源和空间光调制器。所述方法进一步包括通过在闪烁融合阈值内将来自所述显示器的虚拟对象的视差上不同的瞳孔内图像的组注入到观看者的眼睛中而在深度平面上显示所述虚拟对象。
14.此外，本公开中描述的主题的各种创新方面可以在以下实施例中实现：
15.1.一种用于显示图像内容的方法，所述方法包括：
16.提供空间光调制器；
17.提供光源，所述光源被配置为从多个不同的光输出位置向所述空间光调制器输出光；以及
18.通过在时间上顺序地将虚拟对象的视差上不同的瞳孔内图像的组注入到观看者的眼睛中而在深度平面上显示所述虚拟对象，其中所述瞳孔内图像中的每一者通过以下方式形成：
19.将来自所述光源的光输出到所述空间光调制器，其中所述光从所述光源的一个或多个相关联的光输出位置输出；
20.使用所述空间光调制器调制所述光以形成与所述一个或多个相关联的光输出位置对应的瞳孔内图像；以及
21.将所述调制光传播到所述眼睛，
22.其中用于每个瞳孔内图像的所述一个或多个相关联的光输出位置不同于用于所述瞳孔内图像中的其他瞳孔内图像的所述一个或多个相关联的光输出位置。
23.2.根据实施例1所述的方法，其中激活所述一个或多个相关联的发光区域包括基于所述深度平面选择所述一个或多个相关联的发光区域，其中用于所述瞳孔内图像的发光区域之间的物理间隔随着所述深度平面到所述观看者的距离的减小而增加。
24.3.根据实施例1至2中任一项所述的方法，其中形成所述视差上不同的图像中的每一者的光线是准直的，其中所述深度平面小于光学无限远。
25.4.根据实施例1至3中任一项所述的方法，其中在低于所述观看者的闪烁融合阈值的时间帧内执行注入所述视差上不同的瞳孔内图像的组。
26.5.根据实施例4所述的方法，其中所述闪烁融合阈值是1/60秒。
27.6.根据实施例1至5中任一项所述的方法，进一步包括眼睛跟踪传感器，其被配置为跟踪所述眼睛的注视，其中显示所述虚拟对象包括：
28.使用所述眼睛跟踪传感器确定所述眼睛的注视；以及
29.基于所确定的所述眼睛的注视选择所述瞳孔内图像的内容。
30.7.根据实施例1至6中任一项所述的方法，进一步包括投射光学器件，其被配置为将来自所述空间光调制器的调制光引导至所述眼睛。
31.8.根据实施例1至7中任一项所述的方法，其中用于所述瞳孔内图像的所述一个或多个相关联的发光区域部分地重叠。
32.9.根据实施例1至8中任一项所述的方法，进一步包括在将所述瞳孔内图像中的至少一者注入到所述眼睛中期间改变所述一个或多个相关联的发光区域的位置。
33.10.一种显示系统，其被配置为执行根据实施例1至9中任一项所述的方法。
34.11.一种用于显示图像内容的方法，所述方法包括：
35.提供头戴式显示器，所述头戴式显示器包括：
36.光源；以及
37.空间光调制器；以及
38.通过在闪烁融合阈值内将来自所述显示器的虚拟对象的视差上不同的瞳孔内图像的组注入到观看者的眼睛中而在深度平面上显示所述虚拟对象。
39.12.根据实施例11所述的方法，其中注入所述视差上不同的瞳孔内图像的组包括在时间上顺序地将所述瞳孔内图像中的各个瞳孔内图像注入到观看者的眼睛中。
40.13.根据实施例11所述的方法，其中注入所述视差上不同的瞳孔内图像的组包括同时注入所述瞳孔内图像中的多个瞳孔内图像。
41.14.根据实施例13所述的方法，其中注入所述视差上不同的瞳孔内图像的组包括在时间上顺序地注入，且每次注入多个瞳孔内图像。
42.15.根据实施例11至14中任一项所述的方法，其中形成所述瞳孔内图像的所述光束是准直的。
43.16.根据实施例11至14中任一项所述的方法，其中形成所述瞳孔内图像的所述光束具有发散的波前。
44.17.根据实施例11至16中任一项所述的方法，其中所述光源包括多个选择性激活的发光区域，其中注入所述视差上不同的瞳孔内图像的组包括关于每个瞳孔内图像激活不同的发光区域。
45.18.根据实施例11至17中任一项所述的方法，其中所述光源被配置为从多个不同的光输出位置输出光，进一步包括在将所述瞳孔内图像中的至少一者注入到所述眼睛中期间抖动所述光输出位置。
46.19.一种显示系统，其被配置为执行根据实施例11至18中任一项所述的方法。
47.20.一种头戴式显示系统，包括：
48.框架，其被配置为安装在观看者上；
49.光源；
50.空间光调制器，其被配置为调制来自所述光源的光；以及
51.投射光学器件，其安装在所述框架上并且被配置为将来自所述空间光调制器的光引导到观看者的眼睛中，
52.其中所述显示系统被配置为通过将虚拟对象的视差上不同的瞳孔内图像的组注入到所述眼睛中而在深度平面上显示所述虚拟对象。
53.21.根据实施例20所述的显示系统，其中所述显示系统被配置为在时间上多路复用各个瞳孔内图像的显示。
54.22.根据实施例20至21中任一项所述的显示系统，其中所述显示系统被配置为在空间上多路复用所述瞳孔内图像的显示。
55.23.根据实施例20至22中任一项所述的显示系统，其中所述显示系统被配置为在时间上多路复用多个在空间上多路复用的瞳孔内图像的显示。
56.24.根据实施例20至23中任一项所述的显示系统，其中所述投射光学器件包括波导，所述波导包括耦入光学元件和耦出光学元件。
57.25.根据实施例24所述的显示系统，其中所述投射光学器件包括多个波导，其中每个波导被配置为输出具有与所述多个波导中的其他波导不同的分量颜色的光。
58.26.根据实施例20至25中任一项所述的显示系统，其中所述光源包括多个选择性激活的发光区域。
59.27.根据实施例26所述的显示系统，其中所述光源包括发光二极管阵列和空间光调制器中的至少一者。
60.28.根据实施例8所述的显示系统，其中所述发光二极管阵列包括有机发光二极管阵列或无机发光二极管阵列。
61.29.根据实施例27所述的显示系统，其中所述空间光调制器光源包括液晶阵列或数字光处理(dlp)芯片。
62.30.根据实施例20至29中任一项所述的显示系统，其中所述显示系统被配置为在将所述瞳孔内图像中的至少一者注入到所述眼睛中期间改变激活的发光区域的位置。
63.31.根据实施例20至25中任一项所述的显示系统，其中所述光源包括：
64.光发射器；以及
65.致动器，其被配置为沿不同路径将光引导到所述空间光调制器。
66.32.根据实施例31所述的显示系统，其中所述致动器是双轴振镜(galvanometer)。
67.33.根据实施例31所述的显示系统，其中所述光源是光纤扫描器。
68.34.根据实施例20至33中任一项所述的显示系统，其中被配置为调制来自所述光源的光的空间光调制器包括lcos面板。
69.35.根据实施例20至34中任一项所述的显示系统，进一步包括眼睛跟踪传感器，所述眼睛跟踪传感器被配置为跟踪所述眼睛的注视，其中所述显示系统被配置为：
70.使用所述眼睛跟踪传感器确定所述眼睛的注视；以及
71.基于所确定的所述眼睛的注视选择所述瞳孔内图像的内容。
72.36.根据实施例20至35中任一项所述的显示系统，其中所述显示系统被配置为使所述光源的光输出位置与由所述空间光调制器提供的图像内容同步。
73.37.根据实施例20至36中任一项所述的显示系统，进一步包括位于所述空间光调制器和所述投射光学器件之间的光学机构，其中所述光学机构被配置为以不同的角度将来自所述空间光调制器的不同位置的光引导至投射光学器件。
74.38.根据实施例37所述的显示系统，其中所述光学机构包括棱镜或透镜结构中的一者或多者。
75.39.根据实施例38所述的显示系统，其中所述透镜结构是微透镜(lenslet)阵列。
76.40.一种显示系统，包括：
77.光源，其包括多个空间上不同的光输出位置；
78.空间光调制器，其被配置为调制来自所述光源的光；以及
79.投射光学器件，其安装在所述框架上并且被配置为将来自所述空间光调制器的光引导至观看者的眼睛中，
80.其中所述显示系统被配置为通过在时间上顺序地将虚拟对象的视差上不同的瞳孔内图像的组注入到所述眼睛中而在深度平面上显示所述虚拟对象。
81.41.根据实施例40所述的显示系统，其被配置为关于不同的瞳孔内图像从所述光源的不同光输出位置输出光。
82.42.根据实施例41所述的显示系统，其被配置为基于所述深度平面距所述观看者的所述眼睛的距离来改变所述光输出位置之间的横向间隔。
83.43.根据实施例41至42中任一项所述的显示系统，其被配置为随着所述深度平面距所述观看者的所述眼睛的距离的增加而增加光输出位置之间的所述横向间隔。
84.44.根据实施例41至42中任一项所述的显示系统，其中所述显示系统被配置为在将所述瞳孔内图像中的至少一者注入到所述眼睛中期间改变所述光输出位置。
附图说明
85.图1示出了用户通过ar装置对增强现实(ar)的视图。
86.图2示出了用于为用户模拟三维图像的常规显示系统。
87.图3示出了使用多个深度平面模拟三维图像的方法的方面。
88.图4a至4c示出了曲率与焦距之间的关系。
89.图5示出了用于将图像信息输出给用户的波导堆叠的示例。
90.图6a示出了眼睛对连续输入波前的适应前(pre-accommodation)和适应后(post-accommodation)状态。
91.图6b示出了眼睛对连续输入波前的分段近似的适应前和适应后状态。
92.图7a示出了对于从投射系统提供的有限焦距虚拟图像发出的发散波前的眼睛适应。
93.图7b示出了利用由无限远聚焦虚拟图像形成的波前分段来形成图7a的发散波前的近似的系统。
94.图8示出了形成图7b的发散波前近似的视差视图的示例。
95.图9示出了包括用于形成图7b的发散波前近似的投射系统的显示系统的示例。
96.图10示出了用于发光区域的尺寸、形状和分布的示例。
97.图11a示出了用于形成图7b的发散波前近似的投射系统的另一示例。
98.图11b示出了由图11a的投射系统提供的深度平面的范围的示例。
99.图12示出了用于投射系统的光源配置的示例。
100.图13a示出了用于将虚拟对象放置在小于光学无限远的默认深度平面上的投射系统的示例。
101.图13b示出了由图13a的投射系统提供的深度平面的范围的示例。
102.图14示出了被配置为用于瞳孔内图像的空间多路复用显示的投射系统的示例。
103.图15示出了被配置为用于瞳孔内图像的空间和时间多路复用显示的投射系统的示例。
104.图16示出了包括用于将图像内容叠加在用户的世界视图上的瞳孔中继组合器目镜的投射系统的示例。
105.图17示出了包括眼睛跟踪系统和具有光瞳扩展器的组合器目镜的显示系统的示例。
106.图18示出了包括眼睛跟踪系统和具有被配置为产生非无限远深度平面的光瞳扩展器的瞳孔中继组合器目镜的显示系统的示例。
107.图19示出了包括用于将光的传播引导到不同光输出位置的镜子的光源。
108.图20示出了包括光纤扫描器的光源。
109.图21示出了包括堆叠波导组件的目镜的示例，该堆叠波导组件用于输出具有与不同分量颜色对应的不同波长的光。
110.图22示出了可穿戴显示系统的示例。
具体实施方式
111.通过向观看者的左眼和右眼中的每一者提供略微不同的图像呈现，人类视觉系统可以将由显示器呈现的图像感知为“三维的”。依赖于呈现给每只眼睛的图像，观看者将图像中的“虚拟”对象感知为处于离观看者的选定距离处(例如，在某个“深度平面”处)。然而，简单地向左眼和右眼提供图像的不同呈现可能引起观看者的不适。如本文进一步讨论的，可以通过与观看者正在观看虚拟对象所在深度平面处的真实对象时发生的适应类似地使眼睛适应图像来增加观看舒适度。
112.关于给定深度平面处的虚拟对象的正确的适应可以通过使用具有波前发散度的光向眼睛呈现图像来引出(elicit)，该波前发散度与来自该深度平面上的真实对象的光的波前发散度相匹配。一些显示系统使用具有不同光焦度(optical power)的不同结构来提供适当的波前发散度。例如，一个结构可以提供特定量的波前发散度(以将虚拟对象放置在一个深度平面上)，而另一结构可以提供不同量的波前发散度(以将虚拟对象放置在不同的深度平面上)。因此，在这些显示系统中，物理结构和深度平面之间可能存在一一对应关系。由于每个深度平面需要单独的结构，因此这种显示系统可能体积庞大和/或笨重，这对于诸如便携式头戴式显示器的某些应用而言是不期望的。另外，由于对可以利用的具有不同光焦度的结构的数量的实际限制，因此这种显示系统在从眼睛引出的不同适应性响应的数量上是有限的。
113.已经发现，可以通过将被引导的视差上不同的瞳孔内图像注入到眼睛中来近似连续波前，例如，连续发散波前。在一些实施例中，显示系统可以提供适应性响应的范围，无需显示器中的光学结构与适应性响应之间存在一一对应。例如，通过将视差上不同的瞳孔内图像注入到眼睛中，可以利用相同的光学投射系统输出具有选定量的感知波前发散度的光，该选定量的感知波前发散度对应于所需深度平面。这些图像可以被称为“视差上不同”的瞳孔内图像，因为每个图像可以被视为在给定的深度平面上的相同虚拟对象或场景的不同视差视图。这些是“瞳孔内”图像，因为具有视差差异的图像的组被投射到单只眼睛的瞳孔中，例如观看者的右眼。尽管可能发生一些重叠，但是形成这些图像的光束将具有至少一些没有重叠的区域，并且将从略微不同的角度入射到瞳孔上。在一些实施例中，观看者的另一只眼睛(例如，左眼)可以被提供其自己的视差上不同的瞳孔内图像的组。投射到每只眼睛中的视差上不同的瞳孔内图像的组可能略有不同，例如，由于每只眼睛提供的视角略微不同，因此图像可能显示同一场景的多个略微不同的视图。
114.总体而言，形成投射到观看者眼睛瞳孔中的瞳孔内图像的每一个的光的波前可以近似于连续的发散波前。可以通过改变瞳孔内图像之间的视差差异量来改变该近似波前的感知发散度量，这改变了由形成瞳孔内图像的光的波前所跨越的角度范围。优选地，该角度范围模拟正在被近似的连续波前所跨越的角度范围。在一些实施例中，形成瞳孔内图像的光的波前是准直的或半准直的。
115.在一些实施例中，显示系统利用光源，该光源被配置为从多个不同的光输出位置输出光。例如，光源可以包括多个选择性激活的发光区域，其中每个区域是离散的光输出位置。可以通过改变用于每个图像的光输出位置来改变瞳孔内图像之间的视差差异量。应当理解，来自给定光输出位置的光可以沿着一个路径传播通过显示系统到达眼睛，并且来自光源上的不同光输出位置的光可以沿着不同的路径传播通过显示系统到达眼睛。因此，光输出位置的空间差异可能转化为光所用的到达眼睛的路径的差异。不同路径可以对应于不同的视差差异量。有利地，在一些实施例中，可以通过选择光源的光输出位置之间的空间位移量或间隔量来选择视差差异量。
116.在一些实施例中，如上所述，光源可以包括多个选择性激活的发光区域，发光区域中的每一个对应于不同的光输出位置。发光区域可以设置在平面上并形成2d光发射器阵列。在一些其他实施例中，光源可以包括线性传输(transfer)透镜(例如f-θ(或f-tanθ)透镜)、公共或共享光发射器以及沿着通过f-θ透镜的不同路径引导由光发射器发射的光的致动器。光通过f-θ透镜在不同的位置离开光源，f-θ透镜将出射光聚焦到图像平面上。在不同位置离开f-θ透镜的光也设置在图像平面上的不同位置处，并且可以将图像平面视为提供虚拟2d光发射器阵列。因此，光发射器阵列的各个区域以及来自线性传输透镜的光穿过图像平面的位置在此都可以被称为光源的光输出位置。
117.在一些实施例中，致动器可以是双轴振镜的一部分，该双轴振镜包括多个(例如，一对)镜子，这些镜子在不同的轴上独立地致动，以沿着期望的传播路径引导来自光发射器的光。在一些其他实施例中，光源可以包括光纤扫描器，以及致动器可以是被配置为移动光纤扫描器的光纤的致动器。光源还可以包括处理模块或与处理模块通信，该处理模块使光源的光的输出与镜子或光纤的位置同步，并且与要显示的瞳孔内图像同步。例如，镜子或光纤可以沿着已知路径移动，并且当镜子或光纤处于与特定瞳孔内图像的期望光输出位置
(以及与该图像相关联的视差差异)对应的位置时，光发射器可以由处理模块控制以发射光，如本文进一步讨论的。
118.显示系统还可以包括位于光源与用于将光注入到眼睛中的投射光学器件之间的空间光调制器。空间光调制器可以被配置为调制来自光源的光，以在该光流中编码图像信息以形成瞳孔内图像。优选地，通过投射光学器件将图像注入到眼睛中，该投射光学器件同时在光学无限远处或其附近或者一些其他选择的“本地平面”处提供空间光调制器平面的图像并且还在观看者的瞳孔处或其附近提供光源的图像。因此，可以同时向眼睛提供图像内容和精确的视差差异量。
119.在一些实施例中，可以使用同一空间光调制器调制光以形成要提供给眼睛的各种瞳孔内图像。在一些这样的实施例中，有源光输出位置(在给定时间主动传播光的光输出位置)可以与空间光调制器的调制同步。例如，对应于一个瞳孔内图像的光输出位置的激活可以与空间光调制器中的显示元件的激活同步或同时，其中显示元件被配置为形成对应于特定发光区域的瞳孔内图像。一旦激活了对应于第二瞳孔内图像的另一光输出位置，就可激活空间光调制器中的适当的并且可能不同的显示元件以形成第二瞳孔内图像。可以通过使光输出位置的激活和由空间光调制器提供的图像内容同步来形成附加的瞳孔内图像。这种到眼睛中的瞳孔内图像的基于时间的顺序注入可以被称为瞳孔内图像的时间多路复用或时间多路复用显示。此外，应当理解，有源或激活的光输出位置是光从光源主动地传播到用于形成瞳孔内图像的空间光调制器的位置。
120.在一些其他实施例中，可以利用空间多路复用。在这样的实施例中，空间光调制器的不同区域(例如，不同的像素)可以专用于形成不同的瞳孔内图像。可以在空间光调制器和投射光学器件之间设置光学机构，以引导来自不同区域的光，使得光通过投射光学器件在不同方向上传播。合适的光学机构的示例包括微透镜阵列。因此，可以形成不同的瞳孔内图像并同时将其提供给眼睛，其中视差差异由形成图像的像素的位置确定，并且光学机构引导来自这些像素的光的传播。在一些实施例中，可以利用没有选择性激活的发光区域的光源(例如，点光源)来为显示系统生成光，因为可以结合光学机构使用空间光调制器来设定视差差异。
121.在一些其他实施例中，可以利用空间和时间多路复用。在这样的实施例中，除了上述光学机构和在空间光调制器的不同区域中不同的瞳孔内图像的形成之外，显示系统还可以包括具有选择性激活的光输出位置的光源。可以与在空间光调制器的不同位置中不同瞳孔内图像的同时形成结合地使用光输出位置的选择性激活和光学机构来提供视差差异。
122.在使用时间多路复用的实施例中，用于近似特定连续波前的瞳孔内图像的组优选地被极快地注入到眼睛中，以使人类视觉系统不能检测到图像在不同时间被提供。不受理论的限制，视觉系统可以将在闪烁融合阈值内形成在视网膜上的图像感知为同时呈现。在一些实施例中，近似连续波前可以包括顺序地将用于瞳孔内图像的组中的每一者的光束注入到眼睛中，其中用于注入全部光束的总持续时间小于闪烁融合阈值，当高于该阈值时，人类视觉系统将会将图像感知为被分别地注入到眼睛中。作为示例，闪烁融合阈值可以是大约1/60秒。应当理解，每个图像的组可以构成特定数量的视差视图，例如，两个或更多个视图、三个或更多个视图、四个或更多个视图等，并且这些视图的全部都在闪烁融合阈值内被提供。
123.优选地，显示系统具有足够小的出射光瞳，其中由形成各个瞳孔内图像的光提供的景深基本上是无限远的，并且视觉系统以“开环”模式操作，在这种模式下，眼睛不能适应单独的瞳孔内图像。在一些实施例中，形成各个图像的光束在入射到眼睛上时占据宽度或直径小于约0.5mm的区域。然而，应当理解，形成瞳孔内图像的组的光束至少部分地不重叠并且优选地限定大于0.5mm的区域，以向眼睛的晶状体提供足够的信息以基于由形成瞳孔内图像的光的波前形成的波前近似来引起期望的适应性响应。
124.不受理论的限制，可以认为由光束的组限定的区域模拟合成孔径，眼睛通过该合成孔径观看场景。应当理解，通过瞳孔前方的足够小的针孔观看场景提供了几乎无限远的景深。在针孔的小孔径的情况下，眼睛的晶状体未被提供足够的场景采样以辨别不同的焦深。随着针孔扩大，向眼睛的晶状体提供附加信息，并且自然光学现象允许感知到有限焦深。有利地，由光束的组限定的区域和对应的视差上不同的瞳孔内图像的组可以大于产生无限远的景深的针孔，并且多个瞳孔内图像可以产生由上述扩大的针孔提供的效果的近似。
125.如本文所讨论的，在一些实施例中，可以使用具有多个选择性激活的光输出位置的光源来提供光束朝向光瞳传播的不同角度，该光输出位置将光输出到空间光调制器，该空间光调制器调制光以形成图像。应当理解，来自光源的不同光输出位置的光将采用到空间光调制器的不同路径，这进而将会采用从空间光调制器到投射光学器件且由此到达观看者的眼睛的输出光瞳的不同路径。因此，有源光输出位置的横向位移转换为在离开空间光调制器并最终通过投射光学器件朝向观看者的瞳孔传播的光的角位移。在一些实施例中，激活的发光区域之间的横向位移的增加可以被理解为转换为相对于空间光调制器平面测量的角位移的增加。在一些实施例中，瞳孔内图像中的每一个可以通过从不同光输出位置输出光来形成，从而提供形成图像中的每一个的光束之间的角位移。
126.在一些实施例中，光源和/或光源的光输出位置可以改变在单个视差图像(瞳孔内图像)显示事件内的位置或抖动。例如，光源和/或发光区域可以物理地移动和/或不同的光输出位置(例如，光发射器阵列中的不同光发射器)可以被激活，以在显示瞳孔内图像的同时提供期望的位置变化。位移或抖动的速度可以高于空间光调制器上的视差图像的更新速率。依赖于期望的感知效果，抖动位移可以在任何方向上，包括扭转的。
127.在一些实施例中，显示系统可以包括组合器目镜，该组合器目镜允许虚拟图像内容与观看者的世界视图或周围环境重叠。例如，组合器目镜可以是允许观看者看到世界的光学透射波导。另外，波导可用于接收形成瞳孔内图像的光、引导形成瞳孔内图像的光并最终将形成瞳孔内图像的光输出到观看者的眼睛。因为波导可以位于观看者和世界之间，所以由波导输出的光可以被感知为形成放置在世界中的深度平面上的虚拟图像。本质上，组合器目镜允许观看者接收来自显示系统的光和来自世界的光的组合。
128.在一些实施例中，显示系统还可以包括眼睛跟踪系统以检测观看者的注视方向。这种眼睛跟踪系统允许基于观看者所看的位置来选择适当的内容。
129.有利地，通过将用于提供发散波前的机制从创建具有特定关联发散度的波前的多个离散光输出结构移位到可以创建任意量的发散度的单个结构，可以减小系统的物理尺寸和复杂性；也就是说，可以消除一些输出结构。另外，可以将虚拟内容放置在更大数量的深度平面上，在每个深度平面需要专门的结构来创建给定波前发散度的情况下，更大数量的
深度平面是实用的。深度平面数量的这种增加可以为观看者提供更真实和舒适的观看体验。另外，在一些实施例中，来自每个空间光调制器像素的光可以在名义上保持准直，从而有助于具有该空间光调制器的投射系统与利用准直像素光的组合器目镜的集成。
130.现在将参考附图，其中贯穿全文，相同的参考标号表示相同的部件。
131.如本文所讨论的，可以通过向观看者的每只眼睛提供略微不同的图像呈现来实现将图像感知为“三维”或“3d”。图2示出了用于为用户模拟三维图像的常规的显示系统。将两个不同图像190、200-用于每只眼睛210、220中的一个-输出给用户。图像190、200沿着与观看者的视线平行的光学轴或z轴与眼睛210、220隔开距离230。图像190、200是平坦的，并且眼睛210、220可以通过呈现单个适应状态而聚焦在图像上。这样的3d显示系统依赖于人类视觉系统来组合图像190、200以提供组合图像的深度感知和/或规模(scale)。
132.然而，应当理解，人类视觉系统更复杂并且提供对深度的真实感知更具挑战性。例如，常规的“3d”显示系统的许多观看者发现这样的系统不舒服或者根本不能感知到深度感。不受理论的限制，据信对象的观看者可能由于聚散和适应的组合而将对象感知为“三维的”。两只眼睛相对于彼此的聚散运动(即，眼睛的旋转，使得瞳孔向着彼此或远离彼此移动以会聚眼睛的视线来注视对象)与眼睛的晶状体和瞳孔的聚焦(或“适应”)紧密相关。在正常情况下，改变眼睛的晶状体的聚焦或使眼睛适应以改变从一个对象切换到位于不同距离处的另一对象时的聚焦，将会在被称为“适应-聚散度反射(accommodation-vergence reflex)”的关系以及瞳孔扩张或收缩下自动导致使聚散到相同的距离的匹配变化。同样，在正常情况下，聚散度的变化将引发晶状体形状和瞳孔尺寸的适应的匹配变化。如本文所述，许多立体或“3d”显示系统使用略微不同的呈现(并且因此略微不同的图像)向每只眼睛显示场景，使得人类视觉系统感知到三维透视。然而，这样的系统对于许多观看者来说是不舒服的，因为除了其他的之外，这样的系统简单地提供场景的不同呈现，而且眼睛在单个适应状态下观看所有图像信息，以及违反“适应-聚散度反射”工作。提供适应与聚散度之间的更好匹配的显示系统可以形成更逼真和更舒适的三维图像模拟，从而有助于增加穿戴的持续时间。
133.图4示出了使用多个深度平面模拟三维图像的方法的方面。继续参考图3，在z轴上距眼睛210、220的不同距离处的对象由眼睛210、220适应，以使得那些对象对焦(in focus)；也就是，眼睛210、220呈现特定的适应状态，以使沿着z轴的不同距离处的对象进入焦点。因此，可以说特定的适应状态与深度平面240中的特定一个深度平面相关联，该特定深度平面具有相关联的焦距，以使得当眼睛处于该深度平面的适应状态时，特定深度平面中的对象或对象的部分对焦。在一些实施例中，可以通过为眼睛210、220中的每一者提供图像的不同呈现来模拟三维图像，其中对于不同的深度平面，图像的呈现也不同。尽管为了清楚说明而示出为分离的，但应理解的是，例如，随着沿着z轴的距离增加，眼睛210、220的视场可以重叠。另外，虽然为了便于说明而示出为平坦的，但应理解的是，深度平面的外形可以在物理空间中是弯曲的，使得深度平面中的所有特征在特定的适应状态下与眼睛对焦。
134.对象和眼睛210或220之间的距离也可以改变来自该物体的光的发散量，如该眼睛所看到的。图4a-4c示出了距离和光线发散之间的关系。对象与眼睛210之间的距离由距离减小的顺序r1、r2和r3表示。如图4a-4c所示，随着到对象的距离减小，光线变得更发散。随着距离的增加，光线变得更加准直。换句话说，可以说由点(物体或物体的一部分)产生的光
场具有球面波前曲率，其是该点离用户眼睛有多远的函数。随着对象与眼睛210之间的距离减小，曲率增加。因此，在不同的深度平面处，光线的发散度也不同，发散度随着深度平面与观看者眼睛210之间的距离的减小而增加。虽然为了清楚地说明在图4a-4c和本文的其他图中仅示出了单个眼睛210，但是应当理解，关于眼睛210的讨论可以应用于观看者的双眼210和220。
135.不受理论的限制，据信人类眼睛通常可以解释有限数量的深度平面以提供深度感知。因此，通过向眼睛提供与这些有限数量的深度平面中的每一个深度平面对应的图像的不同呈现，可以实现感知深度的高度可信的模拟。不同的呈现可以由观看者的眼睛单独聚焦，从而有助于基于眼睛的适应和/或基于观察位于失焦的不同深度平面上的不同图像特征来为用户提供深度提示，所述眼睛的适应被需要来对位于不同深度平面上的场景的不同图像特征聚焦。
136.因为每个深度平面具有相关联的波前发散度，因此为了显示看起来位于特定深度平面处的图像内容，一些显示器可以利用具有光焦度的波导来输出具有与该深度平面对应的发散度的光。可以利用具有不同光焦度的多个类似波导在多个深度平面上显示图像内容。例如，这种系统可以利用形成为堆叠的多个这样的波导。图5示出了用于向用户输出图像信息的波导堆叠的示例。显示系统250包括波导的堆叠260，该波导的堆叠260可用于使用多个波导270、280、290、300、310输出图像信息以向眼睛/大脑提供三维感知。图像注入装置360、370、380、390、400可用于将包含图像信息的光注入到波导270、280、290、300、310中。每个波导270、280、290、300、310可以包括提供光焦度的结构(例如，分别为光学光栅和/或透镜570、580、590、600、610)，使得每个波导输出具有预设波前发散度的量的光，该预设波前发散度的量对应于特定的深度平面。因此，每个波导270、280、290、300、310将图像内容放置在由该波导提供的波前发散度的量确定的相关联的深度平面上。
137.然而，应当理解，波导和深度平面之间的一一对应可能导致需要多个深度平面的系统中的庞大且笨重的装置。在这样的实施例中，多个深度平面将需要多个波导。另外，在需要彩色图像的情况下，甚至需要更大数量的波导，因为每个深度平面可以具有多个对应的波导，关于每种分量颜色需要一个波导以形成彩色图像。
138.有利地，各种实施例可以提供更简单的显示系统，该系统通过使用形成瞳孔内图像(该图像呈现对象或场景的不同视差视图)的离散光束来近似期望的连续波前。
139.现在参考图6a，其中示出了在接收连续输入波前1000时眼睛210的适应前和适应后状态。图示a)示出了在视觉系统使波前1000聚焦在视网膜211上之前的适应前状态。值得注意的是，焦点212不在视网膜211上。例如，如图所示，焦点212可以在视网膜211的前方。图示b)示出了在人类视觉系统弯曲观看者眼睛210的瞳孔肌肉组织以使波前1000聚焦在视网膜211上之后的适应后状态。如图所示，焦点212可以在视网膜211上。
140.已经发现，诸如图6a的波前1000的连续波前可以使用多个波前来近似。图6b示出了在接收到图6a的连续波前1000的分段的近似时眼睛210的适应前和适应后状态。图6b的图示a)示出了适应前状态，以及图示b)示出了眼睛210的适应后状态。可以使用多个组分波前1010a、1010b和1010c形成近似，组分波前1010a、1010b和1010c中的每一个与单独的光束相关联。如本文所使用的，参考标号1010a、1010b和1010c可以指示光束和光束的关联波前。在一些实施例中，组分波前1010a和1010b可以是平面波前，例如由准直光束形成的平面波
前。如图示b)所示，由组分波前1010a和1010b形成的波前近似1010通过眼睛210聚焦到视网膜211上，其中焦点212在视网膜211上。有利地，适应前和适应后状态类似于由图6a所示的连续波前1000引起的状态。
141.应当理解，可以使用光学投射系统形成连续的发散波前。图7a示出了关于由投射系统提供的有限焦距虚拟图像发出的发散波前的眼睛适应。该系统包括空间光调制器1018和具有焦距“f”和外部光阑的投射光学器件1020。图像可以由空间光调制器1018形成，并且来自空间光调制器1018的包含图像信息的光可以通过投射光学器件1020被引导到眼睛210。如图7a所示，可以选择空间光调制器1018和投射光学器件1020之间的间隔(小于f)，使得发散波前1000朝向眼睛210输出。如上面关于图6a所述，眼睛210然后可以将波前1000聚焦在视网膜211上。
142.图7b示出了利用由无限远聚焦的虚拟图像形成的波前分段来形成图7a的发散波前的近似的系统。如上所述，该系统包括空间光调制器1018和投射光学器件1020。空间光调制器1018形成相对于彼此移位的两个图像。空间光调制器1018放置在离投射光学器件1020(具有后焦距f)的后焦平面的距离f处。包含第一图像的图像信息的光束1010a通过投射光学器件1020传播到眼睛中。包含第二图像的图像信息的光束1010b采用不同的路径通过投射光学器件1020进入眼睛210。如本文所讨论的，光束1010a和1010b可以从光源(未示出)的不同区域发射，从而导致这些光束从不同角度照射空间光调制器1018，进而又使得由光束1010a和1010b形成的图像相对于彼此在空间上移位。光束1010a和1010b沿着路径远离空间光调制器传播，通过投射光学器件1020并进入眼睛210，使得这些光束限定从一个光束到另一光束的角度范围，该角度范围与发散波前1000(图7a)的角度范围相匹配。应当理解，光束1010a和1010b之间的角度间隔随着近似的波前发散度的量的增加而增加。在一些实施例中，投射光学器件1020以及空间光调制器1018与投射光学器件1020之间的间隔被配置为使得光束1010a和1010b中的每一者都是准直的。
143.现在参考图8，其中示出了形成图7b的发散波前近似的视差视图的示例。应当理解，光束1010a、1010b和1010c中的每一者从与空间中图像的不同放置对应的略微不同的视角形成相同对象或场景的一个视图的不同图像。如图所示，可以在不同的时间顺序地将图像注入到眼睛210中。或者，如果光学系统允许，可以同时注入图像，或者可以按组注入图像，如本文所讨论的。在一些实施例中，将形成全部图像的光注入眼睛210的总持续时间小于观看者的闪烁融合阈值。例如，闪烁融合阈值可以是1/60秒，并且全部光束1010a、1010b和1010c在小于该闪烁融合阈值的持续时间内被注入到眼睛210中。这样，人类视觉系统整合了全部这些图像，并且这些图像呈现给眼睛210的方式就像光束1010a、1010b和1010c同时被注入眼睛210一样。由此，光束1010a、1010b和1010c形成波前近似1010。
144.现在参考图9，其中示出了包括用于形成图7b的发散波前近似1010的投射系统1003的显示系统1001的示例。投射系统1003包括光源1026，光源1026被配置为将光1010a’和1010b’输出到空间光调制器1018，空间光调制器1018调制光以形成显示相同对象或场景的略微不同的视差视图的图像。包含图像信息的调制光然后通过中继/投射光学器件1020传播，并且被中继/投射光学器件1020输出作为到眼睛210中的光束1010a和1010b。投射系统1003还可以包括透镜结构1014，该透镜结构1014可以被配置为将光1010a’和1010b’的发射中的空间差异转换为光到空间光调制器1018的传播中的角度差异。投射系统1003还可以
包括偏振分束器1016，该偏振分束器1016被配置为1)将来自光源1026的光引导到空间光调制器1018；以及2)允许来自空间光调制器1018的调制光通过分束器1016传播回中继/投射光学器件1020。在一些实施例中，显示系统1001可以包括被配置为监视眼睛的注视的眼睛跟踪装置1022，例如相机。这种监视可用于确定观看者正在观看的方向，该监视可用于选择适合于该方向的图像内容。优选地，眼睛跟踪装置1022跟踪观看者的双眼，或者每只眼睛包括其自己的相关联的眼睛跟踪装置。因此，可以跟踪观看者的双眼的聚散，并且可以确定眼睛的会聚点以确定眼睛指向的方向和距离。
145.应当理解，如本文所讨论的，光1010a’和1010b’可以由光源1026在不同的时间输出，空间光调制器1018可以在不同时间使用光1010a’和1010b’形成不同的视差视图，以及所得到的光束1010a和1010b可以在不同时间注入到眼睛210中。
146.继续参考图9，光源1026可以是2d光源，该2d光源具有基本设置在一个平面上的多个选择性激活的光输出位置。在一些实施例中，选择性激活的光输出位置可以是选择性激活的发光区域。例如，光源1026可以是发光二极管(led)阵列或者是包含输出光的离散单元或光发射器的阵列的空间光调制器(例如，诸如数字光处理(dlp)装置、lcos装置等的数字微镜装置)。led阵列的示例包括有机发光二极管(oled)阵列和无机发光二极管(iled)阵列。在一些实施例中，光源1026中的各个发光二极管和/或光调制器可以构成发光区域。在一些其他实施例中，发光二极管和/或光调制器的组可以形成发光区域。在这样的实施例中，在不同发光区域的发光二极管和/或光调制器之间可能存在一些重叠，尽管因为重叠不完全可以认为这些区域是不同的。
147.在一些其他实施例中，光源1026可以被配置为将光聚焦到图像平面上，以实际上在该图像平面上提供虚拟2d光源。图像平面上的不同位置可以被认为是不同的光输出位置，并且可以通过使用致动的镜子或光纤扫描器操控来自光发射器的光，来引导光通过图像平面上的那些位置来激活那些位置。关于这种虚拟2d光源的进一步细节在下面的图19和20的讨论中提供。
148.在一些实施例中，空间光调制器1018的示例包括硅上液晶(lcos)面板。作为另一示例，在一些其他实施例中，空间光调制器1018可以包括透射型液晶面板或例如dlp的mems装置。
149.继续参考图9，显示系统1001还可以包括控制系统1024，其用于确定由显示系统提供的图像内容的定时和类型。在一些实施例中，控制系统1024包括一个或多个硬件处理器，该硬件处理器具有存储用于控制显示系统1001的程序的存储器。例如，系统1024可以被配置为控制光源1026的发光区域的激活、空间光调制器1018的各个像素元件的致动和/或显示系统1001对从眼睛跟踪装置1022接收的数据的解释和反应。优选地，系统1024包括计算模块1024a，该计算模块1024a被配置为接收关于期望的深度平面或波前发散度的输入并且计算要激活的适当发光区域，以便形成具有用于所需深度平面或波前发散度的合适视差量的视差视图。另外，计算模块1024a可以被配置为确定空间光调制器1018的像素的适当致动以形成具有期望的视差视图的图像。系统1024还可以包括同步模块1024b，该同步模块1024b被配置为使光源1026的特定发光区域的激活与空间光调制器1018的光的调制同步以形成图像来提供与这些激活的发光区域对应的视差视图。另外，系统1024可以包括接收来自眼睛跟踪装置1022的输入的眼睛跟踪模块1024c。例如，眼睛跟踪装置1022可以是被配置
为对眼睛210进行成像的相机。基于由眼睛跟踪装置1022捕获的图像，眼睛跟踪模块1024c可以被配置为确定瞳孔的取向并且推断眼睛210的视线。该信息可以被电子地传送到计算模块1024a。计算模块1024a可以被配置为基于眼睛210的视线或注视(优选地还基于观看者的另一只眼睛的视线或注视)选择图像内容。
150.因为光源1026可以包括离散光发射器的阵列，所以由光发射器形成的发光区域的尺寸和形状可以根据需要通过激活所选择的光发射器而变化。图10示出了发光区域的尺寸、形状和分布的示例。应当理解，图中的亮区和暗区指示对于不同视差视图而被激活的不同发射区域。示例a)示出了水平间隔开的狭长发光区域，其适合于仅水平视差驱动的适应。示例b)示出了具有水平和垂直位移的圆形发光区域。示例c)示出了亮度下降的发光区域。实施例d)显示了重叠的发光区域。示例e)示出了形成阵列的发光区域。如所示的示例指示的，光源1026(图9)可以包括二进制的光发射器(仅有接通和关断)和/或包含灰度级的光发射器(其发射具有选择性可变强度的光)。在一些实施例中，光源1026可以包括以非常高的速率切换的元件，其中该速率包括超过用于系统1001的视差切换率的速率。例如，光源1026可以具有光输出元件，该光输出元件以一速率接通以及关断光输出，该速率比在不同时间显示的不同的瞳孔内图像的实施例中的视差(瞳孔内)图像被切换的速率高。
151.再次参考图9，在一些实施例中，控制系统1024可以包括两个部分：1)光场生成和2)因式分解的光场优化。如本文所讨论的，为了近似波前，对于光源1026的每个激活的发光区域，在空间光调制器1018上显示适当的图像。应当理解，这些图像是在光场生成步骤期间创建的，其中从与激活的发光区域中的轻微偏移对应的多个略微偏移的视点渲染3d场景。例如，为了显示5
×
5光场，将从以网格图案布置的25个不同视点对3d场景渲染25次。网格图案中视点的位置将对应于激活的光源区域的位置，并且渲染的图像将对应于由空间光调制器形成的图像。
152.可以期望增加由空间光调制器1018形成的图像的亮度。有利地，利用包括光发射器阵列的光源1026允许形成具有各种形状和尺寸的发光区域，这可用于增加亮度。在一些实施例中，可以通过在不显著改变由空间光调制器1018形成的图像的情况下增加激活的发光区域的尺寸来增加亮度。计算模块1024a可以被配置为使用因式分解的光场优化来确定激活的发光区域的大小和形状。模块1024a可以被配置为获取输入焦点堆叠并且创建要在空间光调制器1018以及光源1026上显示的一系列图案，其中被配置的图案在最小二乘的意义上创建对焦点堆叠的期望近似。优化利用了视点中的小偏移不会显著改变感知的图像的事实，并且优化能够利用来自光源1026上较大区域的照明生成发光区域图案，同时在空间光调制器1018上显示相同的图像。
153.优化问题可以表述为非凸优化问题，如下所示：
[0154][0155]
其中投射算子ρ执行从4d光场到3d焦点堆叠的线性变换(使用移位和加法算法)。该问题是嵌入在反卷积问题中的非负矩阵分解。解决该问题的算法使用交替方向乘子法(admm)。关于解决该问题的示例方法的附加细节在附录i中讨论。应当理解，模块1024a被配置为基于将由空间光调制器1018形成的视差视图实时主动地计算发光区域的适当尺寸和
形状。
[0156]
在一些其他实施例中，优化问题可以被表述为稍微不同的非凸优化问题，如下所示：
[0157][0158]
其中a和b表示在空间光调制器(例如，用于形成图像的光源1026和空间光调制器1018)上显示的图案，y是目标4d光场，其是算法的期望输出，以及ab’是当在调制器上显示a和b时，组合空间光调制器模式以模拟由物理显示器发出的4d光场的算子。这个问题是非负矩阵分解。解决该问题的算法使用迭代优化技术从随机初始猜测中细化a和b。
[0159]
继续参考图9，应当理解，人类视觉系统的闪烁融合阈值对可注入到眼睛210中的图像数量设定时间约束，但是仍然被感知为正被同时注入。例如，控制系统1024的处理带宽以及使光源1026的发光区域和空间光调制器1018的光调制器切换的能力可以限制在由闪烁融合阈值允许的持续时间之内可注入到眼睛210中的图像的数量。给有限数量图像的情况下，控制系统1024可以被配置为做出有关所显示的图像的选择。例如，在闪烁融合阈值内，可能需要显示系统将视差上不同的瞳孔内图像的组注入到眼睛中，进而每个视差视图可能需要具有各种分量颜色的图像以形成全色图像。在一些实施例中，使用分量彩色图像形成全色图像从所需的适应响应的解释(elucidation)分叉。例如，不受理论的限制，可以用单一颜色的光引起所需的适应响应。在这种情况下，用于引起适应响应的视差上不同的瞳孔内图像将仅为单色的。因此，没有必要使用其他颜色的光形成视差上不同的瞳孔内图像，从而释放闪烁融合阈值内的时间以用于要显示的其他类型的图像。例如，为了更好地近似波前，可以生成较大的视差上不同的瞳孔内图像的组。
[0160]
在一些其他实施例中，控制系统1024可以被配置为在闪烁融合阈值内投入更少的时间来显示具有人类视觉系统不太敏感的光的颜色的图像。例如，人类视觉系统对蓝光的敏感度低于对绿光的敏感度。因此，显示系统被配置为生成以绿光形成的图像多于生成以蓝光形成的图像。
[0161]
现在参考图11a，其中示出了用于形成图7b的发散波前近似的投射系统1003的另一示例。优选地，投射系统产生相对长的景深，其可以由系统中的限制孔径控制。不受理论的限制，通过近0.5mm的有效光瞳直径向眼睛提供图像的投射系统被认为强制人类视觉系统以“开环”模式操作，因为眼睛不能适应这种图像。通过借助这种有效光瞳直径提供图像，关于无限远聚焦图像，显示系统减小了视网膜上的光斑尺寸。
[0162]
继续参考图11a，投射系统1003形成具有视差差异的图像，如本文所讨论的。可以以高于人类视觉系统的感知持久性的速率(例如》60hz)快速、交替地向观看者眼睛提供图像。如本文所讨论的，所示的投射系统1003同时在有限共轭平面处产生照射源的图像以及在无限远处产生像素(图像)源的图像。另外，选择性激活的发光区域1026a和1026b间隔开以产生光学系统光瞳的位移，以使视差图像在观看者瞳孔内相对于彼此对准。
[0163]
现在参考图11b，其中示出了由图11a的投射系统提供的一系列深度平面的示例。该范围从光学无限远处的远平面跨越到更靠近眼睛210的近平面。光学无穷远处的远平面可以由准直光束1010a和1010b提供。如本文所公开的，可以使用空间上移位的激活的发光
区域来提供近平面，并且可以将近平面理解为由显示系统提供的最近的深度平面。在一些实施例中，可以通过光束1010a和1010b之间的最大视差差异来确定所感知的近平面到眼睛210的接近度，该接近度可以在仍然在观看者的瞳孔处或附近形成光源1026的清晰图像的同时由显示系统允许选择性激活的发光区域1026a和1026b分离的最大距离来确定。
[0164]
有利地，如本文所讨论的，使用包括多个离散的选择性激活的光发射器的光源1026提供能力，该能力产生宽范围的光瞳或感知的图像形状、亮度分布和阵列以实现各种场效应深度(通过操纵照射光源的尺寸、形状和位置)的能力。如在提供高发光效率的同时驱动适应所需要的，光源1026还有利地提供了灵活和交互地改变光瞳的形状，以仅适应水平视差、全视差或视差的其他组合的能力。
[0165]
现在参考图12，其中示出了投射系统1003的光源配置的示例。光源1026包括单个固定发光器1028和空间光调制器1032，用于调节从发光器1028到空间光调制器1018的光输出以形成图像。光源1026还可以包括聚光/准直透镜，以将来自发光器1028的光引导到空间光调制器1032。空间光调制器1032可以包括根据需要允许或阻挡光通过的像素和/或光闸。应当理解，可以致动像素和/或光闸以允许光通过，并且将光通过的区域视为发光区域(例如，发光区域1026a和1026b)。
[0166]
现在参考图13a，示出了用于将虚拟对象放置在小于光学无限远的默认深度平面上的投射系统1003的示例。如图所示，投射光学器件1020可以具有焦距“f”并且空间光调制器可以定位在小于f的位置，这样通过使光束1010a和1010b发散来偏置系统1003以具有小于光学无限远的远深度平面。光束1010a和1010b发散的量可以由空间光调制器1018相对于投射光学器件1020的位置确定，间隔越近，发散量越大。因为由于间隔而使一定量的发散度预期作为默认，所以在一些实施例中，可以放大关于每个瞳孔内图像的发光区域1026a和1026b的尺寸(例如，通过增加led的数量、增加在形成瞳孔内图像时被激活以照射空间光调制器的光源照射像素等的数量)，并且与每个瞳孔内图像相关联的出射光瞳可以大于0.5mm。因此，视觉系统可能无法以开环模式运行。在一些实施例中，发光区域1026a和1026b的尺寸可以由控制系统1024(图9)设定，该控制系统可以被编程为基于系统1003的期望的默认深度平面来改变发光区域1026a和1026b的尺寸。另外，用于形成每个瞳孔内图像的光束的横截面宽度优选地相对于投射光学器件1020的光学结构足够大，以使投射光学器件1020作用于光，以便提供所需的发散度。
[0167]
现在参考图13b，其中示出了由图13a的投射系统提供的一系列深度平面的示例。所示出的范围从相对于眼睛210的远平面(位于小于光学无限远的d的距离处)跨越到近平面。可以通过适当地选择空间光调制器相对于投射光学器件1020的位置来设定远平面。可以如上关于图11b所公开的来提供近平面。
[0168]
现在参考图14，其中示出了关于瞳孔内图像的空间上多路复用的显示而配置的投射系统1003的示例。不是依赖于发光区域之间的空间位移来提供期望的视差差异，而是可以通过利用空间光调制器1018的不同区域来提供视差差异以形成不同的瞳孔内图像。光学机构1019被配置为以不同的角度将来自这些不同区域中的每一者的光引导到投射光学器件1020，投射光学器件1020朝着观看者的眼睛(未示出)输出光束1010a和1010b。在一些实施例中，用于形成不同瞳孔内图像的空间光调制器1018的区域可以是交错的。例如，提供用于不同瞳孔内图像的图像信息的像素可以彼此交错。光学机构1019可以被配置为将光学机
构1019接收光的不同位置(例如，不同像素)转换为来自像素的光进入投射光学器件1020的不同角度。在一些实施例中，光学机构1019可以包括棱镜和/或例如微透镜阵列的透镜结构。
[0169]
应当理解，空间光调制器1018的各种非重叠区域可以专用于为不同的瞳孔内图像提供图像信息。因为这些区域彼此不同，所以在一些实施例中可以同时致动它们。因此，可以同时向眼睛呈现多个瞳孔内图像。这可以有利地降低需要空间光调制器1018刷新图像的速度的要求。如上所述，为了提供同时呈现用于近似连续波前的瞳孔内图像的组的全部图像的感知，这些图像的全部必须在闪烁融合阈值内呈现。在一些实施例中，在空间光调制器的不同区域中同时呈现瞳孔内图像的组中的全部或多个图像，使得为了人类视觉系统将图像感知为同时呈现而不需要快速顺序地显示这些同时呈现的图像。
[0170]
如图所示，光源1028提供通过透镜结构1014的光以照射空间光调制器1018。在一些实施例中，光源1028可以是不具有任何选择性激活的发光区域的单个固定的发光器。
[0171]
在一些其他实施例中，光源可以包括选择性激活的发光区域，其可以有利地提供对视差差异的附加控制。因此，投射系统可以同时利用空间和时间多路复用。现在参考图15，其中示出了被配置用于瞳孔内图像的空间和时间多路复用的投射系统1003的示例。投射系统1003可以包括光源1026，该光源1026可以包括选择性激活的发光区域，例如，区域1026a和1026b。如本文所讨论的，可以利用发光区域之间的空间位移以提供交替输出的光束1010a、1010b、1010c和1010d中的视差差异。另外，如上面关于图14所讨论的，投射系统1000可以包括在空间光调制器1018和投射光学器件1020之间的光学机构1019。空间光调制器1018和光学机构1019可以协同工作以提供空间多路复用。因此，单个发光区域对空间光调制器1018的照射可以产生多个瞳孔内图像。例如，发光区域1026a的激活照射空间光调制器1018，其同时为两个瞳孔内图像生成图像信息，其中通过光学机构1019在不同的方向上引导用于每个图像的光束。光进入投射光学器件1020并且作为用于形成两个不同的瞳孔内图像的光束1010b和1010d出射。类似地，发光区域1026b的后续激活导致用于形成两个其他瞳孔内图像的光束1010a和1010d。
[0172]
参考图14和15，在一些实施例中，如上面关于图11a至11b和13a至13b所讨论的，可以选择空间光调制器1018和光学机构1019相对于投射光学器件1020的位置以提供所需的默认“主(home)”深度平面(该平面可以小于光学无限远)。
[0173]
本文的各个图中所示的投射系统1003可以是利用单个有限焦距目镜的混合系统的一部分，该目镜默认将对象放置在非无限远深度平面上，同时采用视差驱动适应以将虚拟对象放置在其他深度平面上。例如，投射系统1003可以被配置为具有0.3dpt或0.5dpt的默认深度平面，该深度平面与光学无限远足够近以落入人类视觉系统关于适应-聚散不匹配的容差内。例如，不受理论的限制，可以认为人类视觉系统可以舒适地容忍在0.3dpt的深度平面上显示来自光学无限远的内容。在这样的系统中，光束1010a和1010b具有与默认深度平面对应的波前发散度的量。有利地，这样的配置可以减少显示系统中的处理器(例如，图形处理单元)上的计算负载，从而可以提供除了其他益处之外的降低功耗、降低延迟、增加处理器选项的优点。
[0174]
现在参考图16，其中示出了包括用于将图像内容叠加在用户的世界视图上的光瞳中继组合器目镜1030的投射系统1003的示例。优选地，目镜1030是光学透射的，允许来自世
界的光通过目镜传播到观看者的眼睛210中。在一些实施例中，目镜1030包括一个或多个波导，这些波导具有耦入光学元件770和耦出光学元件800。耦入光学元件770接收来自投射光学器件1020的光并重定向该光，使得该光通过目镜1030经由全内反射传播到耦出光学元件800。耦出光学元件800将光输出到观看者的眼睛210。有利地，目镜1030保留由投射系统1003提供的图像属性的全部，因此准确地通过目镜1030描绘了快速切换的视差视图。
[0175]
耦入光学元件770和耦出光学元件800可以是折射或反射结构。优选地，耦入光学元件770和耦出光学元件800是衍射光学元件。衍射光学元件的示例包括表面浮雕特征、体积相变特征、超材料或液晶偏振光栅。
[0176]
应当理解，耦出光学元件800或形成目镜1030的一部分的其他光学元件可以被配置为具有光焦度。在一些实施例中，可以选择光焦度以校正眼睛210的折射误差，其中包括诸如近视、远视、老花和散光的折射误差。
[0177]
现在参考图17，其中示出了包括眼睛跟踪系统1022和具有光瞳扩展器1034的组合器目镜1030的投射系统1003的示例。光瞳扩展器跨目镜1030复制投射系统光瞳。由于光瞳扩展器1034跨可以通过眼睛运动被观看者的瞳孔横穿的大区域上复制投射系统光瞳，因此由空间光调制器1018形成的图像和光源1026的发光区域的位置可以基于来自眼睛跟踪系统1022的输入而被实时地更新。有利地，这种配置使能较大的可视区(eyebox)用于更舒适地观看，从而放松对眼睛到组合器的相对定位以及瞳孔内距离变化的限制。
[0178]
现在参考图18，其中示出了包括眼睛跟踪系统1022和具有被配置为产生非无限远深度平面的光瞳扩展器1035的组合器目镜1030的显示系统1003的示例。在一些实施例中，非无限远深度平面可以在3米处，这提供了约2.5米到无限远的预算内适应。例如，考虑到人类视觉系统对适应-聚散不匹配的容忍度，位于从观看者开始约2.5米到无限远处的虚拟内容可以放置在3米深度平面上而具有很少不适。在这样的系统中，可以使用视差上不同的瞳孔内图像来驱动对较窄范围的深度平面的适应，这些深度平面可能比固定的“默认”焦平面更接近观看者。在一些实施例中，该系统还可以结合眼睛跟踪系统1022来基于例如观看者双眼的聚散角确定观看者的注视的距离。
[0179]
在一些实施例中，光源1026可以通过在光投射系统的图像平面上形成的虚拟光源代替。光投射系统可以包括致动器，该致动器能够使光束扫过图像平面上的与虚拟光源对应的区域。为了模拟激活光源1026的离散发光区域的能力，投射系统的光的输出与致动器的移动同步，以使光在特定时间输出到图像平面上的期望位置。优选地，致动器能够跨图像平面扫描光束的速率足够高，使得可以在显示任何给定的瞳孔内图像的时间帧期间访问图像平面上的所有期望的光输出位置。例如，在显示特定瞳孔内图像的时间量内，致动器优选地能够跨图像平面的与虚拟2d光源对应的区域来扫描光束至少一次，并且优选地多次扫描光束。
[0180]
图19示出了包括用于将光的传播引导到不同光输出位置的镜子的光源2026。光源2026包括光发射器2028和镜子2030和2032，它们分别由致动器2031和2033移动。光发射器2028的示例包括led和激光器。在一些实施例中，光缆可以传输来自位于远处的光发射器的光。如图所示，光1010a’、1010b’从光发射器2028传播到镜子2032，镜子2032将光反射到镜子2030，镜子2030然后反射光以传播通过透镜2034，以聚焦在中间图像平面1026’上。镜子2030和2032可以是双轴振镜的一部分，致动器2031和2033沿不同的轴(例如，正交轴)旋转
镜子，从而允许光被导向沿着图像平面1026’的两个轴限定的区域。在一些实施例中，致动器2031、2033可以是发动机。透镜2034可以是线性传输透镜，例如f-θ(f-θ或f-tanθ)透镜，并且透镜2034可以被配置为将光聚焦到平坦图像平面1026’上。在一些实施例中，光线1010a’、1010b’以与光将从光源1026传播(参见例如图9)的类似方式远离图像平面1026’传播。在一些实施例中，光源2026还可以包括准直透镜2036，以在光到达镜子2032之前使由光发射器2028发射的光准直。
[0181]
光源2026优选地还包括处理模块2038或与处理模块2038通信，处理模块2038控制和同步来自光发射器2028的光输出与致动器2031、2033的移动和要形成的瞳孔内图像。例如，处理模块2038可以使镜子2032、2030的移动与来自光发射器2028的光的发射协调。在一些实施例中，镜子2032、2030通过致动器2031、2033在轴(镜子被设计为在该轴上移动)上连续地旋转或前后转动。通过光发射器2028的光的发射(例如，光脉冲)根据该移动定时，使得光在给定时刻被引导到中间图像平面1026’上的期望位置，该位置和时间也基于要显示的瞳孔内图像而确定(例如，特定光输出位置的激活在时间上与具有与该特定光输出位置相关联的视差差异的瞳孔内图像的显示一致)。在一些实施例中，通过在接通和关断状态之间切换(例如，通过分别向光发射器提供或不提供功率)光发射器2028来控制来自光发射器2028的光的发射。在一些其他实施例中，可以使用选择性地允许或阻挡光到达图像平面1026’的物理开关来机械地控制来自光发射器2028的光的发射。
[0182]
现在参考图20，光源2026可以包括光纤扫描器2027。光纤扫描器2027可以包括光发射器2028和使光纤2042移动的致动器2040。光1010a’、1010b’从光纤2042的末端传播出、通过透镜2034并聚焦在图像平面2026’上。应当理解，致动器2040可以使光纤2042以已知的速度沿预定路径(例如，圆形路径)移动。因此，处理模块2038可以被配置为使从光纤2042的末端出来的光的传播与光纤2042的移动同步，使得光在期望的光输出位置处传播出光纤2042，这进而与要显示的瞳孔内图像同步。
[0183]
如上所述，光源2026可以代替所讨论的任何显示系统中的光源1026。例如，光源2026可以代替图9、11a、12、13a和15至18中任一者的投射系统1003或显示系统1001中的光源1026。
[0184]
现在参考图21，示出了包括堆叠波导组件的目镜660(可以对应于图14至16中的目镜1030)的示例，该堆叠波导组件用于输出具有对应于不同分量颜色的不同波长的光。在一些实施例中，波导组件包括波导670、680和690。每个波导包括相关联的耦入光学元件(其也可以被称为波导上的光输入区域)，例如，设置在波导670的主表面(例如，上主表面)上的耦入光学元件700、设置在波导680的主表面(例如，上主表面)上的耦入光学元件710、以及设置在波导690的主表面(例如，上主表面)上的耦入光学元件720。在一些实施例中，耦入光学元件700、710、720中的一个或多个可以设置在相应的波导670、680、690的底部主表面上(特别是在一个或多个耦入光学元件是反射的、偏转光学元件的情况下)。如所示出的，耦入光学元件700、710、720可以设置在它们相应的波导670、680、690的上主表面上(或下一个下波导的顶部)，特别是在那些耦入光学元件是透射的、偏转的光学元件情况下。在一些实施例中，耦入光学元件700、710、720可以设置在相应波导670、680、690的主体中。在一些实施例中，如本文所讨论的，耦入光学元件700、710、720是波长选择性的，使得它们选择性地重定向一个或多个波长的光，同时透射其他波长的光。虽然在它们相应的波导670、680、690的一
侧或角上示出，但是应当理解，在一些实施例中，耦入光学元件700、710、720可以设置在它们相应的波导670、680、690的其他区域中。
[0185]
如所示出的，耦入光学元件700、710、720可以彼此横向偏移。在一些实施例中，每个耦入光学元件可以偏移，使得它接收光而光不通过另一耦入光学元件。例如，每个耦入光学元件700、710、720可以被配置为从如图6所示的不同的图像注入装置360、370、380、390和400接收光并且可以与其他耦入光学元件700、710、720分离(例如，横向间隔开)，使得它基本上不接收来自其他耦入光学元件700、710、720的光。在一些实施例中，耦入光学元件700、710、720垂直对准并且不横向偏移。
[0186]
每个波导还包括相关联的光分布(distribute)元件，例如，设置在波导670的主表面(例如，顶部主表面)上的光分布元件730、设置在波导680的主表面(例如，顶部主表面)上的光分布元件740以及设置在波导690的主表面(例如，顶部主表面)上的光分布元件750。在一些其他实施例中，光分布元件730、740、750可以分别设置在相关联的波导670、680、690的底部主表面上。在一些其他实施例中，光分布元件730、740、750可以分别设置在相关联的波导670、680、690的顶部和底部主表面上；或者光分布元件730、740、750可以分别设置在不同的相关联的波导670、680、690的顶部和底部主表面中的不同的主表面上。
[0187]
波导670、680、690可以由例如气体、液体和/或固体材料层间隔开并分离。例如，如所示出的，层760a可以分离波导670和680；以及层760b可以分离波导680和690。在一些实施例中，层760a和760b由低折射率材料(也就是，具有比形成波导670、680、690中的紧邻的波导的材料的折射率低的材料)形成。优选地，形成层760a、760b的材料的折射率比形成波导670、680、690的材料的折射率小0.05或更多、或0.10或更少。有利地，低折射率层760a、760b可以用作促进通过波导670、680、690的光的tir(例如，每个波导的顶部和底部主表面之间的tir)的包覆(clad)层。在一些实施例中，层760a、760b由空气形成。尽管未示出，但应理解，所示波导组660的顶部和底部可包括紧邻的包覆层。
[0188]
继续参考图21，光线770、780、790通过投射系统1003(图9和11至16)入射在波导670、680、690上并且注入这些波导内。
[0189]
在一些实施例中，光线770、780、790具有不同的属性，例如，不同的波长或不同的波长范围，其可以对应于不同的颜色。耦入光学元件700、710、720各自使入射光偏转，使得光通过tir传播通过波导670、680、690中的相应一个波导。
[0190]
例如，耦入光学元件700可以被配置为偏转具有第一波长或波长范围的光线770。类似地，传输的光线780入射耦入光学元件710并被耦入光学元件710偏转，该耦入光学元件710被配置为偏转具有第二波长或波长范围的光。同样地，光线790被耦入光学元件720偏转，该耦入光学元件720被配置为选择性地偏转具有第三波长或波长范围的光。
[0191]
继续参考图21，耦入光线770、780、790分别被耦入光学元件700、710、720偏转，然后分别在波导670、680、690内通过tir传播。然后，光线770、780、790分别入射光分布元件730、740、750。光分布元件730、740、750使光线770、780、790偏转，使得它们分别朝向耦出光学元件800、810、820传播。
[0192]
在一些实施例中，光分布元件730、740、750是正交瞳孔扩展器(ope)。在一些实施例中，ope将光偏转或分布至耦出光学元件800、810、820，并且还在该光传播到耦出光学元件时增加该光的光束或光点尺寸。在一些实施例中，例如，在光束尺寸已经具有期望尺寸的
情况下，可以省略光分布元件730、740、750，并且可以将耦入光学元件700、710、720配置为将光直接偏转至耦出光学元件800、810、820。在一些实施例中，耦出光学元件800、810、820是出射光瞳(ep)或出射光瞳扩展器(epe)，其引导观看者眼睛210中的光(图15-16)。应当理解，ope可以被配置为在至少一个轴上增加眼箱的尺寸，并且epe可以在例如与ope的轴正交的轴上增加眼箱。
[0193]
因此，在一些实施例中，目镜660包括波导670、680、690；耦入光学元件700、710、720；光分布元件(例如，ope)730、740、750；以及用于每种分量颜色的耦出光学元件(例如，ep)800、810、820。波导670、680、690可以堆叠，其中每个之间存在的空气隙/包覆层。耦入光学元件700、710、720将入射光(采用接收不同波长的光的不同的耦入光学元件)重定向或偏转到其波导中。然后光以一定角度传播，这将导致相应波导670、680、690内的tir。在所示的示例中，光线770(例如，蓝光)被第一耦入光学元件700偏转，然后继续跳到波导，以前面描述的方式与光分布元件(例如，ope)730相互作用，然后与耦出光学元件(例如，eps)800相互作用。光线780和790(例如，分别是绿光和红光)将穿过波导670，其中光线780入射耦入光学元件710并被耦入光学元件710偏转。光线780然后经由tir跳到波导680，继续进行到达其的光分布元件(例如，ope)740然后到达耦出光学元件(例如，ep)810。最后，光线790(例如，红光)穿过波导690以入射波导690的光耦入光学元件720。光耦入光学元件720偏转光线790，使得光线通过tir传播到光分布元件(例如，ope)750，然后通过tir传播到耦出光学元件(例如，ep)820。然后，耦出光学元件820最终将光线790耦出到观看者，观看者还接收来自其他波导670、680的耦出光。
[0194]
现在参考图22，其中示出了可穿戴显示系统60的示例。显示系统60可以对应于图9的显示系统1001，其中投射系统1003用于观看者或用户90的每只眼睛。
[0195]
显示系统60包括显示器70、以及支持该显示器70的功能的各种机械和电子模块和系统。显示器70可以与框架80耦接，该框架可以由显示系统用户或观看者90佩戴并且被配置为将显示器70定位在用户90的眼睛前方。在一些实施例中，显示器70可以被认为是眼镜(eyewear)。在一些实施例中，扬声器100被耦接到框架80并且被配置为位于用户90的耳道附近(在一些实施例中，另一扬声器(未示出)位于用户的另一耳道附近以提供立体声/可塑形声音控制)。在一些实施例中，显示系统还可以包括一个或多个麦克风110或其它设备以检测声音。在一些实施例中，麦克风被配置为允许用户向系统60提供输入或命令(例如，语音菜单命令、自然语言问题等的选择)和/或可以允许与其它人(例如，与其它类似显示系统的用户)的音频通信。麦克风还可以被配置作为外围传感器以收集音频数据(例如，来自用户和/或环境的声音)。在一些实施例中，显示系统还可以包括外围传感器120a，该外围传感器120a可以与框架80分离并且附接到用户90的身体(例如，用户90的头部、躯干、四肢等上)。在一些实施例中，外围传感器120a可以被配置为获取表征用户90的生理状态的数据。例如，传感器120a可以是电极。
[0196]
继续参考图22，显示器70通过通信链路130可操作地(诸如通过有线引线或无线连接)被耦接到本地数据处理和模块140，本地数据处理和模块140可以以各种配置安装，诸如被固定地附到框架80上、被固定地附到由用户佩戴的头盔或帽子上、被嵌入头戴耳机内、或者其它的可拆卸地附到用户90(例如，以背包式配置、以带耦接式配置)。类似地，传感器120a可以通过通信链路120b(例如通过有线引线或无线连接)可操作地耦接到本地处理和
数据模块140。本地处理和数据模块140可以包括硬件处理器以及诸如非易失性存储器(例如，闪速存储器或硬盘驱动器)的数字存储器，这两者都可用于辅助处理、高速缓存和存储数据。该数据可以包括：a)从传感器(其例如可以可操作地耦接到框架80或者其它的可操作地附到用户90)捕获的数据，所述传感器例如为图像捕获装置(诸如相机)、麦克风、惯性测量单元、加速度计、罗盘、gps单元、无线电装置、陀螺仪和/或本文公开的其他传感器；和/或b)使用远程处理模块150和/或远程数据储存库160获取和/或处理的数据(包括与虚拟内容有关的数据)，这些数据可以在这样的处理或检索之后被传送到显示器70。本地处理和数据模块140可以诸如经由有线或无线通信链路可操作地通过通信链路170、180耦接到远程处理模块150和远程数据储存库160，使得这些远程模块150、160可操作地彼此耦接并且可用作本地处理和数据模块140的资源。在一些实施例中，本地处理和数据模块140可以包括图像捕获装置、麦克风、惯性测量单元、加速度计、罗盘、gps单元、无线电装置和/或陀螺仪中的一个或多个。在一些其它实施例中，这些传感器中的一个或多个可以附到框架80或者可以是通过有线或无线通信路径与本地处理和数据模块140通信的独立结构。在一些实施例中，本地处理和数据模块140可以包括一个或多个图形处理器并且可以对应于控制系统1024(图9)
[0197]
继续参考图22，在一些实施例中，远程处理模块150可以包括一个或多个处理器，这些处理器被配置为分析和处理数据和/或图像信息。在一些实施例中，远程数据储存库160可以包括数字数据存储设施，该设施可以通过因特网或“云”资源配置中的其它网络配置而可用。在一些实施例中，远程数据储存库160可以包括一个或多个远程服务器，这些远程服务器向本地处理和数据模块140和/或远程处理模块150提供信息，例如，用于生成增强现实内容的信息。在一些实施例中，在本地处理和数据模块中存储所有数据并且执行所有计算，从而允许从远程模块完全自主的使用。
[0198]
示例—光场和焦点堆叠因式分解
[0199]
可以利用光场和焦点堆叠因式分解来确定显示系统1001的光输出，其中包括光源1026、2026和空间光调制器1018的输出。下面讨论关于因式分解的细节。
[0200]
1.焦点堆叠因式分解
[0201]
焦点堆叠y被因式分解为要在两个空间光调制器a和b上显示的一系列时间多路复用图案，空间光调制器a和b分别位于光瞳和图像平面中。在一些实施例中，空间光调制器a和b可分别对应于光源1026、2026和空间光调制器1018。所有量都被矢量化，使得焦点堆叠(具有m个像素的垂直分辨率、n个像素的水平分辨率和s个焦片(focal slice))被表示为单个矢量下面使用粗体符号表示离散矢量。除非另有说明，否则忽略不同的颜色通道并假设它们是独立的。表1提供了本文采用的张量符号和算子的概述。
[0202][0203]
表1：张量符号和算子的概述
[0204]
图像平面b中的空间光调制器也具有m
×
n像素的分辨率，但是另外，k个时间多路复用图案可以快速连续地被示出，使得它们将被观看者在感知上平均。这些时空图案表示为矩阵使得所有空间像素被矢量化并形成该矩阵的行索引，并且k个时间步长是矩阵的列索引。类似地，光瞳平面slm a将被表示为矩阵其中o是光瞳平面中可寻址的slm像素的总数，并且列索引再次是时间步长。
[0205]
因此，将焦点堆叠y因式分解为一组时间多路复用图案的目标可以被写为非凸优化问题。
[0206][0207]
其中投射算子执行从4d光场到3d焦点堆叠的线性变换(使用移位 加法算法)。该问题是嵌入在反卷积问题中的非负矩阵分解。交替方向乘子法(admm)(如boyd等人，2001，“distributed optimization and statistical learning via the alternating direction method of multipliers(通过交替方向乘子法的分布式优化和统计学习)”，foundations and trends in machine learning(机器学习的基础和趋势)3，1，1
–
122)可用于解决该问题。
[0208]
为了将式子1引入标准admm形式，可以将其重写为等效问题
[0209][0210]
其中矩阵是算子的矩阵形式，算子vec简单地将矩阵矢量化为单个1d矢量(例如，使用由马萨诸塞州内蒂克迈斯沃克(mathworks)提供的软件matlab执行的列主序)。
[0211]
然后，将该系统的增广拉格朗日量表示为
[0212]
[0213]
在缩放形式中，该增广拉格朗日量被写为
[0214][0215]
其中u＝(1/ρ)ξ。
[0216]
然后，admm算法由三个单独的更新(或近端算子)组成，这些更新被迭代地执行为
[0217][0218][0219]u←
u ab
t-z
ꢀꢀ
(7)这里，算子iυec{
·
}将矢量重塑为矩阵，并撤消算子υec对矩阵进行矢量化的操作。可以迭代地求解式子5至7，每次使用来自前一步骤的最新输出。
[0220]
1.1高效z更新
[0221]
式子5是无约束线性问题，其可以被重写为单个线性方程组：
[0222][0223]
该方程组是大型方程组，但是所有运算都可以表示为无矩阵的函数句柄，因此矩阵永远不会明确地形成。可以使用各种不同的解算器求解该方程组的z。例如，可以使用matlab的非常简单的同时代数重建技术(sart)。
[0224]
为了提高计算效率，将需要推导出用于z更新的封闭形式解。这可以促进整个算法的实时实现。导出封闭形式解的一种方法从式子8的法方程开始：
[0225][0226]
为了找到此式子的封闭形式解，导出(p
t
p ρ2i)的矩阵求逆。由于p将光场转换为焦点堆叠并且傅立叶切片(slice)定理指示原始域中的重新聚焦是傅立叶域中的切片，因此可以导出频域中的封闭形式解。使用这种见解，可以写出
[0227][0228]
这里，s是焦点堆叠中的切片的数量，oi是表示用于4d频域中的焦点切片i的切片算子的对角矩阵。f
4d
和分别表示离散4d傅立叶变换及其的求逆。
[0229]
矩阵求逆的预期代数表达式是
[0230][0231]
应当理解，因为不需要迭代，这种封闭形式解可以比迭代算法更快地提供解。然而，如果有足够的计算资源可用，则也适合使用迭代算法。
[0232]
1.2高效a、b更新
[0233]
a、b更新(式子6)是非负矩阵分解(nmf)问题。在这种情况下，这是最简单的nmf问题。这种问题的标准解和更先进的nmf方法详见下面的小节2。
[0234]
1.3处理颜色通道
[0235]
在以上推导中，假设灰度因式分解或假设可以独立地处理每个颜色通道。在某些情况下，这可能无法提供令人满意的近似；例如，两种颜色的slm可能引入颜色串扰，上面未对其进行建模。另外，在一些实施例中，显示系统可以使用图像平面中的灰度lcos和光瞳平面中的彩色led或oled阵列的组合。在这种情况下，所有颜色通道都是链接的(linked)。
[0236]
在考虑链接的颜色通道时，z更新和u更新都不会改变—它们可以在每个admm迭代中关于每个颜色通道而被独立地计算。然而，矩阵因式分解例程a、b更新确实发生了变化。不独立地因式分解每个颜色通道a
r,g,b
/b
r,g,b
，而是同时对a的所有颜色通道执行单个因式分解(在这种情况下b不包含颜色通道)，如
[0237][0238]
2矩阵因式分解变型
[0239]
非负矩阵因式分解是一种将矩阵分解成非负秩1矩阵的和的方法。分解问题不是凸的，因此解并不简单。现在将讨论问题和可能的解。
[0240]
该问题可以陈述为将矩阵x分解为秩1矩阵的和的问题
[0241][0242]
其中秩1矩阵的和导致原始矩阵的秩k近似。
[0243]
通过优化以下目标函数可以找到问题的最小二乘误差解：
[0244][0245]
其中矩阵的弗罗贝尼乌斯(forbenius)范数为
[0246]
2.1交替最小二乘法
[0247]
成本函数既是非线性的又是非凸的，具有多个局部最小值。当固定a或b时，其他矩阵的求解是凸的。在不考虑非负性约束的情况下，可以采用预期会聚的交替最小二乘法来对因式分解问题进行求解。为此，更新每个因式分解矩阵，同时以交替的方式固定其他因式分解矩阵。使用梯度下降法计算各个更新：
[0248][0249]
其中是关于各个因式分解矩阵的成本函数的导数，α
a,b
是它们相应的步长。如以下小节所示，选择步长的一种方法是选择它们，使得更新规则变为乘法(multiplicative)。在讨论步长之前，考虑梯度，该梯度如下所示：
[0250][0251]
在矩阵形式中，可以将梯度写为：
[0252][0253]
2.2乘法更新规则
[0254]
如上所述，选择步长的关键是通过将它们与最陡的下降方向组合，可以以纯乘法的方式编写加法更新规则(式子15)。在x
ij
≥0和a、b以正值初始化的条件下，乘法更新规则提供了因式分解矩阵在整个迭代更新过程中保持为正的。以下步长导致乘法更新规则：
[0255][0256]
组合式子15、17、18，产生
[0257][0258]
以下乘法更新规则是式子19的简化版：
[0259][0260]
从仅包含正值(通常是随机噪声)初始猜测开始并假设数据矩阵x是非负的，期望这些更新规则在整个迭代过程中保持a和b为正的。在实践中，将一个小值添加到除数中以避免除以零。
[0261]
2.3加权非负矩阵因式分解
[0262][0263]
可以修改乘法更新规则以关于每个矩阵元素x
ij
包括权重
[0264][0265]
其中w是具有与x相同的大小的加权矩阵。
[0266]
2.4投射的nmf
[0267]
投射的nmf在整个优化过程中向保持不变的目标函数添加了一个额外的投射矩阵p：
[0268][0269]
这里，a和b在其尺寸上关于先前服从(subjection)保持不变，但是
在跨越的空间中。该表达的梯度是
[0270][0271]
可以用矩阵形式写为
[0272][0273]
选择步长
[0274][0275]
导致以下乘法更新规则：
[0276][0277]
2.5投射的加权nmf
[0278]
对于投射的nmf，可以将权重添加到光场，产生以下更新规则
[0279][0280]
应当理解，本文描述的和/或附图描绘的过程、方法以及算法中的每一者可体现在以下项中并通过以下项被全部或部分自动化：代码模块，其由一个或多个物理计算系统、硬件计算机处理器、专用电路执行；以及/或者电子硬件，其被配置为执行具体和特定计算机指令。例如，计算系统能包括用具体计算机指令或专用计算机编程的通用计算机(例如服务器)、专用电路等。代码模块可被编译并链接到可执行程序中，安装在动态链接库中，或可用解释性编程语言编写。在一些实施例中，特定操作和方法可由特定于给定功能的电路来执行。
[0281]
此外，本公开的功能的特定实施例在数学上、计算上或技术上都足够复杂，以至于为了执行所述功能(例如由于所涉及的计算量或复杂性)或为了基本实时地提供结果，专用硬件或者一个或多个物理计算装置(利用适当的专有可执行指令)可以是必需的。例如，视频可包括多个帧，每帧具有数百万个像素，为了处理视频数据以在商业合理的时间量内提供期望的图像处理任务或应用，专用编程计算机硬件是必需的。
[0282]
代码模块或任何类型的数据可被存储在任何类型的非暂时性计算机可读介质上，诸如物理计算机存储器，包括硬盘驱动器、固态存储器、随机存取存储器(ram)、只读存储器(rom)、光盘、易失性或非易失性存储器以及相同和/或相似元件的组合。在一些实施例中，非暂时性计算机可读介质可以是本地处理和数据模块(140)、远程处理模块(150)和远程数据储存库(160)中的一个或多个的一部分。方法和模块(或数据)也可在各种计算机可读传输介质上作为生成的数据信号(例如，作为载波或其他模拟或数字传播信号的一部分)传输，所述传输介质包括基于无线的介质和基于有线/电缆的介质，且可采取多种形式(例如，作为单一或多路复用模拟信号的一部分，或者作为多个离散数字数据包或帧)。所公开的过程或处理步骤的结果可持久地或以其他方式存储在任何类型的非暂时性实体计算机存储
器中，或可经由计算机可读传输介质进行传送。
[0283]
本文所描述和/或附图所描绘的流程图中的任何过程、框、状态、步骤或功能应当被理解为潜在地表示代码模块、代码段或代码部分，它们包括在过程中实现具体功能(例如逻辑功能或算术功能)或步骤的一个或多个可执行指令。各种过程、框、状态、步骤或功能能够根据本文提供的说明性示例进行组合、重新排列、添加、删除、修改或其他改变。在一些实施例中，额外或不同的计算系统或代码模块可执行本文所述的一些或全部功能。本文所述方法和过程也不限于任何具体的顺序，且与其相关的框、步骤或状态能以适当的其他顺序来执行，例如以串行、并行或某种其他方式。可向所公开的示例实施例添加或从中移除任务或事件。此外，本文所述的实施例中的分离各种系统组件是出于说明的目的，且不应被理解为在所有实施例中都需要这样的分离。应该理解，所描述的程序组件、方法以及系统一般能一起集成在单个计算机产品中或封装到多个计算机产品中。
[0284]
在前述说明书中，已经参考其特定实施例描述了本发明。然而，显而易见的是，在不脱离本发明的更广泛的精神和范围的情况下，可以对其进行各种变型和改变。因此，说明书和附图应被视为示例性的而非限制性意义的。
[0285]
实际上，将理解，本公开的系统和方法各自具有若干创新性方面，这些方面中的任一单个方面不单独负责本文所公开的期望待性或不是本文所公开的期望待性所必需的。上述各种特征和过程可彼此独立使用或可以以各种方式组合使用。所有可能的组合和子组合均旨在落入此公开的范围内。
[0286]
在单独实施例的上下文中在此说明书所述的某些特征也能在单个实施例中组合实现。相反，在单个实施例的上下文中所述的各种特征也能在多个实施例中单独地或以任何合适的子组合实现。此外，尽管上文可将特征描述为以某些组合执行，甚至最初这样要求保护，但在一些情况下，来自所要求保护的组合的一个或多个特征能被从该组合中删除，且所要求保护的组合可涉及子组合或子组合的变体。任何单个特征或特征组对于每个实施例都不是必需或不可或缺的。
[0287]
将理解，本文中使用的条件语，诸如(除其他项外)“能”、“能够”、“可能”、“可以”、“例如”等一般旨在表达某些实施例包括而其他实施例不包括某些特征、元素和/或步骤，另有具体说明或在上下文中另有理解除外。因此，这样的条件语一般不旨在暗示特征、元素和/或步骤以任何方式对于一个或多个实施例是必需的，或者一个或多个实施例必然包括用于在具有或没有程序设计者输入或提示的情况下决定这些特征、元素和/或步骤是否包括在或者是否将在任何具体实施例中执行的逻辑。术语“包括”、“包含”、“具有”等是同义词，且以开放式的方式包含性地使用，且不排除额外的元素、特征、动作、操作等。此外，术语“或”以其包含性含义(而不是其专有性含义)使用，因此，当被用于例如连接元素列表时，术语“或”意味着列表中的一个、一些或全部元素。另外，本技术和所附权利要求书中使用的冠词“一”、“一个”和“所述”应被解释为意味着“一个或多个”或“至少一个”，另有具体说明除外。类似地，虽然操作在附图中可以以特定顺序描绘，但应认识到，这样的操作不需要以所述特定顺序或以相继顺序执行，或执行所有例示的操作以实现期望的结果。此外，附图可以以流程图的形式示意性地描绘一个或多个示例过程。然而，未示出的其他操作能并入示意性地示出的示例方法和过程中。例如，能在任何所示操作之前、之后、同时或期间执行一个或多个附加操作。另外，在其他实施例中，操作可被重新排列或重新排序。在某些情况下，多
任务和并行处理可具有优势。此外，上述实施例描述的各种系统组件的分离不应被理解为在所有实施例中都需要这种分离，且应该理解，所述程序组件和系统一般能被一起集成在单个软件产品中或封装到多个软件产品中。另外，其他实施例处于以下权利要求的范围内。在一些情况下，权利要求中列举的动作能以不同的顺序执行，且仍实现期望的结果。
[0288]
因此，权利要求不旨在限于本文所示的实施例，而是符合与本公开、本文公开的原理和新颖特征相一致的最宽范围。