虚拟和增强现实系统和方法
1.本技术是申请日为2017年3月24日、pct国际申请号为pct/us2017/024145、中国国家阶段申请号为201780032331.5、发明名称为“虚拟和增强现实系统和方法”的申请的分案申请。
2.优先权声明
3.本技术根据35u.s.c.
§
119(e),要求2016年3月25日提交的序列号为62/313,698的美国临时专利申请和2016年8月22日提交的序列号为62/378,109的美国专利申请的优先权益。这些优先权益文献中的每一者的公开的全部内容通过引用并入此文。
4.相关申请的交叉引用
5.以下专利申请中的每个的全部内容通过引用并入本技术:2014年11月27日提交的序列号为14/555,585的美国申请;2015年4月18日提交的序列号为14/690,401的美国申请;2014年3月14日提交的序列号为14/212,961的美国申请;以及2014年7月14日提交的序列号为14/331,218的美国申请。
技术领域
6.本公开涉及显示系统,包括增强现实成像和可视化系统。
背景技术:
7.现代计算和显示技术促进了用于所谓的“虚拟现实”或“增强现实”体验的系统开发,其中,数字再现图像或其部分以看起来是真实的或可以被感知为真实的方式呈现给用户。虚拟现实或“vr”场景通常涉及以对其它实际的真实世界视觉输入不透明的方式呈现数字或虚拟图像信息;增强现实或“ar”场景通常涉及将数字或虚拟图像信息呈现为对用户周围真实世界的可视化的增强。混合现实或“mr”场景是一种ar场景,通常涉及集成到自然世界中并对自然世界做出响应的虚拟对象。例如,mr场景可以包括ar图像内容,其看起来被真实世界中的对象阻挡或者以其它方式被感知为与对象交互。
8.参考图1,示出了增强现实场景10。ar技术的用户看到以人、树木、背景中的建筑物和混凝土平台30为特征的真实世界公园状设置20。用户还感知到他/她“看到”“虚拟内容”,诸如站在真实世界平台30上的机器人雕像40,以及看起来是大黄蜂的化身的正在飞行的卡通式化身角色50。这些元素50、40是“虚拟的”,因为它们在真实世界中不存在。因为人类视觉感知系统是复杂的,所以开发促进虚拟图像元素在其它虚拟或真实世界图像元素中舒适、感觉自然、丰富呈现的ar技术是极具挑战的。
9.本文公开的系统和方法解决了与ar和vr技术相关的各种挑战。
技术实现要素:
10.在一些实施例中,一种显示系统包括具有超焦距的头戴式显示器。所述头戴式显示器包括一个或多个波导,每个波导具有光焦度(optical power)和关联深度平面。所述一个或多个波导被配置为向观看者投射光以在关联深度平面上显示图像内容。所述深度平面
中的每一者在小于光学无限远处。
11.在一些其它实施例中,一种显示系统包括头戴式显示器。所述头戴式显示器包括一个或多个波导,每个波导具有光焦度和关联深度平面。所述一个或多个波导被配置为向观看者投射光以关联深度平面上显示图像内容。所述深度平面中的最远深度平面在光学无限远的约0.33dpt内。
12.在又一些实施例中,一种显示系统包括头戴式显示器。所述头戴式显示器包括形成波导堆叠的多个波导。每个波导具有光焦度和关联深度平面,其中,所述波导被配置为向观看者投射光以在所述关联深度平面上显示图像内容。所述深度平面中的最远深度平面在光学无限远的失配容限内。所述失配容限约为0.5dpt。
13.在一些其它实施例中,提供了一种用于在头戴式显示器上显示图像内容的方法。所述方法包括确定所述图像内容的调节
‑
辐辏失配是否超过阈值;以及如果所述调节
‑
辐辏失配超过所述阈值,则修改所述图像内容。
14.在又一些实施例中,提供了一种用于在由用户穿戴的头戴式显示器上显示图像内容的方法。所述方法包括确定所述用户存在眼睛疲劳;以及如果确定所述眼睛疲劳的存在,则修改所述图像内容。
15.在一些实施例中,一种可穿戴头戴式显示系统包括框架,该框架被配置为由用户穿戴。显示器被附接到所述框架。所述显示系统还包括支撑结构,其被配置为从所述用户头部的一侧延伸到所述头部的另一侧。所述支撑结构被机械地耦接到所述框架。
16.在一些实施例中,一种显示系统包括显示设备;一个或多个处理器;以及计算机存储介质。所述显示系统执行以下操作,包括:确定注视深度,其中,所述注视深度是所述用户的眼睛正在注视的深度。所述操作还包括基于所述注视深度是否在以下深度平面范围内来确定是否调整向所述用户的眼睛呈现虚拟对象的选定深度平面的选择:(1)仅由所述选定深度平面包含的深度平面范围;或(2)由所述选定深度平面和相邻深度平面两者包含的深度平面范围。导致在基于确定是否调整所述选定深度平面的选择时做出的确定而选择的特定深度平面上呈现所述虚拟对象。
17.在一些实施例中,一种显示系统包括显示设备;一个或多个处理器;以及计算机存储介质。所述显示系统执行以下操作,包括:确定注视深度,其中,所述注视深度是所述用户的眼睛正在注视的深度。确定所述多个深度平面中的要向所述用户呈现虚拟对象的特定深度平面,所述确定基于所述注视深度和由所述深度平面中的每一者包含的深度平面范围,其中,相邻深度平面都包含深度重叠区域。导致在所述特定深度平面上呈现所述虚拟对象。
18.在一些实施例中,一种方法包括确定注视深度,其中,所述注视深度是所述用户的眼睛正在注视的深度。基于所述注视深度是否在以下深度平面范围内来确定是否调整在其上向所述用户的眼睛呈现虚拟对象的选定深度平面的选择:(1)仅由所述选定深度平面包含的深度平面范围;或(2)由所述选定深度平面和相邻深度平面两者包含的深度平面范围。导致在基于确定是否调整所述选定深度平面的选择而选择的特定深度平面上呈现所述虚拟对象。
19.在一些实施例中,一种显示系统包括显示设备;一个或多个处理器;以及计算机存储介质。所述显示系统执行以下操作,包括:确定用户的指示所述用户正在注视的三维位置的注视点,。所述操作还包括确定是否切换要呈现虚拟对象的深度平面,所述确定至少部分
地基于所确定的注视点的深度。切换要呈现所述虚拟对象的所述深度平面,其中,切换所述深度平面由用户感知受限事件触发。
20.下面提供了实施例的其它示例。
21.示例1:一种显示系统,包括:
22.头戴式显示器,包括:
23.一个或多个波导,每个波导具有光焦度并且被配置为在关联深度平面上提供内容,其中,所述一个或多个波导被配置为向观看者投射光以在所述一个或多个波导的关联深度平面上显示图像内容,
24.其中,所述深度平面中的每一者在小于光学无限远处。
25.示例2:根据示例1所述的显示系统,其中,所述深度平面中的最远深度平面在光学无限远的约0.50dpt内。
26.示例3:根据示例2所述的显示系统,其中,所述深度平面中的最远深度平面在光学无限远的约0.33dpt内。
27.示例4:根据示例3所述的显示系统,其中,所述深度平面中的最远深度平面在光学无限远的约0.25dpt内。
28.示例5:根据示例1至4中任一项所述的显示系统,其中,所述深度平面相隔不大于约0.7dpt。
29.示例6:根据示例1至6中任一项所述的显示系统,其中,所述深度平面相隔不大于约0.5dpt。
30.示例7:根据示例1至7中任一项所述的显示系统,其中,所述显示器被配置为仅在两个深度平面上显示图像信息,其中,所述两个深度平面均在小于光学无限远处。
31.示例8:根据示例1所述的显示系统,其中,所述显示器被配置为仅在一个深度平面上显示图像信息,其中,所述一个深度平面在小于光学无限远处。
32.示例9:一种显示系统,包括:
33.头戴式显示器,包括:
34.一个或多个波导,每个波导具有光焦度和关联深度平面,其中,所述一个或多个波导被配置为向观看者投射光以在所述关联深度平面上显示图像内容,
35.其中,所述深度平面中的最远深度平面在光学无限远的约0.33dpt内。
36.示例10:根据示例10所述的显示系统,其中,所述深度平面中的次最远深度平面在所述深度平面中的所述最远深度平面的约0.66dpt内。
37.示例11:根据示例10至11中任一项所述的显示系统,其中,所述深度平面的总数为2。
38.示例12:根据示例10至12中任一项所述的显示系统,其中,所述深度平面的总数大于2,其中,紧邻的深度平面之间的间隔小于约0.66dpt。
39.示例13:根据示例10至13中任一项所述的显示系统,其中,所述深度平面的总数小于4。
40.示例14:根据示例10至13中任一项所述的显示系统,其中,所述一个或多个波导形成所述波导堆叠,其中,每个波导包括耦入光学元件,所述耦入光学元件被配置为重定向入射光以通过全内反射在所述波导内进行传播。
41.示例15:根据示例15所述的显示系统,其中每个波导的所述耦入光学元件被配置为选择性地重定向具有与单一分量颜色对应的波长的光。
42.示例16:根据示例15所述的显示系统,其中,当在俯视平面图中观看时,每个波导的所述耦入光学元件与其它波导的所述耦入光学元件横向间隔开。
43.示例17:根据示例15至17中任一项所述的显示系统,其中,每个波导进一步包括耦出光学元件,所述耦出光学元件被配置为将在每个波导内传播的光重定向到该波导之外。
44.示例18:根据示例15至18中任一项所述的显示系统,进一步包括光投射器系统,所述光投射器系统被配置为将图像内容导向所述波导的所述耦入光学元件,所述光投射器系统包括:
45.光发射器;以及
46.空间光调制器。
47.示例19:根据示例10至19中任一项所述的显示系统,其中,每个波导具有用于仅产生单个深度平面的光焦度。
48.示例20:一种显示系统,包括:
49.头戴式显示器,包括:
50.形成波导堆叠的多个波导,其中,每个波导具有光焦度并且被配置为在关联深度平面上提供内容,其中,所述波导被配置为向观看者投射光以在所述关联深度平面上显示图像内容,
51.其中,所述深度平面中的最远深度平面在光学无限远的失配容限内,其中,所述失配容限约为0.5dpt。
52.示例21:根据示例21所述的显示系统,其中,所述失配容限约为0.33dpt。
53.示例22:根据示例21至22中任一项所述的显示系统,其中,所述堆叠的关联深度平面与最近关联深度平面之间的间隔约为所述失配容限的两倍或更小。
54.示例23:根据示例21至23中任一项所述的显示系统,其中,所述深度平面的总数为4或更少。
55.示例24:根据示例24所述的显示系统,其中,所述深度平面的总数为2。
56.示例25:一种用于在头戴式显示器上显示图像内容的方法,所述方法包括:
57.确定所述图像内容的调节
‑
辐辏失配是否超过阈值;以及
58.如果所述调节
‑
辐辏失配超过所述阈值,则修改所述图像内容。
59.示例26:根据示例26所述的方法,其中,所述调节
‑
辐辏失配阈值为0.5dpt或更低。
60.示例27:根据示例27所述的方法,其中,所述调节
‑
辐辏失配阈值为0.33dpt或更低。
61.示例28:根据示例26至28中任一项所述的方法,其中,修改所述图像内容包括淡化所述图像内容。
62.示例29:根据示例29所述的方法,其中,淡化所述图像内容包括降低所述图像内容的分辨率。
63.示例30:根据示例30所述的方法,其中,所述图像内容的分辨率降低随着调节
‑
辐辏失配的增加而增加。
64.示例31:根据示例26至31中任一项所述的方法,其中,修改所述图像内容包括不显
示所述图像内容。
65.示例32:一种显示系统,包括:
66.处理器;以及
67.存储指令的计算机存储介质,所述指令当被所述显示系统执行时,使得所述显示系统执行以下操作,包括:
68.根据示例26至32中任一项所述的方法。
69.示例33:根据示例33所述的显示系统,其中,所述显示系统被配置为仅在一个深度平面上显示图像信息,其中,所述一个深度平面在小于光学无限远处。
70.示例34:根据示例33所述的显示系统,其中,所述显示系统被配置为仅在两个深度平面上显示图像信息,其中,所述两个深度平面均在小于光学无限远处。
71.示例35:一种用于在由用户穿戴的头戴式显示器上显示图像内容的方法,所述方法包括:
72.确定所述用户存在眼睛疲劳;以及
73.如果确定所述眼睛疲劳的存在,则修改所述图像内容。
74.示例36:根据示例36所述的方法,其中,确定存在所述眼睛疲劳包括对所述用户的一只或两只眼睛进行成像。
75.示例37:根据示例36至37中任一项所述的方法,其中,确定存在所述眼睛疲劳包括检测瞳孔扩张、会聚振荡和瞳孔振荡中的一者或多者。
76.示例38:根据示例36至38中任一项所述的方法,其中,确定存在所述眼睛疲劳包括测量皮肤电反应。
77.示例39:根据示例36至39中任一项所述的方法,其中,确定存在所述眼睛疲劳包括检测暴露于具有大于0.25dpt的调节
‑
辐辏失配的图像内容的持续时间。
78.示例40:根据示例40所述的方法,其中,所述调节
‑
辐辏失配大于0.33dpt。
79.示例41:根据示例41所述的方法,其中,所述调节
‑
辐辏失配大于0.50dpt。
80.示例42:根据示例36至42中任一项所述的方法,其中,修改图像内容包括以下一项或多项:
81.增加所述图像内容的特征尺寸;
82.降低所述图像内容的分辨率;以及
83.在比最初为所述图像内容指定的深度平面距离所述观看者更远的深度平面上显示所述图像内容。
84.示例43:根据示例36至43中任一项所述的方法,其中,执行修改图像内容,直到不再检测到所述用户存在所述眼睛疲劳。
85.示例44:根据示例36至44中任一项所述的方法,其中,在设定的持续时间内执行修改图像内容。
86.示例45:一种显示系统,包括处理器和存储指令的计算机存储介质,所述指令当被所述显示系统执行时,使得所述显示系统执行包括根据示例36至0中任一项所述的方法。
87.示例46:根据示例45所述的显示系统,其中,所述显示系统被配置为仅在一个深度平面上显示图像信息,其中,所述一个深度平面在小于光学无限远处。
88.示例47:根据示例45所述的显示系统,其中,所述显示系统被配置为仅在两个深度
平面上显示图像信息,其中,所述两个深度平面均在小于光学无限远处。
89.示例48:一种可穿戴头戴式显示系统,包括:
90.框架,其被配置为由用户穿戴;
91.显示器,其被附接到所述框架;以及
92.支撑结构,其被配置为从所述用户头部的一侧延伸到所述头部的另一侧,
93.其中,所述支撑结构被机械地耦接到所述框架。
94.示例49:根据示例48所述的可穿戴头戴式显示系统,进一步包括声换能器,所述声换能器被附接到所述支撑结构并且被配置为将声音导入所述用户的耳朵中。
95.示例50:根据示例49所述的可穿戴头戴式显示系统,其中,所述声换能器是扬声器。
96.示例51:根据示例48至50中任一项所述的可穿戴头戴式显示系统,其中,所述支撑结构是束带,所述束带被配置为从所述头部的一侧延伸到所述头部的另一侧。
97.示例52:根据示例51所述的可穿戴头戴式显示系统,其中所述束带以相对于与所述用户的眼睛和耳朵相交的平面的35
°
与55
°
之间的角跨过所述用户的头部。
98.示例53:根据示例51所述的可穿戴头戴式显示系统,其中所述束带以相对于与所述用户的眼睛和耳朵相交的平面的80
°
与100
°
之间的角跨过所述用户的头部。
99.示例54:根据示例52至53中任一项所述的可穿戴头戴式显示系统,其中,所述束带相对于与所述用户的眼睛以及第一和第二耳朵相交的平面的角是可调节的。
100.示例55:根据示例48至54中任一项所述的可穿戴头戴式显示系统,进一步包括波导,所述波导包括:
101.耦入光学元件,其被配置为基于入射光的特性选择性地将所述入射光耦入所述波导中;以及
102.耦出光学元件,其被配置为通过耦出被耦入所述波导中的光而将光投射到观看者的眼睛。
103.示例56:根据示例55所述的可穿戴头戴式显示系统,其中,所述耦出光学元件具有光焦度并且被配置为将光投射到所述眼睛以在关联深度平面上显示图像内容,其中,所述关联深度平面在小于光学无限远处。
104.示例57:根据示例56所述的可穿戴头戴式显示系统,其中,所述波导是波导堆叠的一部分,其中,所述波导堆叠中的至少一些波导包括不同的关联深度平面和具有不同光焦度的耦出光学元件,以便为所述至少一些波导中的每一者提供不同发散度的出射光。
105.示例58:一种显示系统,包括:
106.显示设备,其被配置为在多个深度平面上向用户呈现虚拟对象;
107.一个或多个处理器;以及
108.存储指令的计算机存储介质,所述指令当被所述显示系统执行时,使得所述显示系统执行以下操作,包括:
109.确定注视深度,其中,所述注视深度是用户的眼睛正在注视的深度;
110.基于所述注视深度是否在以下深度平面范围内来确定是否调整向所述用户的眼睛呈现虚拟对象的选定深度平面的选择:
111.(1)仅由所述选定深度平面包含的深度平面范围;或
112.(2)由所述选定深度平面和相邻深度平面两者包含的深度平面范围;以及
113.导致在基于确定是否调整所述选定深度平面的选择而选择的特定深度平面上呈现所述虚拟对象。
114.示例59:根据示例58所述的显示系统,其中,所述注视深度在仅由所述选定深度平面包含的深度平面范围内,其中,所述确定是否调整深度平面的选择是否定的。
115.示例60:根据示例58所述的显示系统,其中,所述注视深度在由所述选定深度平面和相邻深度平面两者包含的深度平面范围内,其中,所述确定是否调整深度平面的选择是否定的。
116.示例61:根据示例58所述的显示系统,其中,所述注视深度在以下深度平面范围之外的特定深度平面范围内:
117.(1)仅由所述选定深度平面包含的深度平面范围;以及
118.(2)由所述选定深度平面和相邻深度平面两者包含的深度平面范围,其中,所述确定是否调整所述深度平面的选择是肯定的。
119.示例62:根据示例61所述的显示系统,其中,所述虚拟对象在包含所述特定深度平面范围的深度平面上呈现。
120.示例63:根据示例58所述的显示系统,其中,所述注视深度在仅由所述相邻深度平面包含的深度平面范围内,其中,所述确定是否调整所述深度平面的选择是肯定的。
121.示例64:根据示例63所述的显示系统,其中,所述虚拟对象在所述相邻深度平面上呈现。
122.示例65:根据示例58所述的显示系统,其中,响应于确定调整深度平面的选择的肯定,触发在调整后的深度平面上的呈现以响应检测到所述用户执行眨眼或扫视。
123.示例66:根据示例58所述的显示系统,其中,所述操作进一步包括:
124.确定用户的指示所述用户正在注视的三维位置的注视点,所述三维位置指示所述注视深度。
125.示例67:一种显示系统,包括:
126.显示设备,其被配置为在多个深度平面上向用户呈现虚拟对象;
127.一个或多个处理器;以及
128.存储指令的计算机存储介质,所述指令当被所述显示系统执行时,使得所述显示系统执行以下操作,包括:
129.确定注视深度,其中,所述注视深度是所述用户的眼睛正在注视的深度;
130.确定所述多个深度平面中的要向所述用户呈现虚拟对象的特定深度平面,所述确定基于所述注视深度和由所述深度平面中的每一者包含的深度平面范围,其中,相邻深度平面都包含深度重叠区域;以及
131.导致在所述特定深度平面上呈现所述虚拟对象。
132.示例68:根据示例66所述的显示系统,其中,由深度平面包含的深度平面范围指示距所述用户的深度范围,当注视在该深度范围时,导致在所述深度平面上呈现所述虚拟对象。
133.示例69:根据示例66所述的显示系统,其中,所述在特定深度平面上的呈现包括:通过与所述特定深度平面的标称焦深相关联的调节线索和基于与所述虚拟对象相关联的
位置信息的辐辏线索来呈现所述虚拟对象。
134.示例70:根据示例69所述的显示系统,其中,由所述特定深度平面包含的所述深度平面范围的大小基于调节
‑
辐辏失配容限,所述调节
‑
辐辏失配容限指示与所呈现的虚拟对象的辐辏线索相关联的感知深度和与所述虚拟对象的调节线索相关联的感知深度之间的最大差。
135.示例71:根据示例66所述的显示系统,其中,所述深度重叠区域的尺寸基于与确定注视深度相关联的误差。
136.示例72:根据示例66所述的显示系统,其中,所述注视深度仅由所述特定深度平面包含,使得所述深度落在所述深度平面范围内。
137.示例73:根据示例66所述的显示系统,其中,所述注视深度在由所述特定深度平面和相邻深度平面包含的深度重叠区域内,其中,确定所述特定深度平面是基于所述用户的先前注视深度。
138.示例74:根据示例73所述的显示系统,其中,所述操作进一步包括:
139.基于所述先前注视深度,识别在注视所述深度重叠区域内的一个或多个注视深度之前,所述用户注视在仅由所述特定深度平面包含的注视深度。
140.示例75:根据示例73所述的显示系统,其中,所述操作进一步包括:
141.确定在所述深度重叠区域内的所述用户的后续注视深度;以及
142.导致在所述特定深度平面上呈现所述虚拟对象。
143.示例76:根据示例73所述的显示系统,其中,所述操作进一步包括:
144.确定由所述相邻深度平面包含并且在所述深度重叠区域之外的所述用户的后续注视深度;以及
145.导致在所述相邻深度平面上呈现所述虚拟对象。
146.示例77:根据示例76所述的显示系统,其中,所述显示系统被配置为确定所述用户已执行(1)眨眼或(2)扫视,并且作为响应,导致在所述相邻深度平面上的呈现。
147.示例78:一种方法,其至少部分地由显示设备实现,所述显示设备被配置为在多个深度平面上向用户呈现虚拟对象,所述方法包括:
148.确定注视深度,其中,所述注视深度是所述用户的眼睛正在注视的深度;
149.基于所述注视深度是否在以下深度平面范围内来确定是否调整向所述用户的眼睛呈现虚拟对象的选定深度平面的选择:
150.(1)仅由所述选定深度平面包含的深度平面范围;或
151.(2)由所述选定深度平面和相邻深度平面两者包含的深度平面范围;以及
152.导致在基于确定是否调整所述选定深度平面的选择而选择的特定深度平面上呈现所述虚拟对象。
153.示例79:根据示例78所述的方法,其中,所述注视深度在以下深度平面范围之外的特定深度平面范围内:
154.(1)仅由所述选定深度平面包含的深度平面范围;以及
155.(2)由所述选定深度平面和相邻深度平面两者包含的深度平面范围,其中,所述确定是否调整所述深度平面的选择是肯定的。
156.示例80:根据示例78所述的方法,其中,响应于确定调整深度平面的选择是的肯
定,触发在调整后的深度平面上的呈现以响应检测到所述用户执行眨眼或扫视。
157.示例81:一种显示系统,包括:
158.显示设备,其被配置为在多个深度平面上向用户呈现虚拟对象;
159.处理器;以及
160.存储指令的计算机存储介质,所述指令当被所述显示系统执行时,使得所述显示系统执行以下操作,包括:
161.确定用户的指示所述用户正在注视的三维位置的注视点;
162.确定是否切换要呈现虚拟对象的深度平面,所述确定至少部分地基于所确定的注视点的深度;以及
163.切换要呈现所述虚拟对象的所述深度平面,其中切换所述深度平面由用户感知受限事件触发。
164.示例82:根据示例81所述的显示系统,其中,所述操作进一步包括:
165.监视所述用户的眼睛以检测所述用户感知受限事件,所述用户感知受限事件包括正在执行的眨眼或扫视中的一者或多者。
166.示例83:根据示例82所述的显示系统,其中,监视所述用户的眼睛包括监视所述用户的瞳孔,其中,检测扫是基于所述瞳孔的转动速度超过阈值速度。
167.示例84:根据示例83所述的显示系统,其中,检测所述扫视进一步基于与所述用户的头部相关联的运动信息。
168.示例85:根据示例81所述的显示系统,其中,切换所述深度平面包括:
169.检测到所述用户正在执行眨眼;以及
170.作为响应,切换所述深度平面。
171.示例86:根据示例81所述的显示系统,其中,切换所述深度平面包括:
172.检测到所述用户正在执行扫视;以及
173.作为响应,切换所述深度平面。
174.示例87:根据示例81所述的显示系统,其中,切换所述深度平面包括:
175.响应于在阈值时间量之后未检测到执行眨眼或扫视,切换所述深度平面。
176.示例88:根据示例81所述的显示系统,其中,确定是否切换深度平面包括:
177.确定所确定的注视点的深度由切换后的深度平面包含。
178.示例89:根据示例81所述的显示系统,其中,所述操作进一步包括:
179.存储指示要切换所述深度平面的信息,以及监视所述用户的眼睛以确定所述用户感知受限事件。
180.示例90:根据示例81所述的显示系统,
181.其中所述显示设备包括多个堆叠波导,所述多个堆叠波导形成显示区域并通过所述显示区域提供周围环境的视图,其中,所述多个波导中的至少一些波导被配置为输出具有与其它波导不同的波前发散的光,每个波导与深度平面相关联;以及
182.其中,在切换后的深度平面上呈现所述虚拟对象包括与切换后的深度平面相关联的波导输出光以形成所述虚拟对象。
183.示例91:一种方法,其至少部分地由显示设备实现,所述显示设备被配置为在多个深度平面上向用户呈现虚拟对象,所述方法包括:
184.确定用户的指示所述用户正在注视的三维位置的注视点;
185.确定是否切换要呈现虚拟对象的深度平面,所述确定至少部分地基于所确定的注视点的深度;以及
186.切换要呈现所述虚拟对象的所述深度平面,其中,切换所述深度平面由用户感知受限事件触发。
187.示例92:根据示例91所述的方法,进一步包括:
188.监视所述用户的眼睛以检测所述用户感知受限事件,所述用户感知受限事件包括正在执行的眨眼或扫视中的一者或多者。
189.示例93:根据示例92所述的方法,其中,监视所述用户的眼睛包括监视所述用户的瞳孔,其中,检测扫视是基于所述瞳孔的转动速度超过阈值速度。
190.示例94:根据示例93所述的方法,其中,检测所述扫视进一步基于与所述用户的头部相关联的运动信息。
191.示例95:根据示例91所述的方法,其中,切换所述深度平面包括:
192.检测到所述用户正在执行眨眼;以及
193.作为响应,切换所述深度平面。
194.示例96:根据示例91所述的方法,其中切换所述深度平面包括:
195.检测到所述用户正在执行扫视;以及
196.作为响应,切换所述深度平面。
197.示例97:一种显示系统,包括显示设备、处理器和存储指令的计算机存储介质,所述指令当被所述处理器执行时,使得所述显示系统执行以下操作,包括:
198.由所述显示设备在多个深度平面上向用户呈现包括虚拟内容的帧,其中,对于呈现给所述用户的每个帧,所述虚拟内容在基于用户注视信息而选择的同一深度平面上呈现;以及
199.响应于识别要调整选定深度平面的选择,存储指示在检测到所述用户执行眨眼或扫视时,所述显示设备在调整后的深度平面上呈现一帧或多帧所述虚拟内容的信息。
200.示例98:根据示例97所述的显示系统,其中,所述操作进一步包括:
201.检测到眨眼或扫视的执行;以及
202.响应于所述确定,在调整后的深度平面上呈现所述虚拟内容。
203.示例99:根据示例97所述的显示系统,其中所述操作进一步包括:
204.确定所述用户在大于阈值时间内未执行眨眼或扫视;以及
205.响应于所述确定,在调整后的深度平面上呈现所述虚拟内容。
206.示例100:根据示例97所述的显示系统,其中,所述操作进一步包括:
207.监视所述用户的眼睛以检测眨眼或扫视,以及在监视的同时,在所述选定深度平面上呈现一帧或多帧虚拟内容。
208.示例101:根据示例97所述的显示设备,其中,在等待检测到眨眼或扫视的同时,确定所述用户正在注视与不同于调整后的深度平面的特定深度平面相关联的深度,并且存储指示在检测到眨眼或扫视时,在所述特定深度平面上呈现所述虚拟内容的信息。
附图说明
209.图1示出了用户通过ar设备对增强现实(ar)的视图。
210.图2示出了用于为用户模拟三维图像的常规显示系统。
211.图3a至图3c示出了曲率半径与焦半径之间的关系。
212.图4a示出了人类视觉系统的调节
‑
辐辏反应的表示。
213.图4b示出了用户的一对眼睛的不同调节状态和辐辏状态的示例。
214.图5示出了用于通过修改波前发散模拟三维图像的方法的各方面。
215.图6示出了用于将图像信息输出给用户的波导堆叠的示例。
216.图7示出了由波导输出的出射光束的示例。
217.图8示出了堆叠波导组件的示例,其中每个深度平面包括使用多种不同分量颜色形成的图像。
218.图9a示出了堆叠波导组的示例的横截面侧视图,每个堆叠波导包括耦入光学元件。
219.图9b示出了图9a的多个堆叠波导的示例的透视图。
220.图9c示出了图9a和图9b的多个堆叠波导的示例的俯视平面图。
221.图9d示出了可穿戴显示系统的示例。
222.图10a和10b分别示出了匹配的调节
‑
辐辏距离和失配的调节
‑
辐辏距离的示例。
223.图11示出了考虑调节
‑
辐辏失配阈值的深度平面放置的示例。
224.图12示出了考虑调节
‑
辐辏失配阈值的深度平面放置的另一示例。
225.图13示出了单深度平面显示系统的调节
‑
辐辏失配的曲线图的示例。
226.图14示出了双深度平面显示系统和单深度平面显示系统的调节
‑
辐辏失配的曲线图的示例。
227.图15示出了双深度平面显示系统和单深度平面显示系统的调节
‑
辐辏失配的曲线图的另一示例。
228.图16示出了用户正在注视注视点的示例。
229.图17示出了相邻深度平面之间的深度重叠。
230.图18a至图18b示出了显示系统的用户的视场的表示。
231.图19是用于呈现虚拟内容的示例过程的流程图。
232.图20是用于在用户感知受限时调整向用户呈现的内容的示例过程的流程图。
233.图21a示出了当图像内容提供超过阈值的调节
‑
辐辏失配时保持观看者舒适度的方法的示例。
234.图21b示出了用于缓解用户眼睛疲劳的方法的示例。
235.图22a示出了具有支撑结构的头戴式显示器的示例。
236.图22b示出了具有支撑结构和集成扬声器的头戴式显示器的示例。
237.提供附图是为了说明示例实施例,而不是旨在限制本公开的范围。
具体实施方式
238.虚拟和增强显示系统可以提供各种图像内容,图像内容的丰富度可以通过扩展用户穿戴系统的持续时间的能力而增加。例如,增强显示系统提供用单个设备取代常规显示
器(例如,计算机监视器、智能电话显示器等)的可能性,这还可以通过提供在其它方面不可用的内容来增强用户对世界的感知。然而,这些显示系统可能庞大和/或沉重,并且系统上显示的某些图像内容可能破坏长期用户的舒适度。例如,如本文所讨论的,一些显示系统可以利用波导堆叠跨大量深度平面向用户投射图像信息,从而提供三维观看体验。这种波导堆叠可能很重,这对于长期使用包含这种堆叠的显示系统来说是不期望的。
239.有利地,在一些实施例中,提供了可以促进长期穿戴者舒适度的系统和方法。在一些实施例中,使用精简的波导堆叠来提供可靠且舒适的三维观看体验,该精简的波导堆叠被配置为仅在一个或仅在两个深度平面上向用户投射图像信息。在一些实施例中,深度平面的数量可以更大,包括三个或四个深度平面。
240.如本文所述,应当理解,显示系统可以利用辐辏线索和调节线索来呈现具有深度感的显示内容。可以通过向用户的每只眼睛呈现虚拟对象的略微不同的视图来生成辐辏线索。调节线索可以根据形成这些略微不同视图的光的波前发散被推导出。辐辏线索使眼睛转到呈现特定的辐辏状态,在该状态中例如眼睛会聚在虚拟对象上。调节线索可以使眼睛的晶状体呈现特定形状,该特定形状在眼睛视网膜上提供虚拟对象的聚焦图像。因此,特定的辐辏线索可以使眼睛呈现特定的辐辏状态,并且特定的调节线索可以使眼睛呈现特定的调节状态。应当理解,空间中的真实对象提供了基于它们沿着距观看者的视轴或z轴的距离而变化的辐辏和调节线索,使得特定的辐辏线索可以与特定的辐辏距离相关,并且特定的调节线索可以同样地与远离观看者的特定调节距离相关。常规地,人们一直认为辐辏和调节线索应该彼此紧密匹配,以防止观看者的不适;也就是说,人们一直认为虚拟对象的辐辏和调节距离应该相同,以避免调节
‑
辐辏失配。显示虚拟对象时的调节
‑
辐辏失配可以被定义为虚拟对象的辐辏距离和调节距离之间的屈光度差异。
241.然而,已经发现人类视觉系统容忍一定程度的调节
‑
辐辏失配。因此,在失配容限内,调节线索可以保持相同,而辐辏线索可以改变,从而改变虚拟对象的感知深度。因此,在一些实施例中,辐辏线索可以连续变化,而调节线索以离散的步长变化,调节与辐辏之间的失配保持在失配容限水平以下。调节
‑
辐辏失配容限的示例包括0.5dpt或更低,0.33dpt或更低,或者0.25dpt或更低。在一些实施例中,最远深度平面可以在光学无限远的调节
‑
辐辏失配容限内,并且次最远深度平面可以在具有由最远深度平面的调节
‑
辐辏失配容限产生的体积的调节
‑
辐辏失配容限内,以此类推。
242.应当理解,特定波前发散量与特定深度平面相关联;也就是说,由显示系统输出的光的波前发散与来自沿z轴的特定深度处的真实对象的光的波前发散对应。因此,更改波前发散和调节线索可以被理解为涉及切换显示系统呈现虚拟对象的深度平面。在一些实施例中,可以切换深度平面,以便将调节
‑
辐辏失配维持在可接受的容限水平之下。每个深度平面可以具有标称焦深,对于看起来来自该深度平面的光具有对应的波前发散。然而,由于调节
‑
辐辏失配容限,内容可以被显示在该深度平面“上”(即,具有与该深度平面对应的波前发散),即使可以利用辐辏线索来提供虚拟对象比深度平面更接近或远离观看者的感知。如本文所公开的,可以利用的特定深度平面的距离的外边界由调节
‑
辐辏失配确定,该失配可以以屈光度为单位测量。
243.一些显示系统(在此被称为变焦显示系统)可以在离散的深度平面上呈现虚拟内容,其中,所有虚拟内容在给定时间呈现在同一深度平面上(例如,一次只有一个深度平面
是活跃的,或一次只有一个深度平面输出图像信息)。一次在一个深度平面上显示内容可能具有节省显示系统计算资源的优点。为了确定呈现虚拟内容的深度平面,变焦显示系统可以确定用户眼睛注视的深度(在此也被称为注视深度),例如通过确定到用户眼睛正注视的目标的距离。一旦确定了注视深度,显示系统就可以在与注视深度匹配或对应的深度平面上呈现内容。符合匹配条件的可以是与深度平面匹配的注视深度和/或在该深度平面的调节
‑
辐辏失配容限内的注视深度。如本文所使用的,对象的深度是沿视轴或z轴测量的该对象到用户的距离。
244.作为确定注视深度的示例,显示系统可以确定用户眼睛的注视点。例如,显示系统可以监视用户眼睛的取向,并且估计与用户眼睛相关联的注视矢量,以确定相应的确定的眼睛注视相交的三维位置。显示系统可以确定用户眼睛注视在特定的三维位置,并且显示系统可以在与该三维位置对应的深度平面上呈现虚拟内容。以这种方式,显示系统可以确保向观看者显示的内容适合于该深度平面。
245.因此,在一些实施例中,显示系统可以被配置为跟踪用户眼睛并且在与用户眼睛注视的深度对应的深度平面上提供内容。当用户眼睛的注视点更改时,显示系统可以被配置为切换到不同的深度平面,这可能导致由虚拟对象的图像引起的视网膜模糊的瞬时跃变。对于一般用户来说,当眼睛适应由新深度平面提供的波前发散时,这将显示为显示器的闪烁,随后是短暂的(例如,100至300毫秒)模糊时段。
246.在提供图像内容的深度平面与用户眼睛的注视深度相关的情况下,确定注视深度的误差可能导致深度平面之间切换的误差。可能的误差源包括例如与监视用户眼睛相关联的误差(例如,取向误差),注视跟踪,监视硬件的电气、计算和/或光学限制等。由于这些误差源,连续确定注视点位置可能提供该位置的不同值。在注视深度接近两个深度平面之间的边界的情况下,所确定的注视点位置的任何摆动可能导致深度平面间切换的摆动。不期望地,显示系统然后可能在第一深度平面上与在第二深度平面上交替地呈现虚拟内容,其中,每次交替被用户感知为闪烁。不受理论的约束,可以预期这种闪烁会给用户带来不适并且降低用户在观看体验中的沉浸感。
247.在一些实施例中,提供了限制深度平面之间发生不期望的切换的程度的技术。如下面将描述的,可以利用深度重叠,使得由第一深度平面覆盖或包含的深度平面范围的一部分可以与由第二深度平面覆盖或包含的深度平面范围的一部分重叠。例如如下面关于图16至图18所描述的,由深度平面包含的深度范围表示距用户的距离,当被注视时,该距离使得显示系统选择该深度平面用于呈现虚拟内容。在此方面,如果用户的注视点的深度发生变化,但是位于深度重叠内,则显示系统可以不改变呈现虚拟内容的深度平面。因此,可以防止显示系统在不同深度平面之间不必要地切换。
248.在一些实施例中,深度平面可以具有关联深度平面范围,该深度平面范围包括在z轴上从深度平面向前和向后延伸特定值的深度。例如,每个深度平面范围可以从距深度平面相关联的标称焦深较远的特定距离延伸到距该标称焦深较近的特定距离。作为示例,该特定距离可以是0.2、0.33或0.5屈光度。关于0.33屈光度的示例,对于与1屈光度的标称焦深相关联的示例深度平面,如果用户正注视在具有距用户眼睛(例如,用户眼睛的出瞳)的深度为0.66到1.33屈光度的三维位置上,则显示系统可在示例深度平面上呈现虚拟内容。在一些实施例中,距标称焦深较远的特定距离可表示调节
‑
辐辏失配容限水平(例如,最大
失配)。
249.如上所述,相邻深度平面范围的一部分可以重叠以包括沿z轴组深度组。在一些实施例中,深度重叠的程度可以基于与确定注视点相关联的误差。对于每个深度平面包含注视深度平面范围(例如,基于调节
‑
辐辏失配容限)的实施例,与没有重叠区域的深度平面布局相比,深度重叠可以导致与一个或多个深度平面相关联的标称焦深的移位。例如,可调节特定深度平面的远端边界以延伸超出更远的相邻深度平面的近端边界。由于特定深度平面的远端边界被调整为距离用户更远,因此,为了保持注视深度平面范围,可以类似地将特定深度平面的近端边界调整得更远。为了确保特定深度平面的深度平面范围所包含的所有深度从特定深度平面的标称焦深延伸小于调节
‑
辐辏失配容限,因此类似地调整标称焦深。下面参考图18a至图18b更详细地描述调整深度平面的标称焦深。
250.在一些示例显示系统中,上述与深度平面相关联的标称焦深的调整可以减小显示系统可以向用户呈现虚拟内容的整个深度平面范围。例如,当相邻深度平面重叠或共享其深度平面范围的部分时,所有深度平面所包含的合计深度范围可小于深度平面之间不存在重叠情况下的合计深度范围。然而,由于深度重叠可以减少由快速切换引起的闪烁(由于确定眼睛注视点时存在误差)的发生,因此即使从显示系统获得的可用深度范围较小,仍可以改善用户的观看体验。
251.另外,如果用户正在注视由任何深度平面包含的深度范围之外的特定深度,则显示系统可以选择性地通过与特定深度对应的辐辏线索呈现虚拟对象。由于与呈现相关联的调节线索(例如,标称焦深)将基于到该特定深度的最近深度平面,因此调节
‑
辐辏失配将超过上述失配容限水平。如上所述,由于超过调节
‑
辐辏失配容限可能引起用户的不适,因此显示系统可以在失配超过阈值时限制可被呈现的虚拟内容的时间量(例如,10秒、30秒、3分钟和/或用户可选择的时间量)。
252.在一些实施例中,可以通过在掩蔽或以其它方式降低切换的可感知性的事件期间执行深度平面切换来改善用户的观看舒适度。例如,显示系统可以确定要在与当前选择的深度平面不同的特定深度平面上呈现虚拟内容(例如,由于用户注视在新的注视点上)。如上所述,深度平面例如相对于变焦显示系统的切换可以引起可感知的闪烁。因此,在一些实施例中,显示系统可以延迟深度平面切换,直到发生视觉系统例如暂时不活动的事件,并且通过在此类事件期间执行切换来掩蔽切换。此类事件可以包括(1)眨眼或(2)执行扫视。在检测到此类事件时,可以执行深度平面切换。作为示例,显示系统可以基于监视用户的三维注视点来确定要选择不同的深度平面来呈现虚拟内容。然后,在将虚拟内容的呈现切换到不同的深度平面之前,显示系统可以等待,直到(1)用户眨眼或(2)用户执行扫视。优选地,切换在眨眼或扫视期间发生,因此,用户可能不会注意到切换,因为眼睛可能在切换时闭合或运动。
253.利用本文描述的技术,可以改善感知到的虚拟内容呈现质量。例如,可以减少可感知的视觉伪像(诸如由在不同深度平面之间切换内容引起的闪烁),特别是当显示系统以变焦模式操作时。
254.本文公开的各种实施例还提供用于向用户提供舒适的观看体验的附加系统和方法。例如,如本文所讨论的,调节
‑
辐辏失配可能超出用户可以发现可容忍的范围。在一些实施例中,为了缓解由调节
‑
辐辏的大幅失配导致的用户不适,显示系统可以被配置为主动监
视图像内容以确定内容是否会导致大幅调节
‑
辐辏失配。在检测到这种大幅失配时,在显示之前,可以以这种方式来修改图像内容以减少或消除失配。例如,显示系统可以被配置为淡化或不显示导致大幅失配的图像内容。
255.在一些其它实施例中,系统可以被配置为主动监视用户眼睛疲劳。在检测到眼睛疲劳时,系统可以被配置为修改图像内容以缓解眼睛疲劳。
256.在一些实施例中,可以使用支撑结构来解决显示系统的重量和/或平衡导致的身体不适,支撑结构可以在用户头部上方和/或朝着用户头部后面延伸。支撑结构例如可以是提供向上拉显示器的力的束带(例如,以减小设备对鼻托的压力)和/或抵消显示器在用户头部前侧和后侧上的重量。
257.应当理解,显示系统可以是增强现实显示系统或虚拟现实显示系统的一部分。作为一个示例,显示系统可具有透射性并且可以允许用户观看真实世界,同时向用户提供图像、视频、交互等形式的虚拟内容。作为另一示例,显示系统可以阻止用户观看真实世界,并且可以向用户呈现虚拟现实图像、视频、交互等。
258.现在将参考附图,在所有附图中,相同的参考标号指示相同的部件。
259.示例显示系统
260.图2示出了用于为用户模拟三维图像的常规显示系统。应当理解,用户的眼睛被分隔开,并且当观看空间中的真实对象时,每只眼睛将具有略微不同的对象视图,并且可能在每只眼睛的视网膜上的不同位置处形成对象的图像。这可以被称为双眼像差,并且可被人类视觉系统用于提供深度感。常规显示系统通过呈现具有同一虚拟对象的略微不同的视图的两个不同的图像190、200来模拟双眼像差,其中每个图像针对一只眼睛210、220,这些图像与每只眼睛在所需深度处将虚拟对象看作真实对象的虚拟对象视图。这些图像提供双眼线索,用户的视觉系统可以解释这些线索以推断深度感。
261.继续参考图2,图像190、200沿z轴与眼睛210、220相隔距离230。z轴平行于眼睛注视在观看者的正前方的光学无限远处的对象的观看者的视轴。图像190、200是平坦的,并且位于距眼睛210、220的固定距离处。基于分别呈现给眼睛210、220的图像中的略微不同的虚拟对象视图,眼睛可以自然地转动,使得对象的图像落在每只眼睛视网膜上的对应点处,以保持单一的双眼视觉。该转动可以使得每只眼睛210、220的视线会聚到虚拟对象被感知呈现的空间中的点上。因此,提供三维图像通常涉及提供双眼线索,这些线索可以操纵用户的眼睛210、220的辐辏,并且人类视觉系统解释这些线索以提供深度感。
262.然而,生成逼真和舒适的深度感是具有挑战性的。应当理解,来自距眼睛的不同距离处的对象的光具有发散量不同的波前。图3a至图3c示出了距离和光线发散之间的关系。对象与眼睛210之间的距离按照递减的次序由距离r1、r2和r3表示。如图3a至图3c所示,随着到对象的距离减小,光线变得更加发散。相反,随着距离的增加,光线变得更加准直。换句话说,可以认为由点(对象或对象的部分)产生的光场具有球面波前曲率,该球面波前曲率是该点距用户眼睛的距离的函数。随着对象与眼睛210之间的距离减小,曲率增加。尽管为了在图3a至图3c和本文中的其它图中清楚地说明而仅示出单只眼睛210,但是有关眼睛210的讨论可以应用于观看者的双眼210和220。
263.继续参考图3a至图3c,来自观看者眼睛注视的对象的光可以具有不同程度的波前发散。由于波前发散量不同,光可以由眼睛晶状体进行不同的聚焦,这反过来需要晶状体呈
现不同的形状以在眼睛视网膜上形成聚焦图像。在视网膜上没有形成聚焦图像的情况下,所导致的视网膜模糊充当调节线索,该调节引起眼睛晶状体形状的改变,直到在视网膜上形成聚焦图像。例如,调节线索可以触发眼睛晶状体周围的睫状肌放松或收缩,从而调节施加到保持晶状体的悬韧带的力,因此使眼睛晶状体的形状改变,直到消除或最小化视网膜模糊,从而在眼睛的视网膜/中央凹上形成注视对象的聚焦图像。眼睛晶状体改变形状的过程可以被称为调节,并且在眼睛视网膜/中央凹上形成注视对象的聚焦图像所需的眼睛晶状体形状可以被称为调节状态。
264.现在参考图4a,示出了人类视觉系统的调节
‑
辐辏响应的表示。眼睛移动以注视对象导致眼睛接收来自对象的光,其中,光在眼睛的每个视网膜上形成图像。在视网膜上形成的图像中存在视网膜模糊可以提供调节线索,并且图像在视网膜上的相对位置可以提供辐辏线索。调节线索导致调节的发生,从而导致眼睛晶状体分别呈现特定调节状态,该状态在眼睛的视网膜/中央凹上形成对象的聚焦图像。另一方面,辐辏线索导致辐辏运动(眼睛转动)发生,使得在每只眼睛的每个视网膜上形成的图像处于保持单一的双眼视觉的对应视网膜点处。在这些位置,可以说眼睛已经呈现特定辐辏状态。继续参考图4a,调节可以被理解为眼睛实现特定调节状态的过程,并且辐辏可以被理解为眼睛实现特定辐辏状态的过程。如图4a所示,如果用户注视另一对象,则眼睛的调节和辐辏状态可能改变。例如,如果用户注视z轴上的不同深度处的新对象,则调节状态可能改变。
265.不受理论的限制,可以认为对象的观看者可能由于辐辏和调节的组合而将对象感知为“三维的”。如上所述,两只眼睛相对与彼此的辐辏运动(例如,使得瞳孔彼此靠近或远离彼此以使眼睛的视线会聚以注视对象的眼睛转动)与眼睛晶状体的调节密切相关。在正常情况下,根据被称为“调节
‑
辐辏反射”的关系,改变眼睛晶状体的形状以将焦点从一个对象改变到不同距离处的另一对象将自动导致到同一距离的辐辏匹配变化。同样,在正常情况下,辐辏的变化将引发晶状体形状的匹配变化。
266.现在参考图4b,示出了眼睛的不同调节和辐辏状态的示例。一对眼睛222a注视光学无限远处的对象,而一对眼睛222b注视小于光学无限远处的对象221。值得注意的是,每对眼睛的辐辏状态是不同的,一对眼睛222a注视正前方,而一对眼睛222b会聚在对象221上。形成每对眼睛222a和222b的眼睛调节状态是也是不同的,如由不同形状的晶状体210a、220a表示。
267.不期望地,由于这些显示器中存在调节和辐辏状态之间的失配,常规“3d”显示系统的许多用户发现这些常规系统不舒适,或者根本不能感知到深度感。如上所述,许多立体或“3d”显示系统通过向每只眼睛提供略微不同的图像来显示场景。这样的系统对于许多观看者来说是不舒服的,其中一个因素是因为它们只能提供不同的场景呈现并且引起眼睛辐辏状态的变化,但是这些眼睛不具有对应的调节状态变化。相反,图像由位于距眼睛固定距离处的显示器示出,使得眼睛以单个调节状态观看所有图像信息。这种布置通过引起辐辏状态变化而不引起调节状态的匹配变化,违背“调节
‑
辐辏反射”起作用。可以认为这种失配导致观看者不适。提供调节和辐辏间的更好匹配的显示系统可以形成更逼真和舒适的三维图像模拟。
268.不受理论的限制,可以认为人眼通常可以解释有限数量的深度平面以提供深度感知。因此,可以通过向眼睛提供与这些有限数量的深度平面中的每一者对应的图像的不同
呈现来实现高度可信的感知深度模拟。在一些实施例中,不同的呈现可以提供辐辏线索和匹配的调节线索,从而提供生理上正确的调节
‑
辐辏匹配。
269.继续参考图4b,示出了与在空间上距眼睛210、220的不同距离对应的两个深度平面240。对于给定的深度平面240,可以通过为每只眼睛210、220显示适当的不同视角的图像来提供辐辏线索。另外,对于给定深度平面240,形成提供给每只眼睛210、220的图像的光可以具有与由该深度平面240的该距离处的点产生的光场对应的波前发散。
270.在所示实施例中,包含点221的深度平面240沿z轴的距离是1m。如本文所使用的,可以利用位于用户眼睛的出瞳处的零点来测量沿z轴的距离或深度。因此,位于1m深度处的深度平面240与在这些眼睛的视轴上距用户眼睛出瞳1m的距离对应。作为近似,沿z轴的深度或距离可以被测量为:距用户睛前的显示器(例如,从波导表面)的距离加上设备与用户眼睛出瞳之间的距离值。该值可以被称为出瞳间隔,并且与用户眼睛的出瞳与用户眼前的由用户穿戴的显示器之间的距离。在实践中,出瞳间隔值可以是通常用于所有观看者的标称值。例如,出瞳间隔被呈现为20mm,则处于1m深度处的深度平面可以位于显示器前方980mm的距离处。
271.图5示出了用于通过修改波前发散来模拟三维图像的方法的各方面。该显示系统包括波导270,该波导270被配置为接收利用图像信息编码的光770,并将该光输出到用户眼睛210。波导270可以输出具有限定量的波前发散的光650,该发散与由所需深度平面240上的点产生的光场的波前发散对应。在一些实施例中,针对在该深度平面上呈现的所有对象提供相同量的波前发散。另外,将示出的是可以向用户的另一只眼睛提供来自类似波导的图像信息。
272.在一些实施例中,单个波导可以被配置为输出具有设定量的波前发散的光,该波前发散与单个深度平面或有限数量深度平面对应,和/或波导可以被配置为输出有限波长范围的光。因此,在一些实施例中,针对不同的深度平面,可以利用多个波导或波导堆叠来提供不同量的波前发散和/或输出具有不同波长范围的光。
273.图6示出了用于将图像信息输出给用户的波导堆叠的示例。显示系统250包括波导堆叠或堆叠波导组件260,该波导组件可被用于使用多个波导270、280、290、300、310向眼睛/大脑提供三维感知。将理解,在一些实施例中,显示系统250可以被视为光场显示器。另外,波导组件260也可以被称为目镜。
274.在一些实施例中,显示系统250可以被配置为提供基本连续的辐辏线索和多个不连续的调节线索。可以通过向用户的每只眼睛显示不同的图像来提供辐辏线索,并且可以通过输出借助离散量的波前发散形成图像的光来提供调节线索。在一些实施例中,每个离散水平的波前发散与特定深度平面对应,并且可以由波导270、280、290、300、310中的特定一者提供。
275.继续参考图6,波导组件260还可以包括位于波导之间的多个特征320、330、340、350。在一些实施例中,特征320、330、340、350可以是一个或多个透镜。波导270、280、290、300、310和/或多个透镜320、330、340、350可以被配置为以各种水平的波前曲率或光线发散向眼睛发送图像信息。每个波导水平可以与特定深度平面相关联,并且可以被配置为输出与该深度平面对应的图像信息。图像注入装置360、370、380、390、400可以被用作波导的光源,并且可被用于将图像信息注入波导270、280、290、300、310中,如本文所述,每个波导可
以被配置为将入射光分布在每个相应的波导上以便朝着眼睛210输出。光从图像注入装置360、370、380、390、400的输出表面410、420、430、440、450射出,并且注入波导270、280、290、300、310的对应输入表面460、470、480、490、500中。在一些实施例中,输入表面460、470、480、490、500中的每一者可以是对应波导的边缘,或者可以是对应波导的主表面的一部分(即,直接面向世界510或观看者眼睛210的波导表面中的一者)。在一些实施例中,可以将单个光束(例如准直光束)注入每个波导以输出整个克隆的准直光束场,这些准直光束以对应于与特定波导相关联的深度平面的特定角度(和发散量)导向眼睛210。在一些实施例中,图像注入装置360、370、380、390、400的单一一者可以与波导270、280、290、300、310中的多个(例如,三个)相关联以及将光注入该多个波导中。
276.在一些实施例中,图像注入装置360、370、380、390、400是分立的显示器,每个显示器产生用于分别注入对应波导270、280、290、300、310中的图像信息。在一些其它实施例中,图像注入装置360、370、380、390、400是单个多路复用显示器的输出端,该显示器例如可以经由一个或多个光学导管(例如光纤光缆)将图像信息管道传输到图像注入装置360、370、380、390、400中的每一者。将理解,由图像注入装置360、370、380、390、400提供的图像信息可以包括不同波长或颜色(例如,本文所讨论的不同的分量颜色)的光。
277.在一些实施例中,注入波导270、280、290、300、310的光由光投射器系统520提供,该光投射器系统520包括光模块530,该光模块530可包括诸如发光二极管(led)之类的光发射器。来自光模块530的光可以经由光束分离器550被光调制器530(例如,空间光调制器)引导和修改。光调制器530可以被配置为改变注入波导270、280、290、300、310中的光的感知强度,以借助图像信息对光进行编码。空间光调制器的示例包括液晶显示器(lcd),该液晶显示器包括硅基液晶(lcos)显示器。应当理解,图像注入装置360、370、380、390、400被示意性地示出,并且在一些实施例中,这些图像注入装置可以表示公共投射系统中的不同光路和位置,该公共投射系统被配置为将光输出到波导270、280、290、300、310中的关联波导。在一些实施例中,波导组件260的波导可以充当理想的透镜,同时将注入波导中的光中继到用户眼睛。在此概念中,对象可以是空间光调制器540,图像可以是深度平面上的图像。
278.在一些实施例中,显示系统250可以是扫描光纤显示器,该扫描光纤显示器包括一个或多个扫描光纤,这些扫描光纤被配置为以各种图案(例如,光栅扫描、螺旋扫描、利萨如(lissajous)图案等)将光投射到一个或多个波导270、280、290、300、310中并最终投射到观看者的眼睛210。在一些实施例中,所示图像注入装置360、370、380、390、400可示意性地表示单个扫描光纤或扫描光纤束,这些扫描光纤或光纤束被配置为将光注入波导270、280、290、300、310中的一者或多者中。在一些其它实施例中,所示的图像注入装置360、370、380、390、400可以示意性地表示多个扫描光纤或扫描光纤束,这些扫描光纤或光纤束中的每一者被配置为将光注入波导270、280、290、300、310中的关联波导中。应当理解,一个或多个光纤可以被配置为将光从光模块530传输到一个或多个波导270、280、290、300、310。应当理解,可以在一个或多个扫描光纤与一个或多个波导270、280、290、300、310之间提供一个或多个中间光学结构,以例如将从扫描光纤射出的光重定向到一个或多个波导270、280、290、300、310中。
279.控制器560控制堆叠波导组件260中的一者或多者的操作,其中包括图像注入装置360、370、380、390、400、光源530和光调制器540的操作。在一些实施例中,控制器560是本地
数据处理模块140的一部分。控制器560包括编程(例如,非暂时性介质中的指令),该编程根据例如本文公开的任何多种的方案调节图像信息到波导270、280、290、300、310的定时和提供。在一些实施例中,控制器可以是单个集成装置,或者是通过有线或无线通信信道连接的分布式系统。在一些实施例中,控制器560可以是处理模块140或150(图9d)的一部分。
280.继续参考图6,波导270、280、290、300、310可以被配置为通过全内反射(tir)在每个相应的波导内传播光。波导270、280、290、300、310可以各自是平面的或具有另一形状(例如,弯曲的),其具有顶部主表面和底部主表面以及在这些顶部主表面和底部主表面之间延伸的边缘。在所示的配置中,波导270、280、290、300、310可各自包括耦出光学元件570、580、590、600、610,这些耦出光学元件被配置为通过将在每个相应的波导内传播的光重定向到波导之外来从波导中提取光,来向眼睛210输出图像信息。所提取的光也可以被称为耦出光,并且耦出光学元件也可以被称为光提取光学元件。在波导内传播的光照射光提取光学元件的位置处,可以由波导输出所提取的光束。耦出光学元件570、580、590、600、610例如可以是光栅,光栅包括本文进一步所讨论的衍射光学特征。尽管为了便于描述和描绘清楚而示出了设置在波导270、280、290、300、310的底部主表面处,但是在一些实施例中,如本文进一步所讨论的,耦出光学元件570、580、590、600、610可以被设置在顶部和/或底部主表面,和/或可以被直接设置在波导270、280、290、300、310的体中。在一些实施例中,耦出光学元件570、580、590、600、610可以在附接到透明基板的材料层中形成,从而形成波导270、280、290、300、310。在一些其它实施例中,波导270、280、290、300、310可以是整块材料,并且耦出光学元件570、580、590、600、610可以形成在该块材料的表面上和/或内部。
281.继续参考图6,如本文所讨论的,每个波导270、280、290、300、310被配置为输出光以形成对应于特定深度平面的图像。例如,最靠近眼睛的波导270可以被配置为将准直光(其被注入到这样的波导270)传递到眼睛210。该准直光可以代表光学无限远焦平面。下一上行波导280可以被配置为发出准直光,该准直光可到达眼睛210之前传输通过第一透镜350(例如,负透镜);这样的第一透镜350可以被配置为产生微凸的波前曲率,使得眼睛/大脑将来自该下一上行波导280的光解释为来自从光学无限远向内更靠近眼睛210的第一焦平面。类似地,第三上行波导290使其输出光在到达眼睛210之前传输通过第一透镜350和第二透镜340两者;第一透镜350和第二透镜340的组合光焦度可以被配置为产生另一波前曲率增量,使得眼睛/大脑将来自第三波导290的光解释为来自从光学无限远向内进一步更靠近人的第二焦平面,而不是来自下一上行波导280的光。
282.其它波导层300、310和透镜330、320被类似地配置,其中堆叠中的最高波导310将其输出发送通过其与眼睛之间的所有透镜,以获得代表距人最近的焦平面的总光焦度。为了在观看/解释来自堆叠波导组件260的另一侧上的世界510的光时补偿透镜320、330、340、350的堆叠,可以在堆叠的顶部设置补偿透镜层620,以补偿下面的透镜堆叠320、330、340、350的总光焦度。这种配置提供与可用的波导/透镜配对一样多的感知焦平面。波导的耦出光学元件和透镜的聚焦方面都可以是静态的(即,不是动态的或电活性的)。在一些替代实施例中,使用电活性特征,波导的耦出光学元件和透镜的聚焦方面中的一者或两者可以是动态的。
283.在一些实施例中,波导270、280、290、300、310中的两者或更多者可具有相同的关联深度平面。例如,多个波导270、280、290、300、310可以被配置为将图像集输出到相同的深
度平面,或者波导270、280、290、300、310的多个子集可以被配置为将图像集输出到相同的多个深度平面,每个深度平面一个集。这可以为形成平铺图像提供优势,以在那些深度平面处提供扩展视场的。
284.继续参考图6,耦出光学元件570、580、590、600、610可以被配置为既将光重定向出它们相应的波导之外,也未与波导相关联的特定深度平面输出具有适当的发散量或准直量的该光。因此,具有不同关联深度平面的波导可以具有不同配置的耦出光学元件570、580、590、600、610,不同配置的耦出光学元件570、580、590、600、610根据关联的深度平面输出具有不同发散量光。在一些实施例中,耦出光学元件570、580、590、600、610可以是体积特征或表面特征,其可以被配置为以特定角度输出光。例如,耦出光学元件570、580、590、600、610可以是体全息、表面全息和/或衍射光栅。在一些实施例中,特征320、330、340、350可以不是透镜;相反,它们可以仅仅是间隔物(例如,包层和/或用于形成气隙的结构)。
285.在一些实施例中,耦出光学元件570、580、590、600、610是形成衍射图案的衍射特征,或“衍射光学元件”(在本文中也被称为“doe”)。优选地,doe具有足够低的衍射效率,使得只有一部分光束借助doe的每个交叉点向眼睛210偏转,而其余部分经由tir继续前进通过波导。因此,携带图像信息的光被分成多个相关的出射光束,这些出射光束在多个位置处从波导出射,并且针对在波导内弹跳的此特定准直光束,结果是形成向眼睛210出射的相当均匀的图案。
286.在一些实施例中,一个或多个doe可以在他们活跃地衍射的“开启”状态与不明显衍射的“关闭”状态之间可切换。例如,可切换的doe可以包括聚合物分散液晶层,其中,微滴包括在主体介质中的衍射图案,并且微滴的折射率可以被切换为基本匹配主体材料的折射率(在这种情况下,图案不会显著地衍射入射光)或者微滴可以被切换为与主体介质的折射率失配的折射率(在这种情况下,图案活跃地衍射入射光)。
287.在一些实施例中,可提供相机组件630(例如,数码相机,包括可见光和红外光相机)以捕获眼睛210和/或眼睛210周围的组织的图像,以例如检测用户输入和/或监测用户的生理状态。如本文所使用的,相机可以是任何图像捕获装置。在一些实施例中,相机组件630可以包括图像捕获装置和光源,以将光(例如,红外光)投射到眼睛,然后光可以由眼睛反射并由图像捕获装置检测到。在一些实施例中,相机组件630可以被附接到框架80(图9d)并且可以与处理模块140和/或150电连通,处理模块140和/或处理模块150可以处理来自相机组件630的图像信息。在一些实施例中,每只眼睛可以使用一个相机组件630以分别监测每只眼睛。
288.现在参考图7,示出了由波导输出的出射光束的示例。示出了一个波导,但是应当理解,波导组件260(图6)中的其它波导可以发挥类似的作用,其中,波导组件260包括多个波导。光640在波导270的输入表面460处注入波导270,并通过tir在波导270内传播。在光640照射doe 570上的点处,一部分光作为出射光束650从波导出射。出射光束650被示为基本上平行,但是如本文所讨论的,它们也可以被重定向为以一角度(例如,形成发散的出射光束)传播到眼睛210,该角度取决于与波导270相关联的深度平面。应当理解,基本上平行的出射光束可以指示具有耦出光学元件的波导,输出光学元件将光耦出以形成看起来设置在距离眼睛210的较远距离处(例如,光学无限远)的深度平面上的图像。其它波导或耦出光学元件的其它集合可以输出更加发散的出射光束图案,这将需要眼睛210适应更近的距离
以以使更加发散的出射光束图案聚焦在视网膜上并且将被大脑解释为来自比光学无限远更靠近眼睛210的距离处的光。
289.在一些实施例中,可以通过在组分颜色(例如,三种或更多种组分颜色)中的每一者中叠加图像来在每个深度平面处形成全色图像。图8示出了堆叠波导组件的示例,其中,每个深度平面包括使用多种不同组分颜色形成的图像。所示的实施例示出了深度平面240a
‑
240f,但也可以预期更多或更少的深度。每个深度平面可以具有与其相关联的三种或更多种组分颜色图像,其中包括:第一颜色g的第一图像;第二颜色r的第二图像;以及第三颜色b的第三图像。对于字母g,r和b之后的屈光度(dpt),在图中通过不同的数字表示不同的深度平面。仅作为示例,这些字母中的每一者后面的数字表示屈光度(1/m),或该深度平面距观看者的距离倒数,并且图中的每个框表示单独的组分彩色图像。在一些实施例中,为了考虑眼睛对不同波长的光的聚焦的差异,不同组分颜色的深度平面的准确放置可以变化。例如,给定深度平面的不同组分颜色图像可以被放置在与距用户不同距离相对应的深度平面上。这样的布置可以增加视敏度和用户舒适度,和/或可以减少色差。
290.在一些实施例中,每种组分颜色的光可以由单个专用波导输出,因此,每个深度平面可以具有与其相关联的多个波导。在这样的实施例中,图中包括字母g、r或b的每个框可以被理解为表示单独的波导,并且每个深度平面可以为提供三个波导,其中为每个深度平面提供三个组分彩色图像。尽管为了便于描述,在此图中与每个深度平面相关联的波导被示出为彼此邻近,但是应当理解,在物理装置中,波导可以全部布置为每层具有一个波导的堆叠形式。在一些其它实施例中,多个组分颜色可以由相同的波导输出,使得每个深度平面例如可以仅提供单个波导。
291.继续参考图8,在一些实施例中,g是绿色,r是红色,b是蓝色。在一些其它实施例中,除了红色、绿色或蓝色之外,可以使用与其它波长的光(包括品红色和青色)相关联的其它颜色,或者这些其它颜色可以替代红色、绿色或蓝色中的一种或多种。
292.应当理解,贯穿本公开对给定颜色的光的引用将被理解为包括被观看者感知为具有该给定颜色的光波长范围内的一个或多个波长的光。例如,红光可以包括在约620
‑
780nm范围内的一个或多个波长的光,绿光可以包括在约492
‑
577nm范围内的一个或多个波长的光,蓝光可以包括在约435
‑
493nm的范围内的一个或多个波长的光。
293.在一些实施例中,光源530(图6)可以被配置为发射观看者视觉感知范围之外的一个或多个波长(例如,红外和/或紫外波长)的光。此外,显示器250的波导的耦入、耦出和其它光重定向结构可以被配置为引导此光,并使此光从显示器出射朝向用户的眼睛210,例如用于成像和/或用户刺激应用。
294.现在参考图9a,在一些实施例中,可能需要将照射在波导上的光重定向以将该光耦入到波导中。可以使用耦入光学元件将光重定向并且将光耦入到其对应的波导中。图9a示出了多个堆叠波导或堆叠波导组660的示例的横截面侧视图,每个堆叠波导包括耦入光学元件。波导可以被各自配置为输出一个或多个不同波长的光,或一个或多个不同波长范围的光。应当理解,堆叠660可以对应于堆叠260(图6),并且除了来自一个或多个图像注入装置360、370、380、390、400的光从需要光被重定向以耦入的位置被注入波导中之外,所示的堆叠660的波导可以与多个波导270、280、290、300、310的部分对应。
295.图示的堆叠波导组660包括波导670、680和690。每个波导包括关联的耦入光学元
件(其也可以被称为波导上的光输入区域),其中例如耦入光学元件700被设置在波导670的主表面(例如,顶部主表面)上、耦入光学元件710被设置在波导680的主表面(例如,顶部主表面)上,以及耦入光学元件720被设置在波导690的主表面(例如,顶部主表面)上。在一些实施例中,耦入光学元件700、710、720中的一者或多者可以被设置在相应波导670、680、690的底部主表面上(特别是在一个或多个耦入光学元件是反射性的偏转光学元件的情况下)。如图所示,耦入光学元件700、710、720可以被设置在其相应的波导670、680、690(或下一层波导的顶部)的顶部主表面上,特别是在这些耦入光学元件是透射的偏转光学元件的情况下。在一些实施例中,耦入光学元件700、710、720可以被设置在相应的波导670、680、690的体中。在一些实施例中,如本文所讨论的,耦入光学元件700、710、720。波长选择性的,使得它们选择性地重定向一个或多个波长的光,同时透射其它波长的光。尽管在其相应的波导670、680、690的一侧或角上示出,但是应当理解,在一些实施例中,耦入光学元件700、710、720可以被设置在其相应的波导670、680、690的其它区域中。
296.如图所示,耦入光学元件700、710、720可以被彼此横向偏移。在一些实施例中,每个耦入光学元件可以被偏移,使得耦入光学元件接收光,而无需通过另一耦入光学元件。例如,如图6所示,每个耦入光学元件700、710、720可以被配置为从不同的图像注入装置360、370、380、390和400接收光,并且可以从其它耦入光学元件700、710、720分开(例如,横向间隔开),使得该耦入光学元件基本上不接收来自耦入光学元件700、710、720中的其它光学元件的光。
297.每个波导还包括关联的光分布元件,其中,例如,光分布元件730被设置在波导670的主表面(例如,顶部主表面)上、光分布元件740被设置在波导680的主表面(例如,顶部主表面)上、以及光分布元件750被设置在波导690的主表面(例如,顶部主表面)上。在一些其它实施例中,光分布元件730、740、750可以被分别设置在关联的波导670、680、690的底部主表面上。在一些其它实施例中,光分布元件730、740、750可以被分别设置在关联的波导670、680、690的顶部主表面和底部主表面上;或者光分布元件730、740、750可以被分别设置在不同的关联波导670、680、690中的顶部主表面和底部主表面中的不同主表面上。
298.波导670、680、690可以被例如气体、液体和/或固体材料层间隔开并分隔开。例如,如图所示,层760a可以使波导670和波导680分隔开;并且层760b可以使波导680和波导690分隔开。在一些实施例中,层760a和760b由低折射率材料(即,具有比形成紧邻的波导670、680、690中的一个波导的材料的折射率低的材料)形成。优选地,形成层760a、760b的材料的折射率与形成波导670、680、690的材料的折射率相差0.05或更大,或者0.10或更小。有利地,较低折射率层760a、760b可以作为包层,包层促进通过波导670、680、690的光的全内反射(tir)(例如,在每个波导的顶部主表面与底部主表面之间的tir)。在一些实施例中,层760a、760b由空气形成。尽管未示出,但应理解,所示的波导组660的顶部和底部可包括紧邻的包层。
299.优选地,为了便于制造和处于其它考虑,形成波导670、680、690的材料相似或相同,并且形成层760a、760b的材料相似或相同。在一些实施例中,形成波导670、680、690的材料在一个或多个波导之间可以是不同的,和/或形成层760a、760b的材料可以是不同的,同时仍然保持上述各种折射率关系。
300.继续参考图9a,光线770、780、790入射在波导组660上。应当理解,光线770、780、
790可以通过一个或多个图像注入装置360、370、380、390、400(图6)注入波导670、680、690中。
301.在一些实施例中,光线770、780、790具有不同的特性,例如,对应于不同的颜色的不同的波长或不同的波长范围。耦入光学元件700、710、720各自使入射光偏转,使得光通过tir传播通过波导670、680、690中的相应一者。在一些实施例中,耦入光学元件700、710、720各自选择性地使一个或多个特定波长的光偏转,同时将其它波长透射到下面的波导和关联的耦入光学元件。
302.例如,耦入光学元件700可以被配置为使具有第一波长或波长范围的光线770偏转,同时分别透射具有不同的第二波长或第二波长范围780和第三波长或波长范围的光线790。透射光线780照射在耦入光学元件710上并被其偏转,该耦入光学元件710被配置为使第二波长或波长范围的光偏转。光线790被耦入光学元件720偏转,该耦入光学元件720被配置为选择性地使第三波长或第三波长范围的光偏转。
303.继续参考图9a,偏转的光线770、780、790被偏转为使得它们传播通过对应的波导670、680、690;也就是说,每个波导的耦入光学元件700、710、720将光偏转到该对应的波导670、680、690中,以将光耦入到该对应的波导中。光线770、780、790以一定角度偏转,该角度使光通过tir传播通过相应的波导670、680、690。光线770、780、790通过tir传播通过相应的波导670、680、690,直到照射到波导的对应的光分布元件730、740、750上。
304.现在参考图9b,示出了图9a的多个堆叠波导的示例的透视图。如上所述,耦入光线770、780、790分别被耦入光学元件700、710、720偏转,然后分别在波导670、680、690内通过tir传播。然后,光线770、780、790分别照射在光分布元件730、740、750上。光分布元件730、740、750使光线770、780、790偏转,使得光线770、780、790分别朝向耦出光学元件800、810、820传播。
305.在一些实施例中,光分布元件730、740、750是正交光瞳扩展器(ope)。在一些实施例中,ope将光偏转或分布到耦出光学元件800、810、820,并且在一些实施例中,还可以在光向耦出光学元件传播时增加该光的光束或光斑尺寸。在一些实施例中,可以省略光分布元件730、740、750,并且耦入光学元件700、710、720可以被配置为将光直接偏转到耦出光学元件800、810、820。例如。参考图9a,光分布元件730、740、750可分别被耦出光学元件800、810、820代替。在一些实施例中,耦出光学元件800、810、820是出射光瞳(ep)或出射光瞳扩展器(epe),其将光导入观看者的眼睛210(图7)。应当理解,ope可以被配置为在至少一个轴上增大眼动(eye box)范围的尺寸,并且epe可以在与ope的轴相交(例如正交)的轴上增大眼动范围。例如,每个ope可以被配置为将到达ope的光的一部分重定向到同一波导的epe,同时允许光的剩余部分继续沿波导传播。当再次照射到ope时,剩余光的另一部分被重定向到epe,并且该部分的剩余部分继续沿波导进一步传播,以此类推。类似地,在到达epe时,照射光的一部分被朝向用户导出波导,并且该光的剩余部分继续传播通过波导,直到它再次照射ep,此时照射光的另一部分被导出波导,以此类推。因此,每当单束耦入光的一部分被ope或epe重定向时,该光可以“被复制”,从而形成克隆光束的场,如图6所示。在一些实施例中,ope和/或epe可以被配置为修改光束的尺寸。
306.因此,参考图9a和图9b,在一些实施例中,波导组660包括:波导670、680、690;耦入光学元件700、710、720;光分布元件(例如,ope)730、740、750;以及耦出光学元件(例如,ep)
800、810、820,用于每种分量颜色。波导670、680、690可以进行堆叠有每个波导之间中间的气隙/包层。耦入光学元件700、710、720将入射光(其中不同耦入光学元件接收不同波长的光)重定向或偏转到其波导中。然后光以一角度传播,该角度将导致相应波导670、680、690内的tir。在所示的示例中,光线770(例如,蓝光)以被第一耦入光学元件700偏转,然后继续沿波导反弹,与先前描述的方式与光分布元件(例如,ope)730和耦出光学元件(例如,ep)800相互作用。光线780和光线790(例如,分别为绿光和红光)将传输通过波导670,其中,光线780照射在耦入光学元件710上并被其偏转。光线780然后经由tir沿波导680反弹,前进到其光分布元件(例如,ope)740,然后前进到耦出光学元件(例如,ep)810。最后,光线790(例如,红光)传输通过波导690而照射在波导690的光耦入光学元件720上。光耦入光学元件720使光线790偏转为使得该光线通过tir传播到光分布元件(例如,ope)750,然后通过tir传播到耦出光学元件(例如,ep)820。然后,耦出光学元件820最终将光线790耦出到观看者,观看者还从其它波导670、680接收耦出光。
307.图9c示出了图9a和9b的多个堆叠波导的示例的俯视平面图。如图所示,波导670、680、690以及每个波导的关联光分布元件730、740、750和关联的耦出光学元件800、810、820可以垂直对准。然而,如本文所讨论的,耦入光学元件700、710、720不是垂直对准的;相反,耦入光学元件优选地是不重叠的(例如,当在俯视图中观看时,横向地间隔开)。如本文进一步所讨论的,该不重叠的空间布置有助于将来自不同资源的光一对一地注入到不同波导中,从而允许特定光源被唯一地耦合到特定波导。在一些实施例中,包括不重叠的空间分离的耦入光学元件的布置可以被称为移位的光瞳系统,并且这些布置内的耦入光学元件可以对应于子光瞳。
308.图9d示出了其中可以集成本文所公开的各种波导和相关系统的可穿戴显示系统60的示例。在一些实施例中,显示系统60是图6的系统250,图6更详细地示意性地示出了该系统60的一些部分。例如,图6的波导组件260可以是显示器70的一部分。
309.继续参考图9d,显示系统60包括显示器70,以及支持该显示器70的功能的各种机械和电子模块和系统。显示器70可以耦接到框架80,该框架可由显示系统用户或观看者90穿戴,并且被配置为将显示器70定位在用户90的眼前。在一些实施例中,显示器70可以被视为眼镜。在一些实施例中,扬声器100耦接到框架80并且被配置为定位在用户90的耳道附近(在一些实施例中,另一扬声器(未示出)可选择性地定位在用户的另一耳道附近以提供立体/可塑形的声音控制)。显示系统还可以包括一个或多个麦克风110或其它检测声音的设备。在一些实施例中,麦克风被配置为允许用户向系统60提供输入或命令(例如,语音菜单命令的选择、自然语言问题等)和/或可以允许与其它人(例如,与类似显示系统的其他用户)进行音频通信。麦克风可以被进一步配置为外围传感器以收集音频数据(例如,来自用户和/或环境的声音)。在一些实施例中,显示系统还可以包括外围传感器120a,其可以与框架80分离并且可被附接到用户90的身体(例如,用户90的头部、躯干、四肢等上)。在一些实施例中,外围传感器120a可以被配置为获取表征用户90的生理状态的数据。例如,传感器120a可以是电极。
310.继续参考图9d,显示器70通过通信链路130(诸如通过有线引线或无线连接)可操作地耦接到本地数据处理模块140,本地数据处理模块140可以以各种配置安装,例如固定地附接到框架80,固定地附接到用户戴的头盔或帽子,嵌入耳机中或以其它方式可移除地
附接到用户90(例如,采取背包式配置,采取束带连接式配置)。类似地,传感器120a可以通过通信链路120b(例如通过有线引线或无线连接)可操作地耦接到本地处理和数据模块140。本地处理和数据模块140可以包括硬件处理器,以及数字存储器,诸如非易失性存储器(例如,闪存或硬盘驱动器),这两者都可用于辅助数据处理、缓存和存储。可选地,本地处理器和数据模块140可以包括一个或多个中央处理单元(cpu)、图形处理单元(gpu)、专用处理硬件等。这些数据包括a)从传感器(例如,该传感器可被可操作地耦接到框架80或以其它方式附接到用户90)捕获的数据,这些传感器诸如图像捕获设备(诸如相机)、麦克风、惯性测量单元、加速度计、指南针、gps单元、无线电设备、陀螺仪和/或本文公开的其它传感器;和/或b)使用远程处理模块150和/或远程数据存储库160获取和/或处理的数据(包括有关虚拟内容的数据),这些数据可以在被执行完上述处理或检索之后传送到显示器70。本地处理和数据模块140可以通过通信链路170、180(诸如经由有线或无线通信链路)可操作地耦接到远程处理模块150和远程数据存储库160,使得这些远程模块150、160可操作地彼此耦接,并且可用作本地处理和数据模块140的资源。在一些实施例中,本地处理和数据模块140可以包括图像捕获设备、麦克风、惯性测量单元、加速度计、指南针、gps单元、无线电设备和/或陀螺仪中的一者或多者。在一些其它实施例中,这些传感器中的一者或多者可以被附接到框架80,或者可以是通过有线或无线通信路径与本地处理和数据模块140通信的独立结构。
311.继续参考图9d,在一些实施例中,远程处理模块150可以包括被配置为分析和处理数据和/或图像信息的一个或多个处理器,例如,包括一个或多个中央处理单元(cpu)、图形处理单元(gpu)、专用处理硬件等。在一些实施例中,远程数据存储库160可以包括数字数据存储设施,该设施可以通过因特网或“云”资源配置中的其它网络配置获得。在一些实施例中,远程数据存储库160可以包括一个或多个远程服务器,这些服务器向本地处理和数据模块140和/或远程处理模块150提供信息,例如用于生成增强现实内容的信息。在一些实施例中,在本地处理和数据模块中存储所有数据都被存储并执行所有计算,允许从远程模块完全自主地使用。可选地,包括cpu、gpu等的外部系统(例如,一个或多个处理器、一个或多个计算机的系统)可以执行至少部分处理(例如,生成图像信息,处理数据),并且例如经由无线或有线连接将信息提供给模块140、150、160,以及从模块140、150、160接收信息。
312.深度平面配置
313.现在参考图10a和图10b,分别示出匹配的调节
‑
辐辏距离和失配的调节
‑
辐辏距离的示例。如图10a所示,显示系统可以向每只眼睛210、220提供虚拟对象的图像。这些图像可以使眼睛210、220呈现聚焦状态,处于该聚焦状态眼睛会聚在深度平面240上的点15上。另外,图像可以由具有与该深度平面240上的真实对象对应的波前曲率的光形成。因此,眼睛210、220呈现调节状态,处于该调节状态图像聚焦在这些眼睛的视网膜上。这样,用户可以将虚拟对象感知为位于深度平面240上的点15处。
314.应当理解,眼睛210、220的调节状态和辐辏状态中的每一者与z轴上的特定距离相关联。例如,距眼睛210、220特定距离处的对象使得这些眼睛基于对象距离呈现特定调节状态。与特定调节状态相关联的距离可以被称为调节距离a
d
。类似地,存在与处于特定辐辏状态的眼睛或眼睛相对于彼此的位置相关联的特定辐辏距离v
d
。在调节距离和辐辏距离匹配的情况下,可以说调节与辐辏之间的关系在生理学上是正确的。这被视为对于观看者而言最舒适的场景。
315.然而,在立体显示器中,调节距离和辐辏距离可能不总是匹配的。例如,如图10b所示,显示给眼睛210、220的图像可以通过具有与深度平面240对应的波前发散显示,并且眼睛210、220可以呈现特定调节状态,其中该深度平面上的点15a,15b对焦。然而,显示给眼睛210、220的图像可以提供使眼睛210、220会聚在不位于深度平面240上的点15上的辐辏线索。因此,在一些实施例中,调节距离与从眼睛210、220的出瞳到深度平面240的距离对应,而辐辏距离与从眼睛210、220的出瞳到点15的较大距离对应。调节距离与辐辏距离不同。因此,存在调节
‑
辐辏失配。这种失配被认为是不期望的并且可能引起用户的不适。应当理解,失配与距离(例如,v
d
‑
a
d
)对应并且可以使用屈光度来表征。
316.在一些实施例中,应当理解,可以使用除了眼睛210、220的出瞳以外的参考点来确定距离,只要针对调节距离和辐辏距离使用同一参考点即可。例如,可以测量从角膜到深度平面,从视网膜到深度平面,从目镜(例如,显示设备的波导)到深度平面的距离等。
317.由于可能存在调节
‑
辐辏失配,通常不期望感知这种失配,以及显示系统能够提供几乎无限数量可能的辐辏线索,可以认为需要提供这样的显示系统,该显示系统能够在大量深度平面上提供虚拟内容,以便提供大量可能的调节线索,从而尽可能紧密地与大量可能的辐辏线索匹配。然而,如本文所述,大量深度平面可能需要大量关联波导。这可能不期望地导致设备庞大而笨重,这样的设备可能是不舒服的,并且除了可能导致光学像差(对于由显示器投射的图像内容和从外部世界接收的光)之外,还可能给制造带来挑战,这是因为堆叠中存在大量光学活跃特征,光必须通过该堆叠才能传播以到达观看者。
318.有利地,已经发现,可以使用在相对少量的深度平面上提供虚拟内容的显示系统实现可靠的三维体验。例如,在一些实施例中,由显示系统提供的深度平面总数可以是两个。在其它实施例中,由显示系统提供的深度平面总数可以是一个。另外,可以构想具有多于两个深度平面的显示系统。例如,在一些实施例中,深度平面总数可以是四个或更少,或者三个或更少。如本文所讨论的,可以基于预期显示系统向用户显示虚拟对象的接近程度来为特定应用深度平面总数。例如,深度平面数量可以随着虚拟对象到用户的距离的减小而增加。
319.不受理论的限制,可以认为用户仍然可以将0.25屈光度、0.33屈光度和高达约0.5屈光度的调节
‑
辐辏失配感知为在生理上是正确的,并且失配本身不会引起明显不适。因此,考虑到观看者对特定范围内失配的容忍度,可以用有限数量深度平面提供生理上正确的调节
‑
辐辏失配。取决于正显示的内容,深度平面数量可以是一个或两个。如本文所讨论的,在一些其它实施例中,还可以实现多于两个深度平面。
320.在一些实施例中,参考光学无限远选择深度平面在z轴上的放置。图11示出了考虑可接受的调节
‑
辐辏失配的深度平面放置的示例。z轴上的最远深度平面可以被选择为处于光学无限远的生理学上可接受的调节
‑
辐辏失配内的距离处。失配优选地为约0.5屈光度或更低,更优选地为约0.33屈光度或更低,或约0.25屈光度或更低。在一些实施例中,构想约0.55屈光度的失配。应当理解,该深度平面可以被认为是由显示器提供的最远深度平面,并且在小于光学无限远处。
321.还可以提供更接近观看者60的附加深度平面。优选地,该附加深度平面与更深的深度平面间隔开可接受的调节
‑
辐辏失配的2倍或更小。例如,两个深度平面之间的间隔优选地为约1.0屈光度或更低,更优选地为约0.66屈光度或更低(例如0.667屈光度或更低),
或约0.5屈光度或更低。
322.继续参考图11,在所示示例中,示出了两个深度平面配置。在1.0dpt处提供相对近的深度平面3000(相对于观看者60确定的接近度),并且在0.3dpt(包括约0.33dpt)处提供最远深度平面3002。深度平面3000与3002间隔小于1.0dpt。如图所示,深度平面3000具有由3000a和3000b限定的可接受调节
‑
辐辏失配区域,假设可接受失配范围为
±
0.3dpt。有利地,不受理论的限制,可以认为在可接受失配范围内的远离用户的距离处示出虚拟对象的图像内容可以显示在深度平面3000上,而不会导致不舒服且可由用户检测到的调节
‑
辐辏失配。
323.应当理解,下限3000a仍然在其与观看者60之间留有间隔。因为失配被选择为0.3dpt,所以仍然存在落在0.5dpt内的空间3008。因此,某些内容仍可在该距离处显示。如本文所讨论的,优选地,由于这处于可接受失配的外部范围内,因此可以限制内容的持续时间和/或空间频率。
324.图12示出了考虑可接受调节
‑
辐辏失配的深度平面放置的另一示例。在该示例中,不是将最远深度平面3002放置在光学无限远的可接受失配内,而是将最远深度平面3002放置在沿z轴的大于光学无限远的可接受调节
‑
辐辏度失配的深度处。在这样的配置中,基于辐辏线索在光学无限远处放置内容可能提供与以下事件所提供的调节线索的不舒适的失配:波导通过与0.6dpt处的深度平面3002对应的波前发散输出光。然而,这样的配置允许比图11的配置更接近用户60地显示内容。例如,图12的布置可以在保持适当的调节
‑
辐辏匹配的同时提供内容的最近深度是63cm。另一方面,图11的布置的最近深度是76cm。
325.图13示出了单深度平面显示系统的调节
‑
辐辏失配的曲线图的示例。虚线示出了距观看者的不同(虚拟)距离处的调节
‑
辐辏失配。水平轴与距观看者的距离对应,竖直轴与调节
‑
辐辏失配对应,其也被称为avm。单个深度平面位于2m处,这对应于零失配。有利地,在大于2m的距离处(例如,从z=2m到z=光学无限远),调节
‑
辐辏失配始终保持低于0.5dpt。在更近的距离处,失配增加,并且在距观看者的距离小于1m处,失配可能超过被认为是生理上正确的。在小于1m的距离处,仅根据观看该距离处的图像内容便可预期观看者的不适。
326.图14示出了双深度平面显示系统和单深度平面显示系统的调节
‑
辐辏失配的曲线图的示例。实线示出了双深度平面系统,虚线示出了单深度平面系统。应当理解,针对深度平面系统,距观看者远距离处的调节
‑
辐辏失配较小,并且双深度平面系统允许内容在距观看者更近的距离处显示,同时仍保持可接受失配值。在一些实施例中,最远深度平面可以在光学无限远的可接受失配值内。如本文所讨论的,可接受失配可以是约0.5dpt或更低,约0.33dpt或更低,或约0.25dpt或更低。如图所示,可接受失配可以是0.33dpt。在一些实施例中,最远深度平面可以被设置在0.33dpt(对应于距用户3m)处,并且更近的第二深度平面可以设置在距最远深度平面向内等于可接受失配的两倍的值(例如,0.33dpt
×
2,或0.66dpt)处。因此,在一些实施例中,更近的第二深度平面可以设置在1dpt处。
327.继续参考图14,沿着从右到左的实线曲线(随着距用户眼睛的距离逐渐减小)前进,调节
‑
辐辏失配上升,直到观察到0.33dpt的失配值。因此,假定示出了最远深度平面被放置在0.33dpt处,则可以在同一深度平面上显示到无限远的距离为1.2m处的虚拟对象的图像内容(设置在距用户眼睛0.33dpt或3m处),而不会感知不适,因为该范围内的所有图像内容都在可接受失配范围内。如图所示,对于小于1.2m的距离处的虚拟对象,可以提供第二
深度平面。如上所述,第二深度平面可以在1dpt处。
328.应当理解,由可接受失配0.33dpt表示的距离变得越小,深度平面被放置得距用户越近。在一些其它实施例中,可能期望在比距1dpt深度平面的0.33dpt间隔所提供的最小距离更近的距离处显示虚拟对象。如图所示,在0.75m或更小距离处,可接受失配值增加到0.33dpt以上。因此,可以提供一个或多个附加深度平面以在更近距离处显示图像内容。例如,可以形成第三深度平面以在比0.75m更近的距离处显示图像内容。应当理解,每个深度平面与最近的相邻深度平面相隔可接受失配的两倍或更小。
329.图15示出了双深度平面显示系统和单深度平面显示系统的调节
‑
辐辏失配的曲线图的另一示例。在该示例中,两个平面系统中的最远深度平面被定位在与单个深度平面系统相同的距离(2m或0.5dpt)处。值得注意的是,比单深度平面更远的距离处的失配是等效的。在该示例中,双平面系统的主要优点是能够在比单平面系统距观看者更近的距离处提供内容,同时保持可接受失配值。
330.如图11至图15所示,对于某些类型的图像内容,具有单深度平面的显示系统可能足以实现生理上正确的调节
‑
辐辏匹配,同时允许在相对大的距离跨度上实现可靠的3d体验。优选地,无论是在单深度平面还是多深度平面显示系统中,最远深度平面都在小于光学无限远处,并且在光学无限远的可接受失配范围内。在一些其它实施例中,最远深度平面可以设置在光学无限远的可接受失配内。应当理解,在一些实施例中,单深度平面系统可以取决于要由该系统显示的图像内容类型来设置深度平面的位置。例如,深度平面可以被设置为比所示的更接近观看者,特别是在预期图像内容相对接近观看者的应用中。因此,参考图11至图15,显示系统可以被配置为以不连续的步长提供调节线索,同时可以提供几乎无限数量的不同辐辏线索。
331.深度平面切换
332.如本文所述,根据各种实施例的显示系统(例如,诸如图9d中的显示系统60之类的增强现实显示系统)可以利用重叠的深度平面。在变焦模式中,显示系统可以确定用户正注视的深度,并且可以基于注视深度选择用于呈现虚拟内容的深度平面。例如,显示系统可以确定用户正注视的三维注视点,并利用所确定的注视点的深度来选择深度平面。与确定注视深度相关联的误差可能引入关于注视深度位置的不确定性。鉴于这些误差,连续测量注视点可以提供不同的结果。在这些不同结果出现在两个深度平面之间的边界处的情况下,改变结果可能导致显示系统在两个深度平面之间快速地来回切换,因为注视点的连续测量提供了具有在深度平面之间来回移动的注视点的结果。因此,当向用户呈现虚拟内容时,可能引入闪烁或其它视觉伪像,因为显示系统在用于呈现虚拟内容的深度平面之间来回切换。
333.可以利用深度重叠来缓解上述视觉伪像。如本文所述,相邻深度平面可以具有沿z轴部分重叠的关联深度平面范围(例如,相邻深度平面可以在沿z轴的特定深度范围内重叠)。图17示出了这种重叠的示例表示,并在下面进一步描述。在一些实施例中,深度重叠的大小可以基于所估计的与确定注视点(例如,确定用户正注视的深度)相关联的不确定性。利用深度重叠,显示系统可以基于识别用户正注视以下范围来选择要呈现虚拟内容的特定深度平面:(1)仅注视在与特定深度平面相关联的深度平面范围内;和/或(2)注视在与特定深度平面相关联的深度重叠内。如果用户改变他/她的注视点,使得注视点落在仅与不同深
度平面相关联的深度平面范围内,则显示系统可以切换到不同深度平面。例如,在用户确定的注视点位于特定深度平面所包含的任一深度(例如,仅由特定深度平面包含的深度,或者由特定深度平面和相邻深度平面包含的深度重叠中包括的深度)上时,显示系统可以继续在特定深度平面上呈现虚拟内容。如果用户然后注视在未被特定深度平面包含的深度,则显示系统可以切换到不同深度平面。
334.在一些实施例中,注视点可以位于沿(1)x轴(例如,横轴)、(2)y轴(例如,竖直轴)和(3)z轴(例如,点深度,例如从用户眼睛出瞳到注视点的深度)的空间中。在一些实施例中,显示系统可利用诸如相机之类的传感器(例如,图6的传感器630)来监视用户眼睛(例如,每只眼睛的瞳孔和/或角膜等),以确定每只眼睛的注视方向。每只眼睛的注视方向可以被理解为平行于从中央凹通过眼睛晶状体的中心延伸的矢量。显示系统可以被配置为外推与眼睛相关联的矢量的相交位置,并且该交点可以被理解为眼睛的注视点。换句话说,注视点可以是用户眼睛会聚的三维空间中的位置。在一些实施例中,显示系统例如可以在快速运动(例如,扫视、微颤(microsaccade))期间过滤用户眼睛的小幅运动,并且可以在确定眼睛正注视三维空间中的位置时更新注视点。例如,显示系统可以被配置为忽略在小于阈值持续时间的注视一点的眼睛的运动,和/或忽略无意识的眼睛运动(例如,眨眼)。
335.图16示出了正注视注视点1604的用户的示例。例如,用户可以使用显示系统(例如,上述变焦显示系统),该显示系统可以包括两个深度平面240b、240a。每个深度平面240b、240a可以包含特定深度范围(例如,分别为深度平面区域1809、深度平面区域1808)。如图所示,深度平面区域1809与深度平面1808不同并且直接相邻。以这种方式,如果注视点1604例如在深度平面区域1809内,则显示系统可以选择呈现虚拟内容的深度平面240b。然后可以在深度平面240b上呈现虚拟内容,使得虚拟内容通过与深度平面240b相关联的调节线索被输出。作为示例,显示系统可以包括两个波导,这两个波导被配置为通过相应调节线索(例如,波前发散)以及与深度平面对应的波导输出光。
336.尽管图16的示例指示包括两个深度平面,但应理解,可利用本文描述的技术将任何数量的深度平面(及其关联深度平面范围)包括在显示系统中。如图所示,显示系统已经确定了用户眼睛210、220正注视(例如,会聚在)在特定注视点1604上。在一些场景中,所确定的注视点1604位于接近深度平面区域1809与深度平面区域1808之间的边界的深度处。
337.示出了与注视点1604相关联的估计确定误差1605。如上所述,当显示系统确定注视点时,可能引入误差。例如,显示系统可能无法准确地确定用户每只眼睛210、220的注视。例如,基于眼睛的几何形状确定的眼睛视轴可能与落在眼睛中央凹处的眼睛视觉轴不同。由于显示系统正在监视用户眼睛210、220,因此监视视轴,所以显示系统确定的注视点可能偏离正确位置,这将通过视觉轴的分析给定。尽管显示系统可以访问用户的训练信息,例如在显示系统的初始使用期间,用户可以校准系统,使得可以更好地确定视觉轴,但是仍然可能存在误差。作为另一示例,用户眼睛可能具有独特的医疗问题或者可能独特地聚焦,使得注视点的估计可能偏离实际注视点。另外,用于对眼睛成像或跟踪的传感器也可能具有分辨率的误差或限制,从而导致所确定的注视点存在误差。因此,由显示系统确定的注视点可能具有不确定性范围。因此,确定误差1605表示关于准确的三维注视点的不确定性。例如,确定误差1605可以指示关于注视点1604的深度的不确定性,诸如0.1屈光度、0.2屈光度、0.3屈光度、0.58屈光度等。由于用户注视的实际深度可以在所确定的注视点1604的前面或
后面,因此用户可能注视的实际三维位置被包括在两倍于确定误差1605的深度范围内。
338.由于确定误差1605延伸到深度平面区域1809和深度平面区域1808内,因此显示系统可以将注视点1604确定为在由深度平面240b、240a中的任一者所包含的深度处。例如,显示系统可以在深度平面240a处呈现一个或多个连续帧的虚拟内容,将呈现切换到在深度平面240b上等。这种不同深度平面上的图像呈现之间的切换可快速发生,并且可能向用户引入不期望的视觉伪像。作为示例,闪烁对用户来说可能是明显的。作为另一示例,当切换到不同深度平面时,将调整调节线索(例如,针对每个深度平面,输出的光的波前发散是不同的),使得用户将被要求调整他/她的焦点。
339.为了最小化由确定注视点的误差导致的深度平面之间的不期望切换的发生,可以利用包含部分深度平面区域1808和部分深度平面区域1809的深度重叠。如将要描述的,如果所确定的注视点(1)仅在特定深度平面的深度平面范围内,或者(2)在深度平面区域1808和深度平面区域1809之间的深度重叠内,则显示系统可以继续在特定深度平面上呈现内容。另一方面,如果用户的注视点位于仅由不同深度平面包含的深度,则显示系统然后可以切换到该深度平面并在不同深度平面上呈现虚拟内容。
340.图17示出了深度平面240a、240b的相邻深度平面区域1808、1809之间的深度重叠1812。如上所述,确定三维注视点可以包括误差源,使得关于用户正注视的准确的三维位置存在不确定性。例如,图16所示的确定误差1605可导致关于用户正注视的深度的不确定性。在一些实施例中,深度重叠1812因此可以被显示系统用来表示该确定误差1605。在一些其它实施例中,深度重叠1812可以具有任意设置的大小。
341.如图所示,深度重叠1812在深度平面区域1808和深度平面区域1809内。具体地,在图17的示例中,已经调整了深度平面区域1808,使得远端距用户眼睛210、220更远地移位。以这种方式,先前仅在深度平面区域1809内的深度平面范围现在也被调整后的深度平面240b1包含。在图17的示例中,深度重叠1812包含的深度范围可以是图16所示的确定误差1605的大小的两倍。在一些实施例中,如果显示系统可以可靠地确定用户的注视点在特定深度范围(例如,0.1屈光度,0.2屈光度等)内,则深度重叠可以按照该特定深度范围延伸到相邻深度平面中。
342.当呈现虚拟内容时,显示系统可以在调整后的深度平面240b1或深度平面240a上呈现。为了选择呈现虚拟内容的特定深度平面,深度重叠可以被认为是任一深度平面的扩展。例如,如果用户正注视深度平面区域1808内的注视点(包括深度重叠1812中包括的注视点),则显示系统可以保持在深度平面240a上呈现虚拟内容。然而,如果用户注视仅在深度平面区域1809内的注视点,即,注视点不包括在深度重叠1812中,则系统选择调整后的深度平面240b1以呈现虚拟内容。类似地,如果用户注视深度平面区域1809内的注视点,包括深度重叠1812内的注视点,则可以保持在调整后的深度平面240b1上呈现虚拟内容。然而,一旦注视点移到深度平面范围1809或深度重叠1812之外,则可选择深度平面240a来呈现虚拟内容。
343.图18a至图18b示出了显示系统用户的视场1800的表示,以进一步示出一个或多个深度平面范围重叠的利用。视场1800包括第一深度平面240a和第二深度平面240b的表示。如图所示,深度平面范围可以限定与每个深度平面相关联的真实世界空间的体积(例如,体积1808、1809)。例如,深度平面2 240b的深度平面范围从深度240b近端延伸到深度240b远
端。将在范围(240b近端到240b远端)内的深度处呈现的虚拟对象可以通过与深度平面2(也被标识为参考标号240b)对应的波前发散呈现。作为示例,包含虚拟对象图像信息的光可以经由与深度平面2相关联的波导输出。另外,将在范围(240b近端到240b远端)内的深度处呈现的任何虚拟对象的波前发散可以是相同的,因此,波前发散与深度平面2相关联。应当理解,深度平面的尺寸和形状可以与图18a所示的不同。例如,在一些实施例中,限定深度平面的体积可以具有弯曲形状或其它任意形状。
344.如上所述,显示系统可以确定用户眼睛所注视的注视点。如果注视点落在240b近端到240b远端的范围内,则显示系统可以通过与深度平面2240b相关联的波前发散呈现虚拟内容。如果用户然后注视落在深度平面1240a所包含的深度平面范围内的位置,则显示系统可以通过与深度平面1240a相关联的波前发散呈现内容。如上所述,显示系统可以是变焦显示系统,使得针对呈现给用户的任何帧,利用单个深度平面。例如,可以利用一个波导来输出每个帧的所有虚拟内容。
345.如图所示,深度平面1 240a和深度平面2 240b各自被指示为位于距用户眼睛的特定标称焦深处。例如,深度平面2 240b被指示为被设置在所距用户感知标称深度处,使得如果选择深度平面2 240b来呈现虚拟内容,则虚拟内容将提供与标称深度相关联的调节线索。以这种方式,仅考虑调节,虚拟内容的感知深度将是标称深度。在一些实施例中,每个深度平面范围可以具有相同大小(例如,以屈光度为单位),并且例如包含相同深度范围。作为示例,深度平面2 240b可以被设置在1屈光度的标称深度处,并且包含从0.66屈光度到1.33屈光度的深度平面范围。类似地,作为示例,深度平面1 240a可以被设置在0.33屈光度的标称深度处,并且包含从0屈光度到0.66屈光度的深度平面范围。以这种方式,显示系统可以包括从0屈光度到1.33屈光度的整个深度平面范围。尽管图18a的示例示出了两个深度平面,但是可以利用附加的深度平面,进一步打破整个深度平面范围和/或增加用户注视虚拟内容时的接近度(例如,接近用户),而不超过可允许的调节
‑
辐辏失配(例如,整个深度平面范围的近端深度可以被设置在1.66屈光度、2屈光度等处)。
346.每个深度平面所包含的深度平面范围可以选择性地基于调节
‑
辐辏失配容限,使得与深度平面上的虚拟内容呈现相关联的调节线索不会与辐辏线索过度失配以引起观看者不适。相对于深度平面1 240a所包含的深度平面范围从0屈光度到0.66屈光度的示例,正在深度平面1 240a上呈现的虚拟内容的调节线索可对应于0.33屈光度。在该示例中,阈值辐辏
‑
调节失配可以是0.33屈光度,在其它示例中,该失配可以是0.2屈光度、0.5屈光度或任何其它合适的值以避免观看者不适。如上所述,调节
‑
辐辏失配容限指示与辐辏线索和调节线索相关联的虚拟内容的感知深度的最大差异。随着辐辏线索和调节线索之间的差异增加,例如,如果每个深度平面的深度平面范围延伸得太远,则用户可能产生负面生理反应。因此,可以利用调节
‑
辐辏失配容限来限定每个深度平面所包含的深度平面范围。
347.在图18a的示例中,深度平面1 240a的近端范围与深度平面2 240b的远端范围对应。如上所述,关于图16,由于准确位置的不确定性,可以确定位于边界附近的注视点或者被深度平面1 240a包含,或者被深度平面2 240b包含。
348.图18b示出了包括深度重叠1812的视场1800的表示。如图所示,深度平面2 240b的远端边界已经在深度上延伸得更远,使得调整后的深度平面2 240b1包含先前仅由深度平面1 240a涵盖的深度范围。为了确保调整后的深度平面2 240b1涵盖与图18a中相同的深度
范围,深度平面2 240b1的近端边界类似地在深度上延伸得更远。例如,如上所述,由深度平面包含的深度范围可以基于调节
‑
辐辏失配容限。在一些实施例中,调节
‑
辐辏失配容限可取决于所包含的深度。例如,在深度上更近的深度平面范围相比,对于在深度上距用户更远的深度平面范围调节
‑
辐辏失配容限可以更大。例如,深度平面1 240a可以被配置为包含大小大于深度平面2 240b1的深度平面范围。类似地,深度平面的标称焦深可以被设置在不位于深度平面所包含的深度的远端边界和近端边界中间的位置处。例如,从深度平面的远端边界到标称焦深所包含的深度范围可以大于从深度平面的标称焦深到近端边界所包含的深度范围,或反之亦然。
349.由于深度平面2的近端边界240b1和远端边界240b1已经在深度上移位得更远,因此,已经类似地调整了深度平面2 240b1的标称焦深。例如,深度平面2 240b1的标称焦深可以被放置在近端边界240b1与远端边界240b1之间的中间。以这种方式,当选择深度平面2 240b1来呈现虚拟内容时,从与深度平面2 240b1相关联的波导输出的光将通过与调整后的标称焦深对应的波前发散呈现。此外,由于深度平面2 240b1在深度上的移位,可能导致可呈现的体积1814减小。例如,现在可能不包含先前由深度平面2 240b1包含的深度范围。
350.接下来是确定深度重叠1812的示例。在以下示例中,示例调节
‑
辐辏失配容限是0.33屈光度,并且示例显示系统包括两个深度平面,其中,第一深度平面被设置在0.33屈光度的标称焦深处,第二深度平面被设置在1屈光度的标称焦深处。
351.为了确定第二深度平面的标称焦深,可以获得注视点确定误差的指示。然后可以基于注视点确定误差确定标称焦深。
352.例如,在一些实施例中,标称焦深可以等于:
353.3*(调节
‑
辐辏失配容限)
‑
2*(注视点确定误差)
354.关于0.1屈光度的示例注视点确定误差,上述示例中的深度平面2的标称焦深将是0.79屈光度。由于调节辐辏失配是0.33屈光度,因此深度平面2的深度平面范围将是0.46屈光度至1.12屈光度。
355.因此,深度重叠将是0.46屈光度至0.66屈光度。例如,深度平面2的远端被确定为0.46屈光度,深度平面1的近端将是0.66屈光度。
356.作为另一示例,在0.25屈光度的注视点确定误差的情况下,深度平面2的标称焦深将是0.49屈光度,并且深度平面2的深度平面范围将是0.11屈光度至0.82屈光度。
357.标称焦深的调整(例如从1屈光度到0.49屈光度)可以是修改显示系统包括的硬件。例如,可以执行表示深度平面2的波导的调整,使得经由波导输出的光的波前发散与0.49屈光度的感知深度对应。可选地,可以经由显示系统执行的指令来调整波导。作为示例,在一些实施例中,以上关于图6描述的耦出光学元件570、580、590、600、610可以是可经由施加的电场调节的衍射光栅。用这用方式,当关于注视点确定误差做出改进时,可以对应地减小所导致的深度重叠。如下面将描述的,关于图19,由每个深度平面包含的深度平面范围(包括深度重叠)可以保持为可被显示系统访问的信息。当渲染用于呈现给用户的内容时,显示系统可以利用该保持的信息来选择呈现虚拟内容的深度平面。
358.图19是用于呈现虚拟内容的示例过程1900的流程图。为方便起见,过程1900可被描述为由显示系统(例如,可穿戴显示系统60(图9d))执行,该显示系统可包括处理硬件和软件,并且可选地向一个或多个计算机或其它处理的外部系统提供信息,例如以将处理卸
载到外部系统,并从该外部系统接收信息。
359.在框1902处,显示系统确定用户眼睛正注视的注视深度。例如,显示系统可以确定用户眼睛的三维注视点以便将每个帧渲染和呈现给用户,或者显示系统可以针对被渲染的每个帧确定阈值数量的注视点。作为示例,呈现给用户的帧的显示速率可以是特定速率(例如,30hz、60hz、120hz等),并且显示系统可以以更高速率(例如,60hz、120hz、240hz等)确定三维注视点。以这种方式,显示系统可以利用所确定的三维注视点来确定用户正注视的准确位置。例如,可以移除扫视、临时应经运动,诸如用户临时看其它东西等。如上所述,显示系统可以包括用于监视与用户眼睛相关联的信息(例如,眼睛的取向)的传感器。传感器的非穷举列表包括红外传感器、紫外传感器和可见波长光传感器。传感器可以选择性地将红外光、紫外光、可见光和/或偏振光输出到用户眼睛上,并确定输出光从用户眼睛的反射。作为示例,红外光可以由红外光发射器输出,并且可以使用红外光传感器对眼睛进行成像。应当理解,可以包括光发射器的传感器可以对应于图6的成像设备630。
360.显示系统可以利用传感器,通过确定与每只眼睛相关联的注视,以及每只眼睛注视的交叉点来跟踪用户的注视(例如,从用户眼睛延伸的矢量,例如从中央凹延伸通过眼睛晶状体)。例如,显示系统可以在用户眼睛上输出红外光,并且可以监视来自眼睛的反射(例如,角膜反射)。眼睛瞳孔中心之间的矢量(例如,显示系统可以例如通过红外成像来确定瞳孔的几何中心)和来自眼睛的反射可被用于确定眼睛的注视。因此,注视的交叉点可以被指定为三维注视点。可选地,当确定注视点时,显示系统可以利用与显示系统相关联的取向信息(例如,描述三维空间中显示系统取向的信息)。
361.作为另一示例,显示系统可以利用一个或多个成像装置(例如,相机)以及用于每只眼睛的阈值数量的灯(例如led)(例如,4个led)。阈值数量的led可以发射照射在每只眼睛上的光,并且一个或多个成像装置可以捕获每只眼睛的一个或多个图像。可以基于如从眼睛图像识别的来自每个led的光的位置来确定每只眼睛的瞳孔中心(例如,几何中心)(例如,在每个图像中,来自led的4个闪烁可以在每只眼睛的瞳孔上可见)。然后可以基于瞳孔中心确定每只眼睛的视轴。如上所述,在使用显示系统之前,可以针对个人用户校准显示系统,并且可选地,显示系统可以保持用于一个或多个用户的校准(例如,训练)信息。例如,用户可以具有与显示系统相关联的用户帐户,并且可选地,显示系统可以访问由经由网络(例如,互联网)与显示系统通信的外部系统存储的校准信息。作为校准的例,可能要求用户将空间中的对象实际位置与眼睛注视进行关联,使得可以确定其眼睛视轴和其眼睛的视觉轴之间的差异。例如,可以将目标对象移到阈值数量的真实世界位置(例如,5个位置、9个位置、12个位置),并且可以确定多项式映射,该映射指定在确定注视矢量时要使用的系数。利用多项式映射,可以更准确地确定用户的视觉轴。可选地,代替确定注视矢量,可以利用用户眼睛的瞳孔之间的用户瞳距(例如,两只眼睛的瞳孔中心之间的距离)。作为示例,距离用户更近(例如,近端)的对象可以具有更小的瞳距,并且这些瞳距可以与沿z轴的不同深度相关。
362.在一些实施例中,显示系统可以被配置为监视所确定的注视点以跟踪用户正在观看的对象。例如,显示系统可以基于与呈现第一虚拟对象的三维位置相对应的确定三维注视点来确定用户正在观看第一虚拟对象。另外,显示系统可以确定用户正在注视不与虚拟对象对应的位置,并且可以确定真实世界对象可能位于注视点处。
363.继续参考图19,在框1904处,显示系统获得与用于呈现给用户的虚拟对象相关联的位置信息。在渲染用于呈现给(例如,如上所述经由波导输出)用户的虚拟对象之前,显示系统可以获得与虚拟对象相关联的三维位置信息。例如,如上所述,可以向用户呈现虚拟对象,使得内容看起来位于真实世界中(例如,内容可以位于用户视场内的不同感知深度处)。应当理解,显示系统可以包括或可以访问周围环境的三维地图,该三维地图中包括该周围环境中任何虚拟内容的预期位置。参考该地图,显示系统可以访问并提供指定用户视场内的虚拟内容的三维位置(例如,如图18a至图18b所示,显示锥内的位置)的信息。
364.如上所述,虚拟对象的位置信息可以包括三维位置。基于三维位置,虚拟对象可以与特定感知深度相关联,使得如果用户注视虚拟对象,则可以选择特定深度平面来呈现所有虚拟内容。例如,与注视的虚拟对象相关联的调节线索将与根据辐辏线索确定的特定感知深度对应。
365.在框1906处,选择呈现虚拟对象的深度平面。如上所述,关于图17至图18,显示锥可以包括一个或多个深度重叠,相邻深度平面范围均包含所述深度重叠。为了选择深度平面,显示系统可识别所确定的注视深度(例如,上文关于框1902所描述的)是否落在仅由深度平面包含的深度平面范围内或落在由深度重叠包含的深度平面范围内。换句话说,如果显示系统在特定深度平面上呈现虚拟对象,则在注视深度由特定深度平面包含(例如,注视深度位于仅由特定深度平面包含的深度平面范围内,或者位于由特定深度平面和相邻深度平面包含的深度重叠中包括的深度平面范围内)的情况下,显示系统可以保持在该特定深度平面上呈现虚拟对象。
366.相对于落在仅由深度平面包含的深度平面范围内的注视深度,显示系统可选择呈现虚拟对象的深度平面。相对于落在由深度重叠包含的深度平面范围(例如包括由第一深度平面和第二深度平面包含的深度范围)内的注视深度,显示系统在一些实施例中可以识别仅所确定的注视深度落入的最近深度平面。例如,如果在当前注视深度之前确定一个或多个注视深度落在深度重叠内,则显示系统可以识别仅落入第一深度平面或第二深度平面的最近注视深度。然后可以选择所识别的注视深度单独落入的深度平面来呈现虚拟对象。如上所述,深度重叠可以表示由第一深度平面和第二深度平面包含的深度平面范围的扩展。因此,并且作为示例,如果注视深度落在第二深度平面内,并且如果注视深度然后落在深度重叠内,则显示系统可以保持选择第二深度平面以向用户呈现虚拟内容。
367.可选地,如果注视深度落在特定深度重叠内,并且最近的先前注视深度落在不包含特定深度重叠的深度平面范围内,则显示系统可选择具有最接近注视深度的标称焦深的深度平面。例如,用户可以注视在用户远端定位的虚拟对象,然后可以快速注视在用户近端定位的虚拟对象。在该示例中,可以在用户注视远端对象时选择第一深度平面,并且在用户注视近端对象时,用户的注视可以落在第二深度平面与第三深度平面之间的特定深度重叠内。由于注视深度在特定深度重叠内,因此显示系统可基于任一深度平面的标称焦深是否更接近所确定的注视深度来选择第二深度平面或第三深度平面。可选地,显示系统可以从深度平面中随机选择。
368.在一些实施例中,可以选择性地相对于注视深度确定置信水平。例如,显示系统可以确定所确定的注视深度准确地表示用户实际注视的置信度。例如,不良照明条件可能增加与确定用户注视深度相关联的难度并且可以降低置信度。此外,快速眼睛运动可能增加
确定注视深度的难度并且可以降低置信度。可选地,显示系统可以利用所确定的置信度来通知呈现虚拟对象的深度平面的选择。例如,如果注视深度落在深度重叠内,则显示系统可以选择包含具有更接近注视深度的标称焦深的深度重叠的深度平面。显示系统可利用所确定的置信度,以及注视深度与深度重叠边缘的接近度。例如,如果注视深度落在深度重叠内,但是在深度重叠边缘的阈值深度内,则显示系统可以选择具有最接近边缘的标称焦深的深度平面。该阈值深度可以基于置信度,使得当显示系统确定的置信度增加时,阈值深度可以减小。此外,可以基于置信度调整深度重叠的大小。例如,当置信度增加时,相对于注视深度的不确定性减小,并且深度重叠可以减小,使得相邻深度平面之间的重叠较少。
369.在框1908处,显示系统向用户呈现虚拟对象。例如,显示系统可以导致在选定深度平面上呈现,使得所呈现的虚拟对象的调节线索与选定深度平面对应。如上所述,在从第一深度平面切换到第二深度平面时,可感知的闪烁对用户来说是明显的。类似地,将要求用户适应经由显示系统提供的光输出(例如,基于调节线索改变眼睛晶状体的形状)。
370.在一些实施例中,如下面将关于图20所描述的,显示系统可以监视用户眼睛并延迟切换深度平面,直到发生降低用户对切换的感知的事件(例如,感知受限事件)。在一些实施例中,这类事件可以是(1)眨眼或(2)扫视的发生。例如,在识别出要发生深度平面切换时,显示系统可以存储信息(例如,标记),指示在检测到用户眨眼或扫视时,显示系统将执行切换到选定深度平面(例如,如框1906所述)。在执行切换之前,显示系统可以在先前深度平面上渲染和呈现虚拟对象,并且在眨眼或扫视之后,可以在选定深度平面上渲染和呈现虚拟对象。以这种方式,显示系统可以使用眨眼和/或扫视来掩蔽深度平面的切换。
371.另外,在一些实施例中,显示系统可以在不确定用户已做出眨眼或扫视的情况下更新不同深度平面上的呈现(例如,切换到不同平面)。例如,如果用户在阈值时间量(例如,10秒、30秒、60秒)内没有执行眨眼或扫视,则显示系统可以切换为在不同深度平面上呈现虚拟内容。此外,如果不同深度平面的标称焦深大于距当前深度平面的标称焦深的阈值深度,则显示系统可以在不等待眨眼或扫视的情况下更新呈现。作为示例,如果当前选择的深度平面处于0.2屈光度的标称焦深处,并且要切换到的深度平面处于1屈光度的标称焦深处,则显示系统可以更新呈现,而无需等待眨眼或扫视,例如,因为如果不发生切换,可能出现大幅调节
‑
辐辏失配。另外,等待用户执行眨眼或扫视的阈值时间量可以基于要根据所呈现的虚拟对象提供的调节线索的差异。例如,随着两个深度平面之间的标称焦深差异增加,阈值时间量可能减少。
372.图20是用于在用户感知受限时切换深度平面以调整给用户的内容的呈现的示例过程2000的流程图。为方便起见,过程2000可以被描述为由显示系统(例如,可穿戴显示系统60,其可以包括处理硬件和软件,并且可选地向一个或多个计算机或其它处理的外部系统提供信息,例如以将处理卸载到外部系统,并从外部系统接收信息)来执行。
373.在框2002处,显示系统获得指示将发生切换呈现虚拟对象的深度平面的信息。如上关于图19所述,显示系统可以确定用户正注视的注视深度(例如,监视三维注视点),并且可以进一步确定应该基于所确定的注视深度切换提供内容的深度平面。例如,用户可能正注视第一深度平面所包含的深度,并且随后可能注视第二深度平面所包含的深度。在确定应该在第二深度平面上呈现虚拟对象时,显示系统可以存储指示应该执行切换的信息。
374.接下来,显示系统可以确定是否将要发生降低切换的用户感知的事件。这类事件
可以是用户眼睑眨动和/或扫视。例如,在框2004处,显示系统确定用户是否已经执行了眨眼。作为示例,显示系统可以监视用户眼睛,诸如使用相机630(图6)获得用户眼睛的图像,如果在所获得的图像中不再检测到瞳孔(例如,如上文关于图19所述),则显示系统可以确定用户正在眨眼。作为另一示例,可以利用示例眼睛跟踪算法(例如,星暴(starburst)算法),并且如果眼睛跟踪算法未能检测到用户瞳孔或来自眼睛的光反射,则显示系统可以确定用户正在眨眼。
375.在执行框2004同时或作为执行框2004的替代,显示系统可以执行框2006。在框2006处,显示系统确定用户是否已经执行了扫视。扫视表示眼睛快速运动,在此期间用户感知受到限制。显示系统可以使用例如以大于阈值频率(例如,500hz、750hz、1200hz等)从用户眼睛获得的图像来监视扫视。由于扫视持续时间基本上短于眨眼持续时间,因此可以使用更高频率的成像装置来检测扫视,或者可以使用以更高频率操作的同一传感器。
376.作为确定扫视的示例,显示系统可以确定眼睛瞳孔的转动速度,并且至少部分地利用转动速度来区分眼睛正执行的扫视和平稳追踪。显示系统可以获得指示用户头部姿势的信息,例如利用陀螺仪,并且如果测量到的瞳孔转动速度超过与平稳追踪相关联的阈值速度,并且用户头部没有以大于阈值速度运动,则显示系统可以确定正在执行扫视。
377.在框2010处,显示系统更新深度平面的选择并向用户呈现虚拟对象。在检测到眨眼或扫视时,显示系统可以执行深度平面的调整。可替代地,在框2008处,如果在大于阈值时间量内确定没有眨眼或扫视,则显示系统可以执行深度平面调整。示例阈值时间量可以是20秒、30秒、120秒、用户可选的时间量等。
378.另外,当显示系统等待用户执行眨眼或扫视时,用户可能注视不同深度平面所包含的深度而不是调整深度平面所包含的深度。例如,关于框2002,用户可以注视一个深度,使得发生深度平面调整。在等待用户执行眨眼或扫视以将深度平面的选择更新到调整后的深度平面时,用户可以注视新的注视深度。然后,显示系统可以选择性地将深度平面的选择更新到包含新注视深度的深度平面。因此,如果用户然后执行扫视或眨眼,则显示系统可以选择包含新注视深度的深度平面。
379.观看者眼睛疲劳的调整
380.从图11至图15可以明显看出,存在一系列距离,通常非常接近观看者,其中调节
‑
辐辏失配较大,但是仍然可以显示内容。如本文所讨论的,这样的内容可能引起观看者不适,因此可能是不期望的。在一些实施例中,修改被确定为导致不可接受的调节
‑
辐辏失配的显示内容以防止观看者不适。
381.图21a示出了当图像内容提供超过阈值的调节
‑
辐辏失配时用于保持观看者舒适度的方法4000的示例。在框4002处,分析图像内容以确定图像内容是否将导致超过阈值的调节
‑
辐辏失配。在框4004处,如果确定失配超过阈值,则修改图像内容。在一些实施例中,调节
‑
辐辏失配阈值为0.5dpt或更低,或者0.33dpt或更低。
382.图像内容修改可以包括以下一项或多项:减少显示内容的持续时间,淡化图像内容(例如,通过降低图像内容的分辨率或空间频率),或者仅仅不显示导致超出阈值的内容。在一些实施例中,在降低图像内容的分辨率的情况下,图像内容分辨率的降低程度随着调节
‑
辐辏失配的增加而增加(例如,当内容更接近观看者时)。
383.即使在调节
‑
辐辏失配可接受的情况下,应当理解,长期使用头戴式显示设备仍然
可能引起一些眼睛疲劳。现在参考图21b,示出了用于缓解观看者眼睛疲劳的方法5000的示例。在框5002处,确定存在用户眼睛疲劳。在框5004处,如果确定存在眼睛疲劳,则修改图像内容。
384.应当理解,确定存在眼睛疲劳可以包括例如使用相机组件500(图6)对用户的一只或两只眼睛进行成像。确定存在眼睛疲劳可以包括检测瞳孔扩张、会聚振荡和瞳孔振荡中的一者或多者。在一些实施例中,确定存在眼睛疲劳包括测量皮肤电反应。在一些其它实施例中,确定存在眼睛疲劳包括检测暴露于具有大于0.25dpt,大于0.33dpt或大于0.5dpt的调节
‑
辐辏失配的图像内容的持续时间。尽管上述检测到的应激源可能由其它问题引起,但是用于确定存在眼睛疲劳的这些方法中的一者或多者可以一起实施,从而估计多个变量,以便提高确定眼睛疲劳的准确性。例如,可以实施和估计上述一个或多个方法,以确定应激源是否至少部分地与头戴式显示装置的使用相关联。另外,应激源的出现可以相对于时间测量并且与由显示系统显示的内容和/或显示系统的使用持续时间相关,以进一步增加应激源由显示导致的置信度。另外,确定眼睛疲劳可涉及估计这些变量中的一者或多者的变化,或确定变量是否超过预定阈值。
385.如果确定眼睛疲劳存在,则修改图像内容以缓解眼睛疲劳。在一些实施例中,修改图像内容可以包括以下一项或多项:增加图像内容的特征尺寸;降低图像内容的分辨率;以及在比最初针对所述图像内容指定的深度平面距观看者更远的深度平面上显示图像内容。例如,当显示例如视频游戏的内容时,可以选择鼓励观看者聚焦的内容位于更远的深度平面上。在一个示例中,不是与观看者紧邻的虚拟对象交互,而是可以引导游戏提供对象与观看者相距一定距离的交互。
386.在一些实施例中,可以连续执行眼睛疲劳确定和图像内容修改。在确定不再存在眼睛疲劳时,可以停止图像修改。在一些其它实施例中,可以将图像修改设置为在设定的持续时间内发生,或者直到某些事件出现时(例如,当玩视频游戏的观看者达到新级别时)才发生。
387.支撑和/或平衡头戴式显示器的结构
388.现在参考图22a至图22b,如本文所讨论的,头戴式显示系统可能庞大或笨重,不利于系统的舒适性,特别是在长期使用时。另外,系统在用户头部上的重量分布可能不均匀,这也可能引起长期使用期间的不适。有利地,头戴式显示系统可以配备有一个或多个支撑结构以增加用户舒适度。
389.图22a示出了具有支撑结构的头戴式显示器的示例实施例。如图22a所示,用户90被示出为穿戴头戴式显示系统,该显示系统包括耦接到位于用户90眼前的显示器70的框架结构。
390.可以包括支撑结构900作为头戴式显示系统的一部分,以将显示器的重量分配到用户90的头部的不同部分,例如,用于实现重量平衡并且减少压力点(诸如,由于重量分布在显示系统的鼻托上而位于用户90的鼻子上的压力点)。在一些实施例中,支撑结构900被配置为从用户头部的一侧延伸到头部的另一侧。在一些实施例中,支撑结构900可以选择性地包括声换能器(例如,扬声器)100。支撑结构900可以是被配置为从头部一侧延伸到头部另一侧的束带(例如,金属带和/或塑料带)。在一些实施例中,支撑结构900横跨头部从一只耳朵延伸到另一只耳朵。在一些实施例中,支撑结构900可以从眼睛到头的后部纵向跨过头
部。在一些实施例中,支撑结构可包括多个这样的支撑结构900,这些结构以一定的角度间隔横向或纵向地跨过头部。
391.支撑结构900可以以不同角度跨过用户头部。图22a示出了支撑结构900横向,即大致从耳朵到耳朵地,跨过用户头部的示例。角度904可以限定在平面902和支撑结构的中心线之间,平面902与用户的眼睛和耳朵相交,支撑结构从用户90的头部的一侧延伸到用户90的头部的另一侧。在某些实施例中。角度904约为35至55度。在一些其它实施例中,角度904约为80至100度。在又一其它实施例中,当例如支撑结构900大致在用户的眼睛和耳朵的平面902中时,角度904约为零度。如本文所讨论的,头戴式显示系统可包括多个这样的支撑结构900,这些结构以各种角度904跨过用户头部。此外,在一些实施例中,支撑结构900相对于用户头部的位置可以被移动,使得相对于平面902的角度904是可调节的。
392.框架80可以在各个位置处与支撑结构900相交。在一些实施例中,例如如图22a所示,框架80可以在用户耳朵上方与支撑结构900相交。在一些其它实施例中,框架80可以在声换能器100处相交。在又一其它实施例中,框架80和支撑结构900可以集成到如本文所述跨过用户头部的单个结构中。在一些实施例中,声换能器100被附接到框架80。在一些实施例中,声换能器可被附接到支撑结构900。在其它实施例(未示出)中,声换能器可通过其它手段或通过单独的结构附接在一起。如本文所述,在某些实施例中,头戴式显示器可包括框架80和支撑结构900,但不包含声换能器100。
393.图22b示出了声换能器是涵盖用户耳朵的扬声器的示例实施例。扬声器可选地以所示的配置耦接到框架80并且定位在用户耳朵上和/或邻近用户耳道(在一个实施例中,未示出的另一扬声器定位在耳朵上和/或邻近用户的另一耳道,以提供立体/可塑形的声音控制)。
394.将理解,在此描述的和/或在附图中示出的处理、方法和算法中的每一者可以体现在以下项中并通过以下项被全部或部分自动化:代码模块,其由一个或多个物理计算系统、硬件计算机处理器、专用电路执行,和/或电子硬件,其被配置为执行具体和特定计算机指令。例如,计算系统可以包括用具体计算机指令编程的通用计算机(例如,服务器)或专用计算机、专用电路等。代码模块可以被编译并链接到可执行程序中,安装在动态链接库中,或者可以用解译性编程语言编写。在一些实施例中,特定操作和方法可以由专用于给定功能的电路来执行。
395.此外,本公开的功能的某些实施例在数学上、计算上或技术上都足够复杂,以至于为了执行所述功能(例如由所涉及的计算量或复杂性)或为了基本实时地提供结果,专用硬件或一个或多个物理计算设备(利用适当的专用可执行指令)可能是必需的。。例如,视频可以包括许多帧,每帧具有数百万个像素,为了处理视频数据以在商业上合理的时间量内提供期望的图像处理任务或应用,专用编程计算机硬件是必需的。代码模块或任何类型的数据可以被存储在任何类型的非暂时性计算机可读介质上,诸如物理计算机存储装置,包括硬盘驱动器、固态存储器、随机存取存储器(ram)、只读存储器(rom)、光盘、易失性或非易失性存储装置以及相同或相似元件的的组合。在一些实施例中,非暂时性计算机可读介质可以是本地处理和数据模块(140)、远程处理模块(150)和远程数据存储库(160)中的一者或多者的一部分。方法和模块(或数据)也可以在各种计算机可读传输介质上作为生成的数据信号(例如,作为载波或其它模拟或数字传播信号的一部分)传输,所述传输介质包括基于
无线的和基于导线/电缆的介质,可以采取多种形式(例如,作为单一或多路复用模拟信号的一部分,或者作为多个离散数字数据包或帧)。所公开的过程或处理步骤的结果可以持久地或以其它方式存储在任何类型的非暂时性实体计算机存储装置中,或者可以经由计算机可读传输介质来传送。
396.本文描述的和/或附图示出的流程图中的任何过程、方框、状态、步骤或功能应该被理解为潜在地表示代码模块、代码段或代码部分,其包括在过程中实现具体功能(例如,逻辑或算术功能)或步骤的一个或多个可执行指令。各种过程、方框、状态、步骤或功能可以根据本文提供的示例性示例进行组合、重排、添加、删除、修改或其它改变。在一些实施例中,附加的或不同的计算系统或代码模块可以执行本文所述的功能中的部分或全部。本文所述的方法和过程也不限于任何特定的顺序,并且与其相关的方框、步骤或状态可以以其它适当的序列来执行,例如以串行、并行或某种其它方式。可以向所公开的示例实施例添加任务或事件或者从中移除任务或事件。此外,本文所述的实施例中的分离各种系统组件是出于说明的目的,不应该被理解为在所有实施例中都需要这种分离。应该理解,所描述的程序组件、方法和系统通常可以一起集成在单个计算机产品中或者封装到多个计算机产品中。
397.在上述说明书中,已经参考本发明的特定实施例对其进行了描述。但是显而易见的是,在不脱离本发明的较广泛的精神和范围的情况下,可以对本发明做出各种修改和更改。因此,说明书和附图应该别视为例示性的,而非限制性的。
398.实际上,将理解,本公开的系统和方法各自具有若干创新性方面,这些方面中的任一单个方面不单独负责本文所公开的期望特性或不是本文所公开的期望特性所必需的。上述各种特征和过程可以彼此独立地使用,或者可以以各种方式组合使用。所有可能的组合和子组合均旨在落入本公开的范围内。
399.本说明书中通过分开的实施例的上下文描述的某些特征也可以在单个实施例中组合地实现。相反地,在单个实施例的上下文中所描述的各种特征也可以在多个实施例中单独实施,或以任何合适的子组合实施。此外,尽管特征可以像上文描述的那样以特定组合起作用,甚至最初以此方式要求保护,但在一些情况下,来自所要求保护的组合中的一个或多个特征可以从该组合中剔除,并且所要求保护的组合可以涉及子组合或子组合的变体。对于每个实施例而言,没有任何单个特征或特征组是必需的或不可或缺的。
400.将理解,除非另有具体说明,或者在上下文另有理解,否则本文使用的诸如“可”、“可以”、“可能”、“能够”、“例如”等条件语通常旨在表达某些实施例包括,而其它实施例不包括某些特征、元素和/或步骤。因此,这种条件语通常不旨在暗示特征、元素和/或步骤以任何方式对于一个或多个实施例是必需的,也不旨在暗示一个或多个实施例必然包括用于在具有或者没有程序设计者输入或提示的情况下,决定这些特征、元素和/或步骤是否包括在或者是否将在任何具体实施例中执行的逻辑。术语“包括”、“包含”、“具有”等是同义词,并且以开放的方式包含性地使用,并且不排除其它元素、特征、动作、操作等。此外,术语“或”以其包含性含义(而非排他性含义)使用,因此,当被用于例如连接元素列表时,术语“或”意味着列表中的一个、一些或全部元素。另外,除非另有说明,否则在本技术和所附权利要求书中使用的冠词“一”、“一个”和“所述”应被解释为表示“一个或多个”或“至少一个”。类似地,尽管操作在附图中可以以特定顺序示出,但应认识到,这些操作不需要以所示
的特定顺序或按顺序执行,或者执行所有示出的操作以实现期望的结果。此外,附图可以以流程图的形式示意性地示出一个或多个示例过程。然而,其它未示出的其他操作可以并入示意性示出的示例方法和过程中。例如,一个或多个附加操作可以在任何所示的操作之前、之后、同时或者期间执行。另外,在其它实施例中,操作可以被重新排列或排序。在某些情况下,多任务和并行处理是有利的。此外,上述实施例中的各种系统组件的分离不应该被理解为在所有实施例中都需要这种分离,且应该理解,所述的程序组件和系统通常可以一起集成在单个软件产品中或者封装到多个软件产品中。另外,其它实施例在以下权利要求的范围内。在一些情况下,权利要求中列出的动作可以以不同的顺序执行并且仍能实现所需的结果。
401.因此,权利要求并非旨在限于本文所述的实施例,而是被赋予与本文描述的本公开、原理和新颖特征一致的最广泛的范围。
再多了解一些
本文用于企业家、创业者技术爱好者查询,结果仅供参考。