基于使用与光导光学元件相关联的光学布置对来自眼睛的光的重定向来进行眼睛跟踪的系统和方法与流程

基于使用与光导光学元件相关联的光学布置对来自眼睛的光的重定向来进行眼睛跟踪的系统和方法
1.相关申请的交叉引用
2.本技术要求2019年12月25日提交的美国临时专利申请第62/953,557号、2020年1月9日提交的美国临时专利申请第62/958,755号以及2020年5月13日提交的美国临时专利申请第63/023,891号的优先权，以上美国临时专利申请的全部公开内容通过引用并入本文中。
技术领域
3.本

技术实现要素：
涉及眼睛跟踪。


背景技术：

4.近眼显示器(ned，near eye display)、头戴式显示器(hmd，head mounted display)和平视显示器(hud，head up display)的光学布置需要大孔径以覆盖观察者的眼睛所在的区域(通常被称为眼睛运动盒或emb)。为了实现紧凑的设备，要投影到观察者的眼睛中的图像由具有小孔径的小型光学图像生成器(投影仪)生成，该小孔径被倍增以生成大孔径。
5.基于透明材料的平行面对的板开发了一种在一个维度上进行孔径倍增的方法，在该平行面对的板中图像通过内反射进行传播。通过使用成斜角的部分反射器或通过在板的一个表面上使用衍射光学元件，将图像波前的一部分耦出板。这样的板在本文中被称为光导光学元件(loe，light-guide optical element)、透光基板或光波导。在图1中示意性地示出了这样的孔径倍增的原理，图1示出了具有一对平行的主外表面(面)12、14用于通过内反射(优选地但不一定是全内反射)来引导光的光导光学元件10。图像投影仪16(示意性地表示为矩形)生成如此处由照明束18示意性地表示的投影图像18，该照明束18包括跨越束的样本光线18a和样本光线18b。投影图像18由如此处由棱镜20(可互换地被称为“楔形件”)示意性地示出的光学耦入配置20耦入光导光学元件10中，以生成反射光线22，该反射光线22通过内反射被捕获在基板内，从而还生成光线24。此处，耦合楔形件20包括三个主表面，其中一个主表面位于loe 10的倾斜边缘26旁边(或与loe 10的倾斜边缘26是共同的)(此处边缘26与面12、面14成倾斜角度)。
6.耦入图像18通过来自面12、面14的重复内反射沿基板10传播，撞击在如此处由与平行的面12、面14成倾斜角度(α
sur
)的一系列部分反射表面28示意性地示出的光学耦出配置28上，在一系列部分反射表面28上，图像强度的一部分被反射，以作为光线30a和30b朝向位于emb36中的观察者的眼睛34的瞳孔32耦出基板，该emb 36与表面12相距出瞳间隔(er，eye relief)距离38。为了使可能引起重影图像的不需要的反射最小化，部分反射表面28优选地被涂覆成针对第一入射角度范围具有低反射率，同时针对第二入射角度范围具有所期望的部分反射率，其中，相对于部分反射表面28的法线具有小倾斜度(此处表示为角度β
ref
)的光线被分开以生成用于耦出的反射光线，而高倾斜度(相对于法线)的光线以可忽略的反
射率透射。
7.投影图像18是准直图像，即其中每个像素由对应角度处的平行光线束——相当于来自远离观察者的场景的光——来表示(准直图像被称为“准直到无限远”)。此处，图像由与图像中的单个点(通常是图像的质心)对应的光线简化地表示，但事实上，图像包括到该中心束的每一侧的角度范围，该图像以对应角度范围耦入至基板，并且类似地以对应的角度耦出，从而创建与以不同方向到达观察者的眼睛34的图像的部分对应的视场。
8.对ned、hmd或hud设计可能有用的光学功能是眼睛跟踪，或感测观察者的眼睛相对于头部的方向正在看的方向(通常被称为注视方向)。已经提出了用于眼睛跟踪的各种解决方案。在一组解决方案中，通过将从眼睛反射的光耦合入loe中，使得反射光通过内反射通过loe传播回到图像投影仪(即，在相对于来自图像投影仪的图像光的相反方向上)，经由loe在emb内对眼睛进行成像。这些解决方案试图克服基本问题，即emb不像来自图像投影仪的准直图像那样位于无限远处，而是位于距loe相对近的距离处。在另一组解决方案中，使用一个或更多个摄像装置对emb进行成像，所述一个或更多个摄像装置被布置在眼睛前方安装有loe的机械体(例如，眼镜框架)的外围部分上的离轴位置处。然而，机械体的外围部分与眼睛之间的接近度使得由于相对大的梯形角度而难以在emb内对眼睛进行成像。显然地，将摄像装置直接布置在眼睛前方可以实现高质量的emb成像和图像处理，但是将摄像装置直接定位在眼睛前方会使观看者的自然视野模糊。
发明内容
9.本发明的各方面提供了眼睛跟踪器和对应的方法，其用于基于经由光导光学元件对眼睛进行成像来跟踪人眼的注视方向并且特别适于集成为ned、hmd或hud的一部分。
10.本发明的各方面提供了眼睛跟踪器和对应的方法，其用于基于经由与光导光学元件相关联的光重定向光学布置对眼睛进行成像来跟踪人眼的注视方向并且特别适于集成为ned、hmd或hud的一部分，该光重定向光学布置响应于对眼睛的照明将从眼睛反射的光朝向光学传感器重定向为非引导光。
11.根据本发明的实施方式的教导，提供了一种光学系统。光学系统包括：透光基板，具有至少两个主表面，所述透光基板布置为主表面中的第一主表面与观看者的眼睛成面对关系；光学传感器，被布置成用于感测光；与透光基板相关联的光重定向布置，被配置成将来自眼睛的光朝向光学传感器偏转，使得到达光学传感器的偏转光未被透光基板引导，并且由光重定向布置对光的偏转发生在透光基板处；以及至少一个处理器，电耦接至光学传感器并且被配置成处理来自光学传感器的信号，以得出眼睛的当前注视方向。
12.可选地，光学系统还包括：照明布置，被布置成用光照射眼睛，使得眼睛将来自照明布置的光的一部分反射作为反射光，并且反射光对应于来自眼睛的被光重定向布置偏转的光。
13.可选地，照明布置至少包括第一光源和第二光源，第一光源被配置成产生具有在给定的第一波长范围内的波长的光，第二光源被配置成产生具有在给定的第二波长范围内的波长的光，给定的第一波长范围与给定的第二波长范围是非交叠范围。
14.可选地，来自眼睛的被光重定向布置偏转的光主要包括具有在电磁光谱的可见光区域之外的波长的光。
15.可选地，来自眼睛的被光重定向布置偏转的光主要包括具有在电磁光谱的可见光区域内的波长的光。
16.可选地，光重定向布置透射具有在电磁光谱的可见光区域内的波长的光并且反射具有在电磁光谱的可见光区域之外的波长的光。
17.可选地，光重定向布置包括位于透光基板内的至少一个部分反射表面。
18.可选地，透光基板的两个主表面相互平行，并且至少一个部分反射表面是与两个主表面成倾斜角度的平坦表面。
19.可选地，透光基板被配置成通过透光基板的两个主表面之间的内反射来引导与准直到无限远的图像对应的光，并且光学系统还包括：位于透光基板内的第二至少一个部分反射表面，用于将通过两个主表面之间的内反射引导的光从透光基板耦出到观看者的眼睛。
20.可选地，第二至少一个部分反射表面是与两个主表面成倾斜角度的平坦表面。
21.可选地，至少一个部分反射表面和第二至少一个部分反射表面彼此平行。
22.可选地，至少一个部分反射表面和第二至少一个部分反射表面彼此不平行。
23.可选地，至少一个部分反射表面被布置成与第二至少一个部分反射表面成非交叠关系。
24.可选地，至少一个部分反射表面被布置成与第二至少一个部分反射表面成交叠关系。
25.可选地，光重定向布置包括衍射元件，该衍射元件与透光基板的主表面中的一个主表面的至少一部分相关联。
26.可选地，光重定向布置包括选择性反射表面，该选择性反射表面与透光基板的主表面之一的至少一部分相关联。
27.可选地，选择性反射表面由应用到主表面的至少一部分的电介质涂层或二向色涂层中的至少一个形成。
28.可选地，光重定向布置将来自眼睛的第一组光线通过成像透镜朝向光学传感器偏转，以形成眼睛的至少一部分的第一图像，并且光学系统还包括：第二光重定向布置，被配置成使第二组光线从眼睛通过成像透镜朝向光学传感器偏转，以形成眼睛的至少一部分的第二图像。
29.可选地，至少一个处理器还被配置成处理来自光学传感器的与第一图像和第二图像对应的信号，以确定眼睛与主表面中的第一主表面之间的距离。
30.可选地，光重定向布置包括以下中的一个：位于透光表面的第一部分内的至少一个部分反射表面；与透光基板的主表面中的一个主表面的至少第一部分相关联的衍射元件；或与透光基板的主表面中的一个主表面的至少第一部分相关联的选择性反射表面，并且第二光重定向布置包括以下中的一个：位于透光表面的第二部分内的至少一个部分反射表面；与透光基板的主表面中的一个主表面的至少第二部分相关联的衍射元件；或与透光基板的主表面中的一个主表面的至少第二部分相关联的选择性反射表面。
31.可选地，透光基板的主表面中的至少一个主表面是弯曲表面。
32.可选地，透光基板被配置成通过透光基板的两个主表面之间的内反射来引导与准直到无限远的图像对应的光，并且光学系统还包括：光学耦出配置，用于将通过两个主表面
之间的内反射引导的光耦出透光基板。
33.可选地，光学耦出配置包括衍射元件。
34.可选地，光学耦出配置包括位于透光基板内的至少一个部分反射表面。
35.可选地，透光基板的两个主表面彼此平行，并且至少一个部分反射表面是与两个主表面成倾斜角度的平坦表面。
36.可选地，光学耦出配置被布置成与光重定向布置成非交叠关系。
37.可选地，光学耦出配置被布置成与光重定向布置成交叠关系。
38.可选地，透光基板被配置成在一个维度上引导光。
39.可选地，透光基板被配置成在两个维度上引导光。
40.可选地，光重定向布置被布置在第一组平行平面中，并且光学耦出配置被布置在第二组平行平面中。
41.可选地，第一组平面与第二组平面相互平行。
42.可选地，第一组平面与第二组平面相互正交。
43.可选地，第一组平面与第二组平面是相互倾斜的。
44.可选地，将透光基板集成为近眼显示器的一部分。
45.可选地，将透光基板集成为平视显示器的一部分。
46.可选地，光学传感器被布置在观看者的眼睛与主表面中的第一主表面之间。
47.可选地，来自眼睛的被光重定向布置偏转的光在到达光学传感器之前在透光基板内至多经历单次反射。
48.可选地，光学系统还包括：至少一个成像光学元件，被布置在从光重定向布置到光学传感器的光路径中，用于在光学传感器上形成眼睛的至少一部分的至少一个图像。
49.根据本发明的教导的实施方式，还提供了一种光学系统。光学系统包括：透光基板，具有两个相互平行的主外表面，透光基板布置为主外表面中的一个主外表面与观看者的眼睛成面对关系；光学耦入配置，用于将与准直图像对应的光耦入透光基板中，以通过主外表面之间的内反射在透光基板内传播；光学耦出配置，用于将通过内反射在透光基板内传播的光耦出透光基板；光学传感器，被布置成用于感测光；与透光基板相关联的光重定向布置，该光重定向布置被配置成将来自眼睛的光朝向光学传感器偏转，使得到达光学传感器的偏转光未被透光基板引导，并且由光重定向布置对光的偏转发生在透光基板处；以及至少一个处理器，电耦接至光学传感器并且被配置成处理来自光学传感器的信号，以得出眼睛的当前注视方向。
50.可选地，光重定向布置包括位于透光表面内的至少一个部分反射表面，并且至少一个部分反射表面是与两个主外表面成倾斜角度的平坦表面。
51.可选地，光学耦出配置包括第二至少一个部分反射表面，并且第二至少一个部分反射表面是与两个主外表面成倾斜角度的平坦表面。
52.可选地，至少一个部分反射表面与第二至少一个部分反射表面相互平行。
53.可选地，至少一个部分反射表面与第二至少一个部分反射表面不平行。
54.可选地，光学耦出配置被布置成与光重定向布置成非交叠关系。
55.可选地，光学耦出配置被布置成与光重定向布置成交叠关系。
56.可选地，与准直图像对应的光主要包括具有在电磁光谱的可见光区域内的波长的
光，并且来自眼睛的被光重定向布置偏转的光主要包括具有在电磁光谱的可见光区域之外的波长的光。
57.可选地，光学系统还包括：至少一个成像光学元件，被布置在从光重定向布置到光学传感器的光路径中，用于在光学传感器上形成眼睛的至少一部分的至少一个图像。
58.根据本发明的教导的实施方式，还提供了一种光学系统。该光学系统包括：透光基板，具有两个相互平行的主外表面，所述透光基板布置为主外表面中的一个主外表面与观看者的眼睛成面对关系；光学耦入配置，用于将与准直图像对应的光耦入透光基板中，以通过主外表面之间的内反射在透光基板内传播；位于透光基板内的至少一个第一部分反射面，用于将通过内反射在透光基板内传播的光耦出透光基板，至少一个第一部分反射表面是与两个主外表面不平行并且与两个主外表面成倾斜角度的平坦表面；光学传感器，被布置成用于感测光；光重定向布置，包括至少一个第二部分反射表面，该至少一个第二部分反射表面位于透光基板内，该至少一个第二部分反射表面被配置成将来自眼睛的光朝向光学传感器偏转，使得到达光学传感器的偏转光未被透光基板引导，并且由光重定向布置对光线的偏转发生在透光基板处；以及至少一个处理器，电耦接至光学传感器并且被配置成处理来自光学传感器的信号，以得出眼睛的当前注视方向。
59.可选地，至少一个第二部分反射表面透射具有在电磁光谱的可见光区域内的波长的光并且反射具有在电磁光谱的可见光区域之外的波长的光。
60.可选地，与准直图像对应的光主要包括具有在电磁光谱的可见光区域内的波长的光，并且来自眼睛的被光重定向布置偏转的光主要包括具有在电磁光谱的可见光区域之外的波长的光。
61.可选地，至少一个第一部分反射表面与至少一个第二部分反射表面相互平行。
62.可选地，至少一个第一部分反射表面与至少一个第二部分反射表面不平行。
63.可选地，至少一个第一部分反射表面被布置成与至少一个第二部分反射表面成非交叠关系。
64.可选地，至少一个第一部分反射表面被布置成与至少一个第二部分反射表面成交叠关系。
65.可选地，该光学系统还包括：至少一个成像光学元件，被布置在从光重定向布置到光学传感器的光路径中，用于在光学传感器上形成眼睛的至少一部分的至少一个图像。
66.根据本发明的教导的实施方式，还提供了一种光学系统。该光学系统包括：光学传感器，被布置成用于感测光；光重定向布置，与具有至少两个主表面的透光基板相关联，该透光基板布置为主表面中的第一主表面与观看者的眼睛成面对关系，光重定向布置被配置成将来自眼睛的光朝向光学传感器偏转，使得到达光学传感器的偏转光未被透光基板引导，并且由光重定向布置对光的偏转发生在透光基板处；以及至少一个处理器，电耦接至光学传感器并且被配置成处理来自光学传感器的信号，以得出眼睛的当前注视方向。
67.根据本发明的教导的实施方式，还提供了一种光学系统。该光学系统包括：透光基板，具有至少两个主表面，该透光基板布置为主表面中的第一主表面与观看者的眼睛成面对关系，该眼睛相对于透光基板的位置限定眼睛运动盒；照明布置，被布置成利用眼睛跟踪光照射眼睛运动盒，使得眼睛跟踪光的强度的一部分被眼睛反射为反射光；光学传感器，被布置成用于感测光；与透光基板相关联的光重定向布置，该光重定向布置被配置成将反射
光朝向光学传感器偏转，到达光学传感器的偏转光未被透光基板引导，并且由光重定向布置对光的偏转发生在透光基板处；以及至少一个处理器，电耦接至光学传感器并且被配置成处理来自光学传感器的信号，以得出眼睛的当前注视方向。
68.根据本发明的教导的实施方式，还提供了一种光学系统。该光学系统包括：照明布置，被布置成利用眼睛跟踪光照射眼睛运动盒，眼睛运动盒限定观看者的眼睛相对于具有至少两个主表面的透光基板的位置，所述透光基板布置为主表面中的第一主表面与眼睛成面对关系，眼睛跟踪光的强度的一部分被眼睛反射为反射光；光学传感器，被布置成用于感测光；光重定向布置，与透光基板相关联并且被配置成将反射光朝向光学传感器偏转，到达光学传感器的偏转光未被透光基板引导，并且由光重定向布置对光的偏转发生在透光基板处；以及至少一个处理器，电耦接至光学传感器并且被配置成处理来自光学传感器的信号，以得出眼睛的当前注视方向。
69.在本文档的上下文内，术语“引导的”通常是指通过在透光材料的主外表面处的内反射而被捕获在透光材料(例如，基板)内的光，使得被捕获在透光材料内的光在传播方向上穿过透光材料传播。当传播的光以在给定角度范围内的入射角入射到透光材料的主外表面时，在透光基板内传播的光通过内反射被捕获。被捕获的光的内反射可以呈全内反射的形式，由此以大于临界角(部分由透光材料的折射率和布置有透光材料的介质例如空气的折射率限定)的角度入射到透光材料的主外表面的传播光在主外表面处经历内反射。替选地，可以通过将涂层(例如，角度选择性反射涂层)应用至透光材料的主外表面以实现在给定的角度范围入射到主外表面的光的反射来实现被捕获的光的内反射。被引导穿过透光材料的光经历来自透光材料的主外表面的至少两次反射。
70.在本公开内容的上下文中使用的术语“未引导的”通常是指未被引导的光。未被引导的光横穿透光材料(例如，基板)而未被捕获在透光材料内，即，未通过内反射而被捕获在透光材料的主外表面之间。本公开内容的光重定向布置将来自emb/观看者的眼睛的光偏转到成像/检测子系统，并且特别地偏转至光学传感器，使得光在透光材料处偏转而不被捕获在透光材料内，以在自由空间传播下传播到光学传感器。换言之，来自emb/观看者的眼睛的光被光重定向布置偏转，使得到达光学传感器的光未被透光材料引导。
71.根据本发明的各个实施方式的眼睛跟踪器依赖于由光重定向布置对从眼睛反射的光朝向光学传感器的偏转。从眼睛反射的光在本文中也被称为眼睛跟踪光，并且在本文中被称为在“眼睛跟踪光谱”之内。当眼睛跟踪光在电磁光谱的近红外(nir，near infrared)区域内时(即，当眼睛跟踪光谱在nir区域内时)，根据本发明的各个实施方式的眼睛跟踪器特别有效。然而，当眼睛跟踪光在电磁光谱的可见区域中时(即，当眼睛跟踪光谱在可见光区域内时)，眼睛跟踪器也可以是有效的。此外并且如将更详细地讨论的那样，还构想了其中眼睛跟踪光谱在可见光和nir区域两者之外的本发明的实施方式。
72.在本文档的上下文内，在电磁光谱的nir区域中的光通常是指波长在700至1400纳米(nm)并且在某些情况下在680至1400nm的范围内的光。在700nm附近的波长(即在680至750nm范围内的波长)可能会侵蚀较暗的红色可见光，但在用于眼睛跟踪目的而照射眼睛时可能会特别有利。在本文档的上下文中，除非另有明确说明，否则被描述为主要具有在nir区域内的波长的光通常是指具有在700至1400nm或680至1400nm范围内的波长的光。在本文档的上下文中，除非另有明确说明，否则被描述为具有在nir区域之外的波长的光通常是指
具有小于700nm(或小于680nm)或大于1400nm的波长的光。
73.在本文档的上下文中，电磁光谱的可见区域内的光通常是指具有在380至750nm范围内的波长的光。因此，nir区域与可见光区域之间可能存在一些交叠。在本文档的上下文中，除非另有明确说明，否则被描述为主要具有在可见光区域内的波长的光通常是指具有在380至700nm或380至680nm范围内的波长的光。在本文档的上下文中，除非另有明确说明，否则被描述为主要具有可见光区域之外的波长的光通常是指具有小于380nm或大于700nm(或大于680nm)的波长的光。可见区域在本文中可互换地称为“可见光区域”、“亮视觉区域”和“亮视觉光谱”。
74.除非本文中另有限定，否则本文所使用的所有技术和/或科学术语具有与本发明所属领域的技术人员通常所理解的含义相同的含义。尽管与本文所描述的那些方法和材料相似或等同的方法和材料可以在实践或测试本发明的实施方式中使用，但是在下面描述了示例性的方法和/或材料。在有冲突的情况下，以包括限定的专利说明书为准。此外，材料、方法和示例仅是说明性的，并不旨在必然是限制性的。
附图说明
75.在本文中参照附图仅通过示例的方式描述了本发明的一些实施方式。通过详细地具体参照附图，要强调的是，所示的细节是作为示例的，并且是出于对本发明的实施方式的说明性论述的目的。在这方面，结合附图进行的描述使得本领域技术人员清楚可以如何实践本发明的实施方式。
76.现在将注意力转向附图，在附图中，相同的附图标记指示相应或相同的部件。在附图中：
77.图1是如上所述的用于近眼显示器的采用部分反射表面的现有技术的光导光学元件的示意性侧视图；
78.图2是根据本发明的实施方式构造和操作的光学系统的示意性侧视图，该光学系统用于经由光导光学元件显示图像，并且包括用于使用光重定向布置跟踪人眼的注视方向的设备，该光重定向布置被实现为与光导光学元件相关联的一组部分反射表面，该光重定向布置将光朝向光学传感器偏转；
79.图3是图2的光重定向布置的替选布置配置的示意性侧视图；
80.图4是图2的光重定向布置的又一替选布置配置的示意性侧视图，其中部分反射表面与被实现为另一组部分反射表面的光学耦出配置成交叠关系，该光学耦出配置将图像耦出光导光学元件到眼睛；
81.图5是根据本发明的另一实施方式构造和操作的光学系统的示意性侧视图，该光学系统用于经由光导光学元件显示图像，并且包括用于使用光重定向布置跟踪人眼的注视方向的设备，该光重定向布置被实现为与光导光学元件的主表面之一的一部分相关联的衍射光学元件，该光重定向布置将光朝向光学传感器偏转；
82.图6是图5的光重定向布置的替选布置配置的示意性侧视图，其中衍射光学元件与光导光学元件的主表面中的另一主表面的一部分相关联；
83.图7是根据本发明的另一实施方式构造和操作的光学系统的示意性侧视图，该光学系统用于经由光导光学元件显示图像，并且包括用于使用光重定向布置跟踪人眼的注视
方向的设备，该光重定向布置被实现为与光导光学元件的主表面之一的一部分相关联的选择性反射表面，该光重定向布置将光朝向光学传感器偏转；
84.图8是以眼镜形状因子实现的图2的光学系统的局部示意性等距视图；
85.图9是根据本发明的另一实施方式构造和操作的光学系统的示意性侧视图，该光学系统结合了两个光重定向布置，这两个光重定向布置独立地使光朝向光学传感器偏转；
86.图10是使用两个光重定向布置由单个光学传感器捕获的两个独立图像的表示；
87.图11是被配置成处理来自光学传感器的信号以得出眼睛的当前注视方向的处理子系统的框图；以及
88.图12是根据本发明的实施方式构造和操作的光学系统的示意性侧视图，该光学系统具有用于使用光重定向布置跟踪人眼的注视方向的设备，该光重定向布置被实现为与透光基板相关联的一组部分反射表面，该光重定向布置使光朝向光学传感器偏转。
具体实施方式
89.本发明的实施方式提供了用于基于经由与光导光学元件相关联的光学布置对眼睛进行成像来跟踪人眼的注视方向的各种设备和对应方法。
90.参照说明书的附图，可以更好地理解根据本发明内容的各种眼睛跟踪设备的原理和操作。
91.在详细说明本发明的至少一个实施方式之前，应当理解，本发明的应用并不一定限于在以下描述中阐述的以及/或者在附图和/或示例中示出的部件的构造和布置和/或方法的细节。本发明能够具有其他实施方式或者能够以各种方式实践或执行。
92.现在参照附图，图2示出了根据本发明的非限制性实施方式构造和操作的用于得出人眼152的注视方向的光学系统(总体上指定为光学系统100)的结构和操作的各个方面。一般而言，光学系统100包括基板102以及与基板102相关联的设备以用于得出眼睛152的注视方向，基板102由透明材料(例如，玻璃)形成并且具有一对面(主表面)104、面106，该基板102布置为表面之一104与观看者的眼睛152成面对关系。该设备包括：用于感测光的光学传感器140；与基板102相关联的用于将从眼睛152反射的光朝向光学传感器140偏转的重定向光学布置(下文中被称为“光重定向布置”)124；以及处理来自光学传感器140的信号以得出眼睛152的当前注视方向的处理子系统146。
93.从眼睛152反射的光在大体反射方向(在图中由标记为“rd”的粗箭头示意性表示)上朝向光重定向布置124传播，并且由光重定向布置124偏转的光在大体偏转方向(在图中由标记有“dd”的粗箭头示意性地表示)上朝向光学传感器140传播。
94.所示出的实施方式特别适合于增强现实(ar，augmented reality)和虚拟现实(vr，virtual reality)应用，其中，投影图像被耦合到基板102中，通过内反射被引导穿过基板102，并且耦出基板以供眼睛152观看。然而，注意，本发明的实施方式也可以适合于其中基板未被配置成通过内反射来引导光的非ar/vr应用。这样的实施方式将在本公开内容的后续部分中讨论。
95.在图2所示的非限制性实施方式中，基板102是透光基板(即，光导光学元件或“loe”)，其具有平面的且相互平行的面(表面)104、106并且被配置成用于通过内反射来引导光，类似于参照图1所描述的。在某些实施方式中，通过内反射进行的传播呈全内反射的
形式(即，内反射由临界角控制，如以上所讨论的)，而在其他实施方式中，通过内反射进行的传播是通过应用至表面104、表面106的涂层(例如，角度选择性反射涂层)来实现的。
96.在所示的实施方式中，loe 102是用于得出注视方向的设备的一部分，并且设备还被配置成向眼睛152显示图像(当眼睛152位于emb 154内时)。此处，光学系统100还包括图像投影布置(下文中被称为“图像投影仪”)108，该图像投影布置108生成如在此处示意性地由照明束110(在电磁光谱的可见光区域内)表示的投影图像110，该照明束110包括跨越光束的样本光线110a和样本光线110b。尽管在图中未被示出，但图像投影仪108包括用于生成图像光的微显示器(例如硅上液晶(lcos，liquid-crystal on silicon)、有机发光二极管(oled，organic light-emitting diode)等)以及用于将图像准直到无限远的对应准直光学器件。当微显示器被实现为反射式或透射式显示器时，在图像投影仪108中还包括照明部件(例如，一个或更多个led)和照明光学器件(例如，分束器)，以将光从照明部件引导到微显示器，以及将图像光引导至准直光学器件。
97.图像光110通过光学耦入配置112(此处示意性地示出为在loe 102的倾斜边缘118处或附近布置的楔形件)耦合到loe 102中，以生成反射光线114(下行光线)，该反射光线114通过内反射被捕获在基板102内，从而还生成光线116(上行光线)。然而，注意，其他光学耦入配置也是可能的，包括例如相对于表面104、表面106倾斜布置的反射表面。
98.耦入图像110通过来自表面104、表面106的重复内反射沿基板102传播(即，由基板102引导)，撞击在如此处示意性地由以与平行面104、面106成倾斜角度布置在基板102内的一系列相互平行的部分反射表面120所示的光学耦出配置120上，在该光学耦出配置120处，图像强度中的一部分被光学耦出配置120反射，以朝向眼睛152耦出基板102。耦出图像光示意性地被表示为光线122a和光线122b。一组部分反射表面102仅是说明光学耦出配置的一个非限制性实现方式，并且其他光学耦合配置可以用于将图像光耦出loe 102。光学耦出配置可以是将已经通过内反射在loe 102内传播的图像入射光的一部分偏转到一定角度使得图像入射光的被偏转部分离开loe 102的任何光学耦合布置。这样的合适光学耦合布置的其他示例包括但不限于布置在面104、面106上的一个或更多个衍射光学元件和分束器布置。
99.照明布置126被布置成用于用光(被称为“眼睛跟踪光”)130照射emb 154，使得当眼睛152位于emb 154内时，用眼睛跟踪光130照射眼睛152。在某些优选但非限制性的实现方式中，照明布置126被配置成用具有在电磁光谱的亮视觉区域之外的波长的光照射emb 154。换言之，照明布置126优选地被配置成用人眼不可见的光来照射眼睛152，以不干扰人的视觉。在特别优选但非限制性的实现方式中，照明布置126被配置成用具有在电磁光谱的近红外(nir)区域内的波长——优选地在700至1000纳米(nm)范围内以及在某些情况下在680至1000nm的范围内的波长——的光照射眼睛152。然而，考虑了其他非限制性实现方式，其中照明布置126被配置成用具有在亮视觉光谱(即，电磁光谱的可见光区域)中的波长或在可见区域、ir区域和nir区域之外的电磁光谱的区域中的波长的光照射眼睛152。
100.照明布置126包括至少一个光源，并且优选地包括多个光源，每个光源被配置成用眼睛跟踪光照射emb 154。照明布置126的光源(或多个光源)可以被实现为led或者被配置成发射(产生)眼睛跟踪光谱中的光的任何其他光源。在某些非限制性实现方式中，照明布置126的光源是在所有方向上发光的各向同性(或接近各向同性)的源。在图2中，通过样本
光线130a、样本光线130b、样本光线130c示意性地表示由照明布置126利用眼睛跟踪光130对emb 154的照射。应当理解，这些样本光线130a、样本光线130b、样本光线130c仅表示到达emb 154(和眼睛152)的眼睛跟踪光130，并且来自其他照明方向的其他光线也可以到达emb 154。
101.照射眼睛152的眼睛跟踪光130的强度的一部分被眼睛152反射为朝向光重定向布置124的大体反射方向上的反射光。示意性地表示为反射光线132a、反射光线132b、反射光线132c的反射光的强度的一部分到达与基板102相关联的光重定向布置124，并且被光重定向布置124偏转为示意性地表示为反射光线138a、反射光线138b、反射光线138c的偏转光，以使反射光在朝向光学传感器140的大体偏转方向上重定向。由光重定向布置124对眼睛跟踪光的偏转发生在基板102处，这意味着眼睛跟踪光的偏转点在基板102内。
102.附带地，出于简化呈现的目的，在本文的正文和附图中参考了唯一的“反射方向”和唯一的“偏转方向”，其对应于从眼睛发出的光波，但是该光波经由光重定向布置引起的偏转朝向光学传感器传播。这些“方向”用于表示前述光波的大体传播方向，并且严格来说，不是矢量方向，而是指示光波从一个点到另一点行进通过自由空间的大体路径。各个反射光线中的每一个(例如，光线132a、光线132b、光线132c)具有其自身的矢量传播方向，各个反射光线共同跨越以上讨论的大体反射方向。同样地，各个偏转光线中的每一个(例如，光线138a、光线138b、光线138c)具有其自身的矢量传播方向，各个偏转光线共同跨越以上讨论的大体偏转方向。
103.在图2所示的非限制性实施方式中，光重定向布置124被实现为以与平行的面104、面106成倾斜角度布置在基板102内的一系列(组)部分反射表面124。部分反射表面124优选地(但不一定)相互平行。此外，部分反射表面124是平面(即，平坦的)表面。尽管在本文中示出了三个部分反射表面124，但是光重定向布置124可以包括少于三个的这种表面或多于三个的这种表面。通常，光重定向布置124包括至少一个部分反射表面。
104.将光重定向布置实现为一组部分反射表面124仅是光重定向布置的一个说明性示例。在本公开内容的后续部分中将详细描述光重定向布置的其他示例实现方式，包括基于衍射和电介质和/或二向色涂层技术的实现方式。
105.部分反射表面124被配置成反射具有在眼睛跟踪光谱中的波长的光(即，反射由眼睛152响应于照明布置126的照明反射的光)。在某些非限制性实施方式中，部分反射表面124还被配置成使具有在亮视觉区域内的波长的光透射(例如，使可见光透射)。
106.在某些非限制性实现方式中，光重定向布置124被布置成使得到达光重定向布置124的眼睛跟踪光被光重定向布置124以相对于传入角度的倾斜角度偏转，这意味着相对于表面104测量的光重定向布置124的传入光(光线132a、光线132b、光线132c)的角度不同于偏转光(光线138a、光线138b、光线138c)的角度。在某些情况下，相对于表面106测量的传入光的角度比偏转光的角度陡峭(例如，如图2所示)，例如，这部分地是由于部分反射表面124的布置角(α
sur124
)而引起的。
107.在图2所示的非限制性示例配置中，到光重定向布置124的传入光以及被光重定向布置124反射的光通过表面106折射。特别地，从眼睛152反射的入射到loe 102的主表面104上的光(例如，光线132a、光线132b、光线132c)通过表面104折射(示意性地示出为折射光线134a、折射光线134b、折射光线134c)。折射光134a、折射光134b、折射光134c被光重定向布
programmable gate array)、现场可编程逻辑阵列(fpla，field-programmable logic array)等。这样的计算机化处理器包括计算机可读介质，或者可以与计算机可读介质进行电子通信，该计算机可读介质存储程序代码或指令集，该程序代码或指令集在由计算机化处理器执行时使计算机化处理器执行动作。计算机可读介质的类型包括但不限于能够向计算机化处理器提供计算机可读指令的电子、光学、磁性或其他存储或传送装置。
112.以下段落描述了根据本发明的非限制性实施方式的光重定向布置124的各种布置选项。在光重定向布置124被实现为一组部分反射表面124的非限制性实现方式中，发现部分反射表面124的在10至35度范围内的布置角度(α
sur124
)特别适于以非引导方式将来自emb 154(眼睛152)的光偏转到光学传感器140。特别地，这样的布置角度适于将以在18至40度范围内的入射角(aoi，angles of incidence)入射到主表面104的传入光(光线132a、光线132b、光线132c)偏转到在60至90度范围内的偏转角(其中在光线138a、光线138b、光线138c与主表面104的法线之间测量偏转角)。18至40度的角度范围对应于从眼睛朝向光重定向布置124反射的眼睛跟踪光的角度分布。
113.如先前所提及的，每个部分反射表面优选地(但不一定)具有相同的布置角度(α
sur124
)。此外，部分反射表面124的布置角度(α
sur124
)可以与部分反射表面120的布置角度(α
sur120
)相同或不同。一般而言，可以在决定部分反射表面124的布置角度时考虑在光学系统100(以及特别是具有成组的嵌入式部分反射表面120和部分反射表面124的基板102)的制造复杂度与光学传感器140(即，摄像装置)的位置之间的折衷。例如，以与主表面104、主表面106成共同倾斜角度地布置部分反射表面120、部分反射表面124(即，使得表面120、表面124相互平行)可以通过减少制造步骤的数量在基板102的制造期间提供某些优点。通常，通过以下方式来制造具有嵌入的部分反射表面的基板102：将涂覆有部分反射涂层的透明板布置在堆叠中并且然后以倾斜角度切割堆叠(例如，如在美国专利第8,432,614号中所描述的)以形成具有嵌入式斜角部分反射器的板(基板)。当将部分反射表面120、部分反射表面124以共同的倾斜角度布置时，简化了本发明的基板102的制造过程，这是因为可以如美国专利第8,432,614号中所描述的那样类似地执行涂覆板的堆叠和切割。
114.然而，如果以不同的倾斜角度布置部分反射表面120、部分反射表面124(即，使得部分反射表面124和部分反射表面120彼此不平行)，则制造过程的复杂度可能会因需要附加步骤而增加。此处，制造过程通常可以包括诸如以下步骤：生产具有呈第一倾斜角度的相互平行的部分反射表面120的基板的第一部分；生产具有呈第二倾斜角度的相互平行的部分反射表面124的基板的第二部分；以及将两个基板部分附接(例如，通过光学胶合剂)在一起以形成具有呈两个不同的布置角度的两组部分反射表面的整体基板。这两个不同的布置角度尽管具有制造缺点，但可以提供在光学系统100的部件的布置方面的某些优点。特别地，不同的布置角度提供光学传感器140相对于基板102的放置(即，空间定位)方面的灵活性。例如，与当对部分反射表面120、124使用共同布置角度时原本可实现的情况相比，以比部分反射表面120的布置角度更陡峭或更浅的角度来布置部分反射表面124的能力可以允许光学传感器140定位在观看者的外围视场的更外侧。
115.除了具有相同或不同的布置角度之外，部分反射表面124和部分反射表面120可以以相同或不同的平面取向布置。优选地，部分反射表面120是位于第一组相互平行的平面中的相互平行的平面表面。同样地，部分反射表面124是位于第二组相互平行的平面中的相互
平行的平面表面。在一个非限制性布置配置中，例如，如图2所示，第一组平面和第二组平面是平行的(即，所有反射表面124和反射表面120全部彼此平行)。在另一非限制性布置配置中，第一组平面和第二组平面彼此正交地被定向(即，每个部分反射表面124的平面与每个部分反射表面120的平面正交)。在又一非限制性布置配置中，第一组平面和第二组平面既不平行也不彼此正交(即，它们是倾斜定向的，即，每个部分反射表面124的平面相对于每个部分反射表面120的平面倾斜)。如在以上布置角度讨论中，当考虑部分反射表面120、部分反射表面124的平面取向时，可能存在制造复杂度与部件布局灵活性之间的折衷。使用平行平面可以提供用于构造具有嵌入式部分反射表面120、部分反射表面124的基板102的最简单的制造过程。然而，正交或倾斜的平面组可以提供关于光学传感器140的放置的灵活性。
116.部分反射表面124优选地具有尺寸，并且优选地以一定角度和取向布置，使得跨期望的垂直和水平场的水平眼睛移动和垂直眼睛移动两者被捕获。注意，人的注视方向在水平场上比垂直场宽。因此，在某些优选实施方式中，部分反射表面124以一定取向(平面和布置角度)被布置和定尺寸成使来自水平场的光的偏转角度范围比来自垂直场的光的偏转角度范围更大。
117.在图2所示的非限制性实施方式中，光重定向布置124被布置在基板102的远端处或在基板102的远端附近(其中基板102的近端是光学耦入配置112和图像投影仪108所在的端部)，并且光学耦出配置120沿基板102的中心部分被布置在基板102的近端与远端之间。然而，图2中所示的配置仅仅是一个示例布置配置。在本文中预期了光重定向布置124的其他布置配置。例如，图3示出了另一非限制性的布置配置，其中，光重定向布置124被布置在基板102的近端处或在基板102的近端附近，并且光学耦出配置120沿基板102的中心部分被布置在基板102的近端与远端之间。
118.在以上参照图2和图3描述的非限制性布置配置中，光重定向布置124和光学耦出配置120被分离到基板102的相应区域，使得光重定向布置124与光学耦出配置120成非交叠的关系。换言之，部分反射表面124不与任何部分反射表面120交叠。然而，在其他非限制性示例布置配置中，光重定向布置124被布置成与光学耦出配置120至少部分地交叠。在图4中示出了这样的配置的示例，其中部分反射表面124与部分反射表面120交错。
119.参照图5和图6，示出了根据本发明的非限制实施方式的与基板102相关联的光重定向布置224，该光重定向布置224被实现为一个或更多个衍射光学元件(可互换地称为衍射光栅)，用于将眼睛跟踪光朝向光学传感器140偏转。与参照图2至图4描述的实施方式中的情况类似，由光重定向布置224朝向光学传感器140偏转的光未被基板102引导。
120.首先参照图5，光重定向布置224被实现为布置在基板102的主表面中之一的主表面104上的衍射光学元件。与以上参照图2描述的情况类似，在大体反射方向上传播的反射眼睛跟踪光(光线132a、光线132b、光线132c)的强度的一部分到达衍射光栅224，并且被光重定向布置224偏转为偏转光(光线138a、光线138b、光线138c)，以在朝向光学传感器140的大体偏转方向上重定向光(光线132a、光线132b、光线132c)。由光重定向布置224对眼睛跟踪光的偏转发生在基板102处，这意味着眼睛跟踪光的偏转点在基板102内(如图6中所示)，以及/或者在基板102的主表面之一处或在基板102的主表面之一附近(如图5和图6两者中所示)。
121.在该非限制性示例配置中，衍射光栅224被布置在基板102的远端处或在基板102
的远端附近的主表面104上，并且与光学耦出配置120成非交叠的关系(与参照图2描述的情况类似)。然而，应当注意，衍射光栅224在主表面104上的其他非交叠布置位置是可能的，包括在基板102的近端处或在基板102的近端附近(与参照图3所描述的情况类似)。更进一步地，衍射光栅224可以被布置在主表面104上，以与光学耦出配置120成交叠关系。例如，衍射光栅224可以沿主表面104的相同部分的一部分被布置，一个或更多个部分反射表面120的投影沿该该相同部分延伸。
122.与光重定向布置124(被实现为至少一个部分反射表面)类似，在某些布置配置中，光重定向布置224使得到达光重定向布置224的眼睛跟踪光(光线132a、光线132b、光线132c)被光重定向布置124以倾斜角度偏转，这意味着相对于表面106测量的光重定向布置224的传入光(光线132a、光线132b、光线132c)的角度不同于偏转光(光线138a、光线138b、光线138c)的角度。在某些情况下，相对于表面106测量的传入光的角度比由光重定向布置224偏转的光的角度更陡峭。
123.注意，与光重定向布置124不同，当衍射光学元件被布置在主表面104上时，眼睛跟踪光不会被主表面104折射。然而，在图6所示的非限制性实现方式中，衍射光栅被布置在主表面106上，使得眼睛跟踪光被主表面104折射。此处，从眼睛152反射的在大体反射方向上传播的入射到loe 102的主表面104上的光(例如，光线132a、光线132b、光线132c)被表面104折射为折射光(光线134a、光线134b、光线134c)。折射光134a、折射光134b、折射光134c被衍射光栅224偏转为偏转光(反射光线136a、反射光线136b、反射光线136c)，以再次撞击到loe 102的主表面104上。入射光(光线136a、光线136b、光线136c)再次被表面104折射为折射光(光线138a、光线138b、光线138c)，该折射光(光线138a、光线138b、光线138c)在自由空间中在朝向光学传感器140的大体偏转方向上传播。注意，在本实施方式中，与参照图2至图4所描述的实施方式中的情况类似，来自眼睛152的光在到达光学传感器140之前在基板102内至多经历单次反射，该单次反射是由衍射光栅224进行的反射。
124.在图6所示的非限制性示例配置中，衍射光栅124被布置在基板102的远端处或在基板102的远端附近，并且与光学耦出配置120成非交叠关系(与参照图2和图5描述的情况类似)。然而，应当注意，衍射光栅224在主表面106上的其他非交叠布置位置是可能的，包括在基板102的近端处或在基板102的近端附近(与参照图3所描述的情况类似)。更进一步地，衍射光栅224可以被布置在主表面106上，以与光学耦出配置120成交叠关系(与参照图5所描述的情况类似)。
125.虽然分别在图5和图6中示出了沿主表面104和主表面106的部分布置的单个连续衍射光栅，但可以沿基板102的主表面104、主表面106中的至少一个主表面的部分以不连续的方式布置衍射光学元件阵列(即，多于一个衍射光栅)。
126.与光重定向布置124类似，光重定向布置224优选地被配置成将以在18至40度范围内的aoi入射到主表面104的传入光(光线132a、光线132b、光线132c)偏转到在60至90度的范围内的偏转角度(其中在光线138a、光线138b、光线138c与主表面104的法线之间测量偏转角度)。
127.现在参照图7，示出了根据本发明的另一非限制性实施方式的与基板102相关联的光重定向布置324，该光重定向布置324用于将眼睛跟踪光朝向光学传感器140偏转。与参照图2至图6描述的实施方式中的情况类似，由光重定向布置324朝向光学传感器140偏转的光
未被基板102引导。在本实施方式中，光重定向布置324被实现为与基板102的主表面中之一106(即，基板102的背离眼睛152的表面)的至少一部分相关联的选择性反射表面。选择性反射表面优选地由一层或更多层光学涂层(例如，电介质和/或二向色涂层)形成，该光学涂层被应用至基板102的主表面中之一106的至少一部分。在该实现方式中，从眼睛反射的眼睛跟踪光在大体反射方向上传播，并且通过电介质和/或二向色涂层在基板102处(在该示例中在主表面106处)偏转。电介质和/或二向色涂层被设计成对亮视觉光谱中的光(即，具有在电磁光谱的可见区域内的波长的光)是高透光的，以使得观看者能够通过基板102观看真实世界的场景，并且对具有在眼睛跟踪光谱中(例如，在nir区域中)的波长的光是高反射的。“热镜”是具有二向色滤波器的特定类别的电介质镜，该二向色滤波器提供了光重定向布置324的必要的透射和反射特性。简单的热镜可以经由光学接合剂或机械附接布置在主表面106的必要区域或部分处，以形成光重定向布置324。
128.注意，在本实施方式中，与参照图2至图6描述的实施方式中的情况类似，来自眼睛152的光在到达光学传感器140之前在基板102内至多经历单次反射，该单次反射是由用于实现光重定向布置324的光学涂层(或多个涂层)引起的反射。
129.光重定向布置324优选地被配置成将以在18至40度范围内的aoi入射到主表面104的传入光(光线132a、光线132b、光线132c)偏转到与入射光处于相同角度范围内的偏转角度(其中在光线138a、光线138b、光线138c与主表面104的法线之间测量偏转角度)。18至40度的入射光角度范围对应于从眼睛朝向光重定向布置324反射的眼睛跟踪光的角度分布。
130.在某些实施方式中，还可以将色选择性反射涂层应用至基板102的形成有光重定向布置324的区域，以支持以上提及的传入光的角度分布和偏转光的角度范围。
131.在图7所示的非限制性实施方式中，光重定向布置324(热镜)被布置在主表面106上，使得眼睛跟踪光被主表面104折射。此处，从眼睛152反射的在大体反射方向上传播的入射到基板102的主表面104上的光(例如，光线132a、光线132b、光线132c)被主表面104折射为折射光(光线134a、光线134b、光线134c)。折射光134a、折射光134b、折射光134c被热镜324偏转为偏转光(反射光线136a、反射光线136b、反射光线136c)，以再次撞击到基板102的主表面104上。入射光(光线136a、光线136b、光线136c)再次被表面104折射为折射光(光线138a、光线138b、光线138c)，该折射光(光线138a、光线138b、光线138c)在自由空间中在朝向光学传感器140的大体偏转方向上传播。
132.眼睛跟踪光在主表面106处的偏转使得光学传感器140(即，摄像装置系统)能够更靠近主表面104地布置，从而增大了光学传感器140(即，摄像装置系统)与眼睛152(和emb)之间的距离，为观看者提供更舒适的观看体验。
133.在图7所示的非限制性配置中，主表面104优选地涂覆有抗反射涂层，该抗反射涂层减少了在亮视觉光谱(例如，可见光区域)和眼睛跟踪光谱(例如，nir区域)中的光的反射，以允许来自外部场景的光穿过表面104到达观看者的眼睛152，并且允许由光重定向布置324偏转的眼睛跟踪光穿过表面104(具有可能的折射率)到达光学传感器140。
134.尽管图7示出了在基板102的近端处或在基板102的近端附近布置在基板102的表面106的至少一部分上的光重定向布置324的实现方式，但是这样的实现方式仅是光重定向布置324的非限制性说明性示例。其他非限制性实现方式也是可能的，其中光重定向布置324被布置在基板102的近端处或在基板102的近端附近的主表面104的至少一部分上。在这
样的实现方式中，光重定向布置324优选地被实现为应用至表面104的至少一部分的电介质涂层(被称为“电介质镜”)。在该实现方式中，光学传感器140应当比图7中所示的实现方式距表面104更远地布置，以允许光学传感器140捕获覆盖宽角度分布的眼睛跟踪光。因此，光重定向布置324在表面104处的实现方式不如在图7中所示的实现方式优选，因为光学传感器140(即，摄像装置系统)与眼睛152(和emb)之间的距离与图7中所示的实现方式相比减小。
135.注意，布置有光重定向布置324的主表面104、主表面106的部分可以是主表面104、主表面106的单个连续部分，或者可以是主表面104、主表面106的一个或更多个不连续部分(即，单独的段)。
136.到目前为止描述的光重定向布置324的非限制性实现方式涉及在基板102的近端处或在基板102的近端附近的表面104、表面106之一的一部分上布置反射表面。这些实现方式中的光重定向布置324与光学耦出配置120成非交叠关系(与参照图3所描述的情况类似)。然而，应当注意，光重定向布置324在主表面104、主表面106之一上的其他非交叠布置位置是可能的，包括在基板102的远端处或在基板102的远端附近(与参照图2和图5所描述的情况类似)。更进一步地，光重定向布置324可以被布置在主表面104、主表面106之一上，以与光学耦出配置120成交叠关系。例如，反射表面可以沿主表面104、106的相同部分的一部分被布置，一个或更多个部分反射表面120的投影沿该相同部分延伸。
137.根据本发明的各种实施方式的光重定向布置124、光重定向布置224、光重定向布置324可以被布置在主表面104的各个部分处或在主表面104的各个部分附近，使得从眼睛152传送至光重定向布置124、光重定向布置224、光重定向布置324的眼睛跟踪光首先以倾斜角度(即，相对于表面104的法线测量的相对高的aoi)以及通过相对于表面104的平面(在表面104是平面的实施方式中)的等效的浅角度入射到主表面104的部分上。这在图2、图5和图6中最清楚地说明，其中光线132a、光线132b、光线132c(表示从眼睛152传送至光重定向布置的眼睛跟踪光)以相对高的aoi入射。高aoi和光重定向布置的反射特性(例如包括部分反射表面124的布置角度)使得偏转光(光线138a、光线138b、光线138c)处于比传入光132a、132b、132c更高的aoi。
138.光重定向布置124、光重定向布置224、光重定向布置324的这样的布置配置允许将光学传感器140(和聚焦光学器件142)放置在图像投影仪108处或靠近图像投影仪108，并且在某些优选实施方式中，允许将光学传感器140(和聚焦光学器件142)附接至容纳该图像投影仪108的部件的机械体或壳体。
139.以下段落描述了照明布置126的几个布置选项。一般而言，在本文中预期照明布置126的各种配置。在所有照明布置配置中，照明布置126包括至少一个光源，该至少一个光源被配置成用眼睛跟踪光照射emb154(因此，当眼睛152定位在emb 154中时，照射眼睛152)，眼睛跟踪光在优选的但非限制性的实现方式中是在电磁光谱的nir区域内。
140.在一个非限制性布置配置中，可以将眼睛跟踪照明并入为由图像投影仪108投影的图像的一部分。照明可以在图像投影期间或在单独的时隙中进行。眼睛跟踪照明和图像投影的定时控制优选地由处理子系统146来控制。在眼睛跟踪照明在ir区域中的情况下，存在用于向眼睛提供ir照明的各种选项。在使用接近可见光波长的nir波长的情况下，例如可以使用lcos调制器，将ir照明组合作为常规可见图像投影仪中的第四“颜色”。如果对于较
长的ir波长需要图案化照明，则通常优选数字光处理(dpl，digital light processing)装置。对于非图案化照明，通常提供独立于图像投影仪的专用照明源。由图像投影仪生成的眼睛跟踪照明以与可见图像照明110相同的方式耦入到基板102中，并且通过内反射传播。光学耦出配置120优选地被配置成透射眼睛跟踪光谱中的光，而光重定向布置124、光重定向布置224、光重定向布置324优选地被配置成使在眼睛跟踪光谱中的光偏转并且使在可见光谱中的光透射。可以通过将适当的涂层应用至部分反射表面120来实现光学耦出配置120的期望的反射和透射特性。类似地，可以通过将适当的涂层应用至部分反射表面124来实现光重定向布置124的期望的反射和透射特性。
141.在更优选的布置配置中，照明布置126与图像投影仪分离，并且包括在光学传感器140附近和/或围绕附接基板102的光学系统100的机械体的外围布置的一个或更多个光源。图8示出了这样的优选的非限制性示例实现方式，其中光学系统100以具有被实施为眼镜框架156的头戴式机械体的眼镜的形状因子来实现，该眼镜框架156具有用于接合观察者(观看者)的耳朵的侧臂158。光学系统100由合适的电源供电，该合适的电源可以是电池和/或提供的外部电源(此处示意性地示出为经由线缆162连接的电源160)的任何组合。在使用电池电源的情况下，电池可以被集成为眼镜或头盔安装结构的一部分。应当注意，其他形状因子例如头盔安装形状因子、车辆挡风玻璃形状因子以及其他平视显示器和近眼显示器形状因子也显然落入本发明的范围内。
142.在本非限制性实现方式中，照明布置126包括三个分开的光源即光源128a、光源128b、光源128c(例如，实现为三个led)。光源128a、光源128b二者被布置在眼镜框架156的外围部分上，在光耦出配置120处或附近。第三光源128c被布置在接近光学传感器140的观察者的头部的侧面附近(在图8中，该光学传感器140被示为附接至图像投影仪108，图像投影仪108被附接至侧臂158)。
143.通常，照明布置126可以被配置成用眼睛跟踪光来照射眼睛152的特定区域或整个眼睛152。如以上详细讨论的，由照明布置发出的眼睛跟踪光(光线130a、光线130b、光线130c)被眼睛152反射为反射光132a、反射光132b、反射光132c，并且被光重定向布置124、光重定向布置224、光重定向布置324朝向光学传感器140偏转作为偏转光(光线138a、光线138b、光线138c)，其中该偏转光(光线138a、光线138b、光线138c)优选地(通过光学器件142)聚焦在光学传感器140上。在某些非限制性实现方式中，偏振光(例如，光线138a、光线138b、光线138c)通过聚焦光学器件142聚焦到光学传感器140的不同区域或部分上。光学传感器140响应于感测到聚焦的光(例如，对应于眼睛的图像)而生成信号，并且这些信号被传递至处理系统146，该处理系统146被配置成处理信号以得出眼睛152的当前注视方向。在某些非限制性实现方式中，光学系统100通过对存在于眼睛152的特定区域上的图案进行成像来获得注视方向(眼睛的角度取向或眼睛的视线)。这样的图案的位置及其运动指示眼睛的当前注视方向和运动。人眼包括各种可跟踪的特征，包括例如由角膜神经基于角膜反射生成的图案(即，角膜神经图案)、眼睛瞳孔的中心以及通过视神经盘的血管生成的图案。可以使用通过由处理系统146执行的合适的图像处理指令实现的适当的跟踪算法来跟踪这些可跟踪特征。在某些非限制性实现方式中，处理系统146基于瞳孔中心与角膜反射之间的矢量来计算注视方向。
144.通常，所有背景照明都会引起使眼睛图像的质量降低的噪声。为了减少外部照明
源(例如，环境光、自然日光等)的影响，照明布置126可以被配置成生成短的光脉冲(优选地低于1ms)，并且光学传感器140被(通过处理子系统146)同步成仅在该短的照明持续时间期间集成光。以这种方式，可以大大抑制连续的背景照明。另外地或替选地，可以在从光重定向布置到光学传感器140的光路径中布置通带光谱滤波器，以阻挡在其中生成眼睛跟踪照明的给定波长范围之外的波长的光到达光学传感器140。光谱滤波器可以理想地定位在聚焦光学器件142与光学传感器140之间，但是可以替选地布置在聚焦光学器件142之前。
145.在用于得出和跟踪注视方向的非限制性过程中，映射角膜图案(可选地与视神经盘图案和/或瞳孔组合)，并且在初始设置过程期间确定可跟踪特征，并且然后执行连续跟踪过程。例如，可以向观察者显示图像标记，以供观察者在初始化期间观看。当观察者朝向标记看时，照明布置126完全照射角膜，并且(经由光学传感器140)获得角膜(和瞳孔)的完整图像。然后，该图像由处理系统146处理以识别可跟踪特征(例如，视神经盘和中央凹)。在连续跟踪过程中，所选择的眼睛152的感兴趣区域(roi，regions of interest)由照明布置126选择性地照射，并且在对应的照明脉冲期间对(由光学传感器140获得的)roi的图像采样和处理(由处理系统146)以确定当前的注视方向(视线)，并且该得出的注视方向用于在后续照明周期内更新roi的位置，并且通过照射更新的roi来重复连续跟踪过程。假设与眼睛的运动速度相比跟踪测量的频率较高，则该更新过程通常有效地保持连续跟踪，可选地与来自另一只眼睛的跟踪信息相结合。随着注视方向改变，照明区域也改变。可以根据从最后采样的图像确定的“当前”注视方向来执行对roi的更新，或者在某些情况下，可以使用基于先前两次或更多次测量之间的眼睛运动的预测外推法。在跟踪失败的情况下，可以临时增大照明区域的大小，直到恢复可跟踪特征为止。
146.照明布置126的光源可以被配置成发出处于眼睛跟踪光谱内的大致相同或不同的中心波长处的眼睛跟踪光。通常，在nir区域中，可以构造基板102的玻璃材料的色散足够低，以避免在单个眼睛跟踪光源的光谱宽度(对于led，光谱宽度通常在20至50nm范围内)内遭受失真。然而，采用发出两个光谱上分离的中心波长(尽管仍在眼睛跟踪电磁光谱的同一区域内)的眼睛跟踪光的光源可以在对眼睛成像时提供某些优势。例如，布置具有分别发出以大约700nm和950nm为中心的光的第一光源和第二光源的照明布置126可以导致形成在光学传感器140上的两个不同的眼睛图像，一个眼睛图像相对于另一个眼睛图像偏移。通过应用适当的图像处理算法例如相关算法，处理子系统146可以实现注视方向计算方面的较高的分辨率。
147.注意，例如，如图8所示，处理子系统146和摄像装置(具有聚焦光学器件的光学传感器)优选地彼此紧密靠近地布置，以实现光学传感器与处理子系统146之间的简单电连接(例如，短电线或电缆)。还注意到，本发明的光重定向布置被布置成在与布置有摄像装置的区域或区的大体偏转方向上偏转光。如以上所提及的，聚焦光学器件142限定与偏转的眼睛跟踪光将到达的区域对应的视场。因此，聚焦光学器件142被布置成捕获来自偏转方向的光。在图8所示的非限制性示例实现方式中，聚焦光学器件142被布置在眼镜框架156的右侧，以捕获从聚焦光学器件142的左侧的区域发出的偏转的眼睛跟踪光。因此，图8的光重定向布置应当被布置成使光在向右(即，朝向聚焦光学器件142)的大体偏转方向上偏转。然而，光重定向布置可以被配置成使光在向左的大体偏转方向上偏转，只要相应地布置聚焦光学器件即可。在图8中，这将需要将聚焦光学器件定位在(直接或间接地)附接至左侧臂
(未示出)的眼镜框架156的左侧。由于处理子系统146优选地还控制图像投影仪108，因此可能有利的是，保持处理子系统146接近图像投影仪108同时牺牲与摄像装置的接近度，并且替代地在光学传感器与处理子系统146之间布置较长的电连接。
148.可以通过改变光重定向布置的布置取向和/或光学参数，容易地将与光重定向布置相关联的大体偏转方向从向右改变成向左(反之亦然)。例如，观察图2中的部分反射表面124的大体向右偏转方向，可以通过使部分反射表面124绕垂直或水平轴旋转180度以改变部分反射表面124的取向，来实现大体向左偏转方向。在另一示例中，可以将用于形成衍射光栅224的周期性结构反转或旋转以改变偏转方向。
149.现在返回到图2至图7，光重定向布置124、光重定向布置224、光重定向布置324中的任何一对可以组合地使用，以便能够使用单个光学传感器140获得眼睛152的两个独立图像。优选地，两个光重定向布置被布置在基板102的不同的相应部分处。例如，一个光重定向布置可以被布置在基板102的近端或在基板102的近端附近，而另一个光重定向布置可以被布置在基板102的远端或在基板102的远端附近。这两个光重定向布置可以是相同类型的(例如，两者被实现为部分反射表面)，或者可以是不同类型的(例如，一个可以被实现为一组部分反射表面，而另一个可以被实现为一个或更多个衍射光栅)。
150.图9示出了具有两个不同的光重定向布置的光学系统的非限制性示例的示意图。在非限制性说明性示例中，与参照图2所描述的情况类似地实现第一光重定向布置124，并且与参照图7所描述的情况类似地实现第二光重定向布置324。在图9中示意性地示出了从眼睛到光学传感器140的光的遍历。为简单起见，附图中未示出由主表面104对眼睛跟踪光的折射，但是应当理解，眼睛跟踪光的折射可以与如参照图2和图7所描述的情况类似地发生。
151.眼睛跟踪照明从眼睛152反射，其由光线132a、光线132b、光线132c、光线132d、光线132e、光线132f示意性地表示。由第一组光线132a、光线132b、光线132c示意性地表示的由眼睛反射的眼睛跟踪光中的一些在第一大体反射方向(由标记为“rd
1”的粗箭头示意性表示)上传播，并且被光重定向布置124偏转为在第一大体偏转方向(由标记为“dd
1”的粗箭头示意性地表示)上的偏转光(由光线138a、光线138b、光线138c示意性地表示)。由第二组光线132d、光线132e、光线132f示意性地表示的由眼睛反射的眼睛跟踪光中的一些在第二大体反射方向(由标记为“rd
2”的粗箭头示意性地表示)上传播，并且被光重定向布置324偏转为在第二大体偏转方向(由标记为“dd
2”的粗箭头示意性地表示)上的偏转光(由光线138d、光线138e、光线138f示意性地表示)。呈两组偏转光线形式的偏转光到达聚焦光学器件142。聚焦光学器件142将第一组偏转的传入光138a、传入光138b、传入光138c转换成会聚光束(示意性地表示为光线144a、光线144b、光线144c)，该会聚光束撞击在光学传感器140的指定为141a的第一部分或区域，以形成emb内的眼睛152的第一图像。聚焦光学器件142还将第二组偏转的传入光138d、传入光138e、传入光138f转换成会聚光束(示意性地表示为光线144d、光线144e、光线144f)，该会聚光束撞击到光学传感器140的指定为141b的第二部分或区域上，以形成emb内的眼睛152的第二图像。
152.图10示出了在实验室模拟中使用两个光重定向布置由单个光学传感器140捕获的两个独立图像。
153.注意，当生成眼睛的两个独立图像时，处理子系统146可以处理由光学传感器140
生成的信号，以使用三角测量技术来计算或估计出瞳间隔距离。还注意到，原则上，可以组合地使用多于两个光重定向布置来生成眼睛的一组多于两个的独立图像。
154.本公开内容的某些实施方式可以在被布置为车辆或飞行器中的平视显示器(head-up display，hud)的一部分时具有特定价值，由此在机动车辆或航空环境中由图像投影仪108投影的图像的显示可以至少部分地取决于hud的用户的眼睛注视方向或通过hud的用户的眼睛注视方向来控制。在机动车辆环境中，可以将采用根据所公开的实施方式的眼睛跟踪设备的主要部件的hud安装在车辆的驾驶员的前方，例如集成在车辆的仪表板或前挡风玻璃中。在航空环境中，可以将hud安装在飞行器的飞行员的前方，例如作为飞行员头盔的一部分安装在头盔的前部区域中。
155.到目前为止，在基板102的上下文中描述了光学系统的实施方式，基板102是被配置成通过内反射来引导(从图像投影仪108注入的)图像光的光导光学元件(light-guide optical element，loe)。当在ar和/或vr应用中使用时，这样的实施方式具有特别的价值，其中ar/vr图像是由具有小孔径的紧凑型图像投影仪产生的，该小孔径通过loe被倍增以生成大孔径。如背景技术部分中所讨论的，一个维度上的孔径倍增是基于透明材料的平行面对的板开发的，在该平行面对的板内图像通过内反射传播。注意，还使用各种光波导配置开发了两个维度上的孔径倍增。在一个示例配置中，通过第一光波导和第二光波导来实现二个维度的孔径扩展。第一光波导具有形成矩形截面的两对平行的主外表面。第一组相互平行的部分反射表面倾斜于光波导的伸长方向而横穿第一光波导。光耦合至第一光波导的第二光波导具有形成板型波导的一对平行的主外表面。第二组相互平行的部分反射表面倾斜于第二光波导的主要外表面而横穿第二光波导。此外，包含第一组部分反射表面的平面优选地倾斜于包含第二组部分反射表面的平面。两个光波导之间的光耦合以及两组部分反射表面的布置和配置使得，当图像以初始传播方向以倾斜于第一光波导的两对平行主外表面的耦合角度耦合到第一光波导中时，图像沿第一光波导通过四重内反射(即，在两个维度上)前进，其中在第一组部分反射表面处反射的图像的一部分强度被耦出第一光波导并耦入第二光波导，并且然后通过第二光波导内的双重内反射(即，在一个维度上)传播，其中在第二组部分反射表面处反射的图像的一部分强度被耦出第二光波导，作为由观察者的眼睛看到的可见图像。当将光重定向布置实现为一组平行的平面部分反射表面124时，部分反射表面124的平面可以被定向成与第一组相互平行的部分反射表面或第二组相互平行的部分反射表面的平面平行、正交或倾斜。二维孔径倍增器的进一步细节可以在各种专利文献——包括例如美国专利第10,564,417号中找到，该美国专利第10,564,417号的全部内容通过引用并入本文中。
156.在另一示例配置中，通过第一板型光波导和第二板型光波导来实现二维孔径扩展。第一光波导具有形成板型波导的两对平行的主外表面。第一组相互平行的内部部分反射表面以与两对平行的主外表面成倾斜角度横穿第一光波导。第二光波导也具有两对平行的主外表面。第二组相互平行的内部部分反射表面以与第二光波导的两对平行的主外表面成倾斜角度地横穿第二光波导。此外，包含第一组部分反射表面的平面倾斜于或垂直于包含第二组部分反射表面的平面。两个光波导之间的光耦合以及两组部分反射表面的布置和配置使得，当图像被耦合到第一光波导管中时，图像在第一引导方向上在两对外表面中的一对的外表面之间通过在第一光波导内的两重内反射传播，其中在第一组部分反射表面处
反射的图像的一部分强度被耦出第一光波导并耦入第二光波导中，并且然后在第二引导方向(倾斜于第一引导方向)上在第二光波导的两对外表面中的一对的外表面之间通过在第二光波导内的两重内反射传播，其中，在第二组部分反射表面处反射的图像的一部分强度被耦出第二光波导，作为观察者的眼睛看到的可见图像。当将光重定向布置实现为一组平行的平面部分反射表面124时，部分反射表面124的平面可以被定向成与第一组相互平行的部分反射表面或第二组相互平行的部分反射表面的平面平行、正交或倾斜。二维孔径倍增器的进一步细节可以在各种专利文献——包括例如美国专利第10,551,544号中找到，该美国专利第10,551,544号的全部内容通过引用并入本文中。
157.还应当注意，即使当在非ar或非vr应用中使用时，用于得出眼睛注视方向的设备也可能是有价值的。在一组附加应用中，用于得出注视方向的设备可以有利地与具有任何类型的基板的组件结合使用，该基板由布置在观看者的眼睛前方的可以至少部分地使光透过的材料形成。这样的组件中的“基板”可以包括但不限于太阳镜、眼镜、具有光学屈光度的眼镜、具有一个或多个衍射光栅的眼镜以及具有由塑料或玻璃形成的护罩或圆顶型结构的眼睛保护装置，该护罩或圆顶型结构被布置成保护眼睛免受碎屑或微粒的伤害。与作为平坦的平面表面的loe的主外表面不同，前述基板的主外表面中的一些或全部可以是弯曲表面。
158.在另一组附加应用中，用于得出注视方向的设备可以有利地与计算机或移动装置相关应用结合使用，其中用户眼睛的注视方向可以用于导航显示屏、网页、菜单或等，或者可以用于与在计算机装置(例如，视频游戏系统、移动装置、膝上型计算机、桌子等)上玩的计算机化游戏进行交互。在这样的应用中，“基板”可以包括计算机装置的显示屏，并且光重定向布置可以适当地与显示屏的部分相关联，以将从眼睛反射的眼睛跟踪光朝向显示屏偏转。
159.图12示意性地示出了可以在上述非ar/vr应用中使用的本发明的实施方式。此处，基板102由形成以上提及的类型的组件之一的一部分的透光材料形成，并且不被配置成通过内反射来引导光。此外，由于光未被基板102引导，因此不存在与基板102相关联的光学耦出配置。替代地，仅光重定向布置(在该示例中被实现为一组部分反射表面124)与基板102相关联。光重定向布置124将传入的眼睛跟踪光(示意性地由光线132a、光线132b、光线132c表示)偏转为在朝向光学传感器140的偏转方向上的偏转光(示意性地由光线138a、光线138b、光线138c表示)。注意，为简单起见，附图中未示出由主表面104对眼睛跟踪光132a、眼睛跟踪光132b、眼睛跟踪光132c的折射，但是应当理解，眼睛跟踪光的折射可以与如参照图2和图7所描述的情况类似地发生。
160.应当理解，如上所述，可以单独地或成对组合地使用光重定向布置124、光重定向布置224、光重定向布置324中的任何光重定向布置来实现图12中所示的实施方式。在这样的非ar/vr应用中，emb通常被限定为位于距基板102的表面104的给定距离处或在距基板102的表面104的给定距离内的二维区域，使得当眼睛位于emb内时，光学传感器140可以感测来自眼睛的被光重定向布置124、光重定向布置224、光重定向布置324偏转的光，并且可以优选地对眼睛的部分进行成像。
161.尽管到目前为止所描述的本公开内容的实施方式涉及用优选地在电磁光谱的不可见区域(优选地，nir区域)内的眼睛跟踪光来照射emb内的眼睛152，但是其他实施方式也
是可能的，在其他实施方式中，用具有在nir区域之外的波长的光包括例如可见光和紫外(uv，ultraviolet)光来照射眼睛。在照明布置126用可见光来照射眼睛的实施方式中，可以有利的是，将照明源布置成将照明集中在眼睛的对可见光不太敏感的区域(例如，巩膜)上，以避免用非图像可见光轰击眼睛。在照明布置126用uv光照射眼睛的实施方式中，应当采取预防措施以减少或最小化眼睛暴露于有害的uv辐射，例如通过对给定持续时间内在给定面积的眼睛区域上接收到的uv束的强度/功率设置限制(例如，对于波长在315nm至400nm范围内的uv光，在大于1000秒的时段内，每平方厘米小于1毫瓦)。
162.还要注意的是，照明布置126的光源可以被配置成发出在电磁光谱的两个或更多个不同区域内的光。例如，第一组(即一个或更多个)光源可以发出在nir区域内的光，而第二组光源可以发出在可见区域内的光(优选地聚焦在巩膜上)。
163.根据某些非限制性实现方式，可以复制本公开内容的各种眼睛跟踪设备以用于同时跟踪被摄体的两只眼睛。此外，当眼睛跟踪设备被集成为还将图像投射到眼睛的光学系统的一部分时，可以复制光学系统以用于将图像投射到两只眼睛。通过组合来自两个眼睛跟踪器的数据，可以实现增强的跟踪稳定性和连续性。例如，当眼睛移动时，眼睛的可追踪部分可能在一只眼睛中对追踪器可见而在另一只眼睛中对追踪器不可见。如果使用采用对可跟踪特征的跟踪的跟踪算法，则对两只眼睛的同时跟踪允许在仅一个眼睛跟踪器可以跟踪盲点的时段内连续保持跟踪。
164.在光学系统是双目的情况下，每个眼睛都有其自己的图像投影和眼睛跟踪装置，并且可选地可以在两个眼睛跟踪系统之间共享各种处理和电源部件。可以融合由双目眼睛跟踪装置收集的眼睛跟踪信息，以提供增强的跟踪稳定性和连续性，如以上所提及的。
165.已经出于说明的目的给出了对本公开内容的各种实施方式的描述，但是其并非旨在是穷举的或限于所公开的实施方式。在不脱离所描述的实施方式的范围和精神的情况下，许多修改和变化对于本领域的普通技术人员将是明显的。选择本文所使用的术语以最好地解释实施方式的原理、实际应用或对市场中发现的技术的技术改进，或使本领域的其他普通技术人员能够理解本文所公开的实施方式。
166.如本文所使用的，无量词修饰的单数形式和“该”包括复数引用，除非上下文另外明确指出。
167.词语“示例性”在这里用于表示“用作示例、实例或说明”。被描述为“示例性”的任何实施方式不必然被解释为比其他实施方式优选或有利和/或排除来自其他实施方式的特征的结合。
168.应当理解，为了清楚起见在单独的实施方式的上下文中描述的本发明的某些特征也可以在单个实施方式中组合地提供。相反，为了简洁起见在单个实施方式的上下文中描述的本发明的各种特征也可以单独地或以任何合适的子组合或根据需要在本发明的任何其他描述的实施方式中提供。在各种实施方式的上下文中描述的某些特征不应被认为是这些实施方式的必要特征，除非该实施方式在没有这些要素的情况下是不可操作的。
169.就所附权利要求书的撰写没有多项引用来说，这样做仅仅是为了适应在不允许这种多项引用的管辖区域中的形式要求。应当注意，通过使权利要求多项引用而隐含的特征的所有可能组合被明确地设想并且应当被认为是本发明的一部分。
170.尽管已经结合本发明的特定实施方式描述了本发明，但是显然，对于本领域技术
人员而言，许多替代、修改和变化将是明显的。因此，本发明旨在涵盖落入所附权利要求书的精神和广义范围内的所有这样的替代、修改和变化。