瞳孔匹配的具有遮挡能力的光学透视头戴式显示器

瞳孔匹配的具有遮挡能力的光学透视头戴式显示器
1.(一个或多个)相关申请的交叉引用
2.本技术要求于2019年9月13日提交的、标题为“pupil matched occlusion-capable optical see-through head-mounted display”的序列号为62/900,204的临时申请的优先权。上述临时申请的全部内容作为本文档的公开内容的一部分通过引用并入。
技术领域
3.本文档中的技术一般地涉及头戴式显示器，并且具体地涉及具有宽视场的头戴式显示器。


背景技术：

4.透视头戴式显示器(hmd)是用于在增强现实系统中将数字信息与物理场景合并的关键使能技术之一。虽然视频透视显示器和光学透视显示器两者有其独特的优势，但在提到真实场景分辨率、视点差异、视场(fov)和图像延迟时，光学透视hmd(ost-hmd)往往更受青睐。传统的光学透视头戴式显示器通常依靠诸如分束器或衍射光栅的光学组合器来将真实世界的光与虚拟对象的光均匀地组合。除了现有系统的额外费用、额外重量、额外对准考虑和增加的占地面积之外，传统系统的fov还受到通常很窄的透视物镜光学器件的限制。


技术实现要素：

5.本文公开的技术可以在各种实施例中实现，以实现用于紧凑的具有遮挡能力的ocost-hmd设计的光学架构，除其他特征和益处外，该紧凑的具有遮挡能力的ocost-hmd还包括不受物镜光学器件限制的宽fov。所公开的方法、系统和设备利用双环绕路径并提供能够渲染虚拟和真实视图之间的逐像素相互遮挡、正确透视观察视角或瞳孔匹配观察，以及非常宽的透视fov的ocost-hmd。
6.所公开的实施例的一个方面涉及一种具有遮挡能力的光学透视头戴式显示器(ocost-hmd)，其包括配置为接收来自真实场景的光并在其输出处产生偏振光的偏振元件、偏振分束器(pbs)、物镜、空间光调制器(slm)、目镜、四分之一波片(qwp)和反射光学元件，该反射光学元件被配置为反射在第一方向上入射在其上的基本上全部或部分光，并且使从第二方向入射在其上的从微显示器接收的基本上全部或部分光透射。slm和物镜形成第一双通配置，其允许穿过物镜的至少一部分光从slm反射并再次通过物镜传播。目镜和反射光学元件形成第二双通配置，其允许穿过目镜的至少一部分光从反射光学元件反射并再次通过目镜传播。
附图说明
7.图1a图示了先前提出的两层折叠ocost-hmd光学设计的示意图。
8.图1b图示了根据示例实施例的单层ocost-hmd光学系统的示意图。
9.图1c图示了根据示例实施例的单层ocost-hmd光学系统的另一配置。
10.图2图示了图1b的示例ocost-hmd系统的一部分光学元件的展开布局。
11.图3图示了根据示例实施例的原型ocost-hmd的光学组件的布局。
12.图4a图示了根据所公开的实施例的示例ocost-hmd系统的虚拟显示路径的调制传递函数(mtf)图。
13.图4b图示了根据所公开的实施例的示例ocost-hmd系统的空间光调制器(slm)路径的mtf图。
14.图4c图示了根据所公开的实施例的示例ocost-hmd系统的透视路径的mtf图。
15.图5图示了根据所公开的实施例的示例ocost-hmd系统在全40度对角线视场(fov)上的透视光学路径的失真网格。
16.图6图示了根据所公开的实施例的示例ocost-hmd布局和原型。
17.图7a图示了没有启用遮挡能力的真实世界和虚拟场景的示例增强视图。
18.图7b图示了当遮挡掩模显示在slm上但没有虚拟内容在oled显示器上示出时的示例真实世界场景。
19.图7c图示了slm上有掩模且oled显示器上显示了虚拟场景的情况下捕获的示例视图，其中虚拟内容被插入在两个真实对象之间。
20.图8示出了根据示例实施例的slm、oled和光学透视路径和相机的测量的轴上mtf图。
21.图9a示出了说明对于不同背景场景亮度值虚拟对象的图像对比度劣化的示例图，其中遮挡被禁用。
22.图9b示出了说明在启用遮挡的情况下对于不同背景场景亮度值虚拟对象的图像对比度劣化的示例图。
23.图10图示了可以用于实现所公开技术的某些方面的设备的框图。
具体实施方式
24.所公开的实施例涉及用于紧凑的具有遮挡能力的光学透视头戴式显示器(compact occlusion-capable optical see-through head mounted display,ocost-hmd)的新颖光学架构，除其他特征和益处外，该ocost-hmd使用具有双环绕路径(double-wrapped path)的光学架构，并提供能够渲染虚拟视图和真实视图之间的逐像素的相互遮挡、正确的透视观察视角或瞳孔匹配观察，以及非常宽的透视视场(fov)的ocost-hmd解决方案。为了说明的目的，描述了详细的示例植入和示例原型系统。该原型提供了对角线上大于40度的虚拟显示fov和1920x1200像素的分辨率，在全fov上具有大于20％的调制对比度的光学性能。此外，可以以相当于20/20视觉(vision)的1.0弧分的角分辨率实现90
°
乘40
°
的宽透视fov。
25.开发ost-hmd提出了许多技术挑战，其中之一在于正确渲染空间中数字和物理对象之间的光阻挡行为的挑战，也称为相互遮挡。增强现实显示中的遮挡是一种强大的深度线索；没有它，可能会发生严重的误判，诸如错误的颜色配准、降低的图像对比度和对象放置差异。为了具有正确的相互遮挡关系，前景中的不透明虚拟对象应该看起来是实体的并且遮挡位于背景中的真实对象，反之亦然。当混合虚拟和真实对象时，不透明的虚拟对象应该看起来完全不透明并遮挡位于其后面的真实对象，而真实对象应该自然地遮挡位于真实
对象后面的虚拟对象的视图。因此，存在两种类型的遮挡：真实场景对象遮挡虚拟对象的遮挡，以及虚拟对象遮挡真实场景的遮挡。真实对象对虚拟对象的遮挡通常可以以直接的方式实现，例如，当真实对象相对于虚拟场景的位置已知时，通过简单地不渲染遮挡真实对象所在处的虚拟对象。因此，在这种情况下，可以简单地通过不渲染被虚拟对象遮挡的虚拟对象的已知数字重叠区域来完成真实对象对虚拟对象的遮挡。然而，虚拟对象对真实对象的遮挡提出了复杂得多的问题，因为它需要阻挡真实场景中的光。
26.在过去十年中，已经提出了少许ocost-hmd概念，甚至更少的设计被原型化。用于实现ocost-hmd的现有方法分为两种类型：直接光线阻挡和逐像素调制。直接光线阻挡方法选择性地阻挡来自透视场景的光线而不对它们聚焦。它可以通过选择性地修改物理对象的反射属性或通过将来自真实场景的光通过直接放置在眼睛附近的单层或多层空间光调制器(slm)来实现。例如，在一些现有系统中，已经使用非遮挡物理对象上的回射屏幕研究了经由头戴式投影显示(hmpd)设备来创建物理对象对虚拟对象的自然遮挡，这只能在有限的设置中使用。在一些现有系统中，已经研究了通过直接放置在眼睛附近的透射slm且没有成像光学器件的遮挡功能。如果眼睛是允许来自每个真实世界点的单条光线到达视网膜的针孔孔径，那么经由slm的直接光线阻挡方法将是一种直接且充分的解决方案。取而代之的是，眼睛具有区域孔径，这使得在使用单层slm而不阻挡来自其他周围对象的光线的情况下，几乎不可能阻挡眼睛看到来自对象的所有光线。
27.一些现有系统包括无透镜计算多层ost-hmd设计，该设计由一对堆叠的透射slm、薄且透明的背光和高速光学快门组成。可以使用多层计算光场方法生成多个遮挡图案，使得可以正确渲染透视视图的遮挡光场。虽然多层光场渲染方法在理论上可以克服单层光线阻挡方法的一些限制，但它受到几个主要限制，诸如显著降级的透视视图、遮挡掩模的受限准确度和低光效率。不利的结果可归因于成像光学器件的缺乏、slm的低光效率、以及最重要地由位于离眼睛瞳孔近距离处的slm的精细像素引起的严重衍射伪影。
28.所公开的实施例可以分类为逐像素遮挡方法(图2的实施例落入此类别中)；如图2所示，透视视图的聚焦图像在调制平面处形成，在调制平面处slm被插入并渲染遮挡掩模以逐点选择性地阻挡真实世界场景。一种现有逐像素调制方法包括2000年代初期开发的elmo系列的原型。elmo-4原型由4个透镜、2个棱镜和3个光学反射镜组成，形成双无焦4f中继，布置成环形结构以呈现真实场景的瞳孔匹配、直立具有遮挡能力的视图。瞳孔匹配(也称为透视校正)遮挡是将用户的瞳孔或中继的瞳孔映射回用户的眼睛位置，从而可以维持正确的视点差异。受限于当时的微显示器和slm技术，elmo原型对于透视和虚拟显示路径两者具有相当低的分辨率，两个路径都使用了1.5英寸qvga(320x240)透射式lcd模块。利用带有现代透射式lcd和微显示器的3d打印外壳进一步重建了这种环形结构。然而，这种环形折叠架构呈现出非常笨重的封装，该封装阻挡了大部分用户的脸。此外，在与分束器耦合时利用透射式液晶显示器(lcd)作为slm提供极低的光效率(《20％)。
29.一些系统已经尝试通过提出一种x-立方体棱镜来克服这些限制，该棱镜利用与用于耦合两个光学路径的反射式slm组合的基于偏振的光学器件来实现更紧凑的形状因子和高光效率。尽管这种设计似乎是对ost-hmd遮挡问题的有希望的解决方案，但该解决方案未能竖立透视水平视图，从而导致不正确的透视。另一个系统提出了使用棱镜和反射式slm来创建紧凑的高分辨率ocost-hmd的复杂的两层折叠光学系统。通过利用反射式硅上液晶
(lcos)器件作为slm，该系统允许虚拟路径和透视路径两者的高照度吞吐量和高光学分辨率。该光学设计和初步实验展示了期望形状因子和高光学性能的一些潜力。基于同样的两层折叠光学器件架构，一些系统被设计和建造，以使用现成的光学组件提供高分辨率ocost-hmd工作原型。能够渲染逐像素的相互遮挡的该原型利用用于虚拟显示路径的oled微显示器与作为透视路径的slm的反射式lcos耦合，以实现提供30度对角线fov和1920x1080像素分辨率的具有遮挡能力的ost-hmd。然而，两层折叠光学器件架构无法提供匹配的瞳孔或正确的观察视角，因为光瞳被中继在用户的眼睛前面。此外，与原始环形架构一样，两层折叠架构的透视fov限于透视物镜光学器件可承受的任何fov，因此通常很窄。这成为许多应用的重大限制，在这些应用中，访问更宽的外围视场至关重要。
30.因此，最先进的ost-hmd缺乏选择性地阻挡真实世界的光到达眼睛的能力。因此，通过ost-hmd观察的数字渲染虚拟对象通常看起来“像幽灵”(或半透明)，总是漂浮在真实世界的“前面”。图7a提供了这种像幽灵状况的一个说明性示例。
31.除了其他特征和益处之外，所公开的实施例提供了基于逐像素调制的光学系统，该光学系统有助于克服当前最先进的ocost-hmd系统的上述限制。所公开的实施例至少部分地通过将双通光学架构用于紧凑的高分辨率ocost-hmd系统来实现该目标。
32.所公开的实施例的实施方式包括ocost-hmd系统，其包括三个叠加的光学路径，分别称为：显示路径、slm路径和透视路径。所公开的光学架构提供了一种ocost-hmd解决方案，该解决方案能够渲染虚拟视图和真实视图之间的逐像素的相互遮挡、正确的透视观察视角或瞳孔匹配观察，以及非常宽的透视视场。
33.应该注意的是，在不同的实施例中，透视fov的中心部分可以是启用遮挡的以创建宽外围视觉。基于所公开的光学设计架构和光学系统的定制优化，我们实验地展示了一种可穿戴立体原型系统，该系统利用用于虚拟显示路径的oled微显示器与作为用于透视路径光学掩模的slm的反射式lcos耦合。还应注意，oled是用于构建原型的微显示器的一个示例，并且可以基于所公开的实施例实现其他显示技术。该原型提供了对角线上大于40度的虚拟显示fov和1920x1200像素的分辨率，在全fov上具有大于20％的调制对比度的光学性能。此外，该系统能够以相当于20/20视觉的1.0弧分的角分辨率实现90
°
乘40
°
的宽透视fov。该原型具有约300克的总重量，以及140毫米(高)130毫米(宽)25毫米(深)的体积尺寸，能够在光线充足的环境中实现大于100:1的动态范围。ost-hmd的光学性能在有遮挡和没有遮挡的情况下进行了进一步比较，以展示在明亮环境中非遮挡设备的虚拟内容对比度下降。应当注意，提供所公开的原型是为了说明根据所公开实施例的ocost-hmd系统的示例实施方式的目的。
34.图1a图示了先前提出的两层折叠ocost-hmd光学设计的示意图；图1b图示了根据所公开实施例的示例实施例的ocost-hmd光学系统。图1b中的系统是提供瞳孔匹配的ocost-hmd设计的双通(double-pass)单层架构的一部分。
35.在图1a的系统中，两个折叠式反射镜108、124，屋脊棱镜104和pbs112用于将光学路径折叠成两层光学架构。图1a的系统可以更简单地分解成两个机构(物镜106和目镜122)以形成开普勒望远镜的基础。此外，通过系统的光可以分类成两个不同的分量：虚拟显示和真实世界视图。真实世界视图的光路用围绕箭头的椭圆示出，而虚拟显示的光路不包括箭头，并且由从oled显示器120到第一45度表面反射镜108和到目镜122的路径组成。图1a中示
出的简化架构呈现了一系列设计约束和光学问题。
36.首先，将折叠的物镜路径放置在目镜122的前面作为第二层，同时使用所有玻璃原料透镜106、110将光学形状因子增加两倍的厚度，这导致了相对庞大和沉重的系统设计。接下来，偏振分束器(pbs)112将调制的真实视图102的光路和与虚拟内容118相关联的虚拟视图组合在一起，以便共享相同的目镜122模块以观察虚拟显示和调制的真实世界视图(在眼睛位置126处观察组合图像)。由于该系统像简单的望远镜一样构建，这导致虚拟显示和真实世界视图路径以1:1的共轭耦合，以确保真实场景的单位放大率，迫使光学掩模116和显示器120共享相同的光学要求。然而，这造成了问题，因为slm 114和微显示器120经常使用不同的技术来实现，并且不共享相同的技术规范，从而在光学性能上造成不匹配。这种布置的另一个限制是透视fov限于由望远镜系统成像的fov，从而导致透视路径的隧道视觉，这对于增强现实(ar)系统来说是不期望的。另外，图1a的配置可以被认为是单无焦4f系统。与望远镜非常相似，这种单无焦4f设计导致共轭光瞳移位到光学中继的另一侧，从而导致不正确的视点偏移。这种不正确的观察视角导致对象看起来比实际更近，从而在对象、手和眼睛之间造成深度差异。此外，包括屋脊棱镜104以产生直立图像增加了系统的成本/大小/重量。
37.图1b图示了根据示例实施例的单层ocost-hmd光学系统的示意图。该系统使用pbs 136，物镜组138(其可以包括一个或多个透镜)和目镜组144(其可以包括一个或多个透镜)，由于第二次通过物镜138和目镜144，物镜组138和目镜组144也形成双中继透镜组，如图2进一步所图示的。从图1b可以看出，由于小数量的组件和相关联的折叠路径，这种配置提供了紧凑的形状因子，并实现了逐像素的遮挡能力。这种双通系统允许单个光学层，并且与图1a的配置相比，放弃使用沉重的光学器件(诸如第一表面反射镜和屋脊棱镜)以创建大大减小的形状因子以及轻重量可穿戴hmd设计。可以通过考虑当ocost-hmd的观察者通过目镜144观看时，该观察者仅接收来自图1b的系统中的单层或单组光学器件的光，来进一步理解术语单层，而在图1a中，观察者将接收来自两组光学组件的光，来自真实世界视图和虚拟内容中的每个的光。
38.通过将光路分成三个光路来促进图1b的描述，该三个光路为：显示路径(正方形)、slm路径(椭圆形)和透视路径(圆形)。单个pbs 136既充当折叠元件又充当组合器以将调制的真实视图132的光路(透视和slm路径)和来自虚拟内容152的虚拟视图(显示路径)合并在一起，从而使同一目镜144和中继模块被共享用于观察虚拟显示和调制的真实世界视图。不同于图1a的配置，图1b的双通架构利用中继器通过允许物镜138和目镜144具有不同的焦距参数(不再需要是1:1共轭)来允许slm路径和显示路径的去耦，以实现真实场景的单位放大率，同时维持整个系统的单位放大率。不同光学路径的这种去耦允许针对不同的显示技术专门设计元件路径。
39.图1b中的三个路径中的每一个路径，显示路径、slm路径和透视路径提供其自身的光学性能。来自用圆圈标识的透视路径的光穿过延迟器(例如，偏振器134)。在此示例配置中，延迟器使光在s取向上偏振。s偏振光从pbs 136反射。然后物镜138(或透镜组)收集来自物理环境的光并在其焦平面(其中基于幅度的反射式slm(例如，lcos)140被放置)处形成中间图像。slm 140可以操纵偏振取向以渲染用于控制真实视图的不透明性的遮挡掩模142。例如，slm 140可以产生开关调制方案，其中入射在slm 140上的光在逐个像素的基础上被
选择性地反射(slm关闭)或被允许通过其传输。也可以实现其他示例调制方案。
40.在上述示例中，从slm/lcos 140反射的光在slm路径(圆圈)中被翻转到p取向，然后通过相同的物镜138传回，通过pbs 136，并且通过目镜144，从而形成光学中继。然后光通过四分之一波片(qwp)146传送(或以其他方式被延迟)以产生入射在半反射镜148上的具有右手圆(rhc)偏振方向的光。半反射镜148是反射表面的一个非限制性示例，该反射表面允许从第一方向入射在其上的基本上全部或部分光(例如，图1b的示例配置中的向上行进的光)被反射回来，同时允许从第二方向入射在其上的基本上全部或部分光(例如，在图1b的配置中，从微显示器150(例如，oled)向下行进的光)通过其穿过的反射。这样的元件可以例如设计为作为微显示器的一部分的多层薄膜堆叠，或作为独立组件。
41.在从“半反射镜”148反射时，rhc偏振被翻转为左手圆(lhc)偏振；lhc光然后通过qwp 146和目镜144返回，在此处光被转换回s偏振光，该s偏振光然后由pbs 136反射到在眼睛位置154处用户的眼睛中。在显示路径(正方形)中，来自oled显示器150的未偏振光由共享目镜144成像，在那里s偏振光通过pbs 136耦合到用户的眼睛中以给出三个高分辨率叠加图像：光学掩模142、真实场景132和虚拟场景152。代替使用屋脊棱镜(如图1a所实现的)，奇偶开关中的偶数确保了图1b的配置中的透视图像是直立的和正立的，这对于ocost-hmd系统至关重要，因为它不能数字地更改。
42.图1c图示了根据示例实施例的单层ocost-hmd光学系统的另一配置。图1c具有与图1b中用于组合真实视图162和虚拟内容182的配置相似的组件，除了偏振器164修改来自真实场景162的光以产生通过pbs 166并入射在基于期望的调制实现掩模188的slm 170上的p偏振光。因此，与图1b相比，一些组件的位置被重新布置以提供单层配置。在从反射表面186反射之后提供眼睛位置188处的组合视图时，图1c的配置提供了与图1b的配置相似的特征和益处。
43.应该注意的是，虽然图1b和图1c图示了qwp 146、176定位在目镜144、174和微显示器150、180之间(或在目镜144、174和半反射镜148、178之间)。然而，qwp 146、176可以定位在目镜144、174的任一侧。因此，在一些实施例中，qwp 146、176定位在pbs 136、166和目镜144、174之间。
44.与两层设计相反，所公开的双通单层架构允许光学路径被正确地瞳孔匹配。为了正确地确定光瞳位置，我们可以将光学系统视为一组双无焦4f中继，它们将入射光瞳成像到共轭的中间光瞳位置。图2示出了图1b的示例ocost-hmd系统中的光学元件的展开布局(图2中仅图示了展开路径)。可以看出，第一无焦中继(左侧)包括目镜(标记为主目镜154)以及第一系统中继透镜(中继组208中的左透镜，标记为二级(secondary)目镜154)，其是目镜本身(穿过目镜的光从oled(微显示器150)反射并第二次通过目镜(二级目镜154)，如图1b的顶部所示)。图2中的第二无焦中继包括第二系统中继透镜(中继组中的右透镜，二级物镜138)和物镜(主物镜138)；第二系统中继透镜与物镜相同(穿过物镜的光从lcos 140反射并第二次通过物镜，如图1b的底部所示)。图2进一步图示了入射光瞳202、中光瞳210和出射光瞳216的位置。
45.通过比较图1a的配置(其中fov由物镜的fov限制)与图1b的配置(其中fov可以大大增加)，可以观察到可实现fov的改进。特别是，透视fov在水平方向(即进入纸张的方向)基本上可以变得不受限制，并且仅由目镜和物镜的范围(或分束器的大小)限制。水平方向
上fov的增强可有益地用于为ocost-hmd系统提供改进的外围观察能力。
46.由于反射lcos slm的选择，图1b的示例配置要求slm路径的图像空间远心性以实现高对比度。因此，中间光瞳x1到物镜的距离必须等于物镜的焦距(f
obj
)。知道我们具有双通系统，我们可以假设f
obj
和共享相同光学器件的第二中继透镜焦距(f
r2
)相等，从而允许系统的出射光瞳被中继回自身。然后我们可以计算出中间光瞳关于系统焦距和入射光瞳的位置为等式(1)。
[0047][0048]
其中f
eye
和f
r1
是目镜和第一中继透镜的相应焦距，e
relief
是出瞳距离，并且l是第一中继透镜后到中间光瞳的距离。同样，由于系统利用双光学通路，我们可以设置f
eye
等于f
r1
以获得大大简化的等式(2)。
[0049]
l＝2f
eye
e
relief
ꢀꢀꢀ
(2).
[0050]
为了使系统被适当地瞳孔匹配，第一透镜组之后的距离必须等于系统的出瞳距离(er)，l＝e
relief
。然后，这种关系证明通过e
relief
＝f
eye
或换句话说，显示路径也必须是远心的，以实现适当的瞳孔匹配和正确的观察视角。然后，我们可以确定基于半fov(θ
half
)的为了得到适当的眼睛间隙(e
clearance
)所需的主平面(p
p
)位置为等式(3)。
[0051][0052]
其中d
ep
是入射光瞳的直径。
[0053]
示例原型设计：基于图1b中的光学布局和上述等式(1)-(3)中描述的分析关系，设计了示例定制原型系统。原型系统的关键规格总结在下表1中。
[0054]
[0055][0056]
表1.示例系统的规格
[0057]
驱动示例设计的关键参数之一是显示技术的选择。我们选择了0.85"的emagin oled微显示器用于虚拟显示路径。具有18.4毫米和11.5毫米的有效面积和8:5的纵横比的emagin oled以1920x1200像素的原始分辨率提供9.6微米的像素大小。基于此微显示器，我们旨在实现对角线fov》40
°
，或水平34
°
和垂直22
°
fov，角分辨率为每像素1.06弧分的ocost-hmd原型，对应于微显示空间中53周期/毫米的奈奎斯特频率或视觉空间中28.6周期/度的奈奎斯特频率。另外，对于slm路径，我们使用了来自投影仪的0.7"反射式lcos。选择反射式slm是因为它在光效率、对比度和低衍射伪影方面的巨大优势，这在以前的工作中使用的透光slm中常见。
[0058]
选择的lcos提供1400x1050像素的原始分辨率、10.7微米的像素间距和4:3的纵横比。基于slm的不同显示规格，我们的目标是实现》42.5
°
的光学掩模对角线fov或水平34
°
和垂直25.5
°
fov，以及每像素1.45弧分的角分辨率，对应于slm空间中47周期/毫米的奈奎斯特频率或视觉空间中19.66周期/度的奈奎斯特频率。此外，我们的系统要求24.4毫米的物镜焦距和29.8毫米的目镜焦距，从而给出1:1.22的中继放大率。为了允许在眼窝内约
±
25
°
的眼睛旋转而不会导致渐晕，我们设置10毫米的出射光瞳直径(epd)。使用20毫米的眼睛间隙距离以适应大多数头部形状。
[0059]
为了在三个光学路径上实现高光学性能，我们使用3个变焦配置来优化系统，每个变焦配置对应于不同的光学路径和设计规范。图3图示了原型设计的最终ocost-hmd的透镜布局。虚拟显示(目镜)的光路由用虚矩形指定的光线表示，而slm(中继 目镜)的光路由用
虚椭圆指定的光线示出，并且透视路径(物镜 中继 目镜)由用虚圆圈指定的光线表示。应注意的是，透视路径与微显示器和slm路径在pbs之后重叠，并且因此只有虚拟显示光线被追踪到眼睛瞳孔。
[0060]
总体而言，图3中的原型示例的最终透镜设计包括10个透镜，包括5个库存皇冠玻璃透镜、3个亚克力非球面透镜和2个定制燧石玻璃透镜。标记为2到6的透镜形成目镜组。标记为8到12的透镜形成物镜组。半反射镜图示为四分之一波片和oled 7之间的灰色元件。使用线栅偏振器和qwp薄膜连同来自moxtek的单个定制pbs来操纵偏振。根据oled微显示器的主波长，该系统针对430、555和625nm的3个波长进行了优化，权重分别为1、2和1。为了确保根据等式(1)和(2)针对正确的观察视角使系统被适当地瞳孔匹配，物镜和目镜被优化以具有小于
±
0.5
°
的主光线偏差，展示了图像空间远心性。我们将目镜透镜裁剪以实现20毫米的眼睛间隙和10毫米epd。
[0061]
表2-9提供了上述原型系统的分别针对虚拟显示路径和透视路径的光学方案。两个光学路径都是从系统的出射光瞳进行光线追踪的，这与眼睛的入射光瞳重合。表中的术语“非球面”是指可以用下面的等式表示的非球面表面
[0062][0063]
其中，z是沿局部x、y、z坐标系的z轴测量的表面下垂，c是顶点曲率，r是径向距离，k是圆锥常数，a至e分别是第4、第6、第8、第10和第12阶变形系数。表4至表9分别提供了非球面表面11、12、15、16、23和24的非球面系数。
[0064][0065]
表2：虚拟显示路径的系统方案
[0066]
[0067]
[0068][0069]
表3：透视路径的系统方案
[0070]
y半径-18.44圆锥常数(k)-0.356第4阶系数(a)-6.23e-07第6阶系数(b)-4.35e-08第8阶系数(c)1.02e-10第10阶系数(d)-1.67e-13第12阶系数(e)-3.43e-15
[0071]
表4.表2的11号表面的表面方案。
[0072]
[0073][0074]
表5.表2的12号表面的表面方案。
[0075]
y半径8.89圆锥常数(k)0.042第4阶系数(a)1.69e-05第6阶系数(b)2.84e-07第8阶系数(c)-5.89e-09第10阶系数(d)4.47e-11
[0076]
表6.表3的15号表面的表面方案。
[0077]
y半径-103.15圆锥常数(k)-90.09第4阶系数(a)0.0001295第6阶系数(b)-1.45e-06第8阶系数(c)1.65e-08第10阶系数(d)-1.01e-10
[0078]
表7.表3的16号表面的表面方案。
[0079]
y半径16.16圆锥常数(k)-19.04第4阶系数(a)0.000273第6阶系数(b)-5.03e-06第8阶系数(c)5.25e-08第10阶系数(d)-2.78e-10
[0080]
表8.表3的23号表面的表面方案。
[0081]
[0082][0083]
表9.表3的24号表面的表面方案。
[0084]
双通ocost-hmd原型系统的模拟光学性能在显示空间中的全fov上进行评价，在显示空间中空间频率按照周期每毫米来表征。在所提供的示例中，根据通过系统的并光学地叠加在虚拟和掩模图像上的场，透视路径的光学性能被限制到40
°
对角线。来自该场外真实场景的光仅通过单个pbs，不会受到光学影响，而应以人眼的原始分辨率被看到。
[0085]
图4a至图4c示出了用于虚拟显示、slm和透视路径的几个加权场的多色调制传递函数(mtf)曲线，用4-毫米眼睛瞳孔评估，使得它类似于人眼。在这些图中，用4毫米瞳孔直径针对横向(tan)和径向(rad)对角线半fov评估了0、6、10、15和20度的调制传递函数，并且对于ocost-hmd oled光学路径(图4a)、ocost-hmd slm光学路径(图4b)绘制了53周期/毫米的截止空间频率，并且对于ocost-hmd透视光学路径(图4c)绘制了110次/度的截止空间频率。从图4a开始，oled显示器光学性能在设计的52周期/毫米的奈奎斯特频率下，在全场上保持大约平均40％的调制，对应于9.6微米像素大小。图4b中示出的lcos的光学性能展示了在设计的47周期/毫米的奈奎斯特频率下，在全场上平均50％的调制，对应于10.7微米像素大小。最后，图4c示出了透视光学性能，其在对应于1.0弧分分辨率或20/20人类视觉灵敏度的110周期/毫米的人眼截止频率处维持15％的平均调制。
[0086]
图5示出了与虚拟图像重叠的全40度对角线fov上的透视光学路径的失真网格。在图中，实际和近轴fov几乎重合，说明两者之间的一致性很强。根据我们在上表1中看到的光学规格，透视路径在全场上具有《1％的失真。这是重要的，因为与可以被数字地校正的显示失真不同，透视路径不能被数字地校正。微显示器(虚拟图像)的失真保持在5％以下，而slm(光学掩模)的失真保持到20％以进行数字校正。
[0087]
连同mtf和失真，还使用了几个其他度量来表征虚拟显示路径的光学性能，诸如波前误差和点列图(spot diagram)。slm和微显示路径两者在很大程度上经受到横向色差和彗差。这是由于在slm和微显示路径两者中利用的目镜的非直视型结构(non-pupil forming)远心设计不允许移动停止位置以平衡离轴像差。总体而言，三个路径中的每一个中的波前像差都足够低，为低于1个波。对于透视路径和显示路径两者，跨场的平均均方根(rms)光斑直径为9微米，但由于允许的失真如此之大，对于slm路径，平均均方根(rms)光斑直径跃升至16.4微米。尽管它看起来比10.7微米像素大小更大，但这种差异主要是由于横向色差，并且可以被校正。
[0088]
示例系统原型和实验展示
[0089]
图6图示了根据所公开的实施例的示例ocost-hmd布局和原型。面板(a)示出了参考普通人头部的完全组装的ocost-hmd solidwords cad设计的前视图。面板(b)示出了完全组装的ocost-hmd cad设计的侧视图，其中它展示了由于双通架构而大大减小的形状因子。由于光多次通过同一光学路径，因此光学性能对光学和机械公差敏感。对于机械设计，
单独的透镜由固定螺钉保持，以实现更多补偿并降低机械设计中的公差堆栈，以满足最小mtf要求。面板(c)和(d)分别示出了在图3中的光学设计上构建的ocost-hmd系统的双目原型的前视图和斜视图，进一步图示了二十五分(硬币)以提供大小度量。原型ocost-hmd系统的整体高度和宽度为130毫米乘140毫米，具有25毫米的深度，以及50-70毫米的可调节的眼内距离。
[0090]
图7示出了图3和图6的原型ocost-hmd的遮挡能力的定性展示。包括常见对象(文本、具有不同颜色、形状和印刷字体的罐子和盒子)的真实世界背景场景被用来提供几个不同的空间频率和对象深度；这些物品对照照明良好的白色背景墙(～300-500cd/m2)被放置。此示例中使用的虚拟3d场景是野猫的简单图像的虚拟3d场景。图7中的面板(a)至(c)示出了用放置在目镜的出射光瞳处的数码相机捕获的一组图像。相同的16毫米相机镜头和3.75微米像素间距的1/3”point grey图像传感器与增加的4毫米光圈一起使用，以更好地匹配典型照明条件下人眼的f/#。
[0091]
通过简单地打开oled微显示器并且不对slm施加调制掩模，图7中的面板(a)示出了未启用遮挡能力的情况下真实世界和虚拟场景的增强视图。在没有遮挡透视路径的掩模的情况下，戴着牛仔帽的“野猫”形象(参见面板(b)以获得野猫的更好轮廓)看起来褪色，由于与虚拟显示共享的背景场景的亮度而显得透明且不真实。这会导致野猫的深度在空间上模糊。
[0092]
面板(b)描绘了相反的情形：当遮挡掩模显示在slm上但没有虚拟内容示出在oled显示器上时，真实世界场景的视图。这验证了该掩模能够有效地阻挡透视视图的叠加部分。
[0093]
面板(c)示出了slm上有掩模且oled显示器上显示了虚拟场景的情况下捕获的视图，其中虚拟野猫被插入两个真实对象之间，展示了系统的相互遮挡能力。在这种情况下，呈现了完整的能力和正确的深度感知连同改进的对比度。通过了解wd-40罐(意在遮挡部分野猫形象)的相对位置，我们从野猫渲染中移除了与遮挡罐在虚拟显示上的投影相对应的像素。同样，结果的意义在于正确的遮挡关系可以被创建并用于向ost-hmd中的虚拟图像给出无与伦比的深度感。
[0094]
所公开的双通ocost-hmd系统可以实现真实和虚拟内容的高光学性能和动态范围，与我们先前的ocost-hmd设计相比具有显著改进的形状因子、视点视角和技术规格。
[0095]
示例光学性能测试结果：针对每个光学路径测量了示例系统的垂直和水平fov。已确定透视fov水平约为90
°
，垂直约为40
°
，具有遮挡能力的透视fov水平约为34
°
，垂直约为26
°
，而虚拟显示具有约为33.5
°
的水平fov以及约为23
°
的垂直fov，给出41.6
°
的测量对角线全fov。由于我们改进的双通架构和增加的光学中继，lcos能够完全遮挡虚拟显示的场景。
[0096]
通过表征通过原型的三个光学路径的mtf性能来进一步量化原型系统的光学性能。由埃德蒙光学(edmund optic)的近乎衍射极限的25毫米相机镜头和1.55微米像素间距的1/2.3"point grey图像传感器组成的高性能相机被放置在系统的出射光瞳处。它提供约每像素0.5弧分的角分辨率，明显高于原型的预期性能。因此，假设没有由相机引起对mtf的性能损失。然后相机捕获到倾斜边缘目标的图像，这些图像或是由微显示器以一定角度显示的或是被放置在透视视图中的打印目标。为了提供虚拟路径和透视路径的性能的可分离量化，在透视场景被slm完全阻挡时拍摄倾斜边缘的虚拟图像。类似地，在关闭微显示器的
情况下拍摄目标的透视图像。使用软件对捕获的倾斜边缘图像进行分析以获得对应光路径的mtf。
[0097]
图8示出了slm、oled和光学透视路径和相机的测量的轴上mtf性能，连同每个单独的倾斜边缘。由于相机传感器与微显示器和slm的像素间距之间的放大率差异，的mtf测量的水平轴通过相机和显示器之间的像素放大率差异进行缩放，并且然后转换为定义以周期/毫米为单位的视觉显示空间中的空间频率。原型设计能够在虚拟显示的奈奎斯特频率53周期/毫米下实现大于50％的对比度，并且对于slm路径能够实现类似性能。而在对应于1弧分的110周期/毫米的截止频率处，透视路径的调制对比度为约15％。图8中示出的曲线与图3中的轴上曲线非常相似，表明通过遮挡模块的三个光学路径的可分辨性在最初设定的设计规范和人类观察者的情况下几乎是完整的。
[0098]
我们测量了虚拟显示和真实世界场景之间的图像对比度，作为不同空间频率的真实世界场景亮度的函数。10个线性步长中范围从黑色到白色的灰度实心图像被显示在lcd监视器上，以创建具有从0到350cd/m2变化照度的受控背景场景。监视器放置在ocost-hmd系统前面大约10厘米处，以模拟真实场景亮度的阵列。在oled微显示器(虚拟路径)上显示具有范围从0.88至28.2周期/度的空间频率的正弦光栅图案，以评估场景亮度对不同空间频率下虚拟场景的图像对比度的影响。然后与虚拟场景对比的衰减被绘制，并与启用遮挡(slm阻挡透视光)和没有遮挡(slm通过透视光)进行比较。
[0099]
图9a和图9b分别图示了未遮挡和遮挡了透视路径的虚拟对象对比度的图。我们可以观察到，对于300cd/m2以上的光线充足的环境照度，没有遮挡(图9a)的虚拟对象的对比度迅速恶化到零，而具有真实场景(图9b)的遮挡的虚拟目标的对比度在增加的亮度上几乎不变。我们通过启用和禁用了完全遮挡的系统，通过测量准直去偏振光源来进一步测量可获得的对比度。遮挡系统的动态范围被确定为大于100:1。
[0100]
所公开的实施例的一个方面涉及一种具有遮挡能力的光学透视头戴式显示器(ocost-hmd)，其包括配置为接收来自真实场景的光并在其输出处产生偏振光的偏振元件、偏振分束器(pbs)、物镜、空间光调制器(slm)、目镜、四分之一波片(qwp)和反射光学元件，该反射光学元件被配置为反射在第一方向上入射在其上的基本上全部或部分光，并且使从微显示器接收到的从第二方向入射在其上的基本上全部或部分光透射。slm和物镜形成第一双通配置，其允许穿过物镜的至少一部分光从slm反射并再次通过物镜传播。目镜和反射光学元件形成第二双通配置，其允许穿过目镜的至少一部分光从反射光学元件反射并再次通过目镜传播。
[0101]
在一个示例实施例中，pbs被定位成接收偏振光并将该偏振光向物镜反射；pbs还定位成接收从第一双通配置输出的光并通过其向目镜透射，并且朝向人眼的位置反射pbs从第二双通配置接收的光，包括来自微显示器的光。在另一个示例实施例中，ocost-hmd还包括第一反射表面，其中，pbs被定位成(a)接收偏振光并通过其向物镜透射偏振光，(b)接收从第一双通配置输出的光并向目镜反射，以及(c)向第一反射表面反射pbs从第二双通配置接收的光(包括来自微显示器的光)。在该示例实施例中，第一反射表面被定位成将入射在其上的光向人眼的位置反射。
[0102]
根据一个示例实施例，slm被配置为调制入射在其上的光。例如，slm被配置为在开关调制模式下操作。在另一示例实施例中，ocost-hmd还包括对应于呈现在微显示器上的虚
拟图像的遮挡掩模，其中遮挡掩模用于实现slm的一个或多个区域的调制。在又一示例实施例中，ocost-hmd还包括微显示器。在又一示例实施例中，反射光学元件定位在微显示器的表面上。根据另一示例实施例，微显示器包括有机发光二极管(oled)设备。
[0103]
在另一示例实施例中，qwp定位在目镜和反射光学元件之间。在一个示例实施例中，qwp定位在目镜和pbs之间。在另一示例实施例中，slm包括硅上液晶(lcos)设备。在又一个示例实施例中，ocost-hmd被配置为在不使用屋脊棱镜的情况下产生正立图像。在另一示例实施例中，ocost-hmd提供瞳孔匹配的光学配置，该配置将用户的瞳孔或中继的瞳孔映射回用户的眼睛位置，以使得能够维持正确的视点差异。根据又一示例实施例，ocost-hmd被配置为产生在至少一个方向上不受目镜限制的视场(fov)。
[0104]
在另一示例实施例中，ocost-hmd具有对角线上大于40度的视场(fov)和在全fov上大于20％调制对比度的光学性能。在一个示例实施例中，ocost-hmd具有角分辨率为1.0弧分的90度乘40度的透视视场(fov)。在又一示例实施例中，ocost-hmd的至少一部分对应于将入射光瞳成像到共轭中间光瞳位置的一组两个无焦4f中继。在另一示例实施例中，ocost-hmd形成单层、双通、瞳孔匹配的ocost-hmd。在一些示例实施例中，ocost-hmd包括以下之一或两者：(a)包括物镜的物镜组，或(b)包括目镜的目镜组。
[0105]
所公开的实施例的另一方面涉及一种具有遮挡能力的光学透视头戴式显示器(ocost-hmd)，其包括产生与真实场景相关联的偏振光的偏振器、分束器(pbs)、物镜、空间光调制器(slm)、目镜、延迟器和半反射镜，该半反射镜被配置为反射在第一方向上入射在其上的与遮挡掩模相关联的基本上全部光，并且使从第二方向入射在其上的与虚拟场景相关联的基本上全部光透射。在此配置中，pbs被定位为(a)接收偏振光并将其向slm引导，(b)接收与虚拟场景相关联的光并将其向用于由用户的眼睛观察的位置引导，以及(c)接收与遮挡掩模相关联的光并将其向半反射镜引导。slm被配置为根据遮挡掩模的二维形状调制入射在其上的光。ocost-hmd被配置为产生正立图像，并且用户的瞳孔或中继的瞳孔的位置被映射到用户的眼睛的位置，以使得能够维持正确的视点差异。
[0106]
图10图示了可以用于实现所公开技术的某些方面的设备1000的框图。例如，图10的设备可用于接收、处理、存储、提供显示和/或传输与捕获和处理图像的所公开的图像传感器和/或微显示器和slm相关联的各种数据和信号，以实现对虚拟内容和遮挡掩模的控制、显示、存储和处理，以及与本文公开的电子和光电组件相关联的亮度控制、光调制或其他操作。设备1000包括至少一个处理器1004和/或控制器、与处理器1004通信的至少一个存储器1002单元、以及至少一个通信单元1006，该至少一个通信单元1006使得能够通过通信链路1008直接或间接地与其他实体、设备、数据库和网络交换数据和信息。通信单元1006可以根据一种或多种通信协议提供有线和/或无线通信能力，并且因此它可以包括适当的发射器/接收器、天线、电路和端口，以及正确传输和/或接收数据和其他信息可能所必需的编码/解码能力。图10的示例性设备1000可以集成为更大组件(例如，服务器、计算机、平板电脑、智能电话等)的一部分，其可以用于执行本文公开的各种计算、方法或算法。
[0107]
(一个或多个)处理器1004可以包括中央处理单元(cpu)以控制例如主计算机的整体操作。在某些实施例中，(一个或多个)处理器1004通过执行存储在存储器1002中的软件或固件来实现这一点。(一个或多个)处理器1004可以是或可以包括一个或多个可编程通用或专用微处理器、数字信号处理器(dsp)、可编程控制器、专用集成电路(asic)、可编程逻辑
器件(pld)、图形处理单元(gpu)等，或这些器件的组合。
[0108]
存储器1002可以是或可以包括计算机系统的主存储器。存储器1002代表任何合适形式的随机存取存储器(ram)、只读存储器(rom)、闪存等，或这些器件的组合。在使用中，除其他事物之外，存储器1002还可以包含一组机器指令，该组机器指令在由处理器1004执行时使处理器1004执行操作以实现当前公开的技术的某些方面。
[0109]
尽管本专利文档包含许多细节，但这些不应被解释为对任何发明或可能要求保护的内容的范围的限制，而是对可能特定于特定发明的特定实施例的特征的描述。本专利文档中在分开的实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中分开地或以任何合适的子组合来实现。此外，尽管特征在上面可能被描述为以某些组合起作用，并且甚至最初如此要求保护，但在某些情况下，来自要求保护的组合的一个或多个特征可以从组合中删除，并且要求保护的组合可以针对子组合或子组合的变体。
[0110]
类似地，虽然在附图中以特定顺序描绘了操作，但这不应被理解为要求这些操作以所示的特定顺序或相继的顺序执行，或者要求执行所有所示的操作，以实现期望的结果。此外，本专利文档中描述的实施例中的各种系统组件的分离不应被理解为在所有实施例中都要求这种分离。
[0111]
应当理解，各种公开的实施例可以在包括各种光学组件、电子硬件和/或软件模块和组件的设备中单独地或共同地实现。例如，这些设备可以包括彼此通信地连接的处理器、存储器单元、接口，并且范围可以从台式和/或膝上型计算机到移动设备等。处理器和/或控制器可以基于存储在存储介质上的程序代码的执行来执行各种公开的操作。例如，处理器和/或控制器可以与至少一个存储器和与至少一个通信单元通信，该通信单元使得能够通过与其他实体、设备和网络的通信链路直接地或间接地交换数据和信息。通信单元可以根据一种或多种通信协议提供有线和/或无线通信能力，并且因此它可以包括适当的发射器/接收器天线、电路和端口，以及用于正确传输和/或接收数据和其他信息可能需要的编码/解码能力。例如，处理器可以被配置为从所公开的传感器(例如，cmos传感器)接收电信号或信息，并处理接收到的信息以产生图像或其他感兴趣的信息。
[0112]
本文描述的各种信息和数据处理操作可以通过计算机程序产品在一个实施例中实现，该计算机程序产品体现在计算机可读介质中，包括计算机可执行指令，诸如由网络化环境中的计算机执行的程序代码。计算机可读介质可以包括可移动和非可移动存储设备，包括但不限于只读存储器(rom)、随机存取存储器(ram)、压缩盘(cd)、数字多功能盘(dvd)等。因此，本技术中所描述的计算机可读介质包括非暂态存储介质。通常，程序模块可以包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。计算机可执行指令、相关联数据结构和程序模块代表用于执行本文公开的方法的步骤的程序代码的示例。此类可执行指令或相关联数据结构的特定序列代表用于实现此类步骤或过程中描述的功能的对应动作的示例
[0113]
仅描述了几个实施方式和示例，并且可以基于本专利文档中描述和说明的内容做出其他实施方式、增强和变化。