眼睛图像采集、选择和组合的制作方法

眼睛图像采集、选择和组合
1.本技术是申请日为2017年1月17日、pct国际申请号为pct/us2017/013796、中国国家阶段申请号为201780018474.0、发明名称为“眼睛图像采集、选择和组合”的申请的分案申请。
2.相关申请的交叉引用
3.本技术根据35u.s.c.
§
119(e)要求2016年1月19日提交的名称为“eye image collection(眼睛图像采集)”的美国临时申请no.62/280,456；2016年1月19日提交的名称为“eye image combination(眼睛图像组合)”的美国临时申请no.62/280,515；以及2016年1月19日提交的名称为“eye image set selection(眼睛图像集选择)”的美国临时申请no.62/280,437的优先权，前述每一个申请的内容通过引用整体并入本文中。
技术领域
4.本公开涉及虚拟现实和增强现实成像和可视化系统，并且特别涉及用于采集和处理眼睛图像的系统和方法。


背景技术：

5.现代计算和显示技术促进了用于所谓的“虚拟现实”或“增强现实”体验的系统的开发，其中数字再现的图像或其部分以它们看起来是或者感觉是真实的方式呈现给用户。虚拟现实“vr”场景通常涉及数字或虚拟图像信息的呈现，而不透明于其它实际的真实世界的视觉输入；增强现实“ar”场景通常涉及将数字或虚拟图像信息呈现为对用户周围的现实世界的可视化的增强；或混合现实“mr”场景，其通常涉及将真实世界和虚拟世界合并以产生物理和虚拟对象共存并实时交互的新环境。事实证明，人类视觉感知系统非常复杂，并且产生vr、ar或mr技术具有挑战性，这些技术便于在其它虚拟或现实世界的图像元素中舒适、自然、丰富地呈现虚拟图像元素。在此公开的系统和方法解决了与vr、ar和mr技术有关的各种挑战。


技术实现要素：

6.描述了可以处理眼睛图像(诸如选择眼睛图像，采集眼睛图像和组合眼睛图像)的可穿戴显示设备的示例。
7.在一个方面，公开了一种用于眼睛图像集选择的方法。该方法在硬件计算机处理器的控制下执行。该方法包括：获得多个眼睛图像；对于多个眼睛图像中的每个眼睛图像，确定与每个眼睛图像相关联的图像质量度量，并将每个确定的图像质量度量与图像质量阈值进行比较，以识别通过图像质量阈值的眼睛图像，其中，图像质量阈值对应于用于生成虹膜代码的图像质量等级；从多个眼睛图像中选择眼睛图像集，其中每个眼睛图像通过图像质量阈值；以及利用该眼睛图像集生成虹膜代码。头戴式显示系统可包括执行该用于眼睛图像集选择的方法的处理器。
8.在另一方面，描述了一种用于眼睛图像采集的方法。该方法在硬件计算机处理器
的控制下执行。该方法包括沿着连接多个眼睛姿态区域的路径显示图形；在沿着该路径的多个位置处获得眼睛图像；以及至少部分地基于所获得的眼睛图像中的至少一些眼睛图像生成虹膜代码。头戴式显示系统可包括执行该用于眼睛图像采集的方法的处理器。
9.在另一方面，描述了一种用于眼睛图像组合的方法。该方法在硬件计算机处理器的控制下执行。该方法包括：访问多个眼睛图像；以及执行(1)对多个眼睛图像的图像融合操作，(2)对多个眼睛图像的虹膜代码融合操作，或者(1)和(2)两者。图像融合操作包括融合多个眼睛图像中的至少一些眼睛图像以提供混合图像并从混合图像生成混合虹膜代码。虹膜代码融合操作包括生成多个眼睛图像中的至少一些眼睛图像的虹膜代码，并合并所生成的虹膜代码以提供混合虹膜代码。头戴式显示系统可包括执行该用于眼睛图像组合的方法的处理器。
10.在本说明书中描述的主题的一个或多个实施方式的细节在附图和下面的描述中阐述。从描述、附图和权利要求中，其它特征、方面和优点将变得显而易见。本概述和以下详细描述都不旨在限定或限制本发明主题的范围。
附图说明
11.图1描绘了具有某些虚拟现实对象以及由人观看的某些实际现实对象的增强现实场景的图示。
12.图2示意性地示出了可穿戴显示系统的示例。
13.图3示意性地示出了使用多个深度平面来模拟三维图像的方法的方面。
14.图4示意性地示出了用于向用户输出图像信息的波导堆叠的示例。
15.图5示出了可以由波导输出的示例出射光束。
16.图6是示出了包括波导装置、将光光学耦合到波导装置或从波导装置光学耦合的光耦合器子系统以及控制子系统的显示系统的示意图，该显示系统用于生成多焦点立体显示、图像或光场。
17.图7示出了示例性眼睛图像集选择例程的流程图。
18.图8示意性地示出了用于眼睛图像集采集的头戴式显示系统的显示器上的示例场景。
19.图9示出了示例性眼睛图像采集例程的流程图。
20.图10示出看示例性眼睛图像组合例程的流程图。
21.在整个附图中，可以重新使用参考数字来指示参考元件之间的对应关系。提供附图以示出在此描述的示例实施例并且不旨在限制本公开的范围。
具体实施方式
22.概述
23.眼睛图像集选择示例
24.从一个或多个成像源(诸如相机)获得的某些眼睛图像可被选择并用于各种生物识别应用。例如，在获得眼睛图像之后，可以对于所获得的一些或所有眼睛图像确定图像质量度量。可以基于例如模糊量、未被遮挡的像素的数量或百分比、颜色饱和度、图像分辨率(诸如关注区域的分辨率)或其任何组合来确定图像质量度量。不同的眼睛图像可以与不同
类型的图像质量度量相关联。可以将所确定的针对每个眼睛图像的图像质量度量与相应的图像质量阈值进行比较。
25.可以选择眼睛图像集，其中该眼睛图像集中的每个眼睛图像具有满足对应的图像质量阈值的图像质量度量。附加地或替代地，所选择的眼睛图像集可以包括固定数量的眼睛图像(诸如具有顶部图像质量度量的眼睛图像)。所选择的眼睛图像集可以用于各种生物识别应用，诸如眼睛姿态确定(例如，穿戴者的一只眼睛或两只眼睛的方向)或虹膜代码生成。例如，所选择的眼睛图像可用于生成一个或多个虹膜代码。
26.眼睛图像采集示例
27.可以针对各种生物识别应用获得用于多个眼睛姿态区域的眼睛图像。例如，显示器(例如，头戴式显示器系统的显示器)可以与多个眼睛姿态区域(例如，2、3、4、5、6、9、12、18、24、36、49、64、128、256、1000或更多个)相关联，针对一些或所有眼睛姿态区域，可以获得一个或多个眼睛图像。眼睛姿态区域可以具有相同或不同的大小或形状(诸如矩形、正方形、圆形、三角形、椭圆形、菱形)。眼睛姿态区域可以被认为是二维真实坐标空间或二维正整数坐标空间的连接子集，其根据穿戴者的眼睛姿态的角度空间指定眼睛姿态区域。例如，眼睛姿态区域可以在方位角偏转中的特定θ
min
与特定θ
max
之间(从基准方位角测量)和在天顶偏转(zenithal deflection)中的特定φ
min
与特定φ
max
之间(也称为极偏转)。
28.可以在眼睛姿态区域中或横跨两个或更多个眼睛姿态区域显示图形(诸如蝴蝶、大黄蜂或化身)或图形的动画，使得显示器的用户的一只或两只眼睛被引导或吸引到眼睛姿态区域。可以在随机模式、飞行模式、闪烁模式、波动模式或故事模式中在眼睛姿态区域中或横跨两个或更多个眼睛姿态区域显示图形。移动图形的速度可以是基本上恒定的或可以是可变的。例如，图形可以在某些眼睛姿态区域中减慢或停止(例如，在拍摄一个或多个眼睛图像的情况下)，或者图形可以加速或跳过其它眼睛姿态区域(例如，在不需要或不期望眼睛图像的情况下)。图形的路径可以是连续的或不连续的(例如，图形805可以在某些眼睛姿态区域上方或周围跳过)。
29.当在眼睛姿态区域中显示图形时，可以获得与该眼睛姿态区域相关联的用户的眼睛图像。在确定该图形的图像质量度量(例如，模糊量，或未被遮挡的像素的数量或百分比)通过或者满足对应的图像质量阈值之后，可以在另一个眼睛姿态区域中显示图形或图形的动画。在两个眼睛姿态区域中显示的图形可以相同或不同。当在另一个眼睛姿态区域中显示图形时，可以获得与另一个眼睛姿态区域相关联的用户的另一个眼睛图像。该图形的图像质量度量可以被确定为通过或满足对应的图像质量阈值。对于针对不同眼睛姿态区域获得的眼睛图像，图像质量度量(或对应的图像质量阈值)可以相同或不同。可以对显示器的其它眼睛姿态区域重复该过程。例如，图形可以沿着从一眼睛姿态区域到另一眼睛姿态区域的路径移动。
30.如果与某个眼睛姿态区域相关联的眼睛图像没有通过或满足对应的图像质量阈值，则可以在该特定区域中显示该图形，直到获得足够的眼睛图像质量的眼睛图像。替代地或附加地，如果在阈值尝试次数(例如，三次)之后不能获得用于某个眼睛姿态区域的眼睛图像，则眼睛图像采集可以在该眼睛姿态区域上跳过或暂停采集一段时间，同时从一个或多个其它姿态区域获得眼睛图像。如果在阈值尝试次数之后不能获得眼睛图像，则可能无
法获得用于某个眼睛姿态区域的眼睛图像。在为足够数量的眼睛姿态区域或关注的眼睛姿态区域获得眼睛图像之后，可以将一个或多个眼睛图像用于各种生物识别应用(例如，可以基于所获得的眼睛图像中的一个或多个眼睛图像生成虹膜代码)。
31.眼睛图像组合示例
32.从一个或多个成像源获得的眼睛图像可以被组合或融合到一个或多个混合眼睛图像(也称为组合或融合眼睛图像)中，进而可以将所述混合眼睛图像用于生物识别应用。例如，在获得眼睛图像之后，可以为每个眼睛图像识别眼睛姿态。眼睛姿态可以与特定的显示分类(诸如显示器的眼睛姿态区域分配)相关联。图像融合或虹膜代码融合中的一者或全部两者可以被应用于所获得的眼睛图像。对于图像融合，可以使用例如超分辨率、空间域融合或变换域融合来将所获得的眼睛图像中的一些或所有眼睛图像融合到混合眼睛图像中。可以从混合眼睛图像中提取、生成或确定虹膜代码。对于虹膜代码融合，可以为所获得的眼睛图像中的一些或所有眼睛图像中的每一个生成虹膜代码。然后可以使用例如媒体滤波器或贝叶斯滤波器，将所获得的虹膜代码合并为混合虹膜代码。与特定眼睛姿态区域相关联的每个虹膜代码可以对整个混合虹膜代码做出贡献。可以为虹膜代码或混合虹膜代码生成或确定置信度得分。置信度得分可以基于采样的眼睛姿态区域的分数。使用图像融合生成的虹膜代码或使用图像融合生成的混合虹膜代码中的一者或全部两者可以用于一个或多个生物识别应用中的进一步利用。
33.增强现实场景示例
34.图1描绘了具有某些虚拟现实对象以及由人观看的某些实际现实对象的增强现实场景的图示。图1描绘了增强现实场景100，其中ar技术的用户看到以人、树木、背景中的建筑物和混凝土平台120为特征的真实世界公园状设置110。除了这些项目之外，ar技术的用户同样感知他“看到”站在真实世界平台120上的机器人雕像130，以及似乎是大黄蜂的化身的正飞过的卡通式的化身角色140(例如大黄蜂)，尽管这些元素不存在于现实世界中。
35.为了使三维(3d)显示器产生真实的深度感觉，并且更具体地，模拟的表面深度感觉，期望显示器的视场中的每个点生成与其虚拟深度对应的适应响应。如果对显示点的适应响应不对应于该点的虚拟深度(由汇聚和立体视觉的双眼深度线索确定)，则人眼可能经历适应冲突，导致成像不稳定、有害的眼部紧张、头痛，并且在没有适应信息的情况下，几乎完全缺乏表面深度。
36.vr、ar和mr体验可以通过具有显示器的显示系统来提供，其中与多个深度平面对应的图像被提供给观看者。对于每个深度平面，图像可以是不同的(例如，提供场景或对象的略微不同的呈现)，并且可以由观看者的眼睛单独聚焦，由此有助于基于对于位于不同深度平面上的场景聚焦不同图像特征所需的眼睛适应和/或基于观察到不同深度平面上的不同图像特征失焦而向用户提供深度线索。如在此其它地方所讨论的，这样的深度线索提供了可靠的深度感知。为了产生或增强vr、ar和mr体验，显示系统可以使用生物识别信息来增强这些体验。
37.从眼睛提取生物识别信息通常包括用于在眼睛图像内分割虹膜的过程。虹膜分割可涉及如下操作：所述操作包括定位虹膜边界的操作，包括找到虹膜的瞳孔边界和边缘边界，如果它们遮挡虹膜，则定位上眼睑或下眼睑，检测和排除睫毛、阴影或反射的遮挡等等。例如，眼睛图像可以被包括在面部图像中，或者可以是眼周区域的图像。为了执行虹膜分
割，可以将瞳孔的边界(虹膜的内部边界)和边缘(虹膜的外部边界)二者都识别为图像数据的单独片段。
38.此外，为了获得生物识别信息(例如，眼睛姿态)，存在用于跟踪计算机用户的眼睛运动的算法。例如，耦合到计算机的监视器的相机可以提供用于识别眼睛运动的图像。然而，用于眼睛跟踪的相机与用户的眼睛有一定距离。例如，相机可以放置在耦合到计算机的用户监视器的顶部。结果，由相机产生的眼睛的图像通常以较差的分辨率产生。因此，确定用户的眼睛姿态可能带来挑战。
39.利用在此公开的技术，眼睛图像处理可以用于基本上识别眼睛的指向方向，并且附加地或替代地增强用于虹膜代码生成的眼睛图像的分辨率。在此描述的眼睛图像处理的实施例有利地可以用于将各种眼睛姿态图像组合成表示每个眼睛姿态图像的一部分的单个眼睛图像。另外，在一些实施例中，眼睛图像处理可利用图形来获得各种眼睛姿态的眼睛图像。可以分析这样的所获得的眼睛图像以确定所获得的眼睛图像的图像质量度量是否通过一图像质量阈值。该图像质量阈值可以对应于与眼睛图像的虹膜代码的生成相关联的值。因此，可以选择所获得的眼睛图像集来用于眼睛图像处理，诸如将眼睛姿态图像组合成单个眼睛姿态图像。
40.在可穿戴的头戴式显示器(hmd)的上下文下，相机可以比耦合到用户的监视器的相机更靠近用户的眼睛。例如，相机可以被安装在可穿戴的hmd上，该可穿戴的hmd本身被穿戴在用户的头上。眼睛与这样的相机的接近可以导致更高分辨率的眼睛图像。因此，计算机视觉技术可以从用户的眼睛中，特别是在虹膜(例如，虹膜特征)处或在虹膜周围的巩膜(例如，巩膜特征)中提取视觉特征。例如，当由眼睛附近的相机观看时，眼睛的虹膜将示出详细的结构。当在红外照射下观察时，这种虹膜特征尤其明显，并且可用于生物识别。这些虹膜特征在用户与用户之间是唯一的，并且以指纹的方式，可以用于唯一地识别用户。眼睛特征可包括眼睛巩膜中(虹膜外)的血管，当在红光或红外光下观看时，该眼睛巩膜中的血管也会看起来特别明显。以更高分辨率观看的这种独特的虹膜特征可以导致为各种眼睛姿态图像生成的更独特或更准确的虹膜代码。
41.可穿戴显示系统示例
42.图2示出可用于向显示系统穿戴者或观看者204呈现vr、ar或mr体验的可穿戴显示系统200的示例。可穿戴显示系统200可以被编程为执行眼睛图像处理以提供在此描述的任何应用或实施例。显示系统200包括显示器208，以及支持显示器208的功能的各种机械和电子模块以及系统。显示器208可以耦合到框架212，该框架212可由显示系统用户、穿戴者或观看者204佩戴，并且被配置为将显示器208定位在穿戴者204的眼睛的前方。显示器208可以是光场显示器。在一些实施例中，扬声器216耦合到框架212并且被定位在用户的耳道附近。在一些实施例中，未示出的另一扬声器定位在用户的另一个耳道附近以提供立体声/可塑形的声音控制。显示器208诸如通过有线引线或无线连接可操作地耦合220到本地数据处理模块224，该本地数据处理模块224可以以各种配置安装，诸如固定地附接到框架212，固定地附接到用户佩戴的头盔或帽子，嵌入在耳机中，或以其它方式可移除地附接到用户204(例如，在背包式配置中，在皮带耦合式配置中)。
43.框架212可具有附接到或安装到框架212的一个或多个相机，以获得穿戴者的一只或两只眼睛的图像。在一个实施例中，相机可以在穿戴者眼睛前方安装到框架212，使得眼
睛可以被直接成像。在其它实施例中，相机可以沿着框架212的杆(例如，在穿戴者的耳朵附近)安装。在这种实施例中，显示器208可以被涂覆有将来自穿戴者眼睛的光反射回相机的材料。光可以是红外光，因为虹膜特征在红外图像中是突出的。
44.本地处理和数据模块224可以包括硬件处理器以及诸如非易失性存储器(例如，闪速存储器)的非暂时性数字存储器，两者都可以用于帮助数据的处理、缓存和存储。数据可以包括如下数据：a)从传感器(其可以例如可操作地耦合到框架212或以其它方式附接到用户204)捕获的数据，例如图像捕获设备(诸如照相机)、麦克风、惯性测量单元、加速度计、罗盘、gps单元、无线电设备和/或陀螺仪；和/或b)使用远程处理模块228和/或远程数据储存库232获取和/或处理的数据，可能在这样的处理或检索之后传递给显示器208。本地处理和数据模块224可以通过通信链路236和/或240(诸如经由有线或无线通信链路)可操作地耦合到远程处理模块228和远程数据储存库232，使得这些远程模块228、232作为资源可用于本地处理和数据模块224。图像捕获设备可以用于捕获在眼睛图像处理过程中使用的眼睛图像。另外，远程处理模块228和远程数据储存库232可以可操作地彼此耦合。
45.在一些实施例中，远程处理模块228可以包括一个或多个处理器，其被配置为分析和处理数据和/或图像信息，诸如由图像捕获设备捕获的视频信息。视频数据可以本地存储在本地处理和数据模块224中和/或远程数据储存库232中。在一些实施例中，远程数据储存库232可以包括数字数据存储设施，其可以通过互联网或其它网络配置以“云”资源配置而可用。在一些实施例中，在本地处理和数据模块224中存储全部数据，并且执行全部计算，允许从远程模块完全自主使用。
46.在一些实施方式中，本地处理和数据模块224和/或远程处理模块228被编程，以执行如在此描述的获得眼睛图像或处理眼睛图像的实施例。例如，本地处理和数据模块224和/或远程处理模块228可以被编程为执行分别参考图7、图9和图10描述的例程700、900或1000的实施例。本地处理和数据模块224和/或远程处理模块228可以被编程为在生物提取中使用在此公开的眼睛图像处理技术，例如以识别或认证穿戴者204的身份，或者在姿态估计中，例如以确定每只眼睛正在看向的方向。图像捕获设备可以捕获用于特定应用的视频(例如，用于眼睛跟踪应用的穿戴者眼睛的视频，或用于手势识别应用的穿戴者的手或手指的视频)。可以通过处理模块224、228中的一者或全部两者，使用眼睛图像处理技术来分析视频。通过该分析，处理模块224、228可以执行眼睛图像选择、眼睛图像采集、眼睛图像组合和/或生物提取等。作为示例，本地处理和数据模块224和/或远程处理模块228可以被编程为从附接到框架212的相机采集眼睛图像(例如，例程900)。另外，本地处理和数据模块224和/或远程处理模块228可以被编程为使用眼睛图像集选择技术(例如，例程700)或在此描述的眼睛图像组合技术(例如，例程1000)来处理眼睛图像，以便于生成虹膜代码或识别可穿戴显示系统200的穿戴者的眼睛姿态。在一些情况下，将至少一些虹膜代码生成卸载到远程处理模块(例如，在“云”中)可以提高计算的效率或速度。或者作为另一示例，可以将技术的一些部分卸载到远程处理模块，诸如眼睛图像的合并。
47.视频分析的结果(例如，所估计的眼睛姿态)可以由处理模块224、228中的一者或全部两者用于附加操作或处理。例如，在各种应用中，可穿戴显示系统200可以使用对象、姿态等的生物识别、眼睛跟踪、识别或分类。例如，穿戴者的眼睛的视频可以用于获得眼睛图像，该眼睛图像进而可以由处理模块224、228用于通过显示器208生成穿戴者204的眼睛的
虹膜代码。可穿戴显示系统200的处理模块224、228可以用眼睛图像处理的一个或多个实施例编程，以执行在此所述的任何视频或图像处理应用。
48.人的视觉系统是复杂的，并且提供对深度的逼真感知是具有挑战性的。不受理论的限制，相信对象的观看者可以由于聚散度和适应度的组合而将对象感知为三维的。两只眼睛彼此相对的聚散运动(即，光瞳孔彼此相向或远离的滚动运动，以会聚眼睛的视线来注视对象)与眼睛晶状体的聚焦(或“适应性”)密切相关。在正常情况下，改变眼睛晶状体的焦点或适应眼睛，以将焦点从在不同距离处的一个对象改变到另一个对象，将会在称为“适应性-聚散度反射(accommodation-vergence reflex)”的关系下自动地导致在聚散度上的匹配改变达到相同的距离。同样，在正常情况下，聚散度的改变将引发适应性的匹配改变。提供适应性和聚散度之间的更好匹配的显示系统可以形成更逼真或更舒适的三维图像模拟。
49.图3示出了使用多个深度平面来模拟三维图像的方法的方面。参考图3，在z轴上距眼睛302和眼睛304的不同距离处的对象由眼睛302和眼睛304适应，以使得那些对象在焦点中。眼睛302和眼睛304呈现特定的适应状态，以使沿着z轴的不同距离处的对象进入焦点。因此，可以说特定的适应状态与深度平面306中的特定一个深度平面相关联，该特定深度平面具有相关联的焦距，以使得当眼睛处于该深度平面的适应状态时，特定深度平面中的对象或对象的部分被聚焦。在一些实施例中，可以通过为眼睛302和304中的每一只眼睛提供图像的不同呈现来模拟三维图像，并且还通过提供与深度平面中每一个深度平面对应的图像的不同呈现来模拟三维图像。尽管为了清楚说明而示出为分离的，但应理解的是，例如，随着沿着z轴的距离增加，眼睛302和眼睛304的视场可能重叠。另外，虽然为了便于说明而示出为平坦的，但应理解的是，深度平面的轮廓可以在物理空间中是弯曲的，使得深度平面中的所有特征在特定的适应状态下与眼睛对焦。不受理论的限制，可以相信的是，人类眼睛通常可以解释有限数量的深度平面以提供深度感知。因此，通过向眼睛提供与这些有限数量的深度平面中的每一个深度平面对应的图像的不同呈现，可以实现感知深度的高度可信的模拟。
50.波导堆叠组件示例
51.图4示出了用于向用户输出图像信息的波导堆叠的示例。显示系统400包括可以用于采用多个波导420、422、424、426、428向眼睛410或大脑提供三维感知的波导堆叠或堆叠波导组件405。在一些实施例中，显示系统400对应于图2的系统200，图4更详细地示意性地示出了该系统200的一些部分。例如，在一些实施例中，波导组件406可以被集成到图2的显示器208中。
52.继续参考图4，波导组件405还可以包括在波导之间的多个特征430、432、434、436。在一些实施例中，特征430、432、434、436可以是透镜。在一些实施例中，特征430、432、434、436可以不是透镜。而是它们可以是间隔物(例如，用于形成空气间隙的包层和/或结构)。
53.波导420、422、424、426、428和/或多个透镜430、432、434、436可以被配置为以各种级别的波前曲率或光线发散向眼睛发送图像信息。每个波导级别可以与特定的深度平面相关联，并且可以被配置为输出与该深度平面对应的图像信息。图像注入装置440、442、444、446、448可用于将图像信息注入到波导420、422、424、426、428中，其中的每一个波导可以被配置为分配入射光穿过每一个相应的波导，用于向眼睛410输出。光从图像注入装置440、442、444、446、448的输出表面出射并被注入到波导420、422、424、426、428的相应输入边缘。
在一些实施例中，可以将单个光束(例如，准直光束)注入到每一个波导中，以便与特定波导相关联的深度平面对应的特定角度(和发散量)输出朝向眼睛410定向的克隆准直光束的整个场。
54.在一些实施例中，图像注入装置440、442、444、446、442是分立显示器，每个显示器产生用于分别注入到相应波导420、422、424、426、428中的图像信息。在一些其它实施例中，图像注入装置440、442、446、446、448是单个复用显示器的输出端，其可以例如经由一个或多个光导管(诸如，光纤线缆)向图像注入装置440、442、444、446、448中的每一个图像注入装置输送图像信息。
55.控制器450控制堆叠波导组件405和图像注入装置440、442、444、446、448的操作。在一些实施例中，控制器450包括调节图像信息到波导420、422、424、426、428的定时和提供的编程(例如，在非暂时性计算机可读介质中的指令)。在一些实施例中，控制器450可以是单个整体装置，或通过有线或无线通信通道连接的分布式系统。在一些实施例中，控制器450可以是处理模块224或228(图2所示)的部分。在一些实施例中，控制器可以与面向内的成像系统452(例如，数字照相机)，面向外的成像系统454(例如，数字照相机)和/或用户输入设备466通信。面向内的成像系统452(例如，数字照相机)可以用于捕获眼睛410的图像，以例如确定眼睛410的瞳孔的大小和/或取向。面向外的成像系统454可用于对世界456的一部分成像。用户可经由用户输入设备466将命令输入到控制器450以与显示系统400交互。
56.波导420、422、424、426、428可以被配置为通过全内反射(tir)在每一个相应的波导内传播光。波导420、422、424、426、428可以各自是平面的或具有其它形状(例如，弯曲的)，具有顶部主表面和底部主表面表面以及在这些顶部主表面和底部主表面之间延伸的边缘。在所示的配置中，波导420、422、424、426、428可以各自包括光提取光学元件460、462、464、466、468，这些光提取光学元件被配置为通过将每一个相应波导内传播的光重定向而将光提取到波导外，以向眼睛410输出图像信息。提取的光也可以被称为耦出的光，并且光提取光学元件也可以被称为耦出光学元件。提取的光束在波导中传播的光照射光重定向元件的位置处被波导输出。光提取光学元件(460、462、464、466、468)可以例如是反射和/或衍射光学特征。虽然为了便于描述和清晰绘图起见而将其图示设置在波导420、422、424、426、428的底部主表面处，但是在一些实施例中，光提取光学元件460、462、464、466、468可以设置在顶部和/或底部主表面处，和/或可以直接设置在波导420、422、424、426、428的体积中。在一些实施例中，光提取光学元件460、462、464、466、468可以形成在附接到透明基板的材料层中以形成波导420、422、424、426、428。在一些其它实施例中，波导420、422、424、426、428可以是单片材料，并且光提取光学元件460、462、464、466、468可以形成在那片材料的表面上和/或那片材料的内部中。
57.继续参考图4，如在此所讨论的，每一个波导420、422、424、426、428被配置为输出光以形成与特定深度平面对应的图像。例如，最接近眼睛的波导420可以被配置为将注入到这种波导420中的准直光传送到眼睛410。准直光可以代表光学无限远焦平面。下一个上行波导422可以被配置为将穿过第一透镜430(例如，负透镜)的准直光在其可以到达眼睛410之前发出。第一透镜430可以被配置为产生轻微凸面的波前曲率，使得眼睛/大脑将来自下一个上行波导422的光解释为来自第一焦平面，该第一焦平面从光学无限远处更靠近向内朝向眼睛410。类似地，第三上行波导424将输出光在到达眼睛410之前穿过第一透镜452和
第二透镜454。第一透镜430和第二透镜432的组合光焦度(optical power)可被配置为产生另一增量的波前曲率，以使得眼睛/大脑将来自第三波导424的光解释为来自第二焦平面，该第二焦平面从光学无穷远比来自下一个上行波导422的光更靠近向内朝向人。
58.其它波导层(例如，波导426、428)和透镜(例如，透镜434、436)被类似地配置，其中堆叠中的最高波导428通过它与眼睛之间的全部透镜发送其输出，用于代表最靠近人的焦平面的聚合(aggregate)焦度。当在堆叠波导组件405的另一侧上观看/解释来自世界456的光时，为了补偿透镜430、432、434、436的堆叠，补偿透镜层438可以设置在堆叠的顶部处以补偿下面的透镜堆叠430、432、434、436的聚合焦度。这种配置提供了与可用波导/透镜配对一样多的感知焦平面。波导420、422、424、426、428的光提取光学元件460、462、464、466、468和透镜430、432、434、436的聚焦方面可以是静态的(例如，不是动态的或电活性的)。在一些替代实施例中，两者之一或者两者都可以是使用电活性特征而动态的。
59.继续参考图4，光提取光学元件460、462、464、466、468可以被配置为将光重定向到它们相应的波导之外并且针对与波导相关联的特定深度平面输出具有适当的发散量或准直量的该光。结果，具有不同相关联深度平面的波导可具有不同配置的光提取光学元件，其取决于相关联的深度平面输出具有不同发散量的光。在一些实施例中，如在此所讨论的，光提取光学元件460、462、464、466、468可以是体积或表面特征，其可以被配置为以特定角度输出光。例如，光提取光学元件460、462、464、466、468可以是体积全息图、表面全息图和/或衍射光栅。在2015年6月25日公开的美国专利公开no.2015/0178939中描述了诸如衍射光栅的光提取光学元件，其通过引用全部并入本文中。在一些实施例中，特征430、432、434、436、438可以不是透镜。相反，它们可以简单地是间隔物(例如，用于形成空气间隙的包层和/或结构)。
60.在一些实施例中，光提取光学元件460、462、464、466、468是形成衍射图案或“衍射光学元件”(在此也称为“doe”)的衍射特征。优选地，doe具有相对较低的衍射效率，以使得仅光束的一部分通过doe的每一个交点偏转向眼睛410，而其余部分经由全内反射继续移动通过波导。携带图像信息的光因此被分成多个相关的出射光束，该出射光束在多个位置处离开波导，并且该结果对于在波导内反弹的该特定准直光束是朝向眼睛410的相当均匀图案的出射发射。
61.在一些实施例中，一个或多个doe可以在它们主动地衍射的“开”状态和它们不显著衍射的“关”状态之间可切换。例如，可切换的doe可以包括聚合物分散液晶层，其中微滴在主体介质中包含衍射图案，并且微滴的折射率可以切换为基本上匹配主体材料的折射率(在这种情况下，图案不明显地衍射入射光)，或者微滴可以切换为与主体介质的指数不匹配的指数(在这种情况下，该图案主动地衍射入射光)。
62.在一些实施例中，深度平面的数量和分布和/或景深可以基于观看者的眼睛的瞳孔大小和/或取向而动态地改变。在一些实施例中，面向内的成像系统452(例如，数字照相机)可用于捕获眼睛410的图像以确定眼睛410的瞳孔的大小和/或取向。在一些实施例中，面向内的成像系统452可以附接到框架212(如图2中所示)并且可以与处理模块224和/或228电通信，该处理模块224和/或228可以处理来自面向内的成像系统452的图像信息以确定例如用户204的眼睛的瞳孔直径或取向。
63.在一些实施例中，面向内的成像系统452(例如，数字照相机)可以观察用户的运
动，诸如眼睛运动和面部运动。面向内的成像系统452可以用于捕获眼睛410的图像以确定眼睛410的瞳孔的大小和/或取向。面向内的成像系统452可以用于获得图像，用于确定用户正在观看的方向(例如，眼睛姿态)或用于用户的生物识别(例如，经由虹膜识别)。可以分析由面向内的成像系统452获得的图像以确定用户的眼睛姿态和/或情绪，其可以由显示系统400用来决定应该向用户呈现哪些音频或视觉内容。显示系统400同样可以使用诸如惯性测量单元(imu)、加速度计、陀螺仪等的传感器来确定头部姿态(例如，头部位置或头部取向)。头部姿态可以单独使用或与眼睛姿态组合使用以与干音轨交互和/或呈现音频内容。
64.在一些实施例中，可以为每只眼睛利用一个照相机来分别确定每只眼睛的瞳孔大小和/或取向，由此允许向每只眼睛呈现图像信息以动态地适合于该眼睛。在一些实施例中，可以为每只眼睛利用至少一个照相机，以独立地分别确定每只眼睛的瞳孔大小和/或眼睛姿态，由此允许向每只眼睛呈现图像信息以动态地适合于该眼睛。在一些其它实施例中，仅单个眼睛410的瞳孔直径和/或取向(例如，每双眼睛仅使用单个照相机)被确定并被假定对于观看者204的双眼是类似的。
65.例如，景深可与观看者的瞳孔大小成反比地改变。因此，随着观看者眼睛瞳孔的大小减小，景深增加，使得由于平面的位置超出了眼睛的聚焦深度而不可辨别的该平面可能变得可辨别，并且随着瞳孔大小的减小和景深的相应增加表现为更聚焦。类似地，用于向观看者呈现不同图像的间隔开的深度平面的数量可随着瞳孔大小减小而减小。例如，观看者在不调整眼睛远离一个深度平面和到另一个深度平面的适应性的情况下，可能不能清楚地感知处于一个瞳孔大小的第一深度平面和第二深度平面的细节。然而，这两个深度平面可以在不改变适应性的情况下，对于处于另一瞳孔大小的用户同时充分地聚焦。
66.在一些实施例中，显示系统可以改变接收图像信息的波导的数量，基于瞳孔大小和/或方位的确定或者基于接收特定瞳孔大小和/或方位的电信号指示。例如，如果用户的眼睛不能区分与两个波导相关联的两个深度平面，则控制器450可以被配置或编程为停止向这些波导中的一个提供图像信息。有利地，这可以减轻系统的处理负担，从而增加系统的响应性。在其中波导的doe可在开启和关闭状态之间切换的实施例中，当波导确实接收图像信息时，doe可切换到关闭状态。
67.在一些实施例中，可能期望的是出射光束符合直径小于观看者眼睛的直径的条件。然而，考虑到观看者的瞳孔大小的可变性，满足这种条件可能是具有挑战性的。在一些实施例中，通过响应于观看者的瞳孔大小的确定而改变出射光束的大小，该条件在宽范围的瞳孔大小上满足。例如，随着瞳孔大小减小，出射光束的大小也可以减小。在一些实施例中，可以使用可变光圈来改变出射光束大小。
68.显示系统400可以包括对世界456的一部分成像的面向外的成像系统454(例如，数字照相机)。世界456的这部分可以被称为视场(fov)，并且成像系统454有时被称为fov照相机。可供观看者204观看或成像的整个区域可被称为能视场(field of regard(for))。for可以包括围绕显示系统400的立体角的4π球面度。在显示系统400的一些实施方式中，因为用户204可以移动他们的头部和眼睛以观看用户204周围的对象(位于用户的前面、后面、上面、下面或者旁边)，所以for可以包括显示系统400的用户周围的基本上全部立体角。从面向外的成像系统454获得的图像可以用于跟踪用户做出的姿势(例如，手或手指姿势)，检测用户前方的世界456中的对象等等。
69.显示系统400可以包括用户输入设备466，用户可以通过该用户输入设备466向控制器450输入命令以与显示系统400交互。例如，用户输入设备466可以包括触控板、触摸屏、操纵杆、多自由度(dof)控制器、电容感测设备、游戏控制器、键盘、鼠标、方向板(d-pad)、棒、触觉设备、图腾(例如，用作虚拟用户输入设备)等等。在一些情况下，用户可以使用手指(例如，拇指)在触敏输入设备上按压或滑动以向显示系统400提供输入(例如，向由显示系统400提供的用户界面提供用户输入)。用户输入设备466可在使用显示系统400期间由用户的手握持。用户输入设备466可以与显示系统400进行有线或无线通信。
70.图5示出了由波导输出的出射光束的示例。示出了一个波导，但是应该理解的是，波导组件405中的其它波导可以类似地起作用，其中波导组件405包括多个波导。光505在波导420的输入边缘510处被注入到波导420中，并且通过全内反射(tir)在波导420内传播。在光505撞击在衍射光学元件(doe)460上的点处，一部分光如出射光束515离开波导。出射光束515被示出为基本上平行，但是取决于与波导420相关联的深度平面，该出射光束515也可以以一定角度(例如，形成发散的出射光束)被重定向以传播到眼睛410。应该理解的是，基本上平行的出射光束可以指示具有光提取光学元件的波导，其中光提取光学元件将光外耦合以形成看起来被设置在距眼睛410较大距离(例如，光学无穷远)处的深度平面上的图像。其它波导或者其它光提取光学元件组可以输出更加发散的出射光束图案，这将需要眼睛410适应更近距离以将其聚焦在视网膜上并且将被大脑解释为光来自比光学无穷远更接近眼睛410的距离。
71.图6示出了显示系统400的另一示例，其包括波导装置、将光光学耦合到波导装置或从波导装置光学耦合光的光耦合器子系统，以及控制子系统。显示系统400可以用于生成多焦点立体、图像或光场。显示系统400可以包括一个或多个主平面波导604(在图6中仅示出一个)以及与至少一些主波导604中的每一个主波导相关联的一个或多个doe 608。平面波导604可以类似于参考图4讨论的波导420、422、424、426、428。光学系统可以使用分布波导装置沿着第一轴(图6所示的垂直轴或y轴)中继光，并且沿着第一轴(例如，y轴)扩展光的有效出射光瞳。分布波导装置可以例如包括分布平面波导612和与分布平面波导612相关联的至少一个doe 616(由双点划线示出)。分布平面波导612在至少一些方面可以与主平面波导604相似或相同，但具有与其不同的方位。类似地，至少一个doe 616在至少一些方面可以与doe 608相似或相同。例如，分布平面波导612和/或doe 616可以分别由与主平面波导604和/或doe 608相同的材料构成。图6中所示的光学系统可以集成到图2中所示的可穿戴显示系统200中。
72.中继的和出射光瞳扩展的光从分布波导装置被光耦合到一个或多个主平面波导604中。主平面波导604沿着优选地与第一轴正交的第二轴(例如，图6的视图中的水平轴或x轴)中继光。值得注意的是，第二轴可以是与第一轴非正交的轴。主平面波导604沿着该第二轴(例如，x轴)扩展光的有效出射路径。例如，分布平面波导612可以沿着垂直轴或y轴中继和扩展光，并且将该光传递到沿着水平轴或x轴中继和扩展光的主平面波导604。
73.显示系统400可以包括一个或多个彩色光源(例如，红色、绿色和蓝色激光)620，这些彩色光源可以光耦合到单模光纤624的近端中。可以穿过压电材料的中空管628来通过或接收光纤624的远端。远端作为非固定柔性悬臂632从管628突出。压电管628可以与四个象限电极(未示出)相关联。例如，电极可以镀在管628的外侧、外表面或外周或直径上。芯电极
(未示出)也位于管628的芯、中心、内周或内径中。
74.例如经由导线640电耦合的驱动电子器件636驱动相对的电极对独立地在两个轴上弯曲压电管628。光纤624的突出远端顶端具有机械谐振模式。谐振的频率可以取决于光纤624的直径、长度和材料特性。通过在光纤悬臂632的第一机械谐振模式附近振动压电管628，使得光纤悬臂632振动，并且可以扫过大的偏转。
75.通过激发两个轴上的谐振，光纤悬臂632的顶端在遍及二维(2-d)扫描的区域中双轴扫描。通过与光纤悬臂632的扫描同步地调制一个或多个光源620的强度，从光纤悬臂632出射的光形成图像。美国专利公开no.2014/0003762中提供了这样的设置的描述，其通过引用全部并入本文中。
76.光学耦合器子系统的部件644准直从扫描光纤悬臂632出射的光。准直光由镜面648反射到包含至少一个衍射光学元件(doe)616的窄分布平面波导612中。准直光通过全内反射沿分布平面波导612垂直地(相对于图6的视图)传播，并且与doe 616重复相交。doe616优选具有低衍射效率。这导致一部分光(例如，10％)在与doe 616的每个交点处被衍射朝向较大的主平面波导604的边缘，并且一部分光通过tir在其原始轨迹上向下分布平面波导612的长度而继续。
77.在与doe 616的每个交点处，附加光被衍射向主波导612的入口。通过将入射光分成多个外耦合组，光的出射光瞳在分布平面波导612中由doe 616垂直地扩展。从分布平面波导612外耦合的该垂直扩展的光进入主平面波导604的边缘。
78.进入主波导604的光经由tir沿着主波导604水平传播(相对于图6的视图)。由于光通过tir沿着主波导604的至少一部分长度水平传播，因此光在多个点处与doe 608相交。doe 608可以有利地被设计或构造成具有相位轮廓，该相位轮廓是线性衍射图案和径向对称衍射图案的总和，以产生光的偏转和聚焦。doe 608可以有利地具有低衍射效率(例如，10％)，使得doe 608的每个交点只有一部分光束的光朝着视图的眼睛偏转，而其余的光经由tir通过波导604继续传播。
79.在传播光和doe 608之间的每个交点处，一部分光朝着主波导604的相邻面衍射，从而允许光脱离tir，并且从主波导604的面出射。在一些实施例中，doe 608的径向对称衍射图案另外向衍射光赋予聚焦水平，既整形单个光束的光波前(例如，赋予曲率)以及以与设计的聚焦水平相匹配的角度将光束转向。
80.因此，这些不同的路径可以通过多个doe 608以不同的角度、聚焦水平和/或在出射光瞳处产生不同的填充图案来使光耦合到主平面波导604外。出射光瞳处的不同填充图案可以有利地用于创建具有多个深度平面的光场显示。波导组件中的每一层或堆叠中的一组层(例如3层)可用于产生相应的颜色(例如，红色、蓝色、绿色)。因此，例如，可以采用第一组的三个相邻层在第一焦深处分别产生红光、蓝光和绿光。可以采用第二组的三个相邻层在第二焦深处分别产生红光、蓝光和绿光。可以采用多组来产生具有各种焦深的全3d或4d彩色图像光场。
81.眼睛图像集选择示例
82.可以使用诸如面向内的成像系统452(参见例如图4)的相机对头戴式显示器(hmd)(例如，图2中所示的可穿戴显示系统200或图4和图6中的显示系统400)的穿戴者的眼睛进行成像。眼睛图像集选择技术可用于选择从相机获得的某些眼睛图像。所选择的眼睛图像
集可用于各种生物识别应用。例如，在一些实施方式中，由面向内的成像系统452捕获的图像可用于确定眼睛姿态(例如，穿戴者的一只眼睛或两只眼睛的方向)或生成或确定虹膜代码。
83.图2中的本地处理和数据模块224和/或远程数据储存库232可以存储图像文件、视频文件、或图像音频和视频文件。例如，在各种实施方式中，数据模块224和/或远程数据储存库232可以存储要由本地处理和数据模块224处理的多个眼睛图像。本地处理和数据模块224和/或远程处理模块228可被编程为在生物提取中使用在此所公开的眼睛图像集选择技术，例如以识别或认证穿戴者204的身份，或者在姿态估计中，例如以确定每只眼睛正在看向的方向。例如，可以使处理模块224、228执行眼睛图像集选择的方面。附加地或替代地，图4中的控制器450可被编程以使得执行眼睛图像集选择的方面。
84.参考图2，图像捕获设备可以捕获用于特定应用的视频(例如，用于眼睛跟踪应用的穿戴者眼睛的视频或用于手势识别应用的穿戴者的手或手指的视频)。可以通过处理模块224、228中的一者或全部两者使用眼睛图像集选择技术来分析视频。通过该分析，处理模块224、228可以执行眼睛姿态识别或检测和/或生物提取等。例如，本地处理和数据模块224和/或远程处理模块228可以被编程为存储从附接到框架212的相机获得的眼睛图像。此外，本地处理和数据模块224和/或远程处理模块228可被编程以使用在此描述的技术(例如，例程700)处理眼睛图像，以选择可穿戴显示系统200的穿戴者的眼睛图像集。在一些情况下，将眼睛图像集选择中的至少一些卸载到远程处理模块(例如，在“云”中)可以提高计算的效率或速度。这样的眼睛图像集选择可以便于去除眼睛图像中的聚焦误差、眼睛图像中存在的照明效果或者眼睛图像中存在的任何其它图像失真。为了便于去除这种失真，眼睛图像中虹膜的定量表示可以用作眼睛图像质量的度量。例如，虹膜代码可以与眼睛图像的质量度量相关联。
85.一般而言，可以将眼睛的虹膜(例如，如在眼睛图像中获得的)映射(例如，“展开(unroll)”)到具有径向坐标r和角度坐标θ的极坐标表示系统。在虹膜区域的极坐标系中的这种表示可以被称为眼睛图像的该部分的虹膜代码。或者在另一个实施例中，可以首先将虹膜分割成具有被映射到极坐标表示系统的两个角度维度。因此，在任一实施例中，可以从图像中提取、生成、确定或计算虹膜代码。作为极坐标系中的虹膜的虹膜代码的示例，可以以像素为单位测量眼睛特征的移位，该移位可以被转换为角度坐标的度量，例如以度为单位。
86.可以以各种方式计算虹膜代码。例如，在一些实施例中，可以根据john daugman为虹膜生物识别学开发的算法(参见例如美国专利no.5,291,560)生成虹膜代码。例如，虹膜代码可以基于虹膜图像(在极坐标中)与二维带通滤波器(例如，伽柏滤波器)的卷积，并且虹膜代码可以被表示为两个比特(bit)数(例如，特定伽柏滤波器的响应是正的还是负的)。
87.虹膜代码可以反映眼睛图像的图像质量。例如，从概率的观点来看，当使用较高质量的图像来生成虹膜代码时，虹膜代码在编码比特中可具有较少的错误。因此，可能期望获得具有通过特定图像质量阈值的图像质量的眼睛图像。可以使用各种图像质量度量来评估眼睛图像的质量。例如，眼睛图像可以具有与图像相关联的各种质量因子，包括但不限于：分辨率(例如，虹膜分辨率)、焦点、散焦、清晰度、模糊、未被遮挡的像素或被遮挡的像素(例如，被睫毛或眼睑遮挡)、眩光、闪光(例如，角膜反射)、噪声、动态范围、色调再现、亮度、对
比度(例如，伽马)、色彩准确度、色彩饱和度、白度、失真、渐晕、曝光准确度、横向色差、镜头光斑、伪像(例如，诸如在raw转换期间的软件处理伪像)和彩色莫尔条纹。
88.这些质量因子中的每一个可具有与该质量因子的度量相关联的质量度量。因此，可以确定某个质量度量与虹膜代码中的错误数量之间的关系(例如，通过使用标准眼睛图像的校准)。例如，具有较少模糊的图像(例如，当被捕获时，相对于参考眼睛图像移动得较少的眼睛)可以在该图像的对应虹膜代码中具有较少数量的错误，指示对于模糊而言的较高质量因子。作为另一示例，图像中未被遮挡的像素的量可以与该图像的对应虹膜代码中的错误的数量成比例地对应(例如，较多数量的未被遮挡的像素可以导致对应的虹膜代码中成比例地较低数量的错误)。此外，当用户眨眼或移动离开相机时，未被遮挡的像素的量可能减少，导致对于未被遮挡的像素而言的较低质量因子。被遮挡(或未被遮挡)的像素的量可以被量化为像素的数量或百分比、被遮挡(或未被遮挡)的图像的面积等等。
89.如这些示例所示，任何眼睛图像可用于计算反映眼睛图像质量的图像质量度量(例如，实数值)q。在许多情况下，对于较高质量的图像，q较高(例如，未被遮挡的像素的q可以随着未被遮挡的像素的量增加而增大)，并且高质量图像包括具有通过质量阈值(增加到质量阈值以上)的q值的那些图像。在其它情况下，对于较高质量的图像，q较低(例如，被遮挡的像素的q可以随着被遮挡的像素的量减小而减小)，并且高质量图像包括具有通过质量阈值(减小到质量阈值到以下)的q值的那些图像。
90.在一些实施方式中，眼睛图像的质量度量可以是针对图像计算的多个分量(component)质量度量的组合。例如，眼睛图像的质量度量可以是各种分量质量度量的加权和。这种质量度量可以有利地将不同类型的图像质量(例如，未被遮挡的像素的量、分辨率和焦点)量化为图像质量的单个整体度量。
91.在一些情况下，可以将透视校正应用于眼睛图像(例如，以减少成像相机与眼睛之间的透视效果)。例如，可以对眼睛图像进行透视校正，使得眼睛看起来是直视而不是从一角度观看。在一些情况下，透视校正可以改善眼睛图像的质量。在一些实施例中，可以从透视校正的眼睛图像计算质量度量。
92.可以在处理模块204、228中计算或处理与眼睛图像相关联的质量度量。例如，在一些实施方式中，处理模块224、228可以确定与所获得的眼睛图像相关联的图像质量度量。另外，可以在处理模块224、228中完成与眼睛图像相关联的各种处理技术和每个眼睛图像的对应的多个质量度量。例如，可以将每个确定的质量度量与图像质量阈值q进行比较。图像质量阈值q可以与特定质量度量的特定质量等级相关联。仅作为一个示例，眼睛图像的分辨率(例如，质量度量)可以就虹膜的分辨率而论来表示，其中虹膜的分辨率被表示以像素为单位的距离。在许多应用中，为了捕获虹膜细节，虹膜的径向分辨率大于约70个像素并且可以在80到200个像素的范围内。例如，对于虹膜的半径，图像质量阈值可以是130个像素。
93.示例性地，可以将所获得的虹膜半径为110个像素的眼睛图像与虹膜半径为130个像素的图像质量阈值进行比较。这样的图像将通过阈值，因此不被选择作为要在进一步处理中使用的眼睛图像集的一部分。然而，如果所获得的眼睛图像的虹膜半径为150个像素，则该所获得的眼睛图像可以被选择作为用于进一步眼睛图像处理的图像集的一部分。例如，所获得的眼睛图像可用于生成虹膜代码。在其它实施方式中，图像质量度量可以是在眼睑之间可见的虹膜的百分比。例如，低于50％的百分比可以指示在捕获眼睛图像时正在眨
眼。在一些实施例中，如果图像质量度量通过被表示为60％、70％、75％、80％、90％或更高的百分比的图像质量阈值，则图像可以被选择。
94.从这些示例中可以看出，图像质量阈值可以将所获得的眼睛图像的图像质量与虹膜代码的后续生成相关联：所获得的通过图像质量阈值的眼睛图像可以被选择作为用于生成虹膜代码的图像集的一部分，而所获得的通过图像质量阈值的眼睛图像不会被选择。如下面在图7中进一步描述的，例程700描绘了用于处理这样的眼睛图像以确定它们是否通过图像质量阈值以及是否在虹膜代码的生成中利用这样的图像的示例性工作流程。
95.尽管已经将前述示例描述为将质量度量q与特定图像质量阈值q进行比较，但这仅用于说明而不旨在限制。在其它实施方式中，可以在选择眼睛图像集时使用任何阈值比较。例如，所选择的眼睛图像集可以是图像i的固定部分p，对于该固定部分p，质量qi在大小的顶部分数p中，其中p可以是例如1％、5％、10％、15％、20％、25％、33％或50％。作为另一示例，所选择的眼睛图像集可以是固定的图像数量n，该n个图像具有最高得分qi，其中n可以是1、2、3、4、5、10或更多。在一些情况下，仅使用单个最优质量图像(例如，n＝1)。图像质量阈值可以表示等级(例如，a、b、c、d或f)，并且高于阈值等级(例如，b)的图像可以用于分析。
96.当从图像捕获设备(例如，面向内的成像系统452)实时获得眼睛图像时，可以将所选择的眼睛图像集缓冲到存储缓冲器中。例如，在一个缓冲实施方式中，可以将与缓冲器中的每个眼睛图像相关联的质量度量与要添加到具有与其相关联的相同或相似质量度量的缓冲器的附加眼睛图像进行比较。可以将附加眼睛图像的质量度量与缓冲器中的眼睛图像的质量度量进行比较，以确定是否应该将该附加眼睛图像添加到缓冲器或者取代先前缓冲的眼睛图像中的一个眼睛图像。例如，如果与该附加眼睛图像相关联的质量度量通过与具有较低质量度量的缓冲图像之一相关联的质量度量，则该附加眼睛图像可以取代缓冲图像中的一个缓冲图像。
97.作为就虹膜半径是质量度量而论的示例，缓冲的眼睛图像可以包含具有132个像素和150个像素之间的虹膜半径的眼睛图像。这些缓冲的眼睛图像可以是附加眼睛图像之前的“优选”眼睛图像，该附加眼睛图像的虹膜半径优于132个像素。在附加眼睛图像具有145个像素的虹膜半径的情况下，该附加眼睛图像可以取代具有132个像素的虹膜半径的图像之一。因此，可以在用于生成虹膜代码的缓冲器中保持“优选的”眼睛图像。尽管已经在缓冲器中缓冲“优选的”眼睛图像集的上下文中描述了前述示例，但这仅用于说明而不是限制性的。在其它实施方式中，可以在缓冲眼睛图像时使用任何合适的缓冲方案。
98.如下面在图7中进一步描述的，例程700描绘了用于处理这样的眼睛图像以确定这样的眼睛图像是否通过图像质量阈值以及是否在虹膜代码的生成中利用这样的图像的示例性工作流程。
99.在一些情况下，眼睛图像可能不通过图像质量阈值；并且随后的眼睛图像可能不会通过相同的图像质量阈值。因此，在一些实施方式中，处理模块224、228可以使用呈现给穿戴者204的图形来实施眼睛图像采集例程，以获得通过图像质量阈值的图像。例如，可以引导穿戴者204朝向该图形看，同时拍摄穿戴者的眼睛的图像。图形可以移动，以便获得不同眼睛姿态下的眼睛图像。这样的例程可以获得可以用于生成虹膜代码的眼睛图像。如下面进一步描述的，可以使用各种这样的眼睛图像采集例程来获得或采集用于生成虹膜代码的眼睛图像。
100.眼睛图像集选择例程示例
101.图7是示例性眼睛图像集选择例程的流程图。例程700描绘了用于处理眼睛图像以确定它们是否通过图像质量阈值以及是否在虹膜代码的生成中利用这种图像的工作流程示例。
102.在框704处，获得一个或多个眼睛图像。眼睛图像可以从各种源获得，所述源包括但不限于：图像捕获设备、头戴式显示系统、服务器、非暂时性计算机可读介质、或客户端计算设备(例如，智能手机)。
103.继续例程700，在框708处，确定至少一些所获得的眼睛图像的图像质量度量。在各种实施方式中，可以根据关于眼睛图像集选择的示例在此描述的各种图像质量度量来为每个眼睛图像确定图像质量度量。例如，眼睛图像的分辨率(例如，质量度量)可以通过虹膜的分辨率表示，虹膜的分辨率被表示为以像素为单位的距离。
104.在框712处，将所确定的每个眼睛图像的图像质量度量与相应的图像质量阈值进行比较。例如，如果每个眼睛图像使用一定量的模糊作为质量度量，则可以将每个眼睛图像的模糊与模糊质量阈值进行比较。替代地，一些眼睛图像可以使用模糊，而其它眼睛图像可以使用另一图像质量度量(例如，颜色饱和度、未被遮挡的像素的数量、百分比或面积等)。在该情况下，可以使用用于该相应质量度量的图像质量阈值进行比较。
105.在框716处，选择具有满足或通过图像质量阈值的对应图像质量度量的眼睛图像集。在各种类型的图像质量度量中，较好的图像具有较大的质量度量并且通过阈值，并且图像质量度量增加到阈值以上。在其它类型的图像质量度量中，较好的图像具有较小的质量度量(例如，量化图像缺陷的度量)，并且为了通过阈值，图像质量度量降低到阈值以下。该眼睛图像集可以用于各种生物识别应用，其中已经确定该眼睛图像集通过某些图像质量阈值。因此，在框720处，利用所选择的眼睛图像集来生成一个或多个虹膜代码。例如，可以根据在此描述的方法生成虹膜代码(参见例如美国专利no.5,291,560)。
106.在各种实施例中，例程700可以由诸如显示系统200的实施例的显示系统的硬件处理器(例如，处理模块224、228或控制器450)来执行。在其它实施例中，具有计算机可执行指令的远程计算设备可以使头戴式显示系统执行例程700的各方面。例如，可以使远程计算设备确定图像质量度量，或者使远程计算设备选择具有通过图像质量阈值的图像质量度量的眼睛图像集。
107.眼睛图像采集示例
108.头戴式显示系统可以向显示系统穿戴者204显示图形或图像，以采集或获得由处理模块224、228处理的眼睛图像。例如，图2中所示的可穿戴显示系统200或图4和图6中的显示系统400的用户(诸如穿戴者204)可以在可穿戴显示系统200或显示系统400的显示器208上观看图形或图像。可以在显示器208的各个眼睛姿态区域中显示图形(诸如看起来逼真的或动画的蝴蝶或大黄蜂、或化身)，直到获得用于显示器208的一个或多个眼睛姿态区域的足够的眼睛图像质量的眼睛图像。例如，可以确定眼睛图像的质量并将其与图像质量阈值进行比较，以确定该眼睛图像具有可用于生物识别应用(例如，虹膜代码的生成)的图像质量。如果某个眼睛姿态区域中的眼睛图像没有通过或满足图像质量阈值，则显示器208可以被配置为继续在该特定区域中显示一个或多个图形，直到获得足够的眼睛图像质量的眼睛图像。在一个特定区域中显示的一个或多个图形在不同的实施方式中可以相同或不同。例
如，图形可以在该特定区域中的相同或不同位置处或以相同或不同的取向显示。
109.可以使用故事模式或可以将穿戴者的一只或两只眼睛引导或吸引朝向显示器208的不同区域的模式，在显示器208的各个眼睛姿态区域中显示图形。例如，在下面参考图8描述的一个实施例中，可以示出蝴蝶跨显示器208的各个区域移动。在显示器208的各个区域中显示的图形的实例可以具有吸引或引导穿戴者的一只或两只眼睛朝向其中显示该图形的实例的一个或多个眼睛姿态区域的特性(例如，不同的深度、颜色或大小)。在一些实施例中，在显示器208的各个区域中显示的图形可以看起来具有变化的深度，使得穿戴者的一只或两只眼睛被吸引朝向其中显示图形的实例的眼睛姿态区域。
110.图8示意性地示出头戴式显示系统的显示器208上的示例场景800。如图8中所示，显示器208可以显示具有移动图形805的场景800。例如，如图所示，图形805可以是在整个场景800中飞行时向用户显示的蝴蝶。图形805可以显示在背景图像或场景(图8中未示出)上或作为背景图像或场景的一部分。在各种实施例中，图形可以是化身(例如，人、动物或东西的拟人化，例如图1中所示的蝴蝶或大黄蜂140)，或者是可以被配置为显示在显示器208的特定眼睛姿态区域中的任何其它图像或动画。图形805可以针对用户定制(例如，基于年龄、焦虑水平、成熟度、兴趣等)。例如，为了避免引起儿童的焦虑，图形805可以是儿童友好的角色(例如蝴蝶或友好的大黄蜂140)。作为另一示例，对于作为汽车狂热者的用户，图形805可以是诸如赛车的小汽车。因此，当在显示器208的各个区域中移动时，图形805可以使用可穿戴显示系统200向穿戴者204显示为并且看起来是视频动画。图形805可以在初始位置810a中开始并沿着路径815前进到最终位置810b。例如，如图所示，图形805可以以顺时针方式跨显示器(例如，沿着虚线)移动到显示器208的不同区域中。作为另一个示例，图形805可以看起来是z字形或跨显示器208的不同区域随机移动。一种可能的z字形图案可以是区域820r1、820r2、820r4、820r0、820r3、820r5、820r7和820r8。
111.仅为了示例，显示器208在图8中被示出为具有相同大小的九个区域820r0-820r8。显示器208的区域820r0-820r8的数量在不同的实施方式中可以是不同的。显示器的任何数量的区域可用于捕获眼睛图像，同时图形从一个区域到另一个区域进行，以将眼睛引导朝向该相应区域。例如，眼睛姿态区域的数量可以是2、3、4、5、6、9、12、18、24、36、49、64、128、256、1000或更多。可以针对一些或所有眼睛姿态区域捕获眼睛图像。显示器208的区域820r0-820r8的形状在不同的实施方式中可以是不同的，例如矩形、正方形、圆形、三角形、椭圆形、菱形。在一些实施例中，显示器208的不同区域的大小可以不同。例如，更靠近显示器208的中心的区域可以比更远离显示器208的中心的区域更小或更大。作为另一个示例，眼睛姿态区域可以包括显示器208的半部、象限或任何分段。
112.路径815可以在期望获得高质量眼睛图像的眼睛姿态区域中、横跨或围绕期望获得高质量眼睛图像的眼睛姿态区域移动，并且路径815可以避免其中眼睛图像是不期望的(例如，通常质量差)或不需要的(例如，对于特定的生物识别应用)眼睛姿态区域。例如，生物识别应用(例如，虹膜代码生成)可能倾向于使用其中用户的眼睛直视(例如，直视眼睛姿态区域820r0)的眼睛图像。在这种情况下，图形805可倾向于主要在眼睛姿态区域820r0内移动并且不在眼睛姿态区域820r1-820r8中移动(或较不频繁地移动)。与场景800的周边区域相比，路径815可以更集中在场景800的中心。在其它生物识别应用中(例如，眼睛的视网膜的诊断)，可能期望获得这样的眼睛图像：其中，用户正朝向远离区域820r0的方向(例如，
远离自然休息的眼睛姿态)，以便获得视网膜的内侧或外侧区域(远离中央凹)的图像。在这种应用中，与场景的中心(例如，区域820r0)相比，图形805可倾向于围绕场景800的周边(例如，区域820r1-820r8)移动。路径815可以更集中在场景的周边周围，并且倾向于避开场景的中心(例如，类似于图8中所示的路径815)。
113.仅为了示例，显示器208的眼睛姿态区域820r0-820r8被描绘为由显示器20中的水平和垂直虚线分隔开。这样的眼睛姿态区域820r0-820r8是为了便于描述而被勾画轮廓，并且可以表示穿戴者的眼睛应该指向的显示器208的区域，以便可以获得眼睛图像。在一些实施方式中，图8中所示的水平和垂直虚线对用户不可见。在一些实施方式中，图8中所示的水平或虚线对用户可见，以将穿戴者的一只或多只眼睛引导朝向显示器208的特定区域。
114.图8中所示的路径815是示例性的而不旨在限制性的。路径815可以具有与图8中所示不同的形状。例如，路径815可以交叉、重新交叉或避开一个或多个眼睛姿态区域80r0-820r1，并且可以是直线、多边形或曲线等。移动图形815的速度可以是大致恒定的或可变的。例如，图形805可以在某些眼睛姿态区域(例如，在其中拍摄一个或多个眼睛图像的眼睛姿态区域)中减慢或停止，或者图形805可以加速或跳过其它眼睛姿态区域(例如，其中眼睛图像不是需要或期望的眼睛姿态区域)。路径815可以是连续的或不连续的(例如，图形805可以跳过或围绕某些眼睛姿态区域)。例如，参考图8，如果图形805在眼睛姿态区域820r4中的位置810b处，并且生物识别应用需要其中用户的眼睛被引导朝向眼睛姿态区域820r8的眼睛图像，则显示系统可以将图形805显示为使得其连续移动至区域820r8(例如，蝴蝶跨场景从区域820r4经过区域820r0并飞入区域820r8)，或者显示系统可以简单地停止在区域820r4中显示图形805，并且然后开始在区域820r8中显示图形805(例如，蝴蝶将看起来已从区域820r4跳到820r8)。
115.眼睛姿态区域可以被认为是真实二维坐标空间或正整数二维坐标空间的连接子集，其根据穿戴者的眼睛姿态的角度空间指定该眼睛姿态区域。例如，在一个实施例中，眼睛姿态区域可以在方位角偏转中的特定θ
min
与特定θ
max
之间和在天顶偏转中的特定φ
min
与特定φ
max
之间。另外，眼睛姿态区域可以与特定区域分配相关联。这种区域分配可能不会在显示器208上向穿戴者204显现，但是在图8中用于示例的目的而示出。可以以任何合适的方式分配区域。例如，如图8中所描绘，中心区域可以是分配区域820r0。在所描绘的实施例中，区域的编号可以以大致水平顺序的方式进行，其中中心区域为分配区域820r0，以右下区域为分配区域820r8结束。这些区域820r0-820r8可以被称为眼睛姿态区域。在其它实施方式中，各区域可以不同于图8中所示进行编号或引用。例如，左上区域可以是分配区域820r0，并且右下区域可以是分配区域820r8。
116.场景800可由可穿戴显示系统以vr显示模式呈现，其中穿戴者204看到图形805，但看不到外部世界。或者，场景800可以以ar或mr显示模式呈现，其中穿戴者204看到叠加在外部世界上的视觉图形805。当图形805正被显示在一眼睛姿态区域中时，眼睛图像可以由耦接到可穿戴显示系统200的图像捕获设备(例如，图4中的面向内的成像系统452)捕获。仅作为一个示例，可以在显示器208的眼睛姿态区域820r0-820r8的一个或多个中捕获一个或多个眼睛图像。例如，如图所示，图形805可以在初始位置810a中开始，并在显示器208的该左上眼睛姿态区域(例如，区域820r1)内移动。随着图形805在该左上眼睛姿态区域中移动，穿
戴者204可以将他们的眼睛引导朝向显示器208的该区域。在图形805位于显示器208的左上眼睛姿态区域中时，由相机捕获的一个或多个眼睛图像可以包括处于在该方向上看时的某种眼睛姿态的眼睛。
117.继续该示例，图形805可以沿着路径815移动到中上眼睛姿态区域(例如，区域820r2)，在该中上眼睛姿态区域中可以捕获具有指向中上区域的眼睛姿态的眼睛图像。图形805可以在显示器208的各个眼睛姿态区域820r0-820r8中到处移动，同时在该过程期间间歇地或连续地捕获眼睛图像，直到图形805到达区域820r4中的最终位置810b。可以针对每个区域捕获一个或多个眼睛图像，或者可以在比图形805移动通过的所有区域少的区域中捕获眼睛图像。因此，所捕获的眼睛图像可以包括一个或多个不同眼睛姿态中的眼睛的至少一个图像。如下面将进一步描述的，眼睛姿态可以被表示为两个角度的表示。
118.图形805还可以保留在显示器208的一眼睛姿态区域中，直到获得或捕获某个图像质量的图像。如在此所述，各种图像质量度量可用于确定某个眼睛图像是否通过图像质量阈值(q)。例如，图像质量阈值可以是与用于生成虹膜代码的图像度量等级对应的阈值。因此，如果在图形805处于显示器208的某个眼睛姿态区域中时捕获的一眼睛图像通过图像质量阈值，则图形805可以保留在该眼睛姿态区域中(或返回到该眼睛姿态区域)，直到获得满足或通过图像质量阈值的图像。还可以为显示器的特定眼睛姿态区域限定图像质量阈值。例如，特定的生物识别应用可能需要使显示器208的某些区域变暗。因此，那些区域的图像质量阈值可能高于尚未变暗的区域的图像质量阈值。在该图像采集过程期间，图形805可以以用于继续将穿戴者的眼睛引导朝向该区域的故事模式或动画继续。
119.眼睛图像采集例程还可用于校正虹膜代码中的脆弱比特(fragile bit)。脆弱比特指的是在眼睛图像之间不一致的虹膜代码的比特(例如，存在很大的可能性，对于一些眼睛图像，比特为零，而对于同一虹膜的其它图像，比特为一)。更具体地，脆弱比特可以是眼睛图像的虹膜代码中的弱限定比特，其可以表示测量中的经验不可靠性。例如，利用贝叶斯模型来求解伯努利分布的参数的不确定性，可以量化脆弱比特。例如，还可以将脆弱比特识别为表示通常由眼睑覆盖或由睫毛遮挡的区域的那些比特。眼睛图像采集例程可以利用图形805来主动地将眼睛引导到不同的眼睛姿态，从而减少脆弱比特对所得到的虹膜代码的影响。仅作为一个示例，图形805可以将眼睛引导至未被眼睑或睫毛遮挡的眼睛姿态区域。附加地或替代地，可以将掩模(mask)应用于眼睛图像以减少脆弱比特的影响。例如，可以应用掩模，使得被识别为产生脆弱比特的眼睛区域(例如，虹膜的上部或下部，在这里更可能发生遮挡)可以被忽略用于虹膜生成。作为另一示例，图形805可以返回到更可能生成脆弱比特的眼睛姿态区域以从那些区域获得更多眼睛图像，从而减少脆弱比特对所得到的虹膜代码的影响。
120.图形805还可以保留在(或返回到)显示器208的眼睛姿态区域，直到针对特定眼睛姿态区域捕获或获得多个图像。也就是说，代替将每个眼睛图像的图像质量度量与“在飞行中的(on-the-fly)”图像质量阈值进行比较，或者实时地可以从每个眼睛姿态区域获得一定数量的眼睛图像。然后，可以处理针对该眼睛姿态区域获得的每个眼睛图像以获得一图像质量度量，该图像质量度量进而与相应的图像质量阈值进行比较。可以看出，取决于应用需求或要求，眼睛图像采集过程的眼睛姿态区域可以并行或顺序执行。
121.在该眼睛图像采集例程期间，可以以各种模式在显示器208的一个或多个眼睛姿
态区域中显示图形。例如，图形可以以随机模式、飞行模式、闪烁模式、波动模式或故事模式在显示器的特定眼睛姿态区域中(或跨两个或更多个眼睛姿态区域)显示。故事模式可以包含图形可以参与的各种动画。仅作为故事模式的一个示例，蝴蝶可以从茧中飞出并围绕显示器208的特定区域飞行。当蝴蝶飞来飞去时，可能会出现花，蝴蝶可以采花蜜。可以看出，蝴蝶的故事可以在显示器208的特定区域中或者跨显示器208的两个或更多个区域显示。
122.在波动模式中，当蝴蝶在显示器208的特定区域中飞来飞去时，蝴蝶的翅膀可以看起来在大小上波动。在随机模式中，图形805在特定区域内的确切位置可以是随机的。例如，图形805可以简单地出现在左上区域的不同位置中。作为另一示例，图形805可以从初始位置810a开始在左上眼睛姿态区域内以部分随机的方式移动。在闪烁模式中，蝴蝶或蝴蝶的一方可以看起来在特定区域内或跨显示器208的两个或更多个区域闪烁。在显示器208的各个眼睛姿态区域中各种模式是可能的。例如，图形805可以在故事模式中出现在初始位置810a中的左上区域中；而图形805可以使用闪烁模式出现在最终位置810b中的左中区域中。
123.还可以以各种模式在显示器208的整个眼睛姿态区域820r0-820r8中显示图形。例如，图形可以以随机或顺序的方式出现(分别称为随机模式或顺序模式)。如在此所述，图形805可以以顺序方式移动通过显示器208的各个区域。继续该示例，图形805在显示器208的眼睛姿态区域之间可以使用居间(intervening)动画沿着路径815移动。作为另一个示例，图形805可以出现在显示器208的不同区域中而没有居间动画。作为另一个示例，第一图形(例如，蝴蝶)可以出现在第一眼睛姿态区域中，而另一个图形(例如，大黄蜂)可以出现在第二眼睛姿态区域中。
124.在一个实施例中，不同的图形可以从一个区域到下一个区域连续(in series)出现。或者，在另一个实施例中，可以在故事模式中使用各种图形，因为不同的图形出现在不同的眼睛姿态区域中以讲述故事。例如，茧可能出现在一个眼睛姿态区域中，并且然后蝴蝶出现在另一个眼睛姿态区域中。在各种实施方式中，不同的图形也可以随机分布在整个眼睛姿态区域中，因为眼睛图像采集过程可以将眼睛从一个眼睛姿态区域引导到另一个眼睛姿态区域，其中每个眼睛姿态区域中出现不同的图形。
125.还可以以随机方式获得眼睛图像。因此，图形805也可以以随机方式显示在显示器208的各个眼睛姿态区域中。例如，图形805可以出现在上中区域中，并且一旦针对该区域获得眼睛图像，图形805此后可以出现在图8中的显示器208的右下眼睛姿态区域(例如，分配区域820r8)中。作为另一个示例，图形805可以以看似随机的方式显示，在每个眼睛姿态区域上显示图形805至少一次，在单个区域上没有重复，直到图形805已经显示在其它区域中。这种伪随机显示方式可以发生，直到获得足够数量的眼睛图像用于图像质量阈值或一些其它应用。因此，可以以随机方式而不是顺序方式，获得穿戴者的一只或两只眼睛的各种眼睛姿态。
126.在一些情况下，如果在阈值尝试次数之后不能获得针对某个眼睛姿态区域的眼睛图像(例如，针对该眼睛姿态区域捕获的三个眼睛图像未通过图像质量阈值)，则眼睛图像采集例程可以在该眼睛姿态区域上跳过或暂停采集持续一段时间，同时先从一个或多个其它眼睛姿态区域获得眼睛图像。在一个实施例中，如果在阈值尝试次数之后不能获得眼睛图像，则眼睛图像采集例程可以不获得针对某个眼睛姿态区域的眼睛图像。
127.可以相对于自然休息姿态(例如，用户的面部和视线都被取向为它们将朝向在用
户正前方的远处对象)来描述眼睛姿态。眼睛的自然休息姿态可以由自然休息位置指示，该自然休息位置是当处于自然休息姿态时(例如，直接在眼睛平面外)与眼睛表面正交的方向。当眼睛朝向不同对象移动时，眼睛姿态相对于自然休息位置发生变化。因此，可以参考如下的眼睛姿态方向来测量当前眼睛姿态：该眼睛姿态方向是与眼睛表面正交(并且以瞳孔为中心)但是朝向眼睛当前所指向的对象的方向。
128.参考示例性坐标系，眼睛的姿态可以表示为两个角度参数，这两个角度参数指示眼睛的眼睛姿态方向的方位角偏转和天顶偏转，这两种偏转都是相对于眼睛的自然休息位置。这些角度参数可以表示为θ(从基准方位角测量的方位角偏转)和φ(天顶偏转，有时也称为极偏转)。在一些实施方式中，眼睛围绕眼睛姿态方向的角度滚动(angular roll)可以被包括在眼睛姿态的测量中，并且角度滚动可以被包括在以下分析中。在其它实施方式中，可以使用用于测量眼睛姿态的其它技术，例如俯仰、偏航和可选的翻滚系统。使用这样的眼睛姿态表示，表示为方位角偏转和天顶偏转的眼睛姿态可以与特定眼睛姿态区域相关联。因此，可以从眼睛图像采集过程期间获得的每个眼睛图像确定眼睛姿态。眼睛图像的眼睛姿态、眼睛区域之间的这种关联可以存储在数据模块224、232中，或者使得这种关联可由处理模块224、228访问(例如，可经由云存储器访问)。
129.还可以选择性地获得眼睛图像。例如，特定穿戴者的某些眼睛图像可能已经被处理模块224、228存储或可由其访问。作为另一个示例，特定穿戴者的某些眼睛图像可能已经与某些眼睛姿态区域相关联。在这种情况下，图形805可以仅出现在一个眼睛姿态区域或者特定眼睛姿态区域中，该一个眼睛姿态区域或者特定眼睛姿态区域不具有与该眼睛姿态区域或特定眼睛姿态区域相关联的眼睛图像。示例性地，可能已经针对第1、3、6、8号眼睛区域获得了眼睛图像，而没有针对第2、4、5、7的其它眼睛姿态区域获得眼睛图像。因此，图形805可以出现在第2、4、5和7号中的姿态区域中，直到针对通过图像质量度量阈值的每个相应眼睛姿态区域获得眼睛图像为止。
130.如下面在图9中进一步描述的，例程900描绘了用于采集眼睛图像以确定它们是否通过图像质量阈值以及是否在虹膜代码的生成中利用这些图像的示例性工作流程。因此，在一些实施方式中，处理模块224、228可以使用图形来实施眼睛图像采集例程以获得通过图像质量阈值的图像。例如，可以使处理模块224、228执行眼睛图像集采集例程的各方面。附加地或替代地，控制器450可以被编程为使得执行眼睛图像集采集例程的各方面。在一些场景中，已经使用在此描述的各种眼睛图像采集例程获得了针对每个眼睛姿态区域通过图像质量阈值的眼睛图像，可以使用各种技术来组合或合并眼睛图像(或眼睛图像的表示)，以用于生成或提取虹膜代码。如下面进一步描述的，可以使用各种这样的眼睛图像组合例程以生成虹膜代码。
131.眼睛图像采集例程的示例
132.图9是示例性眼睛图像采集例程的流程图。例程900描绘了使用图形和一个或多个图像质量阈值来采集眼睛图像的示例性工作流程。在框904处，眼睛姿态区域与显示器(诸如头戴式显示器的显示器)的显示区域相关联。例如，第一眼睛姿态区域可以是显示器的左上区域，并且第二眼睛姿态区域可以是显示器的右下区域。
133.在框908处，在第一眼睛姿态区域中显示图形。例如，如在此所述，图形可以是蝴蝶动画。在框912处，获得第一眼睛图像，其与第一眼睛姿态区域相关联。例如，当图形被显示
在左上显示区域中时，图像捕获设备可以捕获与左上眼睛姿态区域相关联的第一眼睛图像。图像捕获设备可以是图452中所示的面向内的成像系统452。
134.在框9216处，确定第一眼睛图像的图像度量通过第一图像质量阈值。例如，第一眼睛图像的模糊度量可以通过模糊质量阈值。这可以指示在第一眼睛姿态区域中获得的第一眼睛图像的质量是足以在生物识别应用中利用的质量。如在此所述，各种图像质量度量是可能的。在另一实施例中，第一眼睛图像的颜色饱和度量可用于确定是否通过针对该第一眼睛图像的颜色饱和阈值。颜色可以包括视觉中的颜色(例如，红色、绿色、蓝色等)。对于红外图像，颜色可以包括红外中的各种光谱带(例如，700nm-800nm、800nm-900nm等)。在一些情况下，眼睛图像的对比度可以在近红外中(从约700nm至约1000nm)增加，并且图像采集900例程可以在框912处获得近红外图像。
135.替代地或附加地，在框916处，如果确定第一眼睛图像的图像度量通过第一图像质量阈值，则可以在相同的第一眼睛姿态区域中获得附加图像。例如，第一眼睛图像的模糊度量可以通过模糊质量阈值。通过这种图像质量阈值可以指示所获得的眼睛图像不是足以在生物识别应用中利用的质量。如在此所讨论的，取决于图像质量度量是增加还是减小以指示增加的图像质量，通过阈值可以适当地意味着通过以上或通过以下，这取决于上下文。因此，图形可以进一步显示在显示器的特定眼睛姿态区域中。图形可以继续被动画化或显示在显示器的左上部分中，使得可以获得另外的眼睛图像。眼睛图像的图像度量可被确定并与图像质量阈值进行比较。当获得具有通过模糊质量阈值的图像度量的眼睛图像时，该眼睛图像可以被认为是已经确定通过第一图像质量阈值的第一眼睛图像(在该示例中，显示器的对应的第一眼睛姿态区域)。
136.在框920处，在第二眼睛姿态区域中显示图形。例如，如在此所述，图形可以是沿着从左上显示区域到右下显示区域的路径行进的蝴蝶动画。在框924处，获得第二眼睛图像，其与第二眼睛姿态区域相关联。例如，当图形被显示在右下显示区域中时，图像捕获设备可以捕获第二眼睛图像，然后该第二眼睛图像与该对应眼睛姿态区域相关联，该对应眼睛姿态区域先前与该右下显示区域(例如，第二眼睛姿态区域)相关联。
137.在框928处，确定第二眼睛图像的图像度量通过第二图像质量阈值。例如，第二眼睛图像的模糊度量可以通过模糊质量阈值(例如，用于第二图像质量度量的模糊质量阈值可以是用于第一图像质量度量的相同模糊质量阈值)。这可以指示在第二眼睛姿态区域中获得的第二眼睛图像的质量是足以在生物识别应用中利用的质量。
138.在框932处，基于第一眼睛图像和第二眼睛图像为人眼确定虹膜代码。例如，根据在此描述的各种技术，来自第一和第二眼睛图像的虹膜图像可用于生成虹膜代码。在框940处，所确定的虹膜代码可用于生物识别应用或头戴式显示器的图像显示。例如，在一个实施例中，所确定的虹膜代码可用于确定第一和第二眼睛图像的相关联眼睛的眼睛姿态。
139.在各种实施例中，例程900可以由头戴式显示系统(诸如显示系统200的实施例)的硬件处理器执行。在其它实施例中，具有计算机可执行指令的远程计算设备可以使头戴式显示系统执行例程900的各方面。例如，可以使远程计算设备在第一眼睛姿态区域中显示图形，或者使远程计算设备将所确定的虹膜代码用于生物识别应用。
140.眼睛图像组合示例
141.如上所述，可以使用诸如相机或面向内的成像系统452(参见例如图4)的图像捕获
设备对头戴式显示器(hmd)(例如，图2中所示的可穿戴显示系统200或图4和图6中的显示系统400)的穿戴者的眼睛进行成像。眼睛图像组合技术可用于将从图像捕获设备获得的某些眼睛图像组合或合并成一个或多个混合眼睛图像。混合眼睛图像可用于各种生物识别应用。例如，在一些实施方式中，混合眼睛图像可用于确定眼睛姿态(例如，穿戴者的一只眼睛或两只眼睛的方向)或生成虹膜代码。
142.如在此所述，本地处理和数据模块224和/或远程数据储存库232可以存储图像文件、音频文件或视频文件。例如，在各种实施方式中，数据模块224和/或远程数据储存库232可以存储要由本地处理和数据模块224处理的多个眼睛图像。本地处理和数据模块224和/或远程处理模块228可以被编程为在生物提取或生成中使用在此公开的眼睛图像组合技术，例如以识别或认证穿戴者204的身份。替代地或附加地，处理模块224、228可以被编程为在眼睛姿态估计中使用在此公开的眼睛图像组合技术，例如以确定每只眼睛正在看向的方向。
143.图像捕获设备可以捕获用于特定应用的视频(例如，用于眼睛跟踪应用的穿戴者眼睛的视频，或用于手势识别应用的穿戴者的手或手指的视频)。可以通过处理模块224、228中的一者或全部两者使用眼睛图像集选择技术来分析视频。通过该分析，处理模块224、228可以执行眼睛组合技术和/或生物提取或生成等。例如，本地处理和数据模块224和/或远程处理模块228可以被编程为存储从附接到框架212的一个或多个图像捕获设备获得的眼睛图像。此外，本地处理和数据模块224和/或远程处理模块228可以被编程为使用在此描述的技术(例如，例程1000)处理眼睛图像以组合可穿戴显示系统200的穿戴者204的眼睛图像。例如，可以使得处理模块224、228执行眼睛图像组合技术的各方面。附加地或替代地，控制器450可以被编程为使得执行眼睛图像组合技术的各方面。
144.在一些情况下，将至少一些眼睛图像集选择技术卸载到远程处理模块(例如，在“云”中)可以提高计算的效率或速度。这种眼睛图像选择技术可以便于去除眼睛图像中的聚焦误差、眼睛图像中存在的照明效果或者眼睛图像中存在的任何其它图像失真。例如，为了便于去除这种失真，在此公开的眼睛图像选择技术可以有利地用于估计被眼睑遮挡的虹膜的部分。组合技术可以将多个眼睛图像组合成表示眼睛图像中的每一个眼睛图像的一部分的单个眼睛图像。
145.一般而言，可以使用图像融合技术或虹膜代码合并技术来组合眼睛图像。例如，图像融合技术可以通过各种图像融合方法(例如，超分辨率)组合多个图像，以产生单个混合图像，从该单个混合图像中提取或生成虹膜代码(例如，参考图10描述的例程1000，图10描绘了图像融合技术的示例性工作流程)。例如，虹膜代码合并技术可以单独地生成虹膜代码，每个眼睛图像一个虹膜代码，并且然后将所计算的虹膜代码组合成单个虹膜代码。在各种实施方式中，根据在此描述的技术，眼睛图像集选择技术(如在此所述的)可用于选择眼睛图像以组合或合并它们相应的虹膜代码。
146.图像融合技术示例
147.在图像融合技术的示例性实施方式中，可以以在此描述的各种方式(诸如通过面向内的成像系统452)获得眼睛图像。眼睛图像可以包括人眼的虹膜。可以针对眼睛图像估计或确定眼睛姿态。例如，如在此所述，眼睛姿态可以被表示为两个角度参数，这两个角度参数指示眼睛的眼睛姿态方向的方位角偏转和天顶偏转，方位角偏转和天顶偏转二者都是
相对于眼睛的自然休息位置。这种表示可以被表示为眼睛图像的数字表示。也就是说，所确定的眼睛姿态表示所获得的图像。
148.可以将所确定的眼睛姿态分配给与例如特定区域分配相关联的眼睛姿态区域。例如，眼睛图像可以与显示器208的特定眼睛姿态区域相关联。如在此关于图8所述，显示器208的各个眼睛姿态区域820r0-820r8可以是与在其中获得眼睛图像的眼睛姿态区域对应的分配区域编号。通常，任何显示分类(包括与显示器的区域相关联的区域分配)可用于将所获得的眼睛图像与该分类相关联。在一个实施方式中，可以将所确定的眼睛姿态分配给姿态象限(例如，具有四个眼睛姿态区域的显示器的区域)。例如，可以针对显示器208的四个眼睛姿态区域(或者，在该示例中，眼睛姿态象限)获得眼睛图像。每个眼睛图像可以与姿态象限中的一个姿态象限相关联，并且因此所确定的眼睛姿态与姿态象限之一相关联。在其它实施方式中，可以将更少(例如，2个)或更多(例如，4、5、6、9、12、18、24、36、49、64、128、256、1000或更多个)眼睛姿态区域用于获得眼睛图像。如在此所述，在一些实施方式中，可以针对每个区间(bin)获得多个眼睛图像，并且仅保留具有通过图像质量阈值的图像质量度量的图像的子集以用于随后的虹膜代码生成。
149.继续图像融合技术的示例性实施方式，眼睛图像或所确定的眼睛姿态表示可以分别被组合成混合眼睛图像或混合眼睛姿态表示。例如，与特定姿态区域相关联的每个图像可用于对整体融合图像做出贡献。融合图像可以是各个图像的加权和。例如，可以基于在此描述的质量因子q而为图像中的像素分配权重，其中q越大，则权重越大。可以使用其它图像融合技术，包括例如超分辨率、小波变换图像融合、主成分分析(pca)图像融合、高通滤波、高通调制、成对空间频率匹配图像融合、空间域或变换域图像融合等。图像融合技术可以包括强度-色调-饱和度(ihs)、比值变换(brovey transform)、基于
à
trous算法的小波变换、极性虹膜纹理的灰度级像素的直接融合、以及基于多分辨率分析的强度调制(mraim)技术。
150.利用融合的图像，可以如在此关于眼睛图像集选择例程的示例所描述的那样生成虹膜代码。所生成的虹膜代码可以表示所获得的眼睛图像的整体虹膜代码。
151.虹膜代码融合技术示例
152.在虹膜代码合并技术的示例性实施方式中，可以以在此描述的各种方式(诸如通过面向内的成像系统452)获得眼睛图像。可以针对眼睛图像估计或确定眼睛姿态。例如，如在此所述，眼睛姿态可以被表示为两个角度参数，这两个角度参数指示眼睛的眼睛姿态方向的方位角偏转和天顶偏转，方位角偏转和天顶偏转二者都是相对于眼睛的自然休息位置。这种表示可以被表示为眼睛图像的数字表示。也就是说，所确定的眼睛姿态表示所获得的图像。
153.可以将所确定的眼睛姿态分配给与特定区域分配相关联的眼睛姿态区域。例如，眼睛图像可以与显示器208的特定眼睛姿态区域相关联。如在此关于图8所述，显示器208的各个眼睛姿态区域可以与对应于其中已经获得眼睛图像的眼睛姿态区域的区域分配相关联。在一个实施方式中，可以将所确定的眼睛姿态分配给姿态象限(例如，具有四个眼睛姿态区域的显示器的区域)。例如，可以针对显示器208的四个眼睛姿态区域(或者，在该示例中，眼睛姿态象限)获得眼睛图像。每个眼睛图像可以与姿态象限中的一个姿态象限相关联，并且因此所确定的眼睛姿态与姿态象限之一相关联。在其它实施方式中，可以将更少(例如，2个)或更多(例如，4、5、6、9、12、18、24、36、49、64、128、256、1000或更多个)眼睛姿态
区域用于获得眼睛图像。如在此所述，在一些实施方式中，可以针对每个区间(bin)获得多个眼睛图像，并且仅保留具有通过图像质量阈值的图像质量度量的图像的子集以用于随后的虹膜代码生成。
154.继续虹膜代码合并技术的示例性实施方式，可以为每个所获得的眼睛图像生成虹膜代码。例如，如在此关于眼睛图像集选择例程的示例所描述的，可以针对眼睛图像确定虹膜代码。每个虹膜代码还可以与已经确定与之相关联的眼睛图像的姿态区域相关联。可以使用中值滤波器、贝叶斯滤波器或被配置为将虹膜代码合并为混合虹膜代码(也称为合并的虹膜代码)的任何滤波器，来组合或融合每个眼睛图像的虹膜代码。例如，可以通过识别代码中的脆弱比特(例如，频繁地在0和1之间改变的比特)以及合并或掩蔽这种脆弱比特，来产生合并的虹膜代码。在另一个示例中，合并的虹膜代码是各个虹膜代码的加权和，其中权重基于每个单独的虹膜代码的质量。例如，与特定眼睛姿态区域相关联的每个虹膜代码可用于对整个混合虹膜代码做出贡献。可以如在此所述生成混合虹膜代码。混合虹膜代码可以表示针对所获得的眼睛图像的整体虹膜代码。
155.置信度得分示例
156.在一些实施方式中，置信度得分可与所确定的虹膜代码相关联。也就是说，可以为使用图像融合技术或虹膜代码合并技术所确定的虹膜代码分配置信度得分。可以基于采样的区域的多样性将置信度得分分配给所得到的虹膜代码。采样的区域的多样性可以是例如由眼睛图像表示的姿态区域的数量或具有用于生成组合的虹膜代码的不同区域分配的眼睛图像的表示。可以基于采样的姿态区域的任何函数来确定置信度得分。仅作为一个示例，如果可能的区域中没有一个已被采样，则可以分配零得分。作为另一个示例，可以将n/n的得分分配给从n个可能的区域中仅采样了n个区域的任何测量。在另一实施方式中，对眼睛图像本身的分析(例如，确定眼睛姿态)可以生成与该眼睛图像中的某些单元(cell)相关联的概率或置信度得分。在这种情况下，还可以基于该眼睛图像的各个单元特异性概率生成总概率或总置信度。例如，可以将各个单元特定概率相乘以生成总概率。在另一实施方式中，图像质量阈值可用于确定置信度得分。
157.置信度得分可用于各种生物识别应用。例如，生物识别应用可以使用与置信度得分定量相关的生物识别安全置信度阈值。例如，生物识别安全置信度阈值可以与与生物识别数据相关联的应用的访问等级相关。访问等级可以是用于访问帐户置信度得分的图像质量等级。如在此所述，可以基于所获得的眼睛图像的图像质量度量来确定图像质量等级。因此，所获得的眼睛图像的图像质量等级可以隐含地与生物识别安全置信度阈值相关。如果置信度得分未通过生物识别安全置信度阈值，则可以使与利用头戴式显示器在处理模块224、228上执行的生物识别数据相关联的任何应用终止执行。在这种情况下，可以使用图像采集例程(例如，例程900)来采集附加图像，如在此所述，以获得与某个图像质量等级或阈值对应的附加图像。
158.如果置信度得分确实通过生物识别安全置信度阈值，则可以使批准指示显示在头戴式显示器的显示器(例如，显示器208)上。例如，该批准指示可以是hmd的显示器上的安全条、从hmd的音频单元发出的声音、hmd的显示器上的文本指示中的任何一者，或者前述任何的组合。在一种实施方式中，在已经在头戴式显示器上显示批准指示之后，可以从处理模块224、228发送对金融交易的应用程序进行访问的请求。
159.尽管已经针对要在显示器208中显示的批准指示描述了前述示例，但这仅用于示例而不旨在是限制性的。在其它实施方式中，任何批准指示可以基于置信度得分。例如，置信度得分可以用于生成批准指示，其中生物识别数据在基于云的计算中被处理以用于处理模块224、228。例如，批准指示可以是对金融交易的应用的批准的表示。
160.眼睛图像组合例程示例
161.图10是示例性眼睛图像组合例程1000的流程图。例程1000描绘了使用图像融合技术(例如，在此关于眼睛图像组合的示例描述的图像融合技术)组合眼睛图像的示例性工作流程。
162.在框1004处，获得眼睛图像。眼睛图像可以从各种源获得，所述源包括但不限于图像捕获设备、头戴式显示系统、服务器、非暂时性计算机可读介质或客户端计算设备(例如，智能手机)。
163.继续例程1000，在框1008处，针对每个所获得的眼睛图像识别眼睛姿态。例如，如果所获得的眼睛图像已经在显示器的特定眼睛姿态区域中被捕获，则眼睛姿态可以与特定显示器分类(例如，参考图8公开的眼睛姿态区域分配)相关联。仅作为一个示例，可以将眼睛姿态分配给针对该眼睛姿态区域的区域。在框1008处的该识别中，还可以确定每个识别的眼睛姿态的替代表示。例如，如在此所述，针对一眼睛图像的眼睛姿态可以被表示为两个角度参数(例如，眼睛的眼睛姿态方向的方位角偏转和天顶偏转)。
164.取决于是使用虹膜代码融合技术还是使用图像融合技术，例程1000前进到框1012或框1016，每个框具有例程1000的相应分支。可以执行一种或全部两种技术。在各种实施例中，这两种技术可以并行或顺序执行。如下面将进一步描述的，利用从每个相应技术生成的置信度得分，虹膜代码可以用于各种生物识别应用中。在例程1000沿着例程1000的两个分支前进的实施方式中，可以使用它们相应的置信度得分来比较技术的准确性。在一个实施方式中，由具有较高生成的置信度得分的技术生成的虹膜代码可以用于在一个或多个生物识别应用中的进一步利用。具有较低置信度得分的虹膜代码可以被丢弃或不被使用。在另一实施方式中，两个虹膜代码可以都被用在生物识别应用中。例如，可以使用滤波器或其它技术来对由每种技术生成的相应虹膜代码求平均，生成虹膜代码的平均值。
165.沿着左分支继续例程1000，在框1012处，可以将所获得的眼睛图像或所识别的眼睛姿态的替代表示分别融合成混合图像或混合表示。例如，可以通过各种图像融合方法(例如，超分辨率、空间域融合或变换域融合)来组合眼睛图像，以产生单个混合图像。作为另一示例，可以通过与用于对混合眼睛图像做出贡献的每个眼睛姿态区域相关联的替代表示，将每个替代表示融合到混合眼睛图像中。在框1020处，可以基于该混合眼睛图像为人眼生成虹膜代码。例如，根据在此描述的各种技术，混合图像的虹膜可用于生成虹膜代码。
166.在框1008处沿着右分支继续例程1000，在框1016处，可以使用每个所获得的眼睛图像或所识别的眼睛姿态的替代表示来生成虹膜代码。在框1024处，基于来自若干个眼睛图像(例如，若干个眼睛姿态区域的眼睛图像)的虹膜代码，为人眼生成混合虹膜代码。与特定眼睛姿态区域相关联的每个虹膜代码可以对整体混合虹膜代码做出贡献。可以使用中值滤波器、贝叶斯滤波器或被配置为将虹膜代码合并为混合虹膜代码的任何滤波器，来融合眼睛图像的虹膜代码。
167.在例程1000向下前进到左分支、右分支、或并行或顺序地前进到两个分支之后，在
框1028处，为虹膜代码或混合虹膜代码生成置信度得分。如果并行或顺序执行两个分支，则可以为在框1020处生成的虹膜代码或在框1024处生成的混合虹膜代码生成置信度得分。可以基于采样的眼睛姿态区域的任何函数(例如，分配区域的多样性)来确定置信度得分。仅作为一个示例，如果所有可能的区域都未被采样，则可以分配零得分。
168.在框1032处，可以将所确定的虹膜代码用于生物识别应用或头戴式显示器的图像显示。例如，在一个实施例中，所生成的虹膜代码可用于确定在框1004处获得的眼睛图像的相关联的眼睛的眼睛姿态。
169.在各种实施例中，例程1000可以由头戴式显示系统(诸如显示系统200的实施例)的硬件处理器执行。在其它实施例中，具有计算机可执行指令的远程计算设备可以使头戴式显示系统执行例程1000。例如，可以使远程计算设备将眼睛图像融合成混合眼睛图像，或者使远程计算设备将眼睛图像的虹膜代码合并成合并的虹膜代码。
170.其他方面
171.在此公开的关于眼睛图像组合、眼睛图像组合或眼睛图像集选择的任何方面的任何要素可以与在此公开的关于眼睛图像组合、眼睛图像组合、眼睛图像集选择的任何方面的任何其它要素组合使用或代替它们使用。
172.关于眼睛图像采集的其他方面
173.在第1方面，公开了一种可穿戴显示系统。该可穿戴显示系统包括：图像捕获设备，其被配置为从可穿戴显示系统的穿戴者捕获眼睛图像；非暂时性存储器，其被配置为存储眼睛图像；显示器，其包括多个眼睛姿态区域；以及处理器，其与非暂时性存储器和显示器通信，处理器被编程为：使化身显示在显示器上的多个眼睛姿态区域中的第一眼睛姿态区域中；从图像捕获设备获得眼睛的第一眼睛图像，其中，第一眼睛图像与第一眼睛姿态区域相关联；确定第一眼睛图像的第一图像质量度量通过第一图像质量阈值；使化身显示在显示器上的多个眼睛区域中的第二眼睛姿态区域中；从图像捕获设备获得眼睛的第二眼睛图像，其中，第二眼睛图像与第二眼睛姿态区域相关联；确定第二眼睛图像的第二图像质量度量通过第二图像质量阈值；至少部分地基于第一眼睛图像和第二眼睛图像生成眼睛的虹膜代码；以及通过可穿戴显示系统，将所生成的虹膜代码用于随后在显示器上显示图像或用于生物识别应用。
174.在第2方面，根据第1方面所述的可穿戴显示系统，其中，处理器进一步被编程为：接收在显示器上的多个眼睛区域中化身的显示模式。
175.在第3方面，根据第1-2方面中任一方面所述的可穿戴显示系统，其中，处理器进一步被编程为：接收在显示器上的第一眼睛区域中化身的显示模式。
176.在第4方面，根据第2-3方面中任一方面所述的可穿戴显示系统，其中，显示模式包括随机模式、顺序模式、飞行模式、闪烁模式、波动模式、故事模式或其组合中的至少一者。
177.在第5方面，根据第1-4方面中任一方面所述的可穿戴显示系统，其中，第一图像质量阈值对应于第一眼睛姿态区域的图像质量等级，并且其中，第二图像质量阈值对应于第二眼睛姿态区域的图像质量等级。
178.在第6方面，根据第1-5方面中任一方面所述的可穿戴显示系统，其中，第一图像质量阈值对应于第一眼睛图像的图像质量等级，并且其中，第二图像质量阈值对应于第二眼睛图像的图像质量等级。
179.在第7方面，根据第1-6方面中任一方面所述的可穿戴显示系统，其中，处理器进一步被编程为：使得化身显示在显示器上的多个眼睛区域中的第三眼睛姿态区域中；从图像捕获设备获得眼睛的第三眼睛图像，其中，第三眼睛图像与第三眼睛姿态区域相关联；确定第三眼睛图像的第三图像质量度量未通过第三图像质量阈值。
180.在第8方面，根据第7方面所述的可穿戴显示系统，其中，处理器进一步被编程为：从图像捕获设备获得眼睛的第四眼睛图像，其中，第四眼睛图像与第三眼睛姿态区域相关联；以及确定第四眼睛图像的第四图像质量度量通过第三图像质量阈值。
181.在第9方面，根据第8方面所述的可穿戴显示系统，其中，为了确定眼睛的虹膜代码，处理器被编程为至少部分地基于第一眼睛图像、第二眼睛图像和第四眼睛图像而确定虹膜代码。
182.在第10方面，根据第8方面所述的可穿戴显示系统，其中，处理器进一步被编程为：组合第三眼睛图像和第四眼睛图像以获得第三眼睛姿态区域的混合眼睛图像，并且其中，为了确定眼睛的虹膜代码，处理器被编程为至少部分地基于第一眼睛图像、第二眼睛图像和混合眼睛图像而确定虹膜代码。
183.在第11方面，公开了一种头戴式显示系统。该头戴式显示系统包括：图像捕获设备，其被配置为捕获眼睛图像；显示器，其包括多个眼睛姿态区域；处理器，其与图像捕获设备和显示器通信，处理器被编程为：使第一图形显示在显示器上的多个眼睛姿态区域中的第一眼睛姿态区域中；从图像捕获设备获得第一眼睛姿态区域中的第一眼睛图像；确定第一眼睛图像的第一度量通过第一阈值；使第二图形显示在显示器上的多个眼睛姿态区域中的第二眼睛姿态区域中；从图像捕获设备获得第二眼睛姿态区域中的第二眼睛图像；以及确定第二眼睛图像的第二度量通过第二阈值。
184.在第12方面，根据第11方面所述的头戴式显示系统，其中，处理器进一步被编程为：至少部分地基于第一眼睛图像和第二眼睛图像确定虹膜代码；以及通过头戴式显示系统将所确定的虹膜代码用于在显示器上显示图像或用于显示生物识别应用。
185.在第13方面，根据第11-12方面中任一方面所述的头戴式显示系统，其中，第一眼睛图像对应于头戴式显示系统的用户的第一眼睛姿态。
186.在第14方面，根据第11-13方面中任一方面所述的头戴式显示系统，其中，显示器被配置为在多个深度平面上向头戴式显示系统的用户呈现第一图形或第二图形。
187.在第15方面，根据第11-14方面中任一方面所述的头戴式显示系统，其中，显示器包括多个堆叠的波导。
188.在第16方面，根据第11-15方面中任一方面所述的头戴式显示系统，其中，显示器被配置为向头戴式显示系统的用户呈现第一图形或第二图形的光场图像。
189.在第17方面，根据第11-16方面中任一方面所述的头戴式显示系统，其中，当第一图形被显示在显示器上的多个眼睛姿态区域中的第一眼睛姿态区域中时，第一图形将眼睛引导朝向显示器上的多个眼睛姿态区域中的第一眼睛姿态区域，并且其中，当第二图形被显示在显示器上的多个眼睛姿态区域中的第二眼睛姿态区域中时，第二图形将眼睛引导朝向显示器上的多个眼睛姿态区域中的第二眼睛姿态区域。
190.在第18方面，根据第11-17方面中任一方面所述的头戴式显示系统，其中，当第二图形被显示在显示器上的多个眼睛姿态区域中的第二眼睛姿态区域中时，第二图形被配置
为改变眼睛的眼睛姿态。
191.在第19方面，根据第11-18方面中任一方面所述的头戴式显示系统，其中，第一图形或第二图形包括蝴蝶的图形表示。
192.在第20方面，根据第11-19方面中任一方面所述的头戴式显示系统，其中，处理器进一步被编程为：接收在显示器上的多个眼睛姿态区域中图形的显示模式，其中，显示模式包括随机模式、顺序模式、飞行模式、闪烁模式、波动模式、故事模式或其组合中的至少一种。
193.在第21方面，根据第11-20方面中任一方面所述的头戴式显示系统，其中，第一眼睛姿态区域由这样的眼睛姿态区域限定：该眼睛姿态区域包括最小方位角偏转、最大方位角偏转、最小天顶偏转、以及最大天顶偏转。
194.在第22方面，根据第11-21方面中任一方面所述的头戴式显示系统，其中，第一图形与第二图形相同。
195.在第23方面，公开了一种用于生成虹膜代码的方法。该方法在处理器的控制下，并包括：沿连接多个眼睛姿态区域的路径显示图形；在沿路径的多个位置处获得眼睛图像；以及至少部分地基于所获得的眼睛图像中的至少一些生成虹膜代码。
196.在第24方面，根据第23方面所述的方法，其中，在沿着路径的多个位置处获得的眼睛图像提供虹膜代码中的脆弱比特的减少。
197.在第25方面，根据方法23-24方面中任一方面所述的方法，其中，用于生成虹膜代码的所获得的眼睛图像中的至少一些中的每一个具有通过质量阈值的质量度量。
198.眼睛图像组合的其他方面
199.在第1方面，公开了一种头戴式显示系统。该头戴式显示系统包括：图像捕获设备，其被配置为捕获多个眼睛图像；处理器，其被编程为：对于多个眼睛图像中的每个眼睛图像：将多个眼睛姿态区域中的一眼睛姿态区域分配给每个眼睛图像；确定每个眼睛图像中的眼睛姿态的表示；融合所确定的表示的集合以生成混合眼睛图像；生成混合眼睛图像的虹膜代码；以及确定与所确定的虹膜代码相关联的置信度得分，该置信度得分至少部分地基于用于生成混合眼睛图像的所述所确定的表示的集合。
200.在第2方面，根据第1方面所述的头戴式显示系统，其中，为了融合所述所确定的表示的集合，处理器被编程为选择所确定的表示中的通过图像质量阈值的集合，其中，图像质量阈值对应于用于生物识别应用的利用的图像质量。
201.在第3方面，根据第1-2方面中任一方面所述的头戴式显示系统，其中，为了融合所述所确定的表示的集合，处理器被编程为利用超分辨率算法。
202.在第4方面，根据第1-3方面中任一方面所述的头戴式显示系统，其中，处理器进一步被编程为：确定置信度得分未通过置信度阈值，其中，置信度阈值对应于对与头戴式显示系统相关联的应用程序的特定访问等级；以及使与头戴式显示系统相关联的应用程序终止执行。
203.在第5方面，根据第1-4方面中任一方面所述的头戴式显示系统，其中，处理器进一步被编程为：确定置信度得分通过置信度阈值，其中，置信度阈值对应于对与头戴式显示系统相关联的应用程序的特定访问等级；以及使与头戴式显示系统相关联的应用程序指示批准。
204.在第6方面，根据第5方面所述的头戴式显示系统，其中，处理器进一步被编程为修改在头戴式显示系统上显示的等级指示器，以指示被应用程序批准。
205.在第7方面，根据第5方面所述的头戴式显示系统，其中，处理器进一步被编程为使头戴式显示系统的音频单元发出声音。
206.在第8方面，根据第5方面所述的头戴式显示系统，其中，处理器进一步被编程为使头戴式显示系统的显示器显示批准文本。
207.在第9方面，根据第1-8方面中任一方面所述的头戴式显示系统，其中，处理器进一步被编程为：使用混合眼睛图像确定眼睛的生物识别数据。
208.在第10方面，公开了一种头戴式显示系统。该头戴式显示系统包括：图像捕获设备，其被配置为捕获多个眼睛图像；处理器，其被编程为：对于多个眼睛图像中的每个图像；将多个眼睛姿态区域中的一眼睛姿态区域分配给每个眼睛图像；确定每个眼睛图像中的眼睛姿态的表示；生成每个眼睛图像的虹膜代码；合并每个生成的虹膜代码以生成混合虹膜代码；确定与混合虹膜代码相关联的置信度得分，该置信度得分至少部分地基于用于生成修改的眼睛图像的所确定的虹膜代码。
209.在第11方面，根据第10方面所述的头戴式显示系统，其中，为了合并每个所确定的虹膜代码，处理器被编程为将每个所确定的虹膜代码与阈值得分进行比较，其中，阈值得分对应于眼睛图像的质量等级。
210.在第12方面，根据第10-11方面中任一方面所述的头戴式显示系统，其中，为了合并每个所确定的虹膜代码，处理器被编程为利用中值滤波器、贝叶斯滤波器或被配置为合并虹膜代码的任何过滤器中的至少一者。
211.在第13方面，根据第10-12方面中任一方面所述的头戴式显示系统，其中，处理器进一步被编程为：确定置信度得分未通过置信度阈值，其中，置信度阈值对应于对与头戴式显示系统相关联的应用程序的特定访问等级；以及使与头戴式显示系统相关联的应用程序终止执行。
212.在第14方面，根据第10-13方面中任一方面所述的头戴式显示系统，其中，处理器进一步被编程为：确定置信度得分通过置信度阈值；以及使与头戴式显示系统相关联的应用程序指示批准。
213.在第15方面，根据第14方面所述的头戴式显示系统，其中，处理器进一步被编程为修改在头戴式显示系统上显示的安全条。
214.在第16方面，根据第10-15方面中任一方面所述的头戴式显示系统，其中，处理器进一步被编程为使头戴式显示系统的音频单元发出声音。
215.在第17方面，根据第10-16方面中任一方面所述的头戴式显示系统，其中处理器进一步被编程为使头戴式显示系统的显示器显示文本指示。
216.在第18方面，公开了一种用于获得眼睛的虹膜代码的方法。该方法在处理器的控制下，并包括：访问多个眼睛图像；执行(1)对多个眼睛图像的图像融合操作、(2)对多个眼睛图像的虹膜代码融合操作、或(1)和(2)两者，其中，图像融合操作包括：融合多个眼睛图像中的至少一些眼睛图像以生成混合图像；从混合图像生成混合虹膜代码，并且其中，虹膜代码融合操作包括：生成多个眼睛图像中的至少一些眼睛图像的虹膜代码；以及合并所生成的虹膜代码以生成混合虹膜代码。
217.在第19方面，根据第18方面所述的方法，进一步包括识别多个眼睛图像中的每个眼睛图像的眼睛姿态。
218.在第20方面，根据第18-19方面中任一方面所述的方法，其中，仅对具有通过图像质量阈值的图像质量度量的一个或多个眼睛图像执行图像融合操作或虹膜代码融合操作。
219.在第21方面，根据第18-20方面中任一方面所述的方法，进一步包括生成混合虹膜代码的置信度得分。
220.在第22方面，根据第18-21方面中任一方面所述的方法，进一步包括将混合虹膜代码用于生物识别应用。
221.在第23方面，根据第18-22方面中任一方面所述的方法，进一步包括校正脆弱比特。
222.在第24方面，公开了一种用于处理眼睛图像的方法。该方法在处理器的控制下，并且包括：对于第一多个眼睛图像中的每个眼睛图像，为第一多个眼睛图像中的每个眼睛图像分配多个眼睛姿态区域中的一眼睛姿态区域；识别第一多个眼睛图像中的每个眼睛图像的第一眼睛姿态；确定每个识别的第一眼睛姿态的第一数字表示；对于多个眼睛姿态区域中的每个眼睛姿态区域，选择所确定的第一数字表示的第一非空的集合，其中所确定的第一数字表示的第一非空的集合中的每个所确定的第一数字表示通过图像质量阈值；组合所选择的所确定的第一数字表示的第一非空的集合中的所确定的第一数字表示以生成第一混合图像；生成第一混合图像的第一虹膜代码；确定与所确定的第一虹膜代码相关联的第一置信度得分，该第一置信度得分至少部分地基于用于生成第一混合图像的所选择的第一非空集合中的所确定的第一数字表示的总数量；以及将所确定的第一置信度得分用于生物识别应用。
223.在第25方面，根据第24方面所述的方法，进一步包括：确定第一置信度得分未通过生物识别安全置信度阈值，其中，生物识别安全置信度阈值对应于对与生物识别数据相关联的应用程序的特定访问等级；以及使应用程序的执行终止。
224.在第26方面，根据第24-25方面中任一方面所述的方法，进一步包括：获得第二多个眼睛图像；对于第二多个眼睛图像中的每个眼睛图像，为第二多个眼睛图像中的每个眼睛图像分配多个眼睛姿态区域中的一眼睛姿态区域；识别第二多个眼睛图像中的每个眼睛图像的第二眼睛姿态；确定每个识别的第二眼睛姿态的第二数字表示；对于多个眼睛姿态区域中的每个眼睛姿态区域，选择所确定的第二数字表示的第二非空的集合，其中，所确定的第二数字表示的第二非空的集合中的每个所确定的第二数字表示通过图像安全阈值；组合所选择的所确定的第二数字表示的第二非空的集合以生成第二混合眼睛图像；生成第二混合图像的第二虹膜代码；以及确定与所确定的第二虹膜代码相关联的第二置信度得分，该第二置信度得分至少部分地基于用于生成第二混合图像的所选择的第二非空的集合中的所确定的第二数字表示的总数量。
225.在第27方面，根据第26方面所述的方法，进一步包括：确定第二置信度得分通过生物识别安全置信度阈值；以及使生物识别应用程序向与第一多个眼睛图像和第二多个眼睛图像相关联的用户指示批准指示。
226.在第28方面，根据第27方面所述的方法，其中，批准指示对应于头戴式显示器(hmd)的显示器上的安全条上的等级、从hmd的音频单元发出的声音以及hmd的显示器上的
文本指示中的至少一者。
227.在第29方面，根据第27方面所述的方法，进一步包括：发送对用于金融交易的应用程序进行访问的请求，其中，该请求包括批准指示的表示。
228.在第30方面，根据第27方面所述的方法，其中生物识别安全置信度阈值包括访问与金融交易相关联的账户所需的图像质量等级。
229.在第31方面，根据第30方面所述的方法，其中访问账户所需的图像质量等级包括至少一个图像质量度量。
230.在第32方面，公开了一种用于处理眼睛图像的方法。该方法在处理器的控制下，并且包括：对于眼睛的多个眼睛图像中的每个眼睛图像，识别每个眼睛图像的眼睛姿态；确定所识别的眼睛姿态的数字表示；生成每个眼睛图像的虹膜代码；组合所生成的每个眼睛图像的虹膜代码以生成混合虹膜代码；确定与混合虹膜代码相关联的置信度得分，该置信度得分至少部分地基于为了生成混合虹膜代码而被组合的所确定的虹膜代码的总数量；以及将所确定的置信度得分用于生物识别应用。
231.在第33方面，根据第32方面所述的方法，进一步包括：确定置信度得分未通过生物识别安全置信度阈值，其中，生物识别安全置信度阈值对应于对与生物识别数据相关联的应用程序的特定访问等级；以及使与生物识别数据相关联的应用程序终止执行。
232.在第34方面，根据第32-33方面中任一方面所述的方法，进一步包括：确定置信度得分通过生物识别安全置信度阈值；以及使生物识别应用程序向与多个眼睛图像相关联的用户指示批准指示。
233.在第35方面，根据第34方面所述的方法，其中，所述批准指示包括头戴式显示器(hmd)的显示器上的安全条上的等级、从hmd的音频单元发出的声音以及hmd的显示器上的文本指示中的至少一者。
234.在第36方面，根据第32-35方面中任一方面所述的方法，其中生物识别安全置信度阈值对应于访问与金融交易相关联的账户所需的图像质量等级。
235.在第37方面，根据第32-36方面中任一方面所述的方法，进一步包括：发送对用于金融交易的应用程序进行访问的请求，其中，所述请求包括批准指示的表示。
236.眼睛图像集选择的其他方面
237.在第1方面，公开了一种头戴式显示系统。该头戴式显示系统包括：图像捕获设备，其被配置为捕获眼睛的多个眼睛图像；处理器，其被编程为：对于多个眼睛图像中的每个眼睛图像：从图像捕获设备接收眼睛图像；确定与眼睛图像相关联的图像质量度量；以及将所确定的图像质量度量与图像质量阈值进行比较，以确定眼睛图像是否通过图像质量阈值，其中图像质量阈值对应于用于生成虹膜代码的图像质量等级；从多个眼睛图像中选择通过图像质量阈值的眼睛图像；并将所选择的眼睛图像用于生成虹膜代码。
238.在第2方面，根据第1方面所述的头戴式显示系统，其中，为了选择通过图像质量阈值的眼睛图像，处理器被编程为将所选择的眼睛图像缓冲到处理器的缓冲器中。
239.在第3方面，根据第1-2方面中任一方面所述的头戴式显示系统，其中，为了选择通过图像质量阈值的眼睛图像，处理器被编程为利用眼睛图像的极坐标表示。
240.在第4方面，根据第1-3方面中任一方面所述的头戴式显示系统，其中，处理器进一步被编程为：执行图像融合操作和虹膜融合操作。
241.在第5方面，根据第4方面所述的头戴式显示系统，其中，图像融合操作和虹膜融合操作基本上同时或顺序地执行，以验证所生成的虹膜代码的一致性。
242.在第6方面，根据第4方面所述的头戴式显示系统，其中，处理器进一步被编程为：确定所选择的眼睛图像的眼睛姿态；以及使用所选择的眼睛图像的眼睛姿态确定眼睛的生物识别数据。
243.在第7方面，根据第1-6方面中任一方面所述的头戴式显示系统，其中，为了从图像捕获设备接收眼睛图像，处理器被编程为在由处理器实施的眼睛图像采集例程期间从图像捕获设备接收眼睛图像。
244.在第8方面，根据第7方面所述的头戴式显示系统，其中，眼睛图像采集例程利用图形来获得眼睛图像。
245.在第9方面，根据第1-8方面中任一方面所述的头戴式显示系统，其中，为了选择通过图像质量阈值的眼睛图像，处理器被编程为：将多个眼睛图像中的第一眼睛图像缓冲到缓冲器中；确定多个眼睛图像中的第二眼睛图像的图像质量度量通过第一眼睛图像的图像质量度量；并且在缓冲器中用第二眼睛图像取代第一眼睛图像，其中，第二眼睛图像对应于所选择的眼睛图像。
246.在第10方面，根据第1-9方面中任一方面所述的头戴式显示系统，其中，图像质量度量对应于与眼睛图像的模糊相关联的模糊图像质量，其中，眼睛图像的模糊对应于眼睛图像中相对于参考眼睛图像的眼睛移动程度。
247.在第11方面，根据第1-10方面中任一方面所述的头戴式显示系统，其中，图像质量度量对应于眼睛图像中未被遮挡的像素的量。
248.在第12方面，根据第1-11方面中任一方面所述的头戴式显示系统，其中，图像质量度量包括与以下中的一者或多者相关的度量：眨眼、眩光、散焦、分辨率、被遮挡的像素、未被遮挡的像素、噪声、伪像、模糊或其组合。
249.在第13方面，根据第1-12方面中任一方面所述的头戴式显示系统，其中，图像质量度量包括多个分量质量度量的加权组合。
250.在第14方面，公开了一种用于处理眼睛图像的方法。该方法在处理器的控制下，并包括：获得多个眼睛图像；对于多个眼睛图像中的每个眼睛图像，确定与每个眼睛图像相关联的图像质量度量；以及将每个所确定的图像质量度量与图像质量阈值进行比较，以确定眼睛图像是否通过图像质量阈值，其中，图像质量阈值对应于用于生成虹膜代码的图像质量等级；从多个眼睛图像中选择非空的眼睛图像集；以及将该眼睛图像集用于生成虹膜代码。
251.在第15方面，根据第14方面所述的方法，其中选择非空的眼睛图像集包括：识别多个眼睛图像中要选择的通过图像质量阈值的眼睛图像的百分比。
252.在第16方面，根据第14-15方面中任一方面所述的方法，其中选择非空的眼睛图像集包括：识别要选择的眼睛图像的总数量；以及识别该眼睛图像集，其中每个眼睛图像的所确定的图像质量度量大于或等于不在该集中的眼睛图像的所确定的图像质量度量。
253.在第17方面，根据第14-16方面中任一方面所述的方法，其中非空的眼睛图像集中的每个眼睛图像通过图像质量阈值。
254.在第18方面，根据第14-17方面中任一方面所述的方法，进一步包括：在数据介质
中缓冲非空的眼睛图像集和对应的所确定的图像质量度量。
255.在第19方面，根据第18方面所述的方法，进一步包括：获得通过图像质量阈值的附加眼睛图像；选择在数据介质中缓冲的非空的眼睛图像集中的眼睛图像；确定附加眼睛图像的图像质量度量通过在数据介质中缓冲的非空的眼睛图像集中的眼睛图像的图像质量度量；在数据介质中，分别用附加眼睛图像和附加眼睛图像的图像质量度量取代在数据介质中缓冲的非空的眼睛图像集中的所选择的眼睛图像和在数据介质中缓冲的非空的眼睛图像集中的所选择的眼睛图像的图像质量度量。
256.在第20方面，根据第14-19方面中任一方面所述的方法，其中图像质量度量包括与以下中的一者或多者相关的度量：眨眼、眩光、散焦、分辨率、被遮挡的像素、未被遮挡的像素、噪声、伪像、模糊或其组合。
257.结论
258.在此描述的和/或在附图中描绘的过程、方法和算法中的每一个可以体现在由一个或多个物理计算系统、硬件计算机处理器、专用电路和/或被配置为执行具体和特定计算机指令的电子硬件所执行的代码模块中，并且由以上完全或部分自动化。例如，计算系统可以包括编程有特定计算机指令的通用计算机(例如，服务器)或专用计算机、专用电路等等。代码模块可以被编译并链接到可执行程序中，安装在动态链接库中，或者可以用解释的编程语言写入。在一些实施方式中，特定操作和方法可以由给定功能特定的电路来执行。
259.此外，本公开的功能的某些实施方式在数学上、计算上或技术上是足够复杂的，以致于可能需要专用硬件或一个或多个物理计算设备(利用适当的专用可执行指令)来执行功能，例如由于所涉及的计算的数量或复杂性或为了基本实时地提供结果。例如，视频可以包括许多帧，每帧具有数百万个像素，并且特别编程计算机硬件需要处理视频数据，从而在商业上合理的时间量内提供期望的图像处理任务或应用。
260.代码模块或任何类型的数据可以存储在任何类型的非暂时性计算机可读介质上，诸如物理计算机存储器，其包括硬盘驱动器、固态存储器、随机存取存储器(ram)、只读存储器(rom)、光盘、易失性或非易失性存储器、相同的组合和/或类似物。方法和模块(或数据)也可以在各种计算机可读传输介质上作为生成的数据信号(例如，作为载波或其它模拟或数字传播信号的一部分)传输，所述传输介质包括基于无线的和基于有线/线缆的介质，并且可以采取多种形式(例如，作为单个或多路复用模拟信号的一部分，或者作为多个离散数字分组或帧)。所公开的过程或过程步骤的结果可以持久地或以其它方式存储在任何类型的非暂时性、有形计算机存储器中，或者可以经由计算机可读传输介质来传送。
261.在此所描述和/或附图中描绘的流程图中的任何过程、框、状态、步骤或功能应当被理解为潜在地表示代码模块、代码段或代码部分，这些代码模块、代码段或代码部分包括用于实现特定功能(例如，逻辑或算术)或步骤的一个或多个可执行指令。过程、框、状态、步骤或功能可以与在此提供的说明性示例相组合、重新排列、添加、删除、修改或以其它方式改变。在一些实施例中，附加的或不同的计算系统或代码模块可以执行在此描述的功能中的一些或全部。在此描述的方法和过程也不限于任何特定的顺序，并且与其相关的块、步骤或状态可以以适当的其它顺序来执行，例如串行、并行或以某种其它方式。任务或事件可以添加到所公开的示例实施例或者从中去除。此外，在此描述的实施方式中的各种系统部件的分离是出于说明的目的，并且不应该被理解为在所有实施方式中都需要这种分离。应该
理解，所描述的程序组件、方法和系统通常可以一起集成在单个计算机产品中或者封装到多个计算机产品中。许多实施方式变化是可能的。
262.过程、方法和系统可以实现在网络(或分布式)计算环境中。网络环境包括企业范围的计算机网络、内联网、局域网(lan)、广域网(wan)、个人局域网(pan)、云计算网络、众包(crowd-sourced)计算网络、互联网和万维网。网络可以是有线或无线网络或任何其它类型的通信网络。
263.本公开的系统和方法各自具有若干创新性方面，其中没有单独一个对在此公开的期望属性完全负责或需要。在此描述的各种特征和过程可以彼此独立地使用，或者可以以各种方式组合。所有可能的组合和子组合均旨在落入本公开的范围内。对于本公开中所描述的实施方式的各种修改对于本领域技术人员来说可以是容易清楚的，并且在不脱离本公开的精神或范围的情况下，可将在此定义的一般原理应用于其它实施方式。因此，权利要求不旨在限于在此示出的实施方式，而是应被给予与本公开、在此公开的原理和新颖特征一致的最宽范围。
264.本说明书中在分开的实现方式中描述的某些特征也可以在单个实现方式中组合地实现。相反地，在单个实施方式的上下文中描述的各种特征也可以分别在多个实施方式中分开地或以任何合适的子组合方式来实现。此外，尽管上文可以将特征描述为以某些组合起作用并且甚至最初如此要求，但是来自所要求的组合的一个或多个特征可以在一些情况下从组合中删除，并且所要求的组合可以针对子组合或子组合的变体。没有单个特征或特征组是每个实施例必需或不可缺少。
265.除非另有特别说明，或者在所使用的上下文中进行理解，在此使用的条件语言，诸如“可以”、“可”、“可能”、“会”、“例如”等等，一般意在表达某些实施例包括而其它实施例不包括某些特征、要素和/或步骤。因此，这样的条件语言通常不旨在暗示特征、要素和/或步骤以任何方式对于一个或多个实施例是必需的，或者一个或多个实施例必然包括用于在有或者没有作者输入或提示的情况下决定这些特征、要素和/或步骤是否包括在或执行在任何特定实施例中。术语“包括”、“包含”、“具有”等是同义词，并且以开放式的方式包含性地使用，并且不排除附加的要素、特征、动作、操作等等。此外，术语“或”以其包含性含义(而不是其排他含义)使用，因此当用于例如连接要素列表时，术语“或”表示列表中的一个、一些或全部要素。另外，除非另有说明，否则本技术和所附权利要求书中使用的冠词“一”、“一个”和“所述”应被解释为表示“一个或多个”或“至少一个”。
266.如在此所使用的，提及项目列表中的“至少一个”的短语是指这些项目的任何组合，包括单个成员。作为例子，“a，b或c中的至少一个”旨在涵盖：a、b、c、a和b、a和c、b和c，以及a、b和c。除非另有特别说明，否则诸如短语“x、y和z中的至少一个”的连接语言如所使用的利用上下文进行理解，通常用于表达项目、术语等可以是x、y或z中的至少一个。因此，这样的连接语言通常不旨在暗示某些实施例需要x中的至少一个、y中的至少一个和z中的至少一个都存在。
267.类似地，虽然可以在附图中以特定顺序示出操作，但是应该认为，不需要以所示出的特定顺序或按顺次顺序执行这样的操作，或者不需要执行所有示出的操作以实现期望的结果。此外，附图可以以流程图的形式示意性地描绘一个或多个示例过程。然而，未示出的其它操作可以并入示意性说明的示例性方法和过程中。例如，一个或多个附加操作可以在
任何所示操作之前、之后、同时或之间执行。另外，在其它实施方式中，操作可以重新安排或重新排序。在特定情况下，多任务和并行处理可能是有利的。而且，上述实施方式中的各种系统组件的分离不应当被理解为在所有实施方式中都需要这种分离，并且应该理解的是，所描述的程序组件和系统通常可以一起集成在单个软件产品中或者封装到多个软件产品。另外，其它的实施方式在以下权利要求的范围中。在一些情况下，权利要求中列举的动作能够以不同的顺序执行并且仍然实现期望的结果。