亮瞳眼睛追踪系统的制作方法

亮瞳眼睛追踪系统
1.相关申请的交叉引用
2.本技术要求于2020年2月28日提交的标题为“bright pupil eye-tracking system(亮瞳眼睛追踪系统)”的美国临时专利申请号62/983,352的权益。美国专利申请号62/983,352通过引用全部明确并入本文。
技术领域
3.本公开的各个方面大体上涉及眼睛追踪系统。


背景技术：

4.眼睛追踪可以指检测用户注视方向的过程，这可以包括检测眼睛在3维(3d)空间中的角定向。眼睛追踪还可以包括检测眼睛(例如眼睛的中心)的位置和移动、眼睛的扭转(即，眼睛围绕瞳孔轴转动)、眼睛的形状、眼睛的当前焦距、瞳孔的扩张、眼睛状态的其他特征或其某种组合。
5.眼睛追踪系统可以被用于各种背景中，诸如医疗研究或诊断、人机交互等。在诸如使用头戴式显示器(hmd)的一些背景中，它对hmd确定用户眼睛的地点和/或确定用户眼睛聚焦的位置以更改被呈现给用户的内容可能是有利的。


技术实现要素：

6.因此，本发明涉及根据所附权利要求的方法、系统和头戴式显示器。
7.在一个方面中，本发明涉及一种眼睛追踪方法，包括：
8.启用光源阵列中的至少一个光源以发射不可见光以照亮眼睛；
9.当至少一个光源被启用的同时，获得眼睛的至少一个图像；以及
10.当至少一个光源被启用时，响应于确定至少一个图像指示亮瞳状况，基于光源阵列内的至少一个光源的位置来确定眼睛的位置。
11.在根据本发明的方法的实施例中，确定至少一个图像指示亮瞳状况还可以包括：将至少一个图像中的瞳孔的亮度与对应于光源阵列中的另一光源被启用以发射不可见光以照亮眼睛时的另一图像中的瞳孔的亮度进行比较。
12.在根据本发明的方法的实施例中，确定至少一个图像指示亮瞳状况还可以包括：将至少一个图像中的瞳孔的亮度与亮度阈值进行比较。
13.在根据本发明的方法的实施例中，该方法还可以包括：启用光源阵列中的第一光源来发射不可见光以照亮眼睛；当第一光源被启用的同时，获得眼睛的第一图像；启用光源阵列中的第二光源来发射不可见光以照亮眼睛；当第二光源被启用的同时，获得眼睛的第二图像；以及响应于确定第一图像中的眼睛的瞳孔比第二图像中的眼睛的瞳孔更亮，基于光源阵列内的第一光源的位置来确定眼睛的位置。除此之外，该方法还可以包括：响应于确定第二图像中的眼睛的瞳孔比第一图像中的眼睛的瞳孔更亮，基于光源阵列内的第二光源的位置来确定眼睛的位置。
14.在根据本发明的方法的实施例中，不可见光可以包括红外或近红外光。
15.在根据本发明的方法的实施例中，该方法还可以包括：启用光源阵列中的第一光源分组；当第一光源分组被启用的同时，获得眼睛的第一图像；启用光源阵列中的第二光源分组；当第二光源分组被启用的同时，获得眼睛的第二图像；将第一图像中的瞳孔的亮度与第二图像中的瞳孔的亮度进行比较；以及响应于确定第一图像中的瞳孔比第二图像中的瞳孔更亮，确定瞳孔与第一光源分组对准。除此之外，该方法还可以包括：响应于确定瞳孔与第一光源分组对准，单独启用第一分组中的每个光源；当第一光源分组中的每个光源被单独启用的同时，获得眼睛的相应图像；以及确定相应图像中的一个图像指示亮瞳状况，其中确定眼睛的位置基于被包括在第一分组中的光源中的一个光源的位置，该一个光源与指示亮瞳状况的一个图像相对应。
16.在根据本发明的方法的实施例中，该方法还可以包括：启用光源阵列中的第一光源分组；当第一光源分组被启用的同时，获得眼睛的第一图像；启用光源阵列中的第二光源分组；当第二光源分组被启用的同时，获得眼睛的第二图像；将第一图像中的瞳孔的亮度与第二图像中的瞳孔的亮度比较；以及响应于确定第一图像中的瞳孔比第二图像中的瞳孔更亮，确定瞳孔与第一光源分组对准。除此之外，该方法还可以包括：响应于确定第二图像中的瞳孔比第一图像中的瞳孔更亮，确定瞳孔与第二光源分组对准；响应于确定瞳孔与第二光源分组对准，单独启用第二分组中的每个光源；当第二光源分组中的每个光源被单独启用的同时，获得眼睛的相应图像；以及确定相应图像中的一个图像指示亮瞳状况，其中确定眼睛的位置基于被包括在第二分组中的光源中的一个光源的位置，该一个光源与指示亮瞳状况的一个图像相对应。
17.在一个方面中，本发明涉及一种眼睛追踪系统，该系统包括：光源阵列，其中光源阵列中的每个光源被配置为被选择性地启用，以向眼睛追踪系统的朝眼侧发射不可见光以照亮眼睛；相机，被配置为基于不可见光来捕获眼睛的图像；以及计算设备，被通信地耦合至光源阵列和相机，其中计算设备包括：光源控制模块，被配置为启用光源阵列中的至少一个光源；相机接口模块，被配置为当至少一个光源被启用的同时，获得由相机捕获的眼睛的至少一个图像；亮瞳检测模块，被配置为检测至少一个图像是否指示亮瞳状况；以及位置确定模块，被配置为响应于亮瞳检测模块确定至少一个图像指示亮瞳状况，基于光源阵列内的至少一个光源的位置来确定眼睛的位置。
18.在根据本发明的眼睛追踪系统的实施例中，亮瞳检测模块可以被配置为：将至少一个图像中的瞳孔的亮度与对应于光源阵列中的另一光源被启用以发射不可见光以照亮眼睛时的另一图像中的瞳孔的亮度比较。
19.在根据本发明的眼睛追踪系统的实施例中，亮瞳检测模块可以被配置为：将至少一个图像中的瞳孔的亮度与亮度阈值进行比较。
20.在根据本发明的眼睛追踪系统的实施例中，不可见光可以包括红外或近红外光。
21.在根据本发明的眼睛追踪系统的实施例中，该系统还可以包括：光学组合器，被设置在光源阵列与眼睛追踪系统的朝眼侧之间，其中光学组合器被配置为接收由眼睛反射的反射不可见光，以将反射不可见光引导到相机以生成眼睛的图像。除此之外，光源阵列还可以包括透明基板，并且其中光源阵列中的每个光源被设置在透明基板上。
22.在根据本发明的眼睛追踪系统的实施例中，该系统还可以包括多个光束整形光学
器件，该多个光束整形光学器件中的每个光束整形光学器件被设置在光源阵列中的对应光源上，以沿着对应光轴引导由每个相应光源发射的不可见光。除此之外，多个光束整形光学器件中的每个光束整形光学器件可以被配置为将不可见光准直为准直不可见光。除此之外，该系统还可以包括：光学元件，被设置在多个光束整形光学器件与眼睛追踪系统的朝眼侧之间，以将准直不可见光聚焦到眼睛的瞳孔平面上。
23.在一个方面中，本发明涉及一种头戴式显示器(hmd)，包括：光源阵列，其中光源阵列中的每个光源被配置为被选择性地启用，以向hmd的朝眼侧发射不可见光以照亮眼睛；相机，被配置为捕获眼睛的图像；光学组合器，被设置在光源阵列与朝眼侧之间，其中光学组合器被配置为接收由眼睛反射的反射不可见光，并且将反射不可见光引导到相机以生成眼睛的图像；显示层，被设置在光学组合器与hmd的背侧之间，该显示层被配置为提供通过光学组合器传播到hmd的朝眼侧的显示光；以及计算设备，被通信地耦合至光源阵列和相机，其中计算设备包括：光源控制模块，被配置为启用光源阵列中的至少一个光源；相机接口模块，被配置为当至少一个光源被启用的同时，获得由相机捕获的眼睛的至少一个图像；亮瞳检测模块，被配置为检测至少一个图像是否指示亮瞳状况；以及位置确定模块，被配置为响应于亮瞳检测模块确定至少一个图像指示亮瞳状况，基于光源阵列内的至少一个光源的位置来确定眼睛的位置。
24.在根据本发明的hmd的实施例中，光源阵列中的每个光源可以被设置在显示层上。
附图说明
25.本公开的非限制性和非详尽性方面参照以下附图描述，其中除非另有指定，否则在各个视图中，相同的附图标记指代相同的部分。
26.图1a图示了根据本公开的各个方面的示例眼睛追踪系统。
27.图1b图示了根据本公开的各个方面的另一示例眼睛追踪系统。
28.图2图示了根据本公开的各个方面的光源阵列和当至少一个光源被启用时所捕获的眼睛的对应图像。
29.图3a图示了根据本公开的各个方面的光源阵列和当光源分组被启用时所捕获的眼睛的对应图像。
30.图3b图示了根据本公开的各个方面的光源阵列和当单独光源分组被启用时捕获的眼睛的对应图像。
31.图4图示了根据本公开的各个方面的计算设备。
32.图5图示了根据本公开的各个方面的图示了眼睛追踪过程的流程图。
33.图6是根据本公开的各个方面的图示了包括启用第一光源和第二光源的另一眼睛追踪过程的流程图。
34.图7是根据本公开的各个方面的图示了包括启用第一光源分组和第二光源分组的眼睛追踪过程的流程图。
35.图8图示了根据本公开的各个方面的头戴式显示器(hmd)。
具体实施方式
36.各个方面和实施例在以下描述和相关附图中公开，以示出与眼睛追踪方法和系统
相关的具体示例。在阅读本公开时，交替方面和实施例对于相关领域的技术人员将是明显的，并且可以在不脱离本公开的范围或精神的情况下构造和实践。附加地，公知元件将不再详细描述，或可以被省略以免混淆本文公开的各个方面和实施例的相关细节。
37.在本公开的一些实施方式中，术语“近眼”可以被定义为包括元件，该元件被配置为当近眼设备被使用时放置在用户眼睛的50mm内。因此，“近眼光学元件”或“近眼系统”将包括一个或多个元件，该一个或多个元件被配置为放置在用户眼睛的50mm内。
38.在本公开的各个方面中，可见光可以被定义为具有约为380nm至700nm的波长范围。不可见光可以被定义为波长在可见光范围之外的光，诸如紫外光和红外光。波长范围约为700nm至1mm的红外光包括近红外光。在本公开的各个方面中，近红外光可以被定义为具有约为700nm至1.4μm的波长范围。
39.图1a图示了根据本公开的各个方面的示例眼睛追踪系统100a。眼睛追踪系统100a的图示示例包括光源阵列102a至102g、层104、光束整形光学器件106a至106g、光学元件108、光学组合器110、相机120和计算设备122。在图1a中还示出了包括眼底112、瞳孔118和瞳孔平面116的眼睛114。
40.如图1a所示，光源102a至102g被设置在层104上。层104可以是透明基板，诸如玻璃或塑料。在一个示例中，光源102a至102g可以被封装在透明基板内。透明基板对于可见光(例如400nm至750nm)可以是透射的，并且可以被配置为放置在电子或光学显示层(例如液晶显示器(lcd)、有机发光二极管(oled)显示器、微型led显示器、波导等)的显示平面上，该电子或光学显示层被配置为生成用于呈现给用户的显示光。在另一示例中，层104本身是电子或光学显示层，其中光源102a至102g被设置在显示层上，散布在由显示层生成的显示光内(例如在用户的视野内)。
41.每个光源102a至102g可以是微型发光二极管(微型led)、边缘发射led、垂直腔面发射激光器(vcsel)二极管或超发光二极管(sled)。另外，每个光源102a至102g可以被单独启用，以发射不可见光107以照亮眼睛114。在一些示例中，不可见光107是红外光或近红外光。在一些方面中，每个光源102a至102g以列和行的二维(2d)阵列布置在层104上。在一些示例中，每个光源102a至102g可以被称为点光源，其中光源102a至102g中只有一个光源被同时启用，以发射不可见光107(例如在图1a的图示示例中，当前仅单个光源102g被启用以发射不可见光107)。
42.图1a的图示示例还图示了多个光束整形光学器件106a至106g。每个光束整形光学器件106a至106g可以被设置在对应光源102a至102g上，以沿着相应光轴引导由每个光源发射的不可见光。因此，在一些方面中，每个光源102a至102g可以被配置为通过相应的光束整形光学器件106a至106g沿着不同的光轴发射不可见光107。例如，光束整形光学器件106a可以被配置为沿着第一光轴引导由光源102a生成的不可见光，而光束整形光学器件106b可以被配置为沿着第二(即，不同的)光轴引导由光源102b生成的不可见光。在一些示例中，光束整形光学器件106a至106g中的每个光束整形光学器件也可以被配置为准直由相应光源102a至102g生成的不可见光107。
43.如图1a所示，眼睛追踪系统100a还包括光学元件108，其被设置在光束整形光学器件106a至106g与眼睛追踪系统100a的朝眼侧(eyeward side)103之间。图1a还图示了被设置在光源102a至102g与朝眼侧103之间，并且具体地可以被设置在光学元件108与朝眼侧
103之间的光学组合器110。在一些示例中，光学元件108包括一个或多个透镜，该一个或多个透镜被配置为接收准直的不可见光107，并且通过光学组合器110将准直的不可见光107聚焦到眼睛114的瞳孔平面116。因此，在一些示例中，光学元件108提供不可见光107的“麦克斯韦视图”。如图1a所示，不可见光107然后随着它离开瞳孔118朝向眼睛114的后部扩展，以照亮眼底112的大面积。
44.在一些方面中，光学组合器110被配置为接收由眼睛114的眼底112反射/散射的反射不可见光109(具有由光源102a至102g发射的波长)，并且将反射不可见光109引导到相机120。相机120可以位于与所图示位置不同的位置。在一些方面中，光学组合器110对于可见光(例如，大约400nm至700nm)是透射的，诸如被入射到眼睛追踪系统100a的背侧105的场景光(例如来自环境)。即便如此，在一些示例中，光学组合器110对于由显示层(例如层104)生成的可见光是透射的。在一些示例中，光学组合器110可以被配置为全息光学元件(hoe)或体积全息图，其可以包括一个或多个布拉格光栅，用于将反射的不可见光109引导向相机120。在一些示例中，光学组合器110包括偏振选择体积全息图(又名偏振体积全息图)，它将具有特定波长的入射光的特定偏振定向衍射(反射)向相机120，同时穿过其他偏振定向。
45.相机120被配置为生成眼睛114的一个或多个图像123，其中图像123是反射的不可见光109的图像。在一些示例中，相机120可以被配置为滤除与不可见光107/反射的不可见光109不同的光，使得相机120仅对反射的不可见光109的波长进行成像。
46.在一些示例中，计算设备122可以被配置为基于由相机120捕获的图像123来确定眼睛114的眼睛追踪信息(例如地点、定向、注视角度等)。如下面将更详细地描述的，计算设备122然后可以处理图像123，以检测亮瞳状况以确定眼睛追踪信息(例如眼睛114的位置、定向、注视角度等)。例如，计算设备122可以确定眼睛114是在笔直、向左、向右、向上还是向下方向上看。
47.在一些实施例中，计算设备122可以包括被通信地耦合至光源阵列102a至102g的光源控制模块。如上面讨论的，光源102a至102g中的每个光源可以沿着相应光轴发射不可见光107。如果眼睛114与当前启用的光源102a至102g未对准，那么眼睛的瞳孔118可能使不可见光107晕化，这可能减少或防止光到达眼底112，这将使所得图像123中的瞳孔118的外观变暗。然而，如果眼睛114与当前启用的光源102a至102g对准(例如沿着与发射的不可见光107相同的光轴)，那么瞳孔118将在所得图像123中显得更亮。
48.因此，计算设备122的控制模块可以生成一个或多个控制信号124以选择性地启用光源102a至102g中的至少一个，并且分析所得图像123以检测亮瞳状况。如果在特定光源(例如光源102g)被启用的同时所捕获的图像123指示亮瞳状况，那么计算设备122然后可以基于该光源(例如，光源102g)在光源阵列内的位置来确定眼睛114的位置/注视角度。
49.如上面提及的，光束整形光学器件106a至106g可以被配置为准直由光源102a至102g发射的不可见光107，其中光学元件108然后将准直的不可见光聚焦到瞳孔平面116上。然而，在本公开的其他示例中，准直不可见光的光束整形光学器件106a至106g可以被省略。例如，图1b图示了根据本公开的各个方面的另一示例眼睛追踪系统100b。在图1b的图示示例中，由光源102g发射的不可见(和非准直)光107被光学元件108接收。在该示例中，光学元件108然后可以准直不可见光，并且将准直的不可见光引导到眼睛114。然后眼睛114将准直的不可见光(例如通过眼睛114的晶状体)聚焦到眼底112上。在该示例中，眼底112可以用作
回射器，其中反射的不可见光以与不可见光被入射到眼底112上的角度基本相同的角度被反射回来。类似于图1a的示例，反射的不可见光109被光学组合器110接收，然后该光学组合器110将反射的不可见光109引导到相机120以生成图像123。
50.图2图示了根据本公开的各个方面的光源阵列206和当至少一个光源被启用时捕获的眼睛的对应图像202a至202g。光源阵列206是图1a和1b的光源阵列102a至102g的一个可能示例。类似地，图像202a至202g是图像123的可能示例。如上面讨论的，光源阵列206中的光源中的每个光源可以被单独启用以发射不可见光以照亮眼睛，其中在光源被启用的同时眼睛的对应图像然后可以被捕获。通过示例，图2图示了在光源208a被启用时捕获的图像202a，图像202b是光源208b被启用时眼睛的图像，图像202c是光源208c被启用时眼睛的图像，图像202d是光源208d被启用时眼睛的图像，图像202e是光源208e被启用时眼睛的图像，并且图像202f是光源208f被启用时眼睛的图像，图像202g是光源208g被启用时眼睛的图像，依此类推。由相机(例如图1a的相机120)捕获的图像然后可以由计算设备(例如图1a的计算设备122)分析。在一个示例中，分析图像202a至202g包括确定任何图像是否指示亮瞳状况。在图2的图示示例中，图像202e指示瞳孔204的亮瞳状况。响应于确定图像指示亮瞳状况，计算设备确定眼睛与在图像被获得时启用的光源对准(例如当图像202e被捕获时，眼睛与光源208e对准)。然后计算设备可以基于阵列206内的光源208e的已知位置确定眼睛的位置。在一些示例中，确定眼睛的位置包括将光源208e的位置转化为计算的眼睛位置和/或注视角度。
51.在一些示例中，确定是否存在亮瞳状况包括将一个图像中的瞳孔204的亮度与另一图像中的瞳孔204的亮度进行比较。在一些方面中，这可以包括利用一种或多种计算机视觉技术来标识每个图像的瞳孔区域，并且确定瞳孔区域的亮度(例如瞳孔区域内的所有像素的平均亮度)。然后所确定的瞳孔区域的亮度可以与在其他图像中确定的亮度进行比较，其中具有最亮瞳孔区域的图像被确定为指示亮瞳状况。
52.在其他示例中，亮瞳状况可以通过将图像的瞳孔区域的亮度与亮度阈值进行比较来确定。即，在该示例中，一个图像的瞳孔区域的亮度可以与指示亮瞳状况的固定或动态创建的阈值相比较，而不是将图像一起比较。
53.在一些方面中，光源阵列206中的每个光源可以被单独启用，并且对应的图像被捕获。然而，在其他示例中，两个或多个光源分组可以被启用，其中对应的图像被获得以确定眼睛是否与特定的光源分组对准。通过示例，图3a图示了根据本公开的各个方面的光源阵列206和当光源分组被启用时捕获的眼睛的对应图像302a和302b。如图3a所示，图像302a是在第一光源分组304被启用时所捕获的眼睛的图像，而图像302b是在第二光源分组306被启用时所捕获的眼睛的图像。尽管图3a仅图示了两个光源分组，但其他实施例可以包括光源阵列206中的多个分组，包括两个或多个。
54.在一些示例中，启用光源分组包括同时启用光源阵列206中的多个光源，其中所捕获的图像包括当分组中的所有光源都被启用时的眼睛的图像。然后所得图像302a和302b可以被分析(例如通过计算设备122)，以确定是否存在亮瞳状况，通过将图像302a的瞳孔204的亮度与图像302b的瞳孔204的亮度进行比较，或者通过将每个图像中的瞳孔204的亮度与亮度阈值进行比较。在图示示例中，图像302b指示亮瞳状况。
55.当光源分组被启用时指示亮瞳状况的图像意味着光源分组206中的光源中的一个
光源与眼睛对准。因此，在一些示例中，该分组(例如图3a的分组306)中的每个光源然后可以被单独启用(以及对应图像被捕获)，以确定导致亮瞳状况的特定光源。
56.例如，图3b图示了根据本公开的各个方面的光源阵列206和当单独光源分组306被启用时所捕获的眼睛的对应图像302x至302z。图像302x是光源308a被启用时所捕获的眼睛图像，图像302y是光源308b被启用时眼睛的图像，并且图像302z是光源308c被启用时眼睛的图像。虽然图3b仅图示了三个图像302x至302y，如上面提及的，本公开的各个方面可以包括单独启用分组306中所包括的光源中的每个光源。如图3b所示，图像302y指示亮瞳状况，其中计算设备然后可以基于光源阵列206内的光源308b的位置来确定眼睛的位置。
57.图4图示了根据本公开的各个方面的计算设备402。计算设备402的图示示例被示出为包括通信接口404、一个或多个处理器406、硬件408和存储器410。图4的计算设备402是图1a的计算设备122的一个可能实施方式。
58.通信接口404可以包括使计算设备402能够向其他设备/组件传输数据和从其他设备/组件接收数据的无线和/或有线通信组件。硬件408可以包括附加的硬件接口、数据通信或数据存储硬件。例如，硬件接口可以包括数据输出设备和一个或多个数据输入设备。
59.存储器410可以使用计算机可读介质(诸如计算机存储介质)实施。在一些方面中，计算机可读介质可以包括以用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术实施的易失性和/或非易失性、可移除和/或不可移除介质。计算机可读介质包括但不限于ram、rom、eeprom、闪存或者其他存储器技术、cd-rom、数字通用盘(dvd)、高清多媒体/数据存储盘或者其他光学存储装置、磁盒、磁带、磁盘存储装置或者其他磁性存储设备或者可以被用于存储信息以由计算设备访问的任何其他非传输介质。
60.计算设备402的处理器406和存储器410可以实施光源控制模块412、相机接口模块414、亮瞳检测模块416和位置确定模块418。光源控制模块412、相机接口模块414、亮瞳检测模块416和位置确定模块418可以包括执行特定任务或实施特定抽象数据类型的例程、程序指令、对象和/或数据结构。存储器410还可以包括由光源控制模块412、相机接口模块414、亮瞳检测模块416和/或位置确定模块418使用的数据存储库(未示出)。
61.光源控制模块412可以被配置为生成一个或多个控制信号(例如图1a的控制信号124)，以启用和/或禁用光源阵列102a至102g中所包括的一个或多个光源。相机接口模块414可以被配置为接收图像(例如图1a的图像123)。相机接口模块414可以可选地被配置为响应于光源控制模块412启用光源阵列中的光源而触发相机120捕获一个或多个图像。亮瞳检测模块416被配置为分析一个或多个图像以确定图像是否指示亮瞳状况。如上面提及的，亮瞳检测模块416可以实施一种或多种计算机视觉技术来标识瞳孔区域并且确定瞳孔区域的对应亮度。亮瞳检测模块416可以通过比较两个或多个图像之间的瞳孔区域的亮度来检测亮瞳状况，或者备选地，可以通过将图像上的瞳孔区域的亮度与亮度阈值进行比较来检测亮瞳状况。响应于亮瞳检测模块416检测到亮瞳状况，位置确定模块418可以基于针对指示这种亮瞳状况的图像启用的光源的位置来确定眼睛的位置。如上面提及的，眼睛的位置可以通过将光源的位置转化为计算的眼睛位置和/或注视角度来确定。
62.图5图示了根据本公开的各个方面的图示了眼睛追踪过程500的流程图。过程500是由图1a的眼睛追踪系统100a执行的眼睛追踪的一个可能过程。在过程框502中，图1a的计算设备122可以生成控制信号124，以启用光源阵列102a至102g中的至少一个光源102g来发
射不可见光107以照亮眼睛114。在过程框504中，当至少一个光源102g被启用的同时，计算设备122可以获得(例如接收)由相机120捕获的眼睛114的至少一个图像123。接下来，在过程框508中，响应于确定图像123指示亮瞳孔状况，计算设备122可以基于光源阵列102a至102g内的至少一个光源102g的位置来确定眼睛114的位置。
63.图6是根据本公开的各个方面的图示了包括启用第一光源和第二光源的另一眼睛追踪过程600的流程图。过程600参照图2描述。在过程框602中，光源阵列206中的第一光源208a被启用以发射不可见光以照亮眼睛。在过程框604中，第一图像202a被获得，它是在第一光源208a被启用时捕获的眼睛的图像。接下来，在过程框606中，第二光源208e被启用以发射不可见光以照亮眼睛(例如第一光源208a被禁用)。过程框608包括获得在第二光源208e被启用的同时由相机(例如相机120)捕获的图像202e。
64.在决策框610中，计算设备(例如计算设备122)确定第一图像202a中的瞳孔204是否比第二图像202e中的瞳孔204更亮。如果第一图像202a中的瞳孔204被确定为比第二图像202e中的瞳孔204更亮，那么过程600进行到过程框612，其中计算设备基于光源阵列206内的第一光源208a的位置确定眼睛的位置。然而，如果在决策框610中，确定第一图像202a中的瞳孔204不比第二图像202e中的瞳孔204更亮(即，第二图像202e中的瞳孔204更亮)，那么过程600进行到过程框614，其中眼睛的位置基于光源阵列206内的第二光源208e的位置来确定。
65.尽管过程600在上面参照仅启用两个光源(并且获得对应的两个图像)描述，但是如上所述，本公开的各个方面可以包括单独启用光源阵列102a至102g中所包括的两个或多个光源102a至102g，其中所获得的图像中的每个图像的亮度被彼此比较以确定哪个图像指示亮瞳状况。
66.图7是根据本公开的各个方面的图示了包括启用第一光源分组和第二光源分组的眼睛追踪过程700的流程图。过程70参照图3a和3b描述。
67.在过程框702中，第一光源分组304被启用，以发射不可见光来照亮眼睛。在过程框704中，第一图像302a被获得，它是当第一分组304中所包括的所有光源被同时启用时的眼睛的图像。在过程框706中，第二光源分组306被启用以发射不可见光。过程框708包括获得第二图像302b，它是第二分组306中所包括的所有光源都被同时启用(例如并且第一分组304中的光源被禁用)时的眼睛的图像。
68.接下来，在决策框710中，计算设备(例如计算设备122)确定第一图像302a中的瞳孔204是否比第二图像302b中的瞳孔204更亮。如果第一图像302a中的瞳孔204被确定为比第二图像302b中的瞳孔204更亮，那么过程700进行到过程框712，其中第一分组304内的每个光源被单独启用，并且眼睛的相应图像被获得(例如由相机120捕获)。在过程框714中，计算设备然后基于第一分组304中的光源的位置来确定眼睛的位置，该光源与指示亮瞳状况的图像(即在过程框712中获得的)相对应。
69.返回到决策框710，如果第一图像302a中的瞳孔204不比第二图像302b中的瞳孔204更亮，那么过程700进行到过程框716，其中第二分组306中所包括的光源中的每个光源被单独启用，并且眼睛的相应图像被获得。在过程框718中，计算设备然后可以基于第二分组306中的光源的位置来确定眼睛的位置，该光源与指示亮瞳状况的图像(即，在过程框716中获得的)相对应。
70.在一些实施方式中，本公开的各个方面可以被用于头戴式设备中，诸如虚拟现实(vr)或增强现实(ar)设备。在一些方面中，头戴式设备可以包含眼睛追踪系统以增强用户的查看体验。在一些实例中，眼睛追踪可以通过确定眼睛的位置和/或移动来辅助。例如，当注视角度被确定时，由头戴式设备的显示器呈现给用户的虚拟图像可以响应于所确定的注视角度调整。
71.通过示例，图8图示了根据本公开的各个方面的头戴式显示器(hmd)800。诸如hmd 800等hmd是一种头戴式设备，通常被穿戴在用户的头部上以向用户提供人工现实内容。人工现实是一种在呈现给用户之前已经以某种方式调整的现实形式，它可以包括例如虚拟现实(vr)、增强现实(ar)、混合现实(mr)、混合现实或其某种组合和/或衍生物。hmd 800的图示示例被示出为包括查看结构840、顶部稳固结构841、侧部稳固结构842、后部稳固结构843和前部刚性体844。在一些示例中，hmd 800被配置为穿戴在hmd 800的用户的头部上，其中顶部稳固结构841、侧面稳固结构842和/或后部稳固结构843可以包括织物带，该织物带包括弹性结构以及一个或多个刚性结构(例如塑料)，以将hmd 800稳固到用户的头部。hmd 800还可以可选地包括一个或多个耳机820，以将音频递送给hmd 800的用户的(多个)耳朵。
72.hmd 800的图示示例还包括用于接触hmd 800的用户的面部的界面膜818，其中界面膜818用于阻挡至少一些环境光到达hmd 800的用户的眼睛。
73.示例hmd 800还可以包括用于支撑hmd 800的查看结构840的硬件的底盘(图8中未明确图示的底盘和硬件)。查看结构840的硬件可以包括处理逻辑、用于发送和接收数据的有线和/或无线数据接口、图形处理器以及用于存储数据和计算机可执行指令的一个或多个存储器中的任何一个。在一个示例中，查看结构840可以被配置为接收有线电力和/或可以被配置为由一个或多个电池供电。另外，查看结构840可以被配置为接收包括视频数据的有线和/或无线数据。
74.查看结构840可以包括具有一个或多个电子显示器的显示系统，用于将光引导到hmd 800的用户的(多只)眼睛。显示系统可以包括液晶显示器(lcd)、有机发光二极管(oled)显示器、微型led显示器等中的一个或多个，用于向hmd 800的用户发射光(例如内容、图像、视频等)。查看结构840还可以包括光学装配件，该光学装配件被配置为接收来自显示系统的图像光，并且生成虚拟图像(例如通过准直图像光)用于由hmd 800的穿戴者的眼睛查看。
75.在一些示例中，查看结构包括用于追踪移动和/或确定用户眼睛的位置的眼睛追踪系统845。眼睛追踪系统845可以通过本文讨论的任何实施例来实施，包括图1a的眼睛追踪系统100a。
76.本发明的实施例可以包括人工现实系统，或者结合人工现实系统实施。人工现实是在呈现给用户之前已经以某种方式调整的现实形式，这可以包括例如虚拟现实(vr)、增强现实(ar)、混合现实(mr)、混合现实或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与捕获的(例如现实世界)内容组合的生成内容。人工现实内容可以包括视频、音频、触觉反馈或其某种组合，并且其中任何一个可以被呈现在单个信道或多个信道中(诸如对查看者产生三维效果的立体视频)。附加地，在一些实施例中，人工现实还可以与应用、产品、附件、服务或其某种组合相关联，它被用于例如在人工现实中创建内容和/或以其他方式被用于人工现实(例如在人工现实中执行活动)。提供人工现实内容的人工现实
系统可以被实施在各种平台上，包括被连接至主机计算机系统的头戴式显示器(hmd)、独立式hmd、移动设备或计算系统或者能够将人工现实内容提供给一个或多个查看者的任何其他硬件平台。
77.本发明的图示实施例的以上描述(包括在摘要中描述的内容)不旨在详尽或者将本发明限制于所公开的精确形式。尽管本发明的具体实施例和示例在本文中出于说明性目的描述，各种修改在本发明的范围内是可能的，如相关领域的技术人员将认识到的。
78.鉴于上面详述的描述，这些修改可以对本发明进行。在以下权利要求中使用的术语不应该被解释为将本发明限制于本说明书中公开的具体实施例。相反，本发明的范围将由以下权利要求完全确定，这些权利要求将根据权利要求解释的已建立学说来解释。