使用经调制的同轴照明的瞳孔评估的制作方法

1.本公开一般涉及评估眼睛的瞳孔的特征，尤其涉及用于使用从眼睛反射的光来评估瞳孔特征的系统、方法和设备。


背景技术：

2.一些现有系统使用从眼睛表面反射的光来估计眼睛特征。例如，此类技术可以使用多个闪光识别用户的眼睛形状、位置和取向来估计用户的注视方向。现有的瞳孔检测技术可以使用图像传感器并在曝光周期内对光强度水平积分以产生灰度图像，然后尝试使用灰度图像来检测瞳孔。基于瞳孔区域与周围虹膜区域之间的灰度对比度来检测瞳孔，因此依赖于瞳孔与虹膜之间存在显著的对比度。此类瞳孔检测技术可能不是精确的或有效的，尤其是在瞳孔与虹膜之间的对比度不太显著的情况下。


技术实现要素：

3.各种具体实施使用同轴照明来确定瞳孔特征(例如，周界位置、瞳孔形状、瞳孔直径、瞳孔中心等)。同轴照明涉及从光源产生光，该光源与图像传感器大致同轴，该图像传感器被配置为捕获来自该光源的光从眼睛的反射。来自光源的光可以穿过瞳孔进入眼睛并从视网膜反射，以在由图像传感器获得的数据中产生亮瞳型光图案。光可以以某一频率被调制或以其他方式被脉冲，并且频率分割可用于区分穿过瞳孔从视网膜的反射与来自其他光源的光的反射。在一些具体实施中，该图像传感器是检测事件的事件相机。可以通过评估以给定频率在给定区域中反复出现的事件来评估该瞳孔特征。瞳孔特征可用于确定注视方向或用于其他目的。
4.一些具体实施涉及一种在具有处理器的电子设备处确定瞳孔特征的方法。例如，处理器可以执行存储在非暂态计算机可读介质中的指令，以基于离开视网膜并穿过眼睛瞳孔的脉冲光的反射来确定瞳孔特征。该方法涉及经由光源产生某频率的脉冲光。光源可以与图像传感器的光轴大致“同轴”对准。在一些具体实施中，使用波导或分束器实现“大致”同轴照明。在一些具体实施中，使用充分靠近图像传感器光学器件的光源来实现“大致”同轴照明，使得在预期使用情况下(例如，对于光/光源和图像传感器距眼睛的预期距离)，轴充分对准，以使来自光源的光从眼睛的视网膜反射并由图像传感器感测。在一个示例中，光源以围绕(并且充分接近)图像传感器的透镜/光学器件的环形构造定位。一般来讲，根据瞳孔扩大，可以观察到亮瞳效应，在光源与相机的轴之间达到大约15度的角度。
5.该方法在传感器处接收传感器数据，并基于该频率识别传感器数据的对应于离开视网膜并穿过眼睛瞳孔的脉冲光的反射的子集。在一些具体实施中，该方法基于该频率将对应于脉冲光的反射的数据与来自另一光源的光的反射区分开。在一些具体实施中，图像传感器是事件相机，并且该方法确定对应于穿过瞳孔反射回来的光的上升沿或下降沿的事件之间的时间量，以确定以该频率发生的事件。在一些具体实施中，图像传感器是基于帧的相机，并且该方法沿着图像序列将一个图像从下一个图像中减去，以识别图像中以该频率
出现的光脉冲。
6.该方法基于传感器数据的对应于离开视网膜并穿过眼睛瞳孔的脉冲光的反射的子集来确定瞳孔特征(例如，周界位置、瞳孔轮廓、瞳孔形状、瞳孔中心等)。例如，对应于瞳孔位置的多个事件的位置可以提供关于瞳孔的位置、形状、中心、大小和取向的信息。瞳孔特征可用于确定注视方向或用于其他目的。
7.一些具体实施提供了一种设备，该设备被配置为使光源和图像传感器大致对准以使用频率分割来确定瞳孔特征。这样的设备可以包括：被配置为产生脉冲光的光源；被配置为提供传感器数据并且具有光轴的传感器，其中光源与传感器的光轴大致同轴对准；处理器；和计算机可读存储介质。计算机可读介质可包括指令，指令在由处理器执行时致使系统对传感器数据执行频率分割以将对应于脉冲光的反射的数据与对应于来自另一光源的光的反射的数据区分开且基于对应于脉冲光的反射的数据确定瞳孔特征。光源可以使用被配置为将光源的光与传感器的光轴对准的波导或分束器。又如，光源可以包括围绕传感器的光学器件的光源环。
8.根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，这些指令在由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一种。根据一些具体实施，一种设备包括：一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一种的装置。
附图说明
9.因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。
10.图1是根据一些具体实施的示例性操作环境的框图。
11.图2是根据一些具体实施的示例性控制器的框图。
12.图3是根据一些具体实施的示例性设备的框图。
13.图4是根据一些具体实施的示例性头戴式设备(hmd)的框图。
14.图5示出了根据一些具体实施的事件相机的框图。
15.图6是根据一些具体实施的评估瞳孔特征的方法的流程图表示。
16.图7示出了根据一些具体实施的说明亮瞳效应与暗瞳效应之间的差异的功能框图。
17.图8示出了根据一些具体实施的说明使用分束器来提供大致同轴照明的功能框图。
18.图9示出了根据一些具体实施的说明使用光传感器的光学器件附近的光源环来提供大致同轴照明的功能框图。
19.图10示出了说明图9的光源环的功能框图。
20.图11示出了根据某些具体实施的说明将基于同轴照明的瞳孔检测与基于离轴照明的眼睛特征检测相结合的功能框图。
21.图12示出了根据某些具体实施的在同轴照明期间获得的事件相机数据的集合。
22.图13示出了图12的事件相机数据的一部分的特写视图。
23.根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。
具体实施方式
24.描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。
25.瞳孔特征评估系统包括：光源、图像传感器和处理器，该处理器根据从光传感器接收的关于从光源反射离开用户眼睛的光的数据来执行瞳孔特征评估。在各种具体实施中，使用来自光源的同轴照明确定瞳孔特征，使得来自光源的光从眼睛的视网膜反射，以在由图像传感器获得的数据中产生亮瞳型光图案。光可以以某一频率被调制或以其他方式被脉冲，并且频率分割可用于区分穿过瞳孔从视网膜的反射与来自其他光源的光的反射。在一些具体实施中，图像传感器是基于帧的相机，并且该方法沿着图像序列将一个图像从下一个图像中减去，以识别图像中以该频率出现的光脉冲。
26.在一些具体实施中，图像传感器是事件相机，并且对应于从视网膜反射并穿过瞳孔的光的事件之间的时间量被用于确定以该频率发生的事件。事件相机在多个相应位置处具有光传感器。响应于特定光传感器检测到光强度的变化，光传感器生成指示特定光传感器的特定位置的事件消息。事件相机可包括或被称为动态视觉传感器(dvs)、硅视网膜、基于事件的相机、或无帧相机。因此，事件相机生成(并传输)关于光强度变化的数据，而不是更大量的关于每个光传感器处的绝对强度的数据。
27.图1是根据一些具体实施的示例性操作环境100的框图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，操作环境100包括控制器110和设备120。
28.在一些具体实施中，控制器110被配置为管理和协调用户体验。在一些具体实施中，控制器110包括软件、固件和/或硬件的合适组合。下文参考图2更详细地描述控制器110。在一些具体实施中，控制器110是相对于物理布景105处于本地或远程位置的计算设备。在一个示例中，控制器110是位于物理布景105内的本地服务器。在另一示例中，控制器110是位于物理布景105之外的远程服务器(例如，云服务器、中央服务器等)。在一些具体实施中，控制器110经由一个或多个有线或无线通信信道144(例如，蓝牙、ieee 802.11x、ieee 802.16x、ieee 802.3x等)与设备120通信地耦接。
29.在一些具体实施中，设备120被配置为向用户呈现环境。在一些具体实施中，设备120包括软件、固件和/或硬件的合适组合。下文参考图3更详细地描述设备120。在一些具体实施中，控制器110的功能由设备120提供和/或与该设备结合。
30.根据一些具体实施，当用户虚拟地和/或物理地存在于物理环境105内时，设备120向用户呈现模拟现实(sr)环境(例如，增强现实/虚拟现实(ar/vr)环境)。在一些具体实施中，当呈现体验时，设备120被配置为呈现内容并实现物理环境105的光学透视。在一些具体实施中，当呈现环境时，设备120被配置为呈现vr内容并实现物理环境105的视频透视。
31.在一些具体实施中，用户将设备120作为头戴式设备(hmd)佩戴在他或她的头上。这样，设备120包括被提供用于显示内容的一个或多个显示器。例如，设备120包围用户的视野。在一些具体实施中，设备120是被配置为向用户呈现内容的手持式电子设备(例如，智能电话或平板电脑)。在一些具体实施中，用被配置为呈现内容的腔室、外壳或室替代设备120，其中用户不穿戴或手持该设备120。
32.图2是根据一些具体实施的控制器110的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，控制器110包括一个或多个处理单元202(例如，微处理器、专用集成电路(asic)、现场可编程门阵列(fpga)、图形处理单元(gpu)、中央处理单元(cpu)、处理核心等)、一个或多个输入/输出(i/o)设备206、一个或多个通信接口208(例如，通用串行总线(usb)、firewire、thunderbolt、ieee 802.3x、ieee 802.11x、ieee 802.16x、全球移动通信系统(gsm)、码分多址(cdma)、时分多址(tdma)、全球定位系统(gps)、红外(ir)、蓝牙、zigbee和/或相似类型接口)、一个或多个编程(例如，i/o)接口210、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线204。
33.在一些具体实施中，该一条或多条通信总线204包括互连系统部件和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个i/o设备206包括键盘、鼠标、触控板、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个显示器等中的至少一种。
34.存储器220包括高速随机存取存储器，诸如动态随机存取存储器(dram)、静态随机存取存储器(sram)、双倍数据速率随机存取存储器(ddr ram)或者其他随机存取固态存储器设备。在一些具体实施中，存储器220包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括远离所述一个或多个处理单元202定位的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。在一些具体实施中，存储器220或者存储器220的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统230和体验模块240。
35.操作系统230包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，体验模块240被配置为管理和协调一个或多个用户的一个或多个体验(例如，一个或多个用户的单个体验，或一个或多个用户的相应群组的多个体验)。为此，在各种具体实施中，体验模块240包括数据获取器242、跟踪器244、协调器246和渲染器248。
36.在一些具体实施中，数据获取器242被配置为从至少设备120获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。为此，在各种具体实施中，数据获取器242包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
37.在一些具体实施中，跟踪器244被配置为标测物理环境105以及跟踪至少设备120
相对于物理环境105的方位/位置。在一些具体实施中，跟踪器244被配置为经由本文公开的一种或多种技术来执行瞳孔评估。为此，在各种具体实施中，跟踪器244包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。
38.在一些具体实施中，协调器246被配置为管理和协调设备120向用户呈现的体验。为此，在各种具体实施中，协调器246包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。
39.在一些具体实施中，渲染器248被配置为渲染内容以供在设备120上显示。为此，在各种具体实施中，渲染器248包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。
40.虽然数据获取器242、跟踪器244、协调器246和渲染器248被示为驻留在单个设备(例如，控制器110)上，但是应当理解，在其他具体实施中，这些元件的任何组合可以位于单独的计算设备中。
41.此外，图2更多地用作存在于特定具体实施中的各种特征部的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图2中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。
42.图3是根据一些具体实施的设备120的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，设备120包括一个或多个处理单元302(例如，微处理器、asic、fpga、gpu、cpu、处理核心等)、一个或多个输入/输出(i/o)设备和传感器306、一个或多个通信接口308(例如，usb、firewire、thunderbolt、ieee 802.3x、ieee802.11x、ieee 802.16x、gsm、cdma、tdma、gps、ir、bluetooth、zigbee、spi、i2c或类似类型的接口)、一个或多个编程(例如，i/o)接口310、一个或多个显示器312、一个或多个面向内部或面向外部的图像传感器314、存储器320以及用于互连这些部件和各种其他部件的一条或多条通信总线304。
43.在一些具体实施中，一条或多条通信总线304包括互连和控制系统部件之间的通信的电路。在一些具体实施中，所述一个或多个i/o设备及传感器306包括以下项中的至少一个：惯性测量单元(imu)、加速度计、磁力计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血氧传感器、血糖传感器等)、一个或多个麦克风、一个或多个扬声器、触觉引擎以及/或者一个或多个深度传感器(例如，结构光、飞行时间等)等。
44.在一些具体实施中，一个或多个显示器312被配置为向用户呈现体验。在一些具体实施中，一个或多个显示器312对应于全息、数字光处理(dlp)、液晶显示器(lcd)、硅上液晶(lcos)、有机发光场效应晶体管(olet)、有机发光二极管(oled)、表面传导电子发射器显示器(sed)、场发射显示器(fed)、量子点发光二极管(qd-led)、微机电系统(mems)和/或相似显示器类型。在一些具体实施中，一个或多个显示器312对应于衍射、反射、偏振、全息等波导显示器。例如，设备120包括单个显示器。又如，设备120包括针对用户的每只眼睛的显示
器。在一些具体实施中，一个或多个显示器312能够呈现sr内容。
45.在一些具体实施中，所述一个或多个图像传感器系统314被配置为获取与包括用户的眼睛的用户的面部的至少一部分对应的图像数据。例如，所述一个或多个图像传感器系统314包括一个或多个rgb相机(例如，具有互补金属氧化物半导体(cmos)图像传感器或电荷耦合器件(ccd)图像传感器)、单色相机、ir相机、基于事件的相机等。在各种具体实施中，一个或多个图像传感器系统314还包括将光发射到用户面部的一部分上的照明源，诸如闪光灯、闪光源或同轴照明。在一些具体实施中，图像传感器被配置为与光源的光轴大致同轴。
46.存储器320包括高速随机存取存储器，诸如dram、sram、ddr ram或其他随机存取固态存储器设备。在一些具体实施中，存储器320包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器320任选地包括远离所述一个或多个处理单元302定位的一个或多个存储设备。存储器320包括非暂态计算机可读存储介质。在一些具体实施中，存储器320或存储器320的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括可选的操作系统330和体验模块340。
47.操作系统330包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，体验模块340被配置为经由一个或多个显示器312向用户呈现内容。为此，在各种具体实施中，呈现模块340包括数据获取器342、呈现器344、瞳孔评估器346和数据传输器348。
48.在一些具体实施中，数据获取器342被配置为从至少控制器110和/或i/o设备和传感器306获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。为此，在各种具体实施中，数据获取器342包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
49.在一些具体实施中，呈现器344被配置为经由一个或多个显示器312呈现内容。为此，在各种具体实施中，呈现单元344包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。
50.在一些具体实施中，瞳孔评估器346被配置为经由本文公开的一种或多种技术来评估瞳孔特征。为此，在各种具体实施中，瞳孔评估器346包括指令和/或用于指令的逻辑部件、配置的神经网络以及启发法和用于启发法的元数据。
51.在一些具体实施中，数据传输器348被配置为至少向控制器110传输数据(例如，呈现数据、位置数据等)。为此，在各种具体实施中，数据传输器348包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。
52.尽管这些元件被示出为驻留在单个设备(例如，设备120)上，但应当理解，在其他具体实施中，元件的任何组合可位于单独的计算设备中。此外，图3更多地用作存在于特定具体实施中的各种特征部的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图3中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定
实施方案选择的硬件、软件和/或固件的特定组合。
53.图4示出了根据一些具体实施的头戴式设备400的框图。头戴式设备400包括容纳头戴式设备400的各种部件的外壳401(或封装件)。外壳401包括(或耦接到)设置在外壳401的近侧(相对于用户10)端部处的眼垫405。在各种具体实施中，眼垫405是塑料或橡胶件，其舒适且贴合地将头戴式设备400保持在用户10的面部上的适当位置(例如，围绕用户10的眼睛)。
54.外壳401容纳显示器410，该显示器显示图像、朝向用户10的眼睛发射光或将光发射到该用户的眼睛上。在各种具体实施中，显示器410发射光通过目镜(未示出)，该目镜折射由显示器410发射的光，使显示器在用户10看来是在比从眼睛到显示器410的实际距离远的虚拟距离处。为了用户能够聚焦在显示器410上，在各种具体实施中，虚拟距离至少大于眼睛的最小焦距(例如，7cm)。此外，为了提供更好的用户体验，在各种具体实施中，虚拟距离大于1米。
55.虽然图4示出了包括显示器410和眼垫405的头戴式设备400，但在多种具体实施中，头戴式设备400不包括显示器410或者包括光学透视显示器而不包括眼垫405。
56.外壳401还容纳瞳孔评估系统，该瞳孔评估系统包括一个或多个光源422、图像传感器424和控制器480。一个或多个光源422向用户10的眼睛发射光，眼睛反射光(例如，定向光束)，该光可由传感器422检测。基于反射，控制器480可以确定用户10的瞳孔特征。又如，控制器480可以确定瞳孔中心、瞳孔大小、注视方向或关注点。因此，在各种具体实施中，光由所述一个或多个光源422发射，从用户10的眼睛反射，并且由传感器424检测。在各种具体实施中，来自用户10的眼睛的光在到达传感器424之前从热镜反射或通过目镜。
57.显示器410可发射第一波长范围内的光，并且所述一个或多个光源422可发射第二波长范围内的光。类似地，传感器424可检测第二波长范围内的光。在各种具体实施中，第一波长范围是可见波长范围(例如，可见光谱内大约为400nm-700nm的波长范围)，并且第二波长范围是近红外波长范围(例如，近红外光谱内约为700nm-1400nm的波长范围)。
58.在各种具体实施中，一个或多个光源422调制或以其他方式脉冲发射光。例如，在各种具体实施中，一个或多个光源422中的光源以某一频率(例如，600hz)被调制。在各种具体实施中，一个或多个光源422根据正交码(诸如可以在cdma(码分多址)通信中使用的那些)调制发射光。例如，沃尔什矩阵的行或列可用作正交码。
59.在各种具体实施中，一个或多个光源422在高强度值与低强度值之间调制发射光。因此，在各个时间，光源发射的光的强度为高强度值或为低强度值。在各种具体实施中，低强度值为零。因此，在各种具体实施中，所述一个或多个光源422在接通状态(在高强度值处)和关断状态(在低强度值处)之间调制发射光的强度。
60.在各种具体实施中，一个或多个光源422根据用户生物计量来调制发射光。例如，如果用户眨眼多于正常、心率升高或者被注册为儿童，则一个或多个光源422减弱发射光(或光源发射的所有光的总和)以减小眼睛上的负担。又如，一个或多个光源422基于用户的眼睛颜色来调制发射光，因为与棕色眼睛相比，谱反射率对于蓝色眼睛可能不同。
61.在各种具体实施中，一个或多个光源422根据呈现的用户界面(例如，显示器410上显示的内容)来调制发射光。例如，如果显示器410异常亮(例如，正在显示爆炸的视频)，则所述一个或多个光源422增大发射光的强度以补偿来自显示器410的潜在干扰。
62.在各种具体实施中，一个或多个其他光源(未示出)向用户的眼睛发射光，该光以一个或多个闪光的形式从眼睛的表面反射。
63.在各种具体实施中，传感器424是基于帧/快门的相机，其以帧速率在特定时间点或多个时间点生成用户10的眼睛的图像。每个图像包括对应于图像的像素的像素值的矩阵，所述像素对应于相机的光传感器矩阵的位置。
64.在各种具体实施中，相机424是包括在多个相应位置处的多个光传感器(例如，光传感器矩阵)的事件相机，该事件相机响应于特定光传感器检测到光强度变化而生成指示所述特定光传感器的特定位置的事件消息。
65.在各种具体实施中，瞳孔特征评估被用于促进注视跟踪，注视跟踪可以被用于实现用户交互(例如，用户10通过看着显示器410上的选项来选择它)、提供中心凹渲染(例如，在用户10正在看着的显示器410的区域中呈现较高的分辨率而在显示器410上的其他地方呈现较低的分辨率)、或减少几何失真(例如，显示器410上对象的3d渲染中)。
66.图5示出了根据一些具体实施的事件相机500的功能框图。事件相机500包括分别耦接到消息发生器532的多个光传感器515。在各种具体实施中，多个光传感器515被布置成行和列的矩阵510，并且因此，多个光传感器515中的每一者与行值和列值相关联。
67.多个光传感器515中的每一个光传感器包括图5中详细示出的光传感器520。光传感器520包括在源电压和地电压之间的与电阻器523串联的光电二极管521。光电二极管521上的电压与入射在光传感器520上的光的强度成比例。光传感器520包括与光电二极管521并联的第一电容器525。因此，第一电容器525上的电压与光电二极管521上的电压相同(例如，与光传感器520所检测到的光的强度成比例)。
68.光传感器520包括耦接在第一电容器525和第二电容器527之间的开关529。第二电容器527耦接在开关和地电压之间。因此，当开关529闭合时，第二电容器527上的电压与第一电容器525上的电压相同(例如，与光传感器520所检测到的光的强度成比例)。当开关529断开时，第二电容器527上的电压固定在当开关529上次闭合时在第二电容器527上的电压处。
69.第一电容器525上的电压和第二电容器527上的电压被馈送给比较器531。当第一电容器525上的电压与第二电容器527上的电压之间的差值552小于阈值量时，比较器531输出“0”电压。当第一电容器525上的电压比第二电容器527上的电压高至少阈值量时，比较器531输出“1”电压。当第一电容器525上的电压比第二电容器527上的电压低至少阈值量时，比较器531输出
“‑
1”电压。
70.当比较器531输出“1”电压或
“‑
1”电压时，开关529闭合，并且消息发生器532接收该数字信号并生成像素事件消息。
71.例如，在第一时间，入射在光传感器520上的光的强度为第一光值。因此，光电二极管521上的电压为第一电压值。同样，第一电容器525上的电压为第一电压值。对于该示例，第二电容器527上的电压也为第一电压值。因此，比较器531输出“0”电压，开关529保持闭合，并且消息发生器532不执行任何操作。
72.在第二时间，入射在光传感器520上的光的强度增大到第二光值。因此，光电二极管521上的电压为第二电压值(高于第一电压值)。同样，第一电容器525上的电压为第二电压值。因为开关529断开，所以第二电容器527上的电压仍为第一电压值。假设第二电压值至
少比第一电压值高该阈值，则比较器531输出“1”电压，闭合开关529，并且消息发生器532基于所接收的数字信号而生成事件消息。
73.在开关529由于来自比较器531的“1”电压而闭合时，第二电容器527上的电压从第一电压值变成第二电压值。因此，比较器531输出“0”电压，断开开关529。
74.在第三时间，入射在光传感器520上的光的强度(又)增大到第三光值。因此，光电二极管521上的电压为第三电压值(高于第二电压值)。同样，第一电容器525上的电压为第三电压值。因为开关529断开，所以第二电容器527上的电压仍为第二电压值。假设第三电压值至少比第二电压值高该阈值，则比较器531输出“1”电压，闭合开关529，并且消息发生器532基于所接收的数字信号而生成事件消息。
75.在开关529由于来自比较器531的“1”电压而闭合时，第二电容器527上的电压从第二电压值变成第三电压值。因此，比较器531输出“0”电压，断开开关529。
76.在第四时间，入射在光传感器520上的光的强度减小回到第二光值。因此，光电二极管521上的电压为第二电压值(小于第三电压值)。同样，第一电容器525上的电压为第二电压值。因为开关529断开，所以第二电容器527上的电压仍为第三电压值。因此，比较器531输出
“‑
1”电压，闭合开关529，并且消息发生器532基于所接收的数字信号生成事件消息。
77.在开关529由于来自比较器531的
“‑
1”电压而闭合时，第二电容器527上的电压从第三电压值变成第二电压值。因此，比较器531输出“0”电压，断开开关529。
78.消息发生器532在不同时间接收来自多个光传感器510中每一者的数字信号，该数字信号指示光强度的增大(“1”电压)或光强度的减小(
“‑
1”电压)。响应于接收到来自多个光传感器510中特定光传感器的数字信号，消息发生器532生成像素事件消息。
79.在各种具体实施中，每个像素事件消息在位置字段中指示特定光传感器的特定位置。在各种具体实施中，事件消息以像素坐标指示特定位置，诸如行值(例如，在行字段中)和列值(例如，在列字段中)。在各种具体实施中，事件消息在极性字段中进一步指示光强度变化的极性。例如，事件消息可在极性字段中包括“1”以指示光强度的增大，并且可在极性字段中包括“0”以指示光强度的减小。在各种具体实施中，事件消息在时间字段中进一步指示检测到光强度变化的时间(例如，接收数字信号的时间)。在各种具体实施中，事件消息在绝对强度字段(未示出)中指示表示所检测到的光的强度的值，作为极性的替代或除极性之外。
80.图6是根据一些具体实施的评估瞳孔特征的方法600的流程图表示。
81.在一些具体实施中，方法600由设备(例如，图1和图2的控制器110)执行，诸如移动设备、台式计算机、膝上型电脑或服务器设备。方法600可以在具有用于显示2d图像的屏幕和/或用于查看立体图像的屏幕(诸如头戴式显示器(hmd))的设备(例如，图1和图3的设备120)上执行。
82.在一些具体实施中，方法600由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法600由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。
83.在框610处，方法600经由光源产生某频率的脉冲光。该频率可以大于眼睛的物理环境中的物理对象的运动频率。该频率可以大于用户正在观看的内容中的运动频率。在一些具体实施中，光是红外(ir)光。在一些具体实施中，使用与光传感器的轴大致“同轴”对准
的光源来脉冲光。在一些具体实施中，经由波导或分束器产生大致同轴照明。在一些具体实施中，经由充分靠近传感器的光学器件的光源产生大致同轴照明。在一些具体实施中，经由围绕传感器的光学器件的光源环产生大致同轴照明。
84.在框620处，方法600在传感器处接收传感器数据。在一些具体实施中，传感器是事件相机。在一些具体实施中，传感器是基于帧的相机，其能够以足够的频率捕获帧以识别脉冲光的脉冲频率(例如，1000fps)。
85.在框630处，方法600基于该频率识别传感器数据的对应于离开视网膜并穿过眼睛瞳孔的脉冲光的反射的子集。在一些具体实施中，这涉及基于该频率将对应于脉冲光的反射的传感器数据与来自另一光源的光的反射区分开。传感器可以是事件相机或基于帧的相机。
86.在传感器是事件相机的具体实施中，可以通过确定事件之间的时间量并且基于该时间量和频率来确定事件是否对应于脉冲光的反射，来识别传感器数据的对应于脉冲光的反射的子集。使用事件相机可以提供优于仅依赖于基于快门(例如，基于帧)的相机数据的技术的优点。事件相机可以以非常高的采样率有效地捕获数据，并且因此非常适合于有效且准确地识别反射光正以特定的频率脉冲。
87.在传感器是捕获图像的基于帧的相机的具体实施中，传感器数据的对应于脉冲光的反射的子集可以通过将图像彼此相减以识别该频率的光脉冲来识别。
88.在框640处，方法600涉及基于传感器数据的对应于离开视网膜并穿过眼睛瞳孔的脉冲光的反射的子集来确定瞳孔特征(例如，周界位置、瞳孔形状、瞳孔中心等)。
89.在各种具体实施中，将图6的瞳孔特征评估用于促进注视跟踪。例如，瞳孔中心可以基于瞳孔特征评估来确定，并且用作基于瞳孔中心、角膜中心、眼球中心等来确定注视方向的注视方向确定的一部分。在一些具体实施中，基于对应于瞳孔形状的椭圆来确定注视方向。在一些具体实施中，将关于眼睛的附加信息用于确定注视方向。例如，可以使用附加的光源在眼睛角膜上产生闪光，以提供关于角膜的位置和取向或其他眼睛特征的信息。因此，在一些具体实施中，注视方向是基于瞳孔评估并且基于从第二光源反射离开眼睛的角膜表面的光的一个或多个闪光来确定的。
90.注视方向可用于多种目的。在一个示例中，将经确定或更新的注视方向用于识别显示器上显示的项目，例如，以识别用户正在看着哪个按钮、图像、文本或其他用户界面项目。在另一个示例中，已确定或更新的注视特性用于在显示器上显示图形指示符(例如，光标或其他用户控制的图标)的移动。在另一个示例中，已确定或更新的注视特性用于选择在显示器上显示的项目(例如，经由光标选择命令)。例如，可以将特定的注视移动模式识别并解释为特定的命令。
91.在一些具体实施中，同时对相同个体的两只眼睛执行注视跟踪。在其中捕获或导出两只眼睛的图像的具体实施中，系统可以确定或产生可用于确定两只眼睛的注视方向的会聚点的输出。可以附加地或另选地对系统进行配置以考虑特殊情况，诸如未对准的光轴。
92.在一些具体实施中，采用对注视方向的后处理。可以使用滤波和预测方法(例如，使用卡尔曼滤波器)来减小所跟踪的注视方向中的噪声。这些方法还可以用于随时间推移对注视方向进行内插/外推。例如，如果要求在与记录状态不同的时间戳的注视方向状态，则可以使用这些方法。
93.本文所公开的一些具体实施应用脉冲光和基于频率的分割来评估瞳孔。频率空间中的分割对于静态噪声源是稳健的，并且可以用相对较少的计算成本和功率来实现。在一些具体实施中，事件相机可以通过对闪烁/脉冲光做出响应而促进频率分割。在一些具体实施中，对两个事件之间的时间间隔进行计数以提供“频率响应”图像，该图像可以被自动解释以识别瞳孔特征。
94.一些具体实施利用眼睛后部的视网膜的回射特性(例如，该特性在过去被认为引起“红眼”和“亮瞳”效应)。在一些具体实施中，以与物理环境中的运动频率的频谱基本上不同的频率(例如，高于所述运动中的最高频率)对光进行脉冲，使得可以更容易地应用基于频率的分割以将穿过瞳孔的反射与其他反射区分开。
95.当光源几乎与图像传感器同轴(大致同轴照明)时，由于视网膜的回射效应，它“照亮”瞳孔。这可以作为摄影中的“红眼”效应和ir光中的“亮瞳”效应被观察到。大致同轴照明意味着从光源投射的光线和来自视网膜的反射光线几乎平行于相机光轴。
96.图7示出了根据一些具体实施的亮瞳效应与暗瞳效应之间的差异。在图7中，光源705离图像传感器705足够远，使得光线728不能提供由图像传感器710捕获的离开眼睛720的视网膜724的反射726。该离轴照明产生正常的暗瞳效应。
97.相反，在光源705充分靠近图像传感器705时，光源705产生光线738，该光线提供由图像传感器710捕获的离开眼睛720的视网膜724的反射736。该同轴照明产生穿过眼睛的瞳孔722的反射光的亮瞳效应。穿过瞳孔722反射的光的图案对应于瞳孔的大小、形状和位置。
98.可以用波导(例如，分束器)实现大致同轴照明。图8示出了使用分束器815来提供大致同轴照明。在该示例中，光源705产生以一定角度从分束器815反射的光以提供与来自眼睛720的视网膜的反射光线838平行的光线836。反射光线838穿过分束器并被图像传感器710捕获。分束器可以用于提供完全同轴的光，但可能会造成光损失(例如，因为光两次穿过分束器，所以只有25％的光可以到达图像传感器)。使用不同类型的波导，包括使用反射镜、光纤、衍射光学元件、全息元件等，可以实现使光源的虚拟位置基本上与相机轴同轴的相同效果。
99.一种替代方案是在图像传感器光学器件附近或顶部上或作为围绕的环的照明。图9示出了在光传感器的光学器件940附近使用光源环905以提供大致同轴照明。光源环905充分靠近图像传感器光学器件940，使得在预期使用情况下(例如，对于光源和图像传感器距眼睛的预期距离)，轴充分对准，以使来自光源环905的光从眼睛720的视网膜反射并由图像传感器710感测。图10示出了围绕图像传感器光学器件940的光源环905。
100.一些具体实施组合了基于同轴和离轴照明的眼睛评估。在一些具体实施中，使用同轴照明来产生用于确定瞳孔特征的亮瞳效应，并且使用离轴照明在眼睛表面上产生闪光以确定其他眼睛特性。通过将闪光定位得离图像传感器轴足够远，可以在不干扰亮瞳频率调制的情况下产生闪光。以与闪光离轴照明不同的频率来脉冲同轴瞳孔照明可以用于在传感器数据中对它们进行区分。
101.图11示出了根据某些具体实施的说明将基于同轴照明的瞳孔检测与基于离轴照明的眼睛特征检测相结合的功能框图。在该示例中，同轴光源(例如，环形光源905)与离轴光源1105结合使用。同轴光源(例如，环形光源905)用于产生用来确定瞳孔特征的亮瞳效应，并且离轴照明用于在眼睛表面上产生闪光(例如，闪光1110)以确定其他眼睛特性。
102.图12示出了在同轴照明期间获得的事件相机数据的集合。例如，在给定时间段内发生的事件可被编译并用于产生频率响应图像。图13示出了图12的事件相机数据的一部分的特写视图。在该示例中，可以基于事件的频率将事件分组1300中的事件与事件分组1310中的事件区分开。系统可以基于频率确定事件分组1300中的事件与同轴照明相关联，并且因此指示瞳孔的位置、大小和形状。相反，系统可以确定事件分组1310中的事件不与同轴照明相关联，因此不与瞳孔相关联。事件分组1310可能是由太阳或另外的内部或外部光源引起的。
103.本文阐述了许多具体细节以提供对要求保护的主题的全面理解。然而，本领域的技术人员将理解，可以在没有这些具体细节的情况下实践要求保护的主题。在其他实例中，没有详细地介绍普通技术人员已知的方法、装置或系统，以便不使要求保护的主题晦涩难懂。
104.除非另外特别说明，否则应当理解，在整个说明书中，利用诸如“处理”、“计算”、“计算出”、“确定”和“识别”等术语的论述是指计算设备的动作或过程，诸如一个或多个计算机或类似的电子计算设备，其操纵或转换表示为计算平台的存储器、寄存器或其他信息存储设备、传输设备或显示设备内的物理电子量或磁量的数据。
105.本文论述的一个或多个系统不限于任何特定的硬件架构或配置。计算设备可以包括部件的提供以一个或多个输入为条件的结果的任何合适的布置。合适的计算设备包括基于多用途微处理器的计算机系统，其访问存储的软件，该软件将计算系统从通用计算装置编程或配置为实现本发明主题的一种或多种具体实施的专用计算装置。可以使用任何合适的编程、脚本或其他类型的语言或语言的组合来在用于编程或配置计算设备的软件中实现本文包含的教导内容。
106.本文所公开的方法的具体实施可以在这样的计算设备的操作中执行。上述示例中呈现的框的顺序可以变化，例如，可以将框重新排序、组合和/或分成子块。某些框或过程可以并行执行。
107.本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言，其不排除适用于或被配置为执行额外任务或步骤的设备。另外，“基于”的使用意味着开放和包容性，因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。本文包括的标题、列表和编号仅是为了便于解释而并非旨在为限制性的。
108.还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。
109.本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操
作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件，和/或其分组。
110.如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。
[0111]
本发明的前述描述和概述应被理解为在每个方面都是例示性和示例性的，而非限制性的，并且本文所公开的本发明的范围不仅由例示性具体实施的详细描述来确定，而是根据专利法允许的全部广度。应当理解，本文所示和所述的具体实施仅是对本发明原理的说明，并且本领域的技术人员可以在不脱离本发明的范围和实质的情况下实现各种修改。