具有显示器、透镜、照明器和图像传感器的可穿戴设备的制作方法

具有显示器、透镜、照明器和图像传感器的可穿戴设备
1.本技术是国际申请日为2017年7月27日、国际申请号为pct/us2017/044213、国家申请号为201780045606.9、发明名称为“具有显示器、透镜、照明器和图像传感器的可穿戴设备”的中国发明专利申请的分案申请。
2.相关申请案的交叉引用
3.本技术要求2016年7月27日提交的美国临时专利申请no.62/367,442的优先权，其全部内容通过引用结合于此用于所有目的，如在此充分阐述的那样。


技术实现要素：

4.在一个实施例中，提供了一种可穿戴设备。可穿戴设备可以包括显示器、透镜、照明器、图像传感器和至少一个处理器。显示器可以被配置为呈现图像。透镜可以被配置为向用户的眼睛提供显示器的视图。照明器可以被配置为照亮眼睛。图像传感器可以被配置为检测由眼睛反射的照明。至少一个处理器可以被配置为使得显示器呈现图像、接收来自图像传感器的数据、至少部分地基于来自图像传感器的数据来确定眼睛的注视方向、并且使得显示器或透镜中的至少一个移动，直到注视方向集中于图像。
5.在另一实施例中，提供了一种用于向用户显示图像的方法。该方法可以包括使得显示器通过透镜向用户的眼睛呈现图像。该方法还可以包括使得照明器照亮用户的眼睛。该方法还可以包括接收来自检测由眼睛反射的照明的图像传感器的数据。该方法还可以包括至少部分地基于来自图像传感器的数据来确定眼睛的注视方向。该方法还可以包括使得显示器或透镜中的至少一个移动，直到注视方向集中于图像。
6.在另一实施例中，提供了一种具有存储在其上的用于向用户显示图像的指令的非暂态机器可读介质。指令可由一个或多个处理器执行，以使得一个或多个处理器执行方法。该方法可以包括使得可穿戴设备中的显示器通过镜片向用户的眼睛呈现图像。该方法还可以包括使得照明器照亮用户的眼睛。该方法可以进一步包括接收来自检测由眼睛反射的照明的图像传感器的数据。该方法可以附加地包括至少部分地基于来自图像传感器的数据来确定眼睛的注视方向。该方法还可以包括使得显示器或透镜中的至少一个移动，直到注视方向集中于图像。
附图说明
7.结合附图描述本发明的实施例：
8.图1是本发明的一个实施例的可穿戴设备的示意图；
9.图2是可用于本发明的一些实施例中的示例光栅图像；
10.图3是本发明的一个方法实施例的流程图；以及
11.图4是能够在本发明的装置或系统的至少一些部分中使用，或者实施本发明的方法的至少一些部分的示例性计算机系统的方框图。
12.在附图中，类似的组件和/或特征可以具有相同的数字参考标记。进一步，相同类型的各种组件可以通过在参考标记之后通过在类似组件和/或特征之间进行区分的字母来
区分。如果在说明书中仅使用第一数字参考标记，则说明书可应用于具有相同第一数字参考标记的类似组件和/或特征中的任何一个，而与字母后缀无关。
具体实施方式
13.随后的描述仅提供示例性实施例，并且不旨在限制本公开的范围、应用或配置。相反，随后的对示例性实施例的描述将为本领域技术人员提供用于实施一个或多个示例性实施例的操作性描述。应当理解的是，在不脱离如所附权利要求书中阐述的本发明的精神和范围的情况下，可以在元件的功能和布置方面进行各种改变。
14.例如，关于一个实施例讨论的任何细节可以存在或不存在于该实施例的所有想得到的版本中。同样地，关于一个实施例讨论的任何细节可以存在或不存在于本文讨论的其它实施例的所有想得到的版本中。最后，本文没有关于实施例的任何细节的讨论将是这样的隐含认识，即这样的细节可能存在或不存在于本文讨论的任何实施例的任何版本中。
15.在以下描述中给出具体细节以提供对实施例的透彻理解。然而，本领域的技术人员将理解的是，可以在没有这些特定细节的情况下实践实施例。例如，本发明中的电路、系统、网络、过程和其它元件可以以框图形式示出为组件，以免在不必要的细节方面模糊实施例。在其它实例中，可以在没有不必要的细节的情况下示出众所周知的电路、过程、算法、结构和技术以避免模糊实施例。
16.并且，应注意的是，可以将各个实施例描述为被描绘为程序框图、流程图、数据流程图、结构图或方框图的过程。虽然流程图可以将操作描述为顺序过程，但是可以并行或同时执行许多操作。此外，可以重新安排操作的顺序。过程可以在其操作完成时终止，但可以具有未论述或包含在图中的附加步骤。此外，不是任何具体描述的过程中的所有操作都可以在所有实施例中发生。过程可以对应于方法、函数、过程、子例程、子程序等。当过程对应于函数时，其终止对应于该函数返回到调用函数或主函数。
17.术语“机器可读介质”包括但不限于暂态和非暂态、便携式或固定存储设备、光存储设备、无线信道和能够存储、包含或承载指令的各种其它介质和/或数据。代码段或机器可执行指令可表示过程、函数、子程序、程序、例程、子例程、模块、软件包、类、或指令、数据结构或程序语句的任何组合。代码段可通过传递和/或接收信息、数据、变元、参数或存储器内容而耦合到另一代码段或硬件电路。信息、变元、参数、数据等可以经由包括存储器共享、消息传递、令牌传递、网络传输等的任何合适的装置传递、转发或传输。
18.另外，本发明的实施例可以至少部分地手动或自动地实施。可以通过使用机器、硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合来执行或至少辅助手动或自动实施方式。当以软件、固件、中间件或微代码实施时，执行必要任务的程序代码或代码段可以存储在机器可读介质中。处理器可以执行必要的任务。
19.包含显示器的可穿戴设备是众所周知的，通常它们被用于虚拟现实(vr)和增强现实(ar)系统中。在这些系统中，显示器被用于向用户提供在vr的情况下模拟不同现实的体验，或者在ar的情况下模拟增强现实的体验。
20.在一些情况下，该可穿戴设备不需要包含任何种类的显示器，例如美国专利第9,041,787号的主题的系统不需要显示器。为了所有目的，上述专利的全部内容通过引用结合于此，如在此充分阐述的那样。
21.先前已经提出，眼睛跟踪设备等的使用可以与这些可穿戴设备结合，以便改进它们的性能。
22.可穿戴眼睛跟踪器也是众所周知的，参见例如美国专利申请公开第2005/0062322号，其描述了一种可穿戴眼睛跟踪设备。为了所有目的，上述申请的全部内容通过引用结合于此，如在此充分阐述的那样。
23.在“using an eye-tracking system to improve camera motions and depth-of-field blur effects in virtual environments,hillaire et al,2008,virtual reality conference”(《使用眼睛跟踪系统来改进虚拟环境中的相机运动和景深模糊效应》，hillaire等，2008年，虚拟现实大会)中，描述了虚拟现实设备中的眼睛跟踪的一种实施方式，借此在虚拟实施例中使用眼睛跟踪来确定用户的焦点。然后在渲染虚拟环境时使用焦点，以便在导航虚拟环境时提高用户的感知。为了所有目的，上述出版物的全部内容在此引入作为参考，如在此充分阐述的那样。
24.进一步，已知在诸如虚拟现实头戴式设备(virtual reality headset)的可穿戴显示器中，某些视觉条件会影响用户在头戴式设备条件下可以观看一个或多个显示器的能力。这些诸如远视和近视的条件与光线进入眼睛时聚焦到视网膜上的方式有关，并且可能意味着用户要么看到离眼睛更近的事物并且更远的地方更模糊(近视)，要么看到离眼睛更远的事物并且离眼睛更近更模糊(远视)。近视(nearsightedness)另外被称为近视(myopia)，而远视(farsightedness)另外被称为远视(hypermetropia或hyperopia)。
25.为了在包含至少一个显示器的可穿戴设备中解决这个问题，先前已经提出了提供一种手动调节机构，诸如旋钮，当转动该旋钮时，该手动调节机构使一个或多个显示器移动靠近或远离用户的眼睛。该解决方案的问题在于，它依赖于用户输入来物理地移动显示器，从而增加了可以从穿戴该设备的体验中拿走的步骤，以及提供了对由于用户错误引起的显示位置的次优校正。
26.先前提出的另一解决方案是在可穿戴设备内部容纳用户现有的校正透镜，诸如眼镜。然而，这是次优的解决方案，因为它不利地影响可穿戴设备的装配，并且可能导致一些用户的舒适问题。需要一种允许用户在没有眼睛校正透镜的情况下穿戴该设备的解决方案。
27.相应地，如果能够找到用于校正显示位置以解决远视或近视的自动方法，则是有利的。
28.本发明试图在可穿戴设备中提供用于眼睛跟踪的改进的解决方案，以及在vr、ar或其它环境中改进的眼睛跟踪信息的使用。这些改进涉及用于在可穿戴设备中使用的硬件解决方案以及用于与可穿戴设备一起使用的软件解决方案。
29.本发明总体上涉及一种可穿戴设备，包括显示器和图像传感器，该可穿戴设备使用通过图像传感器获得的信息来改变显示器上的信息。特别地，本发明涉及用于在改变显示器上的信息时利用关于眼睛的信息的系统和方法。
30.因此，本发明的目的是提供改进的可穿戴眼睛跟踪系统。通过说明书和权利要求连同附图，本发明的这个和其它目的将变得显而易见。
31.将使用标题来安排本发明的各种实施例和各个方面，以便于更容易地理解本发明。
32.根据本发明的第一方面，提供了一种可穿戴设备，包括显示器和眼睛跟踪装置。来自眼睛跟踪装置的信息影响显示在显示器上的项目。
33.优选地，眼睛跟踪装置包括至少一个图像传感器和至少一个照明源。在一些实施例中，眼睛跟踪装置可以包括两个图像传感器和两个照明源。照明源将照明投射到可穿戴设备的穿戴者的眼睛上，并且图像传感器捕捉眼睛的图像。基于眼睛上的照明的反射位置，可以确定用户注视的方向。作为示例，在美国专利申请第2015/0061996号中描述了一种用于利用可穿戴的眼睛跟踪装置来确定用户的注视方向的合适系统。为了所有目的，上述申请的全部内容通过引用结合于此，如在此充分阐述的那样。
34.计算单元直接或无线地连接到眼睛跟踪装置和显示器。计算单元基于来自眼睛跟踪装置的信息执行计算，并控制显示在显示器上的信息。
35.对眼睛条件的补偿
36.在本发明的一个实施例中，提供了一种可穿戴设备，该可穿戴设备具有至少一个显示器、与该显示器相关联的至少一个透镜以及至少所提供的注视测量设备。该设备包含用于移动显示器和/或透镜的位置的自动装置，使得当用户穿戴该设备时，显示器和/或透镜可以位于更靠近或更远离用户的眼睛的位置。在一些实施例中，显示器保持静止，而透镜移动，或者反之亦然；透镜保持静止，而显示器移动。根据本发明，显示器或透镜的任何移动都是可能的。
37.在一些实施例中，可以利用每眼一个的显示器和透镜，在这种情况下，每个显示器和/或透镜可以独立于彼此移动。
38.注视测量设备用于确定用户注视的方向，如本文中其他地方所描述的并且对于本领域技术人员来说是公知的。
39.在使用中，当自动装置将显示器和/或透镜移动得更靠近或更远离用户眼睛的同时，显示器显示一系列图像。
40.作为示例，注视测量设备可以包含图像传感器和处理单元，连接到图像传感器的处理单元处理由图像传感器捕获的图像，以确定用户的注视是否固定在显示器上显示的图像的任何部分上。为了实现这一点，将一系列至少一个图像显示给用户，如果该图像被用户感知为焦点未对准的，则用户的注视图案将不会固定在该图像上。如果它被感知为焦点对准的，则用户的注视图案将固定在图像的一部分上。以这种方式，当用户的注视固定在所显示的图像的一部分上时，自动装置可以停止移动显示器并且显示器的位置变得固定。
41.所显示的图像可以是任何方式的图案或图像，包括但不限于水平线、垂直线、形状等。作为示例，来自所谓的“视敏锐度卡(teller acuity cards)”的图案可适用于本发明的此实施例，这些图案包括称为"光栅(grating)"的条纹的高对比度黑白图案，且包括具有各种宽度的条纹的图案。这些图案可以成形为形成易于被用户识别的图像，例如狗、猫、房子、汽车等，或简单的几何形状。
42.为了确定用户的注视是否聚焦在图像的一部分上，一种可能的方法是对由图像传感器捕获的图像应用波前分析(wave front analysis)以检测瞳孔表面上的像差。另一可能的方法是分析用户注视的一系列运动，以确定它们何时停止或基本上保持静止，以确定用户是否聚焦在特定区域上。
43.一旦注视测量设备已经确定了用户正在注视的位置，则自动装置控制显示器和/
或透镜的位置以将该位置固定就位。
44.本发明的这个实施例可以与任何方式的注视测量设备起作用，例如结合多个图像传感器和多个红外照明源(如本领域技术人员将理解的)并且其中的一些在本文中描述。进一步的，任何数量的显示器可以与该实施例起作用，然而两个显示器(每只眼睛一个)是优选的。每个显示器可以是独立或一起自动化的。
45.在进一步的改进中，可使用的设备中的其它项目可以是自动的，诸如图像传感器或红外照明源的位置。这些项目可以基于由处理单元得出的测量(诸如瞳孔间距)来调节。由此，可以调节照明器和图像传感器的放置以适应更大的瞳孔间距，为图像传感器提供更大的视野，并且因此更大部分的人口可以准确地跟踪他们的注视。
46.尽管被描述为与基于成像的眼睛跟踪相关的示例，但注视测量设备可以同样地与能够确定用户注视方向的近似的任何其它形式的眼睛跟踪设备起作用。这包括诸如电泳图(eog)、雷达、磁场传感器的技术或者如本领域技术人员容易理解的任何其它形式的技术。
47.轮廓传感器
48.在本发明的一个实施例中，所谓的轮廓传感器(profile sensor)可以被用于确定用户的注视方向。在该实施例中，提供了一种包含被指向用户眼睛中的至少一个的轮廓传感器的可穿戴设备。合适的轮廓传感器的示例是由hammamatsu制造的型号为s9132的轮廓传感器。本领域技术人员将容易理解轮廓的功能方法，轮廓传感器通过将行和/或列中的所有像素的值归纳为单个值来操作。
49.此外，提供至少一个红外光发射器，并指向用户的眼睛中的至少一个。以此方式的轮廓传感器可以被用于确定来自用户角膜的红外光反射的位置，也称为“闪光(glint)”。因此，如本领域技术人员容易理解的，可以通过分析闪光在用户角膜上的位置来执行初步的注视跟踪。在进一步的改进中，可以使用两个或多个轮廓传感器。这提供了几个优点：
50.第一，如果使用多于一个的二维轮廓传感器，则如与二维相对的那样，可以确定三维上的用户眼睛的角膜中心(在确定角膜半径之后)，以及确定三维上的闪光位置。
51.第二，通过布置至少两个轮廓传感器，使得得到的闪光不重叠将允许更精确的闪光检测。例如考虑具有两个闪光a和b的情况。如果它们由在与闪光相同的方向上对齐的1d轮廓传感器成像，则传感器将仅记录由两个闪光引起的单个响应，因此很难或不可能确定闪光是由照明器a、照明器b还是两个照明器引起的。因此，总是以这样的方式对准照明器和轮廓传感器，即它们不会在任何轮廓传感器的任何读出中使得闪光重叠，将是有利的。
52.可替换地，可以对照明器进行调制，以确保在任何给定时间只有一个照明器被点亮。轮廓传感器可以被设计成以非常快的采样速率操作，该采样速率使得许多样本能够在短时间帧内从每个样本处的一个照明器捕获闪烁，以确保样本之间仅有最小的眼睛移动。
53.第三，可以使用多个一维轮廓传感器，以便对于精确起作用的这样的系统，每个传感器必须相对于彼此放置和旋转。以这种方式，每个传感器的单个尺寸可以在水平和垂直配置之间交替，尽管相对取向差异不必限于90度。另外，期望的是在将圆柱形透镜添加到每个一维轮廓传感器。
54.根据本发明，轮廓传感器将传感器的像素矩阵的所有行的总和和/或所有列的总和输出到处理设备。使用被称为峰值检测的技术发现来自红外照明器的红外光在用户角膜上的反射(被称为闪光)。对行的总和和列的总和执行峰值检测。
55.在可选的改进中，为了便于高速眼睛跟踪，其中先前计算的闪光位置是已知的-仅必须针对峰值分析像素的子集，例如靠近已知的先前闪光位置的10-20个像素。
56.一旦闪光位置已知，就可以使用例如多项式的闪光-注视点模型来确定注视方向：
57.gazex＝-c1x c2y c3xy c4x2 c5y2 c6
58.gazey＝c7x c8y c9xy c10x2 c11y2 c12
59.其中，gazex和gazey是注视点的x和y位置，x和y是闪光的x和y位置以及cl...cl2是校准的模型参数。
60.优选地，多于一个的照明器被设置为与轮廓传感器结合。可以选择性地启用或调制这些照明器，并且处理设备可以基于从所捕获的图像数据导出的度量来确定启用哪个照明器。可替换地，可以以预定顺序点亮照明器，确保在任何给定时间仅点亮一个照明器。
61.在进一步的改进中，该可穿戴设备进一步包含常规区域传感器类型的至少一个图像传感器。该常规传感器也指向用户的眼睛中的至少一个。常规传感器可以捕获用户眼睛的图像，并且系统可以执行传统的瞳孔中心角膜反射(pccr)眼睛跟踪，pccr是众所周知并且容易理解的确定用户注视的方法。关于该方法的进一步信息可以在多个地方找到，包括guestrin,e.d.；eizenman,e.“biomedical engineering,ieee transactions on,vol.53,no.6,pp.1124,1133,june 2006’(利用穿刺中心和角膜反射进行远程阿尔金估计的一般理论)”，《生物医学工程》，《ieee学报》，第53卷第6期，第1124，1133页，2006年6月。为了所有目的，上述出版物的全部内容在此引入作为参考，如在此充分阐述的那样。
62.通过将能够输出所有列的总和以及/或所有行的总和的轮廓传感器与常规图像传感器组合，系统可以使用轮廓传感器进行闪光跟踪和使用常规传感器进行pccr跟踪。由于来自轮廓传感器的信息，常规传感器仅需要以0.5-10hz运行。因此，该系统可以实现低功耗、低等待时间和高帧(或采样)速率。
63.只要传感器相对于用户的面部保持固定，跟踪闪光的轮廓传感器将给出良好的注视数据。来自常规图像传感器的图像允许每当传感器相对于面部移动时进行滑动补偿。通常，眼睛运动比用户头部上的可穿戴设备的潜在滑动快得多。因此，感兴趣的是找到一种在低功率和低时延下仅跟踪闪光位置的方法。例如，这可以是在vr头戴式设备中能够用于视点渲染的技术，其中相对低功率的眼睛跟踪解决方案可以允许在vr系统的整体功耗方面的实质性节省，因为可以显著降低图形渲染。
64.例如，可以将传感器设置在其循环通过两个或多个照明器的模式中，每个传感器曝光只点亮一个照明器。
65.例如，可以将传感器设置为运行这样的循环，其中首先在第一传感器曝光期间点亮第一照明器，并且然后计算在敏感区域的行的至少10％中的像素元件的至少10％的总和以及在敏感区域的列的至少10％中的像素元件的至少10％的总和(并且检测闪光位置)。此后，在第二传感器曝光期间点亮第二照明器，并且然后计算在敏感区域的行的至少10％中的像素元件的至少10％的总和以及在敏感区域的列的至少10％中的像素元件的至少10％的总和。此后，在至少一个照明器被点亮的同时，传感器从传感器的敏感区域的至少子部分捕获常规图像。
66.在可替换的实施方式中，可以将传感器设置为运行这样的循环，其中首先在第一传感器曝光期间首先点亮第一照明器，并且然后计算在敏感区域的行的至少10％中的像素
元件的至少10％的总和。然后，在第二传感器曝光期间点亮第一照明器，并且计算在敏感区域的至少10％列中的像素元件的至少10％的总和。此后，在至少一个照明器被点亮的同时，传感器从传感器的敏感区域的至少子部分捕获常规图像。
67.被启用作为常规图像传感器操作但也被启用输出敏感区域的像素线的总和以及和/或像素列的总和的轮廓的图像传感器，可以优选地包括用于使一个或多个照明器的曝光与传感器曝光同步的输出管脚。
68.被启用作为常规图像传感器操作但也被启用输出敏感区域的像素线的总和以及和/或像素列的总和的轮廓的图像传感器，可以支持菊花链，从而允许两个或多个传感器通过相同的数据总线(例如mipi csi-2接口)连接到处理单元。
69.被启用作为常规图像传感器操作但也被启用输出敏感区域的像素线的总和以及和/或像素列的总和的轮廓的图像传感器，可以包括用于检测距其视野中的对象的距离的装置。这可以通过飞行时间(time-of-flight)来完成。
70.为了补偿环境光轮廓数据和/或常规图像数据可以不时地被采样而没有主动照明，即没有任何照明器被点亮。
71.优选地，图像传感器还可以用于通过虹膜识别来识别用户。
72.被启用作为常规图像传感器操作但也被启用输出敏感区域的像素线的总和以及和/或像素列的总和的轮廓的图像传感器，可以被设计为使得当传感器在轮廓模式下操作时，每个像素仅可以被包括在列的总和或者行的总和中。例如，可以以棋盘模式来布置像素元件，其中只有每隔一个像素可以被累加为行轮廓，而其他像素可以被累加为列轮廓。
73.图像传感器的可替代的实施方式是使敏感区域分成棋盘模式，其中每隔一个像素以行读出并且每隔一个像素以列读出，基本上使ad转换器靠近每一行且ad转换器靠近每一列。这意味着该传感器的常规图像实际上将是处于传感器分辨率的一半的两个图像，一个图像垂直读出且一个图像水平读出。对于传统的pccr眼睛跟踪，这增加了一点计算复杂性。益处是传感器可以以这样的方式设计，即它支持从每条线读出的图像的水平像素混合和从每一列读出的图像的垂直像素混合，从而有助于低功率闪光检测。例如，传感器可以被设计为将来自8-16个像素元件或甚至更多个像素元件的值累加为一个值，这意味着它可以作为支持子窗口功能的轮廓传感器来操作，这有助于抑制无关信号并降低噪声。
74.被启用为在支持或不支持子窗口化的情况下作为轮廓传感器操作的传感器可以优选地包括用于检测闪光的中心的硬件逻辑，从而进一步减少功率消耗和发送到外部处理单元所需的数据量。在传感器支持子窗口的情况下，进一步优选的是，在闪光中心检测之后，使传感器改变子窗口位置，以确保随后的轮廓图像包括闪光。
75.支持传统的pccr眼睛跟踪以及闪光跟踪以允许在支持视点渲染的时延和数据速率下的低功率眼睛跟踪的可替代的实施方式是具有用于眼睛成像的规则传感器，但是包括用于当传感器在某个预定子窗口模式下操作时的闪光中心检测的硬件逻辑。例如，这可以仅利用24
×
24像素、32
×
32像素、48
×
24像素的子窗口或一些其它适当的分辨率。
76.观察vr头戴式设备中的最新进展，oled显示器已经开始出现。oled显示器通常是透明的，并且反射镜放置在它们后面以确保所有的光被向前送出。出于眼睛跟踪的目的，优选的是可以在oled显示器后面具有冷反射镜，其基本上将来自显示器的所有可见光反射向用户的眼睛，但是让近红外线(nir)光通过。因此，检测nir光的眼睛跟踪传感器可以放置在
显示器后面，通过显示器观察，从而获得朝向用户眼睛的非常好的视角。
77.在vr头戴式设备中，通常也使用菲涅尔透镜(fresnel lenses)来使得显示器在距用户比实际距离更远的距离处出现。具有类似于此的透镜的缺点是它使来自显示器的图像失真，并且同样地它将使从通过透镜观察的眼睛跟踪传感器看到的眼睛的图像失真，因此优选地在眼睛跟踪算法中补偿这种失真。
78.菲涅尔透镜的附加效果是它可以在从眼睛跟踪传感器看到的眼睛图像中引起圆形缺陷。该图案类似于当你投掷小石并且试图观察表面下方的某物时波浪对水的失真效应。因此，优选的是校准通过菲涅尔透镜观察眼睛的眼睛跟踪传感器，以确保在机器视觉算法试图检测不同的眼睛特征或闪光之前，针对菲涅尔透镜的缺陷补偿来自传感器的图像。
79.被启用作为常规图像传感器操作但也被启用输出敏感区域的像素线的总和以及和/或像素列的总和的轮廓的图像传感器，可以被设计为支持子窗口化。这在传统的图像传感器中是常见的，但是通过在轮廓模式下操作时允许子窗口，来自传感器的视场中的许多潜在干扰反射或光源可以在像素元件被累加到行轮廓和/或列轮廓之前已经被去除，因此确保了闪光位置确定中的更高精确度，并且允许对后续样本重新向中对齐子窗口。
80.屏蔽光
81.本发明的另一实施例允许使用硬件或软件来沿着2d图像传感器上的线执行数学运算，以提供类似于轮廓传感器的输出。线通常是该传感器的行和列，但是不必限于这些取向。这将允许除只计算行上的所有像素值的平均值和/或总和之外的其它操作，以及使得有可能屏蔽来自已知不包含任何闪光的图像部分的光贡献。屏蔽来自不包含任何闪光的图像部分的光贡献增加了信噪比，并因此通过允许检查轮廓响应的强度轮廓来帮助闪光检测。屏蔽的优选区域在许多情况下是角膜外的一切，并且来自眼睛跟踪算法的最近输出可以被用于给出屏蔽的近似区域。
82.使用传统的图像传感器模拟2d轮廓传感器降低了眼睛跟踪所需的计算负荷，并且因此降低了功耗，然而，帧速率受到2d成像传感器的帧速率限制。
83.即使当使用真实的轮廓传感器时，也可以屏蔽来自不包含任何闪光的图像部分的光贡献。
84.一种从已知不包含任何闪光的部分图像中屏蔽光的方法是通过使用其光可以被空间控制的一个或几个照明器(诸如透镜后的红外oled阵列，具有dlp或lcos投影仪的任何布置，或者本领域技术人员容易理解的许多其它解决方案)。
85.从已知不包含任何闪光的部分图像中屏蔽光的另一种方法是通过光在进入轮廓传感器之前使用阻挡部分光的元件。这些阻挡元件可以是基于lcd的、机械的、或基于本领域技术人员容易理解的多种其它解决方案。
86.使用传统的图像传感器模拟轮廓传感器
87.可以利用包括像素矩阵的传统图像传感器来模拟轮廓传感器。为了实现该硬件或软件可以执行数学运算(诸如计算沿传感器上的线的平均亮度级或沿传感器上的线的所有亮度级的总和)以提供与轮廓传感器的输出类似的输出，通常这将等同于从传统传感器输出行或列，然而，可以输出像素的任何配置，例如对角线。通过使用该模拟系统，可以执行除了仅线上的所有像素值的传统平均值和总和之外更多的操作，诸如如上所述的屏蔽，进一步可以屏蔽从已知不包含任何闪光的捕获图像的区域(图像传感器中的像素)检测到的光。
通过执行该屏蔽功能，信噪比将增加。屏蔽区域的示例是用户角膜外的区域，因为该区域对闪光没有贡献。
88.可以使用传统的轮廓传感器来执行对来自对闪光没有贡献的图像区域的光的屏蔽。用于屏蔽光的进一步选择包括利用其光可以被空间控制的照明器，诸如在透镜后的红外oled阵列、具有dlp或lcos投影仪的任何布置或者本领域技术人员容易理解的任何其它解决方案。另一种选择是阻止来自非贡献区域的光到达传感器，这可以通过机械解决方案、lcd解决方案或本领域技术人员理解的任何其它解决方案来实现。机械lcd解决方案可以包括将透明lcd放置在轮廓传感器的前面。
89.与显示器同步的眼睛跟踪器
90.对于眼睛跟踪的某些应用，使眼睛跟踪设备与显示器同步是有价值的，特别是在可穿戴设备中。根据本发明的这个方面，可穿戴设备被设置有显示器、至少一个相机和至少一个照明器。至少一个相机和至少一个照明器形成眼睛跟踪装置。相机和/或照明器可以与显示器同步。同步的特征可以是：使相机闪光率(camera strobe rate)与显示器的垂直同步(v-sync)同步。
91.进一步期望使眼睛跟踪设备与一个或多个位置设备同步。例如，眼睛跟踪设备可以与惯性测量单元等同步，或者与房间位置设备(诸如使用红外线或其它非可见光的系统)同步，这种系统已经由以“发光室(lighthouse)”的名字提出。本领域的技术人员将容易地理解这种同步如何起作用。
92.可移除的眼睛跟踪器
93.根据本发明的另一方面，提供了一种可移除的眼睛跟踪器，从而可以将眼睛跟踪器插入到可穿戴设备中。优选地，眼睛跟踪器与诸如电话、平板、手表、显示器等的另一设备一起集成。
94.眼睛跟踪器包括至少一个相机和至少一个照明器，其主要功能可以是跟踪用户相对于将其集成到其中的设备(例如电话、平板或手表)的注视。作为次要功能，将眼睛跟踪器集成到其中的设备可以插入到可穿戴设备中。然后，该设备可以向该可穿戴设备提供诸如显示器的功能，并且该眼睛跟踪器可以用于确定该可穿戴设备的穿戴者的注视方向。眼睛跟踪器的操作方法可以是本文中描述的任何传统方法或任何方法。
95.微笑认证
96.根据本发明的一个方面，用于眼睛跟踪的可穿戴设备中的图像传感器也可以用于捕获用户眼睛周围区域的图像。可以分析这些图像以确定用户是否微笑以及微笑是真的还是假的。众所周知，用户眼睛周围区域的特征可以被用于确定微笑是假的还是真的，参见例如“are your eyes smiling？detecting genuine smiles with support vector machines and gabor wavelets(“你的眼睛在微笑吗？利用支持向量机和gabor小波检测真正的微笑”，2001年第8届神经计算联合研讨会纪要，littlegoriter-ford,gwen,marian stewart bartlett和javier r.movellan,。为了所有目的，上述出版物的全部内容在此引入作为参考，如在此充分阐述的那样。
97.根据本发明，当捕获眼睛的图像时，用于眼睛跟踪的图像传感器捕获眼睛周围的至少一部分区域，然后可以使用已知的微笑检测算法来分析这些图像，以确定用户的微笑是假的还是真的。
98.基于虹膜识别的校准
99.根据本发明，用于眼睛跟踪的图像传感器进一步捕获与用户虹膜相关的信息。该输入可以被用于确定用户的身份以输入到连接到眼睛跟踪器的系统中。
100.例如，根据本发明，提供了一种可穿戴设备，其中提供了至少一个图像传感器和至少一个红外照明器。图像传感器和照明器朝向穿戴该设备的用户的一个或多个眼睛。可选地，该设备进一步包含诸如在虚拟现实头戴式设备中的显示器。
101.图像传感器捕获用户虹膜的图像并将该图像传递到处理设备，处理设备可以位于可穿戴设备上或可以位于远离处理设备的位置，在这种情况下，通信可以通过本领域技术人员将理解的有线或无线方式来实现。
102.虹膜识别是一种已知的技术，它使用数学模式识别技术来唯一地识别用户的一个虹膜或两个虹膜上的图案，以便识别或认证用户。在其最基本的形式中，虹膜识别包括以下步骤：
103.定位：计算虹膜的内边界和外边界。
104.归一化：为一致性归一化所捕获的数据。
105.特征提取：形成从捕获的图像中提取的特征的特征向量。
106.匹配：使用阈值技术分类特征向量。
107.已经提出了允许虹膜识别的许多算法，参见例如daugman j.g.，“high confidence visual recognition of persons by a test of statistical independenc(通过统计独立性测试的人的高置信度视觉识别)”，ieee学报，模式分析和机器智能，第15卷，第11号，(1993)，第1148-1161页。为了所有目的，上述出版物的全部内容在此引入作为参考，如在此充分阐述的那样。
108.基于用户虹膜的图像，与可穿戴设备(有线或无线)连接的处理单元可以使用用户的标识来影响其功能。例如，当使用眼睛跟踪器时，处理单元可以加载校准简档，该校准简档提供关于其计算的注视位置和实际注视位置之间的偏移的用户特定的信息。作为另一示例，该标识可以用于将用户认证为被授权以操作该可穿戴设备或操作与其连接的处理单元。
109.眼睛扭转补偿
110.根据本发明的另一方面，可以跟踪眼睛扭转。作为解释，人眼以这样的方式附着到肌肉上，即除了左/右和上/下运动之外，眼睛还可以旋转，使得虹膜的顶部可以被旋转更靠近鼻子，而虹膜的底部旋转离鼻子更远。相反的旋转当然也是可以的。这种类型的旋转通常被称为眼睛扭转。
111.当人将他们的头部稍微旋转到他们的侧面时，大多数人自动地将他们的眼睛稍微向相反的方向旋转，保持他们的眼睛接近地平线的水平。该效果仅在小旋转期间起效，因为不可能以这种方式将眼睛旋转大量的角度。
112.对于其中央凹(fovea)未完全地沿着眼睛的光轴居中的所有人，这种现象在眼睛跟踪系统中引入了附加的误差源。
113.本发明可以通过观看虹膜和/或眼球上的其它特征和/或使用来自眼睛跟踪器的取向信息来跟踪眼睛扭转。这将为眼睛跟踪器提供对中央凹的位置的更好的评估，并且因此当其头部倾斜时，将提供对跟踪眼睛的主体的注视的更好的评估。
114.角膜曲率
115.根据本发明的一个实施例，至少一个图像传感器捕获用户眼睛的图像。计算单元利用该信息来确定用户角膜的形状。根据来自红外光源的反射的位置和取向，可以测量角膜的曲率。在一些人中，它们的角膜具有异常曲率。这可以称为散光。
116.通过使用从图像传感器和红外光源获得的信息，可以对角膜的曲率建模，并且因此可以识别具有异常形状的角膜的用户。通过确定角膜的形状，可以进行校正措施，诸如规定合适的透镜。
117.示例性实施例
118.转向图1，示出了可穿戴设备100的方框图。为了参考，还示出了用户的眼睛101。可穿戴设备100可以包括显示器110、透镜120、照明器130、图像传感器140和至少一个处理器150。前述组件可以提供在壳体160中。
119.处理器150能够控制和/或接受来自任何前述组件或本文所讨论的其它组件的反馈/数据。在该实施例中，处理器150被示为可穿戴设备100的整体部分，然而，在其它实施例中，处理器150可以被定位为远离可穿戴设备100的其余部分。仅作为示例，移动电话或设备、平板电脑、诸如小型手表的可佩戴的计算机、膝上型计算机、笔记本计算机、台式计算机、云处理设备、和/或其它处理设备可以替代地提供处理器150。
120.在一些实施例中，处理器150可以仅仅是用于实施本文所述的系统和方法的一个处理器，并且通信接口170可以允许附加处理器至少辅助实施本文所述的系统和方法。还可以提供电池、电源或电源接口来为可穿戴设备100的组件传送电力。在处理器150被包括在可穿戴设备100中的实施例中，接口170可以仍然存在以允许来自处理器150和/或其它组件的信号和/或数据被发送到远程系统或由远程系统检索，和/或允许远程系统控制可穿戴设备100的组件。
121.显示器110可以被配置为呈现图像，并且仅作为示例可以经由发光二极管(led)显示器、液晶显示器(lcd)等来提供。如本领域技术人员将认识到的，也可以使用其它类型的显示器。
122.透镜120可以被配置为向用户的眼睛101提供显示器100的视图。在一些实施例中，透镜120可以是菲涅尔透镜，例如虚拟现实或个人显示头戴式设备。在其它实施例(诸如增强现实头戴式设备)中，根据可穿戴设备100的特定功能或目的，可以采用不同类型的透镜。
123.在一些实施例中，对于用户的另一只眼睛，可以基本上复制图1中示出的布置。一些组件，例如处理器150和接口170，可以服务于这两种配置。可以重复提供其它组件，例如显示器110、透镜120、照明器130和图像传感器140，其中每个组件中的一个或多个服务于单个眼睛。本文讨论的任何实施例可以应用于用户的一只或两只眼睛。
124.照明器130可以被配置以照明眼睛101。在一些实施例中，多个照明器130可以服务于用户的每个眼睛或两个眼睛。图像传感器140可以被配置为检测由眼睛101反射的照明。在一些实施例中，多个图像传感器140可以服务于用户的每个眼睛或两个眼睛。处理器150能够控制和/或接收来自照明器130和图像传感器140的反馈/数据，以便确定眼睛101的注视方向。同样地，在服务用户两个眼睛的实施例中，用户的整体注视方向可以由处理器150确定。可穿戴设备100的任何组件可以位于与图1所示的不同位置，因为其中这些组件的定位仅仅是出于示例性目的。
125.如上所讨论，如果显示器110上的图像距用户处于用户不能通过透镜120聚焦的距离，处理器150可以确定眼睛101的注视方向没有集中于该图像。这将是由于用户不能清楚地辨别图像引起的，并且因此用户的注视方向将以不指示在图像上预期聚焦的模式移动。因此，这种不能保持朝向图像的注视方向可能指示显示器110上的图像不聚焦到眼睛101。
126.因此，处理器150可以被配置为使得显示器110向眼睛101呈现图像、使得照明器130照亮眼睛101、从图像传感器140接收指示由眼睛101反射的照明的数据、根据该数据确定注视方向、确定眼睛的注视方向不集中于该图像(即，因为用户不能聚焦在该图像上)、并且使得显示器110或透镜120中的至少一个移动直到由处理器150确定注视方向集中于图像，由此指示用户已实现在图像上的聚焦。
127.在一些实施例中，在确定用户确实聚焦在图像上之前，可能要求用户的注视方向集中于图像持续一定的最小时间量。仅作为示例，在以下值之间，这种最小时间量可以是大约0.1秒、大约0.5秒、大约1.0秒、大约1.5秒、大约2.0秒、或者大约任何0.1秒的增量。显示器110和/或透镜120的移动可以以允许在显示器110和/或透镜120的另一递增移动之前经过这些时间段或更长的时间段的步进增量的方式进行。以这种方式，当用户能够这样做时，在显示器110和/或透镜120的另一移动之前，时间可以允许用户在必要的时间量内聚焦在图像上。
128.在一些实施例中，所显示的图像可以是光栅图像。图2示出了光栅图像200的一个示例，其中由图像定义几何形状(三角形)。也可以使用其它形状，包括诸如圆形和正方形的几何形状，以及诸如动物的剪影的非几何形状或诸如电话的普通消费者物品等。可以采用可能引起眼睛101的聚焦的任何图像。与图2所示的垂直光栅相反，在一些实施例中也可以采用水平光栅。
129.在一些实施例中，可以显示3d形状或对象，其中实施例为用户的两个眼睛提供服务。以这种方式，可以独立地确定显示器110和透镜120在每只眼睛处的适当距离。
130.在一些实施例中，光栅图像可以仅出现在显示器110的一部分上，如图2所示。在其它实施例中，光栅图像可以出现在显示器110的全部或基本上全部上。在一些实施例中，显示器110的其余部分可以以一定级别的灰度来呈现。
131.在一些实施例中，可以以不同的光栅分辨率提供光栅图像，这在监测用户聚焦的能力(即，用户的注视方向是否朝向图像)的同时透镜被连续地或逐步地朝向和/或远离眼睛101移动时是可能的。仅作为示例，尽管图2的三角形可以以这样的方式示出使得每一个垂直的实心黑白“光栅(gates)”为10个像素宽，但是该分辨率可以在顺序图像中向上或向下步进。例如，分辨率可增加到5像素宽“光栅”，其中垂直实心黑白“光栅”的数目将加倍，且每一个将是10像素宽“光栅”的一半宽。分辨率可以进一步增加到3像素宽“光栅”，甚至进一步增加到1像素宽“光栅”。光栅的任何分辨率都是可能的。
132.在一些实施例中，可以首先以试图确定用户是否可以以显示器120和透镜110的任何距离组合聚焦在这种光栅上的方式来显示光栅的最高分辨率(例如，1像素光栅)。如果眼睛101没有实现聚焦，则可以降低光栅分辨率(例如，2像素光栅)，并且可以再次尝试显示器120和透镜110的所有距离组合，以查看用户是否实现聚焦。可以尝试连续降低光栅分辨率，直到实现聚焦。
133.在一些实施例中，处理器150可以不在确定注视方向朝向图像(即已经实现了聚
焦)时立即结束移动显示器110和/或透镜120的过程。在一些实施例中，聚焦的"边缘(edges)"可以通过以下过程来确定。可以显示具有特定分辨率的光栅的图像(例如，5像素宽光栅)，并且处理器150可以移动显示器110和/或透镜120以确定注视方向朝向图像(即，用户已经聚焦在所显示的图像上)的最长和最短的有效焦距。然后，处理器150可以增加显示器120上的图像的分辨率(例如，3像素宽光栅)，并且然后移动显示器110和/或透镜120以确定注视方向朝向图像(即，用户已经聚焦在所显示的图像上)的最长和最短的有效焦距。然后，可以对较高和较高分辨率的光栅(例如，1像素宽光栅)进行相同的过程，直到可以为可以确定有效焦距范围的最高分辨率确定最佳中点有效焦距。
134.显示器110和透镜120可以如图1中在其处的箭头所示的那样移动，以便聚焦为用户显示的图像。在其它实施例中，显示器110和透镜120的移动也可以发生在其它主轴上，或它们的某种组合上。例如，如果假设图1中所示的箭头处于y轴上，则移动也可以发生在x轴(用户左边到右边)和z轴(用户的上和下)上。
135.一些实施例可以允许显示器110和透镜120两者都移动，而在其它实施例中，显示器110或透镜120中的仅一个或另一个可以移动。在一些实施例中，显示器110或透镜120可以首先以试图实现用户聚焦的方式移动，而显示器110或透镜120中的另一个可以仅在移动第一组件而没有实现用户聚焦之后移动。在其它实施例中，两个部件可以以试图实现聚焦的方式同时移动。
136.显示器110和/或透镜120的移动可以通过本领域已知的任何方式来实现。仅作为示例，壳体160中的固定地位于其上具有小齿轮的一个或多个步进马达可以致动与显示器110和/或透镜120固定联接的齿条。也可以采用本领域已知的其它移动装置。图1示出了显示器110和透镜120附近的指示了这些组件的潜在示例性移动范围的虚线。
137.在一些实施例中，处理器150可以实施将来自图像传感器140的某些数据识别为指示关于显示器110和透镜120的移动的某些所需校正动作的学习或其它编程的过程。例如，某些由处理器随时间学习或预先编程的眼睛/注视移动模式可以指示显示器110或透镜120应该从眼睛101移开，而其它由处理器随时间学习或预先编程的眼睛/注视移动模式可以指示显示器110或透镜120应该朝向眼睛101移动。
138.在一些实施例中，照明器130和图像传感器140也可以连同与其相关联的任何副透镜一起由处理器150移动。照明器130和/或图像传感器140的移动可以通过本领域已知的任何方式来实现。仅作为示例，壳体160中的固定地位于其上具有小齿轮的一个或多个步进马达可以致动与照明器130和/或图像传感器140固定联接的齿条。也可以采用本领域已知的其它移动装置。图1示出了照明器130和/或图像传感器140附近的指示了这些组件的潜在示例性移动范围的虚线。在一些实施例中，提供给照明器130和/或图像传感器140的副透镜的功能可以由(主)透镜120和/或与其集成的组件提供。于2017年7月17日提交的美国专利申请第15/651,976号讨论了这种布置。上述申请的全部内容通过引用结合于此，如在此充分阐述的那样。
139.在一些实施例中，处理器150可以移动照明器130和/或图像传感器140，以便增加照明器130和/或图像传感器140的效率或能力，从而提供确定眼睛101的注视方向所需的足够质量的数据。照明器130和/或图像传感器140的移动可以发生在主轴中的任何一个上，或其某种组合上。在一些实施例中，处理器150可以至少部分地基于从图像传感器140接收的
数据来确定照明器130和/或图像传感器140是否移动和如何移动。例如，并且特别是在服务两只眼睛的实施例中，从图像传感器140接收的数据可以允许处理器150确定瞳孔间距，一旦确定，向处理器指示照明器130和/或图像传感器140应该被重新定位，以增加特定用户的注视方向检测的可用性或质量。
140.转向图3，示出了如所述的用于向用户显示图像的方法300。在框310处，方法300可以包括使得显示器通过透镜向用户的眼睛呈现图像。在框320处，方法300可以包括使得照明器照亮用户的眼睛。在框330处，方法300可以包括接收来自检测由眼睛反射的照明的图像传感器的数据。在框340处，方法300可以包括至少部分地基于来自图像传感器的数据来确定眼睛的注视方向。在框350处，方法300可以包括使得照明器或图像传感器中的至少一个移动。与方法300的其它步骤类似，框350可以在方法300的执行期间的任何其它时间点处发生。在框360处，方法300可以包括使得显示器或透镜中的至少一个移动，直到注视方向集中于图像(即，已经实现了聚焦)。
141.在另一实施例中，提供了一种具有存储在其上的用于向用户显示图像的指令的非暂态机器可读介质。指令可由一个或多个处理器执行，以使得一个或多个处理器执行如本文所讨论的方法。该方法可以包括使得可穿戴设备中的显示器通过镜片向用户的眼睛呈现图像。该方法还可以包括使得照明器照亮用户的眼睛。该方法可以进一步包括接收来自检测由眼睛反射的照明的图像传感器的数据。该方法可以附加地包括至少部分地基于来自图像传感器的数据来确定眼睛的注视方向。该方法还可以包括使得显示器或透镜中的至少一个移动，直到注视方向集中于图像。本文讨论的任何其它步骤也可以包括在由存储在非暂态机器可读介质上的指令执行的方法中。
142.示例性计算机系统
143.图4是示出其中可以实施本发明的实施例中的任何一个的示例性计算机系统400的方框图。该示例示出了计算机系统400，诸如可以整体地，部分地或利用各种修改来使用以提供上述系统和方法的功能。
144.计算机系统400被示为包括可以经由总线490电耦接的硬件元件。硬件元件可以包括一个或多个中央处理单元410、一个或多个输入设备420(例如，眼睛跟踪设备、鼠标、键盘、触摸板、麦克风等)、以及一个或多个输出设备430(例如，显示器、打印机等)。计算机系统400还可以包括一个或多个存储设备440。作为示例，存储设备440可以是瞬态和/或非瞬态盘驱动器、光学存储设备、固态存储设备(诸如可编程、可闪存更新的随机存取存储器(ram)和/或只读存储器(rom)或类似物。
145.计算机系统400可以附加地包括计算机可读存储介质读取器450、通信系统460(例如，调制解调器、网络卡(无线或有线)、红外通信设备、蓝牙设备、蜂窝通信设备等)，以及工作存储器480，其可以包括如上所述的ram和rom设备。在一些实施例中，计算机系统400还可以包括处理加速单元470，其可以包括数字信号处理器、专用处理器或类似物。
146.计算机可读存储介质读取器450可以进一步连接到计算机可读存储介质，一起(并且可选地，与存储设备440组合)综合地表示远程、本地、固定和/或可移动存储设备以及用于临时和/或更永久地包含计算机可读信息的存储介质。通信系统460可以允许与网络、系统、计算机和/或上述其它组件交换数据。
147.计算机系统400还可以包括软件元件(被示出为当前位于工作存储器480内)，包括
操作系统484和/或其它代码488。应当理解的是，计算机系统400的替换实施例可以具有上述的多种变型。例如，也可以使用定制的硬件和/或特定的元件可以以硬件、软件(包括便携式软件，诸如小应用程序)或两者来实施。另外，也可以发生与诸如网络输入/输出和数据采集设备的其它计算设备的连接。
148.计算机系统400的软件可以包括用于实施如本文所述的体系结构的各种元件的任何或全部功能的代码488。例如，存储在诸如系统400的计算机系统上和/或由诸如系统400的计算机系统执行的软件可以提供以上讨论的方法和系统的功能。以上已经更详细地讨论了可由软件在这些组件中的一些上实施的方法。
149.为了清楚和理解的目的，现在已经详细描述了本发明。然而，应当理解的是，可以在所附权利要求的范围内实行某些改变和修改。