即时眼睛凝视校准系统和方法与流程

即时眼睛凝视校准系统和方法
1.发明背景
技术领域
2.本公开总体上涉及眼睛跟踪系统及方法，并且更具体地涉及例如用于在成像、跟踪、诊断、和/或手术系统中跟踪眼睛的位置和/或取向的系统及方法。


背景技术：

3.多种多样的眼科装置被用于对患者的眼睛进行成像、测量、诊断、跟踪、手术矫正和/或手术修复。眼科装置、比如断层扫描装置、角膜曲率测量装置、波前分析器或测量眼睛各方面(例如，光学、几何等)的其他装置的操作通常是基于这样的假设：眼睛相对于诊断装置被维持在限定的位置和取向。眼科装置的人类操作者(human operator)可以让患者定位并指示其例如看向装置中的目标物体(例如，注视灯)以将患者的视线(例如，人看着事物所沿着的轴线)对准眼科装置的光轴。如果患者没有恰当地注视，读数可能不准确和/或系统可能不能恰当发挥作用。
4.为了确保准确的数据采集，眼科装置的人类操作者通常负责在数据采集期间监测患者、引导患者完成初始化程序、和/或监测来自该装置的反馈，以确定患者是否已经恰当地注视目标物体而对准了眼睛。一种已知的技术包括依靠患者的合作来按照装置操作者(device operator)的指示注视目标物体。然而，现有的途径具有许多缺点，包括患者试图注视时的人为误差(例如，老年患者可能无法维持眼睛位置，患者可能缺乏足够的注意力来让眼睛注视，患者可能无法直视目标物体等)和在该程序期间监视着患者的操作者的人为误差。在另一种途径中，可以使用视网膜扫描与成像分析来跟踪患者的眼睛位置和取向，但视网膜成像系统的操作可能干扰诊断程序。因此，在使用眼科装置进行的诊断程序期间，经常要关掉视网膜扫描与成像系统或以其他方式使其无法用于眼睛跟踪。
5.鉴于前述内容，本领域持续需要用于在眼科程序期间确定和/或跟踪患者眼睛的位置和取向的改进的技术。


技术实现要素：

6.本公开总体上涉及用于初始化眼睛跟踪成像系统的自动化方法。本公开的各种实施例涉及用于在眼科装置中初始化基于相机的凝视跟踪系统(或其他基于成像的眼睛跟踪装置)的全自动即时方法。
7.在本公开的一方面，一种系统包括：眼睛跟踪器，该眼睛跟踪器被配置用于从第一位置捕捉眼睛的第一图像并且从第二位置捕捉眼睛的第二图像；以及控制处理器，该控制处理器被配置用于：从第一图像检测第一多个眼睛特性，这些眼睛特性具有对应的第一图像坐标；从第二图像检测第二多个眼睛特性，这些眼睛特性具有对应的第二图像坐标；以及至少部分地基于对应的第一图像坐标、对应的第二图像坐标、第一位置、和第二位置来确定校准偏离量和校准增益。
8.该控制处理器可以进一步被配置用于：至少部分地基于对应的第一图像坐标和/或对应的第二图像坐标来确定相对于眼睛跟踪器的光轴而言的眼睛注视位置和取向，至少部分地基于所确定的眼睛注视位置和取向来估计眼睛注视参数；接收来自眼睛跟踪器的多个图像；以及通过分析第一多个图像中的至少一个图像以确定相对于眼睛注视参数的当前眼睛位置和取向，来跟踪当前眼睛位置和取向。这些眼睛注视参数可以包括该眼睛在注视时的参考位置和取向。
9.该控制处理器可以进一步被配置用于通过构建并分析检测到的眼睛位置和取向的直方图来确定相对于眼睛跟踪器的光轴的注视位置。分析该直方图可以进一步包括确定相对最大值的坐标是否包含注视位置和取向；确定相对最大值的坐标是否包含注视位置和取向可以进一步包括将相对最大值与阈值和/或直方图的平均坐标值进行比较。
10.在本公开的一些方面，该系统包括：视网膜成像系统，该视网膜成像系统包括光学相干断层扫描(oct)扫描仪，其被配置用于进行视网膜扫描；并且该眼睛跟踪器进一步被配置用于在视网膜扫描期间捕捉眼睛的图像流。该视网膜成像系统可以被配置用于：捕捉眼睛的多个视网膜图像；检测中央凹是否存在于眼睛的多个视网膜图像中的一个或多个图像中；以及从眼睛的多个视网膜图像中识别具有所检测到的中央凹的第一视网膜图像。该控制处理器可以进一步被配置用于：从该图像流中确定与第一视网膜图像在时间上接近的对应图像；以及分析对应图像以确定眼睛注视参数。
11.在本公开的一些方面，该控制处理器进一步被配置用于：跟踪眼睛位置和取向并且计算与眼睛注视参数的偏离量并确定偏离量是否小于阈值。如果偏离量小于阈值时，确定眼睛在注视，并且该控制处理器生成注视指示；并且当偏离量大于阈值时，确定眼睛未对准，并且该控制处理器生成未注视指示。
12.该控制处理器可以进一步被配置用于进行眼睛诊断程序并且在眼睛诊断程序期间使用眼睛跟踪器来跟踪眼睛位置。该系统可以包括诊断装置，该诊断装置被配置用于在使用眼睛跟踪器来跟踪眼睛的位置和取向时进行眼睛诊断程序。该诊断装置可以被配置为至少部分地基于表示眼睛注视参数的数据和所跟踪到的眼睛位置来修改眼睛诊断程序。
13.在本公开的各个方面，一种方法包括：从第一位置捕捉眼睛的第一图像；从与第一位置不同的第二位置捕捉眼睛的第二图像；从第一图像检测第一多个眼睛特性，这些眼睛特性具有对应的第一图像坐标；从第二图像检测第二多个眼睛特性，这些眼睛特性具有对应的第二图像坐标；以及至少部分地基于对应的第一图像坐标、对应的第二图像坐标、第一位置、和第二位置来确定校准偏离量和校准增益。
14.该方法可以进一步包括：捕捉眼睛的图像流；至少部分地基于检测到的眼睛特性的坐标、校准偏离量和校准增益来检测这些图像流中的眼睛位置和取向；以及确定相对于光轴而言的眼睛注视位置和取向。该方法可以进一步包括：至少部分地基于所确定的眼睛注视位置和取向来估计眼睛注视参数；以及通过分析该图像流中的一个或多个图像以确定相对于眼睛注视参数的眼睛位置和取向，来跟踪所述眼睛位置和取向。这些眼睛注视参数可以包括该眼睛在注视时的参考位置和取向。在一些实施例中，该方法包括：对神经网络进行训练以接收所述图像流并且输出对眼睛位置的确定。
15.在本公开的一些方面，该方法进一步包括：通过构建并分析检测到的眼睛位置和取向的直方图来检测相对于光轴的注视位置，其可以包括确定相对最大值。
16.该方法可以进一步包括：使用光学相干断层扫描(oct)扫描仪来进行眼睛的视网膜成像扫描；通过视网膜成像扫描来捕捉眼睛的多个视网膜图像；使用成像装置来捕捉图像流，该成像装置被配置用于对眼睛的表面进行成像；检测中央凹是否存在于多个视网膜图像中的一个或多个图像中；从该多个视网膜图像中识别具有检测到的中央凹的第一视网膜图像；从该图像流中确定与第一视网膜图像在时间上接近的对应图像；以及分析对应图像以确定眼睛注视参数。
17.在本公开的一些方面，该方法可以进一步包括：跟踪眼睛位置和取向并且计算与眼睛注视参数的偏离量并确定偏离量是否小于阈值。当偏离量小于阈值时，确定眼睛在注视，并且控制处理器生成注视指示。当偏离量大于阈值时，确定眼睛未对准，并且控制处理器生成未注视指示。
18.该方法可以进一步包括：在使用图像捕捉装置来跟踪眼睛的位置和取向时进行眼睛诊断程序；以及至少部分地基于表示眼睛注视参数的数据和所跟踪到的眼睛位置来修改眼睛诊断程序。
19.本公开的范围由权利要求限定，权利要求通过援引并入本部分中。通过考虑以下对一个或多个实施例的详细描述，本领域技术人员将获得更完整的理解并实现其额外的优点。将参考将首先简要描述的附图的所附页。
附图说明
20.参考以下附图和随后的详细描述，可以更好地理解本公开的方面及其优点。应了解的是，相同的附图标记用于标识一个或多个图中所示的相同元件，其中的显示是为了展示本公开的实施例而不是为了限制本公开。附图中的部件不一定按比例绘制，而是将重点放在清楚地展示本公开的原理上。
21.图1a和图1b展示了根据本公开的一个或多个实施例的示例性眼睛跟踪与成像系统。
22.图2展示了根据本公开的一个或多个实施例的具有自动初始化和校准的示例性眼睛跟踪与成像系统。
23.图3展示了根据本公开的一个或多个实施例的示例性眼睛跟踪与成像系统。
24.图4展示了根据本公开的一个或多个实施例的示例性神经网络。
25.图5展示了根据本公开的一个或多个实施例的示例性计算系统。
26.图6展示了根据本公开的一个或多个实施例的自动初始化与校准系统的示例性操作。
27.图7展示了根据本公开的一个或多个实施例的用于估计绝对眼睛位置的方法。
28.图8展示了根据本公开的一个或多个实施例的使用眼睛跟踪器检测到的眼睛位置和取向的示例性热图。
29.图9展示了根据本公开的一个或多个实施例的由使用眼睛跟踪器检测到的眼睛位置和取向数据构建的示例性直方图。
30.图10展示了根据本公开的一个或多个实施例的用于实施图7的方法的示例性系统。
具体实施方式
31.本公开总体上涉及在眼科装置的操作期间使用的初始化并校准眼睛跟踪系统的自动化系统和方法。各种实施例提供了初始化并校准基于相机的凝视跟踪系统的全自动即时方法，所述方法可以单独使用或与用于操作眼科装置的其他部件和方法一起使用。
32.本文公开的系统和方法提供了优于传统系统的许多优点。管理眼睛运动并确保患者注视是操作许多眼科诊断装置(比如角膜曲率计、角膜地形图仪和像差仪等)的因素。这些装置通常需要患者注视仪器内部的特定注视目标以提供准确的读数。如果患者在测量期间没有恰当地注视并且没有考虑到这一点，则读数的准确性可能会受到严重影响。对于许多实施方式，人进行注视时的准确性(主动控制对静态目标的凝视)可以为约1度左右，但可能比取决于眼睛状况(例如，严重的白内障)的准确性显著更差。甚至在患者主动注视的情况下，如果在测量过程中已知眼睛的确切凝视曲线，某些眼科装置的操作也会更加准确，因为这可以直接用于消除由眼睛凝视运动和无法稳定注视引起的读数中的测量噪声。
33.本文公开的改进的初始化和校准技术允许获得对患者眼睛的更准确测量并且可以用于以下诊断系统中：该诊断系统确定患者的视线(在本文中还称为患者的视轴)是否与诊断系统的光轴对准。患者的视线/视轴可以是患者的眼睛被定向为看着物体时所沿着的轴线。本文公开的系统和方法允许更简单、更短且更准确的系统初始化和校准。根据本文公开的系统及方法所采集的诊断数据比通过常规途径采集的数据更有意义且更准确。
34.参见图1a和图1b，现在根据一个或多个实施例来描述与眼科装置一起使用的示例性眼睛跟踪系统。跟踪眼睛凝视的一种方式是通过分析相机图像以将图像中瞳孔的位置与从相对于观察相机在空间中固定的照明源产生的角膜反射的位置进行比较。图1a和图1b所示的系统包括校准程序，在校准程序期间，指示患者注视已知注视点以允许系统校准观察眼的细节。如图所示，眼睛跟踪系统100包括图像捕捉部件(例如，可见光相机)和照明源112a(例如，一个或多个发光二极管(led))，该照明源处于相对于图像捕捉部件的已知固定位置。眼睛跟踪系统100被配置用于通过捕捉并分析眼睛102a的图像流、比如示例性相机图像120a来对眼睛102a进行成像和跟踪。
35.分析相机图像120a以识别眼睛102a的一个或多个特性，比如角膜122a、瞳孔124a、和照明源112a反射126a的图像。通过识别相机图像120a中的一个或多个眼睛特性，可以确定关于眼睛102a的位置和取向的信息，比如眼睛凝视方位角ga和眼睛凝视仰角ge。可以分析相机图像120a以确定在程序期间眼睛的对准坐标和/或偏离位置。例如，可以分析相机图像120a以确定照明的角膜反射126a(cr)的图像坐标[crx，cry]和/或瞳孔124a的图像坐标[pcx，pcy](例如，瞳孔pc的中心)。
[0036]
可以如下来计算角膜反射cr与瞳孔中心pc之间的图像坐标差：
[0037]
dx＝crx-pcx
[0038]
dy＝cry-pcy
[0039]
这些图像坐标差与眼睛凝视的方位角(ga)和仰角(ge)成比例：
[0040]
dx～ga
[0041]
dy～ge
[0042]
为了更准确地用dx和dy推导出眼睛凝视方位角ga和眼睛凝视仰角ge，可以分别对每个图像坐标x和y应用偏离量(ax，ay)和增益(bx，by)：
[0043]
ga＝ax bx*dx
[0044]
ge＝ay by*dy
[0045]
变量a和b可能取决于各种各样的因素，例如包括被成像的特定眼睛的解剖结构、相机和照明源的设置、以及相机的光学器件。在一些实施例中，a和b的确定可以包括初始化程序，在该初始化程序期间，要求被跟踪患者注视刺激限定的眼睛凝视的一组目标(例如，注视点网格)。例如，图1a展示了以下场景：要求患者聚焦第一已知注视点，例如靠近眼睛跟踪系统100的光轴或与其对准的点。图1b展示了以下场景：眼睛在观察第二已知注视点，例如靠近相机的点。由于相机位置和取向、眼睛位置和取向、以及注视点的位置在注视期间是已知的，因此可以知道或估计针对每个注视点的眼睛凝视方位角ga和眼睛凝视仰角ge。分别分析两个相机图像120a和120b以确定每个图像中的一个或多个眼睛特性(例如，图像中瞳孔的中心、图像中的反射位置)的坐标x和y。然后可以求解方程组，用于a和b初始化并校准用于眼睛跟踪的系统。
[0046]
参见图1a和图1b描述的初始化程序实施起来可能很繁琐、和/或对一些患者来说容易出错。例如，可能要指示患者分别注视5个或更多个注视点的网格，以通过统计学分析或其他数学分析(例如，最小二乘分析)来计算a和b的值。要求患者注视多个目标需要大量的患者合作，并且患者凝视任何一个点都容易出错。
[0047]
现在将参照图2来描述本公开的另外的实施例。图2展示了眼睛跟踪系统200，该眼睛跟踪系统包括自动初始化和校准部件和程序，用于允许在用于角膜曲率测量、角膜断层扫描、像差测量和其他用途的诊断系统中进行准确的眼睛凝视跟踪。虽然图2所展示的系统和方法可以是完全自动化的、并且减少/消除了患者要完成繁琐的初始化程序的需要，但是各方面可以与手动和/或其他自动眼睛跟踪初始化和校准程序(包括操作者引导患者注视一系列已知注视点的程序)一起使用。
[0048]
眼睛跟踪系统200可以在使用眼睛的准确注视的任何装置中实施。例如，许多眼科装置(比如角膜曲率计、地形仪和像差仪)在诊断程序期间依赖于准确的眼睛注视。在采集诊断数据期间具有关于实际眼睛凝视的准确信息可以允许过滤掉不充分注视的读数、通过考虑实际凝视取向来补偿不充分注视的读数、和/或更准确地比较在不同时间点获得的诊断读数(例如，角膜地形图)并在比较读数时考虑凝视差异。
[0049]
眼睛跟踪系统200包括具有第一照明源202的第一图像捕捉装置201和具有第二照明源212的第二图像捕捉装置210。第一图像捕捉装置201和第一照明源202可以被配置为例如单一相机眼睛跟踪器，其适于捕捉患者眼睛220的图像。第一图像捕捉装置201可以包括可见光谱图像捕捉部件，这些部件被布置用于沿着眼科装置的光轴来捕捉患者眼睛220的表面的图像。第二图像捕捉装置210可以包括可见光谱图像捕捉部件，这些部件被布置用于从已知角度α捕捉患者眼睛220的表面的图像。在一些实施例中，第二图像捕捉装置210是与第一图像捕捉装置210相同类型的成像装置(例如，包括相同或相似的部件、相同的装置型号等)、并且布置在距眼睛220相同的距离处以产生第二相机图像214，该第二相机图像具有与第一相机图像204类似的图像特性。
[0050]
处理系统230控制眼睛跟踪系统200的操作、并且可以包括控制部件232、成像处理部件234、眼睛跟踪部件236、和系统初始化部件238。处理系统230可以包括通过硬件、固件和/或软件的组合实施的一个或多个系统或装置。在一些实施例中，控制部件232被配置用
于管理第一图像捕捉装置201和第二图像捕捉装置210的操作，包括提供使图像捕捉装置201和210的图像捕捉操作同步的指令。取决于系统构型，可以指示第一图像捕捉装置201和第二图像捕捉装置210同时、和/或以图像之间的短间隔按顺序地捕捉图像(例如，定时捕捉眼睛220在同一位置的两个图像)。图像处理部件234被配置用于分析捕捉的图像，以确定图像中的一个或多个眼睛特性，比如瞳孔中心、角膜位置和/或反射位置。眼睛跟踪部件236被配置为基于在一个或多个图像中识别的眼睛特性的校准测量值来跟踪眼睛位置。
[0051]
系统初始化部件238被配置用于将测量等式初始化，以根据捕捉的图像数据来准确地计算眼睛凝视方位角ga和眼睛凝视仰角ge。在多个不同的实施例中，指示患者注视诊断装置的光轴附近的已知注视点。操作者可以使用用户接口来与眼睛跟踪系统200相互作用以开启眼睛跟踪程序并引导使用者完成初始化处理。在一些实施例中，图像捕捉装置201和210中的每一个在患者注视已知点时捕捉图像。在系统初始化例程中使用第一图像捕捉装置201捕捉的第一相机图像204和第二图像捕捉装置210捕捉的第二相机图像214。例如，可以基于操作者的判断，即，使用视网膜成像系统检测中央凹、通过对相对于瞳孔中心的反射位置的图像分析、通过对随时间的推移而捕捉的多个图像的统计学分析、和/或通过其他技术来确定眼睛注视。
[0052]
通过图像处理部件234对这两个图像204和214进行处理以确定每个图像的眼睛特性。这两组眼睛特性代表当眼睛220注视着已知注视点时进行的两种不同测量。然后可以使用两组等式来求解校准偏离量a和增益b，以用于根据图像数据来确定眼睛凝视方位角ga和眼睛凝视仰角ge。通过使用第二相机从第二个角度对眼睛进行成像，可以获得眼睛针对单一注视点的两个图像和测量值，以允许确定偏移量和增益而无需繁琐的多注视点初始化程序。在其他实施例中，可以在其他角度提供一个或多个额外的相机，和/或可以根据需要使用多于一个注视点以进一步将误差最小化。
[0053]
现在将参考图3至图10来进一步详细地描述本公开的多个不同的示例性实施例。参见图3，根据一个或多个实施例的系统300包括可通信地联接的眼睛跟踪模块310(在此还称为“眼睛跟踪器”)和可选的视网膜成像系统330。眼睛跟踪模块310被配置用于跟踪眼睛302的取向并且可以包括第一成像装置312、第二成像装置313、以及一个或多个照明部件314。在一些实施例中，第一成像装置312和第二成像装置313是数码相机或其他数码成像装置，其被配置用于对眼睛的某些特征比如瞳孔和角膜缘(角膜与眼白、即巩膜之间的边界)、以及来自一个或多个照明部件314的反射进行成像。在一些实施例中，例如，照明部件314可以包括围绕相机光学器件定位的led环(例如，围绕成像装置的同轴照明)，使得环的中心类似于角膜的曲率中心。
[0054]
系统300包括控制逻辑318，其可以包括执行所存储的程序指令的处理器，所述程序指令被配置为执行本文公开的功能。在一些实施例中，控制逻辑318对由第一成像装置312捕捉的多个图像执行测量序列。测量序列通过使用图像数据(例如眼睛跟踪数据316)中眼睛302的可检测特征(例如瞳孔、角膜缘和虹膜特征)的位置来确定眼睛302的位置和取向。测量序列还可以确定照明系统在角膜处的反射(例如包括被照明元件的圆形图案的反射317)的位置。在一些实施例中，在测量序列期间，使用捕捉的图像来连续确定眼睛302的位置和取向。控制逻辑318还可以进行初始化和校准序列(例如，参见图1a、图1b和/或图2描述的序列)，包括根据成像装置312和313分别捕捉的一对图像来计算校准偏离量和增益，以
根据捕捉的图像数据来准确地计算眼睛位置和取向。
[0055]
控制逻辑318可以实施在眼睛跟踪模块310、视网膜成像系统330和/或其他系统部件中。控制逻辑318被配置为在眼睛跟踪模块310的操作期间检测相对眼睛运动，这可以包括根据捕捉的图像和对照明源位置的了解来检测并跟踪眼睛特征(例如，检测瞳孔)。例如，检测并计算瞳孔中心的偏离量和角膜曲率的偏离量可以提供关于眼睛的相对凝视的信息。
[0056]
可选的视网膜成像系统330可以包括用于对眼睛302的视网膜进行成像的任何装置或系统。视网膜成像系统330可以实施为视网膜光学相干断层扫描(oct)系统、视网膜光学系统或用于对视网膜进行成像的类似系统。在一些实施例中，视网膜成像系统330和/或控制逻辑318被配置用于在整个测量序列期间检测患者的中央凹至少一次。因此，视网膜成像系统330不需要在整个诊断序列期间是工作的(例如，出于技术或安全原因)并且可以在需要时关停或暂停。
[0057]
中央凹通常看起来像视网膜中的凹陷，其在某些视网膜成像系统中可以被检测到。在多个不同的实施例中，视网膜成像系统330生成视网膜成像数据332，比如视网膜oct图像334和/或眼底图像336。视网膜成像系统330可以包括视网膜oct扫描系统、眼底成像系统、或其他类似的装置。如果患者在注视与系统300相关联的目标物体，则中央凹将存在于视网膜成像装置的光轴的中心。视网膜成像装置可能仅需要扫描该装置的光轴周围的中心部分。如果患者正在注视，则中央凹存在于视网膜成像数据中。在一些实施例中，视网膜成像装置被配置用于对眼睛的后部成像以进行中央凹检测。如果系统需要对眼睛的不同部分成像(例如，对角膜的高分辨率扫描)，则中央凹在图像中将不可见，并且眼睛跟踪模块310将用于跟踪眼睛位置和旋转。
[0058]
系统300协调对来自眼睛跟踪模块310的成像装置312和313的眼睛取向相关信息(例如眼睛跟踪数据316，包括从每个图像捕捉部件捕捉的检测到的照明源反射317)的处理。系统300可以进一步协调眼睛跟踪数据316与来自可选的视网膜成像系统330的信息(比如视网膜成像数据332)。在操作中，如果系统300(例如，经由视网膜成像系统330和/或控制逻辑318)在视网膜成像数据332的某个区域中检测到中央凹，则系统300将知晓眼睛的对应取向。利用这个信息，系统300可以进一步确定甚至在视网膜成像不可获得的测量阶段中患者是否在正确地注视。眼睛跟踪模块310可以使用注视信息来识别用于初始化和校准过程的图像(例如，眼睛注视时的图像)。然后可以使用经校准的眼睛跟踪模块310来准确地计算捕捉图像的眼睛位置和取向。
[0059]
眼睛跟踪模块310可以被配置为与视网膜成像同时地对眼睛位置和眼睛旋转进行成像和跟踪。在一些实施例中，捕捉的图像包括相关联的时间特性，比如时间戳、帧参考值(例如，10帧以前)或允许将视网膜图像和从第一成像装置312和第二成像装置313捕捉的图像同步的其他信息。在检测到中央凹之后，可以向控制逻辑318、眼睛跟踪模块310和/或其他系统部件提供中央凹检测信息，该信息可以包括对应的时间特性和是否检测到中央凹的指示。
[0060]
在一些实施例中，对眼睛302的位置和取向的分析包括以下方法：将在视网膜成像系统可看到中央凹时眼睛的取向/位置与当前眼睛跟踪数据进行比较。例如，系统300可以在包括测量序列的诊断程序中使用。通过在程序期间使用眼睛跟踪模块310来跟踪眼睛位置和取向，可以收集测量数据并与对应的眼睛跟踪数据一起进行分析。在一个实施例中，在
眼睛302注视时(例如，当眼睛位置在注视位置的可接受偏离范围内时)采集的测量数据被认为是有效的，并被用于进一步诊断/分析，而在眼睛302未注视时采集的测量数据(例如，当眼睛位置超出注视位置的可接受偏离量时)可以被忽略和/或丢弃。
[0061]
在多个不同的实施例中，系统300使用中央凹检测信息来建立参考注视信息，该参考注视信息可以包括瞳孔相对于角膜的某种取向。眼睛跟踪模块310可以接收中央凹检测信息(例如，在特定时间或其他时间参考值时确定的注视)、调用来自同一时间帧的一个或多个对应的图像、并且分析所捕捉的(多个)图像以确定在注视期间瞳孔与角膜中心之间的特定关系。可以使用捕捉的图像来初始化并校准系统以确定校准偏离量和增益，从而获得更准确的测量结果。然后，可以通过将新捕捉的图像中的眼睛位置和取向与参考图像中的眼睛位置和取向进行比较来跟踪眼睛位置。这允许视网膜成像系统330在眼睛跟踪模块310确认了眼睛正在注视时对眼睛302的另一部分进行成像(或在需要时操作其他眼科设备)。眼睛跟踪模块310可以向视网膜成像系统330提供注视信息，指示当前扫描是否是在眼睛正注视(相对于参考数据在误差范围内)时进行的，或当前扫描是否是在未注视时、比如在当前眼睛位置与参考眼睛位置之间的偏离量超过阈值时进行的。
[0062]
在系统300的操作期间，视网膜成像系统330可以在诊断或其他程序期间关停，从而不再生成视网膜成像数据332。如果视网膜成像系统330先前已经检测到中央凹至少一次，则甚至在不可获得视网膜成像的程序阶段期间，系统300仍可以继续向装置操作者提供关于患者眼睛注视的信息。例如，系统300可以将使用眼睛跟踪模块310所捕捉的当前眼睛位置和取向与视网膜成像系统330检测到中央凹时确定的眼睛位置和取向进行比较。眼睛跟踪模块310可以通过一种或多种视觉提示(例如，指示灯、显示屏上的状态信息)或听觉提示(例如，蜂鸣声)向装置操作者提供指示。眼睛跟踪模块310还可以向系统300的其他部件提供注视信息，例如，以控制需要眼睛注视的操作和/或验证采集的数据有效/无效。应了解的是，图3中描述的系统及方法是各种实施例的示例性实现方式，并且本公开的教导内容可以用于其他眼睛跟踪系统中，例如使用了产生浦肯野反射的照明系统和捕捉眼睛的数字图像的相机的系统或装置中。
[0063]
为了帮助确定眼睛是否在注视，控制逻辑318可以被配置为确定眼睛的当前位置和取向并且计算偏离量以确定眼睛是否充分注视着期望的物体。在一个实施例中，可以确定一个或多个阈值，并且任何低于对应于阈值的偏离量将确定眼睛在注视。在一些实施例中，注视的确定和阈值取决于应用，并且不同的实现方式可以接受不同的偏离量。
[0064]
在一些实施例中，视网膜成像系统330识别检测到中央凹的时间帧(例如，一段时间段、一个或多个图像、顺序索引值等)，以允许眼睛跟踪器识别在同一时间或大约同一时间获取的对应眼睛跟踪图像。然后，眼睛跟踪模块310和/或控制逻辑318可以进行初始化和校准过程以确定校准偏离量和增益，其可以用于准确地计算捕捉图像的眼睛位置和取向。眼睛跟踪模块310然后可以确定与注视位置相关联的眼睛参考位置，包括瞳孔和角膜的相对位置。系统300可以立即使用该眼睛注视信息来跟踪眼睛位置和取向和/或将其存储并调用来供系统300稍后使用。例如，可以针对患者来确定并存储眼睛注视信息并调用其来供系统300(或类似系统)用于患者的后续程序或用于对捕捉的图像进行离线分析。
[0065]
当视网膜成像系统330在进行其他扫描和/或其他眼科部件在操作中时，眼睛跟踪模块310捕捉图像流并参考从(多个)参考图像中确定的位置和取向来分析眼睛位置和对
准。此分析可以在程序期间实时进行和/或离线进行(例如，在分析先前捕捉的数据时)。将当前图像与(多个)参考图像进行比较并计算偏离量。如果偏离量小于阈值，则眼睛在注视并且对应的视网膜图像是准确的。如果偏离量大于阈值，则眼睛未注视并且对应的视网膜图像可以被标记出、丢弃或采取其他动作。
[0066]
在一些实施例中，眼睛跟踪模块310在整个程序中连续地对眼睛进行成像。对于每一帧，可以至少部分地基于在图像流中检测到反射的位置来检测图像中的瞳孔位置。在多个不同的实施例中，所跟踪和记录的信息可以包括以下中的一种或多种：图像、从图像中提取的图像特征、图像特性、图像中的瞳孔位置和/或反射位置。眼睛跟踪系统和视网膜成像系统是同步的，使得对于扫描的每个视网膜图像，可以识别对应的一个或多个眼睛跟踪器图像。在一个实施例中，存在一一对应。在其他实施例中，通过时间戳或与捕捉的图像相关联的其他同步数据来使这些图像同步。
[0067]
应了解的是，虽然眼睛跟踪模块310和可选的视网膜成像系统330被描述为单独的部件，但是系统300可以包括具有各种子部件的诊断装置，子部件包括眼睛跟踪模块310、视网膜成像系统330、以及其他子部件。在一些实施例中，可以提供中央处理器来控制系统300的操作、同步并控制这两个系统之间的通信、以及执行其他系统功能。对眼睛位置和取向的分析可以由系统300实时进行，或者在程序完成之后进行。上线时，系统300可以向患者和操作者提供反馈。离线时，系统300和/或其他系统可以执行更复杂的分析以获得更准确的扫描和结果。
[0068]
在一些实施例中，系统300可以包括较大的诊断装置，该诊断装置包括两个或更多个相机(例如，用于对眼睛表面进行成像)和用于测量视网膜的第二部件。系统300可以包括被配置用于对眼睛进行成像以创建3-d眼睛模型的多个传感器。第一传感器系统可以包括用于恢复角膜形状并进行眼睛跟踪的两个或更多个相机。第二传感器系统可以包括测量眼睛的波前(眼睛的光学参数)的波前传感器。第三传感器可以包括可以测量眼睛的不同屈光表面之间的距离的oct系统。oct可以包括多种模式和分辨率，包括全眼模式、半眼模式(眼睛前部)和角膜模式(具有较高分辨率)。
[0069]
传感器数据可以被提供给处理器(例如，如图5所示)，该处理器收集数据并将数据存储在存储器中。该处理器可以使用融合算法来推导出眼睛的3d模型，该模型包括结合了各种传感器数据的参数化模型。3d模型可以用于例如白内障和角膜屈光手术规划。该数据可以用于光线跟踪，以辅助将人工晶状体(iol)植入物放置在眼睛中等。本文描述的中央凹检测和眼睛跟踪的创新技术可以与包括用于扫描视网膜的装置的任何诊断装置或仪器一起使用。眼睛跟踪可以在角膜曲率计、生物测量计、波前测量装置以及包括数码相机和照明件的其他装置中实现。
[0070]
在多个不同的实施例中，绝对眼睛取向利用了扫描视网膜的装置、比如oct装置，该装置可以包括生物测量计和(i)提供视网膜扫描和其他诊断模式的其他装置、以及(ii)执行其他输入功能的其他传感器。在多个不同的实施例中，本文公开的系统可以与更多部件、不同的部件和更少部件一起使用。
[0071]
本领域技术人员将理解本技术的优点。本文公开的系统和方法提供了眼睛跟踪信息的自动初始化和校准。眼睛跟踪可以在患者注视着和未注视时独立于患者(例如，不依赖于患者的合作)进行。眼睛跟踪信息被收集并提供给处理器，以实现进一步分析。可以采集
其他传感器数据并通过回溯数据来进行验证，以基于眼睛跟踪数据来调整已知或投影的取向。例如，可以确定眼睛位置并将其提供给视网膜成像系统以用于分析扫描数据。标记出患者是在注视还是未注视的能力对于许多系统操作都很有价值，并且本公开的初始化和校准所提供的准确性允许系统更准确地确定注视时间/区间和/或调整计算的偏移量。确定注视程度的能力允许系统适于在各种实现方式中使用。存储所捕捉的数据以供后续调用并分析将允许例如通过使用复杂的神经网络或其他分析过程进行进一步的离线计算和更复杂的分析和选择。
[0072]
在一个实施例中，控制逻辑被配置为具有参考点和阈值，以用于过滤掉不可靠的传感器数据。例如，系统可以被配置为使得小的凝视变化(例如，0.03度的偏离)可能没问题，但是较大的凝视变化将指示应被过滤掉的不可靠数据。在一些实施例中，在注视期间采集的传感器数据可以一起被平均或以其他方式组合。在其他实施例中，可以通过在采集期间使用计算出的偏离量和针对参考点的已知眼睛位置和取向来计算眼睛位置，来分析采集的数据以及眼睛位置和取向信息。在一些实施例中，可以使用融合引擎来处理各种传感器和数据输入和计算以生成期望的输出数据。
[0073]
在多个不同的实施例中，可以使用一个或多个神经网络来进行图像和数据分析，以确定眼睛是否在注视目标物体。图4是根据一些实施例的示例性多层神经网络400的图。神经网络400可以表示用于实施本文描述的逻辑、图像分析、和/或眼睛注视确定逻辑中的至少一些的神经网络。神经网络400使用输入层420来处理输入数据410。在一些示例中，输入数据410可以对应于图像捕捉数据和捕捉到的视网膜图像数据，如本文先前描述的。在一些实施例中，输入数据对应于用于训练神经网络400来作出注视、取向和/或其他确定的输入训练数据。
[0074]
输入层420包括用于通过缩放、范围限制、和/或类似方式来调节输入数据410的多个神经元。输入层420中的每个神经元生成被馈送至隐藏层431的输入端的输出。隐藏层431包括处理来自输入层420的输出的多个神经元。在一些示例中，隐藏层431中的每个神经元生成输出，所述输出接着统一被传播经过一个或多个额外的隐藏层(以隐藏层439结束)，如图所示。隐藏层439包括处理来自前一个隐藏层的输出的多个神经元。隐藏层439的输出被馈送至输出层440。输出层440包括用于通过缩放、范围限制、和/或类似方式来调节来自隐藏层439的输出的一个或多个神经元。应理解的是，神经网络400的架构仅是代表性的，并且其他架构是可能的，包括具有仅一个隐藏层的神经网络、没有输入层和/或输出层的神经网络、具有递归层的神经网络等。
[0075]
在一些示例中，输入层420、隐藏层431-439、和/或输出层440中的每一者包括一个或多个神经元。在一些示例中，输入层420、隐藏层431-439、和/或输出层440中的每一者可以包括相同数量或不同数量的神经元。在一些示例中，每个神经元将其输入x进行组合(例如，使用可训练加权矩阵w获得的加权和)、加上可选的可训练偏置量b、并且应用激活函数f来生成输出a，如等式a＝f(wx b)所示。在一些示例中，激活函数f可以是线性激活函数、具有上限和/或下限的激活函数、对数s形(log-sigmoid)函数、双曲正切函数、修正线性单元函数等。在一些示例中，每个神经元可以具有相同或不同的激活函数。
[0076]
在一些示例中，可以使用监督学习来训练神经网络400，其中训练数据的组合包括输入数据和标准真值(ground truth)(例如，预期的)输出数据的组合。可以将所生成的输
出数据450与标准真值输出数据之间的差异反馈到神经网络400中，以对各个可训练的权重和偏置量进行校正。在一些示例中，可以通过使用随机梯度下降算法的反向传播技术等来反馈这些差异。在一些示例中，可以将一大组的训练数据组合多次呈现给神经网络400，直到总损失函数(例如，基于每个训练组合的差异的均方误差)收敛到可接受的水平为止。经训练的神经网络可以存储在眼科装置(例如，图3的系统300)中并在其中实施以对捕捉的图像进行实时分类(例如，注视或未注视)、和/或存储在离线系统中并在其中实施以分析所捕捉的数据。
[0077]
图5展示了示例性计算系统，该计算系统可以包括系统100、200和300的一个或多个部件和/或装置，包括眼睛跟踪模块310和可选的视网膜成像系统330的实现方式。计算系统500可以包括彼此电通信的一个或多个装置，包括计算装置510，该计算装置包括处理器512、存储器514、多个通信部件522、以及用户接口装置534。
[0078]
处理器512可以经由总线或其他硬件布置(例如，一个或多个芯片组)联接至各个系统部件。存储器514可以包括只读存储器(rom)、随机存取存储器(ram)和/或其他类型的存储器(例如，prom、eprom、flash-eprom和/或任何其他存储芯片或盒)。存储器514可以进一步包括与处理器512直接连接、与之紧邻、或集成为其一部分的高速存储器的缓存。计算装置510可以通过缓存来访问存储在rom、ram、和/或一个或多个存储装置524中的数据以供处理器512进行高速访问。
[0079]
在一些示例中，存储器514和/或存储装置524可以存储一个或多个软件模块(例如，软件模块516、518和/或520)，其可以控制和/或被配置用于控制处理器512执行各种动作。虽然计算装置510被示出为具有仅一个处理器512，但是应理解的是，处理器512可以代表一个或多个中央处理器(cpu)、多核处理器、微处理器、微控制器、数字信号处理器(dsp)、现场可编程门阵列(fpga)、专用集成电路(asic)、图形处理单元(gpu)、张量处理单元(tpu)等。在一些示例中，计算装置510可以被实施为独立式子系统、和/或实施为添加至计算装置的板、或实施为虚拟机。
[0080]
为了使得使用者能够与系统500交互，计算装置510包括一个或多个通信部件522和/或促进用户输入/输出(i/o)的一个或多个用户接口装置534。在一些示例中，该一个或多个通信部件522可以包括一个或多个网络接口、网络接口卡等，以根据一个或多个网络和/或通信总线标准来提供通信。在一些示例中，该一个或多个通信部件522可以包括经由网络580(比如局域网、无线网络、因特网或其他网络)与计算装置510通信的接口。在一些示例中，该一个或多个用户接口装置534可以包括一个或多个用户接口装置(比如，键盘、定点/选择装置(例如，鼠标、触摸板、滚轮、轨迹球、触摸屏)、音频装置(例如，麦克风和/或扬声器)、传感器、致动器、显示装置、和/或其他输入/输出装置。
[0081]
根据一些实施例，用户接口装置534可以提供图形用户接口(gui)，其适合于辅助使用者(例如，外科医生和/或其他医务人员)执行本文公开的过程。gui可以包括关于要执行的下一动作的指令、带注释和/或无注释的解剖结构图(比如眼睛的术前和/或术后图像)、输入请求等。在一些示例中，gui可以显示解剖学结构的真彩色图像和/或假彩色图像等。
[0082]
存储装置524可以包括比如由硬盘、光学介质、固态驱动器等提供的非暂态非易失性存储装置。在一些示例中，存储装置524可以与计算装置510(例如，本地存储装置)位于同
一地点、和/或远离系统500(例如，云存储装置)。
[0083]
计算装置510可以联接至一个或多个诊断装置、成像装置、手术装置和/或供医务人员使用的其他装置。在所展示的实施例中，系统500包括眼科装置550、眼睛跟踪器560以及可选的视网膜成像器570，它们可以实施在一个或多个计算系统(包括计算装置510)中。眼科装置550包括用户接口554，用于控制操作者在患者的眼睛552上进行程序和/或向操作者提供反馈。眼科装置550可以包括用于对患者的眼睛552进行成像、测量、诊断、跟踪和/或手术矫正和/或修复的装置。
[0084]
眼科装置550可通信地联接至眼睛跟踪器560(比如图3的眼睛跟踪模块310)，该眼睛跟踪器从眼科装置接收眼睛成像数据、并且在程序期间提供眼睛552的位置和对准的状态信息。眼睛跟踪器560包括两个或更多个成像器(例如，成像器a和成像器b)，这些成像器位于相对于眼科装置550的光轴的已知位置处。眼睛跟踪器560被配置用于进行可以完全或部分自动化的初始化与校准程序。该校准程序包括指示成像器a和成像器b中的每一个在眼睛进行注视时捕捉眼睛552的一个或多个图像，并计算校准偏离量和增益。接着，眼睛跟踪器560可以捕捉眼睛552的图像、分析所捕捉图像的一个或多个眼睛特性、并使用校准偏离量和增益来计算眼睛凝视方位角ga和眼睛凝视仰角ge。可选的视网膜成像器570可通信地联接至眼科装置550和眼睛跟踪器560二者，并且被配置用于捕捉眼睛552的视网膜图像以用于眼科程序中以及用于检测中央凹从而在注视跟踪中使用。
[0085]
在多个不同的实施例中，存储器514包括可选的视网膜图像分析模块516、眼睛跟踪器模块518、以及眼科程序模块520。视网膜图像分析模块516包括用于指示处理器512使用视网膜成像器570捕捉视网膜图像和/或分析所捕捉的视网膜图像的程序指令。视网膜图像分析模块516可以包括神经网络，该神经网络被训练过以接收所捕捉的一个或多个视网膜图像(例如，捕捉的图像、实时视网膜图像流、存储的视网膜图像等)、提取相关的图像特征、并检测中央凹的存在或不存在(例如，输出指示中央凹检测的分类、输出恰当眼睛位置和/或对准的概率等)。
[0086]
眼睛跟踪器模块518包括用于指示处理器512使用眼睛跟踪器560捕捉眼睛552的图像和/或分析所捕捉的图像的程序指令。眼睛跟踪器模块518可以包括一个或多个神经网络，这些神经网络被训练来接收所捕捉的一个或多个图像(例如，捕捉的图像、来自眼睛跟踪器560的眼睛图像的实时流、来自图像a和图像b的图像对、存储的眼睛图像等)、提取相关的图像特征、并输出眼睛跟踪信息(例如，输出眼睛对准的指示、输出恰当眼睛位置和/或对准的概率、输出眼睛与恰当位置和对准的偏离量等)。
[0087]
在多个不同的实施例中，眼睛跟踪器模块518被配置为基于在眼睛552注视着已知注视点期间接收到的对准数据来确定参考眼睛位置。例如，眼睛跟踪器模块518可以从视网膜图像分析模块516接收中央凹检测信息，该信息用于识别来自眼睛跟踪器560的、显示眼睛552恰当对准的对应图像。眼睛跟踪器模块518可以接收来自其他源的注视信息，包括系统500可获得的操作者反馈、统计学分析、图像分析、和其他源。眼睛跟踪器模块518进一步被配置用于通过以下过程来自动地校准眼睛位置计算：包括在注视期间捕捉成像器a的图像和成像器b的图像、确定每个图像中的至少一个眼睛特性、将这两个图像中的(多个)眼睛特性的图像坐标进行比较、以及计算校准偏离量和增益以用于未来的眼睛位置计算。眼睛跟踪器模块518进一步被配置用于分析由眼睛跟踪器560捕捉的图像，并参照参考图像和/
或计算处的位置来输出眼睛跟踪信息。
[0088]
眼科程序模块520包括用于指示处理器512进行眼科程序的程序指令，并且可以包括在程序期间通过用户接口554进行用户输入和输出、以及对捕捉数据进行分析。在一些实施例中，眼科程序模块520包括用于分析在程序期间捕捉的数据的经训练的神经网络。眼科程序模块520接收来自眼睛跟踪器模块518的眼睛跟踪信息，该信息可以包括可接受偏离量阈值内的对准状态、偏离量数据和/或其他信息。在一些实施例中，眼科程序模块520被配置为在患者的眼睛552处于可接受的对准位置时工作、并且在患者眼睛未对准时通过用户接口554向眼科装置550的操作者提供指示(例如，蜂鸣声等声音、闪光灯等视觉指示等等)。
[0089]
系统500可以存储所捕捉的视网膜数据、眼睛跟踪数据、和眼科程序数据以便稍后处理，包括在线处理(例如，在后续程序期间)和离线处理。存储装置524可以存储针对患者捕捉的视网膜图像数据526，其可以包括患者标识符、捕捉的图像流、时间信息(例如，时间戳、顺序索引等)和/或关于是否在图像中检测到中央凹的信息。存储装置524还可以存储眼睛跟踪器数据528，其可以包括患者标识符、捕捉的图像流、时间信息(例如，时间戳、顺序索引等)、捕捉的图像是否与检测到的注视时间段相对应和/或提供了眼睛在注视期间的参考位置的信息、和/或校准偏离量和增益信息。存储装置524还可以存储在程序期间针对患者捕捉的程序数据530，包括患者标识符、在程序期间捕捉的数据流(例如，图像、数据读数、数据计算结果等)、时间信息(例如，时间戳、顺序索引等)、针对在程序中某个时间点时的眼睛位置所计算的偏离量信息、和/或眼睛在程序期间的某个时刻是否在注视。
[0090]
计算装置510可以与向该计算装置提供一种或多种应用服务的一个或多个网络服务器582通信。在一些实施例中，网络服务器582包括神经网络训练模块584，用于使用训练数据集586来训练其中一个或多个神经网络，该训练数据集可以包括被标记图像。例如，视网膜图像分析模块516可以包括使用一组被标记来识别中央凹的存在和/或不存在的视网膜图像所训练过的神经网络。眼睛跟踪器模块518可以进一步包括使用捕捉的一组眼睛图像和参考数据所训练过的神经网络，这些眼睛图像和参考数据被标记来识别图像相对于参考数据的偏离量。眼科程序模块520可以包括使用代表在程序期间捕捉的数据的一组数据所训练过的神经网络，该数据包括来自眼睛跟踪器模块518的对准和/或偏离量数据。
[0091]
参见图6，现在描述用于初始化并校准眼科装置的过程600的示例性实施例。在步骤610中，使患者位于眼科系统处并且引导其聚焦在目标物体上而将患者的视线与眼科装置的对准轴线对准。在一个实施例中，分析患者的视网膜以确认患者恰当地注视。例如，系统可以包括视网膜成像系统，该视网膜成像系统被配置用于扫描视网膜、采集扫描的视网膜数据、并分析采集的数据以检测中央凹。在一些实施例中，系统操作者可以基于操作者对患者是否在注视的确定来向系统提供反馈。在其他途径中，可以在注视程序期间采集图像数据并对其进行分析以确定注视(例如，通过分析直方图或其他图像数据)。
[0092]
在步骤620中，用被布置来从至少两个已知位置捕捉图像的对应成像装置来捕捉眼睛表面的多个图像。例如，在图2和图3的系统中，使用两个相机来捕捉眼睛的一对图像，每个图像来自不同的已知位置。在多个不同的实施例中，在短时间区间内同时或按顺序地捕捉图像以捕捉眼睛的当前位置和取向。
[0093]
在步骤630中，分析捕捉的图像以确定一个或多个眼睛特性的图像坐标。眼睛特性可以包括在图像中检测到的瞳孔中心、在图像中检测到的角膜中心、在图像中检测到的照
明源的反射位置、或其他眼睛特性。在一些实施例中，图像坐标表示每个图像内的像素位置的(x，y)坐标，其可以映射到真实世界的位置以确定眼睛位置和取向。
[0094]
在步骤640中，根据成像装置的已知位置和眼睛特性的图像坐标来计算校准偏离量和增益。例如，两个眼睛特性(例如，瞳孔中心pc与角膜反射cr位置)之间的图像坐标差可以对应于眼睛凝视的方位角(dx＝crx-pcx)和仰角(dy＝cry-pcy)。为了用坐标差(例如，dx和dy)更准确地推导出眼睛凝视方位角ga和眼睛凝视仰角ge，可以使用校准偏离值和增益值：
[0095]
ga＝ax bx*dx
[0096]
ge＝ay by*dy
[0097]
使用来自两个成像装置的方程组来求解校准偏离值a和校准增益值b。
[0098]
在步骤650中，系统在眼科程序期间进行眼睛跟踪。眼睛跟踪包括用一个或多个成像装置来捕捉图像流、分析这些图像以确定检测到的眼睛特性的图像坐标、以及使用计算出的图像坐标和校准偏离值和增益值来计算眼睛位置和旋转。
[0099]
在一些实施例中，可以进行眼睛跟踪以确定在诊断期间眼睛是否恰当地定位并对准。眼睛跟踪系统可以在诊断期间分析所捕捉的眼睛图像并且基于所捕捉的图像来确定当前位置和旋转。将当前位置和旋转与注视位置和旋转进行比较以确定偏离量。如果偏离量低于误差阈值，则确定眼睛处于适合于测量的恰当位置和对准。如果偏离量高于误差阈值，则可以告知诊断过程和/或系统操作者：眼睛未对准，从而允许操作者暂停诊断程序并指示患者重新定位眼睛、允许确定相关联的测量数据是有效/无效的、或允许采取其他动作。在一些实施例中，将眼睛诊断程序期间采集的数据存储在存储装置中，并且将在眼睛跟踪程序期间采集的数据存储在存储装置中，以便后续处理和分析。在一个实施例中，除了中央凹信息之外，还跟踪患者的数据，并且可以在可用的情况下使用中央凹信息来验证该患者数据。以此方式，可以确定值的范围和平均注视位置。
[0100]
在多个不同的实施例中，眼科系统被配置用于确定眼睛的绝对注视位置。在一些系统中，如果可获得的话，可以使用视网膜成像信息和/或中央凹检测信息。在其他系统中，可以通过操作者反馈、详细的初始化程序、图像分析、统计学分析和/或其他方法中的一种或多种来确定绝对注视位置。
[0101]
在多个不同的实施例中，如下进行注视分析：检测由相机捕捉的图像流中的眼睛位置并分析结果以估计绝对注视位置。该分析可以包括使用从这些捕捉的图像中确定的眼睛位置的直方图进行的统计分析。如果根据分析，直方图显示出明显的最大值，则该方法可以估计绝对注视位置。如果直方图没有显示出明显的最大值，则该方法可以指示没有检测到注视。在一些实施例中，对捕捉的图像的分析可以包括在患者的眼睛与在已知位置的其他眼睛之间进行比较(例如，使用通过一组被标记的训练图像训练过的神经网络)、患者的历史注视信息、图像分析(包括容差/阈值)、和/或对可用信息的其他分析。在一些实施例中，该方法可以依靠操作者和患者来使患者的眼睛恰当地注视。在一些实施例中，该方法可以解决操作者和/或患者误差(例如，如果患者有意注视错误的斑点，或者操作者没有恰当地指示和/或监视患者)导致图像没有反映注视的情况。
[0102]
现在将参考图7至图10来描述用于眼睛跟踪的系统和方法的实施例，其中在程序之前不可获得视网膜oct扫描和/或没有可靠地检测到中央凹。如先前所讨论的，使用眼科
装置对眼睛进行准确测量可以始于将患者的视线(患者的视轴)对准眼科装置的某个光轴。在此背景下，视线可以是患者看着事物时所沿着的轴线。在患者没有恰当注视期间，所得的诊断数据和/或该眼科程序的其他结果可能不可靠。
[0103]
眼科装置可以使用绝对眼睛注视位置来向装置操作者提供关于患者在程序(例如，测量程序)期间是否在注视(或未恰当注视)诊断装置的某个光轴的反馈。眼科装置可以在程序期间使用绝对眼睛注视位置来识别患者在恰当注视时的时间段。该系统还可以使用绝对眼睛注视位置、至少部分地基于在数据采集期间确定患者是否在注视，来确定在程序期间采集的数据是可靠的和/或不可靠的数据。
[0104]
参见图7，现在将描述用于估计绝对眼睛注视的方法700的实施例。方法700是使用计算装置和成像系统来进行的，该成像系统可以包括用于对患者眼睛的表面进行成像的相机和照明系统(例如，图3的成像装置312和313以及照明部件314)。该方法利用图像中眼睛的可检测特征(例如瞳孔、角膜缘、虹膜特征等)的位置和照明系统在角膜处的反射的位置来确定眼睛的位置和取向。在程序期间、或期望患者恰当地定位并且参照眼科装置的光轴进行注视的其他时间期间，确定眼睛的位置。操作者可以通过提供反馈(例如，通过按压一个或多个按钮)来开始该过程和/或操作者可以开始该序列，接着由患者来跟随。可选地，操作者可以提供关于患者遵照该程序的确认。
[0105]
方法700展示了由可以包括视网膜oct成像装置的眼科装置的计算装置实施的实施例。为了确定绝对注视位置，计算系统确定中央凹检测信息是否可获得(步骤702)。例如，如果眼科装置包括视网膜成像装置，则中央凹检测信息可以是可获得的，该视网膜成像装置在患者恰当注视时扫描患者的眼睛。如果中央凹检测信息可获得，则该方法进行到步骤704，此时计算系统识别与检测到的中央凹数据相对应的眼睛跟踪图像(例如，如上文参见图3所描述的)。在步骤706中，系统校准偏离量和增益并使用对应的图像来计算绝对注视参数。然后可以在程序期间使用眼睛跟踪图像、注视参数和经校准的等式来跟踪患者的眼睛。
[0106]
回到步骤702，如果中央凹检测不可获得，则该方法使用捕捉的眼睛图像(例如，眼睛表面的图像)来估计绝对注视参数。在步骤720中，计算装置从相机接收捕捉的图像流、使用从布置在已知位置处的不同相机捕捉的至少一对图像来校准偏离值和增益值、并确定多个图像中的每个图像中眼睛的位置和取向。计算装置可以处理每个接收到的图像或所接收图像的子集(例如，根据处理的约束条件)。当分析所捕捉的数据时，可以在程序之前/期间和/或程序之后接收图像。
[0107]
在针对一系列所捕捉图像确定了眼睛的位置和取向之后，在步骤730中生成所确定的位置和取向的直方图。在一些实施例中，位置和取向信息包括每个图像中瞳孔中心的像素位置，将其用于构建(x，y)坐标的二维直方图。位置和取向信息可以包括从每个图像中确定的眼睛的绝对位置和取向，将其用于构建二维直方图。在本方法中，还可以使用位置和取向数据的其他表示(例如，热图)。在一些实施例中，可以使用操作者反馈来指示其中已经让患者注视的图像、和/或指示患者是否尚未注视，并且可以将相应的图像添加到分析中或从分析中丢弃。可以进行以下程序：其中系统的操作者在测量序列期间指示患者注视物体。
[0108]
参见图8，展示了热图800，示出了患者所看着的注视点的示例性分布。该图可以是彩色编码的、三维的、或以其他方式包括用于跟踪患者注视某些斑点的频率的标志。可以使用其他指示符(例如，接近背景颜色的颜色)来指示短时间地注视该斑点。在所展示的实施
例中，热图的区域810示出了最常见的坐标、并且可以指示患者眼睛在恰当注视目标物体时的位置和取向。虚线圆圈820指示的位置和取向在取决于程序或分析所需的精度水平时将选择用于注视确定的阈值偏离量以内。
[0109]
图9展示了绘制从捕捉的图像中检测到的眼睛坐标的示例性直方图900。此分布910的最大值可以用于估计在注视的眼睛的位置和取向(例如，通过识别患者最常注视时的位置和取向)。此估计出的位置和取向可以用作进一步眼睛注视确定的参考位置。例如，对在测量序列中获取的医学数据的分析可以仅使用当眼睛的取向和位置在相对于参考位置(例如，其至少部分基于直方图的最大值)的可接受偏离量以内(例如，如圆圈920所示)时采集的数据点。
[0110]
如先前所讨论的，直方图900可以通过绘制从捕捉的图像中确定的注视点来构建。例如，直方图可以将眼睛位置跟踪为检测到的瞳孔或以其他方式识别的眼睛中心的一系列像素位置(例如，根据反射或其他测量值所确定的)。随着图像序列被接收并分析，可以显现出指示患者最常注视时的位置的图案。在一些实施例中，直方图中的值可以包括相邻像素的平均值和/或纳入其他的平滑化。
[0111]
返回参见图7的方法700，在步骤740中，分析直方图以检测注视位置。如先前所讨论的，注视位置可以与直方图的满足特定分析指标的最大值有关。例如，可以基于各种各样的因素来选择最大值，包括最大值超过平均值的程度、针对给定数量的图像超过阈值的程度等。在一些实施例中，在程序期间眼睛跟踪继续进行，并且可以随着更多图像被分析而实时更新最大值/注视位置。
[0112]
参见步骤750，如果没有找到可接受的最大值(或满足其他注视点指标)，则通过此过程无法获得眼睛注视信息。在一些实施例中，在程序期间眼睛跟踪继续进行，并且可以随着更多图像被分析而实时识别和/或更新最大值/注视位置。
[0113]
在步骤760中，基于检测到的注视信息来确定校准偏离量和增益以及估计的注视参数(例如，程序可接受的注视位置和偏离半径)。然后可以在步骤708中在程序期间使用眼睛跟踪图像和估计的注视参数来跟踪患者的眼睛。
[0114]
参见图10，现在将讨论用于实施图7至图9的方法的示例性系统1000。计算装置1002(例如图5的计算装置510)可通信地联接至眼科设备1060、并且被配置用于进行与眼睛跟踪器1030和眼科程序1040相关联的过程。计算装置1002可以被配置为使用眼科设备1060的视网膜成像装置(如果可获得)来进行视网膜图像分析(通过视网膜图像分析模块1010)、并存储视网膜图像数据1012。计算装置1002进一步包括注视分析模块1020，用于进行图7所展示的方法和用于估计绝对注视参数的其他方法的实施。在一个实施例中，注视分析模块1020接收并分析由眼睛跟踪器1030的多个相机(例如，成像器a和成像器b)捕捉的眼睛图像流、构建并分析注视位置的直方图、并且确定参考位置和相关联的半径。注视数据(包括直方图数据)可以保存在存储装置1022(例如，存储器或存储装置)中。
[0115]
在一些实施例中，计算装置1002包括被配置用于执行被存储在存储器中的程序指令的处理器，该处理器可以包括注视分析模块1020、可选的视网膜图像分析模块1010、眼睛跟踪器1030、以及与眼科程序相关联的过程1040。
[0116]
注视分析模块1020可以被配置用于使用由眼睛跟踪器1030捕捉的图像来分析患者眼睛的相对凝视。注视分析模块1020可以使用从不同相机捕捉的一对图像来校准测量
值，以推导出校准偏离量和增益，这允许根据眼睛特性的图像像素坐标来准确地确定眼睛位置和取向。注视分析模块1020可以构建跟踪凝视取向直方图(例如，眼睛的上下运动和偏转、相对向上/向下和向左/向右偏离、曲率/旋转等)并分析直方图的峰值(例如，每个位置时的数据值数量)以获得绝对参考值的估计值。在一些实施例中，注视分析模块1020估计眼睛的光轴和与眼睛跟踪器相机的交点，以跟踪凝视取向。
[0117]
眼睛跟踪器1030可以被配置用于捕捉、存储并处理患者眼睛的图像。眼睛跟踪器1030可以被配置用于根据捕捉的一个或多个图像来确定患者眼睛的位置和取向，以便通过注视分析模块1020来进一步分析。在一些实施例中，所分析的每个图像可以包括表示眼睛位置和取向(例如，围绕x轴和y轴的旋转)的x，y位置。眼睛跟踪器可以结合绝对注视位置(例如，通过视网膜图像分析1010确定的)或估计的绝对注视位置(例如，通过注视分析模块1020确定的)来使用关于从一个图像到另一图像的相对取向变化的信息。在一些实施例中，注视分析模块1020基于以下假设进行操作：患者大部分时间都在尝试注视，并且可以通过构建x和y旋转的直方图并确定最主要的凝视取向来确定估计的绝对注视位置。在多个不同的实施例中，直方图可以由像素坐标、围绕x和/或y的旋转、偏离值或其他数据构建。每个图像可以提供表示计算出的眼睛凝视取向的坐标对，该坐标对被添加到直方图中。
[0118]
在一些实施例中，注视分析模块1020被配置用于通过检测一个不同的峰(例如，被多个较小峰环绕的主峰)并确定已经检测到注视位置的置信水平来分析直方图。如果没有检测到明显的峰值，则置信水平可能低。可以使用检测到的峰值周围的半径(例如，人类可以注视正/负0.5度)。峰值比平均值的阈值和/或半径的大小可以取决于系统和程序的要求而改变。
[0119]
计算装置1002可以包括一个或多个神经网络，该神经网络被训练来作出本文公开的一种或多种确定，包括分析直方图数据以确定是否可以确定眼睛注视位置。在一些实施例中，注视分析可以进一步包括针对该患者和/或其他患者将已知眼睛跟踪图像和/或眼睛注视参数进行比较。例如，可以将一个或多个图像输入到使用历史数据训练过的神经网络中，以确定图像中的眼睛是否正在注视。
[0120]
在多个不同的实施例中，在数据采集期间，甚至在视网膜成像数据不可获得(例如，不是系统的一部分和/或在程序之前中央凹检测不可获得)时，也可以向操作者提供关于患者是否在注视此轴线的反馈。本文公开的系统及方法提供了适合与使用如本文描述的图像捕捉装置和照明系统的眼科诊断装置一起使用的具有成本效益的解决方案。
[0121]
本领域技术人员应理解的是，所展示实施例的方法提供了用于在操作期间独立地验证患者的眼睛是否在恰当地注视目标物体的改进的技术。通过在特定时间点检测中央凹，系统可以确定患者的视线/视轴位于何处。此信息允许系统确定患者在测量序列或其他诊断或校正程序期间当前是否在注视。此方法将对视网膜进行成像的系统和使用表面信息来跟踪眼睛的系统相结合。根据视网膜图像中的中央凹位置，系统可以确定眼睛跟踪位置，并确定眼睛是向左还是向右/向上还是向下运动。根据本公开，系统可以跟踪用户凝视、计算偏离量、确定当前眼睛位置和取向、作出关于眼睛注视的确定、确定数据有效性、以及提供其他特征。
[0122]
根据上述实施例的方法可以实施为存储在非暂态有形机器可读介质上的可执行指令。这些可执行指令在被一个或多个处理器(例如，处理器512)运行时可以致使该一个或
多个处理器执行本文公开的一个或多个过程。实施根据这些公开内容的方法的装置可以包括硬件、固件和/或软件，并且可以采用各种各样的形状因子中的任一种。这样的形状因子的典型示例包括膝上型计算机、智能电话、小型个人计算机、个人数字助理等。本文描述的功能的一部分也可以体现在外围设备和/或附加卡中。通过进一步示例，此类功能还可以在单一装置中的不同芯片或在其中执行的不同过程之间、在电路板上实施。
[0123]
虽然已经示出和描述了展示性实施例，但是在前述公开中设想了各种各样的修改、改变和替换，并且在一些情况下，可以采用实施例的一些特征而不相应地使用其他特征。本领域普通技术人员应认识到许多变型、替代方案和修改。因此，本发明的范围应仅由以下权利要求来限制，并且恰当的是，应以与本文公开的实施例的范围一致的方式广义地解释权利要求。