用于检测眼睛的注视方向的方法与流程

1.本发明涉及一种用于检测眼睛的注视方向的方法、一种注视方向检测装置以及一副智能眼镜。


背景技术：

2.众所周知，使用眼睛跟踪或眼睛检测(也称为眼电图)来确定眼睛的运动并估计注视方向。用于眼睛跟踪的已知系统通常基于在眼睛的区域中使用基于照相机的系统或者使用电传感器或电磁传感器来检测关于眼睛位置的信息。另外，已知扫描激光系统，其例如使用微镜来扫描眼睛上的激光光斑。所有这些系统通常都具有很高的复杂性和能量消耗，其中大部分具有有限的时间分辨率。


技术实现要素：

3.与此相反，具有权利要求1的特征的根据本发明的具有权利要求1的特征的方法的特征在于，针对注视方向的、特别节省能源、成本有效并且时间上高分辨率的方法。这是通过一种用于检测眼睛的注视方向的方法来实现的，该方法包括以下步骤：
4.使用至少一个波长调制的激光束照射眼睛，
5.基于发射的激光束和从眼睛后向散射的辐射的激光反馈干涉测量法，检测发射的激光束的光路长度，
6.基于激光反馈干涉测量法，检测发射的和后向散射的辐射(特别是频率之间)的多普勒频移，
7.基于多普勒频移检测眼睛速度，和
8.基于光路长度和/或眼睛速度检测眼睛的注视运动。
9.换句话说，在该方法中，至少一个特别从波长调制的激光源发射的波长调制的激光束被照射到使用者的眼睛上。照射的激光束在眼睛的眼表面处至少部分地后向散射。后向散射的辐射是在眼表面处散射的辐射的与发射的激光束平行的部分，因此能够与其干涉。后向散射部分与入射的激光辐射干涉，即，与朝向眼睛传播的激光辐射干涉。照射的激光束的后向散射的部分也可以称为后向散射的辐射。通过所谓的激光反馈干涉测量法，产生了所发射的激光束与后向散射的辐射的重叠，使得存在由此产生的干涉辐射。例如，可以使用检测器来检测和分析这个产生的干涉辐射。
10.基于激光反馈干涉测量法，检测所发射的激光束的光路长度。光路长度被认为是由从激光源到眼睛表面的由发射的激光束所覆盖的几何距离与该处存在的材料的折射率的乘积。这意味着，如果激光束从激光源直接朝向眼睛在空气中发射(折射率约为1)，则光路长度非常好地近似激光源与眼睛之间的距离。例如，如果所发射的激光辐射的波长是已知的，则可以基于相长干涉或相消干涉来估计光路长度。
11.优选地，三角波调制的激光作为波长范围内的激光束发射。通过分析被干涉地发射和后向散射的辐射，尤其是通过计算相对于三角波调制信号的两个边缘的所产生的干涉
频率的平均值，可以检测到光路长度。
12.此外，如果存在相对于散布的激光辐射的眼睛运动，则由于多普勒效应会发生多普勒频移，尤其是在发射的辐射的频率和后向散射的辐射的频率之间。借助于激光反馈干涉测量法，可以检测出该多普勒频移。然后可以使用多普勒频移确定眼睛速度。眼睛速度被认为是眼表面上一点的切线速度，该点对应于激光辐射撞击在眼表面上的点。优选地，眼睛速度包括用于当前速度的绝对值以及当前速度的方向。
13.基于所检测到的光路长度以及眼睛速度，然后可以检测到眼睛运动。特别地，从已知的眼睛位置开始，可以根据眼睛的任何运动来跟踪注视方向。因此，该方法允许以特别简单和有效的方式精确地确定眼睛的注视运动。使用激光反馈干涉法(特别是使用多普勒效应)检测注视方向的特定方法，提供特别高的时间采样率的优势，因此可以以特别高的时间分辨率跟踪眼睛运动。另外，该方法提供了使用简单且廉价的部件和评估算法的优点，其具有较低的能量需求。尤其是不需要计算密集型的图像数据处理。另外，有利的是，将不需要诸如扫描设备之类的运动部件，因此提供了特别灵活和鲁棒的适用性。
14.本发明的优选的其他实施方式是从属权利要求的主题。
15.优选地，该方法进一步包括以下步骤：基于通过眼睛后向散射的辐射的振幅和相位来检测眼睛的反射率，以及基于所检测到的反射率和光路长度来检测绝对眼睛位置。在这种情况下，反射率尤其是具有通过眼睛后向散射的辐射的振幅和相位的复反射率。通过另外测量眼睛的反射率，可以特别精确地检测眼睛的当前位置，并且因此也可以检测注视方向。有利地，基于眼睛的不同部分的不同的反射率，可以识别出激光束当前照射到眼睛的哪个部分，由此结合光路长度，可以估计绝对眼睛位置。例如，当激光辐射撞击在眼睛的不同部位上时，反射率会明显不同，并且在特性上也会有所不同。例如，与视网膜照射相比，当激光辐射穿过角膜击中眼睛的虹膜时，会发生明显更强的散射。优选地，反射率确定可以因此被用于确定解剖边界何时会运动经过激光束，该激光束特别在眼睛运动期间相对于用户的头部是静止的。以此方式，可以特别容易和精确地检测出当前存在哪个绝对眼睛位置以及因此存在哪个眼睛注视方向。
16.优选地，基于在预定时间点的反射率和光路长度来检测绝对眼睛位置。基于眼睛速度，在预定时间之间检测任何眼睛运动。优选地，可以在预定的时间点之间执行对检测到的眼睛速度的积分，从而可以估计在眼睛运动期间眼睛运动的角度。特别是，绝对眼睛位置将不被持续地检测，而仅仅在特定时间点处检测。在这些时间点之间，通过基于多普勒频移检测眼睛速度的特别节能的方法，可以估计相对的眼睛运动。这样，可以以特别有效的方式检测眼睛的位置和注视方向。
17.优选地，基于以下方程式来确定眼睛速度：f
d
＝2v cos(α)/λ，其中，λ是入射激光辐射的波长，v是眼睛速度，f
d
是所发射的辐射和后向散射辐射的多普勒频移，α是入射激光辐射的波矢量k与切线之间的夹角，该切线在激光辐射撞击到眼睛上的撞击点处与眼表面接触，并且该切线还位于由波矢量k和撞击点处的表面法线所跨越的平面中。特别地，多普勒频移f
d
对应于所发射的激光束的频率与后向散射的辐射的频率之间的差量。使用以上等式，可以以特别低的计算量来检测眼睛速度，从而能够高效且高分辨率地确定眼睛运动。
18.特别优选地，该方法还包括以下步骤：检测眼睛的转动速率，以及进行校准以确定角度α，其中，通过使用光路长度、眼睛速度和眼睛的转动速率来进行校准。通过收集相应的
参数，因此可以执行注视检测的精确校准，以最佳地估计在任何时间点处的眼睛注视方向。优选地，校准步骤包括记录注视角度图，其包括分别记录用于校准或用于眼睛的多个预定注视角度的所有参数的测量数据。使用注视角度图，因此可以在执行用于特定参数组的方法时，以特别简单和有效的方式确定当前存在哪个眼睛注视角度。
19.优选地，根据使用者的头部的转动速率来检测眼睛的转动速率，其中，尤其是使用转动速率传感器来检测头部的转动速率。优选地，转动速率传感器是惯性测量单元的一部分，惯性测量单元优选配置为除了转动速率以外还可以检测任何加速度，并且例如，另外地还可以检测地磁场。绝对取向传感器是特别有利的，绝对取向传感器尤其配置为检测绕三个轴线的转动速率，并且优选地检测任何加速度，并且进一步优选地检测地磁场。为了检测头部的转动速率，例如可以将转动速率传感器布置在使用者的头部上。特别地，基于以下假设来检测眼睛的转动速率：在视线被聚焦到空间中定义的一点时，眼睛执行与头部的转动完全相反的转动。因此，可以以特别简单的方式执行校准。
20.优选地，该方法进一步包括以下步骤：在眼睛运动期间检测最大眼睛速度，以及基于最大速度来预测眼睛运动结束位置。从而基于眼睛运动结束位置来执行输入单元和/或输出单元的操作。特别优选地，基于眼睛运动结束位置来执行对由图像投影单元投影的图像的图像参数的调节。特别地，因此可以预测在快速眼睛运动(即所谓的扫视运动)的情况下，眼睛运动停止的位置。优选地，对眼睛运动结束位置的预测是基于这样的假设，即眼睛在这样的眼睛运动期间执行均匀加速的运动。即，在这种眼睛运动的前半段期间存在恒定的正加速度，而在眼睛运动的后半段期间，产生恒定的(尤其是相同大小的)负加速度。通过检测相应速度曲线的前半部分，即从静止开始直至运动期间最大速度的眼睛运动的速度，可以估计速度曲线的后半部分，特别是基于镜像对称的假设。以这种方式，特别是通过对所检测的速度曲线的积分，可以估计眼睛运动的结束点。优选地，确定在眼睛运动期间的最大速度是基于检测到跟在眼睛速度的增加后面的降低的眼睛速度。
21.优选地，至少两个激光束被照射到眼睛上，这两个激光束对准使得每个激光束的波矢量与在每种情况下的两个相互正交的转动轴线中的至少一个之间的角度和/或距离不等于零。为了检测眼睛围绕转动轴线的转动运动，有利的是，激光束的波矢量与转动轴线围成最大的角度，并且同时，与其最大限度地间隔开。例如，如果与转动轴线围成的距离和/或角度等于零，则激光束对围绕着该轴线的任何转动运动都不敏感。换句话说，根据该关系，有利的是，将两个激光束对准，使得它们各自对眼睛的围绕两个相互正交的转动轴线的转动速率中的一个特别敏感。优选地，在两个激光束都入射到眼睛表面上的同一点上的特定情况下，将激光束对准，使得两个激光束的到眼睛处和入射点处的切平面上的投影为彼此正交。这意味着，在这种情况下，两个激光束与眼表面相切的部分在激光束入射到眼睛上的共同点处彼此正交。优选地，两个激光束的切线部分分别竖直和水平地对准。因此，可以特别容易和精确地检测到沿着任何方向的眼睛运动。
22.此外，本发明提供了一种用于检测注视方向的注视检测装置。注视检测装置包括：激光设备，其被配置为将至少一个激光束照射到眼睛上；以及控制装置，其被配置为致动激光设备，所述控制装置被配置为执行所描述的方法。眼睛检测装置的特征在于特别简单且便宜的设计，包括高检测率和低能量需求。
23.优选地，该激光器装置包括具有集成在其中的光电二极管的至少一个表面发射器
(也称为垂直腔表面发射激光器，或简称为vcsel)。利用这种激光设备，可以用具有特别简单、紧凑和成本有效的设计的基于激光反馈干涉测量法的眼睛跟踪装置来检测眼睛运动。这种激光设备特别适合于使用自混合效应的检测。优选地，在这种情况下，光电二极管用于直接在激光腔内检测发射和后向散射的辐射的重叠。特别优选地，激光设备可以包括多个表面发射器，每个表面发射器发射激光束。
24.优选地，激光设备包括分束元件，其被配置为将单个激光束分成至少两个激光束。这使得眼睛跟踪装置的配置特别简单且具有成本效益。
25.特别优选地，由激光设备发射的至少一个激光束被直接引导到眼睛上。替代地或附加地，注视检测装置可以进一步包括偏转元件，该偏转元件被配置为将由激光设备发射的至少一个激光束偏转到眼睛上。优选地，偏转元件是微镜致动器，特别是可以以可控制的方式操作的微镜致动器。替代地，优选地，偏转元件是全息光学元件。
26.此外，本发明涉及包括上述眼睛跟踪装置的智能眼镜。优选地，激光设备包括至少一个布置在眼镜框架和/或眼镜腿上的激光源。在这种情况下，框架被特别认为是智能眼镜的围绕镜片的区域，而镜腿被特别认为是连接到框架并且延伸到例如用户的耳朵的保持镜腿。例如，可以在眼镜框架上的眼镜镜片周围分布式地配置多个激光源，从而允许在整个运动范围内对眼睛进行特别精确的扫描。替代地或附加地，一个或多个激光源可以被集成，优选地，被模制到眼镜镜片中。
27.特别优选地，智能眼镜还包括转动速率传感器，该转动速率传感器被配置为检测用户的头部的任何转动。优选地，转动速率传感器是惯性测量单元和/或绝对取向传感器的一部分。因此，注视检测以及注视检测的校准所需的所有硬件都可以集成到单个设备中，从而可以实现特别高水平的用户便利性。
28.优选地，智能眼镜还包括输入和/或输出设备，其被配置为从用户接收输入和/或向用户提供输出。优选地，输入和/或输出设备包括投影设备，其被配置为投影图像，特别是投影图像到用户的眼睛的视网膜上。优选地，输入和/或输出设备与眼睛跟踪装置彼此联接，特别是经由眼睛跟踪装置的控制装置彼此联接，使得特别可以根据眼睛的运动来控制输入和/或输出设备。这可以实现智能眼镜的特别用户友好的操作、特定类型的注视检测，其提供高水平的精确度，同时还可以实现特别低的能耗以及低成本。
附图说明
29.在下文中，将结合附图通过示例实施例描述本发明。在附图中，功能相同的部件每一个均由相同的附图标记表示，其中：
30.图1是根据本发明的第一实施例的一副智能眼镜的简化示意图。
31.图2是使用图1的智能眼镜的注视检测过程的简化示意细节视图。
32.图3是使用图1的智能眼镜实现注视检测的另一简化示意细节视图。
33.图4是当执行注视检测时来自图1的智能眼镜的测量数据的简化示意表示。
34.图5是根据本发明第二实施例的一副智能眼镜的另一简化示意图，以及
35.图6是根据本发明的第三实施例的一副智能眼镜的简化示意图。
具体实施方式
36.图1示出了根据本发明的第一实施例的一副智能眼镜50的简化示意图。智能眼镜50包括眼镜镜片52、在其中容纳眼镜镜片52的眼镜框架51以及用于将智能眼镜50保持在用户的头部上的眼镜腿53。因此，智能眼镜50被配置为戴在用户的头上。
37.智能眼镜50包括注视检测装置20，通过该注视检测装置20可以检测用户的眼睛10的注视方向。为此，注视检测装置20包括激光设备3和控制装置4，控制装置4被配置为操作激光设备3以执行用于检测眼睛10的注视方向的相应方法。为了紧凑设计，控制装置4被布置在智能眼镜50的眼镜腿53中。
38.激光设备3包括作为激光源的总共五个表面发射器3a，3b，3c，3d，3e。五个表面发射器3a，3b，3c，3d中的四个围绕眼镜镜片52分布式地布置在眼镜框架51上。第五表面发射器3e布置在眼镜腿53上。每个表面发射器3a，3b，3c，3d，3e被配置为将波长调制的激光束1照射到眼睛10上。在这种情况下，三角波调制的激光作为波长范围内的激光束1发射。为了清楚起见，在图中仅示出了由第一表面发射器3a发射的单个激光束1。每个激光束1以单独的激光光斑30a，30b，30c，30d，30e被引导到眼睛10的眼表面11上。
39.图2示出了布置在眼镜框架51上的前四个表面发射器3a，3b，3c，3d的激光光斑30a，30b，30c，30d。在图3中，由第五表面发射器3e产生的第五激光光斑30e显示在眼睛10的侧面上。
40.如图2和图3所示，激光光斑30a，30b，30c，30d，30e优选位于眼睛10的虹膜12的区域内或该区域附近。结果，当眼睛10运动时，眼睛10的瞳孔13经常运动靠近或通过激光光斑1，从而可以高精度地检测瞳孔13的位置和运动以高精度地确定眼睛的注视方向。
41.下面详细描述用于检测眼睛10的注视方向的方法的实现，该描述仅基于单个激光束1。
42.首先将激光束1照射到眼睛10上。在眼睛表面11处，激光束1将被至少部分地后向散射。结果，产生了照射的激光束1与后向散射的辐射的在表面发射器3a的方向上平行地向后传播的部分的重叠。借助于集成在表面发射器3a中的光电二极管，执行激光反馈干涉测量法以检测由于被照射的激光辐射1和沿相反方向后向散射的辐射的重叠而产生的干涉辐射。由于光电二极管直接集成到表面发射器3a的激光腔中，因此通过所谓的自混合效应来执行对所产生的干涉辐射的检测。
43.在图4中示意性示出可以通过表面发射器3a的集成光电二极管检测到的所产生的干涉辐射的示例性频谱25。轴线25a对应于频率，轴线25b对应于振幅。附图标记26表示所检测的干涉辐射的峰值频率，其例如通过傅立叶分析来检测。作为对发射的激光束1的波长进行三角波调制的结果，峰值频率26取决于光路长度2。光路长度2(参见图1)对应于在表面发射器3a和眼表面11之间的被激光束1所覆盖的距离。当激光束1直接照射到眼睛10上时，在图1的第一实施例中，光路长度2对应于在表面发射器3a和眼表面11之间的最短距离。因此，在发射的激光束1的波长已知的情况下，可以基于激光反馈干涉测量法来针对特定眼睛位置(即针对特定注视方向)检测光路长度2。
44.图4示出了示例性频谱25，在眼睛表面11相对于激光束1的恒定运动期间(即，在眼睛10转动期间)，该频谱25被记录。在该运动期间，由于多普勒效应，发生朝向如虚线所示的偏移的峰值频率26'的峰值频率26的偏移27。因此，可以基于频谱25来检测由此产生的所发
射的和后向散射的激光辐射的多普勒频移。基于该多普勒频移，眼睛10的运动的瞬时眼睛速度以及运动方向可以被检测。
45.为了使用多普勒频移来计算眼睛速度，检测眼表面11与激光束1之间的角度α，并用该角度α补偿照射的激光辐射1相对于眼表面11的任何倾斜位置。详细地，角度α描述激光束1与平面35之间的最小角度，该平面35配置在与眼表面11相切的对应激光光斑30b处(参见图3)。
46.可以根据眼睛10的转动速率执行校准以确定角度α。根据使用者的头部的转动速率来检测眼睛10的转动速率，其中，使用集成在眼镜腿53中的转动速率传感器6来检测转动期间的头部的转动速率，而同时用眼睛10聚焦空间中的一静止点。在假设眼睛执行与头部运动相反的运动的情况下，估计眼睛10的转动速率。
47.除了检测照射的和后向散射的激光辐射的频率之外，还检测后向散射的辐射的信噪比，由此检测眼睛10的反射率。对于眼睛10的不同区域，反射率是不同的。特别地，当激光束1经过眼睛10的解剖边界(例如虹膜12或瞳孔13)时，已检测到的反射率发生变化。因此，眼睛10的反射率可被用来估计激光束1当前照射眼睛10的哪个区域。因此，可结合检测到的光路长度2来检测眼睛10的瞬时绝对眼睛位置。
48.因此，可以使用眼睛跟踪装置20基于激光反馈干涉测量法来检测任何眼睛运动，其中可以检测和跟踪眼睛10的任何眼睛运动。结合绝对眼睛位置的确定，例如，其将仅仅在预定时间被执行，并且另外地基于反射率，由此可以检测眼睛10的瞬时注视方向。使用执行注视方向的确定所需的部件，可以以较低的能量需求实现注视方向确定的特别高的时间分辨率。另外，可以使用特别低成本的部件。
49.图5示出了根据本发明的第二实施例的一副智能眼镜50的简化示意图。第二实施例基本上对应于图1的第一实施例，但是不同之处在于激光设备3被替代地配置。在图5的第二实施例中，眼睛跟踪装置20的激光设备3包括四个具有集成光电二极管的表面发射器3a，3b，3c，3d，所有这些表面发射器3a，3b，3c，3d全部布置在眼镜腿53上。因此，由表面发射器3a，3b，3c，3d发射的激光束1将被间接地照射到眼睛10上。具体地，激光束1被照射到眼镜镜片52上，以眼镜镜片52上的聚焦点1'为例。呈全息光学元件形式的偏转元件54被集成在眼镜镜片52中，使激光束1朝向眼睛10偏转。这样，可以提供激光设备3的替代布置，通过该布置，用于检测注视的方法也可以被执行。
50.此外，图5的第二实施例的智能眼镜50另外地包括输入和/或输出设备7，其被配置为向用户提供输出。输入和/或输出设备7包括投影单元，该投影单元被配置为将图像投影到眼睛10的视网膜上。该投影单元可以用于例如显示增强现实或虚拟现实。优选地，投影单元联接至控制装置4，其中控制装置4被配置为响应于检测到的注视方向来操作投影单元。例如，可以根据注视方向来调整投影图像。
51.图6示出了根据本发明的第三实施例的一副智能眼镜50的简化示意图。第三实施例示例基本上对应于图5的第二实施例示例，但是具有激光设备3的替代实施例。
52.在第三实施例示例中，激光设备3仅包括单个表面发射器3a作为激光源。使用分束元件30将从单个表面发射器3a发射的单个激光束1分成两个或更多个激光束1a，1b。类似于图5的第二实施例，两个激光束1a，1b将通过在眼镜镜片52中的偏转元件54间接地照射到眼睛10上。例如，如图6所示，两个激光束1a，1b可以聚焦在眼睛10上的共同点上。根据第三实
施例的示例，通过分束可以提供智能眼镜50的另一种特别有利的配置和布置。