凝视方向的确定的制作方法

凝视方向的确定
发明领域
1.本发明总体上涉及眼睛跟踪领域，即使用用户的图像来检测和监控用户的眼睛。具体地，本发明涉及确定和跟踪用户的凝视的方向，即用户当前正在看哪里。
2.发明背景
3.通过首先确定头部姿态(在房间坐标系中)，然后确定眼睛姿态(在头部坐标系中)，可以从获取的用户面部的图像中确定用户的凝视的方向。可以基于虹膜相对于头部的位置来确定眼睛姿态。这种类型的凝视方向检测有时被称为估计的凝视检测。
4.当需要更精确的凝视方向时，可以在图像获取期间(例如，用uv光)照射面部，使得所获取的图像包括眼睛角膜中的反射(闪光(glint))。使用光源和图像传感器之间的已知几何关系，这种闪光可以用于更精确地确定凝视方向。这种类型的凝视方向检测有时被称为精确的凝视检测。
5.两种类型的凝视检测都受到噪声和漂移的影响，并且通常需要某种在线校准。已经提出了各种方法，包括对预期用户会看哪里的统计分析进行校准。特别是在车辆实现中，已经发现这种方法是合适的，因为用户通常看几个容易识别的对象，例如后视镜、仪表板控制等。
6.尽管如此，仍然需要甚至更好的校准技术。此外，上面讨论的凝视方向检测方法(估计的凝视和精确的凝视)都要求用户面向图像传感器，以便在图像中捕获瞳孔。当眼睛不在图像中时，也希望提供凝视方向估计。
7.现有技术简要地提到了这个问题，甚至更简要地提供了解决方案。例如，文献wo 2018/000020讨论了仅基于头部姿态，即用户面向的位置，进行非常近似的凝视检测。在wo 2018/000020中，凝视方向被近似为垂直于用户面部的平面。文献us 2019/0147607公开了一种基于神经网络的凝视检测方法，其中也可以从不包括眼睛的图像中检测凝视。
8.本发明的一般公开
9.本发明的一个目的是减轻上述问题，并提供一种改进的凝视估计。
10.根据本发明的第一方面，通过一种用于估计用户的凝视方向的方法来实现该目的和其他目的，该方法包括获取用户面部的图像，基于该图像确定当前头部姿态，访问存储头部姿态和凝视方向之间的基于人群的关系的数据库，并基于当前头部姿态和该关系确定近似的凝视方向，在图像中识别一组眼睛特征，并基于眼睛特征确定估计的凝视方向，在图像中识别一组眼睛特征和眼睛中的闪光，并基于闪光位置和眼睛特征确定精确的凝视方向，并使用自适应滤波器对1)近似的凝视方向以及在2)估计的凝视方向和3)精确的凝视方向中的至少一个进行加权，从而提供校正的凝视方向。
11.本发明基于这样的认识，即仅基于头部姿态的眼睛凝视近似需要额外的信息才能足够准确。仅仅假设凝视方向垂直于面部的平面是不够的。
12.此外，本发明基于这样的认识，即对于静止的用户(例如，汽车驾驶员或计算机用户，但通常是停留在相同位置仅移动他/她的头部的任何用户)，特定头部姿态和相关联的凝视方向之间的关系实际上在整个人群中是惊人地恒定的。因此，有可能生成具有这样的
关系的数据库，并使用它(例如，作为查找表)来基于给定的头部姿态确定近似的凝视方向。
13.使用识别的眼睛特征获得的估计的凝视方向比仅基于头部姿态的近似的凝视方向更准确。然而，随着眼睛特征的识别变得更加困难和不确定(即离光轴更远)，估计的凝视也变得更加不确定(大的标准偏差)。
14.使用眼睛中的一次或两次闪光获得的精确的凝视方向甚至比仅基于眼睛特征的估计的凝视方向更准确。然而，随着闪光的识别变得更加困难和不确定(即离光轴更远)，精确的凝视也变得更加不确定(更大的标准偏差)。在离光轴一定距离处，不再可能识别眼睛中的闪光，并且丢失精确的凝视方向。
15.根据本发明，估计的凝视方向和/或精确的凝视方向因此与近似的(基于头部姿态的)凝视方向相组合，以提供校正的凝视方向。例如，可以使用合适的自适应滤波器，例如卡尔曼滤波器，对近似的凝视方向以及在估计的凝视方向和精确的凝视方向中的至少一个进行加权，从而提供校正的凝视方向。
16.卡尔曼滤波器(或类似的滤波器)可以确保基于不同凝视方向的不确定性(例如，标准偏差)来自适应地调整这些凝视方向的相对权重。例如，当精确的凝视方向是稳定的(例如，小的标准偏差)时，不需要在基于头部姿态的近似上投入太多权重。反之亦然，当估计的凝视方向和精确的凝视方向不确定(大的标准偏差)时，则基于头部姿态的近似可以获得更高的权重。
17.注意，尽管精确的凝视方向通常在光轴附近具有小的标准偏差，但是该标准偏差随着离光轴的距离(航向或偏航角)增加。估计的凝视方向在光轴附近比精确的凝视方向具有更大的标准偏差，但是其标准偏差没有像精确的凝视那样快得增加。另一方面，近似的凝视(基于头部姿态)具有更大但更恒定的标准偏差，而与航向角无关。
18.基于此，分别确定的凝视方向的标准偏差的近似值可以表示为航向角的函数。换句话说，随着用户转向远离光轴，精确的凝视(和估计的凝视)将具有较低的权重，而近似的凝视将具有较大的权重。
19.此外，噪声和其他缺陷有时会妨碍精确的凝视方向和/或估计的凝视方向的正确确定。同样在这些情况下，近似的凝视可以被给予更大的权重，并且确保校正的凝视方向不会丢失并且至少近似正确。
20.由于该关系(头部姿态-》凝视方向)在整个人群中相当恒定，所以可以在没有用户特定的数据的情况下生成令人满意的近似。然而，如果使用用户特定的信息，近似的质量会显著提高。因此，在一个实施例中，基于人群的关系可以针对特定用户进行调整。例如，可以使用基于关于观看模式的统计信息的在线校准。这种统计校准在车辆环境中特别有用，在车辆环境中，驾驶员的凝视方向大部分时间被限制在相当小的一组预定方向上。
21.该关系可以以所有六个自由度来表示，即，将包括位置和取向的完整头部姿态作为输入，并返回近似的凝视方向。然而，简化该关系以包括较少的自由度可能是有利的。例如，该关系可以仅用两个自由度来表示，例如使用具有两个角坐标(偏航/航向角和俯仰角)的球面坐标系。在这种情况下，关于头部位置的信息可以用于调整存储的关系。
22.附图简述
23.参照示出了本发明的当前优选的实施例的附图，将更详细地描述本发明。
24.图1示意性地示出了安装在车辆的仪表板上的眼睛跟踪系统。
25.图2a更详细地示出了图1中的眼睛跟踪系统。
26.图2b示出了图2a中的照相机和光源的相对定位的示例。
27.图3是根据本发明的实施例的方法的流程图。
28.图4是以用户面部为中心的球面坐标系的图示。
29.图5是本发明的实施例的示意框图。
30.优选实施例的详细描述
31.在下文中，在车辆眼睛跟踪系统的上下文中描述本发明的实施例。注意，本发明的其他实现也是可能的。
32.图1示出了驾驶员1坐在车辆3的驾驶员座位2中。眼睛跟踪系统4安装在驾驶员1的前方，这里在仪表板5上。可替代地，眼睛跟踪系统4可以安装在方向盘柱6上，或者固定到顶棚7。不管如何安装，眼睛跟踪系统4都应该能够清楚地看到驾驶员1的头部8和眼睛9。系统4通常被布置在距离驾驶员1的距离d1处，距离d1在40cm到120cm的范围内，并且最典型地，系统4被布置在“臂长”处，即大约60-70cm处。
33.参考图2a，所示示例中的眼睛跟踪系统4包括图像传感器10，例如cmos图像传感器，其配备有合适的光学器件11。图示的系统4还包括两个光源12，这两个光源通常配置成发射可见光范围之外的光，例如红外(ir)或近红外(nir)光。光源12可以是固态光源，例如led。在图示的示例中，光源12是被配置为发射光谱集中在以850或940nm(nir)为中心的50nm波段中的光的led。
34.在图2a中，光源12沿直线位于图像传感器10的两侧。为了采用“暗瞳孔(dark-pupil)”处理，在每个光源和图像传感器10之间需要足够的距离。如果不希望增加设备的水平尺寸，即光源之间的距离d1，那么如图2b所示将光源12a、12b和图像传感器10分开垂直距离d3也可以是有利的。换句话说，光源和图像传感器不再在一条直线上。
35.回到图2a，图像传感器10还配备有光学带通滤波器13，例如干涉滤波器。滤波器13可以被配置成具有基本上对应于光源12a、12b的光发射光谱的通带。因此，在上面提到的示例中，滤波器13应该具有大约825-875nm或915-965nm的通带。窄带照明和窄通带滤波的组合使得图像获取系统对环境光(例如太阳光)不太敏感。
36.图像获取控制器14(为了简洁起见，此后称为“控制器”)连接到图像传感器10和光源12a、12b，并被编程以控制图像传感器10在光源12a、12b的照射下获取图像。典型地，为了节省能量和功耗，光源12a、12b被控制为仅在图像传感器的电子快门打开时发射光。光源12a、12b可以交替地被激活(由不同的光源照射获得连续图像帧)，或者它们可以都被激活用于每个图像帧。如在ep 1 349 487中所公开的，通过使用交替照明，可以抑制图像中的干扰反射(例如来自眼镜的反射)。
37.作为一个实际例子，光源12a、12b由脉冲触发，脉冲的占空比被选择为提供足够的照明以获取一个图像帧。如所提到的，对于每一帧，可以激活一个或两个光源。优选地，光源12a、12b由脉冲式信号控制，该脉冲式信号具有确保脉冲宽度对应于图像传感器10获取一幅图像所需的时间的占空比。然后，图像传感器10与该脉冲式信号同步。
38.眼睛跟踪系统4还包括处理电路15，其被连接以接收由图像传感器10获取的图像16，并处理这些图像。处理电路15可以与控制器14集成在一起，或者可以与控制器14分离。该系统还具有存储器，例如ram存储器，该存储器例如存储将由处理电路15执行的软件。
39.在使用中，眼睛跟踪系统4被布置成获取用户1的面部9的目标区域的图像。处理电路15被配置成使用来自传感器10的图像来跟踪用户头部的位置和眼睛的移动，以便获取各种信息。具体地，处理电路15在这里被编程以获得用户的凝视的方向。
40.通过确定头部姿态，即头部坐标系20在空间中的定位和取向，然后确定相对的眼睛姿态，即眼睛坐标系21相对于坐标系20的定位和取向，可以基于获取的图像确定凝视的方向。在没有照明的情况下，可以基于虹膜相对于头部的位置来确定眼睛姿态。这种确定凝视方向的方法通常被称为估计的凝视。
41.也可以使用光源12a、12b在眼睛的角膜中引起反射(闪光)来确定凝视方向。如果光源相对于图像传感器的位置是已知的，闪光的位置将使得能够确定凝视方向。这种确定凝视方向的方法通常被称为精确的凝视。一些眼睛跟踪系统具有两个或更多个光源，从而使得能够获取具有不同照明的图像并因此获取定位不同的闪光。
42.图3示出了根据本发明的实施例的方法。首先，在步骤1中，并且在眼睛跟踪实际开始之前，确定人群的头部姿态与眼睛凝视方向之间的关系，并将该关系存储在存储器16的数据库中。这样的关系可以通过从人们的样本中收集数据来获得。该关系可以以各种方式存储，但是在实际示例中，该关系假设空间中固定的头部位置，并且将两个自由度中的头部姿态取向(实质上是鼻子指向的位置)与相应的凝视方向(即眼睛正在看的位置)相关联。或者，以不同的方式表达，对于每个头部姿态取向，(该关系为)到达凝视方向的校正向量。
43.实际的凝视确定在步骤s2中开始，在步骤s2中，照射用户1的头部8和眼睛9。然后，在步骤s3中，获取包括眼睛9的头部8的图像。在步骤s4中，基于在本质上已知的过程中识别的面部特征，确定用户的头部姿态。
44.使用存储在存储器16中的关系，使用所确定的头部姿态，在步骤s5中确定近似的凝视方向。注意，在某些情况下，这种对凝视方向的非常粗略的近似可能是唯一可用的近似。
45.图4示出了球面坐标系，其中原点41表示用户1的头部的位置，并且两个轴42、43分别表示俯仰角和偏航/航向角。两个不同的头部姿态方向在图4中被表示为箭头(向量)44和45。存储器16中的关系为每个头部姿态方向提供了校正向量46、47，它们也在图4中示出。因此，向量46、47的末端仅基于头部姿态和先前存储的关系来表示近似的凝视。
46.然后，在步骤s6中，识别相关的眼睛特征，例如虹膜位置，以便能够在步骤s7中确定估计的凝视。在图4中，向量48和49分别表示与由组合向量44、46和组合向量45、47表示的近似的凝视相对应的估计的凝视。
47.继续到步骤s8，(如果可能的话)识别闪光，即识别照明在眼睛的角膜中的反射，并且在步骤s9中，使用所识别的闪光来确定精确的凝视。在图4中，向量50和51分别表示与由组合向量44、46和组合向量45、47表示的近似的凝视相对应的精确的凝视。
48.最后，使用在步骤s5、s7和s9中确定的各种凝视方向，即近似的凝视、估计的凝视和精确的凝视，通过使用卡尔曼滤波器(或其他类似的自适应加权滤波器)在步骤s10中确定校正的凝视方向。
49.图5中示出了卡尔曼滤波器55的操作的示意图示。滤波器55接收一个、两个或三个不同的眼睛凝视方向——即近似的凝视56、估计的凝视方向57(如果可用)和精确的凝视方向58(也如果可用)——作为输入。
50.对于每个凝视方向，滤波器还接收指示特定凝视方向的标准偏差的变量值。因此，一个值用于近似的凝视，一个值用于估计的凝视，以及一个值用于精确的凝视。在一个实施例中，该系统被配置成为每个确定的凝视方向确定标准偏差的估计。然而，在更实际的例子中，系统假设特定凝视方向的标准偏差与偏航/航向角43相关。如图5所示，该信息可以作为输入提供给卡尔曼滤波器55。
51.回到图4，每个相应凝视方向的估计的标准偏差由虚线圆圈46’、47’、48’、49’、50’和51’表示。圆圈48’代表凝视方向48的标准偏差，等等。
52.在轴42的左侧并靠近轴42，是由向量44、46指示的近似的凝视，具有标准偏差46’。对应的估计的凝视48具有小得多的标准偏差48’，而对应的精确的凝视50具有甚至更小的标准偏差50’。这对应于当用户的凝视靠近中心轴42(偏航/航向角接近于零)时闪光可被清楚地检测到并且精确的凝视相对可靠(小的标准偏差)的情况。结果，精确的凝视将被给予高权重，并且来自卡尔曼滤波器55的输出59将非常接近精确的凝视58。
53.然而，如果噪声或一些干扰(例如，突如其来的阳光)导致闪光在一帧或几帧中不可检测，则卡尔曼滤波器55可以依赖于剩余的凝视方向56和57，从而仍然提供相对正确的输出59。
54.噪声或干扰也可能导致精确的凝视58的突然移位。这样的突然移位可能被系统解释为不可靠的确定(大的标准偏差)，因此再次导致主要基于近似的凝视56和估计的凝视57的校正的凝视59。
55.转向图4的右侧，是由向量45、47指示的近似的凝视，具有标准偏差47’。对应的估计的凝视49具有相似大小的标准偏差49’，并且对应的精确的凝视50也具有相似大小的标准偏差51’。这对应于当用户的凝视远离中心轴42(偏航/航向角度远离零)时估计的凝视确定和精确的凝视确定都变得不太准确和不太可靠(大的标准偏差)的情况。结果，近似的凝视56、估计的凝视57和精确的凝视58将在卡尔曼滤波器55中全部被给予相似的权重，并且校正的凝视59将基于所有三个输入56、57、58。
56.本领域中的技术人员认识到，本发明决不限于上面所述的优选实施例。相反，在所附权利要求的范围内，很多修改和变化是可能的。具体而言，这里公开的眼睛跟踪系统的细节仅作为示例，并不限制本发明的应用，本发明的应用涉及用不同方法确定的凝视方向的组合。此外，不同凝视方向的加权可能不需要自适应滤波器，并且可以使用不同类型的自适应滤波器来代替卡尔曼滤波器。