图像传感器与目标区域之间的距离确定的制作方法

图像传感器与目标区域之间的距离确定
发明领域
1.本发明涉及确定单个图像传感器与目标区域之间的距离，特别是涉及在眼睛跟踪系统中确定单个图像传感器与目标区域之间的距离。
2.发明背景
3.传统上，在交通工具监测系统(诸如交通工具乘员识别装置或眼睛跟踪系统)中，确定传感器设备到交通工具乘员的距离的技术集中于识别交通工具乘员的身体部位(例如驾驶员的头部或面部)的位置。
4.在大多数头部或眼睛跟踪系统中，用户的面部用具有可见光谱之外的中心波长的光源照亮，并且面部的图像通过一个或几个成像传感器获取。在两个图像传感器(“立体成像”)的情况下，可以通过三角测量来确定到面部的距离。然而，在只有一个相机的系统中，确定到面部的距离可能很困难。
5.一种方法是(在图像中)测量瞳孔间距离或其他类似参数，并基于参数的预期值估计距离。这种距离确定方法的一个主要问题是由于被测参数的自然分布导致估计的不确定性，导致距离估计误差约为10％。选择不同的参数，诸如虹膜大小或角膜曲率，可以使测量值的不确定性最小化，但一旦驾驶员的眼睛例如由于戴眼镜而被遮盖，测量这些特征就会受到光线折射的影响，并且变得不可靠。
6.因此，需要改进驾驶员的面部与单个图像传感器之间的距离确定。
7.本发明的一般公开
8.本发明的目的是克服上述问题，并提供一种可行的方式来令人满意地确定单个图像传感器与交通工具中的目标区域之间的距离。
9.根据本发明的第一方面，通过一种用于确定图像传感器与交通工具驾驶员的目标区域之间的距离d
传感器
的方法来实现该目标和其他目标，该方法包括：以已知几何关系相对于图像传感器布置点光源，使得交通工具的方向盘至少偶尔在目标区域中投射阴影；基于包括阴影的目标区域的由图像传感器获取的图像和光源与方向盘之间的几何关系(例如，距离)来确定光源与目标区域之间的距离d
光源
；以及基于距离d
光源
和在光源与图像传感器之间的几何关系确定距离d
传感器
。
10.根据本发明的第二方面，通过一种用于确定图像传感器和交通工具驾驶员的目标区域之间的距离d
传感器
的装置来实现该目标和其他目标，该装置包括：点光源，该点光源以已知几何关系相对于图像传感器进行布置，并且被布置成使得交通工具的方向盘至少偶尔在目标区域中投射阴影；处理电路，该处理电路被配置为基于包括阴影的目标区域的由图像传感器获取的图像以及光源与方向盘之间的几何关系来确定光源与目标区域之间的距离d
光源
，并基于距离d
光源
以及光源与图像传感器之间的几何关系来确定距离d
传感器
。
11.本发明基于以下现实：位于光源和目标区域之间的方向盘将投射阴影，如果已知1)光源与方向盘之间的几何关系以及2)光源与图像传感器之间的几何关系，则该阴影又可以被使用来确定光源与目标区域之间的距离。
12.通过这种方法，可以仅使用单独的一个图像传感器来提供对到目标区域的距离的
可靠确定。
13.在原理上，光源与方向盘之间的已知几何关系(例如距离)使得可以基于阴影的位置和/或大小确定光源与目标区域之间的第一距离，而光源与图像传感器之间的已知几何关系使得可以将该第一距离转换为所需的距离d
传感器
。(当然，第一距离的显式计算可能不是必需的。)
14.注意，为了说明的目的，在以下描述中光源与方向盘之间的“已知几何关系”被称为“距离”。在很多情况下，这也是一个正确的描述。然而，在某些情况下，这是一种简化，因为方向盘可能与目标区域(例如面部)不在同一平面上，且也没有单一的“距离”。在这种情况下，几何关系可能比标量距离更复杂。
15.在一些实施例中，可以通过在图像中检测方向盘的特定部分的阴影的宽度并按照d
×
r/r计算距离d
光源
来确定距离d
光源
，其中d是光源与方向盘之间的距离，r是该部分的已知宽度，以及r是检测到的宽度。
16.在其他实施例中，可以通过在图像中检测方向盘的特定轮廓的阴影的位置p并按照d
×
p/p计算距离d
光源
来确定距离d
光源
，其中d是光源与方向盘之间的距离，p是该轮廓相对于光源的光轴的位置，以及p是检测到的位置，其中位置p和检测到的位置p二者都是相对于光源的光轴而确定的。
17.具有环和辐条的方向盘的典型设计及其在驾驶过程中的旋转运动使其高度适合于本发明的目的。
18.该部分或轮廓可以是方向盘的辐条的一部分。使用辐条的一个优点是方向盘通常不能侧向调节。因此，径向延伸的辐条的水平分量将不受方向盘向上/向下调整的影响。
19.方向盘与图像传感器之间的距离可以是预先已知的，或者在适当的校准过程中被确定。例如，方向盘可以设置有具有已知间隔的反射标记，使得可以根据用图像传感器获取的图像检测图像传感器与方向盘之间的距离。可选地，基于在由所述图像传感器获取的图像中识别的几何参数的值以及基于相同几何参数在已知距离处的预先识别值来确定图像传感器与方向盘之间的距离。
20.在一些实施例中，想要知道方向盘的几何结构(例如，辐条的宽度)以便于距离的确定。例如，可以从与交通工具的方向盘有关的cad信息中知道这种几何结构。可选地，在这种信息不可获得的情况下，可以根据由图像传感器获取的图像并基于图像传感器和方向盘之间的已知距离来确定方向盘的几何结构。
21.在一些实施例中，检测方向盘的角位置以便于距离的确定。如果已知方向盘的几何结构及其角位置，则已知辐条侧面的角度，这有助于识别辐条阴影。此外，辐条的位置是已知的，因此能够获取方向盘的图像并不重要。这允许图像传感器无法“看到”方向盘的实现方式。
22.可选地，在一些实施例中，阴影图案、方向盘的几何结构、方向盘与图像传感器之间的距离或方向盘的角位置可以通过将测量值(例如，在所获取的图像中识别的几何参数)作为随时间的函数的适当输出提供给人工神经网络来确定，该人工神经网络根据方向盘的几何尺寸和位置的变化进行训练。
23.附图简述
24.参照示出了本发明的当前优选的实施例的附图，将更详细地描述本发明。
25.图1是根据本发明实施例的眼睛跟踪系统的示意图。
26.图2a是图1中眼睛跟踪系统的侧视图。
27.图2b是图2a中几何关系的示意图。
28.图3a是图1中眼睛跟踪系统的另一个示意图。
29.图3b是图3a中几何关系的示意图。
30.图4是根据本发明实施例的方法的流程图。
31.优选实施例的详细描述
32.在下面的详细描述中，将描述本发明的一些实施例。然而，要理解的是，不同实施例的特征在实施例之间是可互换的并可以用不同的方式组合，除非有任何其它情形被特别指示。即使在下面的描述中阐述了很多特定的细节以提供对本发明的更透彻的理解，对本领域中的技术人员将明显的是，本发明也可在没有这些特定细节的情况下被实施。
33.电子学、传感器系统、图像分析、信号处理、数据通信系统、图像采集系统和执行本发明的其他组件中的基本技术和常规技术被认为是本领域技术人员容易理解的，且因此为了简洁起见，在本描述中将省略进一步的说明和细节。
34.在其它实例中，没有详细描述公知的结构或功能，以免使本发明模糊。
35.图1、图2a、图3a示出了用于检测用户眼睛的眼睛跟踪系统1。该系统包括光源2、图像传感器3和处理电路4。图像传感器3被配置为获取目标区域的图像，这里是用户6的面部5。处理电路被配置为识别和检测用户6的眼睛7。
36.尽管在图1、图2a、图3a中示出了单个光源，但可以提供多于一个光源。例如，为了减少/消除反射的目的，用至少两个光源交替地照亮目标区域可能是有利的。光源2可以是任何合适类型的光源，包括但不限于在不同波长域中(优选地具有在光谱的红外(ir)或近ir部分中的中心波长)工作的发光二极管(led)、具有发散透镜的眼睛安全激光源等。在该优选实施例中，光源2是irled。为了消除或最小化来自环境光的干扰，光源与具有以中心ir波长为中心的通带的带通滤波器结合使用。中心波长可以在近ir区域，例如840nm或940nm。该滤波器具有能够捕获由光源发出的大部分光但同时阻挡大部分环境光的通带。
37.图像传感器3可以是相机或光电探测器，诸如半导体图像传感器、光电探测器、热探测器、pin二极管或雪崩二极管。相机3还可以是电荷耦合器件(ccd)传感器阵列或互补金属氧化物半导体(cmos)传感器阵列，等等。在诸如上面提到的ir led的窄带光源的情况下，图像传感器3可以设置有带通滤波器(未示出)，该带通滤波器具有与光源2的光谱对应的通带。
38.此外，光源2和图像传感器3可以被布置成使得发射的信号被同步解调以滤除环境ir噪声，从而即使使用低强度ir led也改善捕获图像的质量。从led发射的ir光可以是在预定时间段内的连续波或在预定频率下的脉冲光。图像传感器3的灵敏度和分辨率可以被选择成使得所记录的图像适合于诸如图像处理之类的进一步数据处理，或者所记录的图像被用作机器视觉算法的输入。
39.光源2和图像传感器3可以被布置成时间同步。处理电路4可以被配置为操作计算机视觉系统和图像处理算法，以用于处理和分析从图像传感器3获取的图像。
40.此外，处理电路4可以被配置为执行诸如确定用户头部的位置的其他功能，例如，当驾驶员移动他或她的头部时，处理电路4可以被配置为使用位置信息来确定头部移动的
方向并计算目标区域7与图像传感器4之间的距离的变化。处理电路4还被配置用于在交通工具的不同部件或远程数据中心之间发送和/或接收数据。此外，在这种情况下，处理电路4经由有线连接连接到ir图像传感器3和其他部件。然而，可以设想使用无线连接而不是有线连接来访问远程部件。
41.方向盘8位于光源和面部5之间，使得方向盘在面部5上投射阴影9。
42.处理电路也可以被连接以接收各种传感器输入以便于处理。例如，关于当前方向盘角度的信息可以被提供给处理电路。
43.应当理解的是，尽管在该示例中光源2、图像传感器3和处理电路4被示为独立的部件，但在不同的示例中可以是这种情况，但也可能不是这种情况。对于本领域技术人员来说，其他组合是容易想象的，诸如将光源2或处理电路4与图像传感器3集成，或者远程处理电路4被布置成从图像传感器3无线接收数据等。因此，在不同的示例中，这些部件中的一些或全部可以形成单个单元的一部分。
44.参照图2，使用方向盘8的特定部分(此处为轮辋20)来确定距离d
光源
。在该示例中，特定部分20具有已知宽度“r”，并且led 2与方向盘8之间的距离为“d”。当被led 2照亮时，轮辋20在目标区域7上形成宽度为“r”的对应阴影部分22。
45.在该实施例中，处理电路4被布置成检测和识别所获取的图像中的投射的阴影部分22的大小。来自led 2的入射光被投影在轮辋20和对应的阴影22上，形成两个相似的三角形
△
abc～
△
ade，如图2b所示。通过使用三角形比例定理，确定两个相似三角形的对应高度和边彼此成比例，并且在该示例中，处理电路4按照d
光源
＝d
×
r/r来确定距离d
光源
。
46.在图3a中的实施例中，相对于led 2的光轴a确定特定轮廓(这里是方向盘8的辐条32的边缘31)的位置“p”。由处理电路4在获取的图像中检测与位置p相对应的阴影9的部分34的位置“p”。正如在图2a中，led 2和方向盘8之间的距离被标记为d。
47.同样，且参考图3b，形成两个相似的三角形
△
apc～ape，其中c和e位于光轴a上。如果位置p和p被表示为到光轴a的法线距离，则可以按照d
光源
＝d
×
p/p确定距离d
光源
。应当理解，也可以容易地想到通过选择其他的相似三角形来确定距离d
光源
。
48.下面将参考图4中的流程图描述图1、图2a、图3a中的系统1的操作。
49.在步骤s1中，光源2被布置成使得方向盘8的阴影被投射在用户6的面部5上。在一些安装方式中，方向盘8的部分将总是位于光源2和面部5之间。在其他安装方式中，阴影可能只对方向盘的某些位置可见。
50.在步骤s2中，图像传感器3获取包括面部5的一个或几个图像，面部5带有方向盘8的阴影9。所获取的图像被提供给处理电路4以进行适当的图像处理。
51.在步骤s3-s5中，处理电路4基于上面讨论的关系确定图像传感器3与面部5之间的距离。首先，在步骤s3中，处理电路4提取阴影9的宽度d和/或位置p。例如，通过将捕获的方向盘的阴影作为输入提供给图像处理算法，可以从捕获的图像中提取相对应的像素信息。所提取的像素信息可以包括像素亮度或颜色、像素尺寸或目标区域上的像素位置，这些又可以用于计算阴影的大小或位置。关于当前方向盘角度的信息可以有助于识别阴影的轮廓，例如辐条的边缘，其将具有与方向盘角度相关的倾斜度。
52.然后，在步骤s4中，使用来自s3的信息来确定光源2与目标区域5之间的距离d
光源
。最后，使用光源2与图像传感器3之间的已知几何关系，在步骤s5中可以相应地计算图像传
感器3与目标区域7之间的距离d
传感
器。
53.注意，图4中的过程通常只需要每个驱动会话执行一次。在对距离d
传感器
进行初始确定之后，可以使用一些不变的参数(例如虹膜大小)进行连续距离测量。通过以初始确定的距离来测量该参数，可以通过监测该参数来检测距离的任何变化。
54.本领域中的技术人员认识到，本发明决不限于上面所述的优选实施例。相反，在所附权利要求的范围内很多修改和变化是可能的。例如，本文公开的眼睛跟踪系统的细节对于本发明的操作并不是关键的。