用于监控驾驶员的多曝光图像捕获设备和相关系统的制作方法

1.本发明涉及图像捕获设备。本发明还涉及用于监控车辆驾驶员的监控设备，其包括图像捕获设备。


背景技术：

2.最近已经开发了图像捕获设备，其使得可以在可见范围和红外范围内观察给定场景，并且使用同一个图像传感器来进行观察。
3.这种设备的图像传感器可以说是混合的，有时被称为“rgb
‑
ir”(红绿蓝
‑
红外的缩写)图像传感器。
4.该图像传感器包括光敏像素矩阵阵列和与这些不同光敏像素一致的基本滤光器阵列。
5.这些基本滤光器中的一些是彩色滤光器。它们各自透射一部分由图像传感器接收的可见辐射，该部分实际上对应于红色、绿色或蓝色。这些不同的基本彩色滤光器使得可以获取彩色图像，例如“rgb”图像。
6.图像传感器的其他基本滤光器在红外范围内至少部分透明。它们使得可以在红外范围内获得所讨论场景的图像。
7.因此，包含额外信息的彩色图像和红外范围内的图像是用同一个传感器获得的，这在成本价格和尺寸方面尤其有利。
8.然而，图像捕获设备环境中的环境亮度在可见范围和红外范围内通常明显不同。因此，利用这种图像传感器通常不可能获得彩色图像和红外范围图像的最佳曝光。


技术实现要素：

9.在这种情况下，本发明提出了一种包括图像传感器的图像捕获设备，其包括：
10.‑
接收电磁辐射的滤光器阵列,包括第一滤光器,每个能够透射电磁辐射的包含在给定红外波长范围内的第一部分，以及第二滤光器,每个能够透射电磁辐射的位于可见范围中的第二部分的至少一个分量，以及
11.‑
光敏像素矩阵阵列,包括第一光敏像素,其布置成接收由第一滤光器透射的电磁辐射的第一部分，以及第二光敏像素,其布置成接收由第二滤光器透射的分量，第一和第二光敏像素中的每个根据其接收的电磁辐射的功率通过光电效应产生电荷或电压，
12.根据本发明，图像捕获设备还包括计算机，其被编程为：
13.a1)确定红外范围内的环境亮度，
14.a2)确定可见范围内的环境亮度，
15.b1)命令图像传感器执行第一图像捕获，在其期间，每个第一光敏像素传送代表其产生的电荷或电压的像素信号，该电荷或电压已经在第一积分时间期间由该第一光敏像素累积，
16.b2)命令图像传感器执行第二图像捕获，在此期间，每个第二光敏像素传送代表其
产生的电荷或电压的像素信号，该电荷或电压已经在第二积分时间期间由该第二光敏像素累积，
17.c1)命令预处理模块将步骤b1)中产生的每个像素信号乘以第一增益值，
18.c2)命令预处理模块将步骤b2)中产生的每个像素信号乘以第二增益值，
19.d1)从由第一图像捕获中的第一光敏像素产生的像素信号合成第一图像，所述像素信号已经乘以第一增益值，
20.d2)从第二图像捕获中由第二光敏像素传送的像素信号合成第二图像，所述像素信号已经乘以第二增益值，
21.第一积分时间或第一增益值由计算机根据红外范围内的环境亮度来确定，以及
22.第二积分时间或第二增益值由计算机根据可见范围内的环境亮度来确定。
23.该图像捕获设备使得使用相同的图像传感器可以获得：
24.‑
在红外范围内，要观看的场景的第一图像，该图像被适当曝光，因为它是根据红外范围内的环境亮度曝光的，并且
25.‑
在可见范围内，同一场景的第二图像，该图像也被适当曝光，因为它是根据可见范围内的环境亮度曝光的。
26.此外，该图像捕获设备具有能够通过最初为高动态范围(hdr)图像设计的商业上可获得的电子部件来实现的优点，这有助于该实现。
27.hdr成像可以包括，例如：
28.‑
获取具有给定曝光时间的图像，即具有给定积分时间的图像，允许对该图像的大部分进行适当曝光，然后
29.‑
获取具有另一曝光时间的互补图像，该曝光时间允许对该互补图像的高亮度区域进行合适的曝光，而不是过度曝光，然后
30.‑
组合所述图像和所述互补图像以获得hdr图像，其中中等亮度区域和高亮度区域被适当曝光，避免了相应亮度值的过饱和或欠饱和。
31.因此，用于hdr成像的电子部件非常适合于获取(或命令图像传感器获取)多个图像系列中的图像，例如两个图像系列或四个图像系列，每个系列的各种图像是以各种曝光时间或各种增益获取的，或两者兼有。
32.因此，应当理解，这样的电子部件使得可以容易生产根据本发明的图像捕获设备。
33.该图像捕获设备的另一优点是，当第一图像是在红外中获得的，或者第二图像是在可见中获得的时，它允许容易地应用这种hdr成像技术。
34.举例来说，红外第一图像可以例如考虑以下两者来合成：
35.‑
由第一图像捕获中的第一光敏像素产生的像素信号，以及
36.‑
由第二图像捕获中的第一光敏像素产生的像素信号(该第二图像捕获最初旨在获得可见的第二图像)，
37.这通常允许增加该红外第一图像的动态范围，甚至不必执行额外图像捕获，因为第一和第二图像捕获通常以不同的积分时间和/或不同的增益值来执行。
38.以下是根据本发明的图像捕获设备的其他非限制性和有利的特征：
39.‑
计算机被编程为，步骤b1)、c1)和d1)已经被预先执行，以在步骤a1)中根据在步骤d1)的所述先前执行中产生的第一图像的至少一些图像像素的亮度值来确定红外范围内
的所述环境亮度；
40.‑
计算机被编程为，在步骤a1)中确定红外范围内的所述环境亮度，使得其代表在步骤d1)的所述先前执行中产生的第一图像中的第一平均亮度水平；
41.‑
计算机被编程为，根据一方面第一目标平均亮度值和另一方面在步骤d1)的先前执行中产生的第一图像中的第一平均亮度水平之间的第一差值来确定第一积分时间或第一增益值；
42.‑
计算机被编程为，步骤b2)、c2)和d2)已经被预先执行，以在步骤a2)中根据在步骤d2)的所述先前执行中产生的第二图像的至少一些图像像素的亮度值来确定可见范围内的所述环境亮度；
43.‑
计算机被编程为，在步骤a2)中确定可见范围内的所述环境亮度，使得其代表在步骤d2)的所述先前执行中产生的第二图像中的第二平均亮度水平；
44.‑
计算机被编程为，根据一方面第二目标平均亮度值和另一方面在步骤d2)的先前执行中产生的第一图像中的第二平均亮度水平之间的第二差值来确定第二积分时间或第二增益值；
45.‑
计算机还被编程为：
46.b3)命令图像传感器执行第三图像捕获，在此期间，第一或第二光敏像素中的每个传送代表其产生的电荷或电压的像素信号，该电荷或电压已经在第三积分时间期间由光敏像素累积，
47.c3)命令预处理模块将步骤b3)中产生的每个像素信号乘以第三增益值，
48.第三积分时间乘以第三增益值的乘积不同于第一积分时间乘以第一增益值的乘积，或者不同于第二积分时间乘以第二增益值的乘积；
49.‑
计算机被编程为，在步骤d1)中合成第一图像，同时进一步考虑由第三图像捕获中的第一光敏像素产生的像素信号，这些像素信号已经乘以第三增益值，第三积分时间乘以第三增益值的乘积不同于第一积分时间乘以第一增益值的乘积；
50.‑
在步骤d1)中，由第三图像捕获中的第一光敏像素产生的并且已经乘以第三增益值的像素信号在被考虑以合成第一图像之前被进一步乘以第一缩放系数，第一缩放系数取决于第一积分时间和第三积分时间之间的比率，或者取决于第一值增益和第三增益值之间的比率；
51.‑
计算机被编程为，步骤b1)、c1)、b3)、c3)和d1)已经被预先执行，以根据在步骤d1)的所述先前执行中产生的第一图像的至少一些图像像素的亮度值来确定第三积分时间或第三增益值；
52.‑
计算机被编程为根据第一积分时间确定第三积分时间；
53.‑
计算机被编程为根据第一增益值确定第三增益值；
54.‑
计算机被编程为，在步骤d2)中合成第二图像，同时进一步考虑由第三图像捕获中的第二光敏像素产生的像素信号，这些像素信号已经乘以第三增益值，第三积分时间乘以第三增益值的乘积不同于第二积分时间乘以第二增益值的乘积；
55.‑
在步骤d2)中，由第三图像捕获中的第二光敏像素产生的并且已经乘以第三增益值的像素信号在被考虑以合成第二图像之前被进一步乘以第二缩放系数，第二缩放系数取决于第二积分时间和第三积分时间之间的比率，或者取决于第二值增益和第三增益值之间
的比率；
56.‑
计算机被编程为，步骤b2)、c2)、b3)、c3)和d2)已经被预先执行，以根据在步骤d2)的所述先前执行中产生的第二图像的至少一些图像像素的亮度值来确定第三积分时间或第三增益值；
57.‑
计算机被编程为根据第二积分时间确定第三积分时间；
58.‑
计算机被编程为根据第二增益值来确定第三增益值；
59.‑
计算机还被编程为：
60.b4)命令图像传感器执行第四图像捕获，在此期间，第一或第二光敏像素中的每个传送代表其产生的电荷或电压的像素信号，该电荷或电压已经在第四积分时间期间由光敏像素累积，
61.c4)命令预处理模块将步骤b4)中产生的每个像素信号乘以第四增益值，
62.第四积分时间乘以第四增益值的乘积不同于第二积分时间乘以第二增益值的乘积，
63.计算机被编程为，在步骤d2)中合成第二图像，同时进一步考虑由第四图像捕获中的第二光敏像素产生的像素信号，这些像素信号已经乘以第四增益值；
64.‑
计算机被编程为，在步骤d1)中合成第一图像，同时进一步考虑由第二图像捕获中的第一光敏像素产生的像素信号，由第二图像捕获中的第一光敏像素产生的像素信号已经乘以第二增益值；
65.‑
计算机被编程为，在步骤d2)中合成第二图像，同时进一步考虑由第一图像捕获中的第二光敏像素产生的像素信号，由第一图像捕获中的第二光敏像素产生的像素信号已经乘以第一增益值。
66.当然，本发明的各种特征、变型和实施例可以各种组合彼此组合，只要它们不相互不兼容或相互排斥。
67.本发明还提出了一种用于监控车辆驾驶员的监控系统，包括如上所述的图像捕获设备和处理单元，该处理单元被编程为至少基于所述第一图像来确定驾驶员不能驾驶的程度。
68.不能驾驶的程度可以包括驾驶员的困倦程度或分心程度。
附图说明
69.此外，本发明的各种其他特征将从参考附图给出的所附描述中变得显而易见，附图说明了本发明的非限制性实施例，其中：
70.图1示意性地示出了从侧面看的机动车辆，该机动车辆包括实现本发明教导的图像捕获设备，
71.图2更详细地示出了图1的图像捕获设备的某些元件，
72.图3示意性地示出了从正面看的滤光器阵列，图1的图像捕获设备的图像传感器设置有该滤光器阵列，
73.图4示意性地示出了从侧面看的同一图像传感器，
74.图5示意性地示出了由图1的图像捕获设备传送的红外图像和彩色图像，
75.图6示意性地示出了由诸如图1的图像捕获设备实现的根据第一实施例的图像捕
获方法的步骤，
76.图7示意性地示出了由诸如图1的图像捕获设备实现的根据第二实施例的图像捕获方法的步骤，以及
77.图8示意性地示出了由诸如图1的图像捕获设备实现的根据第三实施例的图像捕获方法的步骤。
具体实施方式
78.一、图像捕获设备
79.图1示出了车辆5，这里是机动车辆，配备有用于监控车辆驾驶员3的监控系统2。该监控系统2包括图像捕获设备1和处理单元20，该处理单元20被编程为基于由图像捕获设备1传送的一个或多个图像来确定驾驶员3不能驾驶的程度i
l
。
80.如图1所示，图像捕获设备1位于车辆的乘客舱7中，靠近车辆挡风玻璃的区域。例如，它集成到车辆的仪表盘、仪表板或控制台中。
81.图像捕获设备1被定向成使得当所述驾驶员坐在驾驶座上时，其视场15覆盖通常由驾驶员3的头部占据的区域。图像捕获设备1因此能够捕获驾驶员3的面部图像。
82.如图2所示，图像捕获设备1包括：
83.‑
图像传感器9，
84.‑
光学系统10，例如物镜，其在图像传感器9上形成图像捕获设备1的视场15的内容的图像，
85.‑
预处理模块11，用于放大由图像传感器9产生的像素信号sp1、sp2，然后执行这些信号的模数转换，以便获得数字图像信号si1、si2，
86.‑
计算机12，配置为接收由预处理模块11传送的图像信号si1、si2，并处理该信号，以便产生代表图像捕获设备1的视场15的内容的一个或多个图像。
87.值得注意的是，图像传感器9在某些方面是混合传感器，允许在红外范围和可见范围内观察视场15的内容。
88.为此，图像传感器9配备有基本滤光器的特定阵列170(图3)，包括在红外范围内至少部分透射的第一滤光器171和在可见范围内至少部分透射的第二滤光器172、173、174的交替。该滤光器阵列170使得可以利用光敏像素21、21’的相同矩阵阵列19获得作为红外范围内的图像的第一图像31(下面称为“红外图像”)和作为可见范围内的图像的第二图像35。
89.在这里描述的示例中，第二滤光器172、173、174是彩色滤光器，并且所讨论的第二图像是彩色图像。下面，第二图像35还被称为“彩色图像35”。
90.借助于该特定图像传感器9，图像捕获设备1能够获取红外图像31和彩色图像35，同时保持紧凑。红外图像31可以例如用于监控驾驶员3并确定他不能驾驶i
l
的程度。彩色图像35比红外图像(通常以灰度显示)更易于人眼观察，并且包含更多的信息。因此，可以出于多种目的获取彩色图像；例如，它可以用于与远程电子设备通信，例如在电话会议的背景下，或者出于安全原因确实被保存在存储器中，或者作为纪念旅程的“纪念照片”。
91.当图像捕获设备1拍摄时：
92.‑
在给定的积分时间内，图像传感器的矩阵阵列19的每个光敏像素21、21’累积通过该光敏像素中的光电效应产生的电荷或电压，并传送代表如此累积的电荷或电压的像素
信号，然后
93.‑
预处理模块11将这些像素信号中的每个乘以给定的增益值，然后对如此放大(或可能衰减)的像素信号进行模数转换。
94.这种拍摄是否产生适当曝光的图像(或一个以上的图像)取决于进行这种拍摄的曝光参数。这些曝光参数包括上述积分时间和增益值，以及光学系统10的光圈孔径(图中未示出)。在下面描述的一系列拍摄中，该光圈孔径被认为保持不变(每一系列拍摄都是在短时间内拍摄的)。因此，下面考虑的唯一曝光参数是所讨论的积分时间和增益值。
95.值得注意的是，计算机12被编程为命令图像传感器9和预处理模块11以这样的方式拍摄多个拍摄的系列—例如成对拍摄，或者3或4个拍摄的系列。换句话说，计算机12被编程为使得由图像捕获设备拍摄的每个拍摄必然伴随有与前一个拍摄相关的至少一个其他拍摄。这两个拍摄是在短时间内拍摄的，例如短于0.3秒。
96.由计算机12命令的每一系列拍摄至少包括：
97.‑
用第一积分时间ti1(即用第一曝光时间)和第一增益值g1进行的第一拍摄，第一积分时间ti1或第一增益值g1由计算机12根据红外范围内的环境亮度来确定，以及
98.‑
用第二积分时间ti2(具有第二曝光时间)和第二增益值g2技术的第二拍摄，第二积分时间ti2或第二增益值g2由计算机12根据可见范围内的环境亮度来确定。
99.计算机12被编程为然后基于在第一拍摄期间获取的像素信号sp1合成红外图像31，并且基于在第二拍摄期间获取的像素信号sp2合成彩色图像35。
100.借助于这种多拍摄技术，红外图像31和彩色图像35都被适当地曝光，即使图像捕获设备1的视场15中的环境亮度在可见范围和红外范围中明显不同。因此获得了该视场15的内容的两个互补图像，对应于不同的波段，并且每个都被适当曝光。
101.计算机12被更精确地编程为：
102.a1)确定红外范围内的环境亮度，
103.a2)确定可见范围内的环境亮度，
104.b1)命令图像传感器9执行第一图像捕获，在此期间，每个第一光敏像素21传送代表其产生的电荷或电压的像素信号，该电荷或电压已经在第一积分时间ti1期间由该第一光敏像素21累积(在图像传感器是ccd类型的情况下，所讨论的像素信号例如直接对应于所讨论的光敏像素在所讨论的积分时间结束时通过光电效应累积的电荷)，
105.b2)命令图像传感器9执行第二图像捕获，在此期间，每个第二光敏像素21’传送代表其产生的电荷或电压的像素信号，该电荷或电压已经在第二积分时间ti2期间由该第二光敏像素21’累积，
106.c1)命令预处理模块11将步骤b1)中产生的每个像素信号sp1乘以第一增益值g1，
107.c2)命令预处理模块将步骤b2)中产生的每个像素信号sp2乘以第二增益值g2，
108.d1)从第一图像捕获中由第一光敏像素21产生的像素信号sp1合成红外图像31，所述像素信号sp1已经乘以第一增益值g1，
109.d2)从第二图像捕获中的第二光敏像素21’传送的像素信号sp2中合成第二图像35，这里将回忆为彩色图像，所述像素信号sp2已经乘以第二增益值g2。
110.这里描述图像捕获设备1的各种实施例。这些实施例主要在计算机12的编程细节上即在由图像捕获设备(刚刚给出的(步骤a1)至d2))实现的图像捕获方法的细节上彼此不
同。在当前情况下，图6、7和8中示意性示出的方法分别对应于图像捕获设备1的第一、第二和第三实施例。
111.在第一和第三实施例(图6和8)中，计算机12被编程为使得每个系列的拍摄包括两个拍摄(在本例中是上面呈现的第一和第二拍摄)，而在第二实施例(图7)中，计算机12被编程为使得每个系列的拍摄包括四个拍摄(用不同的曝光参数拍摄)。
112.该图像捕获设备1的实现由于最初设计用于hdr成像并因此基本配置为进行多曝光拍摄的电子部件现在已经在市场上可以买到这一事实而变得容易。此外，用于hdr成像的电子部件通常配置成连续拍摄两次或四次，因此特别适合于实现上述三个实施例。
113.在第二和第三实施例中(与第一实施例不同)，第一和第二图像31、35中的每个还通过进一步实施hdr成像技术来获得。
114.在各个实施例中，相同或相应的元件已经尽可能多地由相同的附图标记标识，并且不再每次都进行描述。
115.现在更详细地描述图像传感器9。在由图像捕获设备1实现的图像捕获方法的各种实施例的描述中，将随后呈现合成红外图像和彩色图像的方式以及控制曝光参数的方式。
116.rgb
‑
ir图像传感器。
117.如图3和4所示，图像传感器9的滤光器阵列170的每个滤光器171、172、173、174面向矩阵阵列19的光敏像素21、21’之一放置，以便在电磁辐射到达所讨论的光敏像素21、21’之前过滤来自图像捕获设备1的视场15的该电磁辐射(由光学系统10收集的辐射)。因此，每个光敏像素21、21’接收电磁辐射的一部分，该部分已经被与其相关的滤光器171、172、173、174过滤(就其接收的电磁辐射而言，该滤光器形成过滤元件)。
118.第一滤光器171各自能够透射电磁辐射的第一部分，该部分位于给定的红外波长范围内。在这里描述的实施例中，第一滤光器171主要透射位于该红外波长范围内的波长。该波长范围主要在700纳米以上。它可以例如从700纳米延伸到1100纳米。
119.至于第二滤光器172、173、174，它们各自能够透射电磁辐射的第二部分的至少一个分量，该部分位于400纳米和700纳米之间的可见光中。
120.在这里描述的示例中，第二滤光器172、173、174主要透射位于400和700纳米之间的波长。然而作为变型，它们可以透射可见光波长和红外波长。
121.这里，第二滤光器172、173、174包括红色滤光器172、绿色滤光器173和蓝色滤光器174。术语“红”、“绿”和“蓝”具有共同的含义。下面给出的红色、绿色和蓝色通带的值是通过非限制性示例给出的。
122.这里的红色滤光器172具有主要包含在550nm和700nm之间的红色通带。因此，它们透射的电磁辐射的第二部分的分分量主要由550nm和700nm之间的波长构成。
123.至于绿色滤光器173，它们在这里具有主要包含在450nm和650nm之间的绿色通带，而蓝色滤光器174具有主要包含在400nm和550nm之间的蓝色通带。
124.滤光器阵列的各种滤光器171、172、173、174相对于彼此布置，以便形成规则重复的图案175，从而形成滤光器阵列170。在本例中，该图案175包括四个滤光器：一个第一滤光器171、一个红色滤光器172、一个绿色滤光器173和一个蓝色滤光器174。这四个相邻的滤光器形成方形。如图所示，滤光器阵列170因此可与所谓的“拜耳”阵列相比较，其中一个绿色滤光器已被红外透明的元件代替。作为变型，滤光器的图案可以不同地形成(例如以便包括
比红色或蓝色滤光器更多的绿色滤光器)，该图案被重复多次以形成滤光器阵列。
125.关于矩阵阵列19的光敏像素21、21’,它们包括：
126.‑
第一光敏像素21，每个布置成捕获由第一滤光器171之一透射的电磁辐射的第一部分，以及
127.‑
第二光敏像素21’,每个布置成捕获由第二滤光器172、173、174之一透射的红色、绿色或蓝色分量。
128.第一和第二光敏像素21、21’中的每个通过光电效应产生电荷或电压，该电荷或电压取决于其接收的电磁辐射部分的功率。
129.在这里描述的实施例中，光敏像素21、21’的矩阵阵列19的半导体衬底由(适当掺杂的)硅制成。光敏像素在红外范围内的灵敏度因此被限制在近红外范围内：配备有第一滤光器171的第一光敏像素21的灵敏度范围在这里包括在700纳米和1100纳米之间。
130.图像传感器9例如是cmos图像传感器(cmos是互补金属氧化物半导体的缩写)或ccd图像传感器(ccd是电荷耦合器件的缩写)。
131.现在关于计算机12，它至少包括处理器和电子存储器。这里，计算机12包括：
132.‑
处理模块13，配置为接收由预处理模块11传送的各种图像信号si1、si2，并处理这些信号以产生红外图像31和彩色图像35，以及
133.‑
控制模块14，用于控制图像捕获设备1的各种曝光参数，并用于命令图像传感器9和预处理模块11进行上述一个或多个系列的拍摄。
134.二、图像捕获方法
135.计算机12可被编程为，使得图像捕获设备1实现分别对应于图6、图7和图8的根据第一、第二或第三实施例的图像捕获方法。这些图中的每个示出了在图像捕获方法期间由计算机12执行的主要步骤。
136.如上所述，无论所讨论的实施例是什么，该方法具体包括：
137.‑
至少包括上述第一和第二拍摄的一系列拍摄，这些拍摄分别适合红外环境亮度和可见环境亮度，以及
138.‑
基于在这些第一和第二拍摄中获得的图像信号si1、si2，合成红外图像31和彩色图像35。
139.首先将描述进行这一系列拍摄的方式。然后，在介绍在这些拍摄中控制曝光参数的方式之前，描述红外图像31和彩色图像35的合成。
140.一系列拍摄
141.在第一和第三实施例(图6和8)中，计算机12命令图像传感器9和预处理模块11以两个拍摄的系列进行拍摄，每个系列包括上述第一和第二拍摄。
142.计算机12命令上述步骤b1)和c1)中的第一拍摄。除了获取由光敏像素21、21’产生的像素信号sp1之外，该第一拍摄还包括将这些像素信号sp1乘以第一增益值g1，然后将它们转换成数字格式，以获得数字第一图像信号si1(其整理所有放大或衰减的像素信号，然后转换成数字格式)。
143.以同样的方式，计算机12在步骤b2)和c2)中命令第二拍摄。该第二拍摄使得可以在乘以第二增益值g2并转换成数字格式之后获得第二图像信号si2，其整理在第二图像捕获中产生的所有像素信号sp2。
144.在第二实施例中(图7)，计算机12命令图像传感器9和预处理模块11进行拍摄四个拍摄的系列，每个系列包括上述第一和第二拍摄，以及第三和第四拍摄。
145.计算机12命令以下步骤中的第三拍摄，步骤b3)和c3)：
146.b3)命令图像传感器9执行第三图像捕获，在此期间，第一和第二光敏像素21、21’中的每个传送代表其产生的电荷或电压的像素信号sp3，该电荷或电压已经在第三积分时间ti3期间由光敏像素21、21’累积，并且
147.c3)命令预处理模块将步骤b3)中产生的每个像素信号sp3乘以第三增益值g3，然后将这些(放大或衰减的)像素信号转换成数字格式，以获得数字第三图像信号si3。
148.第三拍摄是用与第一拍摄所用的曝光参数不同且互补的一组曝光参数进行的。具体地，进行该第三拍摄的目的是将第三图像信号si3与第一图像信号si1组合，以便增加红外图像31的亮度值的动态范围，从而不仅确保该图像的最暗区域没有曝光不足，而且确保该图像的最亮区域没有曝光过度。
149.在本例中，第三曝光时间ti3和第三增益值g3使得对应于第三拍摄的有效曝光时间的乘积ti3.g3(第三积分时间ti3乘以第三增益值g3的乘积)不同于乘积ti1.g1(第一积分时间ti1乘以第一增益值g1的乘积)。
150.比较而言，计算机12命令以下步骤中的第四拍摄，步骤b4)和c4)：
151.b4)命令图像传感器9执行第四图像捕获，在此期间，第一和第二光敏像素21、21’中的每个传送代表其产生的电荷或电压的像素信号sp4，该电荷或电压已经在第四积分时间ti4期间由光敏像素21、21’累积，并且
152.c4)命令预处理模块将步骤b4)中产生的每个像素信号sp4乘以第四增益值g4，然后将这些(放大或衰减的)像素信号转换成数字格式，以获得数字第四图像信号si4。
153.第四拍摄是用与第二拍摄所用的曝光参数不同且互补的一组曝光参数进行的。具体地，进行该第四拍摄的目的是将第四图像信号si4与第二图像信号si2组合，以增加彩色图像35的亮度值的动态范围，并且不仅确保该图像的最暗区域没有曝光不足，而且确保该图像的最亮区域没有曝光过度。更准确地说，第四曝光时间ti4和第四增益值g4使得乘积ti4.g4(第四积分时间ti4乘以第四增益值g4的乘积)不同于乘积ti2.g2(第二积分时间ti2乘以第二增益值g2的乘积)。
154.在每个图像信号si1、si2、si3、si4内，(数值)亮度值与图像传感器9的每个光敏像素21、21’相关，该值代表由该光敏像素捕获的电磁辐射部分的功率，即在相应图像捕获中采用的曝光时间ti1、ti2、ti3、ti4期间累积的部分。
155.关于图中所示的三个实施例，在每个图像捕获(无论是第一、第二、第三还是第四的讨论)中，第一光敏像素21和第二光敏像素21’在相同的积分时间ti1、ti2、ti3、ti4期间(在对应于所讨论的图像捕获的积分时间期间)累积它们产生的电荷或电压，然后传送上述像素信号。
156.然而在其他实施例中可以规定，通过所有图像传感器9的单次曝光来执行第一图像捕获和第二图像捕获，在该曝光期间，第一光敏像素21将累积它们在等于第一积分时间ti1的时间期间产生的电荷或电压，同时并行地，第二光敏像素21’将累积它们在等于第二积分时间ti2的时间内产生的电荷或电压(即使用与单次拍摄hdr技术相当的单次图像捕获的双曝光技术)。
157.在任何情况下，当在一系列拍摄中的各种图像捕获是在不同的连续时间进行时，这些时间优选地彼此接近，例如成对间隔小于0.3秒，或者甚至小于0.1秒。这允许获得的红外图像31和彩色图像35都对应于驾驶员的相同情况和姿态，即使在驾驶员运动的情况下。
158.红外图像和彩色图像的合成
159.在这里描述的三个实施例中，红外图像31由与图像传感器9的各种光敏像素21、21’相关的图像像素33(图5)的矩阵阵列形成。计算机12被编程为实现插值算法，该算法使得可以在图像传感器9中形成“完整的”红外图像31，即使四个光敏像素21中只有一个捕获红外辐射。换句话说，红外图像31在这里包括与图像传感器9包括感光像素一样多的图像像素33，第一和第二感光像素21、21’合在一起。
160.在步骤d1)中，计算机12合成红外图像31，特别是根据亮度值，该亮度值在第一图像信号si1中与第一光敏像素21相关。对于红外图像31的每个图像像素33，计算机根据与第一光敏像素21相关的图像信号si1的亮度值来确定(插值的)亮度值，第一光敏像素21在图像传感器9中最接近在该传感器中对应于所讨论的图像像素33的位置。
161.彩色图像35也由与图像传感器9的各种光敏像素21、21’相关的图像像素矩阵阵列(图5中未示出)形成。正如对于红外图像，计算机12在这里被编程为实现插值算法，该插值算法使得可以形成“完整的”彩色图像35，即使四个光敏像素中只有一个21捕获位于上述红色或绿色或蓝色通带中的辐射。换句话说，这里的彩色图像包括与图像传感器9包括光敏像素一样多的图像像素，包括第一和第二光敏像素21、21’。
162.如这里一样，彩色图像35可以包括三个单色通道，即红色通道37、绿色通道39和蓝色通道41。这些通道中的每个都是与所讨论的通道的颜色相关的灰度图像(所讨论的通道的每个图像像素具有亮度值，但没有色调或色度值)，并且具有与彩色图像35相同的尺寸(即包括相同数量的图像像素)。
163.在步骤d2)中，计算机12：
164.‑
从亮度值合成彩色图像35的红色通道37，该亮度值在第二图像信号si2中与位于面向红色滤光器172的第二光敏像素21’相关，
165.‑
从第二图像信号si2的亮度值合成该图像的绿色通道39，该亮度值与位于面向绿色滤光器173的第二光敏像素21’相关，以及
166.‑
从第二图像信号si2的亮度值合成该图像的蓝色通道41，该亮度值与位于面向蓝色滤光器174的第二光敏像素21’相关。
167.为了生成彩色图像35，计算机12可以例如对每个图像像素进行红色通道37、绿色通道39和蓝色通道41的亮度值的组合，以便为所讨论的“彩色”图像像素获得：
168.‑
可见范围的总亮度值(例如等于不同通道亮度的平均值)，以及
169.‑
两个互补的色度值，代表在图像传感器9的所讨论的点处捕获的光的色度特性。
170.在其他实施例中，红外图像和/或彩色图像可以对应于原始图像，即没有插值获得的图像。在这种情况下，例如，红外图像的图像像素的数量将等于所述第一光敏像素的数量，而不是等于图像传感器的光敏像素的总数。
171.在第一实施例(图6)中，在步骤d1)中，计算机12基于第一图像信号si1合成红外图像31，而不考虑第二图像信号si2或任何其他图像信号。此外，在步骤d2)中，计算机12仅基于图像信号si2合成彩色图像35，而不考虑第一图像信号si1或任何其他图像信号。
172.在第二和第三实施例中，计算机还实现hdr成像技术。
173.在本例中，在第二实施例(图7)中，在步骤d1)中，计算机12在考虑以下两者的情况下合成红外图像31：
174.‑
在第一图像信号si1中与第一光敏像素21相关的亮度值，以及
175.‑
在第三图像信号si3中与第一光敏像素21相关的亮度值。
176.第一图像信号si1(对应于第一积分时间ti1)的亮度值与第三图像信号si3(对应于第三积分时间ti3)的亮度值相结合，从而最终，红外图像31的亮度值的动态范围高于单次拍摄可能的动态范围。
177.举例来说，这里认为第三拍摄对应于比第一拍摄使用的有效曝光时间更短的有效曝光时间，允许获得图像的高亮度区域的适当曝光(而第一拍摄对应于中等有效曝光，允许获得图像的中等和低亮度区域的适当曝光)。换句话说，有效曝光时间ti3.g3在这里被认为比有效曝光时间ti1.g1短(因此，在增益值g1和g3相等的情况下，第三积分时间ti3比第一积分时间ti1短)。
178.在第三图像信号si3的亮度值与第一图像信号si1的亮度值组合之前，对这些亮度值进行缩放，即使其具有可比性，以便考虑第一和第三拍摄之间的曝光时间差异。为此，第三图像信号si3的每个亮度值可以例如乘以等于(ti1.gi1)/(ti3.gi3)的第一缩放系数(即等于第一积分时间ti1乘以第一增益值g1的乘积除以第三积分时间ti3乘以第三增益值g3的乘积)，以便获得缩放的第三图像信号si3’。
179.计算机12然后可以，例如：
180.‑
如上所述(在与红外图像和彩色图像的合成相关的部分的开始处)，基于第一图像信号si1合成第一版本的红外图像31’，
181.‑
以同样的方式，基于缩放的第三图像信号si3’合成第二版本的红外图像31”,以及
182.‑
融合红外图像31’、31”的第一和第二版本，以获得红外图像31的最终版本。
183.这种融合例如可以通过逐个图像像素地计算红外图像的第一版本31’和第二版本31”之间的平均值来实现。
184.也可以通过为红外图像31的每个图像像素33分配亮度值来执行这种融合：
185.‑
当第一版本的红外图像31’的相应图像像素33’(即位于给定位置的图像像素)的亮度值低于给定的亮度阈值时，等于后者的亮度值，以及
186.‑
否则等于红外图像31”的第二版本的相应图像像素33”的亮度值。
187.该亮度阈值可以例如略低于对应于红外图像31’的第一版本中的过饱和度(过曝光像素)的亮度值。它可以例如包括在该过饱和度值的一半和该过饱和度值之间(当红外图像的第一版本的图像像素的亮度值由编码在8位上的整数表示时，该过饱和度值例如等于255)。
188.对于最终获得的红外图像31，第一和第二版本的红外图像的融合不仅防止了该图像的暗区域和中等亮度区域曝光不足(即这些区域不饱和，即亮度值等于0)，而且防止了该图像的最亮区域曝光过度(即过度饱和)。
189.可以设想组合第一和第三图像信号si1和si3以获得红外图像31的不同方式，特别是如果第三拍摄对应于比第一拍摄的有效曝光时间ti1.g1长(而不是比后者短)的有效曝
光时间ti3.g3。
190.在该第二实施例中，在步骤d2)中，计算机12考虑以下两者来合成彩色图像35：
191.‑
在第二图像信号si2中与第二光敏像素21’相关的亮度值，以及
192.‑
在第四图像信号si4中与第二光敏像素21’相关的亮度值。
193.彩色图像35是通过使用hdr成像技术组合第二和第四图像信号si2、si4而获得的，该成像技术类似于上面关于步骤d1给出的技术。
194.举例来说，彩色图像35的红色通道37可以与上述关于红外图像31的方式相同的方式获得，但基于在图像信号si2和si4中对应于红色滤光器172的亮度值，而不是基于在图像信号si1和si3中对应于在红外中透射的第一滤光器171的亮度值。此外，同样地，彩色图像35的绿色通道39和蓝色通道41可以与红外图像31相同的方式获得，但基于在图像信号si2和si4中分别对应于绿色和蓝色滤光器173、174的亮度值，而不是基于在图像信号si1和si3中对应于第一滤光器171的亮度值。
195.在第三实施例(图8)中，直接基于第一和第二图像信号si1和si2，通过实施hdr成像技术获得红外图像31和彩色图像35，这里不考虑任何其他图像信号。
196.该第三实施例利用的事实在于，第一和第二拍摄通常以不同的有效曝光时间ti1.gi1和ti2.gi2进行，因为可见范围内的环境亮度通常不同于红外范围内的环境亮度。
197.在这两个拍摄之后，计算机12因此具有两个图像信号si1和si2，它们在这里都包括由“红外”第一光敏像素21获取的亮度值，并且它们是用两个通常不同的有效曝光时间获得的。因此，两个图像信号si1和si2一起允许红外图像31合成为使得它具有关于亮度值的高动态范围，而不需要进行额外拍摄。此外，这两个图像信号同样允许彩色图像35合成为使得它具有关于亮度值的高动态范围，而不需要进行额外拍摄。
198.在该第三实施例中，红外图像31例如如以上关于第二实施例描述的那样合成，但基于第一和第二图像信号si1和si2，而不是基于第一和第三图像信号si1和si3。因此，在与第一图像信号组合之前，第二图像信号si2例如乘以量(ti1.g1)/(ti2.g2)，以便使其亮度值与第一图像信号si1的亮度值相当。
199.此外，彩色图像35例如如以上关于第二实施例所述那样合成，但基于第二和第一图像信号si2和si1，而不是基于第二和第四图像信号si2和si4。
200.曝光参数的控制
201.如已经指出，无论所讨论的实施例是什么，计算机12根据在步骤a1)中确定的红外范围内的环境亮度来确定在步骤b1)和c1)中采用的第一曝光时间ti1和/或第一增益值g1。计算机12还根据在步骤a2)中确定的可见范围内的环境亮度来确定第二曝光时间ti2和/或第二增益值g2。
202.下面首先给出确定红外范围和可见范围内的环境亮度的方法，然后描述确定曝光参数的方法。
203.确定红外范围和可见范围内的环境亮度：步骤a1)和a2)。
204.红外范围内的环境亮度代表来自图像捕获设备1的环境的红外电磁辐射的功率，在本例中来自该设备的视场15，并由亮度传感器接收。在这里描述的三个实施例中，该亮度传感器是图像传感器9。
205.同样，可见范围内的环境亮度代表来自图像捕获设备1的环境的可见电磁辐射的
功率，在本例中来自该设备的视场15，并且由亮度传感器接收，该亮度传感器再次采用图像传感器9的形式。
206.在这里描述的三个实施例中，在步骤a1)中，从在步骤d1)的先前执行中产生的红外图像31中确定红外范围中的环境亮度，因此对应于图像传感器9先前进行的第一拍摄。
207.在本例中，计算机12根据图像捕获设备1先前获取的该红外图像31的至少一些图像像素33的亮度值，例如通过计算这些图像像素33的亮度值的平均值，来确定红外范围内的环境亮度。然后，红外范围内的环境亮度代表该红外图像31中的平均亮度水平，该水平被称为第一亮度水平，并在下面表示为l
ir
。
208.所讨论的平均值可以是红外图像31的所有图像像素33的平均值，或者仅是这些图像像素中的某些的平均值，这些图像像素位于图像的感兴趣区域中，例如对应于驾驶员3的面部图像的区域。
209.此外，可以规定该平均值仅考虑那些满足给定标准的图像像素的亮度值，例如低于亮度阈值的那些。该阈值例如可以等于上述亮度阈值(在第一和第三图像信号si1和si3的组合中采用的阈值)。第一亮度水平l
ir
则代表红外图像31的低亮度区域和中等亮度区域的平均亮度。后一种情况特别适合于第二实施例，因为在上面考虑的情况下(ti3.g3<ti1.g1)，第一拍摄旨在获得适合于暗区域和中等亮度区域的曝光。
210.关于可见范围内的环境亮度，在步骤a2)中，根据在步骤d2)的先前执行中产生的彩色图像35来确定，因此对应于图像传感器9先前进行的第二拍摄。
211.计算机12根据图像捕获设备1先前获取的该彩色图像31的至少一些图像像素的亮度值，例如通过计算该图像的图像像素的亮度值的平均值，来确定可见范围内的该环境亮度。红外范围内的环境亮度则代表先前获取的彩色图像35中的平均亮度水平，该水平被称为第二亮度水平，并在下面表示为l
v
。就像第一亮度水平l
ir
一样，可以规定所讨论的平均值是彩色图像的所有图像像素或仅是这些图像像素中的某些，和/或该平均值仅考虑满足给定标准的图像像素的那些亮度值。
212.现在将介绍基于这些第一和第二亮度水平l
ir
和l
v
执行的曝光参数的控制。
213.为了描述的简单起见，计算器12在这里被认为分别根据红外范围内的环境亮度l
ir
和可见范围内的环境亮度l
v
来确定或者换句话说调整第一曝光时间ti1和第二曝光时间ti2，而第一和第二增益值g1和g2被设定，并且例如彼此相等。然而，应当理解，计算机可被比较地编程为根据前述亮度水平确定(调整)第一和第二增益值g1和g2，同时保持第一和第二积分时间ti1和ti2恒定(例如在足够低的值下，即使在驾驶员3的头移动的情况下，所获得的图像也保持清晰)。该计算机还可被编程为根据前述亮度水平确定这些增益值和这些曝光时间，该亮度水平取决于前述环境亮度。
214.在这里描述的三个实施例中，计算机12确定在第一拍摄中采用的第一积分时间ti1，这取决于以下之间的差值ε1：
215.‑
一方面，中等亮度的第一目标值l
ir,o
，和
216.‑
另一方面，在步骤d1)的先前执行中产生的红外图像31中的平均第一亮度水平l
ir
。
217.更准确地说，计算机基于第一差值ε1校正或者换句话说更新第一积分时间ti1。进行该校正，以便在所有步骤a1)、b1)、c1)和d1)的重复过程中，逐渐使第一亮度水平l
ir
达到
第一目标值l
ir,o
。该校正可以包括例如将校正项添加到第一积分时间ti1的先前值，该校正项与第一差值ε1成比例(比例校正)。更一般地，该校正在于自动控制第一亮度水平l
ir
到第一目标值l
v,o
。该自动控制尤其可以是比例、比例积分或比例积分微分(pid)。这种曝光条件的自动控制在专业文献中有时被称为自动曝光控制(aec)。
218.第一目标值l
ir,o
可以对应于被认为被适当曝光的图像中的平均亮度，第一目标值例如包括在从可能与图像像素相关的最大亮度值的四分之一到四分之三的给定间隔中。
219.关于在第二拍摄中采用的第二积分时间ti2，这里根据以下两者之间的第二差值ε2来确定：
220.‑
一方面，中等亮度的第二目标值l
v,o
(例如等于第一目标值l
ir,o
)，和
221.‑
另一方面，在步骤d2)的先前执行中产生的彩色图像35中的平均第二亮度水平l
v
。
222.根据第二差值ε2确定第二积分时间ti2的方式和根据第一差值ε1确定第一积分时间ti1的方式(为了使这些差值为零)在这里是相同的。
223.在第二实施例的情况下(图7)，计算机12还确定第三和第四积分时间ti3和ti4以及在第三和第四拍摄中采用的第三和第四增益值g3和g4。
224.如上所述，为了描述的简单起见，这里考虑计算机12根据图像捕获设备1的环境中的亮度条件或根据其他拍摄条件来调整第三和第四曝光时间ti3和ti4，而第三和第四增益值g3和g4被设定(例如彼此相等，并且可能等于增益值g1和g2)。然而，应当理解，计算机也可被编程为根据这些亮度或拍摄条件来确定(调整)第三和第四增益值g3和g4，或者根据所讨论的条件来确定曝光时间ti3和ti4以及增益值g3和g4。
225.第三积分时间ti3可以由计算机12根据第一积分时间ti1来确定，例如以便等于第一积分时间ti1乘以常数系数的乘积。如果第三拍摄旨在获得高亮度区域的非过度曝光，则系数将被选择为低于1，例如等于十分之一或四分之一(第三积分时间ti3则等于第一积分时间ti1的一部分)。第四积分时间ti4可以根据第二积分时间ti2来确定，以同样的方式，通过将第二积分时间ti2乘以常数系数。
226.作为变型，还可以规定通过自动控制(自动曝光控制)来确定第三积分时间ti3，如上所述，以便使红外图像31”的第二版本或红外图像31的最终版本的特定亮度水平达到给定的特定亮度值。该特定亮度水平例如等于在步骤d1)的先前执行中获得的红外图像31的图像像素33的亮度值的平均值。这里，该平均值考虑了：
227.‑
当第三拍摄旨在获得红外图像的低亮度区域的合适非曝光不足的曝光时，只有低于低亮度阈值的亮度值(上述特定亮度水平代表该图像的低亮度区域的平均亮度)，或者
228.‑
当第三拍摄旨在获得红外图像的高亮度区域的合适非过度曝光的曝光时，只有高于高亮度阈值的亮度值(特定亮度水平则代表该图像的高亮度区域的平均亮度)。
229.第四积分时间ti4可以通过自动控制以与第三积分时间ti3相当的方式确定，以便使彩色图像35的特定亮度水平达到特定亮度值(该特定亮度水平例如代表彩色图像35的高亮度区域的平均亮度)。
230.最后，如图6至8所示，在这三个实施例中，包括步骤b1)、b2)、c1)、c2)、d1)、d2)和可能的b3)、c3)、b4)和c4)(在第二实施例中)的一组步骤被连续执行多次。步骤a1)本身也连续执行多次(每次基于步骤d1)的先前执行结果)，以便根据红外中的环境亮度连续更新
第一曝光时间和/或第一增益值。步骤a2)本身也连续执行多次(每次基于步骤d2)的先前执行结果)，以便根据可见中的环境亮度连续更新第二曝光时间和/或第二增益值。
231.三、用于监控驾驶员的监控系统
232.监控系统2的电子处理单元20被编程为基于由图像捕获设备1产生的红外图像31中的至少一个来确定驾驶员3不能驾驶的程度i
l
。不能驾驶的程度i
l
包括例如驾驶员3的困倦程度和/或驾驶员3的分心程度(不能驾驶的程度i
l
尤其可以是驾驶员3的困倦程度或所述驾驶员的分心程度)。
233.处理单元20可例如被编程为分析所讨论的红外图像31，或者由图像捕获设备1产生的红外图像31的序列，以便识别驾驶员3的面部和/或驾驶员3的面部的某些区域，特别是对应于驾驶员3的眼睛的红外图像31的区域。然后，处理单元20可以通过测量驾驶员3眨眼的持续时间和/或频率来确定驾驶员3的困倦程度，这将在红外图像31中预先识别。
234.处理单元20可以基于从红外图像31推断出的驾驶员3的头部姿势，并且基于该姿势随时间的变化，来确定驾驶员3的注意力分散程度。
235.处理单元20还可以评估(通过分析红外图像31或红外图像31的序列)驾驶员3的注视方向或该注视方向随时间的变化，并使用该注视方向或其变化来确定驾驶员的分心程度和/或困倦程度。
236.处理单元20还可以评估(通过对红外图像31或红外图像31序列的分析)驾驶员3的至少一只眼睛的瞳孔直径(以及具体地该直径的变化)，并使用它来确定驾驶员的注意力分散程度和/或困倦程度。
237.当确定驾驶员不能驾驶的程度i
l
时，处理单元20可被编程为也考虑由图像捕获设备1传送的一个或多个彩色图像35。
238.彩色图像35可以用于其他应用。
239.计算机12可以例如将彩色图像35或彩色图像35的序列传输到车辆5的电信模块43。该电信模块43配置成将彩色图像35或接收到的彩色图像35序列发送到远程电子设备，例如多功能移动设备或计算机，例如通过wi
‑
fi发射器。然后，彩色图像35或彩色图像35的序列可以用于电话会议的环境中，例如视频会议。
240.计算机12还可以将彩色图像35或彩色图像35的序列传输到车辆5的存储器中，以便存储在其中。
241.各种变型可以在上述图像捕获设备或驾驶员监控系统中实现。
242.例如，由图像传感器的第二光敏像素产生的像素信号合成的第二图像可以是单色图像而不是彩色图像。此外，滤光器阵列的第二滤光器元件可以全部是相同类型的(例如全部是绿色滤光器元件)，而不是包括三种不同类型的滤光器(分别是红色、绿色和蓝色)。
243.此外，计算机的各种功能可以不同地分布在模块之间。可以使用更多数量的模块，或者相反，同一个模块可以执行由计算机执行并在上面描述的所有操作。应当注意，术语模块可以表示电子电路，或者与其他模块分离的电子电路的一部分，或者存储在计算机存储器中的特定指令组。此外，预处理模块可以直接集成到图像传感器中。
244.计算机也可以被编程为使得由图像传感器进行的一系列拍摄包含与上述不同的多个拍摄，例如使得该系列包含3个拍摄而不是2个或4个。在这种情况下，三个拍摄的系列将包含上述第一和第二拍摄以及一个额外拍摄，允许增加最终获得的红外图像和/或彩色
图像的亮度值的动态范围。