状态检测装置、状态检测系统及状态检测方法与流程

1.本发明涉及一种状态检测装置、状态检测系统及状态检测方法。


背景技术：

2.传统上，已经开发了一种疲劳驾驶预防装置，该疲劳驾驶预防装置根据通过对驾驶员成像而获得的图像来确定驾驶员是否正在瞌睡，并且在驾驶员正在瞌睡的情况下向驾驶员发出警告以预防疲劳驾驶。
3.现有技术文献
4.专利文献
5.专利文献1：日本专利申请公开号10
‑
86696


技术实现要素：

6.本发明要解决的问题
7.在通常的疲劳驾驶预防装置中，通过分析以规定的帧率从相机读取的图像数据来确定驾驶员是否瞌睡。因此，检测驾驶员状态所需的数据处理量较大，难以快速确定驾驶员是否正在打瞌睡。
8.因此，本公开提出了能够更快速地检测驾驶员状态的状态检测装置、状态检测系统和状态检测方法。
9.问题的解决方案
10.为了解决上述问题，根据本公开的实施例的状态检测装置设置有：第一固态成像装置，设置有以矩阵布置的多个像素，该第一固态成像装置根据入射在每个像素上的光量来检测像素中的事件的发生；以及状态检测单元，基于第一固态成像装置检测到的事件的发生来检测驾驶员的状态。
附图说明
11.图1是示出根据第一实施例的状态检测装置(系统)的示意性配置示例的框图。
12.图2是示出根据第一实施例的dvs的功能性配置示例的框图。
13.图3是示出根据第一实施例的单位像素的示意性配置示例的电路图。
14.图4是示出第一实施例中的寻址事件检测单元的示意性配置示例的框图。
15.图5是示出根据第一实施例的电流电压转换单元的另一示例的电路图。
16.图6是示出根据第一实施例的减法器和量化器的示意性配置示例的电路图。
17.图7是示出作为根据第一实施例的移动体控制系统的示例的车辆控制系统的示意性配置示例的框图。
18.图8是示出根据第一实施例的状态检测装置(系统)的另一示意性配置示例的框图。
19.图9是示出根据第一实施例的成像单元相对于车辆的安装位置的示例的视图。
20.图10是示出根据第一实施例的驾驶员状态检测单元相对于车辆的安装位置的示例的视图。
21.图11是用于说明根据第一实施例的驾驶员状态检测单元的视角的图。
22.图12是示出由根据第一实施例的状态检测装置执行的状态检测操作的示例的流程图。
23.图13是示出当眨眼时眼睑的运动的视图。
24.图14是示出清醒水平与眼睑状态(睁开量)之间的关系的图。
25.图15是示出驾驶员的视线朝向电子镜的方向的情况的图。
26.图16是示出驾驶员的视线不在电子镜的方向上的情况的图。
27.图17是示出由根据第二实施例的状态检测装置执行的状态检测操作的示例的流程图。
28.图18是示出由根据第二实施例的变型的状态检测装置执行的状态检测操作的示例的流程图。
具体实施方式
29.在下文中，参考附图详细描述本公开的实施例。注意，在以下实施例中，相同的部分用相同的附图标记表示，并且不再重复其描述。
30.此外，根据以下项目顺序描述本公开。
31.1.第一实施例
32.1.1 状态检测装置(或系统)的配置示例
33.1.2 dvs的配置示例
34.1.3 单位像素的配置示例
35.1.4 寻址事件检测单元的配置示例
36.1.4.1 电流电压转换单元的配置示例
37.1.4.2 减法器和量化器的配置示例
38.1.5 移动体的应用示例
39.1.6 成像单元的布置示例
40.1.7 驾驶员状态检测单元(dvs)的布置示例
41.1.8 状态检测操作示例
42.1.9 作用和效果
43.2.第二实施例
44.2.1 状态检测操作示例
45.2.2 作用和效果
46.2.3 变型
47.1.第一实施例
48.首先，参照附图详细描述第一实施例。
49.1.1状态检测装置(或系统)的配置示例
50.图1是示出根据第一实施例的状态检测装置(或状态检测系统，以下，被称为状态检测装置)的示意性配置示例的框图。如图1所示，状态检测装置1例如设置有成像透镜11、
动态视觉传感器(dvs)(第一固态成像装置)200、运动检测单元12、成像透镜13、图像传感器(第二固态成像装置)14、对象检测单元15、运动矢量估计单元16、动作模式确定单元17、存储单元18和接口(i/f)单元19。
51.dvs 200是用于检测驾驶员的状态的传感器，并且是异步图像传感器，其中检测电路实时地检测超过阈值的光接收量作为为每个像素提供的地址事件。
52.在通常的dvs中，采用所谓的事件驱动的驱动系统，在该驱动系统中检测每个单位像素是否发生地址事件，并且在检测到发生地址事件的情况下，从发生地址事件的单位像素读取像素信号。
53.此外，由于在通用的dvs中，对检测到发生地址事件的单位像素执行读取操作，所以与对所有单位像素执行读取操作的同步图像传感器相比，这具有可以以非常高的速度执行读取的特性，并且作为一帧的数据量小。
54.因此，通过使用dvs 200作为用于检测驾驶员的状态的传感器，可以更快速地检测驾驶员的状态。还可以通过在检测状态时减少数据量来降低功耗。
55.注意，本说明书中的单位像素是包括光电转换元件(也被称为光接收元件)的像素的最小单位，并且例如与从图像传感器读取的图像数据中的每个点相对应。此外，地址事件是在分配给以二维点阵模式排列的多个单位像素中的每一个的每个地址中发生的事件，例如，基于在光电转换元件中产生的电荷或其变化量的电流(下文中被称为光电流)的电流值超过某一阈值的事件。
56.在该实施例中，dvs 200基于入射光的量来检测地址事件的发生，并生成用于指定检测到地址事件发生的单位像素的地址信息作为事件检测数据。事件检测数据可以包括时间信息(诸如指示检测到地址事件发生的定时的时间戳)。此外，将生成的事件检测数据输入到运动检测单元12和对象检测单元15。
57.相反，图像传感器14可以是能够获得图像数据的各种图像传感器，例如电荷耦合器件(ccd)图像传感器和互补金属氧化物半导体(cmos)图像传感器。由图像传感器14获得的图像数据输入到运动检测单元12和对象检测单元15。
58.注意，dvs 200和图像传感器14可以在相同的方向上彼此邻近地布置，例如以便以基本上相同的视角成像。
59.成像透镜11是会聚入射光并在dvs 200的光接收表面上形成其图像的光学系统的示例。光接收表面可以是光电转换元件布置在dvs 200中的表面。
60.与成像透镜11的情况一样，成像透镜13是会聚入射光并在图像传感器14的光接收表面上形成其图像的光学系统的示例。光接收表面可以是光电转换元件布置在图像传感器14中的表面。
61.运动检测单元12例如基于从dvs 200输入的事件检测数据来检测存在于dvs 200的视角中的对象的运动。例如，运动检测单元12基于在预定时段内输入的事件检测数据来创建一帧数据，并且由所创建的帧数据来检测帧中的区域的运动。此时，运动检测单元12可以使用从图像传感器14输入的图像数据来检查所检测到的运动是对象的运动还是错误检测等。运动检测的结果例如输入到对象检测单元15和运动矢量估计单元16。注意，运动检测单元12由事件检测数据生成帧数据的周期可以与图像传感器14获得图像数据的周期(帧速率)相同或比更短。
62.对象检测单元15例如基于从dvs 200输入的事件检测数据来检测由运动检测单元12检测到其运动的对象。例如，对象检测单元15基于在预定时段内输入的事件检测数据来创建一帧数据，并且由所创建的帧数据来检测一帧中的对象。此时，对象检测单元15可以通过将从dvs 200输入的事件检测数据和从图像传感器14输入的图像数据进行组合来检测对象。对象检测的结果输入到例如运动矢量估计单元16和动作模式确定单元17。注意，对象检测单元15从事件检测数据生成帧数据的周期例如可以与运动检测单元12从事件检测数据生成帧数据的周期相同或不同。例如，对象检测单元15可以以与图像传感器14获得图像数据的帧速率相同的周期生成帧数据。
63.运动矢量估计单元16例如基于由对象检测单元15检测到的由对象的运动检测单元12检测到的运动来估计对象的运动矢量。在估计对象的运动矢量时，可以使用从帧之间的区域的运动量估计运动矢量的一般方法。在下文中，为了简化描述，“估计对象的运动矢量”被称为“检测对象的运动”。例如，将所估计的运动矢量输入到动作模式确定单元17。
64.动作模式确定单元17例如基于通过运动矢量估计单元16估计出的对象的运动来确定装置的动作模式(诸如安装有状态检测系统1的车辆)。
65.存储单元18存储动作模式确定单元17确定动作模式所需的各种程序和数据。
66.i/f单元19例如是用于经由总线等向外部发送数据和从外部接收数据的接口。
67.在上述配置中，运动检测单元12、对象检测单元15和运动矢量估计单元16用作检测人或对象(诸如驾驶员)的状态的状态检测单元。
68.使用预先存储在存储器等中的学习模型的机器学习可以用于运动检测单元12的运动检测、对象检测单元15的对象检测、运动矢量估计单元16的运动矢量估计、以及动作模式确定单元17的动作模式确定。然而，并没有限制；例如，在由对象检测单元15进行的对象检测中，可以使用用于从事件检测数据或图像数据提取的特征点与预先存储在储存器中的特征点之间的匹配来确定对象的模式匹配的技术。
69.1.2dvs的配置示例
70.随后，参照附图详细描述dvs 200的配置示例。图2是示出根据第一实施例的dvs的功能性配置示例的框图。如图2所示，dvs 200设置有驱动电路211、信号处理单元212、仲裁器213和像素阵列单元300。
71.在像素阵列单元300中，多个单位像素排列成二维点阵图案。如稍后详细描述的，单位像素包括：诸如光电二极管的光电转换元件、和像素电路(在该实施例中，于后面描述的地址事件检测单元400相对应)，该像素电路基于在光电转换元件中产生的电荷的光电流的电流值或其变化量是否超过预定阈值来检测是否发生地址事件。这里，像素电路可以由多个光电转换元件共享。在这种情况下，每个单位像素包括一个光电转换元件和共享的像素电路。
72.可以将像素阵列单元300的多个单位像素分组成多个像素块，每个像素块包括预定数量的单位像素。在下文中，沿水平方向排列的一组单位像素或像素块被称为“行”，沿垂直于行的方向排列的一组单位像素或像素块被称为“列”。
73.当在像素电路中检测到地址事件的发生时，每个单位像素将针对从单位像素读取信号的请求输出到仲裁器213。
74.仲裁器213仲裁来自一个或多个单位像素的请求，并基于仲裁的结果向发出请求
的单位像素发送预定响应。接收到该响应的单位像素向驱动电路211和信号处理单元212输出指示地址事件发生的检测信号。
75.驱动电路211按顺序地驱动输出检测信号的单位像素，从而允许检测到地址事件发生的单位像素将根据光接收量的信号输出到例如信号处理单元212。注意，dvs 200可以配备有模数转换器，以用于将从稍后描述的光电转换元件333读取的信号根据其电荷量(例如，针对每个单位像素或多个单位像素，或每列)转换为数字值的信号。
76.信号处理单元212对从单位像素输入的信号执行预定信号处理，并将信号处理的结果作为事件检测数据经由信号线209提供给数据处理单元120。注意，如上所述，事件检测数据可以包括检测到地址事件发生的单位像素的地址信息、以及诸如指示地址事件发生的定时的时间戳的时间信息。
77.1.3单位像素的配置示例
78.接着，说明单位像素310的配置示例。图3是示出根据第一实施例的单位像素的示意性配置示例的电路图。如图3所示，单位像素310设置有例如光接收单元330和地址事件检测单元400。注意，图3中的逻辑电路210例如可以是包括图2中的驱动电路211、信号处理单元212和仲裁器213的逻辑电路。
79.光接收单元330设置有诸如光电二极管的光电转换元件333，并且该光电转换元件333的输出连接到地址事件检测单元400。
80.地址事件检测单元400例如设置有电流电压转换单元410和减法器430。然而，除此之外，地址事件检测单元400还设置有缓冲器、量化器和传送单元。后面将参照图5等详细描述地址事件检测单元400。
81.在这样的配置中，光接收单元330的光电转换元件333对入射光进行光电转换以产生电荷。在光电转换元件333中产生的电荷输入到地址事件检测单元400以作为根据电荷量的电流值的光电流。
82.1.4地址事件检测单元的配置示例
83.图4是示出第一实施例中的地址事件检测单元的示意性配置示例的框图。如图4所示，地址事件检测单元400除了图3所示的电流电压转换单元410、减法器430和量化器440之外，还设置有缓冲器420和传送单元450。
84.电流电压转换单元410将来自光接收单元330的光电流转换为其对数的电压信号，并将由此产生的电压信号输出到缓冲器420。
85.缓冲器420校正来自电流电压转换单元410的电压信号，并将校正后的电压信号输出到减法器430。
86.减法器430根据来自驱动电路211的行驱动信号降低来自缓冲器420的电压信号的电压电平，并将降低后的电压信号输出到量化器440。
87.量化器440将来自减法器430的电压信号量化为数字信号，并将由此产生的数字信号作为检测信号输出至传送单元450。
88.传送单元450将检测信号从量化器440传送到信号处理单元212等。例如，当检测到地址事件的发生时，传送单元450向仲裁器213输出请求将地址事件的检测信号从传送单元450传送到驱动电路211和信号处理单元212的请求。然后，在接收到来自仲裁器213的对请求的响应时，传送单元450将检测信号输出到驱动电路211和信号处理单元212。
89.1.4.1电流电压转换单元的配置示例
90.图4所示的配置中的电流电压转换单元410例如可以是所谓的源极跟随器电流电压转换单元，其如图3所示设置有lg晶体管411、放大晶体管412和恒流电路415。然而，并没有限制；这也可以是所谓的增益升压电流电压转换器，其如图5所示设置有两个lg晶体管411和413、两个放大晶体管412和414以及恒流电路415。
91.如图3所示，lg晶体管411的源极和放大晶体管412的栅极连接到例如光接收单元330的光电转换元件333的阴极。lg晶体管411的漏极连接到例如电源端子vdd。
92.此外，例如，放大晶体管412的源极接地，并且其漏极经由恒流电路415连接到电源端子vdd。恒流电路415例如可以包括诸如p型金属氧化物半导体(mos)晶体管的负载mos晶体管。
93.相反，在增益升压型的情况下，如图5所示，lg晶体管411的源极和放大晶体管412的栅极连接到例如光接收单元330的光电转换元件333的阴极。此外，lg晶体管411的漏极连接到例如lg晶体管413的源极和放大晶体管412的栅极。例如，lg晶体管413的漏极连接到电源端子vdd。
94.此外，例如，放大晶体管414的源极连接到lg晶体管411的栅极和放大晶体管412的漏极。放大晶体管414的漏极例如经由恒流电路415连接到电源端子vdd。
95.通过图3或图5所示的连接关系形成环形源极跟随器电路。因此，来自光接收单元330的光电流根据其电荷量被转换为对数值的电压信号。注意，lg晶体管411和lg晶体管413以及放大晶体管412和放大晶体管414中的每一个可以包括例如nmos晶体管。
96.1.4.2减法器和量化器的配置示例
97.图6是示出根据第一实施例的减法器和量化器的示意性配置示例的电路图。如图6所示，减法器430设置有电容器431和电容器433、逆变器432以及开关434。此外，量化器440设置有比较器441。
98.电容器431的一端与缓冲器420的输出端子连接，另一端与逆变器432的输入端子连接。电容器433与逆变器432并联连接。开关434根据行驱动信号断开/闭合连接电容器433的两端的路径。
99.逆变器432将经由电容器431输入的电压信号反相。逆变器432将反相信号输出到比较器441的非反相输入端( )。
100.当开关434接通时，电压信号vinit输入到电容器431的缓冲器420的一侧。此外，相对侧成为虚拟接地端子。为了方便起见，将该虚拟接地端子的电位设置为零。此时，当电容器431的电容被设置为c1时，在电容器431中累积的电位qinit由以下表达式(1)表示。相反，由于电容器433的两端都被短路，因此其累积电荷为零。
101.qinit ＝ c1
ꢀ×ꢀ
vinit (1)
102.接下来，考虑开关434断开并且电容器431的缓冲器420侧上的电压改变为vafter的情况，在电容器431中累积之后的电荷qafter由下面的表达式(2)表示。
103.qafter＝c1
×
vafter(2)
104.相反，当输出电压被设置为vout时，在电容器433中累积的电荷q2由下面的表达式(3)表示。
105.q2＝
‑
c2
×
vout(3)
106.此时，电容器431和电容器433的总电荷量不改变，使得下面的表达式(4)成立。
107.qinit＝qafter q2(4)
108.通过将表达式(1)至(3)代入表达式(4)并变换，获得下面的表达式(5)。
109.vout＝
‑
(c1/c2)
×
(vafter
‑
vinit)(5)
110.表达式(5)表示电压信号的减法运算，减法结果的增益为c1/c2。因为通常期望最大化增益，所以优选地将c1设计得较大，将c2设计得较小。相反，如果c2太小，ktc噪声增加并且噪声特性可能恶化，使得c2的电容的减小被限制在允许噪声的范围内。此外，由于针对每个单位像素安装了包括减法器430的地址事件检测单元400，因此在电容c1和电容c2中存在面积限制。考虑它们，确定电容c1和电容c2的值。
111.比较器441将来自减法器430的电压信号与施加到反相输入端子(
‑
)的预定阈值电压vth进行比较。比较器441将表示比较结果的信号作为检测信号输出到传送单元450。
112.此外，当电流电压转换单元410的转换增益被设置为cg
log
并且缓冲器420的增益被设置为
‘1’
时，上述整个地址事件检测单元400的增益a由下面的表达式(6)表示。
113.[数学式表达1]
[0114][0115]
在表达式(6)中，i
photo
_n表示第n个单位像素的光电流，其单位例如是安培(a)。n表示像素块中单位像素310的数量，在本实施例中是
‘1’
。
[0116]
1.5移动体应用示例
[0117]
上述状态检测装置1可以应用于各种产品。例如，这可以安装在任何类型的移动体上，诸如汽车、电动汽车、混合电动汽车、摩托车、自行车、个人机动性、飞机、无人驾驶飞机、船舶和机器人。
[0118]
图7是示出作为根据第一实施例的移动体控制系统的示例的车辆控制系统的示意性配置示例的框图。如图7所示，车辆控制系统12000设置有经由通信网络12001连接的多个电子控制单元。在图7所示的示例中，车辆控制系统12000设置有驱动系统控制单元12010、车身系统控制单元12020、车辆外部信息检测单元12030、车辆内部信息检测单元12040和集成控制单元12050。此外，微计算机12051、音像输出单元12052和车载网络接口(i/f)12053被示为集成控制单元12050的功能配置。
[0119]
驱动系统控制单元12010根据各种程序控制与车辆的驱动系统相关的装置的操作。例如，驱动系统控制单元12010用作以下项的控制装置：诸如内燃机或驱动马达的用于产生车辆驱动力的驱动力产生装置、用于将驱动力传递到车轮的驱动力传递机构、用于调节车辆的转向角的转向机构，用于产生车辆的制动力的制动装置等。
[0120]
车身系统控制单元12020根据各种程序控制安装在车身上的各种装置的操作。例如，车身系统控制单元12020用作免钥匙进入系统、智能钥匙系统、电动窗装置或各种灯(诸如前照灯、倒车灯、刹车灯、闪光灯或雾灯)的控制装置。在这种情况下，从便携式装置发射的替代各种开关的键或信号的无线电波可以输入到车身系统控制单元12020。车身系统控制单元12020接收无线电波或信号的输入并控制车辆的门锁装置、电动窗装置、灯等。
[0121]
车辆外部信息检测单元12030检测配备有车辆控制系统12000的车辆外部的信息。
例如，成像单元12031连接到车辆外部信息检测单元12030。车辆外部信息检测单元12030允许成像单元12031获得车辆外部的信息并接收获得的数据。车辆外部信息检测单元12030可以基于接收到的数据执行对路面上的诸如人、车辆、障碍物、标志或人物的对象的检测处理或距离检测处理。
[0122]
成像单元12031可以是输出电信号作为图像的图像传感器，或者可以是如同输出测距信息的测距传感器。此外，由成像单元12031接收的光可以是可见光或诸如红外光的不可见光。
[0123]
车辆内部信息检测单元12040检测车辆内部的信息。车辆内部信息检测单元12040例如与检测驾驶员的状态的驾驶员状态检测单元12041连接。在本实施例中，上述dvs 200(或dvs 200和图像传感器14)用于驾驶员状态检测单元12041。在这种情况下，经由通信网络12001与驾驶员状态检测单元12041连接的车辆内部信息检测单元12040和/或与其连接的微计算机12051形成状态检测装置1中的运动检测单元12、对象检测单元15、运动矢量估计单元16和动作模式确定单元17。
[0124]
例如，还可以在状态检测装置1中与车辆内部信息检测单元12040和微计算机12051分开地设置运动检测单元12、对象检测单元15和运动矢量估计单元16，并且通过车辆内部信息检测单元12040和/或微计算机12051实现动作模式确定单元17，如图8所示的状态检测装置2那样。
[0125]
可替代地，运动检测单元12、对象检测单元15、运动矢量估计单元16和动作模式确定单元17可以具有与车辆内部信息检测单元12040和/或微计算机12051不同的配置。
[0126]
车辆内部信息检测单元12040可以计算驾驶员的疲劳程度或专注程度，或者可以基于由驾驶员状态检测单元12041输入的检测信息来确定驾驶员是否瞌睡。
[0127]
微计算机12051可以基于由车辆内部信息检测单元12040或车辆外部信息检测单元12030获得的车辆内部信息和车辆外部信息，来执行驱动力产生装置、转向机构或制动装置的控制目标值的运算操作，并且向驱动系统控制单元12010输出控制指令。例如，微计算机12051可以执行用于实现高级驾驶员辅助系统(adas)的功能的协作控制，这些功能包括车辆的防撞或冲击衰减、基于车间距离的跟随行驶、车辆速度保持行驶、车辆碰撞警告、车道偏离警告等。
[0128]
此外，微计算机12051可以通过基于由车辆外部信息检测单元12030或车辆内部信息检测单元12040获得的车辆周围的信息控制驱动力产生装置、转向机构、制动装置等，来执行用于实现自动驾驶等以独立于驾驶员的操作而自主行驶的协作控制。
[0129]
此外，微计算机12051可以基于由车辆外部信息检测单元12030获得的车辆外部信息向车身系统控制单元12020输出控制指令。例如，微计算机12051可以执行用于实现眩光保护的协作控制，诸如根据由车辆外部信息检测单元12030检测到的前车或对向来车的位置来控制前照灯，以将远光切换为近光。
[0130]
音像输出单元12052将音频以及图像输出信号中的至少一者传输至输出装置，该输出装置能够将该信息视觉地或听觉地通知给车辆乘员或车辆外部。在图7的示例中，作为输出装置，示出了音频扬声器12061、显示单元12062和仪表板12063。显示单元12062可以例如包括车上显示器以及平视显示器中的至少一个。
[0131]
1.6成像单元的布置示例
[0132]
图9是示出根据第一实施例的成像单元相对于车辆的安装位置的示例的视图。在图9中，作为成像单元12031，包括成像单元12101、成像单元12102、成像单元12103、成像单元12104和成像单元12105的总共五个成像单元被设置用于车辆12100。
[0133]
成像单元12101、成像单元12102、成像单元12103、成像单元12104和成像单元12105设置在例如车辆12100的车辆内部中的前鼻、侧视镜、后保险杠、后门和挡风玻璃上部的位置中。设置在前鼻上的成像单元12101和设置在车辆内部的挡风玻璃上部中的成像单元12105主要获得车辆12100前方区域的图像。设置在侧视镜上的成像单元12102和成像单元12103主要获得车辆12100的侧面的图像。设置在后保险杠或后门上的成像单元12104主要获得车辆12100后方区域的图像。设置在车辆内部的挡风玻璃上部的成像单元12105主要用于检测前车、行人、障碍物、红绿灯、交通标志、车道等。
[0134]
此外，在图9中，示出了成像单元12101至成像单元12104的成像范围的示例。成像范围12111表示设置在前鼻上的成像单元12101的成像范围，成像范围12112和成像范围12113表示设置在侧视镜上的成像单元12102和成像单元12103的成像范围，成像范围12114表示设置在后保险杠或后门上的成像单元12104的成像范围。例如，将由成像单元12101至成像单元12104成像的图像数据叠加，从而获得从上方观察的车辆12100的俯视图像。
[0135]
成像单元12101至成像单元12104中的至少一个可具有获得距离信息的功能。例如，成像单元12101至成像单元12104中的至少一个可以是由多个成像元件组成的立体相机，或者可以是包括用于相位差检测的像素的成像元件。
[0136]
例如，通过基于从成像单元12101至成像单元12104获得的距离信息获得在成像范围12111至成像范围12114中与每个实体对象的距离以及距离的时间变化(相对于车辆12100的相对速度)，微计算机12051(参见图7)可以特别提取车辆12100的行驶路径上最接近的实体，该实体以预定速度(例如，0km/h或更高)在与作为前车的车辆12100的方向基本上相同的方向上行驶。另外，微计算机12051也可以预先设置与前车之间确保的车间距离，并且可以执行自动制动控制(包括跟车停止控制)、自动加速控制(包括跟车起步控制)等。以这种方式，可以执行用于实现自动驾驶等的协作控制，以独立于驾驶员的操作自主地行驶。
[0137]
例如，微计算机12051可以在基于从成像单元12101至成像单元12104获得的距离信息将实体对象分类为摩托车、标准车辆、大型车辆、行人和其他实体对象(诸如电线杆)的同时，提取关于实体对象的实体对象数据，并且用于自动避开障碍物。例如，微计算机12051将车辆12100周围的障碍物辨别为对于车辆12100的驾驶员可见的障碍物和难以看见的障碍物。然后，微计算机12051确定表示与每个障碍物碰撞的风险程度的碰撞风险，并且当碰撞风险等于或高于设置值并且存在碰撞可能性时，这可以通过经由音频扬声器12061和显示单元12062向驾驶员输出警告或者经由驱动系统控制单元12010执行强制减速或避让转向来执行用于避免碰撞的驾驶辅助。
[0138]
成像单元12101至成像单元12104中的至少一个可以是检测红外光的红外相机。例如，微计算机12051可以通过确定在由成像单元12101至成像单元12104拍摄的图像中是否存在行人来识别行人。这样的行人识别例如通过提取由作为红外相机的成像单元12101至成像单元12104拍摄的图像中的特征点的处理，以及对指示对象的轮廓的一系列特征点执行模式匹配处理以辨别该对象是否是行人的过程来进行。当微计算机12051确定在由成像
单元12101至成像单元12104拍摄的图像中存在行人并且识别出行人时，音频图像输出单元12052控制显示单元12062叠加矩形轮廓以强调识别出的行人来显示。此外，音频图像输出单元12052可以控制显示单元12062以将指示行人的图标等显示在期望位置。
[0139]
1.7驾驶员状态检测单元dvs的布置示例
[0140]
图10是示出根据第一实施例的驾驶员状态检测单元相对于车辆的安装位置的示例的视图。图11是用于说明根据第一实施例的驾驶员状态检测单元的视角的图。
[0141]
如图10和图11所示，驾驶员状态检测单元12041设置在面向车辆12100内的驾驶员座椅12110的位置中，在该位置中至少驾驶员d的面部进入视角12106。在图10和图11所示的示例中，设置在后视镜12122的上边缘上，设置在车辆内侧的挡风玻璃12121的上侧的中心，处于后视镜12122相对于驾驶员d不隐藏的位置。然而，位置不限于该位置，可以进行各种改变；例如，在后视镜12122的下边缘或侧边缘上的位置，后视镜12122相对于驾驶员d不隐藏的位置，或者在驾驶员座椅12110上方和前方的挡风玻璃12121的车辆内侧上的位置，驾驶员d朝向车辆外侧的视力没有被阻挡的位置。
[0142]
1.8状态检测操作示例
[0143]
接着，描述第一实施例所涉及的状态检测装置的操作示例。图12是示出由根据第一实施例的状态检测装置执行的状态检测操作的示例的流程图。
[0144]
如图12所示，在该操作中，首先，将事件检测数据从dvs 200输入到运动检测单元12(和对象检测单元15)(步骤s101)。此时，图像数据也可以从图像传感器14输入到运动检测单元12(和对象检测单元15)。注意，dvs 200和图像传感器14中的每一个例如被安装为使得坐在驾驶员座椅12110上的驾驶员d的面部进入其视角。
[0145]
相反，运动检测单元12、对象检测单元15和运动矢量估计单元16从输入的事件检测数据(和图像数据)中检测驾驶员d的眼球和眼睑作为对象，然后检测所检测到的眼球和眼睑的运动(步骤s102)。关于检测到的眼球运动和眼睑运动的信息输入到动作模式确定单元17。
[0146]
动作模式确定单元17由输入的眼球运动和眼睑运动来检测驾驶员d的状态，并由其检测结果来确定驾驶员d是否存在瞌睡的风险(步骤s103)。例如，动作模式确定单元17由眼睑的睁开量和眼睑的睁开/闭合速度来估计驾驶员d的清醒度(下文中被称为清醒水平)，并且基于所估计的清醒水平来确定驾驶员d是否存在打瞌睡的风险。
[0147]
这里，描述了当清醒水平低时(即睡意强烈时)眼睑运动与眨眼时眼睑运动之间的差异。图13是示出当眨眼时眼睑的运动的视图，图14是示出清醒水平与眼睑状态(睁开量)之间的关系的视图。注意，在图13中，在上部示出了实际成像的眼睛的示意图，并且在下部示出了基于通过用dvs 200观察实际眼睛而获得的事件检测数据的帧图像。
[0148]
如图13所示，在正常眨眼时，上眼睑61和下眼睑62快速睁开和关闭。因此，在通过dvs 200观察到该眨眼的情况下，获得包括上眼睑61和下眼睑62的整个眼睛的帧图像。
[0149]
另一方面，如图14所示，根据人(例如，驾驶员d)的清醒水平而使未眨眼状态(平常时)下的眼睛睁开量变化。例如，清醒水平高的平常时的眼睛睁开量h0大，随着清醒水平的降低，平常时的眼睛睁开量降低(h0
→
h1
→
h2
→
h3)。
[0150]
因此，例如，在步骤s103中，动作模式确定单元17可以获得预定时间(例如，0.5秒)内的眼睑的运动矢量、眼睛睁开量的平均值等，基于这些值来估计驾驶员d是否眨眼或者清
醒水平是否较低(睡意强烈)，并确定驾驶员d是否存在打瞌睡的风险。
[0151]
在确定驾驶员d不存在打瞌睡的风险的情况下(步骤s103中为否)，动作模式确定单元17进入步骤s105。另一方面，在确定驾驶员d存在打瞌睡的风险的情况下(步骤s103中为是)，动作模式确定单元17例如驱动图7的音像输出单元12052，发出从音频扬声器12061唤醒驾驶员d的警告(步骤s104)，并前进到步骤s105。此时，动作模式确定单元17可以在显示单元12062上显示用于唤醒驾驶员d的包括视频、颜色等的警告。
[0152]
在步骤s105中，动作模式确定单元17确定是否完成该操作，并且在完成的情况下(步骤s105中为
‘
是’)，完成该操作。相反，在继续(步骤s105中为否)的情况下，动作模式确定单元17返回到步骤s101并执行后续操作。
[0153]
1.9作用和效果
[0154]
如上所述，根据本实施例，dvs 200用作用于检测驾驶员的状态的传感器，可以更快地检测驾驶员的状态。此外，在本实施例中，使用较小数据量的事件检测数据而不是由普通图像传感器获得的图像数据来检测驾驶员的状态，从而还可以减小状态检测时的功耗。
[0155]
2.第二实施例
[0156]
接下来，参照附图详细描述第二实施例。注意，在下面的描述中，引用了与第一实施例类似的配置和操作，并且不再重复其描述。
[0157]
近年来，存在这样的技术：在车辆的后端安装对车辆后方的区域进行成像的图像传感器，并且安装后视镜类型的监视器(在下文中，被称为电子镜或显示单元)来代替后视镜，并且在车辆中的电子镜上实时再现由在后端的图像传感器成像的视频。
[0158]
然而，当驾驶员不看电子镜时，在电子镜上再现车辆后方的区域的视频可能导致功耗的增加。因此，在本实施例中，如图15所示，在驾驶员d的视线a1的方向为朝向电子镜22122的方向的情况下，电子镜22122打开，如图16所示，在驾驶员d的视线a2的方向不朝向电子镜的方向的情况下，例如，在驾驶员d通过挡风玻璃12121观察车辆前方区域的情况下，电子镜关闭，由此抑制功耗的增加。
[0159]
注意，在车辆的后端对车辆后方的区域进行成像的图像传感器可以是例如第一实施例中参见图9描述的成像单元12104。
[0160]
此外，根据本实施例的状态检测装置(或系统)的配置示例可以类似于例如在第一实施例中例示的状态检测装置1的配置示例。
[0161]
2.1状态检测操作示例
[0162]
图17是示出由根据第二实施例的状态检测装置执行的状态检测操作的示例的流程图。
[0163]
如图17所示，在该操作中，首先，通过与第一实施例中的图12中的步骤s101至步骤s102所描述的操作类似的操作，检测落座在驾驶员座椅12110上的驾驶员d的面部位置和视线方向(步骤s201至步骤s202)。关于检测到的面部位置和视线方向的信息被输入到动作模式确定单元17。
[0164]
动作模式确定单元17确定在驾驶员d的视线方向上是否存在与后视镜12122相对应的电子镜22122，即，驾驶员d是否从面部的输入位置和视线方向注视或将注视电子镜22122(步骤s203)。
[0165]
在驾驶员d未注视或将不注视电子镜22122的情况下(步骤s203中为否)，动作模式
确定单元17进行到步骤s209。相反，在驾驶员d注视或将注视电子镜22122的情况下(步骤s203中为是)，动作模式确定单元17打开电子镜22122的显示(在步骤s204中为否)。因此，电子镜22122显示由安装在车辆12100的后端处的成像单元12104成像的车辆后方区域的视频。
[0166]
当电子镜22122的显示以这种方式打开时，接着，通过与在第一实施例的图12的步骤s101至步骤s102中描述的操作类似的操作，检测落座在驾驶员座椅12110上的驾驶员d的面部位置和视线方向(步骤s205至s206)。然后，此时，动作模式确定单元17确定驾驶员d是否从电子镜22122转移视线(步骤s207)。此外，在步骤s206中检测出的面部位置和视线方向的信息被输入至动作模式确定单元17。
[0167]
在驾驶员d未从电子镜22122转移视线的情况下(步骤s207中为否)，该操作返回到步骤s205以继续在电子镜22122上显示车辆后方的区域的视频。相反，在驾驶员d从电子镜22122转移视线的情况下(步骤s207中为是)，动作模式确定单元17关闭电子镜22122的显示(步骤s208)并进行到步骤s209。因此，减少了电子镜22122在不使用时的功耗。
[0168]
在步骤s209中，动作模式确定单元17确定是否完成该操作，并且在完成的情况下(步骤s209中为
‘
是’)，完成该操作。相反，在继续(步骤s209中为否)的情况下，动作模式确定单元17返回到步骤s201并执行后续操作。
[0169]
通过上述操作，在本实施例中，可以在驾驶员d不注视电子镜22122的时间段内降低电子镜22122的功耗。
[0170]
2.2作用和效果
[0171]
其它配置、操作和效果可以类似于上述实施例的配置、操作和效果，因此在此省略其详细描述。
[0172]
2.3变型
[0173]
此外，不仅在驾驶员d主动地注视电子镜22122的情况下，而且在例如将驾驶员d的注意力吸引到电子镜22122的情况下(即在将驾驶员d的注意力吸引到车辆后方的区域的情况下)电子镜22122的显示器可以自动地打开/关闭。例如，在与跟随车辆的车辆间距离短并且存在碰撞风险的情况下，并且在驾驶员d不知道该风险的情况下，可以通过打开电子镜22122的显示器来将驾驶员d的注意力吸引到电子镜22122。
[0174]
图18是示出由该变形的状态检测装置执行的状态检测动作的示例的流程图。
[0175]
如图18所示，在本操作中，例如，动作模式确定单元17或微计算机12051基于由布置在车辆12100的后端的成像单元12104取得的图像数据或测距结果，检测与跟随车辆的车间距离、相对于跟随车辆的相对速度等(步骤s221)。然后，动作模式确定单元17或者微计算机12051由检测到的与跟随车辆的车辆间距离、相对于跟随车辆的相对速度等来确定是否存在与跟随车辆的碰撞可能性(步骤s222)。注意，除了是否存在与跟随车辆的碰撞可能性之外，可以确定与跟随车辆的车辆间距离是否变得更短或可能比某一阈值更短、确定驾驶员d是否应当注意到车辆12100后方的区域等。
[0176]
在不可能与跟随车辆等发生碰撞的情况下(在步骤s222为否)，该操作进行到步骤s227。与此相对，在存在与跟随车辆等发生碰撞的可能性的情况下(在步骤s222中为是)，通过与在第一实施例(步骤s223至s224)的图12的步骤s101至步骤s102中描述的操作类似的操作，检测落座在驾驶员座椅12110上的驾驶员d的面部位置和视线方向。然后，动作模式确
定单元17确定驾驶员d是否注视电子镜22122，即，驾驶员d是否意识到与跟随车辆等发生碰撞的可能性(步骤s225)。
[0177]
在驾驶员d注视电子镜22122的情况下(步骤s225中为是)，该操作进行到步骤s227。相反，在驾驶员d未注视电子镜22122的情况下(步骤s225中为否)，动作模式确定单元17打开电子镜22122的显示(步骤s226)。因此，电子镜22122显示由安装在车辆12100的后端处的成像单元12104成像的车辆后方区域的视频。
[0178]
如上所述，电子镜22122的显示自动打开，从而促使驾驶员d注意电子镜22122。此时，例如，动作模式确定单元17可以驱动图7的音像输出部12052以从音频扬声器12061发出对电子镜22122或跟随车辆的注意提醒，或者在显示单元12062上显示对电子镜22122或跟随车辆的注意提醒。
[0179]
在步骤s227中，动作模式确定单元17确定是否完成该操作，并且在完成的情况下(步骤s227中为
‘
是’)，完成该操作。相反，在继续(步骤s227中为否)的情况下，动作模式确定单元17返回到步骤s221并执行后续操作。
[0180]
虽然以上描述了本公开的实施例，但是本公开的技术范围不限于上述实施例，并且在不脱离本公开的要旨的情况下可以进行各种修改。此外，可以适当地组合不同实施例和变型的组件。
[0181]
此外，在本说明书的每个实施例中描述的效果仅仅是说明性的而不是限制性的；还可以存在另一种效果。
[0182]
注意，本技术可以具有以下配置。
[0183]
(1)一种状态检测装置，设置有：
[0184]
第一固态成像装置，设置有以矩阵布置的多个像素，该第一固态成像装置根据入射在每个像素的每一个上的光量来检测每个像素中的事件的发生；以及
[0185]
状态检测单元，基于由第一固态成像装置检测到的事件的发生来检测驾驶员的状态。
[0186]
(2)根据上述(1)的状态检测装置，其中，
[0187]
状态检测单元检测驾驶员的眼球运动、眼睑运动、面部方向以及视线方向中的至少一者作为驾驶员的状态。
[0188]
(3)根据上述(1)或(2)的状态检测装置，还设置有：
[0189]
动作模式确定单元，基于由状态检测单元检测的驾驶员的状态来确定动作模式。
[0190]
(4)根据上述(3)的状态检测装置，其中，
[0191]
状态检测单元检测驾驶员的眼球运动以及眼睑运动中的至少一者，并且
[0192]
动作模式确定单元基于眼球运动以及眼睑运动中的至少一者来估计驾驶员的清醒度，并且基于所估计的清醒度来确定动作模式。
[0193]
(5)根据上述(4)的状态检测装置，其中，
[0194]
动作模式确定单元在所估计的清醒度较低的情况下，确定输出用于唤醒驾驶员的警告的动作模式。
[0195]
(6)根据上述(3)的状态检测装置，还设置有：
[0196]
成像单元，对车辆后方的区域进行成像；以及
[0197]
显示单元，显示由成像单元成像的视频，其中
[0198]
状态检测单元检测驾驶员的面部方向以及视线方向中的至少一者，并且
[0199]
动作模式确定单元基于面部方向以及视线方向中的至少一者来确定驾驶员是否注视或将注视显示单元，并且基于确定的结果来确定动作模式。
[0200]
(7)根据(6)的状态检测装置，其中，
[0201]
动作模式确定单元在驾驶员注视或将注视显示单元的情况下确定允许显示单元显示视频的动作模式，并且在驾驶员未注视或将不注视显示单元的情况下确定关闭显示单元的显示的动作模式。
[0202]
(8)根据上述(3)的状态检测装置，进一步设置有：
[0203]
成像单元，对车辆后方的区域进行成像；
[0204]
传感器，检测与跟随车辆的车辆间距离以及相对于跟随车辆的相对速度中的至少一者；以及
[0205]
显示单元，显示由成像单元成像的视频，其中
[0206]
状态检测单元检测驾驶员的面部方向和视线方向中的至少一者，并且
[0207]
动作模式确定单元基于车辆间距离及相对速度中的至少一者和面部方向及视线方向中的至少一者，来确定动作模式。
[0208]
(9)根据上述(8)的状态检测装置，其中，
[0209]
动作模式确定单元基于车辆间距离以及相对速度中的至少一者来确定是否存在与跟随车辆碰撞的风险，进一步基于在存在与跟随车辆碰撞的风险的情况下的面部方向以及视线方向中的至少一者，来确定驾驶员是否注视或将注视显示单元，并且确定在驾驶员未注视或将不注视显示单元的情况下允许显示单元显示视频的动作模式。
[0210]
(10)根据上述(1)至(9)中任一项的状态检测装置，还设置有：
[0211]
第二固态成像装置，对驾驶员的面部进行成像，其中，
[0212]
状态检测单元基于由第一固态成像装置检测到的事件的发生和由第二固态成像装置获得的图像数据，来检测驾驶员的状态。
[0213]
(11)一种状态检测系统，设置有：
[0214]
第一固态成像装置，设置有以矩阵布置的多个像素，第一固态成像装置根据入射在每个像素的上的光量来检测每个像素中的事件的发生；和
[0215]
状态检测单元，基于由第一固态成像装置检测到的事件的发生来检测驾驶员的状态。
[0216]
(12)一种状态检测方法，设置有：
[0217]
基于由固态成像装置检测到的事件的发生来检测驾驶员的状态，固态成像装置设置有以矩阵布置的多个像素，固态成像装置根据入射在每个像素上的光量，来检测在每个像素中的事件的发生。
[0218]
[参考符号列表]
[0219]
1,2 状态检测装置(系统)
[0220]
11,13 成像透镜
[0221]
12 运动检测单元
[0222]
14 图像传感器
[0223]
15 对象检测单元
[0224]
16 运动矢量估计单元
[0225]
17 动作模式确定单元
[0226]
18 存储单元
[0227]
19 i/f单元
[0228]
200 dvs
[0229]
210 逻辑电路
[0230]
211 驱动电路
[0231]
212 信号处理单元
[0232]
213 仲裁器
[0233]
300 像素阵列单元
[0234]
330 光接收单元
[0235]
333 光电转换元件
[0236]
400 地址事件检测单元
[0237]
410 电流电压转换单元
[0238]
411,413 lg晶体管
[0239]
412,414 放大晶体管
[0240]
415 恒流电路
[0241]
420 缓冲器
[0242]
430 减法器
[0243]
431,433 电容器
[0244]
432 逆变器
[0245]
434 开关
[0246]
440 量化器
[0247]
441 比较器
[0248]
450 传送单元
[0249]
12000 车辆控制系统
[0250]
12001 通信网络
[0251]
12010 驱动系统控制单元
[0252]
12020 车身系统控制单元
[0253]
12030 车辆外部信息检测单元
[0254]
12031,12101至12105 成像单元
[0255]
12040 车辆内部信息检测单元
[0256]
12041 驾驶员状态检测单元
[0257]
12050 集成控制单元
[0258]
12051 微机
[0259]
12052 音像输出单元
[0260]
12053 车载网络i/f
[0261]
12061 音频扬声器
[0262]
12062 显示单元
[0263]
12063 仪表板
[0264]
12100 车辆
[0265]
12106 视角
[0266]
12110 驾驶员片
[0267]
12111至12114 成像范围
[0268]
12121 挡风玻璃
[0269]
12122 后视镜
[0270]
22122 电子镜
[0271]
a1,a2 视线方向
[0272]
d 驾驶员。