成像系统的制作方法

1.本公开涉及一种成像系统。


背景技术：

2.作为事件驱动成像设备之一，存在称为动态视觉传感器(dvs)的异步成像设备。所述异步成像设备可以将光电转换入射光的像素中的亮度变化超过预定阈值检测为事件。因此，这种异步成像设备可以称为事件检测传感器。通常，事件检测传感器搭载在车辆上，作为监视行驶路面的基于事件的视觉传感器而使用(例如，参见专利文献1)。
3.引用列表
4.专利文献
5.专利文献1：日本专利申请公开2013
‑
79937号。


技术实现要素：

6.本发明要解决的问题
7.顺便说一下，在对象车辆行驶期间可能会遇到另一车辆突然在对象车辆前方变道的危险。此时，从防止碰撞事故等和维持安全车辆行驶的观点出发，期望能够预先预测这样的危险情况。
8.本公开的目的在于提供一种成像系统，该成像系统能够提前预测妨碍安全驾驶的危险状态的发生。
9.问题的解决方案
10.本公开用于实现上述目的的成像系统包括：
11.检测事件的事件检测传感器；
12.目标识别单元，其根据从事件检测传感器输出的事件信号，对被检测为事件的目标进行识别处理；
13.运动矢量估计单元，其根据目标识别单元的识别结果估计目标的运动矢量；以及
14.控制单元，其基于运动矢量估计单元的估计结果，输出用于警告已经发生危险状态的警告信息。
附图说明
15.图1是示出根据本公开的实施例的成像系统的系统配置的示例的框图。
16.图2a是示出成像系统中的运动识别单元的配置的示例的框图，图2b是示出成像系统中的目标识别单元的配置的示例的框图。
17.图3是示出成像系统中的事件检测传感器的配置的示例的框图。
18.图4是示出事件检测传感器中的像素阵列单元的配置的示例的框图。
19.图5是示出事件检测传感器中的像素的电路配置的示例的电路图。
20.图6是示出事件检测传感器的像素中的事件检测单元的电路配置的示例的框图。
21.图7是示出事件检测单元中的电流
‑
电压转换单元的配置的示例的电路图。
22.图8是示出事件检测单元中的减法单元和量化单元的配置的示例的电路图。
23.图9是示出事件检测传感器的层叠芯片结构的轮廓的分解透视图。
24.图10是示出作为成像系统中的图像传感器的示例的cmos图像传感器的配置的轮廓的框图。
25.图11是示出图像传感器中的像素的电路配置的示例的电路图。
26.图12是示出图像传感器的水平安装芯片结构的轮廓的平面图。
27.图13是示出图像传感器的层叠芯片结构的轮廓的平面图。
28.图14是示出根据实施例1的风险预测流程的流程图。
29.图15是示出根据实施例2的风险预测流程的流程图。
30.图16是示出根据实施例3的风险预测流程的流程图。
31.图17是示出根据本公开的实施例的修改的成像系统的系统配置的框图。
32.图18是示出车辆控制系统的示意性配置示例的框图，该车辆控制系统是可以应用根据本公开的技术的移动体控制系统的示例。
33.图19是示出车辆控制系统中的成像单元的安装位置的示例的示图。
具体实施方式
34.在下文中，将使用附图详细描述用于执行本公开的技术的模式(在下文中，称为“实施例”)。本公开的技术不限于实施例。在以下描述中，相同的附图标记将用于相同的元件或具有相同功能的元件，并且将省略多余的描述。注意，将按以下顺序进行描述。
35.1.本公开的成像系统的一般描述
36.2.本发明的实施例
[0037]2‑
1.根据实施例的成像系统的配置示例
[0038]2‑
2.事件检测传感器的配置示例
[0039]2‑2‑
1.像素阵列单元的配置示例
[0040]2‑2‑
2.像素的配置示例
[0041]2‑2‑
3.事件检测单元的配置示例
[0042]2‑2‑3‑
1.电流
‑
电压转换单元的配置示例
[0043]2‑2‑3‑
2.减法单元和量化单元的配置示例
[0044]2‑2‑
4.芯片结构的配置示例
[0045]2‑
3.图像传感器的配置示例
[0046]2‑3‑
1.cmos图像传感器的配置示例
[0047]2‑3‑
2.像素的配置示例
[0048]2‑3‑
3.芯片结构的配置示例
[0049]2‑3‑3‑
1.水平安装芯片结构(所谓的水平安装结构)
[0050]2‑3‑3‑
2.层叠芯片结构(所谓的层叠结构)
[0051]2‑
4.实施例1(根据目标的重心的运动矢量检测变道的例子)
[0052]2‑
5.实施例2(根据目标占据视角的比例和目标的重心的运动矢量检测变道的例子)
[0053]2‑
6.实施例3(发生相当于变道的情况时控制事件检测传感器的特征的例子)
[0054]
3.修改
[0055]
4.根据本公开的技术的应用示例
[0056]4‑
1.移动体的应用示例
[0057]
5.本公开可采用的配置
[0058]
<本公开的成像系统的一般描述>
[0059]
在本公开的成像系统中，事件检测传感器可以包括异步成像设备，该异步成像设备检测对入射光进行光电转换的像素的亮度变化超过预定阈值的事件。然后，本公开的成像系统优选地安装和使用在移动体上。
[0060]
在包括上述优选配置的本公开的成像系统中，运动矢量估计单元可以被配置为检测成像帧之间的运动矢量并估计画面中目标的运动。
[0061]
此外，包括上述优选配置的本公开的成像系统可以包括以预定帧速率执行成像的图像传感器。然后，目标识别单元可以被配置为使用从图像传感器输出的帧格式的图像数据来执行事件识别处理。
[0062]
此外，在包括上述优选配置的本公开的成像系统中，控制单元可以被配置为将车辆变道确定为危险状态。此外，控制单元可以被配置为基于目标的重心的运动矢量来检测车辆变道。具体地，当目标的重心的运动矢量朝向视角中心并且运动矢量的大小为预定阈值时，控制单元检测车辆变道。
[0063]
此外，在包括上述优选配置的本公开的成像系统中，控制单元可以被配置为基于目标占据事件检测传感器的视角的比例和目标的重心的运动矢量来检测车辆变道。具体地，控制单元可用于当目标占据事件检测传感器的视角的比例大于或等于一定比例，且目标的重心的运动向量朝向视角中心并且运动矢量的大小为预定阈值时，检测车辆变道。
[0064]
此外，在包括上述优选配置的本公开的成像系统中，控制单元可以被配置为当目标占据事件检测传感器的视角的比例大于或等于一定比例，且目标的重心的运动矢量朝向视角中心并且运动矢量的大小为预定阈值时，控制事件检测传感器的特征。作为事件检测传感器的特征，可以例示事件检测传感器的分辨率或事件检测的检测灵敏度。
[0065]
<<本公开的实施例>>
[0066]
<根据实施例的成像系统的配置示例>
[0067]
图1是示出根据本公开的实施例的成像系统的系统配置的示例的框图。
[0068]
如图1所示，根据本公开的实施例的成像系统1包括事件检测传感器10、图像传感器20、运动识别单元30、目标识别单元40、运动矢量估计单元50、控制单元60、操作模式限定单元70、记录单元80和接口90。根据本实施例的成像系统1可以安装在诸如车辆的移动体上并在诸如车辆的移动体上使用。
[0069]
以安装在车辆上的情况为例，成像系统1安装在车辆的预定位置和在车辆的预定位置使用，例如车辆的前车头、侧视镜、后保险杠、后门和车内挡风玻璃的上部中的至少一个位置。下文将描述根据本公开的技术(即，根据本实施例的成像系统1)的应用示例的细节。
[0070]
作为事件检测传感器10，可以使用被称为dvs的异步成像设备，其将入射光进行光电转换的像素中的亮度变化超过预定检测阈值检测为事件。与和垂直同步信号同步地执行
成像的同步成像设备不同，异步成像设备是与垂直同步信号异步地检测事件的成像设备。下文将描述包括异步成像设备的事件检测传感器10的细节。
[0071]
作为图像传感器20，可以使用与垂直同步信号同步地以预定帧速率执行成像并且以帧格式输出图像数据的同步成像设备。作为同步成像设备，可以例示互补金属氧化物半导体(cmos)图像传感器、电荷耦合装置(ccd)传感器等。下文将描述包括同步成像设备的图像传感器20的细节。
[0072]
运动识别单元30基于从事件检测传感器10输出的指示事件发生的事件信号(事件数据)来识别(检测)目标的运动。图2a中示出了运动识别单元30的具体配置的示例。运动识别单元30包括例如事件帧生成单元31和运动检测单元32。
[0073]
事件帧生成单元31基于从事件检测传感器10输出的事件信号，通过对在特定时间段内发生了多少事件进行帧化来生成事件帧。运动检测单元32在由事件帧生成单元31成帧的事件帧之间执行运动检测。注意，事件帧生成单元31不一定要进行成帧，即运动识别单元30可以直接接收异步输出的事件信号来进行运动检测。
[0074]
目标识别单元40基于运动识别单元30给出的运动检测结果，对检测为事件的目标执行识别处理。目标识别单元40还基于由图像传感器20给出的以帧为单位的图像数据进行目标识别处理。图2b中示出了目标识别单元40的具体配置的示例。目标识别单元40包括例如roi提取单元41和识别处理单元42。
[0075]
roi提取单元41提取用于执行目标识别的特定区域，即提取感兴趣区域(roi)。识别处理单元42基于由roi提取单元41提取的区域的数据对目标进行识别处理。对于识别处理单元42中的目标识别，可以使用通过具有神经网络等的机器学习的模式识别技术，例如通过比较作为教导数据给出的具有成像对象图像特征点的特征点来进行图像识别的技术。
[0076]
在控制单元60的控制下，运动矢量估计单元50基于目标识别单元40的识别结果检测成像帧(事件帧)之间的目标(例如，车辆)的运动矢量，并估计画面中目标的运动。
[0077]
控制单元60包括例如处理器(cpu)并且控制事件检测传感器10和图像传感器20。从车辆控制系统7000(见图18)经由接口90向控制单元60提供诸如车辆速度的各种信息，车辆控制系统7000是可以应用下文描述的根据本公开的技术的移动体控制系统的一个示例。
[0078]
基于运动矢量估计单元50的估计结果，控制单元60还检测到在对象车辆行驶过程中发生了危险状态，例如在对象车辆前方的另一车辆突然变道。然后，当检测到危险状态已经发生时，控制单元60输出警告信息以警告该事实，并经由接口90发送到上述车辆控制系统7000。
[0079]
当从控制单元60接收到警告信息通知时，在车辆控制系统7000中，作为示例，执行诸如在显示器等上的警报显示、声音警报、制动控制等控制以通知驾驶员发生了危险状态。
[0080]
在控制单元60的控制下，操作模式限定单元70利用运动识别单元30给出的运动识别结果和目标识别单元40给出的目标识别结果，来检测作为移动体的示例的车辆的行驶状态等。
[0081]
从操作模式限定单元70输出的信息被提供给控制单元60，并且根据需要被存储在记录单元80中。此外，根据需要，从操作模式限定单元70输出的信息经由接口90提供给车辆控制系统7000。
[0082]
在下文中，将描述事件检测传感器10和图像传感器20的细节。
[0083]
<事件检测传感器的配置示例>
[0084]
在下文中，将描述事件检测传感器10的细节。图3是示出具有上述配置的本公开的成像系统1中的事件检测传感器10的配置的示例的框图。
[0085]
如图3所示，事件检测传感器10包括像素阵列单元12，多个像素11以矩阵(阵列)二维布置。多个像素11中的每一个产生一个模拟信号作为像素信号，该模拟信号具有对应于作为通过光电转换产生的电信号的光电流的电压。此外，多个像素11中的每一个根据与入射光的亮度对应的光电流是否已经发生超过预定阈值的变化来检测事件的存在或不存在。换言之，多个像素11中的每一个将亮度变化超过预定阈值检测为事件。
[0086]
事件检测传感器10除了像素阵列单元12之外，还包括驱动单元13、仲裁器单元(仲裁单元)14、列处理单元15和信号处理单元16，作为像素阵列单元12的外围电路单元。
[0087]
当检测到事件时，多个像素11中的每一个向仲裁器单元14输出用于输出指示事件发生的事件数据的请求。然后，在从仲裁器单元14接收到表示允许输出事件数据的响应的情况下，多个像素11中的每一个将事件数据输出到驱动单元13和信号处理单元16。此外，检测到事件的像素11将通过光电转换产生的模拟像素信号输出到列处理单元15。
[0088]
驱动单元13驱动像素阵列单元12的每一个像素11。例如，驱动单元13驱动检测事件的像素11并输出事件数据，并且将像素11的模拟像素信号输出到列处理单元15。
[0089]
仲裁器单元14对从多个像素11中的每一个提供的事件数据的输出请求进行仲裁，并基于仲裁结果(允许/不允许输出事件数据)向像素11发送响应，以及向像素11发送用于重置事件检测的复位信号。
[0090]
列处理单元15包括例如模数转换单元，该模数转换单元包括为像素阵列单元12的每个像素列提供的一组模数转换器。作为模数转换器，例如，可以例示单斜率型模数转换器。
[0091]
列处理单元15针对像素阵列单元12的每个像素列，执行将从像素阵列单元12的像素11输出的模拟像素信号转换为数字信号的处理。列处理单元15还可以对数字化像素信号进行相关双采样(cds)处理。
[0092]
信号处理单元16对从列处理单元15提供的数字化像素信号和从像素阵列单元12输出的事件数据执行预定的信号处理，并在信号处理之后输出事件数据和像素信号。
[0093]
如上所述，像素11中产生的光电流的变化也可以被视为入射在像素11上的光的光量的变化(亮度的变化)。因此，可以认为该事件是超过预定阈值的像素11的光量的变化(亮度的变化)。指示事件发生的事件数据至少包括位置信息，例如表示像素11的位置的坐标，其中发生了作为事件的光量的变化。除了位置信息之外，事件数据还可以包括光量变化的极性。
[0094]
对于在事件发生的时刻从像素11输出的一系列事件数据，可以认为事件数据隐含地包括指示事件发生时的相对时间的时间信息，只要事件数据之间的间隔保持为事件发生时的原样。然而，如果由于事件数据被存储在存储器等中而不再保持事件发生时的事件数据之间的间隔，则隐含地包括在事件数据中的时间信息丢失。为此，在事件数据之间的间隔不再保持为事件发生时的原样之前，信号处理单元16在事件数据中包括指示事件发生时的相对时间的时间信息，例如一个时间戳。
[0095]
[像素阵列单元的配置示例]
[0096]
图4是示出事件检测传感器10中的像素阵列单元12的配置的示例的框图。
[0097]
在多个像素11二维排列成矩阵的像素阵列单元12中，多个像素11中的每一个包括光接收单元61、像素信号生成单元62和事件检测单元63。
[0098]
在具有上述配置的像素11中，光接收单元61对入射光进行光电转换以产生光电流。然后，光接收单元61根据驱动单元13的控制，将与通过光电转换入射光产生的光电流相对应的电压信号提供给像素信号生成单元62或事件检测单元63(见图3)。
[0099]
像素信号生成单元62生成与从光接收单元61提供的光电流对应的电压的信号作为模拟像素信号sig。然后，像素信号生成单元62通过为像素阵列单元12的每个像素列布线的垂直信号线vsl，将生成的模拟像素信号sig提供给列处理单元15(见图3)。
[0100]
事件检测单元63根据来自每个光接收单元61的光电流的变化量是否超过预定阈值来检测事件的存在或不存在。事件包括例如表示光电流的变化量超过上限阈值的开启事件和表示变化量低于下限阈值的关闭事件。此外，表示事件发生的事件数据例如包括表示开启事件检测结果的1比特和表示关闭事件检测结果的1比特。注意，事件检测单元63可以被配置为仅检测开启事件。
[0101]
当事件发生时，事件检测单元63向仲裁器单元14(见图3)输出用于输出指示事件发生的事件数据的请求。然后，在从仲裁器单元14接收到对请求的响应的情况下，事件检测单元63将事件数据输出到驱动单元13和信号处理单元16。
[0102]
[像素的电路配置示例]
[0103]
图5是示出事件检测传感器10中的像素阵列单元12的像素11的电路配置的示例的电路图。
[0104]
如上所述，多个像素11中的每一个包括光接收单元61、像素信号生成单元62和事件检测单元63。
[0105]
在具有上述配置的像素11中，光接收单元61包括光接收元件(光电转换元件)611、转移晶体管612和转移晶体管613。作为转移晶体管612和转移晶体管613，例如，可以使用n型金属氧化物半导体(mos)晶体管。转移晶体管612和转移晶体管613彼此串联连接。
[0106]
光接收元件611连接在地和转移晶体管612与转移晶体管613的公共连接节点n1之间，并对入射光进行光电转换以产生与入射光的量对应的电荷量的电荷。
[0107]
转移信号trg从图3所示的驱动单元13被提供给转移晶体管612的栅极。转移晶体管612响应于转移信号trg而导通，从而将光接收元件611通过光电转换产生的电信号提供给像素信号生成单元62。
[0108]
控制信号ofg从驱动单元13提供给转移晶体管613的栅极。转移晶体管613响应于控制信号ofg而导通，从而将光接收元件611通过光电转换产生的电信号提供给事件检测单元63。提供给事件检测单元63的电信号是包括电荷的光电流。
[0109]
像素信号生成单元62包括复位晶体管621、放大晶体管622、选择晶体管623和浮动扩散层624。作为复位晶体管621、放大晶体管622和选择晶体管623，例如，可以使用n型mos晶体管。
[0110]
由光接收单元61的光接收元件611光电转换的电荷由转移晶体管612提供给像素信号生成单元62。从光接收单元61提供的电荷累积在浮动扩散层624中。浮动扩散层624产生与累积电荷的电荷量相对应的电压值的电压信号。即，浮动扩散层624是将电荷转换为电
压的电荷
‑
电压转换单元。
[0111]
复位晶体管621连接在电源电压v
dd
的电源线和浮动扩散层624之间。复位信号rst从驱动单元13提供给复位晶体管621的栅极。复位晶体管621响应于复位信号rst而导通，从而初始化(复位)浮动扩散层624。
[0112]
放大晶体管622与选择晶体管623串联连接在电源电压v
dd
的电源线和垂直信号线vsl之间。放大晶体管622放大在浮动扩散层624中经过电荷
‑
电压转换的电压信号。
[0113]
选择信号sel从驱动单元13提供给选择晶体管623的栅极。选择晶体管623响应于选择信号sel而导通，从而将放大晶体管622放大的电压信号作为模拟像素信号sig经由垂直信号线vsl输出到列处理单元15(图3)。
[0114]
在包括像素阵列单元12的事件检测传感器10中，具有上述配置的像素11二维排列，驱动单元13由图1所示的控制单元60指示以开始事件检测。然后，当发出开始事件检测的指令时，驱动单元13通过向光接收单元61的转移晶体管613提供控制信号ofg来驱动转移晶体管613，并使得与光接收元件611产生的电荷相对应的光电流提供给事件检测单元63。
[0115]
然后，当在某个像素11中检测到事件时，驱动单元13关闭像素11的转移晶体管613并停止向事件检测单元63提供光电流。接着，驱动单元13通过向转移晶体管612提供转移信号trg来驱动转移晶体管612，并使由光接收元件611光电转换的电荷转移到浮动扩散层624。
[0116]
这样，包括像素阵列单元12的事件检测传感器10仅将检测到事件的像素11的像素信号输出到列处理单元15，在该像素阵列单元12中，具有上述配置的像素11被二维排列。结果，与不管事件的存在与否都输出所有像素的像素信号的情况相比，可以减少事件检测传感器10的功耗和图像处理量。
[0117]
注意，这里示出的像素11的配置是一个示例，但不限于这个配置示例。例如，在不需要输出像素信号的情况下，可以使用不包括像素信号生成单元62的像素结构。在这种像素结构的情况下，仅需要在光接收单元61中省略转移晶体管612。此外，图3的列处理单元15可以被配置为不包括模数转换功能。通过采用不输出像素信号的像素配置，可以抑制事件检测传感器10的尺寸。
[0118]
[事件检测单元的配置示例]
[0119]
图6是示出事件检测传感器10的像素11中的事件检测单元63的电路配置的示例的框图。
[0120]
如图6所示，根据该示例的事件检测单元63包括电流
‑
电压转换单元631、缓冲器632、减法单元633、量化单元634和转移单元635。
[0121]
电流
‑
电压转换单元631将从像素11的光接收单元61提供的光电流转换成为光电流的对数的电压信号(在下文中，可以被称为“光电压”)，并且提供电压信号到缓冲器632。缓冲器632缓冲从电流
‑
电压转换单元631提供的光电压并将光电压提供给减法单元633。
[0122]
减法单元633计算当前光电压和与当前相差一分钟时间的光电压之间的差，并将与该差对应的差信号提供给量化单元634。量化单元634将从减法单元633提供的差信号量化为数字信号，并将差信号的数字值提供给转移单元635。
[0123]
当从量化单元634提供差信号的数字值时，转移单元635向仲裁器单元14提供发送事件数据的请求。然后，当从仲裁器单元14接收到对该请求的响应，即允许输出事件数据的
响应时，转移单元635根据从量化单元634提供的差信号的数字值，将事件数据提供给驱动单元13和信号处理单元16。
[0124]
接下来，将描述事件检测单元63中的电流
‑
电压转换单元631、减法单元633和量化单元634的配置示例。
[0125]
(电流
‑
电压转换单元的配置示例)
[0126]
图7是示出事件检测单元63中的电流
‑
电压转换单元631的配置的示例的电路图。
[0127]
如图7所示，根据该示例的电流
‑
电压转换单元631具有包括晶体管6311、晶体管6312和晶体管6313的电路配置。作为晶体管6311和晶体管6313，可以使用n型mos晶体管，并且作为晶体管6312，可以使用p型mos晶体管。
[0128]
晶体管6311连接在电源电压v
dd
的电源线和信号输入线6314之间。晶体管6312和晶体管6313串联连接在电源电压v
dd
的电源线与地之间。然后，图6所示的晶体管6311的栅极和缓冲器632的输入端连接到晶体管6312和晶体管6313的公共连接节点n2。
[0129]
预定偏置电压v
bias
被施加到晶体管6312的栅极。结果，晶体管6312向晶体管6313提供恒定电流。光电流通过信号输入线6314从光接收单元61输入到晶体管6313的栅极。
[0130]
晶体管6311的漏极连接到电源电压v
dd
的电源线，并且具有源极跟随器配置。晶体管6313的栅极连接到晶体管6311的源极。然后，来自光接收单元61的光电流被具有源极跟随器配置的晶体管6311和晶体管6313转换成对应于光电流的对数的光电压。
[0131]
(减法单元和量化单元的配置示例)
[0132]
图8是示出事件检测单元63中的减法单元633和量化单元634的配置的示例的电路图。
[0133]
根据该示例的减法单元633包括电容元件6331、运算放大器6332、电容元件6333和开关元件6334。
[0134]
电容元件6331的一端连接到图6所示的缓冲器632的输出端，电容元件6331的另一端连接到运算放大器6332的输入端。结果，从缓冲器632提供的光电压通过电容元件6331输入到运算放大器6332的输入端。
[0135]
电容元件6333与运算放大器6332并联。开关元件6334连接在电容元件6333的两端之间。复位信号从图3所示的仲裁器单元14提供给开关元件6334，作为用于打开和闭合开关元件6334的控制信号。开关元件6334响应于复位信号打开和关闭连接电容元件6333两端的路径。
[0136]
在具有上述配置的减法单元633中，当开关元件6334导通(闭合)时，输入到电容元件6331的缓冲器632侧的端子的光电压是v
init
。当光电压v
init
输入到电容元件6331的缓冲器632侧的端子时，相反侧的端子是虚拟接地端子。为方便起见，将该虚拟接地端子的电位设置为零。此时，当电容元件6331的电容值为c1时，电容元件6331中累积的电荷q
init
由以下等式(1)表示。
[0137]
q
init
＝c1×
v
init
ꢀꢀꢀꢀꢀ
(1)，
[0138]
此外，在开关元件6334导通的情况下，电容元件6333的两端短路，使得电容元件6333中累积的电荷为零。随后，开关元件6334断开(打开)。在开关元件6334断开的情况下，电容元件6331的缓冲器632侧的端子的光电压表示为v
after
。在开关元件6334断开的情况下在电容元件6331中累积的电荷q
after
由以下等式(2)表示。
[0139]
q
after
＝c1×
v
after
ꢀꢀꢀꢀꢀ
(2)，
[0140]
当电容元件6333的电容值表示为c2并且运算放大器6332的输出电压表示为v
out
时，电容元件6333中累积的电荷q2由以下等式(3)表示。
[0141]
q2＝
‑
c2×
v
out
ꢀꢀꢀꢀꢀ
(3)，
[0142]
在开关元件6334断开之前和之后，包括电容元件6331的电荷量和电容元件6333的电荷量的总电荷量没有变化，因此以下等式(4)成立。
[0143]
q
init
＝q
after
q2ꢀꢀꢀꢀꢀ
(4)，
[0144]
当将等式(1)至(3)分配给等式(4)时，获得以下等式(5)。
[0145]
v
out
＝
‑
(c1/c2)
×
(v
after
‑
v
init
)
ꢀꢀꢀꢀꢀ
(5)，
[0146]
根据等式(5)，在减法单元633中，在光电压v
init
和光电压v
after
之间进行减法，即计算与光电压v
init
和光电压v
after
之间的差值(v
init
‑
v
after
)对应的差信号v
out
。此外，根据等式(5)，减法单元633的减法增益为c1/c2。通常，期望减法单元633的减法增益最大化，因此优选将电容元件6331的电容值c1设计得大而电容元件6333的电容值c2设计得小。
[0147]
另一方面，如果电容元件6333的电容值c2太小，ktc噪声会增加并且噪声特性会劣化，使得电容元件6333的电容值c2的电容减小被限制为噪声可以容忍的范围。此外，由于包括减法单元633的事件检测单元63安装在每个像素11上，电容元件6331和电容元件6333在面积上有限制。考虑到这些，确定电容元件6331的电容值c1和电容元件6333的电容值c2。
[0148]
在图8中，量化单元634包括比较器6341。在比较器6341中，来自减法单元430的差信号(即，运算放大器6332的输出信号)是同相( )输入，预定阈值电压v
th
是反相(
‑
)输入。然后，比较器6341将来自减法单元430的差信号v
out
与预定阈值电压v
th
进行比较，并将表示比较结果的高电平或低电平作为差信号v
out
的量化值输出到图6所示的转移单元635。
[0149]
在根据来自量化单元634的差信号v
out
的量化值识别出作为事件的光量的变化(亮度的变化)已经发生的情况下，即，在以下情况下：当差信号v
out
大于(或小于)预定阈值电压v
th
时，转移单元635将例如表示事件发生的高电平事件数据输出到图3的信号处理单元16。即，阈值电压v
th
是用于根据像素11的光量的变化(亮度的变化)检测事件的阈值。
[0150]
信号处理单元16在从转移单元635提供的事件数据中包括检测由事件数据表示的事件的像素11的位置信息，以及指示事件发生的时间的时间信息，并且进一步根据需要包括作为事件的光量变化的极性信息，然后输出事件数据。
[0151]
作为事件数据的数据格式，包括检测事件的像素11的位置信息、表示事件发生的时间的时间信息、以及作为事件的光量变化的极性信息。例如，可以采用称为地址事件表示(aer)的数据格式。
[0152]
注意，像素11可以通过提供透射预定光的滤光器(例如滤色器)来接收任何光作为入射光。例如，在像素11接收可见光作为入射光的情况下，事件数据表示可见对象出现的图像中像素值发生变化。此外，例如，在像素11接收红外线、毫米波等作为入射光用于距离测量的情况下，事件数据表示到对象的距离发生变化。此外，例如，在像素11接收红外线作为入射光用于测量温度的情况下，事件数据表示对象的温度发生变化。在本实施例中，像素11接收可见光作为入射光。
[0153]
[芯片结构的配置示例]
[0154]
作为上述事件检测传感器10的芯片(半导体集成电路)结构，例如，可以采用层叠
芯片结构。图9是示出事件检测传感器10的层叠芯片结构的轮廓的分解透视图。
[0155]
如图9所示，层叠芯片结构，即所谓的层叠结构，是将作为第一芯片的光接收芯片101和作为第二个芯片的检测芯片102的至少两个芯片层叠在一起的结构。然后，在图5所示的像素11的电路配置中，每个光接收元件611被布置在光接收芯片101上，并且除了光接收元件611之外的所有元件，像素11的其他电路部分的元件等都被布置在检测芯片102上。光接收芯片101和检测芯片102经由诸如通孔(via)、cu
‑
cu键合或凸块的连接部分电连接在一起。
[0156]
注意，这里，一个配置示例已经例示了光接收元件611布置在光接收芯片101上并且除光接收元件611之外的元件，像素11的其他电路部分的元件等都被布置在检测芯片102上；然而，本公开不限于该配置示例。
[0157]
例如，在图5所示的像素11的电路结构中，光接收单元61的各元件可以布置在光接收芯片101上，除光接收单元61之外的元件，像素11的其他电路部分的元件等可以布置在检测芯片102上。此外，光接收单元61、像素信号生成单元62的复位晶体管621和浮动扩散层624的各个元件可以布置在光接收芯片101上，并且除这些之外的元件也可以布置在检测芯片102上。此外，构成事件检测单元63的一些元件可以与光接收单元61的元件等一起布置在光接收芯片101上。
[0158]
<图像传感器的配置示例>
[0159]
将描述根据本实施例的成像系统1中的图像传感器20的基本配置。这里，作为图像传感器20，将作为示例描述作为一种xy地址型图像传感器的cmos图像传感器。cmos图像传感器是通过应用或部分使用cmos工艺制造的图像传感器。然而，图像传感器20不限于cmos图像传感器。
[0160]
[cmos图像传感器的配置示例]
[0161]
图10是示出作为根据本实施例的成像系统1中的图像传感器20的示例的cmos图像传感器的配置的轮廓的框图。
[0162]
根据该示例的图像传感器20包括像素阵列单元22以及像素阵列单元22的外围电路单元，其中包括光接收单元(光电转换单元)的像素21沿行方向和列方向排列，即，二维排列在矩阵中。这里，行方向是指像素行中的像素21的排列方向，列方向是指像素列中的像素21的排列方向。像素21通过执行光电转换产生并累积与接收光量相对应的光电荷。
[0163]
根据该示例的图像传感器20是rgb传感器，其中，例如，红色(r)、绿色(g)和蓝色(b)滤色器并入像素阵列单元22的每个像素21。然而，图像传感器20不限于rgb传感器。
[0164]
像素阵列单元22的外围电路单元包括例如行选择单元23、恒流源单元24、模数转换单元25、水平转移扫描单元26、信号处理单元27、定时控制单元28等。
[0165]
在像素阵列单元22中，对于矩阵状的像素阵列，像素驱动线311‑
31
m
(在下文中，可统称为“像素驱动线31”)沿每个像素行的行方向布线。此外，垂直信号线321‑
32
n
(在下文中，可以统称为“垂直信号线32”)沿着每个像素列的列方向布线。像素驱动线31传输用于在从每个像素21读取信号期间执行驱动的驱动信号。在图1中，像素驱动线31被示为一根布线，但是所述布线不限于一根布线。像素驱动线31的一端与行选择单元23的每一行对应的输出端相连。
[0166]
下文中，将对像素阵列单元22的外围电路单元的各个电路单元，即行选择单元23、
恒流源单元24、模数转换单元25、水平转移扫描单元26、信号处理单元27和定时控制单元28，进行描述。
[0167]
行选择单元23包括移位寄存器、地址解码器等，在选择像素阵列单元22的每个像素21时，控制像素行的扫描和像素行的寻址。虽然没有示出行选择单元23的具体配置，但是它一般包括两种扫描系统，读取扫描系统和扫扫描系统(sweep scanning system)。
[0168]
读取扫描系统以行为单位依次对像素阵列单元22的像素21进行选择性扫描，以从像素21读取像素信号。从像素21读取的像素信号是模拟信号。扫扫描系统在读取扫描之前以快门速度时间对读取扫描系统在其上执行读取扫描的读取行执行扫扫描。
[0169]
通过扫扫描系统的扫扫描，从读取行的像素21的光接收单元(光电转换单元)扫除不需要的电荷，由此光接收单元被复位。然后，通过利用该扫扫描系统扫除(重置)不需要的电荷来执行所谓的电子快门操作。这里，电子快门操作是指丢弃光接收单元的光电荷并开始新的曝光(开始光电荷的累积)的操作。
[0170]
恒流源单元24包括多个电流源i(见图18)，包括例如连接到每个像素列的垂直信号线321‑
32
n
中的每一个的mos晶体管，并且通过垂直信号线321‑
32
n
中的每一个提供偏置电流到由行选择单元23选择性地扫描的像素行的每个像素21。
[0171]
模数转换单元25包括与像素阵列单元22的像素列对应设置的一组多个模数转换器(例如，为每个像素列设置)。模数转换单元25是列并行型模数转换单元，其将通过每个像素列的垂直信号线321‑
32
n
中的每一个输出的模拟像素信号转换为数字信号。
[0172]
作为列并行模数转换单元25中的模数转换器，例如，可以使用作为参考信号比较型模数转换器的示例的单斜率型模数转换器。然而，模数转换器不限于单斜率型模数转换器，也可以使用顺序比较型模数转换器和δ
‑
σ调制型(δσ调制型)模数转换器等。
[0173]
对于列并行模数转换单元25中的模数转换器的例子，同样适用于构成上述事件检测传感器10的列处理单元15(见图3)的模数转换单元中的模数转换器。
[0174]
水平转移扫描单元26包括移位寄存器、地址解码器等，在读取像素阵列单元22的每个像素21的信号时，控制像素列的扫描和像素列的寻址。在水平转移扫描单元26的控制下，由模数转换单元25转换成数字信号的像素信号，以像素列为单位被读取到水平传输线(水平输出线)29。
[0175]
信号处理单元27对通过水平传输线29提供的数字像素信号执行预定信号处理以生成二维图像数据。例如，信号处理单元27校正垂直线缺陷和点缺陷、钳位信号或执行诸如并行
‑
串行转换、压缩、编码、加法、平均和间歇操作的数字信号处理。信号处理单元27将生成的图像数据作为图像传感器20的输出信号输出到后续装置。
[0176]
定时控制单元28基于从外部提供的垂直同步信号vd、水平同步信号hd以及主时钟mck(未示出)等生成各种定时信号、时钟信号、控制信号等。然后，定时控制单元28基于这些生成的信号对行选择单元23、恒流源单元24、模数转换单元25、水平传输扫描单元26、信号处理单元27等进行驱动控制。
[0177]
在定时控制单元28的控制下，图像传感器20与诸如垂直同步信号vd的同步信号同步地执行成像。即，图像传感器20是以预定的帧率(例如，固定的帧率)执行成像的同步成像设备。
[0178]
[像素的电路配置示例]
[0179]
图11是示出图像传感器20中的像素阵列单元22的像素21的电路配置的示例的电路图。
[0180]
像素21包括例如作为光接收单元(光电转换单元)的光电二极管211。除了光电二极管211之外，像素21还包括转移晶体管212、复位晶体管213、放大晶体管214和选择晶体管215。
[0181]
注意，这里，例如，n型mos晶体管用作转移晶体管212、复位晶体管213、放大晶体管214和选择晶体管215的四种晶体管，但是此处例示的四种晶体管212至215的导电类型的组合仅是一个示例，并不限于这些的组合。
[0182]
关于像素21，作为上述像素驱动线31，多条像素驱动线共同布线到同一像素行中的每个像素21。多条像素驱动线以像素行为单位与行选择单元23的每一像素行对应的输出端连接。行选择单元23向多条像素驱动线适当地输出传输信号trg、复位信号rst和选择信号sel。
[0183]
在光电二极管211中，阳极连接到低电位侧电源(例如，地)，并且接收到的光被光电转换为具有对应于光量的电荷量的光电荷(此处为光电子)，并且累积光电荷。光电二极管211的阴极通过转移晶体管212电连接到放大晶体管214的栅极。这里，放大晶体管214的栅极电连接到的区域是浮动扩散区(浮动扩散区/杂质扩散区)fd。浮动扩散区fd是将电荷转换为电压的电荷
‑
电压转换单元。
[0184]
高电平(例如，v
dd
电平)有效的转移信号trg从行选择单元23被提供给转移晶体管212的栅极。当响应于转移信号trg而导通时，转移晶体管212将由光电二极管211光电转换并累积在光电二极管211中的光电荷转移到浮动扩散区fd。
[0185]
复位晶体管213连接在电源电压v
dd
的电源线和浮动扩散区fd之间。高电平有效的复位信号rst从行选择单元23被提供给复位晶体管213的栅极。复位晶体管213响应于复位信号rst而导通，并且通过将浮动扩散区fd的电荷丢弃到电源电压v
dd
的节点来复位浮动扩散区fd。
[0186]
在放大晶体管214中，栅极连接到浮动扩散区fd，漏极连接到电源电压v
dd
的电源线。放大晶体管214用作源极跟随器的输入单元，其读取通过光电二极管211中的光电转换获得的信号。放大晶体管214的源极通过选择晶体管215连接到垂直信号线32。然后，放大晶体管214和连接到垂直信号线32一端的电流源i构成将浮动扩散区fd的电压转换为垂直信号线32的电位的源极跟随器。
[0187]
在选择晶体管215中，漏极连接到放大晶体管214的源极，源极连接到垂直信号线32。高电平有效的选择信号sel从行选择单元23被提供给选择晶体管215的栅极。选择晶体管215响应于选择信号sel而导通，从而选择像素21以将从放大晶体管214输出的信号传输到垂直信号线32。
[0188]
注意，这里，作为像素21的像素电路，以包括转移晶体管212、复位晶体管213、放大晶体管214和选择晶体管215的4tr配置为例，即，包括四种晶体管(tr)，但这不是限制。例如，可以采用省略选择晶体管215而将选择晶体管25的功能赋予放大晶体管214的3tr配置，或者必要时可以采用增加晶体管数量的5tr以上的配置。
[0189]
[芯片结构的配置示例]
[0190]
具有上述配置的图像传感器20的芯片(半导体集成电路)结构的示例包括水平安
装芯片结构和层叠芯片结构。在具有水平安装芯片结构和层叠芯片结构的任一图像传感器20中，当布置布线层一侧的基板表面为像素21的前表面时，可以采用捕捉从正面侧发出的光的前照式像素结构，也可以采用捕捉从与正面相反一侧的背面侧发出的光的背照式像素结构。下面将描述水平安装芯片结构和层叠芯片结构。
[0191]
(水平安装芯片结构)
[0192]
图12是示出图像传感器20的水平安装芯片结构的轮廓的平面图。
[0193]
如图12所示，水平安装芯片结构(所谓的水平安装结构)具有这样的结构，其中像素阵列单元22周围的电路部分形成在与像素21排列成矩阵的像素阵列单元22相同的半导体基板201上。具体地，在与像素阵列单元22相同的半导体基板201上，形成行选择单元23、恒流源单元24、模数转换单元25、水平转移扫描单元26、信号处理单元27、定时控制单元28等。
[0194]
(层叠芯片结构)
[0195]
图13是示出图像传感器20的层叠芯片结构的轮廓的分解透视图。
[0196]
如图13所示，层叠芯片结构(所谓的层叠结构)具有层叠第一半导体基板202和第二半导体基板203的至少两个半导体基板的结构。在该叠层结构中，像素阵列单元22形成于第一层的第一半导体基板202上。此外，行选择单元23、恒流源单元24、模数转换单元25、水平转移扫描单元26、信号处理单元27和定时控制单元28等电路部分形成于第二层的第二半导体基板203上。然后，第一层的第一半导体基板202和第二层的第二半导体基板203通过诸如通孔和cu
‑
cu键合的连接部分33a和33b电连接在一起。
[0197]
根据具有层叠结构的图像传感器20，适合于制造像素21的工艺可应用于第一层的第一半导体基板202，适合于制造电路部分的工艺可应用于第二层的第二半导体基板203，使得在制造图像传感器20时可以优化工艺。具体地，可以应用先进的工艺来制造电路部分。
[0198]
注意，这里以第一半导体基板202和第二半导体基板203层叠而成的具有双层结构的层叠结构为例，但层叠结构不限于双层结构，可以有三层或更多层。然后，在三层或更多层的层叠结构的情况下，诸如行选择单元23、恒流源单元24、模数转换单元25、水平转移扫描单元26和信号处理单元27的电路部分可以分散地形成在半导体基板的第二层和随后的层上。
[0199]
顺便说一下，可能会遇到在对象车辆行驶期间另一车辆突然在对象车辆前方变道的危险状态。此时，从防止碰撞事故等和维持车辆安全行驶的观点出发，期望能够预先预测这种危险状态的发生。因此，在本实施例中，在具有上述配置的成像系统1中，为了防止碰撞事故等并维持安全车辆驾驶，能够预先预测妨碍安全驾驶的危险状态的发生。
[0200]
根据本实施例，能够预先预测妨碍安全驾驶的危险状态的发生，因此能够防止碰撞事故等，有助于维持安全车辆驾驶。在下文中，将描述用于在具有上述配置的成像系统1中预测妨碍安全驾驶的危险状态的本实施例的具体示例。
[0201]
在下面描述的本实施例的每个示例中，在控制单元60的控制下在运动矢量估计单元50中执行危险状态的预测(估计)。
[0202]
<实施例1>
[0203]
实施例1是基于目标的重心的运动矢量检测车辆变道的示例。图14的流程示出出了根据实施例1的风险预测流程。
[0204]
控制单元60首先通过事件检测传感器10进行事件检测(步骤s11)，然后指定在事件检测传感器10中检测到事件的区域(步骤s12)，然后运动识别单元30执行检测为事件的目标的运动检测(步骤s13)。
[0205]
接下来，控制单元60确定是否需要使用从图像传感器20输出的图像数据来执行目标识别(步骤s14)。这里，在确定需要使用图像传感器20的图像数据执行目标识别的情况下，意味着不能仅使用从事件检测传感器10输出的事件信号(事件数据)来执行目标识别。
[0206]
在这种确定的情况下，控制单元60从图像传感器20获取以帧格式输出的图像数据(步骤s15)，然后目标识别单元40使用帧格式的图像数据对被检测为事件的目标进行识别处理(步骤s16)。在步骤s14的处理中确定不需要使用图像传感器20的图像数据来执行目标识别的情况下，控制单元60进行到步骤s16，并且仅使用从事件检测传感器10输出的事件信号(事件数据)来执行目标识别。
[0207]
接下来，控制单元60基于目标识别的结果，例如通过使用众所周知的模式匹配技术来确定被检测为事件的目标是否是车辆的一部分(步骤s17)，如果不是车辆的一部分，则返回步骤s11，重复上述过程，如果是车辆的一部分，则测量目标的重心(步骤s18)。
[0208]
随后，控制单元60预测目标的重心的运动矢量(步骤s19)，然后确定目标的重心的运动矢量是否向事件检测传感器10的视角(可成像范围)的中心移动(步骤s20)。这里，目标的重心的运动矢量朝向视角中心的事实意味着另一辆车正朝向对象车辆行驶。如果目标的重心的运动矢量不朝向视角中心，则过程返回到步骤s11并且重复上述过程。
[0209]
在控制单元60确定目标的重心的运动矢量朝向视角中心的情况下，控制单元60确定运动矢量的大小是否大于或等于预定阈值(步骤s21)。这里，当运动矢量的大小大于或等于阈值时，可以认为朝向对象车辆的其他车辆的车速高。如果运动矢量的大小小于阈值，则过程返回到步骤s11并且重复上述过程。
[0210]
在目标的重心的运动矢量朝向视角中心并且运动矢量的大小大于或等于阈值的情况下，控制单元60确定另一辆车在对象车前方变道(步骤s22)，输出警告信息用于警告已经发生危险状态(步骤s23)，并且结束上述用于变道检测的一系列处理的过程。
[0211]
从控制单元60输出的警告信息经由接口90提供给车辆控制系统7000(见图18)。在车辆控制系统7000中，当从控制单元60接收到警告信息通知时，作为示例，执行诸如在显示器等上的警报显示、通过声音发出的警报、制动控制等的控制以通知驾驶员发生了危险状态。
[0212]
<实施例2>
[0213]
实施例2是根据目标占据视角的比例和目标的重心的运动矢量来检测变道的示例。图15的流程示出了根据实施例2的风险预测的流程。
[0214]
控制单元60首先通过事件检测传感器10进行事件检测(步骤s31)，然后指定在事件检测传感器10中检测到事件的区域(步骤s32)，然后运动识别单元30执行检测为事件的目标的运动检测(步骤s33)。
[0215]
接下来，控制单元60确定是否需要使用从图像传感器20输出的图像数据来执行目标识别(步骤s34)。然后，在确定需要使用图像传感器20的图像数据来执行目标识别的情况下，控制单元60从图像传感器20获取图像数据(步骤s35)，然后目标识别单元40对检测为事件的目标进行识别处理(步骤s36)。
[0216]
在步骤s34的处理中确定不需要使用图像传感器20的图像数据执行目标识别的情况下，控制单元60进行到步骤s36，并且仅使用从事件检测传感器10输出的事件信号(事件数据)来执行目标识别。
[0217]
接下来，控制单元60基于目标识别的结果确定被检测为事件的目标是否是车辆的一部分(步骤s37)，如果它不是车辆的一部分，返回步骤s31，重复上述过程，如果它是车辆的一部分，则确定目标占据视角的比例是否大于或等于一定比例(步骤s38)。
[0218]
如果目标占据视角的比例小于一定比例，则控制单元60返回步骤s31并重复上述过程，如果该比例大于或等于一定比例，控制单元60测量目标的重心(步骤s39)，然后预测目标的重心的运动矢量(步骤s40)，然后确定目标的重心的运动矢量是否朝向视角的中心(步骤s41)。
[0219]
在确定目标的重心的运动矢量朝向视角中心的情况下，控制单元60确定运动矢量的大小是否大于或等于预定阈值(步骤s42)并且如果运动矢量的大小小于阈值，则返回到步骤s31并重复上述过程。
[0220]
在目标的重心的运动矢量朝向视角中心并且运动矢量的大小大于或等于阈值的情况下，控制单元60确定另一辆车在对象车前方变道(步骤s43)，输出警告信息用于警告已经发生危险状态(步骤s44)，并且结束上述用于变道检测的一系列处理的过程。车辆控制系统7000基于警告信息的控制如实施例1中所述。
[0221]
<实施例3>
[0222]
实施例3是在发生与变道对应的情形的情况下控制事件检测传感器10的特性的示例。图16的流程示出出了根据实施例3的风险预测的流程。
[0223]
这里，发生与变道对应的情形的情况是指在实施例1和实施例2中确定变道的情形的情况。此外，作为事件检测传感器10的特性，可以例示事件检测传感器10的分辨率或事件检测的检测灵敏度。
[0224]
控制单元60首先通过事件检测传感器10进行事件检测(步骤s51)，然后指定在事件检测传感器10中检测到事件的区域(步骤s52)，然后运动识别单元30执行检测为事件的目标的运动检测(步骤s53)。
[0225]
接下来，控制单元60确定是否需要使用从图像传感器20输出的图像数据来执行目标识别(步骤s54)。然后，在确定需要使用图像传感器20的图像数据进行目标识别的情况下，控制单元60从图像传感器20获取图像数据(步骤s55)，然后目标识别单元40对检测为事件的目标进行识别处理(步骤s56)。
[0226]
在步骤s34的过程中确定不需要使用图像传感器20的图像数据执行目标识别的情况下，控制单元60进行到步骤s56，并且仅使用从事件检测传感器10输出的事件信号(事件数据)执行目标识别。
[0227]
接下来，控制单元60基于目标识别的结果确定被检测为事件的目标是否是车辆的一部分(步骤s57)，如果它不是车辆的一部分，返回步骤s51，重复上述过程，如果它是车辆的一部分，则确定目标占据视角的比例是否大于或等于一定比例(步骤s58)。
[0228]
如果目标占据视角的比例小于一定比例，则控制单元60返回步骤s51并重复上述过程，如果该比例大于或等于一定比例，控制单元60测量目标的重心(步骤s59)，然后预测目标的重心的运动矢量(步骤s60)，然后确定目标的重心的运动矢量是否朝向视角的中心
(步骤s61)。
[0229]
在确定目标的重心的运动矢量朝向视角中心的情况下，控制单元60确定运动矢量的大小是否大于或等于预定阈值(步骤s62)并且如果运动矢量的大小小于阈值，则返回到步骤s51并重复上述过程。
[0230]
在目标的重心的运动矢量朝向视角中心并且运动矢量的大小大于或等于阈值的情况下，控制单元60确定处于其他车辆变道等危险情况，控制事件检测传感器10的特征，具体是事件检测传感器10的分辨率或事件检测的检测灵敏度(事件检测传感器10的增益)(步骤s63)，并结束用于控制上述事件检测传感器10的特征的一系列处理。
[0231]
事件检测传感器10的分辨率可以通过应用用于像素稀疏读取和像素相加读取的众所周知的技术来控制。可以通过将高分辨率设置为相对较高的分辨率来高精度地进行事件检测，并且通过将低分辨率设置为相对较低的分辨率来降低功耗。作为一个例子，可以将识别为车辆的区域(像素区域)设置为高分辨率，将识别为车辆的区域以外的区域设置为低分辨率。
[0232]
此外，可以通过控制图4所示的事件检测单元63的检测阈值来控制事件检测的检测灵敏度。更具体地，关于事件检测的检测灵敏度，可以通过改变图7所示的电流
‑
电压转换单元631的电路配置、图8所示的减法单元633的电容比、或量化单元634的阈值电压v
th
来控制。
[0233]
<修改>
[0234]
以上已经基于优选实施例描述了根据本公开的技术，但是根据本公开的技术不限于这些实施例。在上述实施例中描述的成像系统的配置和结构是示例并且可以改变。例如，在上述实施例中，为每个光接收单元61提供像素信号生成单元62以形成像素11；然而，可以采用这样的配置，其中以多个光接收单元61为单位构成一个块，在每个像素块中设置像素信号生成单元62，并且像素信号生成单元62由像素块中的多个光接收单元61共享。
[0235]
此外，在上述实施例中，目标的运动矢量被计算为目标的重心的运动矢量，但本发明不限于此，在被识别为目标的区域内的运动矢量的平均值可以被计算为目标的运动矢量。
[0236]
此外，在上述实施例中，已经描述了包括事件检测传感器10和图像传感器20两者的成像系统，但是在可以仅使用由事件检测传感器10输出的事件信号(事件数据)对被检测为事件的目标进行识别处理的情况下，并不总是需要包括图像传感器20。
[0237]
此外，作为根据本公开的实施例的修改，可以使用图17所示的配置。即，可以构成车辆控制系统7000具有图1所示的成像系统1中的一些功能的成像系统，例如，操作模式限定单元70和记录单元80的功能。
[0238]
<<根据本公开的技术的应用示例>>
[0239]
根据本公开的技术可以应用于各种产品。下面将描述更具体的应用示例。根据本公开的技术可以实现为安装在任何类型的移动体上的成像系统，例如，汽车、电动汽车、混合动力汽车、摩托车、自行车、个人交通工具、飞机、无人机、船舶、机器人、建筑机械、农业机械(拖拉机)等。
[0240]
<移动体>
[0241]
图18是示出车辆控制系统7000的示意性配置示例的框图，该车辆控制系统7000是
可以应用根据本公开的技术的移动体控制系统的示例。车辆控制系统7000包括经由通信网络7010彼此连接的多个电子控制单元。在图18所示的例子中，车辆控制系统7000包括驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、车辆外部信息检测单元7400、车辆内部信息检测单元7500和集成控制单元7600。将这些多个控制单元彼此连接的通信网络7010可以是例如符合任何标准的车载通信网络，如控制器区域网(can)、局域互联网(lin)、局域网(lan)，或flexray(注册商标)。
[0242]
每个控制单元包括根据各种程序执行运算处理的微型计算机、存储由微型计算机执行的程序、用于各种计算的参数等的存储单元，以及驱动要控制的设备的驱动电路。每个控制单元包括用于经由通信网络7010与其他控制单元进行通信的网络i/f、以及用于通过有线通信或无线通信与车辆内外的设备、传感器等进行通信的通信i/f。图18示出了作为集成控制单元7600的功能配置的微型计算机7610、通用通信i/f 7620、专用通信i/f 7630、定位单元7640、信标接收单元7650、车内设备i/f 7660、音频图像输出单元7670、车载网络i/f 7680和存储单元7690。类似地，其他控制单元均包括微型计算机、通信i/f、存储单元等。
[0243]
驱动系统控制单元7100根据各种程序控制与车辆的驱动系统相关的设备的操作。例如，驱动系统控制单元7100用作用于产生车辆驱动力的驱动力产生装置的控制装置，例如内燃机或驱动电机、用于将驱动力传递到车轮的驱动力传递机构、用于调节车辆转向角的转向机构、用于产生车辆制动力的制动装置等。驱动系统控制单元7100可包括作为控制装置的功能，例如防抱死制动系统(abs)或电子稳定控制(esc)。
[0244]
驱动系统控制单元7100连接到车辆状态检测单元7110。车辆状态检测单元7110包括例如检测车身的轴旋转运动的角速度的陀螺仪传感器、检测车辆的加速度的加速度传感器、或用于检测加速踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机速度和车轮转速等的传感器中的至少一种。驱动系统控制单元7100使用从车辆状态检测单元7110输入的信号执行元素处理，并控制内燃机、驱动马达、电动转向装置、制动装置等。
[0245]
车身系统控制单元7200根据各种程序控制装备在车身上的各种装置的操作。例如，车身系统控制单元7200用作无钥匙进入系统、智能钥匙系统、电动车窗装置或诸如头灯、尾灯、刹车灯、转向信号灯和雾灯的各种灯的控制装置。在这种情况下，可以向车身系统控制单元7200输入从替代钥匙的便携式设备发送的无线电波或各种开关的信号。车身系统控制单元7200接受这些无线电波或信号的输入并控制车辆的门锁装置、电动车窗装置、灯等。
[0246]
电池控制单元7300根据各种程序控制作为驱动马达的电源的二次电池7310。例如，诸如电池温度、电池输出电压或电池剩余容量的信息从包括二次电池7310的电池装置输入到电池控制单元7300。电池控制单元7300使用这些信号进行运算处理，并进行二次电池7310的温度调节控制或设置在电池装置中的冷却装置等的控制。
[0247]
车辆外部信息检测单元7400检测关于安装有车辆控制系统7000的车辆外部的信息。例如，成像单元7410和车辆外部信息检测单元7420中的至少一个连接到车辆外部信息检测单元7400。成像单元7410包括飞行时间(tof)相机、立体相机、单目相机、红外相机和其他相机中的至少一种。对于车辆外部信息检测单元7420，例如，用于检测当前气候或天气的环境传感器和用于检测车辆控制系统7000安装在其上的车辆周围的另一车辆、障碍物、行人等的外围信息检测传感器中的至少一个。
[0248]
环境传感器可以是例如检测下雨天气的雨滴传感器、检测雾的雾传感器、检测日照度的阳光传感器和检测降雪的雪传感器中的至少一种。外围信息检测传感器可以是超声波传感器、雷达设备和光检测和测距(lidar)设备(激光成像检测和测距(lidar)设备)中的至少一种。成像单元7410和车辆外部信息检测单元7420可以分别提供为独立的传感器或设备，或者可以提供为多个传感器或设备集成在一起的设备。
[0249]
这里，图19示出了成像单元7410和车辆外部信息检测单元7420的安装位置的示例。成像单元7910、7912、7914、7916和7918设置在例如车辆7900的前车头、侧视镜、后保险杠、后门、车内挡风玻璃上部的至少一个位置处。设置在前头部的成像单元7910和设置在车内挡风玻璃上部的成像单元7918主要获取车辆7900前方的图像。设置在侧视镜处的成像单元7912和7914主要获取车辆7900侧面的图像。设置在后保险杠或后门处的成像单元7916主要获取车辆7900后方的图像。设置在车内挡风玻璃上部的成像单元7918主要用于检测前方车辆、行人、障碍物、交通信号、交通标志、车道等。
[0250]
注意，图19示出了成像单元7910、7912、7914和7916的成像范围的示例。成像范围a表示设置在前头部的成像单元7910的成像范围，成像范围b和c分别表示设置在侧镜处的成像单元7912和7914的成像范围，成像范围d表示设置在后保险杠或后门处的成像单元7916的成像范围。例如，由成像单元7910、7912、7914和7916捕获的图像数据相互叠加，从而获得从上方观看的车辆7900的俯视图像。
[0251]
例如，设置在车辆7900的前部、后部、侧面、角落、车内挡风玻璃上部的车辆外部信息检测单元7920、7922、7924、7926、7928和7930可以是超声波传感器或雷达设备。例如，设置在车辆7900的前车头、后保险杠、后门和车内挡风玻璃上部的车辆外部信息检测单元7920、7926和7930可以是lidar设备。这些车辆外部信息检测单元7920
‑
7930主要用于检测前方车辆、行人、障碍物等。
[0252]
返回图18，将继续进行说明。车辆外部信息检测单元7400使成像单元7410捕获车辆外部的图像并接收捕获的图像数据。此外，车辆外部信息检测单元7400从连接的车辆外部信息检测单元7420接收检测信息。在车辆外部信息检测单元7420是超声波传感器、雷达设备或lidar设备的情况下，车辆外部信息检测单元7400发送超声波、电磁波等，并接收关于接收到的反射波的信息。车辆外部信息检测单元7400可以基于接收到的信息对人、汽车、障碍物、标志、路面上的字符等执行目标检测处理或距离检测处理。车辆外部信息检测单元7400可以基于接收到的信息执行用于识别降雨、雾、路面状况等的环境识别处理。车辆外部信息检测单元7400可以基于接收到的信息计算到车辆外部目标的距离。
[0253]
此外，车辆外部信息检测单元7400可以基于接收到的图像数据执行用于识别人、汽车、障碍物、标志、路面上的字符等的距离检测处理或图像识别处理。车辆外部信息检测单元7400可以对接收到的图像数据进行失真校正或对齐等处理，将不同成像单元7410捕获的图像数据进行合成，以生成俯视图或全景图。车辆外部信息检测单元7400可以使用由不同成像单元7410捕获的图像数据进行视点转换处理。
[0254]
车辆内部信息检测单元7500检测关于车辆内部的信息。车辆内部信息检测单元7500连接到例如检测驾驶员状态的驾驶员状态检测单元7510。驾驶员状态检测单元7510可以包括捕捉驾驶员的图像的相机、检测驾驶员的生物信息的生物传感器、收集车辆内部声音的麦克风等。生物传感器设置在例如座椅表面、方向盘等上，并检测坐在座椅上的乘员或
握住方向盘的驾驶员的生物信息。车辆内部信息检测单元7500可以基于从驾驶员状态检测单元7510输入的检测信息计算驾驶员的疲劳程度或专注程度，并可确定驾驶员是否打瞌睡。车辆内部信息检测单元7500可以对收集的声音信号执行噪声消除处理等。
[0255]
集成控制单元7600根据各种程序控制车辆控制系统7000中的整体操作。集成控制单元7600连接到输入单元7800。输入单元7800由乘员可以对其进行输入操作的诸如触摸面板、按钮、麦克风、开关、控制杆等的装置来实现。通过对麦克风输入的声音执行语音识别而获得的数据可以被输入到集成控制单元7600。输入单元7800例如可以是使用红外线或其他无线电波的遥控装置，或者适合车辆控制系统7000的操作的诸如移动电话或个人数字助理(pda)的外部连接装置。例如，输入单元7800可以是照相机，并且在这种情况下，乘员可以通过手势输入信息。或者，可以输入通过检测乘员佩戴的可穿戴设备的运动而获得的数据。此外，输入单元7800可以包括例如输入控制电路等，其基于乘员等使用输入单元7800输入的信息来产生输入信号，并将输入信号输出到集成控制单元7600。通过操作输入单元7800，乘员等向车辆控制系统7000输入各种数据或给出执行处理操作的指令。
[0256]
存储单元7690可以包括存储由微型计算机执行的各种程序的只读存储器(rom)和存储各种参数、计算结果、传感器值等的随机存取存储器(ram)。此外，存储单元7690可以由诸如硬盘驱动器(hdd)、半导体存储设备、光存储设备、磁光存储设备等的磁存储设备来实现。
[0257]
通用通信协议i/f 7620是协调与存在于外部环境7750中的各种设备的通信的通用通信协议i/f。通用通信协议i/f 7620可以实现蜂窝通信协议，例如全球移动通信系统(gsm(注册商标))、wimax、长期演进(lte)或高级长期演进(lte
‑
a)，或其他无线通信协议，例如无线lan(也称为wi
‑
fi(注册商标))和蓝牙(注册商标)。例如，通用通信协议i/f 7620可以通过基站或接入点连接到存在于外部网络(例如，互联网、云网络或公司特定网络)上的设备(例如，应用服务器或控制服务器)。此外，通用通信协议i/f 7620可以例如通过使用点对点(p2p)技术连接到存在于车辆附近的终端(例如，驾驶员、行人或商店的终端，或机器类型通信(mtc)终端)。
[0258]
专用通信协议i/f 7630是支持为在车辆中使用而制定的通信协议的通信协议i/f。例如，专用通信协议i/f 7630可以实现标准协议，例如由下层的ieee 802.11p和上层的ieee 1609组合的车辆环境中的无线接入(wave)、专用短程通信(dsrc)、或蜂窝通信协议。专用通信协议i/f 7630通常执行v2x通信，该概念包括车对车通信、车对基础设施通信、车对家通信和车对行人通信中的一种或多种。
[0259]
例如，定位单元7640从gnss卫星接收全球导航卫星系统(gnss)信号(例如，来自gps卫星的全球定位系统(gps)信号)以执行定位，并产生包括车辆的纬度、经度和高度的位置信息。注意，定位单元7640可以通过与无线接入点交换信号来指定当前位置，也可以从具有定位功能的移动电话、phs、智能手机等终端获取位置信息。
[0260]
信标接收单元7650例如接收从安装在道路上的无线站等发送的无线电波或电磁波，并获取诸如当前位置、拥堵、道路封闭或所需时间的信息。注意，信标接收单元7650的功能可以包括在上述专用通信协议i/f 7630中。
[0261]
车辆内部设备i/f 7660是通信接口，其调解微型计算机7610和车辆中存在的各种车辆内部设备7760之间的连接。车辆内部设备i/f 7660可以使用诸如无线lan、蓝牙(注册
商标)、近场通信(nfc)或无线usb(wusb)的无线通信协议来建立无线连接。此外，车辆内部设备i/f 7660可以经由未示出的连接端子(以及必要时的电缆)来建立诸如通用串行总线(usb)、高清多媒体接口(hdmi)(注册商标)或移动高清链接(mhl)的有线连接。车辆内部设备7760可以包括例如由乘员拥有的移动设备或可穿戴设备，或者携带在车辆中和附接到车辆的信息设备中的至少一种。此外，车辆内部设备7760可以包括执行到任何目的地的路线搜索的导航设备。车辆内部设备i/f 7660与这些车辆内部设备7760交换控制信号或数据信号。
[0262]
车载网络i/f 7680是协调微型计算机7610和通信网络7010之间通信的接口。车载网络i/f 7680根据通信网络7010支持的预定协议发送和接收信号等。
[0263]
集成控制单元7600的微型计算机7610根据各种程序基于经由通用通信协议i/f 7620、专用通信协议i/f 7630、定位单元7640、信标接收单元7650、车辆内部设备i/f 7660和车载网络i/f 7680中的至少一个获取的信息来控制车辆控制系统7000。例如，微型计算机7610可根据获取的车内外信息计算驱动力产生装置、转向机构或制动装置的控制目标值，并向驱动系统控制单元7100输出控制指令。例如，微型计算机7610可以执行协同控制，旨在实现高级驾驶员辅助系统(adas)的功能，其包括车辆的防撞或减震、基于车间距的跟随行驶、车速保持行驶、车辆碰撞警告、车道偏离警告等。此外，微型计算机7610可以基于获取的车辆周围的信息，通过控制驱动力产生装置、转向机构、制动装置等，来执行以自动驾驶等为目的的协同控制，该自动驾驶等不依赖于驾驶员的操作而自主行驶。
[0264]
微型计算机7610可以基于经由通用通信协议i/f 7620、专用通信协议i/f 7630、定位单元7640、信标接收单元7650、车辆内部设备i/f 7660和车载网络i/f 7680中的至少一个获取的信息，生成车辆与诸如周围结构或人的目标之间的三维距离信息，并创建包括车辆当前位置的周边信息的本地地图信息。此外，基于所获取的信息，微型计算机7610可以预测危险，例如车辆碰撞、行人接近等，或者进入封闭道路，并产生警告信号。警告信号可以是例如用于产生警告声音或用于打开警告灯的信号。
[0265]
音频图像输出单元7670将音频和图像中的至少一个的输出信号发送到能够在视觉上或听觉上向车辆内或车辆外的乘员通知信息的输出设备。在图18的示例中，作为输出设备，示出了音频扬声器7710、显示单元7720和仪表板7730。显示单元7720可以包括例如车载显示器和平视显示器中的至少一种。显示单元7720可以具有增强现实(ar)显示功能。输出设备可以是除这些设备之外的其他设备，例如灯、投影仪，或者乘员佩戴的诸如耳机和眼镜式显示器的可穿戴设备。在输出设备为显示设备的情况下，显示设备以文本、图像、表格或图形等各种格式，可视化显示微型计算机7610进行各种处理后的结果或从其他控制单元接收到的信息。此外，在输出设备是音频输出设备的情况下，音频输出设备将包括再现音频数据、声学数据等的音频信号转换成模拟信号以在听觉上输出该模拟信号。
[0266]
注意，在图18所示的示例中，经由通信网络7010连接在一起的至少两个控制单元可以被集成为一个控制单元。或者，每个控制单元可以由多个控制单元构成。此外，车辆控制系统7000可以包括未示出的另一个控制单元。此外，在以上描述中，由任何控制单元执行的一些或全部功能可以由另一个控制单元执行。即，只要经由通信网络7010发送和接收信息，就可以由任何控制单元执行预定的运算处理。类似地，连接到任何控制单元的传感器或设备可以连接到另一个控制单元，并且多个控制单元可以经由通信网络7010相互发送和接
收检测到的信息。
[0267]
在上文中，已经描述了可以应用根据本公开的技术的车辆控制系统的示例。在上述配置中，根据本公开的技术可以应用于例如成像单元7910、7912、7914、7916和7918等。具体地，本公开的成像系统可以应用于这些成像单元。本公开的成像系统可以提前预测危险状态，例如在行驶过程中另一辆车突然变道在对象车辆前方，从而可以防止碰撞事故等，并有助于维持安全车辆行驶。
[0268]
<本公开可采用的配置>
[0269]
注意，本公开还可以采用以下配置。
[0270]
<<成像系统>>
[0271]
[a
‑
1]一种成像系统，包括：
[0272]
检测事件的事件检测传感器；
[0273]
目标识别单元，根据从事件检测传感器输出的事件信号，对被检测为事件的目标进行识别处理；
[0274]
运动矢量估计单元，根据目标识别单元的识别结果估计目标的运动矢量；以及
[0275]
控制单元，基于运动矢量估计单元的估计结果输出用于警告已经发生危险状态的警告信息。
[0276]
[a
‑
2]根据[a
‑
1]的成像系统，其中
[0277]
事件检测传感器包括异步成像设备，其将入射光进行光电转换的像素的亮度变化超过预定阈值，检测为事件。
[0278]
[a
‑
3]根据[a
‑
2]的成像系统，其中
[0279]
成像系统安装在移动体上使用。
[0280]
[a
‑
4]根据[a
‑
1]至[a
‑
3]中任一项的成像系统，其中
[0281]
运动矢量估计单元检测成像帧之间的运动矢量以估计画面中目标的运动。
[0282]
[a
‑
5]根据[a
‑
1]至[a
‑
4]中任一项的成像系统，进一步包括
[0283]
以预定的帧速率执行成像的图像传感器。
[0284]
[a
‑
6]根据[a
‑
5]的成像系统，其中
[0285]
目标识别单元使用从图像传感器输出的帧格式的图像数据执行事件识别处理。
[0286]
[a
‑
7]根据[a
‑
1]至[a
‑
6]中任一项的成像系统，其中
[0287]
控制单元将车辆变道确定为危险状态。
[0288]
[a
‑
8]根据[a
‑
7]的成像系统，其中
[0289]
控制单元基于目标的重心的运动矢量检测车辆变道。
[0290]
[a
‑
9]根据[a
‑
8]的成像系统，其中
[0291]
当目标的重心的运动矢量朝向视角中心且运动矢量的大小为预定阈值时，控制单元检测车辆变道。
[0292]
[a
‑
10]根据[a
‑
7]的成像系统，其中
[0293]
控制单元基于目标占据事件检测传感器的视角的比例和目标的重心的运动矢量，来检测车辆变道。
[0294]
[a
‑
11]根据[a
‑
10]的成像系统，其中
[0295]
当目标占据事件检测传感器的视角的比例大于或等于一定比例，并且目标的重心
的运动矢量朝向视角的中心时，且运动矢量的大小为预定阈值时，控制单元检测车辆变道。
[0296]
[a
‑
12]根据[a
‑
1]至[a
‑
6]中任一项的成像系统，其中
[0297]
当目标占据事件检测传感器的视角的比例大于或等于一定比例，并且目标的重心的运动矢量朝向视角的中心，且运动矢量的大小为预定阈值时，控制单元控制事件检测传感器的特征。
[0298]
[a
‑
13]根据[a
‑
12]的成像系统，其中
[0299]
事件检测传感器的特征是事件检测传感器的分辨率。
[0300]
[a
‑
14]根据[a
‑
12]的成像系统，其中
[0301]
事件检测传感器的特征是事件检测的检测灵敏度。
[0302]
参考标记列表
[0303]
成像系统1
[0304]
事件检测传感器10
[0305]
像素11
[0306]
像素阵列单元12
[0307]
驱动单元13
[0308]
仲裁器单元(仲裁单元)14
[0309]
列处理单元15
[0310]
信号处理单元16
[0311]
图像传感器20
[0312]
像素21
[0313]
像素阵列单元22
[0314]
行选择单元23
[0315]
恒流源单元24
[0316]
模数转换单元25
[0317]
水平转移扫描单元26
[0318]
信号处理单元27
[0319]
定时控制单元28
[0320]
运动识别单元30
[0321]
目标识别单元40
[0322]
运动矢量估计单元50
[0323]
控制单元60
[0324]
操作模式限定单元70
[0325]
记录单元80
[0326]
接口90。