固态成像装置以及具有组合的动态视觉传感器和成像功能的成像装置的制作方法

1.本公开涉及一种具有动态视觉传感器和成像能力两者的成像装置。


背景技术：

2.在相关技术中，与诸如垂直同步信号等同步信号同步地捕获图像数据的同步型固态成像装置已经被用于成像装置等中。在典型的同步型固态成像装置中，难以针对同步信号的每个周期(例如，针对每1/60秒)获取图像数据，因此难以应对其中例如在诸如自动驾驶汽车、机器人等要求高速(例如，实时)处理的领域等中需要相对高速处理的情况。在这方面，提出了一种非同步型固态成像装置，其中针对每个像素提供检测电路以实时检测其中光接收量超过阈值的情况作为地址事件。针对每个像素来检测地址事件的非同步型固态成像装置也被称为动态视觉传感器(dvs)。


技术实现要素：

3.[技术问题]
[0004]
可以使用各种方法实现具有dvs和基于常规帧的成像的组合的传感器。这些包括以使用额外光电二极管进行基于时间的读出为特征的装置，称为异步的基于时间的图像传感器(atis)系统。然而，因为atis系统需要每个像素两个光电二极管来提供图像传感器和dvs信号，所以与不需要额外光电二极管的配置相比，它们的分辨率和图像质量会下降。其他装置以使用共用光电二极管来提供图像传感器信号和动态视觉传感器(dvs)事件信号的像素为特征，称为动态和主动像素视觉传感器(davis)系统。然而，由于需要抑制图像和事件检测功能之间的干涉，davis系统的敏感度会降低，因为这些功能没有很好地隔离。另外，读出dvs和主动图像传感器信号的困难会降低davis传感器的动态范围。
[0005]
因此，本公开提供了一种固态成像装置和成像装置，与其他构成相比，其能够提供成像和事件检测功能两者并且具有改善的事件检测能力和光接收效率。
[0006]
[问题的解决方案]
[0007]
根据本公开的实施方案和方面，提供了一种包括配置在像素阵列中的多个光电转换区域或像素(在本文中也称为单位像素)的成像装置。至少一些像素被构造为事件检测像素，而其他像素被构造为图像感测或捕获像素。通常，事件检测像素散布在像素阵列内的图像捕获像素之间。在操作中，由一个或多个事件检测像素对事件的检测触发图像感测像素的操作。
[0008]
各像素包括单个光电转换区域和相关联的读出电路。更具体地，各图像感测像素包括光电转换区域和第一读出电路，在本文中也称为成像产生单元或电路。各事件检测像素包括光电转换区域和第二读出电路，在本文中也称为事件检测电路。
[0009]
根据本公开的至少一些实施方案和方面，各事件检测像素占据比任何一个图像感测像素更大的像素阵列的面积。作为示例但不限于，各事件检测像素可以占据是各图像感
测像素的面积四倍的面积。根据本公开的其他实施方案和方面，各事件检测像素可以占据与各图像感测像素的面积相等的面积。根据本公开的又一实施方案，不同比例的图像感测像素与事件检测像素可以包括在像素阵列内。作为示例但不限于，该比例可以为3：1、4：1、12：1、15：1、32：1或35：1。根据本公开的至少一些实施方案和方面，各事件检测像素的光电转换区域的任何面积之比在像素阵列的平面内占据较大的面积。
[0010]
根据本公开的又一实施方案和方面，设置有隔离结构以将至少一些单位像素与其他单位像素隔离。例如，全厚度介电沟槽隔离(rfti)隔离结构可以形成在每个事件检测像素的周围。作为另一示例，后深沟槽隔离(rdti)隔离结构可以形成在图像感测像素的至少部分的周围，以提供相邻图像感测像素之间的隔离。根据本公开的又一实施方案和方面，至少一些读出电路元件可以由多个光电转换区域共享。例如，图像感测像素的组可以共享读出电路元件。作为示例但不限于，图像感测像素的组可以是拜耳阵列的形式。根据本公开的又一实施方案，事件检测像素中的一些或全部可以额外地充当图像感测像素。此外，在这种实施方案中，可以共享图像传感器读出电路元件和事件检测像素的组内的事件检测电路元件。作为示例但不限于，这样的事件检测像素的组可以是拜耳阵列的形式。
[0011]
本公开可以提供具有动态视觉感测和成像能力的能够改善光接收效率的成像装置。
附图说明
[0012]
图1是示出根据本公开实施方案的固态成像装置的示意性构成例的框图。
[0013]
图2是示出根据本公开实施方案的固态成像装置的层叠结构例的图。
[0014]
图3是示出根据本公开实施方案的固态成像装置的功能构成例的框图。
[0015]
图4是示出在滤色器阵列中采用拜耳(bayer)阵列的情况下根据本公开实施方案的单位像素的阵列示例的示意图。
[0016]
图5a是示出根据本公开实施方案的具有组合的事件检测和图像传感器功能的单位像素的示意性构成例的电路图。
[0017]
图5b是示出根据本公开实施方案的图像感测像素组的示意性构成例的电路图。
[0018]
图5c是示出根据本公开实施方案的事件检测像素的示意性构成例的电路图。
[0019]
图6是示出根据本公开实施方案的地址事件检测单元的示意性构成例的框图。
[0020]
图7是示出根据本公开实施方案的减法器和量化器的示意性构成例的电路图。
[0021]
图8是示出根据本公开实施方案的列adc的示意性构成例的框图。
[0022]
图9a是示出根据本公开实施方案的固态成像装置的操作示例的时序图。
[0023]
图9b是示出根据本公开其他实施方案的固态成像装置的操作示例的时序图。
[0024]
图10是示出根据本公开实施方案的固态成像装置的操作示例的流程图。
[0025]
图11a是包括如同第一示例性实施方案中那样构造的像素组的像素阵列的一部分的平面图。
[0026]
图11b是包括如同第一示例性实施方案中那样构造的像素组的另一像素阵列的一部分的平面图。
[0027]
图11c是包括如同第一示例性实施方案中那样构造的像素组的另一像素阵列的一部分的平面图。
[0028]
图12a是包括如同第一示例性实施方案中那样构造的像素组的像素阵列的一部分的截面图。
[0029]
图12b是包括如同第一示例性实施方案中那样构造的像素组的另一像素阵列的一部分的截面图。
[0030]
图13是根据第一示例性实施方案的图像感测像素组的构成的平面图。
[0031]
图14是如同第一示例性实施方案中那样构造的事件检测像素的构成的平面图。
[0032]
图15是示出根据本公开其他实施方案的组合的事件检测和图像感测像素组的示意性构成例的电路图。
[0033]
图16a是包括如同第二示例性实施方案中那样构造的像素组的像素阵列的一部分的平面图。
[0034]
图16b是包括如同第二示例性实施方案中那样构造的像素组的另一像素阵列的一部分的平面图。
[0035]
图16c是包括如同第二示例性实施方案中那样构造的像素组的另一像素阵列的一部分的平面图。
[0036]
图17a是根据本公开第二示例性实施方案的像素阵列的一部分的截面图。
[0037]
图17b是根据本公开第二示例性实施方案的另一像素阵列的一部分的截面图。
[0038]
图18是根据第二示例性实施方案的图像感测像素组的构成的平面图。
[0039]
图19是根据第二示例性实施方案的组合的事件检测和图像感测像素组的构成的平面图。
[0040]
图20是示出根据本公开实施方案的组合的事件检测和图像感测像素的示意性构成例的电路图。
[0041]
图21a是包括如同第三示例性实施方案中那样构造的像素组的像素阵列的一部分的平面图。
[0042]
图21b是包括如同第三示例性实施方案中那样构造的像素组的另一像素阵列的一部分的平面图。
[0043]
图21c是包括如同第三示例性实施方案中那样构造的像素组的另一像素阵列的一部分的平面图。
[0044]
图22a是根据第三示例性实施方案的像素阵列的一部分的截面图。
[0045]
图22b是根据第三示例性实施方案的另一像素阵列的一部分的截面图。
[0046]
图23是根据第三示例性实施方案的图像感测像素组的构成的平面图。
[0047]
图24是根据第三示例性实施方案的组合的事件检测和图像感测像素的平面图。
[0048]
图25是示出根据本公开实施方案的图像感测像素组的示意性构成例的电路图。
[0049]
图26a是包括如同第四示例性实施方案中那样构造的像素组的像素阵列的一部分的平面图。
[0050]
图26b是包括如同第四示例性实施方案中那样构造的像素组的另一像素阵列的一部分的平面图。
[0051]
图26c是包括如同第四示例性实施方案中那样构造的像素组的另一像素阵列的一部分的平面图。
[0052]
图27a是根据本公开第四示例性实施方案的像素阵列的一部分的截面图。
[0053]
图27b是根据本公开第四示例性实施方案的另一像素阵列的一部分的截面图。
[0054]
图28a是包括如同第五示例性实施方案中那样构造的像素组的像素阵列的一部分的平面图。
[0055]
图28b是包括如同第五示例性实施方案中那样构造的像素组的另一像素阵列的一部分的平面图。
[0056]
图29a是根据第五示例性实施方案的像素阵列的一部分的截面图。
[0057]
图29b是根据第五示例性实施方案的另一像素阵列的一部分的截面图。
[0058]
图30是根据第五示例性实施方案的图像感测像素组的构成的平面图。
[0059]
图31是示出车辆控制系统的示意性构成的示例的框图。
[0060]
图32是示出车外信息检测单元和成像单元的安装位置的示例的图。
具体实施方式
[0061]
在下文中，将基于附图详细说明本公开的实施方案。此外，在以下的实施方案中，对相同的部分赋予相同的附图标记，并省略其重复说明。
[0062]
典型的动态视觉传感器(dvs)采用所谓的事件驱动型驱动方法，其中针对每个单位像素检测地址事件点火的存在或不存在，并从其中检测到地址事件点火的单位像素中读出像素信号。
[0063]
此外，本说明书中的单位像素代表包括一个光电转换元件(也称为“光接收元件”)的像素或单位像素的最小单元，并且作为示例，可以对应于从图像传感器中读出的图像数据中的每个点。另外，地址事件代表针对可分配给以二维格子状排列的多个单位像素中每一个的每个地址发生的事件。事件检测传感器异步地响应于强度的变化。强度变化与光电流的变化相关，并且如果这种变化超出恒定的阈值，则可以将其检测为事件。
[0064]
图1是示出根据本公开至少一些实施方案的成像装置的示意性构成例的框图。如图1所示，例如，成像装置100包括成像透镜110、固态成像装置200、记录单元120和控制单元130。作为示例，成像装置100可以被设置作为安装在工业机器人中的相机、车载相机或其一部分，或者作为其他设备或仪器的一部分或与其连接。
[0065]
成像透镜110可以包括引导(例如，会聚)入射光并将入射光的图像成像在固态成像装置200(在本文中也简称为成像装置200)的光接收面上的光学系统。光接收面是其上配置有固态成像装置200中的光电转换元件的基板的表面。固态成像装置200对入射光进行光电转换，以产生图像数据。另外，固态成像装置200可以对产生的图像数据实施诸如噪声去除和白平衡调整等预定的信号处理。通过信号处理获得的结果和指示地址事件点火的存在或不存在的检测信号通过信号线209输出到记录单元120。此外，稍后将说明指示地址事件点火的存在或不存在的检测信号的生成方法。
[0066]
例如，记录单元120由闪存、动态随机存取存储器(dram)、静态随机存取存储器(sram)等构成，并记录从固态成像装置200输入的数据。
[0067]
例如，控制单元130由中央处理单元(cpu)等构成，并通过信号线139输出各种指令，以控制成像装置100中的诸如固态成像装置200等各个单元。
[0068]
接下来，将参照附图详细说明固态成像装置200的构成例。
[0069]
图2是示出根据本公开至少一些实施方案的固态成像装置200的层叠结构例的图。
如图2所示，固态成像装置200可以具有其中光接收芯片201和逻辑芯片202垂直层叠的结构。在光接收芯片201和逻辑芯片202的接合中，例如，可以使用所谓的直接接合，其中芯片的接合面被平坦化并且使用电子间力来层叠芯片。然而，不限于此，例如，也可以使用其中形成在接合面上的铜(cu)电极焊盘被接合的所谓的cu-cu接合、凸块接合等。
[0070]
另外，例如，光接收芯片201和逻辑芯片202通过贯通半导体基板的诸如硅通孔(tsv)等连接部彼此电气连接。在使用tsv的连接中，例如，可以采用其中包括形成在光接收芯片201中的tsv和从光接收芯片201形成到逻辑芯片202的tsv的两个tsv在芯片外表面上彼此连接的所谓的双tsv方法、其中光接收芯片201和逻辑芯片202通过贯通两个芯片的tsv连接的所谓的共用tsv方法等。
[0071]
然而，在光接收芯片201和逻辑芯片202的接合中使用cu-cu接合或凸块接合的情况下，光接收芯片201和逻辑芯片202通过cu-cu接头或凸块接头彼此电气连接。
[0072]
图3是示出根据本公开至少一些实施方案的固态成像装置的功能构成例的框图。如图3所示，固态成像装置200包括驱动电路211、信号处理单元212、仲裁器213、列adc 220和像素阵列300。
[0073]
在本文中也简称为像素310的多个单位胞或像素310以二维格子状配置在像素阵列300中。稍后将说明单位像素310的细节。例如，每个单位像素310包括诸如光电二极管等光电转换元件和生成与光电转换元件中产生的电荷量相对应的电压值的像素信号的电路(在下文中，被称为像素电路)。此外，如本文更详细讨论的，像素电路可以包括第一或成像信号生成电路以及第二或地址事件检测读出电路中的任一者或两者。各光电转换元件可以与各个像素电路相关联，或者多个光电转换元件可以与共用像素电路相关联。
[0074]
多个单位像素310以二维格子状配置在像素阵列300中。多个单位像素310可以被分组为分别包括预定数量的单位像素的多个像素块或组。在下文中，在水平方向上配置的单位像素的集合被称为“行”，并且在与行正交的方向上配置的单位像素的集合被称为“列”。
[0075]
每个单位像素310产生与在各自的光电转换元件处接收的光量相对应的电荷。另外，单位像素310中的至少一些可以被操作为基于由在光电转换元件中产生的电荷所产生的电流(在下文中，称为光电流)的值或其变化量是否超出预定的阈值来检测地址事件点火的存在或不存在。另外，当地址事件被点火时，用于读出与光电转换元件的光接收量相对应的电压值的像素信号的请求被输出到仲裁器213。
[0076]
驱动电路211驱动各个单位像素310，并允许各个单位像素310向列adc 220输出像素信号。
[0077]
仲裁器213对来自单位像素310的请求进行仲裁，并且基于仲裁结果向发出请求的单位像素310发送预定的响应。接收响应的单位像素310向驱动电路211和信号处理单元212提供指示地址事件点火的存在或不存在的检测信号(在下文中，简称为“地址事件检测信号”)。
[0078]
针对每个单位像素310列，列adc 220将来自该列的模拟像素信号转换成数字信号。另外，列adc 220将通过转换生成的数字信号供给到信号处理单元212。
[0079]
信号处理单元212对从列adc 220传输的数字信号实施诸如相关双采样(cds)处理(噪声去除)和白平衡调整等预定的信号处理。另外，信号处理单元212通过信号线209向记
录单元120提供信号处理结果和地址事件检测信号。
[0080]
像素阵列单元300内的单位像素310可以布置在像素组314中。例如，在图3所示的构成中，像素阵列单元300由像素组314构成，该像素组包括接收重构颜色所需的波长分量的单位像素310的集合。例如，在基于rgb的三原色重构颜色的情况下，在像素阵列单元300中，接收红(r)色光的单位像素310、接收绿(g)色光的单位像素310和接收蓝(b)色光的单位像素310根据预定的滤色器阵列配置成组314a。
[0081]
滤色器阵列构成的示例包括多种阵列或像素组，如2
×
2像素的拜耳阵列、在x-trans(注册商标)cmos传感器中采用的3
×
3像素的滤色器阵列(在下文中，也称为“x-trans(注册商标)型阵列”)、4
×
4像素的四拜耳阵列(也称为“quadra阵列”)和其中白色rgb滤色器被组合到拜耳阵列(在下文中，也称为“白色rgb阵列”)的4
×
4像素的滤色器等。另外，如本文其他部分更详细讨论的，事件检测像素可以散布或包括在像素阵列300内。同样如本文其他部分更详细讨论的，事件检测像素可以被设置为仅执行事件检测功能的专用事件检测像素，或者被设置为执行事件检测和图像传感器功能两者的组合的事件检测和图像感测像素。
[0082]
图4是示出在采用像素组314的情况下的单位像素310的阵列示例的示意图，其中单位像素310和滤色器阵列中的相关联的滤色器的布置被构造为形成多个拜耳阵列310a。如图4所示，在采用拜耳阵列作为滤色器阵列构成的情况下，在像素阵列300中，包括2
×
2像素的总共四个单位像素310的基本图案310a在列方向和行方向上重复排列。例如，基本图案310a由包括红(r)色的滤色器401的单位像素310r、包括绿(gr)色的滤色器401的单位像素310gr、包括绿(gb)色的滤色器401的单位像素310gb和包括蓝(b)色的滤色器401的单位像素310b。
[0083]
接下来，将说明单位像素310的构成例。图5a是示出根据本公开至少一些实施方案的单位像素310的示意构成例的电路图，特别是根据包括被构造为执行事件检测和图像传感器功能两者的组合或共享的事件检测(dvs)和图像传感器(is)像素501的像素310的实施方案。如图5a所示，单位像素310包括例如像素成像信号生成单元(或读出电路)320、光接收单元330和地址事件检测单元(或读出电路)400。根据至少一个示例性实施方案，读出电路400被构造为基于由光电转换元件(或光电转换区域)333产生的电荷来控制读出电路320。此外，图5a中的逻辑电路210是包括例如图3中的驱动电路211、信号处理单元212和仲裁器213的逻辑电路。
[0084]
例如，光接收单元330包括第一或成像传输晶体管或栅极(第一晶体管)331、第二或地址事件检测传输晶体管或栅极(第二晶体管)332以及光电转换元件333。从驱动电路211发送的第一传输信号tg1选择性地供给到光接收单元330的第一传输晶体管331的栅极，并且从驱动电路211发送的第二传输信号tg2选择性地供给到第二传输晶体管332的栅极。通过光接收单元330的第一传输晶体管331的输出连接到像素成像信号生成单元320，并且通过第二传输晶体管332的输出连接到地址事件检测单元400。
[0085]
例如，像素成像信号生成单元320包括复位晶体管(第三晶体管)321、放大晶体管(第四晶体管)322、选择晶体管(第五晶体管)323和浮动扩散层(fd)324。
[0086]
根据本公开的至少一些实施方案，光接收单元330的第一传输晶体管331和第二传输晶体管332例如通过使用n型金属氧化物半导体(mos)晶体管(在下文中，简称为“nmos晶
体管”)构成。类似地，像素成像信号生成单元320的复位晶体管321、放大晶体管322和选择晶体管323各自例如通过使用nmos晶体管构成。
[0087]
例如，地址事件检测单元400包括电流-电压转换单元410和减法器430。然而，地址事件检测单元400还设置有缓冲器、量化器和传输单元。在以下说明中将通过使用图6等说明地址事件检测单元400的细节。
[0088]
在示出的构成中，光接收单元330的光电转换元件333对入射光进行光电转换，以产生电荷。第一传输晶体管331根据第一传输信号tg1将光电转换元件333中产生的电荷传输到浮动扩散层324。第二传输晶体管332根据第二控制信号tg2将基于光电转换元件333中产生的电荷的电信号(光电流)供给到地址事件检测单元400。
[0089]
当由控制单元130给出用于图像感测的指令时，逻辑电路210中的驱动电路211输出控制信号tg1，用于将像素阵列300中的光接收单元330的第一传输晶体管331设定为导通状态。通过这种配置，在光接收单元330的光电转换元件333中产生的光电流通过第一传输晶体管331供给到像素成像信号生成读出电路320。更具体地，浮动扩散层324累积从光电转换元件333通过第一传输晶体管331传输的电荷。复位晶体管321根据从驱动电路211传输的复位信号排出(初始化)在浮动扩散层324中累积的电荷。放大晶体管322允许电压值与浮动扩散层324中累积的电荷量相对应的像素信号出现在垂直信号线vsl中。选择晶体管323根据从驱动电路211传输的选择信号sel来切换放大晶体管322和垂直信号线vsl之间的连接。此外，出现在垂直信号线vsl中的模拟像素信号通过列adc 220被读出并被转换成数字像素信号。
[0090]
当由控制单元130给出用于地址事件检测启动的指令时，逻辑电路210中的驱动电路211输出控制信号，用于将像素阵列单元300中的光接收单元330的第二传输晶体管332设定为导通状态。通过这种配置，在光接收单元330的光电转换元件333中产生的光电流通过第二传输晶体管332供给到各单位像素310的地址事件检测单元400。
[0091]
当基于来自光接收单元330的光电流检测地址事件点火时，各单位像素310的地址事件检测单元400向仲裁器213输出请求。相对于此，仲裁器213仲裁从每个单位像素310发送的请求，并基于仲裁结果向发出请求的单位像素310发送预定的响应。接收响应的单位像素310向逻辑电路210中的驱动电路211和信号处理单元212供给指示地址事件点火的存在或不存在的检测信号(在下文中，称为“地址事件检测信号”)。
[0092]
驱动电路211还可以将作为地址事件检测信号的供应源的单位像素310中的第二传输晶体管332设定为断开状态。通过这种配置，停止从光接收单元330向单位像素310中的地址事件检测单元400供给光电流。
[0093]
接下来，驱动电路211通过传输信号tg1将单位像素310的光接收单元330中的第一传输晶体管331设定为导通状态。通过这种配置，在光接收单元330的光电转换元件333中产生的电荷通过第一传输晶体管331传输到浮动扩散层324。另外，电压值与浮动扩散层324中累积的电荷量相对应的像素信号出现在连接到像素成像信号生成单元320的选择晶体管323的垂直信号线vsl中。
[0094]
如上所述，在固态成像装置200中，像素信号sig从其中检测到地址事件点火的单位像素310输出到列adc 220。根据本公开的另一实施方案，从与已经被供给地址事件检测信号的单位像素310的地址相关联的单位像素310的组或子阵列内的单位像素310输出像素
信号。
[0095]
此外，例如，光接收单元330、像素成像信号生成单元320以及地址事件检测单元400的电流-电压转换单元410中的两个对数(lg)晶体管(第六和第七晶体管)411和414以及两个放大晶体管(第八和第九晶体管)412和413配置在例如图2示出的光接收芯片201中，并且其他组件可以配置在例如通过cu-cu接合接合到光接收芯片201的逻辑芯片202中。因此，在下面的说明中，在单位像素310中，配置在光接收芯片201中的构成被称为“上层电路”。
[0096]
图5b中示出了根据本公开至少一些实施方案的被构造为具有共享的像素成像信号生成读出电路320的图像感测像素502的单位像素310的组的构成例。在该示例中，各光电转换元件333经由各自的传输栅极331选择性地连接到浮动扩散324。另外，像素成像信号读出电路320的组件由光电转换单元333共享。在该示例中，示出了三个光电转换单元333a-333d以及三个对应的传输栅极331a-331d。然而，可以结合共享的像素成像信号读出电路320而包括任意数量的光电转换单元333和各自的传输栅极331。
[0097]
图5c中示出了被构造为单功能地址事件检测像素503和相关联的地址事件检测读出电路400的元件的单位像素310的构成例。如图所示，该示例包括单个光电转换元件333，其通过传输栅极332选择性地连接到不与任何其他光电转换元件333相关联的地址事件检测读出电路400的组件。事件扫描控制块415控制地址事件检测读出电路400的操作。响应于地址事件检测读出电路400在电路400激活时对事件的检测，启动417相关联的图像感测像素或像素310的组的图像传感器捕获。
[0098]
图6是示出根据本公开至少一些实施方案的地址事件检测单元400的示意性构成例的框图。如图6所示，地址事件检测单元400包括电流-电压转换单元410、缓冲器420、减法器430、量化器440和传输单元450。
[0099]
电流-电压转换单元410将来自光接收单元330的光电流以其对数形式转换为电压信号，并将通过转换生成的电压信号供给到缓冲器420。
[0100]
缓冲器420对从电流-电压转换单元410传输的电压信号进行校正，并将校正后的电压信号输出到减法器430。
[0101]
减法器430根据从驱动电路211传输的行驱动信号降低从缓冲器420传输的电压信号的电压电平，并将降低的电压信号供给到量化器440。
[0102]
量化器440将从减法器430传输的电压信号量化为数字信号，并将通过量化生成的数字信号作为检测信号输出到传输单元450。
[0103]
传输单元450将从量化器440传输的检测信号发送到信号处理单元212等。例如，当检测到地址事件点火时，传输单元450供给从传输单元450向驱动电路211以及从信号处理单元212向仲裁器213传输地址事件检测信号的请求。另外，当从仲裁器213接收到相对于请求的响应时，传输单元450将检测信号供给到驱动电路211和信号处理单元212。
[0104]
例如，在图6示出的构成中的电流-电压转换单元410可以包括如图5a所示的两个lg晶体管411和414、两个放大晶体管412和413以及恒流电路415。
[0105]
例如，lg晶体管411的源极和放大晶体管413的栅极连接到光接收单元330的第二传输晶体管332的漏极。另外，例如，lg晶体管411的漏极连接到lg晶体管414的源极和放大晶体管412的栅极。例如，lg晶体管414的漏极连接到电源端子vdd。
[0106]
另外，例如，放大晶体管413的源极接地，并且其漏极连接到lg晶体管411的栅极和
放大晶体管412的源极。例如，放大晶体管412的漏极通过恒流电路415连接到电源端子vdd。例如，恒流电路415由诸如p型mos晶体管等负载mos晶体管构成。
[0107]
在这种连接关系中，构成了环形源极跟随器电路。通过这种配置，来自光接收单元330的光电流被转换成与其电荷量相对应的对数值的电压信号。此外，例如，lg晶体管411和414以及放大晶体管412和413可以分别由nmos晶体管构成。
[0108]
图7是示出根据本公开至少一些实施方案的减法器430和量化器440的示意性构成例的电路图。如图7所示，减法器430包括电容器431和433、反相器432和开关434。另外，量化器440包括比较器441。
[0109]
电容器431的一端连接到缓冲器420的输出端子，并且另一端连接到反相器432的输入端子。电容器433并联连接到反相器432。开关434根据行驱动信号打开或关闭连接电容器433的两端的路径。
[0110]
反相器432将通过电容器431输入的电压信号反相。反相器432向比较器441的非反相输入端子( )输出反相信号。
[0111]
当开关434接通时，电压信号vinit被输入到电容器431的缓冲器420侧。另外，相反侧成为虚拟接地端子。为了方便起见，虚拟接地端子的电位被设定为零。此时，当电容器431的容量被设定为c1时，电容器431中累积的电位qinit由下式(1)表示。另一方面，电容器433的两端短路，因此其累积电荷为零。
[0112]
qinit＝c1
×
vinit
ꢀꢀꢀꢀꢀ
(1)
[0113]
接下来，当考虑到其中开关434断开并且缓冲器420侧的电容器431的电压变化而达到vafter时，电容器431中累积的电荷qafter由下式(2)表示。
[0114]
qafter＝c1
×
vafter
ꢀꢀꢀꢀꢀ
(2)
[0115]
另一方面，当输出电压被设定为vout时，电容器433中累积的电荷q2由下式(3)表示。
[0116]
q2＝-c2
×
vout
ꢀꢀꢀꢀꢀ
(3)
[0117]
此时，电容器431和433的总电荷量没有变化，因此下式(4)成立。
[0118]
qinit＝qafter q2
ꢀꢀꢀꢀꢀꢀ
(4)
[0119]
当将式(1)至式(3)代入式(4)时，得到下式(5)。
[0120]
vout＝-(c1/c2)
×
(vafter-vinit)
ꢀꢀꢀꢀꢀꢀ
(5)
[0121]
式(5)表示电压信号的减法运算，并且减法结果的增益为c1/c2。通常，期望使增益最大化(或者可选择地，提高)，因此优选进行设计以使c1变大且c2变小。另一方面，当c2过小时，ktc噪声增加，因此存在噪声特性劣化的担忧。因此，c2容量的减小被限制在能够容许噪声的范围。另外，由于针对每个单位像素310安装包括减法器430的地址事件检测单元400，因此在容量c1和c2中存在面积限制。容量c1和c2的值是考虑到该限制而确定的。
[0122]
比较器441将从减法器430传输的电压信号与施加到反相输入端子(-)的预定的阈值电压vth进行比较。比较器441将指示比较结果的信号作为检测信号输出到传输单元450。
[0123]
另外，当电流-电压转换单元410的转换增益被设定为cg
log
并且缓冲器420的增益被设定为“1”时，地址事件检测单元400的整体的增益a由下式(6)表示。
[0124]
[数学式1]
[0125][0126]
在式(6)中，i
photo
_n表示第n个单位像素310的光电流，其单位例如是安培(a)。n表示像素块中的单位像素310的数量，并且在本实施方案中为“1”。
[0127]
图8是示出根据本公开至少一些实施方案的列adc的示意性构成例的框图。列adc 220包括针对单位像素310的每列设置的多个adc 230。
[0128]
每个adc 230将出现在垂直信号线vsl中的模拟像素信号转换为数字信号。例如，像素信号被转换为其中位长大于检测信号的位长的数字信号。例如，当检测信号被设定为两位时，像素信号被转换为三位以上(16位等)的数字信号。adc 230将生成的数字信号供给到信号处理单元212。
[0129]
接下来，将参照附图详细说明根据本公开至少实施方案的固态成像装置200的操作。
[0130]
首先，将通过使用时序图来说明固态成像装置200的操作示例。图9a是示出根据本公开实施方案的图像传感器的操作示例的时序图。
[0131]
如图9a所示，在时刻t0处，当由控制单元130给出用于地址事件检测启动的指令时，驱动电路211使施加到像素阵列单元300中的所有光接收单元330的第二传输晶体管332的栅极的控制信号tg2升高到高电平。通过这种配置，所有光接收单元330的第二传输晶体管332进入导通状态，并且基于在每个光接收单元330的光电转换元件333中产生的电荷的光电流从各个光接收单元330供给到多个地址事件检测单元400中的每一个。
[0132]
另外，在控制信号tg2处于高电平期间，施加到每个光接收单元330中的第一传输晶体管331的栅极的所有传输信号tg1都保持在低电平。因此，在该期间，所有光接收单元330中的多个传输晶体管331处于断开状态。
[0133]
接下来，将假定被构造为执行事件检测的任意单位像素310的地址事件检测单元400在其中控制信号tg2处于高电平的期间检测地址事件点火的情况。在这种情况下，检测地址事件点火的地址事件检测单元400向仲裁器213发送请求。相对于此，仲裁器213对该请求进行仲裁，并将对该请求的响应返回到发出该请求的地址事件检测单元400。
[0134]
例如，在时刻t1到时刻t2的期间，接收响应的地址事件检测单元400将输入到驱动电路211和信号处理单元212的检测信号升高到高电平。此外，在本说明书中，假定检测信号是一位信号。
[0135]
在时刻t1处从地址事件检测单元400输入高电平检测信号的驱动电路211在随后的时刻t2处将所有控制信号tg2降低到低电平。通过这种配置，停止从像素阵列单元300的所有光接收单元330向地址事件检测单元400供给光电流。
[0136]
另外，在时刻t2处，驱动电路211将施加到其中检测到地址事件点火的单位像素310(在下文中，称为“读出目标单位像素”)的像素成像信号生成单元320中的选择晶体管323的栅极的选择信号sel升高到高电平，并且将施加到同一像素成像信号生成单元320的复位晶体管321的栅极的复位信号rst在恒定脉冲期间内升高到高电平，从而排出(初始化)累积在像素成像信号生成单元320的浮动扩散层324中的电荷。以这种方式，在其中浮动扩散层324被初始化的状态下出现在垂直信号线vsl中的电压由连接到列adc 220中的垂直信
号线vsl的adc 230读出，作为复位电平的像素信号(在下文中，简称为“复位电平”)，并且被转换为数字信号。
[0137]
接下来，在读出复位电平之后的时刻t3处，驱动电路211将恒定脉冲周期的传输信号trg施加到读出目标单位像素310中的光接收单元330的第一传输晶体管331的栅极。通过这种配置，在光接收单元330的光电转换元件333中产生的电荷被传输到像素成像信号生成单元320中的浮动扩散层324，并且与累积在浮动扩散层324中的电荷相对应的电压出现在垂直信号线vsl中。以这种方式，出现在垂直信号线vsl中的电压由连接到列adc 220中的垂直信号线vsl的adc 230读出，作为光接收单元330的信号电平的像素信号(在下文中，简称为“信号电平”)，并且被转换为数字值。
[0138]
信号处理单元212执行cds处理，其中获得按上述读出的复位电平和信号电平之间的差，作为与光电转换元件333的光接收量相对应的净像素信号。
[0139]
接下来，在时刻t4处，驱动电路211将施加到读出目标单位像素310的像素成像信号生成读出电路320中的选择晶体管323的栅极的选择信号sel降低到低电平，并且将施加到像素阵列单元300中的所有光接收单元330的第二传输晶体管332的栅极的控制信号tg2升高到高电平。通过这种配置，重新开始像素阵列单元300中的所有光接收单元330中的地址事件点火检测。
[0140]
图9b是示出根据本公开其他实施方案的图像传感器的操作示例的时序图。在时刻t0处，当由控制单元130给出用于地址事件检测启动的指令时，驱动电路211升高施加到与选择性激活的地址事件检测单元400的光电转换元件333相关联的传输晶体管332的栅极的控制信号tg2。更具体地，可以激活一些或全部地址事件检测单元400。
[0141]
另外，施加到第一传输晶体管331的栅极的传输信号tg1被保持在低电平。因此，相关联的传输晶体管331处于断开状态。
[0142]
在该示例中，在控制信号tg2处于高电平且相关联的传输晶体管332处于导通状态期间的时刻t1处，任意地址事件检测单元400检测地址事件点火。响应于事件触发，开始图像帧捕获。图像帧捕获可以是涉及包括在像素阵列300中的所有图像感测像素502的全帧图像捕获。可选择地，由特定事件检测单元400执行的事件检测可以被操作为事件检测单元400附近或以其他方式与事件检测单元400相关联的一组图像感测像素502的图像捕获的触发。然后，可以执行由图像感测像素获得的信号的读出。
[0143]
接下来，将通过使用流程图来说明固态成像装置200的操作示例。图10是示出根据本公开至少一些实施方案的固态成像装置的操作示例的流程图。例如，当执行用于检测地址事件的预定应用时启动该操作。
[0144]
如图10所示，在该操作中，首先，像素阵列单元300中的每个单位像素310检测地址事件点火的存在或不存在(步骤s901)。另外，驱动电路211确定在任一个单位像素310中是否检测到地址事件点火(步骤s902)。
[0145]
在未检测到地址事件点火的情况下(步骤s902中的“否”)的情况下，该操作行进到步骤s904。另一方面，在检测到地址事件点火(步骤s902中的“是”)的情况下，驱动电路211对其中检测到地址事件点火的单位像素310执行像素信号的读出(步骤s903)，并行进到步骤s904。
[0146]
在步骤s904，确定是否终止该操作。在未终止该操作的情况下(步骤s904中的“否”)，该操作返回到步骤s901，并且重复后续操作。另一方面，在终止该操作的情况下(步骤s904中的“是”)，终止该操作。
[0147]
图11a-11c是包括如同第一示例性实施方案中那样构造的像素的子阵列或子集1101的像素阵列的一部分的平面图。像素阵列300可以包括任意数量的子阵列1101。更具体地，在第一示例性实施方案中，各图像感测像素502的面积小于各事件检测像素503的面积。另外，图像感测像素502与事件检测像素503之比在各种示例之间不同。具体地，在图11a所示的示例中，所描绘的子阵列1101a内的图像感测像素502与事件检测像素503之比为4：1。该相同比例可以应用于整个像素阵列300。在图11b所示的示例中，图像感测像素502与事件检测像素503之比为12：1。在图11c所示的示例中，图像感测像素502与事件检测像素503之比为32：1。其他比例也是可能的。另外，图像感测像素502可以配置成组314，包括但不限于包括拜耳阵列的组。可以包括一个或多个分离结构1210，以在相邻单位像素310之间提供隔离。例如但不限于，rfti 1208结构可以形成在各个事件检测像素503周围。类似地，rfti 1208和/或rdti 1212结构可以形成在各个图像感测像素502周围。
[0148]
图12a是包括如同第一示例性实施方案中那样构造的图像感测像素502的组314的像素阵列300的一部分的截面图。如图所示，可以提供rdti结构1212形式的分离结构1210，以分离相邻的单位像素310。另外，各图像感测像素502可以包括形成在其中形成有光电转换元件333的基板1216的光入射面上的绝缘或平坦化层1236。可以针对各图像感测像素502设置滤色器1240。在该示例中，红色滤色器1240r被设置为所示图像感测像素502中的第一个的一部分，并且绿色滤色器1240gr被设置为所示图像感测像素502中的第二个的一部分。另外，一个或多个浮动扩散324可以与图像感测像素502的组314相关联。在该示例中，在使用rdti隔离结构1212的情况下，一个或多个浮动扩散324可以位于基板1216的第二面上或附近并且邻近rdti结构1212的端部。
[0149]
图12b是包括如同第一示例性实施方案中那样构造的图像感测像素502的组314的另一像素阵列的一部分的截面图。该示例类似于先前示例，除了rfti分离结构1208被设置在各个图像感测像素502之间。结果，浮动扩散324在平面图中不能与分离结构1210重叠。
[0150]
图13是根据第一示例性实施方案的图像感测像素502的组314的构成的平面图。在该示出的示例中，图像感测像素502的组314通过rdti结构1212彼此分离。另外，同样如图12a的示例所示，各个图像感测像素502通过rdti结构彼此分离。每个图像感测像素502包括光电转换元件333和相关联的传输栅极331。此外，在该示例中，组314内的图像感测像素502共享像素成像信号生成单元或读出电路320或其一部分。例如，图像感测像素502的组可以具有如图5b所示的电路构成。
[0151]
图14是如同第一示例性实施方案中那样构造的事件检测像素503的构成的平面图。更具体地，该实施方案中的各事件检测像素503包括单个光电转换元件333和针对该光电转换元件333设置的地址事件检测读出电路400的组件。即，地址事件检测读出电路400的组件不在多个光电转换元件333之间共享。另外，事件检测像素503通过rfti分离结构1208与相邻的单位像素310隔离。
[0152]
图15是示出根据本公开其他实施方案的具有共享电路元件的组合的事件检测和图像感测像素501的组的示意性构成例的电路图。在这种实施方案中，各光电转换元件333与第一传输晶体管331和第二传输晶体管332相关联。更具体地，第一传输晶体管331将相关
联的光电转换元件333选择性地连接到共享的像素成像信号生成读出电路320的元件，并且第二传输晶体管332将相关联的光电转换元件333选择性地连接到共享的地址事件检测读出电路400的组件。根据本公开的至少一些实施方案，与组合的事件检测和图像感测像素501的组314内的多个光电转换单元333相关联的第二传输晶体管332可以同时置于导通状态。在该示例中，四个光电转换元件333a-333d共享相关联的像素成像信号生成读出电路320和地址事件检测读出电路400。然而，任何数量的单位像素310和相关联的光电转换元件333可以共享相关联的电路320和400。
[0153]
图16a-16c是如同第二示例性实施方案中那样构造的像素阵列的一部分的平面图，特别是像素的子阵列或子集1601。更具体地，在第二示例性实施方案中，组合的事件检测和图像感测像素501的组散布在具有图像感测像素502的组的像素阵列300中。在该示例中，图像感测像素502的各组314包括四个图像感测像素502，而组合的事件检测和图像感测像素501的各组314包括四个组合的事件检测和图像感测像素501。图像感测像素502可以与其中图像感测像素的组314内的各图像感测像素502共享读出电路320的元件的读出电路相关联，如图5b所示。如图15所示，组合的事件检测和图像感测像素501可以与共享的像素成像信号生成读出电路320和共享的地址事件检测读出电路400的组件相关联。另外，图像感测像素502的组314与组合的事件检测和图像感测像素501的组314之比可以变化。例如，在图16a所示的示例性子阵列1601a中，图像感测像素502与组合的事件检测和图像感测像素501之比为1：1。在图16b所示的示例性子阵列1601b中，图像感测像素502与组合的事件检测和图像感测像素501之比为3：1。在图16c所示的示例性子阵列1601c中，图像感测像素502与组合的事件检测和图像感测像素501之比为8：1。另外，其他比例也是可能的。在至少一些实施方案中，例如，滤色器可以与组内的单位像素310相关联，以形成拜耳阵列。相邻的单位像素310之间的隔离可以由rfti 1208和/或rdti 1212操作结构1210提供。例如，rdti 1212分离结构可以形成在组合的事件检测和图像感测像素501的组周围，而rfti 1208分离结构可以形成在各个单位像素310周围。
[0154]
图17a是根据本公开第二示例性实施方案的像素阵列的一部分的截面图。如该示例中所示，可以设置rdti结构1212形式的分离结构1210，以分离相邻的单位像素310。在使用rdti分离结构1212的情况下，诸如浮动扩散324或者放大晶体管322或412等电路元件或电路元件的一部分可以形成为与rdti结构1212的端部相邻。图17b是根据本公开第二示例性实施方案的另一像素阵列的一部分的截面图。在该附加示例中，设置有rfti分离结构1208形式的分离结构1210，以分离相邻的单位像素310。
[0155]
图18是根据第二示例性实施方案的图像感测像素502的组的构成的平面图。在该示例中，图像感测像素502的组314通过rdti结构1212彼此分离。另外，也如图17a的示例所示，各图像感测像素502通过rdti结构彼此分离。每个图像感测像素502包括光电转换元件333和相关联的传输栅极331。此外，在该示例中，组314内的图像感测像素502共享像素成像信号生成单元或读出电路320或其一部分。例如，图像感测像素组502的组可以具有如图5b所示的电路构成。在使用rdti分离结构1212的情况下，诸如浮动扩散324或放大晶体管322等电路元件或电路元件的一部分可以形成为与rdti结构1212的端部相邻。
[0156]
图19是根据第二示例性实施方案的组合的事件检测和图像感测像素的组的构成的平面图。在该示例中，每个组合的事件检测和图像感测像素503包括光电转换元件333，其
通过第一传输晶体管331选择性地连接到共享的像素成像信号生成读出电路320并且通过第二传输晶体管332选择性地连接到共享的事件检测读出电路400。rdti结构1212在组内的组合的事件检测和图像感测像素501之间提供隔离，同时该组通过rfti结构1208与单位像素310和其他组隔离。在使用rdti分离结构1212的情况下，诸如放大晶体管322或413、lg晶体管411等电路元件或电路元件的一部分可以形成为与rdti结构1212的端部相邻。
[0157]
图20是示出根据本公开实施方案的组合的事件检测和图像感测像素503的示意性构成例的电路图。在该示例中，组合的事件检测图像感测像素503的光电转换元件333通过第一传输晶体管331选择性地连接到专用像素成像信号生成读出电路320，并且通过第二传输晶体管332选择性地连接到专用地址事件检测读出电路400。即，像素成像信号生成读出电路320和地址事件检测读出电路400不与任何其他光电转换单元333共享。
[0158]
图21a-21c是如同第三示例性实施方案中那样构造的像素阵列的一部分的平面图，特别是像素的子阵列或子集2101。更具体地，在第三示例性实施方案中，组合的事件检测和图像感测像素501的组散布在具有图像感测像素502的组的像素阵列300中。组合的事件检测和图像感测像素501的组分别包括四个组合的事件检测和图像感测像素501。然而，电路元件是共享的。因此，组合的事件检测和图像感测像素501可以与如图20所示的读出电路相关联。图像感测像素502的组分别包括四个图像感测像素502。图像感测像素502的组可以共享电路元件并且可以如图5b所示地构造。在图21a所示的示例性子阵列2101a中，图像感测像素502与组合的事件检测和图像感测像素之比为1：1。在图21b所示的示例性子阵列2101b中，图像感测像素502与组合的事件检测和图像感测像素501之比为3：1。在图21c所示的示例性子阵列2101c中，图像感测像素502与组合的事件检测和图像感测像素501之比为8：1。另外，其他比例也是可能的。rfti 1208分离结构被设置在组合的事件检测和图像感测像素501的组周围，并且rfti 1208分离结构在这种像素的各组内的相邻组合的事件检测和图像感测像素501之间提供隔离。rdti 1212分离结构在相邻的图像感测像素502之间提供隔离。
[0159]
图22a是根据本公开第二示例性实施方案的像素阵列的一部分的截面图。如该示例中所示，可以设置rdti结构1212形式的分离结构1210，以分离相邻的单位像素310。在使用rdti分离结构1212的情况下，诸如浮动扩散324或放大晶体管322等电路元件或电路元件的一部分可以形成为与rdti结构1212的端部相邻。图22b是根据本公开第二示例性实施方案的另一像素阵列的一部分的截面图。在该附加示例中，设置有rfti分离结构1208形式的分离结构1210，以分离相邻的单位像素310。
[0160]
图23是根据第三示例性实施方案的图像感测像素502的组的构成的平面图。在该示例中，图像感测像素502的组314通过rdti结构1212彼此分离。另外，如图21b和图21c的示例中所示，各个图像感测像素502通过rdti结构彼此分离。每个图像感测像素502包括光电转换元件333和相关联的传输栅极331。此外，在该示例中，组314内的图像感测像素502共享像素成像信号生成单元或读出电路320或其一部分。例如，图像感测像素502的组可以具有如图5b所示的电路构成。
[0161]
图24是根据第三示例性实施方案的组合的事件检测和图像感测像素501的构成的平面图。在该示例中，每个组合的事件检测和图像感测像素503包括光电转换元件333，其通过第一传输晶体管331选择性地连接到像素成像信号生成读出电路320并且通过第二传输
晶体管332选择性地连接到事件检测读出电路400。此外，每个组合的事件检测和图像感测像素503的光电转换元件333不与任何其他光电转换元件333共享其成像信号生成读出电路320或其事件检测读出电路400。rdti结构1212在各组合的事件检测和图像感测像素501的周围提供隔离。例如，各组合事件检测和图像感测像素501可以具有如图5a所示的电路构成。
[0162]
图25是示出根据本公开实施方案的图像感测像素502的组的示意性构成例的电路图。在该示例中，三个图像感测像素502的组的光电转换元件333共享像素成像信号生成读出电路320。该组中的光电转换元件333a-c中的每个通过各自的第一传输栅极331a-c选择性地连接到像素成像信号生成读出电路320的元件。
[0163]
图26a-26c是包括如同第四示例性实施方案中那样构造的像素的子集2601的像素阵列的一部分的平面图。在第四示例性实施方案中，各成像感测像素502的尺寸或面积与各事件检测像素503的尺寸相同或大致相同。另外，图像感测像素502与事件检测像素503之比在各种示例之间不同。例如，在图26a所示的示例中，图像感测像素502与事件检测像素503之比为3：1。此外，图像感测像素502配置在三个2601的组中，而事件检测像素503单独配置。在图26b所示的示例中，图像感测像素502与事件检测像素503之比为15：1。在图26c所示的示例中，图像感测像素502与事件检测像素503之比为35：1。另外，在图26b和图26c的示例中，一些图像感测像素502配置在3个2601的组中，而其他的图像感测像素配置在4个像素2602的组中。
[0164]
图27a是根据本公开第四示例性实施方案的像素阵列的一部分的截面图。如该示例所示，可以设置rdti结构1212，以分离相邻的单位像素310。图27b是根据本公开第四示例性实施方案的另一像素阵列的一部分的截面图，其中rfti结构1208分离相邻的单位像素310。在使用rdti分离结构1212的情况下，电路元件或电路元件的一部分可以形成为与rdti结构1212的端部相邻。
[0165]
在平面图中，根据第四示例性实施方案的三个图像感测像素的组的构成可以与如图13所示的第一实施方案中的构成相同，除了三个图像感测像素502的组2601之外，该组仅包括具有相关联的第一传输晶体管331的三个光电转换元件333，以将光电转换元件333选择性地连接到共享的像素成像信号生成读出电路320的元件。另外，图像感测像素502的组314通过rdti结构1212彼此分离。另外，同样如图28a和图28b的示例所示，各图像感测像素502通过rdti结构彼此分离。每个图像感测像素502包括光电转换元件333和相关联的传输栅极331。此外，组314内的图像感测像素502共享像素成像信号生成单元或读出电路320或其一部分。例如，图像感测像素502的组可以具有如图5b所示的电路构成。
[0166]
如前所述，第四实施方案中的事件检测像素503与图像感测像素502的尺寸相同。根据第三示例性实施方案的组合的事件检测和图像感测像素501的构成可以与如图14所示的第一示例性实施方案的构成相同或类似。因此，本实施方案中的每个事件检测像素503包括单个光电转换元件333和针对该光电转换元件333设置的地址事件检测读出电路400的组件。即，在多个光电转换元件333之间不共享地址事件检测读出电路400的组件。另外，事件检测像素503通过rfti分离结构1208与相邻的单位像素310隔离。
[0167]
图28a-28b是包括如同第五示例性实施方案中那样构造的像素的子集2801的像素阵列的一部分的平面图。在第五示例性实施方案中，各成像感测像素502的尺寸或面积与各
事件检测像素503的尺寸相同或大致相同。在另一方面，图像感测像素502配置在组2802或2803中，组内的每个像素具有相同颜色的敏感度。例如，如图28a所示，图像感测像素502可以配置在三个单位像素2802的组中。作为另一示例，图像感测像素可以配置在四个单位像素2803的组中，除了在包围四个事件检测像素503的组的区域中，其中图像感测像素502的每个周围组由三个单位像素2802组成，如图28b所示。所有的事件检测像素503可以配置在四个的组中。如图所示，图像感测像素502的组可以被排列成组合形成四拜耳滤波器模式，其中整体拜耳图案由包括两组绿色图像感测像素502、一组红色图像感测像素502和一组蓝色图像感测像素的像素子集形成。事件检测像素503的组的一些或所有可以被一起形成整体拜耳图案的图像感测像素502的组包围。另外，图像感测像素502与事件检测像素503之比在各种示例之间不同。例如，在图28a所示的示例中，图像感测像素502与事件检测像素503之比为3：1。在图28b所示的示例中，图像感测像素502与事件检测像素503之比为15：1。在图28b所示的示例中，图像感测像素502与事件检测像素503之比为35：1。
[0168]
图29a是根据本公开第四示例性实施方案的像素阵列的一部分的截面图。如该示例所示，可以设置rdti结构1212，以分离相邻的单位像素310。图29b是根据本公开第四示例性实施方案的另一像素阵列的一部分的截面图，其中rfti结构1208分离相邻的单位像素310。
[0169]
图30是根据第五示例性实施方案的图像感测像素502的组的构成的平面图。组内的各光电转换元件333对相同颜色敏感。例如，图像感测像素502的组内的各光电转换元件333可以与相同颜色的滤波器相关联。另外，图像感测像素502的组314由rdti结构1212彼此分离，而各个图像感测像素502由rdti结构彼此分离。此外，在该示例中，组314内的图像感测像素502共享像素成像信号生成单元或读出电路320或其一部分。例如，图像感测像素502的组可以具有如图5b所示的电路构成。在使用rdti分离结构1212的情况下，诸如浮动扩散324或放大晶体管322等电路元件或电路元件的一部分可以形成为与rdti结构1212的端部相邻。
[0170]
因此，本公开的实施方案提供具有能够执行事件检测和成像操作两者的像素阵列300的成像装置100。此外，任何一个单位像素310的电路元件都可以针对图像感测或事件检测进行优化。根据本公开的另一实施方案，像素阵列300可以包括与执行图像感测和事件检测两者的像素结合的针对图像感测优化的像素。根据本公开的又一实施方案，像素阵列300可以包括具有比图像感测像素更大面积的事件检测像素。另外，本公开的实施方案可以包括不同数量和比例的图像感测像素和事件检测像素。例如，成像装置100可以合并根据本公开实施方案的像素阵列300，其具有比事件检测像素503更多数量的图像感测像素502、比图像感测像素502更多数量的事件检测像素503或者相同数量的图像感测像素502和事件检测像素503。另外，根据本公开实施方案的像素阵列可以包括任意数量和比例的图像感测像素502、事件检测像素503以及组合的事件检测和图像传感像素501。
[0171]
图31是作为根据本公开的技术可以适用的移动体控制系统的示例的车辆控制系统的示意性构成例的框图。
[0172]
车辆控制系统12000包括经由通信网络12001彼此连接的多个电子控制单元。在图31所示的示例中，车辆控制系统12000包括驱动系统控制单元12010、主体系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040和综合控制单元12050。另外，作
为综合控制单元12050的功能构成，示出了微型计算机12051、声音和图像输出单元12052和车载网络接口(i/f)12053。
[0173]
驱动系统控制单元12010根据各种程序来控制与车辆的驱动系统有关的装置的操作。例如，驱动系统控制单元12010用作诸如内燃机或驱动电机等用于产生车辆的驱动力的驱动力产生装置、用于向车轮传递驱动力的驱动力传递机构、用于调整车辆的转向角的转向机构、用于产生车辆的制动力的制动装置的控制装置。
[0174]
主体系统控制单元12020根据各种程序来控制安装到车体的各种装置的操作。例如，主体系统控制单元12020用作无钥匙进入系统、智能钥匙系统、电动窗装置或诸如头灯、尾灯、刹车灯、转向信号灯或雾灯等各种灯的控制装置。在这种情况下，用于代替按键的从便携式装置传递的无线电波或各种开关的信号可以输入到主体系统控制单元12020。主体系统控制单元12020接收无线电波或信号的输入并控制车辆的门锁装置、电动窗装置、灯等。
[0175]
车外信息检测单元12030检测安装车辆控制系统12000的车辆的外部的信息。例如，车外信息检测单元12030连接到成像单元12031。车外信息检测单元12030使成像单元12031拍摄车辆外部图像，并接收所拍摄的图像。车外信息检测单元12030可以基于接收到的图像进行诸如人、汽车、障碍物、标志、道路上的文字等物体检测处理或距离检测处理。
[0176]
成像单元12031是接收光并输出对应于受光量的电气信号的光学传感器。成像单元12031可以输出电气信号作为图像或输出电气信号作为测距信息。另外，由成像单元12031接收的光可以是可见光或诸如红外线等不可见光。此外，根据本公开的实施方案，成像单元12031可以包括合并有像素阵列单元300与单位像素310的固态成像装置200，该单位像素310被构造为且与像素阵列单元300内的其他单位像素310隔离。
[0177]
车内信息检测单元12040检测车内的信息。例如，检测驾驶员的状态的驾驶员状态检测单元12041连接到车内信息检测单元12040。例如，驾驶员状态检测单元12041包括拍摄驾驶员的相机，并且基于从驾驶员状态检测单元12041输入的检测信息，车内信息检测单元12040可以计算驾驶员的疲劳度或集中度，或者可以判断驾驶员是否打瞌睡。
[0178]
例如，微型计算机12051基于由车外信息检测单元12030或车内信息检测单元12040获得的车辆内部和外部的信息来计算驱动力产生装置、转向机构或制动装置的控制目标值，并且可以向驱动系统控制单元12010输出控制指令。例如，微型计算机12051可以进行协调控制，以实现包括车辆的碰撞避免或碰撞缓和、基于车辆之间的距离的追踪行驶、车辆速度保持行驶、车辆碰撞警告、车辆的车道偏离警告等的高级驾驶员辅助系统(adas)的功能。
[0179]
另外，微型计算机12051可以通过基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆周围的信息来控制驱动力产生装置、转向机构、制动装置等来进行协调控制，以实现其中车辆自主行驶而不依赖于驾驶员的操作的自动驾驶等。
[0180]
微型计算机12051可以基于由车外信息检测单元12030获得的车辆外部的信息将控制指令输出到主体系统控制单元12020。例如，微型计算机12051通过根据由车外信息检测单元12030检测到的前方车辆或对向车辆的位置来控制头灯，进行协调控制，以实现诸如将远光灯切换为近光灯等防止眩光。
[0181]
声音和图像输出单元12052将声音和图像之间的至少一种输出信号传递到能够在
视觉上或听觉上通知车内乘员或车辆外部的信息的输出装置。在图31的示例中，作为输出装置，音频扬声器12061、显示单元12062和仪表板12063被示出。例如，显示单元12062可以包括车载显示器和平视显示器中的至少一种。
[0182]
图32是成像单元12031的安装位置的示例的图。
[0183]
在图32中，设置有成像单元12101、12102、12103、12104和12105作为成像单元12031。
[0184]
例如，成像单元12101、12102、12103、12104和12105被安装在诸如车辆12100的车头、侧视镜、后保险杠、后门和车内的挡风玻璃的上侧等位置。设置在车头的成像单元12101和设置在车内的挡风玻璃上侧的成像单元12105主要获得车辆12100的前方的图像。设置在侧视镜中的成像单元12102和12103主要获得车辆12100的侧方的图像。设置在后保险杠或后门的成像单元12104主要获得车辆12100的后方的图像。设置在车内的挡风玻璃上侧的成像单元12105主要用于检测前方车辆、行人、障碍物、交通信号、交通标志、车道等。
[0185]
此外，图32示出了成像单元12101～12104的拍摄范围的示例。成像范围12111表示设置在车头中的成像单元12101的成像范围，成像范围12112和12113分别表示设置在侧视镜中的成像单元12102和12103的成像范围，成像范围12114表示设置在后保险杠或后门中的成像单元12104的成像范围。例如，当由成像单元12101～12104拍摄的图像数据被彼此叠加时，可以获得车辆12100的从上方看到的鸟瞰图像。
[0186]
成像单元12101～12104中的至少一个可以具有获取距离信息的功能。例如，成像单元12101～12104中的至少一个可以是包括多个成像元件的立体相机，或者可以是包括相位差检测用像素的成像元件。
[0187]
例如，基于从成像单元12101～12104获得的距离信息，微型计算机12051通过获得距各成像范围12111～12114内的各立体物的距离和距离的时间变化(相对于车辆12100的相对速度)，可以提取位于车辆12100的行驶路线上的特别是最靠近的立体物且在与车辆12100的大致相同的方向上以预定速度(例如，0km/h以上)行驶的立体物作为前方车辆。另外，微型计算机12051可以设定在前方车辆的前方预先确保的车辆之间的距离，以进行自动制动控制(包括追踪行驶停止控制)、自动加速控制(包括追踪行驶开始控制)等。如上所述，可以进行其中车辆自主行驶而不依赖于驾驶员的操作的自动驾驶等的协调控制。
[0188]
例如，基于从成像单元12101～12104获得的距离信息，通过将多条立体物数据分类为两轮车辆的数据、普通车辆的数据、大型车辆的数据、行人的数据和诸如电线杆等其他立体物的数据，微型计算机12051可以提取关于立体物的立体物数据，并利用提取的数据自动避开障碍物。例如，微型计算机12051将车辆12100周围的障碍物识别为可以由车辆12100的驾驶员视觉识别的障碍物和难以视觉识别的障碍物。另外，微型计算机12051判断指示与各障碍物碰撞的危险度的碰撞风险。在碰撞风险等于或高于设定值并且碰撞可能发生的情况下，微型计算机12051可以通过经由音频扬声器12061或显示单元12062向驾驶者输出警告或者经由驱动系统控制单元12010进行强制减速或回避转向，可以进行碰撞避免的驾驶辅助。
[0189]
成像单元12101～12104中的至少一个可以是用于检测红外线的红外相机。例如，微型计算机12051可以通过判断行人是否存在于成像单元12101～12104的拍摄图像中来识别行人。例如，通过提取作为红外相机的成像单元12101～12104的拍摄图像中的特征点的
过程以及对指示物体的轮廓的一系列特征点进行图案匹配处理以判断该物体是否为行人的过程来进行行人的识别。当微型计算机12051判断行人存在于成像单元12101～12104的拍摄图像中并且识别出行人时，声音和图像输出单元12052控制显示单元12062，使其显示叠加的四边形轮廓线以强调所识别的行人。此外，声音和图像输出单元12052可以控制显示单元12062，使其在期望的位置显示指示行人的图标等。
[0190]
在上文中，已经说明了根据本公开的技术可适用的车辆控制系统的示例。根据本公开的技术可适用于上述构成之中的成像单元12031、驾驶员状态检测单元12041等。
[0191]
以上，对本发明的实施方案进行了说明，但是本公开的技术范围不限于上述实施方案，并且在不脱离本公开主旨的范围内可以进行各种变形。另外，可以适当地组合其他实施方案和变形例中的构成要素。
[0192]
此外，在本说明书中记载的实施方案中的效果仅是示例性的，并且可以存在其他效果而没有限制。
[0193]
此外，本技术可以包括以下构成。
[0194]
(1)一种传感器，包括：
[0195]
像素阵列单元，其中所述像素阵列单元包括：
[0196]
多个事件检测像素，所述多个事件检测像素包括第一像素，第一像素包括：
[0197]
第一光电转换区域；和
[0198]
连接到第一光电转换区域的放大晶体管；
[0199]
多个图像感测像素，所述多个图像感测像素包括：
[0200]
第二光电转换区域；
[0201]
第三光电转换区域；和
[0202]
连接到第二和第三光电转换区域的放大晶体管；
[0203]
配置在第一像素和第二像素之间的第一隔离区域；和
[0204]
配置在第二和第三光电转换区域之间的第二隔离区域。
[0205]
(2)根据(1)所述的传感器，其中在截面图中，第一隔离区域比第二隔离区域深。
[0206]
(3)根据(1)或(2)所述的传感器，还包括：
[0207]
多个图像信号生成读出电路，其中对于每个图像感测像素的每个光电转换区域，相关联的传输晶体管将该光电转换区域选择性地连接到所述图像信号生成读出电路中的一者。
[0208]
(4)根据(3)所述的传感器，其中每个图像信号生成读出电路由多个图像感测像素共享。
[0209]
(5)根据(4)所述的传感器，还包括：
[0210]
多个事件检测读出电路，其中每个事件检测像素的每个光电转换区域连接到所述事件检测读出电路中的一者。
[0211]
(6)根据(5)所述的传感器，还包括：
[0212]
多个第二图像信号生成读出电路，
[0213]
其中每个事件检测像素还包括传输晶体管，
[0214]
其中对于每个事件检测像素的每个光电转换区域，相关联的传输晶体管将该光电转换区域选择性地连接到第二事件检测读出电路中的一者。
[0215]
(7)根据(6)所述的传感器，其中每个第二图像信号生成读出电路由多个事件检测像素共享。
[0216]
(8)根据权利要求(7)所述的传感器，其中每个事件检测读出电路由多个事件检测像素共享。
[0217]
(9)根据(1)～(8)中任一项所述的传感器，其中所述多个图像感测像素包括第一数量的图像感测像素，其中所述多个事件检测像素包括第二数量的事件检测像素，并且其中第一数量大于第二数量。
[0218]
(10)根据(1)～(9)中任一项所述的传感器，其中每个事件检测像素的光电转换区域的面积大于每个图像感测像素的光电转换区域的面积。
[0219]
(11)根据(9)或(10)所述的传感器，其中第一数量是第二数量的至少三倍。
[0220]
(12)根据(1)～(11)中任一项所述的传感器，其中每个事件检测像素的面积大于每个图像感测像素的面积。
[0221]
(13)根据(1)～(12)中任一项所述的传感器，其中每个事件检测像素被全厚度沟槽隔离结构包围。
[0222]
(14)根据(1)～(13)中任一项所述的传感器，其中每个图像感测像素通过深沟槽隔离结构与相邻的图像感测像素分离。
[0223]
(15)根据(1)～(12)中任一项所述的传感器，其中每个事件检测像素通过深沟槽隔离结构与相邻的事件检测像素分离。
[0224]
(16)根据(15)所述的传感器，其中每个事件检测像素通过全厚度沟槽隔离结构与相邻的图像感测像素分离。
[0225]
(17)根据(15)或(16)所述的传感器，其中每个图像感测像素通过深沟槽隔离结构与相邻的图像感测像素分离。
[0226]
(18)一种电子设备，包括：
[0227]
成像透镜；和
[0228]
固态成像装置，所述固态成像装置包括：
[0229]
至少一个像素阵列单元，其中所述像素阵列单元包括：
[0230]
多个事件检测像素，所述多个事件检测像素包括：
[0231]
第一光电转换区域；和
[0232]
放大晶体管；
[0233]
多个图像感测像素，所述多个图像感测像素包括：
[0234]
第二光电转换区域；
[0235]
第三光电转换区域；和
[0236]
连接到第二和第三光电转换区域的放大晶体管；
[0237]
配置在第一像素和第二像素之间的第一隔离区域；和
[0238]
配置在第二和第三光电转换区域之间的第二隔离区域；和
[0239]
控制单元，其中所述控制单元控制所述固态成像装置的操作。
[0240]
(19)一种方法，包括：
[0241]
提供像素阵列单元，其中所述像素阵列单元包括：
[0242]
多个事件检测像素，所述多个事件检测像素包括：
[0243]
第一光电转换区域；和
[0244]
放大晶体管；
[0245]
多个图像感测像素，所述多个图像感测像素包括：
[0246]
第二光电转换区域；
[0247]
第三光电转换区域；和
[0248]
连接到第二和第三光电转换区域的放大晶体管；
[0249]
配置在第一像素和第二像素之间的第一隔离区域；和
[0250]
配置在第二和第三光电转换区域之间的第二隔离区域。
[0251]
本领域技术人员应当理解，根据设计要求和其他因素，可以进行各种修改、组合、子组合和变更，只要它们在所附权利要求或其等同物的范围内。