低功率面部识别的方法和系统与流程

1.本公开涉及具有基于事件的传感器能力和图像传感器能力的相机，并且涉及用于低功率面部识别的基于事件的传感器和rgb传感器之间的动态切换。


背景技术：

2.在相关技术中，rgb传感器用于产生图像数据以拍摄场景的细节。可以用于从安全到体育赛事的许多应用中的rgb传感器提供影像。然而，rgb传感器可能需要高功耗速率，这使得在许多应用中使用rgb传感器是不可行或不可取的。例如，在一些应用中，可能期望相机记录与事件相关的视频和/或静止图像数据。如果事件不经常发生，或者如果事件发生的时间未知或不易预测，则rgb相机可能需要保持以高帧速率不断操作，这可能会使rgb相机或传感器的使用由于高功耗速率而变得不切实际。结果，使用传统方法记录这种事件的图像数据将需要大量电力。
3.rgb传感器或相机在面部识别系统的应用中是非常有价值的资产。rgb传感器或具有rgb传感器的相机可以用于记录场景的图像或视频。可以分析并使用来自传感器或相机的rgb数据以从图像数据中识别出一个或多个面部。然而，与其他类型的传感器相比，rgb传感器或相机需要大量电力。因此，使用相机系统不断记录和分析图像以识别面部数据需要大量电力。
4.所需要的是能够在不需要过量功耗的情况下拍摄与事件相关的图像数据的图像拍摄系统。


技术实现要素：

5.技术问题
6.具有基于事件的传感器(“ebs”)能力和rgb感测能力的组合且响应于事件的检测而触发成像或rgb功能的操作的相机可以克服单独使用常规成像型装置或rgb传感器的一些限制，以在提供高效操作的同时可靠地检测事件。通过智能地使用在ebs操作模式下收集的ebs数据来检测事件的发生或检测其中需要成像数据的场景，可以仅在需要时激活或停用高功耗rgb模式。
7.与rgb传感器相比，ebs传感器提供了低功率操作的益处。ebs传感器能够在低功率下操作的同时提供高速对象检测。rgb传感器在以与ebs传感器相比相对较高的功率操作的同时提供高精度彩色图像和/或视频。如本文中所公开的，当基于从ebs传感器接收的信息记录触发事件时，可以激活rgb传感器。触发事件可以是在ebs数据中检测到对象或特定类型的对象。当在ebs模式下发生触发事件时，可以切换到rgb模式。例如，处于ebs模式的传感器或相机系统可以用于检测一个或多个ebs帧中的面部。传感器或相机系统可以切换到rgb模式，以使用来自rgb模式的图像数据实现面部识别过程。
8.在一些实施方案中，触发事件可以基于来自ebs传感器的由神经网络分析的数据。在一些实施方案中，触发事件可以基于由递归神经网络追踪的ebs事件。例如，可以将ebs数
据馈送到神经网络，并且可以在检测到诸如面部等所需对象类别组时触发rgb模式。
9.因此，本公开提供了与其他构造相比具有提高的图像传感器效率和效果且能够提供成像功能以及对象检测和识别功能的相机、传感器系统、装置和方法。
10.解决问题的技术方案
11.根据本公开的实施方案和方面，提供了一种具有ebs和图像传感器(例如，红、绿、蓝(“rgb”)图像传感器)能力或功能的相机或传感器系统。ebs和图像传感器能力可以由单独的ebs和图像传感器器件提供。ebs和图像感测能力还可以由具有组合的ebs和成像感测能力的传感器器件实现。具有组合的ebs和成像感测能力的传感器器件可以包括具有像素阵列的传感器器件，该像素阵列包括ebs像素和图像感测像素。此外，组合的ebs和图像传感器可以包括作为执行ebs功能和图像感测功能的像素的一部分设置的光电转换区域。为了便于说明，本文中的讨论将参照由单独的ebs和图像传感器提供的ebs和图像传感器功能，然而，除非另有特别说明，否则应当理解，ebs和图像传感器可以集成到提供ebs功能和图像传感器功能的单个传感器器件中。
12.如本文中所公开的，由ebs传感器或由具有ebs能力的像素检测到的事件可以触发图像传感器或诸如rgb像素等能够进行图像感测的像素的激活。此外，根据本公开的至少一些实施方案，图像传感器的激活包括以特定帧速率激活图像传感器。根据本公开的至少一些实施方案，事件可以包括对象检测。
13.根据本公开的至少一些实施方案和方面，对象检测可以由与ebs传感器或具有ebs能力的传感器通信的处理器执行。处理器可以实施神经网络或其他类型的分析算法。例如，处理器能够分析ebs传感器数据并检测被确定为相对于ebs传感器移动的对象，并且作为响应能够激活或停用rgb传感器或某些像素的rgb能力。根据本公开的其他实施方案和方面，对相对快速行进的对象的检测可能会导致以相对较高的帧速率激活图像传感器。激活的图像传感器的帧速率也可以基于由分析ebs传感器数据的处理器检测到的对象的特性而变化。例如，图像传感器可以在检测到的对象缓慢移动的情况下以相对较低的帧速率操作。图像传感器可以在检测到的对象快速移动的情况下以相对较高的帧速率操作。
14.根据本公开的至少一些实施方案，可以与确定图像传感器的操作参数相结合来分析由ebs传感器检测到的对象的特性。例如，神经网络或其他决策制定设施可以确定检测到的事件是否已经由所需对象类别内的对象触发。如果已经检测到所需对象类别，则可以基于对象的特性来调整图像传感器的帧速率。图像传感器激活的时间量还可以取决于检测到的对象的检测特性。例如，来自ebs传感器的数据可以由例如神经网络或其他决策制定设施分析，以检测对象类型、检测到的对象的速度或可以用于调整设置以激活传感器的rgb模式的其他信息。
15.通常，期望在出现所需条件后中断图像传感器的操作并返回到ebs传感器操作，以节省电力。当满足某些条件时，本公开的实施方案和方面可以中断图像传感器的操作并使系统返回到ebs模式。这些可以包括在确定没有任何感兴趣的事情发生之后。例如，在先前移动的对象停止之后，可以中断对象的成像，并且图像传感器可以返回到睡眠模式。也可以在识别出对象并且确定不需要或不期望对识别出的对象继续成像之后，中断图像传感器操作。作为另一示例，可以在对象已经移出成像场景之后中断图像传感器操作。作为又一示例，可以在经过预定时间段之后中断图像传感器操作。根据本公开的实施方案，无论图像传
感器操作是否活跃，ebs传感器操作都可以保持连续活动。
16.本公开可以提供能够改进功耗、数据传输和数据处理效率的具有基于事件的感测和成像能力的相机、系统或装置。
附图说明
17.图1是图示了根据本公开实施方案的图像传感器的示意性构造示例的框图。
18.图2是图示了根据本公开实施方案的图像传感器的层叠结构示例的视图。
19.图3是图示了根据本公开实施方案的图像传感器的功能构造示例的框图。
20.图4图示了在彩色滤光片阵列中采用拜耳阵列的情况下的根据本公开实施方案的单位像素的阵列示例。
21.图5a图示了根据本公开实施方案的图像传感器的方面。
22.图5b图示了根据本公开其他实施方案的图像传感器的方面。
23.图5c图示了根据本公开其他实施方案的图像传感器的方面。
24.图5d图示了根据本公开其他实施方案的图像传感器的方面。
25.图5e图示了根据本公开其他实施方案的图像传感器的方面。
26.图5f图示了根据本公开其他实施方案的图像传感器的方面。
27.图6a是图示了根据本公开实施方案的具有组合的事件检测功能和图像传感器功能的单位像素的示意性构造示例的电路图。
28.图6b是图示了根据本公开实施方案的图像感测像素组的示意性构造示例的电路图。
29.图6c是图示了根据本公开实施方案的事件检测像素的示意性构造示例的电路图。
30.图7是图示了根据本公开实施方案的地址事件检测单元的示意性构造示例的框图。
31.图8是图示了根据本公开实施方案的减法器和量化器的示意性构造示例的电路图。
32.图9是图示了根据本公开实施方案的列adc的示意性构造示例的框图。
33.图10a是图示了根据本公开实施方案的图像传感器的操作示例的时序图。
34.图10b是图示了根据本公开其他实施方案的图像传感器的操作示例的时序图。
35.图11是图示了根据本公开实施方案的成像装置的操作示例的流程图。
36.图12a是根据本公开实施方案的具有ebs传感器和rgb传感器的图像传感器系统的框图。
37.图12b是根据本公开实施方案的具有传感器的图像传感器系统的框图，该传感器具有ebs像素和rgb像素两者。
38.图12c是根据本公开实施方案的具有传感器的图像传感器系统的框图，该传感器具有能够感测ebs数据和rgb数据两者的像素。
39.图13描绘了根据本公开实施方案的图像处理系统的框图。
具体实施方式
40.在下文中，将基于附图详细说明本公开的实施方案。此外，在以下实施方案中，将
相同的附图标记赋予相同或等效的部分或元件，并且省略其重复说明。
41.典型的基于事件的传感器(ebs)采用所谓的事件驱动型驱动方法，其中针对每个单位像素检测地址事件突发(address event ignition)的存在与否，并且从检测到地址事件突发的单位像素读出像素信号和突发时间信息。
42.此外，本说明中的单位像素表示包括一个光电转换元件(也称为“光接收元件”)的像素或单位像素的最小单位，并且作为示例，可以对应于从图像传感器读出的图像数据中的每个点。另外，地址事件表示针对可分配给以二维格子形状排列的多个单位像素中的各者的每个地址发生的事件。事件检测传感器响应于强度变化，而不受传统图像传感器的帧内积分时间的界限的限制。强度变化与光电流变化相关联，并且如果这种变化超过恒定的阈值，则可以将其检测为事件。
43.图1是图示了根据本公开至少一些实施方案的成像装置的示意性构造示例的框图。如图1所示，例如，成像装置100包括成像透镜110、固态成像器件或图像传感器200、记录单元120、通信接口124和处理器系统或控制系统130。成像装置100的各种部件可以通过通信总线128或信号线彼此互连。作为示例，成像装置100可以设置为安装在工业机器人中的相机、车载相机或它们的一部分，或者设置为其他装置或仪器的一部分或与其他装置或仪器连接。
44.成像透镜110可以包括收集来自视场114内的光的光学系统。收集的或入射的光被引导(例如，会聚)到图像传感器200的光接收面上。特别地，成像透镜110可以通过引导视场114包含场景的选定区域部分，以收集来自场景的选定区域内的光。光接收面是排列有图像传感器200中所包括的像素310的光电转换元件的基板的表面。图像传感器200对入射光进行光电转换，以产生图像数据。如本文中所讨论的，图像传感器200可以包括布置在相同或不同的基板上的不同光电转换元件组。此外，图像传感器200可以包括执行单个或多个功能的光电转换元件。这些功能可以包括事件检测功能和成像功能。另外，图像传感器200可以对产生的图像数据实施诸如噪声去除和白平衡调整等预定的信号处理。通过信号处理获得的结果和指示地址事件突发和突发时间信息的存在与否的检测信号可以由图像传感器200输出到处理器系统130。稍后将说明指示地址事件突发的存在与否的检测信号的产生方法。
45.例如，记录系统120由闪存、动态随机存取存储器(dram)或静态随机存取存储器(sram)等构成，并且记录从图像传感器200提供的数据。
46.例如，处理器系统130由中央处理单元(cpu)等构成。例如，处理器系统130可以包括一个或多个通用处理器、控制器、现场可编程门阵列(fpga)、图形处理单元(gpu)、专用集成电路(asic)或其组合。此外，处理器系统130可以实施作为软件或固件存储在被包括在处理器系统130中或与处理器系统130互连的存储器或数据存储器中的应用程序编程或例程，以执行如本文中所述的各种功能和方法。例如，处理器系统130可以处理从图像传感器200输出的数据。例如，如本文中所述，处理器系统130可以处理由图像传感器200的ebs传感器功能或部分输出的事件检测信号，并且至少部分地响应于事件检测信号，可以控制固态成像器件的成像传感器功能或部分。除了图像传感器200之外，处理器系统130还可以控制成像装置100的其他部件，诸如记录单元120的操作、通信接口124以及成像透镜110可能支持的聚焦和快门操作等。如本文中所述，根据本公开的其他实施方案，处理器系统130可以实现高级处理能力，包括但不限于神经网络和人工智能能力和功能。
47.接下来，将参照附图详细说明图像传感器200的构造示例。
48.图2是图示了根据本公开至少一些实施方案的图像传感器200的层叠结构示例的视图。如图2所示，图像传感器200可以具有其中光接收芯片201和逻辑芯片202垂直层叠的结构。光接收芯片201的与逻辑芯片202相反的一侧是光接收面204。在光接收芯片201和逻辑芯片202的接合中，例如，可以使用所谓的直接接合，其中芯片的接合面被平坦化并且芯片通过电子间力层叠。然而，不限于此，例如，也可以使用其中形成在接合面上的铜(cu)电极焊盘被结合的所谓的cu-cu接合或凸块接合等。
49.另外，例如，光接收芯片201和逻辑芯片202通过诸如贯通半导体基板的硅通孔(tsv)等连接部而彼此电连接。在使用tsv的连接中，例如，可以采用所谓的双tsv方法：其中，包括形成在光接收芯片201中的tsv和从光接收芯片201形成到逻辑芯片202的tsv的两个tsv在芯片外表面上彼此连接和所谓的共享tsv方法：其中，光接收芯片201和逻辑芯片202通过贯通两个芯片的tsv连接，等等。
50.然而，在光接收芯片201和逻辑芯片202的接合中使用cu-cu接合或凸块接合的情况下，光接收芯片201和逻辑芯片202两者通过cu-cu接头或凸块接头彼此电连接。
51.本领域技术人员在考虑本公开之后可以理解，作为连接的光接收芯片201和逻辑芯片202而实现的成像器件200可以包括布置为光接收芯片201的一部分的图像传感器200部件，处理器系统130部件的一些或全部布置为逻辑芯片202的一部分。诸如记录单元120部件和通信接口部件等其他部件可以分布在芯片201和202之中的一者或两者中。根据其他实施方案，数据存储器或其他芯片可以层叠并电连接到光接收芯片201和逻辑芯片202。此外，例如，在图像传感器200包括多个传感器器件的情况下，光接收芯片可以包括接合到相应的逻辑芯片202或共用的逻辑芯片202的多个基板。
52.图3是图示了根据本公开至少一些实施方案的图像传感器200的功能构造示例的框图。如图3所示，图像传感器200可以包括驱动电路211、信号处理器212、仲裁器213、列adc 220和像素阵列300。部分或全部部件可以完全或部分地集成到处理器系统130中或由处理器系统130实现。
53.多个单位单元或单位像素310(在本文中，也简称为像素310)排列在像素阵列300中。稍后将说明单位像素310的细节。例如，每个单位像素310包括诸如光电二极管等光电转换元件和产生与在光电转换元件中产生的电荷量相对应的电压值的像素信号的电路(在下文中，称为像素电路)。此外，如在本文中其他部分更详细讨论的，像素电路可以包括第一或成像信号产生电路和第二或地址事件检测读出电路中的任一者或两者。每个光电转换元件可以与相应的像素电路相关联，或者多个光电转换元件可以与共用像素电路相关联。
54.在该示例中，多个单位像素310以二维格子形状排列在像素阵列300中。多个单位像素310可以被分组为多个像素块或组，每个像素块或组包括预定数量的单位像素。在下文中，将在水平方向上排列的单位像素的集合称为“行”，并且将在与行正交的方向上排列的单位像素的集合称为“列”。
55.每个单位像素310产生与在相应的光电转换元件处接收的光量相对应的电荷。另外，单位像素310中的至少一些单位像素310可以进行操作，以基于由在光电转换元件中产生的电荷而产生的电流(在下文中，称为光电流)的值或其变化量是否超过预定阈值来检测地址事件突发的存在与否。当地址事件突发时，信号被输出到仲裁器213。
56.仲裁器213对从执行事件检测功能的单位像素310接收的请求进行仲裁，并且基于仲裁结果将预定响应传输到发出请求的单位像素310。接收到响应的单位像素310向驱动电路211和信号处理器212供应指示地址事件突发的存在与否的检测信号(在下文中，简称为“地址事件检测信号”)。
57.驱动电路211驱动每个单位像素310，并且允许每个单位像素310向列adc 220输出像素信号。
58.针对每个单位像素310列，列adc 220将来自该列的模拟像素信号转换为数字信号。另外，列adc 220将通过转换产生的数字信号供应给信号处理器212。
59.信号处理器212对从列adc 220传输的数字信号实施诸如相关双采样(cds)处理(噪声去除)和白平衡调整等预定的信号处理。另外，信号处理器212通过信号线209将信号处理结果和地址事件检测信号供应给记录单元120。
60.像素阵列单元300内的单位像素310可以布置在像素组314中。例如，在图3所示的构造中，像素阵列单元300由包括单位像素310的集合的像素组314构成，该单位像素310从场景接收重构颜色信息所需的波长分量。例如，在基于rgb的三基色重构颜色的情况下，在像素阵列单元300中，可以根据预定的彩色滤光片阵列将光学彩色滤光片材料沉积在像素上，以控制所期望波长的光到达像素表面。具体地，接收红(r)色光的单位像素310、接收绿(g)色光的单位像素310和接收蓝(b)色光的单位像素310根据预定的彩色滤光片阵列排列在组314a中。
61.彩色滤光片阵列构造的示例包括各种阵列或像素组，诸如：2
×
2像素的拜耳阵列；在x-trans(注册商标)cmos传感器中采用的3
×
3像素的彩色滤光片阵列(在下文中，也称为“x-trans(注册商标)型阵列”)；4
×
4像素的四拜耳阵列(也称为“quadra阵列”)；和4
×
4像素的彩色滤光片，其中白色rgb彩色滤光片组合到拜耳阵列(在下文中，也称为“白色rgb阵列”)，等等。另外，并且如在本文中其他部分更详细讨论的，事件检测像素可以被散布或包括在像素阵列300内。同样如在本文中其他部分更详细讨论的，事件检测像素可以被设置为仅执行事件检测功能的专用事件检测像素，或被设置为执行事件检测功能和图像传感器功能两者的组合事件检测和图像感测像素。
62.图4是图示了在采用像素组314的情况下的单位像素310的阵列示例的示意图，该像素组314具有被构造为形成多个拜耳阵列310a的彩色滤光片阵列中的单位像素310和相关联的彩色滤光片的布置。如图4所示，在采用拜耳阵列作为彩色滤光片阵列构造的情况下，在像素阵列300中，包括2
×
2像素的总共四个单位像素310的基本图案310a在列方向和行方向上重复排列。例如，基本图案310a由包括红(r)色的彩色滤光片401的单位像素310r、包括绿(gr)色的彩色滤光片401的单位像素310gr、包括绿(gb)色的彩色滤光片401的单位像素310gb和包括蓝(b)色的彩色滤光片401的单位像素310b构成。
63.图5a-图5d描绘了根据本公开实施方案的成像装置100的各种构造示例，特别是固态成像器件或图像传感器200的像素的布置。更特别地，图5a描绘了具有第一或ebs传感器530和第二或成像传感器540的图像传感器200，该第一或ebs传感器530包括布置在第一光接收芯片或基板201a上的呈地址事件检测像素503形式的像素310的阵列300，该第二或成像传感器540包括布置在第二光接收芯片或基板201b上的呈图像感测像素502形式的像素310的阵列300。本领域技术人员在考虑本公开之后可以理解，包括单独的ebs传感器530和
成像传感器540的成像装置100可以被构造为具有单独的透镜组件110，该透镜组件110收集来自相同或相似视场内的光，或者可以被构造为具有共享的透镜组件110，该透镜组件110经由分束器将光引导到传感器530和540。根据本公开的实施方案，ebs传感器530中所包括的地址事件检测像素503的数量可以等于成像传感器540中所包括的图像感测像素502的数量。此外，每个地址事件检测像素503的面积可以与每个图像感测像素502的面积相同。或者，ebs传感器530和成像传感器540可以具有不同数量的像素310。例如，图像传感器200可以包括具有相对较低数量的事件检测像素503的ebs传感器530，从而提供相对较低的分辨率，并且包括具有相对较高数量的图像感测像素502的成像传感器540，从而提供相对较高的分辨率。根据本公开的至少一些实施方案，可以同时执行事件检测操作和图像感测操作。
64.图5b描绘了具有像素310的图像传感器200，该像素310被构造为布置在单个光接收芯片或基板201上的组合或共享的事件检测和图像感测像素501。本领域技术人员在考虑本公开之后可以理解，共享的事件检测和图像感测像素501可以在事件检测模式或图像感测模式中选择性地操作。此外，根据本公开的至少一些实施方案，可以使用在事件检测模式下操作的一些像素和在图像感测模式下操作的一些像素同时执行事件检测操作和图像感测操作。
65.图5c描绘了具有单位像素310阵列的图像传感器200，该阵列包括形成在同一光接收芯片或基板201上的多个事件检测像素503和多个图像感测像素502。在图示的示例中，大部分单位像素处于图像感测像素502的形式，其中少量的事件检测像素503布置在图像感测像素502之间。然而，具有布置在同一光接收芯片或基板201上的事件检测像素503和图像感测像素502两者的图像传感器200可以包括相同数量的像素502和503，或者可以具有比图像感测像素502更多的事件检测像素503。根据本公开的至少一些实施方案，可以同时执行事件检测操作和图像感测操作。
66.图5d描绘了具有单位像素310阵列的图像传感器200，该阵列包括形成在同一光接收芯片或基板201上的共享事件检测和图像感测像素501的组和图像感测像素502的组。各个组可以被构造为在共享事件检测和图像感测像素501的拜耳阵列组和图像感测像素502的拜耳阵列组之间交替的拜耳阵列。因此，图5d是其中不同的共享事件检测和图像感测像素501可以响应于不同波长范围内的光的图像传感器200的示例。例如，共享事件检测和图像感测像素501可以与彩色滤光片相关联。或者，共享像素501都可以接收相同波长范围内的光。尽管在图中描绘了相同数量的包含相同数量的相应像素310的组，但是其他构造也是可能的。本领域技术人员在考虑本公开之后可以理解，可以在事件检测模式或图像感测模式下选择性地操作共享事件检测和图像感测像素501。此外，根据本公开的至少一些实施方案，可以同时执行事件检测操作和图像感测操作。
67.图5e描绘了具有单位像素310阵列的图像传感器200，该阵列包括形成在同一光接收芯片或基板201上的共享事件检测和图像感测像素501的组和事件检测像素503的组。共享事件检测和图像感测像素的各个组可以被构造为与事件检测像素503的组交替的拜耳阵列。尽管在图中描绘了相同数量的包含相同数量的相应像素310的组，但是其他构造也是可能的。本领域技术人员在考虑本公开之后可以理解，可以在事件检测模式或图像感测模式下选择性地操作共享事件检测和图像感测像素501。此外，根据本公开的至少一些实施方案，可以同时执行事件检测操作和图像感测操作。
68.图5f描绘了具有单位像素310阵列的图像传感器200，该阵列包括全部形成在同一光接收芯片或基板201上的共享事件检测和图像感测像素501的组、图像感测像素502的组和事件检测像素503的组。各个像素组中的一些或全部像素组可以被构造为拜耳阵列。例如，在至少一个示例性构造中，共享事件检测和图像感测像素501的组和图像感测像素的组可以被构造为拜耳阵列，而每个事件检测像素503可以被构造为接收来自同一波长范围内的光。例如，共享事件检测和图像感测像素501和图像感测像素可以与彩色滤光片相关联，并且事件检测像素503可以没有彩色滤光片。尽管其中像素310的1/2是共享事件检测和图像感测像素501，像素310的1/4是图像感测像素502，并且像素310的1/4是事件检测像素503的布置，但是其他构造也是可能的。本领域技术人员在考虑本公开之后可以理解，可以在事件检测模式或图像感测模式下选择性地操作共享事件检测和图像感测像素501。此外，根据本公开的至少一些实施方案，可以同时执行事件检测操作和图像感测操作。
69.接下来，将说明单位像素310的构造示例。图6a是图示了根据本公开至少一些实施方案，特别是根据如下实施方案的单位像素310的示意性构造示例的电路图：该实施方案包括被构造为执行事件检测功能和图像传感器功能两者的组合或共享的事件检测(ebs)和图像感测(is)像素501的像素310。如图6a所示，例如，单位像素310包括像素成像信号产生单元(或读出电路)320、光接收单元330和地址事件检测单元(或读出电路)400。根据至少一个示例性实施方案，事件检测读出电路400可以基于由光电转换元件(或光电转换区域)333产生的电荷并基于逻辑电路210的操作来触发成像信号产生读出电路320的操作。例如，图6a中的逻辑电路210是包括图3中的驱动电路211、信号处理器212和仲裁器213的逻辑电路。根据本公开的至少一些实施方案，逻辑电路可以在处理器系统130中实现。如在本文中其他部分更详细说明的，逻辑电路210可以基于事件检测读出电路400的输出或其他事件检测读出电路400的输出来确定是否触发成像信号产生读出电路320的操作或与其他单位像素310相关联的图像信号产生电路320的操作。
70.例如，光接收单元330包括第一或成像传输晶体管或栅极(第一晶体管)331、第二或地址事件检测传输晶体管或栅极(第二晶体管)332和光电转换元件333。从驱动电路211传输的第一传输或控制信号tg1被选择性地供应给光接收单元330的第一传输晶体管331的栅极，并且从驱动电路211传输的第二传输或控制信号tg2被选择性地供应给第二传输晶体管332的栅极。通过光接收单元330的第一传输晶体管331的输出连接到像素成像信号产生单元320，并且通过第二传输晶体管332的输出连接到地址事件检测单元400。
71.像素成像信号产生单元320可以包括复位晶体管(第三晶体管)321、放大晶体管(第四晶体管)322、选择晶体管(第五晶体管)323和浮动扩散层(fd)324。
72.根据本发明的至少一些实施方案，例如，光接收单元330的第一传输晶体管331和第二传输晶体管332通过使用n型金属氧化物半导体(mos)晶体管(在下文中，简称为“nmos晶体管”)构成。类似地，例如，像素成像信号产生单元320的复位晶体管321、放大晶体管322和选择晶体管323分别通过使用nmos晶体管构成。
73.地址事件检测单元400可以包括电流-电压转换单元410和减法器430。地址事件检测单元400还可以设置有缓冲器、量化器和传输单元。将在以下说明中结合图7说明地址事件检测单元400的细节。
74.在图示的构造中，光接收单元330的光电转换元件333对入射光进行光电转换，以
产生电荷。第一传输晶体管331根据第一控制信号tg1将在光电转换元件333中产生的电荷传输到成像信号产生读出电路320的浮动扩散层324。第二传输晶体管332根据第二控制信号tg2将基于在光电转换元件333中产生的电荷的电信号(光电流)供应给地址事件检测单元400。
75.当由处理器系统130给出用于图像感测的指令时，逻辑电路210中的驱动电路211输出控制信号tg1，以将像素阵列300中所选单位像素310的光接收单元330的第一传输晶体管331设定为导通(on)状态。通过该布置，在光接收单元330的光电转换元件333中产生的光电流通过第一传输晶体管331被供应给像素成像信号产生读出电路320。更特别地，浮动扩散层324累积从光电转换元件333经由第一传输晶体管331传输的电荷。复位晶体管321根据从驱动电路211传输的复位信号排出(初始化)在浮动扩散层324中累积的电荷。放大晶体管322允许电压值与在浮动扩散层324中累积的电荷量相对应的像素信号出现在垂直信号线vsl中。选择晶体管323根据从驱动电路211传输的选择信号sel来切换放大晶体管322和垂直信号线vsl之间的连接。此外，出现在垂直信号线vsl中的模拟像素信号由列adc 220读出，并且被转换为数字像素信号。
76.当由处理器系统130给出用于地址事件检测启动的指令时，逻辑电路210中的驱动电路211输出控制信号，以将像素阵列单元300中的光接收单元330的第二传输晶体管332设定为导通状态。通过该布置，在光接收单元330的光电转换元件333中产生的光电流通过第二传输晶体管332被供应给每个单位像素310的地址事件检测单元400。
77.当基于来自光接收单元330的光电流检测到地址事件突发时，每个单位像素310的地址事件检测单元400向仲裁器213输出请求。对此，仲裁器213对从每个单位像素310传输的请求进行仲裁，并且基于仲裁结果将预定的响应传输到发出该请求的单位像素310。接收到响应的单位像素310将指示地址事件突发的存在与否的检测信号(在下文中，称为“地址事件检测信号”)供应给逻辑电路210中的驱动电路211和信号处理器212。
78.驱动电路211还可以将作为地址事件检测信号的供应源的单位像素310中的第二传输晶体管332设定为截止(off)状态。通过该布置，停止单位像素310中的从光接收单元330向地址事件检测单元400的光电流供应。
79.接下来，驱动电路211通过传输信号tg1将单位像素310的光接收单元330中的第一传输晶体管331设定为导通状态。通过该布置，在光接收单元330的光电转换元件333中产生的电荷通过第一传输晶体管331传输到浮动扩散层324。另外，电压值与在浮动扩散层324中累积的电荷的电荷量相对应的像素信号出现在与像素成像信号产生单元320的选择晶体管323连接的垂直信号线vsl中。
80.如上所述，在图像传感器200中，像素信号sig从其中检测到地址事件突发的单位像素310输出到列adc 220。根据本公开的其他实施方案，从与已经提供地址事件检测信号的单位像素310的地址相关联的单位像素310组或子阵列内的单位像素310输出像素信号。
81.此外，例如，光接收单元330、像素成像信号产生单元320以及地址事件检测单元400的电流-电压转换单元410中的两个对数(lg)晶体管(第六和第七晶体管)411和414及两个放大晶体管(第八和第九晶体管)412和413例如被布置在图2所示的光接收芯片201中，并且其他部件可以例如被布置在通过cu-cu接合接合到光接收芯片201的逻辑芯片202中。因此，在以下说明中，在单位像素310中，将布置在光接收芯片201中的构造称为“上层电路”。
82.图6b中描绘了根据本公开至少一些实施方案的被构造为具有共享的像素成像信号产生读出电路320的图像感测像素502的单位像素310组的构造示例。在该示例中，每个光电转换元件333经由相应的传输栅极331选择性地连接到浮动扩散324。另外，由光电转换单元333共享像素成像信号读出电路320的部件。在该示例中，示出了四个光电转换单元333a-333d和四个对应的传输栅极331a-331d。然而，可以结合共享的像素成像信号读出电路320地包括任意数量的光电转换单元333和相应的传输栅极331。
83.图6c中描绘了被构造为单功能地址事件检测像素503和相关联的地址事件检测读出电路400元件的单位像素310的构造示例。如图所示，该示例包括单个光电转换元件333，其通过传输栅极332选择性地连接到地址事件检测读出电路400的部件。事件扫描控制块415控制地址事件检测读出电路400的操作。
84.图7是图示了根据本公开至少一些实施方案的地址事件检测单元400的示意性构造示例的框图。如图7所示，地址事件检测单元400包括电流-电压转换单元410、缓冲器420、减法器430、量化器440和传输单元450。电流-电压转换单元410将来自光接收单元330的光电流转换为电压信号，并且将通过转换产生的电压信号供应给缓冲器420。缓冲器420对从电流-电压转换单元410传输的电压信号进行校正，并且将校正后的电压信号输出到减法器430。减法器430根据从驱动电路211传输的行驱动信号降低从缓冲器420传输的电压信号的电压电平，并且将降低后的电压信号供应给量化器440。量化器440将从减法器430传输的电压信号量化为数字信号，并且将通过量化产生的数字信号作为检测信号输出到传输单元450。传输单元450将从量化器440传输的检测信号传输到信号处理器212等。例如，当检测到地址事件突发时，传输单元450将用于从传输单元450向驱动电路211和信号处理器212传输地址事件检测信号的请求供应给仲裁器213。另外，当从仲裁器213接收到关于该请求的响应时，传输单元450将检测信号供应给驱动电路211和信号处理器212。
85.图7所示的构造中的电流-电压转换单元410可以包括如图6a所示的两个lg晶体管411和414、两个放大晶体管412和413以及恒流电路415。例如，lg晶体管411的源极和放大晶体管413的栅极连接到光接收单元330的第二传输晶体管332的漏极。另外，例如，lg晶体管411的漏极连接到lg晶体管414的源极和放大晶体管412的栅极。例如，lg晶体管414的漏极连接到电源端子vdd。另外，例如，放大晶体管413的源极接地，并且其漏极连接到lg晶体管411的栅极和放大晶体管412的源极。例如，放大晶体管412的漏极通过恒流电路415连接到电源端子vdd。例如，恒流电路415由诸如p型mos晶体管等负载mos晶体管构成。在这种连接关系中，构成了环形源极跟随器电路。通过该布置，来自光接收单元330的光电流被转换为与其电荷量相对应的对数值的电压信号。此外，例如，lg晶体管411和414以及放大晶体管412和413可以分别由nmos晶体管构成。
86.图8是图示了根据本公开至少一些实施方案的减法器430和量化器440的示意性构造示例的电路图。如图8所示，减法器430包括电容器431和433、反相器432和开关434。另外，量化器440包括比较器441。电容器431的一端连接到缓冲器420的输出端子，并且另一端连接到反相器432的输入端子。电容器433并联连接到反相器432。开关434根据行驱动信号断开或闭合连接电容器433两端的路径。反相器432将通过电容器431输入的电压信号反相。反相器432将反相信号输出到比较器441的非反相输入端子( )。当开关434接通时，电压信号v
init
被输入到电容器431的缓冲器420侧。另外，相反侧成为虚拟接地端子。为了方便起见，
将虚拟接地端子的电位设定为零。此时，当电容器431的容量被设定为c1时，在电容器431中累积的电位q
init
由以下表达式(1)表示。另一方面，电容器433的两端短路，因此其累积电荷为零。
87.q
init
＝c1
×vinit
ꢀꢀꢀꢀ
(1)
88.接下来，当考虑开关434断开，并且缓冲器420侧的电容器431的电压变化而达到v
after
时，在电容器431中累积的电荷q
after
由以下表达式(2)表示。
89.q
after
＝c1
×vafter
ꢀꢀꢀꢀ
(2)
90.另一方面，当输出电压被设定为v
out
时，在电容器433中累积的电荷q2由以下表达式(3)表示。
91.q2＝-c2
×vout
ꢀꢀꢀꢀ
(3)
92.此时，电容器431和433的总电荷量没有变化，因此以下表达式(4)成立。
93.q
init
＝q
after
q2
ꢀꢀꢀꢀ
(4)
94.当将表达式(1)至表达式(3)代入表达式(4)时，获得以下表达式(5)。
[0095]vout
＝-(c1/c2)
×
(v
after-v
init
)
ꢀꢀꢀꢀꢀ
(5)
[0096]
表达式(5)表示电压信号的减法运算，减法结果的增益为c1/c2。通常，期望使增益最大化(或者，提高)，因此，优选进行设计以使c1变大而c2变小。另一方面，当c2过小时，ktc噪声增加，因此，存在噪声特性劣化的担忧。因此，c2容量的降低被限制在能够允许噪声的范围内。另外，由于针对每个单位像素310安装包括减法器430的地址事件检测单元400，因此容量c1和c2存在面积限制。容量c1和c2的值是考虑到限制而确定的。
[0097]
比较器441将从减法器430传输的电压信号与施加到反相输入端子(-)的预定阈值电压vth进行比较。比较器441将指示比较结果的信号作为检测信号输出到传输单元450。另外，当电流-电压转换单元410的转换增益被设定为cg
log
，并且缓冲器420的增益被设定为“1”时，地址事件检测单元400整体的增益a由以下表达式(6)表示。
[0098]
[数学式1]
[0099][0100]
在表达式(6)中，i
photo
_n表示第n个单位像素310的光电流，其单位例如是安培(a)。n表示像素块中的单位像素310的数量，并且在本实施方案中为“1”。
[0101]
图9是图示了根据本公开至少一些实施方案的列adc的示意性构造示例的框图。列adc 220包括多个针对单位像素310的每一列设置的adc 230。每个adc 230将出现在垂直信号线vsl中的模拟像素信号转换为数字信号。例如，像素信号被转换为位长度大于检测信号的位长度的数字信号。例如，当检测信号被设定为两位时，像素信号被转换为三位以上(16位等)的数字信号。adc 230将产生的数字信号供应给信号处理器212。
[0102]
接下来，将参照附图详细说明根据本公开至少实施方案的图像传感器200的操作。
[0103]
首先，将通过使用时序图来说明图像传感器200的操作示例。图10a是图示了根据本公开实施方案的图像传感器的操作示例的时序图。
[0104]
如图10a所示，在时序t0，当由处理器系统130给出用于地址事件检测启动的指令时，驱动电路211将施加到像素阵列单元300中的所有光接收单元330的第二传输晶体管332
的栅极的控制信号tg2升高到高电平。通过该布置，所有光接收单元330的第二传输晶体管332进入导通状态，并且基于在每个光接收单元330的光电转换元件333中产生的电荷的光电流从每个光接收单元330供应给多个地址事件检测单元400中的各者。
[0105]
另外，在控制信号tg2处于高电平的时段中，施加到每个光接收单元330中的第一传输晶体管331的栅极的所有传输信号tg1都保持在低电平。因此，在该时段中，所有光接收单元330中的多个传输晶体管331处于截止状态。
[0106]
接下来，将假定被构造为执行事件检测的任意单位像素310的地址事件检测单元400在控制信号tg2处于高电平的时段中检测地址事件突发的情况。在这种情况下，检测地址事件突发的地址事件检测单元400向仲裁器213传输请求。对此，仲裁器213对该请求进行仲裁，并且将对该请求的响应返回给发出该请求的地址事件检测单元400。
[0107]
例如，在时序t1到时序t2的时段中，接收到响应的地址事件检测单元400将输入到驱动电路211和信号处理器212的检测信号升高到高电平。此外，在本说明中，假定检测信号是一位信号。
[0108]
在时序t1从地址事件检测单元400输入高电平检测信号的驱动电路211在随后的时序t2将所有控制信号tg2降低到低电平。通过该布置，停止从像素阵列单元300的所有光接收单元330向地址事件检测单元400的光电流供应。
[0109]
根据本公开的实施方案，在处理器系统130确定应当启用像素成像信号产生电路320的情况下，在时序t2，驱动电路211将施加到其中检测到地址事件突发的单位像素310(在下文中，称为“读出目标单位像素”)的像素成像信号产生单元320中的选择晶体管323的栅极的选择信号sel升高到高电平，并且将施加到同一像素成像信号产生单元320的复位晶体管321的栅极的复位信号rst升高到高电平达恒定脉冲时段，从而排出(初始化)在像素成像信号产生单元320的浮动扩散层324中累积的电荷。以这种方式，在浮动扩散层324被初始化的状态下出现在垂直信号线vsl中的电压由列adc 220中的连接到垂直信号线vsl的adc 230读出作为复位电平像素信号(在下文中，简称为“复位电平”)，并且被转换为数字信号。
[0110]
接下来，在读出复位电平之后的时序t3，驱动电路211将恒定脉冲时段的传输信号trg施加到读出目标单位像素310中的光接收单元330的第一传输晶体管331的栅极。通过该布置，在光接收单元330的光电转换元件333中产生的电荷被传输到像素成像信号产生单元320中的浮动扩散层324，并且与在浮动扩散层324中累积的电荷相对应的电压出现在垂直信号线vsl中。以这种方式，出现在垂直信号线vsl中的电压由列adc 220中的连接到垂直信号线vsl的adc 230读出作为光接收单元330的信号电平像素信号(在下文中，简称为“信号电平”)，并且被转换为数字值。
[0111]
信号处理器212实施cds处理，其中获得如上所述地读出的复位电平和信号电平之间的差作为与光电转换元件333的光接收量相对应的净像素信号。
[0112]
接下来，在时序t4，驱动电路211将施加到读出目标单位像素310的像素成像信号产生读出电路320中的选择晶体管323的栅极的选择信号sel降低到低电平，并且将施加到像素阵列单元300中的所有光接收单元330的第二传输晶体管332的栅极的控制信号tg2升高到高电平。通过该布置，重新开始像素阵列单元300中的所有光接收单元330中的地址事件突发检测。
[0113]
图10b是图示了根据本公开其他实施方案的图像传感器的操作示例的时序图。在
时序t0，当由处理器系统130给出用于地址事件检测启动的指令时，驱动电路211升高施加到与选择性激活的地址事件检测单元400的光电转换元件333相关联的传输晶体管332的栅极的控制信号tg2。更特别地，可以激活一些或全部地址事件检测单元400。
[0114]
另外，施加到第一传输晶体管331的栅极的传输信号tg1保持在低电平。因此，相关联的传输晶体管331处于截止状态。
[0115]
在该示例中，在控制信号tg2处于高电平且相关联的传输晶体管332处于导通状态期间，任意地址事件检测单元400在时序t1检测地址事件突发。响应于事件触发，开始图像帧拍摄。图像帧拍摄可以是涉及像素阵列300中所包括的所有图像感测像素502的全帧图像拍摄。或者，由特定事件检测单元400进行的事件检测可以作为触发器进行操作，以由在事件检测单元400附近或以其他方式与事件检测单元400相关联的图像感测像素502组进行图像拍摄。然后，可以执行由图像感测像素获得的信号的读出。此外，如在本文中其他部分所讨论的，处理器系统130可以操作以控制启用的图像感测像素502或电路320的帧速率。
[0116]
图11图示了根据本公开至少一些实施方案根据本公开实施方案的成像装置100的操作的方面。最初，成像装置100可以在ebs模式下监视场景(步骤1100)。在至少一些操作场景中，在ebs模式下监视场景包括一个或多个像素将ebs数据输出到与成像装置通信的处理器。
[0117]
当成像装置100监视场景时，由像素输出的ebs数据可以由处理器分析(步骤1104)。处理器可以被构造为能够分析ebs数据，以检测场景内光强度的变化。本领域技术人员在考虑本公开之后可以理解，可以操作共享事件检测和图像感测像素501或地址事件检测像素503使得检测呈场景内光强度变化形式的事件。此外，根据本公开的至少一些实施方案，可以操作成像装置100以连续地检测事件。
[0118]
可以由驱动电路211和/或通过由处理器系统130实施应用程序编程来执行检测操作。本领域技术人员在考虑本公开之后可以理解，通常由从像素阵列300内的一个或多个事件检测像素501、503输出的信号来指示事件。
[0119]
在分析ebs数据时，处理器能够检测触发事件。可以由处理器通过识别ebs数据中的多个可能的模式之中的一个或多个模式或者以其他方式与事件相关联的信息来检测触发事件。例如，可以通过监视ebs数据中的事件密度并确定存在对象来检测触发事件。在一些实施方案中，ebs数据可以用作神经网络的输入，该神经网络可以输出关于触发事件是否已经发生的判定。例如，可以训练神经网络以检测输入的ebs数据中的面部或所需对象类别组或检测输入的ebs数据中的有意义的事件组。
[0120]
如果在步骤1108中检测到触发事件，则在步骤1112中处理器可以产生信号，以将传感器切换到rgb模式。如果在步骤1108中未检测到触发事件，则该方法可以返回到其中分析ebs数据的步骤1104。
[0121]
在步骤1108中检测到触发事件之后，可以在步骤1112中激活rgb模式。在一些实施方案中，在已经检测到触发事件之后，可以做出与在rgb模式下收集图像数据时应当应用的参数相关的确定。例如，可以操作成像系统100以在rgb模式下激活整个帧，从而收集数据，或者可以操作成像系统100以在rgb模式下激活帧的区域，从而收集数据。在另一示例中，可以操作成像系统100，从而以特定的帧速率收集图像数据。
[0122]
然后，可以确定是否中止图像感测操作(步骤1116)。根据本公开的实施方案，图像
信息的获取可以持续预定时间段或者直到已经获取预定数量的图像数据帧为止。因此，可以在已经获取初始图像或图像组之后中止图像信息的获取。根据本公开的其他实施方案，只要检测到的对象保持在成像系统100的视场114内，就可以继续获取图像信息。在确定对象已经离开成像装置100的视场之后，可以中止与对象相关的图像信息的获取。作为另一种选择，可以继续与对象相关的图像信息的获取，直到获取足够的图像信息，以允许由相关联系统的成像系统104的处理器系统130实施的应用程序编程执行对象识别并确定与该对象相关联的图像获取操作可以被中止。
[0123]
在确定可以中止图像感测操作之后，接下来可以确定是否应当中止图像传感器系统100的操作(步骤1120)。如果操作继续，则该处理可以包含在返回到步骤1104之前在步骤1124中从rgb模式切换回ebs模式。否则，可以在步骤1128中结束操作。
[0124]
图12a、图12b和图12c是图示了用于在ebs像素信号和rgb像素信号之间切换的各种系统的框图。如上面关于图5a-图5d所讨论的，可以在各种实施方案中实现成像装置100的各种构造。例如，如图5a所示，图像传感器200可以具有第一或ebs传感器530和第二或成像传感器540。如图5b所示，图像传感器200可以具有像素310，该像素310被构造为可以选择性地在事件检测模式或图像感测模式下操作的组合或共享的事件检测和图像感测像素501。如图5c所示，图像传感器200可以具有包括多个事件检测像素503和多个图像感测像素502的单位像素310阵列。无论使用哪种类型的图像传感器200，都可以利用如图12a、图12b和图12c所示的切换系统来实现事件检测或ebs模式和图像感测或rgb模式之间的切换。
[0125]
如在图12a中可以理解的，如上面关于图5a-图5f所述，ebs像素数据可以由ebs传感器1200输出，并且rgb像素数据可以由图像传感器1204输出。取决于实现方式，ebs像素数据和rgb像素数据可以同时或分别输出。ebs像素数据不仅可以输入到诸如与图像传感器200通信的处理器或cpu 1220等ebs事件分析系统中，而且还可以输入到实施神经网络1212的计算机系统中。在一些实施方案中，cpu 1220能够实施神经网络本身，因此单独的神经网络1212可能不是必需的。
[0126]
图12a的神经网络1212可以实现卷积神经网络或一些其他类型的分析算法。神经网络1212能够控制开关1208。在一些实施方案中，开关1208可以由cpu 1220控制。例如，开关1208可以是晶体管。开关1208可以控制从ebs像素和rgb像素到输出电路1216的数据流。以这种方式，神经网络1212能够分析来自ebs传感器1200的数据，并且能够基于对ebs像素数据的分析来控制从成像装置100输出ebs像素数据还是输出rgb像素数据。神经网络1212和/或cpu 1220能够经由反馈系统1224控制ebs传感器1200和/或rgb或图像传感器1204的帧速率或其他数据拍摄质量变量。rgb数据的整个帧可以被发送到输出电路，或者rgb帧的区域可以被发送到输出电路。可以基于任何检测到的对象的特征来改变帧速率或其他数据拍摄质量变量。例如，较快对象可能需要增大帧速率。
[0127]
切换逻辑可以被用于将传感器从ebs数据模式切换到rgb数据模式，反之亦然。在一些实施方案中，ebs数据可以由计算机系统分析，该计算机系统能够控制开关以在ebs模式和rgb模式之间切换ebs/rgb可切换传感器。可以通过神经网络或其他数据分析方法进行分析。取决于判定逻辑，输出电路可以从传感器输出ebs数据或rgb数据。
[0128]
例如，处理器可以被构造为处理来自在ebs模式下操作的传感器和/或在rgb模式下操作的传感器的输出。处理器可以被构造为基于ebs数据输出事件信号和/或基于rgb数
据输出图像信号。处理器还可以被构造为基于ebs数据和/或rgb数据的处理在ebs模式和rgb模式之间进行选择。
[0129]
如图12b和图12c所示，可以使用具有用于ebs数据和图像数据两者的能力的单个传感器。例如，如图12b所示，如上面关于图5a-图5f所述，ebs像素数据和rgb像素数据可以由具有ebs像素和rgb像素两者的传感器1228输出。取决于实现方式，ebs像素数据和rgb像素数据可以同时或分别输出。ebs像素数据不仅可以输入到诸如与图像传感器200通信的处理器或cpu 1220等ebs事件分析系统中，而且还可以输入到实施神经网络1212的计算机系统中。在一些实施方案中，cpu 1220能够实施神经网络本身，因此单独的神经网络1212可能不是必需的。
[0130]
图12b的神经网络1212可以实现卷积神经网络或一些其他类型的分析算法。神经网络1212能够控制开关1208。在一些实施方案中，开关1208可以由cpu 1220控制。例如，开关1208可以是晶体管。开关1208可以控制从ebs像素和rgb像素到输出电路1216的数据流。以这种方式，神经网络1212能够分析来自传感器1228的数据，并且能够基于对ebs像素数据的分析来控制从成像装置100输出ebs像素数据还是输出rgb像素数据。神经网络1212和/或cpu 1220能够经由反馈系统1224控制传感器1200的帧速率或其他数据拍摄质量变量。可以基于任何检测到的对象的特征来改变帧速率或其他数据拍摄质量变量。例如，较快对象可能需要增大帧速率。
[0131]
在替代实施方案中，如图12c所示，如上面关于图5a-图5f所述，ebs像素数据和rgb像素数据可以由具有能够产生ebs像素数据和rgb像素数据两者的像素的传感器1232输出。取决于实现方式，ebs像素数据和rgb像素数据可以同时或分别输出。ebs像素数据不仅可以输入到诸如与图像传感器200通信的处理器或cpu 1220等ebs事件分析系统中，而且还可以输入到实施神经网络1212的计算机系统中。在一些实施方案中，cpu 1220能够实施神经网络本身，因此单独的神经网络1212可能不是必需的。
[0132]
图12c的神经网络1212可以实现卷积神经网络或一些其他类型的分析算法。神经网络1212能够经由反馈系统1224控制传感器1232。在一些实施方案中，反馈系统1224可以由cpu 1220控制。反馈系统1224可以控制从ebs像素和rgb像素到输出电路1216的数据流。以这种方式，神经网络1212能够分析来自传感器1228的数据，并且能够基于对ebs像素数据的分析来控制从成像装置100输出ebs像素数据还是输出rgb像素数据。
[0133]
事件是否需要从ebs切换到rgb取决于应用。可以使用支持低功率设计的许多切换方法，并且某些实施方案可以如本文中所述。
[0134]
例如，取决于应用，可以使用以下方法中的一种或多种方法来确定何时以及是否从ebs模式切换到rgb模式：高ebs事件密度的检测、低ebs事件密度的检测、通过神经网络的ebs数据分析、通过递归神经网络的ebs数据分析、在特定方向上的ebs运动的检测。应当注意，这些方法不应被认为是确定何时以及是否从ebs模式切换到rgb模式的唯一可能的方法。
[0135]
经由ebs模式收集的数据也可以用于确定将rgb数据的整个帧发送到输出还是将rgb帧的区域发送到输出。ebs数据还可以用于确定对象的速度，并且可以用于切换到更高的帧速率。
[0136]
在一个实施方案中，当在整个场景或场景的预定义区域中ebs事件密度超过阈值
量时，传感器可以从ebs模式切换到rgb模式。这种实施方案对于拍摄运动可能是有用的。例如，可以使用被设定为基于ebs事件密度超过阈值量而从ebs模式切换到rgb模式的传感器以识别进入场景中的车辆或识别进入房间的人等。
[0137]
在一些实施方案中，处理器系统130能够使用事件检测数据来确定应用于rgb模式的帧速率。所确定的用于rgb模式的帧速率可以基于如从事件检测数据确定的对象的身份、对象的相对速度或对所识别对象的感兴趣程度。例如，相对较高的帧速率可以应用于汽车，中等帧速率可以应用于骑自行车的人，并且相对较低的帧速率可以应用于行人。与静止或以较低表观速度移动的对象相比，更高的帧速率可以应用于以较快表观速度移动的对象。
[0138]
由处理系统130对事件检测数据和/或图像数据执行的各种操作可以包括应用一个或多个神经网络来分析所收集的信息。
[0139]
本公开的实施方案可以在图像感测像素501、502操作的同时继续操作事件检测像素502、503。如在本文中其他部分所述，事件检测像素502、503通常异步地操作。通过继续操作事件检测像素502、503，可以连续地执行事件检测功能，而不会损失或降低成像装置100的时间事件检测性能。
[0140]
因此，本公开的实施方案提供了具有能够执行事件检测操作和成像操作两者的一个或多个像素阵列300的成像装置100。此外，事件检测像素可以连续地操作，并且图像感测像素可以选择性地操作。此外，可以基于检测到的一个或多个事件的特征或标识来选择应用于图像感测像素的操作的帧速率。在选定的时间段之后，在被成像的事件不再存在之后，或者在已经满足某些其他标准之后，可以中断图像感测像素的操作，而事件检测像素的操作继续。因此，结合所选择的成像操作提供对事件的连续监视，从而在节省电力、数据传输和数据处理资源的同时提供相关的图像数据。
[0141]
ebs传感器或包括ebs像素的传感器能够产生指示光强度变化的数据帧。例如，在帧中，光强度的正变化可以通过具有诸如 1等值或诸如红色等特定颜色的像素来反映。类似地，在帧中，光强度的负变化可以通过具有诸如-1等特定值或诸如蓝色等其他颜色的像素来反映。如果ebs像素未检测到光强度的变化，则可以使用零值或诸如白色等颜色。
[0142]
在一些实施方案中，ebs传感器或包括ebs像素的传感器能够指示光强度的变化量。例如，相对较高的光强度变化可以由具有 1.00的值的像素来反映，而相对较低但正的光强度变化可以由 0.01的值反映。值 1.00和 0.01可以分别由255和1的8位数字值来表示。类似地，可以使用一系列颜色来指示变化量。
[0143]
然而，ebs相机仅提供变化信息和时间信息。例如，对应于像素事件的来自ebs传感器的数据可能对应于三种状态：-1表示负变化， 1表示正变化，0表示没有变化。还可以提供变化时间的信息。ebs相机本身不会提供颜色信息或灰度。为此，ebs相机不是用于拍摄图像或视频信息的通用相机。上面提到的与颜色像素相关联的ebs像素不应被解释为与来自场景的颜色相关联的ebs像素，而是仅将颜色用作光强度变化的可视化。
[0144]
当在ebs模式下操作时，ebs/rgb可切换传感器可以在相对较低的功耗状态下操作。当在rgb模式下操作时，ebs/rgb可切换传感器可以在相对较高的功耗状态下操作。为此，ebs模式可以用于较低功率，并且可以仅在需要时激活或切换到rgb模式。
[0145]
切换逻辑可以被用于将传感器从ebs数据模式切换到rgb数据模式，反之亦然。在一些实施方案中，切换逻辑可以被用于仅打开和关闭rgb数据。在一些实施方案中，ebs数据
可以由计算机系统分析，该计算机系统能够控制开关以在ebs模式和rgb模式之间切换ebs/rgb可切换传感器。可以通过神经网络或其他数据分析方法进行分析。取决于判定逻辑，输出电路可以从传感器输出ebs数据或rgb数据。
[0146]
例如，处理器可以被构造为处理来自在ebs模式下操作的传感器和/或在rgb模式下操作的传感器的输出。处理器可以被构造为基于ebs数据输出事件信号和/或基于rgb数据输出图像信号。处理器还可以被构造为基于ebs数据和/或rgb数据的处理在ebs模式和rgb模式之间进行选择。
[0147]
事件是否需要从ebs切换到rgb取决于应用。可以使用支持低功率设计的许多切换方法，并且某些实施方案可以如本文中所述。
[0148]
在一些实施方案中，可以基于卷积神经网络(“cnn”)对ebs帧的处理来触发ebs模式和rgb模式之间的切换。在这种实施方案中，可以将ebs帧馈送到诸如lenet、vgg16、resnet等分类cnn，馈送到诸如rcnn、yolo、ssd等检测cnn，或馈送到其他类型的神经网络。如果识别出或以其他方式检测到诸如人、面部或车辆等特定对象的概率很高，则可能会触发rgb模式以拍摄对象的彩色图像以供进一步分析。
[0149]
如果神经网络判定诸如人、面部或汽车等某类对象的概率超过预定义的阈值，则可能会触发rgb模式。
[0150]
例如，一个或多个ebs帧可以用作cnn的输入，该cnn可以输出触发决定。在一些实施方案中，单个ebs帧可以用作输入，以产生触发决定。单个ebs帧可以是在诸如1毫秒等特定时间帧内收集的ebs信号的集合。在一些实施方案中，多个ebs帧可以用作输入。例如，可以使用在例如1秒的给定时间段内拍摄的一系列ebs帧。
[0151]
cnn可以包括多个层，并且可以被训练以检测一种或多种类型的ebs相关事件。例如，cnn可以包括多个卷积层(例如，conv1、conv2、conv3、conv4、conv5等)和一个或多个最大池化层(max pooling layer)。可以通过输入显示已知事件的ebs帧的过程来训练cnn。在一些实施方案中，可以训练cnn以在检测到显示特定事件发生的ebs数据的事件中输出触发决定。触发决定可以简单到由 1表示是，由0表示否。在一些实施方案中，触发决定可能更复杂，例如，识别检测到的事件的事件类型。例如，cnn可以检测具有ebs数据的输入，该ebs数据显示超过预定义的时空密度的大量事件或由cnn识别为指示诸如人、面部或车辆等特定对象的存在。触发决定可以包括关于由cnn检测到和/或识别出的对象的信息。
[0152]
图13中图示了本公开的某些实施方案的框图。可以理解，能够接收ebs数据1300和rgb数据1304作为输入的图像系统能够产生输出。ebs数据1300可以从ebs传感器或能够产生ebs数据1300的其他类型的传感器输出。ebs数据1300可以被输入到能够处理ebs数据1300的输出电路1308中，以便由面部检测神经网络1316和/或cpu 1320中的一者或多者进一步分析。面部检测神经网络1316可以是诸如被训练以检测ebs数据中的面部的cnn等神经网络。虽然本实施方案是用于检测和识别面部的系统，但是应当理解，相同的原理可以应用于检测和识别其他类型的对象。
[0153]
rgb数据1304可以被输入到能够处理rgb数据1304的输出电路1312中，以便由面部识别神经网络1328进一步分析。面部识别神经网络1328可以是诸如被训练以识别rgb数据中的面部的cnn等神经网络。具体地，其被训练以确定面部的身份。虽然本实施方案是用于检测和识别面部的系统，但是应当理解，相同的原理可以应用于检测和识别其他类型的对
象。
[0154]
在rgb数据1304被输入到面部识别神经网络中之前，rgb数据1304可以被输入到开/关逻辑系统1324中，该开/关逻辑系统1324可以由面部检测神经网络和/或cpu 1320中的一者或两者控制。例如，可以训练面部检测神经网络1316以在检测到输入的ebs数据中的一个或多个面部时切换开/关逻辑系统1324。
[0155]
当切换开/关逻辑系统1324以允许rgb数据1304被输入到面部识别神经网络1328中时，面部识别神经网络1328可以开始处理rgb数据1304，以识别rgb数据1304中的面部。然后，面部识别神经网络1328可以将与任何识别出的面部相关的信息输出到输出电路1332中。例如，神经网络可以与一个或多个在线数据库进行通信，该一个或多个在线数据库可以用于收集与识别出的面部相关的姓名或其他身份信息。这些身份信息可以被输出到输出电路1332中。
[0156]
根据本文中所述的系统和方法，使用如图13所示的系统可以实现对象识别系统。这种对象识别系统可以包括诸如ebs传感器等被构造为检测光强度量的变化的第一传感器、诸如rgb传感器等被构造为检测光强度的量的第二传感器和处理器。
[0157]
处理器可以被构造为处理来自第一传感器的输出并且输出事件信号。例如，处理器能够处理ebs数据，以检测ebs数据中是否存在一个或多个面部或其他对象。如果检测到面部或其他对象，则处理器可以被构造为基于事件信号处理对象检测。例如，处理器能够检测ebs数据中的对象，然后识别已经检测到的对象的类型或对象的身份。在一些实施方案中，处理器可以被训练以具体地检测面部数据。处理器还可以被构造为：根据对象检测，基于来自第二传感器的输出而处理对象识别。例如，当检测到ebs数据中的面部时，处理器接下来可以分析相同或相似场景的rgb数据，并尝试识别rgb数据中的任何面部。
[0158]
在一些实施方案中，除非且直到已经使用ebs数据检测到面部(或其他类型的对象)为止，否则可以不激活rgb传感器。响应于检测到面部(或其他类型的对象)，处理器可以被构造为激活第二传感器。此外，响应于基于事件信号处理对象检测，处理器可以被构造为停用第一传感器。
[0159]
在一些实施方案中，在根据对象检测，基于来自第二传感器的输出而处理对象识别之后，处理器可以重新激活第一传感器且停用第二传感器。
[0160]
在上面的说明中，应当理解，包括单独的ebs传感器和rgb传感器或能够检测ebs数据和rgb数据两者的单个传感器的各种实施方案中的任何实施方案都可以用于实现本文中所述的各种系统和方法。
[0161]
在一些实施方案中，可以基于ebs数据中检测到的运动方向来触发从ebs到rgb的切换。例如，可以监视由卷积神经网络或其他对象检测方法识别出的预定义对象，以检测对象的运动方向。取决于检测到的对象的运动方向，传感器可以切换到rgb模式或高每秒帧数(“fps”)rgb模式。
[0162]
传感器从ebs模式到rgb模式的切换可以持续预定的时间量。例如，在切换到rgb模式之后，传感器可能会在一定秒数之后或在一定数量的图像帧之后切换回ebs模式。在一些实施方案中，可以分析rgb模式以确定事件何时结束，此时传感器可以切换回ebs模式。
[0163]
在上文中，已经说明了本公开的实施方案，但是本公开的技术范围不限于上述实施方案，并且可以在不脱离本公开的主旨的范围内进行各种变形。另外，可以适当地组合其
他实施方案和变形例中的构成要素。
[0164]
本文公开了一种能够利用ebs模式和rgb模式两者的优势的组合ebs和rgb相机。如本文中所述的传感器通常在ebs模式下操作，并且当事件需要切换时切换到rgb模式。如本文中所使用的，rgb可以指与光强度的量相关的数据。rgb传感器或在rgb模式下操作的传感器能够或被构造为检测光强度的量。
[0165]
如本文中所述，ebs/rgb可切换传感器可以是各种形式。例如，在一些实施方案中，可以使用单独的ebs传感器和rgb传感器。在这种实施方案中，单独的ebs传感器和rgb传感器可以分别包括多个像素。单独的ebs传感器和rgb传感器可以物理连接并且可以共享单个透镜。
[0166]
在一些实施方案中，可以使用具有rgb像素和ebs像素的马赛克的单个传感器。例如，单个传感器可以包括像素网格。像素网格可以是各种不可切换的rgb像素和ebs像素。像素的图案可以以随机方式布局或者可以是特定图案。在一些实施方案中，ebs像素可以在像素网格的一小部分中或者可以均匀地分布在整个网格中。
[0167]
在一些实施方案中，可以使用具有可切换的rgb和ebs像素的单个传感器。例如，传感器可以包括像素网格。每个像素能够检测ebs和颜色强度两者。例如，第一像素可以在收集ebs数据和红色数据之间切换，而第二像素可以在收集ebs数据和绿色数据之间切换，而第三像素可以在收集ebs数据和蓝色数据之间切换。
[0168]
附加实施方案可以包括可切换和不可切换的像素和/或其他颜色马赛克图案的其他组合。
[0169]
如本文中所述，ebs/rgb可切换传感器可以用于ebs模式和rgb模式之中的一者或两者中。ebs传感器的优势在于ebs传感器能够以高速率拍摄事件数据。ebs传感器也消耗比rgb传感器相对低的电力。
[0170]
另外，在本说明书中所述的实施方案中的效果仅是说明性的，并且可以没有限制地存在其他效果。
[0171]
此外，本技术可以包括以下构造：
[0172]
(1)
[0173]
一种对象识别系统，其包括：
[0174]
第一传感器，其被构造为检测光强度量的变化；
[0175]
第二传感器，其被构造为检测光强度的量；和
[0176]
处理器，其被构造为：
[0177]
处理来自所述第一传感器的输出并且输出事件信号，
[0178]
基于所述事件信号处理对象检测，并且
[0179]
根据所述对象检测，基于来自所述第二传感器的输出而处理对象识别。
[0180]
(2)
[0181]
如(1)所述的对象识别系统，其中，响应于基于所述事件信号处理所述对象检测，所述处理器激活所述第二传感器。
[0182]
(3)
[0183]
如(2)所述的对象识别系统，其中，响应于基于所述事件信号处理所述对象检测，所述处理器停用所述第一传感器。
[0184]
(4)
[0185]
如(3)所述的对象识别系统，其中，在根据所述对象检测，基于来自所述第二传感器的所述输出而处理所述对象识别之后，所述处理器重新激活所述第一传感器且停用所述第二传感器。
[0186]
(5)
[0187]
如(1)所述的对象识别系统，其中，基于所述事件信号处理所述对象检测包括检测所述输出中的对象。
[0188]
(6)
[0189]
如(5)所述的对象识别系统，其中，根据所述对象检测而基于来自所述第二传感器的所述输出处理所述对象识别包括识别所述对象。
[0190]
(7)
[0191]
如(1)所述的对象识别系统，其中，根据所述对象检测而基于来自所述第二传感器的所述输出处理所述对象识别包括识别面部。
[0192]
(8)
[0193]
一种成像系统，其包括：
[0194]
第一传感器，其被构造为检测光强度量的变化；和
[0195]
第二传感器，其被构造为检测光强度的量，其中，处理器处理来自所述第一传感器的输出以输出事件信号，所述处理器基于所述事件信号检测第一对象，并且根据所述对象检测，所述处理器基于来自所述第二传感器的输出而处理对象识别。
[0196]
(9)
[0197]
如(8)所述的成像系统，其中，响应于基于所述事件信号处理所述对象检测，所述处理器激活所述第二传感器。
[0198]
(10)
[0199]
如(9)所述的成像系统，其中，响应于基于所述事件信号处理所述对象检测，所述处理器停用所述第一传感器。
[0200]
(11)
[0201]
如(10)所述的成像系统，其中，在根据所述对象检测，基于来自所述第二传感器的所述输出而处理所述对象识别之后，所述处理器重新激活所述第一传感器且停用所述第二传感器。
[0202]
(12)
[0203]
如(8)所述的成像系统，其中，基于所述事件信号处理所述对象检测包括检测所述输出中的对象。
[0204]
(13)
[0205]
如(12)所述的成像系统，其中，根据所述对象检测而基于来自所述第二传感器的所述输出处理所述对象识别包括识别所述对象。
[0206]
(14)
[0207]
如(8)所述的成像系统，其中，根据所述对象检测而基于来自所述第二传感器的所述输出处理所述对象识别包括识别面部。
[0208]
(15)
[0209]
一种实现对象识别的方法，所述方法包括用处理器执行如下功能：
[0210]
处理来自第一传感器的输出，所述第一传感器被构造为检测光强度量的变化；
[0211]
基于来自所述第一传感器的所述输出而输出事件信号，
[0212]
基于所述事件信号处理对象检测，以及
[0213]
根据所述对象检测，基于来自第二传感器的输出而处理对象识别，所述第二传感器被构造为检测光强度的量。
[0214]
(16)
[0215]
如(15)所述的方法，其中，响应于基于所述事件信号处理所述对象检测，所述处理器激活所述第二传感器。
[0216]
(17)
[0217]
如(16)所述的方法，其中，响应于基于所述事件信号处理所述对象检测，所述处理器停用所述第一传感器。
[0218]
(18)
[0219]
如(17)所述的方法，其中，在根据所述对象检测，基于来自所述第二传感器的所述输出而处理所述对象识别之后，所述处理器重新激活所述第一传感器且停用所述第二传感器。
[0220]
(19)
[0221]
如(15)所述的方法，其中，基于所述事件信号处理所述对象检测包括检测所述输出中的对象。
[0222]
(20)
[0223]
如(19)所述的方法，其中，根据所述对象检测而基于来自所述第二传感器的所述输出处理所述对象识别包括识别所述对象。