基于事件的视觉传感器的动态感兴趣区域（ROI）的制作方法

基于事件的视觉传感器的动态感兴趣区域（roi）
技术领域
1.本技术要求于2019年7月1日提交的美国临时申请号62/869,311在 35usc 119(e)下的权益，其全部内容通过引用结合于此。


背景技术：

2.今天，机器视觉主要是基于传统相机及其相关的基于帧的空间分辨光学传感器。对于某些机器视觉任务，如目标识别，这些传统的基于帧的相机及其基于图像的光学传感器是非常适合的。然而，对于其他任务，如监视、跟踪或位置和运动估计，传统的图像传感器存在缺陷。
3.传统相机的主要缺点是产生大量冗余和不必要的数据，这些数据必须被捕获、传送和处理。这种高数据负载通过降低时间分辨率来减慢反应时间，导致功耗增加，并增加机器视觉系统的尺寸和成本。此外，大多数图像传感器存在动态范围有限、弱光性能差和运动模糊等问题。
4.另一方面，所谓的动态视觉传感器(dvs)克服基于帧的编码的局限性。参见lichtsteiner等人的题为“用于检测时间依赖的图像数据的光阵列”的美国专利申请公开号us 2008/0135731，其通过引用并入本文。这些空间分辨光学传感器使用像素内数据压缩来消除数据冗余。它们还可以实现高时间分辨率、低延迟、低功耗和高动态范围，且运动模糊很小。因此， dvs型光学传感器非常适合于特别是太阳能或电池供电的压缩感测或移动机器视觉应用，在这些应用中必须估计系统的位置并且由于电池容量有限而处理能力有限。
5.dvs在本地对视觉信息进行预处理。dvs不生成清晰的图像，而是为计算机应用生成智能数据。传统的图像传感器将电影捕捉为一系列静止图像，而dvs只检测并传输场景中变化的位置。它编码视觉信息的效率比传统相机要高得多，因为它是通过像素内数据压缩来实现的。这意味着可以使用更少的资源、更低的净功率和更快的系统反应时间来处理数据。高时间分辨率允许连续跟踪视觉特征，从而克服对应问题。此外，dvs 的架构允许高动态范围和良好的弱光性能。
6.基于事件的视觉传感器(evbs)通常是但并不总是原始dvs架构的变体。作为一般规则，evbs的像素至少在它们的像素的部分中异步地操作而没有周期性采样率，并且一旦它们感知到亮度变化超过可调阈值，就发射所谓的dvs地址事件。在其他示例中，它们产生二值(或三值)图像。on事件与亮度的增加超过阈值相关联；并且off事件与给定像素处亮度超过阈值的降低相关联。


技术实现要素：

7.基于事件的视觉传感器允许处理效率，因为它们只传输关于场景变化的数据。因此，基于事件的视觉传感器特别擅长跟踪运动或变化的物体。然而，通常并不是场景的所有对象和其他特征都是有趣的/用于进一步处理的。本发明涉及避免无兴趣的场景特征数据
的传输，以提高整个系统的性能和效率。
8.根据一个方面，本发明的传感器仅发送具有一个(或几个)动态感兴趣区域(droi)内的地址的事件，该动态感兴趣区域小于基于总事件的像素阵列。droi的位置通常将跟随活动(使用某种活动跟踪和/或对象跟踪算法)。通常，droi的位置可以由控制器不时地控制/校准。该控制器可以与传感器位于同一芯片上、在片上系统中、在封装系统中、或者可以在单独的设备/组件中实现。此外，控制器可以实现为在处理器上执行的软件代码，或者可以在硬件中实现。可以通过诸如卡尔曼滤波的预测算法来更新 droi的位置。并且，droi的位置可以通过经常更新的简单算法和较不经常运行的较复杂算法的组合来控制。此外，droi的大小往往会随着被跟踪对象位置不确定性的增加而增加。通常，droi可以具有任意的形状和分辨率，并且可以是连续的、也可以不是连续的。
9.一般而言，本发明的特征在于基于事件的像素传感器系统，该系统采用感兴趣区域和/或不感兴趣区域，这些区域优选地是动态的，以隔离变化事件并减少来自不感兴趣事件的数据。
10.通常，根据一个方面，本发明的特征在于基于事件的像素传感器系统，其包括基于事件的像素阵列和动态感兴趣区域块，该基于事件的像素阵列包括检测变化事件的基于事件的像素，该动态感兴趣区域块定义阵列内的一个或多个区域以隔离变化事件。
11.在一些示例中，动态感兴趣区域块定义从其处理变化事件的一个或多个感兴趣区域和/或定义从其忽略变化事件的一个或多个不感兴趣区域。
12.作为许多ebvs的特征，每个像素包括用于检测光的感光器和用于将感光器的输出与参考电压进行比较的比较器。每个像素通常还包括用于记忆来自感光器的过去信号的电容器。在操作中，每个像素解析on变化事件和/或off变化事件。
13.在一些示例中，动态感兴趣区域块基于一个或多个区域对从基于事件的像素阵列读取的变化事件进行过滤。
14.在许多情况下，在动态感兴趣区域块和/或单独的处理单元中实现的一个或多个活动跟踪器用于更新一个或多个区域。
15.优选地，动态感兴趣区域块在与基于事件的像素阵列位于的同一芯片中实现。这样，在传感器中对事件进行过滤，例如减少了处理单元必须执行的处理。
16.总的来说，根据一个方面，本发明的特征在于用于基于事件的像素传感器系统的方法。该方法包括检测基于事件的像素阵列中的变化事件，以及定义阵列内的一个或多个区域以隔离变化事件。
17.本发明的上述和其它特征，包括结构的各种新颖细节和部件的组合，以及其它优点，现在将参考附图更具体地描述并在权利要求中指出。将理解，体现本发明的特定方法和装置是通过说明而不是作为本发明的限制来示出的。在不脱离本发明的范围的情况下，本发明的原理和特征可用于各种和许多实施例中。
附图说明
18.在附图中，附图标记指的是贯穿不同视图的相同部分。附图不一定是按比例绘制的；相反，重点放在说明本发明的原理上。在附图中：
19.图1示意性地示出基于事件的光学传感器系统：基于事件的光学传感器从光检测
像素阵列生成数据(变化事件)，并将该数据发送到接收和保存该数据的处理单元，并且该处理单元也是对相同数据进行细化的同一处理单元。这种基于事件的光学传感器系统采用动态感兴趣区域块(drb)， drb是ebvs的一部分，以用于隔离变化事件。
20.图2示意性地示出基于事件的光学传感器系统，该系统采用作为 ebvs的一部分的动态感兴趣区域块drb，其与在处理单元pu上实现的复杂的活动跟踪器协同工作。
21.图3是示出基于事件的光学传感器的现有像素实现的电路图，例如根据pct/ib2017/058526和美国公开号2018/0191972。
22.图4a是示出其中动态感兴趣区域块drb用活动跟踪器312和droi 事件过滤器310实现的传感器系统的示意图。来自读出电路的输出由活动跟踪器和由活动跟踪器控制的droi事件过滤器处理。
23.图4b是示出传感器系统的另一实施例的示意图，其中来自读出电路的输出由活动跟踪器处理。在该实施例中，活动跟踪器的位置和大小是传感器的输出。
24.图5是示出传感器系统的示意图，其中来自读出电路的输出由活动跟踪器和由活动跟踪器控制的动态不感兴趣区域(droni)事件过滤器处理。
25.图6是示出当以分组处理事件时，根据本发明的原理具有动态感兴趣区域的ebvs的基本操作的流程图。
26.图7是示出具有两个活动跟踪器的ebvs的操作的流程图。
27.图8是示出当以分组处理事件时，根据本发明的原理具有动态不感兴趣区域的ebvs的基本操作的流程图。
28.图9是示出ebpa如何与droi事件过滤器以及在处理单元上执行的简单活动跟踪处理和复杂活动跟踪处理交互的序列泳道图。
29.图10a是示出简单活动跟踪处理的操作的流程图。
30.图10b是示出简单活动跟踪处理的另一示例的操作的流程图。
31.图11是示出ebvs的ebpa的示意图，其中每个像素100包括用于启用和禁用相关联像素的锁存器l。这些锁存器l由锁存器编程器lp编程。
32.图12是示出用于droi区域的线性预测的处理的流程图。
33.图13是示出传感器系统的示意图，其中来自读出电路的输出由复杂活动跟踪器和由活动跟踪器控制的droi事件过滤器处理。在该实施例中，复杂的活动跟踪器在ebvs上实现。
34.图14是示出传感器系统的示意图，其中来自读出电路的输出由活动跟踪器控制的droi事件过滤器处理。
35.图15是示出阵列被选择性读出的传感器系统的示意图。
具体实施方式
36.下面将参考附图更全面地描述本发明，其中示出了本发明的说明性实施例。然而，本发明可以以许多不同的形式实施，并且不应被解释为限于本文所述的实施例；相反，提供这些实施例使得本公开将是彻底和完整的，并且将向本领域技术人员充分传达本发明的范围。
37.如本文所使用的，术语“和/或”包括一个或多个相关列出的项目的任何和所有组
合。此外，单数形式和“一(a)”、“一个(an)”和“该(the)”等条款的用意也包括复数形式，除非另有明确说明。将进一步理解，术语：包括、包含、包括和/或包含，当在本说明书中使用时，指定所述特征、整数、步骤、操作、元件和/或组件的存在，但不排除一个或多个其他特征、整数、步骤、操作、元件、组件，和/或其组的存在或添加。此外，将理解，当包括组件或子系统的元件被指代和/或示出为连接或耦合到另一元件时，它可以直接连接或耦合到另一元件，或者可以存在中间元件。
38.应当理解，尽管这里使用诸如“第一”和“第二”的术语来描述各种元件，但这些元件不应受这些术语的限制。这些术语只是用来区分一个元件和另一个元件。因此，下面讨论的元件可以被称为第二元件，并且类似地，在不脱离本发明的教导的情况下，第二元件可以被称为第一元件。
39.除非另有定义，在此使用的所有术语(包括技术和科学术语)与本发明所属领域的普通技术人员通常理解的含义相同。将进一步理解，术语，例如在常用词典中定义的术语，应被解释为具有与其在相关技术上下文中的含义一致的含义，并且除非在此明确定义，否则不会被解释为理想化或过于正式的意义。
40.定义
41.基于事件的像素阵列(ebpa)是包含光敏器件和像素电路的像素阵列，像素电路将光敏器件的输出信号作为输入；这些像素(组合光敏器件和像素电路)在空间上和/或时间上彼此独立地产生离散数据，作为它们被击中的光辐射的函数。
42.基于事件的视觉传感器(ebvs)是输出从ebpa提取和/或细化的数据的传感器。
43.系统延迟定义为光变化和数据细化输出之间的时间。事件期望被分组到分组中。每个分组中的事件数是任意的，可以是零或一。分组可以包含在某个时间窗口内的所有事件。具体地，事件被单独发送的所有实施例应被包括并被理解为具有一个事件大小的分组。
44.读出电路(ro)：从ebpa中提取事件(或事件数据)的电路。
45.存储器控制器(mc)：将数据写入存储器的电路，具有选择存储器的特定地址的能力，该地址被写入特定的数据。
46.像素地址(k)：数字或数字列表，表示像素在像素阵列中的位置。
47.存储器地址(m)：数字或数字列表，表示存储器中的一个位置，可以用来访问存储器的该位置以读取或写入数据。
48.图1示出根据本发明的基于事件的视觉传感器ebvs。
49.传感器ebvs具有基于事件的像素阵列ebpa和读取阵列ebpa产生的事件并以事件数据流的形式将事件输出到处理单元pu的读出电路ro。
50.基于事件的像素阵列ebpa包括基于事件的变化检测传感器或像素 100的二维阵列(例如在pct/ib2017/058526(作为国际公开号wo2018/122798 al公开)或美国专利号7,728,269b2或美国公开号 2018/0191972中提出的，其全部通过本文引用并入本文)。基于事件的像素阵列ebpa例如以检测到光变化的像素100的地址的形式产生事件数据。这些地址中的每一个都对阵列中像素的位置进行编码，通常以表示x-y 坐标的两个数字的形式。数据的另一种可能的输出格式是二值(或三值) 图像，其中具有事件的像素用逻辑1标记，而未检测到事件的像素用逻辑 0标记。或者在需要区分on和off事件的情况下，具有on事件的像素可以用1标记，而具有off事件的像素用-1标记。
51.在本文中，我们假定ebvs的输出数据是以地址的形式编码的。然而，基本原理同样适用于生成二值或三值图像以及其他格式的系统。
52.处理单元pu可以采取许多不同的形式：处理单元pu通常是应用程序处理器、嵌入式控制器，如微控制器或专用集成电路(asic)。在其他示例中，处理单元pu是将该数据保存在存储器中的外部设备，例如中央处理单元(cpu)、单独的微控制器、单独的数字信号处理器(dsp))。举几个示例，处理单元pu可以直接连接到ebvs并位于相同的印刷电路板上，或者pu可以通过诸如usb或以太网的一些有线接口(ieee 802.3协议接口)或诸如wifi的无线接口(ieee 802.11协议接口)连接。在一个特定示例中，处理单元是移动计算设备(例如智能手机或平板计算设备)、机器人或自主无人机或车辆的中央处理单元或图像或图形协处理单元。
53.处理单元pu可以将事件数据保存到存储器中，然后通常由首先接收数据的同一处理单元pu访问该存储器以执行数据细化(例如，可以是面部跟踪、同步定位和映射或地标跟踪)。通常，从传感器接收的事件数据必须在保存到存储器之前由处理单元细化，以将其转换为与存储器或后续细化步骤兼容的格式。
54.根据本发明，基于事件的视觉传感器ebvs包括动态感兴趣区域处理块drb，其对基于事件的像素阵列ebpa的输出和/或控制ebpa和/或控制读出ro进行过滤，以减少必须发送到处理单元pu的数据量。drb被配置为对感兴趣区域之外的事件进行过滤，其中该感兴趣区域跟随在 ebpa中检测到的活动。
55.根据本发明的许多实施例，动态感兴趣区域处理块drb是基于事件的视觉传感器ebvs的一部分，因为drb和ebvs在同一芯片中并且在公共芯片封装中。然后将该芯片封装安装在印刷电路板上。事实上，在许多示例中，动态感兴趣区域处理块drb是基于事件的视觉传感器ebvs 的一部分，并且与基于事件的像素阵列ebpa、读出电路ro和控制器60 在相同的硅管芯上制造。该硅管芯通常封装在窗口封装中，该窗口封装允许光到达基于事件的像素阵列ebpa，但保护动态感兴趣区域处理块drb 的逻辑电路。然而，在其他示例中，基于事件的像素阵列ebpa和动态感兴趣区域处理块drb在单独的硅管芯中制造，然后将这些硅管芯堆叠或以其他方式共同封装到安装在印刷电路板上的相同芯片中。
56.图2示出连接到处理单元pu的基于事件的视觉传感器ebvs。如前所述，ebvs包含动态感兴趣区域处理块drb，其对输出进行过滤，从而减少必须传输到处理pu的数据量。drb被配置为对感兴趣区域之外的事件进行过滤，其中该感兴趣区域跟随在ebpa中检测到的活动。
57.在该实施例中，在处理单元pu上实现复杂的活动跟踪器314。这个复杂的活动跟踪器配置和更新动态感兴趣区域处理块drb，以提高跟踪精度。典型地，复杂的活动跟踪器314是在处理单元pu上执行的处理线程，或其处理核心之一，或者它可以是在处理单元的操作系统上执行的应用程序或其他程序的一部分。这样，动态感兴趣区域处理块drb的操作由传感器ebvs从外部控制。
58.图3示出上述系统中的ebvs的ebpa的像素的示例。它取自 pct/ib2017/058526和美国公开号号2018/0191972，其全文通过引用并入本文。然而，所提出的发明中的核心概念可以应用于几乎任何作为集成电路实现的基于事件的视觉传感器，而不依赖于所使用的任何特定像素架构，例如下面描述的特定像素架构。
59.下面列举像素电路100的主要组件。
60.1.感光器模块。如图所示，像素电路100包含：光电二极管pd或其他光电传感器，以测量入射光9并将光强度转换为当前iphoto；感光器电路prc，用于产生依赖于光强度的感光器信号vpr；和存储电容器c1以记忆过去的感光器信号。光传感器pd和感光器电路prc构成感光器模块 pr。
61.2.存储电容器c1：接收感光器信号vpr，使得电容器的第一极板携带响应于感光器信号vpr的电荷，并因此携带由光传感器pd接收的光并且作为事件检测器ed的一部分。存储电容器c1的第二极板连接到a1的比较器节点(反相输入端)。因此，比较器节点vdiff的电压随感光器信号 vpr的变化而变化。
62.3.比较器a1：这是将当前感光器信号vpr和过去感光器信号之间的差值与阈值进行比较的方法，并且是事件检测器ed的一部分。该比较器 a1可以在每个像素中，或者在像素的子集(例如，列)之间共享。在优选实施例中，比较器将与像素集成，每个像素具有专用比较器a1。
63.4.像素存储器：像素存储器50存储基于来自控制器60的采样信号的比较器输出，并且是事件检测器ed的一部分。存储器可以是采样电路(例如，开关和寄生或显式电容器)或数字存储器电路(锁存器或触发器)。在一个实施例中，存储器将是采样电路，并且每个像素将具有两个存储器。
64.5.条件复位电路r1：用于复位的条件是存储的比较器输出的状态和由控制器60施加的复位信号的组合，并且是事件检测器ed的一部分。
65.6.外围电路组件：比较器a1和存储器50可以位于像素中或外围电路中(像素电路外)。
66.外围电路包含控制器60，控制器60表示用于基于事件的像素阵列 ebpa的控制逻辑。控制器60将阈值信号施加到比较器a1，将控制信号发送到存储器50，并选择条件复位电路r1变为有效的时间。
67.外围电路通常还包括读出电路，读出电路读取存储器50的内容，确定给定像素的光强度是否增加、减少或不变，并将输出(从当前存储器值计算)发送到处理器。
68.更详细地说，比较器辨别光是否增加/减少。对于off事件：如果vdiff 低于阈值voff(在vb上)，则比较器输出为高电平，此电平存储在存储器中。这意味着检测到减少。如果vdiff不低于阈值，则比较器输出为低电平：未检测到减少。
69.唯一的困难是，对于on事件，低比较器输出意味着增加，而高输出意味着没有变化；但是对于off事件，高比较器输出意味着减少，而低则意味着没有变化。
70.所以读出器必须知道存储器内容以及应用哪个阈值。
71.像素电路100和控制器60操作如下。
72.由光传感器pd接收的光强度的变化将转化为感光器信号vpr的变化。当复位电路r1不导通时，vpr的变化也将反映在比较器a1的反相输入端(-)的比较器节点处的电压vdiff中。这是因为存储电容器c1两端的电压保持恒定。
73.在控制器60选择的时间，比较器a1将存储电容器c1的第二端子处的比较器节点处的电压(vdiff)与施加到比较器a1的同相输入( )的阈值电压vb(来自控制器)进行比较。
74.控制器60操作像素存储器50以存储比较器输出vcomp。存储器50 典型地被实现为
所示的像素电路100的一部分。然而，在其他实施例中，存储器50被实现为列逻辑电路(外围电路，像素阵列的每列一个)的一部分。
75.如果保持在存储器50中的所存储的比较器输出的状态指示光强度的变化、and来自控制器60的全局复位信号globalreset信号是有效的，则条件复位电路r1导通。这里的“and”表示逻辑and运算符。在条件复位电路r1处于导通状态的情况下，比较器a1的反相输入端的比较器节点处的电压(vdiff)被复位到已知电平。因此，它将当前感光器信号 vpr存储在存储电容器c1上。
76.感兴趣区域
77.本发明的实施例涉及在ebpa内创建一个或多个感兴趣区域。这样可以减少系统传输数据的不感兴趣的特征，以提高系统的整体性能和效率。
78.图4a示出实现包括活动跟踪器312和事件过滤器310的动态感兴趣区域块drb的ebvs的框图。活动跟踪器312跟踪ebpa的输出中的活动，并配置事件过滤器310，其仅允许通过发生在由活动跟踪器定义的区域内的事件。
79.这里的事件过滤是在从阵列读取事件后完成的。即，由读出电路ro 从基于事件的像素阵列ebpa读出所有事件。但是只有在droi中的事件被进一步处理并被发送到ebvs芯片的off和处理单元pu。除了具有读出的像素阵列ebpa之外，基于事件的视觉传感器ebvs包括活动跟踪器 312和事件过滤器310，它们通常在视觉传感器ebvs上、在同一芯片上甚至可能在同一硅管芯上实现。具有过滤器的这个实施例最容易用矩形 droi形状实现(droi是可参数化的，参数很少)。
80.然而，在一些实施例中，复杂的活动跟踪器314在处理单元上运行，以在需要时和/或定期地将更新向下推送到动态感兴趣区域droi。
81.图4b是示出来自读出电路ro的输出由活动跟踪器312处理的另一实施例的示意图。
82.这里的事件过滤是在从阵列中读取事件后完成的。除了带读出的像素阵列之外，系统还包含活动跟踪器。代替输出经过滤的事件，仅droi位置(和可选的大小)与来自读出电路的事件一起输出。在该示例中，处理单元将接收两个事件以及droi位置和大小。然后，处理单元然后将基于感兴趣区域抽取事件，例如抽取在一个或多个感兴趣区域之外的事件。虽然该实施例不像其他实施例那样有效地节省基于事件的视觉传感器ebvs 和处理单元之间的通信带宽，但是该实施例仍然通过允许基于感兴趣区域参数的过滤来节省处理单元上的事件处理。
83.图5是示出ebvs的ebpa的示意图，其中来自读出电路ro的输出由活动跟踪器和由活动跟踪器控制的动态“不感兴趣区域”(droni)事件过滤器310-n处理。因此，过滤器不会传递窗口内的事件，而是阻止窗口中的事件。
84.图6是示出当以分组处理事件时，根据本发明的原理操作的ebvs的基本操作的流程图。但是，应该注意的是，事件分组只能包含单个事件。
85.在步骤210中，动态roi块drb从基于事件的像素阵列ebpa读取下一事件。在步骤212中，drb确定事件是否在感兴趣区域中。如果事件在感兴趣区域中，则在步骤214中输出和/或保存该事件。对于不在感兴趣区域中的事件，将跳过这些事件。在步骤216中，在此过程中评估所有事件，直到找到最后一个事件。
86.在步骤218中，动态roi块drb确定基于事件的像素阵列内的感兴趣区域的位置是否应该通过处理来更新。通常，活动跟踪器312将分析动态感兴趣区域内事件的位置，然后更新动态感兴趣区域的位置，使得事件集中在该区域中。在一些情况下，事件呈现跨越阵列的轨迹，活动跟踪器 312定位它将期望下一事件出现的动态感兴趣区域。
87.在步骤220中，活动跟踪器312确定动态感兴趣区域不确定性是否已经改变。不确定性涉及活动跟踪器312预测阵列中下一事件的位置的能力。如果存在高度的不确定性，则活动跟踪器312通常将使感兴趣的动态区域变大。另一方面，如果不确定性低并且活动跟踪器312能够很好地预测下一事件的位置，则动态感兴趣区域变小。在这些情况下，然后在步骤222 中改变动态感兴趣区域的大小。然后，最后在步骤224中，系统等待直到在步骤224接收到新事件分组。
88.这样，只提供动态感兴趣区域(droi)内的事件作为输出。
89.还示出如何额外更新droi的位置。此外，还更新droi的大小。
90.通常，droi用于识别由感兴趣的场景或对象(例如，手势系统中的用户的手或其他移动对象)的部分产生的事件。droi通常由事件(例如简单跟踪器)更新，其中每个事件将droi的中心稍微移动到它的方向上。在一些实施例中，可以通过诸如卡尔曼滤波器的预测算法来更新droi的位置。此外，droi在某些情况下是正方形、矩形、圆形或长方形。也就是说，在其他示例中，droi可能具有任意的形状和分辨率，并且可能是连续的，也可能不是连续的。
91.图7是示出具有两个活动跟踪器的ebvs的操作的流程图。
92.更详细地，如前所述，在步骤218中更新droi的位置和大小。
93.然而，在随后的步骤240中，确定是否应该触发更复杂的更新算法。触发更复杂算法的时间包括超时发生时，droi大小增加到低于或高于阈值时。
94.然后，在步骤242中，运行更复杂的算法以更新droi的位置和大小。这种更复杂的算法的示例包括例如卡尔曼滤波器或关键点跟踪器。
95.图8是示出当事件以分组来处理并且仅从ebvs输出落在动态不感兴趣区域(droni)之外的事件时，根据本发明的原理操作的ebvs的基本操作的流程图。
96.动态“不感兴趣区域”(droni)用于阻止由不感兴趣的场景或对象 (例如，闪烁的灯或应该被忽略的对象)的部分产生的事件。具体地说，在步骤212-n中，活动跟踪器确定事件是否在droni之外，以便在步骤 214中仅输出那些外部事件。droni的位置可以通过事件更新(例如，简单的跟踪器，其中每个不感兴趣的事件将droni的中心稍微移动到它的方向上)。在步骤222-n中，可以通过诸如卡尔曼滤波器的预测算法来更新droni的位置，该预测算法用于跟踪与不感兴趣事件相关联的ebpa 的区域。类似地，droni在某些情况下是正方形、矩形、圆形或长方形。也就是说，在其他示例中，droi可能具有任意的形状和分辨率，并且可能是连续的，也可能不是连续的。
97.复杂的活动跟踪器
98.此外，系统可以使用简单的活动跟踪算法和复杂的活动跟踪算法的组合。简单的活动跟踪器经常更新，复杂的活动跟踪器更新频率较低，以节省计算负载。通常，简单的活动跟踪器在基于事件的视觉传感器ebvs上实现，而复杂的活动跟踪器由处理单元pu实现，如图2所示。
99.然而，复杂的活动跟踪器可以集成到ebvs中，从而与ebpa集成在同一芯片上，或者集成在传感器芯片中的处理器中。
100.更复杂的活动跟踪算法可以在规则的时间间隔或由某些其他标准触发(例如，卡尔曼滤波器的不确定性大于某个阈值)。
101.图9是示出ebpa如何与动态roi处理块drb的droi事件过滤器和简单活动跟踪处理以及在处理单元上执行的复杂活动跟踪处理交互的序列图。
102.具体地说，基于事件的像素阵列ebpa与读出电路ro一起产生新的事件分组250。动态感兴趣区域事件过滤器310产生在动态感兴趣区域内的输出事件252。这些事件被传递到简单的活动跟踪器312。该跟踪器通常产生droi254的更新位置和大小，除非不确定性太大或超时周期已经过去。在这种情况下，然后将输出事件传递到复杂的活动跟踪器314，其更新动态感兴趣区域256的区域和大小。
103.当输出事件被传递到复杂的活动跟踪器314时，通常传递所有当前事件。因此，例如，在图4a的实施例中，事件过滤器310被暂时停用，使得来自基于事件的像素阵列的所有事件被转发到处理单元，使得在处理单元上执行的复杂的活动跟踪器将知道所有最近的事件，使得它将动态感兴趣区域256的区域和大小的更新强制返回到基于事件的视觉传感器ebvs 的活动跟踪器312。
104.在图9中，活动跟踪器312仅接收经过滤的事件252(roi内的事件)。或者，活动跟踪器312还可以接收具有所有事件的事件分组250。
105.图10a是示出简单活动跟踪处理的操作的流程图。在步骤260和262 中，该流程图中的处理首先检查传入事件258是否落入droi内。如果不是，则忽略该事件。如果是，则在步骤264中根据中值跟踪器算法更新droi 位置。
106.图10b是示出简单活动跟踪处理的另一示例的操作的流程图。事件在分组中处理。对于每个事件，首先在步骤260和262中检查其是否落入 droi内。如果没有，则忽略该事件并通过步骤266和258处理下一个分组。如果是，则在步骤264中根据中值跟踪器算法更新droi位置。在处理了来自分组的所有事件之后，在步骤268中增加跟踪窗口大小。在步骤270和基于计数器的判决步骤272中用计数器跟踪预定数量的事件分组之后，触发更复杂的跟踪算法，并且在步骤274中将跟踪窗口大小重置为预定大小，并且将分组计数器设置为零。
107.图11是示出ebvs的ebpa的示意图。由每个像素100实现的动态 roi处理块dbr的事件过滤器310包括用于启用和禁用相关联像素的锁存器l。这些锁存器l在活动跟踪器312的控制下由事件过滤器的锁存器编程器lp编程。
108.策略是向每个像素100添加锁存器l。锁存器l保持用于防止“禁用的”像素传送事件的启用/禁用位。这样，droi过滤器310集成到ebpa 的硬件中。像素100中的锁存器l由活动跟踪器控制，在一些示例中，活动跟踪器由处理单元pu控制/配置/更新。这样，锁存器编程器lp实现预测算法以更新droi位置/大小。
109.这种配置的优点在于，在由于锁存器及其控制而像素尺寸略有增加的不利情况下，可以避免从阵列中读取不感兴趣事件的功耗。
110.在本实施例中，可以启用/禁用droi过滤器(切换对于初始化或查找新的roi可能有用)。此外，锁存器编程器lp可以是任意复杂的。例如，它可以实现简单的线性外推或卡尔曼滤波器，预测roi如何移动，以便在更新之间获得最佳的roi。在这种情况下，窗口宽度也
可以自动更新，以表示不确定性的增加。
111.实施例1droi位置预测示例：
112.简单的线性droi预测(例如在锁存器编程器中实现)：
[0113][0114]
图12是示出用于线性预测的处理的流程图。在该示例中，针对基于事件的像素阵列实现简单事件跟踪器312。另一方面，复杂的事件跟踪器314通常在处理单元pu上执行。流程图中描述的处理在步骤276、280、 281中处理事件分组。首先，对于每个事件，在步骤278中检查该事件是否落入droi内。如果没有，则忽略该事件。在处理分组中的所有事件之后，该过程在步骤282中通过参考计数器k检查预定义时间是否已经过去。如果是，则在步骤284中触发复杂的跟踪算法，并且在步骤286中复位计数器k。如果没有，则在步骤290中执行线性预测算法，并且在步骤292 中使计数器k递增。线性预测算法在由更复杂的跟踪算法定义的方向上线性地移动跟踪窗口。
[0115]
图13是示出ebvs的ebpa的示意图，其中来自读出电路的输出由活动跟踪器和由活动跟踪器314控制的droi事件过滤器310处理。在该实施例中，复杂的活动跟踪器直接在ebvs上实现。
[0116]
图14是示出ebvs的ebpa的示意图，其中来自读出电路ro的输出由droi事件过滤器310处理，该droi事件过滤器由一个或多个活动跟踪器312、314控制。
[0117]
本实施例采用存储在存储器mem中的显式事件滤波函数中的读出后过滤。因此，它允许实现任意形状的droi。活动跟踪器/droi管理可以是传感器的一部分或在单独的处理器中实现。存储器mem优选地与基于事件的视觉传感器ebvs的基于事件的像素阵列ebpa在相同的芯片上实现，甚至可能在相同的管芯上实现。
[0118]
存储器mem有两种详细的实现方式。其一，存储器中的每个位启用 /禁用像素阵列的一个像素。其二，存储器包含作为droi一部分的像素的像素地址。
[0119]
图15是示出ebvs的ebpa的示意图，其中ebpa的像素被选择性地读出以实现事件过滤器310。
[0120]
本实施例在读出中采用过滤。在一个示例中，事件过滤器310通过将来自像素的请求与来自存储过滤器函数或形状的存储器mem的使能信号在它们进入读出电路ro之前进行“and”运算来实现。存储器大小等于像素阵列的大小(位数＝＝像素数)。此示例还允许任意形状的droi。此外，存储器可以在与像素阵列相同的芯片/器件上实现。处理器还可以在与像素阵列相同的芯片/器件上实现。
[0121]
在相关示例中，存储器小于阵列。过滤器存储器小于像素阵列(例如，位数＝＝(像
素数)/4)。然后，每个位启用/禁用多个像素的读出。
[0122]
虽然本发明已经参照其优选实施例特别地示出和描述，但本领域技术人员将理解，在不脱离所附权利要求所包含的本发明的范围的情况下，可以在形式和细节上进行各种改变。