具有反馈回路和多个功率状态的传感器系统架构的制作方法

具有反馈回路和多个功率状态的传感器系统架构
1.相关申请的交叉引用
2.本技术涉及于2020年3月20日提交的名称为“hardware implementation of sensor architecture with multiple power states”的国际申请_______________，该申请在重现时全文以引用方式并入本文。
技术领域
3.本公开整体涉及图像处理领域，并且具体地讲，涉及用于实现传感器系统架构的技术，该传感器系统架构具有反馈回路和被配置为支持多种功率状态的传感器。


背景技术：

4.事件相机可包括被称为动态视觉传感器(“dvs”)的图像传感器、硅视网膜、基于事件的传感器或无帧传感器。因此，事件相机生成(并传输)关于每个像素传感器处的光强度变化的数据，与之相对，基于帧的相机输出关于每个像素处的绝对光强度的数据。换句话说，当设置在视场内的场景的照明水平保持稳定时，基于帧的相机将继续生成(并传输)关于每个像素处的绝对光强度的数据，而事件相机将抑制生成或传输数据，直到检测到照明水平的变化。
5.一些图像处理操作利用从事件驱动传感器所输出的像素事件导出的不完整图像数据集。此类图像处理操作可以通过裁切图像数据来提高计算效率，并处理经裁切的图像数据以节省功率等。然而，与经裁切的图像数据外部的图像数据相对应的事件驱动传感器的像素继续操作，并因此继续消耗功率。因此，希望解决在图像处理操作利用从事件驱动传感器所输出的像素事件导出的不完整图像数据集时产生的这种低效问题。


技术实现要素：

6.本文所公开的各种具体实施涉及用于实现事件相机系统架构的技术，该事件相机系统架构具有反馈回路和被配置为支持多种功率状态的事件驱动传感器。在一个具体实施中，一种系统包括图像流水线和具有像素阵列的事件传感器。像素阵列被配置为操作处于启用状态的第一像素子集和处于非启用状态的第二像素子集。事件传感器被配置为输出像素事件。响应于第一像素子集内的特定像素检测到超过比较器阈值的光强度变化，生成每个相应像素事件。图像流水线被配置为消费(consume)从像素事件导出的图像数据并基于图像数据将反馈信息传送到事件传感器。反馈信息使得第一像素子集内的像素从启用状态转变到另一个状态。
7.在另一个具体实施中，一种系统包括事件传感器、处理器和计算机可读存储介质。事件传感器包括像素阵列，该像素阵列被配置为具有在全功率模式下操作的启用像素区域和在关断功率模式或低功率模式下操作的非启用像素区域。计算机可读存储介质包括在由处理器执行时使得系统执行操作的指令。操作包括将像素事件从事件传感器输出到图像流水线。响应于启用像素区域内的特定像素检测到超过比较器阈值的光强度变化，生成每个
相应像素事件。操作还包括基于从像素事件导出的图像数据来从图像流水线接收反馈信息。响应于接收到反馈信息，引导启用像素区域内的像素在关断功率模式或低功率模式下操作。
8.在另一个具体实施中，一种系统包括处理器、图像流水线和计算机可读存储介质，该计算机可读存储介质包括在由处理器执行时使得系统执行操作的指令。操作包括由图像流水线从具有像素阵列的事件传感器接收像素事件，该像素阵列包括处于启用状态的第一像素子集和处于非启用状态的第二像素子集。响应于第一像素子集内的特定像素检测到超过比较器阈值的光强度变化，生成每个相应像素事件。操作还包括利用图像流水线从像素事件导出图像数据。图像流水线基于图像数据生成反馈信息。该反馈信息使得事件传感器引导第一像素子集内的像素从启用状态转变到另一个状态。
附图说明
9.因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。
10.图1示出了根据一些具体实施的事件传感器的功能框图。
11.图2是用于实现具有硬件架构的事件驱动传感器的示例性系统的框图，该硬件架构被配置为支持启用、待机和非启用操作状态。
12.图3示出了图像流水线从事件传感器所输出的像素事件导出的完整图像数据集的示例。
13.图4示出了图像流水线从事件传感器所输出的像素事件导出的经裁切的图像数据的示例。
14.图5示出了事件传感器的像素阵列内的不同像素的示例，该不同像素基于从图像流水线接收到的反馈信息而具有不同操作状态。
15.图6示出了具有不同像素的像素阵列的示例，该不同像素具有不同操作状态，随着从图像流水线接收到的反馈信息在第一时间和第二时间之间更新而修改一些像素的操作状态。
16.图7示出了图6的像素阵列内的像素子集，该像素子集随着从图像流水线接收到的反馈信息在第一时间和第二时间之间更新而从一个操作状态转变到另一个操作状态。
17.图8示出了根据一些具体实施的事件传感器输出以用于进一步处理的像素事件的示例性二维(“2d”)图块。
18.图9是根据一些具体实施的示例性头戴式设备(hmd)的框图。
19.图10是示出实现事件相机系统架构的方法的示例的流程图，该事件相机系统架构具有反馈回路和被配置为支持多种功率状态的事件驱动传感器。
20.图11是示出实现事件相机系统架构的方法的另一个示例的流程图，该事件相机系统架构具有反馈回路和被配置为支持多种功率状态的事件驱动传感器。
21.根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。
具体实施方式
22.描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将会知道，其他有效方面或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。
23.示例性事件传感器100的功能框图由图1示出。事件传感器100包括多个像素105，该多个像素被定位成从设置在事件传感器100的视场内的场景接收光。在图1中，多个像素105被布置成行和列的矩阵107，并且因此，多个像素105中的每个像素与行值和列值相关联。多个像素105中的每个像素包括光电检测器电路110和事件电路180。
24.光电检测器电路110被配置为生成指示入射在相应像素105上的光(“入射照明”)强度的信号。为此，光电检测器电路110包括被配置为生成与入射照明强度成比例的光电流的光电二极管112。由光电二极管112生成的光电流流入到由晶体管121、123、125和127形成的对数放大器120中。对数放大器120被配置为在节点a处将光电流转换成电压，该电压的值为光电流值的对数。然后，节点a处的电压在被施加到事件电路180的差分电路140的输入侧之前被由晶体管131和133形成的缓冲放大器130放大。
25.像素105还包括事件电路180，该事件电路包括差分电路140、比较器160和控制器170。差分电路140由交流(“ac”)耦合电容器145和开关电容放大器150组成。差分电路140被配置为从节点a处的电压除去直流(“dc”)电压分量，以在采样节点b处产生像素数据。通过从节点a处的电压除去dc电压分量，采样节点b处的像素数据提供由光电二极管112检测的入射照明强度的微分值。由放大器151提供的增益对应于由ac耦合电容器145与电容器153的相应电容值定义的比率。当从控制器170接收复位信号时，激活复位开关155(即从打开状态转变到闭合状态)。通过激活复位开关155，将放大器151的操作点复位到与比较器160的阈值相关联的参考电压。
26.比较器160被配置为提供对从样本节点b接收的像素数据的像素级处理。为此，当从样本节点b接收的像素数据指示光电二极管112检测到入射照明强度的突破阈值的变化时，比较器160输出电响应(例如，电压)。可选地，当从样本节点b接收的像素数据指示光电二极管112没有检测到入射照明强度的突破阈值的变化时，比较器160抑制输出电响应。在一些情况下，比较器160所输出的电响应被称为事件数据。
27.在一个具体实施中，使用包括被配置为输出指示正事件(例如，具有正极性的事件)的电响应的第一比较器和被配置为输出指示负事件(例如，具有负极性的事件)的电响应的第二比较器的多个比较器来实现比较器160。在一个具体实施中，当从样本节点b接收的像素数据指示光电二极管112检测到入射照明强度的突破正阈值的变化时，第一比较器输出电响应。在一个具体实施中，当从样本节点b接收的像素数据指示光电二极管112检测到入射照明强度的突破负阈值的变化时，第二比较器输出电响应。
28.控制器170被配置为与事件传感器100的其他部件(例如，其他像素内的控制器)协作，以针对比较器160所输出的每个电响应，将事件信号(例如，事件数据的样本)传送到事件编译器190。在一个具体实施中，每当比较器160在采样节点b处获得突破阈值的像素数据时，复位开关155就从控制器170接收复位信号。
29.事件编译器190从多个像素105中的各自表示入射照明强度变化突破阈值的每个
像素接收事件信号(例如，事件数据的样本)。响应于从多个像素105中的特定像素接收事件数据的样本，事件编译器190生成像素事件。当事件信号与指示突破正阈值(或电压)的入射照明强度变化的像素数据相关联时，由事件编译器190生成的像素事件可被称为“正”像素事件。在一个具体实施中，正像素事件是具有表示入射照明强度的超过由上限阈值或电压(“v
th”)限定的幅度的净增加的正极性的像素事件。当事件信号与指示突破负阈值(或电压)的入射照明强度变化的像素数据相关联时，由事件编译器生成的像素事件可被称为“负”像素事件。在一个具体实施中，负像素事件是具有表示入射照明强度的超过由下限阈值或电压(
“‑
v
th”)限定的幅度的净减少的负极性的像素事件。
30.此外，事件编译器190利用指示包括在事件信号中的电响应的信息(例如，电响应的值或极性)填充像素事件。在一个具体实施中，事件编译器190还利用以下中一者或多者填充像素事件：与像素事件生成的时间点相对应的时间戳信息和与发送触发像素事件的事件信号的特定像素相对应的地址标识符。然后可以将包括由事件编译器190生成的每个像素事件的像素事件流传送到与事件传感器100相关联的图像流水线(例如，图像或视频处理电路)(未示出)，以用于进一步处理。
31.通过示例，由事件编译器190生成的像素事件流可以累积或以其他方式组合以产生图像数据。在一些具体实施中，将像素事件流组合以提供强度重建图像。在该具体实施中，强度重建图像发生器(未示出)可随时间累积像素事件以重建/估计绝对强度值。随着附加像素事件累积，强度重建图像发生器改变重建图像中的对应值。这样，即使仅一些像素最近可能已经接收到事件，它也为图像的所有像素生成并保持值的更新图像。
32.在各种具体实施中，事件驱动传感器利用被配置为支持启用、待机和操作状态的硬件架构来实现。一般来讲，这涉及事件传感器210将像素事件输出到图像流水线220，并且作为响应，从图像流水线220接收反馈信息，如图2的示例性系统200中所示。图像流水线220被配置为消费从事件传感器210所输出的像素事件导出的图像数据。为此，图像流水线220包括一个或多个部件，诸如上面参考图1讨论的强度重建图像发生器，以从像素事件导出图像数据。图像流水线220的一个或多个部件可以使用硬件部件(例如，专用集成电路、数字信号处理器等)和软件部件(例如，降噪过程、图像缩放过程、色彩空间转换过程等)的各种组合来实现。
33.在各种具体实施中，图像流水线220实现利用从事件传感器210所输出的像素事件导出的不完整图像数据集的一些功能。以举例的方式，图像流水线220还可以包括特征跟踪器，该特征跟踪器被配置为检测从像素事件导出的图像数据中描绘的特征(例如，使用诸如sift、kaze等技术)，并且随时间推移跟踪该特征(例如，使用诸如kanade
‑
lucas
‑
tomasi跟踪器、shi
‑
tomasi跟踪器等的技术)。在该示例中，图像流水线220的特征跟踪器可以通过使用图像数据检测和跟踪凝视特性(例如，瞳孔中心、瞳孔轮廓、闪光位置、凝视方向等)来实现眼睛跟踪功能，该图像数据描绘了从事件传感器210所输出的像素事件导出的用户眼睛。
34.图3示出了完整图像数据集300的示例，其描绘了图像流水线220可以从事件传感器210所输出的像素事件导出的用户眼睛。为了实现眼睛跟踪功能，图像流水线220的特征跟踪器已使用驻留在感兴趣区域320中的图像数据300的子集来估计瞳孔中心(“估计的瞳孔中心”)310在眼睛内的位置。处理完整图像数据集300以实现眼睛跟踪功能对于图像流水线220的特征跟踪器而言可能是计算密集的，并且消耗过多功率和计算资源。为了提高计算
效率并降低功率消耗，图像流水线220的特征跟踪器可以处理驻留在感兴趣区域320中的图像数据的子集。可以裁切驻留在感兴趣区域320之外的图像数据以形成经裁切的图像数据400，如图4所示。
35.可以使用图像流水线220来实现裁切驻留在感兴趣区域320之外的图像数据的一种技术。根据该技术，图像流水线220可以接收对应于事件传感器210的视场的像素事件。为了形成经裁切的图像数据400，图像流水线220可以忽略与驻留在感兴趣区域320之外的图像数据对应的像素事件，或者在导出完整图像数据集300之后裁切驻留在感兴趣区域320之外的图像数据。然而，在任一种情况下，事件传感器210包括像素子集，该像素子集生成与驻留在感兴趣区域320之外的图像数据对应的像素事件，该像素事件继续消耗功率。此外，与驻留在感兴趣区域320之外的图像数据对应的像素事件继续消耗事件传感器210和图像流水线220之间的通信路径的带宽。因此，实现裁切驻留在涉及事件传感器210的感兴趣区域320之外的图像数据的技术可以进一步降低功率和带宽消耗。
36.为此，图像流水线220将反馈信息传送到事件传感器210，如图2所示。在各种具体实施中，此类反馈信息表示事件传感器(例如，事件传感器210)和图像流水线(例如，图像流水线220)之间的反馈回路。如下面更详细地讨论的，图像流水线消费从事件传感器所输出的像素事件导出的图像数据。基于图像数据，图像流水线生成对应于图像数据的子集(例如，感兴趣区域)的反馈信息，该反馈信息对特定图像处理操作可能比对图像数据的其他部分更有用。即，反馈信息对应于针对特定图像处理操作对其执行处理的图像数据的子集。响应于反馈信息，可以相应地修改事件传感器的像素阵列内的每个像素的操作状态。具体地讲，事件传感器的像素阵列内的不同像素可以基于从图像流水线接收到的反馈信息具有不同操作状态。
37.图5示出了事件传感器的像素阵列500的示例，其中像素被配置为支持不同的操作状态。像素阵列500包括多个像素，该多个像素被定位成从设置在事件传感器的视场内的场景接收光。因此，当多个像素中的每个像素的操作状态为启用状态时，从事件传感器所输出的像素事件导出的图像数据通常描绘事件传感器的视场。如本文所用，“启用状态”是指像素的操作状态，其中像素的光电检测器电路和事件电路各自被激活(或全功能)。在一个具体实施中，将具有各自被激活(或全功能)的事件电路和光电检测器电路的像素限定为在全功率模式下操作。
38.当事件传感器从图像流水线接收到不完整图像数据集正在由特定图像处理操作处理的反馈信息时，事件传感器的一些像素可以从启用状态转变到另一个操作状态。例如，事件传感器的一些像素可以转变为非启用状态。如本文所用，“非启用状态”是指像素的其中像素功能不完全的操作状态。在一个具体实施中，处于非启用状态的像素的光电检测器电路和事件电路各自被去激活(或无功能)。在一个具体实施中，将具有各自被去激活(或无功能)的事件电路和光电检测器电路的像素限定为在关断功率模式下操作。
39.在一些情况下，事件传感器的像素可能无法立即从非启用状态转变到启用状态。为了减轻此类延迟问题，事件传感器的一些像素可以从启用状态转变到待机状态。如本文所用，“待机状态”是指像素的其中像素功能不完全但比处于非启用状态的像素功能强的操作状态。在一个具体实施中，像素的事件电路在像素转变为待机状态时被去激活(或无功能)，而像素的光电检测器电路被激活(或全功能)。在一个具体实施中，将具有被去激活(或
无功能)的事件电路和被激活(或全功能)的光电检测器电路的像素限定为在低功率模式下操作。
40.以举例的方式，图像流水线可以基于图3的图像数据300来传送反馈信息。响应于该反馈信息，像素阵列500的区域520内的第一像素子集处于启用状态，区域510内的第二像素子集处于待机状态，并且区域510和520外部的第三像素子集处于非启用状态。在该示例中，区域520内的第一像素子集可以与对应于图3和图4的感兴趣区域320的像素事件相关联。在一个具体实施中，区域520限定像素阵列500的启用区域。在一个具体实施中，启用区域(例如，区域520)内的像素子集在关断功率模式或低功率模式下操作。
41.在一个具体实施中，反馈信息包括限定像素阵列500内一个或多个区域的位置的参数。例如，限定区域510的位置的参数可以包括相对于像素阵列500的边界指定的偏移值，诸如x偏移512、y偏移514或它们的组合。又如，限定区域520的位置的参数可以包括相对于像素阵列500的边界指定的偏移值，诸如x偏移512、x偏移522、y偏移514和y偏移524的一些组合。
42.在一个具体实施中，像素阵列500的一个或多个区域具有预定义尺寸。例如，区域510可以具有被指定为宽度516和高度518的预定义尺寸。又如，区域520可以具有被指定为宽度526和高度528的预定义尺寸。在一个具体实施中，反馈信息包括限定像素阵列500内一个或多个区域的尺寸的参数。例如，反馈信息的参数可以限定宽度516、宽度526、高度518和高度528中的一者或多者。
43.图6示出了具有不同像素的事件传感器的像素阵列600的示例，该不同像素具有不同操作状态，随着从图像流水线接收到的反馈信息在第一时间和第二时间之间更新而修改一些像素的操作状态。在第一时间，图像流水线可以基于从事件传感器所输出的像素事件导出的图像数据来生成反馈信息。响应于接收到由图像流水线在第一时间生成的反馈信息，像素阵列600的区域620a内的第一像素子集处于启用状态，区域610a内的第二像素子集处于待机状态，并且区域610a和620a外部的第三像素子集处于非启用状态。
44.在第一时间之后，图像流水线可以从事件传感器接收附加像素事件，该附加像素事件改变由图像流水线正在处理的图像数据。例如，感兴趣特征(例如，图3的瞳孔中心310)在图像数据内的位置可以随着图像数据被附加像素事件更新而改变。在第二时间，图像流水线可以生成反馈信息，该反馈信息说明由附加像素事件引起的图像数据的该变化。响应于接收到由图像流水线在第二时间生成的反馈信息，像素阵列600的区域620b内的第一像素子集处于启用状态，区域610b内的第二像素子集处于待机状态，并且区域610b和620b外部的第三像素子集处于非启用状态。
45.在第一时间和第二时间之间，像素阵列600内的一些像素响应于从图像流水线接收到的反馈信息而从一个操作状态转变到另一个操作状态。例如，如图7所示，在第一时间处于待机状态的子区域710内的像素将在第二时间转变为非启用状态。在第一时间处于启用状态的像素阵列600的子区域720内的像素将在第二时间转变为待机状态。类似地，在第一时间处于待机状态的子区域730内的像素将在第二时间转变为启用状态，并且在第一时间处于非启用状态的子区域740内的像素将在第二时间转变为待机状态。
46.在各种具体实施中，事件传感器(例如，图2的事件传感器210)可被配置为将像素事件输出到图像流水线(例如，图像流水线220)。如上面相对于图1所讨论的，在各种具体实
施中，事件传感器的事件编译器(例如，事件编译器190)可利用以下项的某种组合来填充每个像素事件：(i)与发送触发相应像素事件的事件信号的特定像素相对应的地址标识符(例如，特定像素的x/y坐标
–
[x,y])；(ii)指示包括在事件信号中的电响应的信息(例如，电响应的值或极性
–“
强度”)；以及(iii)与相应像素事件生成的时间点(“t”)相对应的时间戳信息。如果事件传感器的事件编译器生成一定数量(“n”)的像素事件并利用所有三个数据点填充每个像素事件，则这些n个像素事件(像素事件1...n)可表示为以下像素事件列表：([x,y]，强度1，t1)、([x,y]，强度2，t2)、...、([x,y]，强度
n
，t
n
)。在一个具体实施中，事件传感器被配置为将此类像素事件作为像素事件箱输出到图像流水线(例如，图像流水线220)。一般来讲，像素事件箱被认为是像素事件的集合。本领域的技术人员将认识到，分箱包括将各个数据值(例如，像素事件)分组为限定区间(或箱)。
[0047]
在一个具体实施中，可基于事件计数来限定此类区间。例如，事件传感器可在生成预定义数量的像素事件(例如，10个像素事件)之后输出每个像素事件箱。在该具体实施中，继续前述示例并假设n＝40，由事件编译器生成的40个像素事件可被分组为4个像素事件箱以输出到图像流水线。该示例的四个箱将包括：包括像素事件1...10的第一像素事件箱；包括像素事件11...20的第二像素事件箱；包括像素事件21...30的第三像素事件箱；以及包括像素事件31至40的第四像素事件箱。在一个具体实施中，事件传感器的基于硬件/软件的事件计数器可监测由一个或多个事件编译器生成的像素事件的数量，并且在该数量达到像素事件的预定义数量时使事件传感器输出像素事件箱。
[0048]
在一个具体实施中，可使用周期性基础(例如，每0.5毫秒(“ms”))来限定此类区间。在该具体实施中，继续前述示例并且假设在4ms时间段内在40个像素事件之间有规律地间隔开的时间戳，40个像素事件可被分组为8个像素事件箱。该示例的八个箱将包括：包括在4ms时间段的0ms至0.5ms之间生成的像素事件(像素事件1...5)的第一像素事件箱；包括在0.5ms至1.0ms之间生成的像素事件(像素事件6...10)的第二像素事件箱；包括在1.0ms至1.5ms之间生成的像素事件(像素事件11...15)的第三像素事件箱；包括在1.5ms至2.0ms之间生成的像素事件(像素事件16...20)的第四像素事件箱；包括在2.0ms至2.5ms之间生成的像素事件(像素事件21...25)的第五像素事件箱；包括在2.5ms至3.0ms之间生成的像素事件(像素事件26...30)的第六像素事件箱；包括在3.0ms至3.5ms之间生成的像素事件(像素事件31...35)的第七像素事件箱；以及包括在3.5ms至4.0ms之间生成的像素事件(像素事件36...40)的第八像素事件箱。
[0049]
在一个具体实施中，周期性基础与事件传感器的全局读出操作或全局复位操作同步。在一个具体实施中，全局读出操作包括特定像素子集(例如，特定行或特定列)内的每个像素的相应控制器触发相应比较器在公共(或基本上公共)时间处理像素数据。在一个具体实施中，全局复位操作包括每次像素数据的样本由相应比较器处理，将像素数据值(或电压)复位到参考值(或电压)v
ref
。
[0050]
在一个具体实施中，每个像素事件箱作为像素事件列表(例如，类似于上面呈现的像素事件列表)输出。在一个具体实施中，每个像素事件箱作为像素事件的二维(“2d”)图块输出。图8描绘了事件传感器可生成以输出到图像流水线的像素事件的此类2d图块的示例。在一个具体实施中，使用地址标识符信息将每个像素事件映射到像素事件的对应2d图块的特定位置。在一个具体实施中，每个2d图块对由包括在对应像素事件箱中的每个像素事件
提供的电响应的值或极性进行编码。在接收到特定2d图块(例如，图块810)时，图像流水线可识别既检测到给定区间内(例如，像素事件812)的正入射照明变化又检测到给定区间内(例如，像素事件814)的负入射照明变化的特定像素。在一个具体实施中，图像流水线可使用在2d图块中编码的电响应的值或极性来更新强度重建图像。
[0051]
图9示出了根据一些具体实施的头戴式设备900的框图。头戴式设备900包括容纳头戴式设备900的各种部件的外壳901(或壳体)。外壳901包括(或联接到)相对于头戴式设备900的用户10设置在外壳901的近侧端部处的眼垫905。在各种具体实施中，眼垫905是塑料或橡胶件，其舒适且贴合地将头戴式设备900保持在用户10的面部上的适当位置(例如，围绕用户10的眼睛)。
[0052]
在一些具体实施中，经由设置在外壳901内的显示器910将图像数据呈现给头戴式设备900的用户10。虽然图9示出了包括显示器910和眼垫905的头戴式设备900，但在各种具体实施中，头戴式设备900不包括显示器910或者包括光学透视显示器而不包括眼垫905。
[0053]
头戴式设备900还包括设置在外壳901内的凝视跟踪系统，该凝视跟踪系统包括事件传感器924、控制器980和任选的一个或多个光源922。一般来讲，控制器980被配置为与事件传感器924和图像流水线(例如，图2的图像流水线220)的特征跟踪器进行交互，以检测和跟踪用户10的凝视特性。在一个具体实施中，系统包括一个或多个光源922，该一个或多个光源发射光，该光以光图案(例如，闪光圈)从用户10的眼睛反射并由事件传感器924检测。为此，控制器980被配置为响应于从图像流水线接收的信息(例如，反馈信息)而激活一个或多个光源922。基于光图案，图像流水线的特征跟踪器可确定用户10的凝视跟踪特性(例如，凝视方向、瞳孔中心、瞳孔尺寸等)。
[0054]
在一个具体实施中，控制器980被配置为通过以限定频率(例如，300赫兹)对光源922进行脉冲处理来激活光源922。在一个具体实施中，以限定频率对光源922进行脉冲处理使得事件传感器924内的至少一个像素子组(例如，处于启用状态的像素)以与限定频率成比例的速率生成事件数据。
[0055]
在一个具体实施中，不使用光源，并且环境中存在的光对眼睛进行被动地照明。可通过分析图像并提取特征诸如瞳孔位置、外观和形状(例如，使用模板匹配、或将拐角或特征检测器与分类器组合、或使用受过训练的神经网络)来确定凝视跟踪特性(例如，凝视方向、瞳孔中心、瞳孔尺寸等)，并且将其与眼睛的附加特征(诸如虹膜轮廓(角膜缘)或眼睑形状和眼睑拐角位置)的位置和外观相关联。
[0056]
图10是示出实现事件相机系统架构的方法1000的示例的流程图，该事件相机系统架构具有反馈回路和被配置为支持多种功率状态的事件驱动传感器。在一个具体实施中，方法1000由图2的事件传感器210实现。在框1002处，方法1000包括将像素事件从具有像素阵列的事件传感器输出到图像流水线。像素阵列被配置为具有在全功率模式下操作的启用像素区域和在关断功率模式或低功率模式下操作的非启用像素区域。响应于启用像素区域内的特定像素检测到超过比较器阈值的光强度变化，生成每个相应像素事件。
[0057]
在一个具体实施中，像素事件作为像素事件箱从事件传感器输出。在一个具体实施中，事件传感器被配置为在周期性基础上输出像素事件箱。在一个具体实施中，周期性基础与事件传感器的全局读出操作或全局复位操作同步。在一个具体实施中，在生成预定义数量的像素事件之后，从事件传感器输出像素事件箱。在一个具体实施中，像素事件箱作为
像素事件的2d图块(例如，图8中所描绘的像素事件的2d图块)输出。在一个具体实施中，像素事件作为像素事件列表从事件传感器输出。
[0058]
在框1004处，方法1000包括基于从像素事件导出的图像数据来从图像流水线接收反馈信息。在一个具体实施中，反馈信息是启用区域偏移，该启用区域偏移限定像素阵列的区域，该区域对应于图像流水线在图像数据内跟踪的感兴趣区域。在框1006处，方法1000包括响应于接收到反馈信息，引导启用像素区域内的像素在关断功率模式或低功率模式下操作。
[0059]
在一个具体实施中，反馈信息可包括位掩码，所述位掩码对每个单独像素的目标像素状态进行编码，例如所述位掩码可表示处于启用状态的圆形区域，而传感器的其余部分处于就绪或非启用状态；此外，可以容易地看出，所述掩码可如何表示传感器中任何任意形状的区域或区域组正处于所提及状态中的一种，其中最小尺寸的所述区域为任何单独的像素。
[0060]
图11是示出实现事件相机系统架构的方法1100的另一个示例的流程图，该事件相机系统架构具有反馈回路和被配置为支持多种功率状态的事件驱动传感器。在一个具体实施中，方法1000由图2的图像流水线220实现。在框1102处，方法1100包括由图像流水线从具有像素阵列的事件传感器接收像素事件，该像素阵列包括处于启用状态的第一像素子集和处于非启用状态的第二像素子集。响应于第一像素子集内的特定像素检测到超过比较器阈值的光强度变化，生成每个相应像素事件。在一个具体实施中，像素事件作为像素事件箱从事件传感器接收。在一个具体实施中，像素事件作为像素事件列表从事件传感器接收。
[0061]
在框1104处，方法1100包括利用图像流水线从像素事件导出图像数据。在框1106处，方法1100包括利用图像流水线基于图像数据生成反馈信息。该反馈信息使得事件传感器引导第一像素子集内的像素从启用状态转变到另一个操作状态。在一个具体实施中，该反馈信息使得事件传感器引导第一像素子集内的像素从启用状态转变到非启用状态。在一个具体实施中，该反馈信息使得事件传感器引导第一像素子集内的像素从启用状态转变到待机状态。在一个具体实施中，生成反馈信息包括利用图像流水线来在图像数据内跟踪感兴趣区域。在一个具体实施中，反馈信息是启用区域偏移，该启用区域偏移限定像素阵列的区域，该区域对应于图像流水线在图像数据内跟踪的感兴趣区域。
[0062]
在一个具体实施中，方法1100还包括以限定频率对光源进行脉冲处理，该光源被配置为朝向设置在事件传感器的视场内的场景发射光。在一个具体实施中，以限定频率对光源进行脉冲处理使得第一像素子集内的像素以与限定频率成比例的速率生成事件数据。
[0063]
本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言，其不排除适用于或被配置为执行额外任务或步骤的设备。另外，“基于”的使用意味着开放和包容性，因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。本文包括的标题、列表和编号仅是为了便于解释而并非旨在为限制性的。
[0064]
还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重
命名。第一节点和第二节点都是节点，但它们不是同一个节点。
[0065]
本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件或其分组。
[0066]
如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。
[0067]
本发明的前述描述和概述应被理解为在每个方面都是例示性和示例性的，而非限制性的，并且本文所公开的本发明的范围不仅由例示性具体实施的详细描述来确定，而是根据专利法允许的全部广度。应当理解，本文所示和所述的具体实施仅是对本发明原理的说明，并且本领域的技术人员可以在不脱离本发明的范围和实质的情况下实现各种修改。