传感器系统、图像处理装置、图像处理方法和程序与流程

1.本发明涉及传感器系统、图像处理装置、图像处理方法和程序。


背景技术：

2.诸如电荷耦合器件(ccd)和互补金属氧化物半导体(cmos)之类的图像传感器各自是同步固态图像传感器，其与诸如垂直同步信号的同步信号相同步拾取图像数据(帧)。普通同步固态图像传感器仅在同步信号的每个周期(例如，1/60秒)获取图像数据。这可能会带来问题，例如，在移动对象使用图像数据进行高速处理时。鉴于此，npl 1等提出了一种异步固态图像传感器，其具有检测地址事件的地址事件表示(aer)电路。
3.对于上述异步固态图像传感器，在给定像素地址处的光量以变化量超过阈值的方式变化的情况下，发生地址事件。具体地，地址事件包括两种，即，在像素的光量变化以超过预定上限的情况下发生的开启事件(on-event)，以及在像素的光量下降到预定下限以下的情况下发生的关闭事件(off-event)。在这种异步固态图像传感器上，表示每个像素的开启事件或关闭事件的存在或不存在的两比特图像数据格式被称为aer格式。ptl 1等中也描述了涉及使用异步固态图像传感器的技术。
4.[引文列表]
[0005]
[专利文献]
[0006]
[ptl 1]日本专利公开号2018-186478
[0007]
[非专利文献]
[0008]
[npl 1]patrick lichtsteiner等人，128
×
128 120db 15μs延迟异步时间对比视觉传感器，ieee固态电路杂志，第43卷，第2期，2008年2月。


技术实现要素：

[0009]
[技术问题]
[0010]
尽管上述异步固态图像传感器(以下也称为事件驱动传感器)能够高速检测对象的运动，但上述异步固态图像传感器只能获得两种信息，即作为图像数据的开启事件和关闭事件。这使得很难检测对象的亮度灰度。例如，可以设想存在这样一种布置，其中结合事件驱动传感器提供能够检测灰度的同步固态图像传感器。然后，在事件驱动传感器检测对象运动的情况下，同步固态图像传感器将被曝光以检测灰度。然而，在这种情况下，获取包括灰度的图像数据的周期受到同步固态图像传感器的同步信号的周期的限制。这降低了事件驱动传感器的高速性能。
[0011]
鉴于上述情况，本发明旨在提供一种传感器系统、图像处理装置、图像处理方法和程序，其能够使用事件驱动传感器以高速检测对象的灰度。
[0012]
[问题的解决方案]
[0013]
根据本发明的一个方面，提供了一种传感器系统，包括被配置为包括：传感器阵列，其被配置为包括第一传感器和第二传感器，所述第一传感器以第一灵敏度检测第一像
素地址处的光量的变化，所述第二传感器以第二灵敏度检测第二像素地址处的光量的变化，所述第二像素地址与所述第一像素地址相邻或重合，所述第二灵敏度低于所述第一灵敏度；以及事件信号处理部分，其被配置为输出指示所述第一传感器和所述第二传感器各自响应于亮度变化事件而生成事件信号的时间之间的差的信息。
[0014]
根据本发明的另一方面，提供了一种图像处理装置，包括：时间差获取部分，其被配置为获取指示第一传感器和第二传感器各自响应于亮度变化事件而生成事件信号的时间之间的差的信息，所述第一传感器以第一灵敏度检测第一像素地址处的光量的变化，所述第二传感器以第二灵敏度检测第二像素地址处的光量的变化，所述第二像素地址与第一像素地址相邻或重合，所述第二灵敏度低于第一灵敏度；以及灰度计算部分，其被配置为基于指示所述时间之间的差的所述信息来计算引起所述亮度变化事件发生的对象的灰度。
[0015]
根据本发明的另一个方面，提供了一种图像处理方法，包括：使第一传感器响应于亮度变化事件以第一灵敏度检测第一像素地址处的光量的变化以生成第一事件信号的步骤；使第二传感器响应于所述亮度变化事件以第二灵敏度检测第二像素地址处的光量的变化以生成第二事件信号的步骤，所述第二像素地址与所述第一像素地址相邻或重合，所述第二灵敏度低于所述第一灵敏度；获取指示所述第一传感器和所述第二传感器分别产生所述第一事件信号和所述第二事件信号的时间之间的差的信息的步骤；以及基于指示所述时间之间的差的信息，计算引起所述亮度变化事件发生的对象的灰度的步骤。
[0016]
根据本发明的又一方面，提供了一种程序，用于使计算机实现：获取指示第一传感器和第二传感器各自响应于亮度变化事件生成事件信号的时间之间的差的信息的功能，所述第一传感器以第一灵敏度检测第一像素地址处的光量的变化，所述第二传感器以第二灵敏度检测第二像素地址处的光量的变化，所述第二像素地址与所述第一像素地址相邻或重合，所述第二灵敏度低于所述第一灵敏度；以及基于指示所述时间之间的差的信息，计算引起所述亮度变化事件发生的对象的灰度的功能。
附图说明
[0017]
图1是描绘根据本发明第一实施例的系统的示意性配置的图。
[0018]
图2a是解释本发明实施例中计算灰度的原理的图。
[0019]
图2b是解释本发明实施例中计算灰度的原理的另一图。
[0020]
图3是解释本发明实施例中计算灰度的原理的另一图。
[0021]
图4a是解释本发明第一实施例的同步处理的图。
[0022]
图4b是解释本发明第一实施例的同步处理的另一图。
[0023]
图4c是解释本发明第一实施例的同步处理的另一图。
[0024]
图4d是解释本发明第一实施例的同步处理的又一图。
[0025]
图5是指示由本发明第一实施例执行的处理的示例的流程图。
[0026]
图6是示出本发明第一实施例中的传感器布置的另一示例的图。
[0027]
图7是描绘与本发明第二实施例有关的系统的示意性配置的图。
[0028]
图8是示出本发明第二实施例中的传感器布置的另一示例的图。
[0029]
图9是描绘根据本发明第三实施例的系统的示意性配置的图。
[0030]
图10是指示由本发明第三实施例执行的处理的示例的流程图。
具体实施方式
[0031]
下面参考附图详细描述本发明的一些优选实施例。注意，在随后的描述和附图中，类似的参考符号表示具有基本相同功能的类似或对应的组成元件，并且对这些元件的解释将不再重复。
[0032]
(第一实施例)
[0033]
图1是描绘根据本发明第一实施例的系统的示意性配置的图。如图所示，传感器系统10a包括传感器模块100和图像处理装置200a。传感器模块100包括传感器阵列和信号处理电路120(事件信号处理部分)，传感器阵列包括分配给每个像素的第一传感器111和第二传感器112。例如，图像处理装置200a由具有通信接口、处理器和存储器的计算机实现。图像处理装置200a包括时间差获取部分210a和灰度计算部分220a，两者都由处理器实现，处理器根据存储在存储器中的程序或经由通信接口接收的程序进行操作。图像处理装置200a还可以包括图像生成部分230和延迟时间计算部分240的功能部分。下面将对这些组件进行更详细的解释。
[0034]
第一传感器111和第二传感器112各自是事件驱动传感器(eds)。当给定像素地址处的光量变化量超过阈值时，传感器输出指示地址事件发生的事件信号。在本实施例中，传感器阵列包括以预定模式二维布置的第一传感器111和第二传感器112。第一传感器111以第一灵敏度检测第一像素地址处的光量变化量。第二传感器112以第二灵敏度检测与第一像素地址相邻的第二像素地址处的光量变化量，第二灵敏度低于第一灵敏度。
[0035]
具体地，例如，第二传感器112的灵敏度(即，第二灵敏度)是第一传感器111的灵敏度(第一灵敏度)的p倍(1》p》0)。上述第一传感器111和第二传感器112可以通过在传感器阵列上叠加滤波器115(例如，灰度滤波器或光圈)来实现，以减少入射到第二传感器112上的光量。在这种情况下，第一传感器111和第二传感器112可以是相同配置的eds。在滤波器115切断(1-p)倍光量的情况下，第二灵敏度变为第一灵敏度的p倍。或者，可以使不同的偏置电流在第一传感器111和第二传感器112之间流动，以调整各个传感器的灵敏度。
[0036]
信号处理电路120包括存储器和处理器。处理器根据存储在存储器中的程序操作，以处理由第一传感器111生成的第一事件信号和由第二传感器112生成的第二事件信号。具体地，信号处理电路120为第一和第二事件信号中的每一个生成时间戳。时间戳是指示第一传感器111和第二传感器112响应于亮度变化事件而生成各自事件信号的时间之间的差的信息的示例。
[0037]
这里，当发生诸如对象的运动或光源改变之类的亮度变化事件(以下也简单地称为事件)时，检测到的光量的变化量超过阈值，这使得第一传感器111和第二传感器112生成事件信号。如上所述，第一传感器111和第二传感器112具有用于检测光量变化的不同灵敏度。因此，即使在第一传感器111和第二传感器112都生成各自的事件信号的情况下，每个传感器也检测到检测光量的不同变化量。在本实施例中，如稍后将解释的，通过使用第一传感器111和第二传感器112响应于相同亮度变化事件生成各自事件信号的时间之间的差来计算对象的灰度，当光量的变化量不同时，传感器的特点是从事件发生到事件信号产生的延迟时间不同。
[0038]
图2a、2b和3是解释本发明实施例中计算灰度的原理的图。如图2a和2b所示，在明亮(高灰度)对象obj1的运动导致事件发生的情况下，亮度的变化量相对较大。在这种情况
下，假设延迟时间d1从事件发生的时间到eds生成事件信号为止。另一方面，在灰暗(低灰度)对象obj2的运动导致事件发生的情况下，亮度的变化量相对较小。在这种情况下，从事件发生到eds生成事件信号所经过的延迟时间d2大于对象obj1的延迟时间d1(d1《d2)。即，对象的灰度越高，生成事件信号的延迟时间变得越短；对象的灰度越低，产生事件信号的延迟时间就越长。
[0039]
例如，如图3所示，在第二传感器112的灵敏度为第一传感器111的灵敏度的50％(在上述示例中p＝0.5)的情况下，由第二传感器112检测到的事件的亮度变化成为由第一传感器111检测到的事件的亮度变化的50％。也就是说，第二传感器112检测到了降低50％的对象的灰度。在这种情况下，由第一传感器111生成的第一事件信号的延迟时间d1和由第二传感器112生成的第二事件信号的延迟时间d2之间的差(d
2-d1)对应于对象灰度的50％。因此，如果预先测量了一方面是对象的灰度与另一方面是eds的延迟时间之间的关系，则可以基于延迟时间之间的差(即每个传感器生成其事件信号的时间之间的差)来计算对象的灰度。
[0040]
更具体地，在本实施例中，例如，通过预先测量导致事件发生的对象的灰度与eds的延迟时间之间的关系，将对象的灰度识别为延迟时间d的函数g(d)。鉴于此，即使第一和第二事件信号的延迟时间d1和d2未知，只要延迟时间d1和延迟时间d2之间的差dd(dd＝d
2-d1)已知，就可以以下表达式适用的方式计算延迟时间d1和由第一传感器111检测到的对象的灰度g(d1)：
[0041]
g(d1 dd)＝0.5
×
g(d1)...(表达1)
[0042]
再次参考图1，在图像处理装置200a中，时间差获取部分210a基于由信号处理电路120生成的时间戳来获取指示第一和第二传感器响应于相同亮度变化事件生成各自事件信号的时间差的信息。作为另一示例，例如，在图像处理装置200a包括信号处理电路120的情况下，除了第一和第二传感器的第一和第二信号的时间戳之外，信号处理电路120可以直接获取指示第一事件信号和第二事件信号之间的时间差的信息。
[0043]
灰度计算部分220a基于指示由时间差获取部分210a获取的时间差的信息，计算导致亮度变化事件发生的对象的灰度。如上文参考图2a、2b和3所述，如果事先测量了导致事件发生的物体的灰度与eds延迟时间之间的关系，则可以根据事件信号产生的时间之间的差来计算物体的灰度。在本实施例中，时间差和灰度表221存储在图像处理装置200a的存储器中。灰度计算部分220a通过参考时间差和灰度表221来计算对象的灰度。
[0044]
由执行上述处理的灰度计算部分220a计算的对象的灰度可以例如由图像生成部分230用于通过使用事件信号生成对象的图像。在这种情况下，第一和第二事件信号可以通过稍后讨论的处理彼此同步。或者，由灰度计算部分220a计算的对象的灰度可用于选择从事件信号识别的对象上的处理。执行上述处理的功能部分可以由图像处理装置200a内部实现，或者由从图像处理装置200a接收指示对象的灰度的信息的外部设备实现。
[0045]
给定指示由时间差获取部分210a获取的时间差的信息，延迟时间计算部分240计算从第一传感器111中的亮度变化事件的检测到其中的事件信号的生成的延迟时间。如上文参考图3所解释的，在对象的灰度被表示为延迟时间d的函数g(d)的情况下，即使在延迟时间d1和d2未知时，也可以这样计算延迟时间d1，即g(d1 dd)＝0.5
×
g(d1)由差dd＝d
2-d1成立。以类似方式，延迟时间计算部分240可以计算第二传感器112的延迟时间d2。
[0046]
例如，可以使用如上所述由延迟时间计算部分240计算的延迟时间来识别不包括延迟时间的事件的真实发生时间。具体地，可以通过从第一传感器111生成的第一事件信号的时间戳中减去延迟时间d1来识别第一传感器111检测到的事件的真实发生时间。尽管本实施例中的图像处理装置200a包括灰度计算部分220a和延迟时间计算部分240二者，但是其他实施例中的图像处理装置可以仅包括灰度计算部分220a或延迟时间计算部分240。
[0047]
图4a到4d是解释本发明第一实施例的同步处理的图。如上所述，从亮度变化事件的发生到事件信号的生成，第一传感器111和第二传感器112具有不同的延迟时间。在本实施例中，延迟时间之间的差用于计算对象的灰度。同时，与由第一传感器111生成的第一事件信号和由第二传感器112生成的第二事件信号之间的延迟时间之差相对应的时间戳之间存在差异。
[0048]
有鉴于此，在所示的示例中，将由第二传感器112a生成的第二事件信号的时间戳替换为由相邻的第一传感器111a到111h生成的事件信号的时间戳的平均值，并且由此使第二事件信号与第一事件信号同步。图4a到4d指示其中两个、四个和八个第一传感器111与第二传感器112a相邻且各自产生事件信号的示例。例如，当除了输入到灰度计算部分220a或延迟时间计算部分240的事件信号之外以彼此同步的方式生成事件信号时，可以基于在传感器阵列中的所有像素处检测到的事件来识别对象的运动(即，不降低分辨率)，该传感器阵列包括由第一传感器111提供的第一像素地址和由第二传感器112提供的第二像素地址。
[0049]
注意，不是一定要执行上述同步处理。例如，基于由第一传感器111生成的第一事件信号，可以仅使用在由第一传感器111提供的第一像素地址处检测到的事件来识别对象的运动。在这种情况下，分辨率降低了与未使用在第二像素地址检测到的事件相对应的量。然而，分辨率的降低可以通过已知的插值技术(如线性插值)进行补偿。此外，在不需要高分辨率的情况下，可以仅使用在第一像素地址处获取的事件信号来识别对象的运动，而不执行同步或插值处理。或者，在布置第一传感器111和第二传感器112的模式中，可以使第一传感器111的数量大于第二传感器112的数量。这种布置使得能够保持用于识别对象运动的分辨率，以最小分辨率计算灰度。
[0050]
图5是指示由本发明第一实施例执行的处理的示例的流程图。在所指示的示例中，首先，传感器模块100中的第一传感器111响应于亮度变化事件生成第一事件信号(步骤s101)。在从该时间开始的短延迟之后，第二传感器112响应于相同的亮度变化事件生成第二事件信号(步骤s102)。如上所述，第一事件信号和第二事件信号之间的这种时间差是因为当由第一传感器111和第二传感器112检测时亮度的变化量不同而发生的，第二传感器112的灵敏度低于第一传感器111。
[0051]
接下来，在图像处理装置200a中，时间差获取部分210a获取指示第一传感器111和第二传感器112分别生成第一事件信号和第二事件信号的时间之间的差的信息(步骤s103)。具体地，基于由信号处理电路120生成的第一和第二事件信号的时间戳，时间差获取部分210a获取指示第一和第二传感器响应于相同亮度变化事件生成其各自事件信号的时间之间的差的信息(在上面的步骤s101和s102中)。
[0052]
此外，基于指示由时间差获取部分210a获取的时间差的信息，灰度计算部分220a计算导致亮度变化事件发生的对象的灰度(步骤s104)。如上参考图1所述，此时的灰度计算部分220a可以参考存储在图像处理装置200a的存储器中的时间差和灰度表221。在指示的
示例中，图像生成部分230通过使用计算出的灰度和事件信号生成对象的图像(步骤s105)。或者，如上所述计算的灰度也可以用于图像的生成中，或者可以用于其他处理而不是图像生成中。
[0053]
图6是示出本发明第一实施例中的传感器布置的另一示例的图。在所示的示例中，传感器模块100的传感器阵列包括以预定模式二维布置的第一传感器111、第二传感器112、第三传感器113和第四传感器114。除了与上面参考图1解释的示例中类似的第一传感器111和第二传感器112之外，第三传感器113以第三灵敏度检测与第一和第二像素地址中的至少一个相邻的第三像素地址处的光量变化量，第三灵敏度低于第二灵敏度。第四传感器114以第四灵敏度检测与第一到第三像素地址中的至少一个相邻的第四像素地址处的光量变化量，第四灵敏度低于第三灵敏度。信号处理电路120(未描绘)为分别由第一至第四传感器111至114生成的事件信号生成时间戳。
[0054]
在上述示例中，第二传感器112的灵敏度(第二灵敏度)、第三传感器113的灵敏度(第三灵敏度)和第四传感器114的灵敏度(第四灵敏度)例如分别是第一传感器111的灵敏度(第一灵敏度)的p2倍、p3倍和p4倍(1》p2》p3》p4》0)。具体地，可以被布置成p2＝0.75，p3＝0.5并且p4＝0.25。上述第一至第四传感器111至114可以例如通过叠加在传感器阵列上的滤波器116(例如，灰度滤波器或光圈)来实现，并减少入射到第二至第四传感器112至114上的光量。在上述示例中，滤波器116切断入射到第二传感器112上25％的光量、入射到第三传感器113上50％的光量和入射到第四传感器114上75％的光量。
[0055]
在上述情况下，第二传感器112、第三传感器113和第四传感器114检测到的事件的亮度变化分别为第一传感器111检测到的事件的亮度变化的75％、50％和25％。分别由第一传感器111到第四传感器114生成的第一到第四事件信号的延迟时间d1到d4之间的差，即(d
4-d1)，(d
3-d1)和(d
2-d1)分别对应于对象灰度的75％、50％和25％。
[0056]
在本实施例中，如上所述，在为布置在传感器阵列中的传感器设置了两个以上灵敏度的情况下，可以建立多个条件表达式，例如上面的表达式1。这使得能够精确地找到满足所涉及的条件的延迟时间d1，而不考虑指示对象灰度的函数g(d)。或者，考虑到每个传感器的灵敏度降低量中的误差(例如，第二传感器112的灵敏度可能不是第一传感器111的准确0.5倍的可能性)，通过平均根据第一事件信号和第二事件信号之间的时间差、第一事件信号和第三事件信号之间的时间差、以及第一个事件信号和第四个事件信号之间的时间差计算的灰度，可以稳定地获得灰度计算的结果。
[0057]
根据上述本发明的第一实施例，用于检测光量变化的具有不同灵敏度的传感器布置在彼此相邻的像素地址处。然后根据不同传感器产生的事件信号之间的时间差计算对象的灰度。这使得能够在不影响eds高速性能的情况下检测对象的灰度。此外，由于具有不同灵敏度的传感器在本实施例的传感器阵列内以二维方式布置并且彼此相邻，因此通过将具有均匀灵敏度的公共eds与诸如灰度滤波器的滤波器相结合，容易实现灰度检测。
[0058]
(第二实施例)
[0059]
图7是描绘根据本发明第二实施例的系统的示意性配置的图。在所示的示例中，传感器系统10b包括传感器模块300和图像处理装置200a。传感器模块300包括传感器阵列和信号处理电路320(事件信号处理部分)，传感器阵列包括分配给每个像素的层叠传感器310。注意，图像处理装置200a的配置类似于上述第一实施例的配置，因此将省略对图像处
理装置200a的描述。下面将对这些组件进行更详细的解释。
[0060]
叠层传感器310具有一个堆叠在另一个上的构成第一传感器的第一光接收层311和构成第二传感器的第二光接收层312。第一光接收层311布置在光入射侧，即靠近对象。来自对象的光在通过第一光接收层311之后也进入第二光接收层312。第一光接收层311以第一灵敏度检测传感器310提供的像素地址处的光量变化。第二光接收层312以第二灵敏度检测相同像素地址处的光量变化，第二灵敏度低于第一灵敏度。在本实施例中，具有由第一光接收层311构成的第一传感器的第一像素地址和具有由第二光接收层312构成的第二传感器的第二像素地址彼此重合。
[0061]
具体地，例如，第二光接收层312的灵敏度(第二灵敏度)是第一光接收层311的灵敏度(第一灵敏度)的p倍(1》p》0)。例如，通过将第一光接收层311的量子效率设置为p1(1》p1》0)并且将第二光接收层312的量子效率设置为p2((1-p1)》p2》0)，来实现上述层叠传感器310。在这种情况下，第二光接收层312的灵敏度变为第一光接收层311的灵敏度的p2/p1(p＝p2/p1)倍。顺便说一句，量子效率是一个指数，其表示每个光子的探测概率百分比。如稍后将在示例中讨论的，eds 310可以具有由两层以上构成的多层结构。
[0062]
信号处理电路320包括存储器和处理器。通过根据存储在存储器中的程序进行操作，处理器处理第一事件信号和第二事件信号，第一事件信号由第一光接收层311构成的第一传感器生成，第二事件信号由第二光接收层312构成的第二传感器生成。具体地，信号处理电路320为第一和第二事件信号中的每一个生成时间戳。时间戳是指示由第一光接收层311构成的第一传感器和由第二光接收层312构成的第二传感器响应于亮度变化事件生成各自事件信号的时间之间的差的信息的示例。
[0063]
如上所述，通过获得指示分配给相同像素地址的第一和第二传感器响应于亮度变化事件生成其各自事件信号的时间之间的差的信息，本实施例与上述第一实施例一样，使图像处理装置200a能够计算导致亮度变化事件发生的对象的灰度。注意，由于本实施例允许在传感器阵列中的所有像素处生成第一事件信号和第二事件信号，因此图像生成部分230例如在通过使用第一和第二事件信号生成对象的图像时不必同步第一和第二事件信号。图像生成部分230可以仅使用第一事件信号来识别对象的运动。
[0064]
图8是示出本发明第二实施例中的传感器布置的另一示例的图。在所示的示例中，层叠传感器310具有从光入射侧按该顺序层叠的第一光接收层311、第二光接收层312、第三光接收层313和第四光接收层314。第一到第三光接收层311到313是透射层。来自对象的光在经过第一光接收层311、第二光接收层312和第三光接收层313之后进入第四光接收层314。除了与上面参考图7解释的类似的第一光接收层311和第二光接收层312之外，第三光接收层313以第三灵敏度检测传感器310提供的像素地址处的光量变化，第三灵敏度低于第二灵敏度，因此第三光接收层313构成第三传感器。第四光接收层314以第四灵敏度检测相同地址处的光量变化，第四灵敏度低于第三灵敏度，因此第四光接收层314构成第四传感器。信号处理电路120为分别由第一到第四光接收层311到314构成的传感器生成的事件信号生成时间戳。
[0065]
在上述示例中，第二光接收层312的灵敏度(第二灵敏度)、第三光接收层313的灵敏度(第三灵敏度)和第四光接收层314的灵敏度(第四灵敏度)是分别是第一光接收层311的灵敏度(第一灵敏度)p2倍、p3倍，和p4倍(1》p2》p3》p4》0)。具体地，可以布置成p2＝0.5，p3＝
0.25并且p4＝0.125。例如，通过将第一光接收层311的量子效率设置为40％、第二光接收层312的数量子效率设置为20％、第三光接收层313的量子效率设置为10％、以及第四光接收层314的量子效率设置为5％来实现上述eds 310。
[0066]
在上述情况下，第二光接收层312、第三光接收层313和第四光接收层314检测到的事件的亮度变化分别为第一光接收层311检测到的事件的亮度变化的50％、25％和12.5％。分别由第一到第四光接收层311到314生成的第一到第四事件信号的延迟时间d1到d4之间的差，即((d
4-d1)，(d
3-d1)和(d
2-d1)分别对应于对象灰度的50％、25％和12.5％。这使得例如在上文参考图6解释的示例中，可以精确地找到满足所涉及的条件的延迟时间，或者稳定地获得灰度计算的结果。
[0067]
根据上面解释的本发明的第二实施例，每个光接收层都具有用于检测光量变化的不同灵敏度，并堆叠在相同的像素地址上。由各个光接收层生成的事件信号之间的时间差用于计算对象的灰度。以这种方式，与第一实施例一样，可以在不降低eds的高速性能的情况下检测对象的灰度。此外，由于在本实施例中，每个具有不同灵敏度的传感器堆叠在相同的像素地址上，因此可以在不降低分辨率的情况下计算对象的灰度。
[0068]
(第三实施例)
[0069]
图9是描绘根据本发明第三实施例的系统的示意性配置的图。图9中的示例被解释为上文参考图8讨论的示例的修改。即，在本实施例中，传感器系统10c包括传感器模块300和图像处理装置200c，传感器模块300包括具有四层结构的传感器310。传感器模块300包括传感器阵列和信号处理电路320，传感器阵列包括如上述第二实施例中所述的层叠传感器310。图像处理装置200c例如由具有通信接口、处理器和存储器的计算机实现。图像处理装置200c包括事件信号关联部分210c和灰度确定部分220c的功能部分，这些功能部分由处理器根据存储在存储器中或经由通信接口接收的程序进行操作来实现。图像处理装置200c还可以包括图像生成部分230的功能部分。下面更详细地解释图像处理装置200c的这些组件中的每一个。
[0070]
事件信号关联部分210c将第二到第四事件信号与从信号处理电路320输入的第一事件信号关联。这里，响应于亮度变化事件，由第一光接收层311构成的第一传感器生成第一事件信号。与第一事件信号相关联的第二至第四事件信号由分别由第二至第四光接收层312至314构成的第二至第四传感器响应与第一传感器响应的相同亮度变化事件生成。
[0071]
如上文参考图2a、2b和3所述，从事件发生到事件信号产生的延迟时间随传感器的灵敏度而变化。因此，尽管第二到第四事件信号对应于与第一事件信号相同的亮度变化事件，但第二到第四事件信号的生成晚于第一事件信号。事件信号关联部分210c例如基于各个事件信号的顺序和它们的时间戳之间的间隔来关联事件信号。
[0072]
具体地，在第二事件信号在第一事件信号之后生成并且第一和第二事件信号的时间戳之间的间隔落在预定范围内的情况下，事件信号关联部分210c将第二事件信号与第一事件信号关联。在不存在这样的第二事件信号的情况下，事件信号关联部分210c不将第一事件信号与第二事件信号关联。类似地，在第三事件信号在第二事件信号之后生成并且第二和第三事件信号的时间戳之间的间隔落在预定范围内的情况下，事件信号关联部分210c将第三事件信号与第一事件信号关联。在不存在这样的第三事件信号并且第二事件信号不与第一事件信号相关联的情况下，事件信号关联部分210c不将第三事件信号与第一事件信
号相关联。
[0073]
灰度确定部分220c根据事件信号关联部分210c执行的事件信号关联的结果确定对象的灰度。如上文参考图8所解释，层叠传感器310的第一至第四光接收层311至314被配置为使得它们的灵敏度相对于光量的变化逐渐降低。因此，在导致亮度变化事件发生的对象的灰度较低的情况下，由灵敏度相对较低的光接收层检测到的那些光量变化量不超过阈值，因此，由这些光接收层构成的传感器不会产生事件信号。具体地，在事件的亮度变化最大且第一光接收层311生成事件信号的情况下，第二到第四光接收层312到314也生成事件信号。随着亮度变化逐渐降低，具有最低灵敏度的第四光接收层314首先停止生成其事件信号。随着亮度变化进一步降低，第三光接收层313也停止生成其事件信号。在亮度变化是最小可检测变化的情况下，第二光接收层312也停止生成其事件信号，并且只有第一光接收层311生成事件信号。
[0074]
在本实施例中，灰度确定部分220c根据对象的灰度与每个事件信号的生成之间的上述关系来确定对象的灰度。具体地，在事件信号关联部分210c将所有第二到第四事件信号与第一事件信号关联的情况下，灰度确定部分220c确定对象的灰度处于最高级别。另一方面，在存在与第一事件信号相关联的第二和第三事件信号但不存在第四事件信号的情况下，灰度确定部分220c确定对象的灰度处于第二最高级别。在仅存在与第一事件信号相关联的第二事件信号的情况下，灰度确定部分220c确定对象的灰度处于第三最高级别。在不存在与第一事件信号相关联的事件信号的情况下，灰度确定部分220c确定对象的灰度处于最低水平。图像生成部分230在生成对象的图像时使用以这种方式确定的对象的灰度，或者例如在第一实施例的情况下，用于选择从事件信号识别的对象上的处理。
[0075]
图10是指示由本发明第三实施例执行的处理的示例的流程图。为了简化，图10解释的是使用第一和第二事件信号的确定。同样的解释也适用于使用第三和第四事件信号的确定。在所示的示例中，首先，构成传感器模块300中的第一传感器的第一光接收层311响应于亮度变化事件生成第一事件信号(步骤s201)。在从该时间开始的短延迟之后，构成第二传感器的第二光接收层312响应于相同的亮度变化事件生成第二事件信号(步骤s202)。注意，在以相对低的灵敏度入射到第二光接收层312上的光量的变化量不超过阈值的情况下，不生成第二事件信号。
[0076]
接下来，在图像处理装置200c中，事件信号关联部分210c确定第二事件信号是否与第一事件信号关联(步骤s203)。具体地，事件信号关联部分210c基于由第一和第二事件信号的时间戳指示的顺序以及它们的时间戳之间的间隔来确定关联的存在或不存在。在第二事件信号与第一事件信号相关联的情况下，灰度确定部分220c确定对象的灰度处于相对高的水平(步骤s204)。另一方面，在第二事件信号与第一事件信号不相关联的情况下，灰度确定部分220c确定对象的灰度处于相对低的水平(步骤s205)。
[0077]
尽管所示示例中的传感器310具有包括第一到第四光接收层311到314的四层结构，但另一示例中的传感器310可以具有类似于图7中示例中的两层结构。其他示例中的传感器310可以具有三层结构或四层以上的结构。在另一示例中，传感器模块可包括传感器阵列，该传感器阵列具有以预定模式二维布置的具有不同灵敏度的传感器，如上文参考图1和6所述。
[0078]
根据本发明的上述第三实施例，具有用于检测光量变化的不同灵敏度的光接收层
堆叠在相同的像素地址上。通过验证堆叠的光接收层中有多少层产生了事件信号来确定对象的灰度。这使得能够像第一实施例那样，在不降低eds的高速性能的情况下检测对象的灰度。尽管本实施例仅允许检测与光接收层灵敏度的数量相同数量的对象的灰度，但本实施例易于使用，因为不需要预先测量对象的灰度和eds的延迟时间之间的关系。此外，通过本实施例的容易确定使得能够稳定地识别对象的灰度。
[0079]
本发明的实施例可与游戏控制器、智能手机和各种移动对象(例如，汽车、电动车、混合动力电动汽车、摩托车、自行车、个人移动设备、飞机、无人机、船舶和机器人)结合使用，获取有关周围环境的信息，估计自身相对于附近对象位置的位置，或在检测到来袭飞行对象时采取规避行动。就上述目的而言，物体的灰度可用于发现或识别物体。
[0080]
尽管本发明的一些优选实施例已在上文参考附图详细描述，但本发明不限于此类示例。显而易见，本领域技术人员将在所附权利要求书中所述的技术思想的范围内容易构思本发明的修改或替代方案。应当理解，这种修改和替代方案也属于本发明的技术范围。
[0081]
[参考符号列表]
[0082]
10a、10b、10c：传感器系统
[0083]
100：传感器模块
[0084]
111：第一传感器
[0085]
112：第二传感器
[0086]
113：第三传感器
[0087]
114：第四传感器
[0088]
115、116：滤波器
[0089]
120：信号处理电路
[0090]
200a，200c：图像处理装置
[0091]
210a：时间差获取部分
[0092]
210c：事件信号关联部分
[0093]
220a：灰度计算部分
[0094]
220c：灰度确定部分
[0095]
230：图像生成部分
[0096]
240：延迟时间计算部分
[0097]
300：传感器模块
[0098]
310：传感器
[0099]
311：第一光接收层
[0100]
312：第二光接收层
[0101]
313：第三光接收层
[0102]
314：第四光接收层
[0103]
320：信号处理电路