图像处理装置、成像装置、系统、图像处理方法和程序与流程

1.本发明涉及图像处理装置、成像装置、系统、图像处理方法和程序。


背景技术：

2.已知事件驱动型视觉传感器，在其中检测入射光的强度变化的像素在时间上异步地产生信号。与以预定周期扫描所有像素的帧型视觉传感器相比，事件驱动型视觉传感器的优势在于它可以以低功耗和高速操作，特别是与诸如ccd(电荷耦合器件)或cmos(互补金属氧化物半导体)的图像传感器等相比。例如，在ptl1和ptl2中公开了与刚刚描述的这种事件驱动型视觉传感器相关的技术。
3.专利文献
4.[ptl 1]
[0005]
jp 2014-535098t
[0006]
[ptl 2]
[0007]
jp 2018-85725a


技术实现要素：

[0008]
然而，关于事件驱动型视觉传感器，虽然上述优点是已知的，但是对于将事件驱动型视觉传感器与另一设备(例如，帧型视觉传感器)组合使用的方法没有提出足够的建议。
[0009]
因此，本发明的目的是提供一种图像处理装置、成像装置、系统、图像处理方法和程序，其可以通过将事件驱动型视觉传感器和帧型视觉传感器组合使用来实现有利的效果。
[0010]
根据本发明的某个方面，提供了一种图像处理装置，包括移动估计单元，其基于提供给通过同步扫描捕获的图像的第一时间戳、对应于在图像的一个或多个像素处的光的强度变化生成的事件信号以及提供给事件信号并与第一时间戳同步的第二时间戳，来估计成像目标在图像中的移动；逆滤波器生成单元，其生成基于移动的逆滤波器，以及滤波器应用单元，其将逆滤波器应用于图像。
[0011]
根据本发明的另一方面，提供了一种成像装置，包括第一视觉传感器，其通过同步扫描来捕获图像并向图像提供第一时间戳，以及第二视觉传感器，其包括与图像的一个或多个像素相关联的传感器，当传感器检测到光的强度变化时生成事件信号，以及将与第一时间戳同步的第二时间戳提供给事件信号。
[0012]
根据本发明的另一方面，提供了一种系统，包括第一视觉传感器，其通过同步扫描来捕获图像并向图像提供第一时间戳，第二视觉传感器，其包括与图像的一个或多个像素相关联的传感器，当传感器检测到光的强度变化时生成事件信号，以及将与第一时间戳同步的第二时间戳提供给事件信号，以及图像处理装置，该图像处理装置包括移动估计单元，其基于第一时间戳、事件信号和第二时间戳来估计成像目标在图像中的移动，逆滤波器生成单元，其基于移动生成逆滤波器，以及滤波器应用单元，其将逆滤波器应用于图像。
[0013]
根据本发明的又一方面，提供了一种图像处理方法，包括通过同步扫描来捕获图像并向图像提供第一时间戳的步骤，包括与图像的一个或多个像素相关联的传感器，当传感器检测到光的强度变化时生成事件信号，以及将与第一时间戳同步的第二时间戳提供给事件信号的步骤，基于第一时间戳、事件信号和第二时间戳来估计成像目标在图像中的移动的步骤，基于移动生成逆滤波器的步骤，以及将逆滤波器应用于图像的步骤。
[0014]
根据本发明的再一方面，提供了一种程序，用于使计算机实现以下功能：基于提供给通过同步扫描捕获的图像的第一时间戳、对应于在图像的一个或多个像素处的光的强度变化生成的事件信号以及提供给事件信号并与第一时间戳同步的第二时间戳，估计成像目标在图像中的移动的功能，基于移动生成逆滤波器的功能，以及将逆滤波器应用于图像的功能。
附图说明
[0015]
图1是描绘根据本发明实施例的系统的常规配置的框图。
[0016]
图2是示意性地示出本发明的实施例中的相机与传感器之间的校准的图。
[0017]
图3是示出本发明的实施例中的图像与事件信号之间的匹配的示例的图。
[0018]
图4a是示出本发明的实施例中的基于事件信号的移动和逆滤波器的估计的图。
[0019]
图4b是示出本发明的实施例中的基于事件信号的移动和逆滤波器的估计的另一个图。
[0020]
图4c是示出本发明的实施例中的基于事件信号的移动和逆滤波器的估计的又一个图。
[0021]
图4d是示出本发明的实施例中的基于事件信号的移动和逆滤波器的估计的再一个图。
[0022]
图5是描绘根据本发明的实施例的图像处理方法的示例的流程图。
[0023]
具体实现方式
[0024]
以下，参考附图对本发明的实施例进行描述。应当注意，在本说明书和附图中，具有基本相同功能配置的组件用相同的附图标记表示，并且本文省略它们的重复描述。
[0025]
图1是描绘根据本发明实施例的系统的常规配置的框图。如图1所描绘，系统10包括rgb(红-绿-蓝)相机100、eds(事件驱动传感器)200和图像处理装置300。
[0026]
rgb相机100是第一视觉传感器的示例，其通过同步扫描来捕获图像，并且包括图像传感器110和连接到图像传感器110的处理电路120。图像传感器110例如根据用户操作以预定周期或在预定定时通过同步地扫描所有像素来捕获rgb图像101。处理电路120将rgb图像101转换为例如适合存储或传输的格式。此外，处理电路120向rgb图像101提供时间戳102。例如，处理电路120向rgb图像101提供指示由图像传感器110进行的扫描的开始或结束中的至少任何一个的时间戳102。例如，在静止图像的情况下，从扫描的开始到结束的时间段也称为曝光时间段。
[0027]
eds 200是当传感器检测到光的强度变化时产生事件信号的第二视觉传感器的示例，并且包括配置传感器阵列的传感器210和连接到传感器210的处理电路220。每个传感器210包括光接收元件，并且当它检测到入射到其的光的强度变化(更具体地，亮度变化)时，生成事件信号201。由于没有检测到入射光的强度变化的任何传感器210都不生成事件信号
201，因此在eds200中，事件信号201是时间异步地生成的。通过处理电路220输出的事件信号201包括传感器210的识别信息(例如，像素的位置)、亮度变化的极性(增加或减少)以及时间戳202。
[0028]
这里，在本实施例中，提供给rgb图像101的时间戳102和提供给事件信号201的时间戳202彼此同步。具体地，时间戳102可以与时间戳202同步，例如，通过将用于在eds 200中生成时间戳202的时间信息提供给rgb相机100。可替代地，在用于生成时间戳102和202的时间信息在rgb相机100和eds 200之间是独立的的情况下，通过参考特定事件(例如，成像目标在整个图像上的改变)发生的时间来计算时间戳之间的偏移，时间戳102和时间戳202可以事后彼此同步。
[0029]
此外，在本实施例中，通过预先执行的rgb相机100和eds 200的校准过程，eds 200的每个传感器210与rgb图像101的一个或多个像素相关联，事件信号201是对应于在rgb图像101的一个或多个像素处的光的强度变化而生成。
[0030]
图2是示意性地示出本发明的实施例中的相机与传感器之间的校准的图。在所描绘的示例中，rgb相机100和eds 200共有的校准图案21被成像(在eds 200的情况下，通过使校准图案21的整个区域闪烁，例如，使用光源22，校准图案可以被成像)，并且从rgb相机100和eds 200的内部参数和外部参数计算相机和传感器之间的对应参数。这样，每个传感器210可以与rgb图像101的一个或多个像素相关联。例如，可以提供包括rgb相机100和eds 200的组合的成像装置，其预先执行如上所述的时间戳的同步和校准过程。
[0031]
图3是示出本发明的实施例中的图像与事件信号的匹配的示例的图。在所描绘的示例中，由rgb相机100捕获的rgb图像101和在对应于在rgb图像101的扫描的时间处从eds 200输出的事件信号201被描绘为布置在像素的位置处。如上文预先参考图2所描述的，通过计算相机和传感器之间的这种对应参数，可以如图3所描绘的将事件信号201与rgb图像101的一个或多个像素相关联，简而言之，将事件信号201叠加在rgb图像101上。
[0032]
再次参考图1，图像处理装置300包括移动估计单元310、逆滤波器生成单元320和滤波器应用单元330的功能，它们由包括例如通信接口、处理器和存储器的计算机并入并由处理器根据存储在存储器中或通过通信接口接收到的程序进行操作来实现。下面将进一步描述组件的功能。
[0033]
移动估计单元310基于提供给rgb图像101的时间戳102、事件信号201和提供给事件信号201的时间戳202来估计成像目标在rgb图像101中的移动。在rgb图像101的成像目标移动的情况下，从事件信号201中检测到出现在成像目标的边缘部分的光的强度变化，特别是亮度变化。换言之，在本实施例中，即使移动估计单元310不参考rgb图像101本身，它也可以基于事件信号201来估计rgb图像101中的成像目标的移动。移动估计单元310可以从事件信号201指示发生了亮度变化的像素的时间序列的位置变化、其中rgb图像101中发生成像目标的移动的移动区域、以及指示成像目标在rgb图像101中的移动的移动矢量来估计。
[0034]
具体地，例如，移动估计单元310基于具有时间戳202的事件信号201来估计移动，该事件信号201包括在从用于捕获rgb图像101的扫描的开始到结束的时间段内。这里，例如，从扫描的开始到结束的时间段是根据提供给rgb图像101的两个时间戳来指定的。可替代地，即使在向rgb图像101提供仅指示扫描的开始或结束中的任何一个的时间戳的情况下，如果扫描的持续时间已知，则可以指定从扫描开始到结束的时间段。如下文所述，例如，
通过应用基于在从扫描的开始到结束的时间段期间发生的成像目标的移动而生成的逆滤波器，由成像目标的移动在rgb图像101中出现的模糊的影响可以减少。
[0035]
逆滤波器生成单元320基于由移动估计单元310估计的成像目标在rgb图像101中的移动来生成逆滤波器321。这里，逆滤波器是这样的滤波器：其旨在通过使与在rgb图像101中由成像目标的移动引起的成像目标的原始图片的变化(滤波器)相反的变化(滤波器)，来使rgb图像101更接近成像目标的原始图像。滤波器应用单元330将逆滤波器321应用于rgb图像101以获得输出图像331。如下文所述，滤波器应用单元330可以应用滤波器以补偿由单独地对rgb图像应用逆滤波器321(例如，用于通过放大背景来填充空白区域)而在rgb图像101中引起的变化。
[0036]
图4a到图4d是示出本发明的实施例中的基于事件信号的移动和逆滤波器的估计的图。在所描绘的示例中，在rgb图像101中捕获了成像目标obj。如图4a所描绘的，由于成像目标obj在图像传感器110的扫描期间移动，所以rgb图像101产生模糊，并且成像目标obj的图片被拉长。另一方面，如图4b所描绘的，事件信号201指示在rgb图像101的扫描的开始之后像素组p1立即发生了事件，像素组p1逐渐移动(像素组p2、...、p
n-1
)直到在扫描即将结束之前像素组pn发生了事件。
[0037]
在这种情况下，如图4c所描绘，移动估计单元310估计rgb图像101中的移动区域r和移动矢量v。例如，移动区域r是包括像素组p1、p2、...、p
n-1
、pn的区域，在这些像素组p1、p2、...、p
n-1
、pn中，在从扫描的开始到结束的时间段内发生了事件(区域对应于由于发生模糊而被拉长的成像目标obj的图片)，并且移动矢量v是用于将与移动的起点相对应的像素组p1的每个像素移动到与移动的终点相对应的像素组pn的每个像素。如上所述，由于用于生成事件信号201的传感器210与rgb图像101的一个或多个像素相关联，因此移动估计单元310不需要参考rgb图像101本身来估计移动区域r和移动矢量v。
[0038]
在估计了如上所述的这种移动区域r和移动矢量v的情况下，逆滤波器生成单元320将它们应用于rgb图像101以生成逆滤波器321，从该逆滤波器321可以得到如图4d中描绘的这种输出图像331。在所描绘的示例中，逆滤波器321以有限的方式作用于移动区域r中的像素以消除移动矢量v。具体地，逆滤波器321将移动区域r中的像素移动矢量-kv，该矢量-kv是将移动矢量v的逆矢量-v乘以系数k获得的。系数k逐渐增大，使得例如在移动矢量v的起点(像素组p1)为0，并且在终点(像素组pn)为1。在输出图像331中，将成像目标obj的放大图片压缩为原始的尺寸，并且由成像目标obj的移动引起的模糊的影响被减少。
[0039]
在如上所述的本发明的这种实施例中，图像处理装置300的移动估计单元310从事件信号201估计rgb图像101中的成像目标的移动。由于事件信号201仅当在rgb图像101的一个或多个像素处检测光的强度变化的情况下生成，与例如将时间上连续的多个rgb图像101的像素彼此相互比较以估计运动的替代情况相比，该处理可以加速。此外，由于由逆滤波器生成单元320生成的逆滤波器321以有限的方式作用于rgb图像101的移动区域r，因此例如与在将滤波器应用于包括除了移动区域r之外的区域的整个rgb图像101的替代情况相比，可以抑制伪影的发生。
[0040]
应当注意，结合上述示例描述的系统10可以并入单个装置中，或者可以分布并实现在多个设备中。例如，由rgb相机100获取的rgb图像101和由eds 200获取的事件信号201可以与时间戳102及202一起存储到存储器中，并且作为后处理，由图像处理装置300的移动
的估计、逆滤波器321的生成以及逆滤波器321的应用可以被执行。可替代地，当获取rgb图像101和事件信号201时，由图像处理装置300的直到逆滤波器321的生成的处理可以被执行，并且逆滤波器321可以与rgb图像101一起存储。在这种情况下，当显示rgb图像101时，例如，可以根据用户的操作将逆滤波器321应用于rgb图像101以生成输出图像331。
[0041]
此外，在图4d所描绘的示例中，虽然生成用于将由于发生模糊导致的成像目标obj的拉长图片压缩到移动矢量v的起点侧的逆滤波器321，但是在另一示例中，可以生成用于将成像目标obj的图片压缩到结尾侧或移动矢量v的中间点的逆滤波器321。此外，基于事件信号201生成的逆滤波器321不限于上述的示例，并且例如，可以使用作为用于降低由成像目标的移动而发生的模糊的影响的滤波器而熟知的各种滤波器。同样在那些情况下，例如，如果移动估计单元310估计系统10的移动区域r并且逆滤波器生成单元320生成以有限方式作用于移动区域r的逆滤波器321，则例如与将滤波器应用于整个rgb图像101的替代情况相比，伪影的出现可以被抑制。
[0042]
图5是描绘根据本发明的实施例的图像处理方法的示例的流程图。在所描绘的示例中，rgb相机100捕获rgb图像101(步骤s101)，并且eds200同时生成事件信号201(步骤s102)。需要注意的是，仅在对应于rgb图像101的一个或多个像素的传感器210检测到光的强度变化的情况下，才执行其中事件信号201被生成的步骤s102。时间戳102被提供给rgb图像101(步骤s103)，并且时间戳202被提供给事件信号(步骤s104)。
[0043]
然后，图像处理装置300的处理被执行。首先，移动估计单元310基于rgb图像101的时间戳102、事件信号201和事件信号201的时间戳202来估计rgb图像101中的成像目标的移动(步骤s105)。然后，逆滤波器生成单元320基于估计的移动生成逆滤波器321(步骤s106)，并且滤波器应用单元330将逆滤波器321应用于rgb图像101(步骤s107)。通过如上所述的这样的处理，例如，可以获得输出图像331，其中减少了由成像目标的移动而出现在rgb图像101中的模糊的影响。
[0044]
尽管已经参照附图详细描述了本发明的实施例，但是本发明不限于这样的实施例。显然，在本发明所属的技术领域中具有公知常识的人可以在权利要求中描述的技术思想的范围内构想出各种改变或修改，并且认为它们自然也落入本发明的范围内。
[0045]
[参考符号列表]
[0046]
10：系统
[0047]
100：rgb相机
[0048]
101：rgb图像
[0049]
102：时间戳
[0050]
110：图像传感器
[0051]
120：处理电路
[0052]
201：事件信号
[0053]
202：时间戳
[0054]
210：传感器
[0055]
220：处理电路
[0056]
300：图像处理装置
[0057]
310：移动估计单元
[0058]
320：逆滤波器生成单元
[0059]
321：逆滤波器
[0060]
330：滤波器应用单元
[0061]
331：输出图像。