图像处理设备、图像处理方法和程序与流程

1.本发明涉及图像处理设备、图像处理方法和程序。


背景技术：

2.已知一种事件驱动型视觉传感器，在其中像素检测入射光的强度变化以在时间上异步地产生信号。与以预定周期扫描所有像素的基于帧的视觉传感器相比，特别是与诸如ccd(电荷耦合器件)或cmos(互补金属氧化物半导体)的图像传感器等相比，这种事件驱动型视觉传感器的优势在于它可以以低功耗和高速操作。例如，在ptl 1和ptl 2中列举了与这种事件驱动型视觉传感器相关的技术。
3.专利文献
4.[ptl 1]
[0005]
jp 2014-535098t
[0006]
[ptl2]
[0007]
jp 2018-085725a


技术实现要素：

[0008]
[技术问题]
[0009]
然而，关于事件驱动型视觉传感器，虽然上述优点是已知的，但是很难说已经充分地提出了将事件驱动型视觉传感器与另一设备(例如，基于帧的视觉传感器)组合使用的方法。
[0010]
鉴于此，本发明的目的在于提供一种图像处理设备、图像处理方法和程序，能够通过将事件驱动型视觉传感器和基于帧的视觉传感器组合使用来获得有利的效果。
[0011]
[问题的解决方案]
[0012]
根据本发明的一个方面，提供了一种图像处理设备，包括：区域识别部分，其基于响应于在通过同步扫描捕获的图像的一个或多个像素中的光强度的变化而生成的事件信号，在图像中识别其中物体发生第一运动的第一区域以及其中物体发生与第一运动不同的第二运动、或物体基本不运动的第二区域，以及图像处理部分，其对图像中的第一区域和第二区域执行第一区域和第二区域之间不同的图像处理。
[0013]
根据本发明的另一方面，提供了一种图像处理方法，包括：基于响应于在通过同步扫描捕获的图像的一个或多个像素中的光强度的变化而生成的事件信号，在图像中识别其中物体发生第一运动的第一区域以及其中物体发生与第一运动不同的第二运动、或物体基本不运动的第二区域的步骤，以及对图像中的第一区域和第二区域执行第一区域和第二区域之间不同的图像处理的步骤。
[0014]
根据本发明的另一方面，提供了一种程序，使计算机实现：基于响应于在通过同步扫描捕获的图像的一个或多个像素中的光强度的变化而生成的事件信号，在图像中识别其中物体发生第一运动的第一区域以及其中物体发生与第一运动不同的第二运动、或物体基
本不运动的第二区域的功能，以及对图像中的第一区域和第二区域执行第一区域和第二区域之间不同的图像处理的功能。
附图说明
[0015]
图1是示出根据本发明的实施方式的系统的示意配置的框图。
[0016]
图2是示意性地解释根据本发明的实施方式的相机与传感器之间的校准的图。
[0017]
图3是用于解释根据本发明的实施方式的图像与事件信号之间的匹配的图。
[0018]
图4是用于解释根据本发明的实施方式的区域识别和图像处理的示例的图。
[0019]
图5是用于解释根据本发明的实施方式的区域识别和图像处理的示例的图。
[0020]
图6是指示根据本发明的实施方式的图像处理方法的示例的流程图。
具体实施方式
[0021]
在下文中，将参照附图详细描述本发明的一些优选实施例。注意，在本说明书和附图中，相同的附图标记被提供给具有基本上相同的功能配置的构成元件，并且将不再重复描述。
[0022]
图1是示出本发明的实施方式的系统的示意配置的框图。如图1所示，系统10包括rgb(红-绿-蓝)相机100、eds(事件驱动传感器)200和图像处理设备300。
[0023]
rgb相机100是第一视觉传感器的示例，其通过同步扫描捕获图像，并且包括图像传感器110，以及与图像传感器110连接的处理电路120。例如，取决于用户操作，图像传感器110通过以预定周期或预定定时来同步扫描所有像素捕获rgb图像101。在本实施例中，rgb图像101包括以预定帧速率依次捕获的多帧图像，多帧图像构成运动图像。例如，处理电路120将rgb图像101转换为适合存储和传输的格式。此外，处理电路120向rgb图像101提供时间戳102。
[0024]
eds 200是当传感器检测到光强度变化时生成事件信号的第二视觉传感器的示例，并且包括构成传感器阵列的传感器210和连接到传感器210的处理电路220。每个传感器210包括光接收元件并且当检测到要入射的光强度变化时，更具体地，检测到亮度变化时生成事件信号201。由于没有检测到要入射的光强度变化的传感器210不生成事件信号201，所以事件信号201在eds 200中是在时间上异步生成的。通过处理电路220输出的事件信号201包括关于每个传感器210的识别信息(例如，像素的位置)、亮度变化的极性(更高或更低)、时间戳202。
[0025]
这里，在本实施例中，提供给rgb图像101的时间戳102和提供给事件信号201的时间戳202彼此同步。更具体地，例如，通过将用于在eds 200中生成时间戳202的时间信息提供给rgb相机100，可以使时间戳102与时间戳202同步。或者，在其中用于生成时间戳102和202的时间信息分别在rgb相机100和eds 200中彼此独立的情况下，将特定事件(例如，整个图像中的物体的变化)已经发生的时间设置为参考来计算时间戳的偏移，使得从此时间戳102和时间戳202可以彼此同步。
[0026]
此外，在本实施例中，通过提前执行的rgb相机100和eds 200的校准过程，使eds 200的传感器210对应于rgb图像101的一个或多个像素，并且事件信号201响应于一个或多个像素中的光强度的变化而生成。更具体地，如图2所示，例如，rgb相机100和eds 200捕获
彼此共同的校准图案21(在eds 200的情况中，例如，可以通过使用光源22闪烁校准图案21的整个区域来捕获校准图案)，并且通过rgb相机100和eds 200各自的内部参数和外部参数计算相机和传感器之间的对应参数，从而可以使传感器210对应于rgb图像101的一个或多个像素。
[0027]
图3是用于解释根据本发明的实施方式的图像与事件信号之间的匹配的图。在图中所示的示例中，呈现了由rgb相机100捕获的rgb图像101和其中在对应于rgb图像101的扫描时从eds 200输出的事件信号201是排列在对应像素的位置的图像。如上文参考图2所述的相机和传感器之间的对应参数是提前计算的，因此，事件信号201的坐标系被转换为如图3所示的rgb图像101的坐标系，使得可以将事件信号201叠加在rgb图像101上。
[0028]
再次参照图1，图像处理设备300例如由包括通信接口、处理器和存储器的计算机实现，并且包括区域识别部分310和图像处理部分320的功能，这些功能是由处理器根据存储在存储器中或通过通信接口接收的程序进行操作实现的。下面将更详细地描述各个部分的功能。
[0029]
区域识别部分310基于事件信号201在rgb图像101中识别物体发生第一运动的第一区域和物体发生与第一运动不同的第二运动或者物体基本上不运动的第二区域。在rgb图像101中的物体中发生运动的情况下，例如，光强度的变化，具体地，由事件信号201检测到物体的边缘部分发生亮度变化，从而即使在rgb图像101中没有识别出物体整体，也能够基于事件信号201识别物体发生了运动的区域。此外，例如，区域识别部分310还可以从由事件信号201指示的时间序列的亮度变化的位置变化来识别每个区域中的物体的运动方向。如上所述，在本实施方式中，rgb图像101包括构成运动图像的多帧图像，因此区域识别部分310可以识别多帧图像中的第一区域和第二区域。
[0030]
图像处理部分320对rgb图像101中的第一区域和第二区域的每一个执行不同的图像处理，以获得输出图像321。此时，图像处理部分320可以基于rgb图像101的时间戳102和事件信号201的时间戳202，将由区域识别部分310识别出的第一区域和第二区域与rgb图像101关联起来。尽管由图像处理部分320执行的图像处理的内容没有特别限定，例如，图像处理部分320可以仅标记rgb图像101中的第一区域，或以彼此不同的方式标记rgb中的物体发生不同运动的第一区域和第二区域。或者，图像处理部分320可以对rgb图像101中物体基本上不运动的第二区域(例如，背景区域)进行遮盖。或者，在识别出物体基本上不运动的第二区域的情况下，图像处理部分320在rgb图像101所包括的多帧图像的每一个中，使用由前和后帧图像识别出的第二区域覆盖第一区域，从而将第一区域中的运动物体隐藏起来。由图像处理部分分320对第一区域和第二区域执行在第一区域和第二区域之间不同的图像处理包括对第一区域或第二区域中的任何一个区域执行图像处理并将另一个区域原样输出。
[0031]
图4和图5是用于解释根据本发明的实施方式的区域识别和图像处理的示例的图。在图4所示的示例中，区域识别部分310从事件信号201中按时间顺序识别物体发生运动的区域r1和物体基本上不运动的区域r2。例如，区域识别部分310按时间顺序提取由事件信号201所识别的区域r1，其光流f的幅度等于或大于预定阈值，并将剩余区域设置为区域r2。
[0032]
在另一示例中，区域识别部分310可以根据由光流f所指示的运动的方向和幅度来划分所提取的区域r1，以便识别在每个区域中物体发生不同的运动的多个区域。光流f是指示物体的运动方向的信息的示例。通过识别物体的运动方向，例如，在rgb图像101中包括的
多帧图像中，可以连续地跟踪(执行跟踪)对应于区域r1的物体。
[0033]
同时，如图5所示的示例，图像处理部分320可以在rgb图像101上叠加由区域识别部分分310通过如已经参考图3解释的图像之间的匹配过程和事件信号识别的区域r1和r2。在图示的示例中，图像处理部分320对rgb图像101中物体基本上不运动的区域r2(背景区域)进行遮盖，因此，获得了在其中发生了物体的运动的区域r1被切掉的输出图像321。
[0034]
在另一示例中，图像处理部分320可以标记区域r1，而不是对区域r2进行遮盖，或者与对区域r2的遮盖一起进行。在识别出在物体发生不同运动的多个区域的情况下，图像处理部分320可以以彼此不同的方式标记多个区域。例如，在上述示例中，在每个区域中的物体的运动方向由光流f识别并且与每个区域对应的物体在包括在rgb图像101中的多帧图像中被连续地跟踪的情况下，图像处理部分320可以连续地对多帧图像中的上述区域执行遮盖处理或对上述区域执行标记处理。
[0035]
在如上所述的本发明的实施例中，图像处理设备300的区域识别部分310基于事件信号201在rgb图像101中识别在其中物体发生运动的区域。事件信号201仅在rgb图像101中的一个或多个像素中检测到光强度变化的情况下生成，因此，例如，与在时间上连续的多个rgb图像101中的每个中的像素被比较以识别在其中物体发生运动的区域的情况相比，可以更多的提高处理速度。另外，一般而言，由于eds 200可以生成事件信号201的周期比rgb相机100捕获运动图像的情况下的帧速率要短得多，如在本实施例中，例如，通过使用事件信号201，可以使图像处理以比仅通过使用运动图像中的rgb图像101来识别物体的运动的情况更高的精度跟随物体的运动。
[0036]
图6是指示本发明的实施方式的图像处理方法的示例的流程图。在图示的示例中，rgb相机100捕获rgb图像101(步骤s101)，同时，eds 200生成事件信号201(步骤s102)。注意，生成事件信号201的步骤s102仅在对应于rgb图像101的一个或多个像素的传感器210检测到光强度变化的情况下执行。rgb图像101被提供时间戳102(步骤s103)，并且事件信号被提供时间戳202(步骤s104)。
[0037]
接着，执行图像处理设备300中的处理。首先，区域识别部分310基于事件信号201，如上所述的确定rgb图像101中的第一区域和第二区域(步骤s105)。然后，图像处理部分320对在rgb图像101中识别的第一和第二区域执行不同的图像处理(步骤s106)。此时，将对其执行图像处理的rgb图像101，以及基于事件信号201识别的第一和第二区域通过使用时间戳102和202彼此关联。例如，根据上述处理，可以获得其中运动物体被剪切并且背景被遮盖的输出图像321并且输出图像321是在其中具有不同运动的物体是通过以不同的方式标记来追踪的的运动图像。
[0038]
尽管上面已经参照附图详细描述了本发明的一些实施例，但是本发明不限于这些示例。显然，本发明技术领域的普通技术人员可以在权利要求所记载的技术思想的范围内进行各种变化或修改，应当理解，这些变化和修改显然属于本发明的技术范围。
[0039]
[参考符号列表]
[0040]
10：系统
[0041]
100：rgb相机
[0042]
101：rgb图像
[0043]
102：时间戳
[0044]
110：图像传感器
[0045]
120：处理电路
[0046]
201：事件信号
[0047]
202：时间戳
[0048]
210：传感器
[0049]
220：处理电路
[0050]
300：图像处理设备
[0051]
310：区域识别部分
[0052]
320：图像处理部分
[0053]
321：输出图像