包括视觉传感器的图像处理装置及其操作方法与流程

1.一些示例实施例涉及一种包括视觉传感器的图像处理装置。


背景技术：

2.通常，图像传感器可大致分类为同步操作的图像传感器和异步操作的图像传感器。互补金属氧化物半导体(cmos)图像传感器是同步操作的图像传感器的代表性示例。诸如动态视觉传感器(dvs)的视觉传感器是异步操作的图像传感器的代表性示例。
3.动态视觉传感器(dvs)与人视网膜类似地起作用，而无需收集帧中的场景。例如，动态视觉传感器仅发送在事件发生时场景中的特定位置处的像素亮度(例如，事件)的改变。
4.动态视觉传感器的输出是与特定状态有关的事件流或包括与特定状态有关的事件流。例如，特定状态是或对应于这样的二进制值，其指示与相机阵列中的事件的位置和相关位置的紧挨在前的状态相比，相关事件的亮度是正向地还是负向地改变。


技术实现要素：

5.发明构思的各方面提供了一种通过改善在低照度下发生的事件的镜头阴影来提高图像处理装置的性能的技术。
6.一些示例实施例提供了一种图像处理装置，包括：包括多个像素的视觉传感器，多个像素中的每一个像素被配置为通过感测光强度的改变每帧生成多个事件，并且被配置为生成指示多个事件的事件发生时间的多个时间戳；以及处理器，其被配置为校正事件数据包并输出事件数据包，校正和输出基于由像素的位置确定并由照度值确定的响应时间。
7.一些示例实施例提供了一种图像处理装置，包括：包括多个像素的像素阵列，多个像素中的每一个被配置为感测光强度的改变并且生成由移动对象执行的事件；以及处理电路，其被配置为输出从像素阵列感测的光强度的改变作为照度值，启用像素阵列的至少一个像素，当发生事件时从像素接收事件值，按预设周期发出时间戳，并且基于由照度值和发生事件的像素的地址确定的响应时间来校正事件数据包。
8.一些示例实施例提供了一种图像处理装置的操作方法，包括：在像素阵列中包括的至少一个像素中生成事件，该事件基于对象的移动；基于与像素阵列中发生事件的像素位置对应的镜头阴影信息并基于发生事件时的事件发生时间的照度值来校正事件发生时间；以及输出多个事件值作为事件数据包，该输出基于经校正的时间。
9.然而，一些示例实施例的各方面不限于本文所阐述的方面。对于示例实施例所属领域的普通技术人员而言，通过参考下面给出的示例实施例的详细描述，示例实施例的以上和其它方面将变得更显而易见。
附图说明
10.通过参照附图详细描述其一些示例实施例，示例实施例的以上和其它方面和特征
122、照度检测器130、时间戳器140、控制器150、事件补偿单元200、存储器170和输入/输出接口(i/f)180。
33.行aer 121在控制器150的控制下启用(例如，激活)包括在像素阵列110中的至少一个像素，并且列aer 122输出来自启用的像素的感测值。当由于对象的移动而发生的事件时或响应于由于对象的移动而发生的事件，列aer 122可向事件补偿单元200输出发生事件的像素的地址aer。在一些示例实施例中，列aer 122可从发生事件的像素接收事件值。根据光强度的改变，事件值可以是或对应于开启事件或关闭事件。
34.照度检测器130根据从像素输出的感测值检测并输出指示光强度(即，照度值l)的改变的值。在一些示例实施例中，可以以像素为单位和/或以块(patch)为单位检测照度值l。
35.时间戳器140可按特定(或，替代地，预设)周期发出时间戳。当发生事件时，时间戳器140可向从每个像素输出的事件值发出事件值生成时的时间戳。在一些示例实施例中，事件补偿单元200可在事件值生成时间处接收时间戳并将两个信息相关，并且/或者在一些示例实施例中，事件补偿单元200可在与事件值生成时间不同的时间处接收时间戳并且稍后将两个信息相关联。
36.事件补偿单元200可基于由发生事件的像素的照度值l和/或地址确定的响应时间来校正事件数据包。其细节将在下面参照图7来描述。
37.控制器150可控制组件121、122、130、140、170、180和200的操作。替代地或附加地，数据可从存储器170加载，经受特定(或，替代地，预定)操作，并且可被输出。
38.存储器170可存储与事件补偿方案有关的信息。在一些示例实施例中，存储器170可存储镜头阴影信息和帧。
39.在一些示例实施例中，存储器170可包括一次性可编程(otp)存储器171。在一些示例实施例中，镜头阴影信息可以是或可包括关于考虑照度值、像素位置、块位置、镜头形状等中的至少一个的响应时间的信息。在一些示例实施例中，响应时间可包括针对事件发生定时的延迟时间。
40.事件补偿单元200可从otp 171加载镜头阴影信息并反映从照度检测器130接收的照度值l(lux数据)作为权重。例如，可基于照度值来选择图7所示的响应时间曲线。
41.尽管在一些示例实施例中，被示出为使得照度值被反映到镜头阴影信息的方案包括乘法器251和第一加法器252，但是发明构思不限于此。例如，替代地或附加地，在一些示例实施例中，方案可按照诸如映射表等的各种实施方式被实现。
42.在一些示例实施例中，存储器170可包括存储帧的延迟事件存储部175。在一些示例实施例中，延迟事件存储部175可存储从最早响应时间到最迟响应时间生成的多个帧中的每一个中要延迟的至少一个像素的事件值。
43.在一些示例实施例中，存储器170可包括多个非易失性存储器装置，并且非易失性存储器装置可包括例如闪速存储器和/或电阻存储器，诸如，电阻ram(reram)、相变ram(pram)等。根据一些示例实施例，存储器170可以是缓冲存储器。根据一些示例实施例，存储器170可包括高速缓存、只读存储器(rom)、可编程只读存储器(prom)、可擦除prom(eprom)、电可擦除可编程只读存储器(eeprom)、相变ram(pram)、闪速存储器、静态ram(sram)或动态ram(dram)中的至少一个。
44.输入/输出接口180可在被连接到控制器150的同时通过i2c方法连接到外部装置，或者可在被连接到事件补偿单元200的同时通过mipi方法连接到外部装置。尽管未示出，在一些示例实施例中，输入/输出接口180可生成和输出包括事件值、像素地址和时间戳的包。
45.在图像处理装置1中，在一些示例实施例中，视觉传感器100可包括像素阵列110、行aer 121、列aer 122、照度检测器130、时间戳器140和控制器150，并且处理器20可包括事件补偿单元200和存储器170。替代地或附加地，在图像处理装置1中，在一些示例实施例中，视觉传感器100可包括像素阵列110、行aer 121、列aer 122、照度检测器130、时间戳器140、控制器150、存储器170和事件补偿单元200。
46.图3是示出图1所示的视觉传感器的示例配置的框图。图4是示出图2所示的像素阵列的示例配置的框图，图5和图6是示出图4所示的像素的示例配置的电路图。
47.参照图3，视觉传感器100可包括像素阵列111和事件检测电路120。事件检测电路120可被配置为处理由像素阵列111检测的光强度增大或减小的事件。例如，事件检测电路120可包括诸如地址事件表示(aer)、采样器、分包器和/或扫描器的各种组件中的至少一个。
48.像素阵列111可包括按照沿着“m”数量的行和“n”数量的列的矩阵形状布置的多个dvs像素px。“m”可等于“n”，可大于“n”，或者可小于“n”。像素阵列111可按矩形(例如，正方形)阵列布置；然而，示例实施例不限于此，像素阵列111可按照诸如六边形的另一图案阵列布置。像素阵列111可包括被配置为检测光强度增大或减小的事件的多个像素。例如，像素中的每一个可通过列方向上的列线(例如，位线)和行方向上的行线(例如，字线)连接到事件检测电路120。指示像素处发生事件的信号可通过例如列线被发送到事件检测电路120。每个像素处发生的事件的极性信息(例如，指示事件是光强度增大的开启事件还是光强度减小的关闭事件的信息)可通过例如列线被发送到事件检测电路120。
49.事件检测电路120可被配置为处理发生的事件。例如，事件检测电路120可生成包括关于事件发生时间的信息的时间戳。例如，事件检测电路120可向发生事件的像素发送重置信号rst以重置像素。
50.在一些示例实施例中，从包括在像素阵列110中的所有像素输出的多个事件值可构成一帧。例如，帧可包括所有像素的事件值。替代地，在一些示例实施例中，帧可包括一些像素而非所有像素的多个事件值。
51.根据这些示例组件，像素阵列111中发生的事件可以以像素为单位、以包括多个像素的像素组为单位、以列为单位和/或以帧为单位被处理。然而，示例实施例仅示出由像素阵列111检测的事件可按各种方式被处理，通篇描述的技术精神不限于这些组件。
52.参照图4，像素阵列110包括按m
×
n阵列(m和n是大于或等于1的自然数)布置的多个动态视觉传感器(dvs)像素px，并且检测光强度的改变并输出多个事件帧。
53.在一些示例实施例中，像素阵列110可包括多个块。在一些示例实施例中，块c也可称为集群、窗口、组等。
54.块c可包括多个dvs像素。在一些示例实施例中，块c可以是或对应于k
×
l像素阵列，并且k和l可分别是大于或等于0且小于m和n的整数。尽管块c被示出为矩形，但示例实施例不限于此。例如，块c可具有矩形以外的形状。
55.例如，像素阵列110可包括或被分为多个块，并且块中的每一个可包括多个像素。
在一些示例实施例中，事件检测电路120可以以像素为单位被驱动，和/或在一些示例实施例中，事件检测电路120可以以块为单位被驱动。
56.图5是示出dvs像素的示例配置的电路图。
57.参照图5，dvs像素300包括光感受器310和dvs像素后端电路320。
58.光感受器310可包括对数放大器la和反馈晶体管fb。在一些示例实施例中，光感受器310可包括光电转换装置psd；然而，示例实施例不限于此。例如，在一些示例实施例中，光感受器310可不包括光电转换装置psd。对数放大器la放大与由像素的至少一个光电转换装置psd生成的光电流对应的电压。可输出对数比例的对数电压vlog。反馈晶体管fb可将光感受器310与dvs像素后端电路320分离。
59.dvs像素后端电路320可对对数电压vlog执行各种处理。在一些示例实施例中，dvs像素后端电路320可放大对数电压vlog，可通过将放大后的电压与可变或预设参考电压进行比较来确定入射在光电转换装置psd上的光强度增大还是减小，并且可输出与确定的值对应的事件信号(即，开启事件或关闭事件)。在dvs像素后端电路320输出开启事件或关闭事件之后，dvs像素后端电路320可通过重置信号rst被重置。光电转换元件psd可以是光电二极管；然而，示例实施例不限于此。此外，反馈晶体管fb可以是单个nmos晶体管；然而，示例实施例不限于此。
60.图6示出图5的dvs像素后端电路的示例配置。dvs像素后端电路320可包括微分器321、比较器322和读出电路323。
61.微分器321可被配置为放大电压vlog以生成电压vdiff。在一些示例实施例中，微分器321可包括电容器c1和c2、差分放大器da以及通过重置信号rst驱动的开关sw。例如，电容器c1和c2可存储由至少一个光电转换装置psd生成的电能。例如，可在考虑一个像素中可连续发生的两个事件之间的最短时间(例如，不应期)的同时适当地选择电容器c1和c2的电容。当开关sw通过重置信号rst被接通时，像素可被初始化。可从行aer 121(参见例如图2)接收重置信号rst。
62.比较器322可比较差分放大器da的输出电压vdiff的电平和参考电压vref的电平以确定像素中检测到的事件是开启事件还是关闭事件。当检测到光强度增大的事件时，比较器322可输出指示开启事件的信号(on)。当检测到光强度减小的事件时，比较器322可输出指示关闭事件的信号(off)。
63.读出电路323可发送关于像素处发生的事件的信息。从读出电路323输出的关于事件的信息可以是或包括关于发生的事件是开启事件还是关闭事件的信息(例如，比特)。该信息可被称为从读出电路323输出的关于事件的极性信息pol(参见图3)。极性信息可被发送到行aer 121(参见图2)。
64.此外，一些示例实施例中示出的像素配置是示例，一些示例实施例还被应用于被配置为检测光强度的改变并确定事件的类型的各种配置的dvs像素。
65.图7是用于说明图2所示的像素阵列的镜头阴影的概念图。
66.参照图7，由镜头的轮廓(例如，曲线)确定的视觉传感器100的感测灵敏度根据光强度(例如，照度)而变化。图7所示的轮廓或曲线指示生成包括在一帧中的多个事件值的定时。尽管图7示出对称轮廓，但示例实施例不限于此。例如，视觉传感器100的感测灵敏度的轮廓可不关于像素阵列110的中心对称。
67.帧可由事件检测电路120生成。在一些示例实施例中，帧可包括事件的极性信息pol、发生事件的像素位置aer以及事件发生时间的时间戳。在一些示例实施例中，帧可以是或对应于或包括事件数据包。
68.在高照度(lux亮)的情况下，当发生事件时，感测灵敏度不受像素位置显著影响。例如，在镜头的中心与镜头的边缘之间响应时间的差(t11-t13)较小。此时，响应时间可以是包括在一帧中的多个像素中的每一个处的事件发生时间之间的间隔。例如，响应时间可以是或对应于第一事件的一帧中具有最早事件发生时间的第一像素的第一时间与包括在同一帧中的不同于第一像素的第二像素的第二时间之间的第一事件发生时间的差。
69.然而，随着照度从高照度改变为低照度(lux暗)或在高照度至低照度之间不同，由镜头的轮廓或曲线确定的感测灵敏度(即，镜头阴影)增加。具体地，当在低照度下发生事件时，在时间t1处感测位于镜头中心的像素，但是更靠近镜头边缘(边缘1和边缘2)的像素需要更长的响应时间t2和t3来感测事件(t1-t3)的发生。这是或可称为镜头阴影现象。
70.因此，可实现在考虑帧中的光强度(例如，照度值)和像素的位置的同时补偿镜头阴影效应。
71.图8是示出图2所示的事件补偿单元的配置的框图。图9是用于说明图8的事件补偿单元的操作的概念图。
72.参照图8，事件补偿单元200可包括乘法器251、第一加法器252、位置相关校正器210和第二加法器270。
73.事件补偿单元200可通过第一事件的一帧中第二像素发生第一事件的第二时间与具有最早的第一事件发生时间的第一像素的第一时间之间的差来校正第二像素的第二时间。
74.存储器170可存储关于事件补偿方案的信息。在一个实施方式中，存储器170可存储镜头阴影信息。
75.在一些示例实施例中，存储器170可以是或可包括一次性可编程(otp)存储器171。在一些示例实施例中，镜头阴影信息可以是关于考虑照度值、像素位置、块位置、镜头形状等的响应时间的信息。在一个示例中，响应时间可包括针对事件发生定时的调节时间。
76.事件补偿单元200可从otp 171加载镜头阴影信息并且反映从照度检测器130接收的照度值l(lux数据)作为权重。例如，可基于照度值选择图7所示的响应时间曲线。
77.尽管在一些示例实施例中示出的照度值被反映到镜头阴影信息的方案包括乘法器251和第一加法器252，但示例实施例不限于此。例如，替代地或附加地，在一些示例实施例中，方案可按照诸如映射表等的各种实施方式被实现。
78.位置相关校正器210可根据基于照度值应用了权重的镜头阴影信息来输出与发生事件的像素的位置(例如，由行地址和/或列地址确定的位置)和事件值对应的至少一个调节时间。像素的位置可基于像素阵列110的中心和像素的行地址和/或列地址(例如，根据欧几里得(eucl idean)距离和/或曼哈顿(manhattan)距离)确定；然而，示例实施例不限于此。
79.第二加法器270可输出通过将从位置相关校正器210输出的调节时间应用于像素处发生事件时的时间戳而获得的校正时间戳。
80.参照图9，在帧1中，具有相同时间戳的像素根据响应时间由不同形状指示。可在比
事件发生时间t0晚的响应时间t1处感测位于像素阵列110的中心或附近的像素(圆圈)，并且可生成事件值。可在比事件发生时间t0晚的响应时间t2处感测位于像素阵列110的中间部分或附近的像素(三角形)，并且可生成事件值。可在比事件发生时间t0晚的响应时间t3处感测位于像素阵列110的边缘或附近的像素(正方形)，并且可生成事件值。响应时间从时间t0按t1、t2和t3的顺序增加。例如，假设t0为0，响应时间t2的绝对值可大于响应时间t1的绝对值，并且响应时间t3的绝对值可大于响应时间t2的绝对值。
81.事件补偿单元200可基于第一时间t1来调节t2和t3的时间戳，第一时间t1是从事件发生开始最早的响应时间。例如，可应用第一调节时间以将t2提前到t1并且可应用第二调节时间以将t3提前到t1。如图7和图8所示，可基于像素的位置和照度值从镜头阴影信息输出第一调节时间和第二调节时间中的每一个。
82.图10是示出图2所示的事件补偿单元的配置的框图。图11是用于说明图10的事件补偿单元的操作的概念图。
83.返回参照图8，事件补偿单元200可包括乘法器251、第一加法器252和延迟时间校正单元230。
84.存储器170可存储关于事件补偿方案的信息。在一些示例实施例中，存储器170可存储镜头阴影信息和帧。
85.在一些示例实施例中，存储器170可包括一次性可编程(otp)存储器171。在一些示例实施例中，镜头阴影信息可以是或包括关于考虑照度值、像素位置、块位置、镜头形状等的响应时间的信息。在一些示例实施例中，响应时间可包括针对事件发生定时的延迟时间。
86.事件补偿单元200可从otp 171加载镜头阴影信息并且反映从照度检测器130接收的照度值l(lux数据)作为权重。例如，可基于照度值选择图7所示的响应时间曲线。权重可以是或对应于涉及或有助于确定事件的补偿量的数(例如，实数)。
87.尽管在一些示例实施例中示出照度值被反映到镜头阴影信息的方案并且方案包括乘法器251和第一加法器252，但示例实施例不限于此。例如，替代地或附加地，在一些示例实施例中，方案可利用映射表等实现。
88.在一些示例实施例中，存储器170可包括存储帧的延迟事件存储部175。在一些示例实施例中，延迟事件存储部175可存储从最早响应时间到最迟响应时间生成的多个帧中的每一个中的要延迟的至少一个像素的事件值。
89.延迟时间校正单元230可基于应用了权重的镜头阴影信息并基于照度值来提取与像素的位置对应的至少一个延迟时间，并且可在延迟时间逝去之后输出通过将存储在延迟事件存储部175中的多个帧交叠而获得的校正事件数据和校正帧计数器。
90.现在参照图11，当在t0处发生事件时，在作为最早响应时间的时间t1的帧1中，仅在位于像素阵列110的中心或附近的像素(圆圈)处生成事件值。然后，当在时间t0处发生事件时，在时间t2的第n帧中，在位于像素阵列110的中心或附近的像素以及位于像素阵列110的中心和边缘之间的中间部分或附近的像素(三角形)处生成事件值。然后，当在时间t0处发生事件时，在时间t3的第m帧中，在位于像素阵列110的中心或附近的像素、位于像素阵列110的中间部分或附近的像素以及位于像素阵列110的边缘或附近的像素(正方形)处生成事件值。
91.例如，包括在时间t3的第m帧中的圆形的事件值可以是在时间t3处生成的新事件
值，并且可不是在时间t1处生成的事件值。此外，包括在时间t3的第m帧中的三角形事件值可以是在时间t3处生成的新事件值，并且可不是在时间t2处生成的事件值。
92.例如，在这种情况下，对于在时间t0处发生的事件，事件值可根据像素位置分布并包括在多个帧中。因此，事件补偿单元200可等待直至在具有最长响应时间的像素处生成事件值位置，然后可在一帧中输出所有生成的事件值。
93.例如，延迟事件存储部175可存储在t1和t3之间生成的多个帧中的延迟的事件值(所示示例中的圆圈和三角形)。当在t3处在正方形的像素处生成事件值时，延迟事件存储部175可在时间t3的一帧中输出所有生成的事件值。
94.因此，事件补偿单元200可将第一延迟时间添加到与圆形的事件值对应的时间信息并且输出圆形的事件值作为校正时间信息。事件补偿单元200可将第二延迟时间添加到与三角形的事件值对应的时间信息并且输出圆形的事件值作为校正时间信息。此时，时间信息在一个实施方式中可以是时间戳，或者在另一实施方式中可以是帧计数值。如图7和图10所示，可基于像素的位置并且基于照度值从镜头阴影信息输出第一延迟时间和第二延迟时间中的每一个。因此，可改进或减少或消除镜头阴影效应。
95.图12是示出应用了图1的图像处理装置的电子装置的框图。
96.例如，电子装置1000可被实现为智能电话、平板计算机、台式计算机、膝上型计算机和可穿戴装置。替代地或附加地，电子装置1000可被实现为操作无人安全系统、物联网和自主车辆所需的各种电子装置中的至少一个。
97.电子装置1000可包括图像处理装置1100、主处理器1200、工作存储器1300、存储部1400、显示器1500、通信块1600和用户接口1700。
98.图像处理装置1100可以是被实现为执行参照图1至图11描述的方案的图像处理装置。
99.此外，事件补偿方案也可作为软件和/或固件由主处理器1200而非处理器1120执行。因此，作为用于实现通过响应时间补偿事件发生时间的方案的固件或软件的事件补偿单元200可被加载在工作存储器1300上并由主处理器1200驱动。因此，由于事件补偿方案由主处理器1200驱动/处理，所以可省略处理器1120。
100.工作存储器1300可存储用于电子装置1000的操作的数据。例如，工作存储器1300可暂时存储由处理器1120处理的包或帧。例如，工作存储器1300可包括诸如动态ram(dram)、同步ram(sdram)等的易失性存储器和/或诸如相变ram(pram)、磁阻ram(mram)、铁电ram(fram)等的非易失性存储器中的至少一个。
101.存储部1400可存储用于执行事件补偿方案的固件和软件。用于执行事件补偿方案的固件或软件可响应于来自主处理器1200的请求或命令从存储部1400读取并加载在工作存储器1300上。存储部1400可包括诸如闪速存储器、pram、mram、reram、fram等的非易失性存储器。
102.显示器1500可包括显示面板和显示串行接口(dsi)外围电路。例如，显示面板可被实现为诸如液晶显示器(lcd)装置、发光二极管(led)显示装置、有机led(oled)显示装置、有源矩阵oled(amoled)显示装置等的各种装置。嵌入在主处理器1200中的dsi主机可通过dsi与显示面板执行串行通信。dsi外围电路可包括驱动显示面板所需的定时控制器、源极驱动器等。
103.通信块1600可通过天线与外部装置/系统交换信号。通信块1600的收发器1610和调制器/解调器(modem)1620可基于诸如长期演进(lte)、全球微波接入互操作性(wimax)、全球移动通信系统(gsm)、码分多址(cdma)、蓝牙、近场通信(nfc)、无线保真(wi-fi)、射频识别(rfid)等中的至少一种的无线通信协议来处理与外部装置/系统交换的信号。
104.用户接口1700可包括诸如键盘、鼠标、键区、按钮、触摸面板、触摸屏、触摸板、触摸球、陀螺仪传感器、振动传感器、加速度传感器等的输入接口中的至少一种。
105.电子装置1000的组件可基于各种接口协议中的一种或更多种(诸如，通用串行总线(usb)、小型计算机系统接口(scis)、高速外围组件互连(pcie)、移动pcie(m-pcie)、高级技术附件(ata)、并行ata(pata)、串行ata(sata)、串行附接scsi(sas)、集成驱动电子设备(ide)、增强ide(eide)、高速非易失性存储器(nvme)、通用闪存(ufs)等中的至少一种)来交换数据。
106.上面所公开的任何或所有元件可包括或实现于诸如包括逻辑电路的硬件的处理电路；诸如执行软件的处理器的硬件/软件组合；或其组合。例如，更具体地，处理电路可包括(但不限于)中央处理单元(cpu)、算术逻辑单元(alu)、数字信号处理器、微型计算机、现场可编程门阵列(fpga)、片上系统(soc)、可编程逻辑单元、微处理器、专用集成电路(asic)等。
107.总结详细描述，本领域普通技术人员将理解，在基本上不脱离一些示例实施例的原理的情况下，可对一些示例实施例进行许多变化和修改。因此，示例实施例仅在一般性和描述性意义上使用，而非为了限制的目的。