补偿动态视觉传感器的时间延迟的电子装置的制作方法

补偿动态视觉传感器的时间延迟的电子装置
1.相关申请的交叉引用
2.本技术要求于2021年7月29日向韩国知识产权局提交的韩国专利申请no.10-2021-0099717的优先权，该韩国专利申请的公开内容通过引用整体地并入本文。
技术领域
3.本文描述的本公开的实施例涉及一种用于补偿动态视觉传感器的时间延迟的电子装置，并且更具体地，涉及一种用于补偿动态视觉传感器的事件发生时间延迟的电子装置。


背景技术：

4.随着半导体技术发展，传感器正在多样化。传感器包括电荷耦合器件(ccd)图像传感器、动态视觉传感器(dvs)、环境光传感器(als)、接近传感器(ps)和/或类似物。
5.电子装置可以通过使用传感器对来自外部的输入做出响应。来自外部的输入可以包括光的强度变化、用户的触摸和/或类似物。当从外部接收到输入时，传感器可以输出电信号。电子装置可以基于电信号识别存在于外部的对象的运动或周围环境的变化。
6.例如，当动态视觉传感器感测光的强度变化时，动态视觉传感器感测光的强度变化的时间可以取决于周围环境而变化。因此，动态视觉传感器的事件信号中包括的时间数据可以与实际事件发生时间不同。这可能导致使用动态视觉传感器的电子装置的性能降低。另外，在与动态视觉传感器不同的传感器与动态视觉传感器一起被实现的电子装置的情况下，可能未实现不同的传感器之间的同步。


技术实现要素：

7.本公开的实施例提供一种用于补偿由于照度或照度变化而导致的动态视觉传感器的反应时间延迟的电子装置。
8.根据示例实施例，一种电子装置包括：动态视觉传感器，所述动态视觉传感器包括感测光强度变化的第一像素，并且基于所感测到的光强度变化生成事件信号；照度估计器，所述照度估计器估计光的照度；以及时间延迟补偿器，所述时间延迟补偿器基于所述光的照度计算发生所述光强度变化的第一时间与所述第一像素感测到所述光强度变化的第二时间之间的时间延迟，并且补偿所述时间延迟。
9.根据示例实施例，一种电子装置包括：动态视觉传感器，所述动态视觉传感器包括感测光强度变化的第一像素，并且基于所感测到的光强度变化生成第一事件信号；图像处理装置，所述图像处理装置包括基于光的强度生成第一图像数据的互补金属氧化物半导体(cmos)图像传感器；照度计算器，所述照度计算器基于所述第一图像数据计算光的照度和光照度变化中的至少一者；以及时间延迟补偿器，所述时间延迟补偿器基于所述光的照度和所述光照度变化中的至少一者计算发生所述光强度变化的第一时间与所述第一像素感测到所述光强度变化的第二时间之间的时间延迟，并且生成所述时间延迟被补偿的第二事
件信号。所述cmos图像传感器包括第二像素。
10.根据示例实施例，一种电子装置包括：相机模块组，所述相机模块组包括多个相机模块，每个相机模块基于从对象反射的光生成电信号；以及应用处理器，所述应用处理器处理所述电信号。所述多个相机模块中的第一相机模块利用动态视觉传感器来实现，并且所述多个相机模块中的第二相机模块利用图像传感器来实现，所述第一相机模块基于光强度变化生成事件信号，所述第二相机模块以帧为单位生成图像数据。所述应用处理器基于所述图像数据估计光的照度和光照度变化中的至少一者，并且基于所述光的照度和所述光照度变化中的至少一者补偿发生所述光强度变化的第一时间与所述第一相机模块感测到所述光强度变化的第二时间之间的时间延迟。
11.根据示例实施例，一种电子装置的操作方法包括：感测光强度变化以生成事件信号；估计照度或照度变化；以及基于所估计的照度或所估计的照度变化补偿所述事件信号的时间延迟。
附图说明
12.通过参考附图详细地描述本公开的示例实施例，本公开的上述及其他目的和特征将变得明显。
13.图1是图示根据本公开的示例实施例的电子装置的配置图。
14.图2a是图示动态视觉传感器依据像素照度发生时间延迟的曲线图。
15.图2b是图示动态视觉传感器依据像素照度变化发生时间延迟的曲线图。
16.图3是用于描述根据本公开的示例实施例的补偿在动态视觉传感器中发生的时间延迟的方法的概念图。
17.图4是更详细地图示图1的动态视觉传感器100的配置的配置图。
18.图5是图示图4的像素px的配置的电路图。
19.图6是更详细地图示图4的像素px的配置的电路图。
20.图7是更详细地图示图1的照度估计器200的配置的配置图。
21.图8是用于描述根据本公开的示例实施例的照度计算器的照度计算方法的配置图。
22.图9是图示根据本公开的示例实施例的执行运动模糊消除(motion deblur)的电子装置的配置图。
23.图10是图示根据本公开的其他示例实施例的执行运动模糊消除的电子装置的配置图。
24.图11图示根据本公开的示例实施例的原始图像数据。
25.图12a图示根据本公开的示例实施例的通过使用原始事件信号对其执行运动模糊消除的图像数据。
26.图12b图示根据本公开的示例实施例的通过使用补偿事件信号对其执行运动模糊消除的图像数据。
27.图13是图示根据本公开的示例实施例的执行同时定位与制图(slam)的电子装置的配置图。
28.图14图示包括实现本公开的动态视觉传感器的相机模块的电子装置的配置。
29.图15是图示根据本公开的示例实施例的电子装置的操作方法的流程图。
30.图16是图示根据本公开的示例实施例的执行运动模糊消除的电子装置的操作方法的流程图。
具体实施方式
31.在下面，将详细地且清楚地描述本公开的示例实施例，使得本领域的技术人员容易地实施本公开。
32.在详细描述中，参考术语“单元”、“模块”、“块”、“～者或～器”等描述的组件以及附图中图示的功能块将利用软件、硬件或它们的组合来实现。例如，软件可以是机器代码、固件、嵌入式代码和应用软件。例如，硬件可以包括电路、电子电路、处理器、计算机、集成电路、集成电路核、压力传感器、惯性传感器、微机电系统(mems)、无源元件或它们的组合。
33.图1是图示根据本公开的示例实施例的电子装置10的配置图。电子装置10可以包括动态视觉传感器100、照度估计器200和/或时间延迟补偿器300。电子装置10可以实现为诸如以下的各种电子装置的一部分：台式计算机、膝上型计算机、平板、智能电话、可穿戴装置、智能扬声器、家庭安全物联网(iot)、视频游戏机、工作站、服务器和自主车辆。电子装置10可以补偿由照度或照度变化引起的动态视觉传感器100的事件发生时间数据的时间延迟。
34.动态视觉传感器100可以感测光强度变化。例如，动态视觉传感器100可以检测光的强度增加的事件(在下文中称为“接通事件(on-event)”)和/或光的强度减小的事件(在下文中称为“关闭事件(off-event)”)。当感测到超过事件阈值的光强度变化时，动态视觉传感器100可以生成信号。动态视觉传感器100可以生成事件信号es作为处理所生成的信号的结果。根据本公开的示例实施例，动态视觉传感器100可以包括多个像素。例如，事件信号es可以包括：指示发生事件的像素的位置的值、包括关于接通事件或关闭事件的信息的极性值(polarity value)、以及指示动态视觉传感器100感测到光强度变化的时间的时间戳值(例如，时间数据)和/或类似物。将参考图4详细地描述动态视觉传感器100的配置和操作。
35.照度估计器200可以估计入射光的照度。例如，照度估计器200可以以像素为单位感测从外部光源入射的光，并且可以估计所感测到的光的照度。另外，照度估计器200可以在多个时间基于光的照度计算光的照度变化。照度估计器200可以基于所估计的光的照度值生成照度信息id。例如，照度信息id可以包括指示光的照度或光的照度变化的值，该值对应于由动态视觉传感器100生成的事件信号es。例如，照度估计器200可以利用测量照度的传感器(例如，光电阻器)来实现。然而，本公开不限于此。例如，照度估计器200可以利用直接测量照度或者间接估计照度的任何装置来实现。
36.根据本公开的示例实施例，照度估计器200可以利用互补金属氧化物半导体(cmos)图像传感器(在下文中称为“cis”)来实现。cis可以包括多个像素。cis的像素可以对应于动态视觉传感器100的像素。例如，当cis的像素的纵横比(aspect ratio)与动态视觉传感器100的像素的纵横比相同并且cis的分辨率与动态视觉传感器100的分辨率相同时，cis的像素可以分别对应于动态视觉传感器100的像素(例如，比率为1:1)。相比之下，当cis的像素的纵横比与动态视觉传感器100的像素的纵横比不同并且cis的分辨率与动态视觉
传感器100的分辨率不同时，cis的像素的数目可以与动态视觉传感器100的像素的数目不同(例如，比率为“1:n”或“n:1”(n是2或更大的整数))。例如，动态视觉传感器100可以包括第一像素和第二像素，并且cis可以包括第三像素和第四像素。在一些示例实施例中，第一像素可以对应于第三像素，而第二像素可以对应于第四像素。在一些示例实施例中，照度估计器200可以基于与动态视觉传感器100的像素相对应的cis的像素的照度值，生成与动态视觉传感器100的每个像素相对应的照度信息id。将参考图7详细地描述利用cis实现照度估计器200的示例实施例的配置和操作。
37.时间延迟补偿器300可以基于照度信息id计算包括在事件信号es中的时间数据(例如，时间戳值)的时间延迟，并且可以补偿该时间延迟。例如，事件信号es可以包括像素位置值、极性值和时间戳值。这里，与时间戳值相对应的时间可以是动态视觉传感器100感测到光强度变化的时间。动态视觉传感器100感测到光强度变化的时间可以与实际地发生光强度变化的时间(例如，实际事件发生时间)不同。因此，在动态视觉传感器100感测到光强度变化的时间与实际地发生光强度变化的时间之间会存在时间延迟。
38.随着入射到动态视觉传感器100上的光的照度减小，延迟时间(例如，时间延迟的程度)可以增加。当高照度的光入射到动态视觉传感器100上时，动态视觉传感器100可以立即或充分地对光强度变化做出反应。在一些示例实施例中，时间延迟可以是轻微的(可忽视的或可忽略的)。相比之下，当低照度(例如，小于5lux)的光入射到动态视觉传感器100上时，动态视觉传感器100可能无法立即或无法充分地对光强度变化做出反应。在一些示例实施例中，动态视觉传感器100的性能可能由于延迟时间(例如，10ms或更多)而降低。另外，随着入射到动态视觉传感器100上的光的照度变化变得更小，延迟时间可以增加。将参考图2a和图2b详细地描述根据光的照度或照度变化的延迟时间。
39.时间延迟补偿器300可以基于照度信息id计算事件信号es中包括的时间数据的时间延迟，并且可以基于所计算的时间延迟来调整所接收到的事件信号es中包括的时间戳值。时间延迟补偿器300可以生成应用了经调整的时间戳值的补偿事件信号es’。将参考图3详细地描述时间延迟补偿器300如何调整时间戳值。
40.根据本公开的示例实施例，当所计算的时间延迟小于任意或给定或预定或期望的参考水平时，时间延迟补偿器300可以不调整时间戳值。在示例实施例中，当延迟时间小于10ms时，动态视觉传感器100的性能的降低可以是轻微的(可忽视的或可忽略的)，因此，时间延迟补偿器300可以不调整时间戳值。在一些示例实施例中，时间延迟补偿器300生成的补偿事件信号es’可以与事件信号es相同。
41.根据本公开的示例实施例，与图1中图示的示例不同，可以在动态视觉传感器100中实现照度估计器200和时间延迟补偿器300的功能中的至少一些功能。例如，照度估计器200和时间延迟补偿器300的功能可以利用硬件、软件和/或它们的组合来实现以便被包括在动态视觉传感器100中。在一些示例实施例中，动态视觉传感器100可以通过使事件信号中包括的时间数据(例如，时间戳值)与实际事件发生时间同步，来生成事件信号es。
42.图2a是图示动态视觉传感器依据像素照度发生延迟时间的曲线图。参考图1和图2a，与时间戳值相对应的时间和实际事件发生时间之间的差(即，时间延迟)可以依据入射到动态视觉传感器100的像素上的光的照度(在下文中称为“像素照度”)而发生。根据像素照度的时间延迟可以依据动态视觉传感器100的特性、光的照度变化和/或事件阈值而变
化。图2a中图示的曲线图示出了动态视觉传感器100的特定时间延迟作为示例，但是本公开不限于此。
43.参考图2a，x轴可以对应于像素照度，y轴可以对应于延迟时间。假定像素照度变化被固定为事件阈值的两倍，以减少或防止延迟时间根据像素照度变化而变化。这里，像素照度变化可以是在动态视觉传感器100的单位事件感测周期期间感测的像素照度变化的对数值，其遵循以下等式1的关系。事件可以分类为接通事件或关闭事件。因为接通事件曲线图的形成类似于关闭事件曲线图的形成，所以为了描述的方便，将参考接通事件给出描述。当像素照度超过特定水平(例如，约500lux)时，因为像素照度超过动态视觉传感器100的输入上限，所以时间延迟可以是均匀的。当像素照度小于或等于动态视觉传感器100的输入上限时，时间延迟可以随着像素照度增加而减小。
44.图2b是图示动态视觉传感器依据像素照度变化发生时间延迟的曲线图。将省略参考图2a给出的描述以避免冗余。作为示例，假定像素照度是3lux并且事件阈值是15％。参考图1和图2b，x轴可以对应于“像素照度变化*100”，y轴可以对应于延迟时间。随着像素照度变化减小，延迟时间可以增加；随着像素照度变化增加，延迟时间可以减小。根据像素照度变化的延迟时间可以依据动态视觉传感器100的特性、像素照度和/或事件阈值而变化。像素照度变化可以遵循以下等式1的关系。
45.[等式1]
[0046][0047]
参考等式1，“t”被定义为动态视觉传感器100感测到事件时的时间。因此，当t1是当前时间时，t2可以被定义为下一时间，并且(t2–
t1)可以是动态视觉传感器100的任意或给定或预定或期望的单位事件感测周期。在等式1中，“i”被定义为在感测时间感测到的像素照度。因此，i(t1)被定义为在当前时间感测到的像素照度，并且i(t2)被定义为在下一时间感测到的像素照度。因此，像素照度变化是在单位事件感测周期期间感测到的像素照度的对数值。
[0048]
图3是用于描述根据本公开的示例实施例的补偿在动态视觉传感器中发生的时间延迟的方法的概念图。参考图1和图3，x轴和y轴可以对应于发生事件的动态视觉传感器100的像素的位置值。t轴可以对应于发生事件的时间。“p”值可以对应于动态视觉传感器100的极性值。例如，当发生事件的像素的位置值是(x1,y1)时，实际事件发生时间可以是t0。然而，由于像素照度和/或像素照度变化，与事件信号es中包括的时间戳值相对应的时间(例如，t1)可能相对于作为实际事件发生时间的t0延迟。可以在动态视觉传感器100中发生与(t1-t0)一样多的时间延迟。因此，时间延迟补偿器300可以通过在t1补偿(t1-t0)的时间延迟，将时间戳值调整为与t0相对应的值。
[0049]
图4是更详细地图示图1的动态视觉传感器100的配置的配置图。动态视觉传感器100可以包括dvs像素阵列110、地址事件表示(aer)控制器120、和/或输入/输出(i/o)电路130。
[0050]
dvs像素阵列110可以包括以矩阵的形式沿着多个行和多个列布置的多个像素。来自dvs像素阵列110的多个像素当中的感测到事件的像素px可以生成指示发生光的强度增加或减小的事件的列请求reqx。将参考图5和图6详细地描述像素px的配置和操作。
[0051]
aer控制器120可以包括列aer电路121、行aer电路122和/或时间戳器123。aer控制器120可以控制感测事件的像素px。aer控制器120可以基于从像素px接收到的多个信号reqx、reqon和reqoff来生成时间戳ts、极性信息pi和像素地址addr。aer控制器120可以以数字信号的形式生成时间戳ts、包括与接通事件请求reqon和/或关闭事件请求reqoff相对应的极性值的极性信息pi、以及包括与像素位置值相对应的列地址和行地址的像素地址addr。
[0052]
列aer电路121可以从像素px接收列请求reqx。列aer电路121可以响应于所接收到的列请求reqx，向像素px发送列响应信号ackx。接收到列响应信号ackx的像素px可以向行aer电路122发送接通事件请求reqon和/或关闭事件请求reqoff。列aer电路121可以基于从感测到事件的像素px接收到的列请求reqx来生成感测到事件的像素px的列地址，并且该列地址可以构成地址addr的一部分。
[0053]
行aer电路122可以从像素px接收接通事件请求reqon和/或关闭事件请求reqoff。行aer电路122可以响应于接通事件请求reqon和/或关闭事件请求reqoff，发送行响应信号acky。像素px可以响应于列响应信号ackx和行响应信号acky，生成重置信号。重置信号可以重置发生事件的像素px。行aer电路122可以基于从像素px接收到的接通事件请求reqon和/或关闭事件请求reqoff来生成感测到事件的像素px的行地址，并且该行地址可以构成地址addr的一部分。
[0054]
列aer电路121和行aer电路122的操作不限于以上给出的描述。与图4中图示的示例不同，列aer电路121和行aer电路122的操作可以互换。因此，在一些示例实施例中，列aer电路121可以从像素px接收接通事件请求reqon和/或关闭事件请求reqoff。
[0055]
时间戳器123可以生成包括关于发生事件的时间的信息的时间戳ts。例如，可以通过使用以几微秒至几十微秒为单位生成的时钟节拍(timetick)来实现时间戳器123。然而，生成时钟节拍的以上单位是示例，并且时钟节拍可以依据制造商的设置或用户的请求而变化。根据本公开的示例实施例，像素px可能无法立即或无法充分地对事件发生做出反应，从而引起时间延迟。因此，可以在实际事件发生时间与对应于时间戳ts的事件发生时间之间发生时间延迟。
[0056]
输入/输出电路130可以基于时间戳ts、像素地址addr和极性信息pi来生成事件信号es。输入/输出电路130可以在事件信号es的前面添加通知信号的传输开始的头部，并且在其后面添加通知信号的传输结束的尾部。
[0057]
图5是图示图4的像素px的配置的电路图。为了描述的方便，将描述一个像素px，但是本公开不限于此。例如，包括在dvs像素阵列110(参考图4)中的其余像素中的每一个像素可以具有与图5的像素px的结构类似的结构。像素px可以包括光感受器111、微分器112、比较器113和/或握手逻辑114。然而，为了描述的方便，将参考图4描述图5。
[0058]
光感受器111可以包括：将光能转换成电能的光电二极管pd、放大与光电流ipd相对应的电压以输出对数标度的对数电压vlog的对数放大器la、和/或使光感受器111与微分器112隔离的反馈晶体管fb。
[0059]
微分器112可以放大电压vlog以生成电压vdiff。例如，微分器112可以包括电容器c1和c2、差动放大器da和/或开关sw，并且开关sw可以响应于重置信号rst而操作。例如，电容器c1和c2可以存储由光电二极管pd生成的电能。例如，可以考虑在一个像素处连续地发
生的两个事件之间的最短时间(例如，不应周期(refractory period))，适当地选择电容器c1和c2的电容。当开关sw被重置信号rst接通时，可以初始化像素。
[0060]
比较器113可以将差动放大器da的输出电压vdiff的电平和参考电压vref的电平进行比较，并且可以确定由像素感测到的事件是接通事件还是关闭事件。当感测到光的强度增加的事件时，比较器113可以输出指示所感测到的事件是接通事件的信号von；当感测到光的强度减小的事件时，比较器113可以输出指示所感测到的事件是关闭事件的信号voff。
[0061]
握手逻辑114可以响应于指示接通事件的信号von或指示关闭事件的信号voff，向列aer电路121发送列请求reqx。当列aer电路121发送列响应信号ackx时，握手逻辑114可以向行aer电路122发送与指示接通事件的信号von相对应的接通事件请求reqon或与指示关闭事件的信号voff相对应的关闭事件请求reqoff。当行aer电路122发送行响应信号acky时，握手逻辑114可以基于列响应信号ackx和行响应信号acky生成重置信号rst。为了减少工作负载或者防止工作负载由于大量事件的发生而增加，可以控制生成重置信号rst的周期，使得在特定周期期间不发生事件。
[0062]
图6是更详细地图示图5的像素px的配置的电路图。图6的像素px示出图5的像素px的晶体管级电路，但是本公开不限于此。参考图4、图5和图6，像素px可以包括光感受器111、微分器112、比较器113和/或握手逻辑114。参考图5描述光感受器111、微分器112、比较器113和/或握手逻辑114中的每一个的操作或功能，因此，将省略附加描述以避免冗余。
[0063]
光感受器111可以包括光电二极管pd、第一nmos晶体管mn1至第五nmos晶体管mn5、对数电流偏置ilog和/或源极跟随器电流偏置isf。第一nmos晶体管mn1至第四nmos晶体管mn4可以构成对数放大器。第一nmos晶体管mn1可以连接在电源电压vdd与第三节点n3之间，并且可以响应于第一节点n1的电压(例如，对数放大电压vlog)而操作。第二nmos晶体管mn2可以连接在第三节点n3与第四节点n4之间，并且可以响应于第二节点n2的电压而操作。第三nmos晶体管mn3可以连接在第一节点n1与第二节点n2之间，并且可以响应于第三节点n3的电压而操作。第四nmos晶体管mn4可以连接在第二节点n2与地电压之间，并且可以响应于第四节点n4的电压而操作。第五nmos晶体管mn5可以作为源极跟随器操作。第五nmos晶体管mn5可以连接在电源电压vdd与第五节点n5之间，并且可以响应于对数放大电压vlog而操作。对数电流偏置ilog可以连接在电源电压vdd与第一节点n1之间。源极跟随器电流偏置isf可以连接在第五节点n5与地电压之间。
[0064]
微分器112可以连接在具有源极跟随器电压vsf的第五节点n5与具有输出电压vout的第八节点n8之间。微分器112可以包括第一电容器c1、第二电容器c2、第一pmos晶体管mp1、重置晶体管mrs和/或放大器电流偏置ia。第一pmos晶体管mp1可以作为放大器操作。第一pmos晶体管mp1可以连接在电源电压vdd与第八节点n8之间，并且可以响应于输入电压vin而操作。重置晶体管mrs可以作为确定是否重置像素的开关操作。重置晶体管mrs可以连接在第六节点n6与第七节点n7之间，并且可以响应于重置信号rst而操作。放大器电流偏置ia可以连接在第七节点n7与地电压之间。
[0065]
比较器113可以包括第二pmos晶体管mp2和第三pmos晶体管mp3、接通事件电流偏置ion和/或关闭事件电流偏置ioff。第二pmos晶体管mp2可以连接在电源电压vdd与接通事件节点non之间，并且可以响应于输出电压vout而操作。第三pmos晶体管mp3可以连接在电
源电压vdd与关闭事件节点noff之间，并且可以响应于输出电压vout而操作。接通事件电流偏置ion可以连接在接通事件节点non与地电压之间。关闭事件电流偏置ioff可以连接在关闭事件节点noff与地电压之间。
[0066]
与接通事件相对应的接通事件信号von可以通过接通事件节点non被提供给握手逻辑114，与关闭事件相对应的关闭事件信号voff可以通过关闭事件节点noff被提供给握手逻辑114。
[0067]
图7是更详细地图示图1的照度估计器200的配置的配置图。根据本公开的示例实施例，照度估计器200可以包括图像处理装置210和/或照度计算器220。
[0068]
图像处理装置210可以实现为诸如智能电话、数码相机、膝上型电脑和台式机的各种电子装置的一部分。图像处理装置210可以包括透镜211、图像传感器212、isp(图像信号处理)前端块213和/或图像信号处理器214。
[0069]
透镜211可以接收由作为拍摄目标的对象、风景等反射的光。透镜211可以例如通过致动器(未图示)运动。当透镜211的位置依据透镜211的运动而变化时，透镜211的焦距可以改变。因此，可以调整对象上的焦点。透镜211可以设置为在方向和焦点上与动态视觉传感器100(参考图1)中包括的透镜相同。
[0070]
图像传感器212可以包括用于获得关于对象的颜色信息的普通像素。图像传感器212的普通像素可以基于通过透镜211接收到的光生成电信号。另外，图像传感器212可以包括用于获得关于对象的相位信息的相位检测像素。图像传感器212可以包括用于调整焦距的相位检测像素。图像传感器212的相位检测像素可以基于通过透镜211接收到的光，生成用于执行相位检测自动聚焦(pdaf)的电信号。图像传感器212可以输出包括关于对象的颜色信息和相位信息的图像数据idat1。
[0071]
图7示出一个透镜211和一个图像传感器212。然而，在另一示例中，图像处理装置210可以包括多个透镜、多个isp前端块和多个图像传感器。多个图像传感器可以被设置为具有不同的功能、不同的性能和/或不同的特性。在一些示例实施例中，多个图像传感器可以包括分别具有不同的视场(fov)的透镜。
[0072]
isp前端块213可以对从图像传感器212输出的图像数据idat
l
执行各种预处理操作。例如，isp前端块213可以对从图像传感器212输出的信号执行以下处理：串扰补偿，以及用于去除固定模式噪声(fpn)的自动黑电平补偿(adlc)。isp前端块213可以生成经历预处理的图像数据idat2。
[0073]
图像信号处理器214可以对由isp前端块213处理的图像数据idat2执行各种处理操作。例如，图像信号处理器214可以执行各种处理操作，诸如，颜色插值、自动白平衡、伽玛校正、色彩饱和度校正、格式化、坏像素校正和/或色度校正。图像信号处理器214可以生成经历各种处理操作的最终图像数据idat。
[0074]
照度计算器220可以基于图像数据idat2生成照度信息id。例如，照度计算器220可以基于包括在图像数据idat2中的像素值来计算入射到每个像素上的光的照度(例如，像素照度)。将参考图8详细地描述根据本公开的示例实施例的照度计算器220计算照度的方法。然而，本公开不限于此，例如，照度计算器220还可以计算光照度变化。尽管在图7中未图示，但是在其他示例实施例中，照度计算器220可以基于图像数据idat1或最终图像数据idat生成照度信息id。在示例实施例中，可以在isp前端块213中实现照度计算器220的功能的至少
一部分。在其他示例实施例中，照度计算器220的功能的至少一部分可以利用接收并处理图像数据idat的主处理器(例如，应用处理器)来实现。照度计算器220的功能可以利用硬件和/或软件来实现。
[0075]
图8是用于描述根据本公开的示例实施例的照度计算器220的照度计算方法的配置图。参考图7和图8，由对象反射的反射光可以被输入到图像处理装置210。输入到图像处理装置210的反射光可以通过透镜211、图像传感器212和isp前端块213被转换成图像数据idat2。照度计算器220可以基于图像数据idat2计算像素照度。可以通过以下等式2来计算像素照度。
[0076]
[等式2]
[0077][0078]
参考等式2，“p”被定义为像素值。图像传感器212的每一个像素可以基于入射在其上的光输出电信号，并且像素值可以对应于每一个像素输出的电信号的电平。“a
v”定义为图像传感器212和isp前端块213的增益。这里，增益可以基于模拟增益和数字增益。“t
exposure”被定义为图像传感器212的像素被暴露于光的时间(在下文中称为“曝光时间”)。“a
v”和“t
exposure”可以依据制造商的设置或用户的请求而变化。α和β被定义为图像传感器常数值。因为α和β依据图像传感器的图像处理装置的种类、特性和功能而变化，所以可以在电子装置10(参考图1)的产品运送之前预先确定α和β。
[0079]
在示例实施例中，可以通过在运送图像处理装置210和/或电子装置10(参考图1)之前测试图像处理装置210来计算α和β。例如，可以通过使用单独的测试装置(未图示)来计算α和β。返回到图8，因为由对象反射的光入射到像素上，所以为了设置参考像素值(例如，与明亮部分相对应的像素值以及与黑暗部分相对应的像素值)，可以使用图表(chart)12作为用于图像处理装置210的测试对象。例如，图表12可以是检验板。来自光源11的直射光dl可以在图表12的特定部分13处被反射，并且由特定部分13反射的反射光rl可以入射到包括图像传感器212的图像处理装置210上。
[0080]
例如，假定图表12的黑色部分的反射率是3％而其白色部分的反射率是97％。图表的反射率不限于此并且可以依据图表的特性而变化。另外，假定直射光dl的照度是100lux的环境。因此，在黑色部分处反射之后入射到像素上的反射光rl的照度(即，像素照度)(在下文中称为“i1”)是100*0.03，与白色部分相对应的像素照度(在下文中称为“i2”)是100*0.97。根据本公开的示例实施例，图像处理装置210可以输出图像数据idat2，并且图像数据idat2可以包括像素值。与黑色部分相对应的像素值(在下文中称为“p1”)可以是“0”，与白色部分相对应的像素值(在下文中称为“p2”)可以是1023。另外，假定图像传感器212的“a
v”是30并且其“t
exposure”是40ms。可以基于等式2和上述假定推导用于获得α和β的等式3和等式4。
[0081]
[等式3]
[0082][0083]
[等式4]
[0084][0085]
通过求解联立等式(即，等式3和等式4)，α是110.264并且β是32.649。与在上述测试过程中获得的α和β相对应的值可以存储在设置在照度估计器200内部或外部的存储器(未图示)中。照度计算器220可以从存储器(未图示)加载与α和β相对应的值。照度计算器220可以基于α和β根据像素值来计算像素照度。然而，所获得的α和β仅是示例。例如，α和β可以依据直射光dl的照度和图像处理装置中的图像传感器的特性而变化。因此，通过新联立等式可以依据照度环境、图像传感器的设置、或在运送电子装置10(参考图1)之前的图像传感器的模型改变，来计算新α和β，并且与新α和β相对应的值可以存储在存储器(未图示)中。
[0086]
图9是图示根据本公开的示例实施例的执行运动模糊消除的电子装置20的配置图。将省略参考图1给出的描述以避免冗余。电子装置20可以包括动态视觉传感器100、照度估计器200、时间延迟补偿器300、图像处理块400和/或运动模糊消除块500。时间延迟补偿器300可以补偿由照度或照度变化引起的动态视觉传感器100的时间数据的时间延迟。时间延迟补偿器300可以将补偿事件信号es’提供给运动模糊消除块500。
[0087]
图像处理块400可以生成图像数据idat。图像处理块400可以执行用于生成图像数据idat的各种处理操作。图像处理块400可以包括图像传感器。例如，图像传感器可以利用cis或ccd图像传感器和/或类似物来实现。图像传感器可以包括多个像素。图像传感器的像素可以面向与动态视觉传感器100的像素相同的方向。因此，图像传感器的像素和动态视觉传感器100的像素可以接收从同一对象反射的光。图像传感器可以基于在给定或预定或期望的曝光时间期间获得的电荷，来生成帧单位的图像数据idat。在曝光时间期间存在对象的运动的一些示例实施例中，图像数据可以是发生运动模糊的模糊图像。连续曝光时间与帧单位的模糊图像之间的关系由以下等式5表达。
[0088]
[等式5]
[0089][0090]
参考等式5，“b”被定义为模糊图像，并且“t”被定义为包括在图像处理块400中的图像传感器的曝光时间。l(t)被定义为属于曝光时间“t”的时间点“t”的像素输出数据，并且“f”被定义为参考时间点。也就是说，帧单位的模糊图像可以生成为通过针对连续时间对曝光时间期间的像素输出数据进行积分并且将积分的结果除以曝光时间而获得的值。
[0091]
运动模糊消除块500可以基于补偿事件信号es’和图像数据idat生成去模糊图像数据idat’。例如，在图像数据idat中发生运动模糊的示例实施例中，运动模糊消除块500可以基于补偿事件信号es’去除图像数据idat的运动模糊。尽管在图9中未图示，但是运动模糊消除块500可以基于事件信号es生成去模糊图像数据idat’。然而，因为动态视觉传感器100依据照度或照度变化发生的时间延迟未被补偿，所以事件信号es可能不与图像数据idat同步。因此，基于事件信号es的去模糊图像数据idat’的运动模糊去除效果可能低于基于补偿事件信号es’的去模糊图像数据idat’的运动模糊去除效果。运动模糊消除块500被图示为单独的块，但是可以在图像处理块400中实现运动模糊消除块500的至少一部分的功能。
[0092]
补偿事件信号es’可以是通过以短于生成图像数据idat的帧的周期的时间单位采样的一组不连续数据。基于不连续事件信号获得光强度变化直到特定时间点的方法可以遵循以下等式6。
[0093]
[等式6]
[0094][0095]
一起参考等式5和等式6，“s”被定义为事件发生时间。事件发生时间“s”可以对应于补偿事件信号es’中包括的时间戳值。e(s)可以是在事件发生时间“s”的极性信息。这里，当光的强度增加时，极性信息可以是“1”；当光的强度减小时，极性信息可以是
“‑
1”。因此，与在特定时间点“t”的累积光强度变化相对应的e(t)可以是从参考时间点“f”到特定时间点“t”的极性信息之和。
[0096]
运动模糊消除块500可以基于补偿事件信号es’，提取属于与图像数据idat的一个帧相对应的曝光时间的特定时间点的静止图像。获得静止图像的方法可以遵循以下等式7。
[0097]
[等式7]
[0098]
l(t)＝l(f)exp(ce(t))
[0099]
一起参考等式5、等式6和等式7，可以通过将在参考时间点“f”的像素输出数据l(f)乘以指数形式的与在“t”的光强度变化相对应的e(t)，来获得在特定时间点“t”的像素输出数据l(t)(例如，静止图像数据)。字母“c”是与e(t)相乘的常数。当通过使用等式5至等式7来重新布置在参考时间点“f”的像素输出数据l(f)的等式时，可以遵循以下等式8中示出的关系。
[0100]
[等式8]
[0101][0102][0103]
参考等式5至等式8，通过将在参考时间点“f”的像素输出数据l(f)代入等式7，可以生成在特定时间点“t”的像素输出数据l(t)，即，与静止图像相对应的去模糊图像数据idat’。针对根据本公开的示例实施例的电子装置20，将参考图10至图12b详细地描述图像数据idat和去模糊图像数据idat’的可视化数据。
[0104]
根据本公开的示例实施例，可以在应用处理器中实现电子装置20的除了动态视觉传感器100以外的其余组件的功能中的至少一些功能，即，照度估计器200、时间延迟补偿器300、图像处理块400和运动模糊消除块500的功能中的至少一些功能。
[0105]
图10是图示根据本公开的其他示例实施例的执行运动模糊消除的电子装置20的配置图。将省略参考图1和图9给出的描述以避免冗余。电子装置20可以包括动态视觉传感器100、照度估计器200、时间延迟补偿器300和/或运动模糊消除块500。照度估计器200可以包括图像处理装置210和/或照度计算器220。图像处理装置210可以生成图像数据idat并且可以将图像数据idat提供给运动模糊消除块500。在参考图9描述的根据本公开的示例实施例的电子装置20中，图像数据idat(参考图9)可以从单独的图像处理块400(参考图9)提供
给运动模糊消除块500。相比之下，在图10中图示的根据本公开的示例实施例的电子装置20中，图像数据idat(参考图10)可以从照度估计器200包括的图像处理装置210提供给运动模糊消除块500。
[0106]
图11图示根据本公开的示例实施例的发生运动模糊的图像数据。一起参考图9和图11，在示例实施例中，对象可以在与图像处理块400相距1m的距离处以0.5m/s的速度运动。在示例实施例中，图像处理块400可以在5lux的低照度环境中在100ms的曝光时间期间拍摄对象。因为对象在曝光时间期间连续地运动，所以图像处理块400可以生成发生运动模糊的图像数据idat，即，像图11一样的模糊图像。
[0107]
图12a图示根据本公开的示例实施例的通过使用原始事件信号对其执行运动模糊消除的静止图像。参考图9和图11，假定动态视觉传感器100生成的事件信号es被直接提供给运动模糊消除块500，如参考图9所描述的。在一些示例实施例中，运动模糊消除块500可以基于事件信号es从图像数据idat提取特定时间点的静止图像，如图12a所示。与图11相比，根据图12a确认运动模糊被部分地去除。
[0108]
图12b图示根据本公开的示例实施例的通过使用补偿事件信号对其执行运动模糊消除的静止图像。参考图9和图11，时间延迟补偿器300生成的补偿事件信号es’可以被提供给运动模糊消除块500。在补偿事件信号es’中，因为与没有时间延迟的时间戳值一起提供极性信息，所以运动模糊消除块500可以以较小误差提取特定时间点的静止图像。因此，与图12a相比，根据图12b确认运动模糊被进一步去除。
[0109]
图13是图示根据本公开的示例实施例的执行同时定位与制图(slam)的电子装置30的配置图。将省略参考图1给出的描述以避免冗余。电子装置30可以包括动态视觉传感器100、照度估计器200、时间延迟补偿器300、惯性测量单元(imu)传感器600和/或slam块700。
[0110]
imu传感器600可以通过测量电子装置30倾斜的角度来生成惯性数据imd。例如，imu传感器600可以包括陀螺仪、加速度计和地磁传感器中的至少一种。因此，惯性数据imd可以包括角速率信息、加速度信息和地磁信息中的至少一种。
[0111]
slam块700可以通过感测电子装置30的周围环境来创建地图并且可以估计电子装置30的当前位置。slam块700可以生成包括地图和位置信息的slam数据d
slam
。例如，slam块700可以通过基于补偿事件信号es’感测周围环境并且利用惯性数据imd，来降低感测误差。这里，因为补偿事件信号es’处于时间延迟被补偿的状态，所以补偿事件信号es’可以与惯性数据imd同步。
[0112]
图14图示包括应用了本公开的动态视觉传感器的相机模块的电子装置的配置。
[0113]
参考图14，电子装置1000可以包括相机模块组1100、应用处理器1200、pmic 1300和/或外部存储器1400。
[0114]
相机模块组1100可以包括多个相机模块1100a、1100b和1100c。在图14中图示了包括三个相机模块1100a、1100b和1100c的电子装置，但是本公开不限于此。多个相机模块1100a、1100b和1100c可以基于从对象、风景和/或类似物反射的光生成电信号。在一些示例实施例中，相机模块组1100可以被修改为仅包括两个相机模块。另外，在一些示例实施例中，相机模块组1100可以被修改为包括“n”个相机模块(n是4或更大的自然数)。尽管在图14中未图示，但是多个相机模块1100a、1100b和1100c中的每一个相机模块可以包括棱镜、光路折叠元件、致动器、图像感测装置和存储装置。
[0115]
在一些示例实施例中，相机模块1100a、1100b和1100c中的至少一个可以利用动态视觉传感器来实现。例如，相机模块1100a可以利用动态视觉传感器来实现，相机模块1100b可以利用图像传感器(例如，cis)来实现。在一些示例实施例中，相机模块1100a可以基于光的强度变化生成事件信号，并且相机模块1100b可以生成图像数据。根据本公开的示例实施例，多个相机模块1100a、1100b和1100c可以具有相同的视场。
[0116]
在一些示例实施例中，多个相机模块1100a、1100b和1100c当中的至少两个相机模块(例如，1100a和1100b)可以具有不同的视场。在一些示例实施例中，多个相机模块1100a、1100b和1100c当中的至少两个相机模块(例如，1100a和1100b)可以包括不同的光学透镜，但不限于此。
[0117]
另外，在一些示例实施例中，多个相机模块1100a、1100b和1100c的视场可以是不同的。在一些示例实施例中，多个相机模块1100a、1100b和1100c可以包括不同的光学透镜，但不限于此。
[0118]
在一些示例实施例中，多个相机模块1100a、1100b和1100c可以被设置为彼此物理分离。也就是说，多个相机模块1100a、1100b和1100c可以不使用一个图像传感器的感测区域，而是多个相机模块1100a、1100b和1100c各自可以在其中包括独立图像传感器。
[0119]
应用处理器1200可以包括图像处理装置1210、存储器控制器1220和/或内部存储器1230。应用处理器1200可以被实现为与多个相机模块1100a、1100b和1100c分离。例如，应用处理器1200以及多个相机模块1100a、1100b和1100c可以利用单独的半导体芯片来实现。
[0120]
图像处理装置1210可以包括多个子图像处理器1212a、1212b和1212c、图像生成器1214和/或相机模块控制器1216。图像处理装置1210可以包括数目与多个相机模块1100a、1100b和1100c的数目相对应的多个子图像处理器1212a、1212b和1212c。
[0121]
分别从相机模块1100a、1100b和1100c生成的图像数据可以通过单独的图像信号线isla、islb和islc被分别提供给对应的子图像处理器1212a、1212b和1212c。例如，从相机模块1100a生成的图像数据可以通过图像信号线isla被提供给子图像处理器1212a，从相机模块1100b生成的图像数据可以通过图像信号线islb被提供给子图像处理器1212b，并且从相机模块1100c生成的图像数据可以通过图像信号线islc被提供给子图像处理器1212c。例如，可以通过使用基于mipi(移动工业处理器接口)的相机串行接口(csi)来执行这种图像数据传输，但是本公开不限于此。
[0122]
在一些示例实施例中，相机模块1100a可以利用动态视觉传感器来实现。在一些示例实施例中，从相机模块1100a生成的事件信号可以通过图像信号线isla被提供给子图像传感器1212a。另外，相机模块1100b可以利用图像传感器(例如，cis)来实现。从相机模块1100b生成的图像数据可以通过图像信号线islb被提供给子图像传感器1212b。子图像处理器1212b可以基于从相机模块1100b生成的图像数据来估计像素照度。尽管未图示，但是子图像处理器1212b可以向子图像处理器1212a提供关于所估计的像素照度的信息。子图像处理器1212a可以基于关于所估计的像素照度的信息补偿动态视觉传感器的事件发生时间延迟。
[0123]
在一些示例实施例中，一个子图像处理器可以被设置为对应于多个相机模块。例如，子图像处理器1212a和子图像处理器1212c可以被整体地实现，而不是如图12所示的那样彼此分离；在一些示例实施例中，可以通过选择元件(例如，复用器)选择分别从相机模块
1100a和相机模块1100c提供的多条图像数据之一，并且可以将所选择的图像数据提供给集成子图像处理器。
[0124]
事件信号或分别提供给子图像处理器1212a、1212b和1212c的图像数据可以被提供给图像生成器1214。图像生成器1214可以依据图像生成信息generating information或模式信号，通过使用分别从子图像处理器1212a、1212b和1212c提供的图像数据，来生成输出图像。
[0125]
例如，图像生成器1214可以依据图像生成信息generating information或模式信号，通过将分别从具有不同的视场的相机模块1100a、1100b和1100c生成的图像数据的至少一部分进行合并，来生成输出图像。另外，图像生成器1214可以依据图像生成信息generating information或模式信号，通过选择分别从具有不同的视场的相机模块1100a、1100b和1100c生成的图像数据之一，来生成输出图像。
[0126]
在一些示例实施例中，图像生成器1214可以基于从相机模块1100a(例如，动态视觉传感器)输出的事件信号，去除从相机模块1100b(例如，cis)输出的图像数据中存在的运动模糊。
[0127]
相机模块控制器1216可以向相机模块1100a、1100b和1100c分别提供控制信号。可以通过彼此分离的控制信号线csla、cslb和cslc将从相机模块控制器1216生成的控制信号分别提供给对应的相机模块1100a、1100b和1100c。
[0128]
应用处理器1200可以将接收到的图像信号(即，编码图像信号)存储在设置在其中的内部存储器1230中，或存储在设置在应用处理器1200外部的外部存储器1400中。此后，应用处理器1200可以从内部存储器1230或外部存储器1400读取编码图像信号并对其进行解码，并且可以显示基于经解码的图像信号生成的图像数据。例如，图像处理装置1210的子图像处理器1212a、1212b和1212c当中的对应子图像处理器可以执行解码，并且还可以对经解码的图像信号执行图像处理。
[0129]
提供给应用处理器1200的图像信号可以是未编码的信号。应用处理器1200可以对接收到的图像信号执行图像处理，或者可以将图像信号存储在内部存储器1230或外部存储器1400中。
[0130]
pmic 1300可以向多个相机模块1100a、1100b和1100c分别供应电力，例如，电源电压。例如，在应用处理器1200的控制下，pmic 1300可以通过电力信号线psla向相机模块1100a供应第一电力，可以通过电力信号线pslb向相机模块1100b供应第二电力，并且可以通过电力信号线pslc向相机模块1100c供应第三电力。
[0131]
响应于来自应用处理器1200的功率控制信号pcon，pmic 1300可以生成与多个相机模块1100a、1100b和1100c中的每一个相机模块相对应的功率，并且可以调整功率的水平。功率控制信号pcon可以包括针对多个相机模块1100a、1100b和1100c的每个操作模式的功率调整信号。例如，操作模式可以包括低功率模式。在一些示例实施例中，功率控制信号pcon可以包括关于在低功率模式下操作的相机模块的信息和设置的功率水平。分别提供给多个相机模块1100a、1100b和1100c的功率的水平可以彼此相同或者可以彼此不同。另外，可以动态地改变功率的水平。
[0132]
图15是图示根据本公开的示例实施例的电子装置的操作方法的流程图。然而，为了描述的方便，将参考图1描述图15。
[0133]
在操作s110中，动态视觉传感器100可以感测光强度变化(例如，事件)以生成事件信号es。与事件信号es中包括的时间戳值相对应的时间可能与实际事件发生时间不同。
[0134]
在操作s120中，照度估计器200可以估计照度或照度变化。例如，照度估计器200可以估计入射到动态视觉传感器100的每一个像素上的光的照度(例如，像素照度)。根据本公开的示例实施例，照度估计器200可以利用包括图像传感器(例如，cis)的装置来实现。在一些示例实施例中，照度估计器200可以基于图像传感器输出的图像数据来估计像素照度，并且可以基于像素照度生成包括关于照度或照度变化的信息的照度信息id。
[0135]
在操作s130中，时间延迟补偿器300可以基于所估计的照度或所估计的照度变化，来补偿事件信号es的时间延迟。也就是说，时间延迟补偿器300可以补偿发生光强度变化的时间与感测到光强度变化的时间之间的时间延迟。例如，时间延迟补偿器300可以调整时间戳值以便对应于发生光强度变化的时间。结果，时间延迟补偿器300可以生成补偿事件信号es’。
[0136]
图16是图示根据本公开的示例实施例的执行运动模糊消除的电子装置的操作方法的流程图。操作s210至操作s230与图15的操作s110至操作s130相同，因此，将省略附加描述以避免冗余。为了描述的方便，将参考图9描述图16。
[0137]
在操作s240中，图像处理块400可以生成图像数据idat。根据本公开的示例实施例，图像处理块400可以是如图10所示的照度估计器200中包括的图像处理装置210(参见图10)。
[0138]
在操作s250中，运动模糊消除块500可以基于补偿事件信号es’去除图像数据idat的运动模糊。
[0139]
根据本公开，可以不管外部照度或照度变化如何而提供动态视觉传感器的一致性能。
[0140]
根据本公开的示例实施例，可以改进利用动态视觉传感器的运动模糊消除性能。
[0141]
示例实施例不一定是相互排斥的。例如，一些示例实施例可以包括参考一个或更多个附图描述的一个或更多个特征，并且还可以包括参考一个或更多个其他附图描述的一个或更多个其他特征。
[0142]
以上公开的元件中的一个或更多个元件可以包括诸如以下的一个或更多个处理电路或者以诸如以下的一个或更多个处理电路来实现：包括逻辑电路的硬件；诸如执行软件的处理器的硬件/软件组合；或它们的组合。例如，处理电路更具体地可以包括，但不限于，中央处理单元(cpu)、算术逻辑单元(alu)、数字信号处理器、微计算机、现场可编程门阵列(fpga)、片上系统(soc)、可编程逻辑单元、微处理器、专用集成电路(asic)等。
[0143]
虽然已经参考本公开的示例实施例描述了本公开，但是对本领域的普通技术人员而言将明显的是，可以在不脱离如所附权利要求中阐述的本公开的精神和范围的情况下对其做出各种改变和修改。