一种事件型图像传感器及控制方法与流程

1.本发明属于计算机视觉技术领域，尤其涉及一种事件型图像传感器及控制方法。


背景技术：

2.传统相机，无论是cmos传感器，还是ccd传感器，或是rgbd相机，是以恒定的频率拍摄获取图像。这样，即使帧率能够达到1khz，那也具有1ms的延时。所以传统相机存在一定的延迟问题。随着时代的发展，出现了一种事件相机(event-based vision，evs)，事件相机是一种动态视觉传感器，其感测入射光的变化并基于光的变化生成事件，输出事件信号，具有帧率快、功率低等优点。
3.然而，现有的事件相机，由于其集成电路生产过程中的工艺偏差，各子电路之间存在一些噪声、失调等因素，会导致事件信号输出错误。


技术实现要素：

4.本发明提供一种事件型图像传感器及控制方法，用以解决现有技术中事件信号输出不准确的技术问题。
5.一方面本发明提供一种事件型图像传感器，应用于事件相机，所述事件型图像传感器包括：输入单元、斩波单元、比较单元以及读出单元，所述输入单元、所述斩波单元、所述比较单元以及所述读出单元依次连接；其中，
6.所述输入单元用于响应于入射光信号获取实时电压；
7.所述斩波单元用于将所述实时电压与预设参考电压的差值电压作为输入电压，对所述输入电压与噪声电压进行频率分离，然后按照分离后的频率将所述噪声电压过滤后，得到输出电压；
8.所述比较单元用于将所述输出电压与预设电压范围进行比较；
9.所述读出单元用于根据比较结果输出事件信号。
10.第二方面，本发明提供一种事件型图像传感器控制方法，应用于事件相机，所述方法包括：
11.响应于入射光信号获取实时电压；
12.将所述实时电压与预设参考电压的差值电压作为输入电压，对所述输入电压与噪声电压进行频率分离，然后按照分离后的频率将所述噪声电压过滤后，得到输出电压；
13.将所述输出电压与预设电压范围进行比较；
14.根据比较结果输出事件信号。
15.从上述本发明实施例可知，本发明实施例通过将输入电压与噪声电压进行频率分离，再根据分离后的频率将噪声电压进行过滤，得到去除噪声电压的输出电压；由于输出电压为去除噪声电压后的电压，在根据对比结果输出事件信号时，使得输出的事件信号更加准确。
附图说明
16.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
17.图1为本技术实施例中事件型图像传感器控制方法的流程示意图；
18.图2为本技术实施例中事件型图像传感器的电路结构图；
19.图3为本技术实施例中斩波单元的电路结构图；
20.图4为本技术实施例中信号频率/斩波频率、输入电压和噪声电压的关系示意图；
21.图5为本技术实施例中信号频率/斩波频率、中间电压信号的关系示意图；
22.图6为本技术实施例中信号频率/斩波频率、解调电压和噪声电压的关系示意图；
23.图7为本技术实施例中信号频率/斩波频率、输出电压和噪声电压的关系示意图；
24.图8为本技术实施例中输入电压与时间的关系示意图；
25.图9为本技术实施例中调制电压与时间的关系示意图；
26.图10为本技术实施例中解调电压与时间的关系示意图；
27.图11为本技术实施例中输出电压与时间的关系示意图。
具体实施方式
28.为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
29.在本发明实施例的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
30.在本发明实施例中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明实施例中的具体含义。
31.参阅图1，示出了本发明实施例的一种事件型图像传感器控制方法，应用于事件相机，所述方法包括：
32.步骤s100、响应于入射光信号获取实时电压。
33.在示例性的实施例中，所述步骤s100具体包括：
34.响应于所述入射光信号生成光电流；将所述光电流转换成实时电压。
35.本实施例中，事件相机为事件型图像传感器，事件型图像传感器包括由多个像素组成的像素阵列，像素阵列中每个像素包括有对应的像素传感器，像素传感器可采集入射光信号。通过图像传感器中的像素采集入射光信号，每个像素进行相应的采集，采集后的入
射光信号通过光电转换元件进行光电转换，得到对应的电流值，对该电流值通过电流-电压转换元件进行电流-电压的转换，得到对应的实时电压，将光信号转变为电压信号便于数据计算。光电转换元件可以为光电二极管、光电晶体管、钳位光电二极管或任何其他类似进行光电转换的元器件。电流转电压元件的实现电路较常见，可采用分压器方法、霍尔传感器方法、积分电路方法等实现，在此不做赘述。
36.步骤s120、将所述实时电压与预设参考电压的差值电压作为输入电压，对所述输入电压与对应的噪声电压进行频率分离，按照分离后的频率将所述噪声电压过滤后，得到输出电压。
37.本实施例中，通过第一斩波器根据预设调制信号对输入电压进行调制，对噪声电压不进行调制，再将调制后的输入电压与噪声电压一起进行放大，得到中间电压信号，最后通过相应的解调信号将中间电压信号中的调制电压解调，使中间电压信号中的调制电压与噪声电压进行频率分离，噪声电压为高频信号，解调后的调制电压为低频信号；再按照分离后的频率将噪声电压进行低通滤波，得到输出电压。
38.本实施例中，所述步骤s120具体包括：
39.将所述实时电压与预设参考电压的差值电压作为输入电压，对所述输入电压调制后，与所述噪声电压同时进行频率放大，得到中间电压信号；将所述中间电压信号中的调制电压解调后进行低通滤波，将所述噪声电压过滤后得到输出电压。
40.本实施例中，作为优选的实施方式，所述步骤s120具体包括：
41.将所述实时电压与预设参考电压的差值电压作为输入电压进行调制；将调制后的所述输入电压以及所述噪声电压同时进行频率放大，得到中间电压信号；所述中间电压信号中的调制电压解调；对解调后的所述中间电压信号进行低通滤波，将所述噪声电压过滤后得到输出电压。
42.本实施例中，输入电压伴随有噪声电压，第一斩波器可以根据预设调制信号对输入电压调制，输出调制后的输入电压。再通过放大器将调制后的输入电压与噪声电压同时进行频率放大，得到中间电压信号，此时噪声电压被放大为高频电压。然后通过第二斩波器将中间电压信号中的调制电压解调，即将调制电压解调为低频信号。最后，通过低通滤波器后将解调后调制电压与噪声电压一起进行低通滤波，滤除噪声电压，得到输出电压。
43.步骤s140、将所述输出电压与预设电压范围进行比较。
44.本实施例中，通过将去除噪声电压的输出电压的电压值与预设电压范围进行比较，以输出较为准确的事件信号。
45.步骤s160、根据比较结果输出事件信号。
46.本实施例中，将输出电压与预设电压范围进行比较，当输出电压大于该预设电压范围时，像素采集的入射光信号发生了up事件，即像素采集的入射光强度变强，产生up事件信号；当输出电压小于该预设电压范围时，像素采集的入射光信号发生了dn事件，即像素采集的入射光强度变弱，产生dn事件信号。假设预设电压范围为(-0.1v，0.1v)，当输出电压为0.2v时，比较结果为(1，0)，表示0.2v大于0.1v，则输出up事件信号；当输出电压为-0.2v时，比较结果为(0，1)，表示-0.2v小于-0.1v，则输出dn事件信号；当输出电压为0.05v时，比较结果为(0，0)，表示没有生成事件，不输出事件信号，继续采集实时电压。当然，在实际应用中，不排除系统可能出现错误，输出(1，1)，这种事件信号通常为噪声信号，而本实施例中去
除了噪声电压，减少了系统失误率。由于该输出电压消除了偏移电压，将该输出电压与预设电压范围进行比较时，比较的结果较为准确，提高了输出的事件信号的准确性。
47.本实施例中，所述事件型图像传感器控制方法还包括对电容中存储的预设参考电压进行更新，若当前时刻采集的实时电压与预设参考电压根据步骤s120至步骤s160处理后输出了事件信号，将当前时刻的实时电压作为更新的预设参考电压存储在电容中。若在预设采集时间段内采集的实时电压根据步骤s120至步骤s160处理后都没有输出事件信号，则进行开关闭合再断开的操作，重置电容中的预设参考电压；再根据更新的预设参考电压重新执行步骤s100至步骤s160以输出事件信号。
48.本实施例中，解调后的调制电压经过低通滤波器进行滤波处理后，滤除了噪声电压，有效去除了高频噪声。输入电压在第一斩波器与第二斩波器调制解调后与噪声电压进行频率分离，放大时将噪声电压放大为高频信号，经过低通滤波后进行滤除，失调电压在调制解调处理中也进行消除。
49.本实施例中，输入电压为实时电压与预设参考电压的差值电压，输入电压在传输过程中伴随有噪声电压，在输入电压进行调制时，没有对噪声电压进行调制处理，噪声电压与调制后的输入电压一起输入至放大器中，调制后的输入电压与噪声电压被放大为高频信号，得到中间电压信号。中间电压信号经过解调处理，由于噪声电压没有经过调制，只对中间电压信号中的调制电压进行解调处理，最后解调后的调制信号与放大后的噪声电压都经过低通滤波，得到输出电压，而此时的噪声电压由于为高频信号，可以通过低通滤波器滤除，从而能够滤除偏移电压和高频噪声。
50.从上述本发明实施例可知，本发明实施例通过将输入电压进行频率调制，将输入电压与与噪声电压的频率进行分离，以便于去除失调电压；再对调制后的输入电压以及噪声电压进行放大后，将噪声电压转变为高频信号，通过滤波处理可以滤除；然后将中间电压信号进行解调处理，将中间电压信号中的调制电压解调为低频信号，与放大为高频信号的噪声电压进行频率分离，最后经过滤波器将放大为高频信号的噪声电压进行滤除；由于输出电压为去除噪声电压后的电压，在根据对比结果输出事件信号时，使得输出的事件信号更加准确。
51.请再次参阅图2，示出了本发明实施例的一种事件型图像传感器20，应用于事件相机，所述事件型图像传感器20包括：输入单元21、斩波单元22、比较单元24以及读出单元25，所述输入单元21、所述斩波单元22、所述比较单元24以及所述读出单元25依次连接。具体描述如下：
52.所述输入单元21用于响应于入射光信号获取实时电压。
53.在示例性地实施例中，所述输入单元21包括转换元件210、开关211与电容212，所述开关211连接于所述转换元件210的第一输出端与所述差分单元23的第一输入端之间，所述开关211与所述差分单元23的第一输入端的连接端连接所述电容212的非接地端，所述转换元件210的第二输出端与所述差分单元23的第二输入端连接；
54.所述转换元件210用于将入射光信号转换为实时电压；
55.所述电容212用于在所述开关211从闭合状态切换到断开状态时更新所述预设参考电压。
56.在示例性地实施例中，所述转换元件210包括光电转换元件与电流电压转换元件，
所述光电转换元件的输出端与所述电流电压转换元件的输入端连接，所述电流电压转换元件的第一输出端与所述开关211连接，所述电流电压转换元件的第二输出端与述差分单元23的第二输入端连接；
57.所述光电转换元件用于响应于所述入射光信号生成光电流；
58.所述电流电压转换元件用于将所述光电流转换成所述实时电压。
59.所述斩波单元22用于将所述实时电压与预设参考电压的差值电压作为输入电压，对所述输入电压与对应的噪声电压进行频率分离，按照分离后的频率将所述噪声电压过滤后，得到输出电压。
60.在示例性地实施例中，所述斩波单元22包括第一斩波单元、第二斩波单元，所述第一斩波单元连接于所述输入单元21与所述第二斩波单元之间；
61.所述第一斩波单元用于将所述实时电压与预设参考电压的差值电压作为输入电压，对所述输入电压调制后，与所述噪声电压同时进行频率放大，得到所述中间电压信号；
62.所述第二斩波单元用于将所述中间电压信号中的调制电压解调后进行低通滤波，将所述噪声电压过滤后得到输出电压。
63.在示例性地实施例中，参阅图3，所述第一斩波单元包括第一斩波器221与放大器222，所述第一斩波器221的输入端与所述输入单元21的输出端连接，所述第一斩波器221的输出端与所述放大器222的输入端连接，所述放大器222的输出端连接所述第二斩波单元的输入端；
64.所述第一斩波器221用于将所述实时电压与预设参考电压的差值电压作为输入电压进行调制；
65.所述放大器222用于将调制后的所述输入电压以及所述噪声电压同时进行频率放大，得到中间电压信号。
66.在示例性地实施例中，所述第二斩波单元包括第二斩波器223与低通滤波器224，所述第二斩波器223的输入端连接所述放大器222的输出端，所述第二斩波器223的输出端连接所述低通滤波器224的输入端，所述低通滤波器224的输出端连接所述比较单元24；
67.所述第二斩波器223用于将所述中间电压信号中的调制电压解调；
68.所述低通滤波器2231用于对解调后的所述中间电压信号进行低通滤波，将所述噪声电压过滤后得到输出电压。
69.所述比较单元24用于将所述输出电压与预设电压范围进行比较。
70.本实施例中，比较单元24可以为处理器或控制器，通过处理器将输出电压与预设电压范围进行比较。
71.所述读出单元25用于根据比较结果输出事件信号。
72.本实施例中，当输出电压大于该预设电压范围时，像素采集的入射光信号发生了up事件，即像素采集的入射光强度变强，产生up事件信号；当输出电压小于该预设电压范围时，像素采集的入射光信号发生了dn事件，即像素采集的入射光强度变弱，产生dn事件信号。由于该输出电压消除了噪声电压，将该输出电压与预设电压范围进行比较时，比较的结果较为准确，提高了输出的事件信号的准确性。
73.在示例性地实施例中，所述事件型图像传感器还包括：控制器，控制器也可以为比较单元中的处理器。控制器发送控制信号给输入单元21、斩波单元22、比较单元24以及读出
单元25，以使输入单元21、斩波单元22、比较单元24以及读出单元25分别根据控制信号进行相应的操作。
74.本实施例中，输入电压在传输过程中伴随有低频的噪声电压，在输入电压输入至第一斩波器中进行调制，噪声电压不进行调制，噪声电压、调制后的输入电压一起输入至放大器中，噪声电压与调制后的输入电压被放大为高频信号，即中间电压信号。中间电压信号经第二斩波器进行解调，对中间电压信号的调制电压进行解调，而放大后的噪声电压不需要进行解调，将调制电压解调为低频信号，从而将调制电压的频率与放大后的噪声电压的频率进行分离；最后经过低通滤波，得到输出电压，滤波前的噪声电压由于为高频信号，可以通过低通滤波器滤除，从而能够滤除高频噪声。
75.在示例性地实施例中，所述事件型图像传感器还包括：差分单元23，所述差分单元23的输入端与所述输入单元21的输出端连接，所述差分单元23的输出端与所述斩波单元22的输入端连接；
76.所述差分单元23用于将所述实时电压与预设参考电压作差，得到所述差值电压。
77.在示例性地实施例中，应用于事件相机，所述事件型图像传感器包括：输入单元21、差分单元23、斩波单元22、比较单元24以及读出单元25，所述输入单元21、所述差分单元23、所述斩波单元22、所述比较单元24以及所述读出单元25依次连接；其中，
78.所述输入单元21用于响应于入射光信号获取实时电压；
79.所述差分单元23用于将所述实时电压与预设参考电压作差，得到所述差值电压；
80.所述斩波单元22用于将所述差值电压作为输入电压，对所述输入电压与对应的噪声电压进行频率分离，按照分离后的频率将所述噪声电压过滤后，得到输出电压；
81.所述比较单元24用于将所述输出电压与预设电压范围进行比较；
82.所述读出单元25用于根据比较结果输出事件信号。
83.在本实施例中，输出电压的电压值处于预设电压范围内，表示没有输出事件信号，需要再继续采集实时电压，输出的是有效的事件信号时，将当前的实时电压存入电容中作为预设参考电压，此时开关处于断开状态，重新执行步骤s100至步骤s160的操作。
84.在本实施例中，若在预设采集时间段内采集的实时电压根据步骤s120至步骤s160处理后都没有输出事件信号，则进行开关闭合再断开的操作，重置电容中的预设参考电压；再根据更新的预设参考电压重新执行步骤s100至步骤s160输出事件信号。
85.请再次参阅图2，示出了本发明实施例的一种事件型图像传感器30的电路图。该电路图包括：差分单元23、转换元件210、开关211、电容212、斩波单元22、比较单元24、读出单元25。
86.差分单元23的输入端与转换元件210的输出端连接，差分单元23的输出端与斩波单元22的输入端连接；转换元件210用于对入射光信号对应的电流进行转换，得到入射光信号对应的实时电压；差分单元23用于将实时电压与预设参考电压作差，得到差值电压。
87.请参阅图3，斩波单元22包括第一斩波器221、第二斩波器223、放大器222与低通滤波器224。在t1时刻进行入射光信号的采样，入射光信号对应的电压为v1，将开关211断开，电压v1存入电容212中记入为预设参考电压v1(即，节点a的电压为v1)；在t2时刻采集的入射光信号对应的实时电压为v2(即，节点b的电压为v2)，即输入电压为v
2-v1。
88.转换元件210的第二输出端b连接差分单元23的第二输入端，差分单元23的输出端
连接第一斩波器221的输入端，转换元件210的第一输出端连接开关211的一端，开关211的另一端连接电容212的一端与差分单元23的第一输入端，电容212的另一端接地。第一斩波器221的输出端连接放大器222，放大器222的输出端连接第二斩波器223的输入端，第二斩波器223的输出端连接低通滤波器224，低通滤波器224的输出端连接处理器或者控制器(图中未示出)。
89.本实施例中，第一斩波器221对差分单元23的输出的差值电压作为输入电压进行调制，以将输入电压与噪声电压的频率进行分离。
90.放大器222对调制后的输入电压与噪声电压一起进行放大，得到中间电压信号。再通过第二斩波器223根据预设解调信号对中间电压信号进行解调处理。低通滤波器224对解调后的调制信号与放大后的噪声电压进行低通滤波，以去除噪声电压，得到输出电压。第一斩波器221与第二斩波器223的调制解调处理，用以去除偏移电压。
91.本实施例中，示例性的描述斩波单元22的原理，具体如下：
92.假设当前信号电压(v
signal
)和噪声电压(v
noise
)分别与信号频率(f)/斩波频率(f
chop
)的关系如图4所示，斩波频率(f
chop
)为斩波器的工作频率，信号频率(f)为信号电压(v
signal
)的频率，可以理解为，当前信号电压为实时电压。通过第一斩波器221对输入电压进行调制处理，而噪声没有经过调制只经过放大器222，调制后的输入电压与噪声电压一起经过放大器222进行放大，信号电压(v
signal
)和噪声电压(v
noise
)的关系如图5所示，可以理解为，信号电压为中间电压信号，斩波频率为第一斩波器的工作频率。而后信号电压(v
signal
)噪声电压(v
noise
)一起经过第二斩波器223，信号电压(v
signal
)和噪声电压(v
noise
)的关系如图6所示，可以理解为，信号电压为经过解调后的调制信号。最后信号电压(v
signal
)和噪声电压(v
signal
)经过低通滤波器，其噪声电压(v
noise
)由于是高频信号，可以通过低通滤波器224滤除，输出电压v
out
，如图7所示，可以理解为，输入电压为解调电压，斩波频率为第二斩波器的工作频率。由此实现了斩波单元22的对电压的调制与解调，从而能够交替改变信号电压(v
signal
)和噪声电压(v
noise
)的频率，以滤除信号电压中的偏移电压和高频噪声。
93.示例性地说明时间(t)与输入电压(v
in
)的关系，当输入电压(v
in
)经过第一斩波器，其输入电压(v
in
)调制后，时间(t)与输入电压(v
in
)如图8所示，此时的输入电压为调制后的输入电压。然后输入电压(v
in
)经过放大器，其输入电压(v
in
)被放大后，时间(t)与输入电压(v
in
)，如图9所示，该输入电压为调制电压。接着输入电压(v
in
)经过第二斩波器，其输入电压(v
in
)解调后，时间(t)与输入电压(v
in
)如图10所示，该输入电压为解调后的调制信号，即解调电压。最后输入电压(v
in
)通过低通滤波器，时间(t)与输入电压(v
in
)如图11所示，从而输出如图11所示的输出电压v
out
。
94.在现有的去除失调的方案中，由于在传统的事件相机中，通过放大器输入等效失调校正后电压余量表达式如下：
[0095][0096]
其中，v
offset-residue
表示校正后的电压余量，a表示放大倍数。
[0097]
这种方案会需要高增益的放大器，才能减小随机失调电压的影响，而在图像传感器的每个像素内集成一个高增益放大器是非常难以实现的，另外高增益放大器会导致功耗高，采样速率低。在本技术中，通过利用斩波单元的调制解调原理简化了消去固有随机失调
存储的步骤，具体为，通过斩波单元将输入电压与伴随的噪声电压进行频率分离，并按照分离后的频率将噪声电压过滤，得到输出电压，即无需使用高增益放大器，实现集成大规模高质量、高分辨率、功耗低、帧率高的事件型像素。
[0098]
以上为对本发明所提供的事件型图像传感器及控制方法的描述，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。