基于事件驱动与帧驱动的双模态传感成像系统

摘要: 本发明涉及动态视觉传感与智能成像,更具体地,涉及一种基于事件驱动与帧驱动的双模态传感成像系统。背景技术:1、现代成像系统要求新型传感器能够高效、准确地捕捉动态与...
基于事件驱动与帧驱动的双模态传感成像系统

本发明涉及动态视觉传感与智能成像,更具体地,涉及一种基于事件驱动与帧驱动的双模态传感成像系统。

背景技术:

1、现代成像系统要求新型传感器能够高效、准确地捕捉动态与静态信息。传统成像系统主要分为帧式成像与事件式成像两类。帧式成像依赖固定时间采样机制,存在数据冗余高、功耗大以及时间分辨率受限等问题;而事件式成像仅输出光强变化触发的稀疏信号,具有低延迟与低冗余优势,但缺乏静态场景信息,难以实现完整视觉重建。

2、相关融合方案采用“事件传感器+帧传感器”堆叠结构或复杂像素级电路设计,导致系统结构复杂、功耗增加以及难以实现高密度集成。例如,动态视觉与主动像素传感器(dynamic and active-pixel vision sensor,davis)结构虽能实现像素级融合,但其内部电路复杂,静态功耗较高,且难以扩展至大规模阵列。因此,亟需一种结构简单、可在单一器件内同时实现事件与帧响应的成像架构。

技术实现思路

1、有鉴于此,本发明提供了一种基于事件驱动与帧驱动的双模态传感成像系统,旨在实现事件驱动与帧驱动信号的统一获取,从而降低系统复杂度并提升成像效率。

2、本发明的一个方面提供了一种基于事件驱动与帧驱动的双模态传感成像系统,包括:双模态光电晶体管阵列,包括多个按照行列方式分布的光电晶体管像素,其中,每个光电晶体管像素被配置为具有事件驱动与帧驱动的双重工作模式,用于分别输出事件信号和帧信号;行列扫描控制模块,与双模态光电晶体管阵列连接,用于控制双重工作模式的切换,以及控制光电晶体管像素在指定工作模式下对指定阵列信号进行逐行扫描;双模态信号读出电路,与双模态光电晶体管阵列连接,用于分别采集事件信号和帧信号;数据处理模块,与双模态信号读出电路连接,用于对采集到的事件信号和帧信号进行模数转换以及数据处理;后端显示模块,与数据处理模块连接,用于对数据处理后得到的事件数据和帧数据进行显示、图像重建以及分析处理。

3、根据本发明的实施例,双模态光电晶体管阵列被配置为行列寻址结构,其中,各光电晶体管像素按照二维阵列排布,位于同一列的光电晶体管像素共享数据读出端口,位于同一行的光电晶体管像素共享栅极控制线,所有光电晶体管像素的源极共同连接至行列扫描控制模块,并由微控制器进行控制。

4、根据本发明的实施例,光电晶体管像素被配置为顶接触结构,能够利用同一器件在不同偏置条件下分别实现事件驱动模式和帧驱动模式。

5、根据本发明的实施例,光电晶体管像素包括:衬底;hfo2栅介质层,设于衬底上,用于形成栅控绝缘层;te沟道层,设于hfo2栅介质层上,用于形成光电晶体管导电沟道;源电极和漏电极,分别设于te沟道层的两端,用于实现载流子的注入及收集;al2o3顶栅介质层,设于te沟道层上,用于形成顶栅绝缘介质,并实现顶栅电压对沟道载流子的调控;顶栅电极,设于al2o3顶栅介质层上,用于对器件进行偏置调控。

6、根据本发明的实施例,行列扫描控制模块被配置为能够通过行列扫描方式逐行选通光电晶体管像素的工作模式,以实现各阵列信号的顺序读取。

7、根据本发明的实施例,双模态信号读出电路包括:事件驱动读出电路和帧驱动读出电路;其中,事件驱动读出电路被配置为能够通过电压读出方式获取光电晶体管像素在光强变化下产生的瞬态响应信号,并通过电压跟随电路进行输出;帧驱动读出电路被配置为能够通过电流读出方式获取光电晶体管像素的稳态光响应信号,并通过跨阻放大电路将电流信号转换为电压信号。

8、根据本发明的实施例,数据处理模块包括:模数转换模块,用于将事件驱动读出电路和帧驱动读出电路输出的模拟信号转换为数字信号。

9、根据本发明的实施例,后端显示模块包括:计算机、移动终端及其配套的数据处理软件,用于完成事件图像、帧图像及融合图像的显示、存储和分析。

10、本发明的另一个方面提供了一种双模态光电晶体管阵列的制备方法,包括:对衬底进行预处理,其中,预处理包括依次采用丙酮、乙醇以及去离子水进行超声清洗,以去除衬底表面的污染物,随后对衬底进行干燥处理;采用原子层沉积工艺在预处理后的衬底表面沉积hfo2栅介质层,通过控制沉积循环次数及工艺参数获得均匀致密的绝缘介质层;采用光刻工艺定义沟道区域,并利用磁控溅射工艺沉积te薄膜,经去胶处理后形成双模态光电晶体管沟道层;采用光刻工艺定义源极区域和漏极区域,通过热蒸发工艺沉积ni/au金属电极,并经过lift-off工艺形成源极电极和漏极电极;采用原子层沉积工艺在器件表面沉积al2o3顶栅介质层,对沟道区域进行封装;采用光刻及选择性湿法刻蚀工艺去除源极和漏极接触区域的al2o3保护层,使源漏电极暴露,形成后续阵列互连所需的电学接触窗口;采用光刻工艺定义顶栅电极区域,通过热蒸发工艺沉积ni/au金属电极,并经过lift-off工艺形成顶栅电极结构,最终与双模态信号读出电路连接。

11、本发明的另一个方面提供了一种基于事件驱动与帧驱动的双模态传感成像系统的信号处理方法,包括:将双模态光电晶体管阵列置于待检测光场中,并通过行列扫描控制模块切换双模态光电晶体管阵列的事件驱动模式或帧驱动模式;在事件驱动模式下,通过事件驱动读出电路读取双模态光电晶体管阵列输出的瞬态电压信号,以获取光强变化产生的事件信号;在帧驱动模式下,通过帧驱动读出电路读取双模态光电晶体管阵列输出的稳态光响应信号,以获取帧信号;通过数据处理模块对事件信号和帧信号分别进行模数转换以及数据处理;将数据处理后的事件数据和帧数据传输至后端显示模块进行显示、图像重建以及分析处理。

12、本发明实施例提供的基于事件驱动与帧驱动的双模态传感成像系统,至少具有以下有益效果:

13、(1)本发明实施例提供的基于事件驱动与帧驱动的双模态传感成像系统,利用同一光电晶体管像素实现事件驱动与帧驱动两种工作模式,无需采用独立的事件传感器和帧传感器即可实现动态信息与静态信息的同步获取,有效降低了系统复杂度,提高了系统集成度。

14、(2)本发明实施例提供的基于事件驱动与帧驱动的双模态传感成像系统,通过模式切换控制实现事件驱动模式与帧驱动模式之间的快速切换,可有效降低数据冗余和系统功耗,实现动态视觉信息与静态视觉信息的优势互补。

15、(3)本发明实施例提供的基于事件驱动与帧驱动的双模态传感成像系统,可对事件数据和帧数据进行实时处理、存储及可视化显示,并能够与机器视觉系统、神经形态计算平台及智能感知系统相结合,为目标检测、目标跟踪、动态场景感知及智能视觉应用提供高效的数据支撑。

16、(4)本发明实施例提供的基于事件驱动与帧驱动的双模态传感成像系统,采用行列寻址阵列结构及统一的数据采集处理架构,具有结构简单、易于集成、易于扩展等特点,可根据应用需求构建不同规模的成像阵列,适用于大规模集成制造。

1.一种基于事件驱动与帧驱动的双模态传感成像系统,其特征在于,所述系统包括:

2.根据权利要求1所述的系统,其特征在于,所述双模态光电晶体管阵列被配置为行列寻址结构,其中,各所述光电晶体管像素按照二维阵列排布,位于同一列的所述光电晶体管像素共享数据读出端口,位于同一行的所述光电晶体管像素共享栅极控制线,所有所述光电晶体管像素的源极共同连接至所述行列扫描控制模块,并由微控制器进行控制。

3.根据权利要求1所述的系统,其特征在于,所述光电晶体管像素被配置为顶接触结构,能够利用同一器件在不同偏置条件下分别实现事件驱动模式和帧驱动模式。

4.根据权利要求3所述的系统,其特征在于,所述光电晶体管像素包括:

5.根据权利要求1所述的系统,其特征在于,所述行列扫描控制模块被配置为能够通过行列扫描方式逐行选通所述光电晶体管像素的工作模式,以实现各阵列信号的顺序读取。

6.根据权利要求1所述的系统,其特征在于,所述双模态信号读出电路包括:事件驱动读出电路和帧驱动读出电路;

7.根据权利要求6所述的系统,其特征在于,所述数据处理模块包括:模数转换模块,用于将所述事件驱动读出电路和所述帧驱动读出电路输出的模拟信号转换为数字信号。

8.根据权利要求1所述的系统,其特征在于,所述后端显示模块包括:计算机、移动终端及其配套的数据处理软件,用于完成事件图像、帧图像及融合图像的显示、存储和分析。

9.一种双模态光电晶体管阵列的制备方法,其特征在于,所述方法包括:

10.一种基于事件驱动与帧驱动的双模态传感成像系统的信号处理方法,应用于如权利要求1~8中任一项所述的系统,其特征在于,所述方法包括: