一种红外热成像传感器和操作方法与流程

1.本发明涉及红外热成像传感器技术领域，特别涉及一种红外热成像传感器和操作方法。


背景技术：

2.红外热成像传感器作为相机和监控设备的核心部件，对获取被摄场景的图像品质有着决定性的影响。传统的红外热成像传感器以固定帧率输出图像绝对光强信息，可以重构图像的细节纹理信息，但数据量大、功耗大，在高速、亮度极高或光线极差时不能很好地获取图像信息。红外热成像传感器利用红外辐射的热效应，由红外吸收材料将红外辐射能转换为热能，引起敏感元件温度上升，敏感元件的物理参数随之改变，再通过转换机制转换为电信号或可见光信号，实现对物体的探测。目前，红外热成像传感器在军事领域、工业生产、交通监控、汽车工业、防灾抗灾等诸多领域有着广泛的应用。
3.动态视觉传感器模拟生物视网膜处理信息的机制，与基于帧的传统相机的工作机制和输出方式不同,动态视觉传感器的像元可以单独检测光照强度对数的变化,并在变化量超过一定阈值时输出包含位置、时间、极性的事件信息,拥有低延迟、高动态范围、低功耗的优点,其独特的输出方式和工作特性使其特别适应于有高速运动、光照条件变化较大或小能耗的场合。然而单纯的动态视觉传感器输出的事件,只提供了事件的像元地址、时间和极性,这些信息无法满足对可视化的需求,给后期数据处理带来了很大的困扰，且应用领域也存在一定的局限性。


技术实现要素：

4.本发明的目的提供一种红外热成像传感器和操作方法，具有多模态、低功耗、微秒级响应，应用场景广泛等特点。具体技术方案如下：一种红外热成像传感器，包括红外焦平面阵列，所述红外焦平面阵列包括在行方向和列方向上阵列排布的多个红外敏感像元，所述红外敏感像元包括传感单元、逻辑驱动电路、图像传感电路和事件传感电路；所述传感单元用于获取热敏信号；所述逻辑驱动电路包括连接图像传感电路的晶体管tx1和连接事件传感电路的晶体管tx2，晶体管tx1和tx2根据来自边缘条件处理器的控制信号，驱动所述热敏信号传输至所述图像传感电路或所述事件传感电路；所述图像传感电路用于接收、处理热敏信号，输出图像灰度信号；所述事件传感电路用于接收热敏信号，并对热敏信号检测，输出检测信号；模拟数字转换器，用于接收并转换所述灰度图像信号，输出第一图像数据；地址事件表示电路，用于接收所述检测信号，生成时间戳和像元地址，根据所述检测信号、时间戳和像元地址输出事件数据；图像处理器，用于接收并处理所述第一图像数据，输出第二图像数据；边缘条件处理器，用于接收所述第二图像数据或所述事件数据，根据所述第二图像数据或所述事件数据，控制所述逻辑驱动电路，以确定所述热敏信号传输至所述图像传
感电路或所述事件传感电路。
5.进一步地，传感单元包括热敏薄膜，所述热敏薄膜为氧化钒薄膜、氧化钛薄膜或非晶硅薄膜。
6.进一步地，所述事件传感电路包括：放大电路，用于对所述热敏信号进行放大；事件检测电路，用于对放大后的信号进行检测，确定像元是否检测到事件，输出检测信号；保持电路，用于接收并保持所述检测信号。
7.进一步地，所述地址事件表示电路包括：行地址事件表示电路，包括时间戳生成器，所述用于行地址事件表示电路接收所述检测信号，基于所述检测信号生成像元行地址和时间戳，并将所述检测信号、像元行地址和时间戳输出至输出缓冲器；列地址事件表示电路，用于输出像元列地址；输出缓冲器，用于接收所述极性信息、行地址、列地址和时间戳，输出事件数据。
8.基于上述红外热成像传感器的操作方法，包括第一工作模式和第二工作模式：第一工作模式包括：设置逻辑驱动电路中连接图像传感电路的晶体管tx1截止，设置逻辑驱动电路中连接事件传感电路的晶体管tx2导通；通过对在特定时间段上在像元阵列生成的事件数据进行计数，来检测在所述特定时间段中生成的数据的量是否不小于参考值，若是，则设置所述晶体管tx1导通；第二工作模式包括：设置逻辑驱动电路中连接图像传感电路的晶体管tx1导通，设置逻辑驱动电路中连接事件传感电路的晶体管tx2截止；通过对在特定时间段上获取的第二图像数据进行目标识别，来检测在所述特定时间段中是否识别到特定对象，若是，则设置所述晶体管tx2导通。
9.与现有技术相比，本发明的有益效果：逻辑驱动电路包括连接图像传感电路的晶体管tx1和连接事件传感电路的晶体管tx2，晶体管tx1和tx2根据来自边缘条件处理器的控制信号，驱动热敏信号传输至图像传感电路或事件传感电路，边缘条件处理器根据第二图像数据进行目标识别或根据事件数据进行计数检测，并根据识别结果或计数检测结果控制晶体管tx1和tx2的截止或导通。因此本技术可以实现仅输出图像、仅输出事件和既输出事件也输出图像的三种输出模式。仅输出事件时，异步工作特性使传感器功耗大幅降低；仅输出图像时，可根据图像进行目标识别，识别到特定目标再开启输出事件，可实现对高速运动的特定对象进行低延迟捕获。此外，在本技术中事件传感电路和图像传感电路共用同一个传感单元，节省芯片面积，电路结构简单。基于上述优势，本发明可以广泛应用在野外监控领域、工业监控领域、无人机躲避和无人驾驶紧急制动领域以及在弱光或夜场场景下动态监控车速和统计车流等领域。
附图说明
10.图1为本技术实施例提供的一种红外热成像传感器像元结构示示图。
11.图2为本技术实施例提供的一种红外热成像传感器结构示意图。
12.图3为本技术实施例提供的一种传感单元和逻辑驱动电路结构示意图。
13.图4为本技术实施例提供的一种事件传感电路结构示意图。
14.图5为本技术实施例提供的一种aer电路结构示意图。
15.图6为本技术实施例提供的一种红外热成像传感器的操作方法流程图。
16.图7为本技术实施例提供的另一种红外热成像传感器的操作方法流程图。
具体实施方式
17.下面结合图1至图7，对本发明的实施方式和具体的操作过程作详细说明，但本发明的保护范围不限于下述的实施例。
18.图1为本技术实施例提供的一种红外热成像传感器像元结构示意图。
19.参考图1，红外热成像传感器包括红外焦平面阵列10，外焦平面阵列10包括在行方向和列方向上阵列排列的多个像元11。每个像元11包括传感单元12、逻辑驱动电路13、图像传感电路14和事件传感电路15。
20.传感单元12用于获取用于获取热敏信号。
21.逻辑驱动电路13用于驱动热敏信号传输至图像传感电路14或事件传感电路15。
22.图像传感电路14用于接收热敏信号，对热敏信号进行处理，输出图像灰度信号。
23.事件传感电路15用于接收热敏信号，对热敏信号进行检测，确定像元是否检测到事件，输出检测信号。
24.图2为本技术实施例提供的一种红外热成像传感器结构示意图。
25.参考图2，图像传感电路14包括放大电路141、积分电路142和采样保持电路143。
26.放大电路141用于对热敏信号进行放大；积分电路142，用于控制传感单元12积分；采样保持电路143，用于将积分信号采样并保持，同时还可包含双采样功能，输出模拟的图像灰度信号。
27.事件传感电路15包括放大电路151、事件检测电路152和保持电路153。
28.放大电路151用于对热敏信号进行放大；事件检测电路152用于对放大后的信号进行检测，并确定是否检测到事件，若检测到事件，输出检测信号；保持电路153用于接收事件检测电路152输出的检测信号，并保持该信号。
29.红外热成像传感器还包括模拟数字转换器（adc）41，adc 41用于接收采样保持电路143输出的模拟的图像灰度信号，并进行转换，输出数字格式的图像数据。
30.红外热成像传感器还包括地址事件表示电路（aer）21，aer 21用于接收检测信号，生成时间戳和像元地址，根据检测信号、时间戳和像元地址生成事件数据。
31.红外热成像传感器还包括边缘条件处理器31，边缘条件处理器31用于根据接收到的对应像元阵列中多个像元的事件数据，向逻辑驱动电路输出控制信号。
32.图3为本技术实施例提供的一种传感单元和逻辑驱动电路结构示意图。
33.参考图3，逻辑驱动电路13包括晶体管tx1和晶体管tx2，晶体管tx1的源极和漏极之一连接传感单元12，另一极连接图像传感电路14，晶体管tx2的源极和漏极之一连接传感单元12，另一极连接事件传感电路15，晶体管tx1和晶体管tx2的栅极均连接边缘条件处理器31，晶体管tx1和晶体管tx2用于接收来自边缘条件处理器31的控制信号，控制信号作用于tx1和tx2的栅极可以控制晶体管tx1和tx2导通或截止，因此，控制信号可以控制传感单元12连接至图像传感电路14或事件传感电路15。其中，控制晶体管tx1导通或截止的信号称
为tx1控制信号，控制晶体管tx2导通或截止的信号称为tx2控制信号。
34.传感单元12包括热敏薄膜，所述热敏薄膜为氧化钒薄膜、氧化钛薄膜或非晶硅薄膜。利用热敏薄膜的电阻温度系数性质在其两端施加固定的偏置电压或电源流，在真空封装的环境下，红外波段透过蒸镀一层增透膜的硅或锗窗口，加热器件材料使热敏薄膜的电阻发生改变，然后经过读取电信号的改变量，把变化的电阻值转换为电流或电压的变化值。具体地，传感单元12的电路结构如图3所示，包括场效应管m1、m2、m3、m4、电阻rs、rd、r
dm
、r
sm
，其中，rs为红外敏感像元的电阻，外界红外辐射的变化会引起该红外敏感像元的电阻rs阻值变化，rd为进行衬底温度调节的补偿电阻。r
dm
与r
sm
为通过外部调节生成的匹配电阻，以用于抑制第一电压端的电压v
sk
和第二电压端的电压v
det
的噪声。补偿电阻r
dm
的一端连接第一电压端v
sk
，另一端连接场效应管m4的源极。补偿电阻r
sm
场的一端连接第二电压端v
det
，另一端连接场效应管m3的源极。效应管m4的漏极连接场效应管m3的漏极。补偿电阻rd的一端连接第一电压端，另一端连接场效应管m2的源极。红外敏感像元电阻rs的一端连接第二电压端v
det
，另一端连接场效应管m1的源极。场效应管m1和场效应管m2的漏极连接，并与逻辑驱动电路的输入端连接。场效应管m4的栅极连接场效应管m2的栅极，场效应管m3的栅极连接场效应管m1的栅极。v
eb
为固定的直流偏置电压，v
fid
由左侧包括电阻r
dm
、r
sm
及场效应管m3和m4的镜像电路产生，用于调整红外敏感像元电阻rs的偏置电压。
35.图4为本技术实施例提供的一种事件传感电路结构示意图。
36.参考图4，事件传感电路15包括放大电路151，事件检测电路152和保持电路153。
37.放大电路151包括反馈晶体管m5、对数放大器la、电容c1和c2、差分放大器da和复位开关sw。
38.对数放大器la用于输出对数标度的对数电压v
log
，差分放大器da可将对数电压v
log
进行放大生成电压v
diff
。复位开关sw可以响应与复位信号rst进行操作，当通过复位信号rst闭合复位开关sw时，可以将像元复位，复位信号rst可以由aer 21产生。
39.事件检测电路152用于对差分放大器da的输出电压v
diff
的电平和参考电压v
ref
的电平进行比较，从而确定该像元是否检测到事件，若检测到事件，确定出事件是开启事件还是截止事件。当检测到红外热辐射强度增加的事件时，事件检测电路152输出指示检测到的事件是开启事件的检测信号on，当检测到红外热辐射强度减小的事件时，事件检测电路152输出指示检测到的事件是截止事件的检测信号off。
40.保持电路153用于接收并保持检测信号on或检测信号off，检测信号on或检测信号off可以被称为极性信息pol，极性信息pol可以被传输至aer 21。
41.事件传感电路15获取对数电压v
log
后，将对数电压v
log
放大生成电压v
diff
，将经过放大得到的电压v
diff
与参考电压v
ref
进行比较，以确定红外热辐射强度增大或减小，并输出与确定结果对应的检测信号，即检测信号on或检测信号off，当红外热辐射强度增大一定程度，检测到开启事件，则输出检测信号on，当红外热辐射强度减小一定程度，检测到截止事件，则输出检测信号off。在输出检测信号on或检测信号off之后，可以通过复位信号rst进行复位。
42.图5为本技术实施例提供的一种aer电路结构示意图。
43.参考图5，aer 21包括行aer 211、列aer 212和输出缓冲器213,。
44.像元阵列中的一个或多个像元11中检测到事件的像元可以向列aer 212输出表示
检测到红外热辐射强度增加或减小的列请求信号cr，列aer 212响应于从检测到事件的像元接收的列请求信号cr，向像元输出确认信号ack。接收到确认信号ack的像元可以将事件的极性信息pol输出到行aer 211。列aer 212可以基于从检测到事件的像元接收到的列请求信号cr生成检测到事件的像元的列地址c_addr。
45.行aer 212可以从检测到事件的dvs像元接收极性信息pol。行aer 212包括时间戳生成器，行aer 212可以基于极性信息pol生成包括关于事件发生的时间的信息的时间戳。时间戳生成器可以通过用几微秒至几十微秒为生成的时间段来输出时间戳。行aer 212可以生成检测到事件的像元的行地址r_addr。行aer 212可以根据接收到的极性信息pol将复位信号rst输出至检测到事件的像元，检测到事件的像元可以由复位信号rst复位。
46.输出缓冲器213可以接收时间戳、极性信息pol、列地址c_addr和行地址r_addr，并根据时间戳、极性信息pol、列地址c_addr和行地址r_addr生成事件数据，事件数据可以被输出至边缘条件处理器31。
47.图6为本技术实施例提供的一种红外热成像传感器的操作方法流程图。
48.参考图6和图2，当对红外热成像传感器供电或红外热成像传感器启动时，边缘条件处理器31可将处于默认电平的控制信号作用于逻辑驱动电路13中晶体管tx1和tx2的栅极，其中，控制晶体管tx1导通或截止的信号称为tx1控制信号，控制晶体管tx2导通或截止的信号称为tx2控制信号。
49.在一些实施例中，当对红外热成像传感器供电或红外热成像传感器启动时，可默认通过tx1控制信号设置晶体管tx1截止，通过tx2控制信号设置晶体管tx2导通，晶体管tx1截止使得图像传感电路14不工作，晶体管tx2截止使得事件传感电路15工作，也就是说，在此情况下红外热成像传感器仅工作在检测事件的工作模式下，事件数据可以被aer 21输出至边缘条件处理器31。
50.边缘条件处理器31可以将特定时间段期间内像元阵列中一个或多个像元发生的事件数据数量与参考值进行比较，当事件数据数量小于参考值时，边缘条件处理器31通过tx1控制信号设置晶体管tx1截止，使得图像传感电路14不工作；当事件数据数量大于参考值时，边缘条件处理器31通过tx1控制信号设置晶体管tx1导通，使得图像传感电路14开始工作。
51.当事件数据数量小于参考值时，可认为处于事件发生由噪声主导的情况，而不是实际需要关注的事件，因此无需导通图像传感电路14。参考值可根据红外热成像传感器噪声水平合理设置。
52.当事件数据数量大于参考值时，可认为发生了需要关注的事件，该情况下导通图像传感电路14，使红外热成像传感器可以输出图像数据，此时图像传感电路14和事件传感电路15均为工作状态，红外热成像传感器可以输出图像数据和事件数据至图像处理器（isp）51，isp 51可以对图像数据和事件数据进行融合处理，之后传输至显示单元（图中未示出）显示，方便监控人员查看图像和事件融合的画面。
53.在一特定时刻无论晶体管tx1是否导通，在下一个特定时间段内，若边缘条件处理器31接收到的事件数据数量小于参考值，则通过tx1控制信号设置晶体管tx1截止，使得图像传感电路14停止或不开始工作；若边缘条件处理器31接收到的事件数据数量大于参考值，则通过tx1控制信号设置晶体管tx1导通，使得图像传感电路14继续或开始工作。也就是
说，每隔特定时间段，边缘条件处理器31通过比较接收到的事件数据数量和参考值，更新tx1控制信号。
54.当对红外热成像传感器供电或红外热成像传感器启动时，默认红外热成像传感器仅检测事件，而不检测图像，没有发生需要关注的事件时，图像传感电路14不工作，如此可大幅降低红外热成像传感器功耗。当发生需要关注的事件时，可快速导通图像传感电路14，在输出事件的同时输出图像，方便人员查看发生的事件和捕捉到的画面，由于像元阵列中每个像元均有独立的事件传感电路14与像元连接，事件传感具有异步工作特性，事件数据的输出延迟可低至几微秒，在满足一定边缘条件后可快速导通图像传感电路14，因此红外热成像传感器具有低功耗和低延迟的优点。
55.图7为本技术实施例提供的另一种红外热成像传感器的操作方法流程图。
56.参考图7，在一些实施例中，当对红外热成像传感器供电或红外热成像传感器启动时，可默认通过tx1控制信号设置晶体管tx1导通，通过tx2控制信号设置晶体管tx2截止，晶体管tx1导通使得图像传感电路14工作，晶体管tx2截止使得事件传感电路15不工作，也就是说，在此情况下红外热成像传感器仅工作在采集图像的工作模式下，第一图像数据可以被adc 41输出至isp 51。
57.isp 51可以接收第一图像数据，并且处理第一图像数据以生成处理后的第二图像数据。例如，isp 51可以以帧为单位处理或构造第一图像数据。此外，isp 51可修正第一图像数据的明暗度、对比度、色度等。
58.边缘条件处理器31可在特定时间段内比较处理后的第二图像数据与参考数据，具体地，可以根据第二图像数据进行目标识别，将识别结果与参考数据对比，并且基于比较结果设置晶体管tx2导通或截止。当处理后的第二图像数据与参考数据一致时，边缘条件处理器31可以通过tx2控制信号设置晶体管tx2导通，使事件传感电路15工作；当处理后的第二图像数据与参考数据不一致时，边缘条件处理器31可以通过tx2控制信号设置晶体管tx2截止，使事件传感电路15不工作。
59.参考数据可以是例如人体或动物等特定对象的二维图像，或包括距离信息的三维图像。参考数据是可编程的，参考数据可以被存储在边缘条件处理器31中。
60.当第二图像数据与参考数据一致时，可认为通过图像识别到了需要关注的对象，该情况下导通事件传感电路15，使事件传感电路15可以输出事件数据，此时图像传感电路14和事件传感电路15均为工作状态，红外热成像传感器可以输出图像数据和事件数据至isp 51，isp 51可以对图像数据和事件数据进行融合处理，之后传输至显示单元（图中未示出）显示，方便监控人员查看图像和事件融合的画面。
61.在一特定时刻无论晶体管tx2是否导通，在下一个特定时间段内，若第二图像数据与参考数据不一致时，则通过tx2控制信号设置晶体管tx2截止，使得事件传感电路15停止或不开始工作；若第二图像数据与参考数据一致时，则通过tx2控制信号设置晶体管tx2导通，使得事件传感电路15继续或开始工作。也就是说，每隔特定时间段，边缘条件处理器31通过比较第二图像数据和参考数据，更新tx2控制信号。
62.当对红外热成像传感器供电或红外热成像传感器启动时，默认红外热成像传感器仅传感图像，而不检测事件，根据图像做适当图像处理，没有识别到需要关注的特定对象时，截止事件传感电路15，当识别到需要关注的特定对象时，导通事件传感电路15，在输出
图像的同时检测和输出事件，利用异步事件传感的低延迟特性，可实现对高速运动的特定对象的进行低延迟捕获，弥补了图像传感电路14对捕获高速运动对象的延迟高的缺点。
63.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等均应包含在本发明的保护范围之内。