图像处理方法及装置、图像传感器与流程

1.本公开涉及图像处理技术领域，特别涉及一种图像处理方法及装置、图像处理传感器。


背景技术：

2.图像传感器常用的曝光方式有滚动快门(rolling shutter)和全局快门(global shutter)的曝光方式。采用rolling shutter曝光方式拍摄高速物体时，逐行像素扫描速度不够，图像容易出现“倾斜”、“变形扭曲”等情况，而采用global shutter曝光方式就能有效改善这种情况，能够得到不失真的图像。
3.其中，global shutter曝光方式是通过整幅场景在同一时间曝光实现的，图像传感器中所有像素同时收集光线，同时曝光。即在曝光开始的时候，图像传感器开始收集光线；在曝光结束的时候，光线收集电路被切断，然后图像传感器按顺序读出一帧图像的像素数据。
4.但在传统global shutter曝光方式中，由于曝光过程和像素数据的读出过程是串行独立的，因此会延长一帧图像的工作时间，降低了帧率，不利于高速摄像的实现。


技术实现要素：

5.本公开提供一种图像处理方法及装置、图像处理传感器。
6.第一方面，本公开提供了一种图像处理方法，该图像处理方法包括：
7.在图像传感器的第1帧图像像素的曝光时间段，对第1帧图像像素进行曝光处理；
8.在第n帧图像像素的曝光时间段，对第n帧图像像素进行曝光处理，同时读出第n-1帧图像像素的像素数据；n大于或等于2。
9.第二方面，本公开提供了一种图像处理装置，该图像处理装置包括：
10.曝光单元，用于：在图像传感器的第1帧图像像素的曝光时间段，对第1帧图像像素进行曝光处理；在第n帧图像像素的曝光时间段，对第n帧图像像素进行曝光处理；
11.读出单元，用于在第n帧图像像素的曝光时间段，读出第n-1帧图像像素的像素数据；n大于或等于2。
12.第三方面，本公开提供了一种图像传感器，该图像传感器包括上述的图像处理装置。
13.根据本公开实施例提供的图像处理方法及装置、图像传感器的技术方案，通过改变图像传感器中像素的工作时序，使得第n帧的曝光过程和第n-1帧的像素数据的读出过程同时并行进行，从而有效减少了图像传感器中每一帧的工作时间，有利于提升图像传感器的帧率，有利于实现图像传感器的高速摄像。
14.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
15.附图用来提供对本公开的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述，以上和其他特征和优点对本领域技术人员将变得更加显而易见，在附图中：
16.图1为本公开实施例提供的一种图像处理方法的流程示意图；
17.图2为本公开实施例提供的一种图像传感器中像素的电路结构示意图；
18.图3为本公开实施例提供的一种图像传感器中像素的电路时序示意图；
19.图4为本公开实施例提供的另一种图像传感器中像素的电路结构示意图；
20.图5为本公开实施例提供的另一种图像传感器中像素的电路时序示意图；
21.图6为本公开实施例提供的一种图像处理装置的结构示意图。
具体实施方式
22.为使本领域的技术人员更好地理解本公开的技术方案，以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
23.在不冲突的情况下，本公开各实施例及实施例中的各特征可相互组合。
24.如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。
25.本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由
……
制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
26.除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。
27.图1为本公开实施例提供的一种图像处理方法的流程示意图。
28.本公开实施例提供了一种图像处理方法，该图像处理方法可以应用于图像传感器，图像传感器包括由多个像素构成的像素阵列，如图1所示，该图像处理方法包括：
29.步骤s1、在图像传感器的第1帧图像像素的曝光时间段，对第1帧图像像素进行曝光处理。
30.步骤s2、在第n帧图像像素的曝光时间段，对第n帧图像像素进行曝光处理，同时读出第n-1帧图像像素的像素数据，n大于或等于2。
31.根据本公开实施例的图像处理方法的技术方案，通过改变图像传感器中像素的工作时序，使得第n帧的曝光过程和第n-1帧的像素数据的读出过程同时并行进行，从而有效减少了图像传感器中每一帧的工作时间，有利于提升图像传感器的帧率，有利于实现图像
传感器的高速摄像。
32.在一些实施例中，图像传感器基于全局快门(global shutter)曝光方式采集图像信息，图像信息包括图像像素的像素数据。
33.在一些实施例中，在任意一帧图像像素的曝光时间段，对该帧图像像素进行曝光处理的步骤，包括：基于全局快门的曝光方式对该帧图像像素进行曝光处理。其中，在基于全局快门的曝光方式下，该帧图像的全部图像像素同时曝光。
34.区别于传统的全局快门曝光方式，本公开实施例在对该帧图像像素进行曝光之后读出该帧图像像素的像素数据的同时，对该帧图像的下一帧图像像素进行曝光，即，第n帧的曝光过程和第n-1帧的像素数据的读出过程同时并行进行，因此，第n帧的工作时间可根据第n帧的曝光时间和第n-1帧的像素数据的读出时间中的最大值确定，即第n帧的工作时间row_time＝max{第n帧的曝光时间，第n-1帧的像素数据的读出时间}，而传统的全局快门曝光方式下，第n帧的工作时间row_time＝第n帧的曝光时间 第n帧的像素数据的读出时间。可见，相较于传统的全局快门曝光方式，本公开实施例能够有效减少图像传感器中每一帧的工作时间，有利于提升图像传感器的帧率，有利于实现图像传感器的高速摄像。
35.在一些实施例中，像素数据包括像素复位电压(pixel v
rst
)和像素曝光电压(pixel v
sig
)；在图像传感器中，每个像素中具有第一存储电容和第二存储电容，第一存储电容用于存储像素的像素复位电压，第二存储电容用于存储像素曝光后产生的像素曝光电压。
36.在一些实施例中，为了实现第n帧的曝光过程和第n-1帧的像素数据的读出过程同时并行进行，以减少每一帧的工作时间，在每帧图像像素的曝光时间段中，在对该帧图像像素进行曝光处理之后，先将该帧图像像素的像素数据存储至对应的存储电容，以便于在下一帧图像像素的曝光时间段将该帧图像像素的像素数据进行读出。在对任意一帧图像像素进行曝光处理之后，且在该任意一帧图像像素的曝光时间段内，该图像处理方法还包括：将该帧图像的每个像素的像素复位电压存储至对应的第一存储电容；将该帧图像的每个像素曝光后产生的像素曝光电压存储至对应的第二存储电容。
37.当需要读出一帧图像像素的像素数据时，则从每个像素对应的第一存储电容中，读出每个像素的像素复位电压，并从每个像素对应的第二存储电容中，读出每个像素的像素曝光电压。进一步地，在一些实施例中，在第1帧图像像素的曝光时间段中，对第1帧图像像素进行曝光处理，并将第1帧图像的每个像素的像素复位电压存储至对应的第一存储电容，以及将第1帧图像的每个像素曝光后产生的像素曝光电压存储至对应的第二存储电容；在第n帧图像像素的曝光时间段中，在对第n帧图像像素进行曝光处理的同时，从每个像素对应的第一存储电容和第二存储电容中读出第n-1帧图像像素的像素数据，之后将第n帧图像的每个像素的像素复位电压存储至对应的第一存储电容，以及将第n帧图像的每个像素曝光后产生的像素曝光电压存储至对应的第二存储电容。即，第n-1帧图像像素的像素数据的读出在第n帧图像像素的像素数据的存储之前已经完成，从而有效防止第n-1帧图像像素的像素数据对第n帧图像像素的像素数据的存储造成影响。
38.在一些实施例中，读出第n-1帧图像像素的像素数据，包括：从第n-1帧图像中每行像素的第一存储电容和第二存储电容中，逐像素行读出每行像素的像素数据。
39.例如，在图像传感器中，像素阵列包括n行m列像素，n、m均为正整数，则，在第2帧图
像像素的曝光时间段中，从第1行像素的第一存储电容和第二存储电容中读出第1帧图像中第1行像素的像素数据，从第2行像素的第一存储电容和第二存储电容中读出第1帧图像中第2行像素的像素数据，从第3行像素的第一存储电容和第二存储电容中读出第1帧图像中第3行像素的像素数据，......，从第n行像素的第一存储电容和第二存储电容中读出第1帧图像中第n行像素的像素数据；在第3帧图像像素的曝光时间段中，从第1行像素的第一存储电容和第二存储电容中读出第2帧图像中第1行像素的像素数据，从第2行像素的第一存储电容和第二存储电容中读出第2帧图像中第2行像素的像素数据，从第3行像素的第一存储电容和第二存储电容中读出第2帧图像中第3行像素的像素数据，......，从第n行像素的第一存储电容和第二存储电容中读出第2帧图像中第n行像素的像素数据；依此类推，实现每帧图像像素的像素数据的读出。
40.图2为本公开实施例提供的一种图像传感器中像素的电路结构示意图。
41.在本公开实施例中，图像传感器包括由多个像素构成的像素阵列，如像素阵列由n行m列像素构成，n、m均为正整数，图2示出一列像素的第n-1行像素和第n行像素的电路结构，如图2所示，每个像素包括：光电变换单元101，用于在曝光时产生像素数据，像素数据包括像素复位电压和像素曝光电压，并将该像素数据输出至对应的存储单元102；存储单元102，用于存储光电变换单元101输出的像素数据；输出单元103，用于将存储单元102存储的像素数据输出至传输单元104；传输单元104，用于传输像素数据。
42.进一步地，如图2所示，在每个像素中，光电变换单元101包括：光电二极管d0、传输晶体管t01、复位晶体管t02、源极跟随晶体管t03和偏置控制晶体管t04。
43.其中，光电二极管d0的一端接地gnd，另一端连接传输晶体管t01的第二极；传输晶体管t01的控制极连接传输控制信号tg0，传输晶体管t01的第一极连接至浮动节点fd0；复位晶体管t02的第一极连接高电平电压vdd，第二极连接至浮动节点fd0，控制极连接复位控制信号rst0；源极跟随晶体管t03的第一极连接高电平电压vdd，第二极连接至输出节点p0，控制极连接至浮动节点fd0；偏置控制晶体管t04的第一极连接至输出节点p0，第二极接地gnd，控制极连接偏置控制信号bias0。
44.存储单元102包括复位电压存储单元和曝光电压存储单元，复位电压存储单元包括复位电压存储控制晶体管t05和第一存储电容c01，曝光电压存储单元包括曝光电压存储控制晶体管t08和第二存储电容c02。
45.其中，复位电压存储控制晶体管t05的第二极连接至输出节点p0，第一极连接第一存储电容c01的第一端，控制极连接复位电压存储控制信号gssr0；第一存储电容c01的第二端接地gnd。
46.曝光电压存储控制晶体管t08的第二极连接至输出节点p0，第一极连接第二存储电容c02的第一端，控制极连接曝光电压存储控制信号gsss0；第二存储电容c02的第二端接地gnd。
47.传输单元104包括复位电压传输线r和曝光电压传输线s，复位电压传输线r用于传输像素复位电压v
rst
，曝光电压传输线s用于传输像素曝光电压v
sig
。
48.输出单元103包括复位电压输出单元和曝光电压输出单元，复位电压输出单元包括第一输出控制晶体管t06和第二输出控制晶体管t07，曝光电压输出单元包括第三输出控制晶体管t09和第四输出控制晶体管t10。
49.其中，第一输出控制晶体管t06的第一极连接高电平电压vdd，第二极与第二输出控制晶体管t07的第一极连接，控制极连接第一存储电容c01的第一端；第二输出控制晶体管t07的第二极连接复位电压传输线r，控制极连接行选通读出信号gsel《n-1》。
50.第三输出控制晶体管t09的第一极连接高电平电压vdd，第二极与第四输出控制晶体管t10的第一极连接，控制极连接第二存储电容c02的第一端；第四输出控制晶体管t10的第二极连接曝光电压传输线s，控制极连接行选通读出信号gsel《n》，n为像素阵列的行数。
51.在一些实施例中，每一列像素均对应设置有一列传输单元104，即每一列像素均对应设置有一复位电压传输线r和一曝光电压传输线s，每列复位电压传输线r与所在列中每个像素连接，每列曝光电压传输线s与所在列中每个像素连接。图3为本公开实施例提供的一种图像传感器中像素的电路时序示意图，在本公开实施例中，一帧的工作时间可以划分为复位时间段t1和曝光时间段t2，下面结合图2和图3，对本公开实施例的图像处理方法作进一步补充解释说明。
52.需要说明的是，在图像传感器中的所采用的晶体管可以为薄膜晶体管或场效应管或其他具有相同、类似特性的器件，由于采用的晶体管的源极和漏极是对称的，所以其源极、漏极是没有区别的。在本公开实施例中，为区分晶体管的源极和漏极，将其中一极称为第一极，另一极称为第二极，栅极称为控制极。此外按照晶体管的特性区分可以将晶体管分为n型和p型，以下实施例中是以p型晶体管进行说明的，当采用p型晶体管时，第一极为p型晶体管的漏极，第二极为p型晶体管的源极，n型则相反。
53.在下述描述中，均以各晶体管为p型晶体管为例进行描述，此种情形下，可以理解的是，各晶体管在控制极为高电平状态下导通，而在控制极为低电平状态下截止。
54.如图2和图3所示，在第n-1帧中，在该第n-1帧图像像素的复位时间段t1，对该第n-1帧每个像素进行复位处理。具体地，在每个像素中，复位控制信号rst0使能，复位控制信号rst0为高电平，使得复位晶体管t02在高电平作用下导通，同时传输控制信号tg0使能两次，使得传输晶体管t01在高电平作用下导通，从而实现对光电二极管d0和浮动节点fd0进行复位，以清除光电二极管d0和浮动节点fd0上累积的电荷；此外，复位电压存储控制晶体管t05、曝光电压存储控制晶体管t08均为低电平，复位电压存储控制晶体管t05、曝光电压存储控制晶体管t08均截止。
55.在该第n-1帧图像像素的曝光时间段t2，对该第n-1帧每个像素进行曝光处理。具体地，当n-1＝1时，在该第n-1帧图像像素的曝光时间段t2，在每个像素中，复位控制信号rst0使能，复位控制信号rst0为高电平，使得复位晶体管t02在高电平作用下导通，生成像素复位电压v
rst
，像素复位电压v
rst
被写入浮动节点fd0；同时，复位电压存储控制信号gssr0使能，使得复位电压存储控制晶体管t05导通，像素复位电压v
rst
通过导通的源极跟随晶体管t03和导通的复位电压存储控制晶体管t05写入存储单元102中的第一存储电容c01；而后，传输控制信号tg0使能，使得传输晶体管t01在高电平作用下导通，tg0信号中第2个脉冲的下降沿到第3个脉冲的下降沿为曝光时间，光电二极管d0在曝光时产生光电效应，并通过导通的传输晶体管t01将光电效应累积的电荷传输到浮动节点fd0，以生成像素曝光电压v
sig
；同时，曝光电压存储控制信号gsss0使能，gsss0信号的脉冲在tg0信号的第3个脉冲之后产生，使得曝光电压存储控制晶体管t08导通，像素曝光电压v
sig
通过导通的源极跟随晶体管t03和导通的曝光电压存储控制晶体管t08写入存储单元102中的第二存储电容c02。
56.当n-1大于1时，在该第n-1帧图像像素的曝光时间段t2，逐行将行选通读出信号gsel0《1》、gsel1《1》、行选通读出信号gsel0《2》、gsel1《2》、.....、gsel0《n-1》、gsel1《n-1》、gsel0《n》、gsel1《n》使能，以逐行打开每一行像素中的第二输出控制晶体管t07和第四输出控制晶体管t10，以使第一存储电容c01存储的第n-2帧像素的像素复位电压v
rst
经第一输出控制晶体管t06放大后，通过导通的第二输出控制晶体管t07输出至复位电压传输线r，使第二存储电容c02存储的第n-2帧像素的像素曝光电压v
sig
经第三输出控制晶体管t09放大后，通过导通的第四输出控制晶体管t10输出至曝光电压传输线s，通过复位电压传输线r和曝光电压传输线s读出第n-2帧图像中每一行像素的像素数据。
57.而后，在每个像素中，复位控制信号rst0使能，复位控制信号rst0为高电平，使得复位晶体管t02在高电平作用下导通，生成第n-1帧像素的像素复位电压v
rst
，第n-1帧像素的像素复位电压v
rst
被写入浮动节点fd0；同时，复位电压存储控制信号gssr0使能，使得复位电压存储控制晶体管t05导通，偏置控制信号bias0保持使能，偏置控制晶体管t04保持导通，使得源极跟随晶体管t03导通，第n-1帧像素的像素复位电压v
rst
通过导通的源极跟随晶体管t03和导通的复位电压存储控制晶体管t05写入存储单元102中的第一存储电容c01。而后，传输控制信号tg0使能，使得传输晶体管t01在高电平作用下导通，tg0信号中第2个脉冲的下降沿到第3个脉冲的下降沿为曝光时间，光电二极管d0在曝光时产生光电效应，并通过导通的传输晶体管t01将光电效应累积的电荷传输到浮动节点fd0，以生成第n-1帧像素的像素曝光电压v
sig
；而后，曝光电压存储控制信号gsss0使能，gsss0信号的脉冲在tg0信号的第3个脉冲之后产生，使得曝光电压存储控制晶体管t08导通，偏置控制信号bias0保持使能，偏置控制晶体管t04保持导通，使得源极跟随晶体管t03导通，第n-1帧像素的像素曝光电压v
sig
通过导通的源极跟随晶体管t03和导通的曝光电压存储控制晶体管t08写入存储单元102中的第二存储电容c02。
58.在第n-1帧曝光结束后，进入第n帧，在第n帧中，在该第n帧图像像素的复位时间段t1，对该第n帧每个像素进行复位处理。具体地，在每个像素中，复位控制信号rst0使能，复位控制信号rst0为高电平，使得复位晶体管t02在高电平作用下导通，同时传输控制信号tg0使能两次，使得传输晶体管t01在高电平作用下导通，从而实现对光电二极管d0和浮动节点fd0进行复位，以清除光电二极管d0和浮动节点fd0上累积的电荷；此外，复位电压存储控制晶体管t05、曝光电压存储控制晶体管t08均为低电平，复位电压存储控制晶体管t05、曝光电压存储控制晶体管t08均截止。
59.在该第n帧图像像素的曝光时间段t2，逐行将行选通读出信号gsel0《1》、gsel1《1》、行选通读出信号gsel0《2》、gsel1《2》、.....、gsel0《n-1》、gsel1《n-1》、gsel0《n》、gsel1《n》使能，以逐行打开每一行像素中的第二输出控制晶体管t07和第四输出控制晶体管t10，以使第一存储电容c01存储的第n-1帧像素的像素复位电压v
rst
经第一输出控制晶体管t06放大后，通过导通的第二输出控制晶体管t07输出至复位电压传输线r，使第二存储电容c02存储的第n-1帧像素的像素曝光电压v
sig
经第三输出控制晶体管t09放大后，通过导通的第四输出控制晶体管t10输出至曝光电压传输线s，通过复位电压传输线r和曝光电压传输线s读出第n-1帧图像中每一行像素的像素数据。
60.而后，在每个像素中，复位控制信号rst0使能，复位控制信号rst0为高电平，使得复位晶体管t02在高电平作用下导通，生成第n帧像素的像素复位电压v
rst
，第n帧像素的像
素复位电压v
rst
被写入浮动节点fd0；同时，复位电压存储控制信号gssr0使能，使得复位电压存储控制晶体管t05导通，偏置控制信号bias0保持使能，偏置控制晶体管t04保持导通，使得源极跟随晶体管t03导通，第n帧像素的像素复位电压v
rst
通过导通的源极跟随晶体管t03和导通的复位电压存储控制晶体管t05写入存储单元102中的第一存储电容c01。而后，传输控制信号tg0使能，使得传输晶体管t01在高电平作用下导通，tg0信号中第2个脉冲的下降沿到第3个脉冲的下降沿为曝光时间，光电二极管d0在曝光时产生光电效应，并通过导通的传输晶体管t01将光电效应累积的电荷传输到浮动节点fd0，以生成第n帧像素的像素曝光电压v
sig
；而后，曝光电压存储控制信号gsss0使能，gsss0信号的脉冲在tg0信号的第3个脉冲之后产生，使得曝光电压存储控制晶体管t08导通，偏置控制信号bias0保持使能，偏置控制晶体管t04保持导通，使得源极跟随晶体管t03导通，第n帧像素的像素曝光电压v
sig
通过导通的源极跟随晶体管t03和导通的曝光电压存储控制晶体管t08写入存储单元102中的第二存储电容c02。
61.在一些实施例中，在图像传感器中，每个像素均包括第一子像素和第二子像素，第一子像素包括第一存储单元，第二子像素包括第二存储单元。针对每个像素，第一存储单元用于存储第i帧图像中该像素对应的像素数据，第二存储单元用于存储第j帧图像中该像素对应的像素数据。其中，1≤i≤n，1≤j≤n，i为奇数，j为偶数；或者，1≤i≤n，1≤j≤n，i为偶数，j为奇数。
62.在一些实施例中，为了实现第n帧的曝光过程和第n-1帧的像素数据的读出过程同时并行进行，以减少每一帧的工作时间，在每帧图像像素的曝光时间段中，在对该帧图像像素进行曝光处理之后，先将该帧图像像素的像素数据存储至对应的存储单元，以便于在下一帧图像像素的曝光时间段将该帧图像像素的像素数据进行读出。
63.在一些实施例中，针对第i帧图像，对第i帧图像像素进行曝光处理，包括：对第i帧图像像素的第一子像素进行曝光处理；针对第j帧图像，对第j帧图像像素进行曝光处理，包括：对第j帧图像像素的第二子像素进行曝光处理。
64.相应的，针对第i帧图像，在对第i帧图像像素进行曝光处理之后，该图像处理方法还包括：在第i帧图像像素的曝光时间段，将第i帧图像像素的像素数据存储至第i帧图像像素对应的第一存储单元；针对第j帧图像，在对第j帧图像像素进行曝光处理之后，该图像处理方法还包括：在第j帧图像像素的曝光时间段，将第j帧图像像素的像素数据存储至第j帧图像像素对应的第二存储单元。
65.可以理解的是，在图像传感器进行高速摄像时，奇数帧和偶数帧是交替进行工作，因此对于每个像素而言，第一子像素和第二子像素也是交替进行曝光的，相应的，第一子像素的像素数据和第二子像素的像素数据也是交替进行存储的。
66.相应的，在一些实施例中，在第n帧图像像素的曝光时间段中，读出第n-1帧图像像素的像素数据，包括：当n-1＝i时，从第n-1帧图像的每个像素的第一存储单元中，读出第n-1帧图像的每个像素的像素数据；当n-1＝j时，从第n-1帧图像中每个像素的第二存储单元中，读出第n-1帧图像的每个像素的像素数据。
67.示例性的，上述i为奇数，j为偶数，对于第1帧图像，在第1帧图像的曝光时间段，对第1帧图像的每个像素的第一子像素进行曝光处理，并将第1帧图像的每个像素的像素数据存储至第1帧图像的每个像素的第一子像素所对应的第一存储单元；对于第2帧图像，在第2
帧图像的曝光时间段，对第2帧图像的每个像素的第二子像素进行曝光处理，并将第2帧图像的每个像素的像素数据存储至第2帧图像的每个像素的第二子像素所对应的第二存储单元，同时从每个像素的第一子像素对应的第一存储单元中读出第1帧图像的每个像素的像素数据；对于第3帧图像，在第3帧图像的曝光时间段，对第3帧图像的每个像素的第一子像素进行曝光处理，并将第3帧图像的每个像素的像素数据存储至第3帧图像的每个像素的第一子像素所对应的第一存储单元，同时从每个像素的第二子像素对应的第二存储单元中读出第2帧图像的每个像素的像素数据；依此类推，实现每帧图像像素的曝光和像素数据的读出。
68.在一些实施例中，在第n帧图像像素的曝光时间段中，读出第n-1帧图像像素的像素数据，包括：当n-1＝i时，从第n-1帧图像中每行像素的第一存储单元中，逐像素行依次读出第n-1帧图像中每行像素的像素数据；当n-1＝j时，从第n-1帧图像中每行像素的第二存储单元中，逐像素行依次读出第n-1帧图像中每行像素的像素数据。
69.例如，在图像传感器中，像素阵列包括n行m列像素，n、m均为正整数，i为奇数，j为偶数，则，在第2帧图像像素的曝光时间段中，从第1行像素的第一存储单元中读出第1帧图像中第1行像素的像素数据，从第2行像素的第一存储单元中读出第1帧图像中第2行像素的像素数据，从第3行像素的第一存储单元中读出第1帧图像中第3行像素的像素数据，......，从第n行像素的第一存储单元中读出第1帧图像中第n行像素的像素数据；在第3帧图像像素的曝光时间段中，从第1行像素的第二存储单元中读出第2帧图像中第1行像素的像素数据，从第2行像素的第二存储单元中读出第2帧图像中第2行像素的像素数据，从第3行像素的第二存储单元中读出第2帧图像中第3行像素的像素数据，......，从第n行像素的第二存储单元中读出第2帧图像中第n行像素的像素数据；在第4帧图像像素的曝光时间段中，从第1行像素的第一存储单元中读出第3帧图像中第1行像素的像素数据，从第2行像素的第一存储单元中读出第3帧图像中第2行像素的像素数据，从第3行像素的第一存储单元中读出第3帧图像中第3行像素的像素数据，......，从第n行像素的第一存储单元中读出第3帧图像中第n行像素的像素数据；依此类推，实现每帧图像像素的像素数据的读出。
70.在一些实施例中，每个像素的像素数据包括像素的像素复位电压(pixel v
rst
)和像素曝光后产生的像素曝光电压(pixel v
sig
)。在一些实施例中，每个像素的每个存储单元(第一存储单元或第二存储单元)均包括第一存储电容和第二存储电容，其中，第一存储电容用于存储像素的像素复位电压，第二存储电容用于存储像素曝光后产生的像素曝光电压。
71.在一些实施例中，将第i帧图像像素的像素数据存储至第i帧图像像素对应的第一存储单元，包括：将第i帧图像的每个像素的像素复位电压存储至对应的第一存储单元中的第一存储电容；以及，将第i帧图像的每个像素曝光后产生的像素曝光电压存储至对应的第一存储单元中的第二存储电容。
72.当需要读出第i帧图像像素的像素数据时，则从每个像素对应的第一存储单元中的第一存储电容中，读出每个像素的像素复位电压，并从每个像素对应的第一存储单元中的第二存储电容中，读出每个像素的像素曝光电压。
73.在一些实施例中，将第j帧图像像素的像素数据存储至第j帧图像像素对应的第二存储单元，包括：将第j帧图像的每个像素的像素复位电压存储至对应的第二存储单元中的
第一存储电容；以及，将第j帧图像的每个像素曝光后产生的像素曝光电压存储至对应的第二存储单元中的第二存储电容。
74.当需要读出第j帧图像像素的像素数据时，则从每个像素对应的第二存储单元中的第一存储电容中，读出每个像素的像素复位电压，并从每个像素对应的第二存储单元中的第二存储电容中，读出每个像素的像素曝光电压。
75.图4为本公开实施例提供的另一种图像传感器中像素的电路结构示意图。
76.在本公开实施例中，图像传感器包括由多个像素构成的像素阵列，每个像素包括第一子像素和第二子像素，在工作时，第一子像素和第二子像素交替进行曝光，以交替进行像素数据存储。如图4所示，第一子像素包括：第一光电变换单元201，用于在曝光时产生像素数据，像素数据包括像素复位电压和像素曝光电压，并将该像素数据输出至对应的第一存储单元202；第一存储单元202，用于存储第一光电变换单元201输出的像素数据；第一输出单元203，用于将第一存储单元202存储的像素数据输出至第一传输单元204；传输单元204，用于传输像素数据。
77.第二子像素包括：第二光电变换单元201’，用于在曝光时产生像素数据，像素数据包括像素复位电压和像素曝光电压，并将该像素数据输出至对应的第二存储单元202’；第二存储单元202’，用于存储第二光电变换单元201’输出的像素数据；第二输出单元203’，用于将第二存储单元202’存储的像素数据输出至传输单元204；传输单元204，用于传输像素数据。
78.进一步地，如图4所示，在第一子像素中，第一光电变换单元201包括：第一光电二极管d1、第一传输晶体管t11、第一复位晶体管t12、第一源极跟随晶体管t13和第一偏置控制晶体管t14。
79.其中，第一光电二极管d1的一端接地gnd，另一端连接第一传输晶体管t11的第二极；第一传输晶体管t11的控制极连接第一传输控制信号tg1，第一传输晶体管t11的第一极连接至第一浮动节点fd1；第一复位晶体管t12的第一极连接高电平电压vdd，第二极连接至第一浮动节点fd1，控制极连接第一复位控制信号rst1；第一源极跟随晶体管t13的第一极连接高电平电压vdd，第二极连接至第一输出节点p1，控制极连接至第一浮动节点fd1；第一偏置控制晶体管t14的第一极连接至第一输出节点p1，第二极接地gnd，控制极连接第一偏置控制信号bias1。
80.第一存储单元202包括复位电压存储单元和曝光电压存储单元，复位电压存储单元包括复位电压存储控制晶体管t15和第一存储电容c1，曝光电压存储单元包括曝光电压存储控制晶体管t18和第二存储电容c2。
81.其中，复位电压存储控制晶体管t15的第二极连接至第一输出节点p1，第一极连接第一存储电容c1的第一端，控制极连接第一复位电压存储控制信号gssr1；第一存储电容c1的第二端接地gnd。
82.曝光电压存储控制晶体管t18的第二极连接至第一输出节点p1，第一极连接第二存储电容c2的第一端，控制极连接第一曝光电压存储控制信号gsss1；第二存储电容c2的第二端接地gnd。
83.传输单元204包括复位电压传输线r和曝光电压传输线s，复位电压传输线r用于传输像素复位电压v
rst
，曝光电压传输线s用于传输像素曝光电压v
sig
。
84.第一输出单元203包括复位电压输出单元和曝光电压输出单元，复位电压输出单元包括第一输出控制晶体管t16和第二输出控制晶体管t17，曝光电压输出单元包括第三输出控制晶体管t19和第四输出控制晶体管t20。
85.其中，第一输出控制晶体管t16的第一极连接高电平电压vdd，第二极与第二输出控制晶体管t17的第一极连接，控制极连接第一存储电容c1的第一端；第二输出控制晶体管t17的第二极连接复位电压传输线r，控制极连接行选通读出信号gsel《i1》。
86.第三输出控制晶体管t19的第一极连接高电平电压vdd，第二极与第四输出控制晶体管t20的第一极连接，控制极连接第二存储电容c2的第一端；第四输出控制晶体管t20的第二极连接曝光电压传输线s，控制极连接行选通读出信号gsel《i2》。
87.如图4所示，在第二子像素中，第二光电变换单元201’包括：第二光电二极管d2、第二传输晶体管t21、第二复位晶体管t22、第二源极跟随晶体管t23和第二偏置控制晶体管t24。
88.其中，第二光电二极管d2的一端接地gnd，另一端连接第二传输晶体管t21的第二极；第二传输晶体管t21的控制极连接第二传输控制信号tg2，第二传输晶体管t21的第一极连接至第二浮动节点fd2；第二复位晶体管t22的第一极连接高电平电压vdd，第二极连接至第二浮动节点fd2，控制极连接第二复位控制信号rst2；第二源极跟随晶体管t23的第一极连接高电平电压vdd，第二极连接至第二输出节点p2，控制极连接至第二浮动节点fd2；第二偏置控制晶体管t24的第一极连接至第二输出节点p2，第二极接地gnd，控制极连接第二偏置控制信号bias2。
89.第二存储单元202’包括复位电压存储单元和曝光电压存储单元，复位电压存储单元包括复位电压存储控制晶体管t25和第一存储电容c1，曝光电压存储单元包括曝光电压存储控制晶体管t28和第二存储电容c2。
90.其中，复位电压存储控制晶体管t25的第二极连接至第二输出节点p2，第一极连接第一存储电容c1的第一端，控制极连接第二复位电压存储控制信号gssr2；第一存储电容c1的第二端接地gnd。
91.曝光电压存储控制晶体管t28的第二极连接至第二输出节点p2，第一极连接第二存储电容c2的第一端，控制极连接第二曝光电压存储控制信号gsss2；第二存储电容c2的第二端接地gnd。
92.第二输出单元203’包括复位电压输出单元和曝光电压输出单元，复位电压输出单元包括第五输出控制晶体管t26和第六输出控制晶体管t27，曝光电压输出单元包括第七输出控制晶体管t29和第八输出控制晶体管t30。
93.其中，第五输出控制晶体管t26的第一极连接高电平电压vdd，第二极与第六输出控制晶体管t27的第一极连接，控制极连接第一存储电容c1的第一端；第六输出控制晶体管t27的第二极连接复位电压传输线r，控制极连接行选通读出信号gsel《j1》。
94.第七输出控制晶体管t29的第一极连接高电平电压vdd，第二极与第八输出控制晶体管t30的第一极连接，控制极连接第二存储电容c2的第一端；第八输出控制晶体管t30的第二极连接曝光电压传输线s，控制极连接行选通读出信号gsel《j2》。
95.在一些实施例中，每一列像素均对应设置有一列传输单元204，即每一列像素均对应设置有一复位电压传输线r和一曝光电压传输线s，每列复位电压传输线r与所在列中每
个像素的每个子像素连接，每列曝光电压传输线s与所在列中每个像素的每个子像素连接。
96.图5为本公开实施例提供的另一种图像传感器中像素的电路时序示意图，下面结合图4和图5，对本公开实施例的图像处理方法作进一步补充解释说明。
97.需要说明的是，在图像传感器中的所采用的晶体管可以为薄膜晶体管或场效应管或其他具有相同、类似特性的器件，由于采用的晶体管的源极和漏极是对称的，所以其源极、漏极是没有区别的。在本公开实施例中，为区分晶体管的源极和漏极，将其中一极称为第一极，另一极称为第二极，栅极称为控制极。此外按照晶体管的特性区分可以将晶体管分为n型和p型，以下实施例中是以p型晶体管进行说明的，当采用p型晶体管时，第一极为p型晶体管的漏极，第二极为p型晶体管的源极，n型则相反。
98.在下述描述中，均以各晶体管为p型晶体管为例进行描述，此种情形下，可以理解的是，各晶体管在控制极为高电平状态下导通，而在控制极为低电平状态下截止。
99.在本公开实施例中，一帧的工作时间可以划分为复位时间段t1和曝光时间段t2，在图像传感器进行高速摄像时，奇数帧和偶数帧是交替进行工作的，因此对于每个像素而言，第一子像素和第二子像素也是交替进行工作的，下文中以上述i为奇数，j为偶数，在奇数帧中第一子像素工作，在偶数帧中第二子像素工作为例对本公开实施例中像素的工作原理进行详细介绍。
100.如图4和图5所示，在任意一帧中，在该帧图像像素的复位时间段t1，当该帧为奇数帧(如第1帧、第3帧)时，对该帧像素中的第一子像素进行复位处理。具体地，第一复位控制信号rst1使能，第一复位控制信号rst1为高电平，使得第一复位晶体管t12在高电平作用下导通，同时第一传输控制信号tg1使能两次，使得第一传输晶体管t11在高电平作用下导通，从而实现对第一光电二极管d1和第一浮动节点fd1进行复位，以清除第一光电二极管d1和第一浮动节点fd1上累积的电荷；此外，第一复位电压存储控制信号gssr1、第一曝光电压存储控制信号gsss1均为低电平，使得复位电压存储控制晶体管t15、曝光电压存储控制晶体管t18截止。
101.当该帧为偶数帧(如第2帧)时，对该帧像素中的第二子像素进行复位处理。具体地，第二复位控制信号rst2使能，第二复位控制信号rst2为高电平，使得第二复位晶体管t22在高电平作用下导通，同时第二传输控制信号tg2使能两次，使得第二传输晶体管t21在高电平作用下导通，从而实现对第二光电二极管d2和第二浮动节点fd2进行复位，以清除第二光电二极管d2和第二浮动节点fd2上累积的电荷。此外，第二复位电压存储控制信号gssr2、第二曝光电压存储控制信号gsss2均为低电平，使得复位电压存储控制晶体管t25、曝光电压存储控制晶体管t28截止。
102.在该帧图像像素的曝光时间段t2，当该帧为奇数帧(如第1帧、第3帧)时，对该帧像素中的第一子像素进行曝光处理。具体地，第一复位控制信号rst1使能，第一复位控制信号rst1为高电平，使得第一复位晶体管t12在高电平作用下导通，生成像素复位电压v
rst
，像素复位电压v
rst
被写入第一浮动节点fd1，同时，第一复位电压存储控制信号gssr1使能，使得复位电压存储控制晶体管t15导通，像素复位电压v
rst
通过导通的第一源极跟随晶体管t13和导通的复位电压存储控制晶体管t15写入第一存储单元202中的第一存储电容c1；同时，第一传输控制信号tg1使能，使得第一传输晶体管t11在高电平作用下导通，tg1信号中第2个脉冲的下降沿到第3个脉冲的下降沿为曝光时间，第一光电二极管d1在曝光时产生光电
效应，并通过导通的第一传输晶体管t11将光电效应累积的电荷传输到第一浮动节点fd1，以生成像素曝光电压v
sig
；之后，第一曝光电压存储控制信号gsss1使能，gsss1信号的脉冲在tg1信号的第3个脉冲之后产生，使得曝光电压存储控制晶体管t18导通，像素曝光电压v
sig
通过导通的第一源极跟随晶体管t13和导通的曝光电压存储控制晶体管t18写入第一存储单元202中的第二存储电容c2。
103.当该帧为偶数帧(如第2帧)时，对该帧像素中的第二子像素进行曝光处理。具体地，第二复位控制信号rst2使能，第二复位控制信号rst2为高电平，使得第二复位晶体管t22在高电平作用下导通，生成像素复位电压v
rst
，像素复位电压v
rst
被写入第二浮动节点fd2，同时，第二复位电压存储控制信号gssr2使能，使得复位电压存储控制晶体管t25导通，像素复位电压v
rst
通过导通的第二源极跟随晶体管t23和导通的复位电压存储控制晶体管t25写入第二存储单元202’中的第一存储电容c1；同时，第二传输控制信号tg2使能，使得第二传输晶体管t21在高电平作用下导通，tg2信号中第2个脉冲的下降沿到第3个脉冲的下降沿为曝光时间，第二光电二极管d2在曝光时产生光电效应，并通过导通的第二传输晶体管t21将光电效应累积的电荷传输到第二浮动节点fd2，以生成像素曝光电压v
sig
；之后，第二曝光电压存储控制信号gsss2使能，gsss2信号的脉冲在tg2信号的第3个脉冲之后产生，使得曝光电压存储控制晶体管t28导通，像素曝光电压v
sig
通过导通的第二源极跟随晶体管t23和导通的曝光电压存储控制晶体管t28写入第二存储单元202’中的第二存储电容c2。
104.当该帧为第1帧时，则在该帧曝光结束后，进行下一帧工作，即进入第2帧工作。当该帧为第n(n≥2)帧时，则在该帧图像像素的曝光时间段t2中，同时进行第n-1帧图像像素的像素数据的读出，其中，第n帧图像像素的曝光时间段t2的结束时间等于读出第n-1帧图像像素的像素数据的结束时间，在进入第n帧工作时，同时开始进行第n-1帧图像像素的像素数据的读出，直至第n帧图像像素曝光结束。具体地，当n-1＝i，即第n-1帧为奇数帧(如第1帧)时，逐行将行选通读出信号gsel《i1》、行选通读出信号gsel《i2》使能，以逐行打开每一行像素的第一子像素中的第二输出控制晶体管t17和第四输出控制晶体管t20，以使第一存储单元202中第一存储电容c1存储的像素复位电压v
rst
经第一输出控制晶体管t16放大后，通过导通的第二输出控制晶体管t17输出至复位电压传输线r，使第一存储单元202中第二存储电容c2存储的像素曝光电压v
sig
经第三输出控制晶体管t19放大后，通过导通的第四输出控制晶体管t20输出至曝光电压传输线s，通过复位电压传输线r和曝光电压传输线s读出第n-1帧图像中每一行像素中第一子像素的像素数据。
105.当n-1＝j，即第n-1帧为偶数帧(如第2帧)时，逐行将行选通读出信号gsel《j1》、行选通读出信号gsel《j2》使能，以逐行打开每一行像素的第二子像素中的第六输出控制晶体管t27和第八输出控制晶体管t30，以使第二存储单元202’中第一存储电容c1存储的像素复位电压v
rst
经第五输出控制晶体管t26放大后，通过导通的第六输出控制晶体管t27输出至复位电压传输线r，使第二存储单元202’中第二存储电容c2存储的像素曝光电压v
sig
经第七输出控制晶体管t29放大后，通过导通的第八输出控制晶体管t30输出至曝光电压传输线s，通过复位电压传输线r和曝光电压传输线s读出第n-1帧图像中每一行像素中第二子像素的像素数据。
106.在一些实施例中，在读出第n-1帧图像像素的像素数据之后，该图像处理方法还包括：获取每个像素的像素复位电压和像素曝光电压的差值；将该差值转换为数字信号后进
行输出。在一些实施例中，每一列像素均对应设置有一列读出电路，读出电路包含采样放大电路和模数转换adc电路，采样放大电路通过对复位电压传输线r输出的像素复位电压v
rst
和曝光电压传输线s输出的像素曝光电压v
sig
的差值v
rst-v
sig
进行采样和放大，经模数转换adc电路量化处理转换成数字信号后，输出给数字电路(如，图像处理器，isp)进行深度图像处理。
107.在一些实施例中，第n帧图像像素的曝光时间段的结束时间等于读出第n-1帧图像像素的像素数据的结束时间。即，第n帧图像像素的曝光时间和第n-1帧图像像素的像素数据的读出时间同步结束。此种情况下，在相邻两帧中的前一帧曝光结束后，在进行后一帧工作时，不需要等待即可直接开始进行前一帧图像的像素数据的读出，有利于改善像素曝光后累积的光子或电荷的衰减现象。例如，在第1帧曝光结束后，进入第2帧工作时，可直接开始进行第1帧图像的像素数据的读出，且第2帧的曝光结束时间与读出第1帧图像的像素数据的结束时间相同。
108.在一些实施例中，第n帧图像像素的曝光时间段的起始时间等于读出第n-1帧图像像素的像素数据的起始时间。即，第n帧图像像素的曝光时间和第n-1帧图像像素的像素数据的读出时间同步开始。此种情况下，在当前帧曝光结束，而当前帧的上一帧像素数据的读出还未结束时，可以等待上一帧像素数据读取结束再进行当前帧的下一帧工作。
109.在一些实施例中，第n帧图像像素的曝光时间段的起始时间小于读出第n-1帧图像像素的像素数据的起始时间，且第n帧图像像素的曝光时间段的结束时间大于读出第n-1帧图像像素的像素数据的结束时间。即，第n帧图像像素的曝光时间段的起始时间早于读出第n-1帧图像像素的像素数据的起始时间，第n帧图像像素的曝光时间段的结束时间晚于读出第n-1帧图像像素的像素数据的结束时间。
110.在一些实施例中，第n帧图像像素的曝光时间段的起始时间大于读出第n-1帧图像像素的像素数据的起始时间，且第n帧图像像素的曝光时间段的结束时间小于读出第n-1帧图像像素的像素数据的结束时间。即，第n帧图像像素的曝光时间段的起始时间晚于读出第n-1帧图像像素的像素数据的起始时间，第n帧图像像素的曝光时间段的结束时间早于读出第n-1帧图像像素的像素数据的结束时间。此种情况下，在相邻两帧中的前一帧曝光结束后，在进行后一帧工作时，不需要等待即可直接开始进行前一帧图像的像素数据的读出，有利于改善像素曝光后累积的光子或电荷的衰减现象，在后一帧曝光结束后，等待前一帧像素数据读取结束再进行后一帧的下一帧工作。例如，在第1帧曝光结束后，进入第2帧工作时，可直接开始进行第1帧图像的像素数据的读出，在第2帧曝光结束后，等待第1帧像素数据读取结束再进行第3帧工作。
111.在一些实施例中，在对任意一帧图像像素进行曝光处理之前，该图像处理方法还包括：在图像传感器的该帧图像像素的复位时间段，对该帧图像像素进行复位处理。在每帧图像像素进行曝光之前，对每帧图像像素进行复位，以清除像素在上一次曝光时产生的电荷，有利于消除像素上一次操作历史状态的影响。
112.图6为本公开实施例提供的一种图像处理装置的结构示意图。
113.如图6所示，本公开实施例还提供了一种图像处理装置300，该装置300应用于图像传感器，该装置300包括：
114.曝光单元301，用于：在图像传感器的第1帧图像像素的曝光时间段，对第1帧图像
像素进行曝光处理；在第n帧图像像素的曝光时间段，对第n帧图像像素进行曝光处理；
115.读出单元302，用于在第n帧图像像素的曝光时间段，读出第n-1帧图像像素的像素数据；n大于或等于2。
116.在本公开实施例中，图像处理装置300可以按照图像传感器中像素的电路工作时序控制像素阵列的像素电路进行工作，以实现像素的复位、曝光、像素数据的存储和读出等。其中，曝光单元301可以包括上述像素阵列中每个像素的电路结构，读出单元302可以包括上述每列像素对应设置的读出电路。
117.在一些实施例中，曝光单元301包括由多个像素构成的像素阵列，其中每个像素包括：光电变换单元，用于在像素曝光时产生像素数据，像素数据包括像素复位电压和像素曝光电压，并将像素数据输出至对应的存储单元；存储单元，用于存储光电变换单元输出的像素数据；输出单元，用于将存储单元存储的像素数据输出至传输单元；传输单元，用于传输像素数据至读出单元。
118.在一些实施例中，存储单元包括复位电压存储单元和曝光电压存储单元；复位电压存储单元包括复位电压存储控制晶体管和第一存储电容；曝光电压存储单元包括曝光电压存储控制晶体管和第二存储电容。光电变换单元用于：通过导通的复位电压存储控制晶体管将像素复位电压存储至第一存储电容；以及，通过导通的曝光电压存储控制晶体管将像素曝光电压存储至第二存储电容。
119.在一些实施例中，输出单元包括复位电压输出单元和曝光电压输出单元；复位电压输出单元包括第一输出控制晶体管和第二输出控制晶体管，曝光电压输出单元包括第三输出控制晶体管和第四输出控制晶体管；复位电压输出单元用于将第一存储电容中存储的像素复位电压输出至传输单元；曝光电压输出单元用于将第二存储电容中存储的像素曝光电压输出至传输单元。
120.本公开实施例所提供的图像处理装置300，用于实现上述的图像处理方法，具体相关描述可参见上述实施例的图像处理方法中相关的描述，此处不再赘述。
121.此外，本公开实施例还提供了一种图像传感器，该图像传感器可以包括上述实施例提供的图像处理装置。
122.本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其他实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本公开的范围的情况下，可进行各种形式和细节上的改变。