一种图像传感器和图像信号的处理方法与流程

1.本技术涉及一种图像传感器领域。更具体的，本技术涉及一种用于使像素尺寸微小化的图像传感器和图像信号的处理方法。


背景技术：

2.随着智能手机和智能驾驶技术的发展，用于3d成像的图像传感器技术也备受关注，图像传感器一般包括阵列式的像素单元和用于处理像素单元的处理电路，但随着像素数的增加，带给电路处理的数据量也增加，图像传感器的整体面积也会变大。
3.在3d成像技术中，一般采用飞行时间(time of flight，tof)方法进行距离信息的测量，且该方法还分为直接使用飞行时间(direct time of flight，dtof)测距和间接使用飞行时间(indirect time of flight,itof)测距。对于itof技术，一般采用相位调制技术对接收到的光信号进行调制后测量被测物的距离信息。一般的，不同相位下的信号需要进行处理后才能得到被测物的距离，因此这对于处理电路提出了比较高的要求。
4.另外，由于3d成像的图像传感器都使用金属氧化物半导体(complementary metal oxide semiconductor，cmos)工艺技术，随着工艺尺寸的降低，芯片中的电路的规模的扩大，导致图像传感器的像素单元和处理电路面积之间存在矛盾，因此，需要提出一种可以简化处理电路的像素单元电路，使得处理电路的面积减小。


技术实现要素：

5.为了解决现有技术中存在的问题，本技术提出了一种图像传感器和图像信号的处理方法，该方法通过在像素电路中设置共享的光电转换区和共享的扩散电容，通过扩散电容的转换完成一个像素单元中对不同相位下产生的光生电子进行处理，最终得到不同相位下的积分电荷的差值，进而得到飞行时间。
6.第一方面，提供一种图像传感器，包括：像素单元，该像素单元包括：光电转换装置，该光电转换装置用于将入射光转换为光生电子；至少两个调制装置，该调制装置用于传输所述光电转换装置中的所述光生电子；其中，该至少两个调制装置连接同一个浮动扩散区域，该浮动扩散区域用于处理该素单元中所述存储装置中存储的所述光生电子。
7.该像素单元通过共享扩散电容，该扩散电容用于存储光电转换装置中的光生电子，可以得到该图像传感器接收到的信号的不同相位下的积分电荷的差值，通过不同相位下的积分电荷的差值可以得到被测物体和图像传感器的距离信息，即被测物的深度信息。
8.在第一方面的一些实施例中，该像素单元还包括:至少两个存储装置，该存储装置用于存储所述调制装置传输的该光生电子；至少两个转移装置，该转移装置用于转移该存储装置中存储的该光生电子；该浮动扩散区域通过所述至少两个调制装置与所述至少两个转移装置连接。
9.在第一方面的一些实施例中，该图像传感器还包括第一复位装置，用于复位所述光电转换装置。
10.在第一方面的一些实施例中，该调制装置设置在像素单元内部。
11.在第一方面的一些实施例中，该调制装置和存储装置都设置在像素单元的内部。
12.在第一方面的一些实施例中，该像素单元中的光电转换装置用于收集所述图像传感器中接收到的光信号的不同相位的光生电子。
13.第二方面，提供了一种图像信号的处理方法，包括：接收光信号，将所述光信号转化为电信号；存储所述电信号，所述电信号分别存储在至少两个存储装置中；传输所述至少两个存储装置中的电信号，所述电信号被传输至同一个浮动扩散区域；处理所述浮动扩散区域中收集到的电荷；输出图像信号。
14.通过将至少两个存储装置中的信号传输到一个浮动扩散区域中，通过浮动扩散电容处理两个装置中的信号，可以得到图像传感器中接收到的信号的不同相位下的积分电荷的差值，通过不同相位下的积分电荷的差值可以得到被测物体和图像传感器的距离信息，即被测物的深度信息。
15.在第二方面的一些实施例中，在处理浮动扩散区域中收集到的电荷之前，所述方法还包括：对所述浮动扩散区域进行复位操作，使得所述浮动扩散区域中的电荷数为常数。
16.在第二方面的一些实施例中，传输所述至少两个存储装置中的电信号是同时传输。
17.在第二方面的一些实施例中，至少两个存储装置中的电信号是不同相位的光信号对应的电信号。
附图说明
18.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
19.图1是本技术实施例提供的图像传感器的一结构图；
20.图2是本技术实施例提供的图像传感器的又一结构图；
21.图3是本技术实施例提供的图像传感器的再一结构图；
22.图4是本技术实施例提供的图像传感器的另一结构图；
23.图5是本技术实施例提供的图像传感器的架构图；
24.图6是3d图像传感器测距的原理示意图；
25.图7是本技术实施例提供的图像信号处理方法的流程图。
具体实施方式
26.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。
27.因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术中的实施例，本领域普通
技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
28.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
29.需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
30.传统的图像传感器，包括像素部，像素部包括以阵列排布的像素单元，该像素部用于接收光信号并生成光生电信号，后级电路对该光生电信号积分，并将积分后的电压处理放大和读出，最终得到图像信息。
31.对于一些需要根据飞行时间测量对象的深度信息的3d图像传感器，像素单元中包括光电转换装置，例如，光电二极管用于接收从被测物体反射至图像传感器的光信号，并将该光信号转换为电信号，更具体地，是图像传感器中的接收阵列，即像素阵列中的光电二极管接收到被测物体反射的光信号后，将光信号中的光子转换为光生电子，此外，像素阵列中的像素单元还包括调制装置，调制装置也称为传输栅，用于调节光电二极管的感光区域的电场方向，并将其中的光生电子按照一定的电场方向输出，像素阵列中的像素单元还包括存储装置，该存储装置用于存储从调制装置中输出的光生电子。
32.一般地，由于itof测距原理，图像传感器中的像素阵列需要采样至少两个被被测物体反射的调制信号的相位信息，并根据该至少两个调制信号的相位信息，计算得到被测物体的距离。
33.因此，对于间接采用飞行时间进行距离测量的图像传感器中组成像素阵列的像素单元，除光电二极管外，其包括至少两个调制装置，该调制装置用于传输光电二极管中的光生电子，对该光生电子的处理后，则可以得到被测物体的距离信息。
34.一般地，每个调制装置需要连接一个浮动扩散区域，对于图像传感器的芯片面积而言，浮动扩散区域的面积占主要部分，芯片的面积与芯片的成本成正比，因此，本技术提出了一种可以节约芯片面积的像素电路，更具体地，通过两个调制装置连接同一个浮动扩散区域，不仅可以减小单个像素单元处理电路的面积，还可以通过浮动扩散区域的连接，对接收到的信号进行简单处理后输出。
35.如图1所示，像素单元包含两个调制装置102，112，一个光电转换装置101，和一个浮动扩散区105，调制装置102，112可以通过调制栅pg1,pg2实现，光电转换装置101可以通过光电二极管pd实现。该调制装置102，112连接至同一个浮动扩散区域105，浮动扩散区105连接至源极跟随器107的栅极。
36.通过连接同一个浮动扩散区105可以对两个调制装置102转移出的光生电子同时处理和读出，相比于分别读出至不同扩散区域后再进行读出处理，简化了后级电路的复杂度。
37.在另一类像素单元中，不仅包括光电转换装置和调制装置，还包括存储装置和转移装置，存储装置用于存储调制装置传输的光生电子，转移装置用于转移所述存储装置中存储的所述光生电子，此时，浮动扩散区域通过调制装置与转移装置连接。
38.下面，结合图2，以光电转换装置为光电二极管(photo diode，pd),调制装置为调
制栅，存储装置为电容，转移装置为传输栅，浮动扩散区(floating diffussion，fd)为浮动电容为例，详细说明本技术提供的图像传感器的结构。
39.如图2所示，以像素单元包含两个调制栅202，212和两个存储电容104，114为例，该像素单元结构也可以被称为双阱结构，即两tap结构，201接收光信号，并将其转换为光生电子，该光生电子可以分别存储于电容204和电容214中，当传输栅203和/或213打开时，即tx1和tx2信号为高电平时，存储与电容204和/或214上的电荷分别被转移到电容205的两个极板上，该电容105的一个极板还连接至源极跟随器(source follow，sf)207的栅极节点，该sf207的源极节点连接至信号输出线，漏极节点连接至选通晶体管206的源极节点，该选通晶体管106用于控制该像素单元的信号输出。
40.可以看出，itof像素中两tap结构通过两个传输栅连接至同一扩散电容，相较于每个传输栅都连接扩散电容的结构相比，面积减小，此外，一个扩散电容可以对两tap中积累的电荷进行叠加处理，从而简化了后级电路的复杂度。
41.需要说明的是，该两tap结构仅仅是本技术中具体实施例的一种，该像素结构也可以是三tap结构，即像素电路中包括三个调制栅和三个存储电容，后续处理电路根据这三个存储电容中的电信号的信息，计算得到被测物体的距离信息，即被测物的深度图像。
42.此外，该像素结构也可以是4tap结构，即像素电路中包括四个调制栅和四个存储电容，一般的，itof测距原理常常使用被测物体反射的回波信号的四个相位的信息得到被测物的距离信息，即得到被测物的深度图像。
43.可选地，该图像传感器还包括第一复位装置，用于复位所述光电转换装置。
44.下面，结合图3，以复位装置308是复位晶体管为例，详细说明包含该复位装置的传感器的工作过程。
45.首先，在该pd接收光信号之前，首先通过复位装置308对pd进行复位，将其电荷置为常数，具体地，晶体管308的栅极rst接收高电平，将复位晶体管打开，此时，与该复位晶体管连接的pd被复位；然后，该晶体管308的栅极rst的电压降低；随后，像素单元中的两个调制栅302和/或312的栅极pg1和/或pg2接收高电平信号，将pd中的光生电子转移至电容器q11和/或q21，然后该调制栅接收到的电平降为低电平，此时，电荷被存储在电容器q11和/或q21上；之后，传输晶体管303和/或晶体管313的栅极tx1和/或tx2接收高电平信号,电容q11和/或q21中存储的电荷通过晶体管303和/或晶体管313转移至fd的左和/或右极板上；最后，选通晶体管306的栅极sel接高电平信号，选通晶体管306导通，该像素单元中积累的光电荷通过源极跟随器307输出至像素阵列中的列读出信号线(图中未示出)。
46.需要说明的是，上述实施例中的晶体管均以n型金属氧化物半导体(n-metal oxide semiconductor，nmos)为例，并不代表本技术的晶体管仅仅被限定为nmos，一般的，本技术中的所有晶体管也可以是p型金属氧化物半导体(p-metal oxide semiconductor，pmos)。
47.可选地，该像素单元中的光电转换装置用于收集所述图像传感器中接收到的光信号的不同相位的光生电子。
48.下面，结合图4，详细说明本技术提出的传感器的像素电路在四相位测距原理下的工作流程。
49.s1，复位晶体管408的栅极电压连接至复位脉冲信号，首先将pd复位。
50.s2，调制栅402的栅极pg1连接至脉冲信号，pd接收调制信号为0
°
相位下的光信号，并将该相位下的光信号转换为电子，通过调制栅402传输至电容404上，并在该电容404上进行电荷的累计，即形成0
°
相位下的积分电荷。
51.s3，调制栅412的栅极pg2连接至脉冲信号，pd接收调制信号为180
°
相位下的光信号，并将该相位下的光信号转换为电子，通过调制栅412传输至电容414上，并在该电容414上进行电荷的累计，即形成180
°
相位下的积分电荷。
52.s4，将传输栅403和传输栅413的栅极tx1和tx2连接至脉冲信号，将0
°
相位下的积分电荷和180
°
相位下的积分电荷传输至fd电容器405的左右极板上，根据电容的原理，该电容可以输出该两个相位下的积分电荷的差值。
53.需要说明的是传输栅403和传输栅413的栅极tx1和tx2可以同时连接至脉冲信号的高电平，也可以是不同时连接至脉冲信号的高电平。
54.s5，调制栅422的栅极pg3连接至脉冲信号，pd接收调制信号为90
°
相位下的光信号，并将该相位下的光信号转换为电子，通过调制栅422传输至电容424上，并在该电容424上进行电荷的累计，即形成0
°
相位下的积分电荷。
55.s6，调制栅432的栅极pg4连接至脉冲信号，pd接收调制信号为270
°
相位下的光信号，并将该相位下的光信号转换为电子，通过调制栅432传输至电容434上，并在该电容434上进行电荷的累计，即形成270
°
相位下的积分电荷。
56.s7，将传输栅423和传输栅433的栅极tx3和tx4连接至脉冲信号，将90
°
相位下的积分电荷和270
°
相位下的积分电荷传输至fd电容器405的左右极板上，根据电容的原理，该电容可以输出该两个相位下的积分电荷的差值。
57.需要说明的是传输栅423和传输栅433的栅极tx3和tx4可以同时连接至脉冲信号的高电平，也可以是不同时连接至脉冲信号的高电平。
58.s8，该像素电路中的后级电路根据该两次输出的四相位下的信号的差值计算被测物体的距离信息。
59.一般地，后级电路包括模拟数字转换电路(analog to digital converter，adc)，存储器memory，该像素单元组成的像素阵列的外围电路还包括行选电路和列读出电路，如图5所示，为图像传感器的电路模块示意图，具体地，当图像传感器接收到被测物体的反射光信号时，其中的像素阵列504中的每个像素单元都接收光信号，此时，行选模块501控制像素阵列504中的一行或者多行的传输晶体管打开，将被选中的像素单元行的积分电流读出至列adc模块205，该列adc模块502中包含多个adc，每个adc连接至一列像素连接的像素读出信号线，上述积分电荷通过该像素读出信号线输入至列adc中，列adc电路对该电流进行采样和转换，将模拟电流信号转换为数字信号，并存储在列读出模块503的存储器中。
60.需要说明的是，上述实施例中的晶体管均以nmos为例，并不代表本技术的晶体管仅仅被限定为nmos，一般的，本技术中的所有晶体管也可以是pmos。
61.可选地，该调制装置可以设置在像素单元内部，或者该调制装置和存储装置都均设置在像素单元的内部。
62.因此，本技术提出的图像传感器通过改进像素单元中的电路结构，使得后续电路的信号处理简化，节省了处理电路的面积。
63.此外，本技术还提供了一种用于上述图像传感器的图像信号的处理方法，下面结
合图6和图7详细解释该方法的每个步骤。
64.如图6所示，利用3d图像传感器进行测距的一般原理是通过发射装置601发射激光脉冲信号至被测物体603，被测物体603反射该脉冲信号至接收装置602，接受装置602包括图像传感器，该图像传感器对接收到的光信号进行处理后，得到被测物体的距离信息。
65.具体地，itof测距系统则通过测量每个像素的主动照明往返时间的延迟，利用该延迟与场景中到对象的距离成比例，最终通过以下方程将延迟转换为距离：
[0066][0067][0068]
其中，c为光速，q0，q90，q180，q270为调制信号的不同相位下的电荷量，调制信号用于解调接收模块接收到的脉冲信号，fmod为调制信号的频率。
[0069]
下面，结合图7所示，详细说明本技术提供的图像信号的处理方法如下：
[0070]
s701，接受光信号，并将光信号转换为电信号。
[0071]
该光信号为发射模块发射的脉冲信号经过被测物体反射后的光信号，图像传感器中的像素单元中的光电转换模块，例如光电管二极管，接收该光信号后生成对应的电信号。
[0072]
需要说明的是，该生成的电信号是至少两个不同相位调制信号调制下的电信号，例如0
°
，180
°
相位下的电信号，或者0
°
，90
°
,180
°
,270
°
为调制信号的不同相位下的电荷量。
[0073]
s702,存储电信号，并将该电信号存储在至少两个存储器件中。
[0074]
如上所述，该电信号为至少两个不同相位调制信号调制下的电信号，并将不同的相位调制信号调制下的电信号存储在不同的存储器件中。
[0075]
需要说明的是，该电信号可以为电荷量，该存储器件可以为电容器或者其他可以存储电信号。
[0076]
s703,传输电信号，该电信号被传输至同一浮动扩散区。
[0077]
需要说明的是，传输该电信号可以通过传输栅进行控制，将该电信号传输至一个浮动扩散区，该浮动扩散区可以是浮动扩散电容。该传输可以是同时传输也可以是不同时传输。
[0078]
例如，可以同时将存储在电容器上的两个相位下的电信号，如0
°
，180
°
的电信号传输至浮动扩散电容的两个极板上，也可以，先将电容器上的0
°
相位下的信号传输至浮动扩散电容的一个极板上，再将电容器上的180
°
相位下的信号传输至浮动扩散电容的另一个极板上。
[0079]
再如，可以同时将存储在电容器上的四个相位中的两个相位下的电信号，如0
°
，90
°
,180
°
,270
°
中的0
°
和180
°
相位下的电信号传输至浮动扩散电容的两个极板上；然后，再将90
°
和270
°
相位下的电信号传输至浮动扩散电容的两个极板上；也可以，先将电容器上的0
°
相位下的信号传输至浮动扩散电容的一个极板上，再将电容器上的180
°
相位下的信号传输至浮动扩散电容的另一个极板上，随后输出该两相位的信号，随后，将电容器上的90
°
相位下的信号传输至浮动扩散电容的一个极板上，再将电容器上的270
°
相位下的信号传输至浮动扩散电容的另一个极板上，随后输出该两相位的信号。
[0080]
s704,根据浮动扩散区的电信号，输出信号。
[0081]
根据浮动扩散区的特性，例如根据浮动电容的特性，由于电容两个极板积累了两个不同相位下的电荷，通过该电容可以得到这两个不同相位的电荷的差值，并将其输出，这样后级电路就可以直接获得两个不同相位的电荷的差值而不用再单独处理。
[0082]
例如，将0
°
和180
°
相位下的电信号传输至浮动扩散电容的两个极板上，则扩散电容输出这两相位的电信号的差值，该电信号可以为电荷量，也可以将0
°
和180
°
相位的电信号的差值和90
°
和270
°
相位的电信号的差值分两次输出。
[0083]
后级电路根据该差值信号进行进一步的处理，例如对该信号进行模拟信号的数字化。
[0084]
因此，本技术提出的图像信号的处理方法可以通过同一浮动扩散区处理不同相位下的电信号，并输出处理后的值，例如，输出两个相位的电荷量的差值。
[0085]
本领域技术人员可以明白的是，结合本文中所公开的实施例描述的各示例的单元及算法步骤能够以电子硬件、或者软件和电子硬件的结合来实现。这些功能是以硬件还是软件方式来实现，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以针对每个特定的应用，使用不同的方式来实现所描述的功能，但是这种实现并不应认为超出本技术的范围。
[0086]
在本技术实施例中，所公开的系统、装置和方法可以通过其它方式来实现。例如，单元的划分仅仅为一种逻辑功能划分，在实际实现时还可以有另外的划分方式。例如，多个单元或组件可以进行组合或者可以集成到另一个系统中。另外，各个单元之间的耦合可以是直接耦合或间接耦合。另外，在本技术实施例中的各功能单元可以集成在一个处理单元中，也可以是单独的物理存在等等。
[0087]
应当注意，尽管在上文详细描述中提及了装置的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
[0088]
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
[0089]
虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。