图像传感器、图像采集系统和图像采集方法与流程

1.本发明涉及图像传感器技术领域，具体地，涉及图像传感器、图像采集系统和图像采集方法。


背景技术：

2.随着信息化革命的逐渐深入，智能化设备对于光电信号的采集和交互的需求愈发强烈，在智能手机，智能家居以及未来的自动驾驶，信息化工厂等领域，都对图像采集有着很大的需求。
3.在各类图像传感器之中，互补金属氧化物半导体(complementary metal oxide semiconductor，cmos)型图像传感器近年来获得了长足的发展。如今，它已经取代曾经占主流的电荷耦合器件(charge-coupled device，ccd)型图像传感器成为了图像采集芯片的主流。
4.目前，光学指纹识别已经广泛应用在多种智能识别设备当中，同时，随着移动支付，身份认证的普及，对光学指纹识别的安全性能就提出了更高的要求。
5.在目前的光学指纹识别应用中，通常是在灰阶像素中加入部分彩色像素，通过对图像颜色的判断达到分辨假指纹的效果，然而随着材料科学的发展，假指纹和真指纹的颜色差异缩小，降低了对假指纹的识别效果，进而影响光学指纹识别的安全性。


技术实现要素：

6.鉴于上述问题，本发明的目的在于提供一种图像传感器、图像采集系统和图像采集方法，从而可通过光学图像传感器获得三维图像，提高光学指纹识别的安全性。
7.根据本发明的一方面，提供一种图像传感器，包括：
8.阵列排布的多个像素单元；以及
9.光学组件，设置在所述多个像素单元的上方，用于将从目标的表面反射的光信号引导至所述多个像素单元，每个像素单元用于将接收的光信号转换成电信号，
10.其中，每个所述像素单元包括多个子像素，所述多个子像素具有不同的设计物距，以获得具有景深差异的采集图像。
11.可选地，每个所述像素单元还包括：
12.设置于所述多个子像素的至少部分子像素上的光程材料，所述光程材料用于改变对应子像素的设计物距。
13.可选地，所述像素单元中设计物距不同的多个子像素的所述光程材料的厚度不同。
14.可选地，所述光学组件包括透镜，且设计物距不同的子像素对应的透镜的曲率半径不同。
15.可选地，所述子像素包括：
16.光学感应单元，用于将接收的光信号转化为信号电荷；
17.浮动扩散区，用于将所述信号电荷转换为信号电压，所述信号电压用于表征所述子像素的采集灰阶信息；以及
18.传输器，用于将所述信号电荷传输至所述浮动扩散区。
19.可选地，所述像素单元中的多个子像素的各光学感应单元通过对应的传输器连接至同一个所述浮动扩散区。
20.可选地，所述光学感应单元包括：光电二极管和光电三极管中的至少一个。
21.可选地，所述光学感应单元的感光波段包括可见光波段和红外光波段。
22.可选地，所述采集图像为指纹图像、掌纹图像、虹膜图像中的任意一种。
23.根据本发明的另一方面，提供一种图像采集系统，包括：
24.根据本发明提供的图像传感器；
25.处理模块，用于根据所述图像传感器获得的具有景深差异的采集图像获得三维采集图像。
26.可选地，在感光采集中，所述处理模块配置为执行以下操作：
27.复位所述图像传感器中的多个光学感应单元和浮动扩散区；
28.按照预设顺序依次开启每个像素单元中的多个传输器，并根据采集时间控制所述多个传输器的每一个的开启时间；
29.对所述浮动扩散区转换的信号电压进行积分，获得多个相干图像；
30.对所述多个相干图像进行差分，获得与所述像素单元中的多个子像素一一对应的多个采集图像，并根据所述多个采集图像和对应的子像素的设计物距获得景深差异的采集图像。
31.可选地，所述像素单元中的多个传输器的开启时间一致。
32.可选地，所述图像采集系统设置于智能手机、电脑、指纹采集器、掌纹采集器中的任意一种中。
33.根据本发明的再一方面，提供一种图像采集方法，应用于包括图像传感器的图像采集系统，其中，所述图像传感器包括阵列排布的多个像素单元，每个像素单元包括多个具有不同设计物距的子像素，以及设置于所述多个像素单元上方的光学组件，所述图像采集方法包括：
34.根据具有不同设计物距的多个子像素的采集图像获得具有景深差异的采集图像；
35.将所述具有景深差异的采集图像映射至三维空间，获得三维采集图像。
36.可选地，所述获得具有景深差异的采集图像的步骤包括：
37.复位所述图像传感器中的多个光学感应单元和浮动扩散区；
38.按照预设顺序依次开启每个像素单元中的多个传输器，并根据采集时间控制所述多个传输器的每一个的开启时间；
39.对所述浮动扩散区转换的信号电压进行积分，获得多个相干图像；
40.对所述多个相干图像进行差分，获得与所述像素单元中的多个子像素一一对应的多个采集图像，并根据所述多个采集图像和对应的子像素的设计物距获得景深差异的采集图像。
41.可选地，还包括：
42.根据各有效子像素的位置、设计物距、采集获得的灰阶数据，获得对应景深的采集
图像，所述有效子像素为获得的灰阶数据大于或等于对应的参考灰阶数据的子像素。
43.可选地，所述图像采集方法用于指纹图像、掌纹图像、虹膜图像中的至少一种的采集。
44.可选地，所述图像采集方法被配置于智能手机、电脑、指纹采集器、掌纹采集器中的任意一种中。
45.本发明提供的图像传感器和图像采集方法设计物距差异的子像素，对应实际物距与设计物距一致的位置的子像素可清晰成像，根据清晰成像的子像素的位置及其设计物距，可获得景深不同的多个采集图像，根据该景深不同的多个采集图像，可处理获得三维图像，为光学感应单元的三维成像提供了便利，可用于cmos图像传感器、光学指纹采集设备、光学摄像头等设备。且通过硬件实现物距的差异设计，方便直接获得不同景深的采集图像，可降低后端数据处理的计算量，提高采集速度。
46.本发明提供的图像采集系统包括本发明提供的图像传感器和处理模块，处理模块根据图像传感器获得的景深差异的采集图像处理获得三维图像，数据处理计算量小，处理速度快，效率高。
附图说明
47.通过以下参照附图对本发明实施例的描述，本发明的上述以及其他目的、特征和优点将更为清楚，在附图中：
48.图1a和图1b示出了根据一实施例的指纹采集系统示意图；
49.图2a示出了一般cmos图像传感器的像素电路图；
50.图2b示出了图2a所示的cmos图像传感器的像素电路设置在硅衬底表面上的俯视图；
51.图3a和图3b示出了根据本发明实施例的图像传感器的像素结构示意图；
52.图4示出了根据本发明实施例的图像传感器的子像素光路结构示意图。
具体实施方式
53.以下将参照附图更详细地描述本发明的各种实施例。在各个附图中，相同的元件采用相同或类似的附图标记来表示。为了清楚起见，附图中的各个部分没有按比例绘制。
54.下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
55.图1a和图1b示出了根据一实施例的指纹采集系统示意图。
56.参照图1a和图1b所示，本实施例的光学指纹装置110用于终端设备100，在本实施例中，终端设备100为智能手机，在可选实施例中，终端设备为平板电脑或其它具有显示屏的移动终端或指纹采集器、掌纹采集器等其它终端设备，光学指纹装置110设置在显示屏120下方，从而形成了屏下(under-display)光学指纹系统。
57.光学指纹装置110中的光学感应单元111阵列排布的区域对应指纹检测区域103，手指01按压至指纹检测区域，即可实现指纹输入。
58.光学指纹装置110还包括光学组件112和检测部分114，检测部分包括与光学感应单元111连接的读取电路及其它辅助电路，以根据光学感应单元111光电转换的电信息获得相应的电信号，根据该电信号可获得感光强度；光学组件112设置在光学感应单元111的上
方，其可以具体包括滤光层(filter)、导光层以及其它光学元件，滤光层可以用于滤除穿透手指的环境光，导光层主要用于将从手指表面反射回来的反射光导引至光学感应单元111，进行光学检测。
59.在一具体实现中，光学组件112与光学感应单元111和检测部分114封装在同一个光学指纹模组，其中，导光层可以具体为在半导体硅片上制作而成的准直器(collimator)层或透镜(lens)层，其具有多个准直单元或透镜单元，准直单元可以具体为小孔，从手指反射回来的反射光中，垂直入射至准直单元的光纤可以穿过并被其下方的光学感应单元111接收，而倾斜入射的光线在准直单元内部经过多次反射被衰减掉，因此每一个光学感应单元基本只能接收到其正上方的指纹纹路反射回来的反射光，根据每一个光学感应单元111的感应结果即可检测出手指的指纹图像。
60.在一可选实施例中，显示屏120为具有自发光显示单元的显示屏，比如有机发光二极管(organic light emitting diode，oled)显示屏或微型发光二极管(micro-led)显示屏。以oled显示屏为例，光学指纹装置110可以利用oled显示屏位于指纹检测区域103的显示单元来作为光学指纹检测的激励光源。当手指01按压在指纹检测区域103时，显示屏120像指纹检测区域103上方的手指01发出光束121，该光束121在手指01的表面发生发射形成反射光。基于指纹的嵴(ridge)和峪(vally)对于光的反射能力不同，来自指纹的嵴和峪的反射光具有不同的光强，反射光经过光学组件112后，被光学感应单元111接收并转换为相应的电信号，根据该电信号进行处理可获得指纹图像数据，进而实现指纹的采集功能。
61.图2a示出了一般cmos图像传感器的像素电路图，图2b示出了图2a所示的cmos图像传感器的像素电路设置在硅衬底表面上的俯视图。
62.参照图2a和图2b，一般的cmos图像传感器的像素的主要结构包括：pd(photodiode)：光电二极管(在本实施例中为光电二极管，在可选实施例中为光电三极管等其它光敏元件)，对应设置于cmos像素的感光区域，用于感光，将光转换为信号电荷，转换的信号电荷的量根据感光时间和接收光的强度相关；fd(floating diffusion)：浮动扩散区，用于将信号电荷转换为信号电压；cfd：fd的电容；tg(transfer gate)：传输器，用于将信号电荷传输至fd；rs(reset gate)：重置栅极，可用于设置fd的电压；sf(source follower)：源极跟随器，用于将fd节点的信号电压转换为输出信号；sl(selector transistor)：选择晶体管；adc(analogue-to-digitalconversion)：模拟数字转换器，根据接收的fd的信号电压(sf转换的输出信号，根据sl控制传递至adc)转换为灰阶数据。
63.其中，光电二极管pd作为感光元件，其占用的面积最大，以保障其光电转换的可靠性，对不同尺寸的像素，其传输器tg和浮动扩散区fd的尺寸一般具有固定参数，传输器tg对应晶体管结构，占用面积较浮动扩散区fd大。对应影响像素尺寸的主要因素为光电二极管pd的尺寸，而光电二极管pd的尺寸根据图像的感光采集需求确认，即像素中的各结构的面积占用按照光电二极管pd、传输器tg至浮动扩散区fd的顺序依次减小。需要说明的是，本发明对cmos像素的主要电路结构和物理分布不作特别限制，实际可根据不同的应用需求灵活选择。
64.图3a和图3b示出了根据本发明实施例的图像传感器的像素结构示意图，图4示出了根据本发明实施例的图像传感器的子像素光路结构示意图。
65.光源一般为可见光，对应光电二极管pd的感光波段为可见光波段，在可选实施例
中，采用其它光源，例如红外光，对应的，光电二极管pd的感光波段包括红外光波段，对应采集图像还可以为深层图像(便于支持虹膜图像的采集)，本发明的图像传感器可获得的采集图像例如为指纹图像、掌纹图像、虹膜图像等。
66.参照图3a、图3b和图4，本发明实施例的图像传感器为cmos图像传感器，包括多个阵列排布的像素单元10，其一个像素单元10包括四个子像素(第一子像素1～第四子像素4)，四个子像素的光电二极管(第一光电二极管pd1～第四光电二极管pd4)通过对应的四个传输器(第一传输器tg1～第四传输器tg4)均连接至同一个浮动扩散区fd。
67.共用浮动扩散区fd，可提高像素单元10中的光电二极管pd的可用面积，在有限尺寸内提高光电二极管pd的尺寸，提高图像感光采集效果。
68.各子像素的光电二极管的感光路径上均设置有光学组件，以将从目标的表面反射的光信号引导至各子像素的感光区域，在本实施例中，光学组件包括透镜12(在本实施例中为凸透镜，每一个子像素对应设置有一个透镜，或多个子像素共用一个透镜，其产生的偏差可由后端数据处理矫正，在此不作详述)，以引入透镜成像，且部分子像素对应的光学组件还包括光程材料11，第二子像素2至第四子像素4的感光路径上对应设置有厚度依次增加的光程材料11，同时各透镜12的曲率半径相互差异，通过调节光程材料11的厚度，使各透镜12的实际像距(设计值，对应设计像距)与透镜至对应光电二极管pd的距离一致，在实际物距与设计物距(在本发明中，设计物距可以理解为采集物表面至对应的光电二极管pd的距离，即子像素的设计物距对应其采集图像的景深)一致时，实际像清晰成像于设计像距位置的光电二极管pd上，对应光电二极管pd的感光强度最大。
69.其中，光程材料11例如为透明的玻璃或塑料材料，与光电二极管pd的形状相匹配，例如为方形柱状结构，具体材料例如为硅酸盐玻璃、高硼硅玻璃、聚甲基丙烯酸甲酯、聚苯乙烯、聚碳酸脂、苯乙烯丙烯腈、苯乙烯-甲基丙烯酸甲酯共聚物等，具体材料选择根据实际的光程调整需求和加工难易度进行选择，在此不作详述。
70.在可选实施例中，各透镜12的曲率半径相同，透镜成像的物距越小，像距越大，通过调节光程材料11的厚度，将实际像距调节至透镜至光电二极管pd的实际距离，可实现设计物距的调节。即透镜12的曲率半径一致时，光程材料11的厚度越大，设计物距越小。
71.在可选实施例中，还通过调节透镜12的曲率半径以及透镜12至光电二极管pd的距离来调节对应子像素的设计物距。
72.在可选实施例中，仅通过将各透镜12的曲率半径设计为不同，与其不同的物距-像距匹配关系相对应，在其具有相同的设计像距时，其设计物距不同，以实现设计物距的调节。
73.在实际应用中，根据各方案的实现难度以及实际需求，选择实际的设计物距调节方案，在此不作详述。
74.手指30按压至屏幕20上时，手指的不同表面距离屏幕20的距离不同，在手指各位置的实际物距与对应位置子像素的设计物距一致时，手指对应位置可准确成像于对应子像素的感光区域的光电二极管上，对应子像素采集图像的对比度高。
75.根据预设的物距(设计物距)与各子像素的感光区域的待采集物的表面至透镜的实际距离(实际物距)的差异，光电二极管pd在相同的感光采集时间内转换获得的信号电荷的量不同，对应转换的信号电压不同，根据信号电压获得的灰阶数据也不同(在设计物距相
同的子像素获得的采集图像中，对应像素点的对比度不同)，以实际物距与设计物距一致(具体范围根据实际情况设定，在此不作详述)时采集获得的灰阶数据为参考灰阶数据(不同设计物距的像素对应的参考灰阶数据不同)，将采集获得的灰阶数据大于或等于该参考灰阶数据的子像素记为有效子像素，根据有效子像素的位置和设计物距，可获得对应景深的采集图像，对应获得的三维图像的最小分辨尺寸为一个子像素的尺寸。
76.实际物距与设计物距差异较大时，不能有效成像，对应采集图像的对比度低，该数据去除，对应最终获得的三维图像的对应区域为空(空区域可通过整体的三维图像进行拟合填充补全)。
77.在本实施例中，获得像素单元10中的四个子像素的采集图像的步骤(由对应的图像采集系统的处理模块控制相关操作的执行)包括：
78.对四个子像素的发光二极管(pd1至pd4)和浮动扩散区fd进行复位(复位操作例如开启各传输器，并将浮动扩散区fd的各端接地，释放清空其中的电荷，实现复位)，然后关闭各传输器(tg1至tg4)，在积分时间t1后，依次开启第一传输器tg1、第二传输器tg2、第三传输器tg3和第四传输器tg4(对应四个子像素感光转换的信号电荷向浮动扩散区fd传输)，并分别维持一个采集时间t2(保障光电转换的信号电荷全部传递至浮动扩散区，全部转化为信号电压)，对应的总积分时间为t1 4*t2，获得五个相干图像(对浮动扩散区fd提供的信号电压积分获得，根据子像素的开启顺序进行差分，可获得各子像素的光电转换获得的电荷量，进而获得各子像素感光的灰阶数据)，根据积分时间编号为第零相干图像至第四相干图像，以第四相干图像减去第三相干图像获得第四子像素4的采集图像，以第三相干图像减去第二相干图像获得第三子像素3的采集图像，以第二相干图像减去第一相干图像获得第二子像素2的采集图像，以第一相干图像减去第零相干图像获得第一子像素1的采集图像(以一个子像素为基准，该采集图形对应其灰阶数据)。
79.在本实施例中，设置四种设计物距的子像素，且设计物距的值为等差数列(例如设计物距按照大小排列为0.5、0.6、0.7、0.8(单位：毫米)，各子像素的具体设计物距可在其中任意选择，以第一子像素1至第四子像素4的顺序进行排列，其设计物距可以分别为0.6、0.5、0.7、0.8，或分别为0.8、0.7、0.6、0.5，仅需要确认各子像素的具体设计物距和位置，即可确认获得的采集图像的每一个图像像素的景深，即本技术对各子像素的具体设计物距的基本要求为具有差异，对其各自具体的设计物距和排列方式不作特别限定)，对应透镜12的曲率半径相同或不同，对应设置厚度匹配的光程材料11使其像距均与透镜12至光电二极管pd的距离一致。
80.在可选实施例中，物距差异的子像素为两种、三种或更多种，即一个像素单元中包括的子像素为两个、三个或更多个(与本实施例对应，其两个、三个或更多个的子像素的光电二极管pd通过相应数量的传输器tg连接至同一个浮动扩散区fd)，对应的三维层次不同，对应获得的三维图像的精度不同，实际可根据具体需求进行选择，在此不作特别限定。
81.在本实施例中，一组设计物距差异的子像素(子像素1至子像素4为一组，其彼此之间的设计物距相互差异)集成为一个像素单元，通过一个浮动扩散区fd进行信号电荷至信号电压的转换，可节约浮动扩散区fd的数量，降低浮动扩散区fd的面积占用，在可选实施例中，各子像素单独具有浮动扩散区，各自分别处理，可降低采集时间，提高图像采集速度。
82.在一实施例中，对四个子像素获得的四个图像分别进行辨识处理，对四个图像的
每一个的辨识处理的具体内容可包括：
83.将各采集图像的灰阶数据的最大值与最小值做差，获得灰阶差量，根据灰阶差量，按照灰阶数据的大小对各灰阶数据进行分组，获得平均灰阶数据依次递增或递减的多组灰阶数据(例如0-255的灰阶分为0-63，64-127，128-191，192-255四组)，将多组灰阶数据中最大的一组灰阶数据(例如192-255，即对比度最大的一组图像像素)对应的子像素记为有效子像素，该有效子像素即为采集图像的实际物距与设计物距一致的子像素，根据有效子像素的位置可确认对应景深的采集图像的纹路和位置(或删除其它三组灰阶，留下的像素图像即为对应景深的采集图像)，根据四种景深图像的纹路、景深和位置，将四个图像映射至三维空间，即可获得三维采集图像。
84.四个子像素的设计物距不同，分别根据各自获得的图像的对比度进行自对比，获得对应景深的图像纹路，可无需基于参考灰阶数据的比较即可确认有效子像素。
85.其中，有效子像素的确认还可通过将每一个灰阶数据与参考灰阶数据进行比较，灰阶数据大于或等于参考灰阶数据的子像素即为有效子像素。或者根据各采集图像的对比度，其对比度大于预设参考值的部分图像即为对应景深的采集图像。
86.需要说明的是，本发明主要在于子像素的设计物距的设计，以上示出了可能的几种数据处理方法，但本发明的实施不限于本技术所公开的数据处理方法。
87.本发明的图像传感器和图像采集方法设置物距差异的子像素，对应实际物距与设计物距一致的位置的子像素可清晰成像，根据清晰成像的子像素的位置及其设计物距，可获得景深不同的多个采集图像，根据该景深不同的多个采集图像，可处理获得三维图像，为光学感应单元的三维成像提供了便利，可用于cmos图像传感器、光学指纹采集设备、光学摄像头等设备。且通过硬件实现物距的差异设计，方便直接获得不同景深的采集图像，可降低后端数据处理的计算量，提高采集速度。
88.本发明还提供一种图像采集系统，包括本发明提供的图像传感器和处理模块，处理模块根据图像传感器获得的景深差异的采集图像处理获得三维图像，数据处理计算量小，处理速度快，效率高。
89.依照本发明的实施例如上文所述，这些实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施例。显然，根据以上描述，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地利用本发明以及在本发明基础上的修改使用。本发明仅受权利要求书及其全部范围和等效物的限制。