指纹活体识别装置以及指纹模组的制作方法

1.本发明涉及成像技术领域，尤其涉及一种指纹活体识别装置以及指纹模组。


背景技术：

2.在现代信息社会，日常生活中有大量需要用户进行指纹身份验证的场景，极大提升了人们生活的便利性。
3.现有技术往往通过指纹图像信息来验证用户是否为本人，但此类技术可以通过贴纸、3d打印的模型等进行破解，无法保证其安全性。


技术实现要素：

4.本发明实施例提供一种指纹活体识别装置以及指纹模组，用以解决现有技术中存在的缺陷。
5.本发明实施例提供一种指纹活体识别装置，包括：显示屏幕、光源模块、光谱成像芯片、信号处理电路模块以及识别模块，所述显示屏幕上设置有指纹检测区域；所述光源模块用于照射所述指纹检测区域内的待检测对象，经所述待检测对象反射后得到的目标光束入射至所述光谱成像芯片上；所述光谱成像芯片与所述信号处理电路模块为独立的两个部分或者所述信号处理电路模块集成在所述光谱成像芯片内；
6.所述光谱成像芯片用于确定所述目标光束照射后所述光谱成像芯片的光调制层中每个调制单元对应的像素点的频谱信息以及所述光调制层中每个非调制单元对应的像素点的光强信息；所述信号处理电路模块用于基于所述频谱信息确定所述待检测对象的光谱信息，并基于所述光强信息确定所述待检测对象的图像信息；所述识别模块用于基于所述待检测对象的光谱信息以及图像信息，识别所述待检测对象是否为目标用户的活体指纹。
7.根据本发明一个实施例的指纹活体识别装置，所述光谱成像芯片包括：沿厚度方向顺次层叠设置的光调制层和图像传感层；所述光调制层沿表面分布有至少一个调制单元和至少一个非调制单元；所述图像传感层沿表面分布有多个感应单元，且每个调制单元以及每个非调制单元沿所述厚度方向分别对应至少一个传感单元；所述信号处理电路模块与所述传感单元电连接。
8.根据本发明一个实施例的指纹活体识别装置，所述信号处理电路模块具体用于：
9.基于所述目标光束照射后每个调制单元周围的多个非调制单元对应的像素点的光强信息，确定每个调制单元对应的像素点的拟合光强信息；
10.基于每个调制单元对应的像素点的拟合光强信息，以及每个非调制单元对应的像素点的光强信息，确定所述待检测对象的图像信息。
11.根据本发明一个实施例的指纹活体识别装置，所述信号处理电路模块具体用于：
12.基于平滑滤波方法，对任一调制单元周围的至少一个非调制单元对应的像素点的光强信息进行滤波处理，得到所述任一调制单元对应的像素点的拟合光强信息。
13.根据本发明一个实施例的指纹活体识别装置，所述信号处理电路模块还具体用于：
14.将所述目标光束照射后所有非调制单元对应的像素点所述光谱成像芯片得到的初始图像输入至拟合模型，得到由所述拟合模型输出的所述待检测对象的图像信息；
15.所述拟合模型基于对抗神经网络构建，所述拟合模型基于存在空白像素的空缺样本图像以及所述空缺样本图像对应的不存在空白像素的完整样本图像训练得到。
16.根据本发明一个实施例的指纹活体识别装置，所述光调制层中的每个调制单元均包括多个调制子单元，每个调制子单元为孔状结构或柱状结构。
17.根据本发明一个实施例的指纹活体识别装置，每个调制单元中为所述孔状结构的不同调制子单元的孔截面形状不完全相同；和/或，
18.每个调制单元中为所述孔状结构的不同调制子单元的结构参数不完全相同。
19.根据本发明一个实施例的指纹活体识别装置，每个调制单元中为所述柱状结构的不同调制子单元的结构形状以及柱高度相同，且所有调制子单元在每个调制单元中的排列具有c4对称性。
20.根据本发明一个实施例的指纹活体识别装置，所述柱状结构的调制子单元为一体成型，或由多层调制柱层叠而成。
21.根据本发明一个实施例的指纹活体识别装置，还包括：透镜组；
22.所述光源模块设置于所述显示屏幕与所述光谱成像芯片之间，所述透镜组设置于所述光源模块与所述光谱成像芯片之间；或者，
23.所述光源模块设置于所述显示屏幕的非指纹检测区域的下方，所述透镜组与所述光谱成像芯片顺次设置于所述指纹检测区域的下方；
24.所述透镜组用于将所述目标光束准直入射至所述光谱成像芯片上，以使所述目标光束在所述光谱成像芯片上成像。
25.本发明实施例提供一种指纹模组，包括：光谱成像芯片以及电路板，所述光谱成像芯片电连接于所述电路板；
26.其中，所述光谱成像芯片沿厚度方向顺次层叠设置的光调制层、图像传感层和信号处理电路模块；其中，所述光调制层沿表面分布有至少一个调制单元和至少一个非调制单元；所述图像传感层沿表面分布有多个传感单元，且每个调制单元以及每个非调制单元沿所述厚度方向分别对应至少一个传感单元。
27.根据本发明一个实施例的指纹模组，还包括：补强板，所述补强板被贴附于所述电路板。
28.根据本发明一个实施例的指纹模组，还包括：封装部，所述封装部成型于所述电路板上表面。
29.根据本发明一个实施例的指纹模组，还包括：遮光部，所述遮光部被设置于所述封装部上表面。
30.本发明实施例提供的指纹活体识别装置以及指纹模组，指纹活体识别装置包括显示屏幕、光源模块、光谱成像芯片、信号处理电路模块以及识别模块，所述显示屏幕上设置有指纹检测区域，通过光源模块照射指纹检测区域内的待检测对象，经待检测对象反射后得到的目标光束入射至光谱成像芯片上，由光谱成像芯片确定出频谱信息以及光强信息，
并由信号处理电路模块确定出待检测对象的光谱信息以及图像信息，最后通过识别模块根据待检测对象的光谱信息以及图像信息，识别出待检测对象是否为目标用户的活体指纹。本发明实施例中提供的指纹活体识别装置，与现有的指纹识别装置相比，可以实现指纹活体识别，有利于提高器件性能的稳定性，同时减小光谱器件的体积、重量和成本，极大提高了指纹识别系统的防伪能力。而且，本发明实施例中采用的光谱成像芯片，与传统的图像传感器相比，可以在不影响所成图像的空间分辨率及成像质量的同时，获得光谱信息，便于掌握待检测对象更全面的信息。另外，由于待检测对象的光谱信息可以用于唯一标识待检测对象，因此可以通过待检测对象的光谱信息判断待检测对象是否是目标用户的活体指纹，可以提高检测的准确性，使通过指纹活体识别装置实现的指纹身份验证更加安全可靠。
附图说明
31.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
32.图1a是本发明提供的指纹活体识别装置的结构示意图；
33.图1b是本发明提供的指纹活体识别装置的俯视图；
34.图2是本发明提供的指纹活体识别装置中光谱成像芯片的结构示意图；
35.图3是本发明提供的光谱成像芯片中光调制层的结构示意图；
36.图4是本发明提供的光谱成像芯片中光调制层的结构示意图；
37.图5是本发明提供的光谱成像芯片中光调制层的结构示意图；
38.图6是本发明提供的光谱成像芯片中光调制层的结构示意图；
39.图7是本发明提供的光谱成像芯片中调制柱的结构形状示意图；
40.图8是本发明提供的光谱成像芯片中调制柱的纵截面形状示意图；
41.图9是本发明提供的指纹活体识别装置中光谱成像芯片的结构示意图；
42.图10是本发明提供的光谱成像芯片中调制柱的结构示意图；
43.图11是本发明提供的指纹活体识别装置的结构示意图；
44.图12是本发明提供的指纹活体识别装置的结构示意图；
45.图13是本发明提供的光谱成像芯片中光调制层的结构示意图；
46.图14是本发明提供的光谱成像芯片中光调制层的结构示意图；
47.图15是本发明提供的光谱成像芯片中光调制层的结构示意图；
48.图16是本发明提供的光谱成像芯片中光调制层的结构示意图；
49.图17是本发明提供的光谱成像芯片中光调制层与图像传感层的结构示意图；
50.图18是本发明提供的光谱成像芯片中cis晶圆的结构示意图；
51.图19是本发明提供的光谱成像芯片中cis晶圆的结构示意图；
52.图20a是本发明提供的光谱成像芯片的结构示意图；
53.图20b是本发明提供的光谱成像芯片的结构示意图；
54.图21是本发明提供的光谱成像芯片的结构示意图；
55.图22是本发明提供的光谱成像芯片的结构示意图；
56.图23是本发明提供的光谱成像芯片的结构示意图；
57.图24是本发明提供的光谱成像芯片的结构示意图；
58.图25是本发明提供的光谱成像芯片的结构示意图；
59.图26是本发明提供的光谱成像芯片的结构示意图；
60.图27是本发明提供的光学指纹识别组件的结构示意图；
61.图28是本发明提供的指纹模组的结构示意图；
62.图29是本发明提供的指纹模组的结构示意图。
具体实施方式
63.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
64.在现代信息社会，日常生活中有大量需要用户进行指纹身份验证的场景，极大提升了人们生活的便利性。现有技术往往通过指纹图像信息来验证用户是否为本人，但此类技术可以通过贴纸、3d打印模型等进行破解，无法保证其安全性。为此，本发明实施例中提供一种指纹活体识别装置，用以确定待检测对象是否是用户本人的活体指纹。
65.图1a为本发明实施例中提供的一种指纹活体识别装置的结构示意图，图1b为本发明实施例中提供的一种指纹活体识别装置的俯视图。如图1a和图1b所示，该指纹活体识别装置包括：显示屏幕300、光源模块200、光谱成像芯片100、信号处理电路模块以及识别模块400。图1a和图1b中并未单独示出信号处理电路模块，因为信号处理电路模块既可以集成在光谱成像芯片100内，也可以在指纹活体识别装置中作为一个独立于光谱成像芯片100的部分，例如可以是计算机等，本发明实施例中对此不作具体限定。显示屏幕300可以包括盖板玻璃、触控模组和显示模组。显示屏幕300上设置有指纹检测区域301，可以将待检测对象500放置于指纹检测区域301内。待检测对象500可以是用户本人的活体指纹，也可以是其他人的活体指纹，还可以是携带有指纹信息的贴纸、3d打印模型等，本发明实施例中对此不作具体限定。
66.光源模块200用于照射指纹检测区域内的待检测对象500，光源模块200既可以是独立于显示屏幕的单独部分，例如led光源，或者是某个波长的激光光源，如940nm的激光等。除此之外，光源模块还可以集成于显示屏幕300内，是显示屏幕300中自发光显示模组的一部分，本发明实施例中对此不作具体限定。光源模块200的上表面可以设置有透镜，用于汇聚光源模块发出的光束。
67.经待检测对象500反射后可以得到目标光束，该目标光束入射至光谱成像芯片100上。目标光束照射后，光谱成像芯片100的光调制层中每个调制单元对应的像素点均具有频谱信息，光调制层中每个非调制单元对应的像素点均具有光强信息。频谱信息是指每个调制单元对应的像素点处不同波长的光对应的光强信息。不同的调制单元对不同波长光调制作用可能相同也可能不同，可以根据需要进行设定，本发明实施例中对此不作具体限定。因此，光谱成像芯片100可以确定出频谱信息以及光强信息。然后由信号处理电路模块根据频谱信息和光强信息分别确定出待检测对象500的光谱信息和图像信息。当信号处理电路模
块集成在光谱成像芯片内时，可以认为是光谱成像芯片具有确定待检测对象500的光谱信息和图像信息的功能。
68.在指纹活体识别装置中，光源模块到显示屏幕的垂直距离可以在0mm-30mm之间取值，相应地，光源模块到光谱成像芯片的垂直距离可以在0mm-30mm之间取值。光源模块到显示屏幕的垂直距离还可以在0.5mm-20mm之间取值，相应地，光源模块到光谱成像芯片的垂直距离可以在0.5mm-20mm之间取值。值得一说的，举例个别实施例中光谱成像芯片通过粘合剂被贴附于所述显示屏幕，即使光谱成像芯片与所述显示屏幕之间具有粘合剂，也可以理解为其距离为0mm，即由于组装、固定等造成的误差并不影响本发明出发点。
69.识别模块400与信号处理电路模块电连接，识别模块400可以获取信号处理电路模块确定出的待检测对象500的光谱信息和图像信息，并根据待检测对象500的光谱信息以及图像信息，识别待检测对象500是否为目标用户的活体指纹。在识别模块400中可以事先存储有目标用户的指纹图像信息以及指纹光谱信息，首先可以将光谱成像芯片100确定的待检测对象500的图像信息与识别模型400中事先存储的目标用户的指纹图像信息进行比对，如果二者相同或误差在预设范围内，则可以确定待检测对象是属于目标用户本人的对象。然后，再将光谱成像芯片100确定的待检测对象500的光谱信息与识别模型400中事先存储的指纹光谱信息进行比对，如果二者相同或误差在预设范围内，则可以确定待检测对象是目标用户本人的活体指纹。
70.本发明实施例中提供的指纹活体识别装置，包括显示屏幕、光源模块、光谱成像芯片、信号处理电路模块以及识别模块，所述显示屏幕上设置有指纹检测区域，通过光源模块照射指纹检测区域内的待检测对象，经待检测对象反射后得到的目标光束入射至光谱成像芯片上，由光谱成像芯片确定出频谱信息以及光强信息，并由信号处理电路模块确定出待检测对象的光谱信息以及图像信息，最后通过识别模块根据待检测对象的光谱信息以及图像信息，识别出待检测对象是否为目标用户的活体指纹。本发明实施例中提供的指纹活体识别装置，与现有的指纹识别装置相比，可以实现指纹活体识别，有利于提高器件性能的稳定性，同时减小光谱器件的体积、重量和成本，极大提高了指纹识别系统的防伪能力。而且，本发明实施例中采用的光谱成像芯片，与传统的图像传感器相比，可以在不影响所成图像的空间分辨率及成像质量的同时，获得光谱信息，便于掌握待检测对象更全面的信息。另外，由于待检测对象的光谱信息可以用于唯一标识待检测对象，因此可以通过待检测对象的光谱信息判断待检测对象是否是目标用户的活体指纹，可以提高检测的准确性，使通过指纹活体识别装置实现的指纹身份验证更加安全可靠。
71.在上述实施例的基础上，本发明实施例中提供的指纹活体识别装置，所述光谱成像芯片包括：沿厚度方向顺次层叠设置的光调制层和图像传感层；所述光调制层沿表面分布有至少一个调制单元和至少一个非调制单元；所述图像传感层沿表面分布有多个感应单元，且每个调制单元以及每个非调制单元沿所述厚度方向分别对应至少一个传感单元；所述信号处理电路模块与所述传感单元电连接。
72.具体地，图2为本发明实施例中提供的指纹活体识别装置中光谱成像芯片的结构示意图。如图2所示，该光谱成像芯片100可以包括：光调制层110、图像传感层120和信号处理电路模块130，即本发明实施例中信号处理电路模块130集成在光谱成像芯片100内。光调制层110、图像传感层120和信号处理电路模块130沿厚度方向顺次层叠设置。光调制层110
沿表面分布有至少一个调制单元1101和至少一个非调制单元1102。图像传感层120沿表面分布有多个传感单元1201，且每个调制单元1101以及每个非调制单元1102沿厚度方向分别对应至少一个传感单元1201，至少一个调制单元1101以及其周围的多个非调制单元1102与对应的传感单元120构成光谱成像芯片100的一个像素点。信号处理电路模块130与图像传感层120上的传感单元1201电连接，信号处理电路模块130用于确定待检测对象的图像信息以及光谱信息。
73.光调制层110的厚度为60nm～1200nm，光调制层110可以是直接在图像传感层120上制备得到。具体可以是在图像传感层120上直接生长一层或多层材料再通过刻蚀制备出调制单元，或者在图像传感层120上直接刻蚀制备出调制单元，进而得到光调制层110。图像传感层120具体可以是cis晶圆，图像传感层120中的每个传感单元均对应为cis晶圆中的一个像素，用于对经过光调制层的光束进行探测。从晶圆级别直接在cis晶圆上单片集成光调制层，利用cmos工艺一次流片可完成光谱成像芯片的制备。
74.每个调制单元1101可以是微纳结构单元，用于对目标光束进行调制，每个非调制单元1102不具有调制能力，无法对目标光束进行调制。每个非调制单元1102既可以是空白单元，也可以是不具有调制能力但可以直接使目标光束透过且与调制单元属于同种材料的实体单元。光调制层110上的每个调制单元1101可以直接制备在cis晶圆的感光区域表面上，而cis晶圆上未制备调制单元的区域还是传统的rgb或黑白像素，cis晶圆上未制备调制单元的区域对应于光调制层上的非调制单元。由于光谱成像芯片的光调制层包括调制单元以及非调制单元，则既可以获取每个调制单元对应的像素点的频谱信息，即经过每个调制单元调制后并被对应的传感单元检测到的频谱信息，还可以获取每个非调制单元对应的像素点的光强信息，即经过每个非调制单元后并被对应的传感单元检测到的光强信息。
75.信号处理电路模块130根据目标光束照射后每个调制单元对应的像素点的频谱信息，可以确定出待检测对象的光谱信息，具体可以通过将每个调制单元得到的频谱信息编码到cis晶圆的对应传感单元上，然后采用单元阵列响应处理方法重构得到。光谱重构算法具体可以包括但不限于最小二乘法、非负最小二乘法、模拟退火法、tikhonov正则化方法、截断奇异值分解方法、稀疏优化方法等。
76.由于每个调制单元对应的像素点的频谱信息无法用于确定待检测对象的图像信息，因此需要根据目标光束照射后每个非调制单元对应的像素点的光强信息，确定出待检测对象的图像信息。具体的方式可以忽略每个调制单元对应的像素点的光强信息，仅仅采用所有非调制单元对应的像素点的光强信息确定出待检测对象的图像信息；还可以先通过每个非调制单元对应的像素点的光强信息确定出每个调制单元对应的像素点的光强信息，然后结合所有非调制单元对应的像素点的光强信息共同确定出待检测对象的图像信息。本发明实施例中对此不作具体限定。
77.在上述实施例的基础上，本发明实施例中提供的指纹活体识别装置，所述信号处理电路模块具体用于：
78.基于所述目标光束照射后每个调制单元周围的多个非调制单元对应的像素点的光强信息，确定每个调制单元对应的像素点的拟合光强信息；
79.基于每个调制单元对应的像素点的拟合光强信息，以及每个非调制单元对应的像素点的光强信息，确定所述待检测对象的图像信息。
80.具体地，本发明实施例中信号处理电路模块在确定待检测对象的图像信息时，首先可以根据目标光束照射后每个调制单元周围的至少一个非调制单元对应的像素点的光强信息，确定出每个调制单元对应的像素点的拟合光强信息。每个调制单元周围是指与该调制单元的距离在预设范围内的位置，预设范围可以根据需要进行设置，本发明实施例中对此不作具体限定。例如，每个调制单元周围可以是与该调制单元距离最近的左方、左上方、上方、右上方、右方、右下方、下方以及左下方等8个位置，也可以是与该调制单元距离次近的位置等。每个调制单元周围的非调制单元的数量与光调制层的结构有关，光调制层一般为矩形结构，以每个调制单元周围是与该调制单元距离最近的位置为例进行说明，则顶点位置处的每个单元周围均分别有3个单元，除顶点位置外的其他边缘位置处的每个单元周围均分别有5个单元，除顶点位置以及其他边缘位置处的每个单元周围均分别有8个单元。如果光调制层的结构如图3所示，则每个调制单元周围最多有5个非调制单元，最少有3个非调制单元；如果光调制层的结构如图4所示，则每个调制单元周围最多有6个非调制单元，最少有0个非调制单元；如果光调制层的结构如图5所示，则每个调制单元周围最多有4个非调制单元，最少有0个非调制单元；如果光调制层的结构如图6所示，则每个调制单元周围均有8个非调制单元。
81.以图6示出的光调制层的结构为例，可以对每个调制单元周围的至少一个非调制单元对应的像素点的光强信息进行拟合，进而确定出每个调制单元对应的像素点的拟合光强信息。拟合方式可以是算术平均、加权平均或者选取其中光强信息的中位数等方式，本发明实施例中对此不作具体限定。
82.然后，根据每个调制单元对应的像素点的拟合光强信息，以及每个非调制单元对应的像素点的光强信息，即可确定出待检测对象的图像信息。该图像信息为完整的图像信息，其中包含有每个像素点的光强信息。
83.本发明实施例中，通过目标光束照射后每个调制单元周围的至少一个非调制单元对应的像素点的光强信息，确定每个调制单元对应的像素点的拟合光强信息，可以使得根据每个调制单元对应的像素点的拟合光强信息，以及每个非调制单元对应的像素点的光强信息，确定的待检测对象的图像信息为完整的图像信息，保证了图像的完整性，从而不影响整体成像。
84.在上述实施例的基础上，本发明实施例中提供的指纹活体识别装置，所述信号处理电路模块具体用于：
85.基于平滑滤波方法，对任一调制单元周围的多个非调制单元对应的像素点的光强信息进行滤波处理，得到所述任一调制单元对应的像素点的拟合光强信息。
86.具体地，本发明实施例中在确定每个调制单元对应的像素点的拟合光强信息时，具体可以通过平滑滤波方法实现。其中，平滑滤波方法可以包括中值滤波、平滑滤波、高斯滤波器等。
87.对于中值滤波，如果取滤波窗口的大小为3*3个像素点，则任一调制单元a对应的像素点的光强信息为：
88.f(x,y)＝median[f(x-1,y-1),f(x,y-1),f(x 1,y-1),f(x-1,y),f(x 1,y),f(x-1,y 1),f(x,y 1),f(x 1,y 1)]
[0089]
其中，median表示取中值操作，f(x,y)为调制单元a对应的像素点的光强信息，(x,
y)为调制单元a对应的像素点的坐标值；f(x-1,y-1)为调制单元a左下方的非调制单元对应的像素点的光强信息，如果调制单元a左下方不是非调制单元，则该值为0；f(x,y-1)为调制单元a下方的非调制单元对应的像素点的光强信息，如果调制单元a下方不是非调制单元，则该值为0；f(x 1,y-1)为调制单元a右下方的非调制单元对应的像素点，如果调制单元a右下方不是非调制单元，则该值为0；f(x-1,y)为调制单元a左方的非调制单元对应的像素点，如果调制单元a左方不是非调制单元，则该值为0；f(x 1,y)为调制单元a右方的非调制单元对应的像素点，如果调制单元a右方不是非调制单元，则该值为0；f(x-1,y 1)为调制单元a左上方的非调制单元对应的像素点，如果调制单元a左上方不是非调制单元，则该值为0；f(x,y 1)为调制单元a上方的非调制单元对应的像素点，如果调制单元a上方不是非调制单元，则该值为0；f(x 1,y 1)为调制单元a右上方的非调制单元对应的像素点，如果调制单元a右上方不是非调制单元，则该值为0。
[0090]
对于均值滤波，如果取滤波窗口的大小为3*3个像素点，则任一调制单元a对应的像素点的光强信息为：
[0091]
f(x,y)＝[f(x-1,y-1) f(x,y-1) f(x 1,y-1) f(x-1,y) f(x 1,y) f(x-1,y 1) f(x,y 1) f(x 1,y 1)]/8
[0092]
对于高斯滤波，如果去滤波窗口的大小为3*3个像素点，则任一调制单元a对应的像素点的光强信息为：
[0093]
f(x,y)＝0.111*[f(x-1,y-1) f(x 1,y-1) f(x-1,y 1) f(x 1,y 1)] 0.139*[f(x,y-1) f(x-1,y) f(x 1,y) f(x,y 1)]
[0094]
其中，0.11、0.139分别为对应的像素点的光强信息的权重。
[0095]
在上述实施例的基础上，本发明实施例中提供的指纹活体识别装置，所述信号处理电路模块，具体用于：
[0096]
将所述目标光束照射后基于所有非调制单元对应的像素点的光强信息得到的初始图像输入至拟合模型，得到由所述拟合模型输出的所述待检测对象的图像信息；
[0097]
所述拟合模型基于对抗神经网络构建，所述拟合模型基于存在空白像素的空缺样本图像以及所述空缺样本图像对应的不存在空白像素的完整样本图像标签训练得到。
[0098]
具体地，本发明实施例中在确定待检测对象的图像信息时，具体可以通过对抗神经网络等机器学习方法实现。本发明实施例中通过对抗神经网络构建拟合模型，并通过存在空白像素的空缺样本图像以及空缺样本图像对应的不存在空白像素的完整样本图像标签对拟合模型进行训练。最后将目标光束照射后基于所有非调制单元对应的像素点的光强信息得到的初始图像输入至拟合模型，得到由所述拟合模型输出的所述待检测对象的图像信息。其中，完整样本图像标签是指空缺样本图像对应的实际完整样本图像。
[0099]
本发明实施例中，引入基于对抗神经网络构建的拟合模型，可以更快速更准确地确定出待检测对象的图像信息。
[0100]
在上述实施例的基础上，本发明实施例中提供的指纹活体识别装置，还包括：拟合模型训练模块，用于：
[0101]
基于空缺样本图像以及所述空缺样本图像对应的完整样本图像标签对所述对抗神经网络中的生成器进行训练，并基于所述对抗神经网络中的鉴别器对训练后的生成器进行竞争鉴别；
[0102]
将训练得到的生成器作为所述拟合模型。
[0103]
具体地，对抗神经网络包括生成器和鉴别器，生成器以空缺样本图像作为输入，生成空缺样本图像对应的完整样本图像作为输出。鉴别器以多幅完整样本图像作为输入，这些完整样本图像包括完整样本图像标签和生成器生成的完整样本图像。在训练时，生成器和鉴别器相互竞争。生成器的目标是尽量输出经过鉴别器判别得分高的完整样本图像，鉴别器的目标是尽量使完整样本图像标签得分高，同时使生成器输出的完整样本图像的得分尽量低。经过训练后，得到生成器，并将训练得到的生成器作为拟合模型。
[0104]
在上述实施例的基础上，本发明实施例中提供的指纹活体识别装置，所述光调制层中的每个调制单元均包括多个调制子单元，每个调制子单元为孔状结构或柱状结构。
[0105]
具体地，本发明实施例中，光调制层中的每个调制单元均包括沿表面分布的多个调制子单元。调制子单元可以为孔状结构，也可以为柱状结构。为孔状结构的调制子单元可以称为调制孔，为柱状结构的调制子单元可以称为调制柱。需要说明的是，同一调制单元中即可以只包含有调制孔或调制柱，也可以同时包含有调制孔和调制柱，因此包含有调制孔的调制单元可以称为孔调制单元，包含有调制柱的调制单元可以称为柱调制单元。
[0106]
作为优选方案，光调制层可以是厚度为200nm-500nm的氮化硅。光调制层上可以分布有1000～250000个单元，每个单元的尺寸为100μm2～40000μm2。其中，调制单元占总单元数的10％，其余90％为非调制单元。
[0107]
作为优选方案，光调制层还可以为厚度100-400nm的硅。光调制层上可以分布有1000～250000个单元，每个单元的尺寸为100μm2～40000μm2。其中，调制单元占总单元数的15％，其余85％为非调制单元。
[0108]
在上述实施例的基础上，本发明实施例中提供的指纹活体识别装置，所述光调制层中的调制单元具体可以为微纳结构单元，通过刻蚀得到。光调制层的结构如图3-图6所示。图3中，光调制层的边缘位置分布有多个不同的调制单元，每个调制单元均可以对应一个或多个传感单元，调制单元可以占满或不占满边缘位置，可以连续或不连续分布，可位于任意边缘位置，光调制层的其余位置为非调制单元，即不刻有调制单元，为空白单元，目标光束可以直接透射到光调制层下方的cis晶圆rgb或黑白像素上。光调制层的每个单元(包括调制单元与非调制单元)下方有对应的传感单元。光调制层中每个调制单元对不同波长的光有不同的调制作用，各个调制单元之间对输入光谱的调制方式可以相同也可以不同，不同的调制方式可包括但不限于散射、吸收、透射、反射、干涉、激元、谐振增强等作用，调制作用的最终效果是不同波长的光通过调制单元后的透射谱不同。光通过调制单元调制作用后，由调制单元下方对应的传感单元探测到光强信息。每个单元与其下方的传感单元构成一个像素点。通过算法可以得到一个像素点上各个波长的强度分布。
[0109]
图4中，光调制层的边缘位置和中间位置分布有多个不同的调制单元，每个调制单元可以对应一个或多个传感单元，调制单元可以位于任意边缘位置或中间位置，可以连续或不连续分布，位置可以任意选择。每个调制单元可以是由多个相同的调制子单元构成的阵列，也可以是由多个不同的调制子单元构成的阵列。
[0110]
图5中，光调制层上每四个调制单元为一组调制单元，每四个非调制单元为一组非调制单元，每组调制单元与每组非调制单元间隔分布。
[0111]
图6中，光调制层上每个调制单元周围的8个位置均为非调制单元，不存在其他调
制单元。
[0112]
在上述实施例的基础上，本发明实施例中提供的指纹活体识别装置，每个调制单元中为所述孔状结构的不同调制子单元的孔截面形状不完全相同；和/或，
[0113]
每个调制单元中为所述孔状结构的不同调制子单元的结构参数不完全相同。
[0114]
具体地，本发明实施例中每个调制单元中不同的调制孔的孔截面形状可以相同、也可以完全不同或部分相同部分不同。也就是说，同一调制单元内的所有调制孔具有相同或不同的孔截面形状。每个调制单元中调制孔的结构参数也可以相同、也可以完全不同或部分相同部分不同。每个调制单元中不同的调制孔的孔截面形状是否相同不影响结构参数是否相同。孔截面形状包括圆形、椭圆形、十字形、正多边形、星形或矩形。结构参数可包括但不限于每个调制单元中调制孔的周期、半径、边长、占空比、厚度、长轴长度、短轴长度、旋转角度、或角数等参数。各个调制孔可以按照预设周期顺序逐行或逐列排布，或按照结构参数大小的渐变顺序呈阵列式排布。
[0115]
由于调制单元中调制孔的孔截面形状不同和/或结构参数不同，均会对其调制作用产生影响，因此可以通过改变调制单元中调制孔的形状来改变其调制作用。结构参数的改变可以是改变上述任意组合的结构参数。
[0116]
每个柱调制单元中调制孔的周期可以在50nm-800nm之间取值，占空比可以在5％-95％之间取值。调制孔的周期也可以在80nm-600nm之间取值，占空比也可以在10％-90％之间取值。
[0117]
不同调制单元对光谱的调制作用不同，光谱调制作用可包括但不限于散射、吸收、透射、反射、干涉、表面等离子激元、谐振等作用。改变柱调制单元内的调制孔的结构参数(包括但不限于周期、半径、边长、占空比和厚度等参数中的一种或各参数的任意组合)和排列方式，即可改变调制作用，通过增加调制柱的数量可以提高对不同光谱之间差异的灵敏度。
[0118]
在上述实施例的基础上，本发明实施例中提供的指纹活体识别装置，每个调制单元中为所述柱状结构的不同调制子单元的结构形状以及柱高度相同，且所有调制子单元在每个调制单元中的排列具有c4对称性。
[0119]
具体地，每个柱调制单元包含若干调制柱，同一柱调制单元内的所有调制柱具有相同的结构形状，各个调制柱按照预设周期顺序逐行或逐列排布，具有c4对称性。同一柱调制单元内的所有调制柱高度均相同，不同柱调制单元的调制柱高度可以相同或不同。调制柱的结构参数可以包括高度、纵截面结构参数、横截面结构参数等。调制柱的结构形状可以如图7所示，包括但不限于圆柱体、立方体、圆台、圆锥、钟形等。调制柱的纵截面形状可以如图8所示，包括但不限于矩形、梯形、三角形、钟形等。调制柱的横截面形状包括矩形、圆形等。
[0120]
调制柱的高度可以在100nm-400nm之间取值。对于圆柱形调制柱，调制柱的直径可以在10nm-300nm之间取值。对于立方体调制柱，调制柱的截面可以是正方形或矩形，边长可以在10nm-400nm之间取值。对于圆台形调制柱，调制柱的两个圆截面的直径可以在10nm-400nm之间取值。对于圆锥形调制柱，调制柱的底面圆的直径可以在10nm-400nm之间取值。对于钟形调制柱，调制柱的底面圆的直径可以在10nm-400nm之间取值。
[0121]
在上述实施例的基础上，本发明实施例中提供的指纹活体识别装置，所述柱状结
构的调制子单元为一体成型，或由多层调制柱层叠而成。
[0122]
具体地，如图9所示，光谱成像芯片包括：光调制层110、图像传感层120和信号处理电路模块130，即本发明实施例中信号处理电路模块130集成在光谱成像芯片100内。光调制层110的调制单元包含有调制柱，该调制柱为一体成型。如图10所示，调制柱还可以由多层子调制柱堆叠而成，每层子调制柱的结构形状可以相同或不同，每层的子调制柱可为立方体、圆柱体等，每层子调制柱的材料可以相同或不同，可为金属或介质中的任意一种。图10中，调制柱由多层长方体层叠而成。
[0123]
同一柱调制单元中可以只包含有一体成型得到的调制柱，也可以只包含有层叠而成的调制柱，还可以同时包含有一体成型以及层叠而成的不同调制柱。
[0124]
在上述实施例的基础上，本发明实施例中提供的指纹活体识别装置，还包括：透镜组；
[0125]
所述光源模块设置于所述显示屏幕与所述光谱成像芯片之间，所述透镜组设置于所述光源模块与所述光谱成像芯片之间；或者，
[0126]
所述光源模块设置于所述显示屏幕的非指纹检测区域的下方，所述透镜组与所述光谱成像芯片顺次设置于所述指纹检测区域的下方；
[0127]
所述透镜组用于将所述目标光束准直入射至所述光谱成像芯片上，以使所述目标光束在所述光谱成像芯片上成像。
[0128]
具体地，如图11所示，透镜组600设置于显示屏幕300与光谱成像芯片100之间，且透镜组600设置于光源模块200与光谱成像芯片100之间。
[0129]
如图12所示，光源模块200设置于显示屏幕300的非指纹检测区域的下方，透镜组600与光谱成像芯片100顺次设置于显示屏幕300的指纹检测区域的下方。
[0130]
透镜组中可以集成有滤光片，用于滤出感兴趣的特定波段范围的光，例如滤出400nm～598nm的光，并去除其他干扰光。透镜模组的垂直厚度可以为0.5mm-20mm。作为优选方案，透镜模组的垂直厚度可以为5mm-10mm。
[0131]
通过透镜组可以顺利将目标光束引导入射至光谱成像芯片上，以保证目标光束在光谱成像芯片上成像。
[0132]
在上述实施例的基础上，调制单元包括但不限于一维光子晶体、二维光子晶体、表面等离子激元、超材料、超表面等。具体材料可包括硅、锗、锗硅材料、硅的化合物、锗的化合物、金属、iii-v族材料等，其中硅的化合物包括但不限于氮化硅、二氧化硅、碳化硅等。
[0133]
在上述实施例的基础上，在纵向上，光调制层可以包括沿厚度方向设置的至少一层子调制层，每层子调制层的材料可以相同，也可以不同，以增加光调制层对目标光束在频谱上的调制能力，使得对目标光束采样能力更强，有利于提高光谱恢复精度。光调制层纵向上可有以下四种情况。
[0134]
1)如图13所示，偏振无关的光调制层为单一材料层，包括第一子调制层117，光调制层的厚度为60nm～1200nm。
[0135]
2)如图14和图15所示，偏振无关的光调制层110可以包括多层子调制层，各子调制层的材料不同。各子调制层的厚度为60nm～1200nm。各子调制层的材料可包括硅、锗、锗硅材料、硅的化合物、锗的化合物、金属、iii-v族材料等，其中硅的化合物包括但不限于氮化硅、二氧化硅、碳化硅等。比如图14所示的实施例中，光调制层包括第一子调制层117和第二
子调制层118；比如图15所示的实施例中，光调制层包括第一子调制层117、第二子调制层118和第三子调制层119。
[0136]
3)如图16所示，偏振无关的光调制层110可以包括多层子调制层，各子调制层的材料不同。各子调制层的厚度为60nm～1200nm。其中一层或多层子调制层可以不被调制孔116贯穿。各子调制层的材料可包括硅、锗、锗硅材料、硅的化合物、锗的化合物、金属、iii-v族材料等，其中硅的化合物包括但不限于氮化硅、二氧化硅、碳化硅等。
[0137]
4)如图17所示，偏振无关的光调制层110是在背照式cis晶圆的光探测层122上直接刻蚀结构进行制备的，刻蚀深度为60nm～1200nm。
[0138]
在上述实施例的基础上，在纵向结构上，光调制层可以不被调制柱或调制孔贯穿，调制柱可以具有一定厚度，具体可以为60nm～1200nm，整个光调制层的厚度可以为120nm～2000nm。调制孔的厚度可以为160nm～1000nm，整个光调制层的厚度为220nm～1500nm。
[0139]
在上述实施例的基础上，在纵向结构上，光调制层可由硅层和金层这两层不同材料构成，硅层的厚度可以为60nm～1200nm，金层的厚度可以为60nm～1200nm。
[0140]
在上述实施例的基础上，本发明实施例中的图像传感层具体为cis晶圆，cis晶圆既可以是前照式也可以是背照式。如图18所示，为前照式cis晶圆，前照式cis晶圆包括沿图像传感层的厚度方向连接的光探测层122和金属线层121；光探测层122在金属线层121下方，cis晶圆未集成微透镜和滤光片，光调制层直接集成到金属线层121上。金属线层121用于对晶圆接收到的光谱信号进行初步的信号处理，以将目标光束的光信号数据先行转化为电信号，可以加快信号处理电路模块的处理效率，使信号转化和信号运算处理更稳定和更精确。
[0141]
如图19所示，为背照式cis晶圆，背照式cis晶圆包括沿图像传感层的厚度方向连接的光探测层122和金属线层121；光探测层122在金属线层121上方，cis晶圆未集成微透镜和滤光片，光调制层直接集成到光探测层122上。由于目标光束经过光调制层后，直接照射到光探测层122，这样可以有效消除金属线层对目标光束的不利影响，提高光谱成像芯片的量子效率。
[0142]
在上述实施例的基础上，如图20a图20b所示，光谱成像芯片还包括：透光介质层160，透光介质层160位于光调制层110与图像传感层120之间。图20a中光调制层110的调制单元中包含有调制孔116，图20b中光调制层110的调制单元中包含有调制柱1103。透光介质层160厚度为50nm～1μm，材料可为二氧化硅。若为直接沉积生长的工艺方案，可在图像传感层120上通过化学气相沉积、溅射、旋涂等方式覆盖该透光介质层160，然后在其上方进行光调制层的沉积、刻蚀即可。若为转移的工艺方案，则可在二氧化硅上先进行光调制层的加工，然后将这两部分整体转移到图像传感层120上。
[0143]
在一些实施例中，如图21-图26所示，光谱成像芯片100还包括：透镜140和滤光片150中的至少一种，透镜140和滤光片150中的至少一种连接在光调制层110的背离或靠近图像传感层120的一侧。
[0144]
如图21所示，该光谱成像芯片100集成了透镜140，且透镜140位于光调制层110的靠近图像传感层120的一侧，即透镜140位于光调制层110与图像传感层120之间。
[0145]
如图22所示，该光谱成像芯片100集成了透镜140，且透镜140位于光调制层110的背离图像传感层120的一侧。
[0146]
如图23所示，该光谱成像芯片100集成了滤光片150，且滤光片150位于光调制层110的靠近图像传感层120的一侧，即滤光片150位于光调制层110与图像传感层120之间。
[0147]
如图24所示，该光谱成像芯片100集成了滤光片150，且滤光片150位于光调制层110的背离图像传感层120的一侧。
[0148]
如图25所示，该光谱成像芯片100集成了透镜140和滤光片150，且透镜140和滤光片150位于光调制层110的背离图像传感层120的一侧，滤光片150位于透镜140与光调制层110之间。
[0149]
如图26所示，该光谱成像芯片100集成了透镜140和滤光片150，且透镜140和滤光片150位于光调制层110的靠近图像传感层120的一侧，即透镜140和滤光片150位于光调制层110与图像传感层120之间，且滤光片150位于透镜140与图像传感层120之间。
[0150]
综上所述，本发明实施例中采用的光谱成像芯片有以下效果：1)该光谱成像芯片可以同时采集图像信息和光谱信息，在提供完整图像信息的同时，还提供了视野内不同点的光谱信息。2)可以通过cmos工艺一次流片完成光谱芯片的制备，有利于降低器件失效率，提高器件的成品良率，并降低成本。3)将光调制层与图像传感层单片集成，无分立元件，有利于提高器件的稳定性，极大促进图像传感器的小型化和轻量化。4)在晶圆级别实现单片集成，可以最大程度减小传感器与光调制层之间的距离，有利于缩小单元的尺寸，实现更高的分辨率并降低封装成本。
[0151]
进一步，如图27所示，本发明提供一种光学指纹识别组件，所述光学指纹识别组件包括显示屏幕300和指纹模组1000，其中所述指纹模组1000被设置于所述显示屏幕300下端，其中所述显示屏幕300可以被实施为lcd屏幕、oled屏幕等；进一步，所述光学指纹识别组件还包括一光源模块200，所述光源模块200被设置于指纹活体识别装置，所述光源模块200与所述指纹模组1000相对应设置。在识别时，所述光源模块200发射光至待检测对象500，经待检测对象500反射后可以得到目标光束，该目标光束入射至指纹模组1000被接收。
[0152]
在个别实施例中，所述指纹模组并不一定要与所述显示屏幕组合使用，即在该实施例应用中，终端产品不需要设置所述显示屏幕，所述指纹模组也可以实现指纹识别。
[0153]
值得一提的是，个别实施例中，所述光源模块200被集成于所述显示屏幕300，例如所述显示屏幕300实施为oled屏幕时，所述显示屏幕自身投射出的光束可以用来辅助识别所述待检测对象500。
[0154]
进一步，如图28所示，所述指纹模组1000包括光谱成像芯片100和电路板1001，所述光谱成像芯片100电连接于所述电路板1001，优选地，所述光谱成像芯片100贴附于所述电路板1001。所述电路板1001可被实施为硬板(printed circuit board，pcb)、软板(flexible printed circuit，fpc)、软硬结合板(f-pcb)、陶瓷基板等，其主要用于导通和/或支撑所述光谱成像芯片100。
[0155]
进一步，举例所述光谱成像芯片100被贴附于电路板1001，所述光谱成像芯片100可以通过打引线与所述电路板1001导通，也可以直接背置pad点进行导通；个别实施例中，所述指纹模组进一步包括一补强板1002，所述补强板1002被贴附于所述电路板1001用以增强所述指纹模组1000的可靠性强度。个别实施例中，所述指纹模组1000进一步所述指纹模组1000还包括一封装部1003，所述封装部成型于所述电路板1001上表面，所述封装部1003可以被实施为模塑工艺一体成型于所述电路板，也可以被实施为胶状物施加于所述电路板
1001。值得一提的是，所述封装部1003也可以一体包裹住用以导通的引线，所述封装部1003有利于提高所述指纹模组的可靠性，进一步所述封装部1003具备平整表面，使得所述指纹模组更好贴附于所述显示屏幕300。由于所述补强板1002存在，所述电路板可被实施为软板，从而降低指纹模组的厚度。个别实施例，进一步，所述指纹模组1000还可以包括一遮光部1004，所述遮光部1004被设置于所述封装部1003上表面，用以防止杂散光进入，影响成像。所述遮光部可以被实施为泡棉。
[0156]
本发明另一实施例，如图29所示，所述指纹模组1000包括一光谱成像芯片100、电路板1001、支架1005和光源模块200，所述光谱成像芯片100和所述支架1005被固定于所述电路板1001，所述光源模块200被固定于所述支架1005。
[0157]
进一步，本发明实施例中指纹模组还可包括一透镜组，用以光学对焦，所述透镜组被设置于所述光谱成像芯片100的感光路径上。所述透镜组件可以为竖直准直镜、薄膜透镜、微透镜阵列、广角镜头等。
[0158]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0159]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0160]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。