基于镜面反射和漫反射的欺骗检测的制作方法

1.本发明涉及用于使用光学生物特征装置进行生物特征认证的方法、光学生物特征成像装置、包括光学生物特征成像装置的电子设备、控制单元以及计算机程序产品。


背景技术：

2.生物特征系统被广泛用作增加个人电子设备(例如移动电话等)的便利性和安全性的手段。特别是指纹感测系统现在包括在所有新发布的消费电子设备(例如，移动电话)的很大一部分中。
3.光学指纹传感器已经为人所知有一段时间并且可以是可行的替选方案，例如某些应用中的电容指纹传感器。光学指纹传感器可以例如基于针孔成像原理并且/或者可以采用微通道——即准直器或微透镜——来将入射光聚焦到图像传感器上。
4.近来在电子设备的显示屏下方布置光学指纹传感器得到关注。然而，事实证明，光学指纹传感器有时相对容易被欺骗。在某些情况下，如果不应用对策，带有指纹的纸已被证明足以欺骗系统。
5.因此，需要提高光学指纹传感器的欺骗检测方法的可靠性。


技术实现要素：

6.鉴于现有技术的上述和其他缺点，本发明的目的是提供一种具有改进检测欺骗的能力的方法和光学生物特征成像装置。
7.根据本发明的第一方面，提供了一种使用光学生物特征装置进行生物特征认证的方法，该光学生物特征装置包括图像传感器，该图像传感器包括光电检测器像素阵列，该光电检测器像素阵列被配置成捕获对象的图像，该图像传感器布置在包括光源单元的可控光源下方。
8.该方法包括：提供光图案，该光图案包括用于照射对象的具有不同光强度的部分；
9.获取对象的图像，该图像包括：与照射对象的光图案的具有不同光强度的部分相对应的图像部分；由布置于在图像获取期间有效的光源单元正下方的光电检测器像素阵列中的像素捕获的至少一个图像部分；以及由布置在可控光源的在图像获取期间至少部分无效的照射区域下方的光电检测器像素阵列中的像素捕获的至少一个图像部分；以及
10.至少部分地基于从图像部分提取的度量来执行生物特征认证。
11.本发明基于以下认识：二维欺骗仅在漫射照射下出现，并且三维欺骗通常在镜面反射和颜色方面能够根据活手指进行区别。因此，通过研究在不同照射(即，镜面照射或漫射照射)下捕获的图像部分，可以区别欺骗手指与活手指。这是由提出形成指示不同图像部分中的属性的度量的发明人实现的。这些度量反映了可以指示存在欺骗或活手指的图像属性。这些度量用于用户的生物特征认证。镜面反射是被成像对象镜面反射的视觉外观。
12.度量是能够从图像部分提取的并且可以以某种方式描述光学属性的计量标准或属性。在由布置在光源单元正下方的光电检测器像素阵列中的像素捕获的图像部分中，图
像主要是来自对象的镜面反射，其源自于捕获图像部分的像素上方的光源单元。从这样的图像部分确定的度量因此可以与对象的镜面反射属性有关。由布置在可控光源的至少部分无效照射区域下方的光电检测器像素阵列中的像素捕获的图像部分主要是来自对象的漫反射，其源自于与至少部分无效的照射区域相邻的光源单元。
13.通常，在镜面反射中，光的入射角等于输出角，而在漫反射中，光在一定角度范围内反射。
14.至少部分无效的照射区域可以是布置在光电检测器像素阵列上方的可控光源的一部分。至少部分无效的照射区域不发射用于图像获取的光。至少部分无效的照射区域可以是无效的光源单元，或者该照射区域可以是可控光源的通孔或透明部分。
15.在要求以具有不同强度的图案提供光的情况下，可以以各种形式提供光图案。光图案可以包括高强度和低强度或者甚至没有强度的不同部分。例如，光图案可以是结构光。
16.可以有利地由可控光源中的空间上分开的光源单元提供光图案。换言之，提供用于照射的光的光源单元可以被不提供照射的区域单独地或成组地分开。
17.可以以周期性图案布置空间上分开的光源单元。然而，也可以设想到以非周期性图案布置光源单元。
18.可控光源可以是颜色可控光源。
19.在实施方式中，光图案可以包括至少两种可区别颜色的光。为此，可控光源是颜色可控光源。例如，第一光源单元集合提供第一可区别颜色的光并且另一光源单元集合提供第二可区别颜色的光以照射对象。
20.可区别颜色的光是指具有作为光的可见波长范围的子带的光谱带的光，即，可区别颜色的光不是通常是所有颜色的混合的白光。应当理解，可区别颜色的光应当与另一可区别颜色的光分开检测。
21.在其他实施方式中，获取图像可以包括：使用被配置成捕获第一可区别颜色的光的光电检测器像素来获取至少一个图像部分；以及使用被配置成捕获第二可区别颜色的光的光电检测器像素来获取至少一个图像部分。因此，代替用不同的可区别颜色照射对象，在图像传感器处执行颜色选择性。由此，可以有利地用宽带照射来照射对象。对于该实施方式，第一组像素和第二组像素可以被配置成检测所选择的光，例如与相应可区别颜色相关的预定波长带。这可以通过关于像素的适当滤波器(例如具有合适波长透射带的颜色滤波器)来实现，干涉滤波器和布拉格(bragg)滤波器也可以是可以设想到的选择。因此，第一光电检测器像素集合可以被第一滤波器覆盖并且第二光电检测器像素集合可以被第二滤波器覆盖，其中滤波器的光谱透射带彼此不同。第一滤波器可以具有允许第一可区别颜色的光透射的光谱透射带，并且第二滤波器可以具有允许第二可区别颜色的光透射的光谱透射带。还可以存在由不同于第一滤波器和第二滤波器的第三滤波器覆盖的第三光电检测器像素集合，即具有允许第三可区别颜色的光透射的光谱透射带。
22.宽带照射是指多光谱合成的光，例如白光。宽带照射可以由产生宽带照射光的光源单元提供或者由协同产生宽带照射光的光源集合提供。这样的光源单元集合可以例如包括同时发射光的不同颜色的光源以产生宽带照射光。
23.在实施方式中，被配置成捕获第一可区别颜色的光的任何一个像素或被配置成捕获第二可区别颜色的光的任何一个像素可以布置于在图像获取期间有效的光源单元正下
方。
24.在实施方式中，被配置成捕获第一可区别颜色的光的任何一个像素或被配置成捕获第二可区别颜色的光的任何一个像素可以布置在可控光源的在图像获取期间至少部分无效的照射区域下方。
25.在图像传感器被配置成选择性地检测有色光的情况下，该方法可以包括用宽带照射来照射对象。
26.以上有利地允许在度量中包括照射颜色信息。如上所述，发明人认识到，在有色光的照射下，与活手指相比，欺骗通常具有不同的光学行为。因此，基于颜色信息形成度量进一步提高了生物特征认证的性能。
27.为了进一步提高性能，生物特征认证可以针对至少两种可区别颜色的每一种至少部分地基于从图像部分提取的度量。换言之，可以将度量的维度扩展到包括至少两种可区别颜色中的每一种。
28.除了可以用于手指的照射的白光之外，可区别的颜色还可以是蓝光和绿光。
29.在实施方式中，基于图像部分的直方图分析提取度量。例如，可以分析与光源单元正下方的像素相关的第一类型的图像部分的直方图以提取度量，并且可以分析与未在有效光源单元正下方的像素相关的第二类型的图像部分的直方图以提取度量。直方图分析提供了强大的工具以用于形成捕获图像部分的整体属性的度量。
30.优选地，至少一个图像部分对应于主要从对象反射的镜面光，并且至少一个图像部分对应于主要从对象反射的漫射光。
31.为此，光电检测器像素阵列可以包括被布置成主要捕获从对象反射的镜面光的像素以及被布置成主要捕获从对象反射的漫射光的像素。
32.在实施方式中，该方法可以包括对获取的图像进行预处理以基于图像部分中的属性形成度量。预处理步骤可以用于将对象分类为与结构和光学属性相关的若干类别之一，例如对象是否包括三维结构或者对象是否为二维对象和/或对象的颜色属性。
33.在实施方式中，光图案可以是点图案，其中，第一组图像部分由点正下方的像素获取并且第二组图像部分由点下方与点之间的像素获取。点图案是一种有利的方式，以使得将均匀光照射通常混合的对象的镜面光反射和漫射光反射分开。
34.在实施方式中，生物特征认证可以基于使用模型处理度量。可以以各种形式和配置提供模型，例如描述度量及其与欺骗材料和活材料的关系的简单的查找表模型和更复杂的数学模型。在优选实施方式中，模型可以是基于这些度量训练的机器学习算法，以区别欺骗与活体生物特征对象。
35.换言之，优选地，生物特征认证基于使用机器学习算法处理这些度量。
36.根据本文中的实施方式的机器学习算法可以基于本身已知的不同类型的机器学习算法。机器学习算法可以基于例如监督学习、无监督学习、强化学习等来进行训练。机器学习算法基于诸如支持向量机、人工神经网络(例如深度学习网络或多层感知器)、回归分析等模型。
37.根据本发明的第二方面，提供了一种光学生物特征成像装置，该光学生物特征成像装置被配置成捕获对象的图像，该生物特征成像装置包括图像传感器，该图像传感器包括光电检测器像素阵列，该图像传感器布置在包括光源单元的可控光源下方，其中，光电检
测器像素阵列包括：用于获取第一类型的图像部分的第一像素集合，第一像素集合中的像素布置在可控光源的在图像获取期间的光源单元正下方；以及用于获取第二类型的图像部分的第二像素集合，第二像素集合中的像素布置在可控光源的在图像获取期间至少部分无效的部分正下方，该光学生物特征成像装置被配置成：使用可控光源用包括具有不同光强度的部分的光图案照射对象；获取对象的图像，该图像包括与照射对象的光图案的具有不同光强度的部分相对应的第一类型的图像部分和第二类型的图像部分；至少部分地基于从所述图像部分提取的度量来执行生物特征认证。
38.图像传感器可以是任何合适类型的图像传感器，例如连接至相关控制电路的cmos或ccd传感器。在一种可能的实现方式中，图像传感器是基于薄膜晶体管(tft)的图像传感器，其为显示屏下方指纹成像传感器提供了成本有效的解决方案。可以假设这样的图像传感器的操作和控制是已知的并且在本文中将不进行讨论。tft图像传感器可以是背照式tft图像传感器或前照式tft图像传感器。tft图像传感器可以布置为热区、大面积或全显示解决方案。
39.光学生物特征成像装置可以包括光重定向元件阵列，该光重定向元件被配置成将光重定向到光电检测器像素阵列中的像素子阵列上。
40.光重定向元件阵列可以是微透镜阵列。微透镜提供了将光重定向到光电检测器像素阵列上的有利方式。特别地，每个微透镜可以被布置成将光重定向到像素子阵列上。
41.第一种类型图像是与主要从对象反射的镜面光相对应的图像部分，并且第二种类型图像是与主要从对象反射的漫射光相对应的图像部分。
42.优选地，可以基于第一类型的图像部分和第二类型的图像部分来确定度量。
43.光学生物特征成像装置可以包括颜色可控光源。
44.在其他可能的实施方式中，颜色可控光源可以包括在电子设备中，该电子设备包括至少部分透明的显示面板。
45.在一些实施方式中，颜色可控光源可以包括在显示器中。根据实施方式可以使用各种类型的显示器。例如，基于oled、u-led的显示面板，具有任何类型的三刺激发射，如rgb、cmy或其他。
46.光图案可以是预定图案的结构光。
47.在优选实施方式中，光学生物特征成像装置可以被配置成操作机器学习算法以至少部分地基于从图像部分提取的度量来执行生物特征认证。
48.在实施方式中，图像传感器可以包括：被配置成捕获第一可区别颜色的光的至少第一组光电检测器像素，以及被配置成捕获第二可区别颜色的光的至少第二组光电检测器像素。
49.本发明的第二方面的其他效果和特征在很大程度上类似于以上结合本发明的第一方面所描述的效果和特征。
50.根据本发明的第三方面，提供了一种电子设备，该电子设备包括根据本文中的任一实施方式的光学生物特征成像装置以及处理电路，该处理电路被配置成：从光学生物特征成像装置接收指示触摸透明显示面板的手指的指纹的信号，基于检测到的指纹执行指纹认证过程。
51.该电子设备可以是例如移动设备，例如移动电话(例如智能电话)、平板电脑、手机
等。
52.本发明的第三方面的其他效果和特征在很大程度上类似于以上结合本发明的第一方面和第二方面所描述的效果和特征。
53.根据本发明的第四方面，提供了一种控制单元，该控制单元被配置成使用光学生物特征装置执行生物特征认证，该光学生物特征装置包括图像传感器，该图像传感器包括光电检测器像素阵列，该光电检测器像素阵列被配置成捕获对象的图像，图像传感器布置在包括光源单元的可控光源下方，该控制单元被配置成：获得对象的图像，该图像是在用包括具有不同光强度的部分的光图案照射对象时获取的，由此获得的图像包括与照射对象的光图案的具有不同光强度的部分相对应的图像部分、由布置于在图像获取期间有效的光源单元正下方的光电检测器像素阵列中的像素捕获的至少一个图像部分，以及由布置在可控光源的在图像获取期间至少部分无效的照射区域下方的光电检测器像素阵列中的像素捕获的至少一个图像部分；以及至少部分地基于从图像部分提取的度量来执行生物特征认证。
54.在实施方式中，控制单元可以被配置成：控制可控光源以光图案照射对象，并且控制光学生物特征装置的图像传感器以获取对象的图像。
55.本发明的第四方面的其他效果和特征在很大程度上类似于以上结合本发明的第一方面、第二方面和第三方面所描述的效果和特征。
56.根据本发明的第五方面，提供了一种计算机程序产品，该计算机程序产品包括计算机可读介质，计算机可读介质上存储有用于对包括光学生物特征成像装置的电子设备的用户执行生物特征认证的计算机程序装置，其中，计算机程序产品包括：用于从对象的获取图像的图像部分确定度量集合的代码，该图像是使用包括光源单元的可控光源用包括具有不同光强度的部分的光图案照射对象时获取的，由此获得的图像包括与照射对象的光图案的具有不同光强度的部分相对应的图像部分、由布置于在图像获取期间有效的光源单元正下方的光电检测器像素阵列中的像素捕获的至少一个图像部分、以及由布置在可控光源的在图像获取期间至少部分无效的照射区域下方的光电检测器像素阵列中的像素捕获的至少一个图像部分；以及用于基于从图像部分提取的度量来执行生物特征认证的代码。
57.该计算机可读介质可以是非暂态计算机可读介质。
58.本发明的第五方面的其他效果和特征在很大程度上类似于以上结合本发明的第一方面、第二方面、第三方面和第四方面所描述的效果和特征。
59.当研究所附权利要求和以下描述时，本发明的其他特征和优点将变得明显。本领域技术人员认识到，在不脱离本发明的范围的情况下，可以组合本发明的不同特征以创建除以下描述的实施方式之外的实施方式。
附图说明
60.现在将参照示出本发明示例实施方式的附图更详细地描述本发明的这些和其他方面，在附图中：
61.图1示意性地示出了根据本发明的实施方式的电子设备的示例；
62.图2是根据本发明的实施方式的电子设备的示意性框图；
63.图3示意性地示出了根据本发明的实施方式的光学生物特征成像装置；
64.图4示意性地示出了根据本发明的实施方式的当提供光图案并获取图像时的光学生物特征成像装置；
65.图5a概念性地示出了在三维对象与盖结构之间的不同界面处的法向入射反射；
66.图5b概念性地示出了在二维对象与盖结构之间的界面处的法向入射反射；
67.图6a示意性地示出了根据本发明的实施方式的当提供光图案并获取图像时的光学生物特征成像装置；
68.图6b示意性地示出了根据本发明的实施方式的当提供光图案并获取图像时的光学生物特征成像装置；
69.图6c示意性地示出了根据本发明的实施方式的光学生物特征成像装置；
70.图6d概念性地示出了覆盖像素的单元格的光源单元；
71.图6e概念性地示出了覆盖像素的若干单元格的光源单元；
72.图7概念性地示出了由可控光源产生的点图案形式的光图案以及包括不同图像部分的获取图像；
73.图8概念性地示出了根据本发明的实施方式的人工神经网络；
74.图9是根据本发明的实施方式的可能的生物特征认证过程的流程图；
75.图10是根据本发明的实施方式的可能的生物特征认证过程的流程图；
76.图11是根据本发明的实施方式的方法步骤的流程图；以及
77.图12示意性地示出了根据本发明的实施方式的光学生物特征成像装置。
具体实施方式
78.在本具体实施方式中，参考布置在显示面板下方的光学生物特征成像装置来主要描述根据本发明的光学生物特征成像装置的各种实施方式。然而，应当注意，所描述的成像设备还可以用于其他光学生物特征成像应用例如位于盖玻璃等下方的光学指纹传感器中。
79.现在转到附图，并且具体地转到图1，以具有集成的显示器内光学生物特征成像装置100和带有触摸屏界面106的显示面板102的移动设备101的形式示意性地示出了被配置成应用根据本公开内容的概念的电子设备的示例。光学生物特征成像装置100例如可以用于解锁移动设备101并且/或者用于对使用移动设备101执行的交易进行授权等。
80.光学生物特征成像装置100此处被示为小于显示面板102，但是仍然相对较大，例如大面积实现方式。在另一有利的实现方式中，光学生物特征成像装置100的大小可以与显示面板102大小相同，即，全显示解决方案。因此，在这样的情况下，用户可以将他/她的手指放置在显示面板上的任何地方以进行生物特征认证。在其他可能的实现方式中，光学生物特征成像装置100可以小于所描绘的光学生物特征成像装置，例如提供热区实现方式。
81.优选地并且如对于本领域技术人员明显的，图1中所示的移动设备100还可以包括用于wlan/wi-fi通信的第一天线、用于电信通信的第二天线、麦克风、扬声器和电话控制单元。当然，移动设备中可能包括其他的硬件元件。
82.此外应当注意，本发明可以应用于包括透明显示面板的任何其他类型的电子设备，例如膝上型计算机、平板计算机等。
83.图2是根据本发明实施方式的电子设备的示意框图。电子设备200包括透明显示面板204和概念性地图示为根据本发明的实施方式布置在透明显示面板204下方的光学生物
特征成像装置100。此外，电子设备200包括诸如控制单元202的处理电路。控制单元202可以是电子设备202的独立控制单元，例如设备控制器。替选地，控制单元202可以包括在光学生物特征成像装置100中。
84.控制单元202被配置成从光学生物特征成像装置100接收指示检测到的对象的信号。所接收的信号可以包括图像数据。
85.基于所接收的信号，控制单元202被布置成检测例如指纹。基于所检测的指纹，控制单元202被配置成执行指纹认证过程。这样的指纹认证过程被认为是本领域技术人员本身已知的，并且本文中将不进行描述。
86.图3示意性地示出了根据本发明的实施方式的光学生物特征成像装置100。光学生物特征成像装置100被配置成捕获对象302的图像。
87.光学生物特征成像装置100包括图像传感器304，该图像传感器包括光电检测器像素阵列306。图像传感器304布置在包括光源单元310的可控光源308下方。
88.图像传感器304可以是任何合适类型的图像传感器，例如连接至相关控制电路的cmos或ccd传感器。在一些实现方式中，图像传感器304可以是基于薄膜晶体管(tft)的图像传感器，其提供成本有效的解决方案。可以假设这样的图像传感器的操作和控制是已知的，并且在本文中将不进行讨论。
89.存在经过可控光源308的合适的开口或光路，使得从对象302传输的光束可以到达图像传感器304。例如，可控光源可以是光源不完全密集的显示器。换言之，这允许来自显示器和对象的反射光到达传感器。光照射点也可以由一个或若干个光像素构成，留下反射光可以到达图像传感器304的中间区域。
90.光电检测器像素阵列306包括第一像素集合312以获取第一类型的图像部分。第一像素集合312布置在颜色可控光源的在图像获取期间有效的光源单元310正下方。
91.光电检测器像素阵列306还包括第二像素集合314以获取第二类型的图像部分。第二像素集合314布置在可控光源的在图像获取期间至少部分无效的部分318正下方。
92.现在结合图3参照图4，光学生物特征成像装置100被配置成使用可控光源308用包括具有不同光强度的部分的光图案320来照射对象302。换言之，可控光源包括光源单元310，其进行协作以提供具有比第二照射部分324更高强度的第一照射部分322。将光源单元310或光源单元组分开，使得有效的光源单元310之间的区域318通常是无效的，即不产生照射。
93.在照射对象302时，光学生物特征成像装置100被配置成获取对象302的图像326。作为用光图案320照射对象302的结果，图像326包括第一类型的图像部分328(仅两个具有附图标记)以及与照射对象的光图案的具有不同光强度的部分相对应的第二类型的图像部分330。图像部分328对应于具有比第二照射部分324更高强度的照射部分322。第二类型的图像部分330对应于具有较低强度的照射部分324。第二类型的图像部分330(仅一个具有附图标记)位于第一类型的图像部分328之间。
94.捕获与具有较高强度的照射部分322对应的图像部分328的图像传感器304中的像素布置在相应有效光源单元310正下方。
95.类似地，捕获与具有较低强度的照射部分324对应的图像部分330的图像传感器304中的像素布置在相应至少部分无效区域318正下方。
96.光学生物特征成像装置100被配置成至少部分地基于从图像部分提取的度量来执行生物特征认证。可以从第一类型的图像部分和第二类型的图像部分之一或者从第一类型的图像部分和第二类型的图像部分两者提取度量。
97.应当理解，为了附图中的清楚起见，光源单元和图像传感器的像素未按比例进行绘制。此外，光源单元可以包括若干光源，例如一起形成光源单元的led或oled像素的集合。例如，3
×
3led或oled像素的集合可以形成光源单元。此外，光源单元的大小通常大于单个图像传感器像素。优选地，包括至少四个像素的光电检测器像素的单元格布置在每个光源单元之下。
98.再次转到图3，光学生物特征成像装置100此处布置在至少部分透明的显示面板102下方。然而，只要图像传感器接收足够量的光以捕获与盖结构的外表面接触的生物特征对象302的图像例如指纹或掌纹，光学生物特征成像装置100可以布置在足够透明的任何盖结构下方。
99.光电检测器像素阵列优选地包括：被布置成主要捕获从对象反射的镜面反射光的像素312以及被布置成主要捕获从对象反射的漫射光的像素314。该设备便于捕获包括以下部分的图像：对应于主要从对象302反射的镜面反射光的至少一个图像部分328以及对应于主要从对象302反射的漫射光的至少一个图像部分330。
100.有效的光源单元310与有效的光源单元310正下方的像素312之间的空间关系提供了从光源单元传输的、从对象302反射的、并且由像素312检测到的光，该光主要经历了从对象302的镜面反射。类似地，布置在有效的光源单元310之间——即至少部分在无效的区域318下方——的像素314接收从对象302进行漫反射的光。
101.由在光源正下方的像素检测到的镜面光还主要从对象进行法线反射。图5a概念性地示出了不同界面处的法向入射反射。第一界面在具有折射率n1的空气与具有折射率n2的覆盖光学生物特征成像装置100的盖结构102之间。第二界面在盖结构102与填充对象502和盖结构102之间的空间(例如，在指纹谷处)的空气之间。第三界面在具有折射率n3的对象(例如在指纹脊处)与盖结构102之间。由于在每个界面处的折射率不匹配，来自光源单元的镜面背反射光主要是被表面反射。换言之，如果对象是如图5a所示的三维对象，则在盖结构102的外表面处存在不同的折射率失配，即n2/n3和n2/n1，并且因此发生不同的法线角镜面反射。因此，如果对象是三维对象，则三维结构将出现在由光源单元310正下方的像素捕获的图像部分328中。
102.相比之下，现在转到图5b，如果对象是二维对象503，则在具有折射率n2的盖结构102与具有折射率n3的对象503之间仅存在单个界面。换言之，在整个二维对象上，法线角镜面反射将相等，并且不能检测到结构。因此，通过分析由光源单元310正下方的像素捕获的图像部分328，可以区别二维结构与三维结构。
103.通常，在镜面反射中，光的入射角等于输出角，而在漫反射中，光在一定角度范围内反射。此外，漫反射是波长相关的，因为不同的颜色波长根据反射对象的材料而被不同地散射和吸收。非法线镜面反射对于所有波长至少在第一程度上相同。因此，使用漫反射光，颜色差异将表现得更好。因此，可以分析由不在有效的光源单元310正下方的像素捕获的图像部分330，以检测颜色差异。
104.基于上述内容，光图案可以有利地包括至少两种可区别颜色的光。这允许分析对
象302的颜色信息。例如，即使可以用与活手指类似的三维结构来实现欺骗，来自对象的反射光的颜色也可能与活手指的颜色不同。在其他可能的实施方式中，用宽带光例如多光谱光照射对象，并且图像传感器包括被配置成检测特定颜色的光的不同像素组。因此，可以在图像传感器处而不是通过可控光源来执行颜色选择性。
105.转到图6a，其概念性地示出了颜色可控光源309，该颜色可控光源包括用于照射对象的被配置成提供第一可区别颜色的光的第一光源单元集合310a和被配置成提供第二可区别颜色的光的第二光源单元集合310b。因此，照射图案320包括由对应的光源单元310a至310b提供的不同照射颜色的部分322a至322b。对应的图像部分330a、330b包含颜色信息，并且如上所述，在由不在有效的光源单元310a至310b正下方的像素捕获的图像部分330中更好地检测颜色信息。注意，此处仅示出了光源单元310a中的两个以及光源单元310b中的两个，然而，在实际实现方式中，光源单元310a至310b的每一个中有多于两个光源单元。
106.从图像部分330、330a、330b提取的颜色信息包括在度量中。换言之，可以至少部分地基于从图像部分提取的用于至少两种可区别颜色中的每一种的度量来执行生物特征认证。例如，可以通过例如led或oled像素从绿光和蓝光提供可区别颜色。
107.图6b示出了另一实施方式，其中所获取的图像包括具有如图6a中的颜色信息的图像部分。然而，在该实施方式中，光学生物特征成像装置100被配置成使用可控光源308用包括具有不同光强度的部分的宽带照射光图案320来照射对象302。宽带照射是覆盖一定波长范围的多光谱照射，优选地产生白光。为此，若干光源310单元可以协作地产生白光，例如，当可控光源单元是诸如oled、led、lcd等的显示器时，显示器中的若干像素可以协作地产生宽带照射。所指示的光源单元310可以包括一个或多个显示像素。
108.另外参照图6b，获取的图像326包括使用被配置成捕获第一可区别颜色的光的光电检测器像素获取的至少一个图像部分330a。此外，图像326包括使用被配置成捕获第二可区别颜色的光的光电检测器像素获取的至少一个图像部分330b。为此，一些像素可以被配置成检测第一可区别颜色的光，并且其他像素可以被配置成检测第二可区别颜色的光，而可控光源308被配置成产生用于照射对象302的宽带照射。
109.现在转到图6c，为了选择性地检测可区别颜色的光，可以由适当的滤波器覆盖像素。例如，像素360可以被具有允许第一可区别颜色的光到达像素360的透射带的第一滤波器364覆盖。类似地，像素361可以被具有允许第二可区别颜色的光到达像素361的透射带的第二滤波器365覆盖。
110.如图6c概念性地示出的，像素中的任何一个像素360或任何一个像素361可以布置于在图像获取期间有效的光源单元310正下方。此外，任何一个像素360或任何一个像素361可以布置在可控光源的在图像获取期间至少部分无效的照射区域318下方。
111.此外，图像传感器可以包括被配置成检测另外的可区别颜色的像素。例如，如图6d概念性地示出的，在优选实施方式中，设置在每个光源单元310下方的像素的单元格(unit cell)366包括：被配置成捕获第一可区别颜色的光的至少一个像素360、被配置成捕获第二可区别颜色的光的至少一个像素361、以及被配置成捕获第三可区别颜色的光的至少一个像素368。在该实施方式中，在每个光源单元310下方布置有被配置成捕获第一可区别颜色的光的两个像素360。
112.在可能的实现方式中，借助于如上文所描述的合适滤波，像素360可被配置成检测
绿光，像素361被配置成检测蓝光且像素368被配置成检测红光。
113.优选地，光源单元310覆盖若干单元格366，如图6e概念性所示的。
114.图7概念性地示出了作为由可控光源产生的点图案的光图案700和包括不同图像部分的获取图像750。可以从图像750中收集局部最大光值和局部最小光值。局部最大值752对应于从点正下方(例如光源单元下方)检测到的光。因此，第一组图像部分由在点正下方的像素获取。在局部最大值752(仅对一个进行编号)处，检测的信号应当主要由对象的三维结构调制，如上所述。换言之，如果对三维结构成像，则图像750中的局部最大值的直方图应当更宽。
115.来自局部最小值754(仅对一个进行编号)的光对应于在光图案700中的点之间检测到的光，换言之，第二组图像部分754由点下方与点之间的像素获取。由漫反射光控制表示局部最小值的信号。基于以上讨论，通过研究局部最小值754应当能够检测对象的颜色属性。在光学生物特征成像装置布置在显示面板下方或任何其他至少部分反射表面下方的情况下，可以基于使用不同归一化目标的归一化过程来补偿来自至少部分反射表面的镜面反射和漫反射。
116.可以基于图像部分的直方图分析来提取度量。例如，在捕获图像750中，由布置在发射可区别颜色的光的光源单元下方的像素所获取的信号的直方图、被配置成捕获可区别颜色的光的像素的直方图、由布置在发射白光的光源单元正下方的像素所获取的信号的直方图、最大值的直方图和最小值的直方图。
117.可以根据各种过程来执行提取度量，并且出于示例性目的，现在讨论一个示例。在使用例如镜面目标和漫射目标的图像对图像强度进行适当校准之后，获得经调整的图像。基于该调整的图像，计算局部最大值并且将其求和为局部最大值矩阵。可以计算该局部最大值矩阵的直方图。类似地，计算局部最小值并且将其求和为局部最小值矩阵。计算局部最小值矩阵的直方图。
118.可以从直方图提取或计算度量。例如，直方图中心部分可以是一个度量，换言之，直方图的具有在上阈值与下阈值之间的值的部分，在该部分中可以调谐阈值。可以计算直方图中心部分并且将其存储在度量结构中。
119.此外，可以计算直方图的上百分点和下百分点，并且将其存储在度量结构中。另一可能的度量是直方图的宽度。
120.此外，作为示例，对于局部最大值和/或局部最小值，可以计算阈值(例如，诸如阈值1)以上的直方图区间的总和的计量标准，并且将其作为度量存储在度量结构中。
121.另外，度量可以与可控光源之下的高强度区域的总面积有关。因此，最大区域752或图像部分328，其中该区域由与阈值以上的像素值相关联的像素来定义。
122.另一示例度量是分析局部最大值和局部最小值与参考图像的相关性。这样的参考图像可以是例如光学生物特征成像布置的校准图像。参考图像也可以是用于如上所述对来自至少部分反射表面的镜面反射和漫反射进行归一化的图像。
123.可以针对每个可区别颜色重复上述提取度量的过程。换言之，可以针对与利用每个可区别颜色的照射来捕获图像相关联的相应像素计算局部最大值矩阵的直方图和局部最小值矩阵的直方图。
124.每个度量提供对象的属性的指示，其中来自基于局部最大值矩阵的直方图的度量
指示对象的3d结构，并且局部极小值矩阵指示对象的颜色属性。
125.优选地，生物特征认证基于使用模型处理度量。示例模型基于机器学习算法。换言之，生物特征认证基于使用机器学习算法处理度量。
126.示例机器学习算法基于人工神经网络，该人工神经网络可以基于例如监督学习或无监督学习来进行训练。示例人工神经网络是多层感知器模型。
127.图8概念性地示出了多层感知器模型800。此处，多层感知器模型800例示为在输入层中的四个输入、隐藏层、以及在输出层中的一个输出。输入的数目和隐藏层的数目可以与所描绘的示例不同。可以使用利用反向传播的分类器来学习多层感知器以对图像进行分类。该多层感知器模型800中的节点都可以是s形的。
128.也可以设想其他人工神经网络。
129.图9是可能的生物特征认证过程的流程图。在步骤s202中，由光学生物特征成像装置100检测到触摸之后，该处理进入反欺骗预处理步骤s204。此处，在步骤s104中，用包括具有不同光强度的部分的光照射对象，可以以结构光的形式提供这样的光图案。接下来，在步骤s104中获取图像，该图像包括与照射对象的光图案的具有不同光强度的部分相对应的图像部分。在步骤s106中，执行反欺骗处理步骤作为生物特征认证的一部分。步骤s106包括至少部分地基于从图像部分提取的度量来执行生物特征认证。
130.此外，在步骤s206中，该处理继续使用常规照射来照射对象，以在步骤s208中捕获图像用于生物特征匹配目的。常规照射是通常用于捕获用于生物特征认证的图像的照射。在用于生物特征匹配的图像处理步骤s210之后，在步骤s212中基于步骤s210和步骤s106的结果做出认证决定。
131.图9中的流程图示出了可以在反欺骗预处理步骤s204中执行根据本发明构思的方法。
132.在其他可能的实现方式中，反欺骗预处理步骤与用于生物特征匹配的步骤组合。图10概念性地示出了这样的处理之后的步骤。在步骤s302中由光学生物特征成像装置100检测到触摸之后，在步骤s304中用结构光(即具有不同强度部分的光)和用于常规图像捕获的照射两者来照射对象。为此，可控光源的一些部分用于结构光，并且可控光源的一些部分用于常规照射。
133.在步骤s306中，图像传感器捕获图像。该图像包括与照射对象的光图案的具有不同光强度的部分相对应的图像部分。图像还包括可以用于生物特征匹配的图像部分。
134.在步骤s308中，基于从图像部分提取的度量，为了匹配目的和反欺骗检测两者对图像进行处理。在s310中提供匹配和反欺骗检测的结果，例如是否解锁设备。
135.图11是根据本发明的实施方式的方法步骤的流程图。该方法用于使用光学生物特征装置进行生物特征认证，该光学生物特征装置包括图像传感器，该图像传感器包括被配置成捕获对象的图像的光电检测器像素阵列。该图像传感器布置在包括光源单元的可控光源下方。
136.该方法包括步骤s402，其提供光图案，该光图案包括用于照射对象的具有不同光强度的部分。
137.在步骤s404中，获取对象的图像，该图像包括与照射对象的光图案的具有不同光强度的部分相对应的图像部分。
138.至少一个图像部分由布置在对于图像获取是有效的光源单元正下方的光电检测器像素阵列中的像素捕获，并且至少一个图像部分由布置在可控光源的在图像获取期间至少部分有效的照射区域下方的光电检测器像素阵列中的像素捕获。
139.在步骤s408中，至少部分地基于从图像部分提取的度量来执行生物特征认证。
140.再次转到图3，例如，光学生物特征成像装置100还可选地包括被布置成覆盖图像传感器304的透明基板340以及覆盖透明基板340的上表面的不透明层342。不透明层342还包括彼此间隔一定距离布置的多个分开的开口344。
141.光学生物特征成像装置100可以包括微透镜346的阵列，每个微透镜布置在可选不透明层342的相应开口344中并且与不透明层342在相同平面中。此外，微透镜346具有与开口344相同的大小和形状，以防止未穿过微透镜344的任何杂散光到达图像传感器304。类似于相机镜头的其他镜头结构也可以包括在光学生物特征成像布置中。
142.每个微透镜346被配置成使光通过透明基板340并重定向到光电检测器像素阵列306中的像素子阵列上。子阵列可以是仅从一个微透镜346接收光的像素阵列。还应当注意，微透镜346和显示像素312、314未按比例进行绘制。接收来自微透镜346的光的像素子阵列优选地不与接收来自相邻微透镜的光的相邻子阵列交叠。
143.光学生物特征成像装置100还可以包括在微透镜与盖结构302之间的附加中间层。中间层可以例如包括：用于将盖结构302附接至成像装置100的粘合层，以及盖结构302与微透镜344之间的气隙。此外，中间层还可以包括在本文中未单独示出的抗反射涂层、光学滤波器(例如红外滤波器)和/或偏振滤波器。
144.微透镜在本文中被示为具有朝向透明基板定向的平坦表面的平凸透镜。还可以使用其他透镜配置和形状。平凸透镜可以例如被布置成使平坦表面朝向显示面板，并且在一个实施方式中，即使与微透镜的相反定向相比成像性能可能降低，透镜也可以附接至显示面板的底表面。还可以使用其他类型的透镜，例如凸透镜。使用平凸透镜的优点是易于制造并且由具有平坦表面的透镜组装提供。
145.光学生物特征成像装置100被图示为具有微透镜集合。然而，这仅是为了说明而选择的，并且许多其他可能性是能够设想到的并且在所附权利要求的范围内。例如，在一些可能的实现方式中，微透镜阵列可以由准直器阵列代替。在另外的可能实现方式中，光导元件包括编码孔径元件的阵列。编码孔径成像基于以已知图案阻挡入射光的原理，使得编码阴影投射在图像传感器上。然后，可以从该阴影图像数学地重建原始发射的光(即，到达编码孔径的光)的属性。
146.所描述的光学生物特征成像装置的一般操作原理是，由颜色可控光源中的像素发射的光将由放置在感测表面上的手指进行反射，并且反射光可以由光重定向元件接收并且随后被重定向到光电检测器像素阵列中的对应像素子阵列。在子阵列的情况下，可以针对每个子阵列捕获手指的一部分的图像。
147.通过组合来自所有光重定向元件的图像，可以形成表示指纹的图像，并且可以执行随后的生物特征验证。
148.图12概念性地示出了光学生物特征成像装置1200的另一可能实现方式。此处，代替微透镜、准直器或编码孔径，至少一个相机透镜1202用作光重定向元件，覆盖图像传感器304的像素312、314的全部或子集。
149.参照图2和图3，根据实施方式，提供了被配置成使用光学生物特征装置100来执行生物特征认证的控制单元202，该光学生物特征装置包括图像传感器304，该图像传感器包括被配置成捕获对象302的图像的光电检测器像素阵列。图像传感器布置在包括光源单元310的可控光源308下方。
150.控制单元202被配置成获得对象302的图像，该图像是在例如使用结构光用包括具有不同光强度的部分的光图案照射对象302时获取的。所获得的图像包括与照射对象302的光图案的具有不同光强度的部分相对应的图像部分。
151.至少一个图像部分由布置在图像获取期间有效的光源310正下方的光电检测器像素阵列中的像素312捕获。
152.至少一个图像部分由布置在可控光源的在图像获取期间至少部分无效的照射区域318下方的光电检测器像素阵列中的像素314捕获。
153.控制单元202被配置成至少部分地基于从图像部分提取的度量来执行生物特征认证。
154.控制单元202可以被配置成：控制可控光源308以用光图案照射对象，并且控制光学生物特征装置的图像传感器304以获取对象的图像。控制单元因此可以向可控光源308发送控制信号，指示其产生照射。
155.附图中所示的部件的大小不一定按比例进行绘制。例如，为了说明本发明的概念，在附图中为了清楚起见，主要选择光源单元和光电检测器像素的大小。
156.控制单元可以包括微处理器、微控制器、可编程数字信号处理器或另一可编程设备。控制单元还可以或替代地包括专用集成电路、可编程门阵列或可编程阵列逻辑、可编程逻辑器件或数字信号处理器。在控制单元包括诸如上述微处理器、微控制器或可编程数字信号处理器的可编程设备的情况下，处理器还可以包括控制可编程设备的操作的计算机可执行代码。应当理解，借助于控制单元(或一般地讨论为“处理电路”)提供的功能的全部或一些部分可以至少部分地与光学生物特征成像装置集成。
157.本公开内容的控制功能可以使用现有计算机处理器来实现，或者通过用于出于该目的或另一目的而被并入的适当系统的专用计算机处理器来实现，或者通过硬连线系统来实现。本公开内容范围内的实施方式包括程序产品，程序产品包括用于携载或具有存储在其上的机器可执行指令或数据结构的机器可读介质。这样的机器可读介质可以是可以由通用或专用计算机或具有处理器的其他机器访问的任何可用介质。作为示例，这样的机器可读介质可以包括ram、rom、eprom、eeprom、cd-rom或其他光盘存储装置、磁盘存储装置或其他磁存储设备、或者可以用于以机器可执行指令或数据结构的形式携载或存储期望的程序代码并且可以由通用或专用计算机或具有处理器的其他机器访问的任何其他介质。当通过网络或另一通信连接(硬连线、无线、或硬连线或无线的组合)将信息传送或提供给机器时，该机器适当地将该连接视为机器可读介质。因此，任何这样的连接都被适当地称为机器可读介质。上述内容的组合也包括在机器可读介质的范围内。机器可执行指令包括例如使通用计算机、专用计算机或专用处理机器执行某一功能或某组功能的指令和数据。
158.尽管已经参考本发明的特定示例性实施方式描述了本发明，但是对于本领域技术人员而言，许多不同的改变、修改等将变得明显。此外，应当注意，成像设备的部件可以被省略、互换或以各种方式进行布置，成像设备仍然能够执行本发明的功能。
159.另外，本领域技术人员在实践所要求保护的发明时，通过研究附图、公开内容和所附权利要求，可以理解和实现对所公开的实施方式的变型。在权利要求中，词语“包括”不排除其他元件或步骤，并且不定冠词“一”或“一个”不排除多个。在相互不同的从属权利要求中叙述某些措施的事实不表示不能有利地使用这些措施的组合。