能够提高图像数据质量的用于捕获人的身体部位的图像数据的生物特征成像设备和生物特征成像方法与流程

1.本公开涉及一种用于捕获人的身体部位的图像数据的生物特征成像设备和生物特征成像方法。特别地，本公开涉及一种能够提高图像数据质量的用于捕获人的身体部位的图像数据的生物特征成像设备和生物特征成像方法。


背景技术：

2.生物特征认证设备，其包括用于捕获人的身体部位的图像数据的生物特征成像设备，广泛用于人员认证，例如在对资源(例如，建筑物、房间、计算机、智能手机、电子银行账户、投票系统、学校或大学试卷、边境、公司登记册等)的访问控制的背景下。
3.在一些实施例中，生物特征成像设备配置为捕获人的身体部位(例如，人的手)的图像数据，使得可以从捕获的图像数据确定个体和典型的生物特征。人的手或身体部分的捕获图像数据可以涉及使用近红外光传感器(例如700nm至900nm)捕获的图像数据、使用可见光传感器(例如400nm至600nm)捕获的图像数据或其组合。从图像数据确定的生物特征可以涉及手的静脉图案、掌纹、生命线等。在近红外光中捕获的图像数据能够确定涉及手的静脉图案的特征。在可见光下捕获的图像数据能够确定与手的掌纹和生命线相关的特征。
4.人员认证基于预存储的生物特征，该生物特征在有资格且值得信赖的机构控制下登记。例如，该机构基于身份证明卡(例如护照)验证人员身份。捕获人的手的各个图像数据并且从所捕获的图像数据中确定人的手或身体部分的生物特征。确定的生物特征作为预存储的生物特征存储在数据库中。在一些实施例中，预存储的生物特征可以部分或完全包括捕获的图像数据。确定的手或身体部位的生物特征、捕获的手的图像数据或其组合可以涉及静脉图案、掌纹、生命线等。
5.稍后，如果需要人员认证，生物特征认证设备捕获人的手或身体部位的图像数据。确定人的手或身体部位的生物特征并与预存储的生物特征和/或预存储的图像数据进行比较。如果在预存储的生物特征内发现匹配，则通过人员的认证，否则拒绝认证。
6.为了实现可重复的结果和足够的认证准确度，生物特征成像设备必须捕获人的身体部位或手关于可见光谱和近红外光谱的高质量的图像数据。特别地，用可见光和近红外光的照明要求具有高同质性和一致的强度。人的身体部位的图像数据的捕获需要在各种环境条件下提供高质量的图像数据。例如，在改进安装中，以前安装的照明对于生物特征成像设备的安装不是最佳设计。为了实现期望的易用性，通常将生物特征成像设备安装成使得人可以将身体部位移动到舒适的姿势。例如，人可能希望将平放的手移动到相对于地面水平的姿势，或者移动到相对于地面具有最大45
°
倾斜度的姿势。然而，背光可能会严重影响使用生物特征成像设备(已安装以提供期望的易用性水平)捕获的图像数据的质量。生物特征成像设备的其他应用与笔记本电脑或智能手机(在白天、阳光、雨天条件下、在夜间使用)相关。然而，在这种变化很大的环境条件下也要求捕获的图像数据具有高质量。在需要确定仅与手的手掌的子区域相关的生物特征的情况下，由于没有背光覆盖，如果需要确定整个
手和手指的生物特征，捕获高质量的图像数据变得特别困难。捕获的图像数据的重要质量特征与所谓的“感兴趣区域”相关，必须清楚地识别这些区域。这导致图像数据在手的边缘处必须具有高对比度的要求，以明确且可再现地确定手的轮廓。
7.us2005286744a1公开了捕获手掌的图像。提供了用于支撑手腕的正面指导。正面指导能够将手掌自然地引导到传感器单元的图像捕获区域。手掌可以正确定位。
8.us2006023919a1公开了提供指导以适当地执行生物特征信息的图像捕获。图像捕获设备以短间隔执行多个图像捕获操作(包括距离测量)。根据分析结果显示指导屏幕。指导包括“请再次将手放在认证设备上”、“您的手太远”、“张开手掌”、“请使手与设备平行”等信息。结合机械引导公开了指导。


技术实现要素：

9.本发明的目的是提供一种生物特征成像设备和一种生物特征成像方法，它们不具有现有技术的至少一些缺点。特别地，本发明的目的是提供一种能够提高图像数据质量的生物特征成像设备和生物特征成像方法。特别地，本发明的目的是提供一种生物特征成像设备和生物特征成像方法，其能够在困难的背光条件下并且无需任何机械辅助装置(例如机械手引导)来提高图像数据质量。
10.本发明的至少一个目的通过所附独立权利要求中限定的生物特征成像设备和生物特征成像方法来实现。从属权利要求阐述了本发明的进一步实施例。
11.本发明的至少一个目的通过一种用于捕获人的身体部位的图像数据的生物特征成像设备来实现，其包括用于在可见光谱中捕获身体部位的图像数据的可见光传感器和用于在近红外光谱中捕获身体部位的图像数据的近红外光传感器中的至少一个。生物特征成像设备包括飞行时间摄像机，其配置为捕获人的身体部位的三维图像数据。生物特征成像设备配置为执行成像程序，该成像程序包括步骤：捕获当前身体部位姿势的三维图像数据；基于三维图像数据确定期望的身体部位姿势与当前的身体部位姿势之间的差异；基于所确定的差异向该人提供用户指导，使人能够在期望姿势的方向上调整身体部位姿势；并且捕获可见光谱中的图像数据以及红外光谱中的图像数据中的至少一种。期望的身体部位姿势可以考虑困难的背光条件。可以动态地确定期望的身体部位姿势，例如根据捕获的三维图像数据。期望的身体部位姿势可以考虑特定因素，例如光源的位置、光源的亮度等。无需诸如机械引导之类的进一步辅助，用户能够根据期望的身体部位姿势来调整身体部位姿势，并且提高了捕获图像数据的质量。
12.可以基于飞行时间摄像机捕获的三维图像数据优化可见光谱中图像数据的捕获和/或近红外光谱中图像数据的捕获。例如，优化可以与可见光传感器的焦距和/或景深相关。例如，优化可以与近红外光传感器的焦距和/或景深相关。例如，如果捕获手掌侧或手背侧的图像数据，则优化可以允许以详细的分辨率捕获皱纹或皮肤皱褶，例如用更多细节补充手的手掌侧的生命线。基于三维图像数据的优化可以涉及确定与可见光传感器和/或近红外光传感器具有预定距离的期望身体部位姿势，从而考虑焦距和/或景深。因此，不需要昂贵的透镜，例如足够快的电适应液体透镜。此外，不需要对可见光或近红外光谱中的图像数据进行实时计算复杂的频率分析。此外，飞行时间摄像机捕获的三维图像数据能够精确测量身体部位(例如，手)的绝对尺寸。
13.在实施例中，当前和期望的身体部位姿势涉及相对距离、相对取向和手势中的一个或多个。在一些实施例中，相对于可见光传感器和/或相对于近红外光传感器限定相对距离和/或相对取向。
14.在实施例中，用户指导与调整当前身体部位姿势的相对距离、相对取向和手势中的一个或多个相关。相对距离可以与生物特征成像设备和身体部位之间的距离相关。相对取向可以与生物特征成像设备和身体部位姿势之间的相对取向相关。相对距离和/或取向可以取决于生物特征成像设备的环境性质，例如背光、反射面等。手势可以与身体部位的运动相关，例如手的手指张开的伸展。
15.在实施例中，用户指导包括在显示器上显示的视觉指导和在扬声器上回放的声学指导中的一个或多个。由于可能不知道人的语言，声学指导可能并非优选。声学指导可以包括通用信号，例如警告信号、信息信号等。视觉指导可以包括身体部位的表示，其可以包括强调，诸如有色部位。
16.在实施例中，用户指导包括在显示器上显示期望的身体部位姿势的表示和当前的身体部位姿势的表示。使人能够更精确地调整身体部位姿势。
17.在实施例中，用户指导包括在显示器上显示指示当前身体部位姿势和期望身体部位姿势之间的差异的水平仪的表示。使人能够更精确地调整身体部位姿势。
18.在实施例中，生物特征成像设备进一步配置为不止一次地重复成像程序中的一个或多个步骤。使人能够逐步调整身体部位从而提高精度。
19.在实施例中，生物特征成像设备进一步配置为如果确定的差异在预定范围内，则在确定差异和捕获可见光谱中的图像数据中和红外光谱中的图像数据中的至少一个之间保持小于100毫秒(优选地小于10毫秒)的延迟。只要身体部位的姿势处于期望的姿势，就会捕获与生物特征相关的图像数据。
20.在实施例中，生物特征成像设备进一步配置为基于三维图像数据、可见光谱中的图像数据和近红外光谱中的图像数据中的至少一个确定身体部位的感兴趣区域，并且根据感兴趣的区域调整期望的身体部位姿势中的至少一种并且捕获可见光谱中的图像数据和红外光谱中的图像数据中的至少一种。例如，在女性的手掌的情况下，近红外光谱可能不包括静脉图案，并且在这种情况下，期望的姿势可以改变为女性的手背。例如，手掌的一部分的矩形感兴趣区域可能不包括足够的生物特征，在这种情况下，期望的身体部位姿势和/或捕获图像数据可以改变以能够捕获手掌的更大区域(例如还包括所有的手指)的图像数据。
21.本发明的至少一个目的还通过一种用于捕获人的身体部位的图像数据的生物特征成像方法来实现，其中提供用于在可见光谱中捕获身体部位的图像数据的可见光传感器和用于在近红外光谱中捕获身体部位的图像数据的近红外光传感器中的至少一种。该方法包括：提供飞行时间摄像机，其配置为捕获人的身体部位的三维图像数据；执行成像程序，其包括以下步骤：捕获当前的身体部位姿势的三维图像数据；基于三维图像数据确定期望的身体部位姿势与当前的身体部位姿势之间的差异；基于所确定的差异向人提供用户指导，使人能够在期望姿势的方向上调整身体部位姿势；捕获可见光谱中的图像数据及红外光谱中的图像数据中的至少一种。
22.在实施例中，用户指导与调整当前身体部位姿势的相对距离、相对取向和手势中的一个或多个相关。
23.在实施例中，用户指导包括在显示器上显示期望身体部位姿势的表示和当前身体部位姿势的表示。
24.在实施例中，生物特征成像方法还包括：不止一次地重复成像程序中的一个或多个步骤。
25.在实施例中，生物特征成像方法还包括如果确定的差异在预定范围内，则在确定差异和捕获可见光谱中的图像数据中和红外光谱中的图像数据中的至少一个之间保持小于100毫秒(优选地小于10毫秒)的延迟。
26.在实施例中，生物特征成像方法还包括基于三维图像数据、可见光谱中的图像数据和近红外光谱中的图像数据中的至少一个确定身体部位的感兴趣区域，并且根据感兴趣的区域调整期望的身体部位姿势中的至少一种并且捕获可见光谱中的图像数据和红外光谱中的图像数据中的至少一种。
附图说明
27.下面参照附图示出的实施例更详细地描述本发明。附图示出：
28.图1示意性地示出了第一人的左手手掌；
29.图2示意性地示出了第二人的右手手掌；
30.图3示意性地示出了第三人的右手3背面的静脉网；
31.图4示意性地示出了人的手和生物特征认证设备；
32.图5示意性地示出了飞行时间摄像机；
33.图6示意性地示出了安装在建筑物中的生物特征成像设备；
34.图7a、7b、7c、7d示意性地示出了与由生物特征成像设备执行的成像程序相关的用户指导；以及
35.图8示意性地示出了捕获用户的手的图像数据的方法。
具体实施方式
36.图1示意性地示出了第一人的左手1的手掌。左手1具有拇指t、食指i、中指m、无名指r和小指l。图2示意性地示出了第二人的右手2的手掌。右手2具有拇指t、食指i、中指m、无名指r和小指l。
37.图1和图2示意性地示出了用可见光传感器(例如，400nm到600nm)捕获的左手1和右手2的手掌的图像。手1、2具有在可见光下可辨认的掌纹p或生命线。附加地或替代地，可以从在近红外光(例如，700nm到900nm)中捕获的图像数据确定手1、2的静脉图案。图1和图2没有示出静脉图案。
38.如图1和图2所示，这两个人的手1、2的掌纹p或生命线包括个体生物特征，例如特定的长度、位置、曲率等。通过与来自注册人的身体部位的已预存储的生物特征进行比较，能够进行特定的人员认证，特别是结合从各个静脉图案确定的生物特征。此外，人员认证还可以基于从在可见光、近红外光或其组合中捕获的图像数据确定的手背的生物特征。然而，目前还不知道从用可见光传感器捕获的图像数据确定的手背的生物特征是否足以实现人员认证。在依靠手背的情况下，目前认为用近红外光传感器捕获的图像数据对于充分实现人员认证是必要的。
39.图3示意性地示出了第三人右手3的背面的静脉网。右手3具有拇指t、食指i、中指m、无名指r和小指l。如图3所示，手3的背面包括静脉，静脉包括背静脉网31(手背静脉网)和背掌骨静脉32(背掌骨节)。可以从使用近红外光传感器捕获的图像数据中确定静脉图案，并且可以从在近红外光中捕获的图像数据中确定各个生物特征。
40.图4示意性地示出了生物特征成像设备80，其可以是生物特征认证设备的一部分或提供生物特征认证设备。生物特征成像设备80包括生物特征传感器10和处理单元20。生物特征成像设备80可以连接到用户显示器40，例如用于提供用户指导。如图4所示，处理单元20可以附接到生物特征传感器10。处理单元20可以远程位于计算基础设施内，例如主机、服务器、云端等。处理单元20可以包括一个或多个处理器并且可以存储可以由一个或多个处理器执行的计算机指令，以启用本公开中描述的功能。用户显示器40可以固定安装在生物特征传感器10附近。用户显示器40可以与用户设备(例如，笔记本、智能电话、智能手表等)相关，其中处理单元20可以通过无线连接(例如蓝牙)与用户显示器40通信。生物特征成像设备80可以包括在用户设备中(例如笔记本、智能手机、智能手表等)。如图4所示，用户的手的当前姿势401和用户的手的期望姿势402可以显示在显示器40上。
41.生物特征传感器10能够捕获人的手4的图像数据。生物特征传感器10包括用于捕获可见光谱中的图像数据的可见光传感器101、用于捕获近红外光谱中的图像数据的近红外光传感器102以及用于捕获具有三维的图像数据的飞行时间摄像机103。可以在单个传感器中包括可见光传感器101、近红外光传感器102和飞行时间摄像机103中的一个或多个。此外，生物特征传感器10包括光源104。图4示出了以圆形围绕传感器101、102和飞行时间摄像机103布置的八个光源104。光源104可以包括不同数量的光源和/或可以以不同方式布置。光源104可以包括定制的透镜以实现均匀的光分布。光源104可以包括提供可见光谱中的照明并且允许用可见光传感器101在可见光谱中捕获图像数据的一个或多个光源。光源104可以包括提供近红外光照明并且允许用近红外光传感器102在近红外光中捕获图像数据的一个或多个光源。可以提供特别是关于可见光传感器101、近红外光传感器102和飞行时间摄像机103的几何位置的校准，例如可见光传感器101、近红外光传感器102和飞行时间摄像机103之间的平移位移。此外，可以提供关于由飞行时间摄像机103捕获的图像数据的缩放因子的校准，例如捕获的图像数据中对象的绝对尺寸。可以通过在专用计算机(例如处理单元20)中的后处理，在生物测定传感器10或其组合内提供校准。校准可以规定可见光传感器101、近红外光传感器102和飞行时间摄像机103捕获的图像数据中的对象彼此对齐。
42.可见光传感器101可以包括根据由3d场景(3d：三维)产生的可见光强度分布提供2d图像数据(2d：二维)的可见光敏芯片。近红外光传感器102可以包括根据由3d场景(3d：三维)产生的近红外光强度分布提供2d图像数据(2d：二维)的近红外光敏芯片。可见光传感器101和近红外光传感器102可以包括透镜、缓冲器、控制器、处理电子器件等。可见光传感器101和近红外光传感器102可以涉及市售传感器，例如e2v半导体sas ev76c570 cmos图像传感器，其为可见光传感器101配备小于500nm波长的阻塞滤光器，并为近红外光传感器102配备大于700nm波长的阻塞滤光器，或者例如omnivision ov4686 rgb
‑
lr传感器，其中可见光传感器101和近红外光传感器102组合在一个芯片中并且该传感器包括rgb
‑
lr滤光器)。光源104可以包括可见光和/或近红外光发生器，例如led(led：发光二极管)。光源104可以涉及市售光源，例如来自roithner laser technik gmbh，vienna(roithner激光技术股份有
限公司，维也纳)的高功率led smb1n系列。
43.图5示意性地示出了飞行时间摄像机103。飞行时间摄像机103包括序列控制器1031、调制控制器1032、像素矩阵1033、a/d转换器1034(a/d：模拟到数字)、led或vcsel 1035(led：发光二极管；vcsel：垂直腔面发射激光器)和透镜1036。序列控制器控制调制控制器1032和a/d转换器1034。调制控制器1032控制led或vcsel 1035和像素矩阵1033。像素矩阵1033向a/d转换器1034提供信号。序列控制器1031与主机控制器1037交互，例如通过i2c总线(i2c：i
‑
平方
‑
c串行数据总线)。led或vcsel 1035照亮3d场景1038。在飞行时间之后，透镜1036接收由3d场景1038反射的光。a/d转换器1034向主机控制器1037提供原始3d图像数据(3d：三维)，例如通过mipi csi
‑
2或pif(mipi：移动工业处理器接口；csi：摄像机串行接口；pif：并行接口)。主机控制器执行深度图计算并提供3d场景1038的幅度图像103a和3d场景的深度图像103d。如图5所示，例如，因为人身后的墙壁布置在距飞行时间摄像机103特定的距离处，所以幅度图像103a的背景包括人身后墙壁的光影，而深度图像103d的背景具有单一值(例如黑色)。飞行时间摄像机103可以涉及英飞凌
tm
公司的real3
tm
，并且可以包括规格：在每个像素中深度和幅度的直接测量；最高准确度；精益计算负载；在每个像素中的主动调制红外光和专利的背景照明抑制(sbi)电路；在任何光照条件(黑暗和明亮的阳光)下的完全运行；没有机械基线的单目系统架构；最小的尺寸和高度的设计灵活性；无近距离操作限制；对机械稳定性无特殊要求；无机械对准和角度校正；无因跌落、振动或热弯曲而重新校准或解除校准的风险；简单且非常快速的一生一次校准；有成本效益的制造。
44.图6示意性地示出了安装在具有入口61的建筑物6中的生物特征成像设备80。对建筑物6的访问由包括生物特征成像设备80的生物特征认证设备控制。如图6所示，生物特征成像设备80安装在靠近入口61的位置。生物特征成像设备80配置为从请求访问建筑物6的人的身体部位(例如手4)捕获图像数据。背光(例如受为了提供舒适的照明条件而安装的光源62影响)，可能会严重恶化由生物特征成像设备80捕获的图像数据的质量。
45.为了捕获具有改进质量的图像数据，生物特征成像设备80配置为执行包括以下步骤的成像程序：捕获手4当前姿势的三维图像数据；基于三维图像数据确定手4的期望姿势与手4的当前姿势的差异；基于所确定的差异向人提供用户指导401、402以使人能够朝期望姿势的方向调整手4的姿势；捕获手4在可见光谱中的图像数据和在红外光谱中的图像数据中的至少一种。
46.图7a、7b、7c、7d示意性地示出了与由生物特征成像设备80执行的成像程序相关的用户指导。用户指导显示在显示器40上。显示器40可以固定地安装在靠近生物特征成像设备80的位置。显示器40可以与用户设备(例如，平板电脑、智能手机等)相关。
47.如图7a所示，显示了手4的期望的姿势402的表示。期望的姿势402的表示的显示基于用飞行时间摄像机103捕获的三维图像数据并且可以根据手4进行校准。根据手4的校准对于能够正确引导不同尺寸的手(例如男人的手、女人的手或儿童的手)来说很重要。如图7a所示，显示了手4的当前姿势402的表示。当前姿势401的表示的显示基于用飞行时间摄像机103捕获的三维图像数据。
48.在根据图7a的示例中，手4的当前姿势离生物特征成像设备80太远，这通过以比期望的姿势402的表示更小的尺寸显示当前的姿势401的表示来指示。因此，人能够在期望姿势的方向上调整手4的姿势，即，将手移动靠近生物特征成像设备80。
49.在根据图7b的示例中，手4的当前姿势离生物特征成像设备80仍然太远，这通过以比期望的姿势402的表示更小的尺寸显示当前的姿势401的表示来指示。然而，关于根据图7a的示例，距离减小并且可以显示更多信息，例如水平仪403(spirit level)，以提供进一步调整手4的姿势的指导。在当前姿势401的手的表示的背面上显示的水平仪403提供关于手的当前倾斜度和手的期望倾斜度之间的差异的用户指导。因此，人能够在期望姿势的方向上调整手4的姿势，即，将手移动甚至更靠近生物特征成像设备80并且调整手的倾斜度。
50.在根据图7c的示例中，手4的当前姿势大约在距生物特征成像设备80的期望距离处，这通过以与期望的姿势402的表示大致相同的尺寸显示当前的姿势401的表示来指示。然而，手4的姿势还不具有正确的倾斜度，这通过与手的当前的姿势401的表示一起显示的水平仪403来指示。因此，人能够在期望姿势的方向上调整手4的姿势，即进一步调整手的倾斜度。
51.在根据图7d的示例中，手4的当前姿势和手4的期望姿势之间的差异处于足够小的水平。生物特征成像设备80捕获可见光谱中的图像数据和红外光谱中的图像数据中的至少一种。由于手4的姿势与期望的姿势一致(这可以特别考虑背光条件、最佳聚焦条件等)，所以捕获的图像数据具有改进的质量。
52.图8示意性地示出了捕获人的手4的图像数据的方法。方法包括如下步骤的成像程序。在步骤s1中，使用飞行时间摄像机103捕获手4的当前姿势的三维图像数据。在步骤s2中，基于三维图像数据确定手4的期望姿势与手4的当前姿势之间的差异。在步骤s3中，基于所确定的差异向人提供用户指导401、402，使人能够在期望姿势的方向上调整手4的姿势。在步骤s4中，捕获手4在可见光谱中的图像数据和在红外光谱中的图像数据中的至少一种。例如，连续重复步骤s1至s3，直到在步骤s2中确定差异小于预定阈值后，步骤s2之后紧跟步骤s4。
53.参考符号列表
54.1、2、3
ꢀꢀꢀꢀꢀꢀꢀꢀ
第一、第二和第三人的手
55.t、i、m、r、l
ꢀꢀ
大拇指、食指、中指、无名指、小拇指
56.p
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
掌纹或生命线
57.31、32
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
手背静脉网、背掌骨静脉
[0058]4ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
人的手
[0059]
10
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
生物特征传感器
[0060]
101
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
可见光传感器
[0061]
102
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
近红外光传感器
[0062]
103
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
飞行时间摄像机
[0063]
104
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
光源
[0064]
20
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
处理单元
[0065]
80
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
生物特征成像设备
[0066]
40
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
显示器
[0067]
401、402
ꢀꢀꢀꢀꢀꢀꢀ
用户的手的当前姿势、用户的手的期望姿势
[0068]
403
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
水平仪