使用复合手部图像的生物特征识别的制作方法

1.本说明书涉及图像拍摄设备。


背景技术：

2.结合诸如面部识别或手部识别的生物特征识别技术的系统通常包括拍摄用户的图像的相机。然后，对拍摄的图像进行处理，以使用生物特征识别技术认证用户。


技术实现要素：

3.在一个方面，本文描述了控制对安全系统的访问的方法。所述方法包括一个或多个图像采集设备获得在第一波长范围内的电磁辐射照射下的部分人体的第一图像。所述第一图像包括关于所述部分人体的皮肤纹理的信息。所述方法还包括所述一个或多个图像采集设备获得在第二波长范围内的电磁辐射照射下的所述部分人体的第二图像。所述第二图像包括关于所述部分人体的皮下脉管系统的信息。所述方法还包括一个或多个处理设备生成复合模板，所述复合模板组合了来自所述第一图像的信息与来自所述第二图像的信息。所述方法还包括确定表示所述复合模板与注册模板之间的相似性的一个或多个度量满足阈值条件，以及响应于确定表示所述复合模板与所述注册模板之间的相似性的所述一个或多个度量满足阈值条件，提供对所述安全系统的访问。
4.以上各方面的实施方式可以包括以下一个或多个特征。生成所述复合模板可以包括使用分类器，所述分类器被配置为以早期融合级别、中期融合级别或者后期融合级别之一融合来自所述第一图像的信息和来自所述第二图像的信息。生成所述复合模板可以包括首先根据所述第一图像生成第一模板以及根据所述第二图像生成第二模板。为所述第一图像生成所述第一模板以及为所述第二图像生成所述第二模板可以包括从所述第一图像和所述第二图像中提取代表手部的相应部分。提取代表所述手部的部分可以包括排除至少部分佩戴在所述手部的配饰。所述皮肤纹理可以包括微特征。所述皮肤纹理可包括以下至少一种：雀斑、斑点、痣、细纹和皱纹。所述部分人体可以包括手部。获得所述手部的第一图像和第二图像可以包括拍摄所述手部的双面图像。所述第一波长范围可以包括在380纳米与600纳米之间。所述第二波长范围可以包括在700纳米与1000纳米之间。所述一个或多个度量可以包括余弦相似性度量、欧几里得距离度量、马哈拉诺比斯距离度量或学习数据驱动的相似性度量中的一个或多个。
5.在另一方面，本文描述了一种系统，该系统包括与安全系统相关联的至少一个处理设备和通信地耦接到该至少一个处理设备的存储器。所述存储器可以存储指令，当执行所述指令时，使所述至少一个处理设备执行操作包括：从一个或多个图像采集设备获得在第一波长范围内的电磁辐射照射下的部分人体的第一图像。所述第一图像可以包括关于所述部分人体的皮肤纹理的信息。所述操作还可以包括：从所述一个或多个图像采集设备获得在第二波长范围内的电磁辐射照射下的所述部分人体的第二图像。所述第二图像可以包括关于所述部分人体的皮下或更深脉管系统的信息。所述操作还可以包括：所述至少一个
处理设备生成复合模板，所述复合模板组合了来自所述第一图像的信息与来自所述第二图像的信息。所述操作还可以包括确定表示所述复合模板与注册模板之间的相似性的一个或多个度量满足阈值条件，以及响应于确定表示所述复合模板与所述注册模板之间的相似性的一个或多个度量满足阈值条件，提供对所述安全系统的访问。
6.以上各方面的实施方式可以包括以下一个或多个特征。所述系统还可以包括图像采集设备、被配置为辐射第一波长范围内的光的第一照明(illumination)源、以及被配置为辐射第二波长范围内的光的第二照明源。所述图像采集设备可以具有面向所述第二照明源的视场，使得所述部分人体位于所述图像采集设备与所述第二照明源之间。生成所述复合模板可以包括使用分类器，所述分类器被配置为以早期融合级别、中期融合级别或者后期融合级别之一融合来自所述第一图像的信息和来自所述第二图像的信息。生成所述复合模板可以包括首先根据所述第一图像生成第一模板以及根据所述第二图像生成第二模板。为所述第一图像生成所述第一模板和为所述第二图像生成所述第二模板包括可以包括从所述第一图像和所述第二图像中提取代表手部的相应部分。所述一个或多个度量可以包括余弦相似性度量、欧几里得距离度量、马哈拉诺比斯距离度量或学习数据驱动的相似性度量中的一个或多个。所述皮肤纹理可以包括微特征。所述部分人体可以包括手部。
7.本文描述的各种实施方式可以提供以下优点中的一个或多个。通过使用多模态生物特征认证系统，可以提高生物特征认证系统的可靠性和安全性。鉴于多光谱和多尺度手部/手指扫描的专有性质，可以缓解对与现行传统生物特征模板交叉匹配问题的担忧，可以提高准确性，且可以改进欺骗检测。此外，通过创建具有来自两种不同模态的信息的独特手部模板，可以提高大型图库识别的效率。
附图说明
8.图1是手部扫描仪的透视图作为可使用本文所描述的技术的示例性环境。
9.图2示出了由短波长照明源照射的手部的图像的示例。
10.图3示出了在红外照明下拍摄的手部的图像的示例。
11.图4是示出了创建第三模板的示意图。
12.图5是控制对安全系统的访问的示例性处理的流程图。
13.图6是表示计算设备的示例的框图。
14.在本文和附图中重复使用附图标记旨在表示相同或相似的特征或元件。
具体实施方式
15.本文描述了生成手部模板以认证或验证用户的技术。各种生物特征识别/验证系统基于从用户收集或拍摄的信息，例如虹膜图像、面部图像、指纹图像或手部图像，然后将这些信息与先前在注册过程期间存储的模板信息进行比较。例如，使用手部识别的生物特征认证系统可能要求注册用户在注册过程期间将他们的手放在图像拍摄设备的前面或上方/下方。在注册过程期间拍摄的图像和/或模板可以存储在生物特征认证系统可访问的存储设备上。在运行时期间，可以拍摄用户的手部图像，并且根据所述图像生成的模板可以与要求者(claimant)或多个潜在用户先前存储的模板进行比较，以找到一个或多个匹配的模板，以确定该用户是否可被认证。破坏此类生物特征认证系统安全性的恶意尝试可以包括
呈现要求者的手部的替代表示(例如，人的手部的图像)以获取对与相应活人的身份相关联的账户或其他特权的访问。这样的攻击通常被称为欺骗攻击，并且生物特征认证系统的可靠性/安全性可以通过系统区分活人和相应的替代表示的能力来确定。这种欺骗检测能力可以通过使用多模式生物特征认证系统提高。此外，通过使用源自多个照明波长(例如，不仅可见光，还有红外线和近紫外线照明)并使用更高分辨率的专有复合模板，可以减少诸如与要求者手部的公开可获得图像匹配的交叉匹配问题。例如，图像采集设备可以拍摄在不同波长的电磁辐射下被照射的手部的两个或多个图像以生成同一手部的两个不同模板(例如，使用同一手部的两个不同模态)。本文中所描述的技术允许组合或融合两个单独模态的图像(或模板)以创建与原始模板和图像中的任一者不同的独特复合模板或融合模板。在运行时期间，通过在两个不同的模态下对人体的相应部分(例如，当前示例中的手部)进行成像，并以与生成融合模板或图像基本相同的方式组合它们来生成用于与模板进行比较的等效融合图像或模板。因此，在运行时期间呈现的任何欺骗替代表示都可能产生与存储的模板显著不同的图像。其次，通过使用附加的波长和更高的分辨率，可以看到新的手部特征并将其编码到融合模板或复合模板中，从而提高系统的生物特征分辨率和识别能力。因此，使用本文描述的技术可以显著提高生物特征认证系统的安全性、可靠性和准确性。
16.图1示出了手部扫描仪100作为可使用本文所描述的技术的示例性环境。这样的手部扫描仪用于需要通过一个或多个生物特征认证处理来认证用户的各种目的。例如，手部扫描仪100可以在用于认证用户的一体机(未示出)中实现。这种一体机可以是自动取款机、或餐厅、或任何其他公共场所的一体机。手部扫描仪100可以内置于一体机中、或可以被实现为与一体机通信的单独设备。例如，扫描仪100可以在允许用户从银行账户取款的自动取款机(atm)中实现。在另一示例中，手部扫描仪100可以被部署在饭店或快餐店的一体机中，并允许用户订购和为食物付款。手部扫描仪100还可以被部署在入口(例如，在竞技场或体育场的大门处)以在进入场地之前认证进入者。通常，手部扫描仪100可以部署在各种类型的位置以交互地认证用户。
17.在一些实施方式中，手部扫描仪100可以包括支持生物特征认证系统的一个或多个组件。例如，如下文更详细描述的，手部扫描仪100可以包括一个或多个照明源115，其被配置为在短波长范围内辐射可见光。例如，照明源115可以在380纳米和600纳米之间的短波长范围内辐射绿光或深蓝光(例如，与紫外光相邻)。手部扫描仪100还可以包括产生红外(ir)或近ir波长范围内的电磁辐射的红外(ir)照明源120。手部扫描仪100还可以包括一个或多个相机105，其被配置为拍摄反射短波长范围内的可见光的物体和反射红外光的物体的图像。例如，相机105可以是具有增强的紫光灵敏度的可见红外(vis/ir)相机。每个相机105可以拍摄与扫描仪100交互的用户的手部的图像。所拍摄的图像可以由通信地连接到相机105的一个或多个处理设备190处理。所拍摄的图像可以被处理以识别、验证或认证合法用户，和/或允许或拒绝访问通过其上实现有手部扫描仪100的一体机提供的服务/产品。例如，一体机可以包括显示设备(例如，电容性触摸屏)，其允许用户在零售店选择和订购食品。一旦用户通过显示设备上呈现的用户界面完成选择，就可以要求用户将他/她的手放在(或悬停在)手部扫描仪的透明表面135(例如，玻璃)上以进行认证。使用相机105拍摄的图像然后可以用于认证/识别/验证该用户的预存储的简档(profile)，然后可以从链接到该简档的账户自动扣除该食品的付款。
18.在一些实施方式中，使用相机105拍摄的图像可以由处理设备190使用底层生物特征认证系统进行处理，以识别/验证用户。在一些实施方式中，生物特征认证系统可以从图像中提取各种特征，例如从手掌、手指、指关节和手部皮肤下的区域中提取的特征，以便根据所提取的特征与在注册过程中以各种分辨率水平(包括微特征)为用户存储的一个或多个模板中所提取的特征相匹配，来识别/认证特定用户。生物特征认证系统可以使用机器学习过程(例如，使用诸如欧几里德距离、马哈拉诺比斯距离、余弦相似性的相似性度量；或诸如支持向量机或神经网络的分类器的深度学习过程实现)来将该用户与为系统的不同用户存储的众多模板(或一组模板)中的一个模板相匹配。在一些实施方式中，机器学习过程可以至少部分地使用部署在手部扫描仪100上的一个或多个处理设备、或与手部扫描仪通信连接的一体机实现。在一些实施方式中，所述一体机可以与实现机器学习过程的一个或多个远程处理设备(例如，一个或多个远程服务器)通信。
19.使用相机105拍摄的图像用于验证用户，并提供对与用户身份相关的账户/特权的访问。然而，破坏这种生物特征认证处理安全的恶意尝试通常涉及呈现活人的欺骗替代表示(例如，打印在纸上、或显示在高清显示设备上、或3d打印的活人的手部的照片或其他图像或体积重建)试图使底层生物特征认证系统将该替代表示识别为相应的活人。因此，在许多情况下，底层生物特征认证系统的安全性和/或可靠性取决于系统区分真实的活人与欺骗替代表示(例如打印的照片或显示设备上显示的图像)的能力。此处描述的技术允许通过使用多模式生物特征认证系统，创建结合了来自多个模板的信息的独特模板，用以提高生物特征认证系统的辨别能力，从而提高系统的可靠性/安全性。
20.此外，多光谱和多分辨率手部/手指扫描以及由此产生的混合模板可能会减轻对源自手部和手指的传统生物特征模板的交叉匹配问题的担忧。鉴于在所提出的系统中使用共享光路快速连续拍摄多光谱图像，nir和近紫外(近uv)到绿色波段图像被一起注册(co
‑
register)，因此手部高分辨率图像的合成图像(早期融合)可以用于用户认证。例如，来自两个不同波长且分辨率更高的图像可以用于创建两个不同的、包含关于用户的手部的信息的模板，并且这些模板可被组合以创建特征级别的混合专有模板。信息混合是不可逆的(例如，不能被分成两个先前的模板)。不可逆模板(复合或融合模板)可以包括局部特征的非线性组合，然后是跨这些局部的特征之间的匹配操作。这些局部描述符可以是从多光谱图像导出且以不同分辨率计算的兴趣点周围的局部二进制模式的直方图，或者是将自动编码器神经网络应用于兴趣点周围的多光谱图像而产生的补丁描述符，或者是在归一化的手部图像上重叠或不重叠的图块(tile)。这种独特的模板可以允许生物特征系统在该模板与其他用户的若干个(例如，数百、数千或数百万)存储模板交叉匹配期间减少错误。此外，手部的一面(side)或两面的多光谱、多分辨率模板包含感兴趣的皮肤和血管特征以及手部几何形状，可以产生更高的熵模板，从而增加系统的生物特征分辨率。可以单独使用或与其他生物特征方式结合使用这种手部生物特征系统，以达到能够识别非常大的图库的水平。大型图库识别是将实时模板与存储在大量模板中的先前存储的模板进行匹配的处理。在一些实施方式中，不同光谱(短波长和长波长)的两个图像可以用于生成可用于生成复合模板的两个不同模板。在一些其他实施方式中，可以使用不同光谱的两个图像来生成复合模板，而无需首先创建模板。
21.在一些实施方式中，手部扫描仪100包括相机105，该相机的视场指向支撑面130的
玻璃135的底面。相机105具有镜头125和图像传感器175，它们可以通过同步电路185可通信地耦接到光源115和光源120。当图像传感器175拍摄手部的图像时，电路185使光源与图像传感器175同步以用相应波长范围内的照明照射手部。相机105拍摄部分人体的图像，例如位于相机105的视场前方的手部140。当手部140在玻璃135上伸展时，相机105可以拍摄手掌和手指的图像。此外，面向第一相机的第二相机105可以放置在支撑面130的相对侧以拍摄手部140的背面的图像。在一些示例中，附加的相机(未示出)可以被布置为拍摄手部140的侧面的图像或手部140的不同区域的图像。在一些实施方式中，引导件145(例如，手指引导件或手部引导件)可以附接到支撑面130以减少不利的对象内扫描变化和/或允许手部扫描仪100具有预定的相机焦距设置。在一些实施方式中，手部扫描仪100可以包括没有支撑面130的相机(或多个相机)，其中，相机105可以拍摄悬停在相机上方的伸展的手部的图像。虽然描述中提到了“相机”，但也可以使用其他类型的图像/数据采集设备。在一些实施方式中，3d相机/扫描仪(例如，使用结构光或飞行时间传感器)与指出的相机一起实施以产生手部的体积图像。这种3d拍摄用于生成辅助手部几何特征，如果手部处于某个角度或者未完全打开或伸平，这些特征可以用于(a)创建附加的生物特征识别信息，和(b)用于归一化主相机拍摄的2d图像。此外，相机/传感器和扫描仪100的其他部件的相对位置是说明性的，并且其他布置在本说明书的范围内。
22.相机105包括照明源115，其被配置为辐射可见光以照射由相机105拍摄的图像的手部。在一些实施方式中，照明源115辐射的波长范围可以包括大约380nm
‑
600nm的可见光谱或者其子带光谱。附加的照明源120被配置为在大约700nm
‑
1000nm的红外(ir)或近红外(nir)光谱中产生电磁辐射。短波长照明源用于照射手部以识别皮肤纹理，例如皮肤微特征。短波长照明增强了诸如斑点和雀斑等皮肤特征的对比度。长波长范围内的照明源用于拍摄手部的皮下(以及比皮下更深的脉管系统)脉管系统(例如，静脉、动脉和脉管弓(emanating arcade))。虽然图1示出了支撑在相机105的环110上的照明源115和照明源120，但是照明源可以安置在相机105的不同位置上或相机105的外部。在一些实施方式中，ir照明源120可以位于相机105的相对侧以辐射ir光，其穿过手部到达图像传感器175。例如，面向手掌的底部相机105可以拍摄由位于所述底部相机105上方的ir源照射的手部的图像，照射手部140的背面。照明源115和照明源120可以与相机同步(例如，帧同步)，被配置为在相机拍摄手部的图像时在短波长照明(例如，蓝色或蓝绿光)和nir照明之间快速切换。在一些实施方式中，手部扫描仪100可以在限制环境光干扰的围场(enclosure)内，提高图像的质量，并因此提高生物特征识别处理的准确性。
23.图2和3分别示出了在短波长照明和ir照明下拍摄的手部的示例性图像。通过使用基于从同一手部拍摄的图像的多模态生物特征系统，本文描述的技术可以用于提高生物特征认证系统的可靠性。参考图2，相机105(图1所示)可以在短波长照明下拍摄手部140的第一图像200，其显示皮肤特征或伪影205，这些皮肤特征或伪影205是微特征或微缩形式，包括诸如雀斑、斑点、胎记、痣和皱纹之类的精细结构。短波长照明通过增强斑点、雀斑、痣、胎记和皱纹的对比度来增强皮肤纹理。可见的皮肤纹理扫描可以通过在手部一面或两面的手部扫描仪相机完成。参考图3，相同或不同的相机可以在ir照明下拍摄同一手部140的第二图像300，其示出皮下(和更深)脉管系统305，例如静脉、动脉和其他血管弓。ir波长照明穿透皮肤，揭示底层(例如，皮下)血管结构。上述照明器可以与相机位于手部的同侧或对侧。
相机可以拍摄手部的多个图像以创建一组双光谱或多光谱扫描，包括短(蓝绿色)和长(nir)波长。如下文进一步详细描述的，从第一图像200和第二图像300中的每个图像中生成模板以生成第三独特模板。在一些实施方式中，通过首先从手部图像200中提取或裁剪感兴趣区域(roi)，然后处理roi以生成图像的一系列局部二进制模式代码来生成每个模板。在一些实施方式中，提取roi包括将图像转换为灰度图和调整图像大小。然后将这样的模板与第二图像300的模板组合以创建用于认证用户的独特模板。roi可以限制在手掌、手指或指关节的区域。参考图2，可以选择roi以排除像戒指220、手镯、绷带等的遮挡物。在一些实施方式中，可以使用手部和手腕的整个区域来生成模板。在一些实施方式中，相机可以拍摄在每个波长区域下照射的手部的双面图像(例如，手掌和手背)。这种手部的双面图像可以在短波长照明源或红外照明下拍摄。拍摄手背140的图像可以以增强的对比度显示指关节，以允许在模板生成处理中识别它们。在一些实施方式中，ir图像是通过照射与相机同侧的手部来拍摄的。在一些实施方式中，相机和红外光源位于手的相对侧。
24.在拍摄了不同波长下的图像之后，使用这里描述的技术生成诸如数学表示的第三模板。第三模板(例如，复合模板)可以是在本文描述的多生物特征系统中执行的融合处理的产物。如下文进一步详细描述的，第三模板不是两个原始图像或模板的线性组合的产物，而是通过第一图像(或模板)的信息与第二图像(或模板)的信息的非线性融合产生的独特的、通常不可逆的模板。第三模板可以包括代表内部脉管系统和皮肤微特征或缩微形式的信息。图4是示出了创建生物特征手部模板440的示意图。在一些实施方式中，为了组合两个手部模板并生成独特的第三模板，可以使用例如使用卷积神经网络(cnn)的机器学习过程。更具体地，cnn可以用于处理单个手部的多个生物特征图像以生成手部的独特模板。例如，可以为该机器学习过程的输入层提供根据同一手部生成的两个手部模板410和420(见图2和3)。在一些实施方式中，不是在将模板馈送到cnn之前过滤模板，而是可以在cnn中过滤(或进一步过滤)模板。第一模板410具有与短波长可见光下的手部的皮肤特征相关联的信息，第二模板420具有与nir下的手部皮下脉管系统相关联的信息。两个模板410和420被馈送到多生物特征cnn以被“融合”成一个独特的模板。例如，该过程的中间层包括多生物特征神经网络430或执行融合函数的特征融合模块。如下文进一步详细讨论的，融合函数可以包括早期、中期或后期融合。该过程的输出层提供作为输出的第三模板440，其是在多生物特征cnn中执行的融合的产物。第三模板440不是一个图像放置在另一个图像之上的产物(例如，两个原始图像或模板的线性组合)，而是通过第一模板410的信息与第二模板420的信息的非线性融合生成的独特的、通常不可逆的模板。
25.在一些实施方式中，信息的融合可以使用深度多生物特征cnn或通过诸如主成分分析或基于支持向量机(svm)的融合的传统方法执行。深度多生物特征cnn的一个优点是图像模板410和图像模板420可以通过中期或后期融合来匹配。例如，早期融合在图像级别执行，中期融合在特征级别执行，后期融合在“分数”或决策级别执行。在早期融合中，各种预训练的网络，如视觉几何组(vgg)和初始网络(inceptionnet)，可以用于融合来自多个生物特征源(例如，多种模态)的信息。在中期融合中，cnn接受来自两个不同生物特征源的输入。每个输入都经过cnn的不同层。在某些时候，与不同输入相关联的层会合并在一起。这个合并(连接)层伴随着用于分类的另一个全连接和soft
‑
max层。在后期融合中，对于在不同信息源上训练的不同cnn网络，从soft
‑
max层获得的后验概率，即测试样本属于每个类的概率
被组合起来(例如，使用乘积或求和规则)。在一些实施方式中，将深度网络中最后一个分类层之前的融合特征作为融合模板，并通过应用诸如余弦相似性度量或欧几里得相似性度量之类的相似性度量用于生物特征模板匹配。在一些实施方式中，这些分数是通过不同的分类器获得的，例如支持向量机或贝叶斯分类器。在一些实施方式中，cnn中分类层之前的全连接层的输出被分别训练以使用两种不同的手部光谱(例如，短波长和长波长拍摄)对用户进行分类，然后这些输出被连接并馈送到附加的全连接层，并使用新的分类头进一步训练以产生中期融合。在一些实施方式中，第三模板也可以基于图像的预定义部分生成，这些部分可以被自动识别，或者基于一些手动输入来选择。例如，可以使用传统的兴趣点查找器和诸如局部二进制模式(lbp)、加速鲁棒特征(surf)或定向梯度直方图(hog)的局部特征生成器生成第三模板。
26.为了验证用户，将从所呈现的手部生成的模板与一个或多个先前存储的模板(注册)进行比较。例如，可以通过上述处理生成手部模板，然后根据数据库管理系统将手部模板存储在存储设备中(注册模板)。注册模板可以用于验证相应用户的访问尝试，或者通过将呈现的模板与来自所有其他用户的模板图库进行匹配来识别用户。为了认证用户，处理器可以首先确定表示呈现的模板与注册模板之间的相似性的一个或多个度量满足阈值条件。在满足阈值条件之后并且在确定表示呈现的模板与注册模板之间的相似性的一个或多个度量满足阈值条件时，处理器可以提供对安全系统的访问。表示第三图像与存储的模板之间相似性的适当度量包括余弦相似性、欧几里德距离、马哈拉诺比斯距离或学习数据驱动的相似性度量。
27.图5是控制对安全系统的访问的示例性处理的流程图。在一些实施方式中，处理500的至少一部分可以由设置在诸如参考图1描述的手部扫描仪100之类的手部扫描仪内的一个或多个处理设备执行。在一些实施方式中，一个或多个处理设备可以设置在诸如参考图1描述的一体机之类的一体机内。在一些实施方式中，处理500的至少一部分可以由图像分析引擎(未示出)执行，该图像分析引擎可以被设置在手部扫描仪、一体机内，或设置在与例如设置在一体机内的一个或多个处理设备的远程组件进行通信一个或多个服务器(例如分布式计算系统中的服务器或计算设备)处。
28.处理500的操作包括一个或多个图像采集设备获得在第一波长范围内的电磁辐射照射下的部分人体的第一图像，所述第一图像包括关于该部分人体的皮肤纹理的信息(510)。处理500的操作还包括所述一个或多个图像采集设备获得在第二波长范围内的电磁辐射照射下的部分人体的第二图像，所述第二图像包括关于该部分人体的皮下脉管系统的信息(520)。在一些实施方式中，为所述第一图像和所述第二图像生成模板可以包括从所述第一图像和所述第二图像中提取代表手部的相应部分。在一些实施方式中，提取代表手部的部分包括排除至少部分佩戴在手部上的配饰。
29.处理500的操作还包括一个或多个处理设备生成第三图像，所述第三图像将来自所述第一图像的信息与来自所述第二图像的信息组合(530)。在一些实施方式中，生成所述第三图像可以包括使用多模态卷积神经网络(cnn)将来自所述第一图像或模板的信息与来自所述第二图像或模板的信息融合。在一些实施方式中，信息的融合可以以早期融合级别、中期融合级别或后期融合级别之一执行。在一些实施方式中，将来自所述第一图像的信息与来自所述第二图像的信息融合包括生成所述第一图像的第一模板、生成所述第二图像的
第二模板、以及将所述第一模板与所述第二模板馈送到多模态cnn以生成第三模板。
30.处理500的操作还包括确定表示所述第三图像与注册模板之间的相似性的一个或多个度量满足阈值条件(540)，以及响应于确定表示所述第三图像与所述注册模板之间的相似性的一个或多个度量满足阈值条件，提供对安全系统的访问(550)。
31.图6示出了可以使用本文描述的技术的计算设备600和移动设备650的示例。例如，参考图1，手部扫描仪100可以部分地或全部地包括计算设备600或移动设备650中的一个或多个。计算设备600旨在表示各种形式的数字计算机，例如膝上型计算机、台式计算机、工作站、个人数字助理、服务器、刀锋型服务器、主机和其他适当的计算机。移动设备650旨在代表各种形式的移动设备，例如个人数字助理、蜂窝电话、智能电话以及其他类似的计算设备。本文所示的组件，它们的连接和关系以及它们的功能仅是示例，并无意限制本文描述的和/或要求保护的技术的实施方式。
32.计算设备600包括处理器602、存储器604、存储设备606、连接到存储器604和高速扩展端口610的高速接口608以及连接到低速总线614和存储设备606的低速接口612。组件602、604、606、608、610和612中的每一个使用各种总线互连，并且可以被安装在通用主板上或以其他适当方式安装。处理器602可以处理用于在计算设备600内执行的指令，包括存储在存储器604中或存储在存储设备606上的指令，以在诸如耦接到高速接口608的显示器616的外部输入/输出设备上显示用于图形用户界面(gui)的图形信息。在其他实施方式中，只要合适，可以使用多个处理器和/或多个总线，以及多个存储器和多个类型的存储器。另外，可以连接多个计算设备600，每个计算设备提供部分的必要操作(例如，作为服务器库、刀锋型服务器组或多处理器系统)。
33.存储器604将信息存储在计算设备600内。在一个实施方式中，存储器604是一个或多个易失性存储器单元。在另一实施方式中，存储器604是一个或多个非易失性存储器单元。存储器604也可以是另一种形式的计算机可读介质，例如磁盘或光盘。
34.存储设备606能够为计算设备600提供大容量存储。在一个实施方式中，存储设备606可以是或包括计算机可读介质，例如软盘设备、硬盘设备、光盘设备，或者磁带设备、闪存或其他类似的固态存储器设备或设备的阵列，包括存储区域网络或其他配置中的设备。计算机程序产品可以有形地体现在信息载体中。该计算机程序产品还可以包含指令，当所述指令被执行时执行例如以上所描述的一个或多个方法。信息载体是计算机可读介质或机器可读介质，例如存储器604、存储设备606、处理器602上的存储器、或者是传播的信号。
35.高速控制器608管理计算设备600的带宽密集型操作，而低速控制器612管理较低带宽密集型操作。这种对功能的分配仅是示例。在一个实施方式中，高速控制器608耦接到存储器604、显示器616(例如，通过图形处理器或加速器)以及可以接受各种扩展卡(未示出)的高速扩展端口610。在该实施方式中，低速控制器612耦接到存储设备606和低速扩展端口614。可以包括各种通信端口(例如，usb、蓝牙、以太网、无线以太网)的低速扩展端口可以耦接至一个或多个输入/输出设备，例如键盘、指针设备、扫描仪或例如通过网络适配器耦接至诸如交换机或路由器之类的网络设备。
36.如附图中所示，计算设备600可以以多种不同的形式实现。例如，它可以被实现为标准服务器620，或者在一组这样的服务器中多次实现。它也可以被实现为机架服务器系统624的一部分。另外，它可以在诸如膝上型计算机622的个人计算机中实现。可选地，来自计
算设备600的组件可以与诸如设备650的移动设备(未示出)中的其他组件组合。每个这样的设备可以包含计算设备600、650中的一个或多个，并且整个系统可以由彼此通信的多个计算设备600、650组成。
37.除了其他组件之外，移动设备650包括处理器652、存储器664、例如显示器654的输入/输出设备、通信接口666和收发器668。设备650还可以具有存储设备，例如微驱动器或其他设备，以提供附加的存储。组件652、664、654、666和668中的每一个使用各种总线互连，并且若干个组件可以被安装在通用主板上或以其他适当方式安装。
38.处理器652可以在移动设备650内执行指令，包括存储在存储器664中的指令。处理器可以被实现为包括单独的或多个模拟和数字处理器的芯片的芯片组。处理器可以提供例如用于协调设备650的其他组件，例如对用户界面、由设备650运行的应用和由设备650进行的无线通信的控制。
39.处理器652可以通过控制接口658和耦接到显示器654的显示接口656与用户通信。显示器654可以是例如薄膜晶体管液晶显示器(tft lcd)或有机发光二极管(oled)显示器或其他适当的显示技术。显示接口656可以包括用于驱动显示器654以向用户呈现图形和其他信息的适当电路。控制接口658可以从用户接收命令并将它们转换以提交给处理器652。此外，外部接口662可以提供与处理器652的通信，以便实现设备650与其他设备的近场通信。外部接口662可以被提供用于例如一些实施方式中的有线通信或者其他实施方式中的无线通信，并且也可以使用多个接口。
40.存储器664将信息存储在计算设备650内。存储器664可以被实现为以下中的一个或多个：一个或多个计算机可读介质、一个或多个易失性存储器单元或一个或多个非易失性存储器单元。还可以提供扩展存储器674，并通过扩展接口672将其连接到设备650，扩展接口672可以包括例如单列直插式存储器模块(simm)卡接口。这样的扩展存储器674可以为设备650提供额外的存储空间，或者还可以为设备650存储应用或其他信息。具体地，扩展存储器674可以包括用于执行或补充上述处理的指令，并且还可以包括安全信息。因此，例如，扩展存储器674可以被提供为用于设备650的安全模块，并且可以被编程有允许安全使用设备650的指令。此外，安全应用可以由simm卡提供，与附加信息一起，例如以不可破解的方式将标识信息放置在simm卡上。
41.存储器可以包括，例如如下所述的闪存存储器和/或非易失随机存取存储器(nvram)。在一个实施方式中，计算机程序产品有形地体现在信息载体中。该计算机程序产品包含指令，当所述指令被执行时执行例如以上所描述的一个或多个方法。信息载体是计算机可读介质或机器可读介质，例如存储器664、扩展存储器674、处理器652上的存储器或可以通过例如收发器668或外部接口662接收的传播信号。
42.设备650可以通过通信接口666进行无线通信，该通信接口在需要时可以包括数字信号处理电路。通信接口666可以提供各种模式或协议下的通信，例如gsm语音呼叫、sms、ems或mms消息收发、cdma、tdma、pdc、wcdma、cdma2000或gprs等等。例如，可以通过射频收发器668进行这种通信。此外，可以诸如使用蓝牙、wifi或其他此类收发器(未示出)进行短程通信。此外，全球定位系统(gps)接收器模块670可以向设备650提供附加的与导航和位置相关的无线数据，这些数据可以由运行在设备650上的应用适当使用。
43.设备650还可以使用音频编解码器660进行音频通信，该音频编解码器可以从用户
接收语音信息并将其转换为可用的数字信息。音频编解码器660可类似地例如通过扬声器在如设备650的电话听筒中生成用户可听见的声音。这样的声音可以包括来自语音电话呼叫的声音，可以包括录制的声音(例如，语音消息、音乐文件等)，并且还可以包括由在设备650上运行的应用生成的声音。
44.如附图中所示，移动设备650可以以多种不同的形式实现。例如，它可以被实现为蜂窝电话680。它也可以被实现为智能电话682、个人数字助理、平板计算机或其他类似移动设备的一部分。
45.可以在数字电子电路、集成电路、特殊设计的专用集成电路(asic)、计算机硬件、固件、软件和/或它们的组合中实现本文描述的系统和技术的各种实施方式。这些各种实施方式可以包括在可编程系统上可执行和/或可编译的一个或多个计算机程序中的实现，所述可编程系统包括至少一个可编程处理器，其可为专用或通用的，耦接以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令，并将数据和指令发送到所述存储系统、至少一个输入设备和至少一个输出设备。
46.这些计算机程序(也称为程序、软件、软件应用程序或代码)包括用于可编程处理器的机器指令，并且可以以高级程序和/或面向对象的编程语言和/或汇编/机器语言来实现。如本文所使用的，术语“机器可读介质”和“计算机可读介质”是指用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、装置和/或设备(例如磁盘、光盘、存储器、可编程逻辑设备(pld))，包括接收机器指令的机器可读介质。
47.为了提供与用户的交互，本文所描述的系统和技术可以在计算机上实现，该计算机具有用于向用户显示信息的显示设备(例如，阴极射线管(crt)或液晶显示(lcd)监视器)以及用户可用以向该计算机提供输入的键盘和指针设备(例如，鼠标或轨迹球)。其他种类的设备也可以用于提供与用户的交互。例如，提供给用户的反馈可以是任何形式的感觉反馈(例如，视觉反馈、听觉反馈或触觉反馈)。可以接收来自用户的任何形式的输入，包括声音、语音或触觉输入。
48.本文描述的系统和技术可以在计算系统中实现，该计算系统包括后端组件(例如，数据服务器)，或包括中间件组件(例如，应用服务器)，或包括前端组件(例如，具有图形用户界面或网页浏览器的客户端计算机，用户可以通过所述gui或网页浏览器与本文所述的系统和技术的实施方式交互)，或包括这样的后端、中间件、或前端组件的组合。系统的组件可以通过任何形式或介质的数字数据通信(例如，通信网络)连接。通信网络的示例包括局域网(lan)、广域网(wan)以及因特网。
49.计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离并且通常通过通信网络交互。客户端和服务器的关系借助运行在各自的计算机上并且彼此具有客户端
‑
服务器关系的计算机程序产生。
50.尽管上面已经详细描述了一些实施方式，但是在不脱离本文描述的发明构思的范围的情况下，可以进行其他修改，并且因此，其他实施方式在所附权利要求的范围内。