使用软生物特征的认证验证的制作方法

1.本说明书涉及图像拍摄设备。


背景技术：

2.生物识别技术允许基于一组可识别且可验证的数据来对人进行识别和认证，这些数据对于他们是唯一且特定的。利用生物识别技术进行认证包括将一个人的特征数据与该人的生物特征“模板”进行比较以确定相似性的过程。可以基于用于认证用户的物理特征对生物特征认证系统进行分组。这类系统的示例包括基于指纹、手形、手掌静脉、视网膜扫描、虹膜扫描、面部识别、签名和语音分析的认证。


技术实现要素：

3.在一个方面，本文描述了一种允许继续访问基于软生物特征的安全系统的方法。该方法包括：在使用设备获取对象的主用户识别信息的主认证处理期间，拍摄用于所述对象的短期认证验证的第一辅助用户识别信息，其中，所述第一辅助用户识别信息包括所述对象的第一眼眉生物特征信息和所述对象的第一眼镜框信息；在所述主认证处理之后，确定执行所述短期认证验证处理，以验证所述对象的身份；执行所述短期认证验证处理，包括：拍摄所述对象的第二辅助用户识别信息，包括所述对象的第二眼眉生物特征信息和所述对象的第二眼镜框信息；比较所述第一辅助用户识别信息与所述第二辅助用户识别信息，包括确定表示所述第一辅助用户识别信息与所述第二辅助用户识别信息之间的匹配程度的匹配分数；确定所述匹配分数是否等于或大于预定阈值分数；响应于确定所述匹配分数等于或大于所述预定阈值分数，验证通过所述对象的认证状态，允许继续使用所述设备；以及响应于确定所述匹配分数小于所述预定阈值分数，结束所述对象的认证状态，包括禁止所述对象使用所述设备。
4.在另一方面，本文描述了一种系统，该系统包括图像采集设备和包括一个或多个处理器的图像分析引擎。所述图像采集设备被配置为：在使用设备获取对象的主用户识别信息的主认证处理期间，拍摄用于所述对象的短期认证验证的第一辅助用户识别信息，其中，所述第一辅助用户识别信息包括所述对象的第一眼眉生物特征信息和所述对象的第一眼镜框信息；在所述主认证处理之后，确定执行所述短期认证验证处理以验证所述对象的身份；执行所述短期认证验证处理，包括：拍摄所述对象的第二辅助用户识别信息，包括所述对象的第二眼眉生物特征信息和所述对象的第二眼镜框信息；比较所述第一辅助用户识别信息与所述第二辅助用户识别信息，包括确定表示所述第一辅助用户识别信息与所述第二辅助用户识别信息之间的匹配程度的匹配分数；确定所述匹配分数是否等于或大于预定阈值分数；响应于确定所述匹配分数等于或大于所述预定阈值分数，验证通过所述对象的认证状态，允许继续使用所述设备；以及响应于确定所述匹配分数小于所述预定阈值分数，结束所述对象的认证状态，包括禁止所述对象使用所述设备。
5.在另一方面，本文描述了包括机器可读指令的一个或多个机器可读存储设备，所
述机器可读指令被配置为使一个或多个处理设备执行各种操作。所述操作包括：在使用设备获取对象的主用户识别信息的主认证处理期间，拍摄用于所述对象的短期认证验证的第一辅助用户识别信息，其中，所述第一辅助用户识别信息包括所述对象的第一眼眉生物特征信息和所述对象的第一眼镜框信息；在所述主认证处理之后，确定执行所述短期认证验证处理，以验证所述对象的身份；执行所述短期认证验证处理，包括：拍摄所述对象的第二辅助用户识别信息，包括所述对象的第二眼眉生物特征信息和所述对象的第二眼镜框信息；比较所述第一辅助用户识别信息与所述第二辅助用户识别信息，包括确定表示所述第一辅助用户识别信息与所述第二辅助用户识别信息之间的匹配程度的匹配分数；确定所述匹配分数是否等于或大于预定阈值分数；响应于确定所述匹配分数等于或大于所述预定阈值分数，验证通过所述对象的认证状态，允许继续使用所述设备；以及响应于确定所述匹配分数小于所述预定阈值分数，结束所述对象的认证状态，包括禁止所述对象使用所述设备。
6.以上各方面的实施方式可以包括以下一个或多个特征。响应于确定所述匹配分数小于所述预定阈值分数，可以重新执行所述主认证处理。确定执行所述短期认证验证处理可以包括确定自所述主认证处理完成以来已经发生了预定时间量。所述短期认证验证处理可以在多个后续时间点重复。所述设备可以是一体机设备或移动设备。所述第一辅助用户识别信息和所述第二辅助用户识别信息可以通过所述移动设备的前置相机获取。所述第一辅助用户识别信息可以包括所述对象的第一服装特征，所述第二辅助用户识别信息可以包括所述对象的第二服装特征，以及比较所述第一辅助用户识别信息与所述第二辅助用户识别信息可以包括比较所述第一服装特征与所述第二服装特征。所述匹配分数可以包括眼眉匹配分数、眼镜框匹配分数和服装特征匹配分数中的两个或多个的融合分数。可以在不提示所述对象进行用户输入的情况下进行所述短期认证验证处理。
7.本文所描述的各种实施方式可以提供以下优点中的一个或多个。通过验证用户的先前认证可以提高生物特征认证系统的可靠性和/或安全性。通过允许生物特征认证系统使用软生物特征来验证先前认证，可以先发制人地终止额外的处理，从而创建附加的安全层。如果用户在短时间段后返回到先前(以生物特征或其他方式)授权的设备，则可以验证用户并维护用户的认证状态，而无需额外的、明确的生物特征扫描，用以改善用户体验。在一些情况下，此处描述的技术允许提高系统安全性，同时降低对附加硬件的要求。在一些情况下，这反过来又可以降低与底层生物特征认证系统相关的成本。
8.与实施具有行为特征的生物特征相关的一个主要问题是用户服从的复杂性，这可能导致显著降低可用性和整体的用户体验。用于移动设备的理想的最佳生物特征可以是一种以最少侵入性、最便宜和最高精度的方法区分最大可能人群的生物特征。因此，被动式识别方法由于透明、易于整合和独立于用户服从，可以比交互式方法具有巨大的优势。因此，基于软生物特征的被动式认证验证可以提高系统的安全性。在移动设备的典型使用中，可以在相机的视野中看到用户的脸部和用户的部分上半身，添加一个选项来识别用户或通过面部和/或其他软生物特征图案来验证先前认证。图像可以提供与用户身份和行为相关的大量数据，并且图像的使用对用户体验来说是透明的。
9.本文所描述的技术提高了生物特征认证系统的安全性/可靠性，该系统依赖于基于面部识别、眼纹识别、虹膜识别等来识别用户。具体地，本文描述了预处理步骤，该步骤允许确定会话中的当前用户是否与先前在会话开始时进行认证的用户相同。在检测到当前用
户与先前认证的用户不同时，在没有对当前用户进行明确认证的情况下可以防止当前用户进一步访问系统，从而为系统增加了一层安全性。
附图说明
10.图1示出了可以使用本文所描述的技术的示例性环境。
11.图2示出了使用眼眉作为软生物特征用以短期认证的系统的示例。
12.图3示出了用于确定用户基于眼眉的深度特征的示例性卷积神经网络。
13.图4a
‑
4c示出了使用眼镜框作为软生物特征用以短期认证的系统的示例。
14.图5a
‑
5b示出了使用眼镜框作为软生物特征用以短期认证的系统的另一示例。
15.图6示出了使用眼镜框作为软生物特征用以短期认证的示例性卷积神经网络。
16.图7示出了使用服装特征作为软生物特征用以短期认证的系统的示例。
17.图8示出了使用服装特征作为软生物特征使用基于非学习的方法用以短期认证。
18.图9示出了使用服装特征作为软生物特征使用基于学习的方法用以短期认证。
19.图10示出了可以使用本文所描述的技术的系统的示例。
20.图11是用于验证设备的认证状态的示例性处理的流程图。
21.图12是表示计算设备的示例的框图。
22.在本文和附图中重复使用附图标记旨在表示相同或相似的特征或元件。
具体实施方式
23.本文提出了一种图像分析方法，其中对使用生物特征认证系统的图像采集设备拍摄的图像进行分析，以验证用户的先前认证。
24.一些需要安全访问的桌面和移动应用程序可被配置为在用户进入认证状态的初始登录阶段认证用户。许多生物特征认证系统涉及基于主认证向安全系统认证用户，主认证可以包括识别用户脸部、眼纹、虹膜等。这种生物特征认证系统可涉及拍摄用户的一个或多个视频或图像，并对拍摄的图像执行相应的识别处理。
25.破坏此类生物特征认证系统安全性的恶意尝试可以包括在真正用户登录系统后由恶意用户使用系统。例如，如果用户分心并离开设备，另一个用户可能会控制该设备，可能在未经适当认证的情况下访问敏感信息。恶意用户可以在真正用户的会话仍处于激活状态时使用该设备并伪装成真正用户。
26.因此，在用户交互期间认证状态的持久性或连续性可能是需要的，特别是对于敏感应用。对于此类应用程序，可能需要在初始登录阶段之后设置连续(例如，重复)的认证系统，用以认证验证。
27.认证系统可以使用软生物特征来验证用户的认证。软生物特征(例如，性别、肤色、脸型、打字和刷卡行为等)是可以提供个人信息的物理或行为特征。孤立地看，一些软生物特征可能不足以唯一地界定用户的身份。然而，使用软生物特征来验证先前的认证可以提供各种优势。例如，与其他生物特征相比，软生物特征可能更容易收集，对用户的侵扰更少且合规。多个软生物特征可以融合在一起，组合起来以克服单个的独特性。作为另一示例，一个或多个软生物特征可以与一个或多个其他生物特征一起使用，以提高其他生物特征的安全性和鲁棒性。在示例性系统中，在设备的相机(例如，前置相机)的视野内看到的服装、
眼眉和眼镜等特征可以用作软生物特征，用以在主认证后认证用户。服装和眼镜虽然不是人体的物理部分，但可以包含可用于短期认证的视觉信息。
28.图1示出了可以使用本文所描述的技术的示例性环境100a和100b。例如，这里描述的技术可以与各种类型的设备(例如移动设备102)一起使用。移动设备102可以包括例如前置相机。当用户103正在使用移动设备102时，用户103的面部和上半身可以在前置相机的视野104中。
29.一体机(kiosk)106可以是使用本文所描述的技术的另一示例性环境。一体机106可以用于需要通过一个或多个生物特征认证处理认证用户的各种目的。例如，一体机106可以包括允许用户从银行账户取款的自动取款机(atm)。通常，一体机106可以部署在各种类型的位置以交互地认证用户，甚至不需要用户的任何主动参与。
30.一体机106可以包括相机108，其被配置为拍摄与一体机106交互的用户的图像，例如在相机108的视野112内的用户110。所拍摄的图像可以被处理以识别/认证合法用户，和/或允许或拒绝访问通过一体机106提供的服务/产品。如下所述，基于软生物特征，所拍摄的图像可以用以验证用户的先前认证。
31.用户110可以在使用一体机106之前参与初始的、主认证处理114。例如，主认证处理114可以包括识别用户的面部、眼纹、虹膜等。作为另一示例，用户110可以提供用户标识和凭证。类似地，用户103可以在使用移动设备102上的特定应用程序之前参与主认证处理116。
32.在主认证处理114或116期间，可以分别为用户110或用户103拍摄初始辅助用户识别信息或软生物特征。辅助生物特征可以是关于用户的信息，其可以用于用户的短期认证。例如，辅助生物特征可以包括眼眉118的形状、眼镜框120的形状或服装122的外观。辅助或软生物特征可以是在主认证处理114或116已经完成之后的预定时间量(例如，五分钟)内不太可能改变的用户特征。用户被第一次认证时拍摄的初始辅助生物特征可以与随后拍摄的辅助生物特征进行比较，以确定尝试访问相应设备的用户与认证用户是否是同一用户。
33.例如，可以在已经认证用户103或用户110之后，分别执行短期认证验证处理124或126。例如，短期认证验证处理124和126可以定期(例如，每分钟)执行。在短期认证验证处理124和126中，可以分别为用户103或用户110拍摄当前辅助生物特征。例如，可以拍摄当前的眼眉、眼镜框和服装特征。短期认证验证处理124和126可以包括比较相应的初始辅助生物特征与相应的当前辅助生物特征。例如，可以为相应的设备计算匹配分数，该匹配分数指示初始辅助生物特征与在设备上拍摄的当前辅助生物特征之间的匹配程度。
34.响应于确定匹配分数等于或大于预定阈值分数，可以验证用户的认证状态。例如，在移动设备102上计算的匹配分数可能大于预定阈值分数，则在移动设备102上执行短期认证验证处理124可以导致允许继续由用户103使用该移动设备102。
35.作为另一示例，响应于确定匹配分数小于预定阈值分数，可以结束用户的认证状态。例如，为一体机106计算的匹配分数可能小于预定阈值分数，短期认证验证处理126的执行可能导致锁定一体机106。例如，用户110可能已经离开一体机106，而相机108可能已经拍摄了另一个、当前未授权的用户的图像，短期认证验证处理126确定该另一个用户与用户110不同。例如，一体机106可以保持锁定，直到下一次成功完成主认证处理114。
36.图2示出了使用眼眉作为软生物特征用以短期认证的系统的示例。例如，使用图像
拍摄设备获得用户203的图像202。例如，可以使用移动设备的前置相机、包括在一体机设备中或以其他方式与一体机设备相关联的相机等获得图像202。图像202可以是在初始认证处理期间、或作为初始认证处理的一部分、或作为短期再认证处理的一部分获得的用户203的图像。
37.可以使用面部特征点(landmark)检测库204处理图像202以获得右眉兴趣区(roi)206(例如，对应于用户203的右眉)和左眉roi 208中的特征点的面部坐标。例如，可以使用图像处理库来处理图像202，该图像处理库可以包括用于机器学习和数据分析的特征，特别是用于面部特征点检测的特征。
38.对应于右眉roi 206的标注右眉roi 210示出了在右眉roi 206中识别到的面部特征点的识别坐标。每个坐标可以有一个标识。例如，具有标识“19”的坐标212指定在标注右眉roi 210中的右眉214上的特定位置。作为另一示例，具有标识“40”的坐标216指定在标注右眉roi 210中的右眼218的顶部上的特定位置。可以在标注左眉roi219中识别和绘制类似坐标。如果用户203戴眼镜，则roi可以包括眼眉和眼镜，如右眉roi 220和左眉roi 221所示。尽管未示出，右眉roi 220和左眉roi 221可以用识别的坐标标注，如标注右眉roi 210和标注左眉roi 219。
39.在特征提取阶段222中，基于先前确定的面部坐标提取右眉特征224和左眉特征226。例如，右眉特征224和左眉特征226都可以包括深度特征228、局部特征230和全局特征232。
40.可以使用vgg(visual geometry group，视觉几何组)卷积神经网络(cnn)来提取深度特征228，如下面关于图3更详细地描述的。cnn可以在更后(例如，更深)的层中学习特征，例如来自更早层(earlier layer)的图像边缘和轮廓检测器。“更深”的层可以回应，为输入中更复杂的模式创建自己的特征过滤器，例如纹理、形状或更早处理特征的变化。
41.可以使用定向梯度直方图(histogram of oriented gradient，hog)提取局部特征230。hog技术可以包括对图像的局部部分中出现的梯度取向进行计数。可以使用“要点(gist)”描述符提取全局特征232。
42.可以通过将特征图划分为4乘4的网格(例如，包括16个网格单元，例如网格单元234)获得要点描述符，为其提取方向直方图。作为另一示例，每个网格单元内的特征值可以被平均。可以通过在不同尺度和方向上卷积输入图像来获得多个特征图。可以通过连接多个特征图的平均值来形成要点描述符。要点描述符可以总结图像不同部分的梯度信息(例如，尺度和方向)，提供包含在图像中的场景的粗略描述(例如，gist)。
43.全局特征232可以作为整体来描述图像以概括整个图像，而局部特征230可以描述图像块(例如，图像中的关键点)。例如，全局特征232可以包括轮廓表示、形状描述符和纹理特征。局部特征230可以表示图像块中的纹理。
44.线性svm(support vector machine，支持向量机)分类器236可以基于右眉特征224和左眉特征226分别为右眉和左眉创建输出分数238。此外，可以基于左眉和右眉的输出分数238分别确定左眉和右眉的融合分数240。融合分数240可以通过合并多个输出分数238确定。
45.在测试评估阶段242中，将第一图像202的输出分数238及融合分数240(或者，在一些实施方式中，仅融合分数240)与第二图像202的对应分数进行比较。例如，第一图像可以
是在初始(或主)认证处理中获得的用户203的图像，第二图像可以是在稍后的时间点获得的用户203的图像，例如，在短期再认证处理期间。在测试评估阶段242中，可以确定指示第一图像与第二图像是同一用户(例如，用户203)图像的可能性的匹配分数。如果匹配分数等于或大于预定阈值分数，则可以允许用户203继续使用设备或系统。如果匹配分数小于预定阈值分数，则可以拒绝用户访问设备或系统。
46.图3示出了用于确定用户基于眼眉的深度特征的示例性卷积神经网络300。cnn 300可以是具有十六层的vgg
‑
16网络，也可以是其他类型的网络。cnn 300是一种前馈神经网络，其中，神经元之间的连接模式是基于动物视觉皮层组织的。cnn 300可以排列成与子采样层交替的卷积层。
47.cnn 300包括用户眼眉区域的roi图像的输入层302。cnn包括两个卷积层304，每个卷积层具有64个滤波器。卷积层304和下面提到的其他卷积层可以各自包括用于归一化的修正线性单元(rectified linear unit，relu)。
48.最大池化层306可以用于下采样。最大池化可以消除非最大值，这种消除可以：1)减少上层计算；2)在更大的局部区域上提供位置不变性，这可以导致更快的收敛、选择更好的固定特征和增强的泛化性。
49.下采样数据可以由三个卷积层308处理，每个卷积层具有128个滤波器。另一个最大池化层310可以用于进一步下采样。使用每层具有256个滤波器的后端卷积层312，并使用最大池化层314执行进一步下采样。使用多组卷积层316和318执行进一步卷积，依次使用最大池化层320和最后最大池化层322执行进一步下采样。从最后最大池化层322获得的大小为3x10x512的特征并展平为1x1x15360的特征向量，作为全连接层324，可以用作深度特征表示。
50.图4a
‑
4c示出了使用眼镜框作为软生物特征用以短期认证的系统400的示例。使用眼镜框进行短期认证可以包括roi检测阶段402和级联cnn的使用。第一cnn 404可以用于眼镜框检测。从权重生成阶段406生成的权重可以提供给第二cnn 408，其可以用于图像分割。roi检测阶段402、第一cnn 404和权重生成阶段406在下面关于图4b更详细地描述。第二cnn 408和后处理阶段410在下面关于图4c更详细地描述。
51.如图4b所示，在roi检测阶段402期间，可以在输入图像412和414中识别面部特征点。输入图像412是戴眼镜的用户，输入图像414是未戴眼镜的用户。所识别的特征点的坐标在标注图像416和418中示出。可以基于识别的特征点坐标通过分别裁剪输入图像412和/或输入图像414来生成roi 420和roi 422。
52.第一cnn 404可以接受roi 420和roi 422作为输入(例如，分别如输入层424和输入层426所示)。第一cnn 404包括卷积层428、最大池化层430、后端卷积层432、后端最大池化层434、平坦化层436和438、全连接层440和softmax层442。第一cnn404的输出包括案例划分444和权重446。权重446表示大尺度图像的微观结构特征。
53.如图4c所示，第二cnn 408包括眼部图像的输入层448、卷积层450、最大池化层452、后端卷积层454、上采样层456和上采样层458、热图图像459(例如，十六个热图图像)和眼镜掩模(mask)460。例如，眼镜掩模460可以是十六个热图图像的总和/平均值。后处理操作410可以包括求和或平均(或其他数学运算)和二值化操作。可以基于后处理操作410生成眼镜掩模462，其中眼镜掩模对应于眼部输入图像448。
54.图5a
‑
5b示出了使用眼镜作为软生物特征用以短期认证的系统500的另一个示例。如图5a所示，在roi检测阶段509中，可以基于有眼镜图像506和无眼镜图像508分别生成眼镜roi 502和无眼镜roi 504，如上文针对系统400所述。修补阶段510可以包括接受无眼镜roi 504和有眼镜图像514的修补处理512以产生修补的眼部roi 516。
55.如图5b所示，作为掩模预测阶段522的一部分，在训练阶段518中，可以使用修补的眼部roi 516训练cnn 520。在测试阶段524中，可以使用真实眼镜的图像测试cnn520。cnn 520可以用于生成掩模526。在清理阶段528，形态清理处理530可以用于从cnn掩模输出534创建清理后的掩模532。
56.清理后的掩模532或掩模462可以用于基于眼镜的用户认证处理。例如，清理后的掩模532或者掩模462可以乘以原始roi(例如，扩展的眼部区域)的rgb(红、绿、蓝)通道以获得眼镜框。局部、全局和深度特征描述符，例如hog、gist和vgg
‑
16描述符，可以从分割的眼镜中提取。提取的特征可以用于svm训练和分类，以基于眼镜框形状对对象进行认证。在一些实施方式中，可以基于眼眉和眼镜框特征认证用户。
57.图6示出了使用眼镜框作为软生物特征用以短期认证的示例性卷积神经网络600。例如，cnn 600可以是cnn 520。cnn 600包括输入眼部图像602(例如，戴眼镜的用户的图像)。cnn 600还包括卷积层604、最大池化层606、后端卷积层608、反卷积层610、上采样层612、后端反卷积层614和定制(例如，lambda)层616。眼镜掩模618(例如，掩模526)可以是cnn 600的输出。
58.图7示出了使用服装特征作为软生物特征用以短期认证的系统的示例。除了眼眉和/或眼镜框软生物特征外，服装特征还可以用作识别的辅助形式，并且可以与一种或多种其他类型的识别信息结合使用。使用服装特征可以包括上半身姿势服装roi分割，以及从服装roi中提取的特征的鲁棒性匹配。学习和非学习方法都可以用于服装特征匹配。
59.在一些实施方式中，cnn 702(例如，u
‑
net)用于服装roi分割。cnn 702包括收缩部分(例如，编码器704)和扩展路径(例如，解码器706)。编码器704可以包括两个3x3卷积的重复应用，随后是修正线性单元(relu)和2x2最大池化操作。例如，每个解码器层可以包括使用2x2上卷积的上采样、一系列来自收缩路径的相应特征图以及跟随relu的两个3x卷积。给定输入的上半身图像708，cnn 702的输出是掩模710。
60.图8示出了使用服装特征作为软生物特征使用基于非学习的方法用以短期认证。用于服装匹配的基于非学习的方法可以包括为预定义距离度量(例如欧几里得距离或曼哈顿距离)的判别式。在一些实施方式中，使用加速鲁棒特征(surf)方法。surf方法可以用于局部特征检测和描述符生成。为了检测兴趣点，surf方法可以使用具有高斯平滑近似的黑塞(hessian)矩阵。类似于尺度不变特征变换(sift)方法，可以在图像金字塔的不同尺度上计算兴趣点。可以使用代表块内像素强度分布的一阶哈尔(haar)小波响应来计算每个兴趣点周围的描述符。使用绝对差(例如，曼哈顿距离)的和，匹配分数可以计算为初始服装roi(例如，在主认证处理期间收集)与验证服装roi(例如，在稍后时间收集)之间的匹配的surf点的数量。
61.例如，服装roi 802可以与第二服装roi 804比较，例如，当第二服装804是如服装roi 802(例如，在不同的时间点获取)中所示的同一服装的图像的区域时。用于比较服装roi 802与第二服装roi 804的匹配分数可以是匹配surf点的总和，例如，其中每个匹配
surf点对可以被示为连接线(例如，连接806)。用于比较roi 802与第二roi 804的匹配分数可以大于阈值(例如，二十个匹配)，指示第二服装roi可能对应于最近记录的穿着同一服装的用户。因此，认证验证处理可以成功。作为另一示例，服装roi 808与冒名者服装的服装roi 810的比较的匹配分数可以小于阈值(例如，如图所示，匹配分数可以是2)。因此，认证验证处理可能失败。
62.图9示出了使用服装特征作为软生物特征使用基于学习的方法用以短期认证。在基于学习的方法中，可以使用训练数据来学习判别式(例如，相似性度量)。例如，图块(tile)纹理特征可以用于训练svm作为学习的相似性度量。然后可以使用经过训练的svm进行认证验证。在一些实施方式中，可以使用局部二进制模式(lbp)、定向梯度直方图和颜色直方图。lbp是一种视觉描述符，可以对给定的中心像素与相邻像素之间的差异进行编码。hog方法可以包括用局部对比度归一化计算密集网格的局部梯度方向。lbp和hog都可以对灰度图像进行操作。颜色直方图方法可以从红色、绿色和蓝色通道的直方图生成颜色信息。
63.可以通过将服装roi划分为4个不同图像尺度(例如，1x、0.5x和0.25x)的2x3非重叠图块来提取特征。例如，已将服装roi划分为不同尺度的图块902、904和906。lbp、hog和ch特征向量可以连接成单个向量并用于训练和测试svm(例如，线性svm)。例如，分别从图块902、904和906提取的特征908、910和912可以连接成单个向量914。
64.对于具有深度特征的基于服装的认证验证，可以使用vgg神经网络。例如，可以从vgg
‑
16网络的第4池化层和第5池化层获得深度特征。可以用渔夫(fisher)矢量聚合从第4池化层和第5池化层提取的图像特征。基于服装的认证验证的输出可以是真正(例如，同一)用户916或冒名者用户918。基于服装的认证验证可以与基于眼眉和/或眼镜框的方法相结合。
65.图10示出了可以使用本文所描述的技术的示例性系统1000。系统1000包括被配置成为拍摄对象拍照的图像采集设备1005。在一些实施方式中，图像采集设备1005可以被布置在红外相机中。在一些实施方式中，图像采集设备1005包括一个或多个处理设备，其被配置为从拍摄的图像中生成数字数据。图像采集设备1005可以在主认证处理期间拍摄用户的第一图像，并且在认证验证处理的稍后时间拍摄用户的第二图像。
66.系统1000还包括图像分析引擎1010，其可以被配置为分析由图像采集设备1005拍摄的图像。在一些实施方式中，图像分析引擎1010驻留在相对于图像采集设备1005和/或认证引擎1015位于远程位置的计算设备(例如，服务器)上。例如，图像采集设备1005可以设置在一体机或移动设备处，一体机或移动设备通过网络与其上运行图像分析引擎1010的远程服务器进行通信。图像分析引擎1010继而可以将分析的输出提供给位于一体机或移动设备上的认证引擎1015。在一些实施方式中，认证引擎1015也可以驻留在远程服务器上(例如，图像分析引擎1010所驻留的同一服务器上、或者在不同的服务器上)，并且将认证处理的结果通信至一体机或移动设备。
67.图像分析引擎1010可以被配置为以各种方式分析所拍摄的图像，以便确定可以用于用户识别的所拍摄图像的特征。例如，对于第一图像和第二图像，图像分析引擎1010可以识别眼眉特征、眼镜框特征和服装特征。
68.认证引擎1015可以被配置为执行主认证处理和认证验证处理。主认证处理可以包括，例如，使用一个或多个主生物特征(例如，面部、虹膜)和/或使用一些用户识别的其他手
段(例如，输入的凭证)。在主认证处理期间，可以为用户存储第一辅助用户识别信息，如眼眉特征、眼镜框特征、服装特征等。
69.认证验证处理可以包括为对象拍摄第二辅助用户识别信息，包括第二眼眉特征、第二眼镜框特征和第二服装特征。认证引擎1015可以比较第一辅助用户识别信息与第二辅助用户识别信息，并根据比较结果确定表示第一辅助用户识别信息与第二辅助用户识别信息的匹配程度的匹配分数。响应于确定匹配分数等于或大于预定阈值分数，认证引擎1015可以验证通过对象的认证状态，允许继续使用该设备。作为另一示例，响应于确定匹配分数小于预定阈值分数，认证引擎1015可以结束对象的认证状态，这可以包括禁止该对象使用设备。
70.例如，可以使用从前置移动设备相机或其他设备获得的照片来训练这里描述的网络。其他图像可以用于网络测试。训练和测试图像均可以包括在各种类型的照明(例如，室外日光、办公室照明)下拍摄的图像。
71.图11是用于验证设备的认证状态的示例性处理1100的流程图。在一些实施方式中，处理1100的至少一部分可以由设置在参照图1描述的诸如一体机106的一体机内或者诸如移动设备103的移动设备内的一个或多个处理设备执行。在一些实施方式中，处理1100的至少一部分可以由认证引擎1015执行，认证引擎1015可以设置在一体机内、移动设备内或者一个或多个服务器处。
72.处理1100的操作包括在使用设备获取对象的主用户识别信息的主认证处理期间，拍摄用于所述对象的短期认证验证的第一辅助用户识别信息(1110)。第一辅助用户识别信息包括该对象的第一眼眉生物特征信息和该对象的第一眼镜框信息。第一辅助用户识别信息可以包括服装特征。主用户识别信息可以与主生物特征相关联，例如面部或虹膜特征。作为另一示例，主用户识别信息可以是用户标识。该设备可以是移动设备、一体机设备或一些其他类型的设备。当该设备为移动设备时，可以使用移动设备的前置相机获取第一辅助用户识别信息。例如，前置相机可以拍摄用户的面部和上半身。
73.处理1100的操作还包括在主认证处理之后确定执行短期认证验证处理以验证对象的身份(1120)。例如，可以确定自主认证处理完成以来已经发生了预定时间量(例如，两分钟)，应执行短期认证验证处理。短期认证验证处理可以在多个后续时间点(例如，每两分钟)重复。
74.处理1100的操作还包括执行短期认证验证处理(1125)。短期认证验证处理可以被自动执行，而无需提示对象进行用户输入。
75.执行短期认证验证处理包括拍摄对象的第二辅助用户识别信息(1130)。第二辅助用户识别信息包括该对象的第二眼眉生物特征信息和该对象的第二眼镜框信息。第二辅助用户识别信息可以包括该对象的第二服装特征。
76.执行短期认证验证处理还包括比较第一辅助用户识别信息与第二辅助用户识别信息(1140)，包括确定表示第一辅助用户识别信息与第二辅助用户识别信息之间的匹配程度的匹配分数。例如，可以将第一眼眉生物特征信息与第二眼眉生物特征信息进行比较以创建眼眉匹配分数。眼眉匹配分数可以是左眼眉匹配分数和右眼眉匹配分数的融合。可以将第一眼镜框信息与第二眼镜框信息进行比较以创建眼镜框匹配分数。可以将第一服装特征与第二服装特征进行比较以创建服装特征匹配分数。
77.匹配分数可以是眼眉匹配分数、眼镜框匹配分数和服装特征匹配分数中的两个或多个的融合分数。在使用融合分数之前，可以将单个分数归一化(例如，以最小
‑
最大方式)。可以使用不同类型的融合分数。例如，可以使用加权融合分数。例如，可以使用公式(1)计算加权分数水平(wsl)融合分数：
78.wsl＝cl*w
cl
eb*w
eb
gl*w
gl
ꢀꢀꢀꢀꢀꢀ
(1)
79.其中，cl是基于服装的分数，w
cl
是基于服装的权重，eb是基于眼眉的分数，web是基于眼眉的权重，gl是基于眼镜的分数，w
gl
是基于眼镜的权重。可以基于获得的最大准确度来确定各个权重。
80.执行短期认证验证处理还包括确定匹配分数是否等于或大于预定阈值分数(1150)。预定阈值分数可以对应于预定可能性(例如，98％)。
81.执行短期认证验证处理还包括响应于确定匹配分数等于或大于预定阈值分数，验证通过该对象的认证状态，允许继续使用该设备(1160)。
82.执行短期认证验证处理还包括响应于确定匹配分数小于预定阈值分数，结束该对象的认证状态，包括禁止该对象使用设备(1170)。在一些实施方式中，响应于确定匹配分数小于预定阈值分数，重新执行主认证处理(例如，请求用户重新登录或重新提供主生物特征数据)。
83.图12示出了使用本文所描述的技术的计算设备1200和移动设备1250的示例。例如，参考图1，一体机设备106可以部分地或全部地包括计算设备1200或移动设备1250中的一个或多个。例如，一体机设备106可以是移动设备1250。计算设备1200旨在表示各种形式的数字计算机，例如膝上型计算机、台式计算机、工作站、个人数字助理、服务器、刀锋型服务器、主机和其他适当的计算机。移动设备1250旨在表示各种形式的移动设备，例如个人数字助理、蜂窝电话、智能电话以及其他类似的计算设备。本文所示的组件，它们的连接和关系以及它们的功能仅是示例，并无意限制本文描述的和/或要求保护的技术的实施方式。
84.计算设备1200包括处理器1202、存储器1204、存储设备1206、连接到存储器1204和高速扩展端口1210的高速控制器1208以及连接到低速总线1214和存储设备1206的低速控制器1212。组件1202、1204、1206、1208、1210和1212中的每一个使用各种总线互连，并且可以被安装在通用主板上或以其他适当方式安装。处理器1202可以处理用于在计算设备1200内执行的指令，包括存储在存储器1204中或存储在存储设备1206上的指令，以在诸如耦接到高速控制器1208的显示器1216的外部输入/输出设备上显示图形用户界面(gui)的图形信息。在其他实施方式中，只要合适，可以使用多个处理器和/或多个总线，以及多个存储器和多个类型的存储器。另外，可以连接多个计算设备1200，每个计算设备提供部分的必要操作(例如，作为服务器库、刀锋型服务器组或多处理器系统)。
85.存储器1204将信息存储在计算设备1200内。在一个实施方式中，存储器1204是一个或多个易失性存储器单元。在另一实施方式中，存储器1204是一个或多个非易失性存储器单元。存储器1204也可以是另一种形式的计算机可读介质，例如磁盘或光盘。
86.存储设备1206能够为计算设备1200提供大容量存储。在一个实施方式中，存储设备1206可以是或包括计算机可读介质，例如软盘设备、硬盘设备、光盘设备，或者磁带设备、闪存或其他类似的固态存储器设备或设备的阵列，包括存储区域网络或其他配置中的设备。计算机程序产品可以有形地体现在信息载体中。该计算机程序产品还可以包含指令，当
所述指令被执行时执行例如以上所描述的一个或多个方法。信息载体是计算机可读介质或机器可读介质，例如存储器1204、存储设备1206、处理器1202上的存储器、或者是传播的信号。
87.高速控制器1208管理计算设备1200的带宽密集型操作，而低速控制器1212管理较低带宽密集型操作。这种对功能的分配仅是示例。在一个实施方式中，高速控制器1208耦接到存储器1204、显示器1216(例如，通过图形处理器或加速器)以及可以接受各种扩展卡(未示出)的高速扩展端口1210。在该实施方式中，低速控制器1212耦接到存储设备1206和低速扩展端口1214。可以包括各种通信端口(例如，usb、蓝牙、以太网、无线以太网)的低速扩展端口可以耦接至一个或多个输入/输出设备，例如键盘、指针设备、扫描仪或例如通过网络适配器耦接至诸如交换机或路由器之类的网络设备。
88.如附图中所示，计算设备1200可以以多种不同的形式实现。例如，它可以被实现为标准服务器1220，或者在一组这样的服务器中多次实现。它也可以被实现为机架服务器系统1224的一部分。另外，它可以在诸如膝上型计算机1222的个人计算机中实现。可选地，来自计算设备1200的组件可以与诸如设备1250的移动设备(未示出)中的其他组件组合。每个这样的设备可以包含计算设备1200、移动设备1250中的一个或多个，并且整个系统可以由彼此通信的多个计算设备1200、移动设备1250组成。
89.除了其他组件之外，移动设备1250包括处理器1252、存储器1264、例如显示器1254的输入/输出设备、通信接口1266和收发器1268。设备1250还可以具有存储设备，例如微驱动器或其他设备，以提供附加的存储。组件1252、1264、1254、1266和1268中的每一个使用各种总线互连，并且若干个组件可以被安装在通用主板上或以其他适当方式安装。
90.处理器1252可以在移动设备1250内执行指令，包括存储在存储器1264中的指令。处理器可以被实现为包括单独的或多个模拟和数字处理器的芯片的芯片组。处理器可以提供例如用于协调设备1250的其他组件，例如对用户界面、由设备1250运行的应用和由设备1250进行的无线通信的控制。
91.处理器1252可以通过控制接口1258和耦接到显示器1254的显示接口1256与用户通信。显示器1254可以是例如薄膜晶体管液晶显示器(tftlcd)或有机发光二极管(oled)显示器或其他适当的显示技术。显示接口1256可以包括用于驱动显示器1254以向用户呈现图形和其他信息的适当电路。控制接口1258可以从用户接收命令并将它们转换以提交给处理器1252。此外，外部接口1262可以提供与处理器1252的通信，以便实现设备1250与其他设备的近场通信。外部接口1262可以被提供用于例如一些实施方式中的有线通信或者其他实施方式中的无线通信，并且也可以使用多个接口。
92.存储器1264将信息存储在移动设备1250内。存储器1264可以被实现为以下中的一个或多个：一个或多个计算机可读介质、一个或多个易失性存储器单元或一个或多个非易失性存储器单元。还可以提供扩展存储器1274，并通过扩展接口1272将其连接到设备1250，扩展接口572可以包括例如单列直插式存储器模块(simm)卡接口。这样的扩展存储器1274可以为设备1250提供额外的存储空间，或者还可以为设备1250存储应用或其他信息。具体地，扩展存储器1274可以包括用于执行或补充上述处理的指令，并且还可以包括安全信息。因此，例如，扩展存储器1274可以被提供为用于设备1250的安全模块，并且可以被编程有允许安全使用设备1250的指令。此外，安全应用可以由simm卡提供，与附加信息一起，例如以
不可破解的方式将标识信息放置在simm卡上。
93.存储器可以包括例如闪存和/或非易失性随机存取存储器(nvram)，如下所述。在一个实施方式中，计算机程序产品有形地体现在信息载体中。该计算机程序产品包含指令，当所述指令被执行时执行例如以上所描述的一个或多个方法。信息载体是计算机可读介质或机器可读介质，例如存储器1264、扩展存储器1274、处理器1252上的存储器或者可以通过例如收发器1268或外部接口1262接收的传播信号。
94.设备1250可以通过通信接口1266进行无线通信，该通信接口在需要时可以包括数字信号处理电路。通信接口1266可以提供各种模式或协议下的通信，例如gsm语音呼叫、sms、ems或mms消息收发、cdma、tdma、pdc、wcdma、cdma2000或gprs等等。例如，可以通过射频收发器1268进行这种通信。另外，可以诸如使用蓝牙、wifi或其他此类收发器(未示出)进行短程通信。此外，全球定位系统(gps)接收器模块1270可以向设备1250提供附加的与导航和位置相关的无线数据，这些数据可以由运行在设备1250上的应用适当使用。
95.设备1250还可以使用音频编解码器1260进行音频通信，该音频编解码器可以从用户接收语音信息并将其转换为可用的数字信息。音频编解码器1260可类似地例如通过扬声器在如设备1250的手持设备中生成用户可听见的声音。这样的声音可以包括来自语音电话呼叫的声音，可以包括录制的声音(例如，语音消息、音乐文件等)，并且还可以包括由在设备1250上运行的应用生成的声音。
96.如附图中所示，移动设备1250可以以多种不同的形式实现。例如，它可以被实现为蜂窝电话。它也可以被实现为智能电话1282、个人数字助理、平板计算机或其他类似移动设备的一部分。
97.可以在数字电子电路、集成电路、特殊设计的专用集成电路(asic)、计算机硬件、固件、软件和/或它们的组合中实现本文描述的系统和技术的各种实施方式。这些各种实施方式可以包括在可编程系统上可执行和/或可编译的一个或多个计算机程序中的实现，所述可编程系统包括至少一个可编程处理器，其可为专用或通用的，与之耦接以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令，并将数据和指令发送到所述存储系统、至少一个输入设备和至少一个输出设备。
98.这些计算机程序(也称为程序、软件、软件应用程序或代码)包括用于可编程处理器的机器指令，并且可以以高级程序和/或面向对象的编程语言和/或汇编/机器语言来实现。如本文所使用的，术语“机器可读介质”和“计算机可读介质”是指用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、装置和/或设备(例如磁盘、光盘、存储器、可编程逻辑设备(pld))，包括接收机器指令的机器可读介质。
99.为了提供与用户的交互，本文所描述的系统和技术可以在计算机上实现，该计算机具有用于向用户显示信息的显示设备(例如，阴极射线管(crt)或液晶显示(lcd)监视器)以及用户可用以向该计算机提供输入的键盘和指针设备(例如，鼠标或轨迹球)。其他种类的设备也可以用于提供与用户的交互。例如，提供给用户的反馈可以是任何形式的感觉反馈(例如，视觉反馈、听觉反馈或触觉反馈)。可以接收来自用户的任何形式的输入，包括声音、语音或触觉输入。
100.本文描述的系统和技术可以在计算系统中实现，该计算系统包括后端组件(例如，数据服务器)，或包括中间件组件(例如，应用服务器)，或包括前端组件(例如，具有图形用
户界面或者网页浏览器的客户端计算机，用户可以通过所述gui或网页浏览器与本文所述的系统和技术的实施方式交互)，或包括这样的后端、中间件、或前端组件的组合。系统的组件可以通过任何形式或介质的数字数据通信(例如，通信网络)连接。通信网络的示例包括局域网(lan)、广域网(wan)以及因特网。
101.计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离并且通常通过通信网络交互。客户端和服务器的关系借助运行在各自的计算机上并且彼此具有客户端
‑
服务器关系的计算机程序产生。
102.尽管上面已经详细描述了一些实施方式，但是在不脱离本文描述的发明构思的范围的情况下，可以进行其他修改，并且因此，其他实施方式在所附权利要求的范围内。