用于使用神经网络的生物特征用户识别的设备、方法和系统与流程

用于使用神经网络的生物特征用户识别的设备、方法和系统
1.本技术是申请号为201680025287.0的中国专利申请“用于使用神经网络的生物特征用户识别的设备、方法和系统”(申请日为2016年5月9日)的分案申请。


背景技术：

2.将诸如金融和健康相关活动的重要活动从物理世界迁移到连接的电子(“虚拟”)空间，有可能改善人们的生活。然而，重要活动的迁移也通过身份和信息窃取为渎职提供了新的机会。
3.为了详细说明，传统的交易系统(财务或其它)通常要求用户物理上携带或者精神上回忆某种形式的货币令牌(例如，现金、支票、信用卡等)，并且在某些情况下，身份证明(例如，驾驶执照等)和认证(例如，签名、pin码等)参与业务交易。考虑用户走进百货公司：进行任何种类的购买，用户通常拿起物品、将物品放在购物车中、走到登记处、有秩序等待收银员、等待收银员扫描多个物品、检索信用卡、提供身份证明、签信用卡收据、以及存储收据以备将来返回物品。使用传统的交易系统，这些步骤尽管是必要的，但是耗时且低效。在某些情况下，这些步骤阻止或禁止用户进行购买(例如，用户在他们的身上没有货币令牌或者身份证明等)。然而，在增强现实(“ar”)设备的背景下，这些步骤是冗余和不必要的。在一个或多个实施例中，ar设备可以被配置为允许其身份已被预先识别或预先认证的用户无缝地执行许多类型的交易(例如，金融)，而不需要用户执行上述繁重的过程。
4.因此，用于使用在此描述和要求保护的生物特征(biometric)数据识别用户的设备、方法和系统可以促进重要的电子交易，同时减轻与这些交易相关联的风险(例如，安全性)。


技术实现要素：

5.在一个实施例中，涉及用户识别系统，系统包括图像识别网络，用于分析图像数据并基于图像数据生成形状数据。该系统还包括通用网络，用于分析形状数据并基于形状数据生成通用类别数据。该系统还包括专用网络，用于将通用类别数据与特征进行比较以生成窄类别数据。此外，该系统包括包括多个节点的分类器层，用于基于窄类别数据表示分类决定。
6.在一个或多个实施例中，系统还包括包括多个层的反向传播神经网络。反向传播神经网络还可以包括错误抑制和学习提升(learning elevation)。
7.在一个或多个实施例中，系统还包括用图像识别网络编码的asic。专用网络可以包括包括多个层的反向传播网络。系统还可以包括调整层用于基于用户的眼睛运动来修改通用类别数据。
8.在另一实施例中，涉及识别系统的用户的方法，该方法包括分析图像数据并基于图像数据生成形状数据。该方法还包括分析形状数据并基于形状数据生成通用类别数据。该方法还包括通过将通用类别数据与特征进行比较来生成窄类别数据。此外，该方法包括基于窄类别数据生成分类决定。
9.在一个或多个实施例中，该方法还包括识别数据段中的错误。该方法还可以包括抑制其中错误被识别的数据段。分析图像数据可以包括扫描图像数据的多个像素。图像数据可以对应于用户的眼睛。
10.在一个或多个实施例中，特征是来自已知的可能混淆的不匹配的个体。该特征可以选自包括眉毛形状和眼睛形状的组。该方法还可以包括生成特征的网络，其中网络的每个相应的特征与数据库中可能混淆的不匹配的个体相关联。当系统首次针对用户进行校准时，可以生成特征的网络。
11.在一个或多个实施例中，该方法还包括随时间跟踪用户的眼睛运动。该方法还可以包括在将通用类别数据与限制进行比较之前，基于用户的眼睛运动来修改通用类别数据。该方法还可以包括修改通用类别数据以符合由用户的眼睛运动导致的差异(variance)。
12.在又一实施例中，涉及体现在非暂时性计算机可读介质中的计算机程序产品，该计算机可读介质在其上存储有指令序列，当由处理器执行时，该指令序列使得处理器执行用于识别系统的用户的方法，该方法包括分析图像数据并基于图像数据生成形状数据。该方法还包括分析形状数据并基于形状数据生成通用类别数据。该方法还包括通过将通用类别数据与特征进行比较来生成窄类别数据。此外，该方法包括基于窄类别数据生成分类决定。
附图说明
13.附图示出了本发明的各种实施例的设计和应用。应当注意，附图没有按照比例进行绘制，并且相似结构或功能的元件在全部附图中用相似的参考标记表示。为了更好的理解如何获得本发明的各种实施例的上述内容和其它优点以及目的，以上简要描述的本发明的更详细描述将通过参考其具体实施例来显现，所述具体实施例在附图中示出。需要理解，这些附图仅描绘了本发明的典型实施例，因此并不能认为限制它的范围，本发明将通过使用附图用附加特征和细节来描述和解释，在附图中：
14.图1a至1d和2a至2d是根据各种实施例的增强现实/用户识别系统的示意图；
15.图3是根据另一实施例的增强现实/用户识别系统的详细示意图；
16.图4是根据又一实施例的用户穿戴增强现实/用户识别系统的示意图；
17.图5是根据一个实施例包括虹膜模板的用户的眼睛的示意图；
18.图6是根据另一实施例的用户的视网膜的示例性图像；
19.图7和图8是根据两个实施例的描绘神经网络的图；
20.图9是根据另一个实施例的描绘特征向量的图；
21.图10和图11是根据两个实施例描绘用于识别用户的方法的流程图。
具体实施方式
22.本发明的各种实施例涉及用于在单个实施例中或在多个实施例中实现生物特征用户识别系统(例如，用于使用增强现实系统)的方法、系统和制品。在详细描述、附图和权利要求中描述了本发明的其它目的、特征和优点。
23.现在将参考附图详细描述各种实施例，各种实施例被提供为本发明的说明性示
例，以使本领域技术人员能够实现本发明。值得注意的是，下面的附图和示例并不意味着限制本发明的范围。当本发明的某些元件可以使用已知的部件(或方法或工艺)部分或完全实现时，将仅描述理解本发明所必需的这些已知部件(或方法或工艺)的部分，将省略对这些已知部件(或方法或过程)的其它部分的详细描述，以免模糊本发明。此外，各种实施例包括在此作为说明而提及的部件的当前和未来已知的等同物。
24.增强现实和用户识别系统
25.增强现实显示系统的各种实施例是已知的。用户识别设备可以独立于ar系统来实现，但是仅为了说明的目的，描述了下面的许多实施例涉及ar系统。
26.公开了用于识别各种计算机系统的用户的设备、方法和系统。在一个实施例中，计算机系统可以是被配置为便于用户与各种其它计算机系统(例如，金融计算机系统)进行交互的头戴式系统。在其它实施例中，计算机系统可以是被配置为便于用户财务交易的固定设备(例如，商业终端或atm)。下面将在使用ar系统(例如，头戴式)的用户财务交易的上下文中对用户识别进行描述，但是应当理解，在此所公开的实施例可以独立于任何现有和/或已知的ar或金融交易系统。
27.例如，当ar系统的用户尝试使用ar系统完成商业交易(例如，使用来自在线支票账户的资金从在线零售商购买商品)时，系统在进行商业交易之前必须首先建立用户的识别。该用户识别确定的输入可以是由ar系统随时间生成的用户的图像。可以使用虹膜图案来识别用户。然而，用户识别不限于虹膜图案，并且可以包括用户的其它唯一属性或特征。
28.在此描述的用户识别设备和系统利用一个或多个反向传播神经网络来促进用户属性的分析以确定用户/穿戴者的身份。机器学习方法可以使用反向传播神经网络有效地呈现识别决定(例如，是sam或不是sam)。在此描述的神经网络包括附加层以更准确地(即，更接近于“真实”)并且精确地(即，更可重复)呈现识别决定，同时最小化计算/处理要求(例如，处理器周期和时间)。
29.现在参考图1a-1d，根据各种实施例示出了一些一般的ar系统部件选项。应当理解，尽管图1a-1d的实施例示出了头戴式显示器，但是相同的部件也可以并入固定的计算机系统中，并且图1a-1d不应当被视为限制。
30.如图1a所示，头戴式设备用户60被描绘为佩戴耦接到位于用户60的眼睛前方的显示系统62的框架64结构。框架64可以永久地或临时地耦接到取决于所需的安全级别的一个或多个用户识别特定子系统。一些实施例可以专门用于用户识别应用而构建，并且其它实施例可以是还能够进行用户识别的一般ar系统。在这两种情况下，以下描述用户识别系统或用于用户识别的ar系统的可能部件。
31.扬声器66可以以所示的配置耦接到框架64并且位于邻近用户60的耳道。在替代实施例中，另一个扬声器(未示出)位于邻近用户60的另一个耳道以提供立体的/可成形的声音控制。在一个或多个实施例中，用户识别设备可具有显示器62，显示器62可以例如通过有线导线或无线连接可操作地耦接到本地处理和数据模块70，本地处理和数据模块70可以以各种配置来安装，诸如固定地附接到框架64，固定地附接到如图1b的实施例所示的头盔或帽子80，嵌入头戴式耳机中，以如图1c的实施例所示的背包式配置中可拆卸地附接到用户60的躯干82，或者如图1d的实施例所示的皮带耦接式配置中可拆卸地附接到用户60的臀部84。
32.本地处理和数据模块70可以包括低功耗处理器或控制器，以及诸如闪速存储器的数字存储器，它们都可以用于协助数据的处理、缓存和存储。数据可以从可操作地耦接到框架64的传感器被捕获，该传感器诸如图像捕获设备(诸如照相机)、麦克风、惯性测量单元、加速器、指南针、gps单元、无线电设备、和/或陀螺仪。可替换或另外地，可使用远程处理模块72和/或远程数据库74来获得和/或处理数据，在这样的处理或检索之后可能用于传送到显示器62。本地处理和数据模块70可诸如通过有线或无线通信链路可操作地将76、78耦接到远程处理模块72和远程数据库74，以使得这些远程模块72、74彼此可操作地耦接并作为对于本地处理和数据模块70的可用资源。
33.在一个实施例中，远程处理模块72可包括被配置为分析和处理数据和/或图像信息的一个或多个相对强大的处理器或控制器。在一个实施例中，远程数据库74可包括相对大规模的数字数据存储设施，其可通过因特网或在“云”资源配置中的其它网络配置来获得。在一个实施例中，在本地处理和数据模块中存储全部数据并执行全部计算，允许从任何远程模块完全自主的使用。
34.与当前公开更相关的是，与图1a-1d中描述的这些类似的用户识别设备(或具有用户识别应用的ar系统)向用户的眼睛提供唯一访问。鉴于用户识别/ar设备与用户的眼睛至关重要地相互作用，以允许用户感知3d虚拟内容，并且在许多实施例中，跟踪与用户的眼睛相关的各种生物特征(例如，虹膜图案、眼睛聚散、眼睛运动、锥体和杆的图案、眼睛运动的图案等)，所得到的跟踪数据可以有利地用于用户识别应用中。因此，对用户的眼睛的前所未有的访问自然地适用于各种用户识别应用。
35.在一个或多个实施例中，增强现实显示系统可以用作用户佩戴的用户识别设备或系统。这种用户识别设备和系统捕获用户的眼睛的图像并跟踪用户的眼睛运动以获得用于用户识别的数据。传统上，用户识别设备要求用户保持静止，因为用户临时附接的设备是静止的。通常，使用被限制于用户识别仪器或设备(例如，在具有头向前的用户识别设备的面部静止部件上的面部和/或指纹读取设备中的手指等)，直到设备完成数据获得。因此，当前用户识别方法具有许多限制。
36.除了在用户识别数据获得期间限制用户运动之外，传统方法可能导致图像捕获错误，导致用户识别错误。此外，现有图像(例如，虹膜或指纹)分析算法可导致用户识别错误。例如，大多数现有图像分析算法被设计和/或校准，以平衡用户识别准确性和精度与计算机系统要求。因此，当第三方与用户共享足够量的用户特征时，现有的图像分析算法可能会错误地将第三方识别为用户。
37.在一个或多个实施例中，在提供对ar系统的安全特征的访问之前(如下面所描述的)，包括与图1a-1d所示类似的用户识别设备的头戴式ar系统可以用于初始且连续地识别用户。在一个或多个实施例中，ar显示系统可以用作头戴式用户识别设备。应当理解，尽管下面描述的多个实施例可以在头戴式系统中实现，但是其它实施例可以在固定设备中实现。为了说明的目的，本公开将主要关注头戴式用户识别设备，并且特别是ar设备，但是应当理解，相同的原理也可以应用于非头戴式和非ar实施例。
38.在一个或多个实施例中，ar显示设备可以用作用户佩戴的用户识别设备。用户佩戴的用户识别设备通常适于特定用户的头部，并且光学部件对齐到用户的眼睛。可以使用这些配置步骤以便确保向用户提供最佳的增强现实体验，而不会引起任何生理上的副作
用，诸如头痛、恶心、不适等。因此，在一个或多个实施例中，用户佩戴的用户识别设备对于每个个体用户进行(物理上和数字上)配置，并且一组程序可以专门为用户进行校准。在其它情况下，松散装配的ar设备可以被各种用户舒适地使用。例如，在一些实施例中，用户佩戴的用户识别设备知道用户的眼睛之间的距离、头戴式显示器与用户的眼睛之间的距离、以及用户的前额的曲率。全部这些测量可用于提供定制以适于给定用户的头戴式显示系统。在其它实施例中，可能不需要这种测量，以便执行用户识别功能。
39.例如，参考图2a-2d，可以为每个用户定制用户识别设备。如图2a所示，在一个或多个实施例中，当安装头戴式用户佩戴的用户识别系统时，可以考虑用户的头部形状402。类似地，如图2b所示，眼睛部件404(例如，光学元件、用于光学元件的结构等)可以为了用户的舒适而水平和垂直地旋转或调整，或者为了用户的舒适而旋转。在一个或多个实施例中，如图2c所示，头戴耳机相对于用户的头部的旋转点可以基于用户头部的结构来调整。类似地，如图2d所示，可以补偿瞳孔间距(ipd)(即，用户的眼睛之间的距离)。
40.有利地，在用户佩戴的用户识别设备的情况下，针对每个用户的头戴式设备的定制是有利的，因为所定制的系统已经可以访问关于用户的物理特征(例如，眼睛尺寸、头部尺寸，眼睛之间的距离等)的一组测量和可用于用户识别的其它数据。
41.除了对用户执行的各种测量和校准之外，用户佩戴的用户识别设备可以被配置为跟踪关于用户的一组生物特征数据。例如，系统可以跟踪眼睛运动、眼睛运动模式，眨眼模式、眼睛聚散、疲劳参数、眼睛颜色的变化、焦距的变化以及许多其它参数，其可以用于向用户提供光学增强现实体验。在用于用户识别应用的ar设备的情况下，应当理解，一些上述实施例可以是一般可用的ar设备的一部分，并且其它特征(在此描述的)可以为特定的用户识别应用而并入。
42.现在参考图3，将描述示例性用户佩戴的用户识别显示设备的各种部件。应当理解，其它实施例可以具有取决于该系统用于的应用(例如，特定用户识别过程)的附加部件。然而，图3提供了各种部件以及可以通过用户佩戴的用户识别设备或ar设备而收集和存储的生物特征数据的类型的基本思想。图3用于说明目的以右侧方框图示出了头戴式用户识别设备62的简化版本。
43.参考图3，示出了合适的用户显示设备62的一个实施例，其包括可以通过外壳或框架108安装到用户的头部或眼睛的显示器透镜106。用户显示设备62是ar系统，其中ar系统被配置为执行各种功能，包括识别它的佩戴者/用户。显示透镜106可以包括一个或多个透明反射镜，透明反射镜由外壳84定位在用户的眼睛20的前面，并被配置为将投射光38反射到眼睛20中，并且有助于光束整形，同时还允许透射来自当地环境的至少一些光。在所描绘的实施例中，两个宽视场机器视觉照相机16耦接到外壳108以对用户周围的环境成像；在一个实施例中，这些照相机16是双重捕获可见光/红外光照相机。
44.所描绘的实施例还包括一对扫描激光整形波前(shaped-wavefront)(即，用于深度)光投影仪模块18，如图所示具有被配置为将光38投射到眼睛20中的显示反射镜和光学元件。所描绘的实施例还包括与红外光源26(诸如发光二极管或“led”)配对的两个微型红外照相机24，其被配置为跟踪用户的眼睛20以支持渲染和用户输入。这些红外照相机24还被配置为连续且动态地捕获可以用于用户识别的用户的眼睛的图像，特别是其虹膜。
45.系统62还具有传感器组件39的特征，传感器组件39可以包括x、y和z轴加速器能力
和磁罗盘以及x、y和z轴陀螺仪能力，优选地以相对高的频率(诸如200hz)提供数据。示例性传感器组件39是惯性测量单元(“imu”)。所描绘的系统62还包括诸如asic(专用集成电路)、fpga(现场可编程门阵列)和/或arm处理器(高级精简指令集机器)的头部姿势处理器36(“图像姿势处理器”)，其可被配置为根据从捕获设备16输出的宽视场图像信息来计算实时或接近实时的用户头部姿势。
46.还示出了另一处理器32(“传感器姿势处理器”)，其被配置为执行数字和/或模拟处理以根据来自传感器组件39的陀螺仪、罗盘和/或加速器数据来得出姿势。所描绘的实施例还具有gps(全球定位系统)子系统37的特征，以协助姿势和定位。此外，gps还可以提供关于用户位置的基于云的信息。该信息可以用于用户识别目的。例如，如果用户识别算法可以将所检测的用户特征缩小为两个可能的用户身份，则用户的当前和历史位置数据可用于消除可能的用户身份中的一个。
47.最后，所描绘的实施例包括渲染(rendering)引擎34，其可以具有运行软件程序的硬件的特征，该软件程序被配置为向用户提供渲染信息局部(local)，以便于扫描器的操作和成像进入用户的眼睛，以用于用户观察世界。渲染引擎34可操作地耦接94、100、102、104、105(即，经由有线或无线连接)到图像姿势处理器36、眼睛跟踪照相机24、投影子系统18和传感器姿势处理器32，以使得以与视网膜扫描显示类似的方式，使用扫描激光装置18来投影所渲染的光。投影光束38的波前可以被弯曲或聚焦以与投影光的所需焦距一致。
48.微型红外眼睛跟踪照相机24可以用于跟踪眼睛以支持渲染和用户输入(例如，用户正在观察哪，他正在聚焦的深度等)。如下所述，眼睛边缘可用于估计用户的聚焦的深度。gps 37以及传感器组件39中的陀螺仪、罗盘和加速器可用于提供粗略和/或快速姿势估计。结合来自相关联的云计算资源的数据，照相机16图像和传感器姿势信息可用于映射(map)本地世界并与虚拟或增强现实社区和/或用户识别系统分享用户观察。
49.图3中具有的显示系统62中的大部分硬件被描绘为直接耦接到与显示器106和用户的眼睛20相邻的外壳108，所描绘的硬件部件可以被安装到其它部件或放在其它部件内，诸如皮带安装部件，例如在图1d中所示。
50.在一个实施例中，图3中具有的系统62的全部部件被直接耦接到显示外壳108，除了图像姿势处理器36、传感器姿势处理器32和渲染引擎34之外，并且后者三个和系统62的其余部件之间的通信可以是通过诸如超宽带的无线通信或有线通信。所描绘的外壳108优选地被用户头戴和佩戴。它还可以具有扬声器，例如可以插入到用户的耳朵中并用于向用户提供声音的扬声器。
51.关于光38投射到用户的眼睛20中，在一个实施例中，微型照相机24可以用于确定用户的眼睛20的中心在几何上接近(verge)到空间中的点，其一般与眼睛20的聚焦的位置或“聚焦的深度”一致。投影图像的焦距可以呈现有限数量的深度，或者可以是无限变化的，以便于3d图像的投影用于被用户观看。微型照相机24可以用于眼睛跟踪，并且软件可以被配置为不仅拾取聚散几何，而且可以聚焦位置提示以用作用户输入。
52.已经描述了ar/用户识别系统的一般部件，下面将讨论与用户识别有关的附加部件和/或特征。应当理解，下面描述的一些特征对于用户识别设备或用于用户识别目的的大多数ar系统将是常见的，而另一些将需要用于用户识别目的的附加部件。
53.用户识别
54.对象(subject)增强现实系统理想地适于帮助用户进行各种类型的重要交易(金融和其它)，因为它们非常适于识别、认证、定位，甚至确定用户的凝视。
55.根据眼睛跟踪/眼睛成像识别用户
56.对象ar系统62通常需要知道用户的眼睛凝视(或“看”)哪里以及用户的眼睛聚焦哪里。因此，在各种实施例中，头戴式显示器(“hmd”)部件具有一个或多个照相机24，一个或多个照相机24被定向成捕获与用户的眼睛20相关的图像信息。在图4所描绘的实施例中，用户的每个眼睛20可以具有聚焦在其上的照相机24，以及具有到照相机24的已知偏移距离的三个或多个led(未示出)，以引起眼睛的表面上的闪烁。在一个实施例中，led直接在眼睛20的下面。
57.具有到每个照相机24的已知偏移的三个或多个led的存在允许通过三角测量在3d空间中确定从照相机24到每个闪烁点的距离。使用至少3个闪烁点和眼睛20的近似球形模型，系统62可以推断出眼睛20的曲率。利用已知的3-d偏移和对眼睛20的取向，系统62可形成虹膜或视网膜的精确(例如，图像)或抽象(例如，梯度或其它特征)模板，以用于识别用户。在其它实施例中，眼睛20的其它特征，例如眼睛20中和眼睛20之上的静脉图案可用于(例如，与虹膜或视网膜模板一起)来识别用户。
58.a.虹膜图像识别。在一个实施例中，眼睛20的虹膜中的肌肉纤维的图案形成对于每个人的稳定唯一的图案，包括雀斑、沟和环。与可见光成像相比，使用红外或近红外成像可以更容易地捕获各种虹膜特征。系统62可以以许多不同的方式将捕获的虹膜特征转变成识别码68。目标是从眼睛20中提取足够丰富的纹理。利用所收集的数据中的足够的自由度，系统62理论上可以在70亿活人中识别的唯一用户。由于系统62包括从下面或从侧面指向用户的眼睛20的照相机24，系统码68将不需要是旋转不变的。图5示出了用于参考的根据虹膜的示例码68。
59.例如，使用用户眼睛20下面的系统照相机26捕获图像和多个led以提供3-d深度信息，系统62形成对于光瞳直径及其3-d位置归一化的模板码68。随着用户正在向设备62注册，系统62可以随着时间从几个不同的视野捕获一系列模板码68。该系列模板码68可以被组合以形成用于分析的单个模板码68。
60.b.视网膜图像识别。在另一个实施例中，hmd包括由可操纵光纤线缆操纵的激光扫描仪所驱动的衍射显示。该线缆还可用于可视化眼睛的内部并且对视网膜进行成像，其具有视觉接受器(杆和锥体)和血管的唯一图案。这些也形成了每个个体的唯一图案，并且可用于唯一识别每个人。
61.图6示出了视网膜的图像，其可以通过许多常规方法转换成图案。例如，暗的(dark)和亮的(light)血管的图案是唯一的，并且可以通过标准技术转换成“暗-亮”码，例如将梯度算子(gradient operator)应用于视网膜图像并计算以视网膜的中心为中心的标准化网格中的高低转换。
62.因此，通过将由系统62捕获或检测的用户特征与系统62的授权用户的已知基准用户特征进行比较，对象系统62可用于以增强准确性和精度来识别用户。这些用户特征可以包括上述虹膜和视网膜图像。
63.用户特征还可以包括眼睛20的曲率/尺寸，其有助于识别用户，因为不同人的眼睛具有相似但不完全相同的曲率和/或尺寸。利用眼睛曲率和/或尺寸也可以防止虹膜和视网
膜图像与平的复制品的欺骗。在上述的一个实施例中，用户的眼睛20的曲率可以根据成像的闪烁来计算。
64.用户特征还可以包括时态信息。时态信息可以在用户经受压力(例如，通告他们的身份正受到挑战)时收集。时态信息包括心率、用户的眼睛是否产生水膜、眼睛是否边缘和聚焦在一起、呼吸模式、眨眼率、脉搏率等。
65.此外，用户特征可以包括关联的信息。例如，系统62可以将环境的图像与期望的眼睛运动模式相关联。系统62还可以确定用户是否看到与从gps、wi-fi信号和/或环境的地图获得的位置相关联的相同的期望场景。例如，如果用户可能在家(根据gps和wi-fi信号)，则系统应当检测家内部的期望姿势正确的场景。
66.此外，用户特征可以包括高光谱和/或皮肤/肌肉电导，其可以用于识别用户(通过与已知的基准特征进行比较)。高光谱和/或皮肤/肌肉电导也可用于确定用户是活的人。
67.用户特征还可以包括眼睛运动模式，因为对象增强现实系统配置被设计为持续佩戴。眼睛运动模式可以与已知的基准特征进行比较以识别(或帮助识别)用户。
68.在其它实施例中，系统可以使用多个眼睛特征(例如，虹膜和视网膜图案、眼睛形状、眼眉形状、眼睫毛图案、眼睛尺寸和曲率等)来识别用户。通过使用多个特征，当与仅使用单个眼睛特征(例如，虹膜图案)识别用户的系统进行比较时，这样的实施例可以根据较低分辨率图像识别用户。
69.到用户识别系统(例如，在此描述的深生物特征识别神经网络)的输入可以是眼睛(或用户的另一部分)的图像，或随时间获取的眼睛的多个图像(例如，视频)。在一些实施例中，与单个图像相比，网络从相同眼睛的多个图像获取更多信息。在一些实施例中，多个图像中的一些或全部图像在被分析之前被预处理，使用如本领域技术人员所熟知的多个图像的稳定合成来增加图像的有效分辨率。
70.ar/用户识别系统还可以用于定期识别用户和/或确认系统尚未从用户的头部移除。
71.上述ar/用户识别系统提供了非常安全的用户识别的形式。换言之，该系统可用于以相对高的准确度和精度确定用户是谁。由于该系统可用于以非常高的确定性且基于持续(使用定期监控)来知道用户是谁，因此它可用于实现各种安全的金融交易，而不需要单独的登录。
72.各种计算范例可用于将捕获或检测的用户特征与授权的用户的已知基准用户特征进行比较，以具有准确性和精确性有效地识别用户，同时最小化计算/处理要求。
73.神经网络
74.图7示出了根据一个实施例的反向传播神经网络200。网络200包括由表示一个节点202的输出的多个连接器204所连接的多个节点202，其形成另一个节点202的输入。由于网络200是反向传播神经网络，所以连接器204是双向的，因为每个节点202可以向节点202之上和之下的层中的节点202提供输入。
75.网络200包括从第一层206a开始并穿过(“上升到”)第六(“分类器”)层206f的六层。网络200被配置为基于所检测的用户特征获得分类(例如，sam/不是sam)决定。在一些实施例中，分类决定是布尔决定。第一层206a被配置为扫描捕获的图像212(例如，用户的眼睛且特别是用户的虹膜的图像)的像素。来自第一层206a的信息由其中的节点202处理，并被
传递到第二层206b中的节点202上。
76.第二层206b中的节点202处理来自第一层206a的信息，包括错误检查。如果第二层206b检测到来自第一层206a的信息中的错误，则错误信息在第二层206b中被抑制。如果第二层206b确认来自第一层206a的信息，则确认的信息被提升/加强(例如，对于下一层更重地加权)。该错误抑制/信息提升处理在第二层206b和第三层206c之间被重复。前三层206a、206b、206c形成图像处理子网络208，其被配置为识别/识别在世界中发现的基本形状(例如，三角形、边缘、平的表面等)。在一些实施例中，图像处理子网络208是可以刻到专用集成电路(“asic”)上的固定代码。
77.网络200还包括第四层206d和第五层206e，其被配置为从前三层206a、206b、206c以及彼此接收信息。第四层206d和第五层206e形成通用子网络210，其被配置为识别世界中的对象(例如，花、脸、苹果等)。上述关于图像处理子网络208的错误抑制/信息提升处理在通用子网络210内以及图像处理208和通用子网络210之间重复。
78.图像处理和通用子网络208、210一起形成具有错误抑制/学习提升和反向传播的非线性、逻辑回归网络，其被配置为扫描捕获的用户图像212的像素并在分类器层206f处输出分类决定。分类器层206f包括两个节点：(1)正/识别节点202a(例如，sam)；以及(2)负/未识别节点202b(例如，不是sam)。
79.图8描绘了根据另一实施例的神经网络200。图8中描绘的神经网络200类似于图7所示的神经网络，除了在通用子网络210和分类器层206f之间添加的两个附加层之外。在图8所示的网络200中，来自第五层206e的信息被传递到第六(“调整”)层206g上。调整层206g被配置为修改图像212数据以考虑由用户的特色的眼睛运动引起的差异。调整层206g随着时间跟踪用户的眼睛运动，并且修改图像212数据以去除由这些运动引起的伪像。
80.图8还描绘了设置在调整层206g和分类器层206f之间的第七(“专用”)层206h。专用层206h可以是包括若干层的小反向传播专用网络。专用层206h被配置为将用户的图像212数据与从来自图像的数据库(例如，位于云上)的其它类似图像所获得的数据进行比较。专用层206h还被配置为识别图像识别和通用网络208、210以及调整层206g可能与来自用户的图像212数据混淆的全部已知图像。例如在虹膜识别的情况下，世界上70亿人中存在20000个虹膜可能与任何特定用户的虹膜混淆。
81.专用层206h包括用于每个可能混淆的图像的节点202，节点202被配置为将用户图像212数据与相应的可能混淆的图像区分。例如，专用层206h可以包括被配置为将sam的虹膜与tom的虹膜区分开的节点202c，以及被配置为将sam的虹膜与anne的虹膜区分开的节点202d。专用层206h可以利用诸如眉毛形状和眼睛形状的其它特征将用户与可能混淆的其它图像区分开。由于由每个节点202执行的功能(function)的高度专用的性质，专用层206h中的每个节点202可以仅包括大约10个额外的操作。来自专用层或网络的输出被传递到分类器层206f。
82.图9描绘了单个特征向量(vector)，其可以是数千个节点长。在一些实施例中，神经网络200中的每个节点202，例如图7和图8所描绘的这些，可向特征向量中的节点202报告。
83.尽管图7、8和9中所示的网络200描绘了仅在相邻层206之间传播的信息，但是大多数网络200包括全部层之间的通信(为清楚起见，已经从图7、8和9省略了这些通信)。图7、8
和9中描绘的网络200形成深度可信(belief)或卷积神经网络，其中节点202具有到不同层206的深度连接。使用反向传播，较弱的节点被设置为零值，并且学习的连接模式在网络200中向上传递。尽管图7、8和9所示的网络200具有特定数量的层206和节点202，但是根据其它实施例的网络200包括不同(更少或更多)数量的层206和节点202。
84.已经描述了神经网络200的几个实施例，现在将讨论使用虹膜图像信息和上述神经网络200进行分类决定(sam/不是sam)的方法300。如图10所示，分类方法300在步骤302开始，图像识别子网络208分析用户的虹膜图像212数据，以确定基本形状在该图像212数据中。在步骤304，通用子网络210分析来自图像识别子网络208的形状数据，以确定虹膜图像212数据的类别。在一些实施例中，“类别”可以是“sam”或“不是sam”。在这样的实施例中，该分类可以充分地识别用户。
85.在其它实施例中，其示例在图11中描绘，“类别”可以是包括“sam”的多个可能的用户身份。图11中的步骤302和304与图10中的步骤相同。在步骤306，调整层206g修改图像形状和类别数据，以去除由用户的眼睛运动引起的伪像。用调整层206g处理数据使得数据对用户眼睛的不完美图像212有弹性(resilient)，例如由极限角度引起的失真。在步骤308，专用层/子网络可选地通过添加被配置为将用户的虹膜与一个或多个数据库中的每个已知的可能混淆的虹膜区分开的节点202来构建它自身，其中每个唯一的节点针对每个唯一可能混淆的虹膜。在一些实施例中，当ar/用户识别系统首先针对其授权的用户进行校准并且在使用其它(例如，更传统的)方法建立用户的身份之后，可以执行步骤308。在步骤310，专用层/子网络通过专用层/子网络中的每个节点202运行来自通用子网络210和调整层206g的“类别”数据，以减少“类别”中的混淆，直到只有“sam”或“不是sam”。
86.上述神经网络200和用户识别方法300根据用户特征提供更准确和精确的用户识别，同时最小化计算/处理要求。
87.安全金融交易
88.如上所述，使用上述ar/用户识别系统和方法，可以从个人安全交易消除密码或注册/登录/认证码。对象系统可以采用非常高的确定度来预先识别/预先认证用户。此外，系统可以使用定期监控随时间保持用户的识别。因此，在关于该站点的条款的通知(可以对用户显示为重叠用户界面项目)之后，所识别的用户可以立即访问任何站点。在一个实施例中，系统可以创建由用户预定的一组标准条款，以使得用户立即知道该站点上的条件。如果站点不依附这一组条件(例如，标准条款)，则对象系统可能不会自动允许其中的访问或交易。
89.例如，上述ar/用户识别系统可以用于促进“微交易”。对于用户的财务账户产生非常小的借方和贷方的微交易通常在几分钱的数量级或不到一分钱。在给定的网站上，对象系统可被配置为看到用户不仅查看或使用了一些内容，而且多长时间(快速浏览可能是免费的，但超过一定金额将被收取费用)。在各种实施例中，新闻文章可花费1/3的一分钱；一本书可会收取一分钱一页的费用；音乐在10分一听等等。在另一个实施例中，广告商可以向用户支付半分用于选择横幅广告或进行调查。该系统可以被配置为将小部分交易费用分配给服务提供商。
90.在一个实施例中，系统可以用于创建由用户控制的具体微交易账户，其中与微交易相关的资金以预定有意义的金额被合计并分配到/从用户的更传统的财务帐户(例如，网
上银行账户)。微交易账户可以定期(例如，季度)或响应于某些触发(例如，当用户在特定网站花费超过几美元)被清算或资助。
91.由于对象系统和功能可以由专注于增强现实的公司提供，并且由于用户的id非常无疑且安全地已知，所以可以向用户提供对他们的帐户的立即访问，金额的3-d视图、支出、支出率以及该支出的图形和/或地理图。可以允许这样的用户立即调整支出访问，包括关闭和开启支出(例如，微交易)。
92.在另一个实施例中，父母可以具有对他们的子女帐户类似的访问。父母可以制定政策以允许不超过一定金额的支出，或对于某一类别的某一百分比等。
93.对于宏观支出(例如，以美元计的金额，而不是分或分的部分)，可以利用对象系统配置来促进各种实施例。
94.用户可以使用该系统来订购易腐商品以配送到其被跟踪的位置或用户所选择的地图位置。当配送到达时(例如，通过显示在ar系统中进行的配送的视频)，系统还可以通知用户。采用ar远程呈现，用户可以身体上位于远离他们房屋的办公室中，但是准许配送人员进入到他们的房屋中，通过头像(avatar)远程呈现向配送人呈现，在配送产品时观察配送人，然后确保配送人离开，并通过头像远程呈现锁定他们的房子。
95.可选地，系统可以存储用户产品偏好并且向用户警告与用户的偏好产品相关的销售或其它促销。对于这些宏观支出实施例，用户可以看到他们的账户概览、他们帐户的全部统计和购买模式，从而便于在下他们的订单之前比较购物。
96.由于系统可以用于跟踪眼睛，所以它还可以使“一览(one glance)”购物。例如，用户可以看一个对象(说酒店里的长袍)，并说：“我想要，当我的帐户回到超过3000美元时。”系统将在达到具体条件(例如，帐户结余大于3000美元)时执行购买。
97.系统/服务可提供类似于bitcoin或等效的替代货币系统的所建立的货币系统的替代方案，使用对象技术被索引到每个人的非常可靠的识别。用户的准确和精确识别减少与替代货币系统相关的犯罪机会。
98.安全通信
99.在一个实施例中，虹膜和/或视网膜签名数据可用于安全通信。在这样的实施例中，对象系统可被配置为允许文本、图像和其它内容被选择性地发送到可信任的安全硬件设备上，并且仅在可信任的安全硬件设备上显示，其仅当用户基于一个或多个动态测量的虹膜和/或视网膜签名可被授权时允许访问。由于ar系统显示设备直接投射到用户的视网膜上，所以只有预期的接收者(通过虹膜和/或视网膜签名识别)可以能够观看受保护的内容；此外，由于观看设备主动地监控用户眼睛，动态读取虹膜和/或视网膜签名可以被记录为证明内容实际上呈现给用户的眼睛(例如，作为数字收据的形式，可能伴随着诸如执行所请求的眼睛运动序列的确认动作)。
100.欺骗检测可以排除尝试使用基于预期的自然变化的模型的视网膜图像、静态或2d视网膜图像、生成的图像等的先前记录。唯一的基准/水印可被生成并被投射到视网膜上以生成用于审核的唯一的视网膜签名。
101.上述金融和通信系统提供作为可以从更准确和精确的用户识别中受益的各种常见系统的示例。因此，在此描述的ar/用户识别系统的使用不限于所公开的金融和通信系统，而是适用于需要用户识别的任何系统。
102.在此描述了本发明的各种示例性实施例。在非限制性的意义上参考这些示例。提供这些示例是为了示出本发明的更广泛的应用方面。在不脱离本发明的实际精神和范围的情况下，可对所描述的本发明进行各种改变并可用等同物来替换。此外，可以进行很多修改以适应针对本发明的目的、精神或范围的特定情况、材料、物质的组合物、过程、的过程动作或步骤。进一步地，如本领域的技术人员所知道的，在不脱离本发明的范围和精神的情况下，在此描述和示出的每个单独的变形具有独立的组件和特征，其可容易地与其他若干实施例的任意一个的特征分离或组合。所有这些修改意在处于与本公开相关的权利要求的范围之内。
103.本发明包括可使用主体装置执行的方法。该方法可包括提供这种合适的装置的动作。这种提供可由终端用户执行。换言之，“提供”动作仅需要终端用户的获得、访问、处理、定位、设置、激活、通电或其它动作，以在该方法中提供必要的装置。在此所述的方法可按逻辑上可能的所述事件的任何顺序以及以所述的事件顺序来执行。
104.以上已经描述了本发明的示例性实施例以及关于材料选择和制造的细节。对于本发明的其它细节，可结合以上参考的专利和出版物以及本领域的技术人员通常知道或理解的来理解。这在关于如通常或逻辑上采用的附加动作的方面，关于本发明的基于方法的实施例同样成立。
105.此外，虽然已经参考可选地包括各种特征的若干示例描述了本发明，但是本发明并不限于被描述或表示为针对本发明的每个变形所预期的。在不脱离本发明的实际精神和范围的情况下，可以对所描述的本发明进行各种变化，并且可用等同(无论是本文所陈述的还是为了简洁的目的而未被包括的)来代替。此外，如果提供值的范围，则应当理解，在该范围的上限和下限之间的每个中间值和或者在该说明的范围中的任何其它中间值被包括在本发明之内。
106.此外，可预期的是，所描述的发明变形的任何可选特征可独立或结合在此描述的任何一个或多个特征来陈述和要求权利。引用单数项包括可能存在相同项的复数。更具体地，如在此和在相关的权利要求中所使用的，只要不具体说明，单数形式“一”、“所述”和“该”包括复数对象。换言之，在以上描述以及与本公开相关的权利要求中，冠词的使用允许“至少一个”目标项。还需要注意的是，可起草这种权利要求以排除任何可选元件。因此，该声明意在结合权利要求要素的表述而用作使用如“单独”、“仅”等这种排他性术语的先行基础，或者使用“否定”限制。
107.在不使用这种排他性术语的情况下，在与本公开相关的权利要求中的术语“包括”应允许包括任何其它要素，而不考虑给定数量的要素是否列举在这种权利要求中，或者添加特征可被视为变换在权利要求中所述的要素的性质。除了在此特别定义之外，在此所使用的全部科技术语应在维持权利要求有效的同时被提供尽可能款的通常理解的含义。
108.本发明并不限于所提供的示例和/或本说明书，而仅由与本公开相关的权利要求语言的范围限定。
109.在上述说明书中，已经参照具体的实施例描述本发明。然而，显然在不脱离本发明的较宽的精神和范围的情况下，可以对其进行修改和变换。例如，以上描述的过程流参考过程动作的特定顺序来描述。然而，在不影响本发明的范围或操作的情况下可改变多个所描述的过程动作的顺序。因此，说明书和附图理解为说明性意义而非限制性意义。