经由凝视跟踪的认证和校准
背景技术：
1.计算系统提供对大量信息和大量计算应用的访问。例如，经由计算设备和网络，用户可以跨全球任何地方访问信息和应用。在一些示例中，用户正试图访问的信息或应用位于远程服务器上，并且经由网络进行访问。在其他示例中，信息被本地存储在计算设备上。
附图说明
2.附图示出了本文描述的原理的各种示例，并且是说明书的一部分。给出示出的示例仅用于说明，并不限制权利要求的范围。
3.图1是根据本文描述的原理的一个示例的使用凝视跟踪来认证用户和校准计算设备的系统的框图。
4.图2是根据本文描述的原理的一个示例的佩戴增强现实头戴式耳机的用户的图，该头戴式耳机经由凝视跟踪进行认证和校准。
5.图3是根据本文描述的原理的一个示例的基于经由凝视跟踪的认证授权访问的系统的框图。
6.图4是根据本文描述的原理的一个示例的经由凝视跟踪进行认证和校准的方法的流程图。
7.图5a-5e是根据本文描述的原理的一个示例的经由凝视跟踪进行认证和校准的截屏。
8.图6是根据本文描述的原理的一个示例的使用凝视跟踪来认证用户和校准计算系统的系统的框图。
9.图7是根据本文描述的原理的一个示例的经由凝视跟踪进行认证和校准的方法的流程图。
10.图8描绘了根据本文描述的原理的一个示例的经由凝视跟踪进行认证和校准的非暂时性机器可读存储介质。
11.贯穿附图，相同的参考标号指定类似但不一定相同的元件。附图不一定按比例，并且一些部分的大小可以被夸张以更清楚地图示所示出的示例。此外，附图提供了与描述一致的示例和/或实现方式；然而，描述不限于附图中提供的示例和/或实现方式。
具体实施方式
12.如上所述，计算设备向用户提供对数据和应用的访问。这种信息交换不依赖于地理边界，并且可以是便携的。例如，即使当用户不在家时，他们也可以例如通过他们的移动设备来访问存储在他们的家庭计算设备上的某些信息。类似地，用户可以从他们的家庭计算设备和/或他们的电话访问没有本地存储的信息，诸如银行账户信息。类似地，存储在一个位置的应用可以由处于完全不同位置的用户访问。
13.显然，随着信息已经变得更加广泛和可携带，信息交换的全球性质为那些计算设备的用户提供了无数的益处。某些发展可能会增加该数据的安全性。
14.也就是说，由于这些年来数字数据存储机会已经增加，这种数据可能被恶意和邪恶团体窃取的风险也增加了。例如，黑客可能获得对位于服务器上的信息的未授权访问，该信息可能是个人的、敏感的或以其他方式机密的。
15.因此，本说明书描述了增强诸如数据和/或应用的计算资源的安全性的系统和方法。具体而言，该系统包括跨显示设备跟随用户的眼睛的凝视跟踪系统。在登录之前，用户可以设置眼睛运动认证模式。这种眼睛运动认证模式可以定义用户正在观看的显示屏上的一系列不同区域。在认证期间，可以向用户呈现允许他们查看显示屏的不同区域的界面。如果在认证期间用户的眼睛运动与眼睛运动认证模式所定义的那些匹配，则用户被授权访问数据和/或应用。因此，这种系统提供了具体识别试图访问计算资源的用户的一种独特的方法。
16.在一个特定示例中，上述认证过程可以在增强现实系统中实现。增强现实系统允许用户变得沉浸在增强现实环境中，其中他们可以与增强环境交互。增强现实系统包括虚拟现实(vr)系统、扩增现实(ar)系统和混合现实(mr)系统。这种增强现实系统可以包括增强现实头戴式耳机，以生成逼真的图像、声音和其他人类可辨别的感觉，所述感觉模拟用户在头戴式耳机呈现的虚拟环境中的物理存在。vr系统包括物理空间和/或多投影环境。ar系统可以包括实现物理、真实世界环境的现场直接和/或间接显示的那些系统和设备，其元素由计算机生成的感觉输入(诸如声音、视频、图形和/或gps数据)来扩增。mr系统融合了真实世界和虚拟世界，以产生新的环境和可视化，其中物理和数字对象共存并实时交互。为了简单起见，vr系统、ar系统和mr系统在本文被称为增强现实系统。
17.这种增强现实系统可以用于经由认证过程来访问如上所述的信息和应用。然而，这个过程可能很麻烦，因为用户可能必须取下头戴式耳机来输入认证证书。例如，用户可以摘下头戴式耳机，经由浏览器登录以认证并获得访问权，并再次戴上头戴式耳机以使用不同的应用和/或访问数据。因此，本说明书描述了一种凝视跟踪认证操作，其避免了戴上和摘下头戴式耳机以输入认证证书的潜在麻烦和重复的过程。
18.此外，在一些示例中，增强现实头戴式耳机经历校准阶段，该校准阶段确保眼睛运动在增强现实系统中被正确跟踪，并且对眼睛运动做出准确的解释。本说明书将经由凝视跟踪的认证加入到该校准阶段中，以减少最终用户的登录摩擦。例如，为了校准增强现实系统，用户以预定的方式移动他们的眼睛。如上所述，在本说明书中，用于校准增强现实系统的眼睛的运动是用户定义的并且是唯一的，因此也用作认证过程。也就是说，在登录期间，可以提示用户输入眼睛运动认证模式。在该认证操作期间，用户眼睛的运动可以用于校准增强现实系统。
19.增强现实头戴式耳机的用户在领域上范围从医疗保健到设计，再到基于位置的娱乐。在这些使用情况中，用户可能会经历认证过程，以获得对不同应用和/或数据的访问权。如前所述，用户名和密码的输入并不是无摩擦的。具体而言，在用户佩戴增强现实头戴式耳机的示例中，当前的系统和方法通过将认证过程的部分集成到眼睛跟踪器校准阶段中来减少摩擦，从而为最终用户带来更好的用户体验。
20.具体而言，本说明书描述了一种系统。该系统包括显示设备和捕获看向显示设备的用户的眼睛运动的凝视跟踪系统。该系统还包括控制器。控制器基于匹配眼睛运动认证模式的用户的眼睛运动来认证用户。控制器还基于用户的眼睛运动来校准相关联的计算设
备。
21.本说明书还描述了一种方法。根据该方法，在第一模式中跟踪朝向显示设备的用户眼睛运动，以定义眼睛运动认证模式。在第二模式中，基于匹配眼睛运动认证模式的用户的眼睛运动来认证显示设备的用户。此外，在第二模式中，基于用户的眼睛运动来校准相关联的计算设备。
22.本说明书还描述了编码有可由处理器执行的指令的非暂时性机器可读存储介质。该机器可读存储介质包括指令，用于在第一模式中，1)跟踪朝向显示设备的用户眼睛运动以定义眼睛运动认证模式，以及2)从第二认证系统接收用户输入以定义支持认证证书。机器可读存储介质包括指令，用于在登录期间通过1)将用户眼睛运动与眼睛运动认证模式相匹配，以及2)将用户输入与支持认证证书相匹配来认证用户。在认证期间，指令基于在登录期间用户的眼睛运动来校准相关联的计算设备。
23.总之，使用这样的系统可以1)认证用户以增加数据安全性；2)在校准期间认证；3)在不移除增强现实头戴式耳机的情况下促进认证；以及4)提供免提用户认证。然而，预期本文公开的设备可以解决许多技术领域中的其他问题和缺陷。
24.如在本说明书和所附权利要求中所使用的，术语“多个”或类似语言意在被广义地理解为包括1到无穷大的任何正数。
25.现在转向附图，图1是根据本文描述的原理的一个示例的使用凝视跟踪来认证用户和校准计算系统的系统（100）的框图。一般而言，系统(100)可以被部署在任何种类的计算设备上。这种计算设备包括移动电话、台式计算机、膝上型计算机、平板设备、游戏系统、智能家庭设备等。在一个特定示例中，系统(100)被设置在增强现实系统中。也就是说，凝视跟踪系统(104)可以被设置在用户佩戴的增强现实头戴式耳机内。在另一个特定示例中，系统(100)设置在车辆中的计算设备中。也就是说，包括凝视跟踪系统(104)的系统(100)可以在车辆仪表板中，以跟踪驾驶员的眼睛运动。
26.系统(100)可以包括显示设备(102)。显示设备(102)指的是向用户呈现视觉信息的任何设备。显示设备的示例包括计算机屏幕、智能设备屏幕、平板屏幕和移动设备屏幕。在一个特定示例中，显示设备(102)形成在用户在使用增强现实系统时佩戴的头戴式耳机中。这种头戴式耳机的一个示例在下面的图2中示出。
27.该系统（100）包括捕获看向显示设备（102）的用户的眼睛运动的凝视跟踪系统（104）。通常，凝视跟踪系统(104)是检测和报告至少一个用户在一只或两只眼睛中的凝视方向的电子系统。用户的凝视方向可以指三维(3d)空间中凝视线的方向，所述凝视线源自用户眼睛附近或内部并且指示其中央凹视网膜区所指向的路径。也就是说，凝视跟踪系统(104)确定用户正在看哪里。在一些示例中，凝视跟踪系统(104)报告相对于凝视终止在的对象的凝视方向。例如，凝视跟踪系统(104)可以确定用户正在看显示设备(102)的哪个部分。在增强现实头戴显示器或其他虚拟显示系统中，凝视线可以被投射到显示在用户眼睛前面的虚拟空间中，使得凝视线终止于显示设备(102)后面的某个虚拟点。在一些示例中，视线跟踪系统(104)一次跟踪多于一个用户的凝视。
28.凝视跟踪系统(104)可以以各种方式检测眼睛的取向和位置。在一个示例中，凝视跟踪系统(104)使用红外或可见光相机观察眼睛。眼睛解剖结构在相机的图像帧内的位置可以用来确定眼睛在看哪里。在一些示例中，照明器用于在眼睛的解剖结构上产生反射闪
光，并且闪光的位置用于跟踪眼睛。在这些示例中，通过像标准led、准直led或低功率激光器这样的漫射或点照明器二者，可以将光的整个模式投射到眼睛上。
29.在一些示例中，凝视跟踪系统(104)被集成到显示设备(102)上。例如，在台式计算机或移动电话上，相机可以指向用户，以跟踪其眼睛运动和位置。在另一个示例中，在增强现实头戴式耳机中，凝视跟踪系统(104)可以形成在显示设备(102)形成的外壳的内部部分的相同表面上，并且可以指向用户的面部。
30.如在本说明书和所附权利要求中所使用的，术语“控制器”指的是各种硬件组件，所述硬件组件包括处理器和存储器。处理器包括从存储器中检索可执行代码并执行该可执行代码的硬件架构。作为具体示例，本文所述的控制器可以包括计算机可读存储介质、计算机可读存储介质和处理器、专用集成电路(asic)、基于半导体的微处理器、中央处理单元(cpu)、和现场可编程门阵列(fpga)和/或其他硬件设备。
31.存储器可以包括计算机可读存储介质，该计算机可读存储介质可以包含或存储由指令执行系统、装置或设备使用或与其结合使用的计算机可用程序代码。存储器可以采用多种类型的存储器，包括易失性和非易失性存储器。例如，存储器可以包括随机存取存储器(ram)、只读存储器(rom)、光存储盘和磁盘等。当由相应的组件执行时，可执行代码可以使得该组件至少实现本文描述的功能。
32.系统（100）的控制器（106）基于匹配眼睛运动认证模式的用户的眼睛运动来认证用户。也就是说，如上所述，眼睛运动认证模式定义了一组眼睛运动，其准许用户访问某些数据和/或应用。在一些示例中，该眼睛运动认证模式可以是用户定义的。也就是说，在设置阶段期间，可以提示用户通过看向显示设备(102)的不同区域来生成眼睛运动认证模式。在一些示例中，可以显示视觉参考，并且用户可以看向视觉参考上的不同线索。例如，视觉参考可以是点的网格，并且用户可以以期望的顺序看向所述点。用户的眼睛经历以顺序地观看点的运动形成了眼睛运动认证模式。因此，当用户观看点的序列时，凝视跟踪系统(104)确定眼睛的运动，并且控制器(106)将这些眼睛运动设置为眼睛运动认证模式。然后，在登录期间，凝视跟踪系统(104)再次跟踪用户的眼睛运动，并且控制器(106)接收所跟踪的运动并比较它们以确定它们是否匹配眼睛运动认证模式。如果它们匹配，则控制器(106)认证用户并授权访问信息、数据和/或应用。相比之下，如果它们不匹配，则控制器(106)阻止用户访问信息、数据和/或应用。
33.控制器（106）还基于用户的眼睛运动来校准相关联的计算设备。校准指的是其中映射用户的眼睛位置和眼睛运动的特性以确保准确的凝视跟踪的过程。例如，不同的用户具有不同的眼睛物理特性和瞳孔间距(ipd)。因此，针对每个用户校准凝视跟踪系统(104)。也就是说，凝视跟踪系统(104)和在其上执行的应用或程序指令可能不正确地操作，并且如果没有校准，可能不正确地跟踪眼睛运动。如果存在由于有新用户或者增强现实头戴式耳机在用户身上的位置而导致的ipd的变化，则使用校准。换句话说，校准信息被用作参考数据，使得凝视跟踪系统(104)可以精确地测量眼睛的特性以确定位置和/或运动。该校准信息还用于确保整个显示设备(102)可供使用。
34.为了校准凝视跟踪系统(104)、相关联的计算设备以及在任一设备上运行的任何应用/程序指令，控制器(106)可以生成视觉参考并指导用户看向不同的点。根据用户看向不同点时收集的信息，可以校准凝视跟踪系统(104)和相关联的计算设备。
35.在一些示例中，认证和校准同时执行。也就是说，当用户的眼睛通过运动移动以提供眼睛运动认证证书时，控制器(106)可以将眼睛运动数据传递给校准凝视跟踪系统(104)和相关联的计算设备的系统。换句话说，用于校准凝视跟踪系统(104)的校准模式可以是用户定义的，并且对于特定用户可以是唯一的，使得当对其他用户保密时，是确保特定用户而不是某个邪恶和恶意的第三方试图访问安全数据和/或应用的方式。
36.因此，本说明书描述了一种系统(100 ),其中用户经由单个眼睛运动模式既可以认证他们自己以访问数据，又可以校准凝视跟踪系统(104)以提供正确和准确的沉浸式体验。
37.在其它示例中，认证和校准分别执行。例如，系统(100)可以保存校准信息，诸如眼睛物理尺寸和ipd。然后，当用户经由凝视跟踪系统(104)认证时，控制器(106)调用与用户相关联的校准信息来校准凝视跟踪系统(104)和/或相关联的计算设备。
38.在一些示例中，系统(100)可以同时对多个用户进行操作。例如，凝视跟踪系统(104)可以被设置在电视上，并且每个用户可以同时输入眼睛运动认证模式，该模式对于每个用户可以是相同的，或者对于每个用户可以是不同的。如上所述，控制器(106)识别眼睛运动认证模式以认证用户。
39.图2是根据本文描述的原理的一个示例的用于经由凝视跟踪进行认证和校准的增强现实头戴式耳机（208）的图。如上所述，系统(图1，100)可以在增强现实系统中形成。因此，显示设备(102)可以是由用户(210)佩戴的头戴显示设备，以生成视觉、听觉和其他感官环境，检测用户输入，并基于用户输入操纵环境。虽然图2描绘了增强现实头戴式耳机(208)的特定配置，但是根据本文描述的原理，可以使用任何类型的增强现实头戴式耳机(208)。
40.图2还描绘了代表控制器(106)和凝视跟踪系统(104)的虚线框。虽然图2描绘了被设置在增强现实头戴式耳机(208)上的这些组件，但是这些组件中的任一个可以被放置在另一设备上。例如，控制器(106)可以在不同的计算设备上找到。也就是说，增强现实头戴式耳机(208)通信地耦合到主机计算设备，使得由与主机计算设备相关联的处理器执行计算机可读程序代码使得增强现实环境的视图显示在增强现实头戴式耳机(208)中。在一些示例中，系统(图1，100)的控制器(106)可以设置在该主机计算设备上。
41.在一些示例中，增强现实头戴式耳机(208)实现了为用户的每只眼睛提供单独图像的立体头戴显示器。在一些示例中，增强现实头戴式耳机(208)可以向用户提供立体声。在一个示例中，增强现实头戴式耳机(208)可以包括头部运动跟踪传感器，该头部运动跟踪传感器包括陀螺仪和/或加速度计。
42.如上所述，经由显示设备(102)和凝视跟踪系统(104)，可以经由在登录/认证期间跟踪眼睛的运动并将这些运动与眼睛运动认证模式进行比较来认证用户(210)。在一些示例中，显示设备(102)显示眼睛运动视觉参考(212)。这种眼睛运动视觉参考(212)提供了眼睛位置和眼睛的运动的确认。在图2所示的示例中，眼睛运动视觉参考(212)是点的网格，然而，眼睛运动视觉参考(212)可以采取其他形式。例如，眼睛运动视觉参考(212)可以是秘密图像，其中用户(210)看向图像的不同部分。
43.在一些示例中，增强现实头戴式耳机(208)可以检测用户何时戴上/摘下增强现实头戴式耳机(208)，并且系统(图1，100)可以采取适当的动作。例如，当摘下时，系统(图1，100)可以重新触发认证过程并结束当前会话。在该示例中，系统(图1，100)可包括惯性测量
单元或其他运动感测单元，以检测增强现实头戴式耳机(208)何时被完全摘下(而不仅仅是搁在头上)。同一感测单元可用于确定增强现实头戴式耳机(208)何时被放回用户头上。
44.系统(图1，100)还可以识别增强现实头戴式耳机(208)的用户，并且可以提示与该用户相关联的眼睛运动认证模式。也就是说，如上所述，眼睛运动认证模式可以是每个用户唯一的。控制器(图1，106)可以识别用户，并且可以调用该用户的眼睛运动认证模式。
45.在一个特定示例中，这可以通过识别用户的虹膜来完成。在该示例中，系统(图1，100)可以生成用户已经被识别的文本/视觉通知。例如，系统(图1，100)可以生成视觉/听觉提示，其陈述“你好，约翰。你回来了。请输入您的眼睛运动认证模式以重新登录。”在其他示例中，不是使用经由用户的眼睛的标识，而是用户可以输入另一种形式的认证证书，诸如语音id或触摸id，来指示他们是谁。
46.如上所述，眼睛运动认证模式是用户特定的，并且因此可转移到其他设备。在该示例中，眼睛运动认证模式与支持认证证书(诸如语音id、触摸id或密码)相关联，使得在输入支持认证证书的任何设备上检索眼睛运动认证模式。例如，如果用户切换到不同的增强现实头戴式耳机(208)，则用户可以输入其语音id或触摸id。系统(图1，100)可以从用户的数据库中唯一地识别它们。在此之后，系统(图1，100)将设备名称记录在用户的账户中，并创建加密信息，该加密信息包括允许他们登录的他们唯一的眼睛运动认证模式。在一些示例中，系统(图1，100)将眼睛运动认证模式与新的设备id相关联，因此下次他们使用该设备时，他们可以经由用户名语音id或触摸id来提供用户名。
47.图3是根据本文描述的原理的一个示例的基于经由凝视跟踪的认证授权访问的系统的框图。如上所述，系统(图1，100)使用眼睛运动认证模式(316)来提供对资源(314)的访问。资源(314)可以是数据、应用或其他计算资源。如上所述，资源(314)可以是计算设备本地的。例如，用户可能希望访问他们本地计算设备上的数据库。在另一个示例中，资源(314)可以是远程的。例如，用户可能试图访问诸如远程存储银行信息的银行网站之类的网站。
48.如上所述，眼睛运动认证模式(316)可用于认证用户以确保他们具有访问资源(314)的权限。在一些示例中，眼睛运动认证模式(316)可以与支持认证证书(318)结合使用，例如以提供多因素认证。支持认证证书(318)可以是各种类型，包括用户名、语音标识符、指纹或设备标识符。在这些示例中，为了访问资源(314)，用户经由两种机制被认证。也就是说，用户提供与授权实体的数据库相匹配的用户名、语音标识符、指纹或设备标识符，并且还提供与眼睛运动认证模式相匹配的眼睛运动(316)。
49.这种双模式认证增加了用户试图访问的数据/应用的安全性。也就是说，假设用户正在看向点的模式，对于给定的点网格，可能存在不同模式的有限集。因此，随着用户数量的增加，两个用户具有相同模式的概率增加。通过将模式信息与本地信息(即，触摸id、语音id或设备id)相结合，数据安全性得到增强，因为同一设备的两个用户具有完全相同的模式的可能性更小。因此，本系统(图1，100)进一步增强了资源(314)的安全性。
50.图4是根据本文描述的原理的一个示例的经由凝视跟踪进行认证和校准的方法（400）的流程图。在图4所示的示例中，系统(图1，100)以不同的模式操作。在第一模式中，系统(图1，100)接收用户输入以建立眼睛运动认证模式(图3，316)，并且在第二模式中，诸如登录或认证操作，系统(图1，100)接收用户输入并确定其是否与眼睛运动认证模式匹配(图3，316)。
51.因此，在第一模式中，方法(400)包括跟踪朝向显示设备的用户眼睛运动(图1，102)以定义眼睛运动认证模式(图3，316)。也就是说，如上所述，凝视跟踪系统(图1，104)可以辨别用户的眼睛指向显示设备上的何处。因此，系统(图1，100)可以进入其中跟踪和记录眼睛位置和运动的模式。也就是说，凝视跟踪系统(图1，104)捕获眼睛运动以定义眼睛运动认证模式(图3，316)。此外，在该第一模式期间，控制器(图1，106)建立眼睛运动认证模式(图3，316)。也就是说，由凝视跟踪系统(图1，104)记录的眼睛运动序列被正式定义为眼睛运动认证模式(图3，316)并被存储用于用户的后续认证。
52.在另一个时间点，也就是说当用户，无论是建立眼睛运动认证模式(图3，316)的同一用户还是另一个用户，系统(图1，100)调用眼睛运动认证模式(图3，316)以确保试图访问资源(图3，314)的用户有权这样做。因此，在诸如登录或认证的第二模式中，方法(400)包括基于匹配眼睛运动认证模式(图3，316)的用户的眼睛运动来认证(块402)显示设备(图1，102)的用户。也就是说，可以在用户访问资源(图3，314)之前向用户呈现登录屏幕，无论该资源(图3，314)是数据、应用、服务和/或计算硬件资源。经由登录屏幕，用户被提示输入验证眼睛运动认证模式(图3，316)。如果用户的眼睛运动与眼睛运动认证模式匹配(图3，316 ),则用户被授权访问。相比而言，如果用户的眼睛运动与眼睛运动认证模式不匹配(图3，316 )，则拒绝访问。
53.在捕获眼睛运动以与眼睛运动认证模式进行比较(图3，316)的同时，系统(图1，100)可以捕获眼睛运动以校准(块403)凝视跟踪系统(图1，104)、任何相关联的计算设备以及可以在凝视跟踪系统(图1，104)和/或相关联的计算设备上运行的应用/程序指令。也就是说，为了确保对用户眼睛运动的准确跟踪并确保对眼睛运动的正确解释和响应，凝视跟踪系统(图1，104)是其一部分的计算设备和凝视跟踪系统(图1，104)本身被校准。这可以在凝视认证期间跟踪用户的眼睛时完成。
54.换句话说，凝视跟踪系统(图1，104)和用户认证依赖于跟踪眼睛运动。本系统(图1，100)和方法(400)同时执行这些操作。这样做提供了更简单的登录过程，因为用户可以例如在不取下增强现实头戴式耳机(图2，208)的情况下执行认证，并且可以通过单个操作而不是通过不同的且单独的操作执行认证和校准。
55.现在提供系统(图1，100)的第一模式和第二模式操作的具体示例，其中系统(图1，100)被结合在增强现实头戴式耳机(图2，208)中。在第一模式期间，即第一次注册期间，用户可以使用其控制器用虚拟键盘登录。此时，他/她可以完成增强现实认证的一次性设置。在该设置期间，用户从所示的网格创建他们自己的个人眼睛运动认证模式(图3，316)。在一些示例中，可能存在用于建立眼睛运动认证模式的某些标准(图3，316)。例如，系统(图1，100)可以禁止来自显示器的特定区域的点用于眼球运动认证模式(图3，316)。这样做可以确保生成的眼睛运动认证模式(图3，316)能够用于系统校准。
56.此外，用户还可以提供信息来建立支持认证证书(图3，318)，诸如他们名字的音频样本。例如，“约翰
·
史密斯”重复多次，以获取样本用于未来的检测。在具有触摸板的另一个示例中，用户可以通过触摸传感器来提供触摸标识符。作为又一个示例，可以在该设置期间检索设备标识符。在该示例中，设备标识符是从增强现实头戴式耳机自动获得的(图2，208)。
57.在第二模式期间，即在认证期间，当支持认证证书(图3，318)是语音标识符时，用
户可以说出他们的名字。当支持认证证书(图3，318)是触摸标识符时，用户可以使用触摸板。在任一示例中，在经由支持认证证书(图3，318)进行认证之后，可以向用户示出作为眼睛跟踪器校准例程的网格。计算机期望用户定义的眼睛运动认证模式。
58.为了附加的安全性，设备id可用于解密密码，并将其与用户名或用户的姓名语音id结合使用。天真地，为了加密密码，散列函数(从设备id导出)可以与设备id一起使用作为密钥。通过使用设备id来生成散列函数，在存在密码的地方创建了狭窄的潜在空间。通过了解设备id，反函数可以用于导出较小的密码模式集，该密码模式集可以与该空间中的特定设备和认证链接。
59.在用户认证失败的情况下，系统(图1，100)可以退回到具有控制器的虚拟键盘，以在vr中输入用户名和密码，或者用户可以移除增强现实头戴式耳机(图2，208)并经由桌面体验登录。
60.图5a-5e是根据本文描述的原理的一个示例的经由凝视跟踪进行认证和校准的截屏。也就是说，图5a-5e描绘了系统(图1，100)在第二或登录模式下的操作。在第一屏幕，提示用户输入支持认证证书(图3，318)。在图5a所示的示例中，支持认证证书(图3，318)是由提示“请说出你的名字”所指示的语音标识符。因此，用户可以说出他们的名字。如图5b所示，在经由第二认证系统认证之后，向用户提供他们已经提供了经认证的证书的指示。
61.响应于提供经认证的证书，系统(图1，100)发起经由凝视跟踪的认证。在该示例中，系统(图1，100)显示如图5c所示的眼睛运动视觉参考。也就是说，在没有这样的参考的情况下，用户可能难以知道他们的眼睛配准是否被准确跟踪。因此，眼睛运动视觉参考提供了用户在试图经由凝视跟踪进行认证时可以遵循的视觉线索或参考。在第一模式期间，当用户正在定义眼睛运动认证模式时，可以提供类似的视觉参考(图3，316)。注意，图5c和5d描绘了眼睛运动视觉参考的一个示例，但是也可以实现诸如图像或模式中的图像序列的其他示例。
62.如图5d所示，用户然后以预定的模式移动他们的眼睛。如图5d所示，可以提供眼睛运动的视觉指示。也就是说，被记录为用户眼睛焦点的那些网格点被高亮指示器包围。因此，用户可以识别屏幕上的哪一点被记录为他们凝视的焦点。注意，在一些示例中，用户凝视的这种视觉指示，即高亮指示器，可以被阻止一起显示，或者可以被阻止显示给镜像设备。
63.然后如图5e所示，如果用户眼睛运动匹配眼睛运动认证模式(图3，316)，则呈现屏幕(520 )，其指示用户被认证访问资源(图3，314 )，无论该资源(图3，314)可能是什么。
64.注意，虽然图5a-5e描绘了经由支持认证证书的认证(图3，318)和眼睛运动认证模式(图3，316)之间的特定顺序，但是可以实现任何顺序。也就是说，认证用户可以包括基于匹配支持认证证书的用户输入来认证用户(图3，318)，并且在一个示例中，基于匹配眼睛运动认证模式的用户的眼睛运动来认证显示设备的用户(图1，102)是响应于匹配支持认证证书的用户输入(图3，318)的。然而，在另一示例中，基于匹配支持认证证书的用户输入来认证用户(图3，318)是响应于匹配眼睛运动认证模式的用户的眼睛运动(图3，316)的。
65.图6是根据本文描述的原理的一个示例的使用凝视跟踪来认证用户和校准计算系统的系统（100）的框图。图6所示的系统包括如图1所示的显示设备(102)、凝视跟踪系统(104)和控制器(106)。系统(100)包括认证用户的附加组件。具体地，系统(100)可以包括第
二认证系统(622)。也就是说，如上所述，眼睛运动认证模式(图3，316)可以与多因素认证系统中的其他认证证书(图3，318)结合使用，以进一步增加数据、应用和/或计算资源的安全性。在第一模式期间，也就是说当用户正在注册时，第二认证系统(622)接收用户输入以建立支持认证证书(图3，318)，并且在登录期间，控制器(106)进一步基于匹配支持认证证书的输入认证用户(图3，318)。在一些示例中，第二认证系统(622)可以呈现界面，其中用户可以经由用户名设置和被认证。
66.在另一个示例中，第二认证系统(622)是生物计量认证系统。也就是说，第二认证系统(622)可以经由用户的物理区别属性进行认证。在一个示例中，生物计量第二认证系统(622)使用用户的声纹来认证用户。在该示例中，第二认证系统(622)包括1)用于捕获用户记录的音频的麦克风，以及2)将输入音频信号与用户的声纹进行匹配以认证用户的控制器(106)。
67.在另一个示例中，生物计量第二认证系统(622)使用用户的唯一指纹来认证用户。在该示例中，第二认证系统(622)包括1)用于捕获用户的指纹的触摸板，以及2)将接收的指纹与授权指纹的记录进行匹配的控制器(106)。虽然具体参考了特定的生物计量认证系统，但是其他生物计量信息可以用于与凝视跟踪系统(104)一起认证用户。
68.在另一个示例中，第二认证系统(622)是设备认证系统。也就是说，通过其授权访问资源(图3，314)的设备可以由唯一标识符来标识。在该示例中，第二认证系统(622)包括被授权提供对资源的访问的设备标识符的数据库(图3，314)。在该示例中，控制器(106)可以检索设备标识符并将其与授权设备的数据库进行比较，以连同眼睛运动认证模式(图3，316)一起确定设备的用户是否被允许访问资源(图3，314)。因此，系统(100)提供多个认证操作以增加有价值资源的安全性(图3，314)。
69.图7是根据本文描述的原理的一个示例的经由凝视跟踪进行认证和校准的方法（700）的流程图。根据方法(700)，跟踪（块701）朝向显示设备(图1，102)的用户眼睛运动以定义眼睛运动认证模式(图3，316)。这可以如上文结合图4所述来执行。
70.为了进一步增加该操作的安全性，可以防止(框702)在显示设备(图1，102)或另一显示设备上显示眼睛运动的视觉指示。例如，可能是显示设备(图1，102)对其他用户可见的情况。作为特定示例，第二用户可能站在第一用户后面，而第一用户正在经由眼睛运动认证模式创建或认证(图3，316)。如果在显示设备上视觉地指示眼睛运动(图1，102)，则该第二用户可以获得对眼睛运动认证模式的访问(图3，316)，并且可能经由输入眼睛运动认证模式获得未授权的访问(图3，316)。作为另一个特定示例，增强现实头戴式耳机(图2，218)可以耦合到镜像显示设备，诸如如计算桌面。类似地，如果第二用户在镜像显示设备的前面，而第一用户正在经由眼睛运动认证模式建立或认证(图3，316)，则第二用户可能获得对资源的不期望的访问(图3，314)。因此，通过防止(块702)显示设备(图1，102)和/或另一显示设备视觉地指示眼睛运动，提供了资源(图3，316)的更大安全性。
71.然而，在一些示例中，方法(700)包括提供(块703)输入眼睛运动的听觉或视觉指示，所有这些都不在视觉上揭示眼睛运动。也就是说，虽然没有指示实际的运动，但是可以指示眼睛运动被记录的事实。作为一个特定的示例，可听的嘟嘟声可以指示选择了点。作为另一个示例，可以建立计数器，该计数器在每次记录新的眼睛运动时更新。这样做允许用户在不在显示设备(图1，102)或另一显示设备上揭示眼睛运动认证模式(图3，316)的情况下，
接收验证，即接收到朝向完成眼睛运动认证模式(图3，316)的眼睛运动。
72.该方法(700)还包括同时基于匹配眼睛运动认证模式(图3，316)的眼睛运动认证(块704)用户，以及基于用于输入眼睛运动认证模式(图3，316)的相同眼睛运动来校准(块705)凝视跟踪系统(图1，104)和相关联的计算设备。如在本说明书和所附权利要求中所使用的，术语“同时”可以指示时间上的重叠。这些操作可以如上文结合图4所述来执行。
73.图8描绘了根据本文描述的原理的一个示例的经由凝视跟踪进行认证和校准的非暂时性机器可读存储介质（824）。为了实现其期望的功能，计算系统包括各种硬件组件。具体地，计算系统包括处理器和机器可读存储介质(824)。机器可读存储介质(824)通信地耦合到处理器。机器可读存储介质(824)包括用于执行指定功能的多个指令(826，828，830，832，834)。机器可读存储介质(824)使处理器执行指令(826，828，830，832，834)的指定功能。机器可读存储介质(824)可以存储数据、程序、指令或可用于操作系统(图1，100)的任何其他机器可读数据。机器可读存储介质(824)可以存储控制器(图1，106)的处理器可以处理或执行的计算机可读指令。机器可读存储介质(824)可以是包含或存储可执行指令的电子、磁、光或其他物理存储设备。机器可读存储介质(824)可以是例如随机存取存储器(ram)、电可擦除可编程只读存储器(eeprom)、存储设备、光盘等。机器可读存储介质(824)可以是非暂时性机器可读存储介质(824)。
74.参考图8，当由处理器执行时，定义指令(826)使得处理器在第一模式中跟踪朝向显示设备(图1，102)的用户眼睛运动，以定义眼睛运动认证模式(图3，316)。当由处理器执行时，接收指令(828)使得处理器在第一模式中从第二认证系统(图6，622)接收用户输入以定义支持认证证书(图3，318)。
75.当由处理器执行时，匹配眼睛运动指令(830)使得处理器在登录期间通过将用户眼睛运动与眼睛运动认证模式(图3，316)相匹配来认证用户。当由处理器执行时，匹配认证证书指令(832)使得处理器在登录期间通过将用户输入与支持认证证书(图3，318)相匹配来认证用户。
76.当由处理器执行时，校准指令(834)使得处理器在认证期间基于用户在登录期间的眼睛运动来校准显示设备(图1，102)和相关联的计算设备。
77.总之，使用这样的系统可以1)认证用户以增加数据安全性；2)在校准期间认证；3)在不移除增强现实头戴式耳机的情况下促进认证；以及4)提供免提用户认证。然而，预期本文公开的设备可以解决许多技术领域中的其他问题和缺陷。
背景技术：
1.计算系统提供对大量信息和大量计算应用的访问。例如，经由计算设备和网络，用户可以跨全球任何地方访问信息和应用。在一些示例中，用户正试图访问的信息或应用位于远程服务器上，并且经由网络进行访问。在其他示例中，信息被本地存储在计算设备上。
附图说明
2.附图示出了本文描述的原理的各种示例，并且是说明书的一部分。给出示出的示例仅用于说明，并不限制权利要求的范围。
3.图1是根据本文描述的原理的一个示例的使用凝视跟踪来认证用户和校准计算设备的系统的框图。
4.图2是根据本文描述的原理的一个示例的佩戴增强现实头戴式耳机的用户的图，该头戴式耳机经由凝视跟踪进行认证和校准。
5.图3是根据本文描述的原理的一个示例的基于经由凝视跟踪的认证授权访问的系统的框图。
6.图4是根据本文描述的原理的一个示例的经由凝视跟踪进行认证和校准的方法的流程图。
7.图5a-5e是根据本文描述的原理的一个示例的经由凝视跟踪进行认证和校准的截屏。
8.图6是根据本文描述的原理的一个示例的使用凝视跟踪来认证用户和校准计算系统的系统的框图。
9.图7是根据本文描述的原理的一个示例的经由凝视跟踪进行认证和校准的方法的流程图。
10.图8描绘了根据本文描述的原理的一个示例的经由凝视跟踪进行认证和校准的非暂时性机器可读存储介质。
11.贯穿附图，相同的参考标号指定类似但不一定相同的元件。附图不一定按比例，并且一些部分的大小可以被夸张以更清楚地图示所示出的示例。此外，附图提供了与描述一致的示例和/或实现方式；然而，描述不限于附图中提供的示例和/或实现方式。
具体实施方式
12.如上所述，计算设备向用户提供对数据和应用的访问。这种信息交换不依赖于地理边界，并且可以是便携的。例如，即使当用户不在家时，他们也可以例如通过他们的移动设备来访问存储在他们的家庭计算设备上的某些信息。类似地，用户可以从他们的家庭计算设备和/或他们的电话访问没有本地存储的信息，诸如银行账户信息。类似地，存储在一个位置的应用可以由处于完全不同位置的用户访问。
13.显然，随着信息已经变得更加广泛和可携带，信息交换的全球性质为那些计算设备的用户提供了无数的益处。某些发展可能会增加该数据的安全性。
14.也就是说，由于这些年来数字数据存储机会已经增加，这种数据可能被恶意和邪恶团体窃取的风险也增加了。例如，黑客可能获得对位于服务器上的信息的未授权访问，该信息可能是个人的、敏感的或以其他方式机密的。
15.因此，本说明书描述了增强诸如数据和/或应用的计算资源的安全性的系统和方法。具体而言，该系统包括跨显示设备跟随用户的眼睛的凝视跟踪系统。在登录之前，用户可以设置眼睛运动认证模式。这种眼睛运动认证模式可以定义用户正在观看的显示屏上的一系列不同区域。在认证期间，可以向用户呈现允许他们查看显示屏的不同区域的界面。如果在认证期间用户的眼睛运动与眼睛运动认证模式所定义的那些匹配，则用户被授权访问数据和/或应用。因此，这种系统提供了具体识别试图访问计算资源的用户的一种独特的方法。
16.在一个特定示例中，上述认证过程可以在增强现实系统中实现。增强现实系统允许用户变得沉浸在增强现实环境中，其中他们可以与增强环境交互。增强现实系统包括虚拟现实(vr)系统、扩增现实(ar)系统和混合现实(mr)系统。这种增强现实系统可以包括增强现实头戴式耳机，以生成逼真的图像、声音和其他人类可辨别的感觉，所述感觉模拟用户在头戴式耳机呈现的虚拟环境中的物理存在。vr系统包括物理空间和/或多投影环境。ar系统可以包括实现物理、真实世界环境的现场直接和/或间接显示的那些系统和设备，其元素由计算机生成的感觉输入(诸如声音、视频、图形和/或gps数据)来扩增。mr系统融合了真实世界和虚拟世界，以产生新的环境和可视化，其中物理和数字对象共存并实时交互。为了简单起见，vr系统、ar系统和mr系统在本文被称为增强现实系统。
17.这种增强现实系统可以用于经由认证过程来访问如上所述的信息和应用。然而，这个过程可能很麻烦，因为用户可能必须取下头戴式耳机来输入认证证书。例如，用户可以摘下头戴式耳机，经由浏览器登录以认证并获得访问权，并再次戴上头戴式耳机以使用不同的应用和/或访问数据。因此，本说明书描述了一种凝视跟踪认证操作，其避免了戴上和摘下头戴式耳机以输入认证证书的潜在麻烦和重复的过程。
18.此外，在一些示例中，增强现实头戴式耳机经历校准阶段，该校准阶段确保眼睛运动在增强现实系统中被正确跟踪，并且对眼睛运动做出准确的解释。本说明书将经由凝视跟踪的认证加入到该校准阶段中，以减少最终用户的登录摩擦。例如，为了校准增强现实系统，用户以预定的方式移动他们的眼睛。如上所述，在本说明书中，用于校准增强现实系统的眼睛的运动是用户定义的并且是唯一的，因此也用作认证过程。也就是说，在登录期间，可以提示用户输入眼睛运动认证模式。在该认证操作期间，用户眼睛的运动可以用于校准增强现实系统。
19.增强现实头戴式耳机的用户在领域上范围从医疗保健到设计，再到基于位置的娱乐。在这些使用情况中，用户可能会经历认证过程，以获得对不同应用和/或数据的访问权。如前所述，用户名和密码的输入并不是无摩擦的。具体而言，在用户佩戴增强现实头戴式耳机的示例中，当前的系统和方法通过将认证过程的部分集成到眼睛跟踪器校准阶段中来减少摩擦，从而为最终用户带来更好的用户体验。
20.具体而言，本说明书描述了一种系统。该系统包括显示设备和捕获看向显示设备的用户的眼睛运动的凝视跟踪系统。该系统还包括控制器。控制器基于匹配眼睛运动认证模式的用户的眼睛运动来认证用户。控制器还基于用户的眼睛运动来校准相关联的计算设
备。
21.本说明书还描述了一种方法。根据该方法，在第一模式中跟踪朝向显示设备的用户眼睛运动，以定义眼睛运动认证模式。在第二模式中，基于匹配眼睛运动认证模式的用户的眼睛运动来认证显示设备的用户。此外，在第二模式中，基于用户的眼睛运动来校准相关联的计算设备。
22.本说明书还描述了编码有可由处理器执行的指令的非暂时性机器可读存储介质。该机器可读存储介质包括指令，用于在第一模式中，1)跟踪朝向显示设备的用户眼睛运动以定义眼睛运动认证模式，以及2)从第二认证系统接收用户输入以定义支持认证证书。机器可读存储介质包括指令，用于在登录期间通过1)将用户眼睛运动与眼睛运动认证模式相匹配，以及2)将用户输入与支持认证证书相匹配来认证用户。在认证期间，指令基于在登录期间用户的眼睛运动来校准相关联的计算设备。
23.总之，使用这样的系统可以1)认证用户以增加数据安全性；2)在校准期间认证；3)在不移除增强现实头戴式耳机的情况下促进认证；以及4)提供免提用户认证。然而，预期本文公开的设备可以解决许多技术领域中的其他问题和缺陷。
24.如在本说明书和所附权利要求中所使用的，术语“多个”或类似语言意在被广义地理解为包括1到无穷大的任何正数。
25.现在转向附图，图1是根据本文描述的原理的一个示例的使用凝视跟踪来认证用户和校准计算系统的系统（100）的框图。一般而言，系统(100)可以被部署在任何种类的计算设备上。这种计算设备包括移动电话、台式计算机、膝上型计算机、平板设备、游戏系统、智能家庭设备等。在一个特定示例中，系统(100)被设置在增强现实系统中。也就是说，凝视跟踪系统(104)可以被设置在用户佩戴的增强现实头戴式耳机内。在另一个特定示例中，系统(100)设置在车辆中的计算设备中。也就是说，包括凝视跟踪系统(104)的系统(100)可以在车辆仪表板中，以跟踪驾驶员的眼睛运动。
26.系统(100)可以包括显示设备(102)。显示设备(102)指的是向用户呈现视觉信息的任何设备。显示设备的示例包括计算机屏幕、智能设备屏幕、平板屏幕和移动设备屏幕。在一个特定示例中，显示设备(102)形成在用户在使用增强现实系统时佩戴的头戴式耳机中。这种头戴式耳机的一个示例在下面的图2中示出。
27.该系统（100）包括捕获看向显示设备（102）的用户的眼睛运动的凝视跟踪系统（104）。通常，凝视跟踪系统(104)是检测和报告至少一个用户在一只或两只眼睛中的凝视方向的电子系统。用户的凝视方向可以指三维(3d)空间中凝视线的方向，所述凝视线源自用户眼睛附近或内部并且指示其中央凹视网膜区所指向的路径。也就是说，凝视跟踪系统(104)确定用户正在看哪里。在一些示例中，凝视跟踪系统(104)报告相对于凝视终止在的对象的凝视方向。例如，凝视跟踪系统(104)可以确定用户正在看显示设备(102)的哪个部分。在增强现实头戴显示器或其他虚拟显示系统中，凝视线可以被投射到显示在用户眼睛前面的虚拟空间中，使得凝视线终止于显示设备(102)后面的某个虚拟点。在一些示例中，视线跟踪系统(104)一次跟踪多于一个用户的凝视。
28.凝视跟踪系统(104)可以以各种方式检测眼睛的取向和位置。在一个示例中，凝视跟踪系统(104)使用红外或可见光相机观察眼睛。眼睛解剖结构在相机的图像帧内的位置可以用来确定眼睛在看哪里。在一些示例中，照明器用于在眼睛的解剖结构上产生反射闪
光，并且闪光的位置用于跟踪眼睛。在这些示例中，通过像标准led、准直led或低功率激光器这样的漫射或点照明器二者，可以将光的整个模式投射到眼睛上。
29.在一些示例中，凝视跟踪系统(104)被集成到显示设备(102)上。例如，在台式计算机或移动电话上，相机可以指向用户，以跟踪其眼睛运动和位置。在另一个示例中，在增强现实头戴式耳机中，凝视跟踪系统(104)可以形成在显示设备(102)形成的外壳的内部部分的相同表面上，并且可以指向用户的面部。
30.如在本说明书和所附权利要求中所使用的，术语“控制器”指的是各种硬件组件，所述硬件组件包括处理器和存储器。处理器包括从存储器中检索可执行代码并执行该可执行代码的硬件架构。作为具体示例，本文所述的控制器可以包括计算机可读存储介质、计算机可读存储介质和处理器、专用集成电路(asic)、基于半导体的微处理器、中央处理单元(cpu)、和现场可编程门阵列(fpga)和/或其他硬件设备。
31.存储器可以包括计算机可读存储介质，该计算机可读存储介质可以包含或存储由指令执行系统、装置或设备使用或与其结合使用的计算机可用程序代码。存储器可以采用多种类型的存储器，包括易失性和非易失性存储器。例如，存储器可以包括随机存取存储器(ram)、只读存储器(rom)、光存储盘和磁盘等。当由相应的组件执行时，可执行代码可以使得该组件至少实现本文描述的功能。
32.系统（100）的控制器（106）基于匹配眼睛运动认证模式的用户的眼睛运动来认证用户。也就是说，如上所述，眼睛运动认证模式定义了一组眼睛运动，其准许用户访问某些数据和/或应用。在一些示例中，该眼睛运动认证模式可以是用户定义的。也就是说，在设置阶段期间，可以提示用户通过看向显示设备(102)的不同区域来生成眼睛运动认证模式。在一些示例中，可以显示视觉参考，并且用户可以看向视觉参考上的不同线索。例如，视觉参考可以是点的网格，并且用户可以以期望的顺序看向所述点。用户的眼睛经历以顺序地观看点的运动形成了眼睛运动认证模式。因此，当用户观看点的序列时，凝视跟踪系统(104)确定眼睛的运动，并且控制器(106)将这些眼睛运动设置为眼睛运动认证模式。然后，在登录期间，凝视跟踪系统(104)再次跟踪用户的眼睛运动，并且控制器(106)接收所跟踪的运动并比较它们以确定它们是否匹配眼睛运动认证模式。如果它们匹配，则控制器(106)认证用户并授权访问信息、数据和/或应用。相比之下，如果它们不匹配，则控制器(106)阻止用户访问信息、数据和/或应用。
33.控制器（106）还基于用户的眼睛运动来校准相关联的计算设备。校准指的是其中映射用户的眼睛位置和眼睛运动的特性以确保准确的凝视跟踪的过程。例如，不同的用户具有不同的眼睛物理特性和瞳孔间距(ipd)。因此，针对每个用户校准凝视跟踪系统(104)。也就是说，凝视跟踪系统(104)和在其上执行的应用或程序指令可能不正确地操作，并且如果没有校准，可能不正确地跟踪眼睛运动。如果存在由于有新用户或者增强现实头戴式耳机在用户身上的位置而导致的ipd的变化，则使用校准。换句话说，校准信息被用作参考数据，使得凝视跟踪系统(104)可以精确地测量眼睛的特性以确定位置和/或运动。该校准信息还用于确保整个显示设备(102)可供使用。
34.为了校准凝视跟踪系统(104)、相关联的计算设备以及在任一设备上运行的任何应用/程序指令，控制器(106)可以生成视觉参考并指导用户看向不同的点。根据用户看向不同点时收集的信息，可以校准凝视跟踪系统(104)和相关联的计算设备。
35.在一些示例中，认证和校准同时执行。也就是说，当用户的眼睛通过运动移动以提供眼睛运动认证证书时，控制器(106)可以将眼睛运动数据传递给校准凝视跟踪系统(104)和相关联的计算设备的系统。换句话说，用于校准凝视跟踪系统(104)的校准模式可以是用户定义的，并且对于特定用户可以是唯一的，使得当对其他用户保密时，是确保特定用户而不是某个邪恶和恶意的第三方试图访问安全数据和/或应用的方式。
36.因此，本说明书描述了一种系统(100 ),其中用户经由单个眼睛运动模式既可以认证他们自己以访问数据，又可以校准凝视跟踪系统(104)以提供正确和准确的沉浸式体验。
37.在其它示例中，认证和校准分别执行。例如，系统(100)可以保存校准信息，诸如眼睛物理尺寸和ipd。然后，当用户经由凝视跟踪系统(104)认证时，控制器(106)调用与用户相关联的校准信息来校准凝视跟踪系统(104)和/或相关联的计算设备。
38.在一些示例中，系统(100)可以同时对多个用户进行操作。例如，凝视跟踪系统(104)可以被设置在电视上，并且每个用户可以同时输入眼睛运动认证模式，该模式对于每个用户可以是相同的，或者对于每个用户可以是不同的。如上所述，控制器(106)识别眼睛运动认证模式以认证用户。
39.图2是根据本文描述的原理的一个示例的用于经由凝视跟踪进行认证和校准的增强现实头戴式耳机（208）的图。如上所述，系统(图1，100)可以在增强现实系统中形成。因此，显示设备(102)可以是由用户(210)佩戴的头戴显示设备，以生成视觉、听觉和其他感官环境，检测用户输入，并基于用户输入操纵环境。虽然图2描绘了增强现实头戴式耳机(208)的特定配置，但是根据本文描述的原理，可以使用任何类型的增强现实头戴式耳机(208)。
40.图2还描绘了代表控制器(106)和凝视跟踪系统(104)的虚线框。虽然图2描绘了被设置在增强现实头戴式耳机(208)上的这些组件，但是这些组件中的任一个可以被放置在另一设备上。例如，控制器(106)可以在不同的计算设备上找到。也就是说，增强现实头戴式耳机(208)通信地耦合到主机计算设备，使得由与主机计算设备相关联的处理器执行计算机可读程序代码使得增强现实环境的视图显示在增强现实头戴式耳机(208)中。在一些示例中，系统(图1，100)的控制器(106)可以设置在该主机计算设备上。
41.在一些示例中，增强现实头戴式耳机(208)实现了为用户的每只眼睛提供单独图像的立体头戴显示器。在一些示例中，增强现实头戴式耳机(208)可以向用户提供立体声。在一个示例中，增强现实头戴式耳机(208)可以包括头部运动跟踪传感器，该头部运动跟踪传感器包括陀螺仪和/或加速度计。
42.如上所述，经由显示设备(102)和凝视跟踪系统(104)，可以经由在登录/认证期间跟踪眼睛的运动并将这些运动与眼睛运动认证模式进行比较来认证用户(210)。在一些示例中，显示设备(102)显示眼睛运动视觉参考(212)。这种眼睛运动视觉参考(212)提供了眼睛位置和眼睛的运动的确认。在图2所示的示例中，眼睛运动视觉参考(212)是点的网格，然而，眼睛运动视觉参考(212)可以采取其他形式。例如，眼睛运动视觉参考(212)可以是秘密图像，其中用户(210)看向图像的不同部分。
43.在一些示例中，增强现实头戴式耳机(208)可以检测用户何时戴上/摘下增强现实头戴式耳机(208)，并且系统(图1，100)可以采取适当的动作。例如，当摘下时，系统(图1，100)可以重新触发认证过程并结束当前会话。在该示例中，系统(图1，100)可包括惯性测量
单元或其他运动感测单元，以检测增强现实头戴式耳机(208)何时被完全摘下(而不仅仅是搁在头上)。同一感测单元可用于确定增强现实头戴式耳机(208)何时被放回用户头上。
44.系统(图1，100)还可以识别增强现实头戴式耳机(208)的用户，并且可以提示与该用户相关联的眼睛运动认证模式。也就是说，如上所述，眼睛运动认证模式可以是每个用户唯一的。控制器(图1，106)可以识别用户，并且可以调用该用户的眼睛运动认证模式。
45.在一个特定示例中，这可以通过识别用户的虹膜来完成。在该示例中，系统(图1，100)可以生成用户已经被识别的文本/视觉通知。例如，系统(图1，100)可以生成视觉/听觉提示，其陈述“你好，约翰。你回来了。请输入您的眼睛运动认证模式以重新登录。”在其他示例中，不是使用经由用户的眼睛的标识，而是用户可以输入另一种形式的认证证书，诸如语音id或触摸id，来指示他们是谁。
46.如上所述，眼睛运动认证模式是用户特定的，并且因此可转移到其他设备。在该示例中，眼睛运动认证模式与支持认证证书(诸如语音id、触摸id或密码)相关联，使得在输入支持认证证书的任何设备上检索眼睛运动认证模式。例如，如果用户切换到不同的增强现实头戴式耳机(208)，则用户可以输入其语音id或触摸id。系统(图1，100)可以从用户的数据库中唯一地识别它们。在此之后，系统(图1，100)将设备名称记录在用户的账户中，并创建加密信息，该加密信息包括允许他们登录的他们唯一的眼睛运动认证模式。在一些示例中，系统(图1，100)将眼睛运动认证模式与新的设备id相关联，因此下次他们使用该设备时，他们可以经由用户名语音id或触摸id来提供用户名。
47.图3是根据本文描述的原理的一个示例的基于经由凝视跟踪的认证授权访问的系统的框图。如上所述，系统(图1，100)使用眼睛运动认证模式(316)来提供对资源(314)的访问。资源(314)可以是数据、应用或其他计算资源。如上所述，资源(314)可以是计算设备本地的。例如，用户可能希望访问他们本地计算设备上的数据库。在另一个示例中，资源(314)可以是远程的。例如，用户可能试图访问诸如远程存储银行信息的银行网站之类的网站。
48.如上所述，眼睛运动认证模式(316)可用于认证用户以确保他们具有访问资源(314)的权限。在一些示例中，眼睛运动认证模式(316)可以与支持认证证书(318)结合使用，例如以提供多因素认证。支持认证证书(318)可以是各种类型，包括用户名、语音标识符、指纹或设备标识符。在这些示例中，为了访问资源(314)，用户经由两种机制被认证。也就是说，用户提供与授权实体的数据库相匹配的用户名、语音标识符、指纹或设备标识符，并且还提供与眼睛运动认证模式相匹配的眼睛运动(316)。
49.这种双模式认证增加了用户试图访问的数据/应用的安全性。也就是说，假设用户正在看向点的模式，对于给定的点网格，可能存在不同模式的有限集。因此，随着用户数量的增加，两个用户具有相同模式的概率增加。通过将模式信息与本地信息(即，触摸id、语音id或设备id)相结合，数据安全性得到增强，因为同一设备的两个用户具有完全相同的模式的可能性更小。因此，本系统(图1，100)进一步增强了资源(314)的安全性。
50.图4是根据本文描述的原理的一个示例的经由凝视跟踪进行认证和校准的方法（400）的流程图。在图4所示的示例中，系统(图1，100)以不同的模式操作。在第一模式中，系统(图1，100)接收用户输入以建立眼睛运动认证模式(图3，316)，并且在第二模式中，诸如登录或认证操作，系统(图1，100)接收用户输入并确定其是否与眼睛运动认证模式匹配(图3，316)。
51.因此，在第一模式中，方法(400)包括跟踪朝向显示设备的用户眼睛运动(图1，102)以定义眼睛运动认证模式(图3，316)。也就是说，如上所述，凝视跟踪系统(图1，104)可以辨别用户的眼睛指向显示设备上的何处。因此，系统(图1，100)可以进入其中跟踪和记录眼睛位置和运动的模式。也就是说，凝视跟踪系统(图1，104)捕获眼睛运动以定义眼睛运动认证模式(图3，316)。此外，在该第一模式期间，控制器(图1，106)建立眼睛运动认证模式(图3，316)。也就是说，由凝视跟踪系统(图1，104)记录的眼睛运动序列被正式定义为眼睛运动认证模式(图3，316)并被存储用于用户的后续认证。
52.在另一个时间点，也就是说当用户，无论是建立眼睛运动认证模式(图3，316)的同一用户还是另一个用户，系统(图1，100)调用眼睛运动认证模式(图3，316)以确保试图访问资源(图3，314)的用户有权这样做。因此，在诸如登录或认证的第二模式中，方法(400)包括基于匹配眼睛运动认证模式(图3，316)的用户的眼睛运动来认证(块402)显示设备(图1，102)的用户。也就是说，可以在用户访问资源(图3，314)之前向用户呈现登录屏幕，无论该资源(图3，314)是数据、应用、服务和/或计算硬件资源。经由登录屏幕，用户被提示输入验证眼睛运动认证模式(图3，316)。如果用户的眼睛运动与眼睛运动认证模式匹配(图3，316 ),则用户被授权访问。相比而言，如果用户的眼睛运动与眼睛运动认证模式不匹配(图3，316 )，则拒绝访问。
53.在捕获眼睛运动以与眼睛运动认证模式进行比较(图3，316)的同时，系统(图1，100)可以捕获眼睛运动以校准(块403)凝视跟踪系统(图1，104)、任何相关联的计算设备以及可以在凝视跟踪系统(图1，104)和/或相关联的计算设备上运行的应用/程序指令。也就是说，为了确保对用户眼睛运动的准确跟踪并确保对眼睛运动的正确解释和响应，凝视跟踪系统(图1，104)是其一部分的计算设备和凝视跟踪系统(图1，104)本身被校准。这可以在凝视认证期间跟踪用户的眼睛时完成。
54.换句话说，凝视跟踪系统(图1，104)和用户认证依赖于跟踪眼睛运动。本系统(图1，100)和方法(400)同时执行这些操作。这样做提供了更简单的登录过程，因为用户可以例如在不取下增强现实头戴式耳机(图2，208)的情况下执行认证，并且可以通过单个操作而不是通过不同的且单独的操作执行认证和校准。
55.现在提供系统(图1，100)的第一模式和第二模式操作的具体示例，其中系统(图1，100)被结合在增强现实头戴式耳机(图2，208)中。在第一模式期间，即第一次注册期间，用户可以使用其控制器用虚拟键盘登录。此时，他/她可以完成增强现实认证的一次性设置。在该设置期间，用户从所示的网格创建他们自己的个人眼睛运动认证模式(图3，316)。在一些示例中，可能存在用于建立眼睛运动认证模式的某些标准(图3，316)。例如，系统(图1，100)可以禁止来自显示器的特定区域的点用于眼球运动认证模式(图3，316)。这样做可以确保生成的眼睛运动认证模式(图3，316)能够用于系统校准。
56.此外，用户还可以提供信息来建立支持认证证书(图3，318)，诸如他们名字的音频样本。例如，“约翰
·
史密斯”重复多次，以获取样本用于未来的检测。在具有触摸板的另一个示例中，用户可以通过触摸传感器来提供触摸标识符。作为又一个示例，可以在该设置期间检索设备标识符。在该示例中，设备标识符是从增强现实头戴式耳机自动获得的(图2，208)。
57.在第二模式期间，即在认证期间，当支持认证证书(图3，318)是语音标识符时，用
户可以说出他们的名字。当支持认证证书(图3，318)是触摸标识符时，用户可以使用触摸板。在任一示例中，在经由支持认证证书(图3，318)进行认证之后，可以向用户示出作为眼睛跟踪器校准例程的网格。计算机期望用户定义的眼睛运动认证模式。
58.为了附加的安全性，设备id可用于解密密码，并将其与用户名或用户的姓名语音id结合使用。天真地，为了加密密码，散列函数(从设备id导出)可以与设备id一起使用作为密钥。通过使用设备id来生成散列函数，在存在密码的地方创建了狭窄的潜在空间。通过了解设备id，反函数可以用于导出较小的密码模式集，该密码模式集可以与该空间中的特定设备和认证链接。
59.在用户认证失败的情况下，系统(图1，100)可以退回到具有控制器的虚拟键盘，以在vr中输入用户名和密码，或者用户可以移除增强现实头戴式耳机(图2，208)并经由桌面体验登录。
60.图5a-5e是根据本文描述的原理的一个示例的经由凝视跟踪进行认证和校准的截屏。也就是说，图5a-5e描绘了系统(图1，100)在第二或登录模式下的操作。在第一屏幕，提示用户输入支持认证证书(图3，318)。在图5a所示的示例中，支持认证证书(图3，318)是由提示“请说出你的名字”所指示的语音标识符。因此，用户可以说出他们的名字。如图5b所示，在经由第二认证系统认证之后，向用户提供他们已经提供了经认证的证书的指示。
61.响应于提供经认证的证书，系统(图1，100)发起经由凝视跟踪的认证。在该示例中，系统(图1，100)显示如图5c所示的眼睛运动视觉参考。也就是说，在没有这样的参考的情况下，用户可能难以知道他们的眼睛配准是否被准确跟踪。因此，眼睛运动视觉参考提供了用户在试图经由凝视跟踪进行认证时可以遵循的视觉线索或参考。在第一模式期间，当用户正在定义眼睛运动认证模式时，可以提供类似的视觉参考(图3，316)。注意，图5c和5d描绘了眼睛运动视觉参考的一个示例，但是也可以实现诸如图像或模式中的图像序列的其他示例。
62.如图5d所示，用户然后以预定的模式移动他们的眼睛。如图5d所示，可以提供眼睛运动的视觉指示。也就是说，被记录为用户眼睛焦点的那些网格点被高亮指示器包围。因此，用户可以识别屏幕上的哪一点被记录为他们凝视的焦点。注意，在一些示例中，用户凝视的这种视觉指示，即高亮指示器，可以被阻止一起显示，或者可以被阻止显示给镜像设备。
63.然后如图5e所示，如果用户眼睛运动匹配眼睛运动认证模式(图3，316)，则呈现屏幕(520 )，其指示用户被认证访问资源(图3，314 )，无论该资源(图3，314)可能是什么。
64.注意，虽然图5a-5e描绘了经由支持认证证书的认证(图3，318)和眼睛运动认证模式(图3，316)之间的特定顺序，但是可以实现任何顺序。也就是说，认证用户可以包括基于匹配支持认证证书的用户输入来认证用户(图3，318)，并且在一个示例中，基于匹配眼睛运动认证模式的用户的眼睛运动来认证显示设备的用户(图1，102)是响应于匹配支持认证证书的用户输入(图3，318)的。然而，在另一示例中，基于匹配支持认证证书的用户输入来认证用户(图3，318)是响应于匹配眼睛运动认证模式的用户的眼睛运动(图3，316)的。
65.图6是根据本文描述的原理的一个示例的使用凝视跟踪来认证用户和校准计算系统的系统（100）的框图。图6所示的系统包括如图1所示的显示设备(102)、凝视跟踪系统(104)和控制器(106)。系统(100)包括认证用户的附加组件。具体地，系统(100)可以包括第
二认证系统(622)。也就是说，如上所述，眼睛运动认证模式(图3，316)可以与多因素认证系统中的其他认证证书(图3，318)结合使用，以进一步增加数据、应用和/或计算资源的安全性。在第一模式期间，也就是说当用户正在注册时，第二认证系统(622)接收用户输入以建立支持认证证书(图3，318)，并且在登录期间，控制器(106)进一步基于匹配支持认证证书的输入认证用户(图3，318)。在一些示例中，第二认证系统(622)可以呈现界面，其中用户可以经由用户名设置和被认证。
66.在另一个示例中，第二认证系统(622)是生物计量认证系统。也就是说，第二认证系统(622)可以经由用户的物理区别属性进行认证。在一个示例中，生物计量第二认证系统(622)使用用户的声纹来认证用户。在该示例中，第二认证系统(622)包括1)用于捕获用户记录的音频的麦克风，以及2)将输入音频信号与用户的声纹进行匹配以认证用户的控制器(106)。
67.在另一个示例中，生物计量第二认证系统(622)使用用户的唯一指纹来认证用户。在该示例中，第二认证系统(622)包括1)用于捕获用户的指纹的触摸板，以及2)将接收的指纹与授权指纹的记录进行匹配的控制器(106)。虽然具体参考了特定的生物计量认证系统，但是其他生物计量信息可以用于与凝视跟踪系统(104)一起认证用户。
68.在另一个示例中，第二认证系统(622)是设备认证系统。也就是说，通过其授权访问资源(图3，314)的设备可以由唯一标识符来标识。在该示例中，第二认证系统(622)包括被授权提供对资源的访问的设备标识符的数据库(图3，314)。在该示例中，控制器(106)可以检索设备标识符并将其与授权设备的数据库进行比较，以连同眼睛运动认证模式(图3，316)一起确定设备的用户是否被允许访问资源(图3，314)。因此，系统(100)提供多个认证操作以增加有价值资源的安全性(图3，314)。
69.图7是根据本文描述的原理的一个示例的经由凝视跟踪进行认证和校准的方法（700）的流程图。根据方法(700)，跟踪（块701）朝向显示设备(图1，102)的用户眼睛运动以定义眼睛运动认证模式(图3，316)。这可以如上文结合图4所述来执行。
70.为了进一步增加该操作的安全性，可以防止(框702)在显示设备(图1，102)或另一显示设备上显示眼睛运动的视觉指示。例如，可能是显示设备(图1，102)对其他用户可见的情况。作为特定示例，第二用户可能站在第一用户后面，而第一用户正在经由眼睛运动认证模式创建或认证(图3，316)。如果在显示设备上视觉地指示眼睛运动(图1，102)，则该第二用户可以获得对眼睛运动认证模式的访问(图3，316)，并且可能经由输入眼睛运动认证模式获得未授权的访问(图3，316)。作为另一个特定示例，增强现实头戴式耳机(图2，218)可以耦合到镜像显示设备，诸如如计算桌面。类似地，如果第二用户在镜像显示设备的前面，而第一用户正在经由眼睛运动认证模式建立或认证(图3，316)，则第二用户可能获得对资源的不期望的访问(图3，314)。因此，通过防止(块702)显示设备(图1，102)和/或另一显示设备视觉地指示眼睛运动，提供了资源(图3，316)的更大安全性。
71.然而，在一些示例中，方法(700)包括提供(块703)输入眼睛运动的听觉或视觉指示，所有这些都不在视觉上揭示眼睛运动。也就是说，虽然没有指示实际的运动，但是可以指示眼睛运动被记录的事实。作为一个特定的示例，可听的嘟嘟声可以指示选择了点。作为另一个示例，可以建立计数器，该计数器在每次记录新的眼睛运动时更新。这样做允许用户在不在显示设备(图1，102)或另一显示设备上揭示眼睛运动认证模式(图3，316)的情况下，
接收验证，即接收到朝向完成眼睛运动认证模式(图3，316)的眼睛运动。
72.该方法(700)还包括同时基于匹配眼睛运动认证模式(图3，316)的眼睛运动认证(块704)用户，以及基于用于输入眼睛运动认证模式(图3，316)的相同眼睛运动来校准(块705)凝视跟踪系统(图1，104)和相关联的计算设备。如在本说明书和所附权利要求中所使用的，术语“同时”可以指示时间上的重叠。这些操作可以如上文结合图4所述来执行。
73.图8描绘了根据本文描述的原理的一个示例的经由凝视跟踪进行认证和校准的非暂时性机器可读存储介质（824）。为了实现其期望的功能，计算系统包括各种硬件组件。具体地，计算系统包括处理器和机器可读存储介质(824)。机器可读存储介质(824)通信地耦合到处理器。机器可读存储介质(824)包括用于执行指定功能的多个指令(826，828，830，832，834)。机器可读存储介质(824)使处理器执行指令(826，828，830，832，834)的指定功能。机器可读存储介质(824)可以存储数据、程序、指令或可用于操作系统(图1，100)的任何其他机器可读数据。机器可读存储介质(824)可以存储控制器(图1，106)的处理器可以处理或执行的计算机可读指令。机器可读存储介质(824)可以是包含或存储可执行指令的电子、磁、光或其他物理存储设备。机器可读存储介质(824)可以是例如随机存取存储器(ram)、电可擦除可编程只读存储器(eeprom)、存储设备、光盘等。机器可读存储介质(824)可以是非暂时性机器可读存储介质(824)。
74.参考图8，当由处理器执行时，定义指令(826)使得处理器在第一模式中跟踪朝向显示设备(图1，102)的用户眼睛运动，以定义眼睛运动认证模式(图3，316)。当由处理器执行时，接收指令(828)使得处理器在第一模式中从第二认证系统(图6，622)接收用户输入以定义支持认证证书(图3，318)。
75.当由处理器执行时，匹配眼睛运动指令(830)使得处理器在登录期间通过将用户眼睛运动与眼睛运动认证模式(图3，316)相匹配来认证用户。当由处理器执行时，匹配认证证书指令(832)使得处理器在登录期间通过将用户输入与支持认证证书(图3，318)相匹配来认证用户。
76.当由处理器执行时，校准指令(834)使得处理器在认证期间基于用户在登录期间的眼睛运动来校准显示设备(图1，102)和相关联的计算设备。
77.总之，使用这样的系统可以1)认证用户以增加数据安全性；2)在校准期间认证；3)在不移除增强现实头戴式耳机的情况下促进认证；以及4)提供免提用户认证。然而，预期本文公开的设备可以解决许多技术领域中的其他问题和缺陷。
再多了解一些
本文用于创业者技术爱好者查询，仅供学习研究，如用于商业用途，请联系技术所有人。
