用于显示眼镜中的用户界面的装置和方法与流程

用于显示眼镜中的用户界面的装置和方法


背景技术：

1.本公开总体上涉及显示技术，更具体地，涉及显示眼镜中的用户界面。
2.可穿戴电子眼镜以多种方式改善用户的生活。这些增强功能可以广泛改善应用中的用户体验，从零件装配项目的工人在工厂车间使用，到游戏和其他娱乐活动。可穿戴电子眼镜的许多其他应用是可能的。


技术实现要素：

3.本公开总体上涉及显示技术，更具体地，涉及显示眼镜中的用户界面。
4.根据某些实施例，用于显示眼镜的可穿戴装置可以包括显示器，该显示器包括一对屏幕，该屏幕被配置为安装在该装置的佩戴者的面部的每只眼睛的前面。显示器可以被配置为向佩戴者提供信息显示。该信息可以包括至少两个选项供选择。可穿戴装置还可以包括被配置为跟踪佩戴者的脑电波活动的脑监测器。该装置还可以包括处理器，该处理器被配置为识别基于脑监测器跟踪的脑电波活动所选择的至少两个选项之一。
5.在某些实施例中，用于显示眼镜的可穿戴装置可以包括显示器，该显示器包括一对屏幕，该屏幕被配置为安装在该装置的佩戴者的面部的每只眼睛的前面。显示器可以被配置为向佩戴者提供信息显示。该信息可以包括至少两个选项供选择。可穿戴装置还可以包括被配置为跟踪穿戴者的肌肉活动的肌电图设备。可穿戴装置还可以包括处理器，该处理器被配置为识别基于由肌电图设备跟踪的肌肉活动所选择的至少两个选项之一。
附图说明
6.下文结合附图的描述中将更容易理解实施例，其中相同的附图标记表示相同的元件，其中：
7.图1示出了与本公开的一些实施例一致的硬件示例；
8.图2示出了根据本公开的一些实施例的架构；
9.图3示出了根据本公开的一些实施例的系统；
10.图4示出了根据一些实施例的系统；
11.图5示出了根据一些实施例的方法；
12.图6示出了根据本公开的一些实施例的眼睛跟踪子系统；
13.图7示出了根据一些实施例的大脑监测子系统；
14.图8示出了根据一些实施例的显示器眼镜；
15.图9示出了根据一些实施例的另外的显示眼镜；
16.图10示出了根据一些实施例的图形用户界面(gui)；
具体实施方式
17.在以下详细描述中，通过示例的方式，阐述了许多具体细节以提供对相关公开文本的透彻理解。然而，对于本领域技术人员来说显而易见的是，可以在没有这些细节的情况
下实践本公开文本。为了避免不必要地模糊本公开文本的内容，在其他情况下，众所周知的方法、过程、系统、组件和/或电路已经在相对高的层次上进行了描述，而没有详细说明。
18.在整个说明书和权利要求中，术语可能具有超出明确陈述的含义的上下文中暗示或暗示的细微含义。同样，这里使用的短语“在一个实施例/示例中”不一定指代相同的实施例，并且这里使用的短语“在另一个实施例/示例中”不一定指代不同的实施例。例如，所要求保护的主题旨在整体或部分地包括示例实施例的组合。
19.一般而言，术语可以至少部分地根据上下文中的使用来理解。例如，如本文所使用的诸如“和”、“或”或“和/或”之类的术语可包括多种含义，其可至少部分取决于使用此类术语的上下文。通常，“或”如果用于关联列表，例如a、b或c，则旨在表示a、b和c(此处用于包含意义)以及a、b或c，此处用于排他性的感觉。此外，本文使用的术语“一个或多个”至少部分取决于上下文可用于表示单数或者复数的任何特征、结构或特性。类似地，至少部分地取决于上下文，诸如“一个”、“一种”或“该”之类的术语可以被理解为表达单数用法或表达复数用法。此外，术语“基于”可被理解为不一定旨在传达一组排他性的因素，而是可能允许存在不一定明确描述的额外因素，同样至少部分地取决于上下文。
20.如下文将详细公开的，在其他新颖特征中，本文公开的显示系统及其方法可以提供增强用户界面和显示系统的安全性的能力。根据本公开的某些实施例，用户界面和安全增强可以有益于有线和无线显示器。例如，某些实施例可以使连接到智能电话或其他设备的可穿戴电子眼镜。同样地，本公开的某些实施例可以用于缺少物理键盘、鼠标等的可穿戴电子眼镜，或者在物理键盘、鼠标等可能不总是被方便地定位的情况下。
21.附加的新颖特征将部分地在随后的描述中阐述，并且部分地通过检查以下和附图对本领域技术人员变得显而易见，或者可以通过实施例的生产或操作而获知。本公开的新颖特征可以通过以下讨论的详细示例中阐述的方法、工具和组合的各个方面的实践或使用来实现和获得。
22.可穿戴电子眼镜可以分为多种类别。第一类可穿戴电子眼镜是简易显示眼镜。简易显示眼镜可以提供二维或三维图像。简易显示眼镜可能不考虑用户运动，而只是显示静止图像或视频图像。简易显示眼镜可以有不同级别的硬件。
23.第二类可穿戴电子眼镜是虚拟现实(vr)眼镜。vr眼镜在显示过程中可能会考虑用户头部的位置和方向。因此，例如，vr眼镜可以根据用户头部的角度显示静止全景图像的特定部分。vr眼镜还可以与三维(3d)图像或视频结合使用，以创建逼真和身临其境的用户体验。
24.第三类可穿戴电子眼镜是增强现实(ar)眼镜。ar眼镜可以将现实的实时图像与基于计算机的增强功能相结合。例如，用户可以看到他们当前视野(fov)的实时视频图像，附加数据叠加在图像上。
25.可以以多种方式配置相同的硬件设备。例如，具有内置摄像头和姿势和/或运动检测的眼镜可以在一个应用中用作简单的显示眼镜，在另一个应用中用作vr眼镜，在另一个应用中用作ar眼镜。因此，将特定硬件设备专门称为简单显示器、vr或ar可能是不准确的。尽管如此，术语“显示眼镜”可能广泛包括简单的显示眼镜、vr眼镜和ar眼镜，无论它们的具体使用模式如何。
26.在某些情况下，运动检测可能会远离眼镜本身分布。例如，相关联的设备可以使用
一个或多个相机观察眼镜并且可以基于对捕获的图像的分析来检测运动。
27.也存在其他类别的可穿戴电子眼镜。例如，可穿戴电子眼镜可以设计为一只眼睛或两只眼睛使用。此外，可穿戴电子眼镜可以是独立的，也可以与其他设备结合使用。连接操作可以允许一些处理由另一个设备处理，这可以降低对可穿戴电子眼镜的处理要求。
28.连接操作的可穿戴电子眼镜可以进一步细分为有线和无线可穿戴电子眼镜，或有线模式和无线模式，用于两种模式的可穿戴电子眼镜。无线连接的使用可能具有价值，尤其是当可穿戴电子眼镜连接到智能手机或类似的便携式设备时。
29.图1图示了根据本公开的实施例。如图1所示，系统可以包括通过电缆130连接到智能电话120的显示眼镜110。智能电话120是任何所需设备的示例，例如任何便携式电子设备。电缆130可以设有合适的连接器。例如，可以使用通用串行总线(usb)c型连接器，但在其他应用中也可以使用其他连接器类型。显示眼镜110可以作为虚拟显示眼镜运行而无需任何内部cpu、控制系统甚至电池。
30.图3图示了与本公开的某些实施例一致的显示眼镜的实施例。如图3所示，显示器眼镜110可以包括显示器310，例如微型oled显示器。显示眼镜110还可以包括光学系统320，它可能包括一个透镜，例如一个birdbath和/或自由曲面透镜和一个波导。
31.显示眼镜110还可以包括传感器330。传感器330可以是例如6dofmemsg-sensors。显示眼镜110还可以是摄像头340和音频输入/输出350，其可以是内置耳机/麦克风或用于外部音频设备的插孔或其他接口。其他音频选项也是可能的，例如一个或多个内置扬声器或无线耳机或耳塞的无线连接。
32.如下文将公开的，传感器330还可以包括其他传感器类型，包括相机、红外相机、声波传感器、超声波传感器、脑电图电极、肌电图电极等。麦克风也可以用作传感器330之一。
33.当麦克风用作传感器时，系统的处理器可以配置为用于语音识别、声纹识别或其他基于音频的处理。例如，佩戴者可能会向麦克风吹气或吹过麦克风以激活功能。同样，处理器可以使用麦克风来观察和处理来自显示眼镜佩戴者的口哨声、咔嗒声、拍手声或其他音频信号。
34.图2图示了根据本公开的某些实施例的架构。如图2所示，用于显示眼镜的系统200可以涉及多个层。在层叠的概念底部，可能有硬件210，例如单目或双目显示器、运动传感器、处理器等。该硬件210可以配备有操作系统220，其可以允许以多种方式使用硬件210。应用程序230可以形成概念上的顶层并且可以提供操作系统220用于控制和访问硬件210的特定方式。
35.显示眼镜可以具有多种应用230。例如，显示眼镜可以配置在具有宽视场(fov)的硬件210中，例如五十度或更大。连接到智能手机的显示眼镜可以允许用户在运行在操作系统220上的应用程序230中使用智能手机的用户界面特征，用于调节音量、调光等。例如，安装在智能手机上的软件可以允许在触摸界面上滑动、捏合或其他手势来执行对显示玻璃屏幕上显示的电影的控制动作。在该示例中，硬件210、操作系统220和应用程序230可以同时存在于智能电话和显示眼镜处。因此，系统200被示为单个方框，但可以包含多个设备。
36.另一个应用程序230可以是游戏。在这种情况下，智能手机的用户界面可以作为游戏控制器。在进一步的应用中，显示眼镜可用于虚拟计算机监视器阵列。在这个例子中，智能手机可以作为cpu，智能手机的用户界面可以作为触摸板或鼠标。无线键盘可以连接到智
能手机，以提供更广泛的按键集。作为进一步的选择，智能手机的摄像头可用于监控用户在任意表面上的手指位置，从而提供虚拟键盘。因此，还可以提供附加硬件210，例如外围设备、附件等。
37.图4图示了根据某些实施例的系统。如图4所示，可以有诸如智能电话之类的图像生成设备410和诸如显示眼镜之类的图像显示设备415。
38.图像生成设备410可以包括被配置为生成图像的处理器420。处理器420例如可以是cpu或图形处理单元(gpu)。图像生成设备410可以包括多个处理器，并且处理器420可以包括多个核。例如，在双目实现中，可能有一个图形处理器、图形处理核心或处理线程被配置为生成左眼图像，类似地，另一个相同的配置被配置为生成右眼图像。处理器420可以通过组合来自其他源的多个输入流来生成图像或视频流。例如，组合可以包括组合左眼图像和右眼图像、组合视频与叠加数据等。其他选项也是允许的。
39.图像生成设备还可以包括编码器430，其被配置为保护处理器420的输出。编码器430的示例实施例在下面讨论。编码器430的输出可以提供给发射器440。发射器440可以是无线发射器或有线发射器，包括用于有线连接的端口，例如通用串行总线(usb)连接或视频图形阵列(vga)连接。无线发射器可以包括相对低功率的发射器，例如那些遵循蓝牙标准的发射器，或更高功率的发射器，包括wifi或广播电视发射器。
40.发射器440可以通过连接450向图像显示设备415提供编码信号(可选地进一步编码用于通信目的)。虽然连接450被示为直接一对一连接，但允许任何其他连接机制。例如，可以使用多播或广播技术，并且可以使用例如中继站来中继信号。
41.数据(例如，通过连接450发送的编码数据)可以在图像显示设备415处接收并且特别是由接收器445接收。接收器445可以是与发送器440使用的传输机制相对应的类型的标准接收器。接收器445的输出可以提供给解码器435，解码器435可以去除编码并提供可用的图像和/或视频数据以显示器425。解码器435将在下面更详细地讨论。显示器425可以是例如oled显示器，例如amoled显示器。
42.编码器430和解码器435可以被不同地体现和配置。例如，解码器435可以被配置为使用存储在图像显示设备415的存储器(未示出)中的密钥进行解码。图像生成设备410可以被配置为控制编码器430基于密钥对数据进行编码。
43.实现这种加密钥方法的一种方式是使图像显示设备415具有永久且不可更改的密钥，该密钥可以在图像显示设备415的外表面上以人可读的形式读取。然后用户可以输入该密钥到图像生成设备410。类似地，图像显示设备415上打印的qr码或条形码可以被图像生成设备410的相机读取。其他密钥交换选项也是可能的，例如允许图像显示设备415响应于图像显示设备415本身上的按钮按压而无线传输其自己的密钥。在进一步的实施例中，图像显示设备415可以是可穿戴装置，其通过配置序列引导佩戴者校准图像显示设备415的运动传感器。在成功完成配置序列后，可穿戴装置可以将其自己的密钥用信号发送给图像生成设备410。
44.在另一种方法中，图像生成设备410可以请求访问密钥，并且显示眼镜的佩戴者可以通过响应性可检测手势提供对密钥的访问，诸如点头佩戴者的头部、眨眼等.例如，可以在下面参考图6找到对佩戴者眼睛的眼睛跟踪的进一步讨论。
45.在另一种方法中，解密密钥可以是获取的密钥。例如，显示眼镜可以响应于支付、
响应于输入密码或响应于通过生物特征测试而接收密钥。可以使用脑监测器、肌肉监测器、眼睛监测相机等来执行生物测定测试。其他选项也是可能的。例如，可以在图像显示设备415上提供密钥填充端口，并且可以将密钥从密钥填充端口临时加载到存储器中。
46.其他选项也是可能的。例如，设置在图像显示设备415的外表面上的地标可以被图像生成设备410的相机例如前置相机检测到。该检测可以确认图像显示设备415在图像生成装置410附近。
47.在某些实施例中，密钥可以是例如在启动时显示在图像显示设备415上的时变伪随机码。因此，例如，可以向佩戴者展示显示眼镜视野中的密钥，并且佩戴者可以将该密钥输入智能手机以开始数据的编码传输。类似地，可以在显示器425上以机器可读格式呈现密钥，并且可以使用图像生成设备410的相机来读取密钥。
48.图5图示了根据某些实施例的方法。图5的方法可由本文所述的任何装置或系统执行。如图5所示，方法500可以包括，在510，初始化显示眼镜。可以在显示眼镜开机时进行初始化。初始化过程可以包括对显示眼镜的硬件和/或软件的一系列测试。作为初始化的一部分或之后，在520，显示眼镜可以识别可用的用户界面。可用的用户界面可以是由显示眼镜本身的硬件和/或软件实现的界面，也可以是关联设备(例如智能电话)或远程设备(例如附近的计算机、电视)中可用的用户界面、智能扬声器或其他可用设备。已识别的用户界面可能包括脑监测器、肌肉监测器、眼动仪或其他眼睛摄像头、显示眼镜本身内的运动传感器，以及其他设备(例如智能手表)的运动传感器。
49.在530，方法500可以包括为佩戴者运行教程。为佩戴者运行教程可以允许佩戴者熟悉所有可用的用户界面。此外，该教程可以允许可穿戴装置熟悉佩戴者。教程可以被配置为要设置的一系列配置、要玩的游戏，或者可以以直接的方式呈现为教程。在教程期间，可穿戴装置可以收集关于设备佩戴者的信息以及可用用户界面的操作状态。例如，可穿戴装置可以学习佩戴者的声音，可穿戴装置可以识别佩戴者的脑电波模式，可穿戴装置可以识别佩戴者的肌肉运动模式。
50.在540，显示眼镜可以被适配或者可以基于教程来适配它们自己。例如，如果一个或多个用户界面不能识别可靠数据，则它可能被暂时禁用或可能保持在学习模式而不是完全使用模式。同样，如果佩戴者在教程期间选择禁用一个或多个用户界面，则用户界面可以通过佩戴者的选择被禁用。
51.在550，显示眼镜可以通过每个活动用户界面来监视佩戴者。例如，脑监测器可以监测佩戴者的脑电波，肌肉监测器可以监测佩戴者的肌肉激活和/或失活，并且眼动仪可以监测佩戴者的眼睛位置和打开/关闭状态。
52.在560，显示眼镜可以检测佩戴者的选择或导航。例如，眼动追踪界面可以检测当前指向的显示器区域，并且肌肉监测器可以检测在该导航点处进行选择。在某些实施例中，超过某个阈值的导航加停留时间可被解释为选择。因此，如果光标被导航以在选择选项上悬停一定的最短时间，则可以选择该选项。再举一个例子，如果佩戴者的眼睛被追踪到屏幕左边缘的停留时间最短，系统可以返回一个屏幕，而如果佩戴者的眼睛被追踪到屏幕的右边缘最短停留时间，系统可能会前进一个屏幕。
53.在570，显示眼镜可以基于选择和/或导航进行操作。例如，显示眼镜可以从第一屏幕移动到后续屏幕或者可以运行基于选择和/或导航的过程。
54.图6图示了根据本公开的某些实施例的眼睛跟踪子系统600。如图6所示，眼睛跟踪子系统600可以包括一个或多个照相机610。照相机610可以是可见光波长照相机，例如适用于执行视网膜扫描或眼纹识别的照相机。附加地或替代地，照相机610可以是红外照相机，其能够跟踪佩戴者眼睛的睁眼/闭眼状态或佩戴者一只或多只眼睛的瞳孔位置。
55.相机610可以在显示器眼镜的内部或在显示器眼镜的外部。例如，摄像机610可以安装在车辆内部并且可以被分配到多个监控任务，包括观察驾驶员警觉性、乘客占用等。同样地，相机610可以安装在膝上型电脑、计算机监视器或电视机的框架中并且可以被分配给多个任务，包括用户认证、视频聊天等。其他实现也是可能的。
56.如上所述，相机610可以安装在显示眼镜的内部。例如，当图像从成像设备投影到眼镜上时，可以在成像设备附近或附近提供相机610。在这种情况下，相机610可以从显示眼镜的反射表面观察佩戴者眼睛的反射。例如，可以在显示眼镜的内表面上提供红外反射膜，这可能不会显著影响观看，但是可以允许佩戴者眼睛的红外反射对于在红外下操作的相机610可见。
57.同样地，在某些实施例中，相机610可以安装在与佩戴者的眼睛有直接视线的情况下，例如嵌入佩戴者的眼镜框架中。因此，例如，可以将一个具有宽视角的透镜放置在显示眼镜的鼻架或顶杆处。作为另一种选择，相机610的独立相机可以放置在显示器眼镜的对应透镜的周边附近。
58.当相机610用于眼睛跟踪时，眼睛跟踪子系统600可以利用左眼和右眼运动之间的普通相关性。因此，例如，眼睛跟踪子系统600可以例如仅包括一个相机并且可以仅跟踪佩戴者的一只眼睛。这种方法可以假设佩戴者至少有一只眼睛在被相机监控的一侧，并且佩戴者的那只眼睛没有经历明显的弱视。为了最大化服务的佩戴者人群，可以放置照相机610以监视双眼，从而允许仅具有一只眼睛或一只眼睛具有显著弱视的佩戴者使用。
59.除了眼睛跟踪之外，内部安装在显示器眼镜中的相机610还可用于附加任务。例如，相机610可用于使用关于佩戴者的生物特征数据的用户认证，例如肤色、睫毛厚度或长度、眼睛大小、位置、颜色、形状、虹膜和/或视网膜外观。相机610还可用于监测佩戴者的警觉性、响应性等。例如，通过随时间观察眼睑位置和/或瞳孔位置，这个或另一个子系统可以确定佩戴者已经变得困倦或正在睡觉。
60.在相机610检测到佩戴者昏昏欲睡的情况下，可以禁用眼镜，或者可以禁用任何现有的认证。这种方法可能有助于保护用户的睡眠并防止意外使用任何需要身份验证的功能。在某些实施例中，显示眼镜可用于帮助佩戴者入睡。在这种情况下，当佩戴者的眼睛出现困倦的迹象时，可能会降低音频水平和视觉亮度以帮助佩戴者入睡。
61.相机610可以被配置为执行眼睛跟踪以及其他任务。例如，在某些实施例中，相机610可能能够观察佩戴者面部的更大部分并且可能能够观察面部表情。例如，相机610可能能够观察到眨眼、眨眼、扬起眉毛或用眼睛微笑。用眼微笑是指微笑时眼角微微并拢，导致眼角出现所谓的“鱼尾纹”。
62.相机610是传感器系统的示例，其可用于跟踪眼球运动等。也可以通过其他方式跟踪眼球运动。例如，头部运动和眼球运动之间通常存在某种相关性。因此，显示眼镜的运动检测可用于确认和/或提供眼睛运动的估计。
63.另一种选择是监测移动眼睛的肌肉。在人类中，每只眼睛的运动由三对六块肌肉
控制：上直肌和下直肌、外内直肌、上斜肌和下斜肌。在某些实施例中，可以监测这些肌肉或其子集以推断眼球运动。可以使用表面或皮下电极进行监测。广义上，任何肌电图设备或肌电图仪(emg)可用于检测肌肉运动，广义上包括眼球运动和其他肌肉运动。
64.例如，emg可以被配置为测量下颌肌肉、脸颊肌肉等。下颌肌肉激活或失活可以由emg检测到。emg测量可以通过使用可以检测牙齿咬合和/或磨牙的麦克风来触发或辅助。因此，例如，当显示眼镜的佩戴者咬紧或磨磨佩戴者的牙齿时，与佩戴者的这一动作相关的肌肉或神经活动可以通过emg、麦克风或两者结合使用来检测。其他。
65.除了emg之外，还可以对下颌肌肉激活或失活进行各种监测。例如，护牙套或类似物可以设有压力传感器并且可以插入佩戴者的嘴中。该咬牙保护器可以提供另一种感测用户输入的方式。
66.不管如何检测颌肌激活或失活，可以以各种方式使用检测到的颌肌激活。例如，处理器可以对连续颌肌激活的次数进行计数并且可以根据连续颌肌激活的次数触发不同的动作。因此，例如，一次下颌肌肉激活可被视为单击鼠标，两次下颌肌肉激活可被视为双击，等等。在另一个示例中，用户界面可以根据下颌肌肉激活在选项之间切换。例如，如果颌肌被激活，则可以选择第一选项，而颌肌被失活，则可以选择第二选项。在进一步的示例中，下颌肌肉激活可用于切换到下一个选项，例如切换到来自选项列表的不同选项。以这种方式，可以使用一系列下颌肌肉激活来滚动选项列表。
67.下颌肌肉激活和失活监测是emg的一种可能用途。另一方面，也可以或替代地使用emg监测其他肌肉。因此，可以针对其他肌肉使用与上述技术类似的技术。
68.在某些实施例中，emg的输出可由学习网络监控。学习网络可以使用通过肌肉运动获得的ui选择，例如鼠标点击、键盘操作、手势等，来学习这些肌肉运动的检测。因此，例如，经过训练的神经网络可以接收emg的输出并可以确定相应的肌肉运动，例如双击鼠标左键、按键和按下，或手势，例如滑动、捏合等。
69.在某些实施例中，上述咬牙保护器可为神经网络提供观察肌肉激活的真实基础。其他补充工具，例如物理键盘、物理鼠标或物理操纵杆，同样可以作为神经网络的真实基础。在初始阶段，可以在佩戴者使用辅助工具的同时训练神经网络。一旦神经网络经过充分训练，就可以省略补充工具。
70.还可以训练神经网络区分用于咬合或张开的肌肉激活和用于咀嚼的肌肉激活：例如，用于左右移动下颌骨的肌肉运动。处理器可以不同地处理不同的颚肌激活，这取决于是否检测到咬合、咀嚼或它们的组合。例如，咬一口可能被视为鼠标左键单击，而咀嚼可能被视为鼠标右键单击。可选地，处理器和/或神经网络可以基于emg输出来估计当前下颌骨位置。显示眼镜中或以其他方式面向佩戴者的相机可用于为估计提供真实基础。可以跟踪下颌骨的位置以用作指针。实际上，佩戴者的下颌骨可以用作控制显示眼镜屏幕上的光标的操纵杆。预定时间段可用于确定是检测到两次单击还是一次双击。预定时间段可以是用户可配置的：例如，如果它们发生在少于一秒、少于半秒或两秒内，则用户可以选择将两次颚肌激活计为双击。这些只是示例值。类似地，如果在选项上的停留时间超过阈值，例如一秒、两秒等，则可以认为光标悬停在该选项上。该阈值也可由用户配置。
71.在某些实施例中，在给定佩戴者第一次使用显示眼镜时，系统可引导给定佩戴者
通过教程，该教程可用于基于佩戴者的预定运动来训练神经网络。可以指示佩戴者做出各种姿势，并且emg可以测量与与各种姿势相关联的佩戴者的肌肉激活/失活相关联的神经活动。手势可以包括手势，但也可以包括面部手势，例如咬紧佩戴者的下巴、放松佩戴者的下颌、咬紧佩戴者的牙齿、咀嚼佩戴者的牙齿等。
72.在某些实施例中，emg可以与麦克风和神经网络结合使用。例如，可以指示佩戴者大声说出某些单词、短语、句子等。神经网络可以通过将通过麦克风的音频与emg传感器输出对齐来了解哪些肌肉用于哪些词、短语、句子等。然后可以指示佩戴者简单地用嘴说出或低声说出相同的词、短语或句子，并且神经网络可能能够仅基于emg传感器数据来识别这些词、短语或句子。这样，本公开的某些实施例可以提供一种无声语音识别的形式作为附加的用户界面技术。
73.在某些实施例中，显示眼镜可包括沿镜腿、鼻梁、顶杆、垫、镜片或其其他元件的传感器。这些传感器可以监测面部肌肉。例如，可以以任何组合监测以下任何肌肉：额肌、皱眉肌、前屈肌、降眉肌、眼轮匝肌(上外侧和/或外侧)、鼻肌、上唇提肌、鼻孔提肌、上唇提肌、颧小肌、颧大肌、口轮匝肌、颊肌、口肌、咬肌、口角压肌、下唇压肌、颈阔肌或颏肌。
74.其他技术也是允许的。例如，声波或超声波传感器可用于识别眼睛的位置。也可以使用脑监测器来间接跟踪眼球运动，如下面参考图7所讨论的。
75.如图6所示，眼睛跟踪子系统600还可以包括处理器620。处理器620可以是任何合适的计算设备，例如运行软件的通用处理器或专用集成电路。眼睛跟踪子系统600还可以包括存储器630，其可以是用于临时存储数据(例如在缓冲器中)或更长的时间段(例如在存储器中)的任何期望机制。眼睛跟踪子系统600还可包括用于提供与其他子系统的通信和交互的接口640。
76.眼睛跟踪子系统600还可以包括其他传感器650。其他传感器可以包括微机电系统(mems)运动感测装置、陀螺运动传感器等。也可以包括其他传感器类型，例如声波或超声波传感器。可以另外包括额外的传感器类型，例如大脑监测设备，如下面参考图7更详细地讨论的。
77.图7图示了根据某些实施例的大脑监测子系统700。如图7所示，可以提供脑监测器710，例如脑电图(eeg)设备。eeg设备可以响应于监测大脑活动而产生eeg。eeg设备可以包括接触佩戴者头皮的电极。脑电图设备产生的脑电图也可以称为佩戴者脑电波的记录。因此，脑监测器710还可以包括脑波耳机。脑监测器710可以不同地体现为头带、头冠、帽子或任何其他期望的结构。
78.大脑监测子系统700还可包括其他传感器750，例如上述传感器中的任一个。例如，emg设备可以被提供为传感器750之一。大脑监测子系统700还可以包括处理器720和存储器730。处理器720和存储器730可以处理来自脑监测器710的数据并且可选地可以将该数据与来自传感器750的数据组合。处理器720和存储器730可以实现机器学习或其他人工智能系统。
79.例如，在某些实施例中，可以指示佩戴者以一种方式移动佩戴者的手以指示“是”和以不同方式指示“否”。脑监测器710可以确定佩戴者的eeg和可能的emg或其他生物传感器数据，并且可以基于佩戴者的手部运动产生对应于“是”或“否”的信号。
80.尽管eeg被称为大脑监测的一种形式，但也允许使用其他大脑监测方法，包括脑磁
图(meg)和功能磁共振成像(fmri)。对eeg的引用也可能广泛地包括事件相关电位(erp)方法。在某些实施例中，用于测量erp或eeg的电极还可用于其他目的，例如用于经颅直流电刺激(tdcs)或任何其他形式的经颅电刺激(tes)。
81.处理器720和存储器730可以体现受过训练的神经网络。此外，神经网络可以从特定佩戴者的强化训练中学习。在某些实施例中，神经网络可以学习仅基于脑波数据或结合其他传感器数据的脑波数据来识别佩戴者的特定肌肉动作。
82.一般而言，神经网络可以提供由权重参数化的非线性函数，从而在某种意义上可以通过改变权重来改变函数。损失函数可用于评估神经网络对给定任务的功能。损失可以被认为是期望输出和实际输出之间差异的平方。理想情况下，任何情况下的损失都为零。实际上，损失函数将是非零的，因为完美可能无法实现。一般来说，损失函数越大，神经网络的性能越差。
83.首次创建神经网络时，可以随机初始化权重。在这种情况下，损失可能很高。训练可用于将损失提高到较低的值。可以使用梯度下降方法来最小化损失。可以使用梯度下降方法的各种修改，有时称为小批量梯度下降或随机梯度下降。
84.教程可以要求可穿戴装置的佩戴者执行一系列活动。这些活动可能具有已知值，因此可以作为训练数据来训练神经网络。神经网络可以预先训练，因此神经网络不会从完全随机的权重初始化，但学习仍然可以用于针对特定佩戴者对神经网络进行微调。
85.取决于脑监测器710的质量，大脑监测子系统700的神经网络可以学会不仅区分粗大的运动运动而且区分精细的运动运动。因此，例如，大脑监测子系统700可以学习识别佩戴者手指的预期击键。
86.某些实施例可以提供脑监测器710和显示眼镜之间的交互。例如，显示眼镜可以显示键盘和佩戴者手部的表示。佩戴者然后可以操作所显示的键盘，就好像它是真正的键盘一样，而脑监测器710从佩戴者的脑电波中识别佩戴者手指的运动。
87.大脑监测子系统700也可以被配置为预测佩戴者的选择。例如，通过监测佩戴者之前的决定并从中学习，大脑监测子系统700的神经网络可能能够在佩戴者做出选择之前准确地预测佩戴者的选择。这种预测能力可用于预加载和/或预运行指令或预取其他数据，如佩戴者所预测的那样。
88.在某些实施例中，脑监测器710可以内置于显示眼镜的一个或两个镜腿中。其他实现也是可能的。例如，脑监测器710可以体现为除了显示眼镜外佩戴的单独的冠或帽子。在这种情况下，接口740可以向显示眼镜提供无线接口。
89.尽管上面已经讨论了eeg和emg设备，但可以类似地使用其他生物传感器。例如，可以采用心电图(ecg)设备来补充由其他传感器提供的信息。
90.图8示出了根据某些实施例的显示眼镜800。如图8所示，显示眼镜800可以包括透镜810，其可以是屏幕(例如，led或oled屏幕)或向内反射的镜子，而不是传统的透镜。透镜810可以通过鼻架820和顶杆830彼此连接。
91.镜片810可以使用垫840或鞍状结构(未示出)由佩戴者的鼻子支撑。镜片810还可以使用经由铰链870连接到镜腿860的末端件850由佩戴者的耳朵支撑。镜腿末端880可以帮助将显示眼镜800固定到佩戴者的耳朵。
92.诸如处理器、存储器、相机等的特征未在图8中示出，但可以分离地位于任何所显
示特征之内或之后。显示眼镜800还可以包括(虽然在图8中未示出)被配置为减少从其他来源进入佩戴者眼睛的光的罩、裙或其他挡板。显示眼镜800还可以包括(虽然未在图8中示出)完整的冠、帽或头盔，其被配置为定位在佩戴者的头部周围或上方。
93.图9示出了根据本公开的某些实施例的显示眼镜900的另一实施例。如图9所示，可以提供面罩910以覆盖佩戴者的双眼，并带有鞍座920以容纳佩戴者的鼻子。横向带930可以被配置为将面罩910固定到佩戴者的面部。还可以提供纵向带940以帮助减少从鞍座920到佩戴者鼻子上的负担，或用于其他目的。上述传感器可以并入横向带930或纵向带940或两者中。在某些实施例中，可以提供附加带，或者可以提供整个帽子或头盔。面罩910可以与滑雪护目镜类似地佩戴。如上所述，面罩910可以结合摄像头来监控佩戴者的眼睛。在某些实施例中，可以提供配重器950以帮助平衡显示器玻璃的重量。配重器950可以是简单的配重，但可以可选地是功能盒，例如电池组、收发器部分等。
94.在某些实施例中，可以提供一组电极或其他传感器作为要放置在佩戴者头上的帽子。传感器可以通过柔性或刚性网、织物片或任何其他所需结构连接。
95.图10图示了根据某些实施例的图形用户界面(gui)1000。如图10所示，gui1000可以包括左眼显示器1010和右眼显示器1020。在单眼实施例中，可以仅使用单个显示器。在某些实施例中，单个像素面板可提供左眼显示器1010和右眼显示器1020两者。取决于可佩戴眼镜的视角，显示器的真正左边缘1015可能仅在左眼上可见显示器1010。另一方面，显示器的真实右边缘1025可能仅在右眼显示器1020上可见。
96.gui1000中可以呈现四个选项1040a、1040b、1040c和1040d。四个选项1040a、1040b、1040c和1040d中的每一个可以显示在左眼显示器1010和右眼显示器a1020中的每一个上。可以示出光标1050，并且可以使用上述大脑监测子系统、上述肌肉监测子系统、眼睛跟踪或任何其他期望的用户界面来控制光标。可选地，可以不显示光标1050，但是系统可以在不显示光标的情况下跟踪佩戴者的焦点。焦点的这个轨迹对佩戴者来说可以是透明的，或者可以通过例如当佩戴者的焦点在该选项上时突出显示该选项之一来提供给佩戴者。例如，如果佩戴者查看选项1040c，选项1040c可能会改变颜色、闪烁或可能在其边缘添加边框。其他突出显示方法也是允许的。
97.上述装置和方法的各种实现是可能的。例如，用于显示眼镜的可穿戴装置可以包括显示器，该显示器包括一对屏幕，该屏幕被配置为安装在该设备的佩戴者的面部的每只眼睛的前面。这对屏幕可以被不同地实现。例如，显示眼镜中的投影仪可以将图像投影到显示眼镜的内表面上，然后显示眼镜的佩戴者可以观察到该图像。作为另一种选择，显示眼镜可以包括分别位于佩戴者每只眼睛前方的两个像素区域。像素区域可以使用液晶显示器(lcd)、有机发光二极管(oled)、发光二极管(led)或其他显示技术来实现。
98.显示器可以被配置为向佩戴者提供信息显示。例如，显示器可以以与在电视、计算机监视器等的屏幕上显示信息的方式类似的方式来呈现信息的显示。该信息可以包括至少两个选项供选择。例如，选项可以显示为磁贴、单选按钮或轮子上的位置。还允许呈现选项的其他方式。
99.可穿戴装置可以包括被配置为跟踪佩戴者的脑电波活动的脑监测器。如上所述，这种脑监测器的一个例子是脑电图设备。可穿戴装置可以包括处理器，该处理器被配置为识别基于脑监测器跟踪的脑电波活动所选择的至少两个选项之一。处理器可以实现为运行
软件的通用处理器、专用集成电路(asic)或任何其他所需的方式。
100.可穿戴装置还可以包括被配置为检测佩戴者大脑内的电场的脑电电极。脑监测器可以配置为根据脑电电极的输出跟踪脑电波活动。例如，脑电电极可以向脑监测器提供一串比特，脑监测器可以解释这些比特。脑监测器可以是与显示眼镜的处理器分开的硬件处理器。
101.或者，脑监测器可以与显示眼镜的处理器在同一处理器上实现。显示眼镜还可以包括另外的处理器，例如用于处理要在显示眼镜上显示的图像的图形处理单元(gpu)。
102.脑电电极可以安装在装置的镜腿、装置的纵向带或装置的横向带中的至少一个中。如上所述，在其他实施方式中，可以提供脑电电极网来覆盖佩戴者的头部。
103.显示眼镜的处理器可以包括被配置为基于训练识别至少两个选项之一的神经网络。该神经网络可以是卷积神经网络、深度卷积网络或任何其他所需的神经网络。
104.可穿戴装置还可以包括被配置为监控佩戴者的眼睛位置的相机。如上所述，可以使用多于一个相机，并且相机可以是任何合适的可见光或红外光感测装置。处理器可以被配置为基于脑电波活动结合眼睛位置来识别至少两个选项之一。在某些实施例中，单独的硬件处理器可以专用于眼睛跟踪。
105.处理器可以被配置为通过在脑监测器检测到精神决定时将眼睛位置与至少两个选项之一的显示位置相关联来识别对至少两个选项之一的选择。因此，例如，处理器可以随着时间的推移跟踪眼睛位置，并且当脑监测器确定正在进行选择时，处理器可以基于眼睛位置挑选选项。例如，如果佩戴者看到屏幕左侧的面板和屏幕右侧的面板，如果佩戴者正在看屏幕左侧的面板，当脑电波代表一个检测到选择决定后，处理器可以选择显示在屏幕左侧的选项。在某些实施例中，当显示多个选项时，系统可以提供多级选择过程，其中选择代表视线方向上总选项子集的选项块，然后将该选项块呈现在下一轮更大的尺寸。例如，最初可以呈现64个图块。根据佩戴者眼睛位置的确定，64个图块中的8个可能会在下一轮选择中以更大的尺寸呈现。类似地，如果在第一轮使用旋转轮，则可以提供当前轮位以及当前轮位前后几个位置的选项供第二轮选择。
106.如上所述，可穿戴装置还可以包括被配置为跟踪穿戴者的肌肉活动的肌电图设备。处理器可以被配置为基于脑电波活动结合由肌电图设备跟踪的肌肉活动来识别至少两个选项之一。例如，可以类似于在前面的示例中使用眼动追踪的方式来使用肌肉活动。
107.当肌电图检测到预定的肌肉动作时，处理器可以被配置为通过将脑电波活动与至少两个选项之一的显示内容相关联来识别至少两个选项之一的选择。
108.可穿戴装置可包括鞍座或一对垫。鞍座或一对衬垫可被配置为在佩戴者的面部上接合佩戴者的鼻子并支撑佩戴者面部前方的显示器。其他支撑结构可包括带、冠结构或帽子或头盔结构。其他实现也是可能的。
109.处理器可以被配置为基于脑监测器检测到的多个事件来识别至少两个选项之一。例如，如果检测到单个大脑活动，这可能对应于“是”，而如果检测到给定类型的两个大脑活动，这可能对应于“否”。大脑活动可以基于肌肉控制，从而可以检测握紧或松开下巴或拳头的动作。
110.在另一个示例中，用于显示眼镜的可穿戴装置可以包括显示器，该显示器包括一对屏幕，该屏幕被配置为安装在该设备的佩戴者的面部的每只眼睛的前面。显示器可以被
配置为向佩戴者提供信息显示。该信息可以包括至少两个选项供选择。如上所述，可以不同地实现显示器。
111.可穿戴装置还可以包括被配置为跟踪穿戴者的肌肉活动的肌电图设备。可穿戴装置还可以包括处理器，该处理器被配置为识别基于由肌电图设备跟踪的肌肉活动所选择的至少两个选项之一。
112.可穿戴装置还可以包括被配置为跟踪佩戴者的脑电波活动的脑监测器。处理器可以被配置为基于脑电波活动结合由肌电图设备跟踪的肌肉活动来识别至少两个选项之一，如上所述。
113.处理器可以被配置为通过在肌电图检测到预定肌肉动作时将脑电波活动与至少两个选项之一的显示内容相关联来识别对至少两个选项之一的选择。
114.可穿戴装置可以包括被配置为检测佩戴者大脑内的电场的脑电电极。脑监测器可以配置为根据脑电电极的输出跟踪脑电波活动。
115.可穿戴装置还可以包括被配置为检测佩戴者的肌肉活动的肌电图电极。肌电图设备可以被配置为基于肌电图电极的输出跟踪肌肉活动。在某些实施例中，相同的电极可以被配置为既用作肌电图电极又用作脑电图电极。在其他实施例中，可以使用不同的电极。
116.肌电图电极可以安装在装置的镜腿、装置的纵向带或装置的横向带中的至少一个中。如上所述，其他位置也是可能的。
117.处理器可以包括被配置为基于训练识别至少两个选项之一的神经网络。如上所述，可以使用各种神经网络。这些神经网络可能包括循环神经网络、长/短期记忆和门控循环单元。其他神经网络及其组合也是允许的。
118.可穿戴装置可以包括被配置为监控佩戴者的眼睛位置的相机。处理器可以被配置为基于肌肉活动结合眼睛位置来识别至少两个选项之一。
119.例如，当肌电图设备检测到肌肉活动时，处理器可以被配置为通过将眼睛位置与至少两个选项之一的显示位置相关联来识别对至少两个选项之一的选择.
120.处理器可以被配置为基于由肌电图设备检测到的多个事件来识别至少两个选项中的一个。例如，如果检测到一个肌肉运动，则可以选择第一个选项，而如果检测到两个相同类型或不同类型的肌肉运动，则可以选择第二个选项，依此类推。在进一步的实施例中，可以将肌肉运动转化为对佩戴者的手部位置的确定，并且可以基于将手部位置映射到所显示的选项位置来挑选选项。
121.本公开内容的以上详细描述和其中描述的示例仅出于说明和描述的目的而不是限制性的目的而呈现。因此预期本公开涵盖落入上文公开的和在此要求保护的基本基本原理的精神和范围内的任何和所有修改、变化或等同替换。