部分地基于眼睛移动的用户接口的制作方法

部分地基于眼睛移动的用户接口
1.相关申请
2.本技术要求2019年11月5日提交且名称为“部分地基于眼睛移动的用户接口(user interface based in part on eye movement)”的美国专利申请序列号16/675,168的优先权，其全部公开内容由此以引用的方式并入本文中。
技术领域
3.本文中所公开的至少一些实施例涉及部分地基于眼睛移动或姿势的用户接口控制。


背景技术：

4.姿势辨识和基于姿势辨识的计算机软件和硬件的控制日益重要。姿势通常来源于个人的脸部或手部。姿势辨识的优点为用户可在无需物理触摸计算装置的情况下使用姿势来控制计算装置或与计算装置交互。目前存在大量此类技术，例如使用相机和计算机视觉算法的方法。
5.而且，非接触式用户接口正变得越来越普遍，并且此类接口可取决于姿势辨识。非接触式用户接口为在无通过触摸键盘、鼠标、触摸屏等的用户输入的情况下依赖于身体部位运动、姿势和/或语音的接口。存在利用非接触式用户接口的多种应用程序和装置，例如多媒体应用程序、游戏、智能扬声器、智能手机、平板计算机、笔记型计算机和物联网(iot)。
6.复杂相机布置和较简单相机配置可用于捕获身体部位移动以用作经由计算机视觉算法的姿势辨识的输入。复杂相机布置可包含深度感知相机和立体相机。深度感知相机可产生通过相机看见的内容的深度图，并且可使用此数据粗略估计移动的身体部位的三维(3d)表示。在粗略估计移动的身体部位的3d表示时还可使用立体相机。而且，可使用较简单的单相机布置，以便捕获移动的身体部位的二维(2d)表示。随着更复杂的基于软件的姿势辨识的开发，即使使用2d数码相机也可捕获用于姿势的稳固检测的图像。
7.一种越来越普遍的姿势辨识类型为眼睛姿势辨识。可通过眼睛跟踪实施眼睛姿势辨识。眼睛跟踪可包含测量(某人正注视的)注视点或眼睛相对于头部的运动。可使用相机来捕获眼睛移动的图像的眼睛跟踪器为用于测量眼睛位置和眼睛移动的装置。眼睛跟踪器可用于对眼睛生理和活动的研究、心理学和市场营销。而且，眼睛跟踪器可一般用作用于人机交互的输入装置。近年来，眼睛跟踪技术的增加的复杂性和可获取性已在商界引起了兴趣。而且，眼睛跟踪的应用包含使用因特网、汽车信息系统和免提接入的多媒体的人机交互。
8.存在许多测量眼睛移动的方式。一种一般方式为使用从其提取眼睛位置或定向的视频图像。并且，可以统计方式分析且以图形方式显现来自图像分析的所得数据，以提供具体视觉图案的证据。通过识别注视、眼急动、瞳孔扩张、眨眼和多种其它眼睛行为，可实施人机交互。并且，通过检查此类图案，研究人员可确定媒体或产品的有效性。
附图说明
9.根据下文给出的详细描述和本公开的各种实施例的附图，将更充分地理解本公开。
10.图1说明根据本公开的一些实施例的被配置成部分地基于眼睛移动而实施用户接口控制的包含可穿戴结构、计算装置、用户接口和相机的实例设备。
11.图2和3说明根据本公开的一些实施例的各自被配置成部分地基于眼睛移动而实施用户接口控制的实例联网系统。
12.图4说明根据本公开的一些实施例的可由图1中所描绘的设备的方面、图2中所描绘的联网系统的方面或图3中所描绘的联网系统的方面执行的实例操作的流程图。
具体实施方式
13.本文中所公开的至少一些实施例涉及部分地基于眼睛移动或姿势的用户接口控制。更明确地说，本文中所公开的至少一些实施例涉及基于所捕获和所识别的一或多个眼睛姿势的对显示器或gui的一或多个参数的控制。而且，应理解，本文中所公开的一些实施例大体上涉及对一或多个用户接口的一或多个参数的控制。举例来说，本文中所公开的一些实施例涉及对听觉用户接口或触觉用户接口的参数的控制。听觉用户接口的参数可包含音量、播放速度等。触觉用户接口的参数可包含振动的模式、振动的强度、输出的温度、输出的气味等。本文中所描述的实施例可包含控制任何类型的用户接口(ui)的参数，包含触觉ui(触摸)、视觉ui(视线)、听觉ui(声音)、嗅觉ui(气味)、均衡ui(平衡)和味觉ui(味道)。
14.至少一些实施例是针对捕获眼睛移动且解译移动以控制应用程序或计算装置(例如，移动装置或iot装置)的用户接口的操作。举例来说，相机可与可穿戴装置或结构集成(例如，智能手表或作为帽(hat)的部分的头戴式装置)。并且，通过此类实例，用户可通过将眼睛的焦点移动远离例如用户接口的特定对象来控制用户接口的一或多个参数(例如，控制显示器的调暗或关断，或控制用户接口的音频或触觉输出)。而且，举例来说，用户可注视显示器中的一点，并且如果，则如果用户进行眨眼或另一眼睛姿势，则所述点可由显示器中的gui放大或聚焦。或者，举例来说，可将关于用户进行眨眼或另一眼睛姿势之后的点处的信息的更多音频信息提供给用户。并且，这些仅是经由本文中所公开的眼睛移动跟踪进行人机交互的许多实例中的一些。
15.而且，可穿戴装置可与用户的平板计算机或智能手机或iot装置交互。在一些实施例中，相机、计算装置和显示器或其它类型的用户接口可经由例如本地无线网络或广域网络或例如蓝牙的本地到装置网络等通信网络分离和连接。
16.至少一些实施例可包含用于捕获用户的眼睛移动(例如，眼急动、平滑跟随移动、聚散移动、前庭眼移动、眼睛关注、角度、视点等)的相机。眼睛移动可由处理器(例如cpu)解译为眼睛姿势以控制连接到处理器的用户接口的操作。举例来说，所显示或所投影屏幕上的内容的显现可由眼睛姿势控制。
17.相机可集成在头戴式用户接口(例如头戴式显示器)内。用户接口可将内容递送到用户眼睛和耳朵中，例如具有音频的3d虚拟现实内容，或具有可见(例如，图形)、触觉和/或可听内容的扩增现实内容。举例来说，用户可通过将眼睛的焦点移动远离所提供关注点来控制显示器的调暗或关断或内容的呈现。举例来说，在用户的眼睛转移目光或注视其它地
方时，装置可调暗、降低音量、排除触觉或触感反馈，或关断以节省电力。举例来说，用户可注视一点；并且接着如果用户进行眨眼或另一眼睛姿势，则所述点可放大。
18.举例来说，用户接口和相机可与手表或帽子(cap)(或帽)包含在一起。帽子或手表可包含小型嵌入式相机，其可监视用户的眼睛且可与智能手机或另一类型的装置通信。在帽子的情况下，帽子可具有嵌入在帽子的帽舌中的柔性屏幕，并且可具有可从帽舌向上或向下移动的透明屏幕。此类实例仅是计算装置、用户接口、相机和可穿戴结构的组合的许多实施例和实施方案中的几个。
19.在本文中所公开的一些实施例中，一种设备可具有可穿戴结构、计算装置、用户接口(例如包含显示器、音频输入/输出和/或触觉输入/输出的用户接口)，和相机。可穿戴结构被配置成由用户穿戴，并且可连接到计算装置、用户接口、相机或其组合中的至少一个。可穿戴结构可为、可包含帽、帽子、腕带、颈带、项链、隐形镜片、眼镜或另一类型的护目镜，或可为其部分。在一些实施例中，可穿戴结构可为、可包含帽子和可具有帽舌的帽子，或可为其部分，并且显示器可为具有帽舌的帽子的部分。而且，应理解，除可穿戴结构之外，所述设备还可包含其它结构。举例来说，设备可包含或为电器(例如具有显示器的智能电器)或电视机(例如增强型lcd或oled tv)的部分。而且，4k tv或具有更高屏幕分辨率的tv可得益于显现增强。而且，提供用于游戏的高端装置的gpu供应商可得益于显现增强。
20.计算装置可连接到可穿戴结构、用户接口、相机或其组合中的至少一个。用户接口可连接到可穿戴结构、计算装置、相机或其组合中的至少一个。用户接口可为显示器，并且显示器可被配置成提供图形用户接口(gui)，其为一种类型的视觉用户接口或指代视觉用户接口的另一方式。相机可连接到计算装置、可穿戴结构、用户接口或其组合中的至少一个。所述相机被配置成捕获用户的眼睛移动。
21.计算装置中的处理器被配置成从所捕获眼睛移动识别一或多个眼睛姿势。并且，处理器可被配置成基于所识别的一或多个眼睛姿势而控制用户接口、gui或其组合中的至少一个的一或多个参数。
22.在一些实施例中，处理器被配置成至少部分地从眉毛移动、眼睑移动或其组合中的至少一个识别一或多个眼睛姿势。而且，处理器可被配置成至少部分地从用户的眼睛的所捕获眼急动识别一或多个眼睛姿势。而且，处理器可被配置成至少部分地从用户的眼睛的所捕获平滑跟随移动识别一或多个眼睛姿势。而且，处理器可被配置成至少部分地从用户的双眼的所捕获聚散移动识别一或多个眼睛姿势。
23.在一些实施例中，例如其中用户接口包含显示器的实施例，处理器可被配置成根据所识别的一或多个眼睛姿势增加或减小显示器的至少部分的亮度。而且，处理器可被配置成根据所识别的一或多个眼睛姿势增加或减小显示器的至少部分的对比度、分辨率或其组合中的至少一个。而且，处理器可被配置成根据所识别的一或多个眼睛姿势激活或解除激活显示器的至少部分。在一些实施例中，处理器被配置成在用户的眼睛不看显示器时调暗显示器的至少部分。在此类实施例和其它实施例中，处理器可被配置成在用户的眼睛不看显示器超出预定时间量时关断显示器。而且，预定时间量可至少部分地由用户选择。
24.在一些实施例中，处理器被配置成在用户的眼睛不看显示器超出预定时间量时将计算装置置于省电模式中，并且其中预定时间量可由用户选择或由装置基于随时间推移而进行的训练和对用户的活动和习惯的监视来识别。
25.虽然许多实例涉及对显示器或gui的控制，但存在许多方式来实施本文中所描述的实施例，包含许多不同方式来控制许多不同类型的用户接口。
26.一些实施例可为或可包含具有帽子、显示器、计算装置和相机的设备。帽子可具有帽舌，并且帽子可由用户穿戴。显示器可被定位成从帽舌的底部表面面向下或定位在帽舌中以从帽舌的底部表面向下和向上移动。计算装置可附接到帽子。并且，相机可在计算装置中或连接到计算装置，并且被配置成在相机面向用户的面部时或在眼睛在相机的检测范围中时捕获用户的眼睛移动。计算装置中的处理器可被配置成从所捕获眼睛移动识别一或多个眼睛姿势。处理器还可被配置成基于所识别的一或多个眼睛姿势而控制无线地连接到计算装置的第二计算装置的显示器或gui的一或多个参数。而且，处理器可被配置成基于所识别的一或多个眼睛姿势而控制计算装置的显示器或gui的一或多个参数。
27.许多实施例中的一些的另一实例可包含具有腕带、显示器、计算装置和相机的设备。计算装置可包含显示器。并且，计算装置可附接到腕带。显示器可被配置成提供gui。计算装置中的相机可被配置成在显示器面向用户的面部时或在眼睛在相机的检测范围中时捕获用户的眼睛移动。计算装置中的处理器可被配置成从所捕获眼睛移动识别一或多个眼睛姿势，并且基于所识别的一或多个眼睛姿势而控制显示器或gui的一或多个参数。
28.图1说明根据本公开的一些实施例的被配置成部分地基于眼睛移动而实施用户接口控制的包含可穿戴结构102、计算装置104、用户接口106和相机108的实例设备100。
29.如所展示，可穿戴结构102包含计算装置104、用户接口106和相机108。计算装置104、用户接口106和相机108经由总线112以通信方式耦合。可穿戴结构102可被配置成由用户穿戴。
30.可穿戴结构102可为、可包含帽、帽子、腕带、颈带、项链、隐形镜片、眼镜或另一类型的护目镜，或可为其部分。举例来说，可穿戴结构可包含具有帽舌的帽子，并且用户接口可为具有帽舌的帽子的部分。在此类实例中，用户接口可包含作为帽舌的部分的显示器。并且，帽子中的用户接口可包含例如扬声器的音频输出或例如麦克风的音频输入。显示器可被定位成从帽舌的底部表面面向下或定位在帽舌中以从帽舌的底部表面向下和向上移动，从而在穿戴帽子，其中帽舌相对于用户面向前时显示在用户的眼睛的前部。在帽子面向前，其中帽舌在用户前部时，扬声器可定位在帽子中接近于用户的耳朵。在包含麦克风时，所述麦克风可在帽子中的任何地方。
31.而且，举例来说，可穿戴结构102可为或可包含护目镜(例如眼镜或隐形镜片)，其可在用户穿戴护目镜时将内容提供给用户，例如经由护目镜的镜片提供内容。内容可无线地传达到护目镜且由护目镜中的一或多个天线接收。在其中护目镜包含隐形镜片的实例中，隐形镜片可各自包含显微天线，所述显微天线可接收与将在隐形镜片内显示的内容的通信以供用户感知内容。在其中护目镜包含眼镜的实例中，眼镜的框架可包含小型扬声器和麦克风。而且，小型振动装置可包含在用于触觉输出的眼镜中。传达内容的另一方式为经由光波导，在波导输入处投影视频光流，并且使用纳米波导在护目镜内部分布所述视频光流。
32.存在可在实施例中使用的许多类型的可穿戴结构。举例来说，设备100的组件中的任一个可集成到发片或发饰中而非帽或帽子中。换句话说，可穿戴结构102可为或可包含发片或发饰。而且，可穿戴结构102可包含或为腕带、颈带、项链或任何类型的珠宝。可穿戴结
构102还可包含或可为任何类型的衣服，例如衬衫、裤子、腰带、鞋子、半身裙、连衣裙或夹克。
33.用户接口106可被配置成提供视觉用户接口(例如gui)、触觉用户接口、听觉用户接口、任何其它类型的用户接口，或其任何组合。举例来说，用户接口106可为或可包含连接到可穿戴结构102、计算装置104、相机108或其组合中的至少一个的显示器，并且显示器可被配置成提供gui。而且，用户接口106可为或可包含投影仪、例如扬声器的一或多个音频输出装置，和/或例如振动装置的一或多个触觉输出装置。并且此类组件可连接到可穿戴结构102、计算装置104、相机108或其组合中的至少一个。
34.而且，本文中所描述的实施例可包含任何类型的一或多个用户接口，包含触觉ui(触摸)、视觉ui(视线)、听觉ui(声音)、嗅觉ui(气味)、均衡ui(平衡)和味觉ui(味道)。本文中所描述的实施例还可包含神经-或脑-计算机接口，其中神经元与人体内部或外部的电极连线，并且其中接口无线地或以有线方式连接到外部装置。
35.相机108可连接到计算装置104、可穿戴结构102、用户接口106或其组合中的至少一个，并且相机可被配置成捕获用户的眼睛移动。举例来说，在其中用户接口为或包含显示器的实施例中，相机可在计算装置和/或可穿戴结构和/或显示器中或连接到计算装置和/或可穿戴结构和/或显示器，并且可被配置成在显示器面向用户的面部时或在眼睛在相机的检测范围中时捕获用户的眼睛移动。
36.相机108可为、可包含复杂相机布置或较简单相机配置，或可为其部分。并且，相机108可捕获眼睛移动以用作经由一或多个计算机视觉算法的姿势辨识的输入。复杂相机布置可包含一或多个深度感知相机和两个或更多个立体相机。深度感知相机可产生通过相机看见的内容的深度图，并且可使用此数据粗略估计用户的眼睛或面部的移动部分的3d表示。立体相机还可用于粗略估计眼睛或面部的移动部分的3d表示。而且，较简单的单相机布置，例如单数码相机，可用于捕获用户的眼睛或面部的移动部分的2d表示。
37.计算装置104中的处理器110可被配置成从由相机108捕获的所捕获眼睛移动识别一或多个眼睛姿势。举例来说，处理器110可被配置成至少部分地从眉毛移动、眼睑移动或其组合中的至少一个识别一或多个眼睛姿势。而且，处理器110可被配置成至少部分地从用户的眼睛的所捕获眼急动识别一或多个眼睛姿势。处理器还可被配置成至少部分地从用户的眼睛的所捕获平滑跟随移动识别一或多个眼睛姿势。处理器110还可被配置成至少部分地从用户的双眼的所捕获聚散移动识别一或多个眼睛姿势。
38.处理器110还可被配置成基于所识别的一或多个眼睛姿势而控制用户接口106的一或多个参数。举例来说，处理器110还可被配置成基于所识别的一或多个眼睛姿势而控制用户接口106的显示器或用户接口的gui或其组合的一或多个参数。在此类实例中，处理器110可被配置成根据所识别的一或多个眼睛姿势增加或减小显示器的至少部分的亮度。而且，处理器110可被配置成根据所识别的一或多个眼睛姿势增加或减小显示器的至少部分的对比度、分辨率或其组合中的至少一个。而且，处理器110可被配置成根据所识别的一或多个眼睛姿势改变或维持显示器的至少部分的配色方案。
39.而且，处理器可被配置成根据所识别的一或多个眼睛姿势激活或解除激活显示器的至少部分。处理器110还可被配置成在用户的眼睛不看显示器时调暗显示器的至少部分。处理器110还可被配置成在用户的眼睛不看显示器超出预定时间量时关断显示器。预定时
间量可至少部分地由用户选择或由处理器选择。举例而言，处理器110可确定用户的眼睛不看显示器之后的时间量，作为用于控制显示器的因素，例如，处理器110可确定用户的眼睛不看显示器之后的时间量，作为用于关断显示器的因素。
40.在一些实施例中，处理器110可被配置成在用户的眼睛不看显示器超出预定时间量时将计算装置置于省电模式中。在此类实施例中，预定时间量可由用户或处理器110选择。
41.在一些实施例中，例如，设备100的可穿戴结构102可包含可由用户穿戴的具有帽舌的帽子。用户接口106可为显示器，并且显示器可被定位成从帽舌的底部表面面向下或定位在帽舌中以从帽舌的底部表面向下和向上移动。计算装置104可附接到帽子，并且相机108可嵌入在计算装置内或附接到计算装置且被配置成在相机面向用户的面部时捕获用户的眼睛移动。处理器110可在计算装置104中且可被配置成从所捕获眼睛移动识别一或多个眼睛姿势。处理器110还可被配置成基于所识别的一或多个眼睛姿势而控制计算装置104的显示器和/或显示器中的gui或无线地连接到计算装置104的第二计算装置的显示器和/或gui的一或多个参数。
42.在一些实施例中，例如，设备100的可穿戴结构102可包含腕带(例如智能手表的腕带)。计算装置104还可包含用户接口106，例如在用户接口为或包含显示器时。计算装置104可附接到腕带且可包含显示器，使得可穿戴结构102可为具有显示器的智能手表。显示器可被配置成提供gui。相机108还可嵌入在计算装置中或可为计算装置的部分。相机108可被配置成在显示器面向用户的面部时捕获用户的眼睛移动，同时腕带正由用户穿戴或不穿戴。处理器110还可在计算装置104中且可被配置成从所捕获眼睛移动识别一或多个眼睛姿势，并且基于所识别的一或多个眼睛姿势而控制显示器和/或gui的一或多个参数。
43.一般来说，本文中所描述的识别一或多个眼睛姿势的实例和接着本文中所描述的后续根据所识别姿势控制用户接口的一或多个参数的实例可通过装置的操作系统、另一软件应用和/或固件，以及可编程逻辑，例如现场可编程门阵列(fpga)或专用集成电路(asic)来实施。
44.一般来说，本文中所描述的可穿戴结构可各自被视为多个可穿戴结构。本文中所描述的计算装置可各自被视为多个计算装置。本文中所描述的用户接口可各自被视为多个用户接口，并且本文中所描述的相机可各自被视为多个相机。此类组件可为可通过眼睛姿势控制的生态系统的部分。
45.而且，一般来说，本文中所描述的设备的部分可无线地或通过导线或其它类型的通信耦合而彼此连接。
46.图2和3说明根据本公开的一些实施例的各自被配置成部分地基于眼睛移动而实施用户接口控制的实例联网系统200和300。联网系统200和300两者都经由一或多个通信网络联网。本文中所描述的通信网络可至少包含例如蓝牙等本地到装置网络、广域网(wan)、局域网(lan)、内联网、例如4g或5g的移动无线网络、外联网、因特网和/或其任何组合。联网系统200和300可各自为对等网络、客户端-服务器网络、云计算环境等的部分。而且，本文中所描述的设备、计算装置、可穿戴结构、相机和/或用户接口中的任一个可包含某一类别的计算机系统。并且，此类计算机系统可包含到lan、内联网、外联网和/或因特网(例如，参见网络214和315)中的其它装置的网络接口。计算机系统还可作为对等(或分布式)网络环境
中的对等机器或作为云计算基础设施或环境中的服务器或客户端机器而在客户端-服务器网络环境中的服务器或客户端机器的容量中进行操作。
47.而且，图2和3的所说明组件中的至少一些可在功能上和/或结构上类似于图1的所说明组件，并且图1的所说明组件中的至少一些可在功能上和/或结构上类似于图2和3的所说明组件。举例来说，可穿戴结构202和302各自可具有与可穿戴结构102类似的特征和/或功能性，且反之亦然。计算装置204和304可各自具有与计算装置104类似的特征和/或功能性，且反之亦然。用户接口206和其它组件316的用户接口可具有与用户接口106类似的特征和/或功能性，且反之亦然。相机208和其它组件316的相机各自可具有与相机108类似的特征和/或功能性，且反之亦然。控制器308可具有与处理器110类似的特征和/或功能性。总线212和306各自可具有与总线112类似的特征和/或功能性，且反之亦然。并且，网络接口312可具有与网络接口210a、210b和210c类似的特征和/或功能性，且反之亦然。
48.如图2中所展示，系统200包含可穿戴结构202、计算装置204、用户接口206和相机208。系统200还包含处理器110(其为计算装置204的部分)以及总线212。总线212在可穿戴结构202中且总线将相机208连接到网络接口210a。相机208和网络接口210a两者都在可穿戴结构202中。
49.应理解，虽然可穿戴结构202在图2中展示为具有相机208，但在其它实施例中，可穿戴结构可仅具有计算装置。并且，在其它实施例中，可穿戴结构可仅具有用户接口。并且，在一些实施例中，可穿戴结构可具有相机、计算装置和用户接口的某一组合(例如，参见具有相机、计算装置和用户接口的可穿戴结构102)。
50.网络接口210a(包含在可穿戴结构202中)分别经由一或多个计算机网络214以及网络接口210b和210c将可穿戴结构连接到计算装置204和用户接口206。
51.网络接口210b(包含在计算装置204中)分别经由网络214以及网络接口210a和210c将计算装置连接到可穿戴结构202(其包含相机208)和用户接口206。
52.网络接口210c(包含在用户接口206中)分别经由网络214以及网络接口210a和210b将用户接口连接到可穿戴结构202(其包含相机208)和计算装置204。
53.可穿戴结构202可被配置成由用户穿戴。可穿戴结构202可为、可包含帽、帽子、腕带、颈带、项链、其它类型的珠宝，例如戒指、隐形镜片、眼镜、另一类型的护目镜、任何类型的衣服，例如衬衫、裤子、腰带、鞋子、半身裙、连衣裙或夹克，以及戒指、穿孔人造指甲和睫毛、纹身、化妆品等或可为其部分。在一些实施例中，可穿戴结构可为人体的部分或植入在人体中，与提供所有类别的用户体验的神经系统接合。
54.用户接口206可被配置成提供gui、触觉用户接口、听觉用户接口，或其任何组合。举例来说，用户接口206可为或可包含经由网络214连接到可穿戴结构202、计算装置204、相机208或其组合中的至少一个的显示器，并且显示器可被配置成提供gui。而且，本文中所描述的实施例可包含任何类型的一或多个用户接口，包含触觉ui(触摸)、视觉ui(视线)、听觉ui(声音)、嗅觉ui(气味)、均衡ui(平衡)和味觉ui(味道)。
55.相机208可经由网络214连接到计算装置204、可穿戴结构202、用户接口206或其组合中的至少一个，并且相机可被配置成捕获用户的眼睛移动。举例来说，相机可被配置成捕获眼急动、平滑跟随移动、聚散移动、前庭眼移动、眼睛关注、角度、视点等。
56.计算装置204中的处理器110，如图2中所展示，可被配置成从由相机208捕获的所
捕获眼睛移动识别一或多个眼睛姿势。处理器110还可被配置成基于所识别的一或多个眼睛姿势而控制用户接口206的一或多个参数。举例来说，处理器110还可被配置成基于所识别的一或多个眼睛姿势而控制用户接口206的显示器或用户接口的gui或其组合的一或多个参数。而且，本文中所描述的实施例可包含处理器110，其基于所识别的一或多个眼睛姿势而控制任何类型的用户接口(ui)的参数，所述用户接口包含触觉ui(触摸)、视觉ui(视线)、听觉ui(声音)、嗅觉ui(气味)、均衡ui(平衡)和味觉ui(味道)。此外，在一些实施例中，对显示器的一或多个参数的控制可包含在存在干扰的情况下为用户显现具有最大画面质量不变性的图像或视频。不变性可包含对任何干扰的不变性，所述干扰例如摇动、振动、噪声和使眼睛与屏幕之间的视觉连接变弱或断开的其它事情。而且，举例来说，通过调适和加强眼睛与屏幕之间的视觉连接，从而使屏幕输出相对于对屏幕的任何干扰稳定，装置的屏幕输出可对外部干扰不变。以此方式，用户可不断地且持续地接收不受干扰或较不受干扰的内容。举例来说，这可通过在坐标系统中相对于用户的眼睛保持屏幕输出至少部分地恒定来完成。这可尤其适用于帽子和帽舌实施例，其中帽舌提供屏幕。帽子和帽舌在穿戴时(尤其在用户参与某一形式的运行或体育运动时)预期会振动和移动。
57.图3说明根据本公开的一些实施例的可部分地基于用于多个可穿戴结构和计算装置(例如，参见可穿戴结构302和330以及计算装置304、320和340)的多个用户接口的眼睛移动而实施用户接口控制的实例系统300。图3还说明计算装置304的若干组件。计算装置304还可包含类似于本文中针对计算装置104和204所描述的组件的组件。并且，图3还展示包含计算装置304的实例可穿戴结构302。可穿戴结构302和330还可包含类似于本文中针对可穿戴结构102和202所描述的组件的组件。如所展示，多个可穿戴结构和计算装置(例如，参见可穿戴结构302和330以及计算装置304、320和340)可通过一或多个通信网络315彼此通信。
58.包含在可穿戴结构302中的计算装置304可为或可包含图1中所展示的可穿戴结构102中的组件或在某种程度上类似于本文中所描述的计算装置的任何类型的计算装置，或可为其部分。计算装置304可为或可包含移动装置等或可为其部分，所述移动装置例如智能手机、平板计算机、iot装置、智能电视、智能手表、眼镜或其它智能家用电器、车内信息系统、可穿戴智能装置、游戏控制台、pc、数码相机，或其任何组合。如所展示，计算装置304可连接到通信网络315，其至少包含例如蓝牙等本地到装置网络、广域网(wan)、局域网(lan)、内联网、例如4g或5g的移动无线网络、外联网、因特网和/或其任何组合。
59.本文中所描述的计算或移动装置(例如计算装置104、204和304)中的每一个可为以下各者或可由以下各者代替：个人计算机(pc)、平板pc、机顶盒(stb)、个人数字助理(pda)、蜂窝式电话、网络器具、服务器、网络路由器、交换机或网桥，或能够执行指定待由所述机器采取的动作的指令集(依序或以其它方式)的任何机器。
60.而且，虽然针对图3中所展示的计算装置304以及图1和2中所展示的计算装置104和204说明单个机器，但术语“机器”还应被认为包含个别地或联合地执行一(或多个)指令集以执行本文中所论述的方法或操作中的任一或多个的机器的任何集合。而且，所说明计算或移动装置中的每一个可各自包含至少总线和/或母板、一或多个控制器(例如，一或多个cpu)、可包含暂时性数据存储装置的主存储器、至少一个类型的网络接口、可包含永久性数据存储装置的存储系统，和/或其任何组合。在一些多装置实施例中，一个装置可完成本文中所描述的方法的一些部分，接着经由网络将完成的结果发送到另一装置，使得另一装
置可继续本文中所描述的方法的其它步骤。
61.图3还说明根据本公开的一些实施例的实例计算装置304的实例部分。计算装置304可以通信方式耦合到网络315，如所展示。计算装置304至少包含总线306、控制器308(例如cpu)、存储器310、网络接口312、数据存储系统314和其它组件316(其可为移动或计算装置中所见的任何类型的组件，例如gps组件、i/o组件(例如各种类型的用户接口组件)和传感器以及相机)。其它组件316可包含一或多个用户接口(例如，gui、听觉用户接口、触觉用户接口等)、显示器、不同类型的传感器、触觉、音频和/或视觉输入/输出装置、额外专用存储器、一或多个额外控制器(例如，gpu)，或其任何组合。总线306以通信方式耦合控制器308、存储器310、网络接口312、数据存储系统314和其它组件316。计算装置304包含计算机系统，所述计算机系统至少包含经由总线306(其可包含多个总线)彼此通信的控制器308、存储器310(例如，只读存储器(rom)、快闪存储器、动态随机存取存储器(dram)(例如同步dram(sdram)或rambus dram(rdram))、静态随机存取存储器(sram)、交叉点存储器、交叉开关存储器等)，以及数据存储系统314。
62.换句话说，图3为具有计算机系统的计算装置304的框图，本公开的实施例可在所述计算机系统中操作。在一些实施例中，计算机系统可包含指令集，以用于在被执行时致使机器执行本文中所论述的方法中的任一或多个。在此类实施例中，机器可连接(例如，经由网络接口312联网)到lan、内联网、外联网和/或因特网(例如，网络315)中的其它机器。机器可作为对等(或分布式)网络环境中的对等机器或作为云计算基础设施或环境中的服务器或客户端机器而在客户端-服务器网络环境中的服务器或客户端机器的容量中进行操作。
63.控制器308表示一或多个通用处理装置，例如微处理器、中央处理单元等。更确切地说，处理装置可为复杂指令集计算(cisc)微处理器、精简指令集计算(risc)微处理器、超长指令字(vliw)微处理器、单指令多数据(simd)、多指令多数据(mimd)，或实施其它指令集的处理器，或实施指令集的组合的处理器。控制器308还可为一或多个专用处理装置，例如asic、可编程逻辑，例如fpga、数字信号处理器(dsp)、网络处理器等。控制器308被配置成执行指令以用于执行本文中所论述的操作和步骤。控制器308可进一步包含例如网络接口312的网络接口装置，以经由一或多个通信网络(例如网络315)通信。
64.数据存储系统314可包含机器可读存储媒体(也被称作计算机可读媒体)，在所述机器可读存储媒体上存储有一或多个指令集或体现本文中所描述的方法或功能中的任一或多个的软件。数据存储系统314可具有执行能力，例如其可至少部分地执行驻存在数据存储系统中的指令。指令还可在其通过计算机系统执行的期间完全地或至少部分地驻存在存储器310内和/或控制器308内，存储器310和控制器308还构成机器可读存储媒体。存储器310可为或可包含装置304的主存储器。存储器310可具有执行能力，例如其可至少部分地执行驻存在存储器中的指令。
65.虽然存储器、控制器和数据存储装置部分在实例实施例中展示为各自是单个部分，但每一部分应被认为包含可存储指令且执行其相应操作的单个部分或多个部分。术语“机器可读存储媒体”还应被认为包含能够存储或编码供机器执行的指令集且致使机器执行本公开的方法中的任一或多个的任何媒体。因此，术语“机器可读存储媒体”应被认为包含但不限于固态存储器、光学媒体和磁性媒体。
66.图4说明根据本公开的一些实施例的可由图1中所描绘的设备100的方面、图2中所
描绘的联网系统200的方面或图3中所描绘的联网系统300的方面执行的方法400的实例操作的流程图。
67.在图4中，方法400开始于步骤402，其中提供用户接口(例如，参见用户接口106和206以及其它组件316)。步骤402可包含提供gui、听觉用户接口、触觉用户接口、任何其它类型的ui，或其组合。用户接口可包含处理器和/或用户输入/输出组件和/或可由处理器和/或用户输入/输出组件提供，所述用户输入/输出组件例如显示器、投影屏幕、例如扬声器的音频输出装置，和/或例如振动装置的触觉输出装置。用户接口还可由可穿戴结构(例如，参见可穿戴结构102、202和302)提供、可连接到所述可穿戴结构，或可为所述可穿戴结构的部分。
68.在步骤404处，方法400继续通过相机(例如，参见相机108和208以及其它组件316)捕获用户的眼睛移动。眼睛移动可包含以下各者中的至少一个：眉毛移动、眼睑移动、眼睛的眼急动、眼睛的平滑跟随移动、双眼的聚散移动，或任何其它类型的眼睛移动，或其组合。相机可连接到可穿戴结构(例如，参见可穿戴结构102、202和302)或可为所述可穿戴结构的部分。
69.在步骤406处，方法400继续通过处理器(例如，参见处理器110和控制器308)从所捕获眼睛移动识别一或多个眼睛姿势。步骤406可包含至少部分地从眉毛移动、眼睑移动或其组合中的至少一个识别一或多个眼睛姿势。步骤406可包含至少部分地从用户的眼睛的所捕获眼急动识别一或多个眼睛姿势。步骤406可包含至少部分地从用户的眼睛的所捕获平滑跟随移动识别一或多个眼睛姿势。步骤406可包含至少部分地从用户的双眼的所捕获聚散移动识别一或多个眼睛姿势。换句话说，步骤406可包含从所捕获眼睛移动识别一或多个眼睛姿势，这可包含至少部分地从眉毛移动、眼睑移动、眼睛的眼急动、眼睛的平滑跟随移动、双眼的聚散移动，或任何其它类型的眼睛移动，或其组合识别一或多个眼睛姿势。
70.在步骤408处，方法400继续通过处理器基于所识别的一或多个眼睛姿势而控制用户接口的一或多个参数。在用户接口包含显示器的情况下，步骤408可包含根据所识别的一或多个眼睛姿势增加或减小显示器的至少部分的亮度。而且，步骤408可包含根据所识别的一或多个眼睛姿势增加或减小显示器的至少部分的对比度、分辨率或其组合中的至少一个。而且，步骤408可包含根据所识别的一或多个眼睛姿势激活或解除激活显示器的至少部分。步骤408还可包含在用户的眼睛不看显示器时调暗显示器的至少部分。步骤408还可包含在用户的眼睛不看显示器超出预定时间量时关断显示器。预定时间量可至少部分地由用户选择。而且，步骤408可包含在用户的眼睛不看显示器超出预定时间量时至少部分地将计算装置置于省电模式中。与省电模式选择和省电程度相关的预定时间量可由用户选择。
71.而且，处理器可连接到可穿戴结构(例如，参见可穿戴结构102、202和302)或可为所述可穿戴结构的部分。
72.在步骤410处，方法400重复步骤404到408，直到发生特定动作，例如用户接口、相机、处理器或其组合中的至少一个关闭为止。
73.在一些实施例中，应理解，步骤404到408可实施为连续过程，例如每一步骤可通过监视输入数据、执行操作和将数据输出到后续步骤而独立地运行。而且，步骤404到408可实施为离散事件过程，例如每一步骤可由其应该触发且产生特定输出的事件触发。还应理解，图4表示计算机系统的可能较复杂的方法内的最简单的方法比部分地呈现于图1-3中的方
法更复杂。因此，图4中所描绘的步骤可与从与更复杂系统的较复杂方法相关联的其它步骤馈入和馈入到所述与更复杂系统的较复杂方法相关联的其它步骤组合。
74.已依据计算机存储器内的数据位的操作的算法和符号表示呈现了先前详细描述的一些部分。这些算法描述和表示为数据处理领域的技术人员用于将其工作的主旨最有效地传达给所属领域的其他技术人员的方式。算法在此处且一般被认为是产生所要结果的操作的自洽序列。操作为要求对物理数量进行物理操控的操作。这些数量通常但未必呈能够被存储、组合、比较和以其它方式操控的电气或磁信号的形式。有时，主要出于通用的原因，已证明将这些信号称作位、值、元件、符号、字符、术语、编号等是方便的。
75.然而，应牢记，所有这些和类似术语应与适当物理数量相关联，并且仅仅是应用于这些数量的方便标签。本公开可涉及将计算机系统的寄存器和存储器内的表示为物理(电子)数量的数据操纵和变换为计算机系统存储器或寄存器或其它此类信息存储系统内的类似地表示为物理数量的其它数据的计算机系统或类似电子计算装置的动作和过程。
76.本公开还涉及用于执行本文中的操作的设备。此设备可出于预期目的而专门构造，或其可包含由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算机。此类计算机程序可存储在计算机可读存储媒体中，例如任何类型的盘(包含软盘、光盘、cd-rom和磁性光盘)、只读存储器(rom)、随机存取存储器(ram)、eprom、eeprom、磁卡或光卡，或适合于存储电子指令的任何类型的媒体，其各自耦合到计算机系统总线。
77.本文中所呈现的算法和显示器在本质上并不与任何特定计算机或其它设备相关。各种通用系统可与根据本文中的教示的程序一起使用，或其可证明构造更专用的设备来执行方法是方便的。将如下文描述中所阐述的那样来呈现多种这些系统的结构。另外，不参考任何特定编程语言来描述本公开。应了解，可使用多种编程语言来实施如本文中所描述的本公开的教示。
78.本公开可提供为计算机程序产品或软件，其可包含在其上存储有可用于对计算机系统(或其它电子装置)进行编程以执行根据本公开的过程的指令的机器可读媒体。机器可读媒体包含用于以机器(例如，计算机)可读的形式存储信息的任何机制。在一些实施例中，机器可读(例如，计算机可读)媒体包含机器(例如，计算机)可读存储媒体，例如只读存储器(“rom”)、随机存取存储器(“ram”)、磁盘存储媒体、光学存储媒体、快闪存储器组件等。
79.在前述说明书中，已参考其具体实例实施例描述了本公开的实施例。将显而易见的是，可在不脱离如所附权利要求书中阐述的本公开的实施例的更广精神和范围的情况下对本公开进行各种修改。因此，应在说明性意义上而非限制性意义上看待说明书和图式。