基于背景的图像状态选择的制作方法

基于背景的图像状态选择
相关申请的交叉引用
1.本技术要求于2020年3月19日提交的名称为“基于背景的图像状态选择”的美国申请16/824,250的优先权，其内容通过引用完整纳入本文。
技术领域
2.本主题涉及移动设备，例如，眼戴设备，并且更具体地，涉及视觉呈现基于背景的图像。


背景技术：

3.移动设备，包括蜂窝电话和眼戴设备，诸如智能眼镜、头戴设备和头套，集成了图像显示器和摄像头。该等设备可以捕捉和呈现图像。许多移动设备还集成了能够确定移动设备周围物理参数的传感器。
附图说明
4.附图仅以示例的方式而不是以限制的方式说明一种或多种实施方式。在附图中，相同的参考数字表示相同或相似的元件，并添加了字母名称以区分相同或相似的元件。当统称所述相同或相似元件或提及所述相同或相似元件中的一个非特定元素时，可以省略字母名称。
5.图1a是眼戴设备的示例硬件配置的侧视图，其包括镜角上的可见光摄像头和镜腿上的扬声器。
6.图1b和1c是图1a眼戴设备示例硬件配置的后视图，包括两种不同类型的图像显示器。
7.图2是图1a中眼戴设备镜角的俯视横剖视图，其示出了可见光摄像头、头动追踪器和电路板。
8.图3a是示例图像选择和显示系统的高级功能框图，该系统包括通过各种网络连接的眼戴设备、移动设备和服务器系统；
9.图3b是用于图3a的音频可视化器系统的服务器系统的硬件配置示例的简化框图。
10.图4是移动设备硬件配置的简化框图。
11.图5a、5b和5c是用于确定移动设备的背景状态并使用基于背景状态选择的图像生成重叠图像以用于图3a的图像选择和显示系统的示例步骤的流程图。
12.图6a是描绘对应于背景状态的图像集合的图示。
13.图6b、6c、6d和6e是通过眼戴设备的透明光学组件观察的场景的透视图，其具有与移动设备工作的背景状态(图6b、6c和6d)或移动设备本身的物理参数(图6e)相对应的重叠图像。
具体实施方式
14.以下具体实施方式包括用于基于移动设备工作的背景状态选择用户移动设备(例如，眼戴设备)显示图像的示例。例如，若移动设备在汽车中，移动设备会选择与驾驶相关的图像进行显示，如果移动设备在商店中，移动设备会选择与购物相关的图像进行显示。例如，这可用于向移动设备的用户提供与活动/背景相关的可视警报/提醒。例如，与驾驶相关的图像可能包括戴安全带的动画图像，而与购物相关的图像可能会显示标志，表明销售正在进行中。
15.下文的具体实施方式通过示例阐述大量具体细节，以便对相关教导有透彻的理解。然而，对于本领域的技术人员来说应当显而易见的是，无需该等细节也可以实践本教导。在其他情况下，为了避免不必要地模糊本交易内容的各个方面，故在相对较高的层面上陈述了公知的方法、过程、组件和电路，而未详细描述。
16.本文中所用术语“耦合”系指将一个系统元件产生或提供的电信号传递给另一个耦合元件的任何逻辑、光学、物理或电气连接、链路等。除非另有说明，否则耦合元件或设备不一定彼此直接连接，并且可以由可以修改、操纵或携带电信号的中间组件、元件或通讯介质分离。术语“在
……
上”系指由一个元件直接支持，或由该元件通过集成到该元件中或者由该元件支持的另一个元件进行间接支撑。本文中所用术语术语“约”系指所述量的
±
10％。
17.任何附图中所示的移动设备、眼戴设备、相关组件和结合有摄像头的任何成套设备的方位仅作为示例，用于说明和讨论的目的。在特定编程的操作中，可将设备定向在适合于特定应用的任何其他方向上，例如上、下、侧向或任何其他方向。此外，就本文所用的范围而言，任何方向术语，例如前、后、向内、向外、朝向、左、右、侧向、纵向、上、下、高、低、顶、底和侧，仅作为示例使用，并不限制如本文所述配置的任何摄像头或摄像头组件的方向或朝向。
18.下文的说明将部分阐述出示例的目的、优点和新特征。该等其他目的、优点和新特征对于查阅下文和附图后的本领域的技术人员而言显而易见，或可通过制作或操作示例来领会和掌握。本主题的目的和优点可以通过所附权利要求中特别指出的方法、手段和组合来实现和获得。
19.现详细参照附图中示出并在下文讨论的示例。
20.图1a以眼戴设备100的形式描述了移动设备用于确定移动设备运行的背景状态并显示与这些状态关联的图像的示例硬件配置。移动设备可以采取其他形式，如手机或平板电脑。此外，眼戴设备100可采取其他形式，并且可结合其他类型的镜架，例如，头套、头戴式耳机或头盔。眼戴设备100在镜角110b处至少包括用于在查看区域(如视场)捕获图像的可见光摄像头114。图示眼戴设备100还包括扬声器115和麦克风116。
21.可见光摄像头114对可见光波长范围敏感。如示例所示，从佩戴者的角度来看，可见光摄像头114具有正面视场，该视场配置为捕获被认为是光学组件180b的场景的图像。此类可见光摄像头114的示例包括高分辨率互补金属氧化物半导体(cmos)图像传感器和视频图形阵列(vga)摄像头，例如640p(例如，640
×
480像素，总共0.3兆像素)、720p或1080p。眼戴设备100捕获来自可见光摄像头114的图像传感器数据，以及可选的其他数据如地理位置数据和音频数据(通过麦克风116)，使用一个或多个处理器对数据进行数字化处理，并将数
字化数据存储在存储器中。术语“视场”系指移动设备的用户用他或她的眼睛通过光学组件180观看到的观察区或在移动设备显示器上呈现用可见光摄像头114捕获的信息。
22.可见光摄像头114可以耦合到图像处理器(图3a中的元件312)用于数字处理和添加与捕获场景图像的时间和位置坐标相对应的时间戳和位置坐标。图像处理器312包括用于接收来自可见光摄像头114的信号并将来自可见光摄像头114的信号处理成适于存储在存储器中的格式的电路(图3a中的元件334)。可通过图像处理器312或控制可见光摄像头114操作的其他处理器来添加时间戳。图像处理器312可以另外添加位置坐标，例如从全局定位系统接收到的位置坐标(图3a中的元件331)。
23.麦克风116可以耦合到音频处理器(图3a中的元件313)，用于数字处理和添加指示何时捕获音频的时间戳。音频处理器313包括用于接收来自麦克风116(或来自存储器)的信号并将这些信号处理成适合存储在存储器334和/或由扬声器115呈现的格式的电路。可通过音频处理器313或控制扬声器115和麦克风116操作的其他处理器来添加时间戳。
24.如图1a、1b和1c所示，眼戴设备100包括镜架105，其中左镜框107a通过与用户鼻子相适合的鼻梁架106连接到右镜框107b。左右镜框107a-b包括各自可容纳相应的光学组件180a-b的光圈175a-b。左右镜腿125a-b从镜架105的各个侧面170a-b延伸，例如，通过各自的左右镜角110a-b。每个镜腿125a-b通过各自的铰链126a-b连接到镜架105。构成镜架105、镜角110和镜腿125a-b的基板或材料可以包括塑料、醋酸盐、金属或其组合。镜角110a-b可以集成到镜架105和/或镜腿125a-b中或与之连接。
25.尽管如图所示为配有两个光学组件180a-b，但是眼戴设备100也可采用其他布置，例如单个组件或三个光学组件，或可根据眼戴设备100的应用或预期用户的具体情况，采用不同的光学组件180a-b布置。
26.在一个示例中，如图1b中所示，每个光学组件180a-b包括显示矩阵171和一个或多个光学层176a-n。显示矩阵171可能包括液晶显示器(lcd)、有机发光二极管显示器(oled)或其他此类显示器。所述一个或多个光学层176可能包括透镜、光学涂层、棱镜、反射镜、波导管、光带以及任何组合的其他光学部件。本文中所用术语透镜系指覆盖透明或半透明的玻璃或塑料片，其具有可使光会聚/发散或使极少或无光聚/发散的弯曲和扁平表面。
27.光学层176a-n可包括棱镜，此类棱镜具有合适的尺寸和配置，并且配有用于从显示矩阵接收光的第一表面和用于向用户的眼睛发射光的第二表面。光学层176a-n的棱镜可延伸到在左右镜框107a-b中形成的各自光圈175a-b的全部或至少部分，以便用户用眼睛通过相应的左右镜框107a-b观看时，看到棱镜的第二表面。光学层176a-n的棱镜的第一表面布置为沿镜架105面朝上方，且显示矩阵覆盖该棱镜，确保从显示矩阵发射的光子和光照射到第一表面。棱镜的尺寸和形状可确保光在棱镜内折射，并通过光学层176a-n的棱镜的第二表面导向用户的眼睛。在这一方面，光学层176a-n的棱镜的第二表面可凸起，以将光导向眼睛的中心。可以选择调整棱镜尺寸和形状以放大由显示矩阵171投影的图像，并使光穿过棱镜，以便从第二表面观看的图像在一个或多个维度上大于从显示矩阵171发射的图像。
28.在另一示例中，如图1c中所示，光学组件180a-b的图像显示器设备包括投影图像显示器。所示投影图像显示器包括放置在邻近眼戴设备100的其中一个镜角110a-b的激光投影仪150(例如，使用扫描镜或检流计的三色激光投影仪)和光带155a-n，其中光带155a-n在光学组件180a-b的透镜宽度上或透镜前后表面之间的透镜深度上隔开。
29.当从激光投影仪150投射的光子穿过光学组件180a和180b的透镜时，光子遇到光带155a-n。当特定的光子遇到特定的光带时，光子要么被重定向到用户的眼睛，要么传递到下一个光带。通过组合激光投影仪150调制和光带调制，来控制特定的光子或光束。在一个示例中，处理器通过启动机械、声学或电磁信号来控制光带155a-n。
30.在一个示例中，眼戴设备100的光学组件180a-b上产生的可见输出包括通过光学组件180a-b覆盖至少一部分视场的重叠图像。在一个示例中，光学组件180a-b是将重叠图像呈现为佩戴者通过光学组件的透镜查看的场景(或场景内的特征)上的覆盖的透视显示器。在另一个示例中，光学组件180a-b不是透视显示器(例如不透明显示器)，其通过将覆盖与眼戴设备的摄像头114捕获的实时图像相结合来呈现重叠图像，以便在显示器上向用户展示。
31.如上所述，眼戴设备100与处理器和存储器耦合，例如，在眼戴设备100本体中或系统其他部件内的处理器和存储器中。眼戴设备100或系统随后可以处理眼睛捕捉到的图像，例如系统中的耦合存储器和处理器来处理眼睛捕获的图像以跟踪眼睛运动。对捕获图像的这种处理建立了扫视途径以识别用户眼睛的运动。扫视途径包括基于捕获的眼睛反射变化的眼睛运动的序列或系列。眼球运动通常分为注视和扫视——分别为当眼睛注视在某一位置暂停时和当眼睛移动到另一位置时。由此产生的一系列注视和扫视称为扫视途径。平滑跟踪描述眼睛跟随移动的物体。固定眼球运动包括眼环微小扫视运动：在尝试固定期间发生的小而不自主的扫视。然后利用扫视途径来确定视场调整。
32.校准过程中可以建立眼部方向数据库。由于在校准期间各个兴趣点的已知固定位置是已知的，所以扫视途径数据库可用于建立与先前获得的校准图像的相似性。因为兴趣点的已知固定位置从校准图像中已知并且记录在眼睛方向数据库中，所以眼戴设备100可以通过将当前捕获的眼睛图像与眼睛方向数据库进行比较来确定用户的眼睛正在看哪里。与当前捕获的图像最相似的校准图像可以具有已知的兴趣点固定位置，作为当前捕获图像的眼睛方向的良好近似值。
33.图2是图1a中眼戴设备100镜角的俯视横剖视图，所示为右侧可见光摄像头114、头动追踪器109和麦克风116。左侧可见光摄像头的配置和安装位置基本上与右侧可见光摄像头114相似，不同点仅在于其连接和耦合在左侧面170a上。
34.右镜角110b包括镜角主体和镜角盖，在图2的横截面中省略了该镜角盖。如图所示，眼戴设备100包括电路板，其可能是柔性印刷电路板(pcb)240，具有用于右可见光摄像头114的控制器电路、麦克风、低功耗无线电路(例如，用于经由bluetooth
tm
的无线短程网络通信)、高速无线电路(例如，用于经由wifi的无线局域网通信)的控制器电路。右铰链126b将右镜角110b与眼戴设备100的右镜腿125c连接。在一些示例中，右侧可见光摄像头114、柔性pcb 140或其他电气接头或触点的组件可位于右镜腿125c或右铰链126b上。
35.头动追踪器109包括，例如，惯性测量单元(imu)。imu是一种电子设备，其结合使用加速度计和陀螺仪，有时也使用磁力计，来测量和报告身体的比力、角速度，有时还包括身体周围的磁场。imu的工作原理是使用一个或多个加速度计检测线性加速度，使用一个或多个陀螺仪检测旋转速率。imu的典型配置为：三个轴，每个轴配有加速度计、陀螺仪和磁力计：水平轴，用于左右移动(x)、垂直轴(y)，用于上下移动、深度或距离轴，用于上下移动(z)。陀螺仪检测重力矢量。磁力计定义磁场中的旋转(例如，面向南、北等)，其作用类似于
生成航向参考值的罗盘。三个加速度计检测沿上述定义的水平、垂直和深度轴的加速度，可相对于地面、眼戴设备100或佩戴眼戴设备100的用户对其进行定义。
36.眼戴设备100通过经由头动追踪器109跟踪用户头部运动来检测眼戴设备100用户的运动。头部移动包括在图像显示器上呈现初始显示图像期间，沿水平轴、垂直轴或其组合的头部方向相对于初始头部方向的变化。在一示例中，经由头动追踪器109跟踪用户头部运动包括经由惯性测量单元109测量沿水平轴(例如，x轴)、垂直轴(例如，y轴)或其组合(例如，横向或对角运动)的初始头部方向。经由头动追踪器109跟踪用户头部运动还包括在呈现初始显示图像期间经由惯性测量单元109测量沿水平轴、垂直轴或其组合的连续头部方向。
37.图3a是示例图像选择和显示系统300的高级功能框图。图像选择和显示系统300包括移动设备，也就是示例中的眼戴设备100。移动设备可以通过一个或多个无线网络或无线链路与其他移动设备390或服务器系统398通信。图像选择和显示系统300进一步包括其他移动设备390和服务器系统398。移动设备390可以是智能手机、平板电脑、膝上型计算机、接入点或其他能够使用，例如，低功耗无线连接325和高速无线连接337与眼戴设备100连接的设备。移动设备390接入服务器系统398和网络395。网络395可以包括有线和无线连接的任意组合。
38.眼戴设备100包括并支持可见光摄像头114、扬声器115、麦克风116、用户界面301、光学组件180的图像显示器、图像显示器驱动程序342、图像处理器312、音频处理器313、低功率电路320、高速电路330。图3a中所示的用于眼戴设备100的组件位于镜腿中的一个或多个电路板上，例如pcb或柔性pcb。作为替代或补充，所示组件可位于眼戴设备100的镜角、镜架、铰链或鼻梁架中。存储器334包括特征分析器344、特征模型345、状态选择编程346和内容识别编程347以执行此处描述的用于图像选择和显示的功能。存储器334还包括渲染引擎348，用于使用图像处理器312和图像显示器驱动程序342渲染显示器180a和180b上的重叠图像。
39.特征分析仪344执行指令，使眼戴设备100处理从通过眼戴设备100查看的场景中识别出的物体和/或方面。特征模型345是受过训练的机器学习模型，用于识别物体(如门、叉子、盘子、汽车、窗户、人、动物等)和/或方面(如运动、直线、曲线、材料)。状态选择编程346实现指令，使眼戴设备100确定眼戴设备100当前运行的背景状态。内容识别编程347实现指令，使眼戴设备100选择响应已确定的背景状态的内容(如图像)。
40.如图3a所示，高速电路330包括高速处理器343、存储器334和高速无线电路336。在一个示例中，图像显示器驱动程序342由高速处理器343操作，以驱动光学组件180的图像显示。高速处理器343可采用能够实现眼戴设备100所需的任何通用计算系统高速通信和操作的任何处理器。高速处理器343包括使用高速无线电路336在高速无线连接337上管理到无线局域网(wlan)的高速数据传输所需的处理资源。在一些示例中，高速处理器343执行眼戴设备100的操作系统，例如linux操作系统或其他此类操作系统，并且操作系统存储在存储器334中以供执行。除了任何其他任务之外，高速处理器343执行眼戴设备100的软件架构，管理与高速无线电路336的数据传输。在一些示例中，高速无线电路336配置为实现电气和电子工程师协会(ieee)802.11通信标准，在本文中也称为wi-fi。在其他实例中，高速无线电路336执行其他高速通信标准。
41.眼戴设备100的低功耗无线电路324和高速无线电路336可包括短程收发器(bluetooth
tm
)以及无线广域、局域或广域网收发器(例如，蜂窝或wifi)。移动设备390包括经由低功耗无线连接325和高速无线连接337通信的收发器，并可以使用眼戴设备100的架构的细节来实现，网络395的其他元件也可以。
42.存储器334包括能够存储各种数据和应用的存储设备，除此之外，还包括由可见光摄像头114a-b和图像处理器312生成的摄像头数据，以及由图像显示驱动器342生成以在光学组件180图像显示器上显示的图像和麦克风116和音频处理器313生成的音频数据。虽然存储器334显示为与高速电路330集成，但在其他示例中，存储器334可能是眼戴设备100的独立元件。在一些示例中，电路由线路可以提供通过包括高速处理器343的芯片从图像处理器312/音频处理器313或低功耗处理器324到存储器334的连接。在其他示例中，高速处理器343可以管理存储器334的寻址，使得低功耗处理器324将在需要涉及存储器334的读或写操作的任何时候均引导高速处理器343。
43.眼戴设备100进一步包括全球定位系统331、罗盘仪332、惯性测量单元333。gps 331是接收器，用于从gps卫星接收地理位置和时间信息的卫星无线电导航系统。罗盘仪332提供相对于地理基点方向(或点)的方向。imu 333是电子设备，使用加速度计、陀螺仪和/或磁力计的组合来测量和报告力、角速率和/或方向。
44.眼戴设备100可与主机连接。例如，眼戴设备100可经由高速无线连接337与移动设备390配对，或经由网络395连接到服务器系统398。在一个示例中，眼戴设备100通过摄像头114捕获场景的图像，并将图像发送到主机以转发到服务器系统398用来训练特征模型364。在另一个示例中，眼戴设备100从主机接收图像和/或指令。
45.眼戴设备100还包括其他输出组件和输入组件。其他输出组件包括声学组件(例如，扬声器115)、触觉组件(例如，振动电机)和其他信号发生器。眼戴设备100、移动设备390和服务器系统398的输入组件可包括字母数字输入组件(例如，键盘、配置为接收字母数字输入的触摸屏、光电键盘或其他字母数字输入组件)、基于点的输入组件(例如，鼠标、触控板、跟踪球、操纵杆、运动传感器或其他指向仪)、触觉输入组件(例如，物理按钮、提供触摸位置和力度或触摸手势的触摸屏或其他触觉输入组件)、音频输入组件(例如，麦克风)等等。
46.图像选择和显示系统300可以选择包括其他外围设备元件319。此类外围设备元件319可包括生物识别传感器、附加传感器或与眼戴设备100集成的显示元件。例如，外围设备元件319可包括任何i/o组件，i/o组件包括输出组件、运动组件、位置组件或本文所述的任何其他此类元件。
47.例如，图像选择和显示系统300的生物识别组件包括检测表情的组件(例如，手表达、面部表达、声音表达、身体姿势或眼睛跟踪)、测量生物信号(例如，血压、心率、体温、出汗或脑波)、识别人员(例如，语音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等。运动组件包括加速度传感器组件(例如，加速计)、重力传感器组件、旋转传感器组件(例如，陀螺仪)等。位置组件包括用于生成位置坐标的位置传感器组件(例如，全球定位系统(gps)接收器组件)、用于生成定位系统坐标的wifi或bluetooth
tm
收发器、高度传感器组件(例如，检测可以从中得出高度的气压的高度计或气压计)、方向传感器组件(例如，磁强计)等。此类定位系统坐标还可以通过无线连接325和337从移动设备390经由低功耗无线电
路324或高速无线电路336接收。
48.在一个示例中，图像处理器312包含定制的微处理器集成电路(ic)，用于处理来自可见光摄像头114的图像传感器数据，以及微处理器用来操作的易失性存储器。为了减少图像处理器312通电处理数据时所花费的时间，可以在ic上集成非易失性只读存储器(rom)，并带有操作或引导图像处理器312的指令。此rom可以最小化，以匹配提供从可见光摄像头114收集传感器数据所需的基本功能所需的最小尺寸，这样就不会出现导致启动时间延迟的额外功能。rom可以配置为直接存储器访问(dma)到图像处理器312微处理器的易失性存储器。dma允许从rom到图像处理器312的系统存储器的存储器间传输，而不依赖于图像处理器312的主控制器的操作。将dma提供给此引导rom进一步减少图像处理器312开机的时间，直到可以处理和存储来自可见光摄像头114的传感器数据。在一些示例中，来自可见光摄像头114的摄像头信号的最小处理由图像处理器312执行，而额外的处理可由在移动设备390或服务器系统398上操作的应用程序执行。
49.低功耗电路320包括低功耗处理器322和低功耗无线电路324。低功耗电路320的这些元件可以作为单独的元件实现，也可以作为单个芯片上系统的一部分在单个ic上实现。低功耗处理器324包含用于管理眼戴设备100的其他元件的逻辑。低功耗处理器324配置为通过低功耗无线连接325接收来自移动设备390的输入信号或指令通信。与这些指令有关的其他细节将在下文进一步说明。低功耗无线电路324包括用于通过短程网络实现低功耗无线通信系统的电路元件。bluetooth
tm
smart，又称bluetooth
tm
低能耗，是低功耗无线通信系统的一种标准实施方式，可用于实现低功耗无线电路324。在其他示例中，可能会使用其他低功率通讯系统。
50.移动设备390和网络395、低功率无线连接325和高速无线架构337的元件可以使用移动设备390的体系结构的详细信息实现，例如利用图4中所述移动设备390的短距离xcvr和wwan xcvr。
51.如图3b所示，服务器系统398可以是作为服务或网络计算系统，例如，包括处理器360、存储器362和网络通信接口361的一部分的一个或多个计算设备，以通过网络395与移动设备390和眼戴设备100通信。存储器362包括特征模型364和神经网络编程365。处理器360执行神经网络编程365配置服务器系统398，以执行本文所述的某些功能。
52.在一个示例中，服务器系统398通过网络395接收眼戴设备100通过移动设备390和其他眼戴设备的场景图像，供神经网络编程365用来训练特征模型364。服务器系统398将经过训练的特征模型发送到眼戴设备100，用于识别与背景状态相对应的特征。
53.眼戴设备100的特征模型346可以是服务器系统398的特征型号364的镜像。眼戴设备100的特征模型346在只读存储器(rom)、可擦除可编程只读存储器(eprom)或高速电路330的闪速存储器中进行本地存储。
54.图4是一个为图3的图像选择和显示系统300提供处理的移动设备390示例的高级功能框图。显示的是具有特征分析器344、图像检索编程346、内容识别编程和设备位置/方向编程348以及其他应用程序，如聊天应用程序的移动设备390的触摸屏型元件。可使用的触摸屏型移动设备示例包括(但不限于)智能手机、个人数字助理(pda)、平板电脑、笔记本电脑或其他便携式设备。然而，以示例的方式提供触摸屏型设备的结构和操作，并且本文所述的主题技术并不限于此。因此，为了讨论，图4提供了示例性移动设备390的框图，其具有
用于显示内容和接收用户输入作为(或部分作为)用户界面的触摸屏显示器。移动设备390还包括摄像头470，例如可见光摄像头和麦克风471。
55.如图4所示，移动设备390包括至少一个数字收发器(xcvr)410，显示为wwan xcvr，用于经由广域无线移动通信网络进行数字无线通信。移动设备390还包括额外的数字或模拟收发器，诸如用于短程网络通信的短距离xcvr420，例如借助于nfc、vlc、dect、zigbee、bluetooth
tm
,或者wifi。以短距离xcvr 420为例，其可以采用任何可用的双向无线局域网(wlan)收发器形式，该收发器的类型与无线局域网中实现的一个或多个标准通信协议相兼容，诸如根据ieee 802.11和wimax的某一个wi-fi标准。
56.为生成用于定位移动设备390的位置坐标，移动设备390可包括全球定位系统(gps)接收器331。或者，移动设备390可以利用短距离xcvr 420和wwan xcvr 410中的一个或二者来生成用于定位的位置坐标。例如，基于gps的定位系统蜂窝网络、wifi或bluetooth
tm
可生成非常精确的位置坐标，尤其是在组合使用的情况下。这种位置坐标可以经由xcvr420通过一个或多个网络连接传输到眼戴设备100。此外，移动设备390可以包括罗盘仪332和用于确定方向信息的惯性测量单元333。
57.收发器410、420(网络通信接口)符合现代移动网络使用的各种数字无线通信标准中的一个或多个。wwan收发器410的示例包括(但不限于)配置为根据码分多址(cdma)和第三代合作伙伴计划(3gpp)网络技术运行的收发器，例如包括但不限于第三代合作伙伴计划2(或3gpp2)和lte，有时称为“4g”。例如，收发器410、420提供双向无线信息通信，包括数字化音频信号、静态图像和视频信号、用于显示的网页信息以及与网页相关的输入，和用于用户授权策略的与移动设备390之间的各种类型的移动消息通信。
58.移动设备390还包括微处理器，如cpu 430所示。处理器是一种电路，其元件构造和布置成执行一项或多项处理功能，通常是各种数据处理功能。尽管可使用离散逻辑组件，但示例中使用了构成可编程cpu的组件。例如，微处理器包括一个或多个集成电路(ic)芯片，集成了执行cpu功能的电子元件。以处理器430为例，其可以基于任何已知或可用的微处理器架构，诸如利用arm架构的精简指令集计算(risc)，这种设置在如今的移动设备和其他便携式电子设备上非常常用。其他处理器电路可用于在智能手机、笔记本电脑和平板电脑中形成cpu 430或处理器硬件。
59.微处理器430通过配置移动设备390执行各种操作，例如，根据处理器430可执行的指令或编程，来充当移动设备390的可编程主机控制器。例如，此类操作可能包括移动设备的各种一般操作，以及与在捕获图像时确定设备位置以及在生成和呈现图像迭加时确定设备位置和方向有关的操作。尽管可以通过采用硬接线逻辑来配置处理器，但移动设备中的典型处理器是通过执行编程来配置的一般处理电路。
60.移动设备390包括存储器或存储设备系统，用于存储数据和编程。示例中，存储器系统可包括闪速存储器440a和随机存取存储器(ram)440b。ram 440b用作处理器430处理的指令和数据的短期存储器，例如用作工作数据处理存储器。闪速存储器440a通常提供更长时间的存储。
61.根据设备的类型，移动设备390存储并运行移动操作系统，通过该系统可以执行特定的应用程序，其中可能包括特征分析器344、特征模型345、状态选择编程346、内容识别编程347和渲染引擎348。然而，在某些实施方式中，编程可能是在固件或固件和应用层的组合
中实现的。例如，捕获场景图像、识别特征、分析特征、选择状态、识别内容和生成迭加的指令可能存在于固件中(例如，使用专用gpu或vpu soc)。向用户生成可见输出的指令可能存在于在应用程序中。应用程序，如状态选择编程346、内容识别编程和其他应用程序)可能是在移动设备390上运行的本机应用程序、混合应用程序或web应用程序(例如，由web浏览器执行的动态网页)。移动操作系统的示例包括谷歌android、苹果ios(i-phone或ipad设备)、windows mobile、amazon fire osos、rim黑莓操作系统等。
62.图5a、5b和5c分别为流程图500、530和550，说明移动设备(如眼戴设备100)或移动设备390的示例操作以及图像选择和显示系统300的其他组件。虽然按顺序显示，但流程图500、530和/或550中的一个或多个框可能会根据实施方式重新排序或并行。
63.下面的流程图参考了一个示例，其中移动设备是用于选择和显示图像的眼戴设备100。可以理解的是，参照眼戴设备100描述的功能可由其他眼戴设备和手机、平板电脑等其他移动设备执行。通过本文的描述，可以很容易地理解使用其他移动设备(包括带有透视显示器的设备和带有触摸屏等非透视显示器的设备)对以下操作的实施方式进行的适当修改。
64.参考图5a的流程图500，在框502中，眼戴设备100监测物理特征。物理特征是眼戴设备100周围或与之相关的特性，可用于确定使用眼戴设备的当前背景。通过非限制性示例的方式，物理特征包括速度、当日时间、位置、周围的图像等。眼戴设备100使用摄像头114、麦克风116、gps 331、罗盘仪332、惯性测量单元等一个或多个传感器监测物理特征。眼戴设备100可以将物理特征存储在存储器334中，以便在处理过程中进行检索。
65.在框504中，眼戴设备100决定其当前运行的背景状态。眼戴设备100处理步骤502监测的物理特征，以确定其背景状态。眼戴设备100的背景状态表示眼戴设备100当前运行的设置、情况和/或位置。通过非限制性示例的方式，背景状态包括用餐、夜晚、购物、开车、外出和搬家。
66.在一个示例中，眼戴设备100从存储器334中检索其周围图像等物理特征，并使用特征分析器344和特征模型345将物体识别应用于图像。如果图像中标识到盘子和叉子，眼戴设备100确定当前背景为用餐。如果识别到太阳，眼戴设备100确定当前背景为外出。如果可能有多种背景，例如外出和用餐时，眼戴设备100可以选择最合适的情况，例如，根据佩戴者的目光是否指向物体来加权识别的物体(例如，盘子或风景)或通过在图像上应用特征模型345根据过去的训练示例选择最合适的背景。
67.在另一个示例中，眼戴设备100接收位置信息(例如，来自gps 331)和速度信息(例如，基于来自gps 331的gps信号或来自imu 333的输入)。如果眼戴设备100定位在商店中并且速度小于每小时3英里，则眼戴设备100确定当前背景是购物。或者，如果眼戴设备100定位在巷道内，速度为每小时65英里，眼戴设备100确定当前背景为在车内驾驶。特征分析仪344可以将特征模型345应用于图像，以细化背景，例如，驾驶汽车而不是作为乘客和乘车。
68.在框506中，眼戴设备100选择与确定的背景状态关联的图像(框504)。每个潜在背景状态都与存储在存储器334中的状态、图像和关联的图像关联。确定上下文状态后，眼戴设备100的图像处理器312通过从存储器334中检索与确定的背景状态关联的图像来选择适当的图像。
69.在一个示例中，眼戴设备100的用户/佩戴者在配置阶段从多个可用配置主题中选
择一个主题，例如鳄梨。根据此示例，主题与多个图像的集合关联，其中每个图像对应于一个潜在的背景状态。图6a说明了一个潜在的主题600(即鳄梨)，其中包括代表与卡通鳄梨604相关的六个潜在状态602a-f的图像集合。有六幅与卡通鳄梨相关的图像606a-f，每个潜在状态602a-f都有一幅(即夜晚状态602b在毛毯606b下与鳄梨相关，外出状态602e在太阳镜606e下与鳄梨相关)。在另一个示例中，用户/佩戴者可以通过选择与每个潜在背景状态相对应的图像来设计自己的主题。
70.在框508中，眼戴设备100生成包括用于由眼戴设备100呈现的选择图像的重叠图像。在一个示例中，眼戴设备100的图像处理器312通过分析摄像头114捕获的视场内的图像(代表用户/佩戴者通过眼戴设备100查看的图像)，和定位选定的图像，使其不会遮蔽视场中的识别物体，生成重叠图像。在另一个示例中，眼戴设备100的图像处理器312将选定的图像定位，使其始终位于用户视场内的相同位置(例如，位于中心上方和右侧)。在另一个示例中，眼戴设备100的图像处理器312将所选图像注册到特定物体(如，盘子)并不断调整选定图像在视场中的位置，使其相对于特定物体始终处于同一位置(如，在10点位置与盘子的边缘相邻)，如下所述，参考图5b。
71.在框510中，眼戴设备100呈现眼戴设备100的光学组件180上的重叠图像。眼戴设备100的图像处理器312，通过图像显示器驱动程序342，在光学组件180的图像显示器上显示替换重叠图像。
72.图6b描绘了一个具有视场的示例场景，该场景通过眼戴设备100的光学组件180，包括重叠图像看到的，包括一幅重叠图像。在所示示例中，场景是从汽车外面的人行道上看到的一条巷道。重叠图像包括与移动环境602f相关的“移动”鳄梨606f(例如，根据相对于巷道的速度和位置按照框504确定)。如图所示，图像显示器驱动程序342将鳄梨606f移动到位于无障碍物区域(例如图6b中的巷道610)的中央位置。
73.图6c描绘了通过光学组件180看到的另一个实例场景，其中场景是从车内观看的巷道。重叠图像包括与驾驶环境602d相关联的“驾驶”鳄梨606d(例如，根据速度、道路位置、通过物体识别对在道路上汽车620a、b的识别以及通过物体识别对汽车内物体的识别，如方向盘622、驾驶员座椅624a和前排乘客座椅624b等，按照框504确定)。如图所示，驾驶鳄梨606d由图像显示器驱动程序342配准至汽车座位624a和b之间的位置，如下所述，参考图5b。
74.图6d描绘了通过光学组件180看到的另一个示例场景，其中场景包括在桌子上用餐。重叠图像包括与用餐环境602a相关的“用餐”鳄梨606a(例如，通过物体识别对物体，如盘子630a和叉子630b的识别，根据框504确定)。如图所示，用餐鳄梨606a配准至盘子630a的位置(例如10点)，如下所述，参考图5b。
75.在框512中，眼戴设备100监测眼戴设备100的参数，如电池电量。通过非限制性示例的方式，其他参数包括wifi信号电平、误差等。
76.在判定框514中，就监测参数作出判定。如果监测参数超过阈值，则在框516中进行处理。需要注意的是，判定的依据可能是超过上限的参数(如图5a所示)、达到极限的参数(例如关键误差代码)、低于下限的参数(例如电池充电电平、有效通信的最低信号电平等)或其他类型的比较。如果监测参数未超过阈值，则在框502处进行处理，并选择过程重复和替换图像作为眼戴设备100操作更改的背景。
77.在框516中，眼戴设备100选择响应超过阈值的监测参数的覆盖图像(框514)。在一
个示例中，当眼戴设备100的电池电量低于预定义的电量(如10％)时，将选择指示睡眠的覆盖图像(例如，图6e或其他图像中所示的夜晚内容图像606b)，以替换背景图像(将图6d与图6e对比)。
78.在框518中，眼戴设备100生成包括用于由眼戴设备100呈现的选择覆盖图像的重叠图像。眼戴设备100的图像处理器312生成替换重叠图像，如上所述，参照框508。
79.在框520中，眼戴设备100呈现眼戴设备100的光学组件180上的重叠图像。眼戴设备100的图像处理器312，通过图像显示器驱动程序342，呈现替换重叠图像，如上所述，参考框510。
80.图6e描绘了一个具有视场的示例场景，该场景通过眼戴设备100的光学组件180，包括重叠图像看到的，包括一幅替换重叠图像。在所示示例中，场景是图6d的用餐场景，用餐背景鳄梨606a替换为夜晚/睡觉鳄梨606b，例如，以友好的方式提醒用户，现在是给眼戴设备充电100的时候了。
81.参考图5b的流程图530，在框532中，眼戴设备100识别一个或多个物理特征(例如，盘子、叉子、方向盘、靠背等)。
82.在框534中，眼戴设备100决定了物理特征的置信度。特征分析仪344可以通过将特征模型345应用于眼戴设备捕获的图像来确定特征的置信度级别。
83.在框536中，眼戴设备100将所选图像配准至置信度最高的物理特征。图像处理器312可以将选定的图像配准至物理特征。
84.在框538中，眼戴设备100会生成与所配准的物理特征相邻的所选图像的重叠图像。眼戴设备100的图像处理器312生成重叠图像，如上所述，参照框508。
85.参考图5c的流程图550，在框552中，眼戴设备100识别其位置。眼戴设备可以使用gps 331中的gps坐标和包括特定位置(如商店、餐馆、公园、存储在例如处理器343可访问的存储器中的数据库中的历史标志)的数据库来识别其位置。
86.在框554中，眼戴设备100确定所识别位置的补充信息。补充资料可包括定价和销售说明等资料。
87.在框556中，眼戴设备100修改图像以将补充信息包含在内。例如，购物鳄梨606c可以修改为在购物袋上添加“sale”一词(如图6a所示)或当前适用的百分比折扣。通过这种方式，系统能够以友好的方式向用户提供更多的背景信息。
88.本文介绍的任何一种方法，如特征分析器344、特征模型345、状态选择编程346，以及针对眼戴设备100、移动设备390和服务器系统398的渲染引擎348的编程，都可以体现在一种或多种方法中，作为方法步骤或如前所述的一种或多种应用程序。根据一些示例，“应用程序”或“固件”是执行在程序中定义的函数的程序，例如体现在软件或硬件指令中的逻辑。可以使用各种编程语言来生成一个或多个以各种方式构造的应用程序，例如面向对象的编程语言(例如，objective-c、java或c )或程序设计语言(例如，c或汇编语言)。在特定示例中，第三方应用程序(例如，由非特定平台的供应商以外的实体使用android
tm
或ios
tm
软件开发工具包(sdk)开发的应用程序)可以是在ios
tm
、android
tm
、phone等移动操作系统(如ios)上运行的移动软件或其他移动操作系统。在此示例中，第三方应用程序可以调用操作系统提供的应用程序接口(api)调用，以促进本文所述的功能。应用程序可以存储在任何类型的计算机可读介质或计算机存储设备中，并由一台或多台通用计算机执
行。此外，本文披露的方法和过程还可交替体现在专用计算机硬件或应用特定集成电路(asic)、现场可编程门阵列(fpga)或复杂可编程逻辑设备(cpld)中。
89.该技术的程序方面可被视为“产品”或“制品”，通常采用在某种机器可读介质上携带或体现的可执行代码和/或相关数据的形式。例如，编程代码可以包括导航、眼睛跟踪或本文所述其他功能的代码。“存储”类型介质包括计算机、处理器或类似设备或其相关模块的任何或所有有形存储器，如各种半导体存储器、磁带机、磁盘驱动器等，它们可以随时为软件编程提供非临时存储。全部或部分软件有时可以通过互联网或其他各种电信网络进行通信。例如，此类通信可以将软件从一台计算机或处理器加载到另一台计算机，例如，从服务提供商的服务器系统398或主机加载到眼戴设备100和移动设备390的计算机平台。因此，可能承担编程、媒体内容或元数据文件的另一种介质包括光波、电波和电磁波，例如通过本地设备之间的物理接口、有线和光学固定电话网络以及各种空中链路使用的介质。承载此类波的物理元件，如有线或无线链路、光学链路等，也可被视为承载软件的介质。如本文的用法所示，除非仅限于“非暂时性”、“有形”或“存储”介质，否则计算机或机器“可读介质”等术语指参与向处理器提供指令或数据以供执行的任何介质。
90.因此，机器可读介质可采用多种形式的有形存储介质。以非易失性存储介质为例，其包括光盘或磁盘，诸如任何计算机中的所有存储设备等，可用于实现图中所示的客户端设备、媒体网关、转码器等。易失性存储介质包括动态存储器，诸如某一计算机平台的主存储器。有形传输介质包括同轴电缆；铜线和光纤，包含构成计算机系统内总线的电线。载波传输介质的形式可以采用电信号或电磁信号，或声波或光波，诸如在射频(rf)和红外(ir)数据通信期间产生的声波或光波。因此，计算机可读介质的常见形式包括：软盘、软磁盘、硬盘、磁带、任何其他磁性介质、cd-rom、dvd或dvd-rom、任何其他光学介质、穿孔卡片、纸带、任何其他带孔图案的物理存储介质、ram、prom和eprom、flash-eprom、任何其他存储器芯片或盒带、传输数据或指令的载波、传输此类载波的电缆或链路，或计算机可从中读取编程代码和/或数据的任何其他介质。其中诸多形式的计算机可读介质可能涉及将一个或多个指令的一个或多个序列传送到处理器用于执行。
91.保护范围完全由随附的权利要求限定。该范围意在且并应被解释成与当依据该规范解释时的范围一样宽泛，权利要求中所使用语言的普通含义与以下审查历史相符并被解释成包括所有结构和功能的等同物。权利要求中不存在一项旨在包括未能满足专利法第101、102或103要求的主题，它们也不应以这样的方式来解释。在此未要求保护这种主题的任何非计划中的覆盖。
92.除上述内容外，所述和所示内容不意指也不应被解释成导致任何部件、步骤、功能、目标、益处、优点或等同物专属于公众，无论其是否记载在权利要求中。
93.应了解的是，除非本文另行规定具体含义，否则本文使用的术语和表达具有相对于该等术语和表达各自的相应调查研究领域所赋予该等术语和表达的一般含义。诸如“第一”和“第二”等关系术语可仅用于将一个实体或动作与另一个实体或动作区别开，而不必要求或暗示该等实体或动作之间存在任何实际的该等关系或顺序。术语“包括”、“包含”、“含有”、“包含在内”或其任何其他变体意在涵盖非排他性的包含，使得包括或包含一系列要素或步骤的过程、方法、物品或装置，不仅包括这些要素或步骤，还可以包括未明确列出的或该等过程、方法、物品或装置固有的其他要素或步骤。在没有进一步限制的情况下，前
面带有“一个”的要素并不排除在包括该要素的过程、方法、物品或装置中存在其他相同要素。
94.除非另有说明，否则本说明书(包括随后的权利要求)中所述的任何和所有测量值、数值、额定值、位置、量级、尺寸等规格均为近似值，而非精确值。此类数量意在具有与其涉及的功能相符并且与其所属的领域中的惯例相符的合理范围。例如，除非另有明确说明，否则参数值等可能与规定量相差
±
10％。
95.此外，在前述的具体实施方式中，为了简化本次披露，各种示例将各种特征组合在一起。这种公开方法不应被解释为反映如下意图，即要求保护的示例要求具有比每项权利要求中明确叙述的特征更多的特征。相反，正如以下权利要求所反映的，待保护的主题不在于任何单个公开示例的全部特征。因此，特此将以下权利要求并入具体实施方式，每项权利要求作为单独要求保护的主题独立存在。
96.尽管前述内容描述了被认为是最佳的方式和其他示例，但可以理解的是，在该等方式和示例中可以进行各种修改，本文公开的主题可以以各种形式和示例实现，并且该等方式和示例可以应用于多种应用，本文仅描述了其中一些应用。以下权利要求旨在要求保护属于本概念真正范围内的任何以及所有修改和变化。