地理空间图像表面处理和选择的制作方法

地理空间图像表面处理和选择
相关申请的交叉引用
1.本技术要求于2020年3月17日提交的名称为“地理空间图像表面处理和选择”的美国专利申请16/821,188的优先权，其内容通过引用完整纳入本文。


背景技术：

2.移动设备，包括蜂窝电话以及诸如智能眼镜、头套式设备和头戴设备等眼戴设备，集成了图像显示器和摄像头。此类设备可以捕获和显示图像。许多移动设备还集成了能够确定移动设备物理位置的传感器。
附图说明
3.附图仅以示例的方式而不是以限制的方式说明一种或多种实施方式。在附图中，相同的参考数字表示相同或相似的元件。
4.图1a是一种眼戴设备的示例硬件配置的侧视图，该设备包含位于镜角上的可见光摄像头以及位于镜腿上的扬声器。
5.图1b和图1c是图1a中的眼戴设备的示例硬件配置的后视图，包括两种不同类型的图像显示器。
6.图2a和图2b是图1a中的眼戴设备的示例硬件配置的后视图，包括眼动追踪硬件。
7.图2c是描述追踪眼球运动的技术的图示。
8.图2d是图1a中的眼戴设备镜角的俯视横剖视图，显示了可见光摄像头、头动追踪器和电路板。
9.图3是示例图像选择与显示系统的高级功能框图，该系统包括通过各种网络连接的眼戴设备、移动设备和服务器系统。
10.图4以简化框图形式显示了移动设备的硬件配置示例
11.图5a和5b是用于捕获和分发图像以供在图3中的图像选择和显示系统中使用的示例步骤的流程图。
12.图5c、5d、5e和5f是用于显示图像重叠情况以供在图3中的图像选择和显示系统中使用的示例步骤的流程图。
13.图6a是通过眼戴设备的透视光学组件观看到的场景的透视图，其中可选择的图像对应于与用户物理位置相关的图像捕获位置。
14.图6b是通过图6a的透视光学组件观看到的场景的透视图，带有由透视光学组件显示的选定图像。
具体实施方式
15.下文的具体实施方式包括用于在用户的移动设备(如移动眼戴设备)上查看由其他人捕获的音频和视频内容的示例，其基于与用户移动设备的位置相关的捕获位置。这使得移动设备的用户能够看到他们附近的活动和细节情况，模仿高功率双筒望远镜的功能并
且使用户能够从当前位置看到用户视场中被阻挡的内容(如当用户在餐厅外面时，看到餐厅内舞台上的表演者)。在一示例中，由其他人(或之前由用户)捕获的内容用位置坐标(如gps坐标)标记并存储在服务器上。用户的移动设备将其当前位置提供给服务器，服务器检索与该位置对应的内容并将其发送至移动设备。移动设备覆盖正使用移动设备查看与场景内容相关的图标，以供用户选择。当用户选择图标时，设备会显示相关内容。
16.下文的具体实施方式通过示例阐述大量具体细节，以便对相关教学内容有透彻的理解。然而，对于本领域的技术人员来说应当显而易见的是，无需该等细节也可以实践本教学内容。在其他情况下，为了避免不必要地模糊本教学内容的各个方面，故在相对较高的层面上规定了公认的方法、过程、组件和电路说明，而未详细描述。
17.本文使用的术语“耦合”指任何逻辑、光学、物理或电气连接、链路等，一个系统元件产生或提供的电信号由此传递给另一个耦合元件。除非另有说明，否则耦合元件或设备不一定彼此直接连接，并且可以由可以修改、操纵或携带电信号的中间组件、元件或通讯介质分离。术语“在
……
上”指的是由一个元件直接支持，或由该元件通过集成到该元件中或者由该元件支持的另一个元件进行间接支撑。如本文的用法所示，术语“约”表示所述量的
±
10％。
18.任何附图中所示的移动设备、眼戴设备、相关组件和结合有摄像头的任何成套设备的方位仅作为示例，用于说明和讨论的目的。在特定程序编程的操作中，可将设备定向在适合于特定应用的任何其他方向上，例如上、下、侧向或任何其他方位。此外，就本文所用的范围而言，任何方向术语，例如前、后、向内、向外、朝向、左、右、侧向、纵向、上、下、高、低、顶、底和侧，仅作为示例使用，并不限制如本文所述配置的任何摄像头或摄像头组件的方向或方位朝向。
19.下文的说明将部分阐述出示例的目的、优点和新特征。该等其他目的、优点和新特征对于查阅下文和附图后的本领域的技术人员而言显而易见，或可通过制作或操作示例来领会和掌握。本主题的目的和优点可以通过所附权利要求中特别指出的方法、手段和组合来实现和获得。
20.现详细参照附图中示出并在下文讨论的示例。
21.图1a描述了以眼戴设备100的形式呈现的用于捕获和显示内容(如图像和视频及音频等视觉内容)的移动设备的示例硬件配置。移动设备可能采取其他形式，如移动电话或平板电脑。此外，眼戴设备100可采取其他形式，并且可结合其他类型的镜架，例如，头套、头戴式耳机或头盔。眼戴设备100包括位于镜角110b上的至少一个可见光摄像头114，用于捕获可视区域(如视场)中的图像。图示的眼戴设备100还包括扬声器115和麦克风116。
22.可见光摄像头114对可见光范围波长很敏感。如本示例所示，可见光摄像头114具有从佩戴者的角度出发的正面视场，该视场配置为通过光学组件180捕获正观看的场景图像。此类可见光摄像头114的示例包括高分辨率互补金属氧化物半导体(cmos)图像传感器和视频图形阵列(vga)摄像头，例如640p(如640
×
480像素，总共0.3兆像素)、720p或1080p。该眼戴设备100从可见光摄像头114捕获图像传感器数据，以及可选地捕获其他数据，如地理位置数据和音频数据(经由麦克风116)，使用一个或多个处理器将数据数字化，并将数字化数据存储在存储器中。术语“视场”旨在描述移动设备用户可用他或她的眼睛通过光学组
件180观看到的观察区，或者在移动设备的显示器上显示用可见光摄像头114捕获的信息。
23.可见光摄像头114可耦合到图像处理器(图3的元件312)，用于数字处理和添加与何时何地捕获场景图像相对应的时间戳和位置坐标。图像处理器312包括用于接收来自可见光摄像头114的信号并将来自可见光摄像头114的信号处理成适于存储在存储器中的格式的电路(图3中的元件334)。可通过图像处理器312或控制可见光摄像头114操作的其他处理器来添加时间戳。图像处理器312可另外添加位置坐标，如从全球定位系统接收的位置坐标(图3的元件331)。
24.麦克风116可耦合到音频处理器(图3的元件313)，用于数字处理和添加指示何时捕获音频的时间戳。音频处理器313包括从麦克风116(或从存储器)接收信号并将这些信号处理成适合存储在存储器334内和/或用扬声器115进行呈现的电路。可由音频处理器313或其他控制扬声器115和麦克风116运行的处理器来添加时间戳。
25.如图1a、1b和1c所示，眼戴设备100包括镜架105，其中左镜框107a通过与用户鼻子相适合的鼻梁架106连接到右镜框107b。左右镜框107a-b包括各自的光圈175a-b，其容纳各自的光学组件180a-b。例如，左右镜腿125a-b分别通过各自的左右镜角110a-b，从镜架105的侧面l70a-b延伸。每个镜腿125a-b通过各自的铰链126a-b连接到框架105。形成镜架105、镜角110和镜腿125a-b的基板或材料可包括塑料、醋酸纤维素塑料、金属或其组合。镜角110a-b可集成或连接到镜架105和/或镜腿125a-b。
26.尽管如图所示为配有两个光学组件180a-b，但是眼戴设备100也可采用其他布置，例如单个或三个光学组件，或可根据眼戴设备100的应用或预期用户的具体情况，采用不同的光学组件180a-b布置。
27.在一示例中，如图lb所示，每个光学组件180a-b包括显示矩阵171以及一个或多个光学层176a-n。显示矩阵171可包括液晶显示器(lcd)、有机发光二极管(oled)显示器或其他此类显示器。所述一个或多个光学层176可能包括透镜、光学涂层、棱镜、反射镜、波导管、光带以及任何组合的其他光学部件。本文中所用术语透镜系指用于覆盖的弯曲和/或平整的透明或半透明玻璃或塑料件，具备或不具备光会聚/发散作用。
28.光学层176a-n可包括棱镜，此类棱镜具有合适的尺寸和配置，并且配有用于从显示矩阵接收光的第一表面和用于向用户的眼睛发射光的第二表面。光层176a-n的棱镜可延伸到在左右镜框107a-b中形成的各自开孔175a-b的全部或至少部分，以便用户用眼睛通过相应的左右镜框107a-b观看时，看到棱镜的第二表面。光学层176a-n的棱镜的第一表面布置为沿镜架105面朝上方，且显示矩阵覆盖该棱镜，确保从显示矩阵发射的光子和光照射到第一表面。棱镜的尺寸和形状可确保光在棱镜内被折射，并被光学层176a-n的棱镜的第二表面导向用户的眼睛。在这一方面，光学层176a-n的棱镜的第二表面可凸起，以将光导向眼睛的中心。可以选择调整棱镜尺寸和形状以放大由显示矩阵171投影的图像，并使光穿过棱镜，以便从第二表面观看的图像在一个或多个维度上大于从显示矩阵171发射的图像。
29.在另一示例中，如图1c所述，光学组件180a-b的图像显示器设备包括投影图像显示器。所示投影图像显示器包括激光投影仪150(例使用扫描镜或检流计的三色激光投影仪)和光带155a-n，激光投影仪150放置在眼戴设备100的其中一个镜角110a-b附近，光带155a-n间隔置于光学组件180a-b的透镜宽度上或透镜前表面和后表面之间的透镜深度上。
30.当从激光投影仪150投射的光子穿过光学组件180a和180b的透镜时，光子遇到光
带155a-n。当特定的光子遇到特定的光带时，光子要么重定向到用户的眼睛，要么传递到下一个光带。可通过组合激光投影仪150调制和光带调制，来控制特定的光子或光束。在一示例中，处理器通过启动机械、声学或电磁信号来控制光带155a-n。
31.在一示例中，眼戴设备100的光学组件180a-b上产生的可见光输出包括通过光学组件180a-b覆盖至少一部分视场的重叠图像。在一示例中，光学组件180a-b是透视显示器，其将重叠图像呈现为佩戴者通过光学组件的透镜观看的场景上的覆盖情况(或场景内的特征)。在另一示例中，光学组件180a-b不是透视显示器(如不透明显示器)，其通过将覆盖层与眼戴设备的摄像头114捕获到的实时图像相结合的方式来显示重叠图像，以便在显示器上向用户进行呈现。
32.图2a是眼戴设备100的示例硬件配置的后视图，其包括镜架105上的眼动追踪器213，用于追踪眼戴设备100的用户的眼球运动。眼戴设备100的眼动追踪器213包括红外发射器215和红外摄像头220。可见光摄像头通常包括蓝光滤光器，用于阻挡红外光检测。在示例中，红外摄像头220为可见光摄像头，如移除了蓝光滤光器的低分辨率视频图形阵列(vga)摄像头(如640
×
480像素，总共0.3兆像素)。红外发射器215和红外摄像头220共同位于镜架105上，例如，二者均显示为连接到左镜框107a的上部。如下文进一步所详述，镜架105或一个或多个左右镜角110a-b包括红外发射器215和红外摄像头220的电路板。例如，红外发射器215和红外摄像头220可通过焊接方式与电路板相连。
33.可实施红外发射器215和红外摄像头220的其他布置，其中包括红外发射器215和红外摄像头220均在右镜框107a上的布置，或在镜架105上的不同位置，例如红外发射器215在左镜框107b上，红外摄像头220在右镜框107b上。在另一示例中，红外发射器215位于镜架105上，而红外摄像头220则位于其中一个镜角110a-b上，反之亦然。
34.基本上，红外发射器215可连接到镜架105、左镜角110a或右镜角110b上的任何位置，用于发射用户眼睛252上的红外光250的图形(图2c)。类似地，红外摄像头220基本上可与镜架105、左镜角110a或右镜角110b上的任何地方连接，用于捕获用户眼睛红外光发射图形中的至少一个反射变化254。
35.红外发射器215和红外摄像头220置于向内面向用户的眼睛，覆盖眼睛的部分或全部角度，以获取眼睛的红外图像从而追踪用户眼睛的眼动情况。例如，红外发射器215和红外摄像头220直接位于眼睛前方、镜架105的上部或位于镜架105任意端部的镜角110a-b中。球动包括在光学组件l80a-b的图像显示器上呈现初始显示图像期间，眼睛方向在水平轴、垂直轴或其组合上与初始眼睛方向的变化情况。
36.眼动追踪器213可通过测量眼睛视线方向的点位(用户在眼戴设备100的光学组件180a-b中注视的位置)比较当前捕获的图像与先前捕获的校准图像，或检测与头相对的眼睛情况来追踪眼球运动。例如，眼动追踪器213利用提取眼睛位置的视频图像非侵入性地测量眼球运动。如上所述，红外光的图形由红外发射器215发射，并且红外光从眼睛反射回来，其变化由摄像头，如红外摄像头220感应和成像。然后分析形成所获取的红外图像的数据，以从反射变化中提取眼睛转动情况。这种基于视频的眼动追踪器通常利用角膜反射(第一普尔钦斑示意图)和瞳孔中心作为随时间追踪的特征。在第二个示例中，双普尔钦斑眼动追踪器，利用来自角膜前部(第一普尔钦斑示意图)和晶状体后部(第四普尔钦斑示意图)的反射作为要追踪的特征。在第三个示例中，追踪了来自眼睛内部的图像特征，如视网膜血管，
并且随着用户眼睛的转动，这些特征也随之出现。
37.在使用眼动追踪器213追踪眼球位置之前，可执行基于用户眼睛的独特解剖特征的眼戴设备100的校准。通常，用户注视一个点位或一系列点位，而眼动追踪器213记录对应于每个视线点位的值。在经由光学组件180a-b的图像显示器、初始显示图像呈现之前，眼戴设备100通过经由光学组件180a-b的图像显示器呈现一系列校准图像以供用户眼睛观看，从而校准眼动追踪器213。每个校准图像在水平轴和垂直轴上的各自已知固定位置上都有各自的目标点。为响应查看各自目标点的用户眼睛，眼戴设备100在眼睛方向(如扫描路径)数据库中记录与各自目标点的各自已知固定点有关的眼睛解剖特征位置。
38.校准后，基于视频的眼动追踪器213可聚焦在用户的一只或两只眼睛上并记录用户(如眼戴设备100的佩戴者)注视光学组件180a-b的图像显示器时的眼球运动。当红外或近红外非准直光通过红外发射器215作为瞳孔可见的红外光照射在眼睛瞳孔上时，在红外光的反射变化中产生角膜反射。瞳孔中心与捕获的红外图像中的角膜反射之间的矢量包含红外光的反射变化，并且可用于计算表面上的注视点或眼睛视线方向。
39.可采用两种常见的红外和近红外(也称为主动光)眼动追踪技术：亮瞳孔和暗瞳孔。使用亮瞳孔还是暗瞳孔取决于照明源(红外发射器215)相对于红外摄像头220和用户眼睛的位置。若来自红外发射器215的照明与光路同轴，则当光线从视网膜反射回来时，眼睛就会充当反射器，产生类似红眼的明亮瞳孔效果。若红外发射器215的照明偏离光路，则瞳孔看起来很暗，因为视网膜的回复反射受到引导远离红外摄像头220。
40.在一示例中，眼动追踪器213的红外发射器215在用户眼睛上发射红外光照明，其可以是近红外光或低能辐射的其他短波长光束。此外，或另外，眼动追踪器213可能包括一个发射除红外光以外的其他光波长的发射器，并且眼动追踪器213还包括对该波长敏感的摄像头，用于接收和捕获具有该波长的图像。例如，眼动追踪器213可包括从眼睛捕获可见光范围内光线的可见光摄像头，如红-绿-蓝(rgb)摄像头。
41.如上所述，眼戴设备100耦合到处理器和存储器，如眼戴设备100本身或系统的另一部分中。眼戴设备100或系统可随后处理捕获的眼睛图像，例如，系统中耦合的存储器和处理器处理捕获到的眼睛图像以追踪眼球运动。对捕获到的图像进行的这种处理建立了扫描路径，以识别用户眼睛的运动。扫描路径包括基于捕获到的眼睛反射变化的眼球运动序列或系列。眼球运动通常分为此类注视和扫视——分别表示眼睛注视停留在某个位置时，以及眼睛移动到另一个位置时。产生的一系列注视和扫视称作扫描路径。平滑追踪描述眼睛追随移动物体。固定眼球运动包括微扫视：在尝试注视期间发生的小规模的、非自愿的扫视。然后使用扫描路径来确定视场调整。
42.可在校准期间建立眼睛方向数据库。由于校准期间各自目标点的已知固定位置是已知的，因此，可使用该扫描路径数据库来建立与之前校准图像的相似之处。因为目标点的已知固定位置在具有校准图像时是已知的并且记录在眼睛方向数据库中，所以眼戴设备100可通过比较当前捕获的眼睛图像与眼睛方向数据库来确定用户眼睛在看何处。与当前捕获图像最相似的校准图像可具有目标点的已知固定位置，用作当前捕获图像的眼睛方向的良好近似值。
43.图2b是另一眼戴设备200的示例硬件配置后视图。在此示例配置中，眼戴设备200描绘为在右镜角210b上含有眼动追踪器213，用于追踪眼戴设备用户的眼球运动。如图所
示，红外发射器215和红外摄像头220共同位于右镜角210b上。眼动追踪器213或眼动追踪器213的一个或多个组件可替代地或附加地位于左镜角210a和眼戴设备200的其他位置，如镜架205。眼动追踪器213具有红外发射器215和红外摄像头220与图2a中所示相似，但可改变眼动追踪器213，以对不同的光波长敏感，如先前在图2a中所述。
44.图2d是图1a中眼戴设备100镜角的俯视横剖视图，所示为右侧可见光摄像头114、头动追踪器109和麦克风116。左侧可见光摄像头的配置和安装位置基本上与右侧可见光摄像头114相似，不同点仅在于其连接和耦合在左侧面170a上。如图所示，眼戴设备100包含电路板，该电路板可采用柔性印制电路板(pcb)140。右铰链126b将右镜角110b与眼戴设备100的右镜腿125c连接。在一些示例中，右侧可见光摄像头114、柔性pcb140或其他电气接头或触点的组件可位于右镜腿125c或右铰链126b上。
45.例如，头动追踪器109包括惯性测量单元(imu)。惯性测量单元是一种电子设备，其结合使用加速度计和陀螺仪，有时也使用磁力计，来测量和报告机体的比力、角速度，有时还包括机体周围的磁场。惯性测量单元的工作原理是使用一个或多个加速度计检测线性加速度，使用一个或多个陀螺仪检测旋转速率。惯性测量单元的典型配置包括三条轴上每条轴的加速计、陀螺仪和磁强计：用于左右移动的水平轴(x)、用于顶部-底部移动的垂直轴(y)以及用于上下移动的深度轴或距离轴(z)。陀螺仪检测重力矢量。磁力计定义磁场中的旋转(如面向南、北等)，其作用类似于生成航向参考值的罗盘。三个加速度计用于检测沿上述定义的水平、垂直和深度轴的加速度，可相对于地面、眼戴设备100或佩戴眼戴设备100的用户对其进行定义。
46.眼戴设备100通过经由头动追踪器109跟踪用户头部运动来检测眼戴设备100用户的运动。头部移动包括在图像显示器上呈现初始显示图像期间，沿水平轴、垂直轴或其组合的头部方向相对于初始头部方向的变化。在一示例中，经由头动追踪器109跟踪用户头部运动包括经由惯性测量单元109测量沿水平轴(如x轴)、垂直轴(如y轴)或其组合(如横向或对角运动)的初始头部方向。经由头动追踪器109跟踪用户头部运动还包括在呈现初始显示图像期间经由惯性测量单元109测量沿水平轴、垂直轴或其组合的连续头部方向。
47.右镜角110b包括镜角主体110b和镜角帽，在图2d所示横剖面中省略了镜角帽。布置在右镜角110b内部的是各种互连电路板，诸如印制电路板或柔性印制电路板，其包括用于右侧可见光摄像头114的控制器电路、麦克风、低功率无线电路(如用于经由bluetooth
tm
的无线短程网络通信)、高速无线电路(如用于经由wifi的无线局域网通信)。
48.柔性印制电路板140布置在右镜角110b内，并耦合到右镜角110b内的一个或多个其他组件。尽管显示为在右镜角110b的电路板上成型，但右侧可见光摄像头114b也可在左镜角110a、镜腿125a-b或镜架105的电路板上成型。
49.图3是示例图像选择与显示系统300的高级功能框图。图像选择和显示系统300包括移动设备，该移动设备为本示例中的眼戴设备100。移动设备可通过一个或多个无线网络或无线链路与其他移动设备390或服务器系统398进行通信。图像选择和显示系统300还包括其他移动设备390和服务器系统398。移动设备390可以是智能手机、平板电脑、笔记本电脑、接入点或能够使用诸如低功耗无线连接325和高速无线连接337与眼戴设备100连接的其他此类设备。移动设备390通过网络395连接到服务器系统398。网络395可以包括有线和无线连接的任意组合。
50.眼戴设备100包括并支持可见光摄像头114、扬声器115、麦克风116、用户界面301、光学组件180的图像显示器、图像显示驱动器342、图像处理器312、音频处理器313、低功率电路320和高速电路330。图3a中所示的用于眼戴设备100的组件位于镜腿中的一个或多个电路板上，例如印制电路板或柔性印制电路板。此外，或另外，所示组件可位于眼戴设备100的镜角、镜架、铰链或鼻梁架中。存储器334包括图像捕获程序编程344、图像检索程序编程345，以及设备位置/方位程序编程346以执行此处描述的用于图像选择和显示的功能。存储器334另外包括使用图像处理器312和图像显示驱动器342来渲染显示器180a和180b上重叠图像的渲染引擎348。
51.图像捕获程序编程344执行指令以使眼戴设备100通过可见光摄像头114捕获场景图像和添加时间戳与位置坐标。图像检索程序编程345执行指令以使所述眼戴设备100根据所述图像所捕获的位置，即相对于所述眼戴设备100的当前位置从所述服务器系统或存储器334请求图像。设备位置/方位程序编程346执行指令以使眼戴设备100确定眼戴设备100的当前位置并确定眼戴设备的方位(如确定通过光学组件180的视场)。
52.如图3所示，高速电路330包括高速处理器343、存储器334和高速无线电路336。在本示例中，图像显示驱动器342由高速处理器343操作，以驱动光学组件180的图像显示器。高速处理器343可采用能够实现眼戴设备100所需的任何通用计算系统高速通信和操作的任何处理器。高速处理器343包括使用高速无线电路336在高速无线连接337上管理到无线局域网(wlan)的高速数据传输所需的处理资源。在某些示例中，高速处理器343执行眼戴设备100的操作系统，例如linux操作系统或其他此类操作系统，并且操作系统存储在存储器334中以供执行。除了任何其他任务之外，执行眼戴设备100的软件架构的高速处理器343用于管理采用高速无线电路336的数据传输。在某些示例中，高速无线电路336配置为实现电气和电子工程师协会(ieee)802.11通信标准，在本文中也称为wi-fi。在其他示例中，高速无线电路336执行了其他高速通信标准。
53.眼戴设备100的低功耗无线电路324和高速无线电路336可包括短程收发器(bluetooth
tm
)以及无线广域、局域或广域网收发器(如蜂窝网络或wifi)。移动设备390包括经由低功耗无线连接325和高速无线连接337通信的收发器，并可以使用眼戴设备100的架构的细节来实现，网络395的其他元件也可以。
54.存储器334包括能够存储各种数据和应用的存储设备，除此之外，还包括由可见光摄像头114和图像处理器312生成的摄像头数据，以及由图像显示驱动器342生成以在光学组件180图像显示器上显示的图像，以及由麦克风116和音频处理器313生成的音频数据。虽然存储器334显示为与高速电路330集成在一起，但在其他示例中，存储器334可能是眼戴设备100的独立元件。在某些示例中，电路由线路可以提供通过包括高速处理器343的芯片从图像处理器312/音频处理器313或低功耗处理器324到存储器334的连接。在其他示例中，高速处理器343可以管理存储器334的寻址，使得低功耗处理器324将在需要涉及存储器334的读或写操作的任何时候均引导高速处理器343。
55.眼戴设备100还包括全球定位系统331、罗盘仪332和惯性测量单元333。全球定位系统331是用于基于卫星的无线电导航系统的接收器，其用于接收来自全球定位系统卫星的地理位置和时间信息。罗盘仪332提供相对于地理基本方向(或点位)的方向。惯性测量单元333是一种使用加速度计、陀螺仪和/或磁力计的组合来测量和报告力、角速率和/或方位
的电子设备。
56.眼戴设备100可与主机连接。例如，眼戴设备100可经由高速无线连接337与移动设备390配对，或经由网络395连接到服务器系统398。在一示例中，眼戴设备100通过摄像头114捕获场景图像并将图像(连同位置和时间戳信息)发送到主机以转发到服务器系统398。在另一示例中，眼戴设备100从主机接收图像和/或指令。
57.眼戴设备100还包括其他输出组件和输入组件。其他输出组件包括声学组件(如扬声器115)、触觉组件(如振动电机)以及其他信号发生器。眼戴设备100、移动设备390和服务器系统398的输入组件可包括字母数字输入组件(如键盘、配置为接收字母数字输入的触摸屏、光电键盘或其他字母数字输入组件)、基于点的输入组件(如鼠标、触控板、跟踪球、操纵杆、运动传感器或其他指向仪)、触觉输入组件(如物理按钮、提供触摸位置和力度或触摸手势的触摸屏或其他触觉输入组件)、音频输入组件(如麦克风)等等。
58.图像选择和显示系统300可以可选择地包括附加外围设备元件319。此类外围设备元件319可包括生物识别传感器、附加传感器或与眼戴设备100集成的显示元件。例如，外围设备元件319可包括任何输入/输出组件，包括输出组件、运动组件、位置组件或本文所述的任何其他此类元件。
59.例如，图像选择和显示系统300的生物特征组件包括检测表情的组件(如手表达、面部表达、声音表达、身体姿势或眼睛跟踪)、测量生物信号(如血压、心率、体温、出汗或脑波)、识别人员(如语音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等。运动组件包括加速度传感器组件(如加速计)、重力传感器组件、旋转传感器组件(如陀螺仪)等。位置组件包括用于生成位置坐标的位置传感器组件(如全球定位系统(gps)接收器组件)、用于生成定位系统坐标的wifi或bluetooth
tm
收发器、高度传感器组件(如检测可以从中得出高度的气压的高度计或气压计)、方向传感器组件(如磁强计)等。此类定位系统坐标还可以通过无线连接325和337从移动设备390经由低功耗无线电路324或高速无线电路336接收。
60.在一示例中，图像处理器312包括定制用于处理源于可见光摄像头114的图像传感器数据的微处理器集成电路(ic)，以及微处理器用以操作而使用的易失性存储器。为减少图像处理器312在通电处理数据时所花费的时间，可在集成电路上集成带有操作或引导图像处理器312指令的非易失性只读存储器(rom)。可将该只读存储器最小化以匹配所需的最小尺寸，以提供从可见光摄像头114收集传感器数据的基本功能，从而不存在会导致启动引导时间延迟的额外功能。只读存储器可配置有对图像处理器312的微处理器的易失性存储器的直接存储器访问(dma)。直接存储器访问允许数据从只读存储器到图像处理器312的存储器间转移，而独立于图像处理器312的主控制器的操作。向该引导只读存储器提供直接存储器访问进一步减少了从图像处理器312通电直至可处理和存储源于可见光摄像头114的传感器数据的时间量。在一些示例中，源于可见光摄像头114的摄像头信号由图像处理器312执行最小化处理，并且可由移动设备390或服务器系统398上运行的应用执行额外处理。
61.低功率电路320包括低功耗处理器322和低功耗无线电路324。低功率电路320的这些元件可作为单独元件来实现，或者可作为单个芯片上的系统的一部分在单个集成电路上实现。低功耗处理器324包括用于管理眼戴设备100的其他元件的逻辑。低功耗处理器324配置为通过低功率无线连接325从移动设备390接收输入信号或指令通信。在下文中进一步描
述与此类指令相关的额外细节。低功率无线电路324包括通过短程网络实现低功率无线通信系统的电路元件。bluetooth
tm smart，也称为低功耗bluetooth
tm
，是低功率无线通信系统的一种标准实施方案，其可用于实现低功率无线电路324。在其他示例中，可使用其他低功率通信系统。
62.移动设备390和网络395的元件、低功率无线连接325和高速无线架构337可使用移动设备390的架构细节来实现，如利用图4中描述的移动设备390的短程收发器和无线广域网收发器。
63.图4是为图3的图像选择和显示系统300提供处理的移动设备390示例的高级功能框图。所显示内容为加载了图像捕获程序编程344、图像检索程序编程345和设备位置/方位程序编程346以及其他应用程序，如聊天应用程序的触摸屏型移动设备390的元件。可使用的触摸屏型移动设备示例包括(但不限于)智能手机、个人数字助理(pda)、平板电脑、笔记本电脑或其他便携式设备。然而，以示例的方式提供触摸屏型设备的结构和操作，并且本文所述的主题技术并不限于此。因此，为了讨论，图4提供了示例性移动设备390的框图，该示例性移动设备390具有用于显示内容和接收用户输入作为(或部分作为)用户界面的触摸屏显示器。移动设备390还包括摄像头470，如可见光摄像头和麦克风471。
64.如图4所示，移动设备390包括至少一个数字收发器(xcvr)410，显示为无线广域网收发器，即wwan xcvr，用于经由广域无线移动通信网络进行数字无线通信。移动设备390还包括额外的数字或模拟收发器，诸如用于短程网络通信的短程收发器420，例如借助于nfc、vlc、dect、zigbee、bluetooth
tm
，或者wifi。以短程收发器420为例，其可以采用任何可用的双向无线局域网(wlan)收发器形式，该收发器的类型与无线局域网中实现的一个或多个标准通信协议相兼容，诸如根据ieee 802.11和wimax的某一个wi-fi标准。
65.为生成用于定位移动设备390的位置坐标，移动设备390可包括全球定位系统(gps)接收器331。此外，或另外，移动设备390可以利用短程收发器420和无线广域网收发器410中的一个或二者来生成用于定位的位置坐标。例如，基于gps的定位系统蜂窝网络、wifi或bluetooth
tm
可生成非常精确的位置坐标，尤其是在组合使用的情况下。这种位置坐标可以经由收发器420通过一个或多个网络连接传输到眼戴设备100。另外，移动设备390可包括用于确定方向信息的罗盘仪332和惯性测量单元333。
66.收发器410、420(网络通信接口)符合现代移动网络使用的一个或多个数字无线通信标准。无线广域网收发器410的示例包括(但不限于)配置为根据码分多址(cdma)和第三代合作伙伴计划(3gpp)网络技术运行的收发器，例如包括但不限于第三代合作伙伴计划2(或3gpp2)和lte，有时称为“4g”。例如，收发器410、420提供双向无线信息通信，包括数字化音频信号、静态图像和视频信号、用于显示的网页信息以及与网页相关的输入，和用于用户授权策略的与移动设备390之间的各种类型的移动消息通信。
67.移动设备390还包括微处理器，如所示的cpu 430。处理器是一种电路，其元件构造和布置成执行一项或多项处理功能，通常是各种数据处理功能。尽管可使用离散逻辑组件，但示例中使用了构成可编程cpu的组件。例如，微处理器包括一个或多个集成电路(ic)芯片，集成了执行cpu功能的电子元件。以处理器430为例，其可以基于任何已知或可用的微处理器架构，诸如利用arm架构的精简指令集计算(risc)，这种设置在如今的移动设备和其他便携式电子设备上非常常用。其他处理器电路可用于在智能手机、笔记本电脑和平板电脑
中形成cpu 430或处理器硬件。
68.微处理器430通过配置移动设备390执行各种操作，如根据处理器430可执行的指令或程序编程来充当移动设备390的可编程主机控制器。例如，此类操作可包括移动设备的各种通用操作，以及与在捕获图像时确定设备位置和在生成和呈现图像叠加时确定设备位置和方位相关的操作。尽管可以通过采用硬接线逻辑来配置处理器，但移动设备中的典型处理器是通过执行程序编程来配置的一般处理电路。
69.移动设备390包括存储器或存储设备系统，用于存储数据和程序编程。在本示例中，存储器系统可包括闪速存储器440a和随机存取存储器(ram)440b。随机存取存储器440b充当由处理器430处理的指令和数据的短期存储器，例如充当工作数据处理存储器。闪速存储器440a通常提供更长时间的存储。
70.取决于设备类型，移动设备390存储并运行移动操作系统，通过该系统执行特定应用，其中可能包括图像捕获程序编程344，图像检索程序编程345，设备位置/方位程序编程346，以及渲染引擎348。然而，在某些实现中，程序编程可在固件或固件与应用层的组合中实现。例如，捕获场景图像、追踪设备位置和方位信息以及生成叠加的指令可驻留在固件中(如具有专用gpu或vpu soc)。向用户生成可见输出的指令可驻留在应用程序中。应用程序，如音频可视化程序编程344和其他应用程序，可为在移动设备390上运行的本机应用程序、混合应用程序或网络应用程序(如由网络浏览器执行的动态网页)。移动操作系统的示例包括谷歌安卓、苹果ios(i-phone或ipad设备)、windows mobile、amazon fire os、rim黑莓操作系统等。
71.图5a、5b、5c、5d、5e和5f分别为流程图500、流程图505、流程图520、流程图530、流程图532和流程图536，示出了移动设备(如眼戴设备100)或移动设备390以及图像选择和显示系统300的其他组件的示例操作。尽管显示为连续出现，但流程图500、流程图505、流程图520、流程图530、流程图532和/或流程图536中的一个或多个框可以根据实现方式重新排序或并行化。
72.下面的流程图参照一个示例来进行描述，其中移动设备是可以捕获和显示图像的眼戴设备100。据了解，参考眼戴设备100描述的功能可由其他眼戴设备和其他移动设备执行，如手机和平板电脑等。通过本文中的描述，可很容易地理解在其他移动设备(包括具有透视显示器的设备和具有非透视显示器，如触摸屏的设备)上实现以下内容的适当修改。
73.参考图5a的流程图500，在框502中，眼戴设备100捕获内容(如图像、音频和相关元数据。眼戴设备100捕获图像，如使用可见光摄像头114，并将图像存储在存储器334内。此外，眼戴设备100捕获位置坐标和时间戳信息，如使用全球定位系统331和图像处理器312，并将位置坐标和时间戳信息存储在存储器334内。眼戴设备100将位置坐标和时间戳信息存储为与其捕获的各个图像相关联的元数据。图像、音频和元数据由外界中的许多移动设备捕获。
74.在框504中，眼戴设备100将图像和相关联的元数据发送至服务器398。眼戴设备100(和其他移动设备)发送框502中捕获的图像和元数据至服务器系统398，如通过网络395和可选的移动设备390，用于聚合和中央存储。
75.参考图5b的流程图505，在框506中，服务器398接收图像和元数据，并且在框508中，服务器398存储接收到的图像和元数据。在一示例中，服务器398接收和存储来自数百万
移动设备的图像和元数据。照此，服务器398生成图像的储存库以供移动设备进行后续检索。
76.在框510中，服务器398接收眼戴设备100的位置坐标。在一示例中，服务器398从眼戴设备100接收全球定位系统位置定位坐标。服务器398可通过网络395和可选的移动设备390接收位置坐标。
77.在框512中，服务器398从存储器中检索图像，这些图像对应于与眼戴设备100的位置坐标相关的捕获位置。在一示例中，服务器识别围绕眼戴设备100的位置坐标的坐标范围，其包括，例如，从移动设备接收到的代表眼戴设备100当前位置的半英里全球定位系统位置坐标的所有全球定位系统坐标。然后，服务器398识别具有位置坐标元数据的所有图像，该位置坐标元数据在围绕该眼戴设备100的坐标范围内。
78.在框514中，服务器398向眼戴设备100发送与眼戴设备100的位置坐标相关的与捕获他们的地点相对应的图像。在一示例中，服务器398按时间顺序并基于与眼戴设备100的距离来组织图像，使得在较旧的图像和/或指示相对较远位置的元数据图像之前，发送相对接近眼戴设备100的当前位置的最近图像。
79.参考图5c的流程图520，在框522中，眼戴设备100监测其位置。眼戴设备100可使用全球定位系统331监测其位置。眼戴设备监测的位置坐标可用于捕获发送至服务器398的添加到图像的位置坐标元数据，并如下所述用于检索和显示内容。
80.在框524中，眼戴设备100监测其对应于视场的方位。眼戴设备100的视场是透过光学元件(假设为透视显示器)看到的视图。眼戴设备100监测其在三维空间中的方位(如两个轴x和y或三个轴x、y和z)以及围绕一个或多个轴的转动情况(如俯仰、偏转和/或滚动)。眼戴设备100可使用各种传感器来监测其方位，如使用罗盘仪332来确定方向并使用惯性测量单元333来确定方位。在平板电脑为移动设备的示例中，视场为屏幕上观看的图像，该图像基本上同时被平板电脑的可见光摄像头捕获。
81.在框526中，眼戴设备100将其位置坐标(在框522中监测到的位置坐标)发送至服务器398。眼戴设备100通过，例如，网络395和可选的移动设备390将其位置坐标发送至服务器系统398。
82.在框528中，眼戴设备100从服务器398接收与其位置对应的图像(服务器398确定图像，如参考框512所述)。眼戴设备100通过，例如，网络395和可选的移动设备390从服务器系统398接收图像。
83.在框530中，眼戴设备100选择与眼戴设备100的位置和方位相对应的图像以在眼戴设备100的观察区进行显示。在一示例中，眼戴设备100通过确定移动设备的方位(框530a；图5d)，确定其观察区(如视场；框530b)，针对所确定的方位计算视场内的位置坐标范围(框530c)，并选择在计算的位置坐标范围内具有位置坐标的图像(框530d)来选择图像。方位可以参照框524确定，如上所述。然后，可以基于与光学组件相关的角度值来确定视场(如围绕光学组件中心轴所指向的方向的30度锥体)。然后，计算从眼戴设备100延伸半英里的视场内所有坐标的坐标范围(如锥尖和锥底之间半英里距离的30度锥体内的所有坐标)。然后，眼戴设备100识别在计算的坐标范围内具有位置坐标元数据的所有图像。
84.在框532中，眼戴设备100生成重叠图像，包括与所选图像相关联的图像图标以供移动设备进行显示。在一示例中，眼戴设备100通过监测移动设备的方位(532b)，针对确定
的方位计算视场内的位置坐标(532c)，以及将选择的图像映射至计算的位置坐标(532d)来生成重叠图像。可选地，眼戴设备100可识别视场(532e)内的视觉提示以改进内容的映射和显示。例如，可识别建筑物、餐馆、音乐会场地和地标(如使用物体识别技术)。然后，眼戴设备100生成图像图标(图像图标可为接收到的内容的缩略图，以及响应计算的位置坐标和视觉提示的重叠图像内的图像图标的位置)(532f)。
85.眼戴设备100可聚合对应于特定位置的内容。在一示例中，与特定视觉提示，如餐馆相关联的位置范围内的所有内容可由对应于位置范围内该内容的最新内容(如图像或视频)的图标缩略图图像来表示。在另一示例中，图标可堆叠在另一图标上面，只有最新内容的图标完全可见。此外，眼戴设备100可基于诸如到视觉提示的距离或内容数量等因素来改变图标，其中越远离移动设备图标尺寸越小，并且数量越多尺寸越大。
86.在框534中，眼戴设备100在眼戴设备100的光学组件180上呈现重叠图像。图6a描绘了通过具有重叠图像的眼戴设备100的光学组件180观察到的示例场景。在所示示例中，场景为从海滩延伸到水中的码头。重叠图像包括三个图标600。第一图标600a表示在水岸海滩上的特定位置捕获的内容。第二图标600b表示描绘在码头中点捕获的街头艺人的内容。第三图标600c表示在码头末端捕获的内容。在所示示例中，第一图标600a比第二图标600b和第三图标600c大，因为该内容是在接近眼戴设备100的当前位置的点位捕获的。在其他示例中，例如，若在最后一小时内捕获了10个街头艺人的视频并且在水岸仅捕获了一个图像，则第二图标600b可能大于第一图标600a。
87.在框536中，眼戴设备100接收识别所显示重叠图像中的图像图标之一的图像选择。眼戴设备可经由用户界面301接收图像选择。在一示例中，光学组件180和眼动追踪器213提供输入选择。图6a描绘了在光学组件180上定位的光标602，其指示用户交互的当前位置。眼动追踪器213追踪眼戴设备100的佩戴者的眼睛并且响应眼睛运动而移动光标(框536a和框536b；图5f)。为选择内容，用户可将他们的视线调整到其中一个图标，这会将光标202移动到该图标。在一示例中，当用户注视与内容相关联的图标超过预定时间(如250毫秒；框536c和框536d)时，会选中内容。在另一示例中，当用户注视与内容相关联的图标并执行由眼动追踪器213检测到的特定动作(如连续快速眨眼两次)时，会选中内容。例如，在具有触摸屏显示器的平板电脑的移动设备示例中，图标叠加显示在移动设备的触摸屏上，用户可通过用其手指按下图标来进行选择。
88.在框538中，眼戴设备100呈现与识别的图像图标相关联的选定图像。图像处理器312和图像显示驱动器342在眼戴设备100的光学组件180上呈现图像。图6b描绘了光学组件180上的内容604(如视频)。在所示示例中，内容604与图标600b(图6a)相关联并且在响应该图标的选择时呈现。
89.在框540中，眼戴设备100监测图像终止选择。眼戴设备可经由用户界面301接收图像终止选择。在一示例中，眼动追踪器213提供响应眼动追踪器213检测到的特定动作的图像终止选择(如快速连续眨眼三次)或长时间注视特定方向(如向上和向右超过250毫秒)。在另一示例中，用户界面301可为眼戴设备100上的物理按钮或触控板，并且用户可通过按下按钮或在触控板上滑动手指(如向下)来选择图像终止。
90.在框542中，眼戴设备100基于是否接收到图像终止选择来处理决策。若接收到图像终止选择，则以框544进行处理，取消图像显示，光学组件恢复描绘如图6a所示图标，并重
复框522-542中的步骤。若未接收到图像终止选择，则以框546进行处理。
91.在框546中，眼戴设备100基于是否存在与所识别的图像图标相关联的所选图像的位置相对应的附加内容来处理决策。若无附加内容，则光学组件恢复描绘如图6a所示的图标并重复框522-542中的步骤。若存在附加内容(如对应于与识别的图像图标相关联的选定图像位置的一个或多个附加图像)，则在框548中进行处理。
92.在框548中，眼戴设备100接收图像前进选择。可存储附加图像，使得它们以逆时间顺序(即从最新到最旧)进行呈现。图像前进选择在有序图像中循环。在一示例中，眼动追踪器213提供响应眼动追踪器213检测到的特定动作的图像前进选择(如快速连续眨眼两次)或长时间注视特定方向(如向下和向左超过250毫秒)。在另一示例中，用户界面301可为眼戴设备100上的物理按钮或触控板，并且用户可以通过特定按下按钮(如按一次)或用手指在触控板上的滑动手势(如从后到前)来选择图像前进。根据该示例，用户可通过另一个特定按钮按压(如双次按压)或用手指在触控板上进行的另一个滑动手势(如从前到后)来选择图像后退(如查看以前查看或跳过的内容)。
93.在框550中，眼戴设备100识别响应图像前进选择的附加图像，并且在框552中，眼戴设备100呈现所识别的图像。图像处理器312和图像显示驱动器342在眼戴设备100的光学组件180上呈现附加图像。
94.本文描述的任何方法，如图像捕获程序编程344、图像检索程序编程345、设备位置/方位程序编程346以及用于眼戴设备100、移动设备390和服务器系统398的渲染引擎348的程序编程可作为方法步骤体现在一个或多个方法中，也可以像前面描述的那样体现在一个或多个应用程序中。根据某些示例，“应用程序”或“固件”是指执行程序中定义的功能的程序，如在软件或硬件指令中体现的逻辑。可以使用各种编程语言来生成一个或多个以各种方式构造的应用程序，例如面向对象的编程语言(如objective-c、java或c )或程序设计语言(如c或汇编语言)。在特定示例中，第三方应用程序(如由非特定平台的供应商以外的实体使用android
tm
或ios
tm
软件开发工具包(sdk)开发的应用程序)可以是在ios
tm
、android
tm
、phone等移动操作系统，如ios
tm
上运行的移动软件或其他移动操作系统。在此示例中，第三方应用程序可以调用操作系统提供的应用程序设计接口(api)调用，以促进本文所述的功能。可在任何类型的计算机可读介质或计算机存储设备中存储应用程序，并由一个或多个通用计算机执行应用程序。此外，本文披露的方法和过程可选择地体现在专用计算机硬件或特定应用集成电路(asic)、现场可编程门阵列(fpga)或复杂可编程逻辑器件(cpld)中。
95.该技术的程序方面可能被认为是“产品”或“制品”，通常以可执行代码和/或相关数据形式承载或体现在一种机器可读介质中。例如，程序编程代码可包括用于导航、眼球追踪或本文描述的其他功能的代码。“存储”型介质包括计算机、处理器等任何或所有有形存储器，或其相关模块，如各种半导体存储器、磁带驱动器、磁盘驱动器等，它们可以随时为软件程序编程提供非暂时性存储。软件的全部或部分有时可通过互联网或各种其他电信网络进行通信。例如，此类通信可将软件从一台计算机或处理器加载到另一台计算机或处理器，例如从服务器系统398或服务提供商的主机加载到眼戴设备100和移动设备390。可承载程序编程、媒介内容或元数据文件的另一介质类型包括光波、电波和电磁波，如，经由有线和光陆线网络以及各种空中链路而通过本地设备之间的物理接口使用的光波、电波和电磁
波。携带此类波的物理元件，如有线或无线链路、光链路等，也可视为承载软件的介质。如本文所用，除非仅限于“非暂时性”“有形”或“存储”介质，如计算机或机器“可读介质”等术语系指参与向处理器提供指令或数据以供执行的任何介质。
96.因此，机器可读介质可采用多种形式的有形存储介质。以非易失性存储介质为例，其包括光盘或磁盘，诸如任何计算机中的所有存储设备等，可用于实现图中所示的客户端设备、媒体网关、转码器等。易失性存储介质包括动态存储器，诸如某一计算机平台的主存储器。有形传输介质包括同轴电缆；铜线和光纤，包括在计算机系统中构成总线的导线。载波传输介质的形式可以采用电信号或电磁信号，或声波或光波，诸如在射频(rf)和红外(ir)数据通信期间产生的声波或光波。因此，计算机可读介质的常见形式包括：软盘、软磁盘、硬盘、磁带、任何其他磁性介质、cd-rom、dvd或dvd-rom、任何其他光学介质、穿孔卡片、纸带、任何其他带孔图案的物理存储介质、ram、prom和eprom、flash-eprom、任何其他存储器芯片或盒带、传输数据或指令的载波、传输此类载波的电缆或链路，或计算机可从中读取编程代码和/或数据的任何其他介质。其中诸多形式的计算机可读介质可能涉及将一个或多个指令的一个或多个序列传送到处理器用于执行。
97.保护范围完全由随附的权利要求限定。该范围意在且并应被解释成与当依据该规范解释时的范围一样宽泛，权利要求中所使用语言的普通含义与以下审查历史相符并被解释成包括所有结构和功能的等同物。权利要求中不存在一项旨在包括未能满足专利法第101、102或103要求的主题，它们也不应以这样的方式来解释。在此未要求保护这种主题的任何非计划中的覆盖。
98.除上述内容外，所述和所示内容不意指也不应被解释成导致任何部件、步骤、功能、目标、益处、优点或等同物专属于公众，无论其是否记载在权利要求中。
99.应当理解，除非本文另行规定具体含义，否则本文使用的术语和表达具有相对于该等术语和表达各自的相应调查研究领域所赋予该等术语和表达的一般含义。诸如“第一”和“第二”等关系术语可仅用于将一个实体或动作与另一个实体或动作区别开，而不必要求或暗示该等实体或动作之间存在任何实际的该等关系或顺序。术语“包括”、“包含”、“含有”、“包括在内”或其任何其他变体意在涵盖非排他性的包含，使得包括或包含一系列要素或步骤的过程、方法、物品或装置，不仅包括这些要素或步骤，还可以包括未明确列出的或该等过程、方法、物品或装置固有的其他要素或步骤。在没有进一步限制的情况下，前面带有“一个”的要素并不排除在包括该要素的过程、方法、物品或装置中存在其他相同要素。
100.除非另有说明，否则本说明书(包括随后的权利要求)中所述的任何和所有测量值、数值、额定值、位置、量级、尺寸等规格均为近似值，而非精确值。此类数量意在具有与其涉及的功能相符并且与其所属的领域中的惯例相符的合理范围。例如，除非另有明确说明，否则参数值等可能与规定量相差
±
10％。
101.此外，在前述的具体实施方式中，为了简化本次披露，各种示例将各种特征组合在一起。这种公开方法不应解释为反映如下意图，即要求保护的示例要求具有比每项权利要求中明确叙述的特征更多的特征。相反，正如以下权利要求所反映的，待保护的主题不在于任何单个公开示例的全部特征。因此，特此将以下权利要求并入具体实施方式，每项权利要求作为单独要求保护的主题独立存在。
102.尽管前述内容描述了被认为是最佳的方式和其他示例，但可以理解的是，在该等
方式和示例中可以进行各种修改，本文公开的主题可以以各种形式和示例实现，并且该等方式和示例可以应用于多种应用，本文仅描述了其中一些应用。以下权利要求旨在要求保护属于本概念真正范围内的任何以及所有修改和变化。