包括共享对象操纵AR体验的眼戴器的制作方法

包括共享对象操纵ar体验的眼戴器
相关申请的交叉引用
1.本技术要求于2020年6月30日提交的美国临时专利申请序列号63/046,348的优先权，该专利申请的内容全文以引用方式并入本文。
技术领域
2.本公开中阐述的示例涉及增强现实(ar)和可穿戴移动设备(诸如眼戴设备)领域。


背景技术：

3.当今可用的许多类型的计算机和电子设备，诸如移动设备(例如，智能电话、平板电脑和膝上型电脑)、手持式设备和可穿戴设备(例如，智能眼镜、数字眼戴器、头饰、头戴器和头戴式显示器)，包括各种相机、传感器、无线收发器、输入系统(例如，触敏表面、指示器)、外围设备、显示器和图形用户界面(gui)，用户可通过这些部件与显示内容交互。
4.增强现实(ar)将物理环境中的现实对象与虚拟对象组合，并将该组合显示给用户。组合显示给出了虚拟对象真实地存在于环境中的印象，尤其是当虚拟对象看起来并且表现得像真实对象一样时。
附图说明
5.从以下参考附图的具体实施方式中，将容易理解所描述的各种示例的特征。在说明书中和附图的几个视图中，每个元件使用了附图标记。当存在多个相似的元件时，可以给相似的元件指定单个附图标记，通过添加小写字母来指代特定的元件。
6.除非另外指出，否则图中所示的各种元件并非按比例绘制的。为了清楚起见，可放大或缩小各个元件的尺寸。若干附图描绘了一个或多个具体实施，并且仅作为示例呈现，而不应被解释为限制。附图中包括以下附图：
7.图1a是适用于增强现实产生系统的眼戴设备的示例性硬件配置的侧视图(右)；
8.图1b是图1a的眼戴设备的右角部的局部横截面透视图，其描绘了右可见光相机和电路板；
9.图1c是图1a的眼戴设备的示例性硬件配置的侧视图(左)，其示出了左可见光相机；
10.图1d是图1c的眼戴设备的左角部的局部横截面透视图，其描绘了左可见光相机和电路板；
11.图2a和图2b是在增强现实产生系统中利用的眼戴设备的示例性硬件配置的后视图；
12.图2c示出了检测眼睛注视方向；
13.图2d示出了检测眼睛定位；
14.图3是三维场景、由左可见光相机捕获的左原始图像和由右可见光相机捕获的右原始图像的图形描绘；
15.图4是包括经由各种网络连接的可穿戴设备(例如，眼戴设备)和服务器系统的示例性增强现实产生系统的功能框图；
16.图5是用于图4的增强现实产生系统的移动设备的示例性硬件配置的图形表示；
17.图6a示出了在第一示例中由第一用户a操作的眼戴器显示的虚拟场景；
18.图6b示出了在第一示例中由第二用户b操作的眼戴器显示的虚拟场景；
19.图7是在第一用户a和第二用户b的眼戴器中显示虚拟对象的示例性方法的流程图；
20.图8a示出了在第二示例中由第一用户a操作的眼戴器显示的虚拟场景；
21.图8b示出了在第二示例中由第二用户b操作的眼戴器显示的虚拟场景；
22.图9是对应于图8a和图8b的在第一用户a和第二用户b的眼戴器中显示虚拟对象的示例性方法的流程图。
23.图10a示出了在第三示例中由第一用户a操作的眼戴器显示的虚拟场景，其中使用眼睛追踪来控制相应虚拟对象的定位；
24.图10b示出了在第三示例中由第二用户b操作的眼戴器显示的虚拟场景；并且
25.图11是对应于图10a和图10b的在第一用户a和第二用户b的眼戴器中显示虚拟对象并使用眼睛追踪来控制虚拟对象的示例性方法的流程图。
具体实施方式
26.本发明公开了一种眼戴器，该眼戴器在眼戴设备的两个或更多个用户之间提供交互式增强现实体验以执行共享组对象操纵任务。在共享组任务会话期间，眼戴器的每个用户基于虚拟场景的相应用户正在注视的一部分来控制该虚拟场景中的相应虚拟对象的移动。每个用户还可以生成口头命令以生成虚拟对象，该虚拟对象可以与一个或多个其他虚拟对象交互。
27.以下具体实施方式包括说明本公开中阐述的示例的系统、方法、技术、指令序列和计算机器程序产品。出于提供对所公开的主题及其相关教导内容的透彻理解的目的而包括许多细节和示例。然而，相关领域的技术人员能够理解如何在没有此类细节的情况下应用相关教导内容。所公开的主题的各方面不限于所描述的特定设备、系统和方法，因为相关教导内容可以以各种方式来应用或实践。本文中所使用的术语和命名仅仅是为了描述特定方面并非旨在进行限制。通常，公知的指令实例、协议、结构和技术不一定被详细示出。
28.本文中所使用的术语“耦接”或“连接”指的是任何逻辑、光学、物理或电连接(包括链路等)，由一个系统元件产生或提供的电或磁信号通过这些连接传递到另一耦接或连接的系统元件。除非另外描述，否则耦接或连接的元件或设备不一定直接彼此连接，并且可以由中间组件、元件或通信介质隔开，中间组件、元件或通信介质中的一者或多者可修改、操纵或承载电信号。术语“上”是指由元件直接支撑或通过另一元件由元件间接支撑，该另一元件集成到元件中或由元件支撑。
29.术语“近侧”用于描述位于对象或人附近、左近或旁边的物品或物品的一部分；或者相对于该物品的其他部分更近，其他部分可以被描述为“远侧”。例如，物品最靠近对象的端部可以被称为近侧端部，而大致相对的端部可以被称为远侧端部。
30.出于说明和讨论的目的，仅以示例的方式给出了诸如附图中的任一附图所示的眼
戴设备、其他移动设备、相关联部件和结合了相机、惯性测量单元或两者的任何其他设备的定向。在操作中，眼戴设备可以在适合于眼戴设备的特定应用的任何其他方向上定向，例如，向上、向下、侧向或任何其他定向。此外，就本文所用的范围而言，任何方向性术语，诸如前、后、内、外、向、左、右、侧向、纵向、上、下、高、低、顶部、底部、侧面、水平、垂直和对角，仅以示例的方式使用，并且不限制如本文所构造或另外描述的任何相机或惯性测量单元的方向或定向。
31.示例的其他目的、优点和新颖特征将部分地在以下具体实施方式中阐述，并且部分地在本领域技术人员检查以下内容和附图后将变得显而易见，或者可通过示例的产生或操作来了解。本主题的目的和优点可借助于所附权利要求书中特别指出的方法、手段和组合来实现和达成。
32.现在详细参考附图所示和下文所讨论的示例。
33.图1a是包括触敏输入设备或触摸板181的眼戴设备100的示例性硬件配置的侧视图(右)。如图所示，触摸板181可具有细微且不易看到的边界；另选地，边界可清楚可见或包括向用户提供关于触摸板181的位置和边界的反馈的凸起或以其他方式可触知的边缘。在其他具体实施中，眼戴设备100可包括在左侧的触摸板。
34.触摸板181的表面被配置为检测手指触摸、轻击和手势(例如，移动触摸)，以便与眼戴设备在图像显示器上显示的gui一起使用，从而允许用户以直观的方式浏览并选择菜单选项，这改善并简化了用户体验。
35.对触摸板181上的手指输入的检测可实现若干功能。例如，触摸触摸板181上的任何地方都可使gui在图像显示器上显示或突出显示项目，该项目可被投影到光学组件180a、180b中的至少一者上。在触摸板181上双击可选择项目或图标。在特定方向上(例如，从前到后、从后到前、从上到下或从下到上)滑动或轻扫手指可使项目或图标在特定方向上滑动或滚动；例如，以移动到下一项目、图标、视频、图像、页面或幻灯片。在另一方向上滑动手指可以在相反方向上滑动或滚动；例如，以移动到前一项目、图标、视频、图像、页面或幻灯片。触摸板181实际上可以在眼戴设备100上的任何地方。
36.在一个示例中，在触摸板181上单击的所识别的手指手势发起对呈现在光学组件180a、180b的图像显示器上的图像中的图形用户界面元素的选择或按压。基于所识别的手指手势对呈现在光学组件180a、180b的图像显示器上的图像的调整可以是在光学组件180a、180b的图像显示器上选择或提交图形用户界面元素以用于进一步显示或执行的主要动作。
37.如图所示，眼戴设备100包括右可见光相机114b。如本文进一步描述，两个相机114a、114b从两个单独视点捕获场景的图像信息。两个所捕获的图像可用于将三维显示投影到图像显示器上以利用3d眼镜进行观看。
38.眼戴设备100包括右光学组件180b，其具有图像显示器以呈现图像，诸如深度图像。如图1a和图1b所示，眼戴设备100包括右可见光相机114b。眼戴设备100可包括多个可见光相机114a、114b，其形成被动式三维相机，诸如立体相机，其中右可见光相机114b位于右角部110b。如图1c至图1d所示，眼戴设备100还包括左可见光相机114a。
39.左和右可见光相机114a、114b对可见光范围波长敏感。可见光相机114a、114b中的每一者具有不同的前向视场，这些视场重叠以使得能够生成三维深度图像，例如，右可见光
相机114b描绘右视场111b。通常，“视场”是在空间中的特定定位处和定向上通过相机可见的场景的部分。视场111a和111b具有重叠视场304(图3)。当可见光相机捕获图像时，视场111a、111b之外的对象或对象特征未被记录在原始图像(例如，照片或图片)中。视场描述了可见光相机114a、114b的图像传感器在给定场景的所捕获的图像中拾取给定场景的电磁辐射的角度范围或幅度。视场可以被表示为视锥的角度大小；即视角。视角可以水平、垂直或对角地测量。
40.在示例中，可见光相机114a、114b具有视角在15
°
至30
°
之间(例如，24
°
)的视场，并且具有480
×
480像素(或更大)的分辨率。在另一示例中，视场可以宽得多，诸如110
°
。“覆盖角度”描述了可有效成像的可见光相机114a、114b或红外相机220(见图2a)的镜头的角度范围。通常，相机镜头产生大到足以完全覆盖相机的胶片或传感器的成像圈，可能包括某种渐晕(例如，与中心相比，图像朝向边缘变暗)。如果相机镜头的覆盖角度未遍及传感器，则成像圈将是可见的，通常具有朝向边缘的强渐晕，并且有效视角将限于覆盖角度。
41.此类可见光相机114a、114b的示例包括高分辨率互补金属氧化物半导体(cmos)图像传感器和能够具有640p(例如，640
×
480像素，总共0.3兆像素)、720p或1080p的分辨率的数字vga相机(视频图形阵列)。可见光相机114a、114b的其他示例，其可捕获高清晰度(hd)静止图像且以1642
×
1642像素(或更大)的分辨率存储这些图像；或者以高帧速率(例如，每秒三十至六十帧或更多)记录高清晰度视频且以1216
×
1216像素(或更大)的分辨率存储该记录。
42.眼戴设备100可捕获来自可见光相机114a、114b的图像传感器数据以及由图像处理器数字化的地理定位数据，以存储在存储器中。可见光相机114a、114b在二维空间域中捕获相应的左原始图像和右原始图像，这些原始图像包括二维坐标系上的像素矩阵，该二维坐标系包括用于水平定位的x轴和用于垂直定位的y轴。每个像素包括颜色属性值(例如，红色像素光值、绿色像素光值或蓝色像素光值)；和定位属性(例如，x轴坐标和y轴坐标)。
43.为了捕获立体图像以用于稍后显示为三维投影，图像处理器412(在图4中示出)可耦接到可见光相机114a、114b以接收并存储视觉图像信息。图像处理器412或另一处理器控制可见光相机114a、114b的操作以充当模拟人类双眼视觉的立体相机，并且可将时间戳添加到每个图像。每对图像上的时间戳允许将图像一起显示为三维投影的一部分。三维投影产生沉浸式逼真体验，这在包括虚拟现实(vr)和视频游戏的各种上下文中是期望的。
44.图1b是图1a的眼戴设备100的右角部110b的横截面透视图，其描绘了相机系统的右可见光相机114b和电路板。图1c是图1a的眼戴设备100的示例性硬件配置的侧视图(左)，其示出了相机系统的左可见光相机114a。图1d是图1c的眼戴设备的左角部110a的横截面透视图，其描绘了三维相机的左可见光相机114a和电路板。
45.除了连接和耦接位于左侧面170a上之外，左可见光相机114a的结构和布置基本上类似于右可见光相机114b。如图1b的示例所示，眼戴设备100包括右可见光相机114b和电路板140b，该电路板可以是柔性印刷电路板(pcb)。右铰链126b将右角部110b连接到眼戴设备100的右镜腿125b上。在一些示例中，右可见光相机114b、柔性pcb140b或其他电连接器或触点等部件可位于右镜腿125b或右铰链126b上。
46.左角部110a和右角部110b包括角部体190和角部盖，在图1b和图1d的横截面中省略了角部盖。设置在左角部110a和右角部110b内部的是各种互连的电路板，诸如pcb或柔性
pcb，其包括用于相应左可见光相机114a、右可见光相机114b、麦克风130、扬声器132、低功率无线电路(例如，用于经由bluetoothtm的无线短距离网络通信)、高速无线电路(例如，用于经由wi-fi的无线局域网通信)的控制器电路。
47.右可见光相机114b耦接到或设置在柔性pcb 140b上且由可见光相机覆盖镜头覆盖，该镜头通过形成在框架105中的开口瞄准。例如，框架105的右边缘107b，如图2a所示，该框架连接到右角部110b，并且包括用于可见光相机覆盖镜头的开口。框架105包括被配置为面向外且远离用户的眼睛的前侧。用于可见光相机覆盖镜头的开口形成在框架105的前向或外向侧面上并穿过该前向或外向侧面。在示例中，右可见光相机114b具有面向外的视场111b(图3所示)，其视线或视角与眼戴设备100的用户的右眼相关。可见光相机覆盖镜头也可粘附到右角部110b的前侧或面向外的表面，其中开口形成有面向外的覆盖角度，但在不同的向外方向上。耦接也可经由居间部件间接实现。
48.如图1b所示，柔性pcb 140b设置在右角部110b内，并且耦接到容纳在右角部110b中的一个或多个其他部件。尽管示出为形成在右角部110b的电路板上，但是右可见光相机114b可形成在左角部110a、镜腿125a、125b或框架105的电路板上。
49.图2a和图2b是包括两种不同类型的图像显示器的眼戴设备100的示例性硬件配置的后透视图。眼戴设备100的尺寸和形状被配置为供用户佩戴的形式；在该示例中为眼镜的形式。眼戴设备100可采取其他形式并且可结合其他类型的框架，例如，头戴器、头戴式耳机或头盔。
50.在眼镜的示例中，眼戴设备100包括框架105，其包括经由适于由用户的鼻部支撑的鼻梁架106连接到右边缘107b的左边缘107a。左和右边缘107a、107b包括相应的孔口175a、175b，这些孔口保持相应的光学元件180a、180b，诸如镜头和显示设备。如本文所用，术语“镜头”旨在包括透明或半透明玻璃或塑料片，其具有弯曲或平坦表面，使光会聚/发散或几乎或完全不引起会聚或发散。
51.虽然被示出为具有两个光学元件180a、180b，但是眼戴设备100可包括其他布置，诸如单个光学元件(或者其可不包括任何光学元件180a、180b)，这取决于眼戴设备100的应用或预期用户。如图进一步所示，眼戴设备100包括与框架105的左侧面170a相邻的左角部110a以及与框架105的右侧面170b相邻的右角部110b。角部110a、110b可在相应的侧面170a、170b上集成到框架105中(如图所示)或实施为在相应的侧面170a、170b上附接到框架105的单独部件。另选地，角部110a、110b可集成到附接到框架105的镜腿(未示出)中。
52.在一个示例中，光学组件180a、180b的图像显示器包括集成的图像显示器177。如图2a所示，每个光学组件180a、180b包括合适的显示矩阵177，诸如液晶显示器(lcd)、有机发光二极管(oled)显示器或任何其他此类显示器。每个光学组件180a、180b还包括一个或多个光学层176，其可以任何组合包括镜头、光学涂层、棱镜、反射镜、波导、光学条带和其他光学部件。光学层176a、176b、
…
176n(在图2a中示出为176a-n)可包括棱镜，该棱镜具有合适的尺寸和构造并包括用于接收来自显示矩阵的光的第一表面和用于向用户的眼睛发射光的第二表面。光学层176a-n的棱镜在形成在左和右边缘107a、107b中的相应的孔口175a、175b的全部或至少一部分上方延伸，以在用户的眼睛透过对应的左和右边缘107a、107b观看时允许用户看到棱镜的第二表面。光学层176a-n的棱镜的第一表面从框架105面向上，并且显示矩阵177覆盖在棱镜上，使得由显示矩阵177发射的光子和光照射在第一表面上。棱
镜的尺寸和形状被设计成使得光在棱镜内被折射并且被光学层176a-n的棱镜的第二表面导向用户的眼睛。在这一点而言，光学层176a-n的棱镜的第二表面可以是凸形的以将光导向眼睛的中心。棱镜的尺寸和形状可任选地被设计成放大由显示矩阵177投影的图像，并且光行进穿过棱镜，使得从第二表面观察的图像在一个或多个维度上大于从显示矩阵177发射的图像。
53.在一个示例中，光学层176a-n可包括透明的lcd层(保持镜头打开)，除非且直到施加使该层不透明(关闭或遮挡镜头)的电压。眼戴设备100上的图像处理器412可执行程序以将电压施加到lcd层，以便产生主动式快门系统，从而使得眼戴设备100适于观看被显示为三维投影的视觉内容。除了lcd之外的技术可用于主动式快门模式，包括响应于电压或另一类型的输入的其他类型的反应层。
54.在另一示例中，光学组件180a、180b的图像显示设备包括如图2b所示的投影图像显示器。每个光学组件180a、180b包括激光投影仪150，其是使用扫描镜或检流计的三色激光投影仪。在操作期间，光源(诸如激光投影仪150)设置在眼戴设备100的镜腿125a、125b中的一个镜腿之中或之上。在该示例中，光学组件180b包括一个或多个光学条带155a、155b、
…
155n(在图2b中示出为155a-n)，其在每个光学组件180a、180b的镜头的宽度上，或者在镜头的前表面和后表面之间的镜头的深度上间隔开。
55.当由激光投影仪150投影的光子行进穿过每个光学组件180a、180b的镜头时，光子遇到光学条带155a-n。当特定光子遇到特定光学条带时，光子要么朝向用户的眼睛重定向，要么传递到下一光学条带。激光投影仪150的调制和光学条带的调制的组合可控制特定的光子或光束。在示例中，处理器通过发出机械、声学或电磁信号来控制光学条带155a-n。虽然被示出为具有两个光学组件180a、180b，但是眼戴设备100可包括其他布置，诸如单个或三个光学组件，或者每个光学组件180a、180b可被布置有不同的布置，这取决于眼戴设备100的应用或预期用户。
56.在另一示例中，图2b中示出的眼戴设备100可包括两个投影仪，左投影仪150a(未示出)和右投影仪150b(示出为投影仪150)。左光学组件180a可包括左显示矩阵177a(未示出)或左光学条带155'a、155'b、
…
155'n(155撇，a至n，未示出)，其被配置为与来自左投影仪150a的光交互。类似地，右光学组件180b可包括右显示矩阵177b(未示出)或右光学条带155”a、155”b、
…
155”n(155双撇，a至n，未示出)，其被配置为与来自右投影仪150b的光交互。在该示例中，眼戴设备100包括左显示器和右显示器。
57.参考图2a，框架105或左和右镜腿125a-b中的一者或多者包括红外发射器215和红外相机220，它们形成眼睛追踪器(图2c)。红外发射器215和红外相机220可通过例如焊接连接到柔性pcb 140b。
58.可实施红外发射器215和红外相机220的其他布置，包括以下布置：红外发射器215和红外相机220都在右边缘107b上，或者在框架105上的不同位置中，例如，红外发射器215在左边缘107a上并且红外相机220在右边缘107b上。在另一示例中，红外发射器215在框架105上，并且红外相机220在镜腿125a-b中的一个镜腿上(或角部110a-b)，反之亦然。红外发射器215可基本上连接在框架105、左镜腿125a或右镜腿125b上的任何位置，以发射红外光图案。类似地，红外相机220可基本上连接在框架105、左镜腿125a或右镜腿125b上的任何位置，以捕获所发射的红外光图案中的至少一个反射变化。
59.红外发射器215和红外相机220被布置为向内面向用户的眼睛，具有眼睛的部分或全部视场，以便识别相应的眼睛定位和注视方向。例如，红外发射器215和红外相机220直接定位在眼睛的前面、框架105的上部部分中或框架105两端的镜腿125a-b中。
60.在示例中，处理器432利用眼睛追踪器213来确定佩戴者的眼睛234的眼睛注视方向230，如图2c所示，以及眼框内佩戴者的眼睛234的眼睛定位236，如图2d所示。眼睛追踪器213是扫描仪，其使用红外光照明(例如，近红外、短波长红外、中波长红外、长波长红外或远红外)来捕获来自眼睛234的红外光的反射变化的图像，以确定眼睛234的瞳孔232的注视方向230，以及相对于透视显示器180d的眼睛定位236。
61.图3是三维场景306、由左可见光相机114a捕获的左原始图像302a和由右可见光相机114b捕获的右原始图像302b的图形描绘。如图所示，左视场111a可与右视场111b重叠。重叠视场304表示由图像中两个相机114a、114b捕获的部分。术语“重叠”在涉及视场时意味着所生成的原始图像中的像素矩阵重叠百分之三十(30％)或更多。“基本上重叠”意味着所生成的原始图像中的像素矩阵或场景的红外图像中的像素矩阵重叠百分之五十(50％)或更多。如本文所述，两个原始图像302a、302b可被处理为包括时间戳，该时间戳允许将图像一起显示为三维投影的一部分。
62.为了捕获立体图像，如图3所示在给定时刻捕获真实场景306的一对原始红绿蓝(rgb)图像：由左相机114a捕获的左原始图像302a和由右相机114b捕获的右原始图像302b。当(例如，由图像处理器412)处理该对原始图像302a、302b时，生成深度图像。所生成的深度图像可在眼戴设备的光学组件180a、180b上、在另一显示器(例如，移动设备401上的图像显示器580)上、或在屏幕上查看。
63.所生成的深度图像在三维空间域中，并且可包括三维位置坐标系上的顶点矩阵，该三维位置坐标系包括用于水平定位(例如，长度)的x轴、用于垂直定位(例如，高度)的y轴和用于深度(例如，距离)的z轴。每个顶点可包括颜色属性(例如，红色像素光值、绿色像素光值或蓝色像素光值)；定位属性(例如，x位置坐标、y位置坐标和z位置坐标)；纹理属性；反射率属性；或它们的组合。纹理属性量化深度图像的感知纹理，诸如深度图像的顶点区域中的颜色或强度的空间布置。
64.在一个示例中，交互式增强现实系统400(图4)包括眼戴设备100，其包括框架105、从框架105的左侧面170a延伸的左镜腿125a、以及从框架105的右侧面170b延伸的右镜腿125b。眼戴设备100可进一步包括具有重叠的视场的至少两个可见光相机114a、114b。在一个示例中，眼戴设备100包括具有左视场111a的左可见光相机114a，如图3所示。左相机114a连接到框架105或左镜腿125a以从场景306的左侧捕获左原始图像302a。眼戴设备100进一步包括具有右视场111b的右可见光相机114b。右相机114b连接到框架105或右镜腿125b以从场景306的右侧捕获右原始图像302b。
65.图4是示例性交互式增强现实系统400的功能框图，该系统包括经由各种网络495(诸如因特网)连接的可穿戴设备(例如，眼戴设备100)、移动设备401和服务器系统498。交互式增强现实系统400包括眼戴设备100与移动设备401之间的低功率无线连接425和高速无线连接437。
66.如图4所示，如本文所述，眼戴设备100包括一个或多个可见光相机114a、114b，它们捕获静止图像、视频图像或静止图像和视频图像两者。相机114a、114b可具有对高速电路
430的直接存储器访问(dma)并且用作立体相机。相机114a、114b可用于捕获初始深度图像，这些初始深度图像可被渲染成三维(3d)模型，这些三维模型是红绿蓝(rgb)成像场景的纹理映射图像。设备100还可以包括用于眼睛追踪的一个或多个红外发射器215和红外相机220。
67.眼戴设备100进一步包括每个光学组件180a、180b的两个图像显示器177(一个与左侧面170a相关联，一个与右侧面170b相关联)。眼戴设备100还包括图像显示器驱动器442、图像处理器412、低功率电路420和高速电路430。每个光学组件180a、180b的图像显示器177用于呈现图像，包括静止图像、视频图像、或静止和视频图像。图像显示器驱动器442耦接到每个光学组件180a、180b的图像显示器，以便控制图像的显示。
68.眼戴设备100还包括一个或多个扬声器440(例如，一个与眼戴设备的左侧相关联，另一个与眼戴设备的右侧相关联)。扬声器440可并入到眼戴设备100的框架105、镜腿125或角部110中。一个或多个扬声器440由音频处理器443在低功率电路420、高速电路430或两者的控制下驱动。扬声器440用于呈现音频信号，包括例如节拍音轨。音频处理器443耦接到扬声器440以便控制声音的呈现。
69.图4所示的用于眼戴设备100的部件位于一个或多个电路板上，例如，位于边缘或镜腿中的印刷电路板(pcb)或柔性印刷电路(fpc)。另选地或附加地，所描绘的部件可位于眼戴设备100的角部、框架、铰链或鼻梁架中。左和右可见光相机114a、114b可包括数字相机元件，诸如互补金属氧化物半导体(cmos)图像传感器、电荷耦合器件、镜头、或可用于捕获数据(包括具有未知对象的场景的静止图像或视频)的任何其他相应的可见或光捕获元件。
70.如图4所示，高速电路430包括高速处理器432、存储器434和高速无线电路436。在该示例中，图像显示器驱动器442耦接到高速电路430并且由高速处理器432操作，以便驱动每个光学组件180a、180b的左和右图像显示器。高速处理器432可以是能够管理眼戴设备100所需的任何通用计算系统的高速通信和操作的任何处理器。高速处理器432包括使用高速无线电路436来管理到无线局域网(wlan)的高速无线连接437上的高速数据传输所需的处理资源。
71.在一些示例中，高速处理器432执行操作系统，诸如linux操作系统或眼戴设备100的其他此类操作系统，并且操作系统被存储在存储器434中以供执行。除了任何其他职责之外，执行眼戴设备100的软件架构的高速处理器432还用于管理利用高速无线电路436的数据传输。在一些示例中，高速无线电路436被配置为实现电气和电子工程师协会(ieee)802.11通信标准，本文中也称为wi-fi。在其他示例中，高速无线电路436可实施其他高速通信标准。
72.低功率电路420包括低功率处理器422和低功率无线电路424。眼戴设备100的低功率无线电路424和高速无线电路436可包括短距离收发器(bluetoothtm或蓝牙低功耗(ble))和无线广域网、局域网或广域网收发器(例如，蜂窝或wi-fi)。包括经由低功率无线连接425和高速无线连接437通信的收发器的移动设备401可使用眼戴设备100的架构的细节来实施，网络495的其他元件同样可如此实施。
73.存储器434包括能够存储各种数据和应用的任何存储设备，所述数据包括由左和右可见光相机114a、114b、红外相机220、图像处理器412生成的相机数据、以及由图像显示器驱动器442生成以在每个光学组件180a、180b的图像显示器177上显示的图像。虽然存储
器434被示出为与高速电路430集成，但在其他示例中，存储器434可以是眼戴设备100的单独的独立元件。在某些此类示例中，电气布线线路可提供从图像处理器412或低功率处理器422通过包括高速处理器432的芯片到存储器434的连接。在其他示例中，高速处理器432可管理存储器434的寻址，使得低功率处理器422将在需要涉及存储器434的读或写操作的任何时间启动高速处理器432。
74.如图4所示，眼戴设备100的高速处理器432可耦接到相机系统(可见光相机114a、114b)、图像显示器驱动器442、用户输入设备491和存储器434。如图5所示，移动设备401的cpu 530可耦接到相机系统570、移动显示器驱动器582、用户输入层591和存储器540a。
75.服务器系统498可以是作为服务或网络计算系统的一部分的一个或多个计算设备，例如包括处理器、存储器和网络通信接口以通过网络495与一个或多个眼戴设备100和移动设备401通信的计算设备。
76.眼戴设备100的输出部件包括视觉元件，诸如与每个镜头或光学组件180a、180b相关联的左和右图像显示器177，如图2a和图2b所述(例如，显示器，诸如液晶显示器(lcd)、等离子体显示面板(pdp)、发光二极管(led)显示器、投影仪或波导)。眼戴设备100可包括面向用户的指示符(例如，led、扬声器或振动致动器)，或面向外的信号(例如，led、扬声器)。每个光学组件180a、180b的图像显示器177由图像显示器驱动器442驱动。在一些示例性配置中，眼戴设备100的输出部件进一步包括附加指示符，诸如可听元件(例如，扬声器)、触觉部件(例如，致动器，诸如用于生成触觉反馈的振动马达)和其他信号生成器。例如，设备100可包括面向用户的指示符组和面向外的信号组。面向用户的指示符组被配置为由设备100的用户看到或以其他方式感知到。例如，设备100可包括被定位成使得用户可以看见它的led显示器、被定位成生成用户可以听到的声音的一个或多个扬声器、或者提供用户可以感觉到的触觉反馈的致动器。面向外的信号组被配置为由设备100附近的观察者看到或以其他方式感知到。类似地，设备100可包括被配置和定位成由观察者感知到的led、扬声器或致动器。
77.眼戴设备100的输入部件可包括字母数字输入部件(例如，被配置为接收字母数字输入的触摸屏或触摸板、摄影光学键盘或其他字母数字配置的元件)、基于点的输入部件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器或其他指点仪器)、触觉输入部件(例如，按钮开关、感测触摸或触摸手势的位置、力或位置和力的触摸屏或触摸板，或其他触觉配置的元件)和音频输入部件(例如，麦克风)等。移动设备401和服务器系统498可包括字母数字、基于点、触觉、音频和其他输入部件。
78.在一些示例中，眼戴设备100包括被称为惯性测量单元472的运动感测部件的集合。运动感测部件可以是具有微观移动部件的微机电系统(mems)，这些微观移动部件通常足够小以成为微芯片的一部分。在一些示例性配置中，惯性测量单元(imu)472包括加速度计、陀螺仪和磁力计。加速度计感测设备100相对于三个正交轴(x、y、z)的线性加速度(包括由于重力而引起的加速度)。陀螺仪感测设备100绕三个旋转轴(俯仰、滚转、偏航)的角速度。加速度计和陀螺仪可一起提供关于设备相对于六个轴(x、y、z、俯仰、滚转、偏航)的定位、定向和运动数据。如果存在磁力计，则磁力计感测设备100相对于磁北极的航向。设备100的定位可以由位置传感器诸如gps单元473、用于生成相对定位坐标的一个或多个收发器、高度传感器或气压计和其他定向传感器来确定。还可经由低功率无线电路424或高速无
线电路436从移动设备401通过无线连接425和437接收此类定位系统坐标。
79.imu 472可包括数字运动处理器或程序，或者与数字运动处理器或程序协作，该数字运动处理器或程序从部件采集原始数据，并且计算关于设备100的定位、定向和运动的多个有用值。例如，从加速度计采集的加速度数据可被积分以获得相对于每个轴(x、y、z)的速度；并再次被积分以获得设备100的定位(以线性坐标x、y和z表示)。来自陀螺仪的角速度数据可被积分以获得设备100的定位(以球面坐标表示)。用于计算这些有效值的程序可存储在存储器434中并且由眼戴设备100的高速处理器432执行。
80.眼戴设备100可以可选地包括附加的外围传感器，诸如与眼戴设备100集成的生物计量传感器、特性传感器或显示元件。例如，外围设备元件可包括任何i/o部件，包括输出部件、运动部件、定位部件或本文所述的任何其他此类元件。例如，生物计量传感器可包括检测表情(例如，手势、面部表情、声音表达、身体姿势或眼睛追踪)、测量生物信号(例如，血压、心率、体温、出汗或脑电波)或识别人(例如，基于语音、视网膜、面部特征、指纹或电生物信号诸如脑电图数据的识别)等的部件。
81.移动设备401可以是智能电话、平板电脑、膝上型计算机、接入点或能够使用低功率无线连接425和高速无线连接437两者与眼戴设备100连接的任何其他此类设备。移动设备401连接到服务器系统498和网络495。网络495可包括有线和无线连接的任何组合。
82.如图4所示的交互式增强现实系统400包括通过网络495耦接到眼戴设备100的计算设备，诸如移动设备401。交互式增强现实系统400包括用于存储指令的存储器和用于执行指令的处理器。由处理器432执行交互式增强现实系统400的指令将眼戴设备100配置为与移动设备401协作，并且也通过网络495与另一眼戴设备100协作。交互式增强现实系统400可利用眼戴设备100的存储器434或移动设备401的存储器元件540a、540b、540c(图5)。
83.交互式增强现实系统400还可以利用单独的远程眼戴设备100b的存储器434来协作数据，诸如在执行共享应用460(图6a、图6b、图8a和图8d)时。此外，交互式增强现实系统400可利用眼戴设备100的处理器元件432、422或移动设备401的中央处理单元(cpu)530(图5)。交互式增强现实系统400还可以利用眼戴设备100b的处理器元件432、422来共享处理，诸如在执行共享应用460(图6a、图6b、图8a和图8d)时。此外，交互式增强现实系统400可进一步利用服务器系统498的存储器和处理器元件。在这个方面中，交互式增强现实系统400的存储器和处理功能可以跨眼戴设备100、移动设备401和服务器系统498共享或分布。
84.图5是示例性移动设备401的高级功能框图。移动设备401包括闪存存储器540a，其存储要由cpu 530执行以执行本文所述的所有功能或功能子集的程序。
85.移动设备401可包括相机570，其包括至少两个可见光相机(具有重叠的视场的第一和第二可见光相机)或具有基本上重叠的视场的至少一个可见光相机和深度传感器。闪存存储器540a可进一步包括经由相机570生成的多个图像或视频。
86.如图所示，移动设备401包括图像显示器580、控制图像显示器580的移动显示器驱动器582和显示控制器584。在图5的示例中，图像显示器580包括用户输入层591(例如，触摸屏)，其层叠在由图像显示器580使用的屏幕的顶部上或以其他方式集成到该屏幕中。
87.可使用的触摸屏式的移动设备的示例包括(但不限于)智能电话、个人数字助理(pda)、平板计算机、膝上型计算机或其他便携式设备。然而，触摸屏式的设备的结构和操作是以示例的方式提供的；如本文所述的主题技术并不旨在局限于此。出于该讨论的目的，图
5因此提供了具有用户界面的示例性移动设备401的框图图示，该用户界面包括用于接收输入(通过手、触笔或其他工具的触摸、多点触摸或手势等)的触摸屏输入层891和用于显示内容的图像显示器580。
88.如图5所示，移动设备401包括用于经由广域无线移动通信网络进行数字无线通信的至少一个数字收发器(xcvr)510，示出为wwan xcvr。移动设备401还包括附加的数字或模拟收发器，诸如用于诸如经由nfc、vlc、dect、zigbee、bluetoothtm或wi-fi进行短距离网络通信的短距离收发器(xcvr)520。例如，短距离xcvr 520可采取与在无线局域网中实施的一个或多个标准通信协议(例如，符合ieee 802.11的wi-fi标准之一)兼容的类型的任何可用双向无线局域网(wlan)收发器的形式。
89.为了生成用于定位移动设备401的位置坐标，移动设备401可包括全球定位系统(gps)接收器。另选地或附加地，移动设备401可利用短距离xcvr 520和wwan xcvr 510中的任一者或两者来生成用于定位的位置坐标。例如，基于蜂窝网络、wi-fi或bluetooth
tm
的定位系统可生成非常准确的位置坐标，尤其是当它们组合使用时。此类位置坐标可经由xcvr 510、520通过一个或多个网络连接传输到眼戴设备。
90.收发器510、520(即，网络通信接口)符合现代移动网络所利用的各种数字无线通信标准中的一个或多个标准。wwan收发器510的示例包括(但不限于)被配置为根据码分多址(cdma)和第3代合作伙伴计划(3gpp)网络技术操作的收发器，所述技术包括例如但不限于3gpp类型2(或3gpp2)和lte，有时被称为“4g”。例如，收发器510、520提供信息的双向无线通信，所述信息包括数字化音频信号、静止图像和视频信号、用于显示的网页信息以及web相关输入，以及去往/来自移动设备401的各种类型的移动消息通信。
91.移动设备401进一步包括用作中央处理单元(cpu)的微处理器；如图4中的cpu 530所示。处理器是具有被构造并布置成执行一个或多个处理功能(通常是各种数据处理功能)的元件的电路。尽管可使用分立的逻辑部件，但是这些示例利用形成可编程cpu的部件。微处理器例如包括一个或多个集成电路(ic)芯片，其结合了执行cpu的功能的电子元件。例如，cpu 530可基于任何已知或可用的微处理器架构，诸如使用arm架构的精简指令集计算(risc)，正如现今在移动设备和其他便携式电子设备中通常使用的。当然，处理器电路的其他布置可用于形成智能电话、膝上型计算机和平板电脑中的cpu 530或处理器硬件。
92.通过将移动设备401配置为例如根据cpu 530可执行的指令或程序来执行各种操作，cpu 530用作移动设备401的可编程主机控制器。例如，此类操作可包括移动设备的各种一般操作，以及与用于移动设备上的应用的程序相关的操作。尽管处理器可使用硬连线逻辑来配置，但是移动设备中的典型处理器是通过执行程序来配置的通用处理电路。
93.移动设备401包括用于存储程序和数据的存储器或存储系统。在示例中，存储器系统可根据需要包括闪存存储器540a、随机存取存储器(ram)540b和其他存储器部件540c。ram 540b用作由cpu 530处理的指令和数据的短期存储装置，例如，用作工作数据处理存储器。闪存存储器540a通常提供长期存储。
94.因此，在移动设备401的示例中，闪存存储器540a用于存储由cpu 530执行的程序或指令。根据设备的类型，移动设备401存储并运行移动操作系统，特定应用通过该移动操作系统执行。移动操作系统的示例包括google android、apple ios(用于iphone或ipad设备)、windows mobile、amazon fire os、rim blackberry os等。
95.眼戴设备100内的处理器432可构建眼戴设备100周围的环境的地图，确定眼戴设备在映射的环境内的位置，并且确定眼戴设备相对于映射的环境中的一个或多个对象的相对定位。处理器432可构建地图，并且使用应用于从一个或多个传感器接收的数据的即时定位与地图构建(slam)算法来确定位置和定位信息。在增强现实的上下文中，slam算法用于构建并更新环境的地图，同时追踪并更新设备(或用户)在映射的环境中的位置。数学解可使用各种统计方法来近似，诸如粒子滤波器、卡尔曼滤波器、扩展卡尔曼滤波器和协方差交集。
96.传感器数据包括从相机114a、114b中的一者或两者接收的图像、从激光测距仪接收的距离、从gps单元473接收的定位信息、或两个或更多个此类传感器数据的组合，或来自提供用于确定定位信息的数据的其他传感器的数据。
97.图6a和图6b示出了可在每个眼戴器上操作以创建增强现实体验的共享组任务应用460的操作的第一示例，其中第一眼戴设备100a的第一用户a和第二眼戴设备100b的第二用户b可以各自查看、操纵和编辑共享图像中的对每个用户可见的一个或多个虚拟对象。该共享组任务应用460是远程异步游戏体验，其使得相应眼戴器的两个或多个用户能够通过一起工作在虚拟环境中协作和远程交互。在示例中，第一用户a和第二用户b可以是经由相应眼戴器交互以共同生成和修改共享图像诸如虚拟场景中的一个或多个虚拟对象的朋友或同事。
98.图6a示出了第一眼戴设备100a的显示器177a，其在第一参考系中示出了虚拟对象600，该第一参考系被示出为第一用户a可见的虚拟场景602a。图6b示出了第二眼戴设备100b的显示器177b，其在第二参考系中显示了相同的虚拟对象600，该第二参考系被示出为第二用户b可见的虚拟场景602b。所显示的虚拟场景602a和602b彼此相同，并彼此镜像。每个用户a和用户b都可以操纵所显示的虚拟对象600，诸如通过使用相应眼戴设备100的输入部件，诸如触摸板181，通过轻击另一虚拟对象604并相对于虚拟对象600操纵第二虚拟对象604。在眼戴设备100a与眼戴设备100b同步的状态下，一个用户对虚拟对象600的操纵被显示在另一用户的眼戴设备100的显示器177上。
99.眼戴设备100的输入部件诸如触摸板181和移动设备401可包括字母数字输入部件(例如，键盘、被配置为接收字母数字输入的触摸屏、摄影光学键盘或其他字母数字输入部件)、基于点的输入部件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器或其他指点仪器)、触觉输入部件(例如，物理按钮、提供触摸位置和触摸力或触摸手势的触摸屏或其他触觉输入部件)、音频输入部件(例如，麦克风)等。
100.例如，如图6a和图6b所示，虚拟对象600被示为建筑物，并且第二虚拟对象604是可以被添加到虚拟对象600的构建块。同样，可以从虚拟对象600中移除虚拟对象604，从而可以根据需要添加、操纵和移除虚拟对象。用户协作允许共同创建和修改虚拟对象。还可以包括场景的其他特征，诸如道路、公园和水域。
101.图7是描绘处理器432在可穿戴设备(例如，眼戴设备100)上执行本文描述的增强现实共享组任务应用460的指令的操作方法的流程图700。尽管如本文所述，参考眼戴设备100a和眼戴设备100b描述了处理器432的步骤，但是本领域技术人员根据本文的描述将理解所描述的步骤针对其他类型的设备的其他具体实施。另外，可以设想，在图7中以及在其他附图中示出的并且在本文中描述的一个或多个步骤可省略、同时或依序执行、以不同于
所示和所述的次序执行、或结合附加步骤执行。
102.在步骤702，眼戴器100a的用户a发起共享组任务应用460，然后邀请眼戴器100b的用户b加入共享组任务会话，诸如通过经由无线电路436和网络495向用户b传送消息。该消息传送可以由处理器432自动生成，诸如当用户a从可用用户列表诸如朋友列表中点击用户b的名称或图标时。用户b可以接受该邀请，从而通过消息传送和创建共享组任务会话来完成眼戴器100a和100b的同步。
103.在框704处，眼戴设备100a的处理器432和眼戴设备100b的处理器432分别为用户a和用户b建立虚拟参考系。这在图6a和图6b中示出，其中虚拟参考系是在眼戴器100a的显示器177a上显示的虚拟场景602a和在眼戴器100b的显示器177b上显示的虚场景602b。这些虚拟场景是相同的。首先发起共享组任务应用460的眼戴器用户被称为用户a。
104.在框706处，眼戴器100a的用户a经由输入部件创建输入以使处理器432在虚拟场景602a中显示虚拟对象600。虚拟对象600可以是从存储在相应存储器434中的对象列表中选择的对象，并且也可以由用户a从头创建。作为响应，眼戴器100b的处理器432在眼戴器100b中的虚拟场景602b中自动向用户b显示虚拟对象600。用户b也可以首先在虚拟场景602b中创建虚拟对象600，然后将其与用户b共享并显示在虚拟场景602a中。
105.在框708处，用户a诸如通过操纵眼戴器100a上的输入部件来创建对眼戴器100a的输入，从而操纵虚拟场景602a中的虚拟对象600。例如，用户输入可以使虚拟对象604相对于虚拟对象600来被操纵。眼戴器100a的处理器432自动向眼戴器100b的处理器432发送指示用户a操纵虚拟对象600和虚拟对象604的输入的消息。眼戴器100a的处理器432还自动向眼戴器100b的处理器432发送指示用户a修改虚拟场景602a的消息。在图6a所示的示例中，用户a输入可以使包括虚拟对象604的框堆叠在包括建筑物的虚拟对象600上。
106.在框710处，用户b同样创建到眼戴器100b的输入，诸如通过使用眼戴器100b中的输入部件，从而操纵虚拟场景602b中的虚拟对象600。例如，用户b输入可以使虚拟对象604相对于虚拟对象600来被操纵。眼戴器100b的处理器432还自动向眼戴器100a的处理器432发送指示用户b输入以操纵虚拟对象600的消息。在图6b所示的示例中，输入b可以使包括虚拟对象604的框堆叠在包括建筑物的虚拟对象600上。
107.在框712处，眼戴器100b的处理器432经由网络495从眼戴器100a接收消息，并翻译所接收的消息以操纵由显示器177b显示的虚拟对象600和虚拟对象604，从而匹配由眼戴器100a的显示器177a所示的操纵。同样，眼戴器100a的处理器432经由网络495从眼戴器100b接收消息，并翻译所接收的消息以操纵由显示器177a显示的虚拟对象600和虚拟对象604，从而匹配由眼戴器100b的显示器177b所示的操纵。
108.在框714处，眼戴器100b的处理器432使显示器177b在眼戴器100b的虚拟场景602b中显示用户a的操纵，并且眼戴器100a的处理器432使显示器177a在眼戴器100a的虚拟场景602a中显示用户b的操作。
109.图8a和图8b示出了可在每个眼戴器100a、100b上操作以创建增强现实体验的共享组任务应用460的操作的另一示例，其中第一眼戴设备100a的第一用户a和第二眼戴设备100b的第二用户b可以各自确定另一用户的眼睛正在注视共享图像的哪一部分。该共享组任务应用460是远程异步体验，其使得相应眼戴器的两个或多个用户能够通过一起查看和工作在虚拟环境中协作和远程交互。在一个示例中，第一用户a和第二用户b可以经由相应
的眼戴器100交互，以共同查看共享图像诸如相同虚拟场景中的一个或多个图像部分或对象，从而欣赏另一用户感兴趣的图像。
110.图8a示出了第一眼戴设备100a的显示器177c，其在第一参考系中显示了具有虚拟对象800的图像，该第一参考系被示出为第一用户a可见的虚拟场景802a。图8b示出了第二眼戴设备100b的显示器177d，其在第二参考系中显示了相同的图像诸如相同的虚拟对象800，该第二参考系被示出为第二用户b可见的虚拟场景802b。所显示的虚拟场景802a和802b彼此相同，因此彼此镜像。每个用户a和用户b可以注视相同图像的不同部分或对象800，诸如所显示的虚拟对象800，其中包括发射器215和红外相机220的眼睛追踪器213确定显示器177上显示的虚拟场景的哪个部分或对象800实际上正在被每个用户的眼睛234查看。例如，用户a和用户b中的每一者都可以查看示出加勒比海地区中的多个地理地点的共享浏览器页面，其中每个用户正在注视的地点在相应显示器177上被指示给另一用户，诸如通过用颜色突出显示该地点或放大它。用户a可能正在注视antique，用户b可能正在注视bonaire或curacao，通常被称为荷兰abc群岛。每个用户的姓名可以在另一用户的显示器177上描述，如806所示。
111.眼戴设备100的输入部件诸如触摸板181和移动设备401可包括字母数字输入部件(例如，键盘、被配置为接收字母数字输入的触摸屏、摄影光学键盘或其他字母数字输入部件)、基于点的输入部件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器或其他指点仪器)、触觉输入部件(例如，物理按钮、提供触摸位置和触摸力或触摸手势的触摸屏或其他触觉输入部件)、音频输入部件(例如，麦克风)等。
112.图9是描绘处理器432在相对于图8a和图8b所述的可穿戴设备(例如，眼戴设备100)上执行本文描述的增强现实共享组任务应用460的指令的另一操作方法的流程图900。尽管如本文所述，参考眼戴设备100a和眼戴设备100b描述了处理器432的步骤，但是本领域技术人员根据本文的描述将理解所描述的步骤针对其他类型的设备的其他具体实施。另外，可以设想，在图9中以及在其他附图中示出的并且在本文中描述的一个或多个步骤可省略、同时或依序执行、以不同于所示和所述的次序执行、或结合附加步骤执行。
113.在步骤902，眼戴器100a的用户a发起共享组任务应用460，然后邀请眼戴器100b的用户b加入共享组任务会话，诸如通过经由无线电路436和网络495向用户b传送消息。该消息传送可以由处理器432自动生成，诸如当用户a从可用用户列表诸如朋友列表中点击用户b的名称或图标时。用户b可以接受该邀请，从而通过消息传送和创建共享组任务会话来完成眼戴器100a和100b的同步。
114.在框904处，眼戴设备100a的处理器432和眼戴设备100b的处理器432分别为用户a和用户b建立虚拟参考系。这在图8a和图8b中示出，其中虚拟参考系是在眼戴器100a的显示器177c上显示的虚拟场景802a和在眼戴器100b的显示器177d上显示的虚场景802b。这些虚拟场景是相同的。首先发起共享组任务应用460的眼戴器用户被称为用户a。
115.在框906处，眼戴设备100a的用户a经由输入部件(诸如使用触摸板181)创建输入，以使处理器432在显示器177c上显示虚拟场景802a，该虚拟场景具有图像部分和虚拟场景802a中的虚拟对象800。包括虚拟场景的图像可以从存储器434中的一组存储图像中检索、从远程位置下载、或通过经由网络495浏览因特网上的站点。具有图像部分和对象800的虚拟场景802a也可由用户a使用输入部件从零开始创建。虚拟场景802a自动与眼戴设备100b
共享。作为响应，眼戴器100b的处理器432在眼戴器100b的虚拟场景602b中向用户b自动显示包括图像部分和对象800的虚拟场景。用户b也可以首先创建包括对象800的虚拟场景802b，然后将该图像与用户b共享并显示在虚拟场景602a中。
116.在框908处，每个眼戴设备100的处理器432控制相应的眼睛追踪器213以通过追踪瞳孔232来追踪用户的眼睛234的眼睛定位，并且确定相应的用户实际上正在相应的显示器177上注视什么图像部分或对象800。每个眼戴设备100的处理器432使用经由无线装置436和网络495的消息传送，自动地与其他眼戴设备100的处理器432共享该眼睛追踪信息。
117.在框910处，眼戴设备100b的处理器432经由无线电路436和网络495自动地从眼戴设备100a的处理器432接收包括用户a的眼睛追踪信息的消息。这允许眼戴设备100b的处理器432确定用户a在显示器177c上正在注视什么图像部分或对象800。
118.在方框912中，眼戴设备100a的处理器432经由无线电路436和网络495自动地从眼戴设备100b的处理器432接收包括用户b的眼睛追踪信息的消息。这允许眼戴设备100a的处理器432确定用户b在显示器177d上正在注视什么图像部分或对象800。
119.在框914处，相应眼戴设备100a和100b的每个显示器177自动显示共享图像中另一用户正在注视的图像部分或对象800。这能够以多种方式完成，例如，通过突出显示、着色或放大相应虚拟场景802a和802b中其他用户正在注视的图像部分或对象800。例如，用户a和用户b中的每一者都可以查看示出加勒比海地区中的多个地理地点的共享浏览器页面，其中每个用户正在注视的地点在相应显示器177上的相应虚拟场景802a和802b中被指示给另一用户，诸如通过用颜色突出显示该地点或放大它。用户a可能正在注视antique，用户b可能正在注视bonaire或curacao，通常被称为荷兰abc群岛。另一用户的名字可以在其他用户的显示器177上描述，如808所示。
120.两个以上的用户能够操作相应的眼戴设备100，并且共同参与其中每个用户能够看到各用户正在注视的图像的该部分的会话。因此，不应推断出对眼戴器仅由一个用户操作的限制。
121.图10a和图10b示出了可在每个眼戴器100a、100b上操作以创建增强现实体验的共享组任务应用460的操作的另一示例，其中第一眼戴设备100a的第一用户a和第二眼戴设备100b的第二用户b可以各自基于另一用户的眼睛正在注视什么来协作并交互。该共享组任务应用460是远程异步体验，其使得相应眼戴设备100的两个或更多个用户能够使用眼睛追踪来控制相应虚拟对象的移动。在一个示例中，第一用户a和第二用户b可以经由相应的眼戴器100交互，以共同查看共享图像，诸如相同虚拟场景。每个用户使用眼睛追踪来控制虚拟场景中的相应虚拟对象，并且每个用户还生成语音命令以操纵虚拟场景中的用户的虚拟对象。两个虚拟对象都显示在眼戴器100a和100b中的每一者的显示器177上。在示例中，虚拟场景可以是游戏场景。
122.图10a示出了第一眼戴设备100a的显示器177e，其在第一参考系中显示了具有虚拟对象1000和1004的图像，该第一参考系被示出为第一用户a可见的虚拟场景1002a。图10b示出了第二眼戴设备100b的显示器177f，其在第二参考系中显示了相同的图像诸如相同的虚拟对象1000和1004，该第二参考系被示出为第二用户b可见的虚拟场景1002b。所显示的虚拟场景1002a和1002b彼此相同，因此彼此镜像。每个用户a和用户b可以注视相同图像的相应对象1000和1004，其中包括发射器215和红外相机220的每个眼戴器的眼睛追踪器213
确定在显示器177上显示的虚拟场景中的相应虚拟对象的移动。例如，用户a的眼睛控制虚拟场景1002a和1002b中的相应对象1000的移动和定位，并且用户b的眼睛控制虚拟场景1002a和1002b中的相应对象1004的定位。
123.图10b示出了虚拟场景1002a和1002b中由来自眼戴设备的用户的语音命令生成的动作。例如，用户a可以生成语音命令，该语音命令经由相应麦克风130接收并且由眼戴器100a的处理器432识别，使得虚拟对象1006生成并且从相应虚拟对象1000在朝向用户b的虚拟对象1004的方向上延伸。虚拟对象1006可以在显示器177e和177f上按顺序从虚拟对象1000朝向虚拟对象1004生成，并且可以经一段时间(诸如0.2秒)生成。眼戴器100b的用户b的眼睛可以移动相应虚拟对象1004的定位远离所生成的虚拟对象1006，以在生成虚拟对象1006时避开它。例如，虚拟对象1006可表示激光束或以虚拟对象1004为目标的其他能量。同样，用户b可生成语音命令，该语音命令使得虚拟对象1006生成并且从相应虚拟对象1004在朝向用户a的虚拟对象1000的方向上延伸。在示例中，观看到的动作可能看上去就像两个用户之间的决斗。
124.在图10b的示例中，用户a生成语音命令诸如“hocus pocus”，该语音命令使得雷达状的虚拟对象1006立即或按顺序从包括虚拟对象1000的具体实施(诸如魔法棒)向包括虚拟对象1004的角色延伸。用户b使用其眼睛来移动相应虚拟对象1004的定位远离即将发生的虚拟对象1006。每个眼戴器100的眼睛追踪器213追踪相应用户的眼睛的注视方向，并且相应处理器432根据相应用户的眼睛注视来控制相应虚拟对象的定位。
125.眼戴设备100的输入部件诸如触摸板181和移动设备401可包括字母数字输入部件(例如，键盘、被配置为接收字母数字输入的触摸屏、摄影光学键盘或其他字母数字输入部件)、基于点的输入部件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器或其他指点仪器)、触觉输入部件(例如，物理按钮、提供触摸位置和触摸力或触摸手势的触摸屏或其他触觉输入部件)、音频输入部件(例如，麦克风)等。
126.图11是描绘处理器432在相对于图10a和图10b所述的可穿戴设备(例如，眼戴设备100)上执行本文描述的增强现实共享组任务应用460的指令的另一操作方法的流程图1100。尽管如本文所述，参考眼戴设备100a和眼戴设备100b描述了处理器432的步骤，但是本领域技术人员根据本文的描述将理解所描述的步骤针对其他类型的设备的其他具体实施。另外，可以设想，在图11中以及在其他附图中示出的并且在本文中描述的一个或多个步骤可省略、同时或依序执行、以不同于所示和所述的次序执行、或结合附加步骤执行。
127.在步骤1102，眼戴器100a的用户a发起共享组任务应用460，然后邀请眼戴器100b的用户b加入共享组任务会话，诸如通过经由无线电路436和网络495向用户b传送消息。该消息传送可以由处理器432自动生成，诸如当用户a从可用用户列表诸如朋友列表中点击用户b的名称或图标时。用户b可以接受该邀请，从而通过消息传送和创建共享组任务会话(诸如通过轻击接受)来完成眼戴器100a和100b的同步。
128.在框1104处，眼戴设备100a的处理器432和眼戴设备100b的处理器432分别为用户a和用户b建立虚拟参考系。这在图10a和图10b中示出，其中虚拟参考系是在眼戴器100a的显示器177e上显示的虚拟场景1002a和在眼戴器100b的显示器177f上显示的虚场景1002b。这些虚拟场景是相同的。首先发起共享组任务应用460的眼戴器用户被称为用户a。
129.在框1106处，眼戴设备100a的用户a经由输入部件(诸如使用触摸板181)创建输
入，以使处理器432在显示器177e上显示包括具有虚拟对象1000和1004的虚拟场景1002a的图像。该图像具有作为小于整个图像的图像子集的图像部分。包括虚拟场景的图像可以从存储器434中的一组存储图像中检索、从远程位置下载、或通过经由网络495浏览因特网上的站点获得。具有图像部分和对象1000和1004的虚拟场景1002a也可由用户a使用输入部件从零开始创建。虚拟场景1002a自动与眼戴设备100b共享。作为响应，眼戴器100b的处理器432在眼戴器100b的虚拟场景1002b中向用户b自动显示包括图像部分和对象1000和1004的虚拟场景。用户b也可以首先创建包括对象1000和1004的虚拟场景1002b，然后该虚拟场景与用户b共享并显示在虚拟场景1002a中。
130.在框1108处，每个眼戴设备100的处理器432控制相应的眼睛追踪器213以通过追踪瞳孔232来追踪用户的眼睛234的眼睛定位，并且确定相应的用户实际上正在相应的显示器177上注视相应的虚拟场景1002的什么部分。每个眼戴设备100的处理器432自动移动相应虚拟对象1000、1004的定位到用户正在注视的虚拟场景内的所确定的定位。眼戴设备的每个处理器432还向其他眼戴设备的处理器432发送消息，该消息指示相应用户正在注视的虚拟场景中的图像定位。
131.在框1110处，眼戴设备100b的处理器432经由无线电路436和网络495自动地从眼戴设备100a的处理器432接收包括用户a的眼睛追踪信息的消息。这允许眼戴设备100b的处理器432确定用户a在显示器177e上正在注视虚拟场景1002a的什么图像部分。
132.在框1112中，眼戴设备100a的处理器432经由无线电路436和网络495自动地从眼戴设备100b的处理器432接收包括用户b的眼睛追踪信息的消息。这允许眼戴设备100a的处理器432确定用户b在显示器177f上正在注视虚拟场景1002b的什么图像部分。
133.在框1114处，每个眼戴设备100的处理器432使相应显示器177自动在共享虚拟场景中其他用户正在注视的图像的定位中显示其他用户的虚拟对象。在图10a和图10b所示的示例中，眼戴设备100a的处理器432和眼戴设备100b的处理器432基于另一用户的眼睛注视来更新另一用户在其显示器上的相应对象1000和1004的定位。当用户b用其眼睛移动对象1004时，对象1004在用户a的显示器177e上移动。同样，当用户a用其眼睛移动对象1000时，对象1000在用户b的显示器177f上移动。
134.如图10a和图10b的示例中所示，用户a用其眼睛移动包括具体实施(诸如棒)的虚拟对象1000，并且生成口头指令，使得眼戴器100a的处理器432生成虚拟对象1006(框1116)。用户b用其眼睛移动虚拟对象1004(被示为角色)，以避开所生成的虚拟对象1006。如果虚拟对象1006与虚拟对象1004交互，则可以奖励用户a分数。眼戴设备100a和眼戴设备100b还可以生成指示命中的声音。
135.多于两个用户可以操作相应眼戴设备100，并且共同参与会话，其中每个用户可以观看，使得相应对象基于每个用户正在注视的图像部分来移动。因此，不应推断出对眼戴器仅由一个用户操作的限制。
136.如本文所述，眼戴设备100、移动设备401和服务器系统498的功能中的任何功能可以被体现在一个或多个计算机软件应用或编程指令集中。根据一些示例，“功能”、“应用”、“指令”或“程序”是执行在程序中定义的功能的程序。可采用各种程序设计语言来开发以各种方式结构化的应用中的一个或多个应用，诸如面向对象的程序设计语言(例如，objective-c、java或c )或面向过程程序设计语言(例如，c语言或汇编语言)。在特定示例
中，第三方应用(例如，由除特定平台的供应商之外的实体使用android
tm
或ios
tm
软件开发工具包(sdk)开发的应用)可包括在移动操作系统(诸如ios
tm
、android
tm
、电话或另一移动操作系统)上运行的移动软件。在该示例中，第三方应用可调用由操作系统提供的api调用，以促进本文所述的功能。
137.因此，机器可读介质可采取许多形式的有形存储介质。非易失性存储介质包括例如光盘或磁盘，诸如任何计算机设备等中的任何存储设备，诸如可用于实施附图中所示的客户端设备、媒体网关、代码转换器等。易失性存储介质包括动态存储器，诸如此类计算机平台的主存储器。有形传输介质包括同轴电缆；铜线和光纤，包括构成计算机系统内的总线的导线。载波传输介质可采取电信号或电磁信号、或声波或光波的形式，诸如在射频(rf)和红外(ir)数据通信期间生成的那些。因此，计算机可读介质的常见形式包括例如：软盘、软磁盘、硬盘、磁带、任何其他磁介质、cd-rom、dvd或dvd-rom、任何其他光学介质、穿孔卡片纸带、任何其他具有孔图案的物理存储介质、ram、prom和eprom、flash-eprom、任何其他存储器芯片或盒、传输数据或指令的载波、传输此类载波的电缆或链路、或计算机可以从其中读取程序代码或数据的任何其他介质。许多这些形式的计算机可读介质可参与将一个或多个指令的一个或多个序列承载到处理器以供执行。
138.除了上文刚刚陈述的，无论是否在权利要求书中陈述，已陈述或说明的内容都不旨在或不应解释为导致任何部件、步骤、特征、对象、益处、优点或等效物献给公众。
139.应当理解，除非本文另外阐述了特定的含义，否则本文所用的术语和表达具有与关于它们对应的相应调查和研究领域的此类术语和表达一致的通常含义。诸如“第一”和“第二”等的关系术语仅可用于将一个实体或动作与另一个实体或动作区分开，而不一定要求或暗示这些实体或动作之间的任何实际的此类关系或顺序。术语“包括”、“包含”、“含有”、“具有”或其任何其他变型形式旨在涵盖非排他性的包括，使得包括或包含一系列元素或步骤的过程、方法、制品或装置不仅包括那些元素或步骤，而是还可以包括未明确列出的或对于此类过程、方法、制品或装置固有的其他元素或步骤。在没有进一步限制的情况下，前缀为“一”或“一个”的元素并不排除在包括该元素的过程、方法、制品或装置中另外的相同元素的存在。
140.除非另有说明，否则本说明书中，包括所附权利要求书中阐述的任何和所有测量、值、额定值、定位、量值、尺寸和其他规格是近似的，而不是精确的。此类量旨在具有与它们涉及的功能和它们所属的领域中的惯例一致的合理范围。例如，除非另外明确说明，否则参数值等可以从所述量或范围变化多达正负百分之十。
141.此外，在前述具体实施方式中可看出，出于使本公开简化的目的，各种特征在各种示例中被组合在一起。公开的本方法不应被解释为反映所要求保护的示例需要比每个权利要求中明确记载的特征更多的特征的意图。相反，如以下权利要求所反映的，要求保护的本主题在于少于任何单个公开的示例的所有特征。因此，将以下权利要求据此并入到具体实施方式中，其中每个权利要求作为独立要求保护的主题而独立存在。
142.虽然前文已描述了被认为是最佳模式的示例和其他示例，但应当理解，可在其中作出各种修改且本文所公开的主题可以各种形式和示例来实施，并且其可应用于许多应用中，本文仅描述了其中的一些应用。所附权利要求书旨在要求保护落入本发明构思的真实范围内的任何和所有修改和变型。