动态浏览器舞台的制作方法

1.本公开通常涉及促进用于一个或多个用户的交互式虚拟或增强现实环境的系统和方法。


背景技术：

2.现代计算和显示技术已经促进了用于所谓的“虚拟现实”、“增强现实”或“混合现实”体验的系统的发展，其中，数字再现的图像或其部分以它们似乎是真实的或者它们可被感知为真实的方式被呈现给用户。虚拟现实或“vr”场景通常涉及数字或虚拟图像信息的呈现，而对于其他实际真实世界视觉输入不透明；增强现实或“ar”场景通常涉及数字或者虚拟图像信息被呈现为对用户周围的实际世界的可视化的增强；混合现实或“mr”涉及合并真实世界和虚拟世界以产生其中物理对象和虚拟对象共存并实时互动的新环境。事实上，人类视觉感知系统是非常复杂的，并且产生促进其他虚拟或现实世界影像元素之中的虚拟图像元素的舒适的自然感觉的丰富的呈现的vr、ar或mr技术是具有挑战性的。本文所公开的系统和方法解决了与vr、ar和mr技术有关的各种挑战。


技术实现要素：

3.本公开的实施例涉及用于促进用于一个或多个用户的虚拟或增强现实交互的设备、系统和方法。
4.下面在具体实施方式、附图和权利要求中描述本公开的特征、目的和优点的进一步的细节。前面的一般描述和以下的详细描述是示例性和解释性的，并且不旨在限制本公开的范围。
5.在一些配置中，一种用于在三维(3d)空间环境中显示虚拟内容的显示系统可包括：头戴式显示器，其被配置为将虚拟内容呈现给显示系统的用户的眼睛；以及与头戴式显示器通信的电路。电路可以被配置为：接收访问基于网络的3d内容的请求；识别与基于网络的3d内容相关联的参数，其包括以下的至少一项：用户的3d空间环境中的显示基于网络的3d内容的位置，3d内容的取向，或者3d内容的尺寸；基于参数，确定3d内容是否可被显示在用户的3d空间环境的授权部分中；响应于确定3d内容不能被显示在3d空间环境的授权部分中，调整授权部分的大小以允许在经调整大小的授权部分中显示3d内容。
6.在一些配置中，一种用于在三维(3d)空间环境中显示虚拟内容的显示系统可包括：头戴式显示器，其被配置为将虚拟内容呈现给显示系统的用户的眼睛；以及与头戴式显示器通信的电路。电路可以被配置为：接收访问内容的请求；以第一取向在用户的3d空间环境的授权部分中显示内容；接收以第二取向在用户的3d空间环境中显示内容的请求；确定内容是否能够以第二取向在用户的3d空间环境的授权部分中被显示；以及响应于确定内容不能以第二取向在3d空间环境的授权部分中被显示，调整授权部分的大小以允许在经调整大小的授权部分内以第二取向显示内容。
7.在一些配置中，一种用于在三维(3d)空间环境中显示虚拟内容的显示系统，该显
示系统可包括：头戴式显示器，其被配置为将虚拟内容呈现给显示系统的用户的眼睛；以及与头戴式显示器通信的电路。电路可以被配置为：接收访问3d内容的请求；识别与3d内容相关联的参数，其包括以下的至少一项：用户的3d空间环境中的显示3d内容的位置，3d内容的取向，以及3d内容的尺寸；基于参数，确定3d内容是否可被显示在用户的3d空间环境的授权部分中；以及响应于确定3d内容不能被显示在3d空间环境的授权部分中，在3d空间环境中的位置处显示3d内容的表示。
附图说明
8.在所有附图中，附图标记被重用以指示所引用的元件之间的对应关系。以下附图和相关联的描述被提供以说明本公开的实施例，并且不限制权利要求的范围。
9.附图示出了本公开的各种实施例的设计和实用性。应当注意，附图不是按比例绘制的，并且相似结构或功能的元件在全部附图中用相同的参考标记表示。为了更好地理解如何获得本公开的各种实施例的所记载的和其他优点和目的，将参考在附图中示出的本公开的具体实施例而提供对在上文简要描述的本公开的更详细描述。理解这些附图仅描绘本公开的典型实施例，并因此不应被认为是限制其范围，将通过使用附图以额外的具体性和细节来描述和解释本公开，其中：
10.图1描绘了具有某些虚拟现实对象和由人观看的某些物理对象的混合现实场景的图示。
11.图2示意性地示出可实现示例航路点系统的可穿戴系统的示例。
12.图3示意性地示出使用多个深度平面模拟三维图像的方法的各方面。
13.图4示意性地示出用于将图像信息输出给用户的波导堆叠的示例。
14.图5示出可以由波导输出的示例出射光束。
15.图6是示出用于生成多焦点体积显示、图像或光场的光学系统的示意图，其包括波导装置、将光光学地耦合到波导装置或从波导装置光学地耦合出的光耦合器子系统、和控制子系统。
16.图7示出根据一些实施方式的用于解构要在用户的3d环境中显示的2d内容的增强现实环境。
17.图8示出根据一些实施方式的2d内容的元素到用户的3d环境的示例映射。
18.图9a示出在3d空间的有界体积中显示的示例浏览器块(browser tile)。
19.图9b示出在3d空间的有界体积中的具有3d网络内容的示例浏览器块。
20.图10a示出其中3d网络内容大于3d空间的有界体积的示例情况。
21.图10b示出其中3d网络内容的中心与3d空间的固定体积不相交的示例情况。
22.图11示出示例内容舞台或体积。
23.图12a1和图12a2示出在3d体积中放置3d内容的示例。
24.图12b1和图12b2示出使用固定范围调整3d体积的大小的示例。
25.图13a是示例性体积调整大小过程的流程图。
26.图13b示出了示例性体积调整大小。
27.图14a是示例性页面旋转处理过程的流程图。
28.图14b1和图14b2示出示例性页面旋转。
29.图15a是示例性内容处理过程的流程图。
30.图15b示出内容处理过程的两个示例。
具体实施方式
31.a.介绍
32.虚拟和增强现实环境由计算机部分使用描述环境的数据来生成。该数据可以描述例如用户可以感知并与之交互的各种对象。这些对象的示例包括被渲染并被显示以用于用户看见的对象、被播放以用于用户听见的音频、以及用于用户感觉的触觉反馈。用户可以通过各种视觉、听觉和触觉手段来感知虚拟现实和增强现实环境并与之交互。
33.虚拟或增强现实(ar)系统可对许多应用有用，覆盖科学可视化、医学和军事训练、工程设计和原型制作、远程操作和远地视在(tele-presence)、以及个人娱乐等领域。与虚拟现实相反，增强现实包括与物理世界的真实对象相关的一个或多个虚拟对象。这样的体验极大地增强了用户采用增强现实系统的体验和可享用性，也为允许用户同时体验真实对象和虚拟对象的各种应用打开了大门。
34.然而，在提供这种系统时存在重大挑战。为了向用户提供逼真的增强现实体验，ar系统应当始终知道用户的物理环境，以便将虚拟对象的位置与真实对象正确地相关。进一步地，ar系统应当正确地知道如何相对用户的头部、身体等定位虚拟对象。这要求始终广泛知道用户相对于世界的位置。此外，这些功能应当有利地被执行，以使得成本(例如，能量消耗等)保持低，同时保持速度和性能。
35.因此，需要改进系统以向用户提供逼真的增强现实体验。
36.b.可穿戴系统的3d显示的示例
37.可穿戴系统(在本文中也被称为增强现实(ar)系统)可被配置为向用户呈现2d或3d虚拟图像。图像可以是静止图像、视频的帧、或视频、或组合等。可穿戴系统的至少一部分可以被实现在可穿戴设备上，该可穿戴设备可以单独或组合地呈现vr、ar或mr环境以用于用户交互。可穿戴设备可以是头戴式设备(hmd)，该头戴式设备(hmd)可互换地用作ar设备(ard)。进一步地，出于本公开的目的，可互换地使用术语“ar”与术语“mr”。
38.图1描绘了具有某些虚拟现实对象和由人观看的某些物理对象的混合现实场景的图示。在图1中，描绘了mr场景100，其中，mr技术的用户看见以背景中的人、树、建筑为特征的真实世界公园般的设置110以及混凝土平台120。除了这些项目之外，mr技术的用户还感知到他“看见”站在真实世界平台120上的机器人雕像130以及飞行的卡通状的化身角色140，它似乎是大黄蜂的拟人化，尽管这些元素在真实世界中不存在。
39.为了使3d显示器产生真实的深度感，更具体地，产生模拟的表面深度感，可能期望显示器的视野中的每个点生成与它的虚拟深度相对应的调节反应。如果对显示点的调节反应不与该点的虚拟深度相对应，该虚拟深度如由会聚与立体视觉的双眼深度线索所确定的，则人眼可经历调节冲突，以导致不稳定的成像、有害的眼睛疲劳、头痛，并且在缺少调节信息的情况下，导致几乎完全缺乏表面深度。
40.可以通过具有在其中向观看者提供与多个深度平面相对应的图像的显示器的显示系统来提供vr、ar和mr体验。图像可对于每个深度平面是不同的(例如，提供场景或对象的稍微不同的呈现)，并且可被观看者的眼睛分开聚焦，从而有助于基于将焦点对准位于不
同深度平面上的场景的不同图像特征所需的眼睛的调节或者基于观察到不同深度平面上的不同图像特征失焦而向用户提供深度线索。如在本文其他地方所讨论的，这种深度线索提供对深度的可信感知。
41.图2示出了可被配置为提供ar/vr/mr场景并且可包括本文所描述的示例航路点系统的可穿戴系统200的示例。可穿戴系统200也可以被称为ar系统200。可穿戴系统200包括显示器220以及支持显示器220的功能的各种机械和电子模块和系统。显示器220可以耦合到可由用户、穿戴者或观看者210穿戴的框架230。显示器220可以被定位在用户210的眼睛前面。显示器220可以向用户呈现ar/vr/mr内容。显示器220可以包括戴在用户的头上的头戴式显示器。在一些实施例中，扬声器240被耦接到框架230，并位于用户的耳道附近(在一些实施例中，未示出的另一个扬声器可以位于用户的另一个耳道附近，以提供立体声/可塑声音控制)。显示器220可以包括用于检测来自环境的音频流并捕获环境声音的音频传感器(例如，麦克风)232。未示出的一个或多个其他音频传感器可以被定位为提供立体声声音接收。立体声声音接收可用于确定声源的位置。可穿戴系统200可以对音频流执行声音或语音识别。
42.可穿戴系统200可以包括面向外部的成像系统464(在图4中示出)，该成像系统464观察用户周围的环境中的世界。可穿戴系统200还可以包括面向内部的成像系统462(在图4中示出)，其可用于跟踪用户的眼睛移动。面向内部的成像系统可以跟踪一只眼睛的移动或两只眼睛的移动。面向内部的成像系统462可以附接到框架230，并且可以与处理模块260或270电通信，处理模块260或270可以处理由面向内部的成像系统获取的图像信息以确定例如用户210的眼睛的瞳孔直径或取向、眼睛移动或眼睛姿势。
43.作为示例，可穿戴系统200可以使用面向外部的成像系统464或者面向内部的成像系统462来获取用户的姿势的图像。该图像可以是静止图像、视频的帧、或视频。
44.显示器220可以例如通过引线或无线连接250可操作地耦合到本地数据处理模块260，本地数据处理模块260可以以各种配置被安装，例如，固定地附接到框架230、固定地附接到用户戴的头盔或帽子、嵌入耳机中、或以其他方式可拆卸地附接到用户210(例如，以背包式配置、以皮带连接式配置)。
45.本地处理和数据模块260可以包括硬件处理器以及数字存储器(诸如非易失性存储器(例如，闪存))，两者均可以用于协助处理、缓存和存储数据。数据可以包括：a)从传感器(其可以例如可操作地耦合到框架230或以其他方式附接到用户210)捕获的数据，传感器例如是图像捕获设备(例如，面向内部的成像系统或面向外部的成像系统中的相机)、音频传感器(例如，麦克风)、惯性测量单元(imu)、加速度计、指南针、全球定位系统(gps)单元、无线电设备、或陀螺仪；或b)使用远程处理模块270或远程数据储存库280获取或处理的数据，可用于在这种处理或检索之后传递给显示器220。本地处理和数据模块260可以例如经由有线或无线通信链路通过通信链路262或264可操作地耦合到远程处理模块270或远程数据储存库280，以使得这些远程模块可用作本地处理和数据模块260的资源。另外，远程处理模块270和远程数据储存库280可以可操作地彼此耦合。
46.远程处理模块270可包括被配置为分析和处理数据或图像信息的一个或多个处理器。远程数据储存库280可包括数字数据存储设施，其可以通过因特网或“云”资源配置中的其他网络配置可得。可以在本地处理和数据模块中存储数据和执行计算，这允许远程模块
的完全自主使用。
47.人类视觉系统是复杂的，并且提供对深度的真实感具有挑战。不受理论的限制，认为对象的观看者可由于辐辏调节组合而将对象感知为三维的。两只眼睛相对于彼此的辐辏移动(例如，瞳孔相向或远离彼此的滚转运动以将眼睛的视线会聚固定在对象上)与眼睛的晶状体的聚焦(或“调节”)紧密相关联。在正常情况下，改变眼睛的晶状体的焦点或者调节眼睛以将焦点从一个对象改变到在不同距离处的另一对象将按照被称为“调节-辐辏反射”的关系而自动导致到相同距离的辐辏的匹配变化。同样，在正常情况下，辐辏的变化将触发调节的匹配变化。在调节与辐辏之间提供更好匹配的显示系统可以形成更逼真和舒适的三维图像模拟。
48.图3示出了使用多个深度平面模拟三维图像的方法的各方面。参考图3，在z轴上距眼睛302和304不同距离处的对象由眼睛302和304调节，以使得这些对象处于焦点。眼睛302和304呈现特定的调节状态，以将焦点对准沿着z轴在不同距离处的对象。因此，可以认为特定的调节状态与深度平面306中的特定深度平面相关联，该特定深度平面具有相关联的焦距，以使得当眼睛处于针对该深度平面的调节状态时，特定深度平面中的对象或对象的部分处于焦点。可以通过对每只眼睛302、304提供图像的不同呈现并且还通过提供与每一个深度平面相对应的图像的不同呈现来模拟三维图像。尽管为了清楚的说明而被示为分离的，但应理解，眼睛302和304的视野可以重叠，例如，随着沿着z轴的距离增加。另外，尽管为了便于说明而被示出平的，但是将理解，深度平面的轮廓在物理空间中可以弯曲，以使得在眼睛处于特定的调节状态时，深度平面中的所有特征处于焦点。不受理论的限制，认为人类眼睛通常可以解释有限数量的深度平面以提供深度感知。因此，通过向眼睛提供与这些有限数量的深度平面中的每一个相对应的图像的不同呈现，可以实现高度可信的感知深度模拟。
49.c.波导堆叠组件
50.图4示出了用于向用户输出图像信息的波导堆叠的示例。可穿戴系统400包括波导堆叠或堆叠的波导组件480，其可被用于使用多个波导432b、434b、436b、438b、440b向眼睛/大脑提供三维感知。可穿戴系统400可以对应于图2的可穿戴系统200，其中，图4示意性地更详细地示出该可穿戴系统200的一些部分。例如，波导组件480可以被集成到图2的显示器220中。
51.继续参考图4，波导组件480还可包括波导之间的多个特征458、456、454、452。特征458、456、454、452可以是透镜。特征458、456、454、452可以不是透镜。相反，它们可以仅仅是间隔物(例如，用于形成气隙的包覆层或结构)。
52.波导432b、434b、436b、438b、440b或多个透镜458、456、454、452可被配置为以各种级别的波前曲率或光线发散向眼睛发送图像信息。每个波导级可以与特定深度平面相关联，并且可被配置为输出与该深度平面相对应的图像信息。图像注入设备420、422、424、426、428可以用于将图像信息注入波导440b、438b、436b、434b、432b中，每个波导可以被配置为在每个相应的波导上分配入射光，以朝着眼睛410输出。光离开图像注入设备420、422、424、426、428的输出表面，并被注入波导440b、438b、436b、434b、432b的对应输入边缘中。可以将单个光束(例如，准直光束)注入每个波导中，以输出复制的准直光束的整个场，该些复制的准直光束以对应于与特定波导相关联的深度平面的特定角度(和发散量)指向眼睛
410。
53.图像注入设备420、422、424、426、428可以是分立的显示器，其中每一个产生图像信息以用于分别注入到对应的波导440b、438b、436b、434b、432b中。附加地或替代地，图像注入设备420、422、424、426、428可以是单个多路复用显示器的输出端，该多路复用显示器可以例如经由一个或多个光导管(诸如光纤电缆)将图像信息输送到图像注入设备420、422、424、426、428中的每一个。
54.控制器460控制堆叠的波导组件480和图像注入设备420、422、424、426、428的操作。控制器460包括调节向波导440b、438b、436b、434b、432b的图像信息的时序和提供的编程(例如，非暂态计算机可读介质中的指令)。控制器460可以是单个集成设备，或者是通过有线或无线通信信道连接的分布式系统。在一些实施例中，控制器460可以是处理模块260或270(在图2中示出)的一部分。
55.波导440b、438b、436b、434b、432b可被配置为通过全内反射(tir)在每个相应的波导内传播光。波导440b、438b、436b、434b、432b每一个可以是平面的或者具有另一形状(例如，弯曲的)，具有主顶表面和主底表面以及在这些主顶表面与主底表面之间延伸的边缘。在所示的配置中，波导440b、438b、436b、434b、432b每一个可包括光提取光学元件440a、438a、436a、434a、432a，这些光提取光学元件被配置为通过将在每个相应的波导内传播的光重定向出波导外来从波导中提取光，以将图像信息输出到眼睛410。所提取的光也可被称为耦出的光，并且光提取光学元件也可以被称为耦出光学元件。所提取的光束可以在在波导中传播的光撞击光重定向元件的位置处由波导输出。光提取光学元件(440a、438a、436a、434a、432a)可以例如是反射或衍射光学特征。虽然为了便于描述和绘图清楚起见而示为被设置在波导440b、438b、436b、434b、432b的主底表面，但是，光提取光学元件440a、438a、436a、434a、432a可以被设置在主顶表面或主底表面，或者可以被直接设置在波导440b、438b、436b、434b、432b的体积中。光提取光学元件440a、438a、436a、434a、432a可以被形成在附接到透明衬底以形成波导440b、438b、436b、434b、432b的材料层中。波导440b、438b、436b、434b、432b可以是整体材料，并且光提取光学元件440a、438a、436a、434a、432a可以被形成在该材料的表面上或内部中。
56.继续参考图4，如本文所讨论的，每个波导440b、438b、436b、434b、432b可以被配置为输出光以形成与特定深度平面相对应的图像。例如，最靠近眼睛的波导432b可以被配置为将被注入到这种波导432b中的准直光递送到眼睛410。该准直光可以代表光学无限远焦平面。接着的上行(up)波导434b可被配置为发出准直光，该准直光在到达眼睛410之前通过第一透镜452(例如，负透镜)。第一透镜452可以被配置为产生轻微凸出的波前曲率，以使得眼睛/大脑将来自该接着的上行波导434b的光解释为来自从光学无限远朝着眼睛410向内更接近的第一焦平面。类似地，第三上行波导436b将它的输出光在到达眼睛410之前通过第一透镜452和第二透镜454。第一透镜452和第二透镜454的组合光功率可被配置为产生另一增量的波前曲率，以使得眼睛/大脑将来自第三波导436b的光解释为来自从光学无穷远朝着人向内更接近的第二焦平面，而不是来自接着的上行波导434b的光。
57.其他波导层(例如，波导438b、440b)和透镜(例如，透镜456、458)被类似地配置，堆叠中最高的波导440b发送它的输出通过它与眼睛之间的所有透镜，用于代表最靠近人的焦平面的聚合光焦度。为了在观看/解释来自在堆叠的波导组件480的另一侧的世界470的光
时补偿透镜458、456、454、452的堆叠，可以在堆叠的顶部设置补偿透镜层430以补偿下面的透镜堆叠458、456、454、452的聚合屈光力。这样的配置提供与可用的波导/透镜对一样多的感知焦平面。波导的光提取光学元件和透镜的聚焦方面都可以是静态的(例如，非动态的，或电活性的)。附加地或替代地，其中任一个或两者可以使用电活性特征而是动态的。
58.继续参考图4，光提取光学元件440a、438a、436a、434a、432a可被配置为针对与波导相关联的特定深度平面，既将光重定向出它们相应的波导外，又以适当的发散或准直量输出该光。结果，具有不同相关联的深度平面的波导可以具有不同的光提取光学元件配置，光提取光学元件根据相关联的深度平面以不同的发散量输出光。如本文所讨论的，光提取光学元件440a、438a、436a、434a、432a可以是体积特征或表面特征，这些特征可以被配置为以特定角度输出光。例如，光提取光学元件440a、438a、436a、434a、432a可以是体积全息图、表面全息图、或衍射光栅。在于2015年6月25日公开的美国专利公开号2015/0178939中描述了光提取光学元件，诸如衍射光栅，其整体内容通过引用被并入本文。
59.在一些实施例中，光提取光学元件440a、438a、436a、434a、432a是形成衍射图案的衍射特征或是“衍射光学元件”(在本文中也被称为“doe”)。优选地，doe具有相对低的衍射效率，以使得只有光束的一部分光通过与doe的每次相交来朝着眼睛410偏转，而其余部分继续经由全内反射移动通过波导。因此，携带图像信息的光可以被分成在多个位置处离开波导的多个相关的出射光束，并且对于在波导内弹跳的该特定准直光束，结果是朝向眼睛304的相当均匀的出射发射图案。
60.一个或多个doe可以在其中它们主动衍射的“开启”状态与其中它们不显著衍射的“关闭”状态之间切换。例如，可切换的doe可以包括聚合物分散液晶层，其中，微滴(microdroplet)在主体介质(host medium)中包括衍射图案，并且微滴的折射率可以被切换为与主体材料的折射率基本匹配(在这种情况下，图案不会明显衍射入射光)，或者微滴可被切换到与主体介质的折射率不匹配的折射率(在这种情况下，图案主动衍射入射光)。
61.深度平面或景深的数量和分布可以基于观看者的眼睛的瞳孔大小或取向而动态地变化。景深可与观看者的瞳孔大小成反比地变化。结果，随着观看者的眼睛的瞳孔的大小减小，景深增加，以使得由于平面的位置超出眼睛的焦点深度而无法辨别的一个平面可变成可辨别，并且随着瞳孔大小的减小而显得更聚焦并与景深的增加相称。同样，随着瞳孔大小的减小，可以减少用于向观看者呈现不同图像的被间隔开的深度平面的数量。例如，，在不调整眼睛离开一个深度平面并到达另一个深度平面的调节的情况下，观看者可能无法在一个瞳孔大小下清楚地感知第一深度平面和第二深度平面两者的细节。然而，这两个深度平面可以在另一个瞳孔大小下同时对用户足够地对焦而不改变调节。
62.显示系统可以基于对瞳孔大小或取向的确定，或者在接收到指示特定瞳孔大小或取向的电信号时，改变接收图像信息的波导数量。例如，如果用户的眼睛不能区分与两个波导相关联的两个深度平面，则控制器460(其可以是本地处理和数据模块260的实施例)可以被配置或编程为停止向这些波导之一提供图像信息。有利地，这可以减少系统上的处理负担，从而增加系统的响应性。在用于波导的doe可在开启和关闭状态之间切换的实施例中，当波导确实接收到图像信息时，doe可被切换为关闭状态。
63.可以期望使出射光束满足其直径小于观看者的眼睛的直径的条件。然而，鉴于观看者的瞳孔的大小的可变性，满足该条件可能是有挑战的。通过响应于确定观看者的瞳孔
的大小而改变出射光束的大小，可以在大范围的瞳孔大小上满足该条件。例如，随着瞳孔大小的减小，出射光束的大小也可以减小。可以使用可变孔径来改变出射光束大小。
64.可穿戴系统400可以包括对世界470的一部分成像的面向外部的成像系统464(例如，数码相机)。世界470的这一部分可以被称为世界相机的视场(fov)，成像系统464有时被称为fov相机。世界相机的fov可以与观看者210的fov相同或不同，观看者210的fov包含观看者210在给定时间感知的世界470的一部分。例如，在某些情况下，世界相机的fov可以大于可穿戴系统400的观看者210的fov。可用于由观看者观看或者成像的整个区域可以被称为能视域(for)。for可以包括围绕可穿戴系统400的立体角的4π球面度，因为穿戴者可以移动他的身体、头部或眼睛以感知空间中的基本上任何方向。在其他上下文中，穿戴者的移动可能更受限制，因此，穿戴者的for可能对向(subtend)较小的立体角。从面向外的成像系统464获得的图像可以用于跟踪由用户做出的手势(例如，手或手指姿势)，检测在用户前面的世界470中的对象等。
65.可穿戴系统400可以包括音频传感器232(例如，麦克风)以捕获环境声音。如上文所描述的，可以定位一个或多个其他音频传感器以提供对于确定语音源的位置有用的立体声声音接收。作为另一个示例，音频传感器232可以包括定向麦克风，该定向麦克风还可以提供关于音频源位于何处的有用的定向信息。可穿戴系统400可以使用来自面向外部的成像系统464和音频传感器230两者的信息以定位语音源，或者在特定时刻确定主动说话者等。例如，可穿戴系统400可以单独或与说话者的反射图像(例如，如在镜子中看见的)结合使用语音识别以确定说话者的身份。作为另一个示例，可穿戴系统400可以基于从定向麦克风获取的声音来确定说话者在环境中的位置。可穿戴系统400可以用语音识别算法解析来自说话者的位置的声音，以确定语音的内容，并使用声音识别技术来确定说话者的身份(例如，姓名或其他人口统计信息)。
66.可穿戴系统400还可以包括面向内部的成像系统466(例如，数字相机)，其观察用户的运动，例如，眼睛运动和面部运动。面向内部的成像系统466可以用于捕获眼睛410的图像以确定眼睛304的瞳孔的大小或取向。面向内部的成像系统466可以用于获得图像以用于确定用户正在看的方向(例如，眼睛姿势)或者用于用户的生物识别(例如，经由虹膜识别)。对于每只眼睛，可以利用至少一个相机，以独立地分开确定每只眼睛的瞳孔大小或眼睛姿势，从而允许图像信息向每只眼睛的呈现对于该眼睛动态地定制。可以仅确定单只眼睛410的瞳孔直径或取向(例如，每双眼睛仅使用单个相机)，并认为该瞳孔直径或取向对于用户的两只眼睛是相似的。可以分析由面向内部的成像系统466获得的图像以确定用户的眼睛姿势或情绪，可穿戴系统400可以使用该眼睛姿势或情绪来决定应当向用户呈现哪个音频或视觉内容。附加地或替代地，可穿戴系统400可以使用传感器(诸如imu、加速度计、陀螺仪等)来确定头部姿势(例如，头部位置或头部定向)。
67.可穿戴系统400可以包括用户输入设备466，用户可以通过该用户输入设备466向控制器460输入命令以与可穿戴系统400交互。例如，用户输入设备466可以包括触控板、触摸屏、游戏杆、多自由度(dof)控制器、电容式感测设备、游戏控制器、键盘、鼠标、方向板(d-pad)、棒、触觉设备、图腾(totem)(例如，充当虚拟用户输入设备)等等。多dof控制器可以感测控制器的一些或全部可能的平移(例如，向左/向右、向前/向后、或向上/向下)或者旋转(例如，偏航、俯仰、或翻滚)。支持平移运动的多dof控制器可以被称为3dof，而支持平移和
旋转的多dof控制器可以被称为6dof。用户可以使用手指(例如，拇指)在触敏输入设备上按压或滑动以向可穿戴系统400提供输入(例如，向由可穿戴系统400提供的用户接口提供用户输入)。用户输入设备466可在可穿戴系统400的使用期间被用户的手握住。用户输入设备466可以与可穿戴系统400进行有线或无线通信。
68.图5示出了由波导输出的出射光束的示例。示出了一个波导，但是应理解，波导组件480中的其它波导可以具有类似的作用，其中，波导组件480包括多个波导。光520可在波导432b的输入边缘432c处被注入波导432b中，并通过tir在波导432b内传播。在光520照射在doe 282上的点处，一部分光离开波导，作为出射光束510。出射光束510被示出为基本上平行，但它们也可以被重定向为以某一角度传播到眼睛410(例如，形成发散的出射光束)，这取决于与波导432b相关联的深度平面。应理解，基本上平行的出射光束可以指示具有光提取光学元件的波导，该光提取光学元件将光耦出以形成看起来被设置在距眼睛410较大距离(例如，光学无穷远)处的深度平面上的图像。其它波导或者其它光提取光学元件组可以输出更加发散的出射光束图案，这会需要眼睛410调节到更近的距离以聚焦在视网膜上，并会被大脑解释为来自比光学无穷远更接近眼睛410的距离的光。
69.图6是示出用于生成多焦点体积显示、图像或光场的光学系统的示意图，该光学系统包括波导装置、将光光学地耦合到波导装置或从波导装置光学地耦合出的光耦合器子系统、以及控制子系统。光学系统可以包括波导装置、将光光学地耦合到波导装置或从波导装置耦合出的光耦合器子系统、和控制子系统。光学系统可以用于生成多焦点体积、图像或光场。光学系统可以包括一个或多个主平面波导632a(在图6中仅示出一个)以及与主波导632a中的至少一些中的每一个相关联的一个或多个doe 632b。平面波导632a可以类似于参考图4所讨论的波导432b、434b、436b、438b、440b。光学系统可以采用分布波导装置以沿着第一轴(图6的视图中的竖直轴或y轴)中继光，并且沿着第一轴(例如，y轴)扩展光的有效出射光瞳。分布波导装置可以例如包括分布平面波导622b以及与分布平面波导622b相关联的至少一个doe 622a(由双点划线示出)。分布平面波导622b可以在至少一些方面与主平面波导632b类似或者相同，具有与其不同的取向。同样，至少一个doe 622a可以在至少一些方面与doe 632a类似或者相同。例如，分布平面波导622b和/或doe 622a可以分别包括与主平面波导632b或doe 632a相同的材料。图6中示出的光学显示系统600的实施例可以被集成到在图2中示出的可穿戴系统200中。
70.经中继和出射光瞳扩展的光可从分布波导装置被光学地耦合到一个或多个主平面波导632b中。主平面波导632b可以沿着第二轴(优选地，正交于第一轴(例如，图6的视图中的水平轴或x轴))中继光。特别地，第二轴可以是第一轴的非正交轴。主平面波导632b沿着该第二轴(例如，x轴)扩展光的有效出射光瞳。例如，分布平面波导622b可以沿着竖直轴或y轴中继并扩展光，并将该光传递到主平面波导632b，主平面波导632b可以沿着水平轴或x轴中继并扩展光。
71.光学系统可以包括一个或多个彩色光源(例如，红、绿和蓝色激光)610，该彩色光源可以光学地耦合到单模光纤640的近端。光纤640的远端可以穿过压电材料的中空管642或者通过其接收。远端从管642伸出，作为固定自由的柔性悬臂644。压电管642可以与四个象限电极(未示出)相关联。电极可以例如被电镀在管642的外部、外表面或外周边或直径上。核心电极(未示出)也可以位于管642的核心、中心、内周边或内径中。
72.(例如经由接线660电气耦接的)驱动电子装置650驱动相对的电极对以在两个轴上独立地弯曲压电管642。光纤644的伸出远端具有机械共振模式。共振频率可以取决于光纤644的直径、长度和材料特性。通过使压电管642振动接近光纤悬臂644的第一机械共振模式，使得光纤悬臂644振动，并且光纤悬臂644可以扫掠大的偏转。
73.通过刺激两个轴上的共振，在填满二维(2d)扫描的区域中双向扫描光纤悬臂644的尖端。通过与光纤悬臂644的扫描同步地调制(一个或多个)光源610的强度，从光纤悬臂644发出的光可以形成图像。在美国专利公开号2014/0003762中提供了这种设置的描述，其整体内容通过引用被并入本文。
74.光耦合器子系统的组件可以准直从进行扫描的光纤悬臂644发出的光。准直光可以由镜面648反射到窄分布平面波导622b，该窄分布平面波导622b包含至少一个衍射光学元件(doe)622a。准直光可以通过tir沿着分布平面波导622b竖直地(相对于图6的视图)传播，并且在这样做时重复地与doe 622a相交。doe 622a优选地具有低衍射效率。这可以使得小部分的光(例如，10％)在与doe 622a的每个相交点处朝着较大的主平面波导632b的边缘衍射，并且使得小部分的光经由tir沿着分布平面波导622b的长度向下继续其原始轨迹。
75.在与doe 622a的每个相交点处，附加的光可朝着主波导632b的入口被衍射。通过将入射光分成多个耦出集，光的出射光瞳可以通过分布平面波导622b中的doe 622a被竖直扩展。被耦合出分布平面波导622b的该竖直扩展的光可以进入主平面波导632b的边缘。
76.进入主波导632b的光可以经由tir沿着主波导632b水平地(相对于图6的视图)传播。因为当光经由tir沿着主波导632b的长度的至少一部分水平地传播时，光在多个点处和doe 632a相交。doe 632a可以有利地被设计或被配置为具有相位轮廓(其是线性衍射图案和径向对称衍射图案之和)，以产生光的偏转和聚焦。doe 632a可以有利地具有低衍射效率(例如，10％)，以使得只有光束的一部分光通过doe 632a的每一个相交点而朝着眼睛210偏转，而其余部分的光继续经由tir在波导内传播。
77.在传播光与doe 632a之间的每个交点处，小部分的光朝着主波导632b的邻近表面被衍射，以允许光脱离tir并从主波导632b的表面发出。此外，doe 632a的径向对称衍射图案可以向衍射光给予聚焦水平，对单独光束的光波前成形(例如，给予曲率)以及以与所设计的聚焦水平匹配的角度使光束转向。
78.因此，这些不同的路径可以使得光以不同角度、聚焦水平通过多个doe 632a被耦合出主平面波导632b，或者在出射光瞳处产生不同的填充图案。在出射光瞳处的不同填充图案可以有益地用于产生具有多个深度平面的光场显示。波导组件中的每一层或者堆叠中的层集合(例如，3层)可以用于生成相应的颜色(例如，红色、蓝色、绿色)。因此，例如，三个邻近层的第一集合可以用于分别在第一焦点深度处产生红、蓝和绿光。三个邻近层的第二集合可以用于分别在第二焦点深度处产生红、蓝和绿光。多个集合可以用于用各种焦点深度生成全3d或4d彩色图像光场。
79.d.可穿戴系统的其他组件
80.在许多实施方式中，除了上述的可穿戴系统的组件之外或作为替代，可穿戴系统可以包括其他组件。可穿戴系统可以例如包括一个或多个触觉设备或组件。触觉设备或组件可操作以向用户提供触感。例如，当触摸虚拟内容(例如，虚拟对象、虚拟工具、其他虚拟构造物)时，触觉设备或组件可以提供压力或纹理的触感。触感可以复制虚拟对象所表示的
物理对象的感觉，或者可以复制虚拟内容所表示的想象的对象或角色(例如，龙)的感觉。在一些实施方式中，用户可以穿戴触觉设备或组件(例如，用户可穿戴手套)。在一些实施方式中，触觉设备或者组件可以由用户持有。
81.可穿戴系统可以例如包括用户可操纵的一个或多个物理对象，以允许输入或与可穿戴系统的交互。这些物理对象在本文中可以被称为图腾(totem)。一些图腾可以采取无生命对象的形式，例如，一块金属或塑料、墙壁、桌子表面。在某些实施方式中，图腾实际上可能没有任何物理输入结构(例如，按键、触发器、操纵杆、轨迹球、摇杆开关)。相反，图腾可以仅提供物理表面，并且可穿戴系统可以渲染用户接口，以便用户看起来在图腾的一个或多个表面上。例如，可穿戴系统可以渲染计算机键盘和触控板的图像以看起来驻留在图腾的一个或多个表面上。例如，可穿戴系统可以渲染虚拟计算机键盘和虚拟触控板以看起来在用作图腾的薄的矩形铝板的表面上。矩形板本身没有任何物理按键或触控板或传感器。然而，可穿戴系统可以检测用户与矩形板的操作或交互或者触摸，作为经由虚拟键盘或虚拟触控板进行的选择或输入。用户输入设备466(图4中所示的)可以是图腾的实施例，它可以包括触控板、触摸板、触发器、操纵杆、轨迹球、摇杆或虚拟开关、鼠标、键盘、多自由度控制器、或另一种物理输入设备。用户可以单独或与姿势结合使用图腾来与可穿戴系统或其他用户进行交互。
82.在美国专利公开号2015/0016777中描述了可与本公开的可穿戴设备、hmd和显示系统一起使用的触觉设备和图腾的示例，其全部内容通过引用并入本文。
83.e.网页解构
84.采用虚拟现实、增强现实和/或混合现实系统(在下文中统称为“混合现实”系统)，提供了用于向用户显示内容的三维环境。在浏览器内显示2d内容的传统方法当在3d环境中使用时效果不佳。一个原因是因为，采用传统的2d网络浏览器，显示设备的显示区域限于监视器的正显示内容的屏幕区域。因此，传统的浏览器被配置为仅知道如何在该监视器显示区域内组织和显示内容。相反，3d环境不限于监视器显示区域的严格限制。因此，传统的2d浏览器当在3d环境中使用时表现不佳，因为传统的浏览技术不具有利用3d环境以显示内容的功能或能力。
85.例如，考虑用户正使用混合现实设备并已放置了与不同物理位置相关联的多个浏览器窗口的情况。例如，用户可能已经在第一房间中打开了第一浏览器窗口，并且当在第二房间中时打开了第二浏览器窗口。由于传统的基于2d的浏览器仅限于给定监视器区域的显示，这意味着传统的浏览器甚至没有技术来理解物理远程窗口的概念，更不用说处理在多个物理位置打开多个窗口的这种情况的能力，这使得用户不可能有效地查看、导航到和使用这多个窗口。
86.因此，需要一种在3d环境中实现浏览技术的改进方法。
87.本公开的实施方式解构2d网页以在空间组织的3d环境中显示。2d网页可以源自头戴式系统的网络浏览器、移动设备(例如，蜂窝电话)、平板电脑、电视、应用等。在一些实施方式中，可以从另一个应用或设备(诸如膝上型计算机、台式计算机、具有到2d网页的链接的电子邮件应用、引用或包括到2d网页的链接的电子消息等)接收2d网页。
88.参考图7，环境700代表物理环境和用于实现下文所描述的过程的系统(例如，解构来自网页的2d内容以在用户的物理环境705中的3d表面上显示或者为应用提供认证或者用
于提供模态浏览器窗口)。环境100的代表性物理环境和系统包括如由用户708通过头戴式系统760观看的用户的物理环境705。环境100的代表性系统还包括经由可操作地耦合到网络720的网络浏览器710访问2d内容(例如，网页)。网络720可以是因特网、内部网络、私有云网络、公共云网络等。网络浏览器710也可操作地经由网络720耦接到处理器770。尽管处理器770被示为与头戴式系统760分离的孤立组件，但是在替代实施方式中，处理器770可以与头戴式系统760的一个或多个组件集成在一起，和/或可以被集成到环境100内的其他系统组件中，诸如例如网络720以访问计算网络725和存储设备730。处理器770可以被配置有软件750，用于接收和处理从头戴式系统760、本地存储设备740、网络浏览器710、计算网络725和存储设备730接收的信息，诸如视频、音频和内容。软件750可以经由网络720与计算网络725和存储设备730通信。软件750可以被安装在处理器770上，或者在另一实施方式中；软件的特征和功能可以被集成到处理器770中。处理器770还可以被配置有本地存储设备740，用于存储由处理器770使用以用于快速访问的信息，而不依赖于从用户708的附近远程存储在外部存储设备上的信息。在其他实施方式中，处理器770可以被集成在头戴式系统760内。
89.用户的物理环境705是当用户四处移动并通过头戴式系统760观看用户的物理环境705时的用户708周围的物理环境。例如，参考图7，用户的物理环境705显示有两面墙(例如，主墙780和侧墙784，主墙和侧墙是相对于用户的视图的)和桌子788的房间。在主墙780上，有用黑色实线描绘的矩形表面782，以显示具有物理边界的物理表面(例如，悬挂或附接到墙的绘画或窗户等)，该物理表面可以是向其投射某一2d内容的候选表面。在侧墙784上，有用黑色实线描绘的第二矩形表面786，以显示具有物理边界的物理表面(例如，悬挂或附接到墙的绘画或窗户等)。在桌子788上，可以有不同的对象。1)在其中可以存储和显示某一2d内容的虚拟名片盒790；2)用黑色实线描绘的水平表面792以表示具有物理边界的物理表面以将某一2d内容投射到其上；以及3)用黑色虚线描绘的多堆虚拟正方形表面794以表示例如可以在其中存储和显示某一2d内容的堆叠的虚拟报纸。
90.网络浏览器710还可以显示来自因特网或在内联网或专用网络内的博客页面。此外，网络浏览器710也可以是显示数字2d内容的任何技术。2d内容可包括例如网页、博客、数字图片、视频、新闻文章、时事通讯、或音乐。2d内容可以被存储在用户708可经由网络720访问的存储设备730中。在一些实施方式中，2d内容也可以是流内容，例如，实况视频馈送或实况音频馈送。存储设备730可包括例如数据库、文件系统、持久性存储器设备、闪存驱动器、高速缓存等。在一些实施方式中，经由计算网络725显示包含2d内容(例如，网页)的网络浏览器710。
91.计算网络725访问存储设备730以检索和存储用于在网络浏览器710上的网页中显示的2d内容。在一些实施方式中，本地存储设备740可以向用户708提供感兴趣的2d内容。本地存储设备740可包括例如闪存驱动器、高速缓存、硬盘驱动器、数据库、文件系统等。被存储在本地存储设备740中的信息可包括最近访问的2d内容或最近在3d空间中显示的内容。本地存储设备740通过在本地向软件750提供某些内容以用于帮助解构2d内容以在3d空间环境(例如，用户的物理环境705中的3d表面)上显示2d内容来允许环境100的系统的性能改进。
92.软件750包括被存储在非暂态计算机可读介质中的执行解构2d内容以在用户的物理环境705内显示的功能的软件程序。软件750可以在处理器770上运行，其中处理器770可
以在本地附接到用户708，或者在一些其他实施方式中，软件750和处理器770可以被包括在头戴式系统760内。在一些实施方式中，软件750的特征和功能的部分可以在远离用户708的计算网络725上被存储和执行。例如，在一些实施方式中，解构2d内容可以在计算网络725上发生，并且解构的结果可以被存储在存储设备730中，其中，对用于在其上呈现经解构的2d内容的用户的本地环境的表面列清单可以在处理器770内发生，其中，表面的清单和映射被存储在本地存储设备740内。在一种实施方式中，解构2d内容、对本地表面列清单、将2d内容的元素映射到本地表面以及显示2d内容的元素的过程可以全部在处理器770和软件750内在本地发生。
93.头戴式系统760可以是虚拟现实(vr)或增强现实(ar)头戴式系统，其包括用户接口、用户感测系统、环境感测系统和处理器(均未示出)。头戴式系统760向用户708呈现用于与数字世界交互和体验数字世界的接口。这种交互可以涉及用户和数字世界、与环境100相接的一个或多个其他用户、以及在数字和物理世界内的对象。
94.用户接口可包括接收2d内容以及通过用户接口通过用户输入来选择2d内容内的元素。用户接口可以是触觉接口设备、键盘、鼠标、操纵杆、运动捕获控制器、光学跟踪设备和音频输入设备中的至少一个或组合。触觉接口设备是允许人类通过身体感觉和运动与计算机交互的设备。触觉是指一种人机交互技术，它包含触觉反馈或其他身体感觉以在计算设备上执行动作或过程。在一些实施方式中，控制接口可以是用户接口，以使得用户可以与mr显示系统交互，例如通过向系统提供用户输入并且系统通过执行对应的命令来响应。
95.用户感测系统可包括一个或多个传感器762，其可操作以检测与穿戴着头戴式系统760的用户708相关的特定特征、特性或信息。例如，在一些实施方式中，传感器762可包括能够检测用户708的实时光学特性/测量的相机或者光学检测/扫描电路，实施光学特性/测量例如是以下中的一项或多项：瞳孔收缩/扩张，每个瞳孔的角度测量/定位，球度，眼睛形状(因为眼睛形状随着时间而变化)和其他解剖数据。该数据可以提供或者可用于计算可由头戴式系统760使用以增强用户的观看体验的信息(例如，用户的视觉焦点)。
96.环境感测系统可包括一个或多个传感器764，用于从用户的物理环境705获得数据。由传感器764检测的对象或信息可以作为输入被提供给头戴式系统760。在一些实施方式中，该输入可以表示用户与虚拟世界的交互。例如，观看书桌(例如桌子788)上的虚拟键盘的用户(例如，用户708)可以用他们的手指做手势，就好像用户正在虚拟键盘上打字一样。移动的手指的运动可以由传感器764捕获并作为输入被提供给头戴式系统760，其中该输入可以用于改变虚拟世界或创建新的虚拟对象。
97.传感器764可包括例如通常面向外部的相机或扫描器，用于例如通过连续和/或间歇投射的红外结构光来解释场景信息。环境感测系统可用于通过检测并注册本地环境(包括静态对象、动态对象、人、手势以及各种照明、大气和声学条件)来映射用户708周围的用户的物理环境705的一个或多个元素。因此，在一些实施方式中，环境感测系统可包括基于图像的3d重建软件，其被嵌入在本地计算系统(例如，处理器770)中，并可操作以数字重建由传感器764检测到的一个或多个对象或信息。
98.在一个示例实施方式中，环境感测系统提供以下中的一项或多项：运动捕获数据(包括手势识别)，深度感测，面部识别，对象识别，独特对象特征识别，语音/音频识别和处理，声源定位，噪声降低，红外或类似激光投射，以及单色和/或彩色cmos传感器(或其他类
似传感器)，视场传感器，以及各种其他光学增强传感器。应当理解，环境感测系统可包括除了上文所讨论的组件之外的其他组件。
99.如上文所提到的，在一些实施方式中，处理器770可以与头戴式系统760的其他组件集成在一起，与环境100的系统的其他组件集成在一起，或者可以是如图7所示的孤立设备(可穿戴的或者与用户708分离的)，。处理器770可以通过物理有线连接或者通过无线连接(诸如例如，移动网络连接(包括蜂窝电话和数据网络)、wi-fi、蓝牙或任何其他无线连接协议)连接到头戴式系统760的各种组件。处理器770可包括存储模块、集成和/或附加的图形处理单元、无线和/或有线互联网连接、以及能够将来自源(例如，计算网络725、来自头戴式系统760的用户感测系统和环境感测系统)的数据转换成图像和音频数据的编解码器和/或固件，其中，图像/视频和音频可以经由用户接口(未示出)被呈现给用户708。
100.处理器770处理用于头戴式系统760的各种组件的数据处理以及头戴式系统760与来自由网络浏览器710和计算网络725显示或访问的网页的2d内容之间的数据交换。例如，处理器770可用于缓冲和处理用户708与计算网络725之间的数据流，从而使能平滑、连续和高保真的用户体验。
101.将来自网页的2d内容解构成元素并且映射这些元素以在3d环境中的表面上显示可以以智能和逻辑的方式完成。预定规则集可用于推荐、建议或规定在何处放置在2d内容/网页内识别的特定类型的元素/内容。例如，特定类型的2d内容元素可具有一个或多个内容元素，该一个或多个内容元素可能需要被映射到适用于存储和显示该一个或多个元素的物理或虚拟对象表面，而其他类型的2d内容元素可以是单个对象，诸如网页内的主视频或主文章，在这种情况下，可以将单个对象映射到对于向用户显示单个对象最有意义的表面。
102.图8示出了根据一些实施方式的2d内容的元素到用户的3d环境的示例性映射。环境800描绘了由网络浏览器710显示或访问的2d内容(例如，网页)和用户的物理环境705。带箭头的虚线描绘了来自2d内容(例如，网页)的被映射到用户的物理环境705并在其上显示的元素(例如，特定类型的内容)。基于网络设计者提示或预定义的浏览器规则，来自2d内容的特定元素被映射到用户的物理环境705中的特定物理或虚拟对象。
103.作为示例，由网络浏览器710访问或显示的2d内容可以是具有多个标签的网页，其中，当前活动标签860被显示，并且辅助标签850当前被隐藏，直到被选择以在网络浏览器710上显示为止。在活动标签860内显示的通常是网页。在该特定示例中，活动标签860正在显示youtube页面，其包括主视频820、用户评论230和推荐视频840。如该示例图8中所描绘的，主视频820可以被映射到在竖直表面782上显示，用户评论230可以被映射到在水平表面792上显示，以及推荐视频840可以被映射到在与竖直表面782不同的竖直表面786上显示。此外，辅助标签850可以被映射到在虚拟名片盒790和/或多堆叠(multi-stack)虚拟对象794上显示。在一些实施方式中，在辅助标签850内的特定内容可以被存储在多堆叠虚拟对象794中。在其他实施方式中，驻留在辅助标签850内的全部内容可以被存储和/或显示在多堆叠虚拟对象794上。同样，虚拟名片盒790可以包含来自辅助标签850的特定内容，或者虚拟名片盒790可以包含在辅助标签850内驻留的全部内容。
104.竖直表面782可以是可能已经在房间(描绘为用户的物理环境705)的主墙780上的任何类型的结构，诸如窗玻璃或相框。在一些实施方式中，竖直表面782可以是空墙，其中头戴式系统760确定竖直适合用户708观看主视频820的竖直表面782的框架的最佳大小。该确
定竖直表面782的大小可以至少部分地基于用户708距主墙780的距离、主视频820的大小和尺寸、主视频820的质量、未覆盖的墙空间量、和/或用户在看主墙780时的姿势。例如，如果主视频820的质量是高清晰度的，则竖直表面782的大小可以更大，因为主视频820的质量将不会受到竖直表面782的不利影响。然而，如果主视频820的视频质量差，则具有大的竖直表面782可能极大地妨碍视频质量，在这种情况下，本公开的方法和系统可以将竖直表面782的大小调整/重新定义为更小以最小化实体动画(pixilation)的不良视频质量。
105.与竖直表面782类似，竖直表面786是用户的物理环境705中的相邻墙壁(例如，侧墙784)上的竖直表面。在一些实施方式中，基于用户708的定向，侧墙784和竖直表面786可能看起来是在斜面上的倾斜表面。竖直，斜面上的倾斜表面可以是除了竖直和水平表面之外的一种类型的表面取向。来自youtube网页的推荐视频840可以被放置在侧墙784上的竖直表面786上，以允许用户708能够在该示例中仅通过将他们的头部稍微向右移动来观看推荐视频。
106.虚拟名片盒790是由头戴式系统760创建并显示给用户708的虚拟对象。虚拟名片盒790可以具有用于用户708双向循环通过一组虚拟页面的能力。虚拟名片盒790可以包含整个网页，或者它可以包含单独的文章或视频或音频。如在该示例中所示的，虚拟名片盒790可以包含来自辅助标签850的内容的一部分，或者在一些实施方式中，虚拟名片盒790可以包含辅助标签850的整个页面。用户708可以通过仅聚焦于虚拟名片盒790内的特定标签来双向循环浏览虚拟名片盒790内的内容，并且头戴式系统760内的一个或多个传感器(例如，传感器762)检测用户708的眼睛焦点，并相应地循环浏览虚拟名片盒790内的标签以获得用于用户708的相关信息。在一些实施方式中，用户708可以从虚拟名片盒790中选择相关信息，并指示头戴式系统760将相关信息显示到可用的周围表面上或者在又一虚拟对象上，诸如非常接近用户708的虚拟显示器(未示出)。
107.类似于虚拟名片盒790，多堆叠虚拟对象794可包含范围从来自一个或多个标签的完整内容或者来自各种网页或标签的特定内容的用户708做书签、保存以用于将来观看或者已经打开的(例如，非活动标签)的内容。多堆叠虚拟对象794也类似于真实世界的一堆报纸。多堆叠虚拟对象794内的每个堆叠可以属于特定的报纸文章、页面、杂志发行、配方等。本领域普通技术人员可以理解，可以存在多种类型的虚拟对象来实现该提供放置2d内容元素或来自2d内容源的内容的表面的相同目的。
108.本领域普通技术人员可以理解，由网络浏览器710访问或显示的2d内容可以不仅仅是网页。在一些实施方式中，2d内容可以是来自相册的图片、来自电影、电视节目的视频、youtube视频、交互式表单等。在其他实施方式中，2d内容可以是电子书，或者显示书的任何电子手段。最后，在其他实施方式中，2d内容可以是尚未描述的其他类型的内容，因为2d内容通常是当前如何呈现信息。如果电子设备可以消费2d内容，则2d内容可以由头戴式系统760使用以解构2d内容并在3d设置(例如，ar)中显示2d内容。
109.在一些实施方式中，映射所访问的2d内容可包括(例如，从浏览器)提取2d内容并将它放在表面上(以使得内容不再在浏览器中并且仅在表面上)，并且在一些实施方式中，映射可包括(例如，从浏览器)复制内容并将它放在表面上(以使得内容既在浏览器中又在表面上)。
110.f.有界体积中的网络内容
111.在一些实施方式中，所提取的网络内容可以被放置在用户的3d空间环境内的有界体积内。有利地，将内容的放置限制在有界体积内可以允许用户更好地控制内容在他们的环境中的放置。在一些示例中，可以参考可以是网络浏览器应用的一部分的浏览器块周围的体积来放置内容。图9a示出了3d空间的体积904中的示例浏览器块902。
112.浏览器块902可以显示2d内容，诸如网页的一些或全部、与网络域相关联的内容、或者非基于网络的文本或图形信息。例如，浏览器块902可包括用于访问内容(诸如图形或文本)的图形界面。浏览器块902可包括网络浏览器的一个或多个方面，诸如多窗口或标签功能、用于导航用户先前与之交互的内容的前进与后退交互式特征、刷新当前观看的内容的刷新交互式特征、取消加载内容的取消交互式特征、返回预设内容的主页交互式特征、输入内容的本地或网络位置的导航特征、或者搜索本地或基于网络的内容的搜索特征。在一些示例中，浏览器块902可包括结合网络浏览器的一个或多个方面显示的2d内容，诸如上文所描述的。
113.ar系统可以允许用户与浏览器块902和/或在浏览器块902中显示的内容进行交互。例如，ar系统可以接收通过用户姿势、手势或用户输入设备的致动来移动或操纵浏览器块902的指示。ar系统可以通过相应地移动或操纵浏览器块902来响应。在一些示例中，用于移动或操纵浏览器块902的相关用户姿势可包括手部运动、身体定位等或其某种组合。在另一个示例中，ar系统可以接收通过用户姿势或用户输入设备的致动来操纵在浏览器块902中显示的内容或者与浏览器块902相关联的其他内容的指示。ar系统可以通过例如滚动内容、点击以寻找新内容、选择内容、删除内容、提取内容、输入内容等或其某种组合来相应地操纵与浏览器块相关联的内容，从而进行响应。操纵可包括与可被包括在浏览器块902中的一个或多个浏览器特征进行交互。例如，操纵可包括通过将信息输入到地址或搜索特征中来寻找内容、加载或中止加载内容、或者作为与其他交互式特征交互的结果的其他操纵。
114.ar系统可以在3d空间的体积904中显示浏览器块902。体积904可包括用户的3d环境的子集。如下文所描述的，体积904可以是静态的或可操纵的。例如，可以经由用户指示和/或由ar系统自动地扩大、缩小或以其他方式变换体积904。
115.ar系统可以显示与在浏览器块902中显示的2d内容相关联的3d内容906。图9b示出了在体积904中具有3d内容906的示例浏览器块902。3d内容906可包括一个或多个虚拟对象。
116.在一些实施例中，3d内容可包括一个或多个棱镜，棱镜通常描述与混合现实内容相关联的容器、区域或体积，该混合现实内容可包含多个虚拟内容项，诸如3d对象的表示。可以通过控制或放置对内容进行限制的棱镜来在用户的环境中控制或放置在棱镜中受限制的内容。如本文所使用的，虚拟对象可以是或者包括棱镜。棱镜的各种特性、用途和实现在2019年6月27日公开的美国专利公开号2019/0197785中描述，其整体内容通过引用被并入本文。
117.虚拟对象可以与在浏览器块902中显示的2d内容相关联。例如，2d内容可以是家具公司的网站，并且虚拟对象可以是在网站上描述的家具的3d虚拟表示。在一些示例中，虚拟对象可以被显示在浏览器块902附近，诸如在3d体积904中的与在浏览器块902上显示的图形的位置相关联的位置处。例如，2d内容可包括沙发的2d表示。3d内容可包括该沙发的3d表示。在一些示例中，ar系统可以在沙发的2d表示前面或者代替沙发的2d表示而显示沙发的
3d表示，诸如从浏览器块902延伸出的沙发的表示(或其他3d内容)。
118.虚拟对象的放置和大小可以由用户改变或修改。例如，ar系统可以基于体积904内的相对于浏览器块902的默认位置来放置(一个或多个)虚拟对象。在一些示例中，ar系统可以将变换应用于一个或多个虚拟对象，诸如旋转、缩放、移动、更复杂的动画等、或其某种组合。
119.如图10a和图10b所示，虚拟对象的显示可以限于3d体积1002的边界。例如，ar系统可以接收指令，诸如用户的指令或可执行指令，以在体积1002的边界之外显示虚拟对象906的一部分。ar系统可以确定不显示虚拟对象906或者显示虚拟对象906的一部分。附加地或替代地，如下文所讨论的，ar系统可以调整3d体积1002的大小或对其重新取向以便包含虚拟对象906，例如，通过调整虚拟对象906的位置、体积、取向和/或位置。
120.在一个示例中，如图10a所示，虚拟对象906a可以被放置、确定大小或取向，以使得虚拟对象906的一部分1004落在3d体积1002的边界之外。如果部分1004超过3d体积1002或虚拟对象906a的阈值体积或阈值百分比或者与虚拟对象906a或3d体积1002相关联的其他阈值，则ar系统可以确定不显示整个虚拟对象906a。如果部分1004低于阈值，则ar系统可以确定全部或部分显示虚拟对象906a。例如，ar系统可以显示落入3d体积1002内的虚拟对象906的部分1006。在另一个示例中，ar系统可以显示整个虚拟对象906a，即使它落在3d体积1002之外。
121.在另一个示例中，如图10b所示，虚拟对象906b可以被放置、确定大小和/或取向，以使得虚拟对象906b的中心1008落在3d体积1002之外。如果虚拟对象906的中心1008落在3d体积1002之外，则ar系统可以确定不显示整个虚拟对象906b。在另一个示例中，ar系统可以确定显示落入3d体积1002内的虚拟对象906b的一部分。
122.g.示例性有界体积
123.在一些示例中，ar系统可以定义用户的环境中的3d空间体积(也被称为舞台)。如图11所示，3d体积1102可包括可以在其中创建、显示或操纵内容1104的空间区域。
124.在一些示例中，体积1102可以具有默认大小或形状。默认大小可以被设置为预定大小，可以相对于内容1104的大小来设置，可以相对于用户的环境或视野来设置，或者可以基于另一个因素来设置。
125.例如，默认大小可以是具有0.75米、0.8米、0.86米、1米或其他大小的边的长方体。在另一个示例中，默认大小可以是具有1000个像素、1100个像素、1120个像素、1200个像素或其他大小的边的长方体。有利地，基于一组预定尺寸设置默认大小可以允许更大的内容，而不必调整体积1102的大小。
126.在另一个示例中，默认大小可以是在至少一个维度上大于内容1104的百分比。例如，体积1102可以比内容1104宽20％和高20％，并且体积904的深度(或广度)可以等于体积1102的宽度。在另一个示例中，体积1102可以比内容1104宽10％，并且与内容1104的高度相同。在另一个示例中，体积1102可以比内容1104宽50％，并且高100％。然而，其他示例也是可能的。有利地，基于内容1104的大小设置默认大小可以允许与内容1104相关的新内容的更小和更集中的放置。例如，内容1104可以是允许访问网络域的浏览器块。网络域可以请求放置新内容。相对于网络域的大小定义默认大小可以允许将与网络域相关的小内容放置在浏览器块附近。
127.在一些示例中，默认大小可以相对于用户的视野，以使得体积1102填充用户的视野(fov)的百分比。例如，体积1102可以是fov的10％、25％、50％、100％、150％或其他百分比量。
128.体积1102的形状可以是任何3d形状，诸如立方体、长方体、球体、椭球体、棱锥体、圆柱体、其某种组合等或其他形状。在一些示例中，体积1102的形状可以是内容1104的互补形状。例如，内容1104可以是具有长方体形状的浏览器块。体积1102则可以具有长方体形状。在另一个示例中，内容1104可以是更复杂的几何形状，诸如沙发或人。体积1102可以是勾勒内容1104的几何形状的形状。附加地或替代地，体积1102可以是具有包含内容1104的尺寸的球形或长方体形状。
129.在一些示例中，体积1102可以具有基于内容1104的一个或多个特性的默认尺寸。例如，内容1104可以是浏览器块。体积1102可以具有相对接近浏览器块的尺寸，因为浏览器块未被设计为在没有用户输入的情况下移动。在另一个示例中，内容1104可以是被配置为在用户的环境周围飞行的虚拟对象(例如，蝴蝶)。体积1102可以具有包含大比例的用户的fov的尺寸，以便允许内容1104四处移动。
130.在一些示例中，体积可以是静态体积。在其他示例中，体积可以是可操纵的或可改变的。如图12a1和图12a2所示，体积1203可以扩展以包含一条或多条内容1204、1206。图12a1示出了透视图1200，图12a2示出了可改变的体积1202的俯视图1201。例如，体积1203的初始大小可以是相对于浏览器块的默认大小。用户可以使用浏览器块1204与网络域进行交互。网络域可以请求ar系统显示或以其他方式使得ar系统显示在用户的环境内的相关内容1206。结果，ar系统可以在一个或多个方向上扩展体积1203以到达(例如变成)包含相关内容1206的体积1202b并显示内容1206，如图12a2所示。
131.可以使用定义范围对体积进行扩展或调整大小。图12b1和图12b2示出了使用范围的示例扩展。范围可包括距一条内容(诸如浏览器块)的定义的距离量。在一些示例中，如果调整一条内容的大小，则围绕一条内容的一个或多个范围可以保持相同，同时调整内容周围的体积的大小。例如，ar系统可以在一个或多个维度上定义像素数量，以添加到用户的环境中的内容1224(在图12b1中示出为1224a，在图12b2中示出为1224b)周围的体积中。在一些示例中，范围可以包括向左100个像素、向右100个像素、向底部150个像素、向左250个像素和/或向前200个像素。然而，其他尺寸或者范围的组合是可能的。范围可以由请求方、用户或ar系统定义。
132.在另一个示例中，ar系统可以定义体积的一个或多个尺寸的百分比变化。例如，ar系统可以将宽度向左增加20％、向底部增加10％、向顶部增加50％、或者其他尺寸或百分比的组合。在图12b1和图12b2所示的示例中，ar系统利用一组定义的范围1222以将体积1205a扩展到体积1205b。例如，定义的范围1222可以是像素数量，诸如100个像素。ar系统可以初始地确定体积1205a的大小对应于内容1224a的体积加上在内容1224a的体积的一侧或多侧的范围。在将内容1224a的体积调整大小为内容1224b的体积之后，ar系统可以保持相同的范围并扩展到体积1205b，其包括内容1224b的体积加上在内容1224b的体积的一侧或多侧的范围。在一些示例中，内容可包括浏览器块，并且调整大小可以对应于调整浏览器块或与浏览器块相关联的网页的大小。
133.如下文所讨论的，ar系统可以基于用户输入和第三方请求或其他因素中的一个或
多个来控制体积1205a的尺寸。例如，为了防止第三方(诸如网络域)在显示新内容时自动扩展体积1205a，ar系统可以确定一组许可的状态，这可以包括用户输入。有利地，该过程可以允许用户或ar系统对在用户的环境内的空间的使用施加更好的控制，但仍然允许第三方针对内容或体积推荐优化的大小。
134.h.示例性调整大小认证过程
135.在一些示例中，ar系统可以通过认证过程来控制调整体积的大小。图13a是示出可包括认证过程的示例调整大小过程1300的流程图。图13b示出可以是调整大小过程1300中的一个或多个步骤的一部分或结果的一组示例步骤。
136.参考图13a，在框1302处，ar系统可以接收调整大小请求。调整大小请求可包括来自应用、网络域、第三方或其他源的调整体积1324的大小的请求，诸如图13b所示。调整体积1324的大小可以包括从体积1324内的点(诸如体积1324的中心、体积1324内的内容1322的中心、或者在用户的3d环境内的另一点)在一个或多个方向上扩展或收缩体积1324。调整大小请求可包括体积1324的一个或多个尺寸的变化百分比或变化量。例如，变化量可包括以米为单位的量、像素数量、或其他量。在一些示例中，变化量可以基于在体积1324内添加的内容的大小或放置。例如，用户可以经由在体积1324内显示的浏览器应用与网络域进行交互。基于用户交互，网络域可以请求在用户的3d环境内显示3d内容。网络域可以基于3d内容在体积1324内的期望大小和放置来发送调整大小请求(或者ar系统可以例如基于网络域内容而自动发起调整大小请求)，以使得3d体积1324包含所添加的内容。
137.在框1304处，ar系统可以确定调整大小是否被授权。例如，ar系统可以确定用户是否授权或已经授权将体积1324的大小改变为所请求的大小。ar系统可以通过向用户显示提示、检查请求的授权状态、检查请求方的授权状态、通过其某种组合或通过另一种方法来做出该确定。
138.为了通过向用户显示提示来确定授权，ar系统可以图形方式显示请求关于调整大小请求的用户输入的图形或文本。例如，如图13b所示，ar系统可以输出图形1328以请求对调整体积1324的大小的批准。图形1328可包括文本和/或用于用户输入的一个或多个交互式组件。例如，图形1328可包括给用户的关于是否允许调整舞台的大小的提示。附加地或替代地，图形1328可包括一个或多个按钮(诸如“是”按钮或“否”按钮)或者用于接受用户输入的其他交互式组件。附加地或替代地，ar系统可以显示一个或多个临时线1326以示出所建议的体积1324的新大小。一个或多个临时线1326可包括箭头、线或者其他距离指示。线1326可以从内容1322的当前边界(或者包含内容的棱镜的当前边界)或者舞台1324的当前边界开始，并延伸到新建议的舞台1324的边界。在一些示例中，一旦接收到用户输入，则可以移除线。对于临时线附加地或替代地，ar系统可以显示所建议的体积1324的边界，通过例如显示所建议的体积1324的边界的轮廓，或者对所建议的体积1324的大小的添加体积着色。如果调整大小被授权，例如通过用户对调整大小请求接受，ar系统可以调整舞台1324的大小。如果调整大小未被授权，则ar系统不可调整舞台的大小。例如，ar系统可以显示与内容1322具有相同或相似体积的舞台1323。
139.为了通过检查请求的授权状态来确定授权，ar系统可以确定用户先前是否已经授权了调整大小。例如，用户可以在特定交互会话期间授权所有调整大小请求或一些调整大小请求。例如，在网络会话期间，用户可能已经授权了在六个方向中的每一个方向上进行
100个像素的体积扩展。然而，ar系统可能在放置内容时已经在六个方向中的每一个方向上将体积扩展了25个像素。然后，ar系统可以确定当前调整大小请求是否落入在六个方向中的每一个方向上的原始授权的100个像素的限制范围内。如果调整大小落入先前授权的限制内，则在框1306处，ar系统可以调整舞台的大小。如果ar系统发现调整大小不在限制内，则ar系统可拒绝调整大小或者向用户显示授权调整大小的提示。附加地或替代地，ar系统可以通过检查调整大小是否落入阈值变化(例如，默认阈值变化或用户定义的阈值变化)内来确定授权状态。如果阈值变化低于阈值量，则ar系统可以授权调整大小。如果阈值变化超过阈值变化，则ar系统可以拒绝调整大小或者向用户显示授权调整大小的提示。
140.为了通过检查请求方的授权状态来确定授权，ar系统可以确定用户是否已经允许请求方通常在有限的时间段期间和/或在特定限制范围内调整体积1324的大小。例如，请求方可以是受信任的请求方，以使得ar系统将批准所有调整大小请求。在另一个示例中，请求方可以具有有限的授权，以使得ar系统将批准在关于时间、体积变化和/或其他参数的设定限制内的调整大小请求。例如，如果用户已授权了请求方(诸如网络域)在网络会话期间调整体积1324的大小，则ar系统可以在网络会话期间调整体积的大小。然而，如果用户导航离开网络域，则ar系统可以不调整体积的大小或者提示用户授权调整大小。
141.在框1306处，ar系统可以调整舞台的大小。调整大小可包括一个或多个过程，诸如关于图12a和12b所描述的过程。参考图13b，ar系统可以使用百分比变化、用范围或另一种方法来调整体积1324的大小。在一些示例中，ar系统可以在调整大小时不显示体积1324的轮廓。在一些示例中，ar系统可以在调整大小时显示体积1324的轮廓。
142.在框1308处，ar系统可以确定是否刷新舞台。ar系统可以基于一个或多个刷新条件来确定应当刷新舞台。刷新条件可包括内容的一个或多个状态、内容源(诸如网络域或应用)、ar系统、调整大小授权、或其他相关条件。例如，ar系统可以确定调整大小授权是否已经结束或者调整大小是否不再相关，诸如当用户不再与来自请求方的内容交互时。在一些示例中，可以在用户离开请求了调整大小的网络域时发生刷新。例如，用户可以从请求了调整大小以在用户的环境中显示产品的购物网站切换到新闻网站。在另一个示例中，当网络会话已经结束或者新的网络会话已经开始时，可以发生刷新。在另一个示例中，可以在启动或重新启动应用时发生刷新。在另一个示例中，舞台的大小可以取决于或被绑定到用户正在交互的内容或应用。如果用户启动另一个应用或者加载具有它自己的舞台大小要求的内容，则ar系统可以刷新舞台。如果ar系统确定已经发生刷新，则在框1310处，ar系统可以重置体积1324。如果ar系统尚未确定已经发生刷新，则ar系统可以继续使用体积的当前大小1324。
143.在框1310处，ar系统可以将体积1324设置为先前的大小。例如，ar系统可以在调整大小请求之前将体积1324设置为ar系统在用户中的大小。在一些示例中，先前的大小可包括体积1324的默认大小，诸如浏览器块或其他内容的大小加上在一个或多个尺寸中的一些范围。在其他示例中，先前的大小可包括不是默认大小的大小。
144.i.示例性页面旋转
145.在一些示例中，ar系统可以调整体积的大小以容纳内容旋转，诸如浏览器块内的网页的旋转。图14a示出了用于在浏览器块内旋转网页的示例性旋转过程1400，并且图14b示出了在浏览器块内对网页进行体积旋转调整大小的示例。
146.参考图14a，在框1402处，ar系统可以接收旋转请求。旋转请求可包括来自用户或第三方应用的旋转在用户的3d环境中显示的内容的一个或多个组件的请求。例如，如图14b所示，ar系统可以在浏览器块1424内显示网页1428。最初，网页可以在竖直取向上显示。用户、第三方或应用可以请求网页在水平取向上进行取向。在其他示例中，ar系统可以显示多个内容。ar系统可以接收在用户的3d环境内重新取向或重新定位该内容的一个或多个部分的请求。
147.继续参考图14a，在框1404处，ar系统可以确定在用户的3d环境内的内容的新取向。例如，ar系统可以基于用户的姿势和/或旋转请求来识别新取向。任何数量的取向是可以的。在一些示例中，新取向可以是水平的、竖直的、对角线的、围绕x、y或z轴旋转等、或其某种组合。例如，如果用户正在看内容，例如浏览器块，则用户可以请求浏览器块内的内容的取向，以使得内容面向(例如垂直于)用户的注视方向。在另一个示例中，如图14b所示，内容可以是浏览器块1424内的网页1428，并且用户可以请求网页1428从竖直取向1401重新取向到水平取向1403。
148.在框1406处，ar系统可以基于新取向来确定新的体积大小。例如，如图14b1所示，ar系统可以调整体积1422a的大小以在新取向上容纳页面1428。新体积1422b可以在一个或多个维度上包括相同、更大或更小的长度。例如，在图14b1和图14b2所示的示例中，体积的高度h和宽度w可以保持相同(例如，在体积1422a和体积1422b中)，但是深度d可以增加到页面1428在体积1422b中的高度。然而，其他调整大小也是可以的。
149.在框1408处，ar系统可以确定调整大小授权。调整大小授权可包括用于确定调整大小请求是否被用户或ar系统授权的一个或多个步骤。例如，调整大小授权可包括参考图13a所描述的调整大小过程1300中的一个或多个步骤。在一些示例中，ar系统可以向用户显示确定调整大小或取向是否被授权的提示。如果ar系统确定调整大小被授权，则在框1410处，ar系统可以调整体积的大小。如果调整大小未被授权，则ar系统可以不调整体积的大小或者不显示新的内容取向。
150.在框1410处，ar系统可以基于调整大小授权来调整体积的大小。调整大小可包括一个或多个过程，诸如关于图12a和12b所描述的过程。如对图14b应用的，例如，ar系统可以使用百分比变化、用范围或另一种方法来调整体积1422的大小。在一些示例中，ar系统可以在从体积1422调整大小之后不显示体积1422a的轮廓。在一些示例中，ar系统可以在从体积1422调整大小时显示体积1422a的轮廓，例如持续预定时间段和/或直到发生特定用户交互。
151.在框1412处，ar系统可以在经调整大小的体积中以新取向显示内容。可以以所请求的取向显示内容，以使得内容的位置落入经调整大小的体积1422a内。
152.j.示例性内容处理
153.在一些示例中，ar系统可以接收在用户的3d环境中定位或放置内容的请求，在用户的3d环境中，该内容中的一些或全部落在允许在其中放置内容的定义空间体积的边界之外。图15a示出了用于放置这种内容的示例性内容处理过程1500，并且图15b示出了当调整体积的大小时和当不调整体积的大小时的内容处理的示例。
154.参考图15a，在框1502处，ar系统可以接收内容放置请求。内容放置请求可包括来自应用、网络域、第三方或其他源的将内容1526放置在用户的3d环境的区域中的请求，诸如
图15b所示。内容放置请求可包括内容1526的坐标和/或尺寸。坐标可以参考体积1522、用户和/或用户的3d环境内的另一个原点。在一些示例中，请求可包括将内容1526的一些或全部放置在体积1522之外。在一些示例中，请求可包括将内容1526的一些或全部放置在体积1522之内。例如，用户可以经由在体积1522内显示的浏览器应用与网络域进行交互。基于用户交互，网络域可以请求在体积1522内显示内容1524。附加地或替代地，网络域可以基于内容1524在体积1522内的期望大小和放置来发送内容放置请求。
155.在框1506处，ar系统可以基于内容放置请求来确定内容的一部分是否会落在体积的边界之外。例如，如图15b的情况1501所示，ar系统可以接收将内容1526完全放置在体积1522的边界之外的请求。然而，其他情况是可以的。
156.在另一个示例中，ar系统可以接收将内容1526的一部分放置在体积1522的边界之外的请求。在一些示例中，如果该部分超过阈值体积或者体积1522的阈值百分比或者与内容1524、1526和/或3d体积1522相关联的其他阈值，则ar系统可以确定内容1526落在体积1522的边界之外。在一些示例中，阈值可包括体积的5％、体积的10％或任何其他百分比。
157.在一些示例中，阈值可包括10个像素、15个像素或任何其他数量的像素。如果ar系统确定内容落入体积边界之内，则在框1518处，ar系统可以在体积内显示内容。如果ar系统确定内容落在体积边界之外，则在框1508处，ar系统可以确定是否调整体积的大小。
158.在框1508处，ar系统可以确定是否调整体积的大小。例如，ar系统可以基于调整大小授权的状态来确定是否调整内容的大小。调整大小授权可包括用于确定调整大小请求是否被用户或ar系统授权的一个或多个步骤。例如，调整大小授权可包括参考图13a所描述的调整大小过程1300中的一个或多个步骤。在一些示例中，ar系统可以向用户显示确定调整大小或取向是否被授权的提示。如果ar系统确定调整大小被授权，则在框1516中，ar系统可以调整体积的大小。如果调整大小未被授权，则在框1510中，ar系统可以确定是否复制内容。
159.在框1516处，ar系统可以调整体积的大小。调整大小可包括一个或多个过程，诸如关于图12a和图12b所描述的。参考图15b，例如，ar系统可以使用百分比变化、用范围或另一种方法来调整体积1522的大小以扩展到体积1522a。在一些示例中，ar系统可以在从体积1522调整大小之后不显示体积1522a的轮廓。在一些示例中，ar系统可以在从体积1522调整大小之后显示体积1522a的轮廓。一旦ar系统调整了体积的大小，则ar系统可以在所请求的位置处在经调整大小的体积1522a中显示内容，如在图15b中情况1503中所示。
160.在框1510处，ar系统可以确定是否复制内容。为了确定是否应当制作和放置副本，ar系统可以确定用户是否已授权在体积1522的边界之外显示内容1526的副本。复制授权可包括用于确定复制是否被用户或ar系统授权的一个或多个步骤。在一些示例中，ar系统可以向用户显示确定在所请求的放置处复制并在体积1522之外显示内容1526是否被授权的提示。如果用户响应于提示而指示批准复制，则ar系统可以确定复制被授权，并在框1514处，在体积1522之外显示内容的副本。如果用户指示复制未被批准，则在框1512处，ar系统可以确定在所请求的放置位置处不显示内容的副本。
161.内容的副本可包括内容1526的视觉表示，其可以或者可以不包含与发起请求方相关联的元数据，并且可以或者可以不允许请求方控制与该副本相关联的一个或多个参数。例如，副本可包括内容1526的视觉表示，其不允许发起内容1526的一方(诸如网络域)控制
该表示的移动、动画或其他方面。在另一各示例中，副本可包括内容1526的表示，其包括被连接到请求方的元数据，诸如超链接、动画或者与请求方相关联的其他数据。
162.在框1512处，ar系统可以隐藏或不显示内容1526的一些或全部，诸如图15b的情况1501中所示。例如，内容1526可以按大小放置或取向，以使得内容1526的中心落在3d体积1522之外。如果内容1526的中心落在3d体积1522之外，则ar系统可以确定不显示整个内容1526。在另一个示例中，ar系统可以确定显示内容1526的落入3d体积1522内的部分。
163.k.附加示例
164.本文所描述的系统、方法和设备各自具有若干方面，其中没有单独一个仅负责其期望的属性。在不限制本公开的范围的情况下，现在将简要讨论若干非限制性特征。以下段落描述了本文所描述的设备、系统和方法的各种示例实施方式。
165.示例1：一种用于在三维(3d)空间环境中显示虚拟内容的显示系统，该显示系统包括：头戴式显示器，其被配置为将虚拟内容呈现给显示系统的用户的眼睛；以及与头戴式显示器通信的电路，该电路被配置为：接收访问基于网络的3d内容的请求；识别与基于网络的3d内容相关联的参数，其包括以下中的至少一项：在用户的3d空间环境中的显示基于网络的3d内容的位置，3d内容的取向，或3d内容的尺寸；基于该参数，确定3d内容是否可以被显示在用户的3d空间环境的授权部分中；响应于确定3d内容不能被显示在3d空间环境的授权部分中，调整授权部分的大小以允许在经调整大小的授权部分中显示3d内容。
166.示例2：根据示例1所述的显示系统，其中，该电路被配置为：在3d空间环境中显示浏览器块，其中，3d空间环境的授权部分包括：大于浏览器块的宽度的宽度；大于浏览器块的高度的高度；以及大于浏览器块的深度的深度。
167.示例3：根据示例1或2中的任一项所述的显示系统，其中，该电路被配置为在授权部分中显示浏览器块。
168.示例4：根据示例1-3中的任一项所述的显示系统，其中，为了确定3d内容是否可以被显示在授权部分中，该电路被配置为确定阈值量的3d内容是否可以被显示在授权部分内。
169.示例5：根据示例1-4中的任一项所述的显示系统，其中，该电路被配置为：响应于确定3d内容可以被显示在3d空间环境的授权部分中，在授权部分中显示3d内容。
170.示例6：根据示例1-5中的任一项所述的显示系统，其中，为了调整授权部分的大小，该电路被配置为：确定调整大小授权状态；以及基于调整大小授权状态而调整授权部分的大小。
171.示例7：根据示例1-6中的任一项所述的显示系统，其中，为了确定调整大小授权状态，该电路被配置为基于用户输入来标识识别授权。
172.示例8：根据示例1-7中的任一项所述的显示系统，其中，基于网络的3d内容与网络域相关联，并且其中，为了确定调整大小授权状态，该电路被配置为基于网络域是否是授权请求方来识别授权。
173.示例9：根据示例1-8中的任一项所述的显示系统，其中，调整大小授权状态包括在访问与基于网络的3d内容相关联的网络域的当前会话期间调整授权部分的大小的授权。
174.示例10：根据示例1-9中的任一项所述的显示系统，其中，为了调整授权部分的大小，该电路被配置为：在至少一个方向上将授权部分的宽度增加第一量；在至少一个方向上
将授权部分的高度增加第二量；以及在至少一个方向上将授权部分的深度增加第三量。
175.示例11：根据示例1-10中的任一项所述的显示系统，其中，该电路被配置为：确定与授权部分相关联的刷新条件；以及将授权部分的大小设置为默认大小。
176.示例12：根据示例11所述的显示系统，其中，刷新条件包括以下中的至少一项：与不与基于网络的3d内容相关联的网络域的用户交互，以及来自用户的停止显示基于网络的3d内容的指示。
177.示例13：一种用于在三维(3d)空间环境中显示虚拟内容的显示系统，该显示系统包括：
178.头戴式显示器，其被配置为将虚拟内容呈现给显示系统的用户的眼睛；以及与头戴式显示器通信的电路，该电路被配置为：接收访问内容的请求；以第一取向在用户的3d空间环境的授权部分中显示内容；接收以第二取向在用户的3d空间环境中显示内容的请求；确定内容是否可以以第二取向在用户的3d空间环境的授权部分中显示；以及响应于确定内容不能以第二取向在3d空间环境的授权部分中显示，调整授权部分的大小以允许在经调整大小的授权部分内以第二取向显示内容。
179.示例14：根据示例13所述的显示系统，其中，内容包括网页。
180.示例15：根据示例13或14所述的显示系统，该电路被配置为：在3d空间环境中的虚拟浏览器块内显示内容，以及其中，3d空间环境的授权部分包括：大于虚拟浏览器块的宽度的宽度；大于虚拟浏览器块的高度的高度；以及大于虚拟浏览器块的深度的深度。
181.示例16：根据示例15所述的显示系统，其中，该电路被配置为在授权部分中显示虚拟浏览器块。
182.示例17：根据示例13-16中的任一项所述的显示系统，其中，为了确定内容是否可以被显示在授权部分中，该电路被配置为确定阈值量的内容是否可以被显示在授权部分内。
183.示例18：根据示例13-17中的任一项所述的显示系统，其中，该电路被配置为：响应于确定内容可以以第二取向在3d空间环境的授权部分中显示，以第二取向在授权部分中显示内容。
184.示例19：根据示例13-18中的任一项所述的显示系统，其中，为了调整授权部分的大小，该电路被配置为：确定调整大小授权状态；以及基于调整大小授权状态，调整授权部分的大小。
185.示例20：根据示例13-19中的任一项所述的显示系统，其中，为了确定调整大小授权状态，该电路被配置为基于用户输入来识别授权。
186.示例21：根据示例13-20中的任一项所述的显示系统，其中，内容与网络域相关联，并且其中，为了确定调整大小授权状态，该电路被配置为基于网络域是否是授权请求方来识别授权。
187.示例22：根据示例13-21中的任一项所述的显示系统，其中，调整大小授权状态包括在访问与3d内容相关联的网络域的当前会话期间调整授权部分的大小的授权。
188.示例23：根据示例13-22中的任一项所述的显示系统，其中，为了调整授权部分的大小，该电路被配置为：在至少一个方向上将授权部分的宽度增加第一量；在至少一个方向上将授权部分的高度增加第二量；以及在至少一个方向上将授权部分的深度增加第三量。
189.示例24：根据示例13-23中的任一项所述的显示系统，其中，该电路被配置为：确定与授权部分相关联的刷新条件；以及将授权部分的大小设置为默认大小。
190.示例25：根据示例24所述的显示系统，其中，刷新条件包括以下中的至少一项：与不与内容相关联的网络域的用户交互，以及来自用户的停止显示内容的指示。
191.示例26：一种用于在三维(3d)空间环境中显示虚拟内容的显示系统，该显示系统包括：头戴式显示器，其被配置为将虚拟内容呈现给显示系统的用户的眼睛；以及与头戴式显示器通信的电路，该电路被配置为：接收访问3d内容的请求；识别与3d内容相关联的参数，其包括以下中的至少一项：在用户的3d空间环境中的显示3d内容的位置，3d内容的取向，以及3d内容的尺寸；基于参数，确定3d内容是否可以被显示在用户的3d空间环境的授权部分中；以及响应于确定3d内容不能被显示在3d空间环境的授权部分中，在3d空间环境中的上述位置处显示3d内容的表示。
192.示例27：根据示例26所述的显示系统，其中，该电路被配置为：在3d空间环境中显示浏览器块，以及其中，3d空间环境的授权部分包括：大于浏览器块的宽度的宽度；大于浏览器块的高度的高度；以及大于浏览器块的深度的深度。
193.示例28：根据示例26或27中的任一项所述的显示系统，其中，该电路被配置为在授权部分中显示浏览器块。
194.示例29：根据示例26-28中的任一项所述的显示系统，其中，为了确定3d内容是否可以被显示在授权部分中，该电路被配置为确定阈值量的3d内容是否可以被显示在授权部分内。
195.示例30：根据示例26-28中的任一项所述的显示系统，其中，该电路被配置为：响应于确定3d内容可以被显示在3d空间环境的授权部分中，在授权部分中显示3d内容。
196.任何一个上述示例可以以任何合适的组合进行组合。
197.l.术语
198.为了促进理解本文所讨论的系统和方法，下面描述了多个术语。下文所描述的术语以及本文所使用的其他术语应被解释为包括所提供的描述、术语的普通和习惯含义、和/或用于相应术语的任何其他隐含含义，其中这种解释与术语的上下文一致。因此，以下描述不限制这些术语的含义，而仅提供示例描述。
199.棱镜：与混合现实内容相关联的容器、区域或体积。例如，棱镜可以包含可由用户选择的多个虚拟内容项。棱镜可在启动应用时产生，然后可产生同级或子棱镜以创建灵活的布局。在棱镜内的应用可以被配置为控制这些分层棱镜将出现的位置，这通常在第一个棱镜的附近并且容易由用户发现。
200.棱镜可以向用户提供反馈。在一些实施例中，反馈可以是当棱镜以头部姿势为目标时仅向用户显示的标题。在一些实施例中，反馈可以是棱镜周围的辉光。棱镜辉光(和/或其他棱镜反馈)也可以用于共享，以向用户给出正在被共享的棱镜的反馈。
201.控制器：手持式控制器，诸如图腾。
202.控制器轴：从控制器延伸的轴，其定义控制器的指向方向。
203.头部姿势：使用传感器(诸如惯性测量单元(imu)、加速度计、陀螺仪等)确定的头部位置和/或头部取向。在头部姿势的方向上延伸的头部姿势射线可用于与虚拟对象进行交互。例如，当用户正指向或看着棱镜或对象时，对象或棱镜与用户的头部姿势射线相交。
204.焦点：允许交互式对象被选择的对象(诸如棱镜)的特性。
205.输入焦点：使得对象的光标被刷新并被渲染为活动系统光标的对象(诸如棱镜或应用)的特性。在一些实施方式中，可以存在多个焦点对象，但只有一个具有输入焦点。
206.浏览器块：一种可用于导航、显示或以其他方式与基于网络的内容进行交互的内容窗口。浏览器块可以在用户的3d环境中被显示为可以被操纵和交互的2d或3d对象。
207.3d内容：可以在用户的3d环境中显示的虚拟对象。3d内容可以是静态的、动画的、可操纵的、或以其他方式进行交互。3d内容可以包括通过使用例如浏览器块与网络域或网页的用户交互而生成的基于网络的内容。
208.内容体积(或内容舞台)：内容体积可以包括具有用户的环境的空间体积，在其中可以显示或操纵3d内容。
209.m.其他考虑
210.在本文中所描述的或在附图中所描绘的过程、方法和算法中的每一个可以在一个或多个物理计算系统、硬件计算机处理器、专用电路、或者被配置为执行特定和具体计算机指令的电子硬件执行的代码模块中体现或由其完全或部分地自动化。例如，计算系统可以包括用特定计算机指令编程的通用计算机(例如服务器)或者专用计算机、专用电路等。代码模块可被编译并链接到可执行程序中，被安装在动态链接库中，或者可以用解释性编程语言来编写。在一些实施方式中，可以通过特定于给定功能的电路来执行特定操作和方法。
211.进一步地，本公开的功能的某些实施方式在数学上、计算上、技术上足够复杂，以致于专用硬件或一个或多个物理计算设备(利用适当的专用可执行指令)可以对于执行例如由于所涉及的计算的容量或复杂性的功能或者对于基本上实时地提供结果是必要的。例如，动画或视频可以包括许多帧，其中每一帧具有数百万个像素，并且需要专门编程的计算机硬件来处理视频数据，以在商业上合理的时间量内提供期望的图像处理任务或应用。
212.代码模块或任何类型的数据可以被存储在任何类型的非暂时性计算机可读介质上，例如物理计算机存储装置(包括硬盘驱动器、固态存储器、随机存取存储器(ram)、只读存储器(rom)、光盘)、易失性或非易失性存储装置、它们的组合等。方法和模块(或数据)也可以在各种计算机可读传输介质(包括基于无线的和基于有线/电缆的介质)上作为生成的数据信号(例如作为载波的一部分或者其他模拟或数字传播信号)被发送，并且可以采用多种形式(例如作为单个或多路复用模拟信号的一部分，或者作为多个离散数字分组或帧)。所公开的过程或过程步骤的结果可以永久地或以其他方式被存储在任何类型的非暂时性有形计算机存储装置中，或者可以经由计算机可读传输介质被传递。
213.本文所描述的或在附图中所描绘的流程图中的任何过程、框、状态、步骤或功能应被理解为潜在地表示代码模块、代码段或代码部分，其包括用于实现过程中的特定功能(例如逻辑的或算术的)或步骤的一个或多个可执行指令。各种过程、框、状态、步骤或功能可以被组合、重新排列、添加到本文所提供的说明性示例、从本文所提供的说明性示例中删除、修改或以其他方式改变。在一些实施例中，附加的或不同的计算系统或代码模块可以执行本文所描述的一些或全部功能。本文所描述的方法和过程也不限于任何特定的顺序，并且与之相关的框、步骤或状态可以以适当的其他顺序(例如顺序地、并行或以某些其他方式)来执行。可以将任务或事件添加到所公开的示例实施例中或从中删除。而且，本文所描述的实施方式中的各种系统组件的分离是出于说明性的目的，并且不应当被理解为在所有实施
方式中需要这种分离。应当理解，所描述的程序组件、方法和系统通常可以被一起集成在单个计算机产品中或被打包到多个计算机产品中。许多实施方式变型是可以的。
214.过程、方法和系统可以在网络(或者分布式)计算环境中实现。网络环境包括企业范围的计算机网络、内联网、局域网(lan)、广域网(wan)、个域网(pan)、云计算网络、众包计算网络、因特网和万维网。网络可以是有线或无线网络或者任何其他类型的通信网络。
215.本公开的系统和方法各自具有若干创新方面，其中没有单独一个仅负责或者要求本文所公开的期望的属性。上文所描述的各种特征和过程可以彼此独立地使用，或者可以以各种方式组合。所有可能的组合和子组合旨在落入本公开的范围内。对于本公开中所描述的实施方式的各种修改可以对于本领域的技术人员是容易明显的，并且本文中定义的一般原理可以适用于其他实施方式而不脱离本公开的精神或范围。因此，权利要求不旨在限于本文中所示的实施方式或实施例，而是将符合与本文所公开的公开内容、原理和新颖特征一致的最宽范围。
216.在分离的实施方式或实施例的上下文中在本说明书中所描述的某些特征也可以在单个实施方式或实施例中组合实现。相反地，在单个实施方式或实施例中的上下文中所描述的各种特征还可以单独地或者以任何适合的子组合在多个实施方式或实施例中实现。而且，尽管以上可以将特征描述为在某些组合中起作用，并且甚至最初如此宣称，但是，在某些情况下可以从组合中删除所要求保护的组合中的一个或多个特征，并且所要求保护的组合可以针对子组合或子组合的变体。对于每个实施例，没有单个特征或一组特征是必要的或必不可少的。
217.在本文中使用的条件语言，尤其例如“能够”、“会”、“可能”、“可以”、“例如”等，除非另有明确说明，否则在所使用的上下文中理解为通常意在传达某些实施例包括而其他实施例不包括某些特征、元素和/或步骤。因此，这种条件语言通常不旨在暗示特征、元素或步骤以任何方式对于一个或多个实施例是必需的，或者一个或多个实施例必然包括用于在有或没有作者输入或提示的情况下决定这些特征、元素或步骤是否在任何特定实施例中被包括或要被执行的逻辑。术语“包括”、“包含”、“具有”等是同义词，以开放式方式包含地使用，并且不排除附加的元素、特征、动作、操作等。而且，术语“或”以其包含的含义使用(而不是以其排他的含义使用)，因此，例如在用于连接元素列表时，术语“或”意味着列表中的一个、一些或全部元素。另外，在本技术和所附权利要求书中使用的“一”、“一个”和“该”应被解释为意味着“一个或多个”或“至少一个”，除非另有说明。
218.如本文所使用的，引用项目列表中的“至少一个”的短语是指这些项的任意组合，包括单个成员。例如，“a、b或c中的至少一个”旨在涵盖：a、b、c、a和b、a和c、b和c、以及a、b和c。除非另外特别说明，否则诸如短语“x、y和z中的至少一个”之类的词语应与上下文一起理解，如通常用于传达项目、术语等可以是x、y或z中的至少一个。因此，这种连接语言通常不旨在暗示某些实施例需要x中的至少一个、y中的至少一个和z中的至少一个存在。
219.类似地，尽管可以以特定顺序在附图中描绘操作，但是要认识到，不需要以所示的特定顺序或相继顺序来执行这样的操作，或者不需要执行所有示出的操作以达到理想的结果。进一步地，附图可以以流程图的形式示意性地描绘一个或多个示例过程。然而，未描绘的其他操作可以被并入示意性地示出的示例方法和过程中。例如，可以在任何所示的操作之前、之后、同时或之间执行一个或多个附加的操作。另外，在其他实现中，可以重新安排或
重新排序操作。在某些情况下，多任务和并行处理可以是有利的。此外，在上述的实现中的各种系统组件的分离不应被理解为在所有实现中都需要这种分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中或打包到多个软件产品中。另外，其他实现在所附的权利要求的范围内。在一些情况下，权利要求中所记载的动作可以以不同的次序执行，并且仍然实现期望的结果。