混合现实中的空间指令和指南的制作方法

混合现实中的空间指令和指南
1.相关申请的交叉引用
2.本专利申请要求于2019年8月7日提交的美国临时专利申请号62/884,153和2019年8月30日提交的美国临时专利申请号62/894,448的优先权，在此通过引用将其全部内容并入本文。
技术领域
3.本公开总体上涉及用于呈现音频和视觉信号的系统和方法，并且具体地涉及用于在混合现实环境中呈现与用户创建的内容相对应的音频和视觉信号的系统和方法。


背景技术：

4.虚拟环境在计算环境中无处不在，在视频游戏(其中虚拟环境可以表示游戏世界)；地图(其中虚拟环境可以表示要导航的地形)；模拟(其中虚拟环境可以模拟真实环境)；数字叙事(其中虚拟角色可以在虚拟环境中相互交互)；以及许多其他应用中找到用途。现代计算机用户通常能够舒适地感知虚拟环境并与之交互。然而，用户对虚拟环境的体验可能会受到用于呈现虚拟环境的技术的限制。例如，传统显示器(例如，2d显示屏)和音频系统(例如，固定扬声器)可能无法以创建引人入胜、逼真和身临其境的体验的方式实现虚拟环境。
5.虚拟现实(“vr”)、增强现实(“ar”)、混合现实(“mr”)和相关技术(统称为“xr”)共享向xr系统的用户呈现与由计算机系统中的数据所表示的虚拟环境对应的感官信息的能力。本公开考虑了vr、ar和mr系统之间的区别(尽管一些系统可以在一个方面(例如，视觉方面)被归类为vr，并且在另一方面(例如，音频方面)同时被归类为ar或mr)。如本文所使用的，vr系统呈现了一种虚拟环境，该虚拟环境至少在一个方面取代了用户的真实环境；例如，vr系统可以向用户呈现虚拟环境的视图，同时模糊他或她对真实环境的视图，例如使用光遮挡头戴式显示器。类似地，vr系统可以向用户呈现与虚拟环境对应的音频，同时阻止(衰减)来自真实环境的音频。
6.vr系统可能会遇到由于用虚拟环境替换用户的真实环境而导致的各种缺点。一个缺点是当用户在虚拟环境中的视场不再对应于他或她的内耳的状态时可能会出现晕动病的感觉，内耳检测一个人在真实环境(不是虚拟环境)中的平衡和取向。同样，用户可能会在他们自己的身体和肢体(用户赖以在真实环境中感觉“扎根”的视图)无法直接看到的vr环境中体验到迷失方向。另一个缺点是必须呈现完整的3d虚拟环境的vr系统的计算负担(例如，存储、处理能力)，特别是在寻求让用户沉浸在虚拟环境中的实时应用中。同样，此类环境可能需要达到非常高的真实感标准才能被认为是沉浸式的，因为用户往往对虚拟环境中的微小缺陷都很敏感——任何缺陷都会破坏用户在虚拟环境中的沉浸感。此外，vr系统的另一个缺点是系统的此类应用无法利用真实环境中广泛的感官数据，例如人们在现实世界中体验到的各种视觉和声音。一个相关的缺点是，vr系统可能难以创建多个用户可以交互的共享环境，因为在真实环境中共享物理空间的用户可能无法在虚拟环境中直接看到或相
互交互。
7.如本文所用，ar系统呈现在至少一个方面重叠或覆盖真实环境的虚拟环境。例如，ar系统可以向用户呈现覆盖在用户的真实环境的视图上的虚拟环境的视图，例如使用呈现所显示的图像同时允许光穿过显示器进入用户的眼睛的透射式头戴式显示器。类似地，ar系统可以向用户呈现与虚拟环境相对应的音频，同时混合来自真实环境的音频。类似地，如本文所使用的，mr系统呈现在至少一个方面与真实环境重叠或覆盖的虚拟环境，ar系统也是如此，并且可以另外允许mr系统中的虚拟环境可以在至少一个方面与真实环境交互。例如，虚拟环境中的虚拟角色可能会切换现实环境中的电灯开关，从而导致现实环境中相应的灯泡打开或关闭。作为另一个示例，虚拟角色可以对真实环境中的音频信号做出反应(例如用面部表情)。通过保持真实环境的呈现，ar和mr系统可以避免vr系统的上述一些缺点；例如，用户的晕动病减少了，因为来自真实环境(包括用户自己的身体)的视觉提示可以保持可见，并且此类系统无需为用户呈现完全实现的3d环境即可沉浸其中。此外，ar和mr系统可以利用现实世界的感官输入(例如，风景、物体和其他用户的视图和声音)来创建增强该输入的新应用。
8.xr系统可以为用户提供与虚拟环境交互的各种方式；例如，xr系统可能包括各种传感器(例如，相机、麦克风等)，用于检测用户的位置和取向、面部表情、语音和其他特征；并将此信息作为输入呈现给虚拟环境。与用户在其他虚拟环境中的参与(engagement)(例如，通过2d屏幕)相比，xr系统的交互性可以增加用户的参与。社交功能可以进一步增加交互性，例如xr系统用户能够彼此交互或一起与内容交互。随着用户体验到与虚拟内容更紧密的视觉和物理连接，增加的参与可以促进更好的学习或更愉快的娱乐。
9.xr系统可以通过将虚拟视觉和音频提示与真实的视觉和声音相结合来提供独特的增强的沉浸感和真实感。因此，希望在一些xr系统中呈现增强、改进或改变相应的真实环境的虚拟环境。本公开涉及包含用于训练、教育或娱乐目的的交互式虚拟环境的xr系统。


技术实现要素：

10.本公开的示例描述了用于在混合现实环境中创建空间指令和指南(guide)的系统和方法。在示例方法中，在第一时间从第一用户接收第一输入。第一用户在第一时间在坐标空间中的位置是使用第一可穿戴头部设备的传感器来确定的。生成与第一输入对应的持久虚拟内容。持久虚拟内容与第一用户在第一时间的位置相关联。确定第一用户的位置。第一用户的位置与持久虚拟内容相关联。在第二时间，确定第二用户在第二时间在坐标空间中的位置。持久虚拟内容经由显示器显示给第二用户。将持久虚拟内容呈现给第二用户包括呈现与第一用户在第一时间的位置对应的坐标空间中的位置处的持久虚拟内容。确定第二用户的位置。第二用户的位置与持久虚拟内容相关联。确定新位置，其中新位置基于第一用户的位置和第二用户的位置。新位置与持久虚拟内容相关联。
附图说明
11.图1a至图1c示出了示例混合现实环境。
12.图2a至图2d示出了示例混合现实系统的部件，该混合现实系统可用于生成混合现实环境并与之交互。
13.图3a示出了可用于向混合现实环境提供输入的示例混合现实手持式控制器。
14.图3b示出了可以与示例混合现实系统一起使用的示例辅助单元。
15.图4示出了示例混合现实系统的示例功能框图。
16.图5示出了用于在混合现实系统中创建和显示空间内容的过程的示例流程图。
17.图6示出了用户与用于在混合现实系统中创建或显示空间内容的提示(prompt)交互的示例。
18.图7示出了在混合现实系统中过滤空间内容的示例。
19.图8示出了用户在混合现实系统中创建空间内容的示例。
20.图9示出了在混合现实系统中创建空间内容的示例。
21.图10示出了在混合现实系统中创建空间内容的示例。
22.图11示出了在混合现实系统中显示关于空间内容的信息的示例。
23.图12示出了用户在混合现实系统中选择空间内容的示例。
24.图13示出了用户在混合现实系统中查看空间内容的示例。
25.图14示出了在混合现实系统中共享空间内容的示例。
26.图15示出了在混合现实系统中共享空间内容的示例。
27.图16示出了在混合现实系统中更新与空间内容相关联的位置的示例。
具体实施方式
28.在示例的以下描述中，对形成附图的一部分并且在其中通过图示的方式示出可以实践的示例的附图进行参考。应理解，在不脱离所公开的示例的范围的情况下，可以使用其他示例并且可以做出结构改变。
29.混合现实环境
30.像所有人一样，混合现实系统的用户存在于真实环境中——即，“真实世界”的三维部分和所有其内容可由用户感知。例如，用户使用气普通人类感觉来感知真实环境——视觉、声音、接触、味道、气味——并且通过在真实环境中移动其自己的身体与真实环境交互。真实环境中的位置可被描述为坐标空间中的坐标；例如，坐标可包括纬度、经度和相对于海平面的海拔；在三个正交维度上距参考点的距离；或其他适合的值。同样地，矢量可描述具有坐标空间中的方向和大小的数量(quantity)。
31.计算设备可例如在与设备相关联的存储器中维持虚拟环境的表示。如本文所使用的，虚拟环境是三维空间的计算表示。虚拟环境可包括任何对象、动作、信号、参数、坐标、矢量、或与该空间相关联的其他特性的表示。在一些示例中，计算设备的电路(例如，处理器)可以维持和更新虚拟环境的状态；即，处理器可以在第一时间t0处基于与虚拟环境相关联的数据和/或由用户提供的输入来确定第二时间t1处的虚拟环境的状态。例如，如果虚拟环境中的对象在时间t0处位于第一坐标处，并且具有某个编程的物理参数(例如，质量、摩擦系数)；以及从用户接收的输入指示力应当以方向矢量施加到该对象；处理器可应用运动学定律以使用基础力学确定对象在时间t1处的位置。处理器可以使用关于虚拟环境已知的任何适合的信息和/或任何适合的输入来确定时间t1处的虚拟环境的状态。在维持和更新虚拟环境的状态时，处理器可执行任何适合的软件，包括与虚拟环境中的虚拟对象的创建和删除有关的软件；用于定义虚拟环境中的虚拟对象或角色的行为的软件(例如，脚本)；用于
定义虚拟环境中的信号(例如，音频信号)的行为的软件；用于创建和更新与虚拟环境相关联的参数的软件；用于生成虚拟环境中的音频信号的软件；用于处理输入和输出的软件；用于实现网络操作的软件；用于应用资产数据(例如，随时间移动虚拟对象的动画数据)的软件；或许多其他可能性。
32.输出设备(诸如显示器或者扬声器)可以向用户呈现虚拟环境的任何或所有方面。例如，虚拟环境可包括可以呈现给用户的虚拟对象(其可包括无生命对象；人；动物；光等的表示)。处理器可以确定虚拟环境的视图(例如，对应于具有坐标原点、视图轴和视锥的“相机”)；以及向显示器渲染对应于该视图的虚拟环境的可视场景。出于该目的，可以使用任何适合的渲染技术。在一些示例中，可视场景可以仅包括虚拟环境中的一些虚拟对象，并且不包括某些其他虚拟对象。类似地，虚拟环境可包括可呈现给用户作为一个或多个音频信号的音频方面。例如，虚拟环境中的虚拟对象可生成起源于对象的位置坐标的声音(例如，虚拟角色可以说话或引起声音效果)；或者虚拟环境可以与可以或可以不与特定位置相关联的音乐线索或环境声音相关联。处理器可确定对应于“听众”坐标的音频信号——例如，对应于虚拟环境中的声音的复合的音频信号，并且被混合并处理以模拟将由听众坐标处的听众听到的音频信号——并且经由一个或多个扬声器将音频信号呈现给用户。
33.由于虚拟环境仅作为计算结构存在，所以用户可能不使用其普通感觉直接感知虚拟环境。相反，用户只能间接地感知如呈现给用户的虚拟环境，例如通过显示器、扬声器、触觉输出设备等。类似地，用户可以不直接接触、操控、或以其他方式与虚拟环境交互；但是可以经由输入设备或传感器将输入数据提供给可使用设备或传感器数据来更新虚拟环境的处理器。例如，相机传感器可提供指示用户试图移动虚拟环境中的对象的光学数据，并且处理器可使用该数据使得对象因此在虚拟环境中作出响应。
34.混合现实系统可以向用户呈现组合真实环境和虚拟环境的各方面的混合现实环境(“mre”)，例如使用透射式显示器和/或一个或多个扬声器(其可以例如并入可穿戴头部设备中)。在一些实施例中，一个或多个扬声器可以在头戴式可穿戴单元的外部。如本文所使用的，mre是真实环境和对应的虚拟环境的同时表示。在一些示例中，对应的真实环境和虚拟环境共享单个坐标空间；在一些示例中，真实坐标空间和对应的虚拟坐标空间通过变换矩阵(或其他适合的表示)彼此相关。因此，单个坐标(在一些示例中，连同变换矩阵一起)可以定义真实环境中的第一位置，以及虚拟环境中的第二对应位置；反之亦然。
35.在mre中，虚拟对象(例如，在与mre相关联的虚拟环境中)可以对应于真实对象(例如，在与mre相关联的真实环境中)。例如，如果mre的真实环境包括位置坐标处的真实灯杆(真实对象)，则mre的虚拟环境可包括在对应的位置坐标处的虚拟灯杆(虚拟对象)。如本文所使用的，真实对象组合其对应的虚拟对象一起构成“混合现实对象”。不需要虚拟对象与对应的真实对象完美匹配或者对准。在一些示例中，虚拟对象可以是对应的真实对象的简化版本。例如，如果真实环境包括真实灯杆，则对应的虚拟对象可以包括具有与真实灯杆粗略地相同高度和半径的圆柱体(反映该灯杆可以在形状方面是粗略地圆柱形的)。以这种方式简化虚拟对象可以允许计算效率，并且可以简化将在这样的虚拟对象上执行的计算。进一步地，在mre的一些示例中，真实环境中的并非所有真实对象可以与对应的虚拟对象相关联。同样地，在mre的一些示例中，虚拟环境中的并非所有虚拟对象可以与对应的真实对象相关联。即，一些虚拟对象可以仅在mre的虚拟环境中而没有任何现实世界配对物。
36.在一些示例中，虚拟对象可以具有与对应的真实对象的特性不同(有时急剧地)的特性。例如，虽然mre中的真实环境可以包括绿色双臂仙人掌——多刺无生命对象——mre中的对应的虚拟对象可以具有具有人类面部特征和粗暴行为的绿色双臂虚拟角色的特性。在该示例中，虚拟对象在某些特性(颜色、臂数)方面类似其对应的真实对象；但是在其他特性(面部特征、个性)方面与真实对象不同。以这种方式，虚拟对象具有以创造性、抽象、夸大、或想象的方式表示真实对象的潜在性；或者向其他无生命真实对象给予行为(例如，人类个性)。在一些示例中，虚拟对象可以是纯想象创造而没有现实世界配对物(例如，虚拟环境中的虚拟怪物，也许在对应于真实环境中的空白空间的位置处)。
37.与vr系统相比较，该vr系统向用户呈现虚拟环境同时模糊真实环境，呈现mre的混合现实系统提供当虚拟环境被呈现时真实环境保持可感知的优点。因此，混合现实系统的用户能够使用与真实环境相关联的视觉和音频线索来体验并且与对应的虚拟环境交互。作为示例，当vr系统的用户可以努力感知虚拟环境中所显示的虚拟对象或与虚拟环境中所显示的虚拟对象交互时——因为如上所述，用户不能直接感知或与虚拟环境交互——mr系统的用户可以通过看到、听到和触摸他或她自己的真实环境中的对应的真实对象来发现与虚拟对象交互直观并且自然。该交互性水平可以提高用户与虚拟环境沉浸、连接和接合的感觉。类似地，通过同时呈现真实环境和虚拟环境，混合现实系统可以减少与vr系统相关联的负面心理感觉(例如，认知失调)和负面身体感觉(例如，运动病)。混合现实系统进一步为可以增加或更改我们的现实世界的体验的应用提供许多可能性。
38.图1a示出了用户110使用混合现实系统112的示例性真实环境100。混合现实系统112可以包括显示器(例如，透射式显示器)和一个或多个扬声器，以及一个或多个传感器(例如，相机)，例如如以下所描述的。示出的真实环境100包括用户110站立的矩形房间104a；以及真实对象122a(灯)、124a(桌子)、126a(沙发)和128a(油画)。房间104a还包括位置坐标106，它可以被认为是真实环境100的原点。如图1a所示，具有其原点在点106(世界坐标)处的环境/世界坐标系108(包括x轴108x、y轴108y、和z轴108z)可以定义用于真实环境100的坐标空间。在一些实施例中，环境/世界坐标系108的原点106可以对应于混合现实环境112被上电的位置。在一些实施例中，环境/世界坐标系108的原点106可以在操作期间被重置。在一些示例中，用户110可以被认为是真实环境100中的真实对象；类似地，用户110的身体部分(例如，手、脚)可以被认为是真实环境100中的真实对象。在一些示例中，具有其原点在点115(例如，用户/听众/头部坐标)处的用户/听众/头部坐标系114(包括x轴114x、y轴114y、和z轴114z)可以定义针对混合现实系统112位于的用户/听众/头部的坐标空间。用户/听众/头部坐标系114的原点115可以相对于混合现实系统112的一个或多个组件来定义。例如，用户/听众/头部坐标系114的原点115可以相对于混合现实系统112的显示来定义，诸如在混合现实系统112的初始校准期间。矩阵(其可以包括平移矩阵和四元数矩阵或其他旋转矩阵)或其他适合的表示可以表征用户/听众/头部坐标系114空间与环境/世界坐标系108空间之间的变换。在一些实施例中，左耳坐标116和右耳坐标117可以相对于用户/听众/头部坐标系114的原点115来定义。矩阵(其可以包括平移矩阵和四元数矩阵或其他旋转矩阵)或其他适合的表示可以表征左耳坐标116和右耳坐标117与用户/听众/头部坐标系114空间之间的变换。用户/听众/头部坐标系114可以简化相对于用户的头部或头戴式设备(例如，相对于环境/世界坐标系108)的位置的表示。使用同时定位和地图创建(slam)、视觉
测距或其他技术，用户坐标系114与环境坐标系108之间的变换可以实时确定和更新。
39.图1b示出了对应于真实环境100的示例性虚拟环境130。示出的虚拟环境130包括对应于真实矩形房间104a的虚拟矩形房间104b；对应于真实对象122a的虚拟对象122b；对应于真实对象124a的虚拟对象124b；以及对应于真实对象126a的虚拟对象126b。与虚拟对象122b、124b、126b相关联的元数据可以包括从对应的真实对象122a、124a、126a导出的信息。虚拟环境130附加地包括虚拟怪兽132，该虚拟怪兽132不对应于真实环境100中的任何真实对象。真实环境100中的真实对象128a不对应于虚拟环境130中的任何虚拟对象。具有其原点在点134(持久坐标)处的持久坐标系133(包括x轴133x、y轴133y、和z轴133z)可以定义用于虚拟内容的坐标空间。持久坐标系133的原点134可以相对于/关于一个或多个真实对象(诸如真实对象126a)来定义。矩阵(其可以包括平移矩阵和四元数矩阵或其他旋转矩阵)或其他适合的表示可以表征持久坐标系133空间与环境/世界坐标系108空间之间的变换。在一些实施例中，虚拟对象122b、124b、126b和132中的每个虚拟对象可以具有相对于持久坐标系133的原点134其自己的持久坐标点。在一些实施例中，可以存在多个持久坐标系，并且虚拟对象122b、124b、126b和132中的每个虚拟对象可以具有相对于一个或多个持久坐标系其自己的持久坐标点。
40.相对于图1a和图1b，环境/世界坐标系108定义用于真实环境100和虚拟环境130二者的共享坐标空间。在示出的示例中，坐标空间具有其原点在点106处。进一步地，坐标空间由相同三个正交轴(108x、108y、108z)定义。因此，真实环境100中的第一位置和虚拟环境130中的第二对应位置可以相对于相同坐标系来描述。这简化标识和显示真实环境和虚拟环境中的对应的位置，因为相同坐标可以用于标识这两个位置。然而，在一些示例中，对应的真实环境和虚拟环境不需要使用共享坐标空间。例如，在一些示例中(未示出)，矩阵(其可以包括平移矩阵和四元数矩阵或其他旋转矩阵)或其他适合的表示可以表征真实环境坐标空间与虚拟环境坐标空间之间的变换。
41.图1c示出了经由混合现实系统112将真实环境100和虚拟环境130的各方面同时呈现给用户110的示例性mre 150。在示出的示例中，mre 150同时向用户110呈现来自真实环境100的真实对象122a、124a、126a和128a(例如，经由混合现实系统112的显示器的透射部分)；以及来自虚拟环境130的虚拟对象122b、124b、126b和132(例如，经由混合现实系统112的显示器的有源显示部分)。如上所述，原点106充当用于对应于mre 150的坐标空间的原点，并且坐标系108定义用于坐标空间的x轴、y轴和z轴。
42.在示出的示例中，混合现实对象包括占用坐标空间108中的对应位置的真实对象和虚拟对象的对应对(即，122a/122b、124a/124b、126a/126b)。在一些示例中，真实对象和虚拟对象二者可以对用户110同时可见。这可以在例如虚拟对象呈现被设计为增强对应的真实对象的视图的信息的实例中(诸如在虚拟对象呈现古代损坏雕塑的丢失件的博物馆应用中)是期望的。在一些示例中，虚拟对象(122b、124b和/或126b)可以被显示(例如，经由使用像素化遮挡快门的有源像素化遮挡)以便遮挡对应的真实对象(122a、124a和/或126a)。这可以在例如虚拟对象充当用于对应的真实对象的视觉替换的实例中(诸如在无生命真实对象变为“活的”角色的交互式故事应用中)是期望的。
43.在一些示例中，真实对象(例如，122a、124a、126a)可以与虚拟内容或可以不必构成虚拟对象的辅助数据(helper data)相关联。虚拟内容或辅助数据可以促进混合现实环
境中的虚拟对象的处理或处置。例如，这样的虚拟内容可以包括以下各项的二维表示：对应的真实对象；与对应的真实对象相关联的定制资产类型；或与对应的真实对象相关联的统计数据。该信息可以使能或者促进涉及真实对象的计算而不招致不必要的计算开销。
44.在一些示例中，如上所描述的呈现还可以包含音频方面。例如，在mre 150中，虚拟怪兽132可以与一个或多个音频信号相关联，诸如当怪兽在mre 150到处走时生成的脚步声效果。如下文进一步描述，混合现实系统112的处理器可以计算与mre 150中的所有此类声音的混合和处理复合对应的音频信号，并且经由包括在混合现实系统112中的一个或多个扬声器和/或一个或多个外部扬声器将音频信号呈现给用户110。
45.示例混合现实系统
46.示例混合现实系统112可以包括可穿戴头部设备(例如，可穿戴增强现实或混合现实头部设备)，其包括：显示器(其可以包括左和右透射式显示器，其可以是近眼显示器，以及用于将来自显示器的光耦合到用户的眼睛的相关联的部件)；左和右扬声器(例如，其分别邻近用户的左和右耳定位)；惯性测量单元(imu)(例如，其被安装到头部设备的边撑臂(temple arm))；正交线圈电磁接收器(例如，其被安装到左边撑件)；左和右相机(例如，深度(飞行时间)相机)，其远离用户取向；以及左和右眼相机，其朝向用户取向(例如，用于检测用户的眼睛移动)。然而，混合现实系统112可以包含任何适合的显示技术，以及任何适合的传感器(例如，光学、红外、声学、lidar、eog、gps、磁性)。此外，混合现实系统112可包含联网特征(例如，wi-fi能力)以与其他设备和系统通信，包括其他混合现实系统。混合现实系统112还可以包括电池(其可以被安装在辅助单元中，诸如被设计为穿戴在用户的腰部周围的腰带包)、处理器和存储器。混合现实系统112的可穿戴头部设备可以包括跟踪部件，诸如imu或其他适合的传感器，其被配置为输出可穿戴头部设备相对于用户的环境的一组坐标。在一些示例中，跟踪部件可以向执行同时定位和地图创建(slam)和/或视觉测距算法的处理器提供输入。在一些示例中，混合现实系统112还可以包括手持式控制器300和/或辅助单元320，其可以是可穿戴腰带包，如下文进一步描述。
47.图2a至图2d示出了可以用于将mre(其可以对应于mre 150)或其他虚拟环境呈现给用户的示例性混合现实系统200(其可以对应于混合现实系统112)的部件。图2a示出了在示例混合现实系统200中包括的可穿戴头部设备2102的透视图。图2b示出了在用户的头部2202上穿戴的可穿戴头部设备2102的俯视图。图2c示出了可穿戴头部设备2102的前视图。图2d示出了可穿戴头部设备2102的示例目镜2110的边视图。如图2a至图2c所示，示例可穿戴头部设备2102包括示例性左目镜(例如，左透明波导集(set)目镜)2108和示例性右目镜(例如，右透明波导集目镜)2110。每个目镜2108和2110可以包括：透射元件，通过该透射元件，真实环境可以是可见的；以及显示元件，其用于呈现重叠真实环境的显示(例如，经由逐图像调制光)。在一些示例中，这样的显示元件可以包括用于控制逐图像调制光的流动的表面衍射光学元件。例如，左目镜2108可以包括左耦入光栅集2112、左正交光瞳扩展(ope)光栅集2120、和左出射(输出)光瞳扩展(epe)光栅集2122。类似地，右目镜2110可以包括右耦入光栅集2118、右ope光栅集2114、和右epe光栅集2116。逐图像调制光可以经由耦入光栅2112和2118、ope 2114和2120、和epe 2116和2122传递到用户的眼睛。每个耦入光栅集2112、2118可以被配置为朝向其对应的ope光栅集2120、2114偏转光。每个ope光栅集2120、2114可以被设计为朝向其相关联的epe 2122、2116向下递增地偏转光，从而水平延伸正在
形成的出射光瞳。每个epe 2122、2116可以被配置为将从其对应的ope光栅集2120、2114接收的光的至少一部分向外递增地重定向到限定在目镜2108、2110后面的用户适眼区(eyebox)位置(未示出)，垂直延伸在适眼区处形成的出射光瞳。可替代地，代替耦入光栅集2112和2118、ope光栅集2114和2120、和epe光栅集2116和2122，目镜2108和2110可以包括光栅和/或用于控制将逐图像调制光耦合到用户的眼睛的折射和反射特征的其他布置。
48.在一些示例中，可穿戴头部设备2102可以包括左边撑臂2130和右边撑臂2132，其中，左边撑臂2130包括左扬声器2134并且右边撑臂2132包括右扬声器2136。正交线圈电磁接收器2138可以定位在左边撑件中，或者在可穿戴头部单元2102中的另一适合的位置。惯性测量单元(imu)2140可以定位在右边撑臂2132中，或者在可穿戴头部设备2102中的另一适合的位置。可穿戴头部设备2102还可以包括左深度(例如，飞行时间)相机2142和右深度相机2144。深度相机2142、2144可以在不同的方向上适合地取向以便一起覆盖更宽的视场。
49.在图2a至图2d中示出的示例中，逐图像调制光的左源2124可以通过左耦入光栅集2112被光学耦合到左目镜2108中，并且逐图像调制光的右源2126可以通过右耦入光栅集2118被光学耦合到右目镜2110中。逐图像调制光源2124、2126可以包括例如光纤扫描器；投影仪，包括电子光调制器，诸如数字光处理(dlp)芯片或硅上液晶(lcos)调制器；或发射显示器，诸如微发光二极管(μled)或微有机发光二极管(μoled)面板，其使用每侧一个或多个透镜被耦合到耦入光栅集2112、2118中。输入耦合光栅集2112、2118可以将来自逐图像调制光源2124、2126的光偏转到大于针对目镜2108、2110的全内反射(tir)的临界角的角度。ope光栅集2114、2120向下朝向epe光栅集2116、2122递增地偏转通过tir传播的光。epe光栅集2116、2122将光递增地耦合朝向用户的面部，包括用户的眼睛的瞳孔。
50.在一些示例中，如图2d所示，左目镜2108和右目镜2110中的每一个包括多个波导2402。例如，每个目镜2108、2110可以包括多个单独波导，每个波导专用于相应的颜色通道(例如，红色、蓝色和绿色)。在一些示例中，每个目镜2108、2110可以包括这样的波导的多个集合，其中，每个集合被配置为向发射光给予不同的波前曲率。波前曲率可以相对于用户的眼睛是凸的，例如以呈现定位在用户的前面一定距离(例如，通过与波前曲率的倒数对应的距离)的虚拟对象。在一些示例中，epe光栅集2116、2122可以包括弯曲的光栅凹陷，以通过改变跨每个epe出射光的坡印廷(poynting)矢量实现凸波前曲率。
51.在一些示例中，为了创建所显示的内容是三维的感知，立体调节的左和右眼图像可以通过逐图像光调制器2124、2126和目镜2108、2110呈现给用户。三维虚拟对象的呈现的感知的真实性可以通过选择波导(并且因此对应的波前曲率)被增强，使得虚拟对象在接近由立体左和右图像所指示的距离的距离处被显示。该技术还可以减少由一些用户经历的运动病，其可以由由立体左和右眼图像提供的深度感知线索与人眼的自动调节(例如，对象距离-相关焦点)之间的差异引起。
52.图2d示出了从示例可穿戴头部设备2102的右目镜2110的顶部的面向边缘的视图。如图2d所示，多个波导2402可以包括三个波导2404的第一子集和三个波导2406的第二子集。波导2404、2406的两个子集可以通过不同epe光栅来区分，不同epe光栅具有不同光栅线曲率(line curvature)以将不同的波前曲率赋予出射光。在波导2404、2406的子集中的每一个内，每个波导可以用于将不同光谱通道(例如，红色、绿色和蓝色光谱通道之一)耦合到用户的右眼2206。虽然未示出在图2d中，但是左目镜2108的结构类似于右目镜2110的结构。
53.图3a示出了混合现实系统200的示例性手持式控制器部件300。在一些示例中，手持式控制器300包括握持部分346和沿着顶表面348设置的一个或多个按钮350。在一些示例中，按钮350可以被配置用于用作光学跟踪目标，例如，用于结合相机或其他光学传感器(其可以被安装在混合现实系统200的头部单元(例如，可穿戴头部设备2102)中)来跟踪手持式控制器300的六自由度(6dof)运动。在一些示例中，手持式控制器300包括用于检测位置或取向(诸如相对于可穿戴头部设备2102的位置或取向)的跟踪部件(例如，imu或其他适合的传感器)。在一些示例中，这样的跟踪部件可以定位在手持式控制器300的手柄中，和/或可以机械耦合到手持式控制器。手持式控制器300可以被配置为提供与按钮的按压状态中的一个或多个对应的一个或多个输出信号；或手持式控制器300的位置、取向和/或移动(例如，经由imu)。这样的输出信号可以用作混合现实系统200的处理器的输入。这样的输入可以对应于手持式控制器的位置、取向和/或移动(例如，通过扩展而对应于握住控制器的用户的手部的位置、取向和/或移动)。这样的输入还可以对应于用户按下按钮350。
54.图3b示出了混合现实系统200的示例性辅助单元320。辅助单元320可以包括提供操作系统200的能量的电池，并且可以包括用于执行操作系统200的程序的处理器。如所示，示例辅助单元320包括芯片2128，诸如用于将辅助单元320附接到用户的腰带。其他形状因子适合于辅助单元320并且将是明显的，包括不涉及将单元安装到用户的腰带的形状因子。在一些示例中，辅助单元320通过多导管电缆被耦合到可穿戴头部设备2102，该多导管电缆可以包括例如电线和光纤。还可以使用辅助单元320与可穿戴头部设备2102之间的无线连接。
55.在一些示例中，混合现实系统200可以包括检测声音并且将对应的信号提供给混合现实系统的一个或多个麦克风。在一些示例中，麦克风可以被附接到可穿戴头部设备2102或与其集成，并且被配置为检测用户的语音。在一些示例中，麦克风可以被附接到手持式控制器300和/或辅助单元320或与其集成。这样的麦克风可以被配置为检测环境声音、环境噪声、用户或第三方的语音、或其他声音。
56.图4示出了可以与示例性混合现实系统对应的示例性功能框图，诸如如上所述的混合现实系统200(其可以对应于相对于图1的混合现实系统112)。如图4所示，示例手持式控制器400b(其可以对应于手持式控制器300(“图腾”))包括图腾到可穿戴头部设备六自由度(6dof)图腾子系统404a，并且示例可穿戴头部设备400a(其可以对应于可穿戴头部设备2102)包括图腾到可穿戴头部设备6dof子系统404b。在示例中，6dof图腾子系统404a和6dof子系统404b合作确定手持式控制器400b相对于可穿戴头部设备400a的六个坐标(例如，在三个平移方向上的偏移和沿着三个轴的旋转)。六个自由度可以相对于可穿戴头部设备400a的坐标系表示。三个平移偏移可以表示为这样的坐标系中的x、y和z偏移、表示为平移矩阵、或表示为一些其他表示。旋转自由度可以表示为一序列的偏航、俯仰和滚动旋转、表示为旋转矩阵、表示为四元数、或表示为一些其他表示。在一些示例中，可穿戴头部设备400a；包括在可穿戴头部设备400a中的一个或多个深度相机444(和/或一个或多个非深度相机)；和/或一个或多个光学目标(例如，如上所描述的手持式控制器400b的按钮350，或包括在手持式控制器400b中的专用光学目标)可以用于6dof跟踪。在一些示例中，手持式控制器400b可以包括相机，如上所描述的；并且可穿戴头部设备400a可以包括用于结合相机光学跟踪的光学目标。在一些示例中，可穿戴头部设备400a和手持式控制器400b各自包括一
组三个正交取向的螺线管，其用于无线地发送和接收三个可区分的信号。通过测量用于接收的线圈中的每一个中所接收的三个可区分信号的相对幅度，可以确定可穿戴头部设备400a相对于手持式控制器400b的6dof。此外，6dof图腾子系统404a可以包括惯性测量单元(imu)，该惯性测量单元(imu)可用于提供关于手持式控制器400b的快速移动的经改进的准确度和/或更及时的信息。
57.在一些示例中，可能变得需要将来自局部坐标空间(例如，相对于可穿戴头部设备400a固定的坐标空间)的坐标变换到惯性坐标空间(例如，相对于真实环境固定的坐标空间)，例如以便补偿可穿戴头部设备400a相对于坐标系108的移动。例如，这样的变换可能为可穿戴头部设备400a的显示器进行以下内容所必需：将虚拟对象呈现在相对于真实环境的期望位置和取向处(例如，坐在真实椅子中、面向前的虚拟人，而不管可穿戴头部设备的位置和取向)，而不是呈现在显示器上的固定位置和取向处(例如，在显示器的右下角的相同位置处)，以保持虚拟对象存在于真实环境中的错觉(并且例如当可穿戴头部设备400a移动和旋转时不显得不自然地定位在真实环境中)。在一些示例中，坐标空间之间的补偿变换可以通过使用slam和/或视觉测距程序处理来自深度相机444的图像确定，以便确定可穿戴头部设备400a相对于坐标系108的变换。在图4所示的示例中，深度相机444被耦合到slam/视觉测距块406并且可以向块406提供图像。slam/视觉测距块406实施方式可以包括处理器，该处理器被配置为处理该图像并且确定用户的头部的位置和取向，该位置和取向然后可以用于标识头部坐标空间与另一坐标空间(例如，惯性坐标空间)之间的变换。类似地，在一些示例中，从imu 409获得关于用户的头部姿势和位置的信息的附加源。来自imu 409的信息可以与来自slam/视觉测距块406的信息集成，以提供关于用户的头部姿势和位置的快速调节的经改进的准确度和/或更及时的信息。
58.在一些示例中，深度相机444可以将3d图像供应到手势跟踪器411，该手势跟踪器411可以实现在可穿戴头部设备400a的处理器中。手势跟踪器411可以标识用户的手势，例如通过将从深度相机444接收的3d图像与表示手势的所存储的图案相匹配。标识用户的手势的其他适合的技术将是明显的。
59.在一些示例中，一个或多个处理器416可以被配置为从可穿戴头部设备的6dof头盔子系统404b、imu 409、slam/视觉测距块406、深度相机444、和/或手势跟踪器411接收数据。处理器416还可以发送和接收来自6dof图腾系统404a的控制信号。处理器416可以被无线耦合到6dof图腾系统404a，诸如在手持式控制器400b不受限的示例中。处理器416还可以与附加部件通信，诸如音频-视觉内容存储器418、图形处理单元(gpu)420、和/或数字信号处理器(dsp)音频声场定位器(spatializer)422。dsp音频声场定位器422可以被耦合到头部相关传递函数(hrtf)存储器425。gpu 420可以包括被耦合到逐图像调制光的左源424的左通道输出和被耦合到逐图像调制光的右源426的右通道输出。gpu 420可以将立体图像数据输出到逐图像调制光源424、426，例如如上相对于图2a-2d所描述的。dsp音频声场定位器422可以向左扬声器412和/或右扬声器414输出音频。dsp音频声场定位器422可以从处理器419接收指示从用户到虚拟声源(其可以由用户移动，例如，经由手持式控制器320)的方向矢量的输入。基于方向矢量，dsp音频声场定位器422可以确定对应的hrtf(例如，通过访问hrtf、或通过内插多个hrtf)。dsp音频声场定位器422然后可以将所确定的hrtf应用到音频信号，诸如对应于由虚拟对象生成的虚拟声音的音频信号。这可以通过内插用户相对于混
合现实环境中的虚拟声音的相对位置和取向——即，通过呈现匹配该虚拟声音将听起来像什么(如果其是真实环境中的真实声音)的用户的期望的虚拟声音来增强虚拟声音的可信度和真实性。
60.在一些示例中，诸如图4所示，处理器416、gpu 420、dsp音频声场定位器422、hrtf存储器425、和音频/视觉内容存储器418中的一个或多个可以包括在辅助单元400c中(其可以对应于如上所描述的辅助单元320)。辅助单元400c可以包括对其部件供电和/或向可穿戴头部设备400a或手持式控制器400b供电的电池427。将这样的部件包括在可安装到用户的腰部的辅助单元中可以限制可穿戴头部设备400a的大小和重量，其进而可以减少用户的头部和颈部的疲劳。
61.虽然图4呈现了与示例混合现实系统的各种组件对应的元件，但是这些部件的各种其他适合的布置对于本领域技术人员来说将变得显而易见。例如，图4中呈现为与辅助单元400c相关联的元件可以替代地与可穿戴头部设备400a或手持式控制器400b相关联。。此外，一些混合现实系统可以完全放弃手持式控制器400b或辅助单元400c。这样的改变和修改将被理解为包括在所公开的示例的范围内。
62.空间内容
63.本公开涉及在mre中创建和查看空间内容，其可以包括空间指令和指南(“sig”)。根据一些实施例，用户(或多于一个用户)可以在mre中“记录”空间内容，这可以持久地与在其中记录事件的物理环境相联系。例如，房间里的用户可以在房间里走动，谈论并指向房间里的对象，并在mre中绘制虚拟插图(illustration)。然后，用户(同一用户或不同用户)可以回放mre“记录”。在一些实施例中，用户可以(在mre记录回放期间)在mre记录被创建的相同房间中。在一些实施例中，用户随后可以观看虚拟表示在房间内移动、解释和指向对象，并在mre中绘制虚拟插图。在一些实施例中，虚拟表示的行为可以类似于创建mre记录的用户(例如，虚拟表示可以在物理环境中移动，类似于创建mre记录的用户如何在物理环境中移动)。在一些实施例中，可以在不记录用户移动的情况下创建空间内容。例如，空间内容可以至少部分地由计算机模拟，而不需要用户物理地执行要被记录的动作。在一些实施例中，空间内容可以不与物理环境相关联。例如，用于娱乐目的的空间内容可以被配置为在任何物理环境中回放。在一些实施例中，空间内容可以被配置为适应各种回放环境(例如，空间娱乐内容可以被配置为缩放到用户客厅的大小)。如本文所用，“sig事件”可以指在空间位置处所创建的相对于该空间位置持久(永久、半永久、或有限的时间量)的虚拟内容。sig事件可以包括文本、图像、音频、视频、交互式内容、网络链接、或任何其他合适的信息。sig记录可以包括一个或多个记录的sig事件。
64.在mre中记录和回放sig事件在例如教育或娱乐应用中可能是有益的。例如，指导员(instructor)可以在用户可能工作的物理位置(例如仓库)记录关于安全程序的sig事件(例如，操作机器的正确方法或存放个人防护设备的位置)。然后，用户(例如，新员工)可以出现在相关的物理位置(例如，他们将工作的仓库)并在mre中查看sig事件(例如，新员工可以在物理仓库周围跟随指导员的虚拟表示，因为虚拟表示会教导正确的安全程序)。在一些实施例中，mre中的sig事件可能比其他虚拟环境(例如，在2d屏幕上观看视频)更能吸引用户。在一些实施例中，用户可以与相关物理环境同时查看虚拟环境或与虚拟环境交互(例如，当用户处于记录sig事件的物理环境中时，用户可以查看sig事件)，从而导致更大的参
与感。查看虚拟环境的其他方法(例如，在2d屏幕上观看视频)通常不允许用户同时与视频中描绘的物理环境进行交互(例如，因为用户正在从与记录视频的位置不同的位置处观看视频)。因此，可能需要开发用于通过允许虚拟环境与mre中的物理环境混合来增加用户对虚拟环境的参与的系统和方法。
65.图5描绘了sig系统的示例使用的流程图。在步骤502，发起sig记录会话(例如，用户可以与用户界面交互以开始记录或设置用于记录会话的参数)。在步骤504，记录一个或多个sig事件。sig记录可以合并来自可穿戴头部设备上的一个或多个传感器的数据，这些数据可以包括例如用户的手部和头部运动、音频信号、眼睛运动、位置信息、生命体征、或空间位置。在步骤506，发起sig回放会话(例如，用户可以选择回放哪个sig记录)。在步骤508，在sig回放会话中显示一个或多个sig事件(例如，可以将用户选择的sig记录回放给用户)。在一些实施例中，多个用户可以加入单个sig回放会话。下面更详细地描述过程500的步骤502、504、506和508。
66.发起sig记录
67.图6描绘了发起sig记录会话的实施例。在所描绘的实施例中，用户602可以使用混合现实系统603(其可以对应于混合现实系统112和200)，并且用户602可以位于物理环境604(其可以对应于真实环境100)中。混合现实系统603可以通过一个或多个混合现实设备来实现，例如可穿戴头部设备(例如，上述可穿戴头部设备2102)；手持式控制器(例如，上述手持式控制器300)，和/或辅助单元(例如，上述辅助单元320)。在一些实施例中，用户602可以使用移动设备(例如，手机)来发起sig记录会话。在一些实施例中，混合现实系统603可以向用户602显示虚拟对象(其可以对应于虚拟环境130)，同时允许用户602感知物理环境604。在所描绘的实施例中，混合现实系统603可以显示虚拟菜单606给用户。在一些实施例中，虚拟菜单可以是至少部分透明的，使得用户可以通过虚拟菜单看到虚拟菜单后面的物理环境。在一些实施例中，虚拟菜单(和通常的虚拟对象)可能不是透明的并且可以使得虚拟菜单(和通常的虚拟对象)看起来是物理环境的一部分。在一些实施例中，虚拟菜单通常可以相对于物理环境固定在适当的位置(例如，虚拟菜单606固定在桌子上方并且仅当用户观看物理环境中的那个区域时才可感知)。在一些实施例中，混合现实系统603可以使用坐标系(其可以对应于坐标系108)和原点(其可以对应于原点106)来将虚拟对象放置在物理环境中。在一些实施例中，坐标系可以为物理环境和虚拟环境两者定义共享坐标空间，使得可以使用相同的坐标来识别两种环境中的位置。在一些实施例中，虚拟菜单通常可以相对于用户的视场固定在适当的位置。例如，虚拟菜单通常可以固定在用户的视场的中心，使得虚拟菜单总是在用户视的场的中心，而不管用户正在看哪里。在一些实施例中，虚拟菜单在通常固定到一个位置时可以显示惯性。例如，如果虚拟菜单通常固定在用户的视场的中心，则它可能会落后于(trail behind)用户的视场的变化，使得它并不总是位于视场的中心。在一些实施例中，一旦视场在一段时间内保持不变，则虚拟菜单可以随后返回到视场的中心。
68.在一些实施例中，虚拟菜单606可以向用户显示一个或多个选项(例如，记录sig事件、切换(togle)sig层、或开始sig事件)。在一些实施例中，混合现实系统603可以跟踪用户的眼睛运动，并且用户可以通过看向特定选项来在一个或多个所显示的选项之间进行选择。在一些实施例中，混合现实系统603可以跟踪手持式控制器(例如，手持式控制器部件
300)的移动，该手持式控制器可以是混合现实系统的一部分，并且用户可以通过按下手持式控制器(例如，手持式控制器部件300)上的按钮来确认特定选择。然而，也可以使用其他合适的选择方法(例如，使用手持式控制器上的按钮来选择和确认选项)。在一些实施例中，虚拟菜单606可以显示记录sig事件的选项。用户可以选择记录sig事件的选项，作为响应，混合现实系统可以向用户显示提示(例如，按下按钮开始记录)。在一些实施例中，用户可以使用语音输入向虚拟菜单提供输入。
69.在一些实施例中，物理上不在混合现实环境的远程用户记录或上传sig事件到混合现实环境的位置。也就是说，sig事件可以上传到与远程用户相关联的虚拟位置，即使远程用户的物理位置在其他地方。例如，与远程用户相关联的位置可以是呈现混合现实环境的远程用户设备(例如，移动设备、计算机、第二可穿戴头部设备)的显示器上的虚拟位置。混合现实环境的呈现可以在混合现实环境中使用第一可穿戴头部设备来捕获(例如，记录、流式传输(stream))。远程用户可以通过远程用户设备的显示器看到混合现实环境(例如，由第一可穿戴头部设备所捕获的)，并且显示器上的虚拟位置可以对应于共享混合现实环境的视图的第一可穿戴头部设备的物理位置。除了查看混合现实环境之外，还可以显示关于混合现实环境的附加信息(例如，环境的地图、选项的菜单、指示第一可穿戴头部设备的位置的网格)。从远程用户的设备，远程用户可以通过选择相应的虚拟位置来记录或上传sig事件到混合现实环境处的物理位置。然后，混合现实环境的其他用户可以在混合现实环境中访问sig事件，无论他们物理上存在于混合现实环境中，还是远程访问混合现实环境。sig事件可以包括任何合适类型的数据，例如文本文件、音频文件、视频文件、url、或社交媒体内容。sig事件还可以包括可执行的计算机代码，例如计算机应用或脚本。
70.作为示例，第一用户可以与第二用户远程通信，访问可穿戴设备，使得第一用户可以看到由第二用户提供的视场。例如，第一用户可能正在远程访问第二用户的混合现实环境的视图。第二用户的可穿戴设备可能正在向第一用户展示她的乐器收藏。第一用户可以将sig事件(例如，在该示例中，与乐器相关联的内容)上传或记录到设备的显示器上的乐器的位置，使得sig事件变得与混合现实环境中的乐器的物理位置相关联。第二用户可以在物理位置访问sig事件。稍后，乐器所在位置的第三用户可以访问由第一用户记录或上传的sig事件。第三用户可以在乐器的物理位置；或者第三用户可以是虚拟存在于乐器的位置处的远程用户。
71.在一些实施例中，在虚拟位置处的用户(例如，物理上不在混合现实环境中的远程用户)记录或上传sig事件而不从可穿戴头部设备呈现混合现实环境。例如，与用户关联的位置是混合现实环境的地图上的虚拟位置，并且基于混合现实环境的地图，用户将sig事件记录或上传到混合现实环境的位置。作为另一示例，用户可以在混合现实环境中定义坐标以记录或上传sig事件。
72.图7描绘了用户可以选择在特定层上记录sig事件的实施例。在一些实施例中，混合现实系统向用户呈现虚拟菜单702。在一些实施例中，在用户选择记录sig事件的选项之后，可以呈现虚拟菜单702。虚拟菜单702可以显示与用于记录sig事件的一个或多个层对应的一个或多个选项704。层可以作为组织工具来安排多个sig事件。例如，层可以充当过滤器，过滤器选择性地显示或隐藏信息组(例如，sig事件或sig记录)。在一些实施例中，不同的层可以对应于不同的教育方向材料。例如，“发现(discovery)”层可以包括关于宿舍建筑
中特征的sig事件。“发现”层中的sig事件可以告诉用户洗衣房或计算机实验室在哪里、正确的厨房礼仪、或如何连接到校园无线网络。在另一个示例中，“校园之旅(campus tour)”层可以包括关于校园中建筑物的sig事件。一个sig事件可以专门用于参观招生办公室，而另一个sig事件可能专门用于参观工程大楼中的教室。在一些实施例中，用户可以从预定义的一组层(例如，一个或多个层)中进行选择以在其上进行记录。在一些实施例中，用户可以从所呈现的层列表中添加或删除层。在一些实施例中，可以基于上下文信息将sig事件自动分配给层。
73.尽管描述了层，但还设想可以通过其他合适的方式过滤sig事件(和其他空间内容)。例如，可以通过相关联的关键字来过滤sig事件。在一些实施例中，可以更精细地过滤sig事件。例如，sig事件的特定元素可以与过滤器(例如，层或一个或多个关键字)相关联。在一些实施例中，切换过滤器可以切换sig事件的一个或多个相关联的元素；并且在一些实施例中，切换过滤器关闭不会影响sig事件的不相关联的元素。例如，可以显示与第一层相关联的虚拟条形图，并且可以将图表值描述符与第二层相关联。图表值描述符可以附加地叠加或不叠加在虚拟条形图上，取决于相关联的层是被打开(toggle on)还是关闭(toggle off)。用户还可以使用过滤器来选择用户希望查看的内容。例如，用户可以在不同的语言过滤器或类型(genre)过滤器之间切换。在一些实施例中，过滤器可用于限制用户对空间内容(例如，不适合儿童的内容)的访问。例如，管理员可能只允许特定员工访问与特定过滤器相关联的内容。在一些实施例中，过滤器可以与社交媒体内容(例如，群组、朋友等)相关联。
74.记录sig事件
75.在一些实施例中，一旦用户选择一个或多个层来记录，用户就可以开始记录sig事件，如图8所示。图8描绘了用户802在位于物理环境804(其可以对应于真实环境100)的同时使用混合现实系统803。在一些实施例中，一旦用户开始记录sig事件，就可以生成与sig事件相关联的虚拟对象(其可以对应于虚拟环境130)。在一些实施例中，可以将虚拟标记(marker)806被放置在用户位于物理环境中的地方(例如，使用坐标系108)。虚拟对象(例如，虚拟标记806)通常可以相对于物理环境固定在位置上。例如，虚拟标记806可以放置在物理环境804中的一组货架807旁边。然后，当用户查看具有货架807的区域时，使用混合现实系统的用户可以在货架807附近看到虚拟标记806。在一些实施例中，虚拟对象可以使用如本文关于图1a至图1c所述的持久坐标系(其可以对应于坐标系108)在相对于物理环境的位置中持久存在。在一些实施例中，用于物理环境的坐标系可以与用于虚拟环境的坐标系相同，使得坐标可以描述物理环境和虚拟环境两者中的相同位置。
76.在一些实施例中，用户可以在记录sig事件的同时创建虚拟标记808。在一些实施例中，可以记录虚拟标记808的创建(例如，用户在创建虚拟标记808时的移动)。图9描绘了用户创建虚拟标记902的示例。在一些实施例中，用户可以通过任何合适的方式激活sig系统的标记功能(例如，按压手持式控制器904上的按钮或经由虚拟用户界面来选择功能，或简单地用用户的手部绘制而不使用手持式控制器)。在一些实施例中，当标记功能被激活时，用户可以使用手持式控制器904(其可以对应于手持式控制器300)来创建虚拟标记902。在一些实施例中，混合现实系统可以通过手持式控制器904的运动，通过在此描述的系统和方法(例如，关于图3a)来跟踪用户的手部运动。在一些实施例中，用户可以按下并按住手持式控制器904上的按钮以用虚拟标记906“书写”。在一些实施例中，虚拟标记906可以在记录
会话期间被显示，并且当手持式控制器进入用户的视场时覆盖在手持式控制器904上。在一些实施例中，虚拟控制器和/或手部(例如，当虚拟标记未参与时)可以在记录会话期间被显示并且当手持式控制器进入用户的视场时覆盖在手持式控制器上。在一些实施例中，当标记功能被激活时，用户可以使用他们的手部来创建虚拟标记902。在一些实施例中，混合现实系统可以通过各种传感器(例如，深度传感器、rgb相机、其他光学传感器、或运动传感器)来跟踪用户的手部运动。在一些实施例中，用户可以通过用用户的手部指向来激活标记功能。当手部在用户的视场中时，虚拟标记可以被显示并选择性地覆盖在用户的手部上，以指示标记功能处于激活。
77.在一些实施例中，虚拟标记902将跟随手持式控制器904的移动，使得用户正在用手持式控制器904进行“书写”。在一些实施例中，虚拟标记可以在用户创建虚拟标记之后在视觉上持久存在。在一些实施例中，虚拟标记可以在用户创建标记之后在sig事件内仅在视觉上持久存在阈值时间量。虚拟标记及其相关的视觉持久性可以与特定的sig回放会话相关联，以使得如果为不同的用户重新启动或启动sig回放会话，则虚拟标记可以重新出现并再次持续阈值时间量。在一些实施例中，超过阈值时间量之前创建的虚拟标记可以从用户的视图中消失。还设想虚拟标记可以基于虚拟标记的阈值长度来消失(例如，虚拟标记可以具有两英尺的阈值长度)。在一些实施例中，虚拟标记通常可以相对于物理环境内的位置被固定。
78.返回参考图8，在一些实施例中，物理环境周围的虚拟轨迹810可以被记录在sig记录中。在一些实施例中，混合现实系统可以通过可穿戴头部设备、手持式控制器、或其他合适的方式(例如，两者的组合)来跟踪移动，以确定用户在物理环境中的移动。也可以使用其他传感器(例如，物理环境中的传感器)。在一些实施例中，用户的头部运动和方向可以记录在sig记录中。在一些实施例中，混合现实系统可以包括能够使用本文关于图2a至图2d描述的系统和方法来跟踪用户的头部运动和用户所面对的方向的可穿戴头部设备。也可以使用其他传感器(例如，物理环境中的传感器)。在一些实施例中，音频信号(例如，用户的语音)可以被记录在sig记录中。例如，混合现实系统可以包括麦克风，这些麦克风可以内置在混合现实系统的可穿戴头部设备中。也可以使用其他麦克风(例如，固定在房间中的麦克风)。在一些实施例中，可以将虚拟音频标记812放置在sig记录中。虚拟音频标记812可以对应于音频记录，并且通常可以相对于物理环境固定在位置上。在一些实施例中，视频记录可以包括在sig记录中。例如，位于混合现实系统112或200(或混合现实系统外部)的一个或多个相机可以在sig会话期间记录视频。在一些实施例中，所记录的视频可以来自佩戴混合现实系统的用户的视角(即，相机记录用户所看到的)。在一些实施例中，混合现实系统可以记录增强视频，其中增强视频记录物理环境和覆盖的虚拟环境。在一些实施例中，增强视频可以记录用户在混合现实环境中的体验。在一些实施例中，在sig记录会话中记录的视频可以具有相关联的虚拟视频标记，该相关联的虚拟视频标记可以被放置在sig记录中。在一些实施例中，用户可以通过接近相关联的虚拟标记来激活视频记录。在一些实施例中，所记录的视频可以是用户的(例如，包括面部表情的用户的面部、包括手势的用户的身体等)。
79.在一些实施例中，用户可以结束sig记录会话(例如，通过按压手持式控制器上的按钮)。在一些实施例中，结束sig记录会话可以提示混合现实系统显示虚拟菜单。在一些实施例中，虚拟菜单可以指示记录的sig事件的长度。在一些实施例中，虚拟菜单可以呈现发
布sig记录或删除sig记录的选项。在一些实施例中，虚拟菜单可以呈现预览记录的sig事件的选项。在一些实施例中，预览选项可以允许用户以与其他用户(例如，未创建sig事件的用户)可以体验sig记录相同的方式来观看记录的sig事件。包括一个或多个sig事件的sig记录可以包括一个或多个虚拟对象、记录、点和/或标记。例如，单个sig事件可以包括一个或多个虚拟标记、音频记录、和/或视频记录。
80.在一些实施例中，可以在用户发布记录的sig事件之后创建虚拟标记1006，如图10所示。在一些实施例中，虚拟标记1006通常可以相对于物理环境804被固定在位置上。在一些实施例中，虚拟标记1006可以位于用户开始记录相应的sig事件的位置。在一些实施例中，虚拟标记1006可以显示记录的sig事件的长度和对应的层信息。在一些实施例中，可以根据与记录的sig事件相关联的层，对虚拟标记1006进行颜色编码。在一些实施例中，虚拟标记可以反映相关联的上下文或过滤器。例如，对应于与视频层相关联的sig事件的虚拟标记可以是远程控制器。在另一示例中，对应于与向导(wizard)层相关联的sig事件的虚拟标记可以是魔杖(wand)。
81.发起sig回放
82.在一些实施例中，用户可以在记录的sig事件已经发布之后接收通知(例如，在移动设备上)。在一些实施例中，通知可以包括关于发布所记录的sig事件的用户的信息。在一些实施例中，通知可以包括关于记录sig事件的层的信息。在一些实施例中，通知可以包括关于sig事件的位置的信息(例如，gps坐标、方向)。在一些实施例中，通知可以包括关于何时记录sig事件的信息。在一些实施例中，混合现实系统可以接收通知并显示到新记录的sig事件的虚拟步行路线。在一些实施例中，只有特定区域内的用户可以接收所记录的sig事件的通知(例如，所记录的sig事件的位置的阈值半径内的用户)。
83.图11描绘了在移动设备1102上运行的示例应用。在一些实施例中，选择关于发布的sig事件的通知可以打开应用(例如，图11中描绘的应用)。在一些实施例中，应用可以显示带有标记1104的地图。标记1104可以对应于所记录的sig事件。在一些实施例中，标记1104可以放置在可以回放所记录的sig事件的位置(例如，sig事件记录开始的地方)。在一些实施例中，应用可以显示与一个或多个层相关联的标记。在一些实施例中，应用可以呈现选项1106以打开或关闭一个或多个层。
84.在一些实施例中，移动设备可以耦合到混合现实系统。在一些实施例中，移动设备可以呈现可扫描代码(例如，条形码或qr码)，混合现实系统可以用一个或多个相机扫描该代码以与移动设备配对。然而，也可以设想其他耦合机制，例如有线方法(例如，通过将移动设备连接到混合现实系统的电缆)或无线方法(例如，通过蓝牙或近场通信)。在一些实施例中，移动设备(或其他合适的计算设备)可以编辑与sig事件相关联的元数据。在一些实施例中，移动设备(或其他合适的计算设备)可以将sig事件与另一个sig事件相关联。例如，sig事件可以在前一个sig事件完成之后按顺序链接播放。sig事件也可以在其他结构中被链接，例如树结构(例如，单个sig起点可以以不同的sig事件结尾结束)。
85.在一些实施例中，用户可以行进到与显示在移动设备1102上的标记1104相对应的物理位置。图12描绘了佩戴混合现实系统的用户处于物理位置1204(其可以对应于物理位置804)的实施例。混合现实系统可以显示一个或多个虚拟标记1202。在一些实施例中，当用户物理接近虚拟标记的位置时，虚拟标记可以显示与虚拟标记对应的信息(例如，对应的
sig记录的记录长度或者关于对应的sig记录的层信息)。在一些实施例中，虚拟标记可以根据用户的眼睛运动来显示与虚拟标记对应的信息(例如，虚拟标记可以仅在用户注视虚拟标记时显示附加信息)。
86.在一些实施例中，虚拟标记可以对应于用户创建sig记录的物理位置。在一些实施例中，可以将虚拟标记放置在记录位置以外的位置(例如，与物理位置不相关联的模拟空间内容的虚拟标记可以被放置在任何地方)。
87.在一些实施例中，可以将虚拟标记放置在虚拟环境中。例如，虚拟环境可以包括小型主题公园，该主题公园的大小可以适合用户的客厅。与空间内容对应的虚拟标记可以被放置在虚拟环境中(例如，在主题公园内)。用户可以通过接近虚拟环境内的虚拟标记来激活虚拟标记。
88.sig回放
89.图13描绘了用户已经发起sig记录的回放的实施例。在一些实施例中，用户可以通过接近虚拟标记然后经由合适的方式(例如，按压手持式控制器上的按钮，使用语音输入)选择回放选项来发起sig记录的回放。在一些实施例中，一旦用户已经开始sig回放会话，不与所选sig事件对应的所有虚拟标记都可以消失。在一些实施例中，混合现实系统可以显示虚拟表示1304。虚拟表示可以是记录sig事件的用户的表示并且可以基于在sig记录会话期间用户的跟踪移动。在一些实施例中，还可以将虚拟手1306显示为虚拟表示的一部分。在一些实施例中，虚拟手可以基于由记录sig事件的用户所操作的手持式控制器，并且虚拟手可以基于手持式控制器的跟踪运动。在一些实施例中，虚拟手可以基于记录sig事件的用户的一只或多只手，并且虚拟手可以基于记录sig事件的用户的一只或多只手的跟踪运动。在一些实施例中，sig回放会话可以作为可以覆盖在发生视频记录的物理环境上的视频记录发挥作用。
90.在一些实施例中，混合现实系统可以显示围绕物理位置1310(其可以对应于物理位置1204)移动的虚拟表示。在一些实施例中，虚拟表示可以模仿记录sig事件的用户的移动。例如，混合现实头戴式耳机可以跟踪记录用户的头部、手和/或其他身体部位的位置和取向。当记录用户在物理位置周围移动并环顾四周时，可以创建以与记录用户大致相似的方式移动和环顾四周的虚拟表示。在一些实施例中，混合现实系统可以以与记录用户在记录会话期间创建虚拟标记大致相似的方式来显示创建虚拟标记1302的虚拟表示1304。在一些实施例中，混合现实系统可以显示虚拟轨迹1308。在一些实施例中，虚拟轨迹指示虚拟表示的先前位置。在一些实施例中，虚拟轨迹可以有助于跟随在sig回放会话期间在物理位置周围的虚拟表示。在一些实施例中，如果用户和虚拟内容之间的距离大于可定制的阈值，则可以暂停sig回放会话。阈值可以是静态的(例如，以英尺为单位的设定距离)或动态的(例如，随着虚拟对象的大小而变化)。
91.在一些实施例中，如果用户已经回放了与该虚拟标记相关联的sig记录，则该虚拟标记可以显示一个或多个完成指示。在一些实施例中，虚拟标记可以指示用户是否仅部分地完成了sig回放会话。在一些实施例中，虚拟标记可以指示用户是否还没有开始sig回放会话。
92.图14描绘了多个用户可以加入单个sig回放会话的实施例。在所示实施例中，用户1402接近虚拟标记1406。在所示实施例中，用户1404已经发起与虚拟标记1406对应的sig回
放会话。在所示实施例中，用户1402和1404都可以使用混合现实系统。在一些实施例中，当用户1402在另一用户已经启动与虚拟标记1406对应的回放会话时接近该虚拟标记1406的情况下，虚拟标记1406可以向用户1402显示虚拟菜单1408。在一些实施例中，虚拟菜单1408可以包括加入现有会话的选项或开始新会话的选项。在一些实施例中，虚拟菜单1408可以显示在现有回放会话中剩余多少时间或已经过去多少时间。在一些实施例中，选择开始新会话的选项可以启动不与另一用户同步的单独的sig回放会话。在一些实施例中，选择开始新会话的选项将在所记录的sig事件开始时开始sig回放会话。虚拟标记可以与一个或多个显示参数相关联，例如确定虚拟标记的呈现的各方面的参数。作为一个示例，显示参数可以指定以相对于用户视图轴的取向呈现虚拟标记。
93.图15描绘了用户选择加入现有sig回放会话的实施例。在一些实施例中，混合现实系统可以将一个sig回放会话与另一个sig回放会话同步。例如，如果用户1502选择加入已经由用户1504发起的现有sig回放会话，则用户1502的混合现实系统可以开始sig回放会话，使得用户1502的sig回放会话在用户1504的sig回放会话的当前时间开始，而不是在sig记录的开头。在一些实施例中，用户1502和1504可以看到虚拟表示1506移动并且以同步方式创建虚拟标记1508。在一些实施例中，同步回放会话可以说明个人用户对同步sig回放的视角。例如，站在虚拟表示左侧的用户可以看到虚拟表示的左侧，而站在虚拟表示右侧的用户可以看到虚拟表示的右侧，即使显示给每个用户的虚拟表示彼此时间同步。
94.在一些实施例中，同步的sig回放会话可以促进群组活动。例如，如果每个员工都加入同一个sig回放会话，则一组新入职的员工可以一起参加培训会话。在一些实施例中，用户同时体验相同的sig回放会话以促进用户之间的交互可能是有益的(例如，用户可以在他们观看时就培训材料相互交谈)。
95.sig网络
96.在一些实施例中，网络可以包括一个或多个移动设备。在一些实施例中，网络可以将一个或多个移动设备组织成一个或多个分组。在一些实施例中，用户可以选择将sig记录发布到一个或多个分组，使得一个或多个分组内的移动设备接收通知，但一个或多个分组外的移动设备不接收通知。在一些实施例中，只有在向其发布sig记录的一个或多个分组内的移动设备才能查看sig记录。在一些实施例中，分组可以基于用户，而不是设备(例如，授权用户可以查看任何用户设备上的sig记录)。在一些实施例中，可以集成社交媒体特征。例如，sig录音可以直接被发布到社交媒体网站。在另一个示例中，社交媒体分组(例如，朋友)可以使用例如api从社交媒体网站继承(inherite)。然后可以将sig记录发布到特定的社交媒体分组。
97.在一些实施例中，可以跨不同平台共享空间内容。例如，在混合现实系统上创建的空间内容可以共享给非混合现实计算机系统。在一些实施例中，空间内容可以基于物理环境生成虚拟环境并将虚拟内容添加到该虚拟环境。这样做的好处包括将空间内容的观众扩展到可能无法访问混合现实系统的用户。用户可以在例如2d屏幕上查看空间内容。
98.在一些实施例中，空间内容可以存储在混合现实系统上。在一些实施例中，混合现实系统可以与服务器通信并将sig记录传输到服务器。在一些实施例中，sig记录可以被存储在移动设备上作为混合现实系统和服务器之间的中介(例如，混合现实系统将sig记录传输到移动设备，然后移动设备将sig记录传输到服务器)。在一些实施例中，混合现实系统在
sig记录会话期间与移动设备通信，使得sig记录首先存储在移动设备上。在一些实施例中，混合现实系统在sig记录会话期间与服务器通信，使得sig记录首先被存储在服务器上。在一些实施例中，服务器可以向移动设备提供sig记录以在sig回放会话中使用。在一些实施例中，服务器可以向混合现实系统提供sig记录以供在sig回放会话中使用。还设想也可以使用其他网络拓扑(例如，对等网络或混合现实设备的自组织网络)。
99.确定sig记录的位置
100.图16图示了用于确定sig记录的位置的示例过程1600。在步骤1602，可以估计sig记录的初始位置。在用户记录sig事件时可以获得初始估计。例如，使用混合现实系统603的用户可以记录sig事件，并且在记录期间，混合现实系统603可以估计sig事件的初始位置。混合现实系统603可以使用任何合适的方法来估计初始位置。在一些实施例中，例如在混合现实系统603配备有gps传感器的情况下，可以基于混合现实系统603的gps坐标来识别初始位置。
101.在一些实施例中，物理上不在混合现实环境中的远程用户将sig事件记录或上传到混合现实环境的位置。也就是说，可以将sig事件上传到与远程用户相关联的虚拟位置，即使远程用户的物理位置在别处，如本文所述。
102.在一些实施例中，例如在混合现实系统603缺乏gps功能的情况下，可以使用定位sig事件的其他方法。例如，在一些实施例中，混合现实系统603可以使用无线接入点的已知位置来识别(例如，通过三角测量)位置，使用例如接收到的信号强度指示、指纹、到达角、和/或时间飞行技术。在一些实施例中，sig事件相对于混合现实系统603的位置可以是已知的或确定的。例如在设置(installation)无线接入点时，可以使用可以检测无线接入点的设备来确定无线接入点的位置，同时使用gps来确定设备的位置。在一些实施例中，设备可以是与混合现实系统603通信的设备，例如移动电话。然后该位置可以与无线接入点相关联。在一些实施例中，混合现实系统603可以直接使用来自附近设备的gps信号来估计sig事件的初始位置。在一些实施例中，混合现实系统603可以使用蜂窝基站的已知位置来识别位置。在一些实施例中，混合现实系统603可以使用5g基站的已知位置来识别位置。例如，5g基站可以具有已知位置，并且可以相对于5g基站确定混合现实系统603的位置(例如，通过波束成形(beamforming)确定从5g基站到混合现实系统603的向量)
103.在一些实施例中，可以视觉地估计位置，例如，使用具有已知位置的“地标(landmark)”对象的对象识别。例如，在记录sig事件时，混合现实系统603可以识别一个或多个具有相关联的位置信息(可能先前已确定)的房间。混合现实系统603可以使用一个或多个识别对象(例如，桌子、椅子、角落等)的相关联的位置信息来确定sig记录的初始位置估计。在一些实施例中，对象可以被标记(例如，使用qr码或条形码)，使得对象的位置信息被嵌入标签中；可以使用混合现实系统603的相机来检测标签，从而检测对象的嵌入位置信息。
104.也可以使用用于估计sig记录的初始位置的其他方法。在一些实施例中，与混合现实系统603通信的不同设备可用于估计sig记录的初始位置。例如，与混合现实系统603通信的移动设备可以使用无线接入点、gps信号、蜂窝基站、5g基站、和/或识别的对象来估计其位置。然后可以将移动设备的位置与sig记录相关联。如果移动设备位于混合现实系统603附近(例如，混合现实系统603的用户正在携带移动设备)，则移动设备的位置可以直接与
sig记录相关联。如果移动设备的位置远离混合现实系统603，则其位置可单独使用或与其他信息(例如，无线接入点、gps、蜂窝基站、5g基站、和/或识别的对象)一起使用，以估计sig记录的初始位置。在一些实施例中，针对sig记录而估计的位置可以包括位置数据(例如，经度和纬度坐标)以及准确度估计。准确度估计可以包括例如以一定的置信度估计为包含位置的半径。在一些实施例中，混合现实系统603相对于移动设备的位置可以是已知的或确定的。
105.在图16中所示的示例过程的步骤1604处，可以访问sig记录。例如，用户可以使用移动设备或混合现实系统回放sig记录。在一些实施例中，可以提示用户访问sig记录，或者可以自动开始播放sig记录。例如，用户可能在具有相关联的sig记录的位置附近行走。可以通知用户(例如，通过用户的移动设备或混合现实系统)在用户位置处或附近存在sig记录，并且可以提示用户查看sig记录，或者可以自动开始播放sig记录。在一些实施例中，如果用户位于或靠近相关联的位置(例如，在相关联的位置的特定半径内)，则可以在用户设备上(例如，从远程服务器)加载(例如，推送)具有相关联的位置的sig记录。
106.在一些实施例中，sig记录的相关联的位置可以是在步骤1602所确定的估计初始位置。在步骤1606，移动设备可以使用任何合适的方法来估计其自己的位置(例如，在回放会话期间)，包括但不限于：使用无线接入点、gps信号、蜂窝基站、5g基站、和/或识别对象进行三角测量。类似地，混合现实系统603也可以用于回放sig记录，并且混合现实系统603可以使用任何合适的方式来估计其位置。新位置估计和与新位置估计相关联的新准确度估计可以被存储在移动设备、混合现实系统、和/或通信地耦合到移动设备或混合现实系统的服务器上。
107.在步骤1608，可以更新sig记录的位置。在一些实施例中，在步骤1606所确定的新位置估计可以比在步骤1602所确定的初始位置估计更准确。例如，可以使用来自无线接入点的三角测量来估计在步骤1602确定的初始位置，这可以产生精度差的位置估计(例如，对位置有信心的大半径)。在步骤1606，移动设备可以通过使用更准确的定位方法(例如，使用gps信号)来产生更准确的位置估计。在一些实施例中，可以将与sig记录相关联的位置更新为更准确的位置。例如，在步骤1608，可以确定两个或多个位置估计的准确性(例如，识别哪个位置估计具有最小的置信半径)。具有最高准确度的位置估计可以与sig记录相关联并且可以用于共享sig记录。例如，具有最高准确度的位置估计可以用于在用户走到具有最高准确度的位置估计附近时通知用户。具有最高准确度的位置估计也可用于在地图上标记sig记录，以便用户可以导航到sig记录。
108.在一些实施例中，可以组合在步骤1602或1606所确定的一个或多个位置估计以更新sig记录的位置。例如，一个或多个位置估计可以被平均以形成组合位置估计，并且组合位置估计可以用于共享sig记录。在一些实施例中，一个或多个位置估计可以被加权以形成组合位置估计。在一些实施例中，具有较高估计准确度的位置估计可以比具有较低估计准确度的位置估计的权重更大。在一些实施例中，时间上较新的位置估计可以比时间上较旧的位置估计的权重更大。
109.在一些实施例中，可以在每次访问sig记录时执行步骤1604、1606和1608。例如，每次移动设备或混合现实系统回放sig记录时，后台进程可以在回放会话期间估计移动设备或混合现实系统的位置。然后可以将位置估计保存到移动设备、混合现实系统、和/或通信
地耦合到移动设备或混合现实系统的服务器。可以基于接收到的新位置估计来更新与sig记录相关联的位置(例如，通过选择具有最高准确度的位置估计，或通过基于新位置估计来计算新的加权平均)。
110.关于上述系统和方法，系统和方法的元件可以由一个或多个计算机处理器(例如，cpu或dsp)适当实施。本公开不限于用于实现这些元件的计算机硬件(包括计算机处理器)的任何特定配置。在一些情况下，可以采用多个计算机系统来实现上述系统和方法。例如，第一计算机处理器(例如，耦合到一个或多个麦克风的可穿戴设备的处理器)可用于接收输入麦克风信号，并执行这些信号的初始处理(例如，信号调节和/或分割，例如如上所述)。然后可以利用第二(也许计算能力更强的)处理器来执行计算更密集的处理，例如确定与那些信号的语音片段相关联的概率值。诸如云服务器的另一计算机设备可以托管最终向其提供输入信号的语音处理引擎。其他合适的配置将是显而易见的并且在本公开的范围内。
111.尽管所公开的示例已经参考附图充分描述，但是，应注意到，各种改变和修改对于本领域技术人员来说将变得明显。例如，一个或多个实施方式的元素可以组合、删除、修改、或补充以形成进一步的实施方式。这样的改变和修改将被理解为包括在如由附加的权利要求限定的所公开的示例的范围内。