将物理对象移植到虚拟现实中的制作方法

将物理对象移植到虚拟现实中
发明领域
1.本发明总体上涉及虚拟现实，包括但不限于将物理空间中的对象移植(port)到虚拟现实中。
2.背景
3.诸如虚拟现实(vr)、增强现实(ar)或混合现实(mr)的人工现实为用户提供沉浸式体验。在一个示例中，可以检测佩戴头戴式显示器(hmd)的用户的移动，并且可以渲染对应于该移动的虚拟现实的图像。例如，佩戴hmd的用户可以将其头部转向一侧，并且对应于hmd的位置和hmd的取向的虚拟对象的图像可以显示在hmd上，以允许用户感觉到好像用户在虚拟现实的空间内移动一样。在一些实施方式中，用户可以例如通过专用手持式输入设备(例如用于控制所呈现的虚拟现实的定点设备)来提供输入。
4.概述
5.本文公开的各种实施例涉及向虚拟现实提供输入。在一些实施例中，相对于输入设备的用户来检测物理空间中的输入设备。在一些实施例中，由显示设备向用户呈现在虚拟空间中处于一定的位置和取向的、检测到的输入设备的虚拟模型。在一些实施例中，虚拟模型在虚拟空间中的位置和取向对应于输入设备在物理空间中相对于用户的位置和取向。在一些实施例中，通过显示设备，相对于虚拟空间中的虚拟模型可视地提供关于用户在物理空间中与输入设备的交互的空间反馈。
6.在一些实施例中，根据检测到的输入设备在物理空间中的位置和取向来确定虚拟模型在虚拟空间中的位置和取向。在一些实施例中，根据所确定的虚拟模型在虚拟空间中的位置和取向来渲染包括输入设备的虚拟模型的虚拟空间的图像。
7.在一些实施例中，检测用户在物理空间中的移动。在一些实施例中，根据检测到的用户的移动来确定虚拟模型相对于用户的位置和取向的变化。在一些实施例中，根据虚拟模型相对于用户的位置和取向的变化来渲染包括输入设备的虚拟模型的虚拟空间的另一图像。
8.在一些实施例中，根据检测到的输入设备的位置和取向来确定虚拟模型的六个自由度。
9.在一些实施例中，在物理空间中相对于用户检测输入设备包括捕获输入设备的图像，以及在捕获的图像中检测输入设备的轮廓或布局。
10.在一些实施例中，从多个候选模型中识别轮廓或布局与输入设备的轮廓或布局相匹配或最接近的候选模型。在一些实施例中，响应于候选模型的轮廓或布局与输入设备的轮廓或布局相匹配或最接近，将候选模型确定为虚拟模型。
11.在一些实施例中，在所捕获的图像中检测输入设备的轮廓或布局包括确定输入设备上的键的布置。
12.在一些实施例中，输入设备包括键盘。
13.本文公开的各种实施例涉及一种用于呈现人工现实的系统。在一些实施例中，该系统包括显示设备、处理器和非暂时性计算机可读介质。在一些实施例中，非暂时性计算机
可读介质存储指令，该指令当由处理器执行时使处理器：在物理空间中相对于输入设备的用户来检测输入设备，并由显示设备向用户呈现检测到的输入设备的、在虚拟空间中处于一个位置和取向的虚拟模型。在一些实施例中，虚拟模型在虚拟空间中的位置和取向对应于输入设备在物理空间中相对于用户的位置和取向。在一些实施例中，非暂时性计算机可读介质存储指令，该指令当由处理器执行时使处理器通过显示设备，相对于虚拟空间中的虚拟模型可视地提供关于用户在物理空间中与输入设备的交互的空间反馈。
14.在一些实施例中，非暂时性计算机可读介质存储指令，该指令当由处理器执行时使处理器根据检测到的输入设备在物理空间中的位置和取向来确定虚拟模型在虚拟空间中的位置和取向。在一些实施例中，非暂时性计算机可读介质存储指令，该指令当由处理器执行时使处理器根据所确定的虚拟模型在虚拟空间中的位置和取向来渲染包括输入设备的虚拟模型的虚拟空间的图像。
15.在一些实施例中，非暂时性计算机可读介质存储指令，该指令当由处理器执行时使处理器检测用户在物理空间中的移动。在一些实施例中，非暂时性计算机可读介质存储指令，该指令当由处理器执行时使处理器根据检测到的用户的移动来确定虚拟模型相对于用户的位置和取向的变化。在一些实施例中，非暂时性计算机可读介质存储指令，该指令当由处理器执行时使处理器根据虚拟模型相对于用户的位置和取向的变化来渲染包括输入设备的虚拟模型的虚拟空间的另一图像。
16.在一些实施例中，非暂时性计算机可读介质存储指令，该指令当由处理器执行时使处理器根据检测到的输入设备的位置和取向来确定虚拟模型的六个自由度。
17.在一些实施例中，处理器被配置成通过捕获输入设备的图像和在捕获的图像中检测输入设备的轮廓或布局来在物理空间中相对于用户检测输入设备。
18.在一些实施例中，非暂时性计算机可读介质存储指令，该指令当由处理器执行时使处理器：从多个候选模型中识别轮廓或布局与输入设备的轮廓或布局相匹配或最接近的候选模型，并响应于候选模型的轮廓或布局与输入设备的轮廓或布局相匹配或最接近，将该候选模型确定为虚拟模型。
19.本文公开的各种实施例涉及一种头戴式显示器。在一些实施例中，头戴式显示器包括成像传感器、处理器和非暂时性计算机可读介质，该成像传感器被配置为捕获物理空间的图像。在一些实施例中，非暂时性计算机可读介质存储指令，该指令当由处理器执行时使处理器：激活物理空间中的物理对象，以在穿透(pass-through)模式期间生成物理对象的虚拟模型，并在虚拟现实模式期间渲染物理对象的虚拟模型。在一些实施例中，头戴式显示器包括显示设备，该显示设备被配置为在穿透模式期间向头戴式显示器的用户呈现物理空间的视图，并在虚拟现实模式期间向头戴式显示器的用户呈现虚拟空间的视图。在虚拟现实模式期间，显示设备可以不向头戴式显示器的用户呈现物理空间的视图，或者可以遮挡物理空间的视图以免对头戴式显示器的用户可见。物理对象可以是输入设备(例如，键盘或鼠标)。
20.在一些实施例中，非暂时性计算机可读介质存储指令，该指令当由处理器执行时使处理器：在穿透模式期间检测物理空间中的物理对象，并识别检测到的物理对象的虚拟模型，以在穿透模式期间激活物理空间中的物理对象。非暂时性计算机可读介质可以存储指令，该指令当由处理器执行时使处理器：根据所检测的物理对象在物理空间中的位置和
取向来确定虚拟模型在虚拟空间中的位置和取向，并根据所确定的虚拟模型在虚拟空间中的位置和取向来渲染物理对象的虚拟模型的第一图像。在一些实施例中，头戴式显示器还包括传感器，该传感器被配置成在虚拟现实模式期间检测或跟踪头戴式显示器的移动。在一些实施例中，非暂时性计算机可读介质存储指令，该指令当由处理器执行时使处理器：根据检测到的头戴式显示器的移动来确定虚拟模型的位置和取向的变化，并根据虚拟模型的位置和取向的变化来渲染物理对象的虚拟模型的第二图像。
21.在一些实施例中，非暂时性计算机可读介质存储指令，该指令当由处理器执行时使处理器：在穿透模式期间检测捕获的图像中的物理对象的键或按钮的布局，以在穿透模式期间检测物理空间中的物理对象。在一些实施例中，非暂时性计算机可读介质存储指令，该指令当由处理器执行时使处理器从多个候选模型中确定布局与在穿透模式期间检测到的物理对象的键或按钮的的布局相匹配或最接近的候选模型。在一些实施例中，非暂时性计算机可读介质存储指令，该指令当由处理器执行时使处理器：响应于候选模型的布局与物理对象的键或按钮的检测到的布局相匹配或最接近，将该候选模型确定为虚拟模型，以在穿透模式期间识别虚拟模型。在一些实施例中，非暂时性计算机可读介质存储指令，该指令当由处理器执行时使处理器：检测头戴式显示器的用户在虚拟现实模式期间与虚拟模型的一部分的交互，并指示在虚拟现实模式期间虚拟模型的该部分正在被用户交互来作为反馈。
22.在一些实施例中，头戴式显示器包括被配置为捕获物理空间的图像的成像传感器。在一些实施例中，头戴式显示器包括处理器，该处理器被配置为在物理空间中相对于输入设备的用户来检测输入设备。在一些实施例中，头戴式显示器包括显示器，该显示器被配置为向用户呈现检测到的输入设备的、在虚拟空间中处于一个位置和取向的虚拟模型，虚拟模型在虚拟空间中的该位置和取向对应于输入设备在物理空间中相对于用户的位置和取向，并且相对于虚拟空间中的虚拟模型可视地提供关于用户在物理空间中与输入设备的交互的空间反馈。
23.在一些实施例中，处理器被配置为根据检测到的输入设备在物理空间中的位置和取向来确定虚拟模型在虚拟空间中的位置和取向；并且显示设备被配置为根据虚拟模型在虚拟空间中的所确定的位置和取向来渲染包括输入设备的虚拟模型的虚拟空间的图像。
24.在一些实施例中，处理器被配置为检测用户在物理空间中的移动，并根据检测到的用户的移动来确定虚拟模型相对于用户的位置和取向的变化，并且显示设备被配置为根据虚拟模型相对于用户的位置和取向的变化来渲染包括输入设备的虚拟模型的虚拟空间的另一图像。
25.在一些实施例中，处理器被配置为通过以下步骤来在物理空间中相对于用户检测输入设备：捕获输入设备的图像，以及在捕获的图像中检测输入设备的轮廓或布局。
26.在一些实施例中，处理器被配置成：从多个候选模型中识别轮廓或布局与输入设备的轮廓或布局最接近的候选模型，并响应于候选模型的轮廓或布局与输入设备的轮廓或布局最接近，将该候选模型确定为虚拟模型。
27.在一些实施例中，处理器被配置成根据检测到的输入设备的位置和取向来确定虚拟模型的六个自由度。
28.提供本概述是为了以简化的形式介绍一系列概念，这些概念将在下文中进一步描
述。本概述并不意欲识别所主张的主题的关键特征或基本特征，也不意欲在确定所主张的主题的范围时被用作帮助。在本文被描述为适合于合并到一个或更多个实施例中的特征将在本公开的整个教导中被理解为通用的，因此适合于合并到本发明的任何实施例中。
29.附图简述
30.附图不意在按比例绘制。各个附图中相同的附图标记和名称表示相同的元件。为了清楚起见，并非每个部件都可以在每个图中进行标记。
31.图1是根据本发明的示例实施方式的包括人工现实系统的系统环境的示意图。
32.图2是根据本发明的示例实施方式的头戴式显示器的示意图。
33.图3是根据本发明的示例实施方式的对象移植控制器的示意图。
34.图4是根据本发明的示例实施方式的具有物理对象的物理空间的视图的示意图。
35.图5a是根据本发明的示例实施方式的在虚拟现实模式期间的虚拟空间的视图的示意图，该虚拟空间包括物理对象的虚拟模型。
36.图5b是根据本发明的示例实施方式的在虚拟现实模式期间的虚拟空间的视图的示意图，该虚拟空间包括处于第一位置的物理对象的虚拟模型。
37.图5c是根据本发明的示例实施方式的在虚拟现实模式期间的虚拟空间的视图的示意图，该虚拟空间包括处于第二位置的物理对象的虚拟模型。
38.图5d是根据本发明的示例实施方式的在虚拟现实模式期间的虚拟空间的视图的示意图，该虚拟空间包括关于用户与物理对象的交互的反馈的指示。
39.图6是根据本发明的示例实施方式的示出将物理空间中的物理对象移植到虚拟现实中的过程的流程图。
40.图7是根据本发明的示例实施方式的示出在虚拟现实中提供关于用户在物理空间中与输入设备的交互的空间反馈的过程的流程图。
41.图8是根据本发明的示例实施方式的计算环境的框图。
42.详细描述
43.在转向详细示出某些实施例的附图之前，应当理解，本发明不限于描述中阐述的或附图中示出的细节或方法。还应该理解，本文使用的术语仅仅是为了描述的目的，而不应该被认为是限制性的。
44.本文公开了涉及用于将物理空间中的物理对象移植到虚拟现实的虚拟空间中的系统和方法的实施例。在一个方面，将物理空间中的物理对象移植到虚拟空间中包括激活物理空间中的物理对象以获得物理对象的虚拟模型，以及在虚拟空间中渲染虚拟模型的图像。在一些实施例中，物理对象在穿透模式期间被激活，在穿透模式下头戴式显示器(hmd)向头戴式显示器的用户呈现或渲染物理空间的视图。例如，可以在穿透模式期间识别或选择物理对象的虚拟模型。在一个方面，在虚拟现实模式期间渲染物理对象的虚拟模型，在虚拟现实模式下头戴式显示器不向头戴式显示器的用户呈现物理空间的视图。在虚拟现实模式期间，可以跟踪物理空间中的物理对象，并且可以根据物理对象在物理空间中的位置和取向来调整虚拟模型在虚拟空间中的位置和取向。在一个方面，用户与物理空间中的物理对象的交互的指示可以呈现在虚拟空间中的虚拟模型上，作为对用户的反馈。
45.有利地，在穿透模式期间激活物理对象允许头戴式显示器的用户识别或定位物理空间中的物理对象，并且可以生成物理对象的虚拟模型。可以在虚拟现实模式期间将虚拟
模型渲染在虚拟空间中，以允许即使在虚拟现实模式期间物理空间的视图可能被遮挡，用户也能使用虚拟模型来定位物理对象。在一个方面，物理对象是通用输入设备(例如，键盘或鼠标)，其可以由与制造或生产头戴式显示器和/或专用手持式输入设备(例如，定点设备)的公司不同的公司制造或生产。通过在用户的视场中向用户渲染输入设备的虚拟模型作为参考或指导(例如，作为输入设备的代理)，用户可以容易地接触到虚拟模型，从而接触到输入设备，并在虚拟现实模式期间通过输入设备向虚拟现实提供输入。
46.在一个方面，相对于虚拟空间中的虚拟模型(例如，将虚拟空间中的虚拟模型用于空间指导)，关于用户在物理空间中与输入设备的交互的空间反馈可以被可视地提供给用户。在一种途径中，在物理空间中相对于输入设备的用户来检测输入设备。可以通过显示设备向用户呈现检测到的输入设备的、在虚拟空间中处于一个位置和取向的虚拟模型。虚拟模型在虚拟空间中的位置和取向可以对应于(例如，跟踪或镜像)输入设备在物理空间中相对于用户的位置和取向。相对于虚拟空间中的虚拟模型(以及例如用户的手的虚拟表示)，关于用户在物理空间中与输入设备的交互的空间反馈可以经由虚拟空间被可视地提供给用户。因此，通过相对于虚拟模型的空间反馈，用户可以容易地定位和接触到输入设备，并在享受虚拟现实体验的同时(例如，在观看虚拟空间而不是物理空间的同时)通过物理空间中的输入设备提供输入。
47.尽管本文公开的系统和方法可能涉及将物理对象移植到虚拟现实，但本文公开的一般原理可适用于增强现实或混合现实。
48.图1是控制台110操作的示例人工现实系统环境100的框图。在一些实施例中，人工现实系统环境100包括由用户佩戴的hmd 150、以及向hmd 150提供人工现实的内容的控制台110。在一个方面，hmd 150可以检测其位置、取向和/或佩戴hmd 150的用户的注视方向，并且可以将检测到的位置和注视方向提供给控制台110。控制台110可以确定在人工现实的空间内对应于检测到的位置、取向和/或注视方向的视图，并生成描绘所确定的视图的图像。控制台110可以将图像提供给hmd 150以供渲染。在一些实施例中，人工现实系统环境100包括输入设备120，该输入设备120通过有线电缆、无线链路(例如，蓝牙、wi-fi等)或两者通信地耦合到控制台110或hmd 150。输入设备120可以是具有运动传感器的专用硬件(例如，定点设备或控制器)、通用键盘、鼠标等。通过输入设备120，用户可以提供与所呈现的人工现实相关联的输入。在一些实施例中，人工现实系统环境100包括比图1所示更多、更少或不同的部件。在一些实施例中，人工现实系统环境100的一个或更多个部件的功能可以以不同于这里描述的方式分布在部件中。例如，控制台110的一些功能可以由hmd 150执行。例如，hmd 150的一些功能可以由控制台110执行。在一些实施例中，控制台110被集成为hmd 150的一部分。
49.在一些实施例中，hmd 150包括或对应于可以被用户佩戴并且可以向用户呈现或提供人工现实体验的电子部件。hmd 150可以渲染一个或更多个图像、视频、音频或其某种组合，以向用户提供人工现实体验。在一些实施例中，经由外部设备(例如，扬声器和/或头戴式耳机)来呈现音频，该外部设备从hmd 150、控制台110或两者接收音频信息并基于该音频信息来呈现音频。在一些实施例中，hmd 150包括传感器155、通信接口165、图像渲染器170、电子显示器175和/或对象移植控制器180。这些部件可以一起操作以检测hmd 150的位置和取向和/或佩戴hmd 150的用户的注视方向，并且可以在人工现实内渲染与检测到的
hmd 150的位置和取向和/或用户的注视方向相对应的视图的图像。在其他实施例中，hmd 150包括比图1所示更多、更少或不同的部件。在一些实施例中，对象移植控制器180可以根据来自hmd 150的用户的控制被激活或被去激活。
50.在一些实施例中，传感器155包括检测hmd 150的位置、取向和/或用户的注视方向的电子部件或电子部件和软件部件的组合。传感器155的示例可以包括：一个或更多个成像传感器、一个或更多个加速计、一个或更多个陀螺仪、一个或更多个磁力计、全球定位系统或检测运动和/或位置的另一种合适类型的传感器。例如，一个或更多个加速度计可以测量平移移动(例如，向前/向后、向上/向下、向左/向右)，并且一个或更多个陀螺仪可以测量旋转移动(例如，俯仰、偏航、横滚)。在一些实施例中，成像传感器可以捕获用于检测物理对象、用户姿势、手的形状、用户交互等的图像。在一些实施例中，传感器155检测平移移动和旋转移动，并确定hmd 150的取向和位置。在一个方面，传感器155可以检测相对于hmd 150的先前取向和位置的平移移动和旋转移动，并且通过对检测到的平移移动和/或旋转移动进行累积或积分来确定hmd 150的新取向和/或位置。例如，假设hmd 150被定向在与参考方向成25度的方向上，响应于检测到hmd 150已经旋转20度，传感器155可以确定hmd 150现在面向或被定向在与参考方向成45度的方向上。举另一个示例，假设hmd 150位于第一方向上距离参考点两英尺远的位置，响应于检测到hmd 150在第二方向上移动了三英尺，传感器155可以确定hmd 150现在位于在第一方向上距离参考点两英尺和在第二方向上距离参考点三英尺的向量相乘结果处。在一个方面，根据hmd 150的位置和取向，可以确定或估计用户的注视方向。
51.在一些实施例中，传感器155可以包括生成物理空间的传感器测量值的电子部件或电子部件和软件部件的组合。用于生成传感器测量值的传感器155的示例可以包括一个或更多个成像传感器、热传感器等。在一个示例中，成像传感器可以捕获物理空间中与用户的视场(或根据hmd 150的取向从hmd 150的位置看的视图)相对应的图像。可以对所捕获的图像执行图像处理，以检测物理空间中的物理对象或用户的一部分。
52.在一些实施例中，通信接口165包括与控制台110通信的电子部件或电子部件和软件部件的组合。通信接口165可以通过通信链路与控制台110的通信接口115通信。通信链路可以是无线链路、有线链路或两者。无线链路的示例可以包括蜂窝通信链路、近场通信链路、wi-fi、蓝牙或任何通信无线通信链路。有线链路的示例可以包括通用串行总线(usb)、以太网、火线(firewire)、高清晰度多媒体接口(hdmi)或任何有线通信链路。在控制台110和hmd 150在单个系统上实现的实施例中，通信接口165可以至少通过总线连接或导电迹线来与控制台110通信。通过通信链路，通信接口165可以向控制台110传输指示所确定的hmd 150的位置和hmd 150的取向和/或用户的注视方向的数据。此外，通过通信链路，通信接口165可以从控制台110接收指示要渲染的图像的数据。
53.在一些实施例中，图像渲染器170包括例如根据人工现实的空间视图的变化生成一个或更多个图像用于显示的电子部件或电子部件和软件部件的组合。在一些实施例中，图像渲染器170被实现为处理器(或图形处理单元(gpu))。图像渲染器170可以通过通信接口165接收描述要渲染的图像的数据，并通过电子显示器175渲染图像。在一些实施例中，来自控制台110的数据可以被压缩或被编码，并且图像渲染器170可以对数据进行解压缩或解码以生成和渲染图像。图像渲染器170可以从控制台110接收压缩的图像，并解压缩该压缩
的图像，使得可以减小控制台110与hmd 150之间的通信带宽。在一个方面，由hmd 150检测hmd 150的位置、hmd的取向和/或佩戴hmd 150的用户的注视方向、以及由控制台110生成与检测到的位置、取向和/或注视方向相对应的高分辨率图像(例如，1920
×
1080像素)并将其传输给hmd 150的过程可能在计算上是详尽的，并且可能不在帧时间内(例如，小于11ms)执行。当在帧时间内没有接收到来自控制台110的图像时，图像渲染器170可以通过着色处理和重新投影处理来生成一个或更多个图像。例如，可以根据人工现实的空间视图的变化自适应地执行着色处理和重新投影处理。
54.在一些实施例中，电子显示器175是显示图像的电子部件。电子显示器175例如可以是液晶显示器或有机发光二极管显示器。电子显示器175可以是允许用户透视的透明显示器。在一些实施例中，当用户佩戴hmd 150时，电子显示器175位于用户眼睛附近(例如，小于3英寸)。在一个方面，电子显示器175根据由图像渲染器170生成的图像向用户的眼睛发射或投射光。
55.在一些实施例中，对象移植控制器180包括激活物理对象并生成物理对象的虚拟模型的电子部件或电子部件和软件部件的组合。在一种途径中，对象移植控制器180在穿透模式期间检测物理空间中的物理对象，其中传感器155可以捕获用户对物理空间的视图(或视场)的图像，并且电子显示器175可以将捕获的图像呈现给用户。对象移植控制器180可以生成物理对象的虚拟模型，并在虚拟现实模式期间将虚拟模型呈现在虚拟空间中，其中电子显示器175可以显示用户对虚拟空间的视场。物理空间的视图可能在虚拟现实模式期间被遮挡或被阻止。通过在虚拟空间中呈现物理对象的虚拟模型以用于空间指导或参考，用户可以在虚拟现实模式期间享受虚拟现实的同时定位并接触到相应的物理对象。下面参考图3-7提供了关于激活物理对象和渲染物理对象的虚拟模型的详细描述。
56.在一些实施例中，控制台110是提供要通过hmd 150渲染的内容的电子部件或电子部件和软件部件的组合。在一个方面，控制台110包括通信接口115和内容提供器130。这些部件可以一起操作以确定与hmd 150的位置、hmd 150的取向和/或hmd 150的用户的注视方向相对应的人工现实的视图，并且可以生成与所确定的视图相对应的人工现实的图像。在其他实施例中，控制台110包括比图1所示更多、更少或不同的部件。在一些实施例中，控制台110执行hmd 150的一些或全部功能。在一些实施例中，控制台110作为单个设备被集成为hmd 150的一部分。
57.在一些实施例中，通信接口115是与hmd 150通信的电子部件或电子部件和软件部件的组合。通信接口115可以是通信接口165的对应部件，以通过通信链路(例如，usb电缆)进行通信。通过通信链路，通信接口115可以从hmd 150接收指示所确定的hmd 150的位置、hmd 150的取向和/或所确定的用户的注视方向的数据。此外，通过通信链路，通信接口115可以向hmd 150传输描述要渲染的图像的数据。
58.内容提供器130是根据hmd 150的位置、hmd 150的取向和/或hmd 150的用户的注视方向生成要渲染的内容的部件。在一个方面，内容提供器130根据hmd 150的位置、hmd 150的取向和/或hmd 150的用户的注视方向来确定人工现实的视图。例如，内容提供器130将hmd 150在物理空间中的位置映射到虚拟空间内的位置，并且从虚拟空间中的映射的位置确定沿注视方向的虚拟空间的视图。内容提供器130可以生成描述所确定的虚拟空间的视图的图像的图像数据，并且通过通信接口115将图像数据传输到hmd 150。在一些实施例
中，内容提供器130生成与图像相关联的元数据(包括运动向量信息、深度信息、边缘信息、对象信息等)，并通过通信接口115将元数据与图像数据一起传输到hmd 150。内容提供器130可以对描述图像的数据进行压缩和/或编码，并且可以将经压缩和/或编码的数据传输到hmd 150。在一些实施例中，内容提供器130周期性地(例如，每11ms)生成图像并将其提供给hmd 150。
59.图2是根据示例实施例的hmd 150的示意图。在一些实施例中，hmd 150包括前刚性主体205和带210。前刚性主体205包括电子显示器175(在图2中未示出)、传感器155a、155b、155c和图像渲染器170。传感器155a可以是加速度计、陀螺仪、磁力计或检测运动和/或位置的另一种合适类型的传感器。传感器155b、155c可以是捕获用于检测物理对象、用户姿势、手的形状、用户交互等的图像的成像传感器。hmd 150可以包括附加部件(例如，gps、无线传感器、麦克风、热传感器等)。在其他实施例中，hmd 150具有与图2所示不同的配置。例如，图像渲染器170和/或传感器155a、155b、155c可以设置在与图2中所示不同的位置。
60.图3是根据本发明的示例实施方式的图1的对象移植控制器180的示意图。在一些实施例中，对象移植控制器180包括对象检测器310、vr模型生成器320、vr模型渲染器330和反馈控制器340。这些部件可以一起操作以检测物理对象并呈现物理对象的虚拟模型。虚拟模型可以被识别、被激活或被生成，并且可以被呈现，使得hmd 150的用户可以在虚拟现实模式期间享受虚拟现实的同时定位物理对象。在一些实施例中，这些部件可以被实现为硬件、软件或硬件和软件的组合。在一些实施例中，这些部件被实现为专用集成电路(asic)或现场可编程门阵列(fpga)。在一些实施例中，这些部件被实现为处理器和存储指令的非暂时性计算机可读介质，该指令当由处理器执行时使处理器执行本文公开的各种过程。在一些实施例中，对象移植控制器180包括比图3所示更多、更少或不同的部件。在一些实施例中，一些部件的功能可以由内容提供器130或远程服务器执行，或结合内容提供器130或远程服务器来执行。例如，对象检测器310、vr模型生成器320或两者的一些功能可以由内容提供器130或远程服务器执行。在一些实施例中，对象移植控制器180包括比图3所示更多、更少或不同的部件。
61.在一些实施例中，对象检测器310是或包括根据捕获的图像检测物理空间中的物理对象的部件。在一个应用中，对象检测器310通过对捕获的图像执行图像处理来检测物理空间中的输入设备(例如，键盘或鼠标)。在一种途径中，对象检测器310在捕获的图像中检测物理对象的轮廓、外形和/或键或按钮的布局或这些的组合，并根据检测到的轮廓、外形和/或键或按钮的布局来确定物理对象的类型。例如，对象检测器310根据检测到的物理对象的轮廓、外形和/或键或按钮的布局来确定在用户对物理空间的视点中的物理对象是键盘还是鼠标。对象检测器310还可以根据检测物理对象的热图的热传感器来定位物理对象。在一个示例中，对象检测器310可以根据在所捕获的图像中物理对象的外形而检测到物理对象具有101/102个键，并确定物理对象是键盘。
62.在一个方面，对象检测器310检测物理对象，并通过电子显示器175向hmd 150的用户呈现物理空间的视图或物理空间的视图的一部分。例如，由hmd 150的成像传感器(例如，传感器155b、155c)捕获的图像(例如，物理对象和/或用户的一部分的图像)可以通过电子显示器175(例如，在穿透模式下)(例如，在与虚拟模型和/或虚拟空间的影像混合的情况下或在不与虚拟模型和/或虚拟空间的影像混合的情况下)被呈现给用户。因此，佩戴hmd 150
的用户可以通过hmd 150(例如，使用对成像传感器所获取的一个或更多个图像进行的图像处理)容易地检测和/或定位物理空间中的物理对象。因此，可以容易地检测物理对象的轮廓、外形和/或键或按钮的布局或这些的组合。
63.在一些实施例中，vr模型生成器320是或包括为检测到的物理对象生成、获得或识别虚拟模型的部件。在一种途径中，vr模型生成器320存储针对不同制造公司、品牌和/或产品模型的多个候选模型。vr模型生成器320可以将检测到的轮廓、外形和/或键或按钮的布局与多个候选模型的轮廓、外形和/或键或按钮的布局进行比较，并且识别或确定轮廓、外形和/或键或按钮的布局与物理对象的检测到的轮廓、外形和/或键的布局相匹配或最接近的候选模型。vr模型生成器320可以检测或接收物理对象的产品标识，并且识别或确定对应于检测到的产品标识的候选模型。虚拟模型生成器320可以生成、确定、获得或选择所确定的候选模型作为物理对象的虚拟模型。
64.在一些实施例中，vr模型渲染器330是或包括渲染物理对象的虚拟模型的图像的部件。在一种途径中，vr模型渲染器330跟踪捕获的图像中的物理对象，并确定物理对象相对于用户或hmd 150的位置和取向。在一个方面，物理对象相对于用户或hmd 150的位置和取向可能改变，因为用户可能在虚拟现实模式期间四处移动。vr模型渲染器330可以确定虚拟模型的六个自由度(例如，向前/向后(波动(surge)))、向上/向下(升沉(heave))、向左/向右(摇摆(sway))平移)，使得虚拟模型在虚拟空间中相对于用户或hmd 150的位置和取向(如所看到的或显示的)可以对应于在捕获的图像中物理对象相对于用户或hmd 150的位置和取向。vr模型渲染器330可以通过对捕获的图像执行图像处理来跟踪物理对象的预定点(例如，键盘的四个拐角和/或侧面)，并且可以确定虚拟模型的位置和取向，其允许虚拟模型的对应点匹配、对应、跟踪或拟合在捕获的图像中的物理对象的预定点。vr模型渲染器330可以通过电子显示器175，根据虚拟模型的位置和取向来呈现虚拟模型。在一个方面，vr模型渲染器330在虚拟现实模式期间跟踪物理对象并更新虚拟模型的位置和取向，其中电子显示器175呈现用户对虚拟空间的视点/视场，而不呈现物理空间的视图。在一个方面，在没有物理对象的虚拟模型的情况下，在虚拟现实模式下享受虚拟现实的用户可能会失去对物理对象在哪里的跟踪，因为在虚拟现实模式期间物理空间的视图被阻止或被遮挡。由于在虚拟空间中呈现虚拟模型并且充当空间指导或参考，用户可以在虚拟现实模式期间享受虚拟现实的同时容易地定位和接触到物理对象。
65.在一些实施例中，反馈控制器340是或包括生成用户与物理对象的交互的空间反馈的部件。在一个方面，反馈控制器340在捕获的图像中检测和跟踪hmd 150的用户的手，并且在虚拟现实模式期间通过电子显示器175可视地提供关于用户的移动和/或与物理对象的交互的空间反馈。可以相对于虚拟模型提供空间反馈。在一个示例中，反馈控制器340确定用户的手是否在距物理对象的预定距离内(或接近物理对象)。如果用户的手在距物理对象(例如，键盘)的预定距离内，则反馈控制器340可以生成或渲染用户的手的虚拟模型，并通过电子显示器175在虚拟空间中呈现用户的手的虚拟模型。如果用户的手不在距物理对象(例如，键盘)的预定距离内，则反馈控制器340可以不通过电子显示器175呈现或渲染用户的手的虚拟模型。在一些实施例中，反馈控制器340确定或生成虚拟空间中围绕虚拟模型的区域(例如，矩形区域或其他区域)，并可以通过电子显示器175呈现该区域。当用户的手在该区域内时，可以(例如，在与其他影像混合的情况下或在不与其他影像混合的情况下)
呈现手的虚拟模型的一部分或手在该区域内的部分的穿透图像，作为空间反馈。因此，用户可以在虚拟现实模式下享受虚拟现实的同时，引导手的空间移动并容易地接触到物理对象。
66.在一个示例中，反馈控制器340确定物理对象的一部分正在与用户交互，并且在虚拟现实模式期间通过电子显示器175指示虚拟模型的对应部分正在与用户交互。例如，反馈控制器340通过对捕获的图像执行图像处理或通过接收与用户通过键盘的输入相对应的电信号，来确定键盘的键或按钮被按下。反馈控制器340可以突出显示虚拟模型的对应键或对应按钮，以指示键盘的哪个键被按下。因此，用户可以在虚拟现实模式期间享受虚拟现实的同时确认通过物理对象提供的输入是否正确。
67.图4是根据本发明的示例实施方式的物理空间400的视图的示意图。物理空间400可以包括监视器410、键盘420和计算设备430。键盘420可以对应于输入设备120，而计算设备430可以对应于图1的控制台110。键盘420可以通信地耦合到计算设备430和/或hmd 150，并可以用于向虚拟现实提供输入。在一个方面，物理空间400的视图对应于用户透过hmd 150的视点(例如，在穿透模式下)。hmd 150可以使用图像传感器捕获物理空间的视图的图像，并在电子显示器上呈现所捕获的图像，使得用户可以感觉到好像用户正透过hmd 150看到一样。在一个示例中，物理空间400还可以包括具有复杂运动传感器的专用输入设备(例如，定点设备)，其可能不在图4所示的物理空间400的视图内。
68.在一种途径中，hmd 150检测到键盘420在物理空间400的视图内，并确定、获得、识别或生成键盘420的虚拟模型。hmd 150可以确定键盘420的轮廓、外形和/或键或按钮的布局，并从多个候选模型中确定轮廓、外形和/或键或按钮的布局与键盘420的轮廓、外形和/或键或按钮的布局相匹配或最接近的候选模型。可以在虚拟现实模式和/或穿透模式期间呈现或渲染虚拟模型。
69.图5a是根据本发明的示例实施方式的在虚拟现实模式期间的虚拟空间500的视图的示意图。虚拟空间500可以包括虚拟应用510、对应于专用输入设备(例如，控制器或定点设备)的虚拟模型520a、520b、以及对应于键盘420的虚拟模型550。hmd 150可以跟踪物理空间中的键盘420，并根据在捕获的图像中的被跟踪的键盘420来确定如在虚拟空间500中看到的虚拟模型相对于用户或hmd 150的位置和取向。hmd 150可以根据所确定的虚拟模型的位置和取向呈现虚拟模型550。因此，用户可以在虚拟现实模式期间四处移动并享受虚拟现实，并且可以根据在虚拟空间500中呈现的虚拟模型550的位置和取向来容易地定位键盘420并通过键盘420提供输入。
70.图5b是包括处于第一位置的虚拟模型550的虚拟空间500的视图的示意图，并且图5c是根据本发明的示例实施方式的包括处于第二位置的虚拟模型550的虚拟空间500的视图的示意图。在一个示例中，导航栏575可以被呈现在虚拟空间500内，以允许用户在虚拟现实中启动、控制不同的应用或在不同的应用之间进行导航。在一个示例中，用户可以抓住键盘420并将其从第一位置重新定位到或移动到第二位置。hmd 150可以跟踪键盘420，并且可以呈现位置和取向将对应于键盘420的新位置和新取向的虚拟模型550。因此，用户可以基于虚拟空间500中处于新位置的虚拟模型550，可视地定位在物理空间中的对应位置处的键盘420。
71.在一个示例中，hmd 150可视地向用户提供空间反馈，使得用户可以容易地接触到
键盘420。如图5c所示，hmd 150可以在捕获的图像中检测和跟踪用户的手。如果hmd 150确定用户的手在距键盘420的预定距离内，则hmd 150可以在虚拟空间500中生成并呈现手的虚拟模型570a(或虚拟表示)。在一个方面，手的虚拟模型570a在虚拟空间500中提供相对于虚拟模型550的空间反馈，并允许用户在二维或三维空间中估计他的手相对于键盘420的位置。
72.图5d是根据本发明的示例实施方式的在虚拟现实模式期间的虚拟空间500的视图的示意图。在一个示例中，hmd 150确定键盘420的一个或更多个部分或键正在与用户交互，并在虚拟现实模式期间指示虚拟模型550的一个或更多个对应部分580a、580b正在与用户交互。例如，hmd 150确定键盘420的键被按下，并生成关于虚拟模型550的对应于被按下的键的部分580a、580b的(视觉和/或音频)指示。因此，用户可以在虚拟现实模式期间享受虚拟现实的同时确认通过键盘420提供的输入是否正确。
73.图6是根据本发明的示例实施方式的示出将物理空间中的物理对象移植到虚拟现实中的过程600的流程图。在一些实施例中，过程600由用户设备(例如，hmd 150)执行。在一些实施例中，过程600由其他实体执行或结合其他设备(例如，控制台110或远程服务器)来执行。在一些实施例中，过程600包括比图6所示更多、更少或不同的步骤。
74.在一种途径中，用户设备激活610物理空间中的物理对象。物理对象可以是输入设备(例如，键盘或鼠标)。在一个方面，激活物理空间中的物理对象包括检测612物理对象和生成614物理对象的虚拟模型。在一种途径中，用户设备包括捕获用户的视点的图像的图像传感器。用户设备可以对捕获的图像执行图像处理，以确定或检测物理对象的轮廓、外形和/或键或按钮的布局。用户设备可以将物理对象的轮廓、外形和/或键或按钮的布局与候选虚拟模型的轮廓、外形和/或键或按钮的布局进行比较，并且可以确定轮廓、外形和/或键或按钮的布局与物理对象的轮廓、外形和/或键或按钮的布局相匹配或最接近的候选模型。用户设备可以选择或确定候选模型作为物理对象的虚拟模型。附加地或可替代地，用户设备可以检测或接收物理对象的产品标识，并识别或确定对应于检测到的产品标识的候选模型。
75.在一种途径中，用户设备在虚拟现实模式期间渲染620物理对象的虚拟模型。在虚拟现实模式期间，用户设备可以向用户设备的用户呈现用户对虚拟空间的视点。在一个方面，用户设备确定虚拟模型在虚拟空间中的位置和取向(或六个自由度)，使得虚拟模型的轮廓、外形和/或键或按钮的布局可以匹配或拟合以接近于在捕获的图像中的物理对象的轮廓、外形和/或键或按钮的布局。用户设备可以跟踪物理对象，并且可以更新虚拟模型相对于用户或用户设备的位置和取向。因此，用户可以在虚拟现实模式期间四处移动并享受虚拟现实，并且根据虚拟空间中呈现的虚拟模型而仍然容易地定位和接触到物理对象。
76.在一种途径中，用户设备在虚拟现实模式期间可视地呈现630用户与物理对象的交互(和/或用户相对于物理对象的接近或移动)的反馈。在一个示例中，用户设备确定物理对象的一个或更多个部分或键正在与用户交互，并在虚拟现实模式期间指示虚拟模型的一个或更多个对应部分正在与用户交互(例如，与用户接触或被用户激活)。例如，用户设备确定键盘的键被按下，并突出显示虚拟模型的与被按下的键相对应的部分。因此，用户可以在虚拟现实模式期间享受虚拟现实的同时确认通过键盘提供的输入是否正确。
77.图7是根据本发明的示例实施方式的示出在虚拟现实中提供关于用户在物理空间
中与输入设备的交互的空间反馈的过程700的流程图。在一些实施例中，过程700由用户设备(例如，hmd 150)执行。在一些实施例中，过程700由其他实体执行，或结合其他设备(例如，控制台110或远程服务器)来执行。在一些实施例中，过程700包括比图7所示更多、更少或不同的步骤。
78.在一种途径中，用户设备在物理空间中相对于用户检测710输入设备。在一种途径中，用户设备在虚拟空间中呈现720检测到的输入设备的虚拟模型。用户设备可以如上文参考图6所述检测和呈现虚拟模型。因此，为了简洁起见，在此省略了对其的重复描述。
79.在一种途径中，用户设备相对于虚拟空间中的虚拟模型可视地提供730关于用户与物理空间中的输入设备的交互(和/或相对于输入设备的接近或移动)的空间反馈。例如，如图5c所示，用户设备可以检测并跟踪所捕获的图像中的用户的手。如果用户的手在距输入设备的预定距离内，则用户设备可以在虚拟空间中生成并呈现手的虚拟模型(例如，以提供空间反馈和/或指导)。如果用户的手不在距输入设备的预定距离内，则用户设备可以不呈现手的虚拟模型。因此，手的虚拟模型提供相对于虚拟空间中的虚拟模型的空间反馈，并允许用户确定或识别出他的手相对于物理空间中的输入设备的位置。
80.本文公开的各种实施例涉及头戴式显示器。在一些实施例中，头戴式显示器包括成像传感器、处理器和非暂时性计算机可读介质，该成像传感器被配置为捕获物理空间的图像。在一些实施例中，非暂时性计算机可读介质存储指令，该指令当由处理器执行时使处理器：激活物理空间中的物理对象，以在穿透模式期间生成物理对象的虚拟模型，并在虚拟现实模式期间渲染物理对象的虚拟模型。在一些实施例中，头戴式显示器包括显示设备，该显示设备被配置为在穿透模式期间向头戴式显示器的用户呈现物理空间的视图，并在虚拟现实模式期间向头戴式显示器的用户呈现虚拟空间的视图。在虚拟现实模式期间，显示设备可以不向头戴式显示器的用户呈现物理空间的视图，或者可以遮挡物理空间的视图使其对头戴式显示器的用户不可见。物理对象可以是输入设备(例如，键盘或鼠标)。
81.在一些实施例中，非暂时性计算机可读介质存储指令，该指令当由处理器执行时使处理器：在穿透模式期间检测物理空间中的物理对象，并识别检测到的物理对象的虚拟模型，以在穿透模式期间激活物理空间中的物理对象。非暂时性计算机可读介质可以存储指令，该指令当由处理器执行时使处理器：根据检测到的物理对象在物理空间中的位置和取向来确定虚拟模型在虚拟空间中的位置和取向，并根据所确定的虚拟模型在虚拟空间中的位置和取向来渲染物理对象的虚拟模型的第一图像。在一些实施例中，头戴式显示器还包括传感器，该传感器被配置成在虚拟现实模式期间检测或跟踪头戴式显示器的移动。在一些实施例中，非暂时性计算机可读介质存储指令，该指令当由处理器执行时使处理器：根据检测到的头戴式显示器的移动来确定虚拟模型的位置和取向的变化，并根据虚拟模型的位置和取向的变化来渲染物理对象的虚拟模型的第二图像。
82.在一些实施例中，非暂时性计算机可读介质存储指令，该指令当由处理器执行时使处理器：在穿透模式期间检测捕获的图像中的物理对象的键或按钮的布局，以在穿透模式期间检测物理空间中的物理对象。在一些实施例中，非暂时性计算机可读介质存储指令，该指令当由处理器执行时使处理器：从多个候选模型中确定布局与在穿透模式期间检测到的物理对象的键或按钮的布局相匹配或最接近的候选模型。在一些实施例中，非暂时性计算机可读介质存储指令，该指令当由处理器执行时使处理器：响应于候选模型的布局与物
理对象的键或按钮的检测到的布局相匹配或最接近，将该候选模型确定为虚拟模型，以在穿透模式期间识别虚拟模型。在一些实施例中，非暂时性计算机可读介质存储指令，该指令当由处理器执行时使处理器：检测头戴式显示器的用户在虚拟现实模式期间与虚拟模型的一部分的交互，并且指示在虚拟现实模式期间虚拟模型的该部分正在被用户交互来作为反馈。
83.本文描述的各种操作可以在计算机系统上实现。图8示出了可用于实现本发明的代表性计算系统814的框图。在一些实施例中，图1的控制台110、hmd 150或两者由计算系统814实现。计算系统814可以被实现为例如消费设备(consumer device)，诸如智能手机、其他移动电话、平板计算机、可佩戴计算设备(例如，智能手表、眼镜、头戴式显示器)、台式计算机、膝上型计算机，或者用分布式计算设备来实现。计算系统814可以被实现为提供vr、ar、mr体验。在一些实施例中，计算系统814可以包括传统的计算机部件，例如处理器816、存储设备818、网络接口820、用户输入设备822和用户输出设备824。
84.网络接口820可以提供到广域网(例如，互联网)的连接，远程服务器系统的wan接口也连接到该广域网。网络接口820可以包括有线接口(例如以太网)和/或无线接口，该无线接口实现各种rf数据通信标准，例如wi-fi、蓝牙或蜂窝数据网络标准(例如3g、4g、5g、60ghz、lte等)。
85.用户输入设备822可以包括用户可以通过其向计算系统814提供信号的任何设备(或多个设备)；计算系统814可以将信号解释为指示特定用户请求或信息。用户输入设备822可以包括键盘、触摸板、触摸屏、鼠标或其他定点设备、滚轮、点击轮(click wheel)、拨号盘、按钮、开关、小键盘、麦克风、传感器(例如，运动传感器、眼睛跟踪传感器等)等中的任何一个或全部。
86.用户输出设备824可以包括计算系统814可以通过其向用户提供信息的任何设备。例如，用户输出设备824可以包括显示器，以显示由计算系统814生成或传送到计算系统150的图像。显示器可以结合各种图像生成技术(例如液晶显示器(lcd)、包括有机发光二极管(oled)的发光二极管(led)、投影系统、阴极射线管(crt)等)以及支持电子器件(例如数模或模数转换器、信号处理器等)。可以使用既用作输入设备又用作输出设备的诸如触摸屏的设备。除了显示器之外或者代替显示器，可以提供输出设备824。示例包括指示灯、扬声器、触觉“显示”设备、打印机等。
87.一些实施方式包括电子部件，例如微处理器、储存设备和将计算机程序指令存储在计算机可读存储介质(例如，非暂时性计算机可读介质)中的存储器。本说明书中描述的许多特征可以被实现为被指定为编码在计算机可读存储介质上的一组程序指令的过程。当这些程序指令由一个或更多个处理器执行时，它们使处理器执行程序指令中指示的各种操作。程序指令或计算机代码的示例包括诸如由编译器产生的机器代码，以及包括由计算机、电子部件或使用解释器的微处理器执行的高级代码的文件。通过适当的编程，处理器816可以为计算系统814提供各种功能，包括本文描述的由服务器或客户端执行的任何功能，或者与消息管理服务相关联的其他功能。
88.应当理解，计算系统814是说明性的，并且变化和修改是可能的。结合本发明使用的计算机系统可以具有本文没有具体描述的其他能力。此外，虽然计算系统814是参考特定的块来描述的，但是应当理解，这些块是为了描述方便而定义的，并不旨在暗示组成部分的
特定物理布置。例如，不同的块可以位于同一设施中、同一服务器机架中或同一主板上。此外，这些块不需要对应于物理上不同的部件。块可以被配置为例如通过对处理器编程或提供适当的控制电路来执行各种操作，并且根据如何获得初始配置，各个块可能是或可能不是可重新配置的。本发明的实施方式可以在各种装置(包括使用电路和软件的任意组合实现的电子设备)中实现。
89.现在已经描述了一些说明性的实施方式，显然前述是说明性的而不是限制性的，已经通过示例的方式给出。具体而言，尽管本文呈现的许多示例涉及方法动作或系统元素的特定组合，但是那些动作和那些元素可以以其他方式组合来实现相同的目标。结合一个实施方式讨论的动作、元素和特征不旨在被排除在其他实施方式或实施方式中的类似角色之外。
90.用于实现结合本文公开的实施例描述的各种过程、操作、说明性逻辑、逻辑块、模块和电路的硬件和数据处理部件可以用通用单芯片或多芯片处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或其他可编程逻辑器件、分立门或晶体管逻辑、分立硬件部件或其设计用于执行本文描述的功能的任何组合来实现或执行。通用处理器可以是微处理器，或者任何传统的处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合，例如，dsp和微处理器的组合、多个微处理器、与dsp内核结合的一个或更多个微处理器、或者任何其他这样的配置。在一些实施例中，特定的过程和方法可以由特定于给定功能的电路来执行。存储器(例如，存储器、存储器单元、存储设备等)可以包括一个或更多个设备(例如，ram、rom、闪存、硬盘储存设备等)，用于存储用于完成或促进本发明中描述的各种过程、层和模块的数据和/或计算机代码。存储器可以是或可以包括易失性存储器或非易失性存储器，并且可以包括数据库部件、目标代码部件、脚本部件或用于支持本发明中描述的各种活动和信息结构的任何其他类型的信息结构。根据示例性实施例，存储器经由处理电路可通信地连接到处理器，并且包括用于(例如，通过处理电路和/或处理器)执行本文描述的一个或更多个过程的计算机代码。
91.本发明设想了用于完成各个操作的方法、系统和在任何机器可读介质上的程序产品。可以使用现有的计算机处理器、或通过为此目的或另一目的所结合的用于恰当系统的专用计算机处理器、或通过硬接线的系统来实现本发明的实施例。本发明的范围之内的实施例包括程序产品，其包括用于携带或具有存储于其上的机器可执行指令或数据结构的机器可读介质。这样的机器可读介质可以是任意可用介质，其可通过通用或专用计算机或具有处理器的其他机器访问。举例来讲，这样的机器可读介质可包括ram、rom、eprom、eeprom或其他光盘储存设备、磁盘储存设备或其他磁储存设备、或可用于携带或存储以机器可执行指令或数据结构形式的期望的程序代码且可以通过通用或专用计算机或具有处理器的其他机器访问的任何其他介质。上面的组合也被包括在机器可读介质的范围内。机器可执行指令包括例如使通用计算机、专用计算机或专用处理机器执行某一功能或一组功能的指令和数据。
92.本文所使用的措辞和术语是为了描述的目的，且不应被视为限制性的。本文中对“包括(including)”、“包括(comprising)”、“具有”、“包含”、“涉及”、“以......为特征”、“特征在于”及其变型的使用意味着包含其后列出的项目、其等同物和附加项目，以及仅由其后列出的项目组成的替代实施方式。在一个实施方式中，本文描述的系统和方法由所描
述的元件、动作或部件中的一个、多于一个的每个组合或者全部组成。
93.本文中以单数形式提及的对系统和方法的实施方式或元素或动作的任何引用也可以包括包含多个这些元素的实施方式，并且本文中以复数形式对任何实施方式或元素或动作的任何引用也可以包括仅包含单个元素的实施方式。单数或复数形式的引用不旨在将当前公开的系统或方法、它们的部件、动作或元素限制为单个配置或复数配置。对基于任何信息、动作或元素的任何动作或元素的引用可以包括其中动作或元素至少部分基于任何信息、动作或元素的实施方式。
94.本文公开的任何实施方式可以与任何其他实施方式或实施例组合，并且对“实施方式”、“一些实施方式”、“一个实施方式”等的引用不一定是互斥的，并且旨在指示结合该实施方式描述的特定特征、结构或特性可以被包括在至少一个实施方式或实施例中。本文使用的这些术语不一定都指同一实施方式。任何实施方式都可以以与本文公开的方面和实施方式相一致的任何方式，包括性地或排他地与任何其他实施方式相结合。
95.在附图、详细描述或任何权利要求中的技术特征后面带有参考标记的地方，参考标记被包括以增加附图、详细描述和权利要求的可理解性。因此，参考标记及其缺失都不会对任何权利要求元素的范围有任何限制性影响。
96.在不脱离其特征的情况下，本文描述的系统和方法可以以其他特定形式体现。除非另有明确说明，否则对“大约(approximately)”、“约(about)”、“基本上”或其他程度术语的提及包括给定测量值、单位或范围的 /-10％的变化。耦合的元件可以彼此直接电耦合、机械耦合或物理耦合，或者利用中间元件电耦合、机械耦合或物理耦合。因此，本文描述的系统和方法的范围由所附权利要求而不是前面的描述来指示，并且落入权利要求的等同物的含义和范围内的改变包含在其中。
97.术语“耦合”及其变型包括两个构件直接或间接地彼此连接(join)。这样的连接可以是静止的(例如，永久的或固定的)或可移动的(例如，可移除的或可释放的)。这样的连接可以通过两个构件直接耦合或相互耦合来实现，可以通过两个构件使用单独的中间构件彼此耦合和使用任何附加的中间构件彼此耦合来实现，或者通过两个构件使用与两个构件中的一个构件一体形成为单一单元体的中间构件彼此耦合来实现。如果“耦合”或其变型由附加术语来修饰(例如，直接耦合)，则上面提供的“耦合”的一般定义由附加术语的简单语言含义来修饰(例如，“直接耦合”是指两个构件在没有任何单独的中间构件的情况下的连接)，导致比上面提供的“耦合”的一般定义更窄的定义。这样的耦合可以是机械的、电的或流体的。
98.对“或”的引用可被解释为包含性的，因此，使用“或”描述的任何术语可以指示单个、多于一个和所有所述术语中的任何一种。对
“‘
a’和
‘
b’中的至少一个”的引用可以只包括“a”，只包括“b”，以及同时包括“a”和“b”。结合“包括”或其他开放术语使用的这样的引用可以包括附加项目。
99.在本质上不脱离本文公开的主题的教导和优点的情况下，可以对所描述的元件和动作进行修改，例如各种元件的尺寸、大小、结构、形状和比例、参数值、安装布置、材料使用、颜色、取向的变化。例如，显示为一体形成的元件可以由多个部分或元件构成，元件的位置可以颠倒或以其他方式改变，并且分立元件的性质或数量或位置可以改变或变化。在不脱离本发明的范围的情况下，还可以在所公开的元件和操作的设计、操作条件和布置中进
行其他替换、修改、改变和省略。
100.本文对元件位置(例如，“顶部”、“底部”、“上方”、“下方”)的引用仅用于描述附图中各种元件的取向。根据其他示例性实施例，各种元件的取向可以不同，并且这样的变化旨在被本发明所包含。