用于虚拟和增强现实的系统和方法与流程

1.本发明涉及连接的移动计算系统、方法、和配置，更具体地，涉及具有至少一个可用于虚拟和/或增强现实操作的可穿戴部件的移动计算系统、方法、和配置。


背景技术：

2.混合现实或增强现实近眼显示器最好是重量轻、成本低、具有小尺寸因数、具有宽虚拟图像视场并且尽可能透明。此外，最好具有在多个焦平面(例如，两个或更多个)中呈现虚拟图像信息的配置，以便在不超过聚散调节失配可接受容限的情况下适用于各种用例。参考图1，示出了包含头戴式观察部件(2)、手持式控制器部件(4)和互连的辅助计算或控制器部件(6)的增强现实系统，这些部件可以被配置为作为腰带等穿戴在用户身上。这些部件中的每一个可以经由有线或无线通信配置(诸如由ieee802.11、蓝牙(rtm)和其他连接标准和配置指定的)可操作地彼此耦合(10、12、14、16、17、18)以及耦合到其他连接的资源(8)。描述了这些部件的各个方面，诸如两个所描绘的光学元件(20)的各种实施例，用户可以通过这些光学元件(20)观察其周围的世界以及由相关联的系统部件产生的视觉成分，从而获得增强现实体验。如图1所示，这样的系统还可以包括各种传感器，这些传感器被配置为提供与用户周围环境有关的信息，其中包括但不限于各种相机类型的传感器和/或发射器(诸如单色、彩色/rgb、红外、和/或热传感器和/或发射器)(22、24、26)、深度相机传感器(28)、和/或诸如麦克风之类的声音传感器(30)。需要诸如本文所述的那些紧凑且持久连接的可穿戴计算系统和组件，其可用于向用户提供丰富的增强现实体验感知，包括但不限于与自然世界的某些方面相关的体验，诸如现代企业工作环境世界的许多配置方面。


技术实现要素：

3.实施例涉及连接的移动计算系统、方法、和配置。更具体地，实施例涉及具有至少一个可用于虚拟和/或增强现实操作的可穿戴部件的移动计算系统、方法、和配置。
4.在一个实施例中，一种促进第一用户和第二用户之间的通信的计算机实现的方法包括由第一头戴式设备向穿戴所述第一头戴式设备的第一用户显示第一虚拟对象。所述方法还包括由第二头戴式设备向穿戴所述第二头戴式设备的第二用户显示第二虚拟对象。所述方法进一步包括由所述第一头戴式设备和所述第二头戴式设备使用所述第一虚拟对象和所述第二虚拟对象模拟所述第一用户和所述第二用户出现在公共环境中来促进所述第一用户和所述第二用户之间的通信，。
5.在一个或多个实施例中，所述第一虚拟对象是所述第二用户的化身。所述第二虚拟对象可以是所述第一用户的化身。所述方法可以包括由第一处理器将所述第二虚拟对象发送到所述第二头戴式设备。所述方法可以包括由第二处理器将所述第一虚拟对象发送到所述第一头戴式设备。
6.在另一实施例中，一种共享虚拟体验的计算机实现的方法包括由第一头戴式设备向穿戴所述第一头戴式设备的第一用户显示虚拟对象。所述方法还包括由第二头戴式设备
向穿戴所述第二头戴式设备的第二用户显示虚拟对象。所述方法进一步包括由所述第一头戴式设备和所述第二头戴式设备促进所述第一用户和第二用户之间的与所述虚拟对象相关的通信。
7.在一个或多个实施例中，所述第一用户位于第一地理位置，并且所述第二用户位于不同于所述第一地理位置的第二地理位置。所述方法可以包括由所述第一用户修改所述虚拟对象。所述方法可以包括由所述第二用户修改所述虚拟对象。所述方法可以包括由所述第一头戴式设备和所述第二头戴式设备在所述第一头戴式设备和所述第二头戴式设备之间传递对所述虚拟对象的修改。所述第一头戴式设备和所述第二头戴式设备可以由网络通信地耦合。
8.在一个或多个实施例中，所述方法包括由所述第一用户经由可操作地耦合到所述第一头戴式设备的第一用户接口设备提供与所述虚拟对象相关的输入。所述第一用户接口设备可以被选自包括以下各项的组：触觉接口设备、键盘、鼠标、操纵杆、运动捕获控制器、光学跟踪设备、和音频输入设备。所述方法可以包括由所述第二用户经由可操作地耦合到所述第二头戴式设备的第二用户接口设备提供与所述虚拟对象相关的输入。所述第二用户接口设备可以被选自包括以下各项的组：触觉接口设备、键盘、鼠标、操纵杆、运动捕获控制器、光学跟踪设备、和音频输入设备。
9.在一个或多个实施例中，所述方法包括由可操作地耦合到所述第一头戴式设备和所述第二头戴式设备的传感器提供与所述虚拟对象相关的输入。所述传感器可以被选自包括以下各项的组：相机和光学检测设备。所述传感器可以面向外部。所述传感器可以向内面向用户。所述方法还可以包括由所述传感器投射红外结构光。所述输入可以被选自包括以下各项的组：与用户相关的瞳孔大小、瞳孔位置、瞳孔角度、眼睛球形度、眼睛形状、图形运动、和解剖数据。所述方法可以包括由处理器使用所述输入来确定用户的视觉焦点。所述方法可以包括由处理器使用所述输入来对用户的环境的一部分绘图。
10.在一个或多个实施例中，所述方法包括由可操作地耦合到所述第一头戴式设备和所述第二头戴式设备的环境传感器提供与地理位置相关的环境输入。所述环境传感器可以被选自包括以下各项的组：相机、光学检测设备、运动捕获设备、深度测量设备、人脸识别设备、对象识别设备、音频识别设备、cmos传感器、视场传感器、和光学增强传感器。所述环境输入可以被选自包括以下各项的组：运动捕获数据、手势识别数据、深度感测数据、人脸识别数据、对象识别数据、独特对象特征识别数据、音频识别数据、语音识别数据、声源定位数据、降噪数据、红外光数据、激光数据、cmos传感器数据、视场数据、和光学增强数据。
11.在一个或多个实施例中，所述虚拟对象对应于计算机辅助设计文件。所述虚拟对象可以对应于建筑信息建模系统配置。所述虚拟对象可以是建筑物，并且所述第一头戴式设备和所述第二头戴式设备可以被配置为分别向所述第一用户和所述第二用户显示所述建筑物的虚拟参观。所述虚拟对象可以是制造对象的三维绘图。所述制造对象可以是汽车的部件。
12.在一个或多个实施例中，所述虚拟对象与教育体验相关。所述虚拟对象可以被选自包括以下各项的组：实验室对象、来自图书馆的对象、三维视频、科学模型、和自然现象。所述第一头戴式设备和所述第二头戴式设备可以被配置为促进所述第一用户和所述第二用户之间的一对一教育体验。所述第一头戴式设备和所述第二头戴式设备可以被配置为促
进一对多教育体验。
13.在又一实施例中，一种共享真实世界体验的计算机实现的方法包括由第一头戴式设备捕获在穿戴所述第一头戴式设备的第一用户的环境中的真实世界对象的图像。所述方法还包括由处理器基于所述真实世界对象的图像，生成虚拟对象。所述方法进一步包括由第二头戴式设备向穿戴所述第二头戴式设备的第二用户显示所述虚拟对象。此外，所述方法包括由所述第一头戴式设备和所述第二头戴式设备促进所述第一用户和第二用户之间的与所述真实世界对象相关的通信。
14.在一个或多个实施例中，所述第一用户位于第一地理位置，并且所述第二用户位于不同于所述第一地理位置的第二地理位置。所述虚拟对象可以对应于所述真实世界对象。所述方法包括由所述处理器基于所述真实世界的图像，生成网格或点云。所述第二头戴式设备可以被配置为允许所述第二用户修改所述虚拟对象。所述第一头戴式设备可以被配置为基于所述第二用户修改所述虚拟对象，向所述第一用户显示第一虚拟对象。所述第一头戴式设备和所述第二头戴式设备可以被配置为在所述第一头戴式设备和所述第二头戴式设备之间传递对所述虚拟对象的修改。所述第一头戴式设备和所述第二头戴式设备可以由网络通信地耦合。
15.在一个或多个实施例中，所述第一头戴式设备、所述第二头戴式设备以及所述处理器被配置为向所述第二用户显示与向所述第一用户喜爱是的所述真实世界对象的视图基本相同的所述虚拟对象的视图。所述第二用户可以具有与所述真实世界对象相关的专业知识。所述第二用户可以有权访问有关所述真实世界对象的信息。
16.在一个或多个实施例中，所述方法包括由所述第一头戴式设备感知所述真实世界对象的纹理。所述方法还可以包括由所述处理器基于所述真实世界对象的所述纹理，生成所述虚拟对象的纹理。所述方法可以进一步包括由所述第二头戴式设备向所述第二用户显示所述虚拟对象的所述纹理。
17.在一个或多个实施例中，所述方法包括由可操作地耦合到所述第一头戴式设备的振动传感器检测与所述真实世界对象相关的振动。所述方法还包括由所述处理器基于与所述真实世界对象相关的所述振动，生成与所述虚拟对象相关的振动。所述方法可以进一步包括由可操作地耦合到所述第二头戴式设备的触觉接口设备向所述第二用户提供与所述虚拟对象相关的所述振动。
18.在一个或多个实施例中，所述方法包括由可操作地耦合到所述第一头戴式设备的嗅觉传感器检测与所述真实世界对象相关的气味。所述方法还可以包括由所述处理器基于与所述真实世界对象相关的所述气味，生成与所述虚拟对象相关的气味。所述方法可以进一步包括由可操作地耦合到所述第二头戴式设备的嗅觉接口设备向所述第二用户提供与所述虚拟对象相关的所述气味。
19.在一个或多个实施例中，所述真实世界对象和所述虚拟对象都与所述第一地理位置处的医疗过程相关。所述第一用户和所述第二用户之间的与所述虚拟对象相关的通信可以促进由所述第一用户对所述医疗过程的执行。所述医疗过程可以被选自包括以下各项的组：外科手术、诊断患者、和现场医疗过程。
20.在一个或多个实施例中，所述真实世界对象和所述虚拟对象都与所述第一地理位置处的紧急事件相关。所述第二用户可以有权访问有关所述第一地理位置的信息。有关所
述第一地理位置的信息可以被选自包括以下各项的组：所述地理位置的cad绘图、在所述地理位置处的燃气和电力架构的概要、以及在所述地理位置处的相机信息。所述第二头戴式设备可以被配置为促进所述第二用户修改所述第一地理位置。所述第一地理位置可以包括着火的建筑物。所述第一用户和第二用户之间的与所述真实世界对象相关的通信可以包括所述第一用户或所述第二用户的眼睛跟踪信息。
21.在一个或多个实施例中，所述真实世界对象和所述虚拟对象都与所述第一地理位置处的零售交易相关。所述零售交易可以被选自包括以下各项的组：跟踪库存、管理库存、销售培训、管理安全场景、促进退货交易、和协助顾客选择商品。
22.在一个或多个实施例中，所述真实世界对象和所述虚拟对象都与娱乐体验相关。所述第一头戴式设备和所述第二头戴式设备可以被配置为促进沉浸式新闻报道。所述第一头戴式设备和所述第二头戴式设备可以被配置为促进结合来自所述第一用户的所述第一地理位置的元素的娱乐。所述方法可以包括由所述第一头戴式设备向所述第一用户显示所生成的虚拟对象，并且所述虚拟对象可以与所述真实世界对象相关。所生成的虚拟对象可以被选自包括以下各项的组：文本、和视听剪辑。所述方法可以包括由所述第一头戴式设备从所述第一用户接收指示所述真实世界对象的用户输入。所述方法可以包括响应于从所述第一用户接收到指示所述真实世界对象的所述用户输入，由所述第一头戴式设备向所述第一用户显示所生成的虚拟对象。所述用户输入可以被选自包括以下各项的组：用户注视、用户手势、和可操作地耦合到所述第一头戴式设备的控制器的用户操纵。
23.本发明的上述和其他实施例在下面的具体实施方式中进行描述。
附图说明
24.参考附图更详细地描述实施例的上述和其他方面，其中不同附图中的相同元件由共同的参考标号表示，其中：
25.图1示意性地示出了根据一些实施例的增强现实系统。
26.图2示意性地示出了根据一些实施例的允许多个用户协作查看和/或操纵虚拟对象/图像的空间计算系统。
27.图3示意性地示出了根据一些实施例的允许远程用户与本地用户协作的空间计算系统。
28.图4是示意性地示出根据一些实施例的说明性计算系统的框图。
29.为了更好地理解如何实现各种实施例的上述和其他优点和目的，参考附图提供了对实施例的更详细的描述。应当注意，附图不是按比例绘制的，并且具有相似结构或功能的元件自始至终由相似的参考标号表示。应当理解，这些附图仅描述了某些图示的实施例，因此不应被认为是对实施例范围的限制。
具体实施方式
30.在各种实施例中，用户可以穿戴诸如图1所示的增强现实系统，该系统也可以被称为“空间计算”系统，其中，涉及此类系统在操作(32)时与用户周围的三维世界的交互。此类系统例如可以包括头戴式显示器部件(2)，并且可以具有上述环境感测能力，诸如各种类型的相机，这些相机可以被配置为对用户周围的环境绘图，或者创建与这种环境有关的“网
格”或“点云”。包括但不限于提供增强现实(ar)、虚拟现实(vr)、和/或混合现实(mr)显示功能的系统的空间计算系统可用于促进各种活动。例如，空间计算系统可以提高涉及多人交互的活动的通信和协作效率，其中包括在地理上彼此相距遥远的个人。
31.实施例提供使用空间计算系统来促进各种领域的(例如，人际)活动，其中包括诸如涉及各种类型商业活动的不同行业的领域。这些领域可以包括但不限于以下一项或多项：建筑、工程建筑(aec)、制造、汽车、医疗保健、金融服务、零售、媒体/娱乐/体育、能源和公共事业、教育、一般商业、旅行/旅游/接待、机构(例如，开发公司)、政府、非营利组织、、和/或电信。例如，实施例提供无障碍业务，例如跨城市握手、跨时区培训团队、重塑业务开展方式等。例如，从将建筑图纸变为现实到转变生产和履行操作，实施例提供了空间计算可用于彻底改变不同类型工作的技术。
32.建筑、工程、和施工方面的示例：
33.缩小设计和建造之间的差距。空间计算系统可以将计算机辅助设计文件(“cad”)和建筑信息建筑信息建模系统配置(“bim”)变为现实，因此个人可以在3d环境中共享草图、协作调整设计、和/或在建筑物建成之前对其进行虚拟参观。换言之，在各种实施例中，具有诸如图1所示的系统的一个或多个用户可以协作查看建筑架构、规划、基础设施、视图模拟等的特定方面。例如，在一个实施例中，穿戴诸如图1所示的系统的建筑师可以为位于斐济并且也穿戴诸如图1所示系统的金融家提供所提出的新建筑项目的模拟和交互式现场参观，这两个用户通过诸如互联网连接、存储库、和计算资源之类的云资源(8)连接。
34.健康与健身方面的示例：
35.空间计算系统可以允许组织和个人探索数字医疗保健的未来。为下一代专业人士发现新的培训机会，并帮助重新定义健康。增强个人(例如，外科医生)分析复杂信息和3d图像的能力。例如，在各种实施例中，诸如图1所示的系统的一个用户可以与类似系统的另一用户协作，每个用户都可以经由云资源(8)连接，采取“专家参与”或“团队参与”类型的配置，这样，第二用户能够看到第一用户的活动，就好像第二用户正在越过第一用户的肩膀观看(甚至更好—第二用户可以与第一用户看到在字面上相同的内容，也可以共享音频，并且能够与第一用户进行保密且安全的通信)。在一个实施例中，可以虚拟地“召集”专家外科医生，以在战时受伤情况下使用“专家参与”配置协助更有经验的现场医护兵；专家外科医生能够协助诊断患者病情，指导现场医生做什么、检查什么、如何定位特定解剖结构等。在其他实施例中，有权访问不同计算资源和信息的远程专家可以协助本地资源，诸如在火灾和救援场景中，其中，穿戴图1所示的连接系统(8)的当地消防员可以通过快节奏场景中的“专家参与”类型得到协助，其中，本地专家有权访问着火建筑物的cad图纸，访问远程锁定/解锁系统，以及通过连接的计算资源了解燃气和电气架构，远程专家可以使用带有快速键盘和大型平板显示器的大型计算机工作站轻松、高效地访问这些连接的计算资源；换言之，远程专家可以方便快捷地利用这些资源(优选地由远程专家在控制站环境中访问)，但这些信息可以通过音频和视频信息(通过用户共享的空间计算连接来共享)的组合来共享、可视化、和利用。远程专家可以逐字地说出“燃气管道位于你右边那堵紫色小墙后面，小心；将斧头直接穿过那堵白墙—是的，就在你注视的地方
……
；我们认为被困人员在隔壁房间，以及我们通过当地的物联网红外相机“密切关注”他们在里面的信息，在桌子下面的地面上
……”
36.制造方面的示例：
37.空间计算系统可以通过让设计人员实时创建和协作，从而提高汽车行业和其他行业的生产力来彻底改变制造过程。例如，在各种实施例中，穿戴诸如图1所示的连接系统(8)的多个用户能够一起工作并且以类似于在同一房间彼此相邻的方式从不同位置看到/听到彼此。他们可以分享想法，互相协助，并在类似于上述“专家参与”或“同事参与”场景的情况下工作；他们可以剖析和查看三维图纸，可以互相协助地查看三维对象，例如发动机或汽车总成部件等。
38.零售方面的示例：
39.空间计算系统可用于将今天的实体店转变为明天的沉浸式客户体验。允许不同城市的员工跟踪和管理库存并进行远程培训。例如，在各种实施例中，具有诸如图5所示的连接系统(8)的位于不同位置的用户可以一起协作，就好像他们在同一零售楼层或同一库存仓库中一样；他们可以通过“专家参与”或“同事参与”类型的配置相互协助，诸如在紧急安全场景、培训体验、或各种情况下做什么，如何在没有足够凭证的情况下处理客户零售退货，或者如何协助客户选择非常具体的服装类型，其中远程专家可以使用该系统来协助在这一点上欠缺经验或特定知识的当地员工。
40.教育方面的示例：
41.空间计算系统可用于将(例如，化学)教室转变为沉浸式学习体验。将实验室和图书馆整合到空间学习中，并提供新的协作和互动方式。穿戴诸如图1所示的连接系统的教师和学生可以看到和听到与对象的高质量三维视频有关的音频，这些对象诸如包括有机化学图解、火山或任何相关主题；教师和学生可以“共享”同一个教室，即使他们实际上并不在同一个教室。此外，远程教师可以以一种新的“专业教育”形式悄悄地协助特定的学生，其中，远程教师通过“专家参与”类型的场景协助本地学生。
42.媒体和娱乐方面的示例：
43.空间计算系统可以提供身沉浸式新闻报道和基于位置的娱乐，为想象力丰富的故事讲述者创造一种新的联系观众和开发内容的方式。例如，在各种实施例中，诸如图1所示的连接系统(8)的用户能够穿过公园并接收与其位置和注视相关的各种事物的有关媒体信息；例如，如果用户正在注视一朵特定的花，并且在靠近花的脸部前面做出“竖大拇指”的手势(或者，例如使用与手持式控制器4相关联的选择设备之一)，该系统可以被配置为根据该用户的喜好提供与此花有关的可读信息—此花属于哪种类型(例如，通过图案识别)，它以什么而闻名，此花的流行文化用途等。实际上，用户可能希望观看一些与使用此花有关的电影剪辑，甚至通过“专家参与”类型的配置“引入”植物学家；或者甚至使用其丈夫的连接系统(8)将他从其远程位置带进来，这样，其丈夫就可以看到她正在看的东西，或者以模拟的方式“出现”在那里，与她一起体验场景。
44.说明性实施例：
45.图2提供了根据一个或多个实施例的图示。这里，计算环境允许多个用户协作查看和/或操纵虚拟对象/图像。例如，如上所述，空间计算系统可以将计算机辅助设计文件(“cad”)和建筑信息建筑信息建模系统配置(“bim”)变为现实，因此个人可以在3d环境中共享草图，协作调整设计，和/或在建筑物建成之前对其进行虚拟参观，例如，如图2所示，其中，位于位置1处的用户能够与位于位置2处的另一用户协作查看cad文件/模型和/或虚拟
对象/结构。在空间组织的3d和/或2d环境中显示视觉呈现。
46.如图3所示，空间计算系统可以允许远程专家针对任何合适的情况或应用变为“专家参与”配置。例如，在各种实施例中，所示系统的一个用户可以与类似系统的另一用户协作，每个用户都可以经由网络资源连接，其中用户之一采取“专家参与”或“同事参与”配置。第二用户能够看到第一用户的活动—从第一用户的确切角度观看，或者好像越过第一用户的肩膀观看。还可以共享其他形式的媒体，例如音频、纹理、振动、气味等，具体取决于在系统/设备内实现的传感器和/或接口的特定类型。
47.图2和图3中的环境100代表用于实现本文所述的各种过程的物理环境和系统。环境100的代表性物理环境和系统包括由用户108通过头戴式系统160查看的用户物理环境。环境100的代表性系统还包括经由可操作地耦合到网络120的系统访问2d内容。网络120可以是互联网、内联网、私有云网络、公共云网络等。系统还经由网络120被可操作地耦合到处理器170。尽管处理器170被示出为与头戴式系统160分开的隔离部件，但是在替代实施例中，处理器170可以与头戴式系统160的一个或多个部件集成，和/或可以被集成到环境100内的其他系统部件中，诸如，通过网络120访问计算网络125和存储设备130。处理器170可以被配置有用于接收和处理信息的软件，这些信息诸如包括从头戴式系统160、本地存储设备140、计算网络125、和存储设备130接收的视频、音频、和内容。该软件可以经由网络120与计算网络125和存储设备130通信。该软件可以被安装在处理器170上，或者在另一实施例中；该软件的特征和功能可以集成到处理器170中。处理器170还可以被配置有用于存储由处理器170使用的信息的本地存储设备140，以便从用户108的附近进行快速访问，而不依赖于远程存储在外部存储设备上的信息。在其他实施例中，处理器170可以被集成在头戴式系统160内。
48.用户的物理环境是指当用户四处移动并通过头戴式系统160查看用户的物理环境时，用户108周围的物理环境。计算网络125访问存储设备130以检索和存储用于显示的内容。在一些实施例中，本地存储设备140可以向用户108提供感兴趣的内容。本地存储设备140例如可以包括闪存驱动器、高速缓存、硬盘驱动器、数据库、文件系统等。存储在本地存储设备140中的信息可以包括最近访问的内容或最近显示的内容。本地存储设备140通过在本地向软件提供某些内容来允许提高环境100的系统的性能。
49.该软件包括存储在非暂时性计算机可读介质中的软件程序，以执行解构待在用户的物理环境105内显示的2d内容的功能。该软件可以在处理器170上运行，其中，处理器170可以在本地被附接到用户108，或者在一些其他实施例中，软件150和处理器170可以被包括在头戴式系统160内。在一些实施例中，软件150的特征和功能的一部分可以在远离用户108的计算网络125上被存储和执行。
50.头戴式系统160可以是虚拟现实(vr)或增强现实(ar)头戴式系统，其包括用户接口、用户感测系统、环境感测系统、和处理器(均未示出)。头戴式系统160向用户108呈现用于与数字世界交互和体验数字世界的界面。这种交互可以涉及用户和数字世界、与环境100交互的一个或多个其他用户、以及数字和物理世界内的对象。
51.系统的用户接口可以包括触觉接口设备、键盘、鼠标、操纵杆、运动捕获控制器、光学跟踪设备、和音频输入设备中的至少一个或其组合。触觉接口设备是一种允许人类通过身体感觉和运动与计算机交互的设备。触觉是指一种人机交互技术，它包含触觉反馈或其
他身体感觉，以在计算设备上执行动作或过程。
52.用户感测系统可以包括一个或多个传感器162，传感器162可操作以检测与穿戴头戴式系统160的用户108相关的某些特征、特性、或信息。例如，在一些实施例中，传感器162可以包括能够检测用户108的实时光学特性/测量的相机或光学检测/扫描电路，这些光学特性/测量例如包括以下一项或多项：瞳孔收缩/扩张、每个瞳孔的角度测量/定位、球度、眼睛形状(随着时间的推移眼睛形状发生变化)和其他解剖数据。该数据可以提供或用于计算信息(例如，用户的视觉焦点)，头戴式系统160可以使用这些信息来增强用户的观看体验。
53.环境感测系统可以包括一个或多个传感器164，用于从用户的物理环境105获得数据。由传感器164检测到的对象或信息可以作为输入提供给头戴式系统160。在一些实施例中，该输入可以表示用户与虚拟世界的交互。例如，查看桌子(例如，桌子188)上的虚拟键盘的用户(例如，用户108)可以用他们的手指做手势，就好像用户正在虚拟键盘上打字一样。手指移动的运动可以被传感器164捕获并作为输入提供给头戴式系统160，其中，该输入可用于改变虚拟世界或创建新的虚拟对象。传感器164例如可以包括通常面向外部的相机或扫描仪，用于例如通过连续和/或间歇投射的红外结构光来解释场景信息。环境感测系统可用于通过检测和注册本地环境(包括静态对象、动态对象、人、手势、和各种照明、大气和声学条件)来对用户108周围的用户物理环境105的一个或多个元素绘图。因此，在一些实施例中，环境感测系统可以包括嵌入在本地计算系统(例如，处理器170)中的基于图像的3d重建软件，该软件可操作以通过数字的方式重建由传感器164检测到的一个或多个对象或信息。
54.在一个实施例中，环境感测系统提供以下一项或多项：运动捕获数据(包括手势识别)、深度感测、人脸识别、对象识别、独特对象特征识别、语音/音频识别和处理，声源定位、降噪、红外或类似的激光投影、以及单色和/或彩色cmos传感器(或其他类似传感器)、视场传感器、和各种其他光学增强传感器。应当理解，环境感测系统可以包括除了上面讨论的那些部件之外的其他部件。
55.在一些实施例中，处理器170可以与头戴式系统160的其他部件集成，与环境100的系统的其他部件集成，或者可以是隔离设备(可穿戴的或与用户108分开的设备)，如图1所示。处理器170可以通过物理有线连接或通过无线连接被连接到头戴式系统160的各种部件，无线连接例如包括移动网络连接(包括蜂窝电话和数据网络)、wi-fi、蓝牙、或任何其他无线连接协议。处理器170可以包括能够将数据从源(例如头戴式系统160的计算网络125、用户感测系统和环境感测系统)转换为图像和音频数据的存储器模块、集成和/或附加的图形处理单元、无线和/或有线互联网连接、以及编解码器和/或固件，其中图像/视频和音频可以经由用户接口(未示出)呈现给用户108。
56.处理器170处理头戴式系统160的各种部件的数据处理，以及头戴式系统160和通过计算网络125显示或访问的内容之间的数据交换。例如，处理器170可用于缓冲和处理用户108和计算网络125之间的数据流，从而实现平滑、连续、和高保真的用户体验。
57.系统架构概述：
58.图4是适于实现本公开的实施例的说明性计算系统1400的框图。计算系统1400包括总线1406或用于传递信息的其他通信机制，其将诸如以下子系统和设备互连在一起：处理器1407、系统存储器1408(例如，ram)、静态存储设备1409(例如，rom)、磁盘驱动器1410(例如，磁或光盘驱动器)、通信接口1414(例如，调制解调器或以太网卡)、显示器1411(例
如，crt或lcd)、输入设备1412(例如，键盘和鼠标)。
59.根据本发明的一个实施例，计算系统1400由处理器1407执行包含在系统存储器1408中的一个或多个指令的一个或多个序列来执行特定操作。这样的指令可以从另一计算机可读/可用介质(诸如静态存储设备1409或磁盘驱动器1410)读入系统存储器1408。在替代实施例中，可以使用硬接线电路代替软件指令或与软件指令结合来实现本公开。因此，本公开的实施例不限于硬件电路和/或软件的任何特定组合。在一个实施例中，术语“逻辑”应表示用于实现本公开的全部或部分的软件或硬件的任何组合。
60.如本文所用，术语“计算机可读介质”或“计算机可用介质”是指参与向处理器1407提供指令以供执行的任何介质。这种介质可以采取多种形式，其中包括但不限于非易失性介质和易失性介质。非易失性介质例如包括光盘或磁盘，诸如磁盘驱动器1410。易失性介质包括动态存储器，诸如系统存储器1408。
61.计算机可读介质的常见形式例如包括软盘、可折叠磁盘、硬盘、磁带、任何其他磁介质、cd-rom、任何其他光介质、打孔卡、纸带、具有孔图案的任何其他物理介质、ram、prom、eprom、flash-eprom、任何其他存储芯片或盒式磁带、或计算机可以读取的任何其他介质。
62.在本公开的一个实施例中，由单个计算系统1400实施指令序列的执行以实践本公开。根据本公开的其他实施例，通过通信链路1415(例如lan、ptsn、或无线网络)耦合的两个或更多个计算系统1400可以相互协调地执行实践本公开所需的指令序列。
63.计算系统1400可以通过通信链路1415和通信接口1414发送和接收消息、数据和指令，其中包括程序(即，应用代码)。所接收的程序代码可以由处理器1407在接收时执行，和/或存储在磁盘驱动器1410或其他非易失性存储器中以供以后执行。计算系统1400可以通过数据接口1433与外部存储设备1431上的数据库1432通信。
64.本文描述了本发明的各种示例性实施例。以非限制性的方式参考这些示例。提供它们以说明本发明的更广泛适用的方面。在不脱离本发明的真实精神和范围的情况下，可以对所描述的本发明进行各种改变并且可以替换成等同物。此外，可以进行许多修改以使特定情况、材料、物质组成、过程、一个或多个过程行为、或一个或多个过程步骤适应本发明的目的、精神、或范围。此外，如本领域技术人员将理解的，本文描述和图示的各个变体中的每一个具有分立的部件和特征，其可以容易地与其他几个实施例中的任一个的特征分离或组合而不脱离本发明的范围或精神。所有这些修改都旨在落入与本发明相关的权利要求的范围内。
65.本发明包括可以使用主题设备执行的方法。该方法可以包括提供这种合适的设备的动作。这种提供可以由终端用户执行。换言之，“提供”动作仅需要终端用户获得、访问、接近、定位、设置、激活、供电或以其他方式动作以提供主题方法中的必要设备。可以以逻辑上可能的所列举事件的任何顺序以及以所列举的事件顺序来执行本文所述的方法。
66.本发明的示例性方面以及关于材料选择和制造的细节已经在上文中阐述。至于本发明的其他细节，这些可以结合上面引用的专利和出版物以及本领域技术人员通常已知或理解的来理解。就通常或逻辑上采用的附加动作而言，关于本发明的基于方法的方面，这同样适用。
67.此外，虽然已经参考可选地结合各种特征的若干示例描述了本发明，但是本发明不限于关于本发明的每个变体所预期的描述或指示的内容。在不脱离本发明的真实精神和
范围的情况下，可以对所描述的公开进行各种改变并且可以替换成等同物(无论是在本文中引用还是为了某种简洁而未包括在内)。此外，在提供值范围的情况下，应当理解，在该范围的上限和下限之间的每个中间值，以及该所述范围内的任何其他所述的值或中间值都包含在本发明内。
68.此外，可以构想，所描述的发明变体的任何可选特征可以独立地，或者与本文描述的任何一个或多个特征组合地提出和要求保护。对单数项的引用包括存在多个相同项的可能性。更具体地，如本文和与其相关的权利要求中所使用的，单数形式“一”、“一个”、“所述”和“该”包括复数所指对象，除非另有具体说明。换言之，冠词的使用允许与本公开相关联的上述描述以及权利要求中的主题项目的“至少一个”。还应注意，可以起草此类权利要求以排除任何可选元素。因此，本声明旨在作为结合权利要求要素的叙述使用诸如“仅”、“只有”等之类的排他性术语的使用，或“否定”限制的使用的先行基础。
69.在不使用这些排他性术语的情况下，与本公开相关联的权利要求中的术语“包括”应允许包含任何附加要素，无论这些权利要求中是否列举了给定数量的要素，或者特征的添加可被视为正在改变在此类权利要求中阐述的要素的性质。除非在本文中有明确定义，否则本文中使用的所有技术和科学术语都应尽可能具有普遍理解的含义，同时保持权利要求的有效性。
70.本发明的广度不限于所提供的示例和/或主题说明书，而是仅受与本发明相关联的权利要求语言的范围的限制。