知识域的可视化的制作方法

1.本公开整体涉及电子设备，并且具体地涉及用于使用计算机生成的内容来修改物理环境的视图以提供知识域的可视化的系统、方法和设备。


背景技术：

2.各种电子设备可以向用户提供扩展现实体验，该扩展现实体验将所渲染的三维(3d)图形(例如，虚拟对象)集成到由相机捕获的物理环境的实况视频流中。在一些情况下，可能期望基于物理环境中的对象的物理特性来提供计算机生成的视觉效果，以提供知识域的可视化。例如，可能期望教育体验在扩展现实环境中提供基于现象的思维体验以更好地吸引学生。基于现象的思维体验可以提供不同的视角来改善理解，为学习者提供广泛的接触，并且为学习者提供相互传授和共同总结共享体验的机会，以便在实现知识的掌握和内化的同时发展社交能力。


技术实现要素：

3.本文所公开的各种具体实施包括在扩展现实(xr)环境中提供沉浸式体验(例如，学习体验)的设备、系统和方法。例如，该体验可以例如为不同的知识/科学域提供不同的呈现模式，这些呈现模式提供不同的可视化层以示出不同的科学概念。xr环境的每个可视化层具有基于场景理解来提供的虚拟内容，例如，哪些对象是木材、哪些对象是金属等。例如，在电场域中，可以提供可视化来示出如果可以看见(例如，使得不可见变为可见)，则wi-fi信号看起来的效果。例如，可以从wi-fi源提供虚拟电磁波，并且可以基于对象(例如，木材、金属、玻璃等)的物理特性来改变电磁波的视觉效果。在另一示例中，化学知识域可以在对象在环境中进行交互时示出对象的特性。在一些具体实施中，物理环境的特性可以被确定并且用于提供体验。例如，可以估计吸收、周围环境等的辐射特性，并且将其用于提供基于这些特性示出科学概念的体验。可以在xr环境中提供沉浸式学习体验以提供现象驱动的学习体验，该现象驱动的学习体验使用增强的表示能力来可视化不可能的学习场景(例如，使“不可见变为可见”)，这可以使得能够学习和改善对概念上难以理解的概念的理解。
4.一般来讲，本说明书中描述的主题的一个创新方面可以在具有处理器的电子设备处以包括以下动作的方法来体现：获得对应于包括一个或多个物理对象的物理环境的传感器数据、基于传感器数据来确定一个或多个物理对象的物理特性、确定与知识域相关联的呈现模式，以及提供扩展现实(xr)环境，该xr环境包括物理环境的视图和基于所确定的呈现模式而选择的可视化，该可视化包括与知识域相关联的虚拟内容，该虚拟内容基于由呈现模式指定的显示特性而提供，该显示特性取决于一个或多个对象的物理特性。
5.这些实施方案和其他实施方案均可任选地包括以下特征中的一个或多个特征。
6.在一些方面，基于传感器数据来确定一个或多个物理对象的物理特性包括使用计算机视觉来确定对物理环境的场景理解。
7.在一些方面，知识域对应于科学域。
8.在一些方面，确定与知识域相关联的呈现模式包括接收选择教育体验的输入。在一些方面，确定与知识域相关联的呈现模式包括基于准则来自动选择呈现模式。
9.在一些方面，可视化包括覆盖在物理环境的视图上的可视化层。
10.在一些方面，一个或多个物理对象包括第一对象和第二对象，该第一对象包括第一物理特性，并且该第二对象包括不同于第一物理特性的第二物理特性。
11.在一些方面，虚拟内容包括：第一虚拟内容部分，该第一虚拟内容部分基于由呈现模式基于具有第一物理特性的第一对象指定的第一显示特性来提供与第一对象的第一交互；以及第二虚拟内容部分，该第二虚拟内容部分基于由呈现模式基于具有第二物理特性的第二对象指定的第二显示特性来提供与第二对象的第二交互，其中第一交互和第二交互是不同类型的交互。
12.在一些方面，方法还包括检测与一个或多个物理对象中的物理对象的交互，以及基于该交互来提供物理对象的呈现模式和物理特性。
13.在一些方面，知识域是多个知识域中的第一知识域，并且呈现模式与多个知识域相关联。
14.在一些方面，多个知识域包括与第一知识域不同的第二知识域，该方法还包括基于第二知识域来修改可视化。
15.在一些方面，物理特性包括材料组成、对象类型和对象分类中的至少一者。
16.在一些方面，传感器数据包括在图像捕获过程中获得的深度数据和光强度图像数据。
17.在一些方面，电子设备是头戴式设备(hmd)。
18.根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，这些指令在由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一种。根据一些具体实施，一种设备包括：一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一种的装置。
附图说明
19.因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。
20.图1是根据一些具体实施的在物理环境内使用的设备的示例。
21.图2a和图2b示出了根据一些具体实施的由图1的设备提供的示例性视图，这些视图包括扩展现实(xr)环境中的物理环境内的知识域的特征。
22.图3示出了根据一些具体实施的由图1的设备提供的示例性视图，该视图包括xr环境中的物理环境内的知识域的特征。
23.图4是根据一些具体实施的提供xr环境的示例性方法的流程图表示，该xr环境包括物理环境的视图和基于所确定的与知识域相关联的呈现模式而选择的可视化。
24.图5是根据一些具体实施的提供xr环境的示例性环境的系统流程图，该xr环境包
括物理环境的视图和基于所确定的与知识域相关联的呈现模式而选择的可视化。
25.图6示出了根据一些具体实施的示例性设备。
26.根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。
具体实施方式
27.本文提供了许多具体细节，以使得本领域的技术人员能够透彻理解所要求保护的主题。然而，可以在没有这些细节的情况下实践所要求保护的主题。在其他实例中，没有详细地介绍普通技术人员已知的方法、装置或系统，以便不使所要求保护的主题晦涩难懂。
28.图1示出了根据一些具体实施的示例性操作环境100。在该示例中，示例性操作环境100涉及示例性物理环境105，该示例性物理环境包括物理对象，诸如桌子120、设备122、光源124(例如，灯泡)、光源126(例如，天窗)、对象-1 130、对象-2 132和对象-3 134。此外，物理环境105包括持有设备110的用户102。在一些具体实施中，设备110被配置为向用户102呈现扩展现实(xr)环境。
29.在一些具体实施中，设备110是手持式电子设备(例如，智能电话或平板电脑)。在一些具体实施中，设备110是近眼设备，诸如头戴式设备。设备110利用一个或多个显示元件来呈现视图。例如，设备110可以在扩展现实(xr)环境的上下文中显示包括物理环境的视图和覆盖在物理环境的视图上的可视化层。在一些具体实施中，设备110可以包围用户102的视场。在一些具体实施中，设备110的功能由多于一个设备提供。在一些具体实施中，设备110与单独的控制器或服务器通信以管理和协调用户的体验。这样的控制器或服务器可以位于物理环境105中或者可以相对于该物理环境是远程的。
30.物理环境(例如，物理环境105)是指人们可以在没有电子设备的帮助下感知和/或与之进行交互的物理世界。物理环境可包括物理特征，诸如物理表面或物理对象。例如，物理环境对应于包括物理树木、物理建筑物和物理人的物理公园。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。相反，扩展现实(xr)环境是指人们经由电子设备感测和/或交互的完全或部分模拟的环境。例如，xr环境可包括增强现实(ar)内容、混合现实(mr)内容、虚拟现实(vr)内容等。在xr系统的情况下，跟踪人的物理运动的一个子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在xr系统中模拟的一个或多个虚拟对象的一个或多个特征。例如，xr系统可以检测头部移动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。又如，xr系统可以检测呈现xr环境的电子设备(例如，移动电话、平板电脑、膝上型电脑等)的移动，并且作为响应，以类似于此类视图和声音在物理环境中将如何改变的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，xr系统可响应于物理运动的表示(例如，声音命令)来调节xr环境中图形内容的特征。
31.有许多不同类型的电子系统使人能够感测和/或与各种xr环境交互。示例包括头戴式系统、基于投影的系统、平视显示器(hud)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为设计用于放置在人的眼睛上的透镜的显示器(例如，类似于隐形眼
镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或不具有触觉反馈的可穿戴或手持式控制器)、智能电话、平板电脑、以及台式/膝上型计算机。头戴式系统可具有集成不透明显示器和一个或多个扬声器。另选地，头戴式系统可被配置为接受外部不透明显示器(例如，智能电话)。头戴式系统可结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、oled、led、uled、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一些具体实施中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置为将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。
32.图2a和图2b示出了由设备110的显示元件提供的示例性视图。这些视图呈现了包括物理环境(例如，图1的环境105)的各方面的xr环境。另外，图2a和图2b示出了基于与知识域相关联的特征的呈现模式的各方面，该知识域被呈现为覆盖在物理环境的各方面上的可视化层。图2a中描绘的第一视图205a提供来自第一呈现模式(例如，科学效果显示模式)的物理环境105的视图。图2b中描绘的第二视图205b提供了针对不同于第一呈现模式的第二呈现模式(例如，知识显示模式)的物理环境105的视图。第一视图205a和第二视图205b各自包括桌子120的表示220、设备122的表示222、光源124的表示224、对象-1 130的表示230、对象-2 132的表示232和对象-3 134的表示234。
33.图2a包括对应于与特定的科学域(例如，电磁波)相关联的知识域的第一呈现模式的特征的内容。视图205a中描绘的第一呈现模式显示从设备122(例如，wi-fi源)的表示222散布的电磁波。例如，第一呈现模式可包括教育体验，该体验在沉浸式学习体验中为用户示出了如果可以看见(例如，使“不可见变为可见”)，则wi-fi信号看起来的效果。可以从wi-fi源(例如，设备122的表示222)提供虚拟电磁波/信号225，并且可以基于对象(例如，木材、金属、玻璃等)的物理特性来改变电磁波的视觉效果。例如，对象-1 130(表示230)被确定为由金属制成，使得来自源(例如，设备122)的电磁波被示出为在区域240处偏离表示230。另外，对象-2 132(表示232)被确定为由玻璃(或另一种类似的材料)制成，使得来自源(例如，设备122)的电磁波被示出为在区域242处穿过表示232。此外，对象-3 134(表示234)被确定为由木材(或塑料或具有类似于木材的物理特性(即，密度)的另一种类似的材料)制成，使得来自源(例如，设备122)的电磁波被示出为在区域244处被表示234阻挡或吸收(例如，不通过)。
34.例如，在教育会话期间，用户可以利用呈现模式来探索物理环境内的对象的不同科学域。图2b包括对应于与教育显示模式(例如，教育显示窗口/面板，也称为知识卡片)相关联的知识域的第二呈现模式的特征的内容。如视图205b所示，呈现模式向用户(例如，用户102)显示分别与视图205b中的表示230、232、234相关联的教育显示面板250、252、254。教育显示面板250、252、254可基于用户与特定对象(例如，对象-1 130的表示230、对象-2 132的表示232等)的交互来显示。例如，用户在表示230上进行交互(例如，点击或轻击)，并且可以显示教育显示面板250。另外地或另选地，教育显示面板可以针对由与本文所呈现的过程相关联的教育系统确定的每个感兴趣的对象来显示。例如，教师(或内容创建者)可以基于
当前学习课程来选择教育显示面板应该显示哪些对象。教育显示面板250、252、254可包括用户关于该特定对象的教育信息(例如，材料类型、密度、质量、体积、尺寸测量等)。
35.在一些具体实施中，正在开发的教育显示面板250、252、254包括可由用户或系统在观看环境内的任何3d位置中选择和移动的多个部分(例如，窗口、窗格、其他虚拟对象)。例如，用户可能已经将教育显示面板250定位在桌子表示220上方(例如，在3d位置处)。类似地，设备110可以使用户能够控制或指定关于教育显示面板250、252、254的定位的偏好。例如，作为示例，用户(或教师、内容创建者等)可以指定教育显示面板250、252、254是否将一直固定在3d位置、固定在3d位置直到条件得到满足，或者在固定设备位置处提供。
36.在一些具体实施中，设备110可以使用户能够检查教育显示面板250、252、254的3d描绘。例如，通过相对于物理环境105固定教育显示面板的3d位置，并且使用户能够四处移动并且从不同的观看位置观看教育显示面板的3d描绘的不同侧面，设备110可以使得能够从不同的视点检查教育显示面板的3d描绘。检查教育显示面板的能力可以促进、简化和提高教育过程的效率。另外，教育显示面板可以具有基于时间的特征并且/或者包括交互式特征(例如，视频内容、用户界面内容、交互式3d对象、媒体内容等)，并且视图可以促进与此类特征进行交互。
37.在一些具体实施中，教育显示面板250、252、254被锚定到设备110的显示器上的像素位置，并且因此不被锚定到相对于3d环境的相同的3d坐标位置。因此，当设备110移动通过一系列不同的视点时(例如，当用户在佩戴hmd时移动他或她的头部时)，教育显示面板将不会保持锚定在桌面表示230上方。相反，教育显示面板可以被锚定到设备110的显示器上的相同的像素位置，并且因此当用户移动或重新定向该设备时看起来随用户移动。
38.图3示出了由设备110的显示元件提供的示例性视图305。具体地，视图305呈现xr环境，该xr环境包括物理环境(例如，图1的环境105)的各方面和基于与作为覆盖在物理环境的各方面上的可视化层(例如，虚拟内容)呈现的知识域相关联的特征的呈现模式(例如，科学效果显示模式)的各方面。视图305包括桌子120的表示320、光源124的表示324、光源126的表示326。另外，视图305包括用户的手部(例如，图1的用户102)的表示328。例如，如果经由透传视频或实况视频的光学视图看到视图305，则用户可以看到他或她的物理手部。另选地，如果视图305是cgr环境，则表示328可以是虚拟手部，该虚拟手部表示用户用他或她的手部与该位置进行交互所在的3d位置。
39.图3包括对应于针对与特定的科学域(例如，光学和光折射)相关联的知识域的呈现模式的特征的内容。视图305中描绘的呈现模式显示从表示324散布的光线340(例如，光源，诸如房间中的中央照明设备或灯泡)，以及从表示326散布的光线350(例如，光源，诸如通过天花板天窗照射进来的阳光)。例如，与视图305相关联的呈现模式可包括教育体验，该教育体验在沉浸式学习体验中为用户示出了如果可以看见(例如，使“不可见变为可见”)，则光线看起来的效果。可以从光源(例如，光源124的表示324)提供虚拟光线340，并且可以通过用户将他或她的手部(例如，表示328)移动到光线340中来实现光线的视觉效果。例如，光线340被用户手部的表示328吸收，如区域342处所示。另外，可以呈现以图形方式示出光线340的波长的教育显示面板344。
40.图3，如视图305所示，还包括与光学和光折射相关的科学域的另一个示例。例如，光线350从表示326(例如，光源，诸如通过天花板天窗照射进来的阳光)散布。视图305中描
绘的呈现模式进一步示出了基于光线350的教育显示面板352。具体地，教育显示面板352示出了斯涅尔定律，该定律是在涉及光或其他波穿过两种不同的各向同性介质诸如水、玻璃或空气之间的边界时(例如，太阳光线穿过表示326(天窗))，用于描述入射角θ和折射之间的关系的公式。
41.图4是根据一些具体实施的提供xr环境的示例性方法400的流程图表示，该xr环境包括物理环境的视图和基于所确定的与知识域相关联的呈现模式而选择的可视化。在一些具体实施中，方法400由设备(例如，图1的设备110)执行，诸如移动设备、台式计算机、膝上型电脑或服务器设备。在一些具体实施中，设备具有用于显示图像的屏幕和/或用于观看立体图像的屏幕，诸如头戴式显示器(hmd)。在一些具体实施中，方法400由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些实施方式中，方法400由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。方法400的知识域呈现过程通过参考图2至图3的示例来示出，并且作为参考图5的系统流程图来示出。
42.在框402处，方法400获得对应于包括一个或多个物理对象的物理环境的传感器数据。例如，捕获用户当前房间的一个或多个图像、深度数据等。在一些具体实施中，传感器数据包括在图像捕获过程中获得的深度数据和光强度图像数据。
43.在框404处，方法400基于传感器数据来确定一个或多个物理对象的物理特性。一个或多个物理对象的物理特性可包括材料组成、对象类型、对象分类等。物理特性可包括材料组成、对象类型和/或对象分类(例如，玻璃、木材、金属等)。
44.另外地或另选地，在一些具体实施中，基于传感器数据来确定一个或多个物理对象的物理特性可包括基于计算机视觉的场景理解。例如，对象检测过程可用于确定对象的类型和物理特性。在一些具体实施中，方法400涉及基于图像数据(例如，由设备110的传感器捕获的光强度图像数据和深度数据)来检测对象及其物理特性的机器学习模型。在一些具体实施中，机器学习模型是神经网络(例如，人工神经网络)、决策树、支持向量机、贝叶斯网络等。
45.在框406处，方法400确定与知识域相关联的呈现模式(例如，域)。在一些具体实施中，知识域对应于教育体验中的科学域。例如，确定呈现模式可涉及从用户接收输入以进入科学域。另外地或另选地，确定呈现模式可涉及呈现模式/教育体验的自动选择。
46.在框408处，方法400提供包括物理环境的视图和基于所确定的呈现模式而选择的可视化的xr环境。可视化包括与知识域相关联的虚拟内容。在一些具体实施中，可视化包括覆盖在物理环境(例如，如图2b所示的虚拟电磁波/信号225，如图2b所示的教育显示面板250、252、254等)的视图上的可视化层。在一些具体实施中，可以基于由呈现模式指定的显示特性(例如，虚拟内容将如何与物理对象进行交互)来提供虚拟内容，该呈现模式取决于一个或多个对象的物理特性。例如，用户可以输入特定的科学域，其中特性特定于该域。例如，在电场域中，可视化的电场与由金属制成的对象进行交互，但不与由木材制成的对象进行交互。在另一实例中，在特性检查域中，用户放大木材对象，并且由于该对象由木材制成，因此放大了木材的视图。例如，如图2b所示，教育显示面板254包括关于与对象-3 134相关联的表示234的木材特性的注释，以供用户学习。
47.在一些具体实施中，确定与知识域相关联的呈现模式包括接收选择教育体验的输入(例如，用户输入)。例如，用户选择显示科学域的呈现模式，例如，示出wifi信号。另外地
或另选地，确定与知识域相关联的呈现模式包括基于准则来自动选择呈现模式。例如，检测到的与特定对象，诸如光源、电磁源、对象上的放大等的交互。
48.在一些具体实施中，科学域的呈现模式基于提供虚拟内容与具有不同特性的不同物理对象的不同类型的交互，例如，虚拟电磁场对由金属制成的对象的反应不同于对由木材制成的对象的反应(例如，如图2a所示的电场域)。在示例性具体实施中，一个或多个物理对象包括第一对象和第二对象，该第一对象包括第一物理特性，并且第二对象包括不同于第一物理特性的第二物理特性。在一些具体实施中，虚拟内容包括：第一虚拟内容部分，该第一虚拟内容部分基于由呈现模式基于具有第一物理特性的第一对象指定的第一显示特性(例如，电波将通过)来提供与第一对象的第一交互；以及第二虚拟内容部分，该第二虚拟内容部分基于由呈现模式基于具有第二物理特性的第二对象指定的第二显示特性(例如，电波将作出反应)来提供与第二对象的第二交互，其中第一交互和第二交互是不同类型的交互。例如，如图2a所示，可视化的电场与由金属制成的对象进行交互，但不与由木材制成的对象进行交互。
49.在一些具体实施中，方法400还包括检测与一个或多个物理对象中的物理对象的交互(例如，对特定对象的放大)，以及基于该交互来提供物理对象的呈现模式和物理特性。例如，用户(例如，用户102)放大木材对象(例如，对象-3 134的表示234)，并且由于该对象由木材制成，因此提供木材的放大视图(例如，具有关于木材特性的注释)以供用户学习，如图2b所示的教育显示面板254。
50.在一些具体实施中，可以提供学习生态系统，其中可以向用户呈现该学习生态系统，并且该学习生态系统具有跳转到不同的科学域以查看对象在不同域中如何进行交互的能力。在示例性具体实施中，知识域是多个知识域中的第一知识域，并且呈现模式与多个知识域相关联。在一些具体实施中，多个知识域包括与第一知识域不同的第二知识域，并且方法400还可以包括基于第二知识域来修改可视化。例如，如图2a所示，用户最初可以关注由具有电场域的金属制成的对象的电磁特性，但是然后希望看到该相同对象的光学和光折射特性。例如，用户能够与对象的表示(例如，金属对象，诸如对象-1 130的表示230)进行交互，并且被提供若干不同的科学域以从中进行选择(例如，电场域、光学域、化学域等)。因此，在沉浸式体验中渲染的可视化层具有对应于所选择的科学域的交互特性。当用户在不同的科学域之间切换时，可视化层的交互特性可以根据新的科学域相应地改变。
51.图5是根据一些具体实施的提供包括物理环境的视图和基于所确定的与知识域相关联的呈现模式而选择的可视化的xr环境的示例性环境500的系统流程图。在一些具体实施中，示例性环境500的系统流程是在设备(例如，图1的设备110)诸如移动设备、台式计算机、膝上型电脑或服务器设备上执行的。示例性环境500的图像可显示在具有用于显示图像的屏幕和/或用于查看立体图像的屏幕的设备诸如hmd上。在一些具体实施中，示例性环境500的系统流程在处理逻辑部件(包括硬件、固件、软件或它们的组合)上执行。在一些具体实施中，示例性环境500的系统流程在执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器上执行。
52.示例性环境500的系统流程从物理环境(例如，图1的物理环境105)的传感器采集环境数据502(例如，图像数据)，确定物理环境内的对象的物理特性数据，获得用户交互数据(例如，用户与xr环境进行交互)或呈现模式选择数据，并且生成xr显示数据以供用户查
看基于所确定的与知识域相关联的呈现模式而选择的可视化。例如，与本文所述的知识域技术相关联的呈现模式可以允许用户佩戴hmd，例如查看和学习物理环境的科学域特性及其中的对象(例如，使“不可见变为可见”)。
53.在示例性具体实施中，环境500包括从设备(例如，图1的设备110)上的传感器采集或获得物理环境的数据(例如，来自图像源的图像数据)的图像合成流水线。示例性环境500是采集多个图像帧的图像传感器数据(例如，光强度数据、深度数据和位置信息)的示例。例如，图像503表示物理环境(例如，图1的物理环境105)中的房间的所采集的图像数据。图像源可包括采集物理环境的深度数据的深度相机、采集光强度图像数据(例如，rgb图像帧序列)的光强度相机(例如，rgb相机)，以及用于采集定位信息的位置传感器。对于定位信息，一些具体实施包括视觉惯性测距(vio)系统，以通过使用相机序列图像(例如，光强度数据)确定等效测距信息来估计行进的距离。另选地，本公开的一些具体实施可包括slam系统(例如，位置传感器)。该slam系统可包括独立于gps并且提供实时同时定位与映射的多维(例如，3d)激光扫描和范围测量系统。该slam系统可生成并管理由来自环境中对象的激光扫描的反射而产生的非常准确的点云数据。随着时间推移，准确地跟踪点云中的任何点的移动，使得slam系统可使用点云中的点作为位置的参考点，在其行进通过环境时保持对其位置和取向的精确理解。该slam系统还可以是依赖于光强度图像数据来估计相机和/或设备的位置和取向的可视slam系统。
54.在示例性具体实施中，环境500包括对象检测和分析指令集510，该对象检测和分析指令集被配置有指令，这些指令可由处理器执行以生成物理环境内的一个或多个检测到的对象的物理特性数据511。例如，对象检测和分析指令集510获得环境数据502(例如，物理环境的图像数据，诸如图1的物理环境105)，执行对象检测和分析过程，并且生成一个或多个检测到的对象的物理特性数据511。例如，如图像512所示，对象检测和分析过程确定对象-1 130的表示513(例如，金属的物理特性)、对象-2 132的表示514(例如，玻璃的物理特性)、对象-3 134的表示515(例如，木材的物理特性)、光源124的表示516(例如，相关联的光线的特性)，以及设备122的表示517(例如，相关联的光线的特性)的物理特性数据511。
55.在示例性具体实施中，环境500还包括呈现模式指令集520，该呈现模式指令集被配置有指令，这些指令可由处理器执行以从对象检测和分析指令集510采集物理特性数据511并且从与xr环境526的用户交互获得用户交互数据522并且确定呈现数据528(例如，选择呈现模式)。例如，呈现模式指令集520可以基于用户交互信息在应用程序的执行期间获得用户的用户交互数据522。用户交互信息可包括场景理解或快照，诸如环境中对象的位置，以及与xr环境526的用户交互(例如，用户交互的触觉反馈，诸如手部姿势信息、点击鼠标等)。另外，场景理解可包括获得或确定物理环境中每个检测到的对象的物理特性，诸如对象类型、材料或其他属性(例如，密度、颜色、硬度、气味、冻结、融化和沸点)。被确定为场景理解的一部分的每个检测到的对象的位置和物理特性可用于提供体验。例如，如图2a所示，场景理解可包括每个检测到的对象的物理特性(例如，对象-1 130由金属制成、桌子120由木材制成等)。
56.在一些具体实施中，场景理解可以由内容创建者用来基于物理环境中当前对用户可见的对象的物理特性来实现特定的呈现模式。例如，如果用户在化学实验室环境中，则场景理解可包括热源(例如，本生灯)的标识和关于已知对热起反应的热源设置的特定化学试
剂。化学试剂可以通过容纳化学试剂的容器上的标签或条形码来识别，或者可以通过化学试剂的颜色来识别。如果向特定化学试剂施加热量，则化学呈现模式可能能够表明化学反应。因此，可以向用户示出放热反应，当施加热量(例如，虚拟热量)时，该放热反应通过在化学试剂的紧邻的环境中显示光线和热射线来使反应可视化。
57.如示例性xr环境526中所示，用户的手部525被示出为选择表示513，该选择表示可发起与知识域相关联的呈现模式的相关可视化。例如，可以请求与表示513相关联的教育显示面板(例如，金属盒)。另外地或另选地，如果特定呈现模式对于知识域是已知的(例如，电磁波)，则用户与表示513的交互可以发起虚拟电磁波/信号225如在区域240处偏离表示230，如图2a所示。
58.在一些具体实施中，可以将呈现模式选择数据524提供给呈现模式指令集520。例如，教师(或内容创建者)可能已经针对特定的学习经验(例如，电磁特性、光波特性、化学特性)确定了特定知识域的呈现模式，以及/或者基于当前学习课程来选择应该显示教育显示面板的哪些对象。
59.在一些具体实施中，环境500包括xr显示指令集530，该xr显示指令集被配置有指令，这些指令可由处理器执行，以评估环境数据502、来自对象检测和分析指令集510的物理特性数据511，以及来自呈现模式指令集520的呈现数据528，并且基于用户交互数据522和/或呈现模式选择数据524来呈现xr环境内的视图集和/或虚拟内容。在一些具体实施中，该视图集被显示在设备(例如，图1的设备110)的设备显示器560上。例如，xr显示指令集530分析环境数据502、物理特性数据511和呈现数据528以生成xr环境534。xr环境534包括物理环境的3d表示(视频透传、光学透视或重构的虚拟房间)，并且将与知识域相关联的可视化应用的视图集成为3d表示的顶部上的覆盖图。例如，教育显示面板536在用户选择的表示513之后显示(如xr环境526中所示)。
60.图6是示例性设备600的框图。设备600示出了图1的设备110的示例性设备配置。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，设备600包括一个或多个处理单元602(例如，微处理器、asic、fpga、gpu、cpu、处理核心等)、一个或多个输入/输出(i/o)设备和传感器606、一个或多个通信接口608(例如，usb、firewire、thunderbolt、ieee 802.3x、ieee 802.11x、ieee 802.16x、gsm、cdma、tdma、gps、ir、bluetooth、zigbee、spi、i2c和/或相似类型的接口)、一个或多个编程(例如，i/o)接口610、一个或多个显示器612、一个或多个面向内部和/或面向外部的图像传感器系统614、存储器620以及用于互连这些部件和各种其他部件的一条或多条通信总线604。
61.在一些具体实施中，一条或多条通信总线604包括互连和控制系统部件之间的通信的电路。在一些具体实施中，该一个或多个i/o设备及传感器606包括以下各项中的至少一者：惯性测量单元(imu)、加速度计、磁力计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血氧传感器、血糖传感器等)、一个或多个麦克风、一个或多个扬声器、触觉引擎或者一个或多个深度传感器(例如，结构光、飞行时间等)，等等。
62.在一些具体实施中，一个或多个显示器612被配置为向用户呈现物理环境或图形环境的视图。在一些具体实施中，一个或多个显示器612对应于全息、数字光处理(dlp)、液
晶显示器(lcd)、硅上液晶(lcos)、有机发光场效应晶体管(olet)、有机发光二极管(oled)、表面传导电子发射器显示器(sed)、场发射显示器(fed)、量子点发光二极管(qd-led)、微机电系统(mems)和/或类似显示器类型。在一些具体实施中，一个或多个显示器612对应于衍射、反射、偏振、全息等波导显示器。在一个示例中，设备600包括单个显示器。又如，设备600包括针对用户的每只眼睛的显示器。
63.在一些具体实施中，该一个或多个图像传感器系统614被配置为获得对应于物理环境105的至少一部分的图像数据。例如，该一个或多个图像传感器系统614包括一个或多个rgb相机(例如，具有互补金属氧化物半导体(cmos)图像传感器或电荷耦合器件(ccd)图像传感器)、单色相机、ir相机、深度相机、基于事件的相机等。在各种具体实施中，一个或多个图像传感器系统614还包括发射光的照明源，诸如闪光灯。在各种具体实施中，该一个或多个图像传感器系统614还包括相机上图像信号处理器(isp)，该isp被配置为对图像数据执行多个处理操作。
64.在一些具体实施中，设备110包括用于检测眼睛位置和眼睛移动(例如，眼睛注视检测)的眼睛跟踪系统。例如，眼睛跟踪系统可包括一个或多个红外(ir)发光二极管(led)、眼睛跟踪相机(例如，近红外(nir)相机)和向用户的眼睛发射光(例如，nir光)的照明源(例如，nir光源)。此外，设备10的照明源可发射nir光以照明用户的眼睛，并且nir相机可捕获用户的眼睛的图像。在一些具体实施中，可分析由眼睛跟踪系统捕获的图像以检测用户的眼睛的位置和移动，或检测关于眼睛的其他信息诸如瞳孔扩张或瞳孔直径。此外，从眼睛跟踪图像估计的注视点可使得能够与设备110的近眼显示器上示出的内容进行基于注视的交互。
65.存储器620包括高速随机存取存储器，诸如dram、sram、ddr ram或其他随机存取固态存储器设备。在一些具体实施中，存储器620包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器620任选地包括与一个或多个处理单元602远程定位的一个或多个存储设备。存储器620包括非暂态计算机可读存储介质。
66.在一些具体实施中，存储器620或存储器620的非暂态计算机可读存储介质存储任选的操作系统330和一个或多个指令集640。操作系统630包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，指令集640包括由以电荷形式存储的二进制信息定义的可执行软件。在一些具体实施中，指令集640是能够由一个或多个处理单元602执行以实施本文所述技术中的一种或多种的软件。
67.指令集640包括物理特性指令集642、呈现模式指令集644和扩展现实显示指令集646。指令集640可以体现为单个软件可执行文件或多个软件可执行文件。
68.物理特性指令集642(例如，图5的对象检测和分析指令集510)可由处理单元602执行以生成物理特性数据511。例如，物理特性指令集642获得环境数据502(例如，物理环境诸如图1的物理环境105的图像数据)，执行对象检测和分析过程，并且生成一个或多个检测到的对象的物理特性数据511。如图像512所示，对象检测和分析过程确定对象-1 130的表示513(例如，金属的物理特性)、对象-2 132的表示514(例如，玻璃的物理特性)、对象-3 134的表示515(例如，木材的物理特性)、光源124的表示516(例如，相关联的光线的特性)，以及设备122的表示517(例如，相关联的光线的特性)的物理特性数据511。
69.呈现模式指令集644(例如，图5的呈现模式指令集520)被配置有指令，这些指令可由处理器执行以从对象检测和分析指令集510采集物理特性数据511，并且从与xr环境526的用户交互采集用户交互数据522并且确定呈现数据528(例如，选择呈现模式)。例如，呈现模式指令集520可以基于用户交互信息在应用程序的执行期间获得用户的用户交互数据522。用户交互信息可包括场景理解(例如，获得或确定物理环境中每个检测到的对象的物理特性，诸如对象类型、材料或其他属性)或快照，诸如环境中对象的位置，以及与xr环境526的用户交互(例如，用户交互的触觉反馈，诸如手部姿势信息、点击鼠标等)。
70.扩展现实显示指令集646(例如，图5的扩展现实显示指令集530)被配置有指令，这些指令可由处理器执行，以评估环境数据(例如，图像数据)、环境数据中的对象的物理特性模式，以及呈现数据(例如，所确定的呈现模式)，并且基于用户交互数据和/或呈现模式选择数据来呈现xr环境内的视图集和/或虚拟内容。在一些具体实施中，该视图集被显示在设备(例如，图1的设备110)的设备显示器560上。例如，xr显示指令集530分析环境数据502、物理特性数据511和呈现数据528以生成xr环境534。xr环境534包括物理环境的3d表示(视频透传、光学透视或重构的虚拟房间)，并且将与知识域相关联的可视化应用的视图集成为3d表示的顶部上的覆盖图。例如，教育显示面板536在用户选择的表示513之后显示(如xr环境526中所示)。
71.尽管指令集640被示出为驻留在单个设备上，但应当理解，在其他具体实施中，元件的任何组合可位于单独的计算设备中。此外，图6更多地用作存在于特定具体实施中的各种特征部的功能描述，该各种特征部与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。指令集的实际数量以及如何在其中分配特征将根据具体实施而变化，并且可以部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。
72.本领域的那些普通技术人员将意识到没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。此外，其他有效方面和/或变体不包括本文所述的所有具体细节。因此，描述了若干细节以便提供对附图中所示的示例性方面的透彻理解。此外，附图仅示出了本公开的一些示例性实施方案，因此不应被视为限制。
73.虽然本说明书包含许多具体实施细节，但是这些具体实施细节不应被理解为是对任何发明或可能要求保护的内容的范围的限制，而应被理解为对特定于特定发明的特定实施方案的特征的描述。本说明书中在不同实施方案的上下文中描述的某些特征也可以在单个实施方案中组合地实现。相反地，在单个实施方案的上下文中描述的各种特征也可单独地或者以任何合适的子组合的形式在多个实施方案中实现。此外，虽然某些特征可能在上面被描述为以某些组合来起作用并且甚至最初也这样地来要求保护，但是要求保护的组合的一个或多个特征在某些情况下可从该组合中去除，并且要求保护的组合可涉及子组合或子组合的变型。
74.类似地，虽然操作在附图中以特定次序示出，但不应将此理解为要求以相继次序或所示的特定次序来执行此类操作，或者要求执行所有所示的操作以实现期望的结果。在某些情况中，多任务和并行处理可能是有利的。此外，上述实施方案中各个系统部件的划分不应被理解为在所有实施方式中都要求此类划分，并且应当理解，所述程序部件和系统可
一般性地一起整合在单个软件产品中或者封装到多个软件产品中。
75.因此，已经描述了主题的特定实施方案。其他实施方案也在以下权利要求书的范围内。在某些情况下，权利要求书中所述的动作能够以不同的次序执行，并且仍能实现期望的结果。此外，附图中所示的过程未必要求所示的特定次序或者先后次序来实现期望的结果。在某些具体实施中，多任务和并行处理可能是有利的。
76.本说明书中描述的主题和操作的实施方案可在数字电子电路中或在计算机软件、固件或硬件中(包括本说明书中公开的结构及其结构等同物)或在它们中的一者或多者的组合中实现。本说明书中所述主题的实施方案可被实现为一个或多个计算机程序，即在计算机存储介质上编码的计算机程序指令的一个或多个模块，以用于由数据处理装置执行或控制数据处理装置的操作。另选地或除此之外，该程序指令可在人工生成的传播信号上被编码，例如机器生成的电信号、光信号或电磁信号，该电信号、光信号或电磁信号被生成以对信息进行编码以便传输到合适的接收器装置以供数据处理装置执行。计算机存储介质可以是计算机可读存储设备、计算机可读存储基板、随机或串行访问存储器阵列或设备，或者它们中的一者或多者的组合，或者包括在计算机可读存储设备、计算机可读存储基板、随机或串行访问存储器阵列或设备中。此外，虽然计算机存储介质并非传播信号，但计算机存储介质可以是在人工生成的传播信号中编码的计算机程序指令的源或目的地。计算机存储介质也可以是一个或多个单独的物理部件或介质(例如，多个cd、磁盘或其他存储设备)，或者包括在一个或多个单独的物理部件或介质中。
77.术语“数据处理装置”涵盖用于处理数据的所有种类的装置、设备和机器，例如包括可编程处理器、计算机、片上系统、或前述各项中的多项或组合。该装置可包括专用逻辑电路(例如，fpga(现场可编程门阵列)或asic(专用集成电路))。除了硬件之外，该装置还可包括为所考虑的计算机程序创建执行环境的代码，例如构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行环境、虚拟机或它们中的一者或多者的组合的代码。该装置和执行环境可实现各种不同的计算模型基础结构，诸如web服务、分布式计算和网格计算基础结构。除非另外特别说明，否则应当理解，在整个说明书中，利用诸如“处理”、“计算”、“计算出”、“确定”和“识别”等术语的论述是指计算设备的动作或过程，诸如一个或多个计算机或类似的电子计算设备，其操纵或转换表示为计算平台的存储器、寄存器或其他信息存储设备、传输设备或显示设备内的物理电子量或磁量的数据。
78.本文论述的一个或多个系统不限于任何特定的硬件架构或配置。计算设备可以包括部件的提供以一个或多个输入为条件的结果的任何合适的布置。合适的计算设备包括基于多用途微处理器的计算机系统，其访问存储的软件，该软件将计算系统从通用计算装置编程或配置为实现本发明主题的一种或多种具体实施的专用计算装置。可以使用任何合适的编程、脚本或其他类型的语言或语言的组合来在用于编程或配置计算设备的软件中实现本文包含的教导内容。
79.本文所公开的方法的具体实施可以在这样的计算设备的操作中执行。上述示例中呈现的框的顺序可以变化，例如，可以将框重新排序、组合和/或分成子块。某些框或过程可以并行执行。本说明书中描述的操作可以被实施为由数据处理装置对存储在一个或多个计算机可读存储设备上或从其他源接收的数据执行的操作。
80.本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言，其不排除适用
于或被配置为执行额外任务或步骤的设备。另外，“基于”的使用意味着开放和包容性，因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。本文包括的标题、列表和编号仅是为了便于解释而并非旨在为限制性的。
81.还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。
82.本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件，和/或其分组。
83.如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。