混合2D/3D内容的检测和显示的制作方法

混合2d/3d内容的检测和显示
1.本技术是申请日为2019年08月07日、题为“混合2d/3d内容的检测和显示”的发明专利申请201910723722.2的分案申请。
2.相关申请的交叉引用
3.本技术要求2018年8月7日提交的美国临时申请序列62/715,331的权益，该申请全文以引用方式并入本文。
技术领域
4.本公开一般涉及显示二维(2d)和三维(3d)内容，尤其涉及用于共享和显示2d和3d内容的系统、方法和设备。


背景技术：

5.电子设备在查看电子内容和与电子内容交互方面具有不同的能力。例如，许多台式计算机和膝上型电脑利用单个的平板显示器，该显示器通常非常适合于在设备搁置在桌子和其他平坦表面上的固定位置时观察2d内容。常规网页包括在此类设备上容易查看的2d内容。然而，此类设备对于查看3d内容具有局限性。相比之下，移动设备、头戴式设备(hmd)和其他此类设备通常具有使其更适于查看3d内容的属性和特征。例如，可在移动电话上查看3d内容(例如，虚拟对象)，并且移动电话的取向/位置可用于改变3d内容的视图。当用户四处走动并倾斜手机时，他或她可从不同的相对位置和角度查看3d内容。又如，一些设备，诸如hmd，包括提供用于立体渲染3d内容的能力的多个屏幕。这可允许用户在查看3d内容时更好地感知深度。现有技术和系统不能充分促进2d和3d内容的分发、查看和共享，以使得能够有效且直观地使用这些电子设备的不同能力。


技术实现要素：

6.本文所公开的各种具体实施包括使得第一设备能够显示由内容项(例如，网页)引用的2d内容以及与第一设备处于通信的第二设备能够显示由内容项引用的3d内容的设备、系统和方法。在一个示例中，第一设备显示网页的2d内容。第一设备或第二设备检测网页引用与该2d内容相关联的3d内容。第二设备能够显示由网页引用的3d内容并且链接到第一设备或以其他方式与第一设备通信。第一设备或第二设备确定第二设备应当显示3d内容。确定在第二设备上显示3d内容可基于检测到设备彼此通信、检测到设备彼此靠近、检测到第一设备在第二设备捕获的图像内、检测用户输入，或者检测到其他相关情况或信息。在确定第二设备应当显示3d内容之后，第二设备从第一设备或从另一网页源接收由网页引用的3d内容并显示3d内容。在一个示例中，第一设备先前下载了3d内容作为网页内容的一部分，并自动将3d内容发送到第二设备用于显示。在另一个示例中，第二设备从第一设备或从承载网页或其3d内容的web服务器请求3d内容。
7.在接收到3d内容之后，在各种具体实施中，第二设备显示3d内容。显示3d内容可以利用一个或多个特征来显示第一设备上不可用的3d内容。例如，第二设备可以使用立体渲
染或者在计算机生成的现实(cgr)环境中从用户/基于设备位置的视点(例如，随着设备移动和倾斜而改变)显示3d内容。第二设备可以使用这些查看模式中的一者或多者来显示3d内容，或者以第一设备上不可用的方式显示3d内容。在一些具体实施中，第二设备使用相机捕获图像并使用3d内容和所捕获的图像
8.在一些具体实施中，第二设备的用户能够简单且容易地接收、查看和使用3d内容，而无需将3d内容移动到第二设备上的特定存储位置、识别出可在第二设备上体验3d内容、识别出用于体验3d内容的应用程序、启动此类应用程序，或者将所接收的3d内容导入或添加到由此类应用程序提供的cgr环境中。用户使用两个或更多设备体验网站的2d和3d内容的体验是高效和直观的。
9.本文公开的设备、系统和方法使得能够显示与在第一设备上查看的2d网页内容对应的3d内容。设备、系统和方法改善了用户使用、共享与3d内容组合的2d内容并与之交互的能力。例如，正在使用第一设备的第一用户可查看包括与从在线零售商销售的沙发对应的2d内容的网页。网页可包括3d内容指示符，诸如标记语言语句，其指示作为网页的一部分的3d内容(例如，对应于2d内容中的沙发的2d图像)的可用性。2d内容可包括指示该3d内容可用的图形指示符。然后，第一用户或第二用户可以使用第二设备来查看3d内容。在沙发示例中，第二设备用于访问对应于沙发的3d内容，例如，访问包括沙发的3d模型的数据对象或文件，或者识别包括沙发的3d模型的文件或包括沙发的3d模型的文件的数据存储地址。在一个示例中，第一设备向第二设备发送包括3d内容或提供对3d内容的访问的通信。
10.基于从第一设备接收到通信，第二设备使得能够查看或使用3d内容。在一个示例中，第二设备接收对应于用户选择的输入以在cgr环境中查看3d内容。响应于检测到该输入，第二设备将3d内容显示为cgr环境的一部分。可通过使用相机捕获图像(例如，视频)并使用3d内容和所捕获的图像构建cgr环境来提供此类cgr环境。在一些具体实施中，第二设备覆盖所捕获的图像上的3d内容。
11.在一些具体实施中，在具有一个或多个处理器和计算机可读存储介质的第一设备(诸如台式计算机、膝上型计算机、平板电脑等)上执行方法。该方法涉及由第一设备获得也引用3d内容的网页引用的2d内容。该方法还涉及能够呈现3d内容的第二设备(诸如平板电脑、hmd、移动电话等)(例如，能够使用立体渲染或在cgr环境中从用户/基于设备位置的视点提供视图)。第二设备接收并呈现网页引用的3d内容。该方法可以包括检测网页引用由第一设备无法显示的3d内容，或者检测将触发第一设备与第二设备之间的自动通信或者导致在第二设备上自动显示3d内容的任何其他情况。
12.如在以上示例和本文其他地方所示的一些具体实施因此使得能够查看由第一设备上的网页引用的2d内容和由第二设备上的网页引用的3d内容。这些具体实施提供了改善的用户查看体验。例如，具有两个设备(例如，膝上型电脑和hmd)的单个用户可浏览网页，并且当网页引用感兴趣的3d内容时，戴上hmd并且自动地或经由直观的用户体验访问和查看该3d内容。在另一个示例中，多个用户能够以类似方便的共享体验来体验网页引用的2d和3d内容。例如，一个用户可以在笔记本电脑上查看显示汽车的网页，而另一个用户使用hmd来体验与汽车相关的网站的3d内容。
13.根据一些具体实施，一种非暂态计算机可读存储介质中存储有计算机可执行以执行或致使执行本文所述的任何方法的指令。根据一些具体实施，一种设备包括一个或多个
处理器、非暂态存储器以及一个或多个程序；这一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且这一个或多个程序包括用于执行或导致执行本文所述方法中的任一种的指令。
附图说明
14.因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。
15.图1示出了根据一些具体实施的示例性系统，其中第一设备显示由也引用3d内容的网页引用的2d内容，第二设备显示3d内容。
16.图2示出了根据一些具体实施的图1的系统，其中第二设备是hmd。
17.图3示出了根据一些具体实施的示例性系统，其中第一设备显示包括3d内容的2d内容，第二设备显示3d内容。
18.图4为示出根据一些具体实施的共享3d内容所涉及的通信流的流程图。
19.图5为示出了根据一些具体实施的示例性第一设备的设备部件的框图。
20.图6为示出了根据一些具体实施的示例性第二设备的设备部件的框图。
21.图7为用于使第一设备能够获得由网页引用的2d内容和与第一设备通信的第二设备能够显示由网页引用的3d内容的方法的流程图表示。
22.图8为根据一些具体实施的用于在第二设备上显示具有从第一设备接收的3d内容的cgr环境的方法的流程图表示。
23.图9为根据一些具体实施的用于在引用由网页引用的3d内容的第一设备处提供3d环境的视图的方法的流程图表示，其中基于检测到第二设备显示由网页引用的2d内容来获得3d内容。
24.图10为根据一些具体实施的用于使第一设备能够基于与3d环境的当前状态相关联的信息来更新2d内容或3d内容的方法的流程图表示。
25.根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。
具体实施方式
26.描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将会知道，其他有效方面或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。
27.参见图1，其示出了用于实施本发明的方面的示例性操作环境5。一般来讲，操作环境5表示两个设备，第一设备10和第二设备15，该第二设备15涉及体验引用2d和3d内容的内容项(例如，网页)。虽然本文示例利用网页作为示例性内容项，但是本文公开的技术适用于引用可由应用程序一个或多个设备查看的2d和3d内容的任何内容项。
28.在该示例中，第一设备10和第二设备15经由链路20链接，例如，有线或无线链路，
包括但不限于，有线通信，诸如使用通用串行总线(usb)电缆/接口、usb-c电缆/接口、thunderbolt v1、v2或v3电缆/接口、ieee 1394电缆/接口(例如，firewire、i.link、lynx)、ieee 802.3x电缆/接口(例如，以太网)等的那些，以及无线通信，诸如使用ieee803.11传输(例如，wifi)、ieee802.11传输(例如，wlan)、ieee802.16x传输(例如，wimax)、短波长传输(例如，蓝牙)、ieee802.15.4传输(例如，zigbee)、gsm传输、ecma-340和iso/iec18092(例如，近场通信(nfc))等的那些。链路20可是直接的，即，在第一设备10和第二设备15之间没有中间设备或网络节点。例如，链路20可涉及经由插入每个设备的单个电缆或经由第一设备10和第二设备15之间的蓝牙通信将第一设备10直接连接到第二设备15。链路20可是间接的，即，具有一个或多个中间设备或网络节点。例如，链路20可通过经由因特网发送的通信将第一设备10连接到第二设备15。此外，设备(例如，第一设备10和第二设备15)之间的交互可是双向的，例如，一个设备可向另一设备发送通信以执行关于网页的动作。
29.在图1的示例中，第一设备10获得网页内容25(例如，在web浏览器上)，包括2d内容30(例如，沙发的图像)和与2d内容30相关联的3d内容50的指示符35。例如，3d内容50可包括沙发的3d模型。在cgr环境中在第二设备15上观察3d内容50。例如，第二设备20可以使用相机来捕获附近的环境，例如包括端桌和墙壁图片的现实世界场景45，并且利用沙发的3d模型显示捕获的场景。
30.设备、系统和方法使用户能够看到相关联的3d内容50可用的指示符35，并将3d内容50(例如，表示沙发的3d内容)发送到第二设备15。然后，第二设备15的用户(例如，与第一设备10的用户相同或不同的用户)可以在第二设备15的显示器40上体验3d内容50。在该示例中，3d内容50作为cgr环境的一部分被显示。
31.cgr环境是指人们经由电子系统感测和/或交互的完全或部分模拟的环境。在cgr中，跟踪人的物理运动的一个子组或其表示，并且作为响应，以符合至少一个物理定律的方式调节在cgr环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，cgr系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对cgr环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。
32.人可以利用其感官中的任一者来感测cgr对象和/或与cgr对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，所述音频对象创建3d或空间音频环境，所述3d或空间音频环境提供3d空间中点音频源的感知。在另一个示例中，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些cgr环境中，人可以感测和/或只与音频对象交互。
33.cgr的示例包括虚拟现实和混合现实。虚拟现实(vr)环境是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。vr环境包括人可以感测和/或与之交互的虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟、和/或通过在计算机生成的环境内人的物理运动的一个子组的模拟来感测和/或与vr环境中的虚拟对象交互。
34.与被设计成完全基于计算机生成的感官输入的vr环境相比，混合现实(mr)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的
感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。
35.在一些cgr环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现cgr环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致运动使得虚拟树木相对于物理地面看起来是静止的。
36.混合现实的示例包括增强现实和增强虚拟。增强现实(ar)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，用于呈现ar环境的电子系统可具有透明或半透明显示器，人可以透过他直接查看物理环境。该系统可以被配置为在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地，系统可以具有不透明显示器和一个或多个成像传感器，成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现ar环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。
37.增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得修改后的部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除或模糊其部分而进行转换。
38.增强虚拟(av)环境是指其中虚拟或计算机生成的环境结合来自物理环境的一个或多个感官输入的模拟环境。感官输入可以是物理环境的一个或多个特征的表示。例如，av公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的位置的阴影。
39.有许多不同类型的电子系统使人能够感测和/或与各种cgr环境交互。示例包括头戴式系统、基于投影的系统、平视显示器(hud)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置为接受外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过所述媒介被引导到人的眼睛。显示器可以利用数字光投影、oled、led、uled、硅基液晶、激光扫
描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或他们的任意组合。在一个实施方案中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置为将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。
40.在图1的示例中，cgr环境组合现实世界(例如，经由现实世界场景45的本地捕获图像)和3d内容50(例如，限定沙发的3d外观的文件或模型)。
41.在该示例中，第二设备15已经接收到与3d内容50(例如，图1的沙发)对应的数据对象。由第一设备10获得的网页内容25可以包括表示或对应于3d内容50的指示符35(例如，缩略图、图标、链接或按钮)。在图标或缩略图的情况下，例如，图标或缩略图可以包括来自单个或标准视点的3d对象的内容的2d图像。缩略图、图标、链接和按钮为可指示其他3d内容可用的图形特征的示例。除此之外或另选地，可用3d内容的图形指示符可被配置为接收与用户选择对应的输入(例如，点击、触摸等)，以在第二设备15的显示器40上查看3d内容50。例如，第一设备10可以通过接收到指示符35(例如，对应于3d内容50的缩略图)上的鼠标点击来接收输入选择以在第二设备15的显示器40上显示3d内容50(例如，沙发)。
42.第二设备15控制第二设备15上的一个或多个相机以捕获现实世界场景45的图像，并使用3d内容50和捕获的图像在第二设备15的显示器40上显示cgr内容。在一些具体实施中，第二设备15包括软件、固件或硬件的适当组合以提供cgr环境。在其他具体实施中，第二设备15与一个或多个其他设备(本地或远程)交互以在第二设备15的显示器40上提供cgr环境，例如，第二设备15可以与单独的控制器设备(未示出)通信，该控制器设备执行提供cgr环境所需的一些或全部处理和存储。根据一些具体实施，第二设备15基于现实世界场景45显示cgr环境，而第二设备15物理地存在于现实世界场景45内。在一些具体实施中，第二设备15(例如，眼镜、平视显示器等)被配置为使用现实世界场景45的光学透视在第二设备15的显示器40上提供cgr环境。在一些具体实施中，第二设备15被配置为使用现实世界场景45的视频传递在第二设备15的显示器40上提供cgr环境。在一些具体实施中，第二设备15不需要具有显示屏幕并且可将虚拟元素投影到用户的视网膜中。
43.在一些具体实施中，如图1所示，第二设备15是被配置为在第二设备15的显示器40上显示cgr环境的手持电子设备(例如，智能手机或平板电脑)。在一些具体实施中，第二设备15是被配置为呈现cgr环境的室、壳体或房间，其中用户不佩戴或保持第二设备15。在一些具体实施中，可以检测到第二设备15能够通过检测第二设备15的类型来显示3d内容50，即，通过识别第二设备15的类型是能够显示3d内容50的设备类型。此外，通过检测存储在能够显示3d内容50的第二设备15上的应用程序，可以检测到第二设备15能够显示3d内容50。
44.在图1的示例中，第二设备15被配置为使用基于第二设备15上的相机或其他传感器检测到的图像或其他现实世界信息。在一些具体实施中，为了在第二设备15的显示器40上提供cgr环境，第二设备15使用由相机捕获的一个或多个相机图像的至少一部分。在图1的示例中，第二设备15的显示器40包括由第二设备15的相机捕获的物品(例如，地板、墙壁、墙壁图片、两个端桌和两个花瓶)的描绘。第二设备15的显示器40还描绘了与在第一设备10上显示的2d内容30对应的3d内容50(例如，沙发)。
45.在一些具体实施中，第二设备15使用户55能够改变视点或以其他方式修改或与3d内容50交互。例如，视点可随着用户移动第二设备15而改变。在一些具体实施中，第二设备
15可以被配置为接收用户输入，该用户输入相对于在第二设备15的显示器40上描绘的现实世界场景45的现实世界物品描绘重新定位接收到的3d内容50(例如，相对于墙壁图片或端桌重新定位沙发)。
46.在一些具体实施中，第一设备10接收或存储将被提供给第二设备15的与沙发对应的3d内容50。在一些具体实施中，然后，第一设备10将3d内容50提供给第二设备15，使得第二设备15可显示3d内容50。在其他具体实施中，第一设备10不接收或存储3d内容50，并且第二设备15从诸如从其提供网页的web服务器的另一源检索3d内容50。
47.在一些具体实施中，多个设备能够以相同或不同的查看模式识别3d内容。在一个示例中，第一设备10提供不包括3d内容50的2d查看模式，第二设备15提供与现实世界内容组合的3d内容50的mr查看模式，并且第三设备[未示出]提供3d内容50的vr查看模式。在另一个示例中，第一设备10和第二设备15都能够提供3d内容50的mr视图。在一个示例中，第二设备15显示3d内容50的视图，其包括取决于相应设备周围或以其他方式观察到的现实世界内容的不同现实世界内容。第一设备10和第二设备15中的一者或两者可以被配置为使用所接收的数据或图像或使用其自己的相机或其他传感器检测到的其他现实世界信息。在一些具体实施中，为了提供mr查看模式，第二设备15使用由第一设备10上的相机捕获的一个或多个相机图像的至少一部分。在该示例中，第二设备15使用围绕第一设备10的现实世界的现实世界信息提供视图。
[0048]
在一些具体实施中，如图2所示，第二设备15是配置为佩戴在用户55的头部上的hmd。此类hmd可以包围用户55的视场。如图2的示例所示，hmd可包括被配置为在用户55的视场中显示3d内容的一个或多个屏幕或其他显示器。如图2所示，在一些具体实施中，佩戴第二设备15的方式是屏幕被定位成在用户55的视场中显示3d内容。此外，hmd可包括容纳各种部件的外壳(或壳体)。外壳可包括(或耦接到)设置在外壳的近端(到用户55)端的眼垫。在一些具体实施中，眼垫是塑料或橡胶件，其舒适且贴合地将hmd保持在用户55的面部上的适当位置(例如，围绕用户55的眼睛)。外壳可容纳显示器，该显示器显示图像，朝向用户55的一只或两只眼睛发射光。
[0049]
图3示出了根据一些具体实施的示例系统，其中第一设备10显示来自也引用3d内容的网页的2d内容，第二设备15显示3d内容。如图3所示，用户55可以佩戴第二设备15，例如hmd，因为他或她使用第一设备10来浏览因特网，例如同时使用两个设备10、15。例如，用户55可以在使用第一设备10查看网页内容25的同时佩戴第二设备15，包括2d内容30(例如，花盆)和与2d内容30相关联的3d内容50的指示符35。指示符35可以是在第一设备10上显示的2d内容30的可见部分，因此作为由第二设备15捕获和显示的图像的一部分可以看到。另选地，指示符35可以仅显示在第二设备15上，而不包括在第一设备10上的2d内容30中。在一个示例中，基于第二设备15在由第二设备15捕获的图像内检测到第一设备10，在第二设备15上显示指示符35。
[0050]
在一些具体实施中，第二设备15被配置为检测在其捕获的图像内描绘的其他设备、确定这些设备是否与其通信(例如，链接)、与该其他设备建立通信(例如，链接)、识别是否有任何其他设备正在显示与3d内容相关联的2d内容、检索该3d内容并显示该3d内容。
[0051]
可使用各种技术用于第二设备15检测图像或视图中第一设备10的存在。例如，第二设备15可以检测到第一设备10处于第二设备15的当前图像/视图中。此类检测可涉及基
于在第二设备15处的现实世界环境的图像或视图中的像素中呈现的形状、颜色或其他属性来检测第一设备10的描绘。例如，对象检测技术可涉及使用神经网络或其他基于机器学习的技术来检测在第二设备15周围的现实世界环境的捕获的图像中的第一设备10。此类基于机器学习的技术可以使用设备的样本图像进行训练(例如，使用标记有笔记本电脑、台式计算机和移动设备的形状和其他空间特征的图像进行训练)。在另一个示例中，第二设备15使用该环境的图像确定现实世界环境的3d模型，并且在3d模型中检测第一设备10的3d形状。
[0052]
在第二设备15处的图像/视图中的第一设备10的检测可涉及在第一设备10的显示器上显示的内容。例如，第一设备10可以在其显示器上显示网页的2d内容，并且第二设备15可以捕获包括第一设备10的现实世界环境的图像，并且可以识别在第一设备10的显示器上显示的网页的2d内容。在一个示例中，第一设备10的显示包括基于文本或基于图形的标记或代码(其可以是或可以不是网页的2d内容的一部分)，第二设备15使用该标记或代码来检测第一设备10在现实世界环境的图像/视图中的存在或空间关系。
[0053]
在一些具体实施中，第二设备15例如基于现实世界环境的图像/视图来检测第一设备10和第二设备15之间的空间关系。在一些具体实施中，第二设备15在与现实世界环境相关联的3d坐标系中确定第一设备10的位置、取向、大小或其他属性。第二设备15知道其自身在该3d坐标系统中的姿势(例如，位置和方向)，并且因此可以确定第一设备10和第二设备10之间的空间关系。在一些具体实施中，第一设备10和第二设备20均包括传感器，其允许每个设备跟踪其自身的位置和方向随时间的变化。因此，一旦确定了设备之间的初始空间关系(例如，基于图像数据)，可基于附加的基于图像的确定、设备跟踪其自身的位置/取向变化，或者此类跟踪技术的组合来确定空间关系的变化。
[0054]
在一些具体实施中，第一设备10和第二设备15之间的空间关系用于在第二设备15处呈现3d内容。在第一设备是膝上型电脑而第二设备是hmd的示例中，膝上型电脑对于hmd的相对位置、取向、大小或其他属性被用于在hmd上呈现3d内容。作为具体示例，hmd上的3d内容的显示可以取决于空间关系(例如，可以仅在膝上型电脑是当前图像/视图或在hmd的特定阈值距离内时显示3d内容等)。
[0055]
在一些具体实施中，第二设备15捕获第二设备15周围的现实世界环境的图像，包括第一设备10及其对网页的3d内容的显示。第二设备15显示这些图像，这些图像具有添加位置、取向、大小以及具有其他属性的网页的附加3d内容以补充在第一设备10的显示器上的2d内容，并且因此在由第二设备15捕获并显示的图像中可见。
[0056]
在一个示例中，基于第一设备10的位置、大小或其他属性，第二设备15确定用于经由第二设备15显示3d内容的位置、大小或其他属性。例如，第二设备15可以确定以不阻挡用户55的视线的方式显示3d内容，使得用户55保持第一设备10的显示器的无障碍视图。第二设备15可以确定在与第一设备10相邻的位置处显示3d内容，使得用户能够容易地理解在第一设备10处显示的2d内容与由第二设备15显示的附近3d内容之间的上下文关系。第二设备15可以确定以3d内容的大小对应于在第一设备10处显示的2d内容的大小的方式显示3d内容，例如，使得2d和3d内容中的文本具有相同的大小。第二设备15可以确定显示将第一设备10处显示的2d内容与经由第二设备15显示的3d内容连接或以其他方式将两者图形上相关联的图形指示符。
[0057]
在另一个示例中，第二设备15检测由第二设备15捕获的一个或多个图像中的第一
设备10的姿势(例如，位置和取向)，并使用该信息来显示3d内容。例如，可以检测第一设备10的显示器(例如，监视器)的平面的取向，并且该平面用于将3d内容定位成与显示的2d内容对准。
[0058]
在一些具体实施中，第二设备15被配置为检测或识别第一设备10相对于第二设备15的位置变化，并确定第一设备10和第二设备15之间的第二空间关系。然后，第二设备15可基于第二空间关系更新3d内容的显示。例如，如果用户55偏移第一设备10相对于第二设备15的位置，则第二设备15可以改变3d内容的显示，使得用户保持第一设备10的显示器的无障碍视图。
[0059]
在一些具体实施中，第二设备15自动检索并显示3d内容50而无需用户输入。例如，第二设备15在检测到用户55佩戴第二设备15并且第二设备15在距第一设备10的阈值距离内时显示3d内容50。在其他具体实施中，第二设备15提供与另一设备上的2d内容相关联的3d内容可用的指示，并接收输入以发起该3d内容的检索和显示。
[0060]
第二设备15可以被配置为确定用于显示3d内容的显示特征。在一些具体实施中，第二设备基于预先确定的或用户指定的显示标准确定相对于其他显示内容(例如，相对于现实世界内容或其他虚拟对象)显示3d内容50的位置。在一个示例中，基于对第一设备10和第二设备15之间的空间关系的认识，3d内容50在用户55的视场内的第二设备(例如，hmd)上显示给用户55。在一些具体实施中，第二设备15通过识别可以显示虚拟内容而不阻挡第一设备10上显示的网页内容25的视图的位置来确定显示3d内容50的位置。例如，如图3所示，3d内容50显示在第一设备10旁边的桌子57上，而不阻挡第一设备10的视图。
[0061]
在一些具体实施中，在第一设备10和第二设备15上维护或以其他方式同步对3d内容50所做的改变，例如在交互式网页的情况下，经由第一设备10的用户界面或第二设备15的用户界面。例如，第一设备10或第二设备15的用户可以改变第一设备10或第二设备15上的沙发的颜色，并且可以检测到该改变并在另一设备上显示。可以在设备10、15之间共享在第一设备10或第二设备15中的任一者上维护的网页的状态，使得设备10、15保持相同的状态和同步，例如，显示网页的相同实例。例如，基于用户交互在第一设备10上突出显示的项也将在第二设备15上突出显示，对3d内容50的改变将导致对2d内容30的对应改变，反之亦然等。
[0062]
图4是示出根据一些具体实施的共享3d内容50中涉及的通信60的流程的流程图。在图4中，web服务器70向第一设备10提供包括2d内容30和3d内容50的网页的传输75。第一设备10经由链路20与第二设备15通信，并且第二设备15接收3d内容50。在一些具体实施中，第一设备10基于与第二设备15相关联的信息识别要提供哪个3d内容50。例如，第二设备15可以是电话、平板电脑或hmd，并且3d内容50可以以适当的形式提供，以基于这种设备上可用的3d内容查看特征此类设备上查看。
[0063]
可以在2d和3d内容中描绘的对象的示例包括但不限于桌子、地板、墙壁、书桌、书、水体、山、野外、车辆、柜台、人脸、人手、人的毛发、另一人体部分、整个人体、动物或其他生物、衣服、纸张、杂志、书、车辆、机器或其他人造物体，以及可以识别和表示的任何其他3d物品或物品组。2d和3d内容可附加地或另选地包括可以对应于或可以不对应于现实世界内容的创建内容，包括但不限于外星人、巫师、宇宙飞船、独角兽和计算机生成的图形以及其他这样的项目。
[0064]
图5是示出了根据一些具体实施的第一设备10的设备部件的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，第一设备10包括一个或多个处理单元102(例如，微处理器、asic、fpga、gpu、cpu、处理核心等)、一个或多个输入/输出(i/o)设备及传感器106、一个或多个通信接口108(例如，usb、firewire、thunderbolt、ieee802.3x、ieee 802.11x、ieee 802.16x、gsm、cdma、tdma、gps、ir、bluetooth、zigbee、spi、i2c和/或类似类型的接口)、一个或多个编程(例如，i/o)接口110、一个或多个显示器112、一个或多个面向内部或面向外部的图像传感器系统114、存储器120以及用于互连这些部件和各种其他部件的一条或多条通信总线104。
[0065]
在一些具体实施中，一条或多条通信总线104包括互连和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个i/o设备和传感器106包括以下中的至少一个：触摸屏、软键、键盘、虚拟键盘、按钮、旋钮、操纵杆、开关、拨号、惯性测量单元(imu)、加速度计、磁力仪、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测器、心率监测器、血氧传感器、血糖传感器等)、一个或多个麦克风、一个或多个扬声器、触觉引擎或者一个或多个深度传感器(例如，结构化光、飞行时间等)等等。在一些具体实施中，由一个或多个i/o设备和传感器106检测到的第一设备10的移动、旋转或位置向第一设备10提供输入。
[0066]
在一些具体实施中，一个或多个显示器112被配置为呈现用户界面。在一些具体实施中，一个或多个显示器112对应于全息、数字光处理(dlp)、液晶显示器(lcd)、硅上液晶(lcos)、有机发光场效应晶体管(olet)、有机发光二极管(oled)、表面传导电子发射器显示器(sed)、场发射显示器(fed)、量子点发光二极管(qd-led)、微机电系统(mems)或者类似显示器类型。在一些具体实施中，一个或多个显示器112对应于衍射、反射、偏振、全息等波导显示器。在一个示例中，第一设备10包括单个显示器。在另一个示例中，第一设备10包括针对每只眼睛的显示器。在一些具体实施中，一个或多个显示器112能够呈现mr或vr内容。
[0067]
在一些具体实施中，一个或多个图像传感器系统114被配置为获得对应于第一设备10的本地场景的至少一部分的图像数据。一个或多个图像传感器系统114可以包括一个或多个rgb相机(例如，具有互补金属氧化物半导体(cmos)图像传感器或电荷耦合器件(ccd)图像传感器)、单色相机、ir相机或者基于事件的相机等。在各种具体实施中，一个或多个图像传感器系统114还包括发射光的照明源，诸如闪光灯。
[0068]
存储器120包括高速随机存取存储器，诸如dram、sram、ddr ram或其他随机存取固态存储器设备。在一些具体实施中，存储器120包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器120任选地包括远离一个或多个处理单元102定位的一个或多个存储设备。存储器120包括非暂态计算机可读存储介质。在一些具体实施中，存储器120或存储器120的非暂态计算机可读存储介质存储以下程序、模块和数据结构，或它们的子集，该子集包括可选的操作系统模块130和web浏览器132。操作系统130包括用于处理各种基础系统服务和用于执行硬件相关的任务的过程。此外，在一些具体实施中，另选地，操作系统130的功能可驻留在浏览器、浏览器插件中，或者与浏览器分开。
[0069]
在一些具体实施中，操作系统130包括用于接收或显示网页内容的web浏览器132。此外，web浏览器132可以使用检查单元134来检查标记语言或其他网页内容，以获得3d内容
可用的标签或其他指示。在一些具体实施中，操作系统130包括指示符单元136，用于向显示的内容添加指示符以指示3d内容的存在。此外，操作系统130可以包括用于与第二设备15通信的接口单元138，包括3d内容的传送或交换其他信息。在一些具体实施中，检查单元134、指示符单元136和接口单元138中的一者或多者可是web浏览器132的一部分或与web浏览器132分开。在一些具体实施中，检查单元134、指示符单元136和接口单元138中的一者或多者被提供作为与操作系统130分开的应用程序的一部分，或者在第一设备10的本地或远程的单独设备上实现。
[0070]
图5更多地用作存在于特定具体实施中的各种特征部的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图5中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。单元的实际数量和特定功能的划分以及如何在其中分配特征部将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定具体实施选择的硬件、软件或固件的特定组合。
[0071]
图6是示出了根据一些具体实施的第二设备15的设备部件的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，第二设备15包括一个或多个处理单元152(例如，微处理器、asic、fpga、gpu、cpu、处理核心等)、一个或多个输入/输出(i/o)设备及传感器156、一个或多个通信接口158(例如，usb、firewire、thunderbolt、ieee802.3x、ieee 802.11x、ieee 802.16x、gsm、cdma、tdma、gps、ir、bluetooth、zigbee、spi、i2c，或类似类型的接口)、一个或多个编程(例如，i/o)接口160、一个或多个显示器162、一个或多个面向内部或面向外部的图像传感器系统164、存储器170以及用于互连这些部件和各种其他部件的一条或多条通信总线154。
[0072]
在一些具体实施中，一条或多条通信总线154包括互连和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个i/o设备和传感器156包括一下中的至少一个：触摸屏、软键、键盘、虚拟键盘、按钮、旋钮、操纵杆、开关、拨号盘、惯性测量单元(imu)、加速度计、磁力仪、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测器、心率监测器、血氧传感器、血糖传感器等)、一个或多个麦克风、一个或多个扬声器、触觉引擎、一个或多个深度传感器(例如，结构化光、飞行时间等)等等。在一些具体实施中，由一个或多个i/o设备和传感器156检测到的第二设备15的移动、旋转或位置向第二设备15提供输入。
[0073]
在一些具体实施中，一个或多个显示器162被配置为呈现正在另一设备上查看或编辑的3d模型的视图。在一些具体实施中，一个或多个显示器162对应于全息、数字光处理(dlp)、液晶显示器(lcd)、硅上液晶(lcos)、有机发光场效应晶体管(olet)、有机发光二极管(oled)、表面传导电子发射器显示器(sed)、场发射显示器(fed)、量子点发光二极管(qd-led)、微机电系统(mems)或者类似显示器类型。在一些具体实施中，一个或多个显示器162对应于衍射、反射、偏振、全息等波导显示器。在一个示例中，第二设备15包括单个显示器。在另一个示例中，第二设备15包括针对每只眼睛的显示器。在一些具体实施中，一个或多个显示器162能够呈现cgr内容。
[0074]
在一些具体实施中，一个或多个图像传感器系统164被配置为获得对应于第二设备15的本地场景的至少一部分的图像数据。一个或多个图像传感器系统164可以包括一个
或多个rgb相机(例如，具有互补金属氧化物半导体(cmos)图像传感器或电荷耦合器件(ccd)图像传感器)、单色相机、ir相机或者基于事件的相机等。在各种具体实施中，一个或多个图像传感器系统164还包括发射光的照明源，诸如闪光灯。
[0075]
存储器170包括高速随机存取存储器，诸如dram、sram、ddr ram或其他随机存取固态存储器设备。在一些具体实施中，存储器170包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器170任选地包括远离一个或多个处理单元152定位的一个或多个存储设备。存储器170包括非暂态计算机可读存储介质。在一些具体实施中，存储器170或存储器170的非暂态计算机可读存储介质存储以下程序、模块和数据结构，或它们的子集，该子集包括可选的操作系统模块180和web浏览器182。操作系统180包括用于处理各种基础系统服务和用于执行硬件相关的任务的过程。此外，在一些具体实施中，操作系统180的功能可以另选地驻留在浏览器、浏览器插件中，或者与浏览器分开。
[0076]
在一些具体实施中，操作系统180包括用于接收或显示网页内容的web浏览器182。此外，检查单元184可由web浏览器182用于检查标记语言或其他网页内容以获得3d内容可用的标签或其他指示。在具体实施中，操作系统130包括接口单元186，用于从第一设备10接收诸如3d内容的信息或交换关于3d内容的接收或显示的信息。此外，操作系统130可以包括cgr内容创建单元188，用于使用来自多个源的数据生成cgr内容或cgr环境的视图，例如来自相机的现实世界数据和从第一设备10接收的3d内容。在一些具体实施中，检查单元184、接口单元186和cgr内容创建单元188中的一者或多者是web浏览器182的一部分或与web浏览器182分开。在一些具体实施中，检查单元184、接口单元186和cgr内容创建单元188中的一者或多者被提供作为与操作系统180分开的应用程序的一部分，或者在第一设备15的本地或远程的单独设备上实现。
[0077]
图6更多地用作存在于特定具体实施中的各种特征部的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图6中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。单元的实际数量和特定功能的划分以及如何在其中分配特征部将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定具体实施选择的硬件、软件或固件的特定组合。
[0078]
图7为用于使第一设备能够呈现由网页引用的2d内容和与第一设备通信的第二设备能够显示由网页引用的3d内容的方法200的流程图表示。在一些具体实施中，方法200由一个或多个设备执行，例如，图1-5的第一设备10。方法200可在移动设备、hmd、台式计算机、膝上型电脑或服务器设备上执行。在一些具体实施中，方法200由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法200由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。
[0079]
在框210处，方法200获取由网页引用的2d内容用于在第一设备的显示器上显示。在一些具体实施中，方法200解释html标签或javascript以显示2d内容，诸如标题、文本、图像等。例如，方法200可以处理html元数据，诸如与图像元素相关联的标签(例如，“《img》”)，以获得嵌入在网页中的2d图像。在具体实施中，2d内容包括对象的2d视图。在其他具体实施中，2d内容包括未格式化用于3d查看的内容。
[0080]
在框220处，方法200检测网页引用与3d内容相关联的2d内容。在一些具体实施中，这涉及检查标记语言，例如，经由混合现实标记语言(mrml)协议或应用程序接口(api)或网页的其他方面来识别标记语言语句或3d内容的任何其他指示符。因此，标记语言文件可以包括与3d内容对应的一个或多个语句或者以其他方式指示与网页相关联的3d内容的可用性的一个或多个语句。标记语言指示符可以与要被显示为由网页引用的2d内容的一部分的图形指示符相关联，例如，以指示3d内容的可用性的缩略图、链接、图标或按钮的形式。
[0081]
在框230处，方法200检测到第二设备与第一设备通信。可基于第一设备和第二设备之间的链路来检测通信。在一些具体实施中，检测第一设备和第二设备之间的链路涉及检测第二设备已经经由usb或其他电缆连接到第一设备。在一些具体实施中，检测第一设备和第二设备之间的链路涉及检测已经在设备之间建立了无线通信信道。在一些具体实施中，第一设备和第二设备之间的无线或有线连接或其他链路由第一设备或第二设备自动检测。在一些具体实施中，这可以附加地或替代地涉及识别所连接的设备是与特定用户、拥有者或账户相关联的特定设备、设备类型或设备。
[0082]
如果连接不存在，则可建立连接。在一些具体实施中，向第一设备的用户呈现标识建立连接的选项的消息。例如，呈现文本、图形或音频消息，询问用户是否想要建立连接。在其他具体实施中，基于第一设备和第二设备与同一帐户或用户简档相关联，自动建立连接。在另一个示例中，基于检测到一个设备上的2d内容与可在另一个设备上显示的3d内容相关联，自动建立连接。在另一个示例中，基于检测到将一个设备的3d内容共享到另一个设备的用户意图，自动建立连接。在另一个示例中，基于设备之间的接近度自动建立连接，例如，检测到或估计设备在彼此的阈值距离内。在一些具体实施中，经由操作系统(os)级服务呼叫建立连接。该连接还可以调用或访问第二设备上的共享内存。守护程序可以将此共享内存映射到其进程空间，使得它成为第一设备无缝链接到第二设备以提供3d内容查看/编辑体验的管道。
[0083]
在框240处，方法200向第二设备提供由网页引用的3d内容。在一些具体实施中，第一设备向第二设备发送通信以在第二设备上自动启动3d查看界面。
[0084]
在框250处，方法200接收与在第二设备处接收的输入对应的通信。例如，第二设备的用户可以例如经由输入、手势、选择等与第二设备交互，并且第二设备处的输入可以随后被传送到第一设备。
[0085]
在框260处，方法200将在第二设备处接收的输入应用于由第一设备的显示器上的网页引用的2d内容。在一些具体实施中，附加地或替代地，可以基于从第二设备接收的输入来刷新、更新、选择或以其他方式修改3d内容。然后，该方法可以在框240处将更新的3d内容提供给第二设备。
[0086]
图8是根据一些具体实施的用于在第二设备上显示具有从第一设备接收的3d内容的cgr环境的方法300的流程图表示。在一些具体实施中，方法300由一个或多个设备(例如，图1-4和图6的第二设备15)执行。方法300可在移动设备、hmd、台式计算机、膝上型电脑或服务器设备上执行。可以在具有用于显示3d图像的屏幕或用于查看立体图像的屏幕的hmd上执行方法300。在一些具体实施中，方法300由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法300由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。
[0087]
在框310处，方法300接收对应于3d内容的2d内容。从诸如来自另一用户用于发送3d内容的设备或来自网页服务器设备的单独设备接收3d内容。在一些具体实施中，基于用户输入接收3d内容。例如，第二设备可以经由可选选项显示3d内容可用的指示，并检测用户对该选项的选择。
[0088]
在框320处，方法300接收与用户选择对应的输入以查看3d内容。在一些具体实施中，方法300在用户界面上呈现表示3d内容的图标、图形或文本，并且接收对应于用户对图标、图形或文本的选择的输入。在一些具体实施中，用户界面显示表示此类所接收的3d内容的图标、图形或文本，并且还显示指示符(文本、图形等)，指示对图标、图形或文本的选择将启动查看器以查看所接收的3d内容。
[0089]
响应于检测到查看3d内容的输入而执行框330和340。在框330处，方法300使用相机来捕获图像。由相机捕获的图像描绘了设备的场景处的可包括在cgr环境中的现实世界内容。
[0090]
在框340处，方法300使用3d内容和捕获的图像构建cgr环境。在一些具体实施中，通过在捕获的图像上叠加3d内容来执行构建cgr环境。在一些具体实施中，通过检测图像中描绘的现实世界内容中的一个或多个平面表面并基于检测到的平面表面将3d内容定位在cgr环境中来执行构建cgr环境。例如，在第一时刻，可以将所接收的3d内容的图像定位在捕获的图像的最近捕获的图像上，在捕获附加的捕获图像之后的第二时刻，所接收的3d内容的图像(相同或不同)可被定位在新捕获的图像上，等等。在一些具体实施中，通过构建与图像中描绘的一些或所有现实世界内容对应的3d模型并将3d内容添加到模型然后从特定视点创建组合内容的图像来执行构建cgr环境。
[0091]
用户可与cgr环境交互并改变cgr环境。在一个示例中，用户改变网页的3d内容的位置或旋转。例如，用户可将沙发的描述移动到场景中的另一位置。在一些具体实施中，该改变涉及视点的改变。例如，这可涉及接收设备的移动或旋转并基于该移动来更新cgr环境的显示。当用户移动他/她的头部、在房间内移动、上下跳跃等时，用户的视点在cgr环境内改变。然而，3d内容相对于cgr环境中描绘的现实世界对象的位置和旋转可保持恒定，例如，沙发保持其相对于地板和场景中描绘的其他现实世界对象的位置。为了保持恒定的相对定位，在图像中识别平面表面或特征并用于保持所接收的3d内容的相对位置。
[0092]
根据一些具体实施，图9是用于在第一设备处提供3d环境的视图的方法400的流程图表示，该视图包括由网页引用的3d内容，其中基于检测到第二设备现实由网页引用的2d内容而获得3d内容。在一些具体实施中，方法400由一个或多个设备(例如，图1-4和图6的第二设备15)执行。方法400可在移动设备、hmd、台式计算机、膝上型电脑或服务器设备上执行。方法400可以在具有用于显示3d图像的屏幕或用于观看立体图像的屏幕的hmd上执行。在一些具体实施中，方法400由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法400由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。
[0093]
在框410处，方法400使用图像传感器获得表示物理环境的图像数据。由图像传感器捕获的图像数据可以包括现实世界内容，包括第二设备。
[0094]
在框420处，方法400检测到第二设备被描绘在图像数据中。方法400还可以检测第二设备显示由网页引用的2d内容，而没有网页引用的3d内容。在一些具体实施中，方法400
检测表示3d内容的图标、图形或文本。在其他具体实施中，方法400检测网页定义html或与3d内容对应的其他标记语言文件中的标记语句。
[0095]
在框430处，方法400基于检测到第二设备的显示包括网页引用的2d内容而没有网页引用的3d内容而获取网页引用的3d内容。在一些具体实施中，从显示2d内容的第二设备获得3d内容。在一些具体实施中，从与第二设备上显示的网页相关联的网址获得3d内容。
[0096]
在方法400的框440处，第一设备提供3d环境的视图，该3d环境包括由网页引用的3d内容以供显示。方法400可以使用3d内容和图像数据来构建3d环境的视图。在一些具体实施中，使用实时或预先记录的图像数据构建3d环境的视图。在一些具体实施中，通过在图像数据上叠加3d内容来执行构建3d环境的视图。在一些具体实施中，通过构建与图像数据中描绘的一些或所有现实世界内容对应的3d模型、将3d内容添加到模型，以及然后从特定视点创建组合内容的图像来执行构建3d环境的视图。
[0097]
在方法400的框450处，第一设备接收来自用户的输入(例如，输入、手势、选择等)。在方法400的框460处，第一设备将接收的输入传送给第二设备，使得第二设备可以将输入应用于在第二设备处显示的网页内容。在一些具体实施中，附加地或替代地，可以基于输入来刷新、更新、选择或以其他方式修改3d内容。第一设备可以接收对来自第二设备的输入的响应，例如，接收或应用输入的通知，并且如框430所示，第一设备可以迭代地从第二设备获得由网页引用的3d内容。
[0098]
图10是用于使第一设备能够基于与3d环境的当前状态相关联的信息来更新2d内容或3d内容的方法500的流程图表示。在一些具体实施中，方法500由三个或更多个设备(例如，图1-5的第一设备10和第二设备15以及第三设备)执行。方法500可在移动设备、hmd、台式计算机、膝上型电脑或服务器设备上执行。在一些具体实施中，方法500由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法500由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。
[0099]
在框510处，方法500将网页引用的3d内容提供给第二设备和第三设备。在一些具体实施中，第一设备向第二设备或第三设备发送通信以自动启动3d查看界面。在一些具体实施中，第三设备不包括查看界面，例如，支持web的相机。
[0100]
在框520处，方法500向第三设备授予修改权限。在一些具体实施中，第三设备可以以只读模式启动3d查看界面，即，可以仅允许第三设备查看3d内容或者使用文本消息或表情符号对3d内容进行评论，但是不允许第三设备修改3d内容或3d环境的状态。经由相应的用户界面，第一设备或第二设备可以随后向第三设备授予修改权限。因此，在框520处，方法500授予第三设备修改权限。
[0101]
在框530处，方法500从第三设备获得与3d环境的当前状态相关联的信息。在一些具体实施中，与3d环境相关联的信息包括由第三设备的车载相机捕获的图像，其描绘了第三设备的场景处的可以包括在cgr环境中或以其他方式用于创建cgr环境的现实世界内容。
[0102]
在框540处，方法500基于与3d环境的当前状态相关联的信息(例如，现实世界环境的图像或模型)来更新由网页引用的2d内容或3d内容。在一些具体实施中，基于从第三设备接收的信息，刷新、更新、选择或以其他方式修改2d或3d内容。在一些具体实施中，第一设备提供网页内容的视图，该视图包括、合并或使用与3d环境的当前状态相关联的信息。在一个示例中，第一设备是没有车载摄像机的笔记本电脑，并且连接的第三设备是带有车载摄像
头的手机。移动电话为笔记本电脑提供3d环境的图像，笔记本电脑使用该图像来提供包含网页内容的3d环境的视图。在另一个示例中，第一设备是台式计算机，并且第三设备是支持web的相机。相机为台式计算机提供3d环境的图像。台式计算机包括在其正在显示的网页所引用的2d内容的背景中从相机接收的图像。
[0103]
在框550处，方法500向第二设备或第三设备共享由网页引用的更新内容。例如，在第一设备处从第三设备接收的3d环境信息可用于更新网页内容，该网页内容随后被分发以在第二设备上查看。在一个示例中，第一设备是笔记本电脑，第二设备是手机，并且第三设备是hmd。在该示例中，hmd捕获其周围的3d环境的图像并将这些图像共享以包含在第一设备、第二设备或两者上的网页体验中。
[0104]
本文阐述了许多具体细节以提供对要求保护的主题的全面理解。然而，本领域的技术人员将理解，可以在没有这些具体细节的情况下实践要求保护的主题。在其他实例中，没有详细地介绍普通技术人员已知的方法、设备或系统，以便不使要求保护的主题晦涩难懂。
[0105]
除非另外特别说明，否则应当理解，在整个说明书中，利用诸如“处理”、“计算”、“计算出”、“确定”和“识别”等术语的论述是指计算设备的动作或过程，诸如一个或多个计算机或类似的电子计算设备，其操纵或转换表示为计算平台的存储器、寄存器或其他信息存储设备、传输设备或显示设备内的物理电子量或磁量的数据。
[0106]
本文论述的一个或多个系统不限于任何特定的硬件架构或配置。计算设备可以包括部件的提供以一个或多个输入为条件的结果的任何合适的布置。合适的计算设备包括基于多用途微处理器的计算机系统，其访问存储的软件，该软件将计算系统从通用计算设备编程或配置为实现本发明主题的一种或多种具体实施的专用计算设备。可以使用任何合适的编程、脚本或其他类型的语言或语言的组合来在用于编程或配置计算设备的软件中实现本文包含的教导内容。
[0107]
本文所公开的方法的具体实施可以在这样的计算设备的操作中执行。上述示例中呈现的框的顺序可以变化，例如，可以将框重新排序、组合或者分成子框。某些框或过程可以并行执行。
[0108]
本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言，其不排除适用于或被配置为执行额外任务或步骤的设备。另外，“基于”的使用意味着开放和包容性，因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。本文包括的标题、列表和编号仅是为了便于解释而并非旨在为限制性的。
[0109]
还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。
[0110]
本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”(“a”“an”)和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的
术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”(“comprises”或“comprising”)本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件或其分组。
[0111]
如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。
[0112]
本发明的前述描述和概述应被理解为在每个方面都是例示性和示例性的，而非限制性的，并且本文所公开的本发明的范围不仅由例示性具体实施的详细描述来确定，而是根据专利法允许的全部广度。应当理解，本文所示和所述的具体实施仅是对本发明原理的说明，并且本领域的技术人员可以在不脱离本发明的范围和实质的情况下实现各种修改。