用于虚拟对象的基于图绘的放置的方法和设备与流程

1.本公开整体涉及计算机图形，并且具体地讲，涉及用于计算机生成的图形对象的基于图绘的放置的系统、方法和设备。


背景技术：

2.在一些情况下，用户可通过从预先存在的库中选择虚拟对象来填充其计算机生成的房间。然而，这限制了计算机生成的房间的可定制性。
附图说明
3.因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。
4.图1是根据一些具体实施的示例性操作架构的框图。
5.图2是根据一些具体实施的示例性控制器的框图。
6.图3是根据一些具体实施的示例性电子设备的框图。
7.图4a和图4b示出了根据一些具体实施的第一计算机生成的图形呈现场景。
8.图5a和图5b示出了根据一些具体实施的第二计算机生成的图形呈现场景。
9.图6a和图6b示出了根据一些具体实施的计算机生成的图形对象的基于图绘的放置的方法的流程图表示。
10.根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。


技术实现要素：

11.本文所公开的各种具体实施包括用于将计算机生成的图形对象(有时也称为“虚拟对象”、“图形对象”或“er对象”)基于图绘放置到计算机生成的图形布景(有时也称为“虚拟布景”、“图形布景”或“er布景”)中的设备、系统和方法。由于这些对象和布景是使用电子设备诸如平板电脑、智能电话、计算机来提供的，因此它们有时也被称为计算机生成的对象或计算机生成的布景。根据一些具体实施，在包括一个或多个相机和非暂态存储器耦接到一个或多个处理器的设备处执行该方法。该方法包括获取涉及内容创建界面(例如，绘图板)的输入，其中该输入对应于候选对象的图绘，并且其中内容创建界面便于创建能利用该设备呈现的计算机生成的图形对象。该方法还包括：利用对应于候选对象的图绘的输入来获取三维(3d)模型；利用所获取的3d模型来生成计算机生成的图形对象；以及导致与利用该设备的一个或多个相机获取的图像一起呈现计算机生成的图形对象。
12.根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器
执行，并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，这些指令在由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一种。根据一些具体实施，一种设备包括：一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一种的装置。
具体实施方式
13.描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。描述了用于与各种增强型现实技术相关地使用此类系统的电子系统和技术的各种示例。
14.物理布景是指各个人可在不使用电子系统的情况下感测和/或交互的世界。物理布景诸如物理公园包括物理元素，诸如物理野生动物、物理树木和物理植物。人们可例如使用一种或多种感觉(包括视觉、嗅觉、触觉、味觉和听觉)直接感测物理布景和/或以其他方式与物理布景进行交互。
15.与物理布景相比，增强型现实(er)布景是指各种人通过使用电子系统可感测和/或以其他方式与之交互的完全地(或部分地)计算机生成的布景。在er中，部分地监视人的移动，并且响应于此，以与一个或多个物理定律一致的方式来改变与er布景中的至少一个虚拟对象对应的至少一个属性。例如，响应于er系统检测到人向上看，er系统可以以与此类声音和外观会在物理布景中改变的方式一致的方式来调整呈现给人的各种音频和图形。也可例如响应于移动的表示(例如，语音命令)而进行对er布景中的虚拟对象的属性的调整。
16.人可以利用一种或多种感觉，诸如视觉、嗅觉、味觉、触觉和听觉来感测er对象和/或与er对象交互。例如，人可感测创建多维或空间声学布景的对象和/或与其交互。多维或空间声学布景为个人提供了在多维空间中对离散声源的感知。此类对象还可实现声学透明性，该声学透明性可在具有或没有计算机生成的音频的情况下选择性地结合来自物理布景的音频。在某些er布景中，人可仅感测音频对象和/或仅与其交互。
17.虚拟现实(vr)是er的一个示例。vr布景是指被配置为仅包括针对一种或多种感觉的计算机生成的感官输入的增强布景。vr布景包括人可以感测和/或交互的多个虚拟对象。人可通过在计算机生成的布景内模拟人动作中的至少一些动作和/或通过模拟人或其在计算机生成的布景内的存在来感测vr布景中的虚拟对象和/或与其交互。
18.混合现实(mr)是er的另一个示例。mr布景是指被配置为将计算机生成的感官输入(例如，虚拟对象)与来自物理布景的感官输入或来自物理布景的感官输入的表示进行集成的增强布景。在现实频谱上，mr布景介于一端处的完全物理布景和另一端处的vr布景之间并且不包括这些布景。
19.在一些mr布景中，计算机生成的感官输入可基于来自物理布景的感官输入的变化而被调整。另外，用于呈现mr布景的一些电子系统可以检测相对于物理布景的位置和/或取向，以实现真实对象(即来自物理布景的物理元素或其表示)与虚拟对象之间的交互。例如，系统可检测移动并相应地调整计算机生成的感官输入，使得例如虚拟树相对于物理结构看
起来是固定的。
20.增强现实(ar)是mr的示例。ar布景是指一个或多个虚拟对象叠加在物理布景(或其表示)之上的增强布景。例如，电子系统可包括不透明显示器和用于捕获物理布景的视频和/或图像的一个或多个成像传感器。例如，此类视频和/或图像可以是物理布景的表示。视频和/或图像与虚拟对象组合，其中该组合随后被显示在不透明显示器上。物理布景可由人经由物理布景的图像和/或视频间接地查看。因此，人可观察叠加在物理布景上的虚拟对象。当系统捕获物理布景的图像并且使用所捕获的图像在不透明显示器上显示ar布景时，所显示的图像被称为视频透传。另选地，透明或半透明显示器可被包括在用于显示ar布景的电子系统中，使得个体可通过透明或半透明显示器直接查看物理布景。虚拟对象可被显示在半透明或透明显示器上，使得个体观察叠加在物理布景上的虚拟对象。在另一个示例中，可利用投影系统以便将虚拟对象投影到物理布景上。例如，虚拟对象可在物理表面上被投影，或作为全息图，使得个体观察叠加在物理布景之上的虚拟对象。
21.ar布景也可指其中物理布景的表示被计算机生成的感官数据修改的增强布景。例如，物理布景的表示的至少一部分可以图形方式修改(例如，放大)，使得经修改的部分仍表示初始捕获的图像(但不是其完全复制的版本)。另选地，在提供视频透传时，可修改一个或多个传感器图像，以便施加与由图像传感器捕获的视点不同的特定视点。再如，物理布景的表示的部分可通过以图形方式将该部分进行模糊处理或消除该部分而被改变。
22.增强虚拟(av)是mr的另一个示例。av布景是指虚拟的或计算机生成的布景结合来自物理布景的一个或多个感官输入的增强布景。此类感官输入可包括物理布景的一个或多个特征的表示。虚拟对象可例如结合与由成像传感器捕获的物理元素相关联的颜色。另选地，虚拟对象可采用与例如对应于物理布景的当前天气状况一致的特征，诸如经由成像识别的天气状况、在线天气信息和/或与天气相关的传感器。又如，ar公园可包括虚拟结构、植物和树木，尽管ar公园布景内的动物可包括从物理动物的图像准确复制的特征。
23.各种系统允许人们感测er布景和/或与其交互。例如，近眼系统可包括一个或多个扬声器和不透明显示器。又如，外部显示器(例如，智能电话)可结合在近眼系统内。近眼系统可包括用于捕获物理布景的音频的麦克风和/或用于捕获物理布景的图像/视频的图像传感器。近眼系统中也可包括透明或半透明显示器。半透明或透明显示器可例如包括基板，(表示图像的)光通过该基板被引导到人的眼睛。显示器还可包含led、oled、硅基液晶、激光扫描光源、数字光投影仪或它们的任何组合。光透射穿过的基板可以是光学反射器、全息基板、光波导、光合路器或它们的任何组合。透明或半透明显示器可例如选择性地在透明/半透明状态和不透明状态之间转变。又如，电子系统可以是基于投影的系统。在基于投影的系统中，视网膜投影可用于将图像投影到人的视网膜上。另选地，基于投影的系统还可将虚拟对象投影到物理布景中，例如，诸如将虚拟对象投影为全息图或投影到物理表面上。er系统的其他示例包括被配置为显示图形的窗口、头戴式耳机、耳机、扬声器布置、被配置为显示图形的透镜、平视显示器、被配置为显示图形的汽车挡风玻璃、输入机构(例如，具有或不具有触觉功能的控制器)、台式或膝上型计算机、平板电脑或智能电话。
24.图1是根据一些具体实施的示例性操作架构100的框图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，操作架构
100包括任选的控制器110和电子设备120(例如，平板电脑、移动电话、膝上型电脑、可穿戴计算设备等)。
25.在一些具体实施中，控制器110被配置为管理和协调用于用户150(在本文中有时也称为“er布景”、“虚拟布景”、“图形布景”或“计算机生成的图形布景”)和零个或多个其他用户的计算机生成的图形体验128。在一些具体实施中，控制器110包括软件、固件和/或硬件的合适组合。下文参考图2更详细地描述控制器110。在一些具体实施中，控制器110是相对于物理布景105处于本地或远程位置的计算设备。例如，控制器110是位于物理环境105内的本地服务器。在另一示例中，控制器110是位于物理布景105之外的远程服务器(例如，云服务器、中央服务器等)。在一些具体实施中，控制器110经由一个或多个有线或无线通信信道144(例如，蓝牙、ieee 802.11x、ieee 802.16x、ieee 802.3x等)与电子设备120通信地耦接。在一些具体实施中，控制器110的功能由电子设备120提供。这样，在一些具体实施中，控制器110的部件集成到电子设备120中。
26.在一些具体实施中，电子设备120被配置为向用户150呈现音频和/或视频内容。在一些具体实施中，电子设备120被配置为向用户150呈现计算机生成的图形体验128。在一些具体实施中，电子设备120包括软件、固件和/或硬件的合适组合。下文参考图3更详细地描述电子设备120。
27.根据一些具体实施，当用户150物理地存在于物理布景105内时，电子设备120向用户150呈现计算机生成的图形体验128，其中物理布景105包括处于电子设备120的视场111内的桌子107。这样，在一些具体实施中，用户150将电子设备120拿在他/她的一只或两只手中。在一些具体实施中，在呈现计算机生成的图形体验128时，电子设备120被配置为呈现计算机生成的图形内容(例如，计算机生成的图形圆柱体109)并使得能够在显示器122上实现物理布景105(例如，包括桌子107)的视频透传。例如，电子设备120对应于移动电话、平板电脑、膝上型电脑、可穿戴计算设备等。
28.在一些具体实施中，显示器122对应于使得能够实现物理布景105(包括桌子107)的光学透传的加成显示器。例如，显示器122对应于透明透镜，并且电子设备120对应于用户150佩戴的一副眼镜。因此，在一些具体实施中，电子设备120通过以下方式呈现用户界面：将计算机生成的图形内容(例如，计算机生成的图形圆柱体109)投影到加成显示器上，其继而从用户150的角度叠置在物理布景105上。在一些具体实施中，电子设备120通过以下方式呈现用户界面：将计算机生成的图形内容(例如，计算机生成的图形圆柱体109)显示在加成显示器上，其继而从用户150的角度叠置在物理布景105上。
29.在一些具体实施中，用户150穿戴电子设备120，诸如近眼系统。因此，电子设备120包括被提供以显示计算机生成的图形内容的一个或多个显示器(例如，单个显示器或每只眼睛一个显示器)。例如，电子设备120包围用户150的视场。在此类具体实施中，电子设备120通过在一个或多个显示器上显示对应于计算机生成的图形体验128的数据或者通过将对应于计算机生成的图形体验128的数据投影到用户150的视网膜上来呈现计算机生成的图形体验128。
30.在一些具体实施中，电子设备120包括显示计算机生成的图形体验128的集成显示器(例如，内置显示器)。在一些具体实施中，电子设备120包括可头戴式壳体。在各种具体实施中，头戴式壳体包括附接区，具有显示器的另一设备可附接到该附接区。例如，在一些具
体实施中，电子设备120可附接到可头戴式壳体。在各种具体实施中，可头戴式壳体被成形为形成用于接收包括显示器的另一设备(例如，电子设备120)的接收器。例如，在一些具体实施中，电子设备120滑动/卡扣到可头戴式壳体中或以其他方式附接到该可头戴式壳体。在一些具体实施中，附接到可头戴式壳体的设备的显示器呈现(例如，显示)计算机生成的图形体验128。在一些具体实施中，将电子设备120替换成被配置为呈现计算机生成的图形内容的er室、围场或房间，在其中用户150不穿戴电子设备120。
31.在一些具体实施中，控制器110和/或电子设备120使得用户150的计算机生成的图形表示基于来自电子设备120和/或物理布景105内任选的远程输入设备的移动信息(例如，身体姿态数据、眼睛跟踪数据、手部跟踪数据等)而在计算机生成的图形体验128内移动。在一些具体实施中，任选的远程输入设备对应于物理布景105内的固定或可移动的感测装备(例如，图像传感器、深度传感器、红外(ir)传感器、事件相机、麦克风等)。在一些具体实施中，每个远程输入设备被配置为在用户150物理地在物理布景105内时收集/捕获输入数据并且将输入数据提供给控制器110和/或电子设备120。在一些具体实施中，远程输入设备包括麦克风，并且输入数据包括与用户150相关联的音频数据(例如，语音样本)。在一些具体实施中，远程输入设备包括图像传感器(例如，相机)，并且输入数据包括用户150的图像。在一些具体实施中，输入数据表征用户150在不同时间的身体姿态。在一些具体实施中，输入数据表征用户150在不同时间的头部姿态。在一些具体实施中，输入数据表征在不同时间与用户150的手相关联的手跟踪信息。在一些具体实施中，输入数据表征用户150的身体部分(诸如他/她的手)的速度和/或加速度。在一些具体实施中，输入数据指示用户150的关节位置和/或关节取向。在一些具体实施中，远程输入设备包括反馈设备，诸如扬声器、灯等。
32.图2是根据一些具体实施的控制器110的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，控制器110包括一个或多个处理单元202(例如，微处理器、专用集成电路(asic)、现场可编程门阵列(fpga)、图形处理单元(gpu)、中央处理单元(cpu)、处理内核等)、一个或多个输入/输出(i/o)设备206、一个或多个通信接口208(例如，通用串行总线(usb)、ieee 802.3x、ieee 802.11x、ieee 802.16x、全球移动通信系统(gsm)、码分多址(cdma)、时分多址(tdma)、全球定位系统(gps)、红外(ir)、蓝牙、zigbee和/或类似类型的接口)、一个或多个编程(例如，i/o)接口210、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线204。
33.在一些具体实施中，该一条或多条通信总线204包括互连系统部件和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个i/o设备206包括键盘、鼠标、触控板、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个显示器等中的至少一种。
34.存储器220包括高速随机存取存储器，诸如动态随机存取存储器(dram)、静态随机存取存储器(sram)、双倍数据速率随机存取存储器(ddr ram)或者其他随机存取固态存储器设备。在一些具体实施中，存储器220包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括远离所述一个或多个处理单元202定位的一个或多个存储设备。存储器220包括非暂态计算
机可读存储介质。在一些具体实施中，存储器220或者存储器220的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统230和体验引擎240。
35.操作系统230包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。
36.在一些具体实施中，体验引擎240被配置为管理和协调用于一个或多个用户的一个或多个计算机生成的图形体验(在本文中有时也称为“er布景”、“虚拟布景”、“图形布景”、或“计算机生成的图形布景”)(例如，用于一个或多个用户的单个计算机生成的图形体验，或者用于一个或多个用户的相应群组的多个计算机生成的图形体验)。为此，在各种具体实施中，体验引擎240包括数据获取器242、标测器和定位器引擎244、内容管理器246、交互和操纵引擎248、内容创建引擎250、以及数据传输器262。
37.在一些具体实施中，数据获取器242被配置为从控制器110的i/o设备206、电子设备120、和任选的远程输入设备170a和170b中的至少一者获取数据(例如，呈现数据、输入数据、用户交互数据、用户输入、传感器数据、位置数据等)。为此，在各种具体实施中，数据获取器242包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
38.在一些具体实施中，标测器和定位器引擎244被配置为标测物理环境105以及跟踪至少电子设备120相对于物理环境105的方位/位置。为此，在各种具体实施中，映射器和定位器引擎244包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
39.在一些具体实施中，内容管理器246被配置为生成(即，渲染)、管理和修改呈现给用户的计算机生成的图形布景(有时也称为“虚拟布景”、“图形布景”或“计算机生成的图形体验”)。为此，在各种具体实施中，内容管理器246包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
40.在一些具体实施中，交互和操纵引擎248被配置为解译涉及计算机生成的图形布景的用户交互和/或修改输入。为此，在各种具体实施中，交互和操纵引擎248包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
41.在一些具体实施中，内容创建引擎250被配置为基于用户输入获取用于放置到计算机生成的图形布景中的计算机生成的图形对象(有时也称为“虚拟对象”、“图形对象”或“er对象”)，其中用户输入对应于候选对象的图绘。为此，在各种具体实施中，内容创建引擎250包括输入解译器252、任选的深度推断引擎254、模型获取器256和任选的3d模型库258。
42.在一些具体实施中，输入解译器252被配置为获取和解译涉及内容创建界面的用户输入(例如，内容创建输入)。根据一些具体实施，内容创建界面对应于平面2d界面。根据一些具体实施，内容创建界面对应于体积3d界面。根据一些具体实施，用户输入对应于内容创建界面内的一个或多个触笔输入、触摸输入、眼睛跟踪输入、手指/手部跟踪输入等。为此，在各种具体实施中，输入解译器252包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
43.在一些具体实施中，任选的深度推断引擎254被配置为基于摄影测量技术等推断对应于图绘的候选对象的深度信息(例如，深度图或网格)。为此，在各种具体实施中，深度推断引擎254包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
44.在一些具体实施中，模型获取器256被配置为基于对应于候选对象的图绘的用户输入来获取3d模型。根据一些具体实施，获取3d模型包括将候选对象的图绘匹配到3d模型库258中的预先存在的3d模型。根据一些具体实施，3d模型库258相对于控制器110本地或远程存储。根据一些具体实施，3d模型库258存储多个3d模型。根据一些具体实施，获取3d模型包括基于候选对象的图绘和来自深度推断引擎254的深度信息来生成3d模型。在一些具体实施中，模型获取器256还被配置为利用所获取的3d模型来生成计算机生成的图形对象。例如，模型获取器256通过将纹理或uv图应用于网格(例如，所获取的3d模型)来生成计算机生成的图形对象。为此，在各种具体实施中，模型获取器256包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
45.在一些具体实施中，数据传输器262被配置为至少向电子设备120传输数据(例如，呈现数据诸如与计算机生成的图形布景相关联的经渲染的图像帧、位置数据等)。为此，在各种具体实施中，数据传输器262包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
46.尽管数据获取器242、标测器和定位器引擎244、内容管理器246、交互和操纵引擎248、内容创建引擎250和数据传输器262被图示成驻留在单个设备(例如，控制器110)上，但应当理解，在其他具体实施中，数据获取器242、标测器和定位器引擎244、内容管理器246、交互和操纵引擎248、内容创建引擎250和数据传输器262的任何组合可位于分开的计算设备中。
47.在一些具体实施中，控制器110的功能和/或部件与下文在图3中所示的电子设备120组合或由其提供。此外，图2更多地用作存在于特定具体实施中的各种特征部的功能描述，而不是本文所述的具体实施的结构示意图。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图2中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。
48.图3是根据一些具体实施的电子设备120(例如，移动电话、平板电脑、膝上型电脑、可穿戴计算设备等)的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。出于该目的，作为非限制性示例，在一些具体实施中，电子设备120包括一个或多个处理单元302(例如，微处理器、asic、fpga、gpu、cpu、处理核心等)、一个或多个输入/输出(i/o)设备及传感器306、一个或多个通信接口308(例如，usb、ieee 802.3x、ieee 802.11x、ieee 802.16x、gsm、cdma、tdma、gps、ir、bluetooth、zigbee和/或类似类型的接口)、一个或多个编程(例如，i/o)接口310、一个或多个显示器312、一个或多个任选的面向内部和/或面向外部的图像传感器314、存储器320以及用于互连这些部件和各种其他部件的一条或多条通信总线304。
49.在一些具体实施中，一条或多条通信总线304包括互连和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个i/o设备及传感器306包括惯性测量单元(imu)、加速度计、陀螺仪、磁力仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测
仪、血氧传感器、血糖传感器等)、一个或多个麦克风、一个或多个扬声器、触觉引擎、加热和/或冷却单元、皮肤剪切引擎、一个或多个深度传感器(例如，结构光、飞行时间等)、眼睛跟踪引擎等中的至少一者。
50.在一些具体实施中，一个或多个显示器312被配置为向用户呈现计算机生成的图形布景。在一些具体实施中，一个或多个显示器312还被配置为向用户呈现平面视频内容(例如，与电视剧或电影相关联的二维或“平面”avi、flv、wmv、mov、mp4等文件，或物理环境105的实视频透传)。在一些具体实施中，一个或多个显示器312对应于触摸屏显示器。在一些具体实施中，一个或多个显示器312对应于全息、数字光处理(dlp)、液晶显示器(lcd)、硅上液晶(lcos)、有机发光场效应晶体管(olet)、有机发光二极管(oled)、表面传导电子发射器显示器(sed)、场发射显示器(fed)、量子点发光二极管(qd
‑
led)、微机电系统(mems)和/或相似显示器类型。在一些具体实施中，一个或多个显示器312对应于衍射、反射、偏振、全息等波导显示器。例如，电子设备120包括单个显示器。又如，电子设备120包括针对用户的每只眼睛的显示器。在一些具体实施中，一个或多个显示器312能够呈现ar和vr内容。在一些具体实施中，一个或多个显示器312能够呈现ar或vr内容。
51.在一些具体实施中，一个或多个任选的面向内部和/或外部的图像传感器314对应于一个或多个rgb相机(例如，具有互补金属氧化物半导体(cmos)图像传感器或电荷耦合器件(ccd)图像传感器)、ir图像传感器、基于事件的相机等。
52.存储器320包括高速随机存取存储器，诸如dram、sram、ddr ram或其他随机存取固态存储器设备。在一些具体实施中，存储器320包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器320任选地包括远离一个或多个处理单元302定位的一个或多个存储设备。存储器320包括非暂态计算机可读存储介质。在一些具体实施中，存储器320或者存储器320的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括可选的操作系统330和呈现引擎340。
53.操作系统330包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，呈现引擎340被配置为经由一个或多个显示器312向用户呈现计算机生成的图形内容。出于该目的，在各种具体实施中，呈现引擎340包括数据获取器342、呈现器344、交互处理器346和数据传输器350。
54.在一些具体实施中，数据获取器342被配置为从电子设备120的i/o设备及传感器306、控制器110、和远程输入设备170a和170b中的至少一者获取数据(例如，呈现数据，诸如与计算机生成的图形布景相关联的经渲染的图像帧、输入数据、用户交互数据、用户输入、传感器数据、位置数据等)。为此，在各种具体实施中，数据获取器342包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
55.在一些具体实施中，呈现器344被配置为经由一个或多个显示器312呈现和更新计算机生成的图形内容(例如，与计算机生成的图形布景相关联的经渲染的图像帧)。为此，在各种具体实施中，呈现器344包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
56.在一些具体实施中，交互处理器346被配置为检测与所呈现的计算机生成的图形内容的用户交互。在一些具体实施中，交互处理器346被配置为检测涉及内容创建界面的用
户输入(例如，内容创建输入)。根据一些具体实施，内容创建界面对应于平面2d界面。根据一些具体实施，内容创建界面对应于体积3d界面。根据一些具体实施，用户输入对应于内容创建界面内的一个或多个触笔输入、触摸输入、眼睛跟踪输入、手指/手部跟踪输入等。为此，在各种具体实施中，交互处理器346包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
57.在一些具体实施中，数据传输器350被配置为至少向控制器110传输数据(例如，呈现数据、位置数据、用户交互数据、用户输入等)。为此，在各种具体实施中，数据传输器350包括指令和/或用于这些指令的逻辑以及启发法和用于该启发法的元数据。
58.尽管数据获取器342、呈现器344、交互处理器346和数据传输器350被图示成驻留在单个设备(例如，电子设备120)上，但应当理解，在其他具体实施中，数据获取器342、呈现器344、交互处理器346和数据传输器350的任何组合可位于分开的计算设备中。
59.此外，图3更多地用作存在于特定具体实施中的各种特征部的功能描述，而不是本文所述具体实施的结构示意。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图3中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。
60.图4a和图4b示出了根据一些具体实施的第一计算机生成的图形呈现场景。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。图4a和图4b分别示出了第一计算机生成的图形呈现场景的实例400和450的序列。
61.如图4a所示，与时间t1相关联的第一计算机生成的图形呈现场景的实例400包括物理布景105和显示在电子设备120的显示器122上的计算机生成的图形布景425。当用户150物理地存在于物理布景105内时，电子设备120向用户150呈现计算机生成的图形布景425，该物理布景包括电子设备120的面向外部的图像传感器的视场111内的桌子107。因此，在一些具体实施中，用户150将电子设备120握持在他/她的手中，类似于图1中的操作环境100。
62.换句话讲，在一些具体实施中，电子设备120被配置为呈现计算机生成的图形内容并使得能够实现显示器122上物理布景105(例如，包括桌子107)的至少一部分的光学透传或视频透传。例如，电子设备120对应于移动电话、平板电脑、膝上型电脑、可穿戴计算设备等。
63.如图4a所示，电子设备120还在显示器122上显示内容创建界面410和工具面板420。根据一些具体实施，内容创建界面410被配置为检测/接收用户输入，诸如由用户150握持的触笔401的图绘或笔画或者来自用户150的触摸/手指输入。根据一些具体实施，工具面板420包括被配置为追溯地和/或预期地改变用户输入的一个或多个特性(诸如线条宽度、线条颜色、线条类型、填充颜色、纹理填充剂等)的可选择工具。
64.在一些具体实施中，响应于在内容创建界面410内检测到对应于候选对象的图绘的用户输入，电子设备120被配置为基于候选对象的图绘获取3d模型，并且基于3d模型在计算机生成的图形布景425内呈现计算机生成的图形对象。因此，基于涉及内容创建界面410
的用户图绘，将计算机生成的图形对象放置在计算机生成的图形布景425内。在一些具体实施中，下文参考图6a和图6b中的方法600更详细地描述用于获取3d模型的过程。如图4b所示，与时间t2相关联的第一计算机生成的图形呈现场景的实例450示出了响应于在内容创建界面410内检测到用户输入465(例如，棕榈树的图绘)而在计算机生成的图形布景425内显示的计算机生成的图形对象475(例如，3d棕榈树)。
65.图5a和图5b示出了根据一些具体实施的第二计算机生成的图形呈现场景。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。图5a和图5b类似于并修改自图4a和图4b。因此，本文使用类似的附图标记，并且为了简洁起见，将仅讨论不同之处。图5a和图5b分别示出了第二计算机生成的图形呈现场景的实例500和550的序列。
66.如图5a所示，与时间t1相关联的第二计算机生成的图形呈现场景的实例500包括物理布景105、显示在电子设备120的显示器122上的计算机生成的图形布景425、以及辅助电子设备520。在一些具体实施中，电子设备120被配置为呈现计算机生成的图形内容并使得能够实现显示器122上物理布景105(例如，包括桌子107)的至少一部分的光学透传或视频透传。因此，在一些具体实施中，用户150将电子设备120握持在他/她的手中，类似于图1中的操作环境100。例如，电子设备120对应于移动电话、平板电脑、膝上型电脑、可穿戴计算设备等。
67.如图5a所示，辅助电子设备520显示内容创建界面410。根据一些具体实施，内容创建界面410被配置为检测/接收输入，诸如由用户150握持的触笔401的图绘或笔画或者来自用户150的触摸输入。例如，辅助电子设备520对应于移动电话、平板电脑、膝上型电脑、可穿戴计算设备等。根据一些具体实施，辅助电子设备520经由一个或多个有线或无线通信信道(例如，蓝牙、ieee 802.11x、ieee 802.16x、ieee 802.3x等)与电子设备120和/或控制器110通信地耦接。
68.在一些具体实施中，响应于在内容创建界面410内检测到对应于候选对象的图绘的用户输入，电子设备120被配置为基于候选对象的图绘获取3d模型，并且基于3d模型在计算机生成的图形布景425内呈现计算机生成的图形对象。因此，基于涉及与辅助电子设备520相关联的内容创建界面410的用户图绘，将计算机生成的图形对象放置在计算机生成的图形布景425(由电子设备120呈现)内。在一些具体实施中，下文参考图6a和图6b中的方法600更详细地描述用于获取3d模型的过程。如图5b所示，与时间t2相关联的第二计算机生成的图形呈现场景的实例550示出了响应于检测到与辅助电子设备520相关联的内容创建界面410内的用户输入465(例如，棕榈树的图绘)而显示在由电子设备120呈现的计算机生成的图形布景425内的计算机生成的图形对象475(例如，3d棕榈树)。
69.图6a和图6b示出了根据一些具体实施的计算机生成的图形对象的基于图绘的放置的方法600的流程图表示。在各种具体实施中，方法600由具有一个或多个相机和非暂态存储器耦接到一个或多个处理器的设备执行(例如，图1和图2中的控制器110；图1和图3中的电子设备120；或它们的合适组合)、或其部件。在一些具体实施中，方法600由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法600由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。在各种具体实施中，方法600中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
70.如上所述，在一些情况下，用户可通过从预先存在的库中选择虚拟对象来填充其计算机生成的房间。然而，这限制了计算机生成的房间的可定制性。因此，根据一些具体实施，为了允许用户进一步可定制性，基于内容创建界面(例如，绘图板)上候选对象的图绘获取(例如，针对计算机生成的图形对象的库进行匹配或者实时地生成)3d模型，并且对应于3d模型的计算机生成的图形对象被放置到计算机生成的图形布景中。在一些具体实施中，图绘相对于内容创建界面的位置限定计算机生成的图形对象在计算机生成的图形布景内的放置位置。在一些具体实施中，内容创建界面的角度限定计算机生成的图形对象被放置在计算机生成的图形布景内的角度。
71.如框6
‑
1所示，方法600包括获取涉及内容创建界面(例如，绘图板)的输入，其中该输入对应于候选对象的图绘，并且其中内容创建界面便于创建能利用该设备呈现的计算机生成的图形对象。在一些具体实施中，设备或其部件(例如，图2中的输入解译器252)获取并解译涉及内容创建界面的输入。
72.根据一些具体实施，内容创建界面对应于平面二维(2d)内容创建界面。根据一些具体实施，输入(例如，内容创建输入)对应于内容创建界面内的一个或多个触笔输入、触摸输入、眼睛跟踪输入、手指/手部跟踪输入等。例如，图4a和图4b中所示的序列示出了电子设备120从触笔401检测到的输入。在一些具体实施中，内容创建界面对应于三维(3d)内容创建界面。
73.在一些具体实施中，方法600包括根据确定该输入与内容创建界面的边界相距在阈值距离内而在获取对应于候选对象的图绘的输入时生成触觉反馈。例如，参考图4a，当输入在内容创建界面410的边缘附近时，电子设备120生成触觉反馈。
74.在一些具体实施中，方法600包括响应于检测到调用命令而导致显示内容创建界面，其中该输入涉及内容创建界面。例如，参考图4a，电子设备120使得响应于调用命令诸如手部手势、语音命令等而与计算机生成的图形布景425同时地显示内容创建界面410。
75.在一些具体实施中，如框6
‑
1a所示，方法600包括与利用设备的一个或多个相机获取的图像一起显示内容创建界面。因此，设备将计算机生成的图形内容(包括内容创建界面和任何计算机生成的图形对象)与利用设备的一个或多个相机(例如，面向外部的相机)获取的图像合成(例如，视频透传)，以生成用于由设备呈现的计算机生成的图形布景。例如，内容创建界面叠置在利用设备的一个或多个相机获取的图像上和/或计算机生成的图形布景上。
76.在一些具体实施中，如框6
‑
1b所示，方法600包括导致在第二设备上显示内容创建界面。例如，图5a和图5b中所示的序列示出了在电子设备120呈现计算机生成的图形布景425时在辅助电子设备520上显示的内容创建界面410。
77.在一些具体实施中，如框6
‑
1c所示，内容创建界面邻近计算机生成的图形布景显示。例如，图4a和图4b中所示的序列示出了邻近计算机生成的图形布景425同时显示的内容创建界面410。
78.如框6
‑
2所示，方法600包括利用对应于候选对象的图绘的输入来获取三维(3d)模型。在一些具体实施中，设备或其部件(例如，图2中的模型获取器256)基于对应于候选对象的图绘的输入来获取3d模型。
79.在一些具体实施中，如框6
‑
2a所示，获取3d模型包括将候选对象的图绘匹配到3d
模型库中的预先存在的3d模型。在一些具体实施中，设备或其部件(例如，图2中的模型获取器256)通过将候选对象的图绘匹配到3d模型库258中的预先存在的3d模型来获取3d模型。例如，模型获取器256从3d模型库258获取在预定义置信度阈值内匹配候选对象的图绘的3d模型。
80.在一些具体实施中，如框6
‑
2b所示，获取3d模型包括基于候选对象的图绘来生成3d模型。在一些具体实施中，设备或其部件(例如，图2中的模型获取器256)通过基于候选对象的图绘和(任选地)深度信息实时生成3d模型来获取3d模型。根据一些具体实施，生成3d模型包括基于摄影测量技术等推断与候选对象的图绘相关联的深度信息。在一些具体实施中，设备或其部件(例如，图2中的深度推断引擎254)基于摄影测量技术等推断对应于图绘的候选对象的深度信息(例如，深度图或网格)。
81.如框6
‑
3所示，方法600包括利用所获取的3d模型生成计算机生成的图形对象。在一些具体实施中，控制器110或其部件(例如，图2中的模型获取器256)利用所获取的3d模型生成计算机生成的图形对象。在一些具体实施中，方法600包括生成计算机生成的图形对象，包括获取具有纹理的网格。
82.如框6
‑
4所示，方法600包括导致与利用设备的一个或多个相机获取的图像一起呈现计算机生成的图形对象。例如，参考图4b，电子设备120响应于在内容创建界面410内检测到用户输入465(例如，棕榈树的图绘)而在计算机生成的图形布景425内显示计算机生成的图形对象475(例如，3d棕榈树)。
83.作为一个示例，假设控制器110和电子设备120的功能是分开的，则控制器110或其部件(例如，图2中的内容管理器246)渲染与包括计算机生成的图形对象的计算机生成的图形布景相关联的图像帧。继续该示例，控制器110或其部件(例如，图2中的数据传输器262)将经渲染的图像帧传输给电子设备120。最后，继续该示例，电子设备120或其部件(例如，图3中的数据获取器342)接收经渲染的图像帧，并且电子设备120或其部件(例如，图3中的呈现器344)经由一个或多个显示器312显示经渲染的图像帧。
84.又如，假设控制器110和电子设备120的功能被组合，则设备或其部件(例如，图2中的内容管理器246)渲染与包括计算机生成的图形对象的计算机生成的图形布景相关联的图像帧，并且设备或其部件(例如，图3中的呈现器344)经由一个或多个显示器312显示经渲染的图像帧。
85.在一些具体实施中，如框6
‑
4a所示，方法600包括利用所获取的与候选对象的图绘相对应的输入的位置来确定计算机生成的图形对象的显示位置，并且其中导致呈现计算机生成的图形对象包括导致在所确定的显示位置处呈现计算机生成的图形对象。在一些具体实施中，该输入在内容创建界面内的位置确定与将计算机生成的图形对象放置到计算机生成的图形布景中相关联的平移坐标。换句话讲，转换将该输入在内容创建界面内的位置映射到计算机生成的图形布景内的放置位置。因此，作为一个示例参考图5a，如果在3d内容创建界面410相对于y轴的上部部分内检测到与候选对象的图绘相关联的输入，则设备基于该输入的位置将计算机生成的图形对象放置到计算机生成的图形布景中，使得计算机生成的图形对象在被显示在计算机生成的图形布景内时可漂浮在空中。
86.在一些具体实施中，如框6
‑
4b所示，计算机生成的图形对象的至少一个旋转维度对应于内容创建界面的角度。在一些具体实施中，将计算机生成的图形对象放置到计算机
生成的图形布景中的一个或多个旋转维度(例如，俯仰、翻滚和/或偏航)是基于内容创建界面的角度。因此，作为一个示例，如果内容创建界面以45
°
角俯仰，则设备将计算机生成的图形对象以45
°
角俯仰放置到计算机生成的图形布景中。例如，用户能够旋转和/或平移内容创建界面。在一些具体实施中，将计算机生成的图形对象放置到计算机生成的图形布景中的一个或多个旋转维度(例如，俯仰、翻滚和/或偏航)是基于该输入相对于内容创建界面的角度。
87.在一些具体实施中，如框6
‑
5所示，方法600包括：获取涉及所呈现的计算机生成的图形对象的附加输入；以及根据该附加输入修改所呈现的计算机生成的图形对象。在一些具体实施中，如框6
‑
5a所示，修改所呈现的计算机生成的图形对象包括缩放计算机生成的图形对象、旋转计算机生成的图形对象、平移计算机生成的图形对象、以动画方式显示计算机生成的图形对象等。在一些具体实施中，如框6
‑
5b所示，修改所呈现的计算机生成的图形对象包括修改计算机生成的图形对象的颜色、纹理、着色、阴影、形状等中的至少一者。
88.虽然上文描述了在所附权利要求书范围内的具体实施的各个方面，但是应当显而易见的是，上述具体实施的各种特征可通过各种各样的形式体现，并且上述任何特定结构和/或功能仅是例示性的。基于本公开，本领域的技术人员应当理解，本文所述的方面可以独立于任何其他方面来实现，并且这些方面中的两个或更多个可以采用各种方式组合。例如，可以使用本文阐述的任何数量的方面来实现装置和/或可以实践方法。另外，除了本文阐述的一个或多个方面之外或者不同于本文阐述的一个或多个方面，可以使用其他结构和/或功能来实现这样的装置和/或可以实践这样的方法。
89.还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。
90.本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件，和/或其分组。
91.如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。