生成物理布景的语义构造的制作方法

生成物理布景的语义构造
1.相关申请的交叉引用
2.本技术要求于2019年4月23日提交的美国临时专利申请第62/837282号的权益，该申请全文以引用方式并入。
技术领域
3.本公开一般涉及生成物理布景的语义构造。


背景技术：

4.一些设备能够生成并呈现增强现实(er)布景。一些er布景包括虚拟布景，该虚拟布景是物理布景的模拟替换。一些er布景包括增强布景，该增强布景是物理布景的修改版本。呈现er布景的一些设备包括移动通信设备，诸如智能电话、可头戴显示器(hmd)、眼镜、抬头显示器(hud)和光学投影系统。呈现er布景的大多数先前可用的设备在提供与物理布景相同水平的交互方面是无效的。
附图说明
5.因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。
6.图1a至图1g是示出根据一些具体实施的物理布景的语义构造的生成的示意图。
7.图2是根据一些具体实施的示例性设备的框图。
8.图3a至图3c是根据一些具体实施的生成物理布景的语义构造的方法的流程图表示。
9.图4是根据一些具体实施的利用生成物理布景的语义构造的各种部件启用的设备的框图。
10.根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。


技术实现要素：

11.本文所公开的各种具体实施包括用于生成物理布景的语义构造的设备、系统和方法。在各种具体实施中，一种设备包括非暂态存储器以及与非暂态存储器耦接的一个或多个处理器。在一些具体实施中，一种方法包括获取与物理布景相对应的环境数据。在一些具体实施中，该方法包括基于该环境数据确定该物理布景的边界表面。在一些具体实施中，该方法包括基于该环境数据检测定位在该物理布景内的物理元素。在一些具体实施中，该方法包括基于与该物理元素相对应的该环境数据的至少一部分确定该物理元素的语义标签。在一些具体实施中，该方法包括基于该环境数据生成该物理布景的语义构造。在一些具体
实施中，该物理布景的语义构造包括该边界表面的表示、该物理元素的表示和该物理元素的语义标签。
12.根据一些具体实施，设备包括一个或多个处理器、非暂态存储器以及一个或多个程序。在一些具体实施中，一个或多个程序存储在非暂态存储器中并由一个或多个处理器执行。在一些具体实施中，一个或多个程序包括用于执行或促使执行本文描述的任何方法的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，该指令当由设备的一个或多个处理器执行时使该设备执行或导致执行本文所述方法中的任一种。根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器，以及用于执行或导致执行本文所述方法中的任一种的装置。
具体实施方式
13.描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。
14.描述了用于与各种增强型现实技术相关地使用此类系统的电子系统和技术的各种示例。
15.物理布景是指各个人可在不使用电子系统的情况下感测和/或交互的世界。物理布景诸如物理公园包括物理元素，诸如物理野生动物、物理树木和物理植物。人们可例如使用一种或多种感觉(包括视觉、嗅觉、触觉、味觉和听觉)直接感测物理布景和/或以其他方式与物理布景进行交互。
16.与物理布景相比，增强型现实(er)布景是指各种人通过使用电子系统可感测和/或以其他方式与之交互的完全地(或部分地)计算机生成的布景。在er中，部分地监视人的移动，并且响应于此，以与一个或多个物理定律一致的方式来改变与er布景中的至少一个虚拟对象对应的至少一个属性。例如，响应于er系统检测到人向上看，er系统可以以与此类声音和外观会在物理布景中改变的方式一致的方式来调整呈现给人的各种音频和图形。也可例如响应于移动的表示(例如，语音命令)而进行对er布景中的虚拟对象的属性的调整。
17.人可以利用一种或多种感觉，诸如视觉、嗅觉、味觉、触觉和听觉来感测er对象和/或与er对象交互。例如，人可感测创建多维或空间声学布景的对象和/或与其交互。多维或空间声学布景为个人提供了在多维空间中对离散声源的感知。此类对象还可实现声学透明性，该声学透明性可在具有或没有计算机生成的音频的情况下选择性地结合来自物理布景的音频。在某些er布景中，人可仅感测音频对象和/或仅与其交互。
18.虚拟现实(vr)是er的一个示例。vr布景是指被配置为仅包括针对一种或多种感觉的计算机生成的感官输入的增强布景。vr布景包括人可以感测和/或交互的多个虚拟对象。人可通过在计算机生成的布景内模拟人动作中的至少一些动作和/或通过模拟人或其在计算机生成的布景内的存在来感测vr布景中的虚拟对象和/或与其交互。
19.混合现实(mr)是er的另一个示例。mr布景是指被配置为将计算机生成的感官输入(例如，虚拟对象)与来自物理布景的感官输入或来自物理布景的感官输入的表示进行集成的增强布景。在现实频谱上，mr布景介于一端处的完全物理布景和另一端处的vr布景之间
并且不包括这些布景。
20.在一些mr布景中，计算机生成的感官输入可基于来自物理布景的感官输入的变化而被调整。另外，用于呈现mr布景的一些电子系统可以检测相对于物理布景的位置和/或取向，以实现真实对象(即来自物理布景的物理元素或其表示)与虚拟对象之间的交互。例如，系统可检测移动并相应地调整计算机生成的感官输入，使得例如虚拟树相对于物理结构看起来是固定的。
21.增强现实(ar)是mr的示例。ar布景是指一个或多个虚拟对象叠加在物理布景(或其表示)之上的增强布景。例如，电子系统可包括不透明显示器和用于捕获物理布景的视频和/或图像的一个或多个成像传感器。例如，此类视频和/或图像可以是物理布景的表示。视频和/或图像与虚拟对象组合，其中该组合随后被显示在不透明显示器上。物理布景可由人经由物理布景的图像和/或视频间接地查看。因此，人可观察叠加在物理布景上的虚拟对象。当系统捕获物理布景的图像并且使用所捕获的图像在不透明显示器上显示ar布景时，所显示的图像被称为视频透传。另选地，透明或半透明显示器可被包括在用于显示ar布景的电子系统中，使得个体可通过透明或半透明显示器直接查看物理布景。虚拟对象可被显示在半透明或透明显示器上，使得个体观察叠加在物理布景上的虚拟对象。在另一个示例中，可利用投影系统以便将虚拟对象投影到物理布景上。例如，虚拟对象可在物理表面上被投影，或作为全息图，使得个体观察叠加在物理布景之上的虚拟对象。
22.ar布景也可指其中物理布景的表示被计算机生成的感官数据修改的增强布景。例如，物理布景的表示的至少一部分能够以图形方式修改(例如，放大)，使得所修改的部分仍可表示初始捕获的图像(但不是完全复制的版本)。另选地，在提供视频透传时，可修改一个或多个传感器图像，以便施加与由图像传感器捕获的视点不同的特定视点。再如，物理布景的表示的部分可通过以图形方式将该部分进行模糊处理或消除该部分而被改变。
23.增强虚拟(av)是mr的另一个示例。av布景是指虚拟的或计算机生成的布景结合来自物理布景的一个或多个感官输入的增强布景。此类感官输入可包括物理布景的一个或多个特征的表示。虚拟对象可例如结合与由成像传感器捕获的物理元素相关联的颜色。另选地，虚拟对象可采用与例如对应于物理布景的当前天气状况一致的特征，诸如经由成像识别的天气状况、在线天气信息和/或与天气相关的传感器。又如，ar公园可包括虚拟结构、植物和树木，尽管ar公园布景内的动物可包括从物理动物的图像准确复制的特征。
24.各种系统允许人们感测er布景和/或与其交互。例如，头戴式系统可包括一个或多个扬声器和不透明显示器。又如，外部显示器(例如，智能电话)可结合到头戴式系统内。头戴式系统可包括用于捕获物理布景的音频的麦克风和/或用于捕获物理布景的图像/视频的图像传感器。头戴式系统中还可包括透明或半透明显示器。半透明或透明显示器可例如包括基板，(表示图像的)光通过该基板被引导到人的眼睛。显示器还可包含led、oled、硅基液晶、激光扫描光源、数字光投影仪或它们的任何组合。光透射穿过的基板可以是光学反射器、全息基板、光波导、光合路器或它们的任何组合。透明或半透明显示器可例如选择性地在透明/半透明状态和不透明状态之间转变。又如，电子系统可以是基于投影的系统。在基于投影的系统中，视网膜投影可用于将图像投影到人的视网膜上。另选地，基于投影的系统还可将虚拟对象投影到物理布景中，例如，诸如将虚拟对象投影为全息图或投影到物理表面上。er系统的其他示例包括被配置为显示图形的窗口、头戴式耳机、耳机、扬声器布置、被
配置为显示图形的透镜、平视显示器、被配置为显示图形的汽车挡风玻璃、输入机构(例如，具有或不具有触觉功能的控制器)、台式或膝上型计算机、平板电脑或智能电话。
25.本公开提供了用于生成物理布景的语义构造的方法、系统和/或设备。该物理布景的语义构造能够用于生成和呈现与物理布景相对应的er布景。在er布景中实例化的人、目标实现器和/或虚拟智能代理(via)的er表示可利用语义构造中包括的信息来与物理元素(例如，真实对象)的er表示进行交互。因此，物理布景的语义构造允许检测物理元素的er表示并与物理元素的er表示交互。
26.图1a是根据一些具体实施的示例性操作环境2的框图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，操作环境2包括物理布景10、用户50和电子设备100。
27.在一些具体实施中，物理布景10包括各种物理元素(例如，真实对象)。在图1a的示例中，物理布景10包括地板12、前壁14、侧壁16、具有门把手20的门18、电视机24、沙发26、咖啡桌28和电视机遥控器30。在一些具体实施中，用户50位于物理布景10内。
28.在图1a的示例中，用户50经由电子设备100捕获与物理布景10相对应的环境数据110。例如，在一些具体实施中，电子设备100包括相机(例如，外置相机或面向场景的相机)。在此类具体实施中，当物理布景10在相机的视场102中时，电子设备100捕获与物理布景10相对应的环境数据110。在一些具体实施中，环境数据110包括物理布景10的图像和/或视频。
29.在一些具体实施中，电子设备100包括深度传感器。在此类具体实施中，环境数据110包括与物理布景10相对应的深度信息。在一些具体实施中，环境数据110指示物理布景10内的各种物理元素的相对位置。例如，环境数据110指示沙发26被定位成距咖啡桌28有2英尺远。在一些具体实施中，环境数据110指示物理布景10和/或位于物理布景10内的物理元素的尺寸。
30.在图1a的示例中，电子设备100正由用户50握持。在一些具体实施中，电子设备100包括智能电话、平板电脑、膝上型电脑等。在一些具体实施中，电子设备100包括由用户50穿戴的可穿戴计算设备。例如，在一些具体实施中，电子设备100包括可头戴设备(hmd)。在一些具体实施中，hmd被成形为形成接收具有显示器的设备(例如，该具有显示器的设备能够滑动到hmd中以用作hmd的显示器)的接收器。另选地，在一些具体实施中，hmd包括集成显示器。
31.在各种具体实施中，电子设备100确定物理布景10中的每个物理元素的语义标签。在一些具体实施中，物理元素的语义标签指示物理元素的类型。在一些具体实施中，物理元素的语义标签包括物理元素的简要描述。在一些具体实施中，物理元素的语义标签指示物理元素的一个或多个特性。在一些具体实施中，物理元素的语义标签指示物理元素的一个或多个物理特性(例如，硬度、纹理、颜色等)。在一些具体实施中，物理元素的语义标签指示物理元素的气味特征。
32.参见图1b，在一些具体实施中，电子设备100利用环境数据110生成物理布景10的三维(3d)点云(在下文中为了简洁起见简称“点云”)。如图1b和图1c所示，电子设备100利用点云来检测位于物理布景10内的物理元素并对其进行语义标记。在一些具体实施中，电子
设备100利用点云生成位于物理布景10内的物理元素的语义标签。
33.在各种具体实施中，环境数据110包括物理布景10的图像。在一些具体实施中，电子设备100利用与图像处理相关联的方法、设备和/或系统来检测物理元素的表示并生成对应的点云。在一些具体实施中，电子设备100利用特征检测器检测物理元素的表示并生成对应的点云。例如，电子设备100利用边缘检测器(例如，canny、deriche、differential、sobel、prewitt或roberts cross)检测物理元素的边缘(例如，检测咖啡桌28的边缘)。在一些具体实施中，电子设备100利用拐角检测器(例如，harris运算符、shi和tomasi、位阶曲线曲率、hessian特征强度测量值、susan以及fast)检测物理元素的拐角(例如，检测电视机24的拐角)。
34.在图1b的示例中，电子设备100基于环境数据110的与门18相对应的部分生成第一点云118。电子设备100基于环境数据110的与门把手20相对应的部分生成第二点云120。电子设备100基于环境数据110的与电视机24相对应的部分生成第三点云124。电子设备100基于环境数据110的与沙发26相对应的部分生成第四点云126。电子设备100基于环境数据110的与咖啡桌28相对应的部分生成第五点云128。电子设备100基于环境数据110的与电视机遥控器30相对应的部分生成第六点云130。
35.参见图1c，在一些具体实施中，电子设备100生成点云的对应语义标签。在图1c的示例中，电子设备100生成第一点云118的第一语义标签168、第二点云120的第二语义标签170、第三点云124的第三语义标签174、第四点云126的第四语义标签176、第五点云128的第五语义标签178以及第六点云130的第六语义标签180。
36.在一些具体实施中，该语义标签指示对应的点云所表示的物理元素的类型。例如，第一语义标签168指示第一点云118对应于门(例如，门18)。第二语义标签170指示第二点云120对应于门把手(例如，门把手20)。第三语义标签174指示第三点云124对应于显示设备(例如，电视机24)。第四语义标签176指示第四点云126对应于座位空间(例如，沙发26)。第五语义标签178指示第五点云128对应于桌子(例如，咖啡桌28)。第六语义标签180指示第六点云150对应于遥控设备(例如，电视机遥控器30)。
37.在一些具体实施中，语义标签包括对应的点云所表示的物理元素的简要描述。例如，第一语义标签168指示第一点云118对应于允许进入或退出物理布景的物理元素。第二语义标签170指示第二点云120对应于用于打开/关闭门的物理元素。第三语义标签174指示第三点云124对应于用于查看内容的物理元素。第四语义标签176指示第四点云126对应于用于坐下或躺下的物理元素。第五语义标签178指示第五点云128对应于用于放置其他物理元素的物理元素。第六语义标签180指示第六点云150对应于用于远程控制显示设备的设备。
38.在一些具体实施中，语义标签指示对应的点云所表示的物理元素的特性。例如，在一些具体实施中，语义标签指示点云所表示的物理元素的纹理、硬度和/或颜色。在一些具体实施中，电子设备100包括检测气味的嗅觉传感器。在此类具体实施中，环境数据110包括气味数据。在一些此类具体实施中，语义标签指示点云所表示的物理元素的气味。
39.在各种具体实施中，电子设备100利用神经网络生成点云的语义标签。在一些具体实施中，电子设备100利用长短期记忆(lstm)递归神经网络(rnn)生成点云的语义标签。在一些具体实施中，神经网络接收环境数据110和/或与点云相对应的信息作为输入，并且输
出点云的语义标签。在一些具体实施中，与点云相对应的信息包括点云中的点的数量、点云中的点的密度、点云的形状和/或点云相对于其他点云的位置。
40.在一些具体实施中，电子设备100包括标记点云中的每个点的点标记器(例如，像素标记器)。在一些具体实施中，点标记器生成点云中的点的特征向量(例如，点特征向量或像素特征向量)。在一些具体实施中，电子设备100响应于点云中的点满足目标置信度阈值而生成点云的语义标签。在一些具体实施中，当阈值数量的特征向量包括在一定程度的相似度内的标签值时，则满足目标置信度阈值。例如，当第五点云128的阈值数量(例如，大于75％)的特征向量包括指示桌子(例如，咖啡桌28)的主标签时，则满足第五点云128的目标置信度阈值。
41.在一些具体实施中，生成点云包括消除点云彼此的歧义。在一些具体实施中，电子设备100基于点的特征向量消除点云的歧义。例如，在一些具体实施中，电子设备100将具有在一定程度的相似度内的值的特征向量的点分组。
42.参见图1d，在一些具体实施中，电子设备100生成与物理布景10的边界表面相对应的点云。例如，如图1d所示，电子设备100生成与物理布景10的地板12相对应的第七点云112。在图1d的示例中，电子设备100生成第七点云112的第七语义标签162。例如，第七语义标签162指示第七点云112对应于物理布景10的地板(例如，地板12)。
43.如图1e所示，在一些具体实施中，电子设备100基于环境数据110生成物理布景10的语义构造1000。在各种具体实施中，语义构造1000包括物理布景的边界表面的表示。例如，语义构造1000包括地板12的表示1200、前壁14的表示1400以及侧壁16的表示1600。在一些具体实施中，语义构造1000包括与边界表面的表示相关联的语义标签。例如，在语义构造1000中，第七语义标签162与地板12的表示1200相关联。在一些具体实施中，第七语义标签162指示与地板12的表示1200相关联的特性(例如，第七语义标签162指示地板12由陶瓷砖制成)。
44.在图1e的示例中，语义构造1000包括与前壁14的表示1400相关联的第八语义标签164以及与侧壁16的表示1600相关联的第九语义标签166。在一些具体实施中，第八语义标签164指示与前壁14的表示1400相关联的特性(例如，第八语义标签164指示前壁14的油漆纹理和/或油漆颜色)。在一些具体实施中，第九语义标签166指示与侧壁16的表示1600相关联的特性(例如，第九语义标签166指示侧壁16的反射率)。
45.在各种具体实施中，语义构造1000包括位于物理布景10中的物理元素的表示。例如，语义构造1000包括表示物理布景10中的门18的门表示1800。语义构造1000包括表示物理布景10中的门把手20的门把手表示2000。语义构造1000包括表示物理布景10中的电视机24的电视机表示2400。语义构造1000包括表示物理布景10中的沙发26的沙发表示2600。语义构造1000包括表示物理布景10中的咖啡桌28的咖啡桌表示2800。语义构造1000包括表示物理布景10中的电视机遥控器30的电视机遥控器表示3000。
46.在各种具体实施中，语义构造1000包括用于位于物理布景10中的物理元素的语义标签。例如，语义构造1000包括与门表示1800相关联的第一语义标签168。在一些示例中，第一语义标签168指示门表示1800的颜色和/或材料。在图1e的示例中，语义构造1000包括与门把手表示2000相关联的第二语义标签170。在一些示例中，第二语义标签170指示门把手表示2000的颜色、形状、大小和/或材料。
47.在图1e的示例中，语义构造1000包括与电视机表示2400相关联的第三语义标签174。在一些示例中，第三语义标签174指示电视机表示2400的大小和/或厚度。在图1e的示例中，语义构造1000包括与沙发表示2600相关联的第四语义标签176。在一些示例中，第四语义标签176指示沙发表示2600的长度、座位数量、颜色、形状和/或材料。
48.在图1e的示例中，语义构造1000包括与咖啡桌表示2800相关联的第五语义标签178。在一些示例中，第五语义标签178指示咖啡桌表示2800的高度和/或表面材料。在图1e的示例中，语义构造1000包括与电视机遥控器表示3000相关联的第六语义标签180。在一些示例中，第六语义标签180指示电视机遥控器表示3000的多个按钮、按钮的大小和/或按钮的定位。
49.参见图1f，在各种具体实施中，电子设备100基于物理布景10的语义构造1000生成增强现实(er)布景10c。在各种具体实施中，er布景10c包括位于物理布景10中的物理元素的er表示。电子设备100基于物理布景10的语义构造1000中包括的语义标签生成er表示。这样，物理元素和边界表面的er表示分别在一定程度上类似于物理元素和边界表面。此外，物理元素的er表示可在一定程度上类似于物理布景10中的物理元素进行操作。
50.在图1f的示例中，er布景10c包括表示物理布景10的地板12的er地板12c、表示前壁14的er前壁14c、表示侧壁16的er侧壁16c、表示门18的er门18c、表示门把手20的er门把手20c、表示电视机24的er电视机24c、表示沙发26的er沙发26c、表示咖啡桌28的er咖啡桌28c以及表示电视机遥控器30的er电视机遥控器30c。
51.在图1f的示例中，er布景10c包括第一er人40c和第二er人42c。在一些具体实施中，第一er人40c和/或第二er人42c是物理布景中的人的er表示。在一些具体实施中，第一er人40c和/或第二er人42c是来自虚构材料(例如，电影、书籍、游戏等)的虚构人的er表示。在一些具体实施中，第一er人40c和/或第二er人42c是虚拟智能代理(via)和/或目标实现器的er表示。
52.在各种具体实施中，第一er人40c和/或第二er人42c在er布景10c内执行动作，包括检测er布景10c中的各种er对象和/或与之交互。在图1f的示例中，第二er人42c操纵er门把手20c以打开/关闭er门18c。在图1f的示例中，第一er人40c坐在er沙发26c上。第一er人40c和/或第二er人42c能够检测er布景10c中的各种er对象和/或与之交互，因为er对象关联于与对应的物理元素相同的特性。er对象跟与对应的物理元素相同的特性相关联，因为电子设备100利用语义构造1000中的语义标签生成er布景10c。
53.参见图1g，在一些具体实施中，物理布景10中的一些物理元素与数据的光学机器可读表示相关联。在一些具体实施中，数据的光学机器可读表示包括条形码。在一些具体实施中，条形码包括一维(1d)条形码。在一些具体实施中，条形码包括二维(2d)条形码(例如，qr码)。如图1g所示，第一条形码27附连到沙发26，并且第二条形码29附连到咖啡桌28。第一条形码27包括沙发26的识别信息(例如，沙发26的型号、制造商、大小和/或颜色)。类似地，第二条形码29包括咖啡桌28的识别信息(例如，咖啡桌28的材料、颜色、尺寸、制造商)。在一些具体实施中，条形码由物理元素的制造商和/或零售商附接到物理元素(例如，第一条形码27由沙发26的制造商或沙发26的零售商附接到沙发26)。
54.在图1g的示例中，电子设备100基于第一条形码27生成沙发26的语义标签(例如，图1c所示的第四语义标签176)。这样，电子设备100放弃对第四点云126消除歧义和基于第
四点云126生成第四语义标签176。在一些具体实施中，基于条形码生成语义标签不如基于点云生成语义标签那样资源密集。这样，基于第一条形码27生成沙发26的语义标签减少了生成语义标签所需的计算资源量和/或时间量。在一些具体实施中，电子设备100基于第二条形码29生成咖啡桌28的语义标签(例如，图1c所示的第五语义标签178)。
55.在一些具体实施中，由用户50穿戴的可头戴设备(hmd)(未示出)根据各种具体实施呈现(例如，显示)er布景10c。在一些具体实施中，hmd包括显示er布景10c的集成显示器(例如，内置显示器)。在一些具体实施中，hmd包括可头戴壳体。在各种具体实施中，头戴式壳体包括附接区，具有显示器的另一设备可附接到该附接区。例如，在一些具体实施中，电子设备100可附接到可头戴壳体。在各种具体实施中，可头戴壳体被成形为形成用于接收包括显示器的另一设备(例如，电子设备100)的接收器。例如，在一些具体实施中，电子设备100滑动/卡扣到可头戴壳体或以其他方式附接到该可头戴壳体。在一些具体实施中，附接到可头戴壳体的设备的显示器呈现(例如，显示)er布景10c。
56.图2示出了示例性设备200的框图。在一些具体实施中，设备200实现图1a至图1g所示的电子设备100。在各种具体实施中，设备200生成物理布景的语义构造252(例如，物理布景10的语义构造1000)。如图2所示，在一些具体实施中，设备200包括数据获取器210、边界表面确定器220、物理元素检测器230、语义标签确定器240和语义构造生成器250。
57.在各种具体实施中，数据获取器210获取与物理布景相对应的环境数据212(例如，图1a至图1e所示的环境数据110)。在一些具体实施中，数据获取器210以图像和/或视频的形式从相机获取环境数据212。在一些具体实施中，数据获取器210以深度数据的形式从深度传感器获取环境数据212。在一些具体实施中，数据获取器210通过扫描数据的光学机器可读表示(例如，条形码，例如，图1g所示的沙发26的第一条形码27和/或咖啡桌28的第二条形码29)来获取环境数据212。
58.在各种具体实施中，边界表面确定器220基于环境数据212确定物理布景的一个或多个边界表面。在一些具体实施中，边界表面确定器220识别物理布景中的物理表面(例如，地板、墙壁和/或天花板)。在一些具体实施中，边界表面确定器220识别与物理布景相关联的边界。在一些具体实施中，边界表面确定器220从边界数据存储库224获取边界信息226。在一些具体实施中，边界信息226指示一块地的绘制线。在此类具体实施中，边界表面确定器220确定沿着由边界信息226指示的绘制线延展的边界表面。在一些具体实施中，边界表面确定器220利用点云确定边界表面(例如，利用图1d所示的第七点云112确定物理布景10的地板12)。边界表面确定器220生成边界表面信息222并将边界表面信息222发送到语义标签确定器240。
59.在各种具体实施中，物理元素检测器230基于环境数据212检测位于物理布景内的物理元素。在一些具体实施中，物理元素检测器230利用点云检测物理布景中的物理元素(例如，利用图1c所示的第一点云118检测物理布景10中的门18)。物理元素检测器230生成物理元素信息232并将物理元素信息232发送到语义标签确定器240。
60.在一些具体实施中，物理元素检测器230对环境数据212执行实例分割以检测位于物理布景内的物理元素。为此，在一些具体实施中，物理元素检测器230包括实例分割器，该实例分割器对环境数据212执行实例分割并且生成物理元素信息232。
61.在各种具体实施中，边界表面确定器220和/或物理元素检测器230利用神经网络
分别确定边界表面和/或检测物理元素。在一些具体实施中，神经网络接收环境数据212和/或点云作为输入并且输出边界表面信息222和/或物理元素信息232。
62.在各种具体实施中，语义标签确定器240确定位于物理布景中的物理元素和/或边界表面的语义标签242。在一些具体实施中，语义标签确定器240基于分别由边界表面确定器220和/或物理元素检测器230生成的边界表面信息222和/或物理元素信息232确定语义标签242。
63.在一些具体实施中，语义标签确定器240对环境数据212执行语义分割以便确定语义标签242。为此，在一些具体实施中，语义标签确定器240包括语义分割器，该语义分割器对环境数据212执行语义分割并且基于语义分割生成语义标签242。
64.在一些具体实施中，语义标签确定器240包括神经网络，该神经网络获取边界表面信息222和/或物理元素信息232作为输入并且输出位于物理布景中的边界表面和/或物理元素的语义标签242。
65.在各种具体实施中，语义构造生成器250基于边界表面信息222、物理元素信息232和/或语义标签242生成物理布景的语义构造250。在一些具体实施中，语义构造252包括边界表面表示254(例如，图1e所示的地板12的表示1200)、物理元素表示256(例如，图1e所示的沙发表示2600和咖啡桌表示2800)以及语义标签242(例如，与沙发表示2600相关联的第四语义标签176以及与咖啡桌表示3000相关联的第五语义标签178)。
66.图3a是生成物理布景的语义构造的方法300的流程图表示。在各种具体实施中，方法300由具有非暂态存储器和与该非暂态存储器耦接的一个或多个处理器的设备(例如，图1a至图1g所示的电子设备100和/或图2所示的设备200)执行。在一些具体实施中，方法300由处理逻辑部件(包括硬件、固件、软件或它们的组合)执行。在一些具体实施中，方法300由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。
67.如框310所示，在一些具体实施中，方法300包括获取与物理布景相对应的环境数据。例如，方法300包括获取图1a至图1e所示的环境数据110和/或图2所示的环境数据212。在一些具体实施中，方法300包括在该设备处接收环境数据。在一些具体实施中，方法300包括从非暂态存储器检索环境数据。在一些具体实施中，方法300包括检测环境数据。
68.如框320所示，在一些具体实施中，方法300包括基于环境数据确定物理布景的边界表面。在一些具体实施中，方法300包括确定物理布景的物理表面(例如，真实表面)。例如，在一些具体实施中，方法300包括确定物理布景的地板(例如，图1a所示的地板12)、天花板和/或墙壁(例如，图1a所示的前壁14和/或侧壁16)。
69.如框330所示，在一些具体实施中，方法300包括基于环境数据检测位于物理布景内的物理元素。在一些具体实施中，方法300包括基于环境数据识别位于物理布景处的真实对象。例如，电子设备100检测到位于图1a所示的物理布景10处的电视机24、沙发26、咖啡桌28和电视机遥控器30。
70.如框340所示，在一些具体实施中，方法300包括基于与物理元素相对应的环境数据的至少一部分确定物理元素的语义标签。例如，电子设备100确定图1c所示的第一语义标签168、第二语义标签170等。在一些具体实施中，方法300包括生成语义标签以指示物理元素的类型。
71.如框350所示，在一些具体实施中，方法300包括基于环境数据生成物理布景的语
义构造。例如，如图1e所示，电子设备100基于环境数据110生成语义构造1000。在一些具体实施中，语义构造包括边界表面的表示。例如，如图1e所示，语义构造1000包括地板12的表示1200。在一些具体实施中，语义构造包括物理元素的表示。例如，如图1e所示，语义构造1000包括电视机24的电视机表示2400。在一些具体实施中，语义构造包括物理元素的语义标签。例如，如图1e所示，语义构造1000包括与沙发表示2600相关联的第四语义标签176。
72.参见图3b，如框310a所示，在一些具体实施中，方法300包括获取由深度传感器捕获的深度信息。例如，在一些具体实施中，图1a所示的电子设备100包括深度传感器，并且环境数据110包括深度信息。
73.如框310b所示，在一些具体实施中，方法300包括获取由图像传感器(例如，相机)捕获的图像或视频。例如，在一些具体实施中，图1a所示的电子设备100包括图像传感器，并且环境数据110包括物理布景10的图像或视频。
74.如框310c所示，在一些具体实施中，方法300包括扫描数据的光学机器可读表示(例如，条形码)。例如，如图1g所示，电子设备100扫描沙发26的第一条形码27和咖啡桌28的第二条形码29。
75.如框320a所示，在一些具体实施中，方法300包括检测物理布景中的物理表面。在一些具体实施中，方法300包括检测物理布景的地板、墙壁和/或天花板。例如，如图1d所示，电子设备100检测到物理布景10的地板12。
76.如框320b所示，在一些具体实施中，方法300包括识别与物理布景相关联的边界并且用物理布景的语义构造中的表面的表示来表示边界。如框320c所示，在一些具体实施中，方法300包括基于存储在数据存储库中的信息识别与物理布景相关联的绘制线。例如，如图2所示，边界表面确定器220从边界数据存储库224(例如，区县房地产记录)获取边界信息226(例如，绘制线的位置)。如框320d所示，在一些具体实施中，方法300包括沿着边界将墙壁的表示添加到语义构造中。
77.如框330a所示，在一些具体实施中，方法300包括对环境数据执行实例分割以便检测物理元素。例如，图2所示的物理元素检测器230对环境数据212执行实例分割以便生成物理元素信息232。
78.如框330b所示，在一些具体实施中，方法300包括识别与物理元素相关联的数据的光学机器可读表示。例如，如图1g所示，电子设备100识别附接到沙发26的第一条形码27和附接到咖啡桌28的第二条形码29。
79.参见图3c，如框340a所示，在一些具体实施中，方法300包括对与物理元素相对应的环境数据的至少一部分执行语义分割，以便确定物理元素的语义标签。例如，语义标签确定器240对环境数据212执行语义分割以便生成语义标签242。
80.如框340b所示，在一些具体实施中，方法300包括识别与物理元素相关联的一个或多个特性并且基于与物理元素相关联的该一个或多个特性选择语义标签。例如，识别出物理元素具有表面和从该表面延伸的四个杆，因此该物理元素是桌子。
81.如框340c所示，在一些具体实施中，方法300包括基于与物理元素相对应的环境数据的一部分执行图像搜索并且接收语义标签作为搜索结果。例如，方法300包括对与第一点云118相对应的环境数据110的一部分执行图像搜索并且接收指示与第一点云118相对应的环境数据110的部分表示门(例如，门18)的搜索结果。
82.如框340d所示，在一些具体实施中，方法300包括：生成包括多个点的点云，获取该多个点的相应特征向量，以及响应于该多个点满足目标置信度阈值而生成点云的语义标签。在一些具体实施中，当阈值数量的特征向量包括在一定程度的相似度内的标签值时，则所述多个点满足目标置信度阈值。例如，如图1c所示，电子设备100生成点云118、120、124、126、128和130，并且选择对应的语义标签168、170、174、176、178和180。
83.如框350a所示，在一些具体实施中，方法300包括确定物理元素的表示相对于边界表面的表示的放置。例如，电子设备100确定沙发表示2600放置在图1e所示的语义构造1000内的地板的表示1200的顶部。在一些具体实施中，方法300包括确定在语义构造内物理元素的表示的取向。例如，电子设备100确定在图1e所示的语义构造1000内沙发表示2600面向电视机表示2400。
84.如框350b所示，在一些具体实施中，方法300包括基于物理布景的语义构造生成与物理布景相对应的er布景。例如，电子设备100生成并显示图1f所示的er布景10c。在一些具体实施中，er布景包括表示物理元素的er对象。例如，er布景10c包括er沙发26c，其为物理布景10中的沙发26的er表示。
85.如框350c所示，在一些具体实施中，方法300包括将物理布景的语义构造提供给虚拟智能代理(via)，该虚拟智能代理针对表示via的er对象生成动作。例如，在一些具体实施中，图1f所示的第一er人40c由via控制(例如，第一er人40c表示via)。在此类具体实施中，via针对第一er人40c生成动作，该动作包括检测物理元素的er表示并与之交互(例如，第一er人40c坐在er沙发26c上)。
86.如框350d所示，在一些具体实施中，方法300包括将物理布景的语义构造提供给目标实现器引擎，该目标实现器引擎针对表示在er布景中实例化的目标实现器的er对象生成动作。例如，在一些具体实施中，第二er人42c是目标实现器的er表示。在此类具体实施中，目标实现器引擎针对第二er人42c生成动作，该动作包括检测物理元素的er表示并与之交互(例如，第二er人42c正在操纵er门把手20c以打开er门18c)。
87.图4是根据一些具体实施的设备400(例如，图1a所示的电子设备100和/或图2所示的设备200)的框图。尽管示出了一些具体特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，设备400包括一个或多个处理单元(cpu)401、网络接口402、编程接口403、存储器404、输入/输出(i/o)传感器405以及用于互连这些部件和各种其他部件的一条或多条通信总线406。
88.在一些具体实施中，提供了网络接口402以便除其他用途之外，在云托管的网络管理系统与包括一个或多个兼容设备的至少一个专用网络之间建立和维护元数据隧道。在一些具体实施中，该一条或多条通信总线406包括互连和控制系统部件之间的通信的电路。存储器404包括高速随机存取存储器，诸如dram、sram、ddr ram或其他随机存取固态存储器设备，并且可包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器404任选地包括与该一个或多个cpu 401远程地定位的一个或多个存储设备。存储器404包括非暂态计算机可读存储介质。
89.在一些具体实施中，i/o传感器405包括捕获物理布景的图像和/或视频的图像传感器(例如，相机)。在一些具体实施中，i/o传感器405包括捕获物理布景的深度数据的深度
传感器。
90.在一些具体实施中，存储器404或存储器404的非暂态计算机可读存储介质存储以下程序、模块以及数据结构，或者它们的子集，包括任选的操作系统408、数据获取器210、边界表面确定器220、物理元素检测器230、语义标签确定器240、语义构造生成器250。如本文所述，在各种具体实施中，数据获取器210获取与物理布景相对应的环境数据。为此，数据获取器210包括指令210a以及启发法和元数据210b。如本文所述，在各种具体实施中，边界表面确定器220确定物理布景的边界表面。为此，边界表面确定器220包括指令220a以及启发法和元数据220b。如本文所述，在各种具体实施中，物理元素检测器230基于环境数据检测位于物理布景内的物理元素。为此，物理元素检测器230包括指令230a以及启发法和元数据230b。如本文所述，在各种具体实施中，语义标签确定器240确定物理元素的语义标签。为此，语义标签确定器240包括指令240a以及启发法和元数据240b。如本文所述，在各种具体实施中，语义构造生成器250基于环境数据生成物理布景的语义构造。为此，语义构造生成器250包括指令250a以及启发法和元数据250b。
91.在各种具体实施中，虚拟智能代理(via)的er表示执行动作以满足(例如，完成或实现)via的目标。在一些具体实施中，via从操作者(例如，设备的用户)获取目标。在一些具体实施中，via的er表示(例如，表示via的er对象)从人类操作者的er表示获取目标。例如，人类操作者的er表示指示via的er表示在er布景中执行动作。这样，在一些具体实施中，via在er布景中通过操纵via的er表示来执行动作。在一些具体实施中，via的er表示能够执行人类操作者的er表示无法执行的er动作。在一些具体实施中，via的er表示基于via从物理布景中获取的信息执行er动作。例如，当via在物理布景中检测到门铃的振铃时，via的er表示轻推人类操作者的er表示。
92.在各种具体实施中，目标实现器的er表示执行动作以满足(例如，完成或实现)目标实现器的目标。在一些具体实施中，目标实现器与特定目标相关联，并且目标实现器的er表示执行动作以提高满足该特定目标的可能性。在一些具体实施中，目标实现器的er表示称为对象表示，例如，因为目标实现器的er表示表示各种对象(例如，真实对象或虚构对象)。在一些具体实施中，表示角色的目标实现器称为角色目标实现器。在一些具体实施中，角色目标实现器执行动作以实现角色目标。在一些具体实施中，表示装备的目标实现器称为装备目标实现器。在一些具体实施中，装备目标实现器执行动作以实现装备目标。在一些具体实施中，表示环境的目标实现器称为环境目标实现器。在一些具体实施中，环境目标实现器执行环境动作以实现环境目标。
93.虽然上文描述了在所附权利要求书范围内的具体实施的各个方面，但是应当显而易见的是，上述具体实施的各种特征可通过各种各样的形式体现，并且上述任何特定结构和/或功能仅是例示性的。基于本公开，本领域的技术人员应当理解，本文所述的方面可以独立于任何其他方面来实现，并且这些方面中的两个或更多个可以采用各种方式组合。例如，可以使用本文阐述的任何数量的方面来实现装置和/或可以实践方法。另外，除了本文阐述的一个或多个方面之外或者不同于本文阐述的一个或多个方面，可以使用其他结构和/或功能来实现这样的装置和/或可以实践这样的方法。
94.还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，
第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。
95.本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求书中所使用的那样，单数形式的“一个”、“一”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件，和/或其分组。
96.如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。