用于由图像识别触发的增强现实内容的回放的系统和方法与流程

1.这涉及图像内容的显示，具体地涉及增强现实视频内容的回放。


背景技术：

2.移动计算设备(诸如例如智能手机、平板计算设备等)的用户可能喜欢使用他们的移动计算设备来更了解关于用户并且计算设备正在操作的环境中的对象、实体等。移动计算设备通常包括图像传感器或相机。这些相机可以捕获计算设备操作的环境中的实体的图像。经由移动计算设备与那些实体相关的内容或体验的可用性可以改进用户体验，并且可以增强移动计算设备对用户的功能性和效用。


技术实现要素：

3.在一个通用方面中，一种计算机实施的方法可以包括：在客户端计算设备的实时取景器内捕获图像；由客户端计算设备向服务器计算设备传输查询，该查询包括图像；由客户端计算设备从服务器计算设备接收对查询的响应，该响应包括增强现实内容；以及触发用户界面屏幕在客户端计算设备上的显示，用户界面屏幕包括在轮廓内显示的增强现实内容，该轮廓由从服务器计算设备接收的响应中所包括的坐标定义。
4.在一些实施方式中，图像可以包括在客户端计算设备的实时取景器的视野内捕获的目标实体。在一些实施方式中，接收对查询的响应可以包括接收与图像中所包括的目标实体相关联的增强现实视频内容。在一些实施方式中，从服务器计算设备接收对查询的响应可以包括接收坐标，该坐标定义用于在用户界面屏幕上显示增强现实视频内容的轮廓，该轮廓对应于目标实体的外围。
5.在一些实施方式中，触发用户界面屏幕的显示可以包括：在客户端计算设备的实时取景器内显示用户界面屏幕；以及在对应于坐标的附着点处将增强现实视频内容的显示附着到目标实体，使得增强现实视频内容的显示保持附着到客户端计算设备的实时取景器内的目标实体。
6.在一些实施方式中，计算机实施的方法还可以包括：检测客户端计算设备的第一移动；响应于检测到的第一移动来移位客户端计算设备的实时取景器内的目标实体的显示；以及移位增强现实视频内容的显示以对应于目标实体在客户端计算设备的实时取景器内的移位显示位置。在一些实施方式中，检测第一移动可以包括：检测客户端计算设备的实时取景器与目标实体之间的位置、定向或距离的改变中的至少一个；并且移位增强现实视频内容的显示可以包括：改变增强现实视频内容的显示位置、显示定向或显示大小中的至少一个以相应地对应于目标实体的改变的显示位置、定向或距离。在一些实施方式中，计算机实施的方法还可以包括：检测客户端计算设备的第二移动，使得目标实体未在客户端计算设备的实时取景器内捕获；并且响应检测到的第二移动来终止增强现实视频内容的显示。在一些实施方式中，触发用户界面屏幕的显示可以包括：循环增强现实内容，直到第二移动被检测到为止，或者直到终止输入被接收到为止。
7.在一些实施方式中，触发用户界面屏幕的显示可以包括：触发显示面板和用户输入面板的显示；并且接收对查询的响应可以包括：接收增强现实视频内容以在用户界面屏幕的显示面板上显示；以及接收与目标实体相关的辅助信息，以显示在用户界面屏幕的用户输入面板上。
8.在一些实施方式中，在客户端计算设备的实时取景器内捕获图像、传输、接收和触发是在客户端计算设备上运行的应用内完成的。
9.在另一通用方面中，一种计算机实施的方法可以包括：由服务器计算设备接收来自客户端计算设备的查询，该查询包括图像；由服务器计算设备的识别引擎检测查询中所包括的图像内的目标实体；在服务器计算设备的索引数据库中，将目标实体与来自外部提供方的增强现实内容相匹配；以及将增强现实内容传输给客户端计算设备以供客户端计算设备输出。
10.在一些实施方式中，接收包括图像的查询可以包括：接收查询，该查询包括目标实体在客户端计算设备的实时取景器内捕获的图像。在一些实施方式中，检测查询中所包括的图像内的目标实体可以包括：基于由外部提供方与识别引擎链接的目标图像来标识目标实体。在一些实施方式中，将目标实体与增强现实内容相匹配可以包括：将目标实体与内容相匹配，该内容在索引数据库中由外部提供方与目标图像链接在一起。在一些实施方式中，检测目标实体可以包括：检测图像内目标实体的外围轮廓；以及沿着检测到的外围轮廓定义附着点以便定义目标实体的外围轮廓。在一些实施方式中，传输增强现实内容以供客户端计算设备输出可以包括：将附着点连同增强现实内容一起传输给客户端计算设备，以便客户端计算设备在由附着点定义的轮廓内输出增强现实内容。
11.在另一通用方面中，一种计算机可读存储介质可以存储指令，当由一个或多个处理器执行时，该指令可以使一个或多个处理器执行上述计算机实施的方法。
12.在另一通用方面中，一种客户端计算设备可以包括实时取景器、一个或多个处理器和存储指令的存储器，在由一个或多个处理器执行时，该指令可以使一个或多个处理器执行上述计算机实施的方法。
13.在另一通用方面中，一种服务器计算设备可以包括识别引擎、索引数据库、一个或多个处理器和存储指令的存储器，在由一个或多个处理器执行时，该指令使一个或多个处理器执行上述计算机实施的方法。
14.一个或多个实施方式的细节是在下面的所附附图和描述中陈述的。其他特征将通过描述和附图以及权利要求而显而易见。
附图说明
15.图1是根据本文描述的实施方式的示例性系统的框图。
16.图2a和2b是根据本文描述的实施方式的示例性物理空间的第三人称视图，其中图1所示的示例性系统的示例性客户端计算设备的实施方式是可操作的。
17.图3a至3h图示了根据本文描述的实施方式的图2a和2b所示的示例性客户端计算设备102的示例性用户界面屏幕的序列，用于显示与检测到的目标实体相关联的示例性增强现实内容。
18.图4a至4j图示了根据本文描述的实施方式的图2a和2b所示的示例性客户端计算
设备102的示例性用户界面屏幕的序列，用于显示与检测到的目标实体相关联的示例性增强现实内容和辅助信息。
19.图5是根据本文描述的实施方式的访问和显示与目标实体相关联的增强现实内容的示例性方法的流程图。
20.图6是根据本文描述的实施方式的处理视觉内容查询以提供与检测到的目标实体相关联的示例性增强现实内容和辅助信息的示例性方法的流程图。
21.图7a至7d图示了根据本文描述的实施方式的各种材料内的目标图像的标识。
22.图8a至8f图示了根据本文描述的实施方式的图2a和2b所示的示例性客户端计算设备102的示例性用户界面屏幕的序列，用于显示示例性增强现实内容。
23.图9是根据本文描述的实施方式的将目标图像和增强现实内容链接到示例性服务器计算设备的示例性方法的流程图。
24.图10是可以被用于实施本文描述的技术的示例性计算设备和移动计算设备的示意图。
25.现在将详细参照本公开的非限制性示例，其示例在所附附图中图示。示例在下面通过参照附图来描述，其中相同的附图标记指代相同的元件。当相同的附图标记被示出时，对应的描述不被重复，并且感兴趣的读者参照先前讨论的附图来描述相同的元件。
具体实施方式
26.根据本文描述的实施方式的系统和方法可以允许用户响应于启用实体在移动计算设备的相机视图中的标识而相对快速且相对容易地访问和体验增强现实(ar)内容，包括动态ar内容。根据实施方式的系统和方法可以允许提供方以相对简单的方式将包括动态ar内容的ar内容附着到可标识的启用实体。具体地，本公开描述了基于在移动计算设备的相机视图内捕获和/或标识的视觉内容来简化包括动态ar内容的ar内容的标识和呈现的技术改进。在一些实施方式中，本文描述的系统和方法可以生成与在移动计算设备的相机视图中标识的启用实体相关的ar内容(包括动态ar内容)的索引。在一些实施方式中，ar内容的该索引可以允许用户通过在移动计算设备上运行的单个应用经由设置在世界各地的网络可访问资源(例如网页)来访问ar内容。因此，根据本文描述的实施方式的系统和方法可以允许用户使用移动计算设备，以在遇到物理图像和对象时使用单个应用而不是特定于遇到的图像、物体等的多个单独下载应用来更多地了解物理图像和对象。这可以允许用户消费内容丰富的信息和/或体验与图像及其周围的对象的实时交互，否则将难以和/或不切实际地浓缩(condense)到物理介质中，和/或否则将难以和/或不切实际地在实时交互式体验中提供。
27.例如，在一些实施方式中，客户端计算设备(诸如例如智能手机、平板计算设备等)可以例如在客户端计算设备的图像传感器或相机的视野或取景器内捕获实体的图像。客户端计算设备可以基于图像向服务器计算设备传输查询，例如视觉内容查询。响应于接收到查询，服务器计算设备可以将查询中的图像与索引数据库相匹配。
28.在根据本文描述的实施方式的系统和方法中，图像与索引数据库中的内容的匹配由服务器计算设备而不是客户端计算设备完成。在这种情况下，服务器侧图像识别可以由服务器计算设备执行，用于标识或识别(从客户端计算设备接收的)查询中所包括的图像，
并且随后将识别/标识的图像与索引数据库中保存的索引内容相匹配。例如，在一些实施方式中，可以由服务器计算设备在识别和/或标识目标实体中使用的来自图像的数据可以包括使用例如光学字符识别从图像中提取的文本、从图像中的条形码、qr码等读取的值、图像中标识的实体、产品或实体类型的标识符或描述以及其他这种信息。在这种情况下，这种类型的服务器侧图像识别可以提供优于客户端侧图像识别的优点，客户端侧图像识别可以替代地由客户端计算设备经由例如在客户端计算设备上本地运行的应用在本地执行。例如，实际上可以被嵌入在客户端计算设备上运行的应用内的多个图像自然会受到可用存储空间量、可用于索引和处理图像的计算能力等的限制。类似地，在一些情况下，客户端侧图像识别可能依赖于在客户端计算设备上单独操作的大量不同应用的使用，这取决于图像中捕获的实体(例如特定类型的主题、特定场地等)。相反，服务器侧图像识别可以提供对大量索引图像的访问，例如理论上无限数量的索引图像可由服务器计算设备通过单个应用访问，而不管图像中捕获的实体如何。
29.基于图像与索引数据库的匹配或标识，服务器计算设备可以向客户端计算设备传输内容，例如增强现实内容。例如，在一些实施方式中，增强现实内容可以由网络可访问资源提供，诸如例如被识别/标识的目标实体索引或与其相关联的网页。在一些实施方式中，增强现实内容可以包括要在客户端计算设备的显示器上显示的移动图像内容或视频内容。从服务器计算设备传输给客户端计算设备的增强现实内容可以基于在图像中捕获并且与索引数据库相匹配的实体的识别和/或标识，使得内容与图像中捕获的实体密切关联和/或具体关联。
30.例如，在涉及客户端侧图像识别或客户端侧图像检测的情况下，图像将被预先下载到客户端计算设备102，从而创建实际可用的图像数量的自然最大值以用于标识/识别过程(例如由客户端计算设备102的可用存储容量和其他这种因素驱动)。执行服务器侧图像识别(即由服务器计算设备170)而不是客户端侧图像识别(即由客户端计算设备102)提供了更精确的图像识别和区分看起来类似的图像的能力，因为图像索引的规模远大于客户端计算设备102上实际可能的规模(即，以十亿为单位测量)。在一些实施方式中，在服务器计算设备170上(而不是在本地，在客户端计算设备102上)存储和维护这个庞大的图像索引可以允许图像索引相对快速且动态地更新，而不会由于同步频繁影响客户端计算设备102的网络、存储等。在服务器侧完成该任务可以允许图像识别被准确地完成，交叉触发相对较少，并且时延相对较低。进一步地，在服务器侧完成该任务时，服务器计算设备170可以标识图像内的目标实体，标识对应的坐标，并且将该信息传输给客户端计算设备102，使得只有由坐标标识的目标实体被追踪(例如而不是整个图像)，从而减少资源消耗。
31.在一些实施方式中，在处理查询(从客户端计算设备传输给服务器计算设备)时，服务器计算设备可以检测图像中捕获的目标实体的界限或外围轮廓或外围作为识别/标识过程的一部分。例如，在一些情况下，目标实体可以具有大致正方形或大致矩形的外围或外围轮廓。在该示例性实施方式中，增强现实内容(例如视频内容)从服务器计算设备到客户端计算设备的传输可以包括定义与图像内的目标实体相关联的四边形的坐标。因此，随着视频内容与在取景器内捕获的目标实体一起在例如客户端计算设备的实时取景器上播放，当视频内容在客户端计算设备的实时取景器内播放时，视频内容可以看起来被附着到目标实体。即，随着用户移位客户端计算设备的位置，实时取景器内的目标实体的位置可能相应
地移位，并且增强现实视频内容的显示位置可能与目标实体一起移位。通过这种方式，目标实体可能会随着视频内容的播放而变得栩栩如生，从而增强用户对增强现实内容的体验。
32.在一些实施方式中，即使在用户移动和/或改变客户端计算设备的位置和/或定向时，视频内容也可以在客户端计算设备的取景器内保持附着到目标实体，以进一步增进增强现实内容的逼真外观。在一些实施方式中，响应于检测到客户端计算设备的移动使得目标实体不再在客户端计算设备的视野内捕获和/或在客户端计算设备的取景器上可见，视频内容的回放可以被终止。在一些实施方式中，视频内容可以继续播放或循环，直到目标实体不再在客户端计算设备的视野内捕获和/或在客户端计算设备的取景器上可见为止，和/或直到由用户终止为止。在一些实施方式中，从服务器计算设备提供给客户端计算设备的增强现实内容可以向用户提供对与目标实体相关的附加信息的访问。
33.图1是根据本文描述的实施方式的用于回放增强现实内容的系统100的框图。在一些实施方式中，系统100可以包括客户端计算设备102、服务器计算设备170(例如搜索服务器)和提供方资源180(例如一个或多个数字补充服务器)。还示出了网络190，客户端计算设备102、服务器计算设备170和提供方资源180可以通过该网络进行通信。
34.在一些实施方式中，系统100可以包括客户端计算设备102，客户端计算设备102包括处理器组件104、通信模块106、显示设备108、传感器系统110和存储器120。在一些实施方式中，存储器120可以包括一个或多个非瞬态计算机可读存储介质。存储器120可以存储可由客户端计算设备102使用以实施本文描述的技术的指令和数据。在一些实施方式中，处理器组件104可以包括能够执行指令的一个或多个设备，诸如由存储器120存储的指令。例如，在一些实施方式中，处理器组件104可以包括中央处理单元(cpu)和/或图形处理器单元(gpu)。在一些实施方式中，传感器系统110可以包括各种传感器，诸如例如相机组件112、惯性测量单元(imu)114、全球定位系统(gps)接收器116和其他传感器，包括例如光传感器、音频传感器、图像传感器、距离和/或接近度传感器、诸如电容传感器等接触传感器、定时器和/或其他传感器和/或传感器的不同组合。在一些实施方式中，客户端计算设备102是移动设备(例如智能手机、平板计算设备等)。
35.相机组件112可以捕获接近客户端计算设备102的物理空间的图像，包括例如在相机组件112的视野或取景器内可见的目标实体。在一些实施方式中，由相机组件112捕获的图像可以被用于确定客户端计算设备102在物理空间内和/或相对于目标实体等的地点和/或定向。
36.在一些实施方式中，imu 114可以检测客户端计算设备的运动、移动和/或加速度。imu 114可以包括各种不同类型的传感器，诸如例如加速度计、陀螺仪、磁力计和其他这种传感器。客户端计算设备102的定向可以基于由imu 114和/或gps接收器116提供的数据来检测和追踪。
37.在一些实施方式中，存储器120可以包括可用于在客户端计算设备102上执行的一个或多个应用140。在一些实施方式中，设备定位系统142可以基于例如由传感器系统110提供的数据来确定客户端计算设备102的位置。
38.在一些实施方式中，客户端计算设备102可以通过网络190与服务器计算设备170通信(例如经由客户端计算设备102的通信模块106和服务器计算设备170的通信模块176)。例如，客户端计算设备102可以将由相机组件112捕获的图像发送给服务器计算设备170。服
务器计算设备170可以使用例如识别引擎172标识图像内的目标实体，并且可以访问索引数据库174以标识与目标实体相关联的内容，例如增强现实内容。在一些实施方式中，所标识的目标实体与索引数据库174中的关联增强现实内容的索引可以指向由网络可访问资源180提供的内容，诸如例如提供方网站180或提供方网页180。众多提供方资源180(即提供方资源1801到180n)可以经由网络190与服务器计算设备170和/或客户端计算设备102通信。与目标实体相关联的内容——例如增强现实内容等(包括例如增强现实视频内容)——可以经由提供方网页180访问，以在客户端计算设备102的显示设备108上显示。
39.在一些实施方式中，客户端计算设备102可以以诸如智能手机、平板计算设备、手持式控制器、膝上型计算设备等移动计算设备的形式来实施。在一些实施方式中，客户端计算设备102可以以可穿戴设备的形式实施，诸如例如头戴式显示设备(hmd)。在一些实施方式中，hmd可以是与客户端计算设备102分离的设备。在一些实施方式中，客户端计算设备102可以与hmd通信。例如，在一些实施方式中，客户端计算设备102可以将视频信号和/或音频信号发送给hmd以输出给用户，并且hmd可以将运动、位置和/或定向信息传输给客户端计算设备102。
40.图2a和2b是用户在示例性物理环境1000中遇到示例性目标实体200或示例性目标图像200的第三人称视图。在图2a和2b所示的示例中，示例性目标实体200是基本上平面的目标实体200或目标图像200。在图2a和2b所示的示例中，只是为了便于讨论和图示，示例性客户端计算设备102是手持式设备102，并且本文要描述的原理可以被应用于上面陈述的其他类型的客户端计算设备。
41.当用户接近示例性目标实体200时，目标实体200在客户端计算设备102的相机组件112的视野204内。示例性目标实体200(在该示例中为杂志的形式)在相机组件112的取景器内捕获，并且经由示例性用户界面屏幕206对用户可见，如图2b所示。例如，用户界面屏幕206可以被显示在客户端计算设备102的显示设备108上。在一些实施方式中，用户界面屏幕206可以包括图像显示面板208。在一些实施方式中，用户界面屏幕206还可以包括用户输入面板210。在一些实施方式中，用户输入面板210可以提供与图像显示面板208中显示的内容的用户交互。在图2b所图示的示例中，图像显示面板208显示对应于来自客户端计算设备102的相机组件112的实时馈送的图像。
42.图3a至3h图示了根据本文描述的实施方式的可以由客户端计算设备102在检测目标实体或目标图像、基于目标实体进行视觉内容搜索以及显示与检测到的目标实体相关联的增强现实内容(例如增强现实视频内容)时显示的示例性用户界面屏幕序列。在一些实施方式中，图3a至3h所示的示例性用户界面屏幕序列和增强现实内容(例如增强现实视频内容)的示例性显示可以在客户端计算设备102上运行的应用内显示。
43.如相对于图2a和2b描述的，当目标实体200在客户端计算设备102的相机组件112的视野204内时，目标实体200可以经由用户界面屏幕206的显示面板208对用户可见，如图3a和3b所示。客户端计算设备102可以向服务器计算设备170传输图像帧，诸如例如显示在图3b所示的显示面板208上的图像。响应于从客户端计算设备102(例如从客户端计算设备102上运行的应用)接收到图像帧，服务器计算设备170的识别引擎172可以识别或标识目标实体200。服务器计算设备170然后可以将标识的目标实体200与索引数据库174中的关联内容相匹配。在一些实施方式中，关联内容与目标实体200的匹配可以将服务器计算设备170
引导到提供方资源180以访问关联内容。关联内容(例如增强现实内容，具体地增强现实视频内容)然后可以被传输给客户端计算设备102，以在用户界面的显示面板208上显示。
44.如上所述，在一些实施方式中，在标识目标实体200时，服务器计算设备170的识别引擎172可以分析来自图像的数据，包括例如从图像中提取的文本、从条形码、qr码等读取的值、标识符或描述、产品和其他实体和信息、存储在索引数据库中的对照信息。
45.在一些实施方式中，在分析图像并且标识目标实体200时，服务器计算设备170可以识别或标识目标实体200的边界或外围或轮廓或形状。例如，在图2a至3h所图示的示例性实施方式中，只是为了讨论和图示的目的，目标实体200具有基本上为矩形的外围。在该示例中，增强现实视频内容到客户端计算设备102的传输或流式传输可以包括用于显示增强现实内容的一个或多个附着点的定义。
46.在图3b所示的示例中，目标实体200基本上是平面的，并且由基本上矩形的外部外围或轮廓定义。因此，在该示例中，服务器计算设备170可以通过图3b所示的四个示例性点220或附着点220(220a、220b、220c和220d)来标识、检测或定义目标实体200的界限。在一些实施方式中，增强现实内容可以连同附着点220一起被传输或流式传输给客户端计算设备102。这可以允许增强现实内容在用户界面屏幕206的显示面板208上显示或播放，其中增强现实内容(例如增强现实视频内容)在附着点220处保持连接至目标实体200。通常，例如客户端计算设备102适用于触发增强现实内容在轮廓内的显示，该轮廓借助于用户界面屏幕206由从服务器计算设备170接收的响应中所包括的坐标定义。坐标可以是例如附着点220。在一些实施方式中，这可以允许增强现实内容保持连接至目标实体200，即使在用户移动客户端计算设备102时，只要目标实体200保持在客户端计算设备102的相机组件112的视野中或取景器内即可。通过这种方式，增强现实内容可以保持在目标实体200的框架内，并且与目标实体一起移动，从而看起来使目标实体200动画化，或者生成目标实体200已经栩栩如生的印象。在一些实施方式中，如果客户端计算设备102被移动使得目标实体200不再在客户端计算设备102的相机组件的视野或取景器内捕获，则增强现实体验可以被终止。
47.例如，返回到图3a至3h，增强现实内容300(例如增强现实视频内容300)可以与上述附着点220一起被传输给客户端计算设备102。增强现实内容300可以在由附着点220定义的目标实体220的界限或框架内播放，如图3c至3e所示，而目标实体200保持在客户端计算设备102的相机组件112的视野或取景器内。具体地，图3d至3g图示了当客户端计算设备102的相机组件112和目标实体200之间的相对位置、定向、距离相隔等改变时，在目标实体200的界限或框架内播放的增强现实视频内容300。如图3h所示，当目标实体200不再在客户端计算设备102的相机组件112的视野或取景器内捕获时，增强现实体验被终止，并且在客户端计算设备102的相机组件112的视野内捕获的现实世界元素在显示面板208上可见，如图3h所示。即，当目标实体200不再在客户端计算设备102的相机组件112的视野或取景器内捕获时，增强现实内容300不再播放，如图3h所示。
48.出于讨论和图示的目的，在图3a至3h所示的示例性实施方式中，用户界面屏幕206包括与显示面板208一起显示的用户输入面板210。在一些实施方式中，用户界面屏幕206可以包括显示面板208和用户输入面板210两者，其布置方式与图3a至3h所示的示例性布置不同。在一些实施方式中，用户界面屏幕206可以仅包括显示面板208。在一些实施方式中，其他类型的注释或补充信息可以在显示面板208上显示。
49.图3a至3h及其所附描述呈现了示例性实施方式，其中增强现实视频内容300被应用于期刊的封面(在该示例中为目标实体200)，使得期刊的封面看起来动画化，或变得栩栩如生。以这种方式对期刊封面的动画化可以例如将用户的注意力吸引到期刊和/或专题封面故事中所包括的信息、特征等，从而使用户体验期刊，激起用户的兴趣，鼓励用户进一步探索等。图4a至4j呈现了不同的示例性实施方式，其中增强现实内容可以被应用于目标实体，以使用户参与或沉浸在例如购物体验中，其中用户可以与增强现实内容(在现实世界空间中的目标实体上播放)接涉以在与目标实体相关的屏幕空间或虚拟空间中采取更深入的动作，以访问与目标实体相关的附加信息等。
50.图4a至4j图示了根据本文描述的实施方式的可以由客户端计算设备102在检测目标实体200或目标图像200，基于目标实体进行视觉内容搜索以及显示与检测到的目标实体相关联的增强现实内容(例如增强现实视频内容)时显示的示例性用户界面屏幕206的序列。在一些实施方式中，图4a至4j所示的用户界面屏幕206的示例性序列和增强现实内容的示例性显示可以在客户端计算设备102上运行的应用内显示。
51.在客户端计算设备102上运行的应用内，图4a所示的示例性用户界面屏幕206可以由客户端计算设备102显示，表示在客户端计算设备102的相机组件112的视野或取景器内捕获的现实世界对象。在该相机视图中，目标实体200在客户端计算设备102的相机组件112的视野204内，因此目标实体200经由用户界面屏幕206的显示面板208对用户可见。客户端计算设备102可以向服务器计算设备170传输与图4a所示的显示面板208上显示的图像相对应的图像帧。响应于从客户端计算设备102接收到图像帧，服务器计算设备170的识别引擎172可以识别或标识目标实体200，并且可以将标识的目标实体200与索引数据库174中的关联内容相匹配。在一些实施方式中，关联内容与目标实体200的匹配可以将服务器计算设备170引导到提供方资源180以访问关联内容。包括增强现实内容的关联内容可以被传输给客户端计算设备102，以在用户界面屏幕206的显示面板208上显示。
52.如上所述，在分析图像并且标识目标实体200时，服务器计算设备170可以识别或标识目标实体200的边界或外围或轮廓或形状或框架，并且可以定义一个或多个附着点220，该附着点220又可以定义增强现实内容可以被显示的框架。
53.如图4b所示，在一些实施方式中，当图像从客户端计算设备102传输给服务器计算设备170时，指示符225可以被显示在显示面板208上，服务器计算设备170执行上述识别和匹配，并且增强现实内容被传输给客户端计算设备102。指示符225可以向用户提供目标实体200可以是具有可用的关联增强现实内容的启用目标实体200并且识别、匹配和传输过程正在被执行的视觉指示，。在图4b所示的示例中，指示符225是条形形式的视觉指示符，例如进度条，沿着目标实体200的外围前进。
54.在图4a和4b所示的示例中，目标实体200基本上是平面的，并且由基本上矩形的外部外围或轮廓或框架定义。因此，在该示例中，服务器计算设备170可以通过四个示例性附着点220来标识或检测或定义目标实体200的界限，并且增强现实内容可以连同附着点220被传输或流式传输给客户端计算设备102。这可以允许增强现实内容在用户界面屏幕206的显示面板208上显示或播放，即使在用户移动客户端计算设备102时，增强现实内容仍然在附着点220处连接至目标实体200，只要目标实体200保持在客户端计算设备102的相机组件112的视野或取景器内即可。
55.图4c至4g图示了传输给客户端计算设备102并且在客户端计算设备102上运行的应用内显示在用户界面屏幕206的显示面板208上的增强现实视频内容的顺序显示。在该示例中，增强现实视频内容300包括与识别或标识的目标实体200相关联的鞋形式的产品350的虚拟表示。如图4c至4g所示，在该示例中，产品350的虚拟表示进入显示面板208，移动到显示面板208的中心部分，并且旋转，使得用户可以例如查看产品350的各种特征。图4c至4g是静态图示，旨在表示产品350对应于动画的顺序移动。
56.在一些实施方式中，用户可以选择在查看增强现实内容300的呈现期间或之后访问附加信息，或者进一步移动到体验中。在一些实施方式中，用户可以例如通过轻敲目标实体或轻敲增强现实内容300的一部分或与用户输入面板210的一部分交互来进一步移动到基于屏幕的体验中。例如，在图4i所示的示例性实施方式中，轻敲在用户输入面板210中提供的快门按钮211或轻敲显示面板208上显示的产品350的渲染图像可以将用户重引导到包括到产品相关信息的链接的信息页面360，如图4j所示。
57.如上面提到的，当目标实体200不再在客户端计算设备102的相机组件112的视野或取景器内捕获时，增强现实体验可以被终止，并且在客户端计算设备102的相机组件112的视野内捕获的现实世界元素可以在显示面板208上可见。同样如上面提到的，图4a至4j所示的示例性实施方式，出于讨论和图示的目的，用户界面屏幕206包括与显示面板208一起显示的用户输入面板210。在一些实施方式中，用户界面屏幕206可以包括显示面板208和用户输入面板210两者，其布置方式与该示例性实施方式不同。在一些实施方式中，用户界面屏幕206可以仅包括显示面板208。在一些实施方式中，其他类型的注释或补充信息可以在显示面板208上显示。
58.如相对于上述示例性实施方式提到的，显示面板208上显示的增强现实内容可以是基于标识的附着点220在目标实体200的轮廓或框架内拟合的增强现实视频内容300，如上所述。在一些实施方式中，增强现实视频内容可以基本上连续播放，并且重复或循环，直到增强现实体验被终止为止。在一些实施方式中，增强现实内容300可以自动播放，而无需单独的用户输入来发起增强现实内容300的回放。在一些实施方式中，增强现实内容300可以自动循环，而无需单独的用户输入选择重播增强现实内容300。在一些实施方式中，增强现实视频内容300可以包括可与增强现实视频内容300一起播放的音频内容。在一些实施方式中，关联音频内容的回放可以被静音，并且可以响应于启用音频内容回放的用户选择来启用。
59.在一些实施方式中，显示面板208上显示的增强现实内容可以是基于标识的附着点220在目标实体200的轮廓或框架内渲染和显示的图形交换格式(gif)。在一些实施方式中，增强现实gif内容可以自动播放，而无需单独的用户输入来发起增强现实gif内容的回放。在一些实施方式中，增强现实gif内容可以自动循环，而无需单独的用户输入选择增强现实gif内容的重播。
60.在一些实施方式中，显示面板208上显示的增强现实内容可以是基于标识的附着点220在目标实体200的轮廓或框架内渲染和显示的超文本标记语言(html)格式。在一些实施方式中，增强现实html内容可以自动播放，而无需单独的用户输入来发起增强现实html内容的回放。在一些实施方式中，增强现实html内容可以自动循环，而无需单独的用户输入选择增强现实html内容的重播。
61.上述示例性系统和方法可以为用户提供与他们的直接环境紧密连接并且通过例如运行在客户端计算设备102上的单个应用易于访问的引人入胜的增强现实体验，其具有相对最少的用户输入。这些引人入胜的增强现实体验可能相对较短，但反过来可能会吸引用户与产品、服务和其他类型的信息进行更长时间、更广泛的交互。
62.图5是根据本文描述的实施方式的由客户端计算设备执行的示例性方法500的流程图。在一些实施方式中，示例性方法500可以在客户端计算设备上运行的应用内执行。为了便于描述，示例性方法500将相对于在示例性系统100内操作的客户端计算设备102来描述，如上面相对于图1至4j讨论的。
63.例如，图像可以在客户端计算设备102的相机组件112的视野或取景器内捕获(框502)。如上所述，图像可以包括用户感兴趣的目标实体。查询(例如包括图像的视觉内容查询)可以从客户端计算设备102传输给服务器计算设备170(框504)，以供服务器计算设备170处理(将在下面相对于图6描述)。客户端计算设备102可以从服务器计算设备170接收对视觉内容查询的响应。该响应可以标识与在视觉内容查询中所包括的图像内捕获的目标实体相关的增强现实内容(框506)。响应于接收到包括增强现实内容的响应，客户端计算设备102可以对显示增强现实内容的用户界面屏幕进行显示(框508)。在一些实施方式中，响应于接收到对查询的响应，客户端计算设备102可以显示还包括用户可致动控件的用户界面屏幕(框508)。响应于检测到对用户可致动控件中的一个用户可致动控件的用户致动(框510)，客户端计算设备102可以访问与增强现实内容相关的附加信息，并且可以输出附加信息以供用户消费(框510)。示例性方法500可以继续被执行，直到确定体验已经被终止为止(框514)。体验的终止可以响应于例如检测到目标实体不再在客户端计算设备102的相机组件112的视野或取景器内捕获、检测到的用户输入等来检测。
64.图6是根据本文描述的实施方式的由服务器计算设备执行的示例性方法600的流程图。为了便于描述，示例性方法600将相对于在示例性系统100内操作的服务器计算设备170来描述，如上面相对于图1至4j讨论的。
65.服务器计算设备170可以从客户端计算设备102接收查询，例如视觉内容查询(框602)。查询可以包括在客户端计算设备102的相机组件的视野或取景器内捕获的图像。在查询中接收的图像可以包括客户端计算设备102的用户感兴趣的目标实体。查询中所包括的图像可以由服务器计算设备170的识别引擎172处理，以识别或标识在查询中所包括的图像中捕获的目标实体(框604)。服务器计算设备170的索引数据库可以被访问，以将标识或识别的目标实体与关联于标识的目标实体的提供方资源180相匹配(框606)。提供方资源可以提供对例如与目标实体相关的增强现实内容、与目标实体相关的附加信息等的访问。增强现实内容和附加信息可以被传输给客户端计算设备102，以供客户端计算设备102输出并且供用户消费(框610)。
66.根据本文描述的实施方式的系统和方法可以通过简化用于建立、更新和维护服务器计算设备170的索引数据库174和提供方资源180之间的链接的过程来促进对内容(例如增强现实内容)的访问，该过程提供对增强现实内容和与通过在索引数据库174中匹配而标识的目标实体相关的关联信息的访问。
67.示例性提供方资源180可以包括例如博物馆、商店、期刊出版商、餐馆、运输提供方、教育资源和无数其他资源提供方。通常，这些提供方中的每个提供方通常会创建、维护、
更新和服务他们自己的、相应的单独程序，以向用户提供与其单独产品和服务相关的内容。反过来，用户通常必须下载、注册和启动具体提供方的应用，才能访问特定于该提供方的内容和信息。在根据本文描述的实施方式的系统和方法中，由无数不同的提供方资源提供的内容和信息可以通过在客户端计算设备102上运行的单个应用来访问，从而消除对特定于单独提供方的多个单独应用的需要。上述增强现实视频内容的这种显示可以增强用户体验，并且上述通过单个应用(而不是通过多个单独应用)的增强现实内容和相关信息的可用性可以简化用户体验，从而改进用户满意度。
68.在一个示例中，例如博物馆形式的资源提供方180可能希望将内容(例如增强现实内容)链接在图1所示的示例性系统100的服务器计算设备170的索引数据库174中，使得用户可以通过在客户端计算设备102上运行的单个应用容易地访问与博物馆相关的内容和信息。在一些实施方式中，内容和信息可以包括例如与博物馆内展品相关的增强现实视频内容，其中展品似乎栩栩如生，以激起用户对展品的兴趣，并且使用户进一步深入研究也可以通过单个应用访问的相关信息，这可能会导致参观博物馆。在一些实施方式中，内容和信息可以包括例如博物馆的地点、到博物馆的方向、停车信息、公共交通信息、营业时间、入场信息、旅游信息等。
69.在该示例中，与博物馆相关联的内容创建者可以将相关信息替代地链接到服务器计算设备170，以供用户通过单个应用访问，而不是创建、维护、服务和更新特定于提供方(在该示例中为博物馆)的应用。在一些实施方式中，为了实现这一点，与提供方相关联的创建者可以例如创建被链接到服务器计算设备170的索引数据库174的简单网页。在一些实施方式中，链接到索引数据库174的网页可以包括例如到目标图像的链接、到增强现实内容(与目标图像相关联)的链接以及到附加信息的链接(如果需要)。以这种方式链接的提供方的目标图像可以与从客户端计算设备102接收的视觉内容查询中所包括的图像相匹配，以识别或标识目标实体，以定位关联的增强现实内容，以定位相关信息等。在该示例中，以这种方式将这些链接简单地上传到服务器计算设备170可以允许提供方的体验通过单个应用推出，而不需要专门为提供方开发应用。类似地，图像、内容、信息等可以通过简单地更新提供方网页中所包括的链接来简单快速地更新。
70.例如，提供方可以如上所述创建网页，或者将相对简单的标记添加到现有网站，以将内容链接到上述服务器计算设备170，使得内容、信息等可以通过运行在客户端计算设备102上的单个应用被用户访问。创建者可以将图像指定为目标图像，并且可以在链接到服务器计算设备170的网页中提供到指定目标图像的链接。然后创建者可以提供与指定目标图像相关联的增强现实内容的链接。这一点的示例在图7a至8g中示出，其中示例性提供方180是自然历史博物馆。
71.在该示例中，提供方180(即，博物馆)可以具有与塞伦盖提平原的大型猫科动物相关的展览。提供方180可能希望将内容(例如增强现实视频内容)链接到与该展览相关的一个或多个目标实体(例如小册子中、海报上等的图像)，使得实体在由用户遇到时栩栩如生，激起用户的兴趣，并且吸引参观者参观展览。如图7a所示，目标图像710可以由提供方180指定。目标图像710可以存在于一个或多个地点中，这些地点对于具有在客户端计算设备102上可用的应用的用户来说是可访问的。例如，如图7b至7d所示，目标图像710可以出现在博物馆外的各个地点可用的小册子720(印刷或数字)、在博物馆外的地点显示的海报730、在
博物馆内显示的标语牌740等内。出于讨论和图示的目的，包括图7b至7d所示的目标图像710的材料在本质上仅仅是示例性的。目标图像710可以被包括在用户可能遇到的任何数量的不同类型的材料中，并且这将允许目标图像在客户端计算设备102上的应用内运行的相机组件112的视野内捕获。
72.如上面提到的，创建者(与提供方180相关联，即，该示例中的博物馆)可以在简单网页中提供到指定目标图像710的链接，或者链接到服务器计算设备170。创建者还可以提供与指定目标图像710相关联的增强现实内容的链接，以存储在索引数据库中，并且由服务器计算设备170的索引数据库174在将增强现实内容与识别的目标实体相匹配时使用。示例性网页的样本脚本在下面示出。
73.通过这种方式，创建者可以相对快速且相对容易地指定目标图像710，并且将目标图像710链接到增强现实内容，使得服务器计算设备170可以识别从客户端计算设备102接收到的图像内的目标图像710，并且将目标图像710与索引数据库174中链接的增强现实内容相匹配，以便在客户端计算设备上回放而无需进一步的用户干预。
74.例如，如图8a所示，小册子720可以在客户端计算设备102上的应用内运行的相机组件112的视野或取景器内捕获。客户端计算设备102可以将小册子的图像帧传输给服务器计算设备170，并且识别引擎172可以将图像内的目标实体200与上述由提供方180链接的目标图像710相匹配。基于在(在客户端计算设备102的取景器内捕获的小册子720的)图像内检测到的目标实体200与由提供方180链接的目标实体710的匹配，关联的增强现实内容300可以使用索引数据库174标识。增强现实内容300可以在由客户端计算设备102显示的用户界面屏幕206上播放，如图8b至8f所示。如上所述，在一些实施方式中，增强现实内容300可以连同指定的附着点一起被传输给客户端计算设备102，这些附着点将增强现实内容附着到客户端计算设备102的取景器内的目标实体200，因此当增强现实内容被播放时，目标实体200似乎动画化或栩栩如生。
75.通过这种方式，创建者或开发者可以以相对简单且相对快速的方式将目标图像和相关内容(例如增强现实内容(代表资源提供方180))链接到服务器计算设备170。链接的目标图像和内容可以通过指定网页内的简单替换链接相对快速且容易地更新。这可以允许许多不同的资源提供方180经由在客户端计算设备102上运行的单个应用使内容全局可访问。
76.在图9所示的对应示例性方法中，目标图像可以被标识(框902)，如上面相对于图7a至7d描述的。目标图像可以与服务器计算设备的识别引擎链接(框904)，用于识别或标识由客户端计算设备102提供的图像帧内的目标实体。目标图像还可以通过服务器计算设备的索引数据库链接到内容，例如增强现实内容(框906)。在标识或识别目标实体后，增强现实内容可以经由索引数据库取回，并且传输给客户端计算设备。
77.在根据本文描述的实施方式的上述系统和方法中，增强现实内容可以替换(例如虚拟地替换)对应的目标实体。在上述特定示例实施方式中，根据本文描述的实施方式的系统和方法可以允许二维(2d)增强现实内容虚拟替换2d平面目标图像，以例如创建2d平面目标图像的动画的外观，使得平面目标图像看起来栩栩如生。增强现实内容可以以这种方式被应用于任何启用的目标实体，即，在服务器计算设备的索引数据库中的匹配以及对关联增强现实内容(例如来自提供方资源)的访问可用的任何目标实体。根据本文描述的实施方式的系统和方法可以在客户端计算设备上运行的单个应用内实施。该单个应用可以促进以
这种方式为任何数量的不同实体而不是不同实体中的每个不同实体以其他方式需要的多个独立应用提供增强现实内容。
78.在一些实施方式中，视频内容形式的增强现实内容可以被认为是供用户消费的最终产品。例如，响应于包括电影海报(其中电影海报/电影是目标实体)的视觉内容查询而提供的电影预告片形式的增强现实内容可以是用户期望的最终产品。在一些实施方式中，用户可以寻求与电影(即，目标实体)相关联的附加信息，诸如例如评论、放映时间、地点、定价、购票选项等。无论增强现实视频内容是用户期望的最终产品，还是仅仅是将用户吸引到主要内容中的沉浸式工具，根据本文描述的实施方式的系统和方法都可以提供简单的
79.上述各种示例性实施方式只是为了便于讨论和图示提供。根据本文描述的实施方式的系统和方法可用于任何数量的不同类型的应用，诸如例如生活期刊(即，书籍、杂志、报纸等)、生活产品包装、生活广告、生活购物、生活娱乐(即，电影、艺术品、旅游、游戏、导航等)、生活教育材料、生活通信以及许多其他这种企业。
80.图10示出了计算机设备1300和移动计算机设备1350的示例，它们可以与本文描述的技术一起使用(例如以实施客户端计算设备102、服务器计算设备170和提供方资源180)。计算设备1300包括处理器1302、存储器1304、存储设备1306、连接至存储器1304和高速扩展端口1310的高速接口1308以及连接至低速总线1314和存储设备1306的低速接口1312。部件1302、1304、1306、1308、1310和1312中的每个部件都使用各种总线互连，并且都可以被安装在公共主板上或者以其他方式适当地安装。处理器1302可以对在计算设备1300内执行的指令进行处理，包括存储在存储器1304中或者存储设备1306上以在外部输入/输出设备(诸如耦合至高速接口1308的显示器1316)上显示gui的图形信息的指令。在其他实施方式中，视情况而定，多个处理器和/或多个总线可以与多个存储器和存储器类型一起使用。而且，多个计算设备1300可以被连接，每个设备都提供部分必要的操作(例如作为服务器阵列、一组刀片式服务器或者多处理器系统)。
81.存储器1304存储计算设备1300内的信息。在一个实施方式中，存储器1304是一个或多个易失性存储器单元。在另一实施方式中，存储器1304是一个或多个非易失性存储器单元。存储器1304还可以是另一形式的计算机可读介质，诸如磁盘或光盘。
82.存储设备1306能够为计算设备1300提供海量存储装置。在一个实施方式中，存储设备1306可以是或者包含计算机可读介质，诸如软盘设备、硬盘设备、光盘设备或磁带设备、闪存或其他类似的固态存储器设备或者设备阵列(包括存储区域网络中的设备或者其他配置的设备)。计算机程序产品可以在信息载体中有形地实施。计算机程序产品还可以包含指令，该指令在被执行时执行一种或多种方法，诸如上面描述的那些方法。信息载体是计算机可读介质或者机器可读介质，诸如存储器1304、存储设备1306或者处理器1302上的存储器。
83.高速控制器1308管理计算设备1300的带宽密集型操作，而低速控制器1312管理较低的带宽密集型操作。这种功能分配仅是示例性的。在一个实施方式中，高速控制器1308被耦合至存储器1304、显示器1316(例如通过图形处理器或者加速器)和高速扩展端口1310，该高速扩展端口1310可以接受各种扩展卡(未示出)。在实施方式中，低速控制器1312被耦合至存储设备1306和低速扩展端口1314。例如，可以包括各种通信端口(例如usb、蓝牙、以太网和无线以太网)的低速扩展端口可以通过网络适配器耦合至一个或多个输入/输出设
备，诸如键盘、指向设备、扫描仪或者网络设备(诸如交换机或者路由器)。
84.如附图所示，计算设备1300可以利用多种不同形式来实施。例如，它可以被实施为标准服务器1320，或者多次实施在一组这种服务器中。它还可以被实施为机架式服务器系统1324的一部分。另外，它可以被实施在个人计算机(诸如膝上型计算机1322)中。备选地，来自计算设备1300的部件可以与移动设备(未示出)(诸如设备1350)中的其他部件组合。这种设备中的每个设备都可以包含一个或多个计算设备1300、1350，并且整个系统可以由彼此通信的多个计算设备1300、1350组成。
85.除了其他部件之外，计算设备1350还包括处理器1352、存储器1364、输入/输出设备(诸如显示器1354)、通信接口1366和收发器1368。设备1350还可以被提供有存储设备(诸如微型硬盘或者其他设备)，以提供附加存储装置。部件1350、1352、1364、1354、1366和1368中的每个部件都使用各种总线互连，并且若干部件可以被安装在公共主板上或者以其他方式适当地安装。
86.处理器1352可以执行计算设备1350内的指令，包括存储在存储器1364中的指令。处理器可以被实施为芯片的芯片集，该芯片包括单独的和多个模拟和数字处理器。例如，处理器可以提供对设备1350的其他部件的协调，诸如对用户界面、由设备1350运行的应用和由设备1350进行的无线通信的控制。
87.处理器1352可以通过耦合至显示器1354的控制接口1358和显示器接口1356来与用户通信。例如，显示器1354可以是tft lcd(薄膜晶体管液晶显示器)和led(发光二极管)或者oled(有机发光二极管)显示器或者其他适当的显示技术。显示器接口1356可以包括适当的电路系统，以用于驱动显示器1354向用户呈现图形和其他信息。控制接口1358可以接收来自用户的命令，并且对命令进行转换以提交给处理器1352。另外，外部接口1362可以被提供以与处理器1352通信，以便使设备1350能够与其他设备进行邻近区域通信。外部接口1362可以在一些实施方式中提供例如有线通信，或者在其他实施方式中提供无线通信，并且多个接口也可以被使用。
88.存储器1364存储计算设备1350内的信息。存储器1364可以被实施为一个或多个计算机可读介质、一个或多个易失性存储器单元或者一个或多个非易失性存储器单元中的一个或多个。扩展存储器1374还可以被提供，并且通过扩展接口1372连接至设备1350，该扩展接口1372可以包括例如simm(单线存储器模块)卡接口。这种扩展存储器1374可以为设备1350提供额外存储空间，或者还可以存储设备1350的应用或者其他信息。具体地，扩展存储器1374可以包括用于执行或者补充上面描述的过程的指令，并且还可以包括安全信息。因此，例如扩展存储器1374可以被提供为设备1350的安全性模块，并且可以利用允许安全使用设备1350的指令来编程。另外，安全应用可以经由simm卡与附加信息(诸如将标识信息通过不可侵入的方式放置在simm卡上)一起提供。
89.存储器可以包括例如闪存和/或nvram存储器，如下面讨论的。在一个实施方式中，计算机程序产品在信息载体中有形地实施。计算机程序产品包含指令，该指令在被执行时执行一种或多种方法，诸如上面描述的那些方法。信息载体是计算机可读介质或者机器可读介质，诸如存储器1364、扩展存储器1374或者处理器1352上的存储器，其例如可以在收发器1368或者外部接口1362上方容置。
90.设备1350可以通过通信接口1366无线通信，若需要，该通信接口1366可以包括数
字信号处理电路系统。通信接口1366可以提供在各种模式或者协议下的通信，诸如gsm语音呼叫、sms、ems或者mms消息收发、cdma、tdma、pdc、wcdma、cdma2000或者gprs等。这种通信可以例如通过射频收发器1368发生。另外，短程通信可以诸如使用蓝牙、wi-fi或者其他这种收发器(未示出)而发生。另外，gps(全球定位系统)接收器模块1370可以将附加的与导航或者地点相关的无线数据提供给设备1350，视情况而定，该无线数据可以供在设备1350上运行的应用使用。
91.设备1350还可以使用音频编译码器1360进行可听地通信，该音频编译码器1360可以接收来自用户的口头信息并且将其转换为可用的数字信息。音频编译码器1360同样可以为用户生成可听声音，诸如通过扬声器，例如在设备1350的听筒中的扬声器。这种声音可以包括来自语音电话呼叫的声音，可以包括录制的声音(例如语音消息、音乐文件等)，并且还可以包括由在设备1350上操作的应用生成的声音。
92.如附图所示，计算设备1350可以利用多种不同形式来实施。例如，它可以被实施为蜂窝电话1380。它还可以被实施为智能手机1382、个人数字助理或者其他类似的移动设备的一部分。
93.此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专门设计的asic(专用集成电路)、计算机硬件、固件、软件和/或其组合中实现。这些各种实施方式可以包括在可编程系统上可执行和/或可解释的一个或多个计算机程序中的实施方式，该可编程系统包括可以是专用或者通用的至少一个可编程处理器，其被耦合以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令，并且将数据和指令传输给存储系统、至少一个输入设备和至少一个输出设备。
94.这些计算机程序(也称为程序、软件、软件应用或者代码)包括用于可编程处理器的机器指令，并且可以利用高级程序和/或面向对象的编程语言和/或汇编/机器语言来实施。如本文使用的，术语“机器可读介质”、“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、装置和/或设备(例如磁盘、光盘、存储器、可编程逻辑设备(pld))，包括接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
95.为了提供与用户的交互，此处描述的系统和技术可以被实施在计算机上，该计算机具有：用于向用户显示信息的显示设备(led(发光二极管)或oled(有机led)或者lcd(液晶显示器)监测器/屏幕)；以及键盘和指向设备(例如鼠标或者轨迹球)，用户可以通过该键盘和该指向设备来将输入提供给计算机。其他种类的设备还可以被用于提供与用户的交互；例如提供给用户的反馈可以是任何形式的传感反馈(例如视觉反馈、听觉反馈或者触觉反馈)；并且来自用户的输入可以用任何形式(包括声学输入、言语输入或者触觉输入)来接收。
96.此处描述的系统和技术可以被实施在计算系统中，该计算系统包括后端部件(例如作为数据服务器)，或者包括中间件部件(例如应用服务器)，或者包括前端部件(例如具有图形用户界面或者web浏览器的客户端计算机，用户可以通过该图形用户界面或者该web浏览器来与此处描述的系统和技术的实施方式交互)，或者包括这种后端部件、中间件部件或者前端部件的任何组合。系统的部件可以通过任何形式或者介质的数字数据通信(例如通信网络)来互连。通信网络的示例包括局域网(“lan”)、广域网(“wan”)和互联网。
97.计算系统可以包括客户端和服务器。客户端和服务器通常远离彼此，并且通常通过通信网络进行交互。客户端和服务器的关系借助于在相应计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生。
98.在一些实施方式中，图13所描绘的计算设备可以包括与ar耳机/hmd设备1390接口连接的传感器，以生成用于查看物理空间内插入的内容的增强环境。例如，计算设备1350或者图13所描绘的其他计算设备上所包括的一个或多个传感器可以将输入提供给ar耳机1390，或者通常将输入提供给ar空间。这些传感器可以包括但不限于触摸屏、加速度计、陀螺仪、压力传感器、生物计量传感器、温度传感器、湿度传感器和环境光传感器。计算设备1350可以使用这些传感器来确定计算设备在ar空间中的绝对位置和/或检测到的旋转，其然后可以被用作ar空间的输入。例如，计算设备1350可以作为虚拟对象(诸如控制器、激光指示器、键盘、武器等)并入到ar空间中。在被并入到ar空间中时，用户对计算设备/虚拟对象的定位可以允许用户定位计算设备，以在ar空间中按照某些方式来查看虚拟对象。例如，如果虚拟对象表示激光指示器，则用户可以操纵计算设备，就像它是实际的激光指示器一样。用户可以将计算设备左右移动、上下移动、呈圆形移动等，并且按照类似于使用激光指示器的方式来使用该设备。在一些实施方式中，用户可以使用虚拟激光指示器瞄准目标地点。
99.在一些实施方式中，计算设备1350上所包括或者连接至计算设备1350的一个或多个输入设备可以被用作ar空间的输入。这些输入设备可以包括但不限于触摸屏、键盘、一个或多个按钮、轨迹板、触摸板、指向设备、鼠标、轨迹球、操纵杆、相机、麦克风、具有输入功能性的耳机或蓝牙耳机、游戏控制器或者其他可连接的输入设备。当计算设备被并入到ar空间中时，用户与计算设备1350上所包括的输入设备交互可以使特定动作在ar空间中发生。
100.在一些实施方式中，计算设备1350的触摸屏可以在ar空间中渲染为触摸板。用户可以与计算设备1350的触摸屏交互。例如，这些交互可以在ar耳机1390中渲染为在所渲染的ar空间中的触摸板上的移动。所渲染的移动可以控制ar空间中的虚拟对象。
101.在一些实施方式中，计算设备1350上所包括的一个或多个输出设备可以在ar空间中将输出和/或反馈提供给ar耳机1390的用户。这些输出和反馈可以是视觉的、战术的或者音频的。这些输出和/或反馈可以包括但不限于振动、打开和关闭一个或多个灯或闪光灯或者使一个或多个灯或闪光灯闪光和/或闪烁、发出警报、播放钟声、播放歌曲和播放音频文件。输出设备可以包括但不限于振动电机、振动线圈、压电设备、静电设备、发光二极管(led)、闪光灯和扬声器。
102.在一些实施方式中，计算设备1350可以作为另一对象出现在计算机生成的3d环境中。用户与计算设备1350的交互(例如旋转、摇动、触摸到触摸屏、手指滑过触摸屏)可以被解释为与ar空间中的对象的交互。在ar空间中的激光指示器的示例中，计算设备1350作为虚拟激光指示器出现在计算机生成的3d环境中。当用户操纵计算设备1350时，用户看见激光指示器在ar空间中移动。用户在计算设备1350或ar耳机1390上接收来自与ar环境中的计算设备1350的交互的反馈。用户与计算设备的交互可以被转化为与在可控设备的ar环境中生成的用户界面的交互。
103.在一些实施方式中，计算设备1350可以包括触摸屏。例如，用户可以与触摸屏交互，以与可控设备的用户界面交互。例如，触摸屏可以包括用户界面元素，诸如可以控制可
控设备的特性的滑块。
104.计算设备1300旨在表示各种形式的数字计算机和设备，包括但不限于膝上型计算机、台式计算机、工作站、个人数字助理、服务器、刀片式服务器、大型计算机和其他适当的计算机。计算设备1350旨在表示各种形式的移动设备，诸如个人数字助理、移动电话、智能手机和其他它类似的计算设备。此处示出的部件、它们的连接和关系以及它们的功能仅仅旨在是示例性的，并且不旨在限制本文档中描述和/或要求的本发明的实施方式。
105.若干实施例已经被描述。然而，要理解，各种修改可以在不脱离本说明书的精神和范围的情况下进行。
106.另外，在附图中描绘的逻辑流程不需要所示的特定顺序或者相继顺序，以实现期望的结果。另外，其他步骤可以从所描述的流程提供，或者步骤可以从所描述的流程排除，并且其他部件可以被添加到所描述的系统或者从所描述的系统移除。因此，其他实施例在以下权利要求的范围内。
107.虽然所描述的实施方式的某些特征已经如本文描述的那样图示，但是对于本领域技术人员来说，现在会发生许多修改、替换、改变和等效物。因此，要理解，随附权利要求旨在覆盖所有的这种修改和改变，其落入实施方式的范围内。应该理解的是，它们仅通过示例呈现，而非限制，并且形式和细节上的各种改变可以被进行。除了互相排斥的组合以外，本文描述的装置和/或方法的任何部分都可以按照任何组合进行组合。本文描述的实施方式可以包括所描述的不同实施方式的功能、部件和/或特征的各种组合和/或子组合。