用于增强现实的玩具系统的制作方法

1.本发明涉及用于增强现实的玩具系统。玩具系统可以是玩具构造系统，其包括具有用于可拆卸地互连构造元件的联接构件的构造元件。


背景技术：

2.玩具系统特别是玩具构造系统已经为人所知几十年了。特别地，包括具有用于可拆卸地将构造元件彼此互连的联接构件的玩具构造元件的玩具构造系统已经获得了很高的普及。简单构建块已经补充了具有机械或电气功能以提高游戏价值的专用构造元件。这些功能包括例如电机、开关和灯。
3.最近，利用增强现实(ar)的玩具系统引起了越来越多的兴趣。增强现实(ar)是通过计算机生成的内容(比如图形、声音等)来增强物理真实世界环境的一个或多个项目的捕获实时视图的技术，即向用户呈现包括环境的实时视图和计算机生成的内容的合成表示，例如以计算机图形在实时视图上的覆盖的形式。覆盖可以是自然环境的补充，或者其可以掩盖或替代自然环境的实时视图。例如，计算机生成的图形可以呈现在实时视图上边，或者作为替换，其中实时视图的部分被计算机生成的图形替换。出于本描述的目的，实现ar的计算机实施的系统通常被称为ar系统。ar系统通常包括图像捕获设备、适当编程的处理单元和显示器。
4.在ar系统中，图像特征通常在真实世界场景的捕获视图内被检测和识别，并且ar系统然后可以根据指定的图像特征来生成计算机生成的图像(或其他计算机生成的内容，比如声音、触觉反馈等)，并且将生成的图像叠加在捕获的视图上(或者以其他方式呈现计算机生成的内容)。
5.通常期望提供允许用户通过操纵物理场景来与增强现实环境交互的机制。为此，期望ar系统检测真实世界场景中的物体操纵。
6.wo2012/160055描述了一种包括增强现实系统的玩具构造系统。
7.对物理场景的操纵的检测需要相当大的处理能力，特别是当系统捕获图像的真实世界场景频繁变化时。这可能是例如用户频繁操纵真实世界场景或者操纵真实世界场景的多个方面或者以对于ar系统来说很大程度上不可预测的方式操纵真实世界场景时的情况。通常，这种操纵可以包括四处移动物体、向真实世界场景添加物体或者从真实世界场景移除物体。在许多情况下，图像捕获设备可以是手持或可移动设备，例如移动电话、平板电脑等。因此，图像捕获设备捕获真实世界场景的图像的视点可以改变。在上述场景中，数据处理系统可能必须处理不断变化的图像，以便检测和识别对真实世界场景的操纵(如果有的话)。
8.通常希望降低该任务所需的处理能力。这可能是所希望的，以便即使使用具有有限处理能力的设备或同时执行需要处理能力的其他过程的设备，比如用于创建增强现实图形的图形引擎、游戏引擎或与增强现实过程同时运行的完全不相关的任务，也能提供更顺畅的实时体验。为了降低数据处理系统的功耗，还希望降低所需的处理能力。当数据处理系
统由电池驱动时，例如当数据处理系统是诸如移动电话或平板电脑的手持处理设备时，这可能是特别理想的。
9.因此，通常希望减少处理资源，比如检测和识别用于增强现实的玩具系统中的物理真实世界场景的操纵所需的处理时间或处理能力。
10.用于增强现实的玩具系统中出现的另一个问题涉及这种系统的正常使用场景。这些系统通常由儿童使用，其中捕获图像的真实世界场景可以包括许多物体，其中一些与增强现实游戏相关，而其他的可能是占据真实世界场景的其他玩具或不同物体。这可能是例如当真实世界场景是可被许多物体占据的儿童桌子、厨房桌子、儿童房间地板等上的真实世界场景时的情况，其中一些甚至可以被增强现实系统检测或甚至识别。现实场景中这种物体的存在使得图像处理任务更加苛刻，并且可能导致无意中检测或识别用户不打算捕获的物体。这种不希望的检测可能会给用户带来不期望和令人沮丧的体验。
11.因此，期望提供一种用于增强现实的玩具系统，其降低不期望的物体检测和识别的风险。
12.通常，仍期望提供玩具系统的物理玩具和在计算机上生成的虚拟现实的紧密集成。
13.还通常期望提供一种玩具系统，其允许幼儿例如学龄前儿童将物理玩具例如一个或多个物理玩具构造模型与虚拟的计算机生成的游戏体验相结合。
14.通常还希望提供一种玩具系统，其适于对编程技术、控制系统等没有详细理解的儿童。
15.通常还希望提高玩具系统的教育和游戏价值。
16.本文公开的玩具系统和其他方面的至少一些实施例试图解决当将增强现实应用于玩具系统时出现的一个或多个上述问题和/或其他问题。


技术实现要素：

17.本文公开了包括数据处理系统和一个或多个玩具的玩具系统的实施例。一个或多个玩具包括至少一个参考玩具，至少一个参考玩具具有可由数据处理系统在包括所述至少一个参考玩具的真实世界场景的捕获图像中识别的视觉外观。数据处理系统包括图像捕获设备、处理单元和显示器，其中数据处理系统已经在其上存储了与至少一个参考玩具相关的信息，所述信息包括相对于至少一个参考玩具定义的至少一个预定参考位置。
18.根据第一方面，数据处理系统配置成：
19.‑
捕获真实世界场景的图像序列，该真实世界场景包括所述至少一个参考玩具；
20.‑
处理捕获图像以检测和识别真实世界场景内的所述至少一个参考玩具；
21.‑
从与识别的至少一个参考玩具相关的存储信息中检索至少一个预定参考位置；
22.‑
处理捕获图像以识别捕获图像序列的至少第一图像内的至少一个预定参考位置；
23.‑
选择性地处理第一图像内的子图像，该子图像描绘所述识别的参考位置，以选择性地检测在识别的至少一个预定参考位置处的真实世界场景的用户操纵；
24.‑
响应于检测用户操纵，生成并呈现与检测的用户操纵相关的计算机生成的感知信息。
25.因此，该系统选择性地仅处理第一图像内的子图像，该子图像描绘了预定参考位置。这大大减少了检测和可选地识别用户操纵所需的处理资源。此外，当系统仅在子图像内选择性地寻找用户操纵时，错误检测用户操纵和/或错误识别不同用户操纵的风险降低。因此，提供了对物理真实世界场景的用户操纵的更可靠和更有效的检测。参考位置的识别是基于所识别的参考玩具来提供的，因此可以在真实世界场景的实时视图中被可靠地跟踪。
26.在一些实施例中，ar系统可以提示用户在参考点处执行用户操纵，例如通过在图像中的参考位置处或其附近提供图形效果，通过播放声音，或者以另一种合适的方式。
27.因此，根据另一方面，数据处理适于：
28.‑
捕获真实世界场景的图像序列，该真实世界场景包括所述至少一个参考玩具；
29.‑
处理捕获图像以检测和识别真实世界场景内的所述至少一个参考玩具；
30.‑
从与识别的至少一个参考玩具相关的存储信息中检索至少一个预定参考位置；
31.‑
处理捕获图像以识别捕获图像序列的至少第一图像内的至少一个预定参考位置；
32.‑
生成并呈现提示用户在识别的至少一个参考位置处操纵真实世界场景的计算机生成的感知信息；
33.‑
处理捕获图像，以检测在识别的至少一个预定参考位置处的真实世界场景的用户操纵；
34.‑
响应于检测用户操纵，生成并呈现与检测的用户操纵相关的计算机生成的感知信息。
35.因此，系统提示用户在系统已知的预定参考位置处执行特定用户操纵。因此，该系统可以在预定参考位置处选择性地搜索可检测的用户操纵，这有助于可靠和有效的检测。参考位置的识别是基于识别的参考玩具来提供的，因此可以在真实世界场景的实时视图中被可靠地跟踪。因此，玩具系统的实施例提供了易于使用的用户交互，其甚至适于更小的儿童。
36.通常，本文使用的术语真实世界场景的用户操纵是指由系统的一个或多个用户对真实世界场景的操纵。应当理解，系统的实施例可由多个用户同时使用，例如一个用户可以操作数据处理系统，另一个用户可以操纵真实世界场景。术语用户操纵旨在包括任何一个或多个用户对真实世界场景的操纵。
37.在一些实施例中，该系统配置为在提示用户在参考点处执行操纵之后，在有限的时间窗口期间在参考点处选择性地寻找可检测的用户操纵。因此，该系统可以在有限的时间窗口期间选择性地仅处理第一图像内的子图像，该子图像描绘了预定参考位置，并且该系统可以响应于在参考点处和在有限的时间窗口期间检测用户操纵特别是预定用户操纵来创建并呈现计算机生成的内容。因此，该系统可以根据在时间窗口内是否已经检测到参考点处的用户操纵以及可选地是否检测到预定用户操纵来创建并呈现计算机生成的内容。例如，计算机生成的内容可以指示任务的成功完成或完成任务失败。
38.因此，在本文描述的各方面的实施例中，至少一个参考玩具定义了系统相对于其识别一个或多个已知参考位置的可识别框架。在一些实施例中，该框架界定捕获的真实世界场景的子场景，并且至少一个参考点定义在所述子场景内。例如，至少一个参考点可以是参考玩具表面上的位置。
39.子图像可以包括参考位置，或者可以相对于参考位置被定义，例如直接在参考位置之上或之下。子图像可以具有比捕获图像更小的合适形状和尺寸。子图像的大小可以预先确定，或者可以动态确定，即由系统基于图像的处理来确定。例如，系统可以基于参考玩具的一个或多个检测到的参考尺寸来确定子图像的形状和/或大小。因此，系统可以选择子图像，使得它描绘参考玩具的预定部分。应当理解，可以根据要检测的用户操纵类型和/或基于用于所述检测的检测机制来选择子图像的形状和大小。
40.例如，在用户操纵涉及用户将有色物体放置在参考点处(或者以其他方式改变参考位置处的参考玩具的颜色)的实施例中，用户操纵的检测可能仅需要检测参考位置处的颜色。这种检测可能只需要具有单个图像像素或几个图像像素大小的子图像。另一方面，如果用户操纵的检测需要基于不止一种颜色来检测几何图案、物体等，则子图像可被选择为更大，例如足够大以描绘待识别的整个物体或物体的至少可识别部分。
41.检测的用户操纵可以包括用户相对于参考玩具的其余部分移动参考玩具的元件、将物体定位在参考位置处、将物体移动远离参考位置、改变物体在参考位置处的定向，例如改变玩具相对于图像捕获设备的定向或者改变参考玩具的第一部分相对于参考玩具的至少第二部分的定向。
42.通常，检测用户操纵可以包括提供子图像作为计算机视觉过程的输入，比如特征检测过程、物体识别过程等。例如，检测用户操纵可以包括检测颜色或颜色的变化，例如子图像的主色的变化。检测用户操纵的其他示例可以包括检测颜色图案、标记等和/或其变化。
43.在一些实施例中，检测用户操纵可以包括检测预定物体或一组预定物体之一在参考位置处的定位。检测可以包括识别定位的物体。物体识别可以基于神经网络或另一种物体识别技术。wo2016/075081中公开了合适的物体识别技术的一个示例。
44.选择性地仅使用子图像来检测用户操纵，例如通过物体识别或其他计算机视觉过程，提供了一种过程，其中识别不需要检测大图像中的物体，而是限于特定子图像内的检测。此外，子图像可以具有预定背景(例如参考玩具表面的预定部分)，从而进一步有助于用户操纵的可靠检测。此外，仅当定位在参考位置处时物体的选择性识别避免了对否则可能存在于真实世界场景中的物体的不期望的识别，例如当真实世界场景是诸如儿童房间的地板、儿童书桌等杂乱的游戏区域时。
45.在一些实施例中，数据处理系统配置成选择性地仅检测一种或一组预定类型的用户交互(而不是任何任意的用户操纵)，例如仅检测某些颜色，仅检测特定物体或一组预定物体之一的定位。
46.参考玩具的初始检测和识别可以基于计算机视觉领域中公知的任何合适的检测和识别方法。检测可以基于参考玩具上的预定标记、可检测特征，比如边缘、拐角等。识别可以基于机器学习技术，比如基于神经网络和/或本领域已知的任何其他合适的技术。检测和识别可以导致将参考玩具识别为一组预定参考玩具之一。该过程因此可以检索与识别的参考玩具相关的附加信息。此外，参考玩具的检测可以包括参考玩具相对于合适参考的位置和定向的检测，例如图像捕获设备的位置和视角，或者物体在捕获图像中的位置和定向的检测。因此，系统可以检索关于相对于参考玩具的内部坐标系的一个或多个参考点的信息，基于检索信息和参考玩具在捕获图像中的检测位置和定向，该过程可以确定参考位置在捕
获图像内的位置。
47.在一些实施例中，参考玩具的检测和识别可以在初始化阶段执行。为此，ar系统可以允许用户输入指示要使用的参考玩具的选择。然后，可以提示用户将图像捕获设备指向选择的参考玩具。为此，ar系统可以显示选择的参考玩具的虚拟框架或轮廓，以帮助用户定位图像捕获设备。一旦ar系统已经在捕获图像中识别出选择的参考玩具，即使当图像捕获设备的视点改变时，ar系统也可以在随后捕获图像中跟踪识别的参考玩具。
48.通常，系统可以在显示图像中相对于参考玩具的检测位置和定向的位置处创建并呈现计算机生成的内容。
49.应当理解，例如根据图像捕获设备捕获图像的当前视点，参考位置可能从图像捕获设备的当前视点不可见，例如因为它被参考玩具的其他部分遮挡。因此，仅当参考位置当前在捕获图像中可见时，ar系统才可以选择性地处理参考物体的子图像。在一些实施例中，仅当参考点在捕获图像中可见时，才可以提示用户执行用户操纵。在其他实施例中，当参考位置当前在捕获图像中不可见时，也可以提示用户。在这种实施例中，用户最初可能需要改变图像捕获设备的视点，例如通过相对于真实世界场景移动图像捕获设备，通过相对于真实世界场景移动参考玩具，通过移动任何阻碍物体和/或其组合。
50.在一些实施例中，参考玩具可能与一个以上参考位置相关。通常，所有参考玩具的所有参考位置可以具有共同的视觉外观，从而使它们容易被用户识别，从而有助于在参考位置处的精确操纵。应当理解，为了在图像中检测参考位置，不需要参考位置的视觉外观，因为一旦系统检测并识别了相应的参考玩具，它们的位置对于ar系统来说是已知的。因此，为了检测和识别参考玩具，参考位置不需要是可见的。
51.通常，至少一个参考玩具可以是单个玩具或多个玩具的布置，例如相对于彼此以预定且可识别的空间关系布置。在一些实施例中，至少一个参考玩具可以是由玩具构造系统的多个玩具构造元件构造的玩具构造模型。因此，参考玩具的组件定义了用户构造的框架，该框架可由数据处理系统在捕获图像中识别并且定义了相对于特别是在所述框架内的预定参考位置。
52.一般而言，玩具构造系统通常允许由有限数量的不同类型的玩具构造元件构造各种不同的玩具构造模型，每个玩具构造模型具有由玩具构造模型内的玩具构造元件的空间布置所定义的不同物理配置。通常，术语玩具构造元件是指玩具构造系统中的最小元件，其在正常使用过程中不能被分解成更小的元件，特别是不能以非破坏性的方式和/或不使用工具被分解。
53.当参考玩具是玩具构造模型时，参考位置可以是玩具构造模型内的参考玩具构造元件的位置。在这种实施例中，所有参考玩具构造元件可以具有相同的视觉外观(例如相同的形状、尺寸和颜色)。在一些实施例中，玩具构造系统可以包括多于一种类型的参考玩具构造元件，例如不同形状和/或尺寸和/或颜色。每种类型的参考玩具构造元件可以代表各自可检测的用户交互。
54.提供玩具构造模型作为参考玩具允许用户从同一组玩具构造元件构造不同的参考玩具。此外，玩具构造模型允许精确定义模型内的参考位置，因为玩具构造系统通常遵守预定构造规则。为了确保如此构造的不同参考玩具的可靠检测和识别，玩具系统可以包括用于指示用户构造系统可识别的参考玩具的构建指令。
55.玩具构造系统的每个玩具构造元件可以包括联接构件，其配置为接合玩具构造系统的其他玩具构造元件的联接构件，以便将玩具构造元件可拆卸地彼此附接。为此，联接构件可以利用不同的联接机构，例如基于联接构件彼此的摩擦接合、基于螺钉、插头插座连接或协作联接构件的其他形式的配合接合。
56.因此，已经通过联接构件彼此互连的玩具构造元件可以再次彼此断开，使得它们可以再次彼此互连或者与系统的其他玩具构造元件互连，例如以便形成不同的空间结构。在一些实施例中，玩具构造元件设置有第一和第二类型的联接构件，比如联接栓和用于摩擦接合栓的栓接收凹部，或者配置为彼此接合以形成物理连接的其他配对或互补联接构件对。一种类型的联接构件可以位于玩具构造元件的一侧，例如顶侧，而另一种互补类型的联接构件可以位于玩具构造元件的相对侧，例如底侧。在一些实施例中，玩具构造元件包括例如从玩具构造元件的顶面延伸的栓，以及例如延伸到玩具构造元件的底面中的相应的栓接收腔，用于通过合适的夹紧力摩擦接合栓。
57.通常，玩具构造系统可以对玩具构造元件可以如何彼此附接的自由度施加限制，例如通过限制它们可以彼此附接的可能相对位置和/或定向。这些限制有助于检测和识别由玩具构造元件构造的玩具构造模型。
58.联接构件可以位于规则网格的网格点上；特别地，玩具构造元件的联接构件可以布置成使得一组相互互连的玩具构造元件的联接构件定位在三维规则网格的网格点上。玩具构造元件的尺寸可被定义为由规则网格定义的单位长度的整数倍。应当理解，三维网格可以由单个单位长度、两个单位长度来定义，例如一个单位长度适用于两个空间维度，而另一个单位长度适用于第三空间维度。可替代地，三维网格可以定义三个单位长度，每个空间维度一个单位长度。
59.在一些实施例中，玩具构造元件由塑料材料制成，例如热塑性聚合物，或者由另一种合适的材料制成。玩具构造元件可以例如通过注射成型过程或另一种合适的制造过程制成。
60.玩具构造系统的实施例允许用户以统一且结构良好的方式并利用有限的一组不同的构造元件来构造促进ar功能的多种玩具构造模型。例如，玩具构造系统可以作为玩具构造套件来提供，该玩具构造套件包括一个或多个玩具构造元件和用于从玩具构造元件构造一个或多个参考玩具构造模型的构建指令。可选地，这种玩具构造套件可以包括以下一个或多个：计算机可读介质，其上存储有适于使计算机执行本文描述的方法的实施例的步骤的计算机程序；用于获得这种计算机程序的指令等。
61.应当注意，玩具构建套件可以包括其他类型的构造元件，比如具有或不具有执行或控制动作/功能的能力的主动和/或被动构造元件，比如本领域已知的常规构建块。
62.本发明的不同方面可以不同的方式实施，包括关于上面和下面描述的方面的各种实施例描述的玩具系统。本发明的其他方面例如可以实施为相应的方法、装置和产品。每个方面产生结合上述至少一个方面描述的一个或多个益处和优点，并且每个方面具有对应于结合上面和下面描述的至少一个方面描述的和/或从属权利要求中公开的优选实施例的一个或多个优选实施例。此外，应当理解，结合本文描述的其中一个方面描述的实施例可以同样应用于其他方面。
63.特别地，提供了一种用于生成ar游戏体验的计算机实施的方法，该过程包括：
64.‑
捕获真实世界场景的图像序列，该真实世界场景包括至少一个参考玩具；
65.‑
处理捕获图像以检测和识别真实世界场景内的所述至少一个参考玩具；
66.‑
从与识别的至少一个参考玩具相关的存储信息中检索至少一个预定参考位置，信息包括相对于至少一个参考玩具定义的至少一个预定参考位置；
67.‑
处理捕获图像以识别捕获图像序列的至少第一图像内的至少一个预定参考位置；
68.‑
选择性地处理第一图像内的子图像，该子图像描绘所述识别的参考位置，以选择性地检测在识别的至少一个预定参考位置处的真实世界场景的用户操纵；
69.‑
响应于检测用户操纵，生成并呈现与检测的用户操纵相关的计算机生成的感知信息。
70.根据另一方面，提供了一种用于生成ar游戏体验的计算机实施的方法，该过程包括：
71.‑
捕获真实世界场景的图像序列，该真实世界场景包括至少一个参考玩具；
72.‑
处理捕获图像以检测和识别真实世界场景内的所述至少一个参考玩具；
73.‑
从与识别的至少一个参考玩具相关的存储信息中检索至少一个预定参考位置，信息包括相对于至少一个参考玩具定义的至少一个预定参考位置；
74.‑
处理捕获图像以识别捕获图像序列的至少第一图像内的至少一个预定参考位置；
75.‑
生成并呈现提示用户在识别的至少一个参考位置处操纵真实世界场景的计算机生成的感知信息；
76.‑
处理捕获图像，以检测在识别的至少一个预定参考位置处的真实世界场景的用户操纵；
77.‑
响应于检测用户操纵，生成并呈现与检测的用户操纵相关的计算机生成的感知信息。
78.此外，提供了一种数据处理系统，其例如由存储在数据处理系统上的合适的程序代码配置，以执行本文描述的一个或多个计算机实施的方法的步骤。
79.此外，提供了一种计算机程序产品，其包括程序代码，该程序代码适于当在数据处理系统上执行时使数据处理系统执行本文描述的一个或多个计算机实施的方法的步骤。
80.计算机程序产品可以作为计算机可读介质提供，比如cd
‑
rom、dvd、光盘、存储卡、闪存、磁存储设备、软盘、硬盘等。在其他实施例中，计算机程序产品可以作为可下载的软件包、app等提供在例如网络服务器上，用于通过互联网或其他计算机或通信网络下载。具体而言，玩具构造套件的实施例可以包括玩具构造元件和用于将计算机程序产品安装在合适的数据处理系统上的安装指令。
81.数据处理系统可以包括任何合适的计算机或其他处理设备，比如pc、便携式或手持计算机、平板电脑、智能手机等。
82.数据处理系统的实施例包括图像捕获设备，比如数码相机，例如摄像机、深度相机或用于获得真实世界场景的图像的任何其他合适的设备。
83.数据处理系统的实施例包括处理单元，其配置为对捕获图像执行一个或多个图像处理操作，比如特征检测操作。捕获图像序列可以包括视频帧流。
84.在这里和下面，术语处理单元旨在包括适于执行本文描述的功能的任何电路和/或设备。具体而言，上述术语包括通用或专用可编程微处理器、数字信号处理单元(dsp)、专用集成电路(asic)、可编程逻辑阵列(pla)、现场可编程门阵列(fpga)、专用电子电路等或它们的组合。
85.显示器可以是数据处理设备的显示器，例如智能手机、平板电脑或其他便携式例如手持式数据处理设备的显示器。可替代地，显示器可以包括佩戴在前额上的头戴式显示器(hmd)，比如背带或头盔、具有嵌入式显示器的眼镜、平视显示器(hud)或允许用户观看覆盖有计算机生成的内容的真实世界场景的图像的实时馈送的任何其他合适的显示技术。
86.处理单元、图像捕获设备和显示器可以合并到单个壳体中，即作为单个集成设备提供，或者作为可以彼此通信耦合的两个或更多个独立设备提供。
87.因此，本文描述的玩具构造套件的实施例允许用户构造各种玩具构造模型，其可以用作相应的参考玩具，每个参考玩具在被ar系统识别时触发相应的游戏体验。
88.检测参考点处的用户操纵可以使ar系统执行由检测触发的功能，例如触发事件，比如虚拟环境中的活动或游戏事件、一个或多个虚拟角色的行为等。
附图说明
89.图1
‑
3各自示出了现有技术的玩具构造元件。
90.图4示出了本文公开的玩具系统的实施例。
91.图5示出了本文公开的计算机实施的过程的示例的流程图。
92.图6
‑
9示出了支持ar的数字游戏体验的示例。
93.图10a
‑
b示出了参考玩具的另一个示例。
具体实施方式
94.现在将参考砖块形式的玩具构造元件来描述本文公开的玩具构造系统的各个方面和实施例。然而，本发明可以应用于其他形式的玩具构造元件和其他形式的玩具。
95.图1示出了一种玩具构造元件，具有在其顶表面上的联接栓和从底部延伸到砖块中的腔。腔具有中心管，另一砖块上的联接栓可以摩擦接合的方式容纳在腔中，如us3005282中公开。图2和3示出了其他这种现有技术的构造元件。其余附图中所示的构造元件具有这种已知类型的配合栓和腔形式的联接构件。然而，除了或代替栓和腔，也可以使用其他类型的联接构件。联接栓布置在正方形平面网格中，即限定了联接栓序列布置所沿着的正交方向。相邻联接栓之间的距离在两个方向上是一致且相等的。在限定规则平面网格的联接位置处联接构件的这种或类似布置允许玩具构造元件在彼此相对的离散数量的位置和定向上互连，特别是相对于彼此成直角。在图1
‑
3中，这里示出的玩具构造元件是被动型的，除了机械模型构建之外没有附加功能，比如电磁、电子、光学等。然而，玩具构造套件的一些实施例还可以包括主动玩具构造元件，其配置成执行用户感知功能，例如发光、发声、传递运动等。
96.图4示出了本文公开的玩具系统的实施例。该玩具系统包括平板电脑410，其上存储有执行基于ar的数字游戏应用的ar app。平板电脑410包括显示器411和数码相机412。平板电脑还包括执行ar app的处理单元和用于存储游戏相关数据的存储介质。应当理解，代
替平板电脑，玩具系统可以包括另一种类型的适当编程的数据处理设备或系统，包括显示器、处理单元和图像捕获设备。合适的数据处理系统的示例包括个人计算机、台式计算机、膝上型计算机、手持计算机、游戏控制台、手持娱乐设备、智能电话或任何其他合适的可编程计算机。
97.玩具系统还包括参考玩具440。在该示例中，参考玩具440是由多个玩具构造元件(例如结合图1
‑
3描述的类型的玩具构造元件)构造的玩具构造模型。
98.显示器411可操作地联接到(例如集成到)平板电脑410，并且可操作成在平板电脑410的处理单元的控制下显示视频图像。在图4的示例中，显示器是触敏显示器，允许平板电脑接收用户输入，使得用户可以与在平板电脑410上执行的基于ar的数字游戏交互。应当理解，数据处理系统可以包括替代或附加的用户接口设备，用于允许用户例如通过手势、眼睛跟踪等与数字游戏交互。
99.数码相机412是可操作成捕获真实世界场景430的视频图像的摄像机。在图4的示例中，摄像机被集成到手持平板电脑410中，即用户可以四处移动平板电脑，使得数码相机的当前视场420从不同视点覆盖真实世界场景的不同部分。真实世界场景430可以例如包括各种物体431和440位于其上的诸如桌面、地板等表面。数码相机可操作地联接到(例如集成到)平板电脑410，并且可操作成将捕获的视频图像转发到平板电脑410的处理单元。
100.数码相机412捕获真实世界场景430的视频图像，平板电脑在显示器411上显示捕获的视频图像。在图4的示例中，真实世界场景430包括参考玩具440，其示出在相机412的视场420内。除了参考玩具440之外，真实世界场景430还可以包括其他物体431，比如其他家庭物体、玩具等。
101.平板电脑410在其显示器411上显示捕获的视频图像。因此，用户可以在数码相机412的视场420内移动参考玩具440和/或以其他方式操纵参考玩具440，并且观看来自参考玩具的数码相机412和真实世界场景430的至少一部分的实况视频图像。可替代地或另外，用户可以改变数码相机的位置和/或定向，以便从不同位置捕获(例如静止的)参考玩具的图像。另外，计算机可操作成将捕获的视频图像存储在计算机的存储设备上，比如内部或外部存储器，和/或例如经由计算机网络将捕获的视频转发到另一台计算机。例如，计算机可操作成将捕获的视频图像上传到网站。
102.平板电脑410被适当地编程为执行支持ar的数字游戏，在此期间，计算机对捕获的视频图像执行图像处理，以便在捕获的视频图像内检测参考玩具440。响应于检测的参考玩具，计算机可以被编程为生成修改的视频图像，例如形成为其上覆盖有计算机生成的图像的捕获的视频图像的视频图像，例如其中捕获的视频图像的至少一部分被计算机生成的图像替换的视频图像。计算机410可操作成在显示器411上显示修改的视频图像。出于本描述的目的，可操作成实施可操作地连接到摄像机和显示器的ar功能的计算机也将被称为ar系统。
103.用于检测ar标记和用于响应于检测的物体生成修改的视频图像的图像处理方法在本领域中是已知的(例如参见daniel wagner和dieter schmalstieg的“artoolkitplus for pose tracking on mobile devices”,computer vision winter workshop 2007,michael grabner,helmut grabner(eds.),st.lambrecht,austria，2月6日至8日，格拉茨技术大学)。
104.在图4的示例中，物理参考玩具440是由常规玩具构造元件构造的玩具构造模型，比如结合图1
‑
3描述的类型的玩具构造元件。然而，应当理解，其他实施例可以采用其他类型的参考玩具。
105.一旦计算机已经识别参考玩具，用户可在数码相机的视场内操纵物理参考玩具，例如通过移动和/或旋转物理参考玩具。计算机410跟踪识别的参考玩具的位置和定向。计算机在显示器1上显示摄像机的实况视频馈送，并且响应于检测的参考玩具的位置和定向来向实况视频馈送添加增强现实特效。
106.图5示出了本文公开的计算机实施的过程的示例的流程图。当被适当编程时，该过程可以例如由图4的平板电脑410来执行，或者由另一适当的支持ar的数据处理系统来执行。
107.在初始步骤s1，该过程在从数码相机(例如从平板电脑410的内置相机412)接收的一个或多个捕获的视频图像中识别参考玩具。为此，该过程最初可以允许用户选择多个可用参考玩具中的一个，例如在屏幕选择菜单中。在一些实施例中，该过程可以可选地显示用于从玩具构造套件的玩具构造元件构造参考玩具的构建指令。
108.然后，用户可以将参考玩具放置在桌子或其他表面上，并指示数码相机捕获参考玩具的视频图像。在初始识别步骤期间，除了实况视频馈送之外，计算机还可以显示框架、物体轮廓或其他视觉指南，以帮助用户正确指示数码相机。图7示出了帮助定位参考玩具的用户界面的示例。
109.特别地，图7示出了由图4的示例的平板电脑410显示的内容的示例。该过程显示参考玩具740的实况视频图像，在该示例中，参考玩具740是由如上所述的玩具构造元件构造的建筑结构。该过程还显示已知参考玩具的轮廓760，以帮助用户将数码相机相对于物理参考玩具定位在合适的角度和距离，以便有助于可靠的识别。
110.仍参考图5，该过程使用计算机视觉领域中已知的用于物体识别的合适机制来识别参考玩具，例如基于一组可识别的关键特征，比如角、边、颜色等。为此，该过程可以从存储设备513检索参考玩具的已知参考特征，例如从计算机的内部存储器、基于云的存储器等。
111.一旦该过程已经识别参考玩具，该过程就进行到步骤s2，在该步骤中，该过程进入游戏模式，在该模式中，该过程实时地从数码相机接收捕获的视频图像。该过程跟踪识别的参考玩具在捕获的图像中的位置和定向，并且创建计算机生成的内容比如图形，并且显示与生成的内容重叠(即增强)的捕获的实况视频。生成的内容也可以响应于游戏内事件而生成，例如用户对计算机的输入、游戏级别等。
112.图6示出了在步骤s2期间由图4的示例的平板电脑410显示的内容的示例。该过程显示参考玩具540的实况视频图像，在该示例中，参考玩具540是由如上所述的玩具构造元件构造的玩具车。该过程还显示计算机生成的ar内容，比如虚拟物体552或图形动画551。ar内容显示在图像中相对于参考玩具的位置。为此，该过程在数码相机的视场中跟踪参考玩具，并且可以确定参考玩具的内部坐标系541。虽然为了说明在图6中以虚线示出，但应该理解，所确定的坐标系541通常不会显示在显示器上。该过程还识别相对于参考玩具的一个或多个预定参考位置。参考位置的位置可以从存储设备513中检索，并且例如可以表示为相对于与参考玩具相关的内部坐标系541的坐标。因此，参考位置相对于参考玩具处于固定位
置，例如参考玩具表面上的位置。每个参考位置具有与其相关的子图像，例如围绕参考位置或者与参考位置具有固定空间关系的子图像。在图6中，子图像的示例由虚线圆542表示，该虚线圆可以或可以不由系统显示。子图像的尺寸可以预先确定，或以绝对图像尺寸(例如像素数量)，或相对于当前在图像中看到的参考玩具的当前尺寸。关于子图像的信息(位置、形状、大小)从存储设备513中检索，在存储设备513中它可以与每个参考玩具相关地存储。
113.在步骤s3，例如响应于游戏事件，该过程提示用户在一个或多个参考位置操纵参考玩具。为此，该过程可以创建并呈现内容，比如声音或图形内容。
114.图8示出了在步骤s3期间由图4的平板电脑410显示的内容的示例。该过程显示参考玩具740的实况视频图像，在该示例中，参考玩具740是由如上所述的玩具构造元件构造的建筑结构。该过程还显示计算机生成的ar内容，比如虚拟物体752或图形动画。特别地，该过程提示用户将物理公仔放置在建筑结构740内的预定参考位置，其中参考位置具有与其相关的子图像742。在该示例中，该过程通过显示将虚拟公仔放置在参考位置的动画手751来提示用户。应当理解，在其他实施例中，系统可以提示用户执行不同类型的对真实世界场景的操纵，特别是对参考玩具的操纵。
115.仍参考图5，在步骤s4，该过程选择性地监控子图像742的内容，以便检测用户是否确实执行了提示的操纵，例如用户是否确实将公仔定位在参考位置，以及可选地，用户是否将正确的小人定位在该位置。为此，该过程可以重复地将子图像的图像内容馈送到合适的图像处理过程中，例如馈送到物体识别过程中，例如wo2016/075081中描述的基于神经网络的过程。在图8的示例中，物体识别过程返回关于在子图像中是否检测到公仔以及可选地检测到哪种类型的公仔的指示。值得注意的是，仅对子图像742的选择性监控避免了对可能偶然位于用户游戏区域内的其他公仔(例如公仔760)的错误检测。对子图像执行的图像处理的类型取决于要检测的操纵的类型。例如，如果操纵包括转动轮子，使得多个彩色场之一在参考位置变得可见，则图像处理可以仅包括子图像的主色的颜色检测。应当理解，在一些实施例中，该过程可以连续地或准连续地将子图像的内容馈送到图像处理过程中。例如，该过程可以将视频流的每个捕获帧的子图像的内容馈送到图像处理过程中。在其他实施例中，例如，当图像处理过程需要相当大的计算能力时，该过程可以仅间歇地将子图像的内容馈送到图像处理过程中。
116.当该过程已经检测到提示的操纵时，例如物理公仔在参考位置的定位，该过程进行到步骤s5；否则，过程进行到步骤s6。
117.在步骤s5，即响应于检测操纵，该过程生成并呈现适当的计算机生成的ar内容，例如如图9所示。
118.图9示出了在步骤s5期间由图4的平板电脑410显示的内容的示例。该过程显示参考玩具740的实况视频图像，在该示例中，参考玩具740是由如上所述的玩具构造元件构造的建筑结构。实况视频图像现在还包括现在位于参考位置的公仔760。该过程还显示计算机生成的ar内容753，向用户指示已经提示用户执行的任务的成功执行。
119.再次参考图5，该过程然后继续数字游戏，例如通过返回到步骤s3并提示用户执行另一操纵动作。
120.在步骤s6，即当该过程还没有检测到所提示的操纵时(例如公仔在所提示的参考位置的定位)，该过程相应地做出反应。例如，在图5的示例中，该过程确定预定时间是否已
经过去。时间可以反映用户被授权执行提示操纵的时间。时间可以例如取决于游戏的难度。当定时器尚未到期时，该过程可以返回到步骤s4并继续监控子图像。
121.如果定时器已经到期，则该过程可以进行到步骤s7，并且创建和呈现计算机生成的内容，该内容反映了未能执行提示用户执行的任务。
122.该过程然后继续数字游戏，例如通过返回到步骤s3并提示用户执行另一操纵动作。
123.应当理解，上述过程的许多变化是可能的。例如，物理参考玩具的可检测用户操纵不需要添加公仔或其他物体，而是可以涉及物理参考玩具的另一种类型的操纵。
124.此外，操纵的检测可能不需要复杂的物体识别过程，而是可能简单地涉及检测子图像中的主色或纹理。例如，在图6的示例中，该过程可以检测在车顶上添加蓝色玩具元件(即在子图像542的一个或两个中)。然后，该过程可以创建类似警车的计算机生成的内容(例如闪烁的蓝色动画和警笛声)。
125.图10a
‑
b示出了参考玩具1040的另一示例。在该示例中，参考玩具1040是类似于建筑物的玩具构造模型。建筑物由多个玩具构造元件构成，例如结合图1
‑
3描述的类型的玩具构造元件。参考玩具1040可以是本文描述的玩具系统的实施例的一部分，例如结合图4描述的玩具系统的一部分。
126.参考玩具1040限定了三个参考位置，每个参考位置具有与其相关的相应子图像，例如围绕参考位置或与参考位置成固定空间关系的子图像。在图10a
‑
c中，参考位置对用户是可见的，因为每个参考位置分别由特定的玩具构造元件1043a
‑
c定义，这有助于用户识别在哪里操纵参考玩具，例如在哪里定位公仔，例如当由支持ar的数字游戏提示时。
127.在图10a
‑
c的示例中，每个参考位置具有与其相关的预定参考体积1042a
‑
c，每个由图10a
‑
c中的虚线指示。该过程然后可以确定每个捕获图像中的边界，使得从图像捕获设备的当前视点看，子图像覆盖整个参考体积。
128.在图10a中，所有参考体积都是空的。在图10b中，用户已经将公仔定位在参考体积1042a中，因此，该公仔可由执行支持ar的游戏的适当编程的数据处理系统检测到，该游戏实施本文描述的过程的实施例，例如通过图4的平板电脑。特别地，由于该过程选择性地仅分析描绘参考体积的子图像，因此降低了错误检测建筑物的其他公仔或装饰的风险。该过程还可以以有效的方式检测哪个参考位置已被操纵，例如公仔已被放置在哪个参考位置。例如，图10c示出了参考玩具1040，其中公仔1060位于参考体积1042b内。
129.在列举多个装置的权利要求中，这些装置中的多个可以由同一个硬件元件、部件或项目来实现。某些措施在相互不同的从属权利要求中叙述或在不同实施例中描述的事实并不表示这些措施的组合不能被有利地使用。
130.应该强调的是，当在本说明书中使用时，术语“包括”用来指定存在所述特征、元件、步骤或部件，但不排除存在或添加一个或多个其他特征、元件、步骤、部件或其组合。