增强现实显示装置以及记录介质的制作方法

1.本发明涉及一种将虚拟模型重叠在现实世界的背景图像上进行显示的虚拟现实显示装置和记录有用于实现该虚拟现实显示装置的计算机程序的记录介质。


背景技术：

2.近年来，伴随着计算机图形的渲染技术的发展和智能手机及头戴式显示器等移动设备的普及，被称为vr(virtual reality：虚拟现实)或ar(augmented reality：增强现实)的体验型的影像内容备受瞩目。vr主要是针对穿戴有头戴式显示器的用户在屏蔽现实空间的视觉识别的基础上仅呈现虚拟空间的影像的技术，能够向该用户提供沉浸感高的影像内容。相对于此，ar则是针对智能手机或头戴式显示器的用户，一边将现实空间作为背景图像来呈现，一边在该背景图像上重叠显示二维模型或三维模型的技术，能够向该用户提供现实空间和虚拟模型混合在一起的真实感高的影像内容。本发明就是在这些体验型的影像技术之中特别涉及增强现实(ar)技术。
3.有关ar技术，在专利文献1中公开了能够将现实空间的影像和图像数据合成并进行显示的增强现实感呈现装置。专利文献1中记载的装置，根据通过摄影而获得的人物的三维图像数据来识别人物的规定的部位，根据识别结果，进行人物的三维图像数据与多个对象的三维图像数据的对位。专利文献1中记载的装置，设想例如利用于模拟体验衣服的试穿的服务。
4.另外，专利文献2中公开有车辆安装用的试配系统，识别车辆图像中的预先确定的车辆的基准部分，计算车辆安装用品的安装基准位置，在该基准位置合成适当调整了比例的车辆安装用品。根据该专利文献2中记载的系统，能够在画面上对应于用户的喜好而在车辆上试配并显示各种车辆安装用品(车顶行李箱、儿童座椅等)。
5.现有技术文献
6.专利文献
7.专利文献1：jp特开2012
‑
118948号公报；
8.专利文献2：jp特开2017
‑
220059号公报。
9.但是，专利文献1以及专利文献2中记载的发明，都是对现实空间的物体(人物或车辆等)的图像进行分析，在该物体的图像的特定部位合成三维图像。上述发明通过将现实的物体的图像和三维图像组合(合成)，从而吸引着用户的兴趣。但是，上述发明需要存在有成为在现实空间中合成三维图像的对象的物体，在这样的对象物体不存在的状况下，就不能向用户提供ar技术特有的乐趣。
10.另外，上述发明中，作为将现实空间的物体和三维图像合成的前阶段的处理，需要分析现实空间的图像，确认在该图像之中存在有规定的物体的情况，或者在规定的物体中识别形状等特征，确定合成三维图像的部位。因此，根据计算装置(智能手机等)的处理能力，使得图像处理的负荷过大，图像显示有可能产生延迟。在这种情况下，使得现实空间的物体与三维图像难以实时的重合，物体与图像产生偏差，也产生有损真实感这样的问题。


技术实现要素：

11.本发明的主要目的在于提供一种增强现实技术，不依赖于是否存在有现实空间的规定的物体，能够给予用户在虚拟空间内实时组合图像的乐趣。
12.本发明的发明人针对实现上述目的的手段锐意研究的结果，确定在二维或三维的虚拟模型上预先设定一个或多个联接部(joint portion)，将使多个模型通过联接部而结合得到的影像与现实世界的背景图像重叠显示。由此，能够通过利用了虚拟空间的模型的增强现实技术来实时的实现组装模型或场景(diorama)模型那样的游戏方法。本发明人想到只要根据上述想法就能够实现上述的目的，从而完成了本发明。若进行具体说明，则本发明具有以下的构成。
13.本发明的第一侧面涉及增强现实显示装置。本发明的增强现实显示装置具有拍摄部、控制部及显示部。拍摄部获得现实世界的背景图像。模型控制部控制虚拟空间内的二维或三维的模型。显示部将模型与背景图像一起显示。本发明中，模型具有能够与另外的模型连结的一个或多个联接部。模型控制部控制各模型，以使得在虚拟空间内第一模型的联接部与第二模型的联接部连结。另外，在本技术说明书中，现实空间和虚拟空间被组合在一起，虚拟的模型重叠于现实的背景图像上的空间，方便起见被称为“增强现实空间”。
14.如上述构成那样，通过在虚拟空间中使多个模型连结而得到的影像与现实的背景图像重叠并进行显示，从而能够通过增强现实技术来实现组装模型或场景模型那样的体验型的内容。另外，本发明是将虚拟的模型之间组合，并不依赖于在现实世界中存在的实际的物体，因此在任何状况下都能够向用户提供新的游戏方法。另外，本发明的模型上预先设定有联接部。因此，在连结多个模型时，不需要分析各模型的形状或特征这样的前处理。由此，能够减轻模型的连结处理中的负荷，所以，可抑制图像输出处理的延迟，即使是具有一般的处理能力的计算装置，也能够实时输出增强现实空间的影像。
15.在本发明的增强现实显示装置中，优选模型控制部在虚拟空间内第一模型的联接部与第二模型的联接部接近到规定范围内时，以使得第一模型与第二模型通过联接部而连结的方式控制各模型。像这样，通过以两个模型的联接部接近到规定范围内的情况为契机，之后使两个模型自动连结，从而用户能够简单的将模型连结。另一方面，通过要求用户进行使各模型的联接部接近到规定范围内的操作，从而能够提供模拟的将模型组装的享受乐趣方法。
16.在本发明的增强现实显示装置中，优选在各联接部被分配有确定能够连结于此的模型或联接部的元数据(metadata)。在此情况下，模型控制部对在虚拟空间内接近的两个联接部的元数据进行分析。而模型控制部在判断接近的两个联接部能够相互连接的情况下，在这两个联接部将第一模型与第二模型连结。像这样，在本发明中，并不是使所有的联接部无限制的能够相互连结，只要针对每个联接部预先确定(限制)可连结的另外的联接部即可。由此，使得每个模型的个性变强，因此能够提供包含有寻找或收集能够与某个模型的联接部连结的模型这样的集合的要素的游戏方法。
17.本发明的增强现实显示装置也可以是进一步具有模型生成部。模型生成部对包含有现实的物体的图像进行分析，根据该图像中包含的现实的物体而生成二维或三维的模型。另外，模型生成部针对所生成的模型设定可与另外的模型连结的一个或多个联接部。像这样，通过根据从用户接受提供的任意的图像来生成具有联接部的模型，从而用户能够在
增强现实空间中进行将自己的独创的模型和另外的模型组合的游戏方法。
18.本发明的增强现实显示装置也可以是进一步具有模型获得部。模型获得部对包含有现实的物体的图像进行分析，根据从该图像中包含的现实的物体得到的信息，从存储部读取与该现实的物体对应的模型，或者通过通信线路而从服务器获得与该模型对应的模型。像这样，从图像之中所包含的现实的物体，例如获得该物体的形状以及颜色等特征信息或者附加于该物体的编码信息，根据这些信息，确定与该物体对应的二维或三维的已有的模型。只要将该已有的模型从增强现实显示装置本身所具有的存储部读取，或者通过互联网等而从服务器下载即可。由此，能够有效利用已有的模型，因此能够简单且高速的使与现实的物体对应的虚拟的模型在增强现实空间中出现。
19.在本发明的增强现实显示装置中，优选模型控制部在将第一模型的联接部与第二模型的联接部连结之际，针对第一模型以及第二模型双方或者其中任意一方，至少部分的进行尺寸、形状以及纹理中的至少一种的自动修正。像这样，通过在模型的连结时进行尺寸等的自动修正，从而能够以更自然的形式实现模型之间的连结。
20.本发明的增强现实显示装置也可以是进一步具有操作部和候补模型筛选部。操作部通过用户的输入操作而接受模型的联接部的选择。候补模型选择部筛选出一个或多个具有能够与由操作部选择的联接部连结的联接部的另外的虚拟模型的候补，将有关筛选出的虚拟模型的信息在显示部显示。像这样，通过将能够与选择的联接部连结的模型的信息呈现给用户，从而用户能够容易的发现所期望的模型。另外，例如在本发明被利用于将模型作为商品而销售的服务中的情况下，通过上述这样的操作而呈现候补的模型，从而能够促使用户进行模型的购入。
21.本发明的第二侧面涉及记录有计算机程序的记录介质。本发明的记录介质中所记录的程序用于使通用的便携式信息终端作为上述的第一侧面所涉及的增强现实显示装置而发挥功能。作为便携式信息终端的示例是智能手机、平板电脑式终端，笔记本电脑式终端、头戴式显示器、平视显示器(heads
‑
up display)。本发明的程序可以记载在cd
‑
rom等计算机可读的介质中。
22.根据本发明的增强现实技术，不依赖于是否存在现实空间的规定的物体，能够在虚拟空间内实时的组合图像。
附图说明
23.图1是示出本发明的增强现实显示装置的一实施方式的图，示意性的示出在该装置的显示部显示模型的状态。
24.图2是示意性的示出可连结的多个模型的关系性的图。
25.图3是示出增强现实显示装置和管理服务器的性能构成例的框图。
26.图4是示出记录了有关模型的各种信息的数据库的数据构造例的图。
27.图5a、图5b是示意性的示出将模型连结用的操作的图。
28.图6是示意性的示出根据现实物体的图像而生成虚拟的模型的处理的图。
29.图7是示意性的示出根据现实物体的图像而读取与其对应的虚拟的模型的处理的图。
30.图8是示意性的示出显示可连结于某个联接部的模型的候补的处理的图。
31.图9是示出本发明的增强现实显示装置的另外的实施方式的图，示意性的示出在该装置的显示部显示场景模型的模型的状态。
32.附图标记的说明
33.10
…
增强现实显示装置
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
11
…
控制部
34.11a
…
模型控制部
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
11b
…
模型生成部
35.11c
…
模型获得部
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
11d
…
候补模型筛选部
36.12
…
存储部
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
13
…
拍摄部
37.14
…
显示部
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
15
…
操作部
38.16
…
传感器部
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
17
…
通信部
39.20
…
管理服务器
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
21
…
控制部
40.22
…
数据库
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
23
…
通信部
具体实施方式
41.以下，使用附图针对具体实施方式进行说明。本发明并不限定于以下说明的实施方式，包含本领域的普通技术人员根据以下的实施方式在显而易见的范围内进行的适当变更。
42.图1示出本发明的增强现实显示装置10的第一实施方式。本实施方式中，增强现实显示装置10由所谓的智能手机来实现。如图1所示，增强现实显示装置10将由拍摄部(相机)摄影的现实空间作为背景图像，将在该背景图像上重叠了二维或三维的模型的影像在显示部(显示器)显示。另外，在本技术的各图中，在通过计算机图形技术而描绘的虚拟模型上施加了斜线状的阴影线来表示。
43.图2示出作为本发明的一个特征点的组装式的模型的连结构造。如图2所示，本发明中，在各模型设定一个或多个联接部。例如，在图2所示的例子中，在“body”(备注：躯干部)的模型上设定有b1、b2、b3、b4这样的四个联接部。另外，在“body”模型的联接部b1可连结在“head”(备注：头部)模型设定的联接部h1。同样，在“body”模型的联接部b2、b3、b4，如图2所示，可分别连结“right arm”(备注：右臂部)模型的联接部ra1、“left arm”(备注：左臂部)模型的联接部la1、“leg”(备注：腿部)模型的联接部l1。像这样，本实施方式中，能够在增强现实空间内实现组装模型这样的游戏方法。
44.在图1以及图2所示的例子中，作为组装式的模型的一个例子，示出了手办(figure)或塑料模型(plamodel)(注册商标)等这样的三维的人型的模型。该人型模型包括有躯干部、头部、右臂部、左臂部以及腿部分别独立的模型，通过由前述的各联接部将所有的模型连结而成为完成形式。但是，在本发明中，组装式的模型并不限于人型，例如也可以是在穿戴在人型模型上的装备品或装饰品，也可以是其它的模仿角色的产品，也可以是车辆或者火车、航空器、船舶等交通工具型。另外，详细内容后述，但组装式的模型也可以是火车的轨道或车站、道口、大厦等建造物、树木或岩石、山等自然物等表现景观的场景(diorama)模型的模型。另外，组装式的模型并不限于在此列举的模型，可以包含各种各样的种类的模型。
45.图3是示出包含增强现实显示装置10和管理服务器20的服务器
·
客户型系统的功能构成的框图。增强现实显示装置10和管理服务器20，通过互联网等的通信线路而连接，能
够相互进行信息的发送及接收。本实施方式中，在管理服务器20保管着有关多个模型的信息(建模数据及其元数据)，增强现实显示装置10根据需要从管理服务器20下载有关模型的信息并在显示部14显示。但是，虽然省略图示，但在另外的实施方式中，也可以使增强现实显示装置10本身预先存储有关多个模型的信息。在这种情况下，就不需要管理服务器20。
46.增强现实显示装置10是至少具有对现实空间进行摄影而将摄影图像和虚拟模型重叠起来进行显示的功能的装置。增强现实显示装置10例如由公知的智能手机或头戴式显示器等来实现。具体而言，在智能手机等通用的便携式信息终端中，为了执行本发明的增强现实显示装置10所特有的处理而存储有应用程序。该终端通过执行该程序而作为本发明的增强现实显示装置10来发挥功能。如图3所示，增强现实显示装置10基本上具有控制部11、存储部12、拍摄部13、显示部14、操作部15、传感器部16以及通信部17。
47.增强现实显示装置10的控制部11进行增强现实显示装置10所具有的其它的要素12～17的整体控制。作为控制部11，可利用cpu或gpu等公知的处理器。控制部11读取在存储部12中存储的应用程序，并按照该应用程序来控制其它的要素。具体而言，控制部11使通过拍摄部13而摄影的现实空间的背景图像在显示部14显示。另外，控制部11使通过通信部17而从管理服务器20接收的模型和背景图像一起在显示部14显示，并且根据来自操作部15或传感器部16的输入信息来控制该模型的动作等。另外，控制部11作为主要的功能块而具有模型控制部11a、模型生成部11b、模型获得部11c以及候补模型筛选部11d。有关这些功能块11a～11d的详细情况，参照图4至图8在后面记述。
48.存储部12是用于存储在增强现实的显示控制中使用的信息的要素。具体而言，存储部12存储有用于使一般的智能手机等便携式信息终端作为增强现实显示装置10来发挥功能的应用程序。在存储部12中存储的应用程序，在进行增强现实的显示之际由控制部11读取，且执行按照该程序的处理。另外，在存储部12也可以存储有多个其它的应用程序。存储部12的存储功能例如可以通过hdd以及sdd这样的非易失性存储器来实现。另外，存储部12也可以具有将控制部11所进行的运算处理的中途经过等写入或读取用的作为存储器的功能。存储部12的存储器功能可以通过ram或dram这样的易失性存储器来实现。
49.拍摄部13是用于获得静止图像或动态图像的图像数据的相机。构成拍摄部13的相机是利用内置于增强现实显示装置10中的相机。通过拍摄部13而获得的图像数据，被发送到控制部11，进行了规定的运算处理之后，在显示部14显示。另外，也可以将该图像数据保存到存储部12。相机例如由镜头、机械快门、快门驱动器、ccd图像传感器单元或cmos图像传感器单元这样的光电转换元件、从光电转换元件读取电荷量而生成图像数据的数字信号处理器(dsp)以及ic存储器等构成。
50.显示部14是显示规定的图像用的要素。显示部14由液晶显示器或有机el显示器这样的公知的显示器装置构成。在本发明中，在显示部14主要是将二维或三维的模型和现实空间的背景图像一起显示。
51.操作部15是将用户的操作信息输入到增强现实显示装置10用的要素。作为操作部15，只要是利用触控面板、鼠标、键盘、触控笔等公知的输入装置即可。另外，通过将触控面板(操作部15)配置在显示器(显示部14)的前面上，构成触控面板显示器也是可以的。另外，操作部15也可以是能够从增强现实显示装置10物理性的分离开的结构，在这种情况下，操作部15通过蓝牙(bluetooth(注册商标))等近距离无线通信标准而与增强现实显示装置10
相连接。
52.传感器部16是将传感信息输入到增强现实显示装置10用的要素。作为传感器部16的例子，可列举出加速度传感器、陀螺仪传感器、麦克风、gps传感器、接近传感器、亮度传感器等，增强现实显示装置10具有一种或多种的传感器。在本发明中，传感器部16用于检测增强现实显示装置10的姿势。即，通过包含有加速度传感器、陀螺仪传感器的传感器部16，增强现实显示装置10的拍摄部13的摄影方向或摄影范围的变化量作为传感信息而被检测出。控制部11(主要是模型控制部11a)使用该传感信息，进行模型的显示位置和显示方向的控制。例如，控制部11只要能进行以下的控制即可：使模型出现在现实空间的特定位置，当存在于该特定位置的模型进入到拍摄部13的摄影范围时，将该模型在显示部14显示。
53.增强现实显示装置10的通信部17是通过互联网等的通信线路而主要与管理服务器20进行通信用的要素。具体而言，在通过控制部11而生成规定的模型的下载要求的情况下，通信部17将该要求向管理服务器20发送。另外，通信部17接收在管理服务器20的数据库22存储的各种的模型相关的信息，并向控制部11传递。
54.管理服务器20是主要担负着管理向增强现实显示装置10提供的模型的功能的网络服务器。在管理服务器20保管着的模型以及与此相关的信息能够随时更新(增加、变更、删除)。另外，管理服务器20可以由一台网络服务器构成，也可以通过在多个网络服务器分担其功能来构筑。管理服务器20基本上由向用户提供与增强现实相关的服务的运营商来管理。如图3所示，管理服务器20基本上具有控制部21、数据库22以及通信部23。
55.管理服务器20的控制部21进行管理服务器20所具有的其它的要素22、23的整体控制。作为控制部21，可利用cpu或gpu等公知的处理器。控制部21主要是当从增强现实显示装置10接收到下载要求时，从数据库22读取与下载要求对应的模型及与其相关的信息，经由通信部23将这些信息向增强现实显示装置10发送。
56.数据库22存储有向增强现实显示装置10提供的各种的模型相关的信息。图4示出了关系数据库(relational database)的数据构造来作为数据库22中包含的数据的一个例子。例如，数据库22中包含有模型表(a)、连结条件表(b)、拥有模型表(c)。
57.模型表中记录有在增强现实显示装置10显示的各种模型相关的信息。特别是在模型表中针对每个模型记录有该模型所具有的联接部的信息。具体而言，模型表包含有模型id字段(field)(列)、系列字段、部位字段、模型名字段以及联接部字段。
58.在模型id字段记录有模型固有的识别信息(id)。在系列字段记录有各模型所属的系列名。例如，在图示的例子中，模型id0001～0005属于series a(备注：系列a)，模型id0006～0010属于series b(备注：系列b)。例如，属于相同系列的模型，实施有相同的设计，或者通过相同的设计理念作成，存在具有统一感等的共同点。在部位字段记录有模型的部位。例如，在图4所示的例子中，由于假设为图2所示的组装式的人型模型，因此各模型的部位作为一个例子，分为头部(head)、躯干部(body)、左臂部(left arm)、右臂部(right arm)以及腿部(leg)。在模型名字段记录有模型固有的名字。在联接部字段记录有各模型所具有的一个或多个联接部的识别信息。
59.如图4所示的例子那样，在本发明中，优选针对每个模型不是设定独自的联接部，而是使联接部标准化，从而可以具有多个模型共用的联接部。即，模型id0002和模型id0007分别是不同的模型，但是例如具有b1、b2、b3、b4这样的共同的联接部。例如在联接部b2能够
连结联接部ra1，通过使联接部标准化，无论是在模型id0002的联接部b2还是在模型id0007的联接部b2，都能够连结具有联接部ra1的另外的模型。通过这样使联接部标准化，能够实现模型的换装。
60.连结条件表记录有联接部的可连结条件。例如，在联接部h1设定为联接部b1可连结。另外，在联接部b1设定为联接部h＊可连结。在此“＊”的意思是可连结条件部分一致即可，意味着例如像“h1”或“h2”等那样，只要联接部的识别信息的前缀只要是“h”即可，之后无论是怎样的值都满足可连结条件。因此，联接部b1可与联接部h1以及h2中的任一方连结。而像联接部h1与联接部b1的关系那样，相互满足可连结条件的联接部被判断为可连结。例如，联接部h1可以仅与联接部b1连结。联接部b1除了联接部h1以及h2之外，还可以与前缀是h的另外的联接部(例如未图示的h3、h4)连结。
61.另外，可连结条件中，作为表示可连结的联接部的条件以外的条件，也可以包含有附加条件。在图4所示的例子中，作为附加条件，设定在模型表中记录的系列字段的信息。例如，联接部h2被设定为可与联接部b1且属于series b的模型的联接部连结。也就是说，联接部h2不能与属于series a的模型的联接部b1连结，仅能够与属于series b的模型的联接部b1连结。像这样设定附加条件来限制可连结的联接部也是可以的。
62.拥有模型表是记录每个用户所拥有的模型相关的信息用的表。例如，用户针对本身所拥有的模型，能够使之在增强现实空间中自由出现来使用。另一方面，针对并不拥有的模型不能使用，为了使用这样的模型而需要另外获取(购入、作成、与其他用户交换、接受来自其他用户的赠与等)。拥有模型表中包含有记录用户固有的id用的用户id字段、记录用户所拥有的模型的id用的拥有模型id字段以及记录各模型的来源用的来源字段。关于模型的来源，例如，“作成”的意思是用户自己作成的模型(例如参照图6)。另外，“获取”的意思是，以用户对规定的现实的物体进行摄影的情况为契机而从服务器下载的模型(例如参照图7)。另外，所谓“下载”的意思是用户从服务器下载的模型(例如参照图8)。除此之外，作为模型的来源，也可以是与其他用户交换或者接受来自其他用户的赠与等。
63.管理服务器20的通信部23是通过互联网等的通信线路主要与增强现实显示装置10进行通信用的要素。通信部23主要将在数据库22中存储的各种的模型相关的信息向增强现实显示装置10发送。
64.接着，参照图5a、图5b针对连结模型的方法的例子进行说明。图5a作为一个例子而示出了在躯干部的模型(body)上连结左臂部的模型(left arm)的情况。如图5a所示，显示部14在增强现实空间(将现实空间和虚拟空间组合，虚拟的模型被重叠在现实的背景图像上的空间)显示在躯干部连结头部的模型(head)、右臂部的模型(right arm)以及腿部的模型(leg)而得到的模型。另外，在该增强现实空间中，左臂部的模型(left arm)以与其它的模型分离开的状态被显示。
65.在图5a、图5b所示的例子中，由显示部14和操作部15构成触控面板显示器，用户能够通过触控各模型而自由操作。控制部11所包含的模型控制部11a，对在增强现实空间(具体而言是虚拟空间)内存在的这些模型进行控制。例如通过在用一根手指触碰各模型的状态下使手指上下左右滑动，从而能够使各模型移动。另外，通过在用两根手指触碰各模型的状态下使手指上下左右滑动，从而能够改变各模型的朝向。另外，通过在用两根手指触碰各模型的状态下使两根手指的间隔扩宽(扩大(pinch out))，或者使两根手指的间隔变窄(缩
小(pinch in))，从而能够改变各模型的大小。除此之外，还有利用一根手指两次触碰各模型的操作或三次触碰各模型的操作等，模型控制部11能够对应于用户的各种的操作来控制在虚拟空间内的模型的动作或变化。
66.在图5a所示的例子中，由用户进行以下操作：使左臂部的模型的联接部la1接近躯干部的模型的联接部b3。另外，在该例中，从躯干部的模型的联接部b3离开距离r1的范围用点划线表示，离开距离r2的范围用虚线表示(其中，距离r2＜距离r1)。在此情况下，当左臂部的联接部la1向着躯干部的联接部b3接近时，联接部la1首先进入到距离r1的范围。而当联接部la1进入了距离r1的范围时，模型控制部11a判断联接部la1和联接部b3是否相互满足可连结条件。可连结条件例如像图4所示的那样，记录在连结条件表中，因此模型控制部11a只要参照该表即可。当模型控制部11a判断联接部la1和联接部b3能够连结时，进行示出这些联接部la1、b3能够连结的情况的引导显示。在图5a中，作为引导显示的一个例子，显示“箭头”。也就是说，为了示出左臂部的联接部la1和躯干部的联接部b3能够连结，用“箭头”表示出从当前的移动操作的左臂部来看躯干部的联接部b3存在的方向。由此，用户能够容易理解通过沿着该“箭头”使左臂部向着躯干部接近，从而两模型相连结的情况。
67.接着，左臂部的联接部la1进一步向着躯干部的联接部b3接近，当进入到距离r2的范围时，模型控制部11a使联接部la1和联接部b3自动连结。由此，对于用户来说模型的连结操作变得简单。另外，通过对应于联接部的距离而进行连结处理，从而能够不依赖于模型的形状等而使多个模型连结，因此能够降低计算机上的处理的负荷。而且，模型控制部11a在使左臂部和躯干部的模型连结之际，也可以针对各模型的全体或一部分，对其尺寸、形状以及纹理(texture)的一种或两种以上进行自动修正。例如，在连结时，在左臂部和躯干部的模型的尺寸(比例)产生偏差的情况下，在使两模型的尺寸一致的基础上将两模型连结。另外，为了使两模型的连结后的状态看起来更加自然，使左臂部和躯干部的模型双方或者其中一方的形状变化也是可以的。而且，在连结时，在左臂部和躯干部的模型的纹理(颜色或质感等)存在差异的情况下，也可以在使两模型的纹理一致的基础上将两模型连结。
68.另一方面，在图5b所示的例子中，由用户进行使右臂部的模型的联接部ra1向躯干部的模型的联接部b3接近的操作。在此，不能使右臂部的联接部ra1连结于躯干部的联接部b3。在此情况下，右臂部的联接部ra1向着躯干部的联接部b3接近，当进入到距离r1的范围时，模型控制部11a进行表示这些联接部ra1、b3不能连结的情况的引导显示。例如，如图5b所示那样，在右臂部的联接部ra1与躯干部的联接部b3之间进行
“×”
的显示，只要显示两模型不可连结即可。
69.另外，在图5a、图5b中示出了将模型之间连结的处理，但当然也可以从已经连结了的模型将各模型分离开。在此情况下，当进行与上述的将模型连结的操作相反的操作时，模型控制部11a只要进行控制以使得各模型分离开即可。如上所述，模型经由联接部而能够自由的连结以及分离。
70.接着，参照图6至图8，针对用户获取模型的方法的例子进行说明。图6示出根据摄影图像中所包含的现实的物体而生成二维或三维的虚拟的模型的方法。图6中的(a)示出包含有例如手办或塑料制的组装模型等的现实的物体的摄影图像。现实的物体不限于手办或组装模型，也可以是火车的轨道或车站、道口、大厦等的建造物或者树木或岩石、山等的自然物等。增强现实显示装置10获得包含有这样的现实的物体的摄影图像。摄影图像可以由
拍摄部13摄影得到，也可以通过互联网等下载得到。图6中的(a)示出物体的正面的摄影图像，而在作成二维的模型的情况下，仅物体的正面的摄影图像就足够。另一方面，在作成三维的模型的情况下，优选获得对同一个物体从不同的角度进行摄影而得到的多个图像。即，除了图6中的(a)所示的物体的正面之外，可以获得物体的背面、左侧面、右侧面、俯视、仰视、其它的立体图等多角度的摄影图像。
71.接着，模型生成部11b如图6中的(b)所示那样对一个或者多个摄影图像进行分析，根据该图像中包含的现实的物体而生成二维或三维的模型。例如，在生成二维的模型的情况下，可以确定一个摄影图像中所包含的现实的物体的轮廓，沿着该轮廓而形成平面的模型的外缘，并且以对应于该现实的物体的色彩和图案的方式来设定模型的色彩和图案。另外，在生成三维的模型的情况下，可以根据针对同一物体从不同的角度捕捉到的多个摄影图像，形成立体的模型的外缘，以对应于各个图像的色彩和图案的方式设定模型的色彩和图案。另外，根据摄影图像而生成二维或三维的模型的处理，并不限于在此记载的方式，可以适当的采用公知的处理。
72.接着，模型生成部11b如图6中的(c)所示那样，在上述那样生成的模型设定联接部。具体而言，模型生成部11b首先按照规定的规则，提取从完成形式的模型将部件(part)的模型分离的点(以下称为“分离点”)。作为规定的规则，例如将完成形式的模型之中的、手臂的根部和脖子、躯干的变细部位等那样的、与其他部位相比较粗细或宽度变小的部位作为分离点也是可以的。另外，将完成形式的模型之中的、与其他部位相比较色彩或图案显著变化的部位作为分离点也是可以的。另外，也可以将预先作成的多个模型和它们的分离点的数据集合作为教师数据而实施机器学习，参照由此得到的已经学习过的模型，自动形成某个模型的分离点。
73.接着，模型生成部11b对上述那样形成的分离点设定联接部。由此，能够在完成形式的模型上自由的拆装各部件的模型。另外，在联接部例如像图4中的(b)所示那样被标准化的情况下，模型生成部11b可以从标准化的联接部之中选择适当的联结部，并设定于模型的分离点。由此，不仅仅是从同一模型分离的部件的模型之间的连结/分离，也能够换装从另外的模型分离的部件的模型。例如，存在有以下的情况：完成形式模型a被分离为a1和a2的部件的模型，完成形式模型b被分离为b1和b2的部件的模型。在此情况下，通过使用标准化的联接部，不仅仅是a1与a2的再连结和b1与b2的再连结，也可以将a1与b2连结，或者将b1与a2连结。
74.另外，模型生成部11b将有关上述那样生成的模型的信息登记在管理服务器20的数据库22中。具体而言，针对新生成的模型，只要对每个部件的模型，设定与图4中的(a)所示的模型表的各字段(列)对应的信息并记录即可。可以针对模型id、部位、模型名、联接部自动进行分配。另外，针对从某个完成形式的模型分离的部件的模型，只要作为同一系列进行登记即可。另外，通过由管理服务器20统一管理各用户生成的模型，从而也可以使得例如某个用户生成的模型能够由另外的用户下载来使用。在此情况下，也可以是在用户之间能够进行模型的交换或买卖。
75.图7示出根据摄影图像中包含的现实的物体来读取预先存储在存储部12或数据库22中的已有的模型的方法。即，在图7所示的例子中，不是新生成二维或三维的模型，而是将摄影图像中所包含的现实的物体作为触发，将与其对应的已有的模型从数据库22等中读
取。具体而言，控制部11的模型获得部11c对图7中的(a)所示的摄影图像进行分析，提取该图像中所包含的现实的物体的特征点。作为特征点，可列举出物体的轮廓、色彩、图案等。另外，在现实的物体上附有二维码(条形码)或三维码(qr码(注册商标))等编码的情况下，模型获得部11c也可以将该编码作为特征点而从摄影图像中提取，获得在编码中嵌入的信息。在此情况下，只要在编码中嵌入与现实的物体对应的模型的id信息即可。
76.接着，模型获得部11c如图7中的(b)所示那样，根据从摄影图像中提取的特征点或编码(id信息)，从增强现实显示装置10的存储部12或者管理服务器20的数据库22中读取与其对应的模型。在存储部12或数据库22中存储的模型，如图7中的(c)所示那样，已经设定有联接部。根据这样的实施方式，例如在用户购入了实物的手办或组装模型之后，通过利用智能手机(增强现实显示装置10)对其进行摄影，从而能够进行从管理服务器20下载与该手办等对应的二维或三维的模型这样的服务展开。另外，在本发明中，可以将模型在增强现实空间内自由组装或者与另外的模型进行换装，因此能够扩展实际购入的手办等的游戏方法。
77.图8示出指定模型的联接部并获取能够与该指定的联接部连结的另外的模型的方法。例如，如图8所示那样，当用户操作触控面板显示器等而指定某个模型的联接部时，控制部11的候补模型筛选部11d从在管理服务器20的数据库22(或者增强现实显示装置10的存储部12)存储的多个模型之中，筛选具有能够与由用户指定的联接部连结的联接部的模型的候补。另外，候补模型筛选部11d将在此筛选出的模型的候补在显示部14显示。例如，在图8所示的例子中，躯干部的模型(body)的联接部b3由用户指定。在躯干部的联接部b3能够连结左臂部的模型(left arm)的联接部la1。因此，候补模型筛选部11d将具有联接部la1的多个左臂部的模型(left arm 1～4)作为候补而筛选出，将该候补在显示部14显示。
78.接着，用户从作为候补而显示的多个模型之中选择任意的模型。由此，由用户选择的模型被从管理服务器20的数据库22(或者增强现实显示装置10的存储部12)读取，出现在增强现实空间中。这样在增强现实空间中出现的模型，与图5a所示的顺序相同，能够连结于另外的模型。这样，用户通过指定联接部，能够简单的检索并获取可在此连结的另外的模型。
79.图9示出本发明的增强现实显示装置10的第二实施方式。在本实施方式中，增强现实显示装置10通过所谓的头戴式显示器(未图示)来实现。第二实施方式的增强现实显示装置10具有基本上与前述的第一实施方式相同的功能构成(参照图3)。但是第二实施方式在出现于增强现实空间中的模型是所谓的场景模型这一点上，与设想为人型模型的第一实施方式不同。
80.如图9所示，在本实施方式中，多个轨道的模型(rail(备注：轨道))在增强现实空间中显示，这些轨道能够在联接部r1、r2进行连结。即，在各轨道的一端设定凸状的联接部r1，在另一端设定凹状的联接部r2，设定联接部r1和联接部r2能够连结。另外，轨道中准备有例如图9所示那样的直线状的轨道(straight(备注：直线状))和曲线状的轨道(gurve(备注：曲线状))、或者其它形状的轨道。因此，通过使某个轨道模型的联接部r1与另外的轨道模型的联接部r2在增强现实空间进行连结，从而能够将轨道铺设为自由的形状，或者将轨道自由的延伸。
81.另外，在图9所示的例子中，准备有在轨道的模型之上行驶的列车的模型(train(备注：列车))。该列车模型可以按照图6中的(a)以及图6中的(b)所示的顺序，根据现实的
列车的摄影图像而作成，也可以按照图7中的(a)以及图7中的(b)所示的顺序，根据现实的列车的摄影图像而从存储部12或数据库22中读取。另外，列车模型也可以是将已有的模型从存储部12或数据库22中读取。列车模型被编程为在增强现实空间中行驶在轨道的模型之上。因此，用户可以使自分喜好的列车模型沿着自己作成的轨道的模型行驶。另外，虽然省略了图示，但是能够在增强现实空间中登场的模型并不限于轨道和列车，只要适当准备车站、道口、大厦等的建造物、树木或岩石、山等的自然物等表现景观的场景模型的模型即可。
82.在本发明中，使用着增强现实(ar：augmented reality)这样的用词，但是根据本发明的实施例，有时也分类为虚拟现实(vr：virtual reality)或混合现实(mr：mixed reality)或者将vr和mr总称的xr这样的技术。
83.以上，在本技术说明书中，为了表现本发明的内容，一边参照附图一边进行了本发明的实施方式的说明。但是，本发明并不限定于上述实施方式，包含根据本技术说明书中记载的事项本领域的技术人员显而易见的变更形态和改良形态。