空间识别系统、空间识别方法、信息终端以及服务器装置与流程

1.本发明涉及用于信息终端识别空间的系统等技术。


背景技术：

2.头戴式显示器(hmd)、智能手机等信息终端具有将与虚拟现实(vr)、增强现实(ar)等对应的图像(有时记载为虚拟图像等)显示于显示面的功能。例如，佩戴于用户的hmd在房间等的空间内，在与墙壁、桌子等实物相匹配的位置显示ar的图像。
3.作为与上述技术相关的现有技术例，可举出日本特表2014-514653号公报(专利文献1)。在专利文献1中记载了如下技术：在多个终端中，基于照相机的捕获，将实际空间内的同一物体、例如桌面识别为固定表面，从各终端在该固定表面显示虚拟物体，由此在几乎相同的位置显示虚拟物体。
4.现有技术文献
5.专利文献
6.专利文献1：日本特表2014-514653号公报


技术实现要素：

7.发明所要解决的课题
8.上述信息终端为了能够在ar等功能中适当地显示虚拟图像，优选尽可能高精度地掌握关于空间内的墙壁、桌子等实物的位置、朝向、形状等。为了掌握该信息，信息终端具有使用照相机、传感器对本机的周围的空间进行检测、测定的功能。例如，hmd能够将从本机的传感器射出的光照射到周围的物体而返回时的反射点作为特征点进行检测，能够获取周围的多个特征点作为点群数据。hmd能够使用这样的点群数据来构成表示空间的形状等的空间数据(换言之，用于信息终端识别空间的数据)。
9.然而，在用户的信息终端以现实世界内的广阔的空间、多个空间为对象进行上述测定的情况下，关于效率、用户的便利性、作业负荷等存在问题。例如，在一个用户通过信息终端进行测定某建筑物内的空间的作业的情况下，存在花费较长时间、负荷大的情况。
10.另外，某个用户的信息终端在测定一次房间等的空间并掌握而利用于ar图像显示等之后，在再次利用该空间的情况下，必须再次测定，因此效率等不佳。
11.本发明的目的在于，提供一种信息终端能够对空间进行测定而生成、登记空间数据，信息终端能够获取并利用该空间数据的技术；以及能够在多个用户的多个信息终端之间共享该空间数据和对应的空间识别的技术。
12.用于解决课题的手段
13.本发明中的代表性的实施方式具有以下所示的结构。一个实施方式的空间识别系统具备：信息终端，其具有测定空间的功能以及在显示面显示虚拟图像的功能，具有终端坐标系；以及信息处理装置，其进行基于公共坐标系的处理，所述信息终端测定所述终端坐标系与所述公共坐标系之间的与位置和朝向相关的关系，基于表示测定出的关系的数据，使
所述终端坐标系与所述公共坐标系匹配，所述信息终端和所述信息处理装置进行所述空间的识别的共享。
14.发明效果
15.根据本发明中的代表性的实施方式，信息终端能够测定空间来生成、登记空间数据，信息终端能够获取并利用该空间数据，能够在多个用户的多个信息终端之间共享该空间数据以及对应的空间识别。
附图说明
16.图1是表示本发明的实施方式1的空间识别系统的结构的图。
17.图2是表示本发明的实施方式1的空间识别方法的结构的图。
18.图3是表示在实施方式1中空间的结构例的图。
19.图4是表示在实施方式1中空间的分担测定例的图。
20.图5是表示实施方式1中空间的利用例的图。
21.图6是表示在实施方式1中作为信息终端的hmd的外观结构例的图。
22.图7是表示在实施方式1中作为信息终端的hmd的功能块结构例的图。
23.图8是在实施方式1中与坐标系配对相关的说明图。
24.图9是在实施方式1中与位置传递等相关的说明图。
25.图10是表示在实施方式1中信息终端间的处理流程的图。
26.图11是表示在实施方式1中信息终端的显示例的图。
27.图12是在实施方式1中与坐标系的旋转等相关的说明图。
28.图13是实施方式1的变形例2中的与坐标系配对等相关的说明图。
29.图14是实施方式1的变形例2中的与变换参数相关的说明图。
30.图15是实施方式1的变形例3中的与坐标系配对等相关的说明图。
31.图16是表示本发明的实施方式2的空间识别系统的结构的图。
32.图17是在实施方式2中与坐标系配对相关的说明图。
33.图18是与实施方式2的变形例4相关的说明图。
34.图19是表示本发明的实施方式3的空间识别系统的结构的图。
35.图20是表示在实施方式3中标识的结构例的图。
36.图21是表示在实施方式3中信息终端和服务器的处理流程的图。
37.图22是与实施方式3的变形例5相关的说明图。
38.图23是表示实施方式3的变形例6的处理流程的图。
39.图24是与实施方式3的变形例6相关的说明图。
40.图25是表示本发明的实施方式4的空间识别系统中的信息终端的显示例1的图。
41.图26是表示在实施方式4中空间的分担例的图。
42.图27是表示在实施方式4中信息终端的显示例2的图。
43.图28是表示在实施方式4中信息终端的显示例3的图。
44.图29是表示在实施方式4中信息终端的显示例4的图。
45.图30是表示在实施方式4中信息终端的显示例5的图。
46.图31是表示本发明的基本结构的图。
具体实施方式
47.以下，基于附图对本发明的实施方式进行详细说明。此外，在全部附图中，原则上对相同部分标注相同的附图标记，并省略重复的说明。
48.《实施方式1》
49.使用图1～图12等，对本发明的实施方式1的空间识别系统和方法等进行说明。以下，有时将信息终端装置记载为终端。
50.以往，关于hmd等终端，针对通过多个用户的多个终端在空间上或者时间上分担测定成为要利用的对象的空间，生成并登记空间数据这样的概念、用于该概念的适当的技术，研究是不充分的。实施方式1的空间识别系统和方法提供基于这样的分担的空间的测定、空间数据的生成、空间数据的共享、再利用这样的概念、以及用于该概念的一系列的手续等适当的技术。该系统和方法高效、例如高速地实现空间的测定、空间数据的生成、空间数据的共享、再利用等。
51.首先，图31表示本发明的基本结构。本发明的基本结构由信息终端1和信息处理装置9构成，信息终端1具有测定空间2的功能以及在显示面显示虚拟图像的功能，并具有终端坐标系wt，信息处理装置9对由公共坐标系ws记述的空间数据6进行处理。信息处理装置9是与信息终端1不同的信息终端或后述的服务器4(图16等)。信息终端1测定终端坐标系wt和公共坐标系ws之间的关于位置和方向的关系，并且基于表示测定出的关系的数据使终端坐标系wt和公共坐标系ws匹配。将该匹配称为坐标系配对(后述)。通过该坐标系配对，信息终端1和信息处理装置9进行空间识别的共享。
52.以基于公共坐标系ws的空间数据6的记述为媒介来进行空间数据6的共享。例如，信息终端1测定空间2而获取空间数据6，从信息处理装置9获取基于公共坐标系ws记述的空间数据6。信息终端1将从信息处理装置9获取到的空间数据6变换为本机的终端坐标系wt，在与本机中测定出的空间数据6合并的基础上利用空间数据6。或者，信息终端1将本机中测定出的空间数据6变换为基于公共坐标系ws的记述，并提供给信息处理装置9。信息处理装置9对所提供的空间数据6和所保持的空间数据6进行合并，利用该数据。
53.图1等所示的实施方式1的空间识别系统通过多个用户的多个终端1的分担来测定空间2，基于测定数据生成空间数据6。为了明确物体的表面方向、物体间的遮挡关系，在空间数据6中也可以包含测定时的终端1的位置(测定起点)。在多个用户的多个终端1之间，能够相互提供并共享利用该空间数据6，能够共享相同的空间2内的位置、朝向等的识别。由此，在多个终端1之间，例如在使用ar功能等时，能够在空间2内容易地在期望的相同位置21显示相同的虚拟图像22，能够适当地实现作业、交流等。根据该系统，与通过一个用户的终端进行测定等作业的情况相比，能够实现高效的作业。此外，在实施方式1中，终端1保持空间数据6。另外，图31中的信息处理装置9是图1中的终端1，公共坐标系ws是在多个终端1之间进行空间数据6的收发时用于记述的基准的某一个终端1的终端坐标系wt。
54.实施方式1的空间识别系统和方法具有与上述分担进行的空间2的测定、识别相关的坐标系间的匹配等机制。一般而言，空间具有的坐标系(有时记载为“空间坐标系”)、各终端具有的坐标系(有时记载为“终端坐标系”)基本上是分别不同的坐标系，至少最初不一致。因此，在实施方式中，在上述分担时，在各终端1所具有的各终端坐标系之间，进行使这些终端坐标系相互关联起来匹配的动作，作为“坐标系配对”。通过该动作，在终端1中设定
用于坐标系变换的变换参数7。在确立了该坐标系配对的状态下，通过变换参数7，能够在坐标系之间相互变换位置、朝向等。由此，在进行分担的各终端1之间，能够共享与相同的空间2相关的位置等的识别。各终端1通过分担的测定来生成在各终端坐标系中记述的部分空间数据6。并且，在各终端坐标系中记述的多个部分空间数据能够通过使用了变换参数7的变换以及合并，构成为以某统一的终端坐标系记述的以空间2为单位的空间数据6。
55.[空间识别系统]
[0056]
图1表示实施方式1的空间识别系统的结构。在本例中，对将终端1使用的对象的空间2设为建筑物内的1个房间，特别使用hmd作为终端1的情况进行说明。实施方式1的空间识别系统具有多个各用户例如用户u1、u2携带或佩戴的多个各终端1例如第一终端1a及第二终端1b、以及成为各终端1的测定或利用的对象的空间2。各终端1生成并保持空间数据6、变换参数7。终端1也可以是智能手机1a、1b、平板终端等装置。各终端1通过无线lan的接入点23等与包括因特网、移动网络等的通信网连接，能够经由通信网与外部装置进行通信。
[0057]
空间2是识别或区分而管理的任意的空间，例如是建筑物内的1个房间。在本例中，该房间的空间2是基于分担的空间数据6的生成对象，是多个终端1的识别共享对象。
[0058]
多个终端1例如具有第一用户u1的第一终端1a(＝第一hmd)和第二用户u2的第二终端1b(＝第二hmd)。作为终端1的hmd在壳体具备透射型的显示面11、照相机12、测距传感器13等，具有将ar的虚拟图像显示于显示面11的功能等。同样地，智能手机1a、1b具备触摸面板等显示面、照相机、测距传感器等，具有将ar的虚拟图像显示于显示面的功能等。此外，在使用智能手机等作为终端1的情况下，也能够实现与hmd的情况大致相同的功能等。例如，用户观看在手持的智能手机的显示面上显示的ar等的虚拟图像。
[0059]
各终端1具有在本机与对方的终端1之间进行坐标系配对的功能。各终端1测定本机的终端坐标系(例如第一终端坐标系wa)与对方的终端坐标系(例如第二终端坐标系wb)的关系，基于该关系生成变换参数7，设定到本机或对方的至少一方。多个终端1(1a、1b)分担测定对象的空间2，生成各个部分的空间数据6(有时记载为“部分空间数据”)。例如，第一终端1a生成空间数据d1a，第二终端1b生成空间数据d1b。多个终端1能够从这些部分空间数据6生成以空间2为单位的空间数据6(例如空间数据d1)，使用该空间数据6共享空间2的识别。终端1具有使用照相机12、测距传感器13等测定空间2，基于测定数据生成空间数据6的功能。终端1能够使用变换参数7进行与测定数据、空间数据6的表现有关的坐标系间的变换。
[0060]
终端坐标系(wa、wb)间的关系大致如以下那样求出。首先，基于实际空间内的不同的2个特定方向上的各终端坐标系(wa、wb)中的表现的测定，求出坐标系间的旋转的关系。接着，基于终端1之间的位置关系的测定，求出各终端坐标系间的原点的关系。变换参数7能够由上述旋转的参数和原点的参数构成。
[0061]
在实施方式1中，在多个终端1之间，将任意一个终端1的终端坐标系(例如第一终端坐标系wa)作为公共坐标系，针对2台终端1的每个配对进行坐标系配对。由此，至少任意一个终端1(例如第一终端1a)生成并保持变换参数7。之后，各终端1分担测定空间2，生成在各终端坐标系中记述的各部分空间数据。各终端1也可以将各部分空间数据作为与其他各终端1之间基于公共坐标系记述的数据而收发、交换。终端1使用变换参数7，在基于本机的终端坐标系的记述和基于公共坐标系的记述之间变换部分空间数据。在本机的终端坐标系
是公共坐标系的情况下，不需要该变换。然后，终端1根据用统一后的终端坐标系记述的多个部分空间数据，通过合并得到以空间2为单位的空间数据6。由此，多个终端1能够使用该空间数据6，在相同的空间2内在相同的位置21适当地显示相同的虚拟图像22。
[0062]
此外，即使在具备非透射型显示器的终端1的情况下，在该终端1的终端坐标系被固定于实际空间的期间，也能够将显示于显示面11的虚拟图像的显示位置与其他终端1共享。
[0063]
[坐标系]
[0064]
在实施方式1中，在各终端1、空间2中，将成为用于指定实际空间内的位置、朝向等的基准的坐标系称为世界坐标系。各终端1具有终端坐标系作为各自的世界坐标系。在图1中，第一终端1a具有第一终端坐标系wa，第二终端1b具有第二终端坐标系wb。各终端坐标系是用于识别并控制终端1的位置、朝向(换言之，姿势、旋转的状态)、图像显示位置等的坐标系。这些终端坐标系针对每个终端1而设定，因此基本上是不同的坐标系，在最初的状态下不一致。另外，空间2具有空间坐标系w1作为表示该空间2的位置、朝向的世界坐标系。在实施方式1中，在空间数据6的测定、生成中不使用空间坐标系w1。在实施方式1中，在终端坐标系中记述空间数据6。第一终端坐标系wa、第二终端坐标系wb以及空间坐标系w1是不同的坐标系。各世界坐标系的原点以及方向被固定在实际空间(地球、地域等)内。
[0065]
第一终端坐标系wa具有原点oa、作为正交的3轴的轴xa、轴ya以及轴za。第二终端坐标系wb具有原点ob、作为正交的3轴的轴xb、轴yb以及轴zb。空间坐标系w1具有原点o1、作为正交的3轴的轴x1、轴y1以及轴z1。原点oa、ob以及原点o1分别固定于实际空间内的预定的位置。第一终端坐标系wa中的第一终端1a的位置la、第二终端坐标系wb中的第二终端1b的位置lb例如被预先规定为壳体中心位置(图8)。
[0066]
终端1在共享空间2的识别的情况下，在与其他终端1之间进行坐标系配对。例如，分担的终端1(1a、1b)相互进行坐标系配对。在坐标系配对时，各终端1相互测定并获取预定的各种量(图8)，基于该各种量求出终端坐标系(wa、wb)间的关系。各终端1根据该关系计算终端坐标系(wa、wb)间的变换参数7。在确立了坐标系配对的状态下，各终端1能够使用变换参数7相互进行位置等的变换。即，各终端1能够将通过空间2的测定而生成的空间数据6中的位置等的表现变换为公共坐标系中的表现。各终端1将以公共坐标系为基准而记述的空间数据6作为媒介，进行空间数据6的收发。由此，各终端1能够将在各终端1中测定出的部分空间数据合并，生成在统一的终端坐标系中记述的空间数据6。此外，在坐标系配对后，各终端1并不限于以本机的终端坐标系为基础来进行本机的内部控制，也能够以对方的终端坐标系为基础来进行。
[0067]
[空间识别方法]
[0068]
图2表示实施方式1的空间识别方法的概要和处理例。该方法具有图示的步骤s1～s9。在图2的例子中，作为空间2的分担(后述的图3)，第一终端1a测定区域2a，第二终端1b测定区域2b。另外，在图2的例子中，由第一终端1a生成变换参数7，构成以空间2为单位的空间数据6(6a、6b)，第一终端1a向第二终端1b提供空间数据6b。在此，第二终端1b是基本结构(图31)中的信息处理装置9，第二终端坐标系wb相当于公共坐标系ws。
[0069]
在步骤s1中，第一终端1a进行与第二终端1b的坐标系配对(后述的图8)，由此，生成用于第一终端坐标系wa与第二终端坐标系wb的变换的变换参数7，并设定至本机。
[0070]
在步骤s2中，第一终端1a测定分担的区域2a，生成由第一终端坐标系wa记述的部分空间数据6(设为部分空间数据d1a)。此外，附图中的
※
标记表示记述该空间数据的坐标系。另一方面，在步骤s3中，第二终端1b同样地测定分担的区域2b，生成由第二终端坐标系wb记述的部分空间数据6(设为部分空间数据d1b)。步骤s2、s3能够同时并行地执行。
[0071]
在步骤s4中，第一终端1a从第二终端1b接收并获取部分空间数据d1b。在步骤s5中，第一终端1a使用变换参数7，将部分空间数据d1b变换为由第一终端坐标系wa记述的部分空间数据6(设为部分空间数据d1ba)。
[0072]
在步骤s6中，第一终端1a将部分空间数据d1a和部分空间数据d1ba合并为1个，得到由第一终端坐标系wa记述的以空间2为单位的空间数据6a(d1)。由此，第一终端1a即使在仅测定区域2a的情况下，也能够得到以空间2为单位的空间数据6a(d1)。
[0073]
而且，具有以下的步骤。在步骤s7中，第一终端1a使用变换参数7，将部分空间数据d1a变换为由第二终端坐标系wb记述的部分空间数据6(设为部分空间数据d1ab)。在步骤s8中，第一终端1a将部分空间数据d1b和部分空间数据d1ab合并为1个，得到由第二终端坐标系wb记述的以空间2为单位的空间数据6b(d1)。在步骤s9中，第一终端1a向第二终端1b发送空间数据6b(d1)。由此，第二终端1b即使在仅测定区域2b的情况下，也能够得到以空间2为单位的空间数据6b(d1)。
[0074]
通过上述方法，对于相同的空间2，第一终端1a获取由第一终端坐标系wa记述的空间数据6a(d1)，第二终端1b获取由第二终端坐标系wb记述的空间数据6b(d1)。因此，能够在这些终端1(1a、1b)之间共享空间2的识别。例如，第一终端1a和第二终端1b能够在空间2内的相同位置21显示相同的虚拟图像22(后述的图5)。此时，第一终端1a基于空间数据6a(d1)在由第一终端坐标系wa记述的位置21显示虚拟图像22。第二终端1b基于空间数据6b(d1)在由第二终端坐标系wb记述的位置21显示虚拟图像22。
[0075]
在第二终端1b中生成变换参数7来构成空间数据6的情况下，上述方法也同样能够应用。
[0076]
[空间例]
[0077]
图3表示空间2的结构例以及由多个用户的终端1分担测定空间2的例子。该空间2例如是公司等建筑物内的1个房间，例如第七会议室。在空间2中存在墙壁、地板、天花板、门2d等配置物、桌子2a、白板2b、其他设备等配置物。所谓配置物，是指构成空间2的任意的实物。作为其他的空间2，既可以是公司、店铺等的建筑物、区域，也可以是公共空间等。
[0078]
记述空间2的空间数据6(特别是后述的空间形状数据)例如是表示该房间的位置、形状等的任意形式的数据。空间数据6包含表示空间2的边界的数据和配置在空间2内的任意物体的数据。表示空间2的边界的数据例如有构成房间的地面、墙壁、天花板、门2d等配置物的数据。也有在边界不存在配置物的情况。空间2内的物体的数据例如有配置在房间内的桌子2a、白板2b等的数据。空间数据6例如至少包含点群数据，是在某终端坐标系中具有每个特征点的位置坐标信息的数据。空间数据6也可以是表示空间内的线、面等的多边形数据。
[0079]
在本例中，由作为两个用户的用户u1、u2各自的终端1(1a、1b)分担测定作为1个房间的空间2，生成该空间2的空间数据6。分担的内容可以任意决定。例如由两个用户商量而如图所示进行分担。分担如本例那样，能够将作为对象的空间2在空间上分割为多个区域
(换言之，部分空间)。在本例中，空间2相对于图3中的左右方向(轴y1方向)上的中央被分割为左右各一半的区域。第一终端1a负责左侧的区域2a，第二终端1b负责右侧的区域2b。
[0080]
[分担测定例]
[0081]
图4表示在图3那样的房间的空间2的俯瞰(例如x
1-y1面)时由两个用户(u1、u2)的终端1(1a、1b)进行基于分担的测定的例子。图4表示某个时间的、作为hmd的终端1(1a、1b)所在的位置(l401、l402)以及朝向(d401、d402)下的测定范围(401、402)等的状态的例子。测定范围是依赖于hmd所具备的测距传感器13等的功能的一例。测定范围401表示在第一终端1a的位置l401及朝向d401下的例如使用测距传感器13的测定范围。同样地，测定范围402表示在第二终端1b的位置l402及朝向d402下的测定范围。
[0082]
此外，在测定作为对象的空间2时，不需要覆盖100％的区域。只要根据ar等的功能、需要来测定空间2中的足够量的区域即可。空间2中，可以产生未被测定的一部分区域，也可以产生因分担而重复测定的区域。在图4的例子中，区域491是未测定区域，区域492是重复测定区域。也可以预先将空间2或分担区域的测定的比例(例如90％等)设定为条件。例如，第一终端1a在以该条件的比例以上测定出分担的区域2a的情况下，判断为测定结束。
[0083]
在终端1(1a、1b)之间的坐标系配对后，各终端1测定分担的区域2a、2b的各测定范围(401、402)，得到各测定数据。第一终端1a测定区域2a的测定范围401，得到测定数据411。第二终端1b测定区域2b的测定范围402，得到测定数据412。测定数据例如是由测距传感器13得到的点群数据。点群数据是针对周围的多个特征点中的每个点具有位置、方向以及距离等的数据。各终端1根据测定数据生成部分空间数据420。第一终端1a根据测定数据411生成由第一终端坐标系wa记述的部分空间数据d1a。第二终端1b根据测定数据412生成由第二终端坐标系wb记述的部分空间数据d1b。
[0084]
在图4的例子中，表示第一终端1a生成由第一终端坐标系wa记述的空间数据6a(d1)，第二终端1b生成由第二终端坐标系wb记述的空间数据6b(d1)的情况。各终端1向对方的终端1发送由本机生成的部分空间数据420。第一终端1a将部分空间数据d1a发送到第二终端1b。第二终端1b将部分空间数据d1b发送至第一终端1a。
[0085]
各终端1使用变换参数7将从对方的终端1得到的部分空间数据430变换为本机的终端坐标系下的部分空间数据440。第一终端1a将部分空间数据d1b变换为由第一终端坐标系wa记述的部分空间数据d1ba。第二终端1b将部分空间数据d1a变换为由第二终端坐标系wb记述的部分空间数据d1ab。
[0086]
各终端1将在本机中得到的部分空间数据420和从对方得到的部分空间数据440合并为以统一的终端坐标系中的1个空间2为单位的空间数据6(450)。第一终端1a将部分空间数据d1a和部分空间数据d1ba合并为1个，作为由第一终端坐标系wa记述的空间数据d1(6a)而得到。第二终端1b将部分空间数据d1b和部分空间数据d1ab合并为1个，作为由第二终端坐标系wb记述的空间数据d1(6b)而得到。在该例子的情况下，认为2个终端1中的哪一个相当于基本结构(图31)的信息处理装置9是任意的。在空间数据6的收发中使用的终端坐标系是该空间数据6的收发中的公共坐标系。
[0087]
根据上述方法，与利用一个用户的终端1测定空间2的情况相比，能够缩短与测定和空间数据的获取相关的时间而高效地实现。
[0088]
此外，在空间2中，在从一方的用户的终端1看来拍摄到其他用户而产生成为其他
用户的里侧的阴影的空间部分的情况下，对于这样的空间部分，能够通过其他用户的终端1进行测定，基于其他用户的终端1的测定是有效的。
[0089]
在测定时，用户以及对应的终端1也能够适当地移动位置，改变测定范围。关于图示的未测定区域491，也能够通过另行包含于来自其他位置的测定范围来测定。
[0090]
作为与分担有关的更先进的方法，任一个终端1也可以自动地判断来决定分担。例如，各终端1基于照相机图像等，判断房间内的本机的大概的位置、朝向、有无其他用户/其他设备的映入、其他用户/其他设备的位置、朝向等。例如，第一终端1a在照相机图像中未拍到第二用户u2以及第二终端1b的状态时，选择处于此时的朝向的区域、范围作为第一终端1a分担的区域、范围。
[0091]
[利用例]
[0092]
图5表示使用如图3那样共享空间2的识别的两个用户(u1、u2)的终端1(1a、1b)之间的空间数据6的空间2的利用例。第一终端1a和第二终端1b在第一终端坐标系wa和第二终端坐标系wb的坐标系配对的状态下，使用空间数据6，通过ar功能，在空间2内的相同位置21显示相同的虚拟图像22。此时，第一终端1a在显示面11上在第一终端坐标系wa中的位置21显示虚拟图像22，第二终端1b在显示面11上在第二终端坐标系wb中的位置21显示虚拟图像22。一方的终端1例如第一终端1a指定位置21和显示对象的虚拟图像22，并将该位置21等信息传递给第二终端1b。此时，第一终端1a或第二坐标系wb使用变换参数7将第一终端坐标系wa中的位置21变换为第二终端坐标系wb中的位置21。各终端1能够在与由空间数据6表示的空间2的配置物的位置、形状等匹配的位置21迅速且高精度地显示虚拟图像22。例如，各终端1能够与由用户u1指定的桌子2a上表面的中心的位置21匹配地配置并显示虚拟图像22。用户u1和用户u2能够在观看相同的虚拟图像22的同时进行作业和交流。
[0093]
[信息终端装置(hmd)]
[0094]
图6表示作为终端1的一例的hmd的外观结构例。该hmd在眼镜状的壳体10中具备包含显示面11的显示设备。该显示设备例如是透射型显示设备，外界的实像透射到显示面11，在该实像上重叠显示图像。在壳体10安装有控制器、照相机12、测距传感器13、其他传感器部14等。
[0095]
照相机12例如具有配置于壳体10的左右两侧的2个照相机，拍摄包含hmd的前方的范围来获取图像。测距传感器13是测定hmd与外界的物体的距离的传感器。测距传感器13可以使用tof(time of flight：飞行时间)方式的传感器，也可以使用立体照相机或其他方式。传感器部14包括用于检测hmd的位置和朝向的状态的传感器组。在壳体10的左右具备包含麦克风的声音输入装置18、包含扬声器或耳机端子的声音输出装置19等。
[0096]
终端1也可以附属有遥控器等操作器。在该情况下，hmd与该操作器之间进行例如近距离无线通信。用户通过用手操作操作器，能够进行与hmd的功能相关的指示输入、显示面11上的光标移动等。hmd也可以与外部的智能手机、pc等进行通信来进行协作。例如，hmd也可以从智能手机的应用程序接收ar的图像数据。
[0097]
终端1具备为了作业辅助、娱乐而使ar等的虚拟图像显示于显示面11的应用程序等。例如，终端1通过用于作业辅助的应用程序的处理，生成用于作业辅助的虚拟图像22(图1)，在显示面11中，在空间2内的作业对象物的附近的预定的位置21配置并显示虚拟图像22。
[0098]
图7表示图6的终端1(hmd)的功能块结构例。终端1具备处理器101、存储器102、照相机12、测距传感器13、传感器部14、包含显示面11的显示设备103、通信设备104、包含麦克风的声音输入装置18、包含扬声器等的声音输出装置19、操作输入部105以及电池106等。这些要素通过总线等相互连接。
[0099]
处理器101由cpu、rom、ram等构成，构成hmd的控制器。处理器101通过执行遵循存储器102的控制程序31、应用程序32的处理，实现os、中间件、应用程序等的功能、其他的功能。存储器102由非易失性存储装置等构成，存储处理器101等处理的各种数据和信息。在存储器102中，作为临时的信息，还存储由照相机12等获取的图像、检测信息等。
[0100]
照相机12利用摄像元件将从镜头入射的光变换为电信号而获取图像。测距传感器13例如在使用tof传感器的情况下，根据射出到外界的光照射到物体而返回的时间，计算到该物体的距离。传感器部14例如包括加速度传感器141、陀螺仪传感器(角速度传感器)142、地磁传感器143、gps接收器144。传感器部14使用这些传感器的检测信息，检测hmd的位置、朝向、运动等状态。hmd不限于此，也可以具备照度传感器、接近传感器、气压传感器等。
[0101]
显示设备103包括显示驱动电路和显示面11，基于显示信息34的图像数据，在显示面11显示虚拟图像等。此外，显示设备103不限于透射型显示设备，也可以是非透射型显示设备等。
[0102]
通信设备104包括与预定的各种通信接口对应的通信处理电路、天线等。通信接口的例子包括移动网络、wi-fi(注册商标)、蓝牙(bluetooth(注册商标))、红外线等。通信设备104进行与其他终端1、接入点23(图1)之间的无线通信处理等。通信设备104还进行与操作器的近距离通信处理。
[0103]
声音输入装置18将来自麦克风的输入声音变换为声音数据。声音输出装置19基于声音数据从扬声器等输出声音。声音输入装置也可以具备声音识别功能。声音输出装置也可以具备声音合成功能。操作输入部105是接受对hmd的操作输入、例如电源接通/断开、音量调整等的部分，由硬件按钮、触摸传感器等构成。电池106向各部分供给电力。
[0104]
处理器101的控制器作为通过处理而实现的功能块的结构例，具有通信控制部101a、显示控制部101b、数据处理部101c以及数据获取部101d。
[0105]
在存储器102中存储有控制程序31、应用程序32、设定信息33、显示信息34、坐标系信息35、空间数据信息36等。控制程序31是用于实现包含空间识别功能的控制的程序。应用程序32是实现利用空间数据6的ar等功能的程序。设定信息33包含与各功能相关的系统设定信息、用户设定信息。显示信息34包含用于将虚拟图像22等图像显示于显示面11的图像数据、位置坐标信息。
[0106]
坐标系信息35是与空间识别功能相关的管理信息。例如如图3那样在两个用户之间分担的情况下，坐标系信息35包括本机的第一终端坐标系wa的信息、对方的第二终端坐标系wb的信息、本机侧的各种数据和对方侧的各种数据(图8)以及变换参数7(图1等)。
[0107]
空间数据信息36是与图1等的空间数据6对应的信息，是终端1生成并保持的信息。终端1也可以在本机内部将与各空间2相关的空间数据6保持为库。终端1也可以从其他终端1获取并保持空间数据6。终端1也可以如后述那样获取由外部的服务器等保持并提供的空间数据6。
[0108]
通信控制部101a在与其他终端1进行通信时等，控制使用了通信设备104的通信处
理。显示控制部101b使用显示信息34，控制向显示设备103的显示面11的虚拟图像22等的显示。
[0109]
数据处理部101c读写坐标系信息35，进行用于本机的终端坐标系的管理的处理、与对方的终端坐标系的坐标系配对的处理、使用了变换参数7的坐标系间的变换处理等。数据处理部101c在坐标系配对时，进行测定本机侧的各种数据的处理、获取对方侧的各种数据的处理、生成变换参数7的处理等。
[0110]
数据获取部101d从照相机12、测距传感器13以及传感器部14等各种传感器获取各检测数据。数据获取部101d在坐标系配对时，按照来自数据处理部101c的控制，测定本机侧的各种数据。
[0111]
[坐标系配对]
[0112]
接着，对坐标系配对的详细情况进行说明。图8表示在图1的第一终端1a的第一终端坐标系wa与第二终端1b的第二终端坐标系wb之间进行坐标系配对的情况的说明图，表示各坐标系、各种量的关系等。以下，记述这2台终端1之间的基于第一终端坐标系wa与第二终端坐标系wb之间的坐标系配对的空间识别共享。
[0113]
此外，在图8的例子中，第一终端坐标系wa的原点oa的位置与第一终端1a的位置la不同，第二终端坐标系wb的原点ob的位置与第二终端1b的位置lb不同，但并不限定于此。这些位置也有一致的情况，在该情况下也同样能够应用。以下，针对像这样世界坐标系的原点与终端1的位置不一致的一般情况，说明坐标系间的关系。
[0114]
例如，第一终端1a在进行与第二终端1b的空间识别共享的情况下，将第一终端和第二终端作为1对，作为相互进行世界坐标系信息的共享的动作，进行坐标系配对。2台终端1(1a、1b)进行1次坐标系配对即可。即使在存在3台以上的终端1的情况下，也同样地对每个配对进行坐标系配对即可。
[0115]
在坐标系配对时，各终端1(1a、1b)在各终端坐标系(wa、wb)中测定预定的各种量，在与对方的终端1之间交换各种数据。第一终端1a测定特定方向向量na、终端间向量p
ba
以及坐标值da，作为在本机侧测定的各种量801。第一终端1a将这些的各种量801的数据发送至第二终端1b。第二终端1b测定特定方向向量nb、终端间向量p
ab
以及坐标值db，作为在本机侧测定的各种量802。第二终端1b将这些各种量802的数据发送到第一终端1a。
[0116]
各终端1能够基于在本机中测定出的各种数据和从对方得到的各种数据，求出配对的终端坐标系之间的关系，根据该关系，能够计算用于终端坐标系间的变换的变换参数7。由此，在终端1之间，使用变换参数7，将各终端坐标系相关联，能够共享世界坐标系信息。
[0117]
此外，在仅由坐标系配对中的一方的终端1、例如第一终端1a进行坐标系间的变换的情况下，仅该第一终端1a获取本机侧的各种量801和对方侧的各种量802来生成变换参数7即可。在该情况下，不需要从第一终端1a向第二终端1b发送各种量801。另外，该第一终端1a也可以将生成的变换参数7发送到第二终端1b。这样，在第二终端1b侧也能够进行变换。
[0118]
在实施方式1中，作为坐标系配对时的各种量，具有以下3个要素的信息。各种量具有作为第一信息的特定方向向量、作为第二信息的终端间向量、作为第三信息的世界坐标值。
[0119]
(1)关于特定方向向量：各终端1使用特定方向向量作为与世界坐标系中的实际空间内的特定方向相关的信息。为了求出坐标系间的旋转的关系，使用不同的2个特定方向向
量(na、nb、ma、mb)。特定方向向量na是第一终端1a中的第一方向向量的表现，将单位方向向量设为na。特定方向向量nb是第二终端1b中的第一方向向量的表现，将单位方向向量设为nb。特定方向向量ma是第一终端1a中的第二方向向量的表现，将单位方向向量设为ma。特定方向向量mb是第二终端1b中的第二方向向量的表现，将单位方向向量设为mb。
[0120]
在实施方式1中，特别是作为1个特定方向(第一特定方向)，使用铅垂向下方向，作为另1个特定方向(第二特定方向)，使用后述的终端间向量。在图8的例子中，使用铅垂向下方向的特定方向向量na、nb作为第一特定方向。特定方向向量na是第一终端1a的铅垂向下方向的方向向量，将单位方向向量设为na。特定方向向量nb是第二终端1b的铅垂向下方向的方向向量，将单位方向向量设为nb。
[0121]
铅垂向下方向例如能够使用终端1所具备的加速度传感器141(图7)即3轴加速度传感器，作为重力加速度的方向进行测定。或者，在世界坐标系(wa、wb)的设定中，也可以将铅垂向下方向设定为z轴(za，zb)的负方向。无论如何，由于作为该特定方向的铅垂向下方向在世界坐标系中不变化，因此也可以不对每个坐标系配对每次进行测定。
[0122]
(2)关于终端间向量：作为表示从一方的终端1(例如第一终端1a)向另一方的终端1(例如第二终端1b)的位置关系的信息，各终端1使用终端位置(la、lb)间的向量(即方向与距离)的信息。将该信息记载为“终端间向量”。在图8的例子中，使用终端间向量p
ba
、p
ab
。终端间向量p
ba
是表示以第一终端1a为基准从位置la观察第二终端1b的位置lb的方向上的位置关系的向量。终端间向量p
ab
是表示以第二终端1b为基准从位置lb观察第一终端1a的位置la的方向上的位置关系的向量。从第一终端1a到第二终端1b的、第一终端坐标系wa中的向量表现是p
ba
，从第二终端1b到第一终端1a的、第二终端坐标系wb中的向量表现是p
ab
。
[0123]
终端间向量包含用于求出世界坐标系间的朝向的关系的、与实际空间内的另1个特定方向(第二特定方向)相关的信息。在此，关于特定方向向量(ma、mb)和终端间向量(p
ba
、p
ab
)，存在下述的对应关系。
[0124]
p
ba
＝ma[0125]
p
ab
＝-mb[0126]
在坐标系配对时，各终端1使用例如图1等的测距传感器13或者立体方式的照相机12来测定到对方的终端1为止的终端间向量。此外，关于终端1间的位置关系的测距，详细而言也可以如下。例如，第一终端1a的测距传感器13测定与在前方看到的第二终端1b的距离。此时，第一终端1a为了识别第二终端1b，可以从照相机12的图像测定第二终端1b的壳体的形状，也可以将形成于第二终端1b的壳体的预定的标记等作为特征点进行测定。
[0127]
(3)关于世界坐标值：各终端1使用表示世界坐标系中的位置的坐标值的信息。在图8的示例中，使用第一终端坐标系wa中的坐标值da和第二终端坐标系wb中的坐标值db作为世界坐标值。将与第一终端1a的位置la相关的第一终端坐标系wa中的坐标值设为da＝(xa，ya，za)。将与第二终端1b的位置lb相关的第二终端坐标系wb中的坐标值设为db＝(xb，yb，zb)。这些坐标值是根据世界坐标系的设定来决定的。终端位置向量va是从原点oa到位置la的向量。终端位置向量vb是从原点ob到位置lb的向量。
[0128]
此外，在图8中，向量fa是相当于终端位置信息的、表示第一终端1a的第一终端坐标系wa中的第二终端1b的位置的向量，相当于将第一终端1a的坐标值da(向量va)与终端间向量p
ba
合成后的向量。向量fb是表示第二终端1b的第二终端坐标系wb中的第一终端1a的位
置的向量，相当于将第二终端1b的坐标值db(向量vb)与终端间向量p
ab
合成后的向量。位置向量ga是第一终端坐标系wa中的位置21的向量，位置坐标值ra是该位置21的坐标值。位置向量gb是第二终端坐标系wb中的位置21的向量，位置坐标值rb是该位置21的坐标值。原点间向量o
ba
是从第一终端坐标系wa的原点oa向第二终端坐标系wb的原点ob的向量，原点间向量o
ab
是从第二终端坐标系wb的原点ob向第一终端坐标系wa的原点oa的向量。向量ea是从与用户u1的视点对应的位置la观察位置21的情况下的向量。向量eb是从与用户u2的视点对应的位置lb观察位置21的情况下的向量。
[0129]
[变换参数]
[0130]
通过上述坐标系配对，能够了解终端1(1a、1b)间的世界坐标系(wa、wb)的关系，能够相互进行位置、朝向的变换。即，能够进行用于使第二终端坐标系wb与第一终端坐标系wa匹配的变换、或者其逆变换。该世界坐标系间的变换由预定的变换参数7表示。变换参数7是用于计算坐标系的方向的变换(换言之，旋转)和坐标系的原点的差的参数。
[0131]
例如，在第一终端1a能够进行坐标系变换的情况下，第一终端1a根据本机侧的各种量801和对方侧的各种量802，计算终端坐标系(wa、wb)间的关系，生成变换参数7，并设定在本机中。在第二终端1b侧也能够同样。变换参数7包括将第一终端坐标系wa中的位置等变换为第二终端坐标系wb的位置等的变换参数71和将第二终端坐标系wb中的位置等变换为第一终端坐标系wa中的位置等的变换参数72。这些变换是彼此相反的变换。只要至少一方的终端1保持变换参数7即可，双方的终端1也可以保持相同的变换参数7。
[0132]
[位置变换]
[0133]
图9表示坐标系配对后的2台终端1(1a、1b)间的位置传递以及坐标系变换的结构例。将4个例子表示为(a)～(d)。在终端1(1a、1b)之间，能够使用变换参数7指定并共享空间2内的相同位置21(图8)。一方的终端1向另一方的终端1传递位置21的指定的信息、显示对象的虚拟图像22的数据等。一方或另一方的终端1使用变换参数7，在坐标系间变换位置21。
[0134]
(a)表示第一例。第一终端1a使用变换参数71将第一终端坐标系wa中的位置(例如虚拟图像22的显示对象的位置21)即位置坐标值ra变换为第二终端坐标系wb中的位置(位置坐标值rb)，并发送给第二终端1b。
[0135]
(b)表示第二例。第一终端1a将第一终端坐标系wa中的位置即位置坐标值ra发送到第二终端1b，第二终端1b使用变换参数71将接收到的该位置坐标值ra变换为第二终端坐标系wb中的位置坐标值rb。
[0136]
(c)表示第三例。第二终端1b使用变换参数72将第二终端坐标系wb中的位置即位置坐标值rb变换为第一终端坐标系wa中的位置坐标值ra，并发送给第一终端1a。
[0137]
(d)表示第四例。第二终端1b将第二终端坐标系wb中的位置坐标值rb发送到第一终端1a，第一终端1a使用变换参数72将接收到的该位置坐标值rb变换为第一终端坐标系wa中的位置坐标值ra。
[0138]
如上所述，例如在从第一终端1a向第二终端1b传递位置的情况下，以(a)或(b)的方法进行变换即可，在从第二终端1b向第一终端1a传递位置的情况下，以(c)或(d)的方法进行变换即可。通过与基本结构(图31)的对应而言，(a)和(d)是第二终端坐标系成为公共坐标系的情况，(b)和(c)是第一终端坐标系成为公共坐标系的情况。
[0139]
图9的下侧表示变换参数7的表结构例。作为项目，变换参数71的表901具有变换源
终端坐标系、变换目的地终端坐标系、旋转以及原点表现。“变换源终端坐标系”项目存储变换源的终端1(括号内是对应的用户)的识别信息和该终端1具有的终端坐标系的识别信息。“变换目的地终端坐标系”项目存储变换目的地的终端1(括号内是对应的用户)的识别信息和该终端1具有的终端坐标系的识别信息。“旋转”项目存储这些终端坐标系之间的旋转的表现的信息。“原点表现”项目存储这些终端坐标系之间的原点的差的表现。例如，变换参数71的表901的第一行具有用于从第一终端1a的第一终端坐标系wa向第二终端1b的第二终端坐标系wb的变换的旋转(q
ab
)、以及在第一终端坐标系wa中观察到的第二终端坐标系wb的原点的表现(o
ba
)。
[0140]
[处理流程]
[0141]
图10表示在图3那样的2台终端1(1a、1b)之间分担测定空间2，得到1个空间数据6的情况下的处理流程例。图10具有第一终端1a的流程(步骤s1a～s12a)和第二终端1b的流程(步骤s1b～s12b)。
[0142]
在步骤s1a、s1b中，在第一终端1a与第二终端1b之间，通过图7的通信设备107的处理，确立与空间识别共享有关的无线通信连接。
[0143]
在步骤s2a、s2b中，用户对作为hmd的终端1进行用于开始空间2的测定的输入操作。例如，用户u1向第一终端1a输入测定开始指示，用户u2向第二终端1b输入测定开始指示。此外，也可以在终端1(1a、1b)之间进行与测定开始相关的通信。另外，例如，终端1也可以在显示面11显示与测定的开始或结束的操作相关的引导图像。用户根据该引导图像进行测定的开始或结束的输入操作。输入操作既可以是硬件按钮操作，也可以是基于声音识别的操作，也可以是基于移动手指等预定姿势的检测的操作。另外，作为其他方式，也可以设为终端1通过预先的设定或自动判断来控制测定的开始或结束等的方式。
[0144]
另外，在步骤s2a、s2b中，也可以进行与图3、图4那样的空间2的区域、测定范围相关的分担的设定。终端1也可以在显示面11显示与分担的设定相关的图像。用户根据该图像进行设定的操作。基于步骤s2a、s2b，各终端1开始以后的步骤。
[0145]
步骤s3a～s6a以及s3b～s6b是进行坐标系配对的步骤。此外，实施方式1的方法是在坐标系配对后进行空间2的测定的方法。因此，步骤s2a、s2b的测定开始指示换言之是坐标系配对开始指示。
[0146]
在步骤s3a、s3b中，从一方的终端1向另一方的终端1发送坐标系配对的请求。例如，第一终端1a向第二终端1b发送坐标系配对请求。第二终端1b接收坐标系配对请求，在接受的情况下，向第一终端1a发送表示接受的意思的坐标系配对响应。在步骤s3a、s3b中，各终端1也可以在显示面11显示用于坐标系配对的引导的图像(后述的图11)。
[0147]
在步骤s4a、s4b中，第一终端1a和第二终端1b相互同步地测定用于坐标系配对的各种量(图8)。第一终端1a测定各种量801，第二终端1b测定各种量802。
[0148]
在步骤s5a、s5b中，第一终端1a和第二终端1b通过相互向对方侧发送本机侧的各种数据，来交换各种数据。第一终端1a从第二终端1b获取各种量802，第二终端1b从第一终端1a获取各种量801。
[0149]
在步骤s6a、s6b中，第一终端1a以及第二终端1b分别生成变换参数7并设定在本机中。第一终端1a使用本机侧的各种量801和对方侧的各种量802生成变换参数7(例如图9的变换参数71、72双方)并设定在本机中。第二终端1b使用本机侧的各种量802和对方侧的各
种量801生成变换参数7(例如图9的变换参数71、72双方)并设定在本机中。由此，确立坐标系配对的状态。
[0150]
此外，也可以设为在坐标系配对确立后进行步骤s2a、s2b的测定开始指示输入的流程。
[0151]
在步骤s6a、s6b中确立坐标系配对后，在步骤s7a、s7b以后的循环中，各终端1测定基于分担的空间2的区域(图3、图4)。在步骤s7a中，第一终端1a使用测距传感器13等以区域2a为对象进行测定而得到测定数据411。在步骤s7b中，第二终端1b使用测距传感器13等以区域2b为对象进行测定而得到测定数据412。
[0152]
在步骤s8a、s8b中，各终端1基于测定数据构成部分空间数据，相互向对方的终端1发送(图4)。第一终端1a得到本机侧的部分空间数据d1a和来自对方侧的部分空间数据d1b。第二终端1b得到本机侧的部分空间数据d1b和来自对方侧的部分空间数据d1a。
[0153]
在步骤s9a、s9b中，各终端1根据需要，使用变换参数7将由对方侧的终端坐标系记述的部分空间数据变换为由本机侧的终端坐标系记述的部分空间数据(图4)。例如，如图9的(d)所示，第一终端1a使用变换参数72将部分空间数据d1b变换为部分空间数据d1ba。如图9的(b)所示，第二终端1b使用变换参数71将部分空间数据d1a变换为部分空间数据d1ab。另外，各终端1将在本机侧得到的部分空间数据和从对方侧得到的部分空间数据合并为1个，得到以空间2为单位的空间数据6(图4)。例如，第一终端1a根据部分空间数据d1a和部分空间数据d1ba得到空间数据6a(d1)。第二终端1b根据部分空间数据d1b和部分空间数据d1ab得到空间数据6b(d1)。此外，本例示出了双方的终端1同时并行地生成各自的空间数据6(6a、6b)的情况，但不限于此，也可以将一方的终端1生成的空间数据6发送给对方的终端1。
[0154]
在步骤s10a、s10b中，各终端1判断是否结束上述坐标系配对状态下的空间测定。此时，用户可以对终端1进行测定结束指示的输入操作，也可以由终端1通过自动判断来结束测定。例如，终端1也可以基于测定数据或空间数据等，在判断为对象空间2或分担的区域中的预定比率以上已测定或已生成的情况下，判断为本机中的测定结束。该比率是可变设定值。终端1在判断为测定结束的情况下(是)，进入下一步骤，在判断为未结束的情况下(否)，返回步骤s7a、s7b并同样地反复进行处理。
[0155]
在步骤s11a、s11b中，各终端1使用上述生成的空间数据6，在与对方的终端1之间共享空间2的识别的状态下利用空间2。此外，在以空间数据6的生成为目的的情况下，能够省略步骤s11a、s11b。作为空间2的利用，典型地可举出在终端1(1a、1b)之间使用ar功能，在空间2内的期望的相同位置21显示相同的虚拟图像22并进行作业等(图5)。
[0156]
在步骤s12a、s12b中，各终端1解除上述坐标系配对的状态。例如，在空间2的利用是暂时性的情况下，各终端1可以删除变换参数7，也可以删除空间数据6。不限于此，各终端1可以在之后也维持坐标系配对的状态。即，各终端1可以在之后也继续保持变换参数7、空间数据6。在该情况下，能够省略步骤s12a、s12b。例如，各终端1通过预先将变换参数7、空间数据6保持在本机内部，在之后再利用相同空间2的情况下，能够省略再次的测定等处理。
[0157]
[引导显示例]
[0158]
图11表示在终端1间的坐标系配对时(图10的步骤s3a、s3b等)，在终端1的显示面11显示用于引导等的图形用户接口(gui)的图像的例子。图11的例子是用户u1的第一终端
1a的显示面11的例子，能够看到用户u2的第二终端1b。第一终端1a例如基于照相机12的图像等识别其他用户或终端1。例如，第一终端1a与识别出第二终端1b的位置一致地重叠显示图像1101。图像1101是表示第二终端1b的存在以及位置的标记那样的虚拟图像。另外，第一终端1a显示用于确认是否进行与识别出的用户u2的第二终端1b的坐标系配对的图像1102。图像1102例如是“进行与用户u2的配对吗？是/否”这样的消息图像。用户u1对图像1102进行是/否的选择操作，相应地，第一终端1a决定是否执行与第二终端1b的坐标系配对，并控制开始。
[0159]
另外，第一终端1a在步骤s4a中测定各种量801时，显示图像1103。图像1103是例如“配对中。请尽量不动。”这样的消息图像。在终端1之间的直接的坐标系配对时，通过成为相互尽量静止的状态，能够高精度地测定各种量。因此，这样的引导图像1103的输出是有效的。
[0160]
[坐标变换]
[0161]
以下，对坐标变换的详细情况进行补充说明。首先，对用于说明坐标系的关系的记法进行总结。在实施方式中，坐标系统一为右手系，为了表示坐标系的旋转而使用标准化四元数。所谓标准化四元数，是范数为1的四元数，能够表示绕轴的旋转。任意坐标系的旋转可以用这样的标准化四元数来表现。表示以单位向量(n
x
，ny，nz)为旋转轴的角度η的旋转的标准化四元数q为下述的式1。i、j、k是四元数的单位。朝向单位向量(n
x
，ny，nz)的方向的情况下的右旋的旋转是η为正的旋转方向。
[0162]
式1：q＝cos(η/2) n
x
sin(η/2)i nysin(η/2)j nzsin(η/2)k
[0163]
用sc(q)表示四元数q的实数部分。将四元数q的共轭四元数设为q*。用[
·
]定义将四元数q的范数标准化为1的运算符。若将四元数q设为任意的四元数，则式2是[
·
]的定义。式2的右边的分母为四元数q的范数。
[0164]
式2：[q]＝q/(qq*)
1/2
[0165]
接着，通过式3定义表现坐标点或向量(p
x
，py，pz)的四元数p。
[0166]
式3：p＝p
x
i pyj p
zk[0167]
在本说明书中，只要没有特别说明，则表示不是成分显示的坐标点或向量的记号为四元数显示。另外，表示旋转的记号为标准化四元数。
[0168]
将向与单位向量n的方向垂直的平面的向量的投影运算符设为p
t
(n)。向量p的投影由式4表示。
[0169]
式4：p
t
(n)p＝p nsc(np)
[0170]
若坐标点或方向向量p1通过由四元数q表示的原点中心的旋转操作而变换为坐标点或者方向向量p2，则方向向量p2能够通过式5来计算。
[0171]
式5：p2＝qp1q*
[0172]
以使单位向量n1与单位向量n2重叠的方式，绕与包含单位向量n1和单位向量n2的平面垂直的轴旋转的标准化四元数r(n1，n2)成为下述的式6。
[0173]
式6：r(n1，n2)＝[1-n2n1]
[0174]
图12表示与坐标系变换相关的说明图。图12的(a)与图8同样地，表示在第一终端坐标系wa与第二终端坐标系wb之间，与实际空间内的相同位置21相关的表现和坐标原点(oa、ob)的差的表现。作为位置21的表现，具有位置向量ga、位置坐标值ra、位置向量gb以及位
置坐标值rb。作为坐标原点的差的表现，具有原点间向量o
ba
、o
ab
。原点间向量o
ba
是第一终端坐标系wa中的第二终端坐标系wb的原点ob的表现。原点间向量o
ab
是第二终端坐标系wb中的第一终端坐标系wa的原点oa的表现。
[0175]
基于上述的各种量(图8)，得到与实际空间内的不同的2个特定方向(对应的特定方向向量和终端间向量)相关的各终端坐标系(wa、wb)中的表现(na、nb、p
ba
、p
ab
)。这样，能够通过使用了前述的标准化四元数的运算求出使这些表现一致那样的坐标系间的旋转操作。因此，通过使这些信息与各坐标原点的信息一致，能够进行终端坐标系间的位置坐标的变换。
[0176]
终端坐标系(wa、wb)的关系可以如下计算。以下，对将第二终端坐标系wb中的坐标值以及向量值的表现变换为第一终端坐标系wa中的表现的情况下的、求出旋转与坐标原点差的计算进行说明。
[0177]
图12的(b)表示在第一终端坐标系wa与第二终端坐标系wb之间使方向一致的旋转的操作，例如简易地表示使第二终端坐标系wb的各轴(xb、yb、zb)的方向与第一终端坐标系wa的各轴(xa、ya、za)的方向一致的旋转q
ab
的图像。
[0178]
首先，求出用于使第一终端坐标系wa的方向与第二终端坐标系wb的方向一致的旋转。基于上述(图8)的终端间向量p
ba
、p
ab
，如下述那样定义终端1间的单位方向向量ma、mb。单位方向向量ma、mb是针对作为第二特定方向的、在实际空间中从第一终端1a朝向第二终端1b的方向的单位向量的、第一终端坐标系wa中的表现和第二终端坐标系wb中的表现。
[0179]
ma＝[p
ba
]
[0180]
mb＝[-p
ab
]
[0181]
首先，考虑在第一终端坐标系wa的表现中的旋转中，将第一特定方向的单位向量na重叠于单位向量nb的旋转q
t1
。具体而言，旋转q
t1
如下。
[0182]qt1
＝r(na，nb)
[0183]
接着，将通过该旋转q
t1
旋转了特定方向的单位向量na、ma的方向设为n
a1
、m
a1
。
[0184]na1
＝q
t1
naq
t1
*＝nb[0185]ma1
＝q
t1
maq
t1
*
[0186]
由于在实际空间中是相同方向间的角度，因此方向n
a1
与方向m
a1
所成的角度等于单位向量nb与单位方向向量mb所成的角度。另外，作为前提，将2个特定方向设为不同的方向，因此单位向量nb与单位方向向量mb所成的角度不为0。因此，能够构成以方向n
a1
即单位向量nb为轴，将方向m
a1
重叠于单位方向向量mb的旋转q
t2
。具体而言，旋转q
t2
如下述给出。
[0187]qt2
＝r([p
t
(nb)m
a1
]，[p
t
(nb)mb])
[0188]
方向n
a1
与旋转q
t2
的旋转轴方向nb为同一方向，因此通过该旋转q
t2
不变。另外，方向m
a1
通过该旋转q
t2
而向单位方向向量mb旋转。
[0189]
nb＝q
t2na1qt2
*
[0190]
mb＝q
t2ma1qt2
*
[0191]
重新以下述方式定义旋转q
ba
。
[0192]qba
＝q
t2qt1
[0193]
通过该旋转q
ba
，单位向量na和单位方向向量ma向单位向量nb和单位方向向量mb旋转。
[0194]
nb＝q
ba
naq
ba
*
[0195]
mb＝q
ba
maq
ba
[0196]
由于单位向量na和单位方向向量ma被选择为不同的2个方向，因此该旋转q
ba
是将第一终端坐标系wa中的方向表现变换为第二终端坐标系wb中的方向表现的旋转。相反，若将第二终端坐标系wb中的方向表现变换为第一终端坐标系wa中的方向表现的旋转设为旋转q
ab
，则旋转q
ab
同样为以下。
[0197]qab
＝q
ba
*
[0198]
接着，求出坐标值da、db(图8)的变换式。这里的坐标值da、db是通过式3定义的坐标值的四元数表现。首先，从一个坐标系观察，求出另一个坐标系的原点的坐标值。如图12的(a)所示，第一终端坐标系wa中的第二终端坐标系wb的原点ob的坐标值的表现为o
ba
，世界坐标系wb中的世界坐标系wa的原点oa的坐标值的表现为o
ab
。已知各坐标系中的终端1的位置的坐标值da、db，因此原点坐标值表现(o
ba
，o
ab
)如下述的式a那样求出。
[0199]
式a：
[0200]oba
＝da p
ba-q
ab
dbq
ab
*
[0201]oab
＝db p
ab-q
ba
daq
ba
*
[0202]
另外，容易理解，存在下述的关系。
[0203]oab
＝-q
baobaqba
*
[0204]
最后，与实际空间内的任意的点(位置21)相关的第一终端坐标系wa中的坐标值ra与第二终端坐标系wb中的坐标值rb的变换式如以下那样给出。
[0205]
rb＝q
ba
(r
a-o
ba
)q
ba
*＝q
ba
raq
ba
* o
ab
[0206]
ra＝q
ab
(r
b-o
ab
)q
ab
*＝q
ab
rbq
ab
* o
ba
[0207]
如上所述，例如在想要将在第一终端坐标系wa中观察到的特定的位置21(坐标值ra)变换为在第二终端坐标系wb中观察的情况下的位置21(坐标值rb)的情况下，能够使用旋转q
ba
、坐标值ra以及原点表现o
ab
来计算。逆变换也能够同样地计算。上述图8、图9的变换参数7(71、72)能够由上述说明中出现的参数构成。此外，由于能够如上述那样容易地相互变换，所以在变换参数7的结构以及保持中，可以代替旋转q
ab
而保持q
ba
，也可以代替原点表现o
ba
而保持o
ab
，也可以相反。
[0208]
[效果等(1)]
[0209]
如上所述，根据实施方式1的空间识别系统和方法等，终端1能够测定空间2来生成空间数据6，能够在多个用户的多个终端1之间相互获取空间数据6来利用，能够共享空间2的识别。根据该系统和方法，能够高效地实现上述那样的功能、动作，能够提高用户的便利性，降低作业负荷。根据该系统和方法，通过利用空间数据6，能够对用户实现各种应用的功能、服务等。
[0210]
作为实施方式1的变形例也能够进行以下说明。在变形例中，各用户的终端1也可以将在本机中生成的由终端坐标系记述的空间数据6发送到外部的pc、服务器等装置来进行登记。终端1也可以将生成的变换参数7发送到外部的pc或服务器等装置进行登记。
[0211]
[变形例1]
[0212]
在实施方式1的变形例1中，各终端1在进行坐标系配对之前，测定空间2，生成由本机的终端坐标系记述的空间数据6。之后，终端1进行与其他终端1的坐标系配对。终端1使用
变换参数7，将空间数据6变换为由公共的终端坐标系即公共坐标系记述的空间数据6。
[0213]
[变形例2]
[0214]
图13表示实施方式1的变形例2中的、由3台以上的终端1分担空间2的测定并共享空间识别的情况下的坐标系配对等的说明图。在本例中，作为四人的用户(ua、ub、uc、ud)的4台终端1，具有终端1a、1b、1c、1d。将各终端1的终端坐标系设为终端坐标系wa、wb、wc、wd，将各原点设为原点oa、ob、oc、od。将这些终端1作为1个组，进行与相同的空间2相关的测定以及识别共享。以实施方式1中说明的2台终端1间的坐标系配对为基础，即使在3台以上的终端1的组的情况下，通过在各终端1之间进行坐标系配对，也能够实现空间识别共享。
[0215]
例如，将用户uc的终端1c考虑为本机。首先，与实施方式1同样地，例如在终端1a与终端1b之间确立了坐标系配对1301。从该状态起，接下来，在终端1b与终端1c之间进行坐标系配对1302。由此，能够间接地实现终端1c与终端1a之间的坐标系配对1303。以下对该情况进行说明。
[0216]
首先，通过坐标系配对1301，终端1b得到用于终端坐标系wa与终端坐标系wb之间的变换的旋转q
ba
和原点表现o
ab
作为变换参数的信息1321。旋转q
ba
是将终端坐标系wa中的表现设为终端坐标系wb中的表现的旋转。原点表现o
ab
是与终端坐标系wa的原点oa相关的终端坐标系wb中的坐标值。相反，终端1a获得旋转q
ab
和原点表现o
ba
作为变换参数的信息1311。
[0217]
接着，通过坐标系配对1302，终端1c得到旋转q
cb
和原点表现o
bc
作为变换参数的信息1331。旋转q
cb
是将终端坐标系wb中的表现设为终端坐标系wc中的表现的旋转。原点表现o
bc
是与终端坐标系wb的原点ob相关的终端坐标系wc中的坐标值。相反，终端1b得到旋转q
bc
和原点表现o
cb
作为变换参数的信息1322。
[0218]
在此，终端1c从终端1b获得变换参数的信息1321(旋转q
ba
和原点表现o
ab
)，并将其作为信息1332保持。由此，终端1c能够使用变换参数的信息1331(q
cb
，o
bc
)以及信息1332(q
ba
，o
ab
)，如下述的式子那样计算与终端1a的间接的坐标系配对1303相关的旋转q
ca
和原点表现o
ac
。旋转q
ca
是将终端坐标系wa中的表现设为终端坐标系wc中的表现的旋转。原点表现o
ac
是与终端坐标系wa的原点oa相关的终端坐标系wc中的坐标值。
[0219]qca
＝q
cbqba
[0220]oac
＝o
bc
q
cboabqcb
*
[0221]
终端1c保持所得到的信息1333(q
ca
，o
ac
)。终端1c使用该信息1333，如下述式那样，能够将终端坐标系wa中的位置21的表现(ra)变换为终端坐标系wc中的表现(rc)。
[0222]
rc＝q
ca
(r
a-o
ca
)q
ca
*＝q
ca
raq
ca
* o
ac
[0223]
另外，终端1c将上述变换参数的信息1333(q
ca
，o
ac
)发送到终端1a。终端1a将其作为信息1312(q
ca
，o
ac
)进行保持。这样，由于一般具有下述的关系，因此即使在终端1a中，也能够进行终端坐标系wa与终端坐标系wc的变换。即，终端1a保持与逆变换相关的变换参数的信息1313(q
ac
，o
ca
)。另外，由于具有下述关系，所以在各终端1中，也可以保持q
ij
或q
ji
中的一方，保持o
ji
和o
ij
中的一方。
[0224]qij
＝q
ji
*
[0225]oji
＝-q
ijoijqij
*
[0226]
图14表示在图13的组的坐标系配对中，终端1a所保持的变换参数7的表1401、终端
1b所保持的变换参数7的表1402、以及终端1c所保持的变换参数7的表1403。组内的各终端1将与组内的其他各终端1的变换参数信息保持在表中。各表具有“对方”项目，存储坐标系配对(在此包含直接坐标系配对和间接坐标系配对)的对方的终端1以及终端坐标系的识别信息。例如，终端1c一边将各终端1(1a、1b)作为对方来交换信息，一边保持各个配对间的变换参数信息。具体而言，例如表1403具有与终端1a的变换参数的信息1333(q
ca
，o
ac
)、与终端1b的变换参数的信息1331(q
cb
，o
bc
)。
[0227]
如上所述，在变形例2中，通过将任意2台终端1作为配对依次进行坐标系配对，能够进行组内的空间识别共享。即使在某个终端1c与某个终端1a之间不进行直接的坐标系配对的处理，如果进行该终端1a与坐标系配对完毕的其他终端1b的坐标系配对，则能够进行间接的坐标系配对1303。同样地，即使在存在新参加进组的终端1d的情况下，该终端1d也可以进行针对组中的1个终端1的相同的手续，例如进行与终端1c的坐标系配对1304即可，不需要与各终端1的坐标系配对的处理。在实施方式1、变形例2中，由于将变换参数7保持于各终端1，所以在将虚拟图像22显示于共享的位置21时等，能够高速地进行处理。
[0228]
[变形例3]
[0229]
图15表示与实施方式1的变形例3中的坐标系配对及变换参数7相关的结构例。在变形例3中，在用于共享空间识别的多个终端1所构成的组中，设置1个代表性的终端1(记载为“代表终端”)。代表终端保持与组的各终端1的变换参数7。代表终端以外的各终端1保持与代表终端之间的变换参数7。例如，假设存在与图13相同的组。例如，将终端1a作为代表终端。作为代表终端的终端1a依次进行与其他各终端1(1b、1c、1d)的坐标系配对(1501、1502、1503)。在该组中，代表终端的终端坐标系wa成为基准。在该终端坐标系wa中，指定共享的位置21等，并在终端1之间传递。
[0230]
与图14的表1401同样地，终端1a所保持的变换参数7的表1511具有与各终端1(1b、1c、1d)的变换参数信息。终端1b所保持的表1512具有与代表终端的变换参数信息(q
ba
，o
ab
)。终端1c所保持的表1513具有与代表终端的变换参数信息(q
ca
，o
ac
)。终端1d所保持的表1514具有与代表终端的变换参数信息(q
da
，o
ad
)。
[0231]
例如，在终端1b指定空间2内的位置21(图13)的情况下，终端1b使用表1512将终端坐标系wb中的该位置21的表现(rb)变换为代表终端中的表现(ra)，并传递至代表终端。代表终端使用表1511将该表现(ra)变换为组的其他各终端1(1c、1d)的各终端坐标系(wc、wd)中的表现(rc、rd)。然后，代表终端将这些位置信息(rc，rd)传递给其他各终端1(1c，1d)。
[0232]
作为其他变形例，也可以是仅代表终端保持变换参数7来进行各变换的结构。该变形例相当于例如在图15中终端1b、1c、1d不保持变换参数7的表1512、1513、1514的结构。例如，终端1b将终端坐标系wb中的位置21的表现(rb)传递至代表终端。代表终端使用表1511将该表现(rb)变换为各终端坐标系(wa、wc、wd)中的表现(ra、rc、rd)，并传递给各终端1。
[0233]
作为其他变形例，也可以构成为在组内将代表终端的终端坐标系固定为公共坐标系来使用，进行终端1间的位置传递。代表终端不保持变换参数7。代表终端以外的各终端1保持用于与代表终端的终端坐标系的变换的变换参数7。该变形例相当于例如图15中作为代表终端的终端1a不保持表1511的结构。例如，终端1b使用表1512将终端坐标系wb中的位置21的表现(rb)变换为代表终端中的表现(ra)，并传递给代表终端。代表终端将该表现(ra)传递给组的其他各终端1(1c、1d)。各终端1(1c、1d)使用各自的表1513、1514将该表现(ra)
变换为各自的终端坐标系中的表现(rc、rd)。
[0234]
另外，在该变形例中，也可以不经由代表终端而进行终端1间的位置传递。例如，终端1b使用表1512将终端坐标系wb中的位置21的表现(rb)变换为代表终端中的表现(ra)，并传递给终端1c。终端1c使用表1513将该表现(ra)变换为本机中的表现(rc)。
[0235]
如上所述，根据各变形例，能够减少在整个系统中保持的变换参数7的数据量。
[0236]
《实施方式2》
[0237]
使用图16～图17等，对本发明的实施方式2的空间识别系统等进行说明。以下，对实施方式2等中与实施方式1不同的构成部分进行说明。在图16等所示的实施方式2中，除了在实施方式1中多个终端1的各终端坐标系之外，还使用记述空间2的世界坐标系即空间坐标系。在实施方式2中，处理终端坐标系与空间坐标系之间的坐标系配对，换言之，处理这些坐标系之间的关联、变换。在该实施方式中，空间坐标系相当于基本结构(图31)的公共坐标系。分担空间2的测定的各终端1的各终端坐标系经由公共的空间坐标系相关联。另外，空间2的空间数据6特别能够使用公共的空间坐标系进行记述。终端1生成由空间坐标系记述的空间数据6。在终端1之间，能够使用该空间数据6来共享空间2的识别。
[0238]
在实施方式2中，在坐标系配对时，终端1将与空间2内的预定特征(特征点或特征线)的关系作为各种量进行测定。终端1基于该测定值，求出与该特征相关联的空间坐标系与本机的终端坐标系的关系，基于该关系计算变换参数7。
[0239]
另外，在实施方式2中，终端1也可以将生成的空间数据6登记到外部的服务器4的db5中。在该情况下，服务器4相当于基本结构(图31)的信息处理装置9。在实施方式2等中，处理从终端1向服务器4等外部源登记空间数据6的概念。服务器4作为针对终端1的外部源，对作为外部数据的空间数据6进行保持、管理。作为库而登记在服务器4的db5中的空间数据6能够从各终端1(也可以是不进行空间测定的终端)中适当地参照、获取。终端1从服务器4获取与利用对象的空间2有关的已登记的空间数据6，不需要该空间2的测定，利用该空间数据6，能够迅速且高精度地显示ar等的图像。例如，某个终端1对某个空间2进行1次测定而生成空间数据6并登记到服务器4中。之后，该终端1在再次利用该空间2的情况下，无需再次测定该空间2就能够利用从服务器4获取的空间数据6。也可以由运营商使用服务器4来进行空间数据6的管理服务的提供。
[0240]
[空间识别系统]
[0241]
图16表示实施方式2的空间识别系统的结构，特别是表示与第一终端1a的第一终端坐标系wa与空间2的空间坐标系w1的坐标系配对等相关的说明图。在本例中，作为分担空间2的测定的终端1，具有第一终端1a和第二终端1b。省略第二终端1b的第二终端坐标系wb等的图示。
[0242]
在实施方式2中，预先规定了与空间2相关的空间坐标系w1的信息。在空间坐标系w1中，还规定了空间2的位置、预定特征(特征点、特征线)等信息。空间坐标系w1例如可以是建筑物固有的局部坐标系，也可以是地球、地域等中公共的坐标系。空间坐标系w1固定于实际空间内，具有原点o1和作为正交的3轴的轴x1、轴y1以及轴z1。在图16的例子中，空间坐标系w1的原点o1处于远离房间等空间2的位置，但不限于此，原点o1也可以位于空间2内。
[0243]
在实施方式2中，处理各终端1的终端坐标系(wa、wb)与空间2的空间坐标系w1之间的坐标系配对。这些终端1(1a、1b)使用分担生成的空间数据6来共享空间2的识别。各终端1
在本机的终端坐标系中测定空间2的形状等，生成记述空间2的空间数据6(特别是空间形状数据)。此时，各终端1将空间2内的预定特征作为线索，进行与空间坐标系w1的坐标系配对。作为空间2内的预定特征的特征点、特征线等被预先规定。该特征可以是例如墙壁、天花板等的边界线，也可以是预定的配置物等。此外，空间2的预定特征中的特征点与由前述的测距传感器13得到的点群数据的特征点的意思不同。
[0244]
例如，第一终端1a识别空间2的预定特征来测定各种量，掌握第一终端坐标系wa与空间坐标系w1的关系。第一终端1a根据该关系，生成第一终端坐标系wa与空间坐标系w1的变换参数7，并设定在本机中。各终端1在坐标系配对的状态下，测定空间2中的分担的区域。例如，第一终端1a测定区域2a，得到由第一终端坐标系wa记述的测定数据1601。第一终端1a从测定数据1601构成部分空间数据1602。第一终端1a使用变换参数7将部分空间数据1602变换为由空间坐标系w1记述的部分空间数据。另外，例如第一终端1a从第二终端1b获取第二终端1b所生成的部分空间数据。并且，第一终端1a通过将在本机侧得到的部分空间数据和从对方获取的部分空间数据合并为1个，得到由空间坐标系w1记述的以空间2为单位的空间数据6。第二终端1b侧也能够与第一终端1a侧同样地得到空间数据6。
[0245]
在图16中，实施方式2的空间识别系统具有与通信网连接的服务器4。服务器4是由运营商等管理的服务器装置，例如设置在数据中心、云计算系统上。服务器4在内部或外部的数据库(db)5中登记并保持id及空间数据6作为库。例如，对图示的空间2赋予id＝101，在db5中登记有用id＝101识别的空间数据6(d101)。对于多个的各个空间2，同样地登记有空间数据6。服务器4既可以管理以公司等为单位封闭的空间数据6，也可以以地球、地域等为单位管理多个空间数据6。例如在以公司的建筑物为单位来管理空间数据6的情况下，在公司的lan等计算机系统的服务器4中登记与该建筑物内的各空间2相关的各空间数据6。
[0246]
在实施方式2中，特别是在作为外部源的服务器4的db5中，作为库，登记与实际空间内的各空间2相关的空间数据6。此外，首先在测定空间2之前的阶段，db5的空间数据6中的空间形状数据61未登记。在db5的空间数据6中包含空间形状数据61、特征数据62。空间形状数据61是由空间坐标系w1记述的表示空间2的形状等的数据，是由终端1生成的部分。特征数据62包含规定空间2内的预定特征(特征点、特征线等)的各种量的数据。特征数据62在终端1的坐标系配对时被参照。
[0247]
db5的空间数据6既可以用与空间2对应的固有的空间坐标系记述，也可以用关联的多个空间2(例如建筑物)中公共的空间坐标系记述。公共的空间坐标系也可以是在地球、地域内公共的坐标系。例如，也可以是使用了gps等中的纬度、经度、高度的坐标系。
[0248]
此外，该空间数据6的结构是一个例子，不限定详细情况。作为与空间数据6不同的数据，也可以存在与预先规定的空间坐标系w1、特征/各种量相关的数据等。也可以将特征数据62记述为空间形状数据61的一部分。也可以预先在终端1中保持特征数据62。也可以是将各种数据保持在不同场所并通过识别信息相关联的结构。服务器4不限于1台，也可以是多台服务器4，例如，也可以是与1个以上的空间2的每一个相关联的服务器4。
[0249]
特别是，在实施方式2中，各终端1能够将通过空间2的测定而生成的空间数据6登记到服务器4的db5中。此时，针对预先登记在db5中的空间数据6(特别是空间形状数据61)，登记终端1所生成的空间数据6。换言之，服务器4的空间数据6根据来自终端1的空间数据6的登记而适当地更新内容。而且，各终端1能够从服务器4的db5中适当地获取并利用已登记
的空间数据6。各终端1也可以不在本机内部保持空间数据6。
[0250]
实施方式2是将各空间2的空间数据6作为库登记于服务器4等外部源的情况，但不限于此，也可以将空间数据6作为库保持于终端1内。共享空间2的识别的各终端1也可以仅在这些终端1之间生成、收发空间数据6，并共享保持。
[0251]
[坐标变换]
[0252]
图17表示实施方式2中的与终端坐标系wa和空间坐标系w1的坐标系配对相关的说明图。在实施方式2中，作为空间2中的预定特征(换言之，特征物)，例如使用墙壁、天花板等预定的物体1700中的特征点、特征线。终端1在与空间坐标系w1的坐标系配对时使用该预定的特征点和特征线。在图17的例子中，使用墙壁等物体1700中的矩形的面的4个角的点。在图17的例子中，特别使用与物体1700的面的左边和上边对应的3个特征点和2个特征线。2个特征线与2个特定方向对应。空间2内的预定特征由特征数据62(图16)规定，只要是终端1能够通过照相机、传感器等识别的特征即可，可以是任意的。预定特征不限于墙壁等，例如也可以是在房间内由用户设定的预定的物体。
[0253]
此外，在本例中，终端坐标系wa的原点oa的位置与第一终端1的位置la不同，另外，空间坐标系w1的原点o1的位置与空间2内的特征点的位置l1不同，但并不限定于此。以下，对这样终端坐标系的原点与终端1的位置不一致的情况、以及空间坐标系的原点的位置与空间2的特征点的位置不一致的情况进行说明。
[0254]
将与终端1的位置la相关的终端坐标系wa中的坐标值设为da＝(xa，ya，za)。将与空间2的特征点的位置l1相关的空间坐标系w1中的坐标值设为d1＝(x1，y1，z1)。这些坐标值是根据世界坐标系的设定来决定的。终端位置向量va是从原点oa到位置la的向量。特征点位置向量v1是从原点o1到位置l1的向量。
[0255]
在坐标系配对时，终端1从服务器4(或者变形例中的基准终端)获取与空间坐标系w1相关的信息。例如，终端1从服务器4参照空间数据6中的特征数据62。特征数据62中包含与空间2侧的特征(对应的物体1700)相关的各种量1702的数据。终端1使用测距传感器13等，测定本机侧的各种量1701。终端1基于空间2侧的各种量1702和测定出的本机侧的各种量1701，求出终端坐标系wa与空间坐标系w1的关系。终端1基于该关系，计算这些坐标系间的变换参数7，并设定在本机中。
[0256]
作为坐标系配对时的各种量，具有以下3个要素的信息。各种量具有作为第一信息的特定方向向量、作为第二信息的世界坐标值、作为第三信息的空间位置向量。在图17的例子中，作为本机侧的各种量1701，具有第一特定方向向量na、第二特定方向向量ma、坐标值da以及空间位置向量p
1a
。作为空间2侧的各种量，具有第一特定方向向量n1、第二特定方向向量m1以及坐标值d1。
[0257]
(1)关于特定方向向量：终端1使用特定方向向量作为与终端坐标系中的空间2内的特定方向相关的信息。该特定方向例如有像铅垂向下方向那样由终端1的传感器测定的方向、以及空间2内的特征线的方向例如与物体1700的左边或上边对应的方向。终端1从多个候选中使用不同的2个特定方向的单位向量即可。将关于这些单位向量的空间坐标系w1中的表现设为n1、m1，将终端坐标系wa中的表现设为na、ma。终端坐标系wa中的单位向量na、ma通过终端1进行测定。空间坐标系w1中的单位向量n1、m1，能够预先规定并从服务器4的特征数据62获取。
[0258]
在使用铅垂向下方向作为1个特定方向的情况下，铅垂向下方向与前述同样地，能够使用加速度传感器作为重力加速度的方向进行测定。或者，在各世界坐标系(wa、w1)的设定中，也可以将铅垂向下方向设定为z轴(za，z1)的负方向。无论如何，由于该铅垂向下方向在世界坐标系中不变化，因此也可以不对每个坐标系配对每次进行测定。
[0259]
在使用例如地磁的北方向作为1个特定方向的情况下，地磁的北方向能够使用终端1所具备的地磁传感器143(图7)进行测定。地磁有可能受到构造物的影响，因此优选对每个坐标系配对进行测定。在已知构造物的影响充分小的情况下，也可以省略测定，使用识别为地磁的北方向的方向。
[0260]
在使用空间2内的预定的特征线的方向作为特定方向的情况下，例如在使用物体1700的左边和上边这2个特征线的方向作为2个特定方向的情况下，能够如以下那样测定。终端1按照每个特征线，针对构成特征线的不同的2个特征点，测定终端坐标系wa中的位置坐标值。终端1根据该测定值求出方向向量(例如与左边对应的方向向量na(na)、与上边对应的方向向量ma(ma))。该坐标值例如能够通过终端1的测距传感器13来测定。
[0261]
(2)关于世界坐标值：终端1使用表示终端坐标系中的位置的坐标值的信息。在图17的例子中，使用第一终端坐标系wa中的坐标值da和空间坐标系w1中的坐标值d1作为世界坐标值。在本例中，作为物体1700的特征，将左上的1个特征点作为位置l1(坐标值d1)。
[0262]
(3)关于空间位置向量：空间位置向量(空间位置向量p
1a
)是从终端1的位置la朝向空间2的特征点的位置l1的向量。根据该空间位置向量，得到与2个坐标系(wa、w1)间的位置关系有关的信息。该空间位置向量例如能够通过终端1的测距传感器13来测定。
[0263]
在图17中，位置向量ga是第一终端坐标系wa中的位置21的向量，位置坐标值ra是该位置21的坐标值。位置向量g1是空间坐标系w1中的位置21的向量，位置坐标值r1是该位置21的坐标值。原点间向量o
1a
是从原点oa向原点o1的向量，是第一终端坐标系wa中的原点o1的表现。原点间向量o
a1
是从原点o1向原点oa的向量，是空间坐标系w1中的原点oa的表现。
[0264]
[变换]
[0265]
根据上述各种数据(1701、1702)，可知第一终端坐标系wa与空间坐标系w1的关系，因此能够计算这些世界坐标系(wa、w1)间的变换。即，作为变换参数7，能够构成用于使空间坐标系w1与第一终端坐标系wa匹配的变换的变换参数73、以及用于作为其逆变换而使第一终端坐标系wa与空间坐标系w1匹配的变换的变换参数74。该变换参数7与在实施方式1中的说明同样地，能够使用旋转与坐标原点差进行规定。
[0266]
在坐标系配对后，关于终端1对空间2内的位置的识别，可以使用任意的世界坐标系。也可以通过变换参数73将空间坐标系w1中的位置变换为第一终端坐标系wa中的位置。也可以通过变换参数74将第一终端坐标系wa中的位置变换为空间坐标系w1中的位置。
[0267]
作为项目，图17的例子中的变换参数73的表具有空间坐标系、终端坐标系、旋转以及原点表现。“空间坐标系”项目存储空间坐标系的识别信息。“终端坐标系”项目存储终端坐标系的识别信息、或者对应的终端1、用户的识别信息。“旋转”项目存储这些空间坐标系与终端坐标系之间的旋转的表现的信息(例：q
a1
)。“原点表现”项目存储空间坐标系的原点与终端坐标系的原点的差的表现的信息(例：o
1a
)。
[0268]
实施方式2中的变换参数7的计算方法与实施方式1的情况相同，因此以下仅记载计算结果。关于空间2内的任意的点(位置21)的终端坐标系wa中的坐标值ra与空间坐标系
w1中的坐标值r1的变换式如以下那样给出。
[0269]
r1＝q
1a
(r
a-o
1a
)q
1a
*＝q
1a
raq
1a
* o
a1
[0270]
ra＝q
a1
(r
1-o
a1
)q
a1
*＝q
a1
r1q
a1
* o
1a
[0271]
其中，上述式中的各种量由下述给出。
[0272]qt1
＝r(na，n1)
[0273]ma1
＝q
t1
maq
t1
*
[0274]qt2
＝r([p
t
(n1)m
a1
]，[p
t
(n1)m1])
[0275]q1a
＝q
t2qt1
[0276]qa1
＝q
1a
*
[0277]o1a
＝da p
1a-q
a1
d1q
a1
*
[0278]oa1
＝d
1-q
1a
(da p
1a
)q
1a
*
[0279]
如上所述，例如在想要将在第一终端坐标系wa中观察到的位置21(坐标值ra)变换为在空间坐标系w1中观察到的位置21(坐标值r1)的情况下，能够使用旋转q
1a
、坐标值ra以及原点表现(o
a1
)来计算。逆变换也能够同样地计算。实施方式2中的变换参数7能够由上述说明中出现的参数构成。在变换参数7的结构以及保持中，与实施方式1同样地，能够容易地相互变换，所以例如也可以取代旋转q
a1
而设为q
1a
。
[0280]
[效果等(2)]
[0281]
如上所述，根据实施方式2，能够通过各终端1生成与作为公共坐标系的空间2的空间坐标系w1相匹配的空间数据6，并登记到服务器4，能够在多个用户的多个终端1之间共享空间2的识别。
[0282]
作为实施方式2的变形例也能够进行以下说明。在变形例中，终端1在进行坐标系配对之前，测定空间2，生成由本机的终端坐标系记述的空间数据6。之后，终端1进行与空间坐标系w1的坐标系配对，使用变换参数7，将由终端坐标系记述的空间数据6变换为由空间坐标系w1记述的空间数据6。
[0283]
作为实施方式1、2的变形例，也可以是以下的变形例。在终端1之间或者终端1与服务器4之间，所提供的信息也可以包含ar等功能所涉及的虚拟图像(ar对象)、该虚拟图像的配置位置信息等数据。例如，在图16中，在服务器4与各终端1之间，也可以通过空间数据6交换这样的数据。也可以从终端1向服务器4提供ar对象等的数据并与空间数据6相关联地进行登记。也可以从服务器4向终端1提供空间数据6和ar对象等的数据。在db5的库中，在空间数据6中，与空间形状数据61等相关联地登记配置于空间2内并显示的ar对象的数据以及配置位置信息等。由此，能够通过终端1对用户提供各种服务。例如，销售商品的店铺(对应的空间2)能够对终端1提供空间数据6以及商品广告等ar对象。
[0284]
[变形例4]
[0285]
图18表示实施方式2的变形例(作为变形例4)的结构。也可以将进行分担和共享的多个终端1中的特定的终端1作为基准(记载为“基准终端”)，将该基准终端的终端坐标系用作基准(作为“基准坐标系”)。在该情况下，基准终端在该基准坐标系中，将空间2的特征(特征点、特征线的方向)作为各种数据1800进行测定并保持。基准终端在与空间2的空间坐标系w1之间进行坐标系配对1801。基准终端以外的各终端1、例如第二终端1b从该基准终端接收各种数据1800，在与该基准终端之间进行坐标系配对1802。该坐标系配对1802与在实施
方式1中说明的坐标系配对相同。由此，进行了与基准坐标系的坐标系配对的各终端1经由基准坐标系实现与空间坐标系w1的间接的坐标系配对。
[0286]
《实施方式3》
[0287]
使用图19～图24等，对本发明的实施方式3的空间识别系统等进行说明。图19等所示的实施方式3是实施方式2的发展形式，处理终端坐标系与空间坐标系的坐标系配对这一点相同，作为不同的构成点，为了空间2的测定等而使用特有的标识3的特征。在实施方式3中，终端1利用标识3所涉及的空间坐标系w1来测定空间2，生成空间数据6。另外，终端1也可以将所生成的空间数据6登记、积累于服务器4的db5。
[0288]
[空间识别系统和方法]
[0289]
图19表示实施方式3的空间识别系统和方法的结构。实施方式3的空间识别系统具有标识3。在空间2中设置有与该空间2对应的标识3。在图19的例子中，在作为房间的空间2中，例如在入口的墙壁1901的外侧面设置有标识3。
[0290]
标识3(换言之，标记、签名等)除了作为使用户能够识别空间2的一般的标识的功能以外，还具有用于终端1的特别的功能。该标识3将成为与空间2相关的基准的世界坐标系作为空间坐标系w1(也可以称为标识坐标系)而给出。标识3规定了预定特征，是能够在终端1进行坐标系配对时的各种量的测定等中使用的特有的物体。另外，标识3具有用于使终端1能够识别空间2(对应的id)而获取空间数据6的功能。标识3在与空间2相同的空间坐标系w1中记述有位置、形状等。实施方式2中的空间2内的特征在实施方式3中是作为标识3的特征的特征点或特征线。该标识3的特征预先被规定为各种量。例如在服务器4的db5的空间数据6中登记有标识数据62。该标识数据62包含标识3的各种数据，相当于实施方式2中的特征数据62。
[0291]
终端1例如第一终端1a将标识3的特征作为对象，测定为本机侧的各种数据，掌握第一终端坐标系wa与空间坐标系w1的关系，基于该关系，生成第一终端坐标系wa与空间坐标系w1的变换参数7，并设定在本机中。
[0292]
[标识]
[0293]
图20表示标识3的结构例。(a)是第一例，(b)是第二例，(c)是第三例，(d)是第四例。在(a)中，标识3由横长的矩形的板等构成，在该板等的面(有时记载为标识面)上记载有表示作为空间2的房间的名称的“第七会议室”的字符串。在本例中，标识面配置于空间坐标系w1的y
1-z1面。另外，在本例中，在标识面的一个部位，空间2以及标识3的id2001直接记载为字符串。终端1能够通过照相机12识别该id2001。
[0294]
在本例中，标识3在标识面上预先规定有空间坐标系w1中的特征点、特征线。在标识面中，规定有表示标识3的代表性的位置l1的1个特征点(点p1)。另外，在标识面中，规定了其他2个特征点(点p2、p3)。根据3个特征点(点p1～p3)，规定2个特征线(与向量对应的线v1、v2)。点p1是标识面的左上的角点，点p2是左下的角点，点p3是右上的角点。线v1是标识面的左边，线v2是上边。这些特征点或特征线构成前述的2个特定方向。与标识3的空间坐标系w1相关的各种数据例如包含上述1个特征点(点p1)以及2个特定方向(线v1、v2)的信息。此外，为了说明而图示了点p1等特征点、线v1等特征线，但实际上没有记载。或者，也可以特意在标识面中将特征点或特征线记载为特定的图像，能够从用户及终端1进行识别。
[0295]
终端1在坐标系配对时，将与标识3的关系作为各种量进行测定。此时，终端1基于
标识数据62，使用测距传感器13、照相机12，测定这3个特征点(点p1～p3)。换言之，终端1测定2个特征线(线v1、v2)。在能够掌握终端坐标系wa中的3个特征点的位置的情况下，与能够掌握与2个特定方向对应的2个特征线是相同的。
[0296]
此外，空间坐标系w1的原点o1既可以在空间2外，也可以在空间2内，特别是也可以设定在标识3的标识面上。例如，也可以与标识3的特征点(点p1)一致地设定原点o1。
[0297]
在(b)中，标识3在与(a)相同的标识面中的一个部位、例如左上的点p1附近记载有预定的码(码图像)2002。该码2002是记述了预定的信息的码。该码2002也可以使用例如qr码(qr：quick response，注册商标)等二维码。终端1从照相机12的图像提取码2002，通过解码得到预定的信息。
[0298]
在(c)中，标识3构成为码2003的图像或介质。例如，标识3也可以是记载了qr码的粘贴介质。在本例中，在码2003面记载房间的名称的字符串。终端1例如只要将码2003的3个角点作为特征点同样地进行测定即可。或者，终端1也可以测定qr码的识别用的3个剪切符号作为特征点。
[0299]
在(d)中，标识3由显示装置2004(例如壁挂式显示器)的显示图像构成。在显示装置2004的画面中显示有码2005，作为标识3发挥功能。在该情况下，标识3的变更变得容易。
[0300]
标识3中记述的预定的信息既可以是包含识别空间2以及标识3的id2001的信息，也可以是包含用于访问作为外部源的服务器4的空间数据6的地址、url的信息，也可以是以下那样的结构。
[0301]
预定的信息也可以是包含与标识3的空间坐标系w1相关的各种数据(图19的标识数据62)和空间数据发送目的地信息的信息。空间数据发送目的地信息是外部源信息，是与由终端1测定并生成的空间数据6(特别是空间形状数据)相关的发送目的地的识别信息，例如是服务器4的地址、url。
[0302]
预定的信息也可以是包含预定的id和空间数据发送目的地信息的信息。终端1使用该信息，访问服务器4，能够获取与该标识3相关联的空间数据6(特别是标识数据62)。并且，终端1能够从该标识数据62获取各种数据。
[0303]
[空间数据登记]
[0304]
在图19中，作为实施方式3的空间识别方法，多个终端1通过分担来测定空间2而生成以空间2为单位的空间数据6，并登记到服务器6中的情况下的处理流程例如下所述。首先，在步骤s31中，终端1(例如第一终端1a)通过照相机12等识别位于实际空间内的标识3，以标识3的特征为对象来测定各种量。终端1使用作为测定值的各种数据，进行本机的终端坐标系wa与该标识3的空间坐标系w1的坐标系配对。由此，终端1设定终端坐标系wa和作为公共坐标系的空间坐标系w1的变换参数7。
[0305]
接着，在步骤s32中，终端1在终端坐标系wa中测定空间2(上述分担的区域)，使用变换参数7，生成由空间坐标系w1记述的空间数据6。终端1适当地将测定数据或者部分空间数据中的终端坐标系wa中的位置等变换为空间坐标系w1中的位置等。步骤s32的处理的详细情况与上述相同。
[0306]
在步骤s33中，终端1基于标识3的预定的信息，将所生成的由空间坐标系w1记述的空间数据6发送到服务器4。终端1也可以在发送的空间数据6中附属有本机、用户的识别信息、位置信息(测定起点)、测定日期时间信息(时间戳)、其他关联的信息。在存在测定日期
时间信息的情况下，在服务器4侧，作为数据管理，能够掌握时间轴上的空间数据6(空间2的形状等的状态)的变化。
[0307]
服务器4将从终端1接收到的空间数据6(特别是空间形状数据)登记并积累于db5的库中。服务器4与空间2的id等信息相对应地登记空间数据6(特别是空间形状数据61)。服务器4在db5中已经登记了对应的空间数据6(特别是空间形状数据61)的情况下，更新该空间数据6的内容。服务器4对空间数据6的测定日期时间、登记日期时间、更新日期时间等进行管理。
[0308]
作为其他方法也可以是以下的方法。在步骤s32～s33中，终端1基于测定数据，生成由本机的终端坐标系wa记述的空间数据6。并且，终端1将由该终端坐标系wa记述的空间数据6和变换参数7(能够从终端坐标系wa向空间坐标系w1变换的变换参数)作为集合发送到服务器4。服务器4将这些数据登记在db5中。
[0309]
[控制流程]
[0310]
图21表示与实施方式3中的终端1和服务器4之间的空间数据6的登记相关的交换的处理流程例。在本例中，基于标识3，在终端1与服务器4之间确立通信连接，确立坐标系配对。在该状态下，终端1测定空间而生成空间数据6，发送到服务器4进行登记。此外，关于分担空间2的测定的多个用户的多个终端1，成为同样的流程。
[0311]
在步骤s301中，终端1识别标识3并读取预定的信息(例如id、空间数据发送目的地信息)，基于该预定的信息，确立与服务器4的通信连接。在步骤s301b中，服务器4确立与终端1的通信连接。此时，服务器4也可以进行与用户或终端1有关的认证，确认与空间2有关的权限，许可确认了权限的终端1。作为权限，例如也可以设置测定的权限、空间数据6的登记、更新的权限、空间数据6的获取、利用的权限等。
[0312]
在步骤s302中，终端1向服务器4发送坐标系配对请求，在步骤s302b中，服务器4向终端1发送坐标系配对响应。
[0313]
在步骤s303中，终端1向服务器4发送与标识3有关的各种数据的请求。在步骤s303b中，服务器4将对应的标识数据62作为与标识3有关的各种数据的响应发送到终端1。终端1获取与该标识3有关的各种数据。
[0314]
在步骤s304中，终端1基于上述获取的各种数据，在终端坐标系wa中测定标识3的预定特征(图20的点p1和线v1、v2)，并作为本机侧的各种数据而获得。此时的测定能够通过测距传感器13进行。
[0315]
在步骤s305中，终端1使用在步骤s303中得到的由标识侧的空间坐标系w1记述的各种数据和在步骤s304中得到的由本机侧的终端坐标系wa记述的各种数据，计算终端坐标系wa和空间坐标系w1的变换参数7，并设定在本机中。
[0316]
在步骤s306中，终端1测定空间2，得到测定数据，生成由本机的终端坐标系wa记述的空间数据6(特别是空间形状数据)。此外，详细而言，该空间数据6是基于分担的部分空间数据。
[0317]
在步骤s307中，终端1使用变换参数7将在步骤s306中生成的空间数据6变换为由空间坐标系w1记述的空间数据6。
[0318]
在步骤s308中，终端1将在步骤s307中得到的空间数据6发送到服务器4。在步骤s308b中，服务器4将从终端1接收到的空间数据6登记或更新为db5内的对应的空间数据6
(特别是空间形状数据61)。
[0319]
此外，在其他方法中，代替步骤s307、s308，终端1将由本机的终端坐标系wa记述的空间数据6和变换参数7作为集合发送到服务器4。服务器4将空间数据6和变换参数7相对应地登记在db5中。在该方式的情况下，服务器4也可以使用db5的变换参数7进行坐标变换处理。
[0320]
在步骤s309、s309b中，终端1以及服务器4确认是否结束与空间测定相关的坐标系配对，在结束的情况下(是)，进入s310，在继续的情况下(否)，返回步骤s306，同样地反复进行。
[0321]
在步骤s310、s310b中，终端1和服务器4解除与空间2的测定相关的通信连接。终端1和服务器4可以明确地解除坐标系配对的状态(例如删除变换参数7)，也可以之后还使其继续。此外，终端1可以经由通信始终与服务器4通信连接，也可以仅在必要时与服务器4通信连接。在终端1内，基本上也可以使用不保持空间数据6等数据的方式(客户端服务器方式)。
[0322]
在上述控制流程例中，终端1将所生成的空间数据6自动地发送到服务器4并登记。但不限于此，用户也可以对终端1进行用于空间数据登记的操作，按照该操作将空间数据6登记到服务器4中。终端1在显示面11上显示与空间数据登记相关的引导图像。用户根据该引导图像进行空间数据登记的操作。
[0323]
[空间数据利用]
[0324]
在如上述那样在服务器4中登记了空间2的空间数据6(特别是空间形状数据61)的情况下，各终端1能够特别通过标识3，通过通信获取并利用该空间数据6。此时的过程例如如下。
[0325]
终端1针对对象的空间2，识别对应的标识3，获取预定的信息(id等)，确认坐标系配对是否完毕、空间数据6是否已登记等的状态。例如，终端1在空间数据6已登记的情况下，使用预定的信息，从服务器4获取与对象的空间2相关的空间数据6(特别是空间形状数据61)。终端1在不是坐标系配对完毕的情况下，进行与空间2的坐标系配对。在终端1内已经保持变换参数7的情况下，能够省略该坐标系配对。
[0326]
此外，终端1也可以在识别标识3时等，在显示面11中对用户显示是进行空间2的测定(对应的空间数据6的生成)还是获取并利用已登记的空间数据6等选择项或用于引导的图像，根据用户的操作来决定之后的处理。例如，终端1在基于用户的操作而利用空间数据6的情况下，向服务器4发送空间数据请求。服务器4针对请求来检索db5，在存在对象的空间数据6(特别是空间形状数据61)的情况下，作为响应将该空间数据6发送到终端1。
[0327]
终端1利用所获取的空间数据6，在空间2内，例如通过ar功能，能够在与空间2的物体的形状匹配的位置21适当地显示虚拟图像22。空间数据6(特别是空间形状数据61)除了基于ar功能的虚拟图像22的显示的用途以外，还能够用于各种用途。例如，也能够用于掌握用户以及本机的位置的用途、向目的地的路径的搜索、引导的用途。例如，作为终端1的hmd使用所获取的空间数据6，在显示面11显示空间2的形状。此时，hmd也可以将空间2的形状以实物大小例如通过线条画的虚拟图像而与实物重叠显示。此外，hmd也可以将空间2的形状以比实物小的尺寸显示为3维地图或者2维地图那样的虚拟图像。另外，hmd也可以在该地图中显示表示用户以及本机的当前位置的虚拟图像。另外，hmd也可以在该地图中，将用户的
目的地的位置、从当前位置到目的地的位置的路径显示为虚拟图像。或者，hmd也可以与实物相匹配地显示用于路径引导的箭头等虚拟图像。
[0328]
[效果等(3)]
[0329]
如上所述，在实施方式3中，特别是能够使用标识3进行高效的坐标系配对、空间数据的获取。另外，在实施方式2、3中，在终端1的终端坐标系wa与空间2以及标识3侧的空间坐标系w1的坐标系配对时，空间2的物体或者标识3被固定。因此，在该坐标系配对时，只要考虑终端1侧的静止即可，能够进行高精度的测定，实用方面的自由度增加。
[0330]
作为实施方式3的变形例，关于终端1的终端坐标系与标识3的空间坐标系的坐标系配对，也能够与实施方式2的变形例4(图18)同样地应用间接的坐标系配对的方法。例如，第二终端1b也可以在进行与标识3的空间坐标系w1(图19)的坐标系配对时，改为进行已经完成了该坐标系配对的与第一终端1a的坐标系配对。由此，第二终端1b的第二终端坐标系wb能够经由第一终端坐标系wa实现与标识3的空间坐标系w1的间接的坐标系配对。
[0331]
在实施方式3中，终端1也可以在与标识3的坐标系配对后，将在空间2内测定得到的预定的特征点、特征线用于与坐标系配对(对应的变换参数7)有关的校准(调整)。另外，也可以在1个空间2中设置多个标识3或特征。终端1能够将各个标识3或特征用于坐标系配对或调整。
[0332]
[变形例5]
[0333]
作为实施方式1～3的变形例(设为变形例5)，也可以是以下的方式。在变形例5中，对测定某个空间2来生成空间数据6的情况下的时间轴上的分担进行处理。该情况下的用户可以是一人也可以是多人。同时，即使在只有1台终端1的情况下，也能够在时间轴上分担。在该情况下，各终端1负责通过时间分割而构成的多个时间中的各时间。
[0334]
图22表示变形例5中的时间轴上的分担的例子。空间2例如是较宽的建筑物，具有id＝100。虽然未图示，但空间2也可以具有多个房间、区域等。作为分担的用户，例如有两个用户(u1、u2)，有对应的2台终端1(1a、1b)。这里的作业的目的在于，生成由空间坐标系w1记述的、空间2的单位下的空间数据6(设为d100)。
[0335]
(a)表示第一日期时间下的状态。在第一日期时间，用户u1通过第一终端1a测定空间2内的区域2201，生成表示该区域2201的形状等的部分空间数据d101，登记到服务器4的db5的库中。区域2201可以是预先由分担决定的区域，也可以是用户u1此时任意测定的区域。
[0336]
(b)表示第二日期时间下的状态。在第二日期时间，用户u2通过第二终端1b测定空间2内的区域2202，生成部分空间数据d102，登记到服务器4的db5的库中。区域2202是与区域2201不同的区域，也可以包含重复区域(例如重复区域2212)。部分空间数据d102至少包含与部分空间数据d101不重复的区域的数据。
[0337]
(c)表示第三日期时间下的状态。在第三日期时间，用户u1通过第一终端1a测定空间2内的区域2203，生成部分空间数据d103，登记到服务器4的db5的库中。区域2203是与区域2201、2202不同的区域，也可以包含重复区域。
[0338]
如上所述，在服务器4的db5中积累有关于空间2(id＝100)的空间数据6(特别是空间形状数据61)。在时间轴上，该空间数据6的内容随时被更新。例如在第三日期时间，空间数据d100由部分空间数据d101、d102、d103构成。此外，在各部分空间数据中，也可以具有测
定日期时间信息、测定用户/终端信息、“已测定”等状态信息等。然后，同样地，在时间轴上，通过一个以上的任意的用户、任意的终端1来适当地测定空间2内的任意的区域，由此，如果空间2内的充分的区域已测定完毕，则能够生成以空间2为单位的空间数据6。
[0339]
另外，各终端1在每次测定开始前，通过从服务器4参照空间数据6，能够掌握空间2内的已测定区域。因此，终端1也可以省略关于已测定区域的测定，以未测定区域为对象开始测定。另外，终端1在再次测定已测定区域的情况下，能够进行该区域的形状等的更新或修正。
[0340]
关于测定的重复区域(例如重复区域2212)的处理，能够采用以下的方法。作为第一方法，使各部分空间数据具有重复区域的数据。例如，在部分空间数据d101和d102中，具有重复区域2212的数据。
[0341]
作为第二方法，不使各部分空间数据具有重复区域的数据。例如，在部分空间数据d101或d102中，不具有重复区域2212的数据。终端1或服务器4判断空间2内的某个区域是否已测定。例如，能够根据已登记的空间数据6的内容的状态进行该判断。例如，由于第二终端1b及服务器4在部分空间数据d101中已经存在重复区域2212的数据，因此在部分空间数据d102中不具有重复区域2212的数据。或者，作为其他方法，第二终端1b以及服务器4根据部分空间数据d102的重复区域2212的数据，对部分空间数据d101中的重复区域2212的数据进行覆盖更新。
[0342]
关于空间2内的区域，有时在时间轴上该区域中的形状等状态发生变化。例如，有时桌子等配置物被移动。在该情况下，终端1以及服务器4通过在时间轴上观察每个区域的测定数据或者部分空间数据的差，能够判断该变化。基于该判断，例如在想要反映空间2的最新的状态的情况下，终端1以及服务器4使用新的一方的测定日期时间的部分空间数据来进行覆盖更新即可。另外，终端1以及服务器4也能够基于这样的判断，判断构成空间2的固定的配置物(例如墙壁、地板、天花板)与位置可变的配置物(例如桌子)的区别。基于此，终端1以及服务器4也可以在空间数据6中，按每个部分区别固定和位置可变来登记属性信息。另外，关于原本位置可变的配置物，也能够以不作为构成要素的方式构成空间数据6。
[0343]
在服务器4的db5中，作为相同的空间2的空间数据6，也可以仅保持最新的测定日期时间的空间数据，但也可以将每个测定日期时间的空间数据作为履历进行保持。在该情况下，能够将时间轴上的空间2的变化作为履历来掌握。根据各测定日期时间的空间数据的差，也能够辨别上述固定的配置物和位置可变的配置物。
[0344]
[变形例6]
[0345]
作为实施方式1～3的变形例(设为变形例6)，也可以是以下的方式。在变形例6中，在测定某个空间2来生成空间数据6的情况下，各终端1不进行测定的事先的分担。该情况下的用户可以是一人也可以是多人。各终端1如果有请求，则将测定出的空间数据提供给其他终端1，或者登记到服务器4。各终端1从其他终端1以及服务器4检索获取并利用本机不保有的空间数据6。
[0346]
变形例6的流程如图23所示。信息处理装置9是终端1(例如第二终端1b)或服务器4。在图23的流程之前，终端1测定并保有空间数据6，服务器4例如如图21的流程所示，进行测定出的空间数据6的登记。而且，服务器4也可以保持作为建筑物的墙壁等的设计数据的空间数据6。
[0347]
在步骤s331、s331b中，第一终端1a和信息处理装置9确立通信。在信息处理装置9是服务器4的情况下，在确立通信时，第一终端1a选择对想要获取的空间数据6进行管理的服务器4。例如能够根据空间数据6的位置信息进行选择。或者，也可以识别标识3而读取预定的信息(例如id、空间数据获取目的地信息)，基于该预定的信息来确立与服务器4的通信连接。在信息处理装置9是第二终端1b的情况下，能够具体地确定装置，因此能够使用预先保持的通信用数据来进行通信确立。
[0348]
在步骤s332中，第一终端1a向信息处理装置9发送坐标系配对请求，在步骤s332b中，信息处理装置9将坐标系配对响应发送到第一终端1a。
[0349]
在步骤s333中，终端1向信息处理装置9发送各种数据的请求。在信息处理装置9是第二终端1b的情况下，该各种数据是与第二终端1b相关的各种数据。在信息处理装置9是服务器4的情况下，各种数据是与标识3相关的各种数据。在步骤s333b中，信息处理装置9将所请求的各种数据发送至第一终端1a。第一终端1a获取该各种数据。此外，在从第二终端1b获取空间数据6时的公共坐标系是空间坐标系的情况下，第一终端1a从第二终端1b以外获取与空间坐标系的坐标系配对所需的标识3等各种数据。
[0350]
在步骤s334中，第一终端1a基于上述获取的各种数据，在终端坐标系wa中测定坐标系配对所需的第二终端1b或者标识3的预定特征(例如图20的点p1以及线v1、v2)，获得为本机侧的各种数据。此时的测定能够通过测距传感器13进行。
[0351]
在步骤s335中，第一终端1a使用在步骤s333中得到的在第二终端1b或标识3侧的公共坐标系ws中记述的各种数据以及在步骤s334中得到的本机侧的终端坐标系wa中记述的各种数据，计算终端坐标系wa和公共坐标系ws的变换参数7，并设定在本机中。由此，能够实现第一终端1a与信息处理装置9之间的空间识别的共享。
[0352]
在步骤s336、s336b中，进行第一终端1a对空间数据6保有的询问、以及信息处理装置9的询问响应和空间数据6的发送。首先，第一终端1a将以想要获取空间数据6的区域的公共坐标系为基准而记述的位置信息发送到信息处理装置9。信息处理装置9回答与接受到询问的区域相关的空间数据6的列表。这里所说的区域是指例如图24的(a)所示的被由坐标值规定的长方体包围的3维区域，精细地指定空间2的部分区域。这也可以预先定义空间网格，以空间网格的id进行指定。与区域相关的空间数据6是指在区域内至少存在一部分的物体、实际空间的边界等特征点、特征线、多边形数据等3维位置信息。空间数据6的列表例如是图24的(b)那样的列表。列表上的区域的位置是物体等的位置信息存在的范围，未必与询问的区域一致。关于区域的指定，在区域是其各边与坐标轴平行的长方体的情况下，可以是长方体的一个对角线的两端的坐标值。在区域是任意的多面体的情况下，用全部的顶点坐标值来指定。信息处理装置9的回答也可以包含接受到询问的区域附近的空间数据6。接收到回答的第一终端1a选择从列表中获取的空间数据6，从信息处理装置9接受该空间数据6的发送。
[0353]
在步骤s337中，第一终端1a使用变换参数7将在步骤s336中获取的空间数据6变换为由本机的终端坐标系wa记述的空间数据6并利用。
[0354]
此外，在其他方法中，也可以将变换参数7发送到信息终端装置9，关于位置信息，进行以终端坐标系wa为基准的信息交换。
[0355]
在步骤s338、s338b中，第一终端1a和信息处理装置9确认是否结束与空间数据提
供相关的坐标系配对，在结束的情况下(是)，进入步骤s339、s339b，在继续的情况下(否)，返回到步骤s336、s336b，同样地重复。
[0356]
在步骤s309、s309b中，第一终端1a和信息处理装置9解除与空间数据的提供相关的通信连接。第一终端1a和信息处理装置9可以明确地解除坐标系配对的状态(例如变换参数7的删除)，也可以之后使其继续。此外，第一终端1a可以经由通信始终与信息处理装置9通信连接，也可以仅在必要时与信息处理装置9通信连接。在终端1内，基本上也可以使用不保持空间数据6等数据的方式(客户端服务器方式)。该情况下的服务器不是作为信息处理装置9的服务器4。
[0357]
终端1除了将所获取的空间数据6合并而生成新的空间数据6以外，也可以将从信息处理装置获取的空间数据6利用于ar对象的显示等。
[0358]
根据变形例6，不需要事先的测定分担设定的工夫，能够省略本机对空间数据6的测定，能够实现作业的高效化。
[0359]
《实施方式4》
[0360]
使用图25等，对实施方式4的空间识别系统等进行说明。实施方式4是与实施方式1～3相关的变形例，追加了功能。终端1根据终端1的位置、朝向，针对用户在显示面11显示用于引导、辅助分担所涉及的测定范围等的图像。关于终端1的位置，使用坐标系配对时的水平面上的位置。
[0361]
[显示例1]
[0362]
图25表示实施方式4中的终端1的显示面11的显示例。在本例中，在图3那样的空间2内，存在佩戴了作为第一终端1a的hmd的用户u1。用户u1通过hmd的显示面11观察存在白板2b的墙壁2301。在第一终端1a中，例如预先在前述的图10的步骤s2a中进行分担所涉及的区域的设定。该设定也可以设定为对服务器4的db5的空间数据6的设定。例如，用户u1的第一终端1a如图3、图4那样负责区域2a。
[0363]
第一终端1a将表示本机所分担的区域2a(即应该测定的区域)、测定范围等的图像2300重叠显示于显示面11。该图像2300表示处于能够看到该图像2300的方向的区域是分担的区域。在本例中，图像2300是表示空间2内的区域2a、2b的边界面的图像(能够透射看到里侧的图像)，但不限于此，也可以是表示3维的区域2a等的图像。在本例中，空间坐标系w1内的第一终端1a(对应的用户u1)的位置位于区域2a的外侧，朝向区域2a。因此，区域2a、2b的边界面被显示为图像2300。另外，例如，在第一终端1a的位置位于区域2a的内侧且朝向区域2a的配置物的状态的情况下，代替图像2300，显示表示该状态的图像。
[0364]
用户u1通过观察该图像2300，容易掌握区域2a，容易进行测定。用户u1只要测定能够看到该图像2300的方向即可。在终端1所具备的用于测定的传感器(例如测距传感器13)的灵敏度区域位于用户u1的脸的前方的情况下，用户u1能够将该图像2300设为为了测定而面向的方向的标准。换言之，用户u1在测定时，以视线指向该图像2300的面区域内的方式面向即可。
[0365]
作为另一例，第一终端1a也可以根据位置、朝向的状态，与图像2300分开地显示表示其他终端1(例如第二终端1b)分担的区域(区域2b)的其他图像。
[0366]
图26作为分担方法的一例，表示俯视空间2的水平面(x
1-y1面)的概要。该分担表示在通过多台终端1同时测定对象的空间2的情况下，设定测定的方位的例子。在该情况下，在
水平面中，以通过多台终端1覆盖对象的空间2的全方位(对应的区域)的方式来决定各终端1的测定的方位。分担的多个终端1相互进行坐标系配对。之后，在终端1之间，一边适当地进行通信，一边进行用于分担的处理。
[0367]
在本例中，表示由三个用户(u1、u2、u3)的终端1(1a、1b、1c)同时测定的情况下的各位置和方位(2401、2402、2403)。在终端1之间，首先在该状态下计算分担范围。获取连结相邻的终端1的线段的垂直2等分线与空间2的边界线(本例中为四方的墙壁)的交点(2411、2412、2413)。将该交点设为空间2的分担范围的边界(对应的铅垂方向的线)。另外，在终端1之间，也可以将该分担范围作为初始值，进而进行调整(例如使交点在水平方向上偏移等)，以使分担变得公平(例如相同程度的大小)。另外，在本例中，以交点为边界在分担范围中没有重叠，但不限于此，也可以在包含交点的边界部分设置分担范围的重叠。通过如图26那样的分担的测定，能够测定房间的墙壁等的形状。
[0368]
[显示例2]
[0369]
图27表示与图26的分担对应的第一终端1a中的显示例。在显示面11显示表示与交点2411、2413对应的测定范围边界线的图像2501、2502。另外，在本例中，在该测定范围边界线的图像2501、2502所表示的测定范围内，显示多个横线箭头的图像2503。在测定时以扫描的方式移动终端1的传感器(例如测距传感器13)的情况下，该横线箭头成为该扫描的标准。
[0370]
用户u1沿着该横线箭头的图像2503以改变面部的朝向(对应的图像2504)的方式移动，由此能够实现高效且高精度的测定。图像2504是表示hmd和传感器等的朝向的光标那样的图像的显示例。图像2503中的横线箭头的方向和间隔被设计成能够进行高效的测定。例如相邻的2条横线箭头的间隔被选择为不产生测定遗漏且测定重复成为最低限度那样的间隔。
[0371]
[显示例3]
[0372]
图28还表示其他显示例。终端1针对空间2内或分担区域内的各区域，掌握测定(换言之，测定数据的获取)是否完毕，以使用户容易理解测定完毕的区域和未测定的区域的方式，将区分表示这些区域的图像显示于显示面11。另外，终端1也可以掌握是否是在服务器4的db5的库中已经作为空间数据6(特别是空间形状数据61)而登记的区域，并显示区分表示这些区域的图像。在本例中，图像2601是表示已测定范围的如纵线阴影那样的图像。图像2602是表示未测定范围的斜线阴影那样的图像。这些图像的显示状态被实时更新。在图像中，也可以附加表示“已测定”、“未测定”、“已登记”、“分担范围”的种类的字符串、图标等来进行显示。不仅可以使用图像显示，也可以使用基于声音输出的引导。
[0373]
[显示例4]
[0374]
图29表示其他显示例。在该变形例中，在多个终端1之间不决定分担的区域。各用户适当地通过终端1测定任意的范围，自发地测定未测定范围。在空间2的测定时，各终端1测定与用户的位置、朝向相应的范围。各终端1与图28同样地，以用户知道本机的已测定范围和未测定范围的方式显示图像。例如，第一终端1a显示图像2601、2602。在分担的终端1之间，每次测定时，将测定数据或者表示本机的已测定区域等的信息发送给其他终端1。各终端1基于该测定数据或者信息，掌握空间2内的各终端1的已测定区域、未测定区域。并且，各终端1在显示面11的范围内存在由其他终端1测定完毕的区域的情况下，显示表示该测定完毕的图像。例如，第一终端1a显示表示第二终端1b的测定完毕的横线阴影那样的图像2701。
用户u1通过观察引导图像，容易确定下一测定范围。不限于上述例子，也可以在分担的全部终端1中汇总，作为已测定和未测定这2种图像。
[0375]
[显示例5]
[0376]
图30表示其他图像的显示例。在图25等的例子中，在实际空间中显示有表示面等的引导图像，但不限于此，也可以以与空间2的墙壁、桌子等物体的面一致的方式显示引导图像。在本例中，在房间等空间2内的靠近墙壁2702、2703的角落，在地板2701上配置有物体2700。终端1在测定包含该物体2700的范围时，显示表示已测定的虚线那样的图像2710。例如，终端1能够基于由测距传感器13获取的点群数据，与该点群所表示的物体的面一致地显示表示已测定范围的物体的形状的图像2710。图像2710可以是线图像，也可以是面图像。
[0377]
以上，基于实施方式具体说明了本发明，但本发明并不限定于前述的实施方式，在不脱离主旨的范围内能够进行各种变更。能够通过实施方式的构成要素的追加、删除、置换、各种组合来构成。前述的功能等的一部分或全部可以用硬件实施，也可以通过软件程序处理来实施。构成功能等的程序、数据既可以保存在计算机可读取的存储介质中，也可以保存在通信网上的装置中。
[0378]
附图标记说明
[0379]1…
终端(hmd)、1a
…
第一终端、1b
…
第二终端、1a、1b
…
智能手机、2
…
空间、4
…
服务器、6
…
空间数据、7
…
变换参数、9
…
信息处理装置、11
…
显示面、12
…
照相机、13
…
测距传感器、u1
…
第一用户、u2
…
第二用户、w1
…
空间坐标系、wa
…
第一终端坐标系、wb
…
第二终端坐标系、ws
…
公共坐标系、wt
…
终端坐标系、21
…
位置、22
…
图像。