信息处理设备、信息处理方法和程序与流程

1.本技术涉及信息处理设备、信息处理方法和程序，例如，涉及能够生成其他装置所处的空间中的位置数据的信息处理设备、信息处理方法和程序。


背景技术：

2.已知被称为增强现实(ar)的技术，其将附加信息叠加在真实空间上并呈现给用户。以ar技术呈现给用户的信息也被称为注释(annotation)。注释通过诸如文本、图标和动画的各种形式的虚拟对象来可视化。
3.专利文献1公开了一种通过信息处理设备容易地实现多个装置的协同操作的技术。公开了多个装置包括提供增强现实的装置。
4.引文列表
5.专利文献
6.专利文献1：日本专利申请公开第2015-156186号。


技术实现要素：

7.本发明要解决的问题
8.提供增强现实的装置，例如头戴式显示器(hmd)，其安装有对外部环境成像的摄像机、对用户的视线成像的摄像机以及用于指定位置的传感器。期望通过减轻hmd配置的重量并降低制造成本和初始引入成本来促进hmd的广泛使用。
9.本技术是鉴于这样的状况而做出的，并且能够例如减轻诸如hmd的装置的配置的重量并且降低制造成本。
10.问题的解决方案
11.本技术的一方面的信息处理设备包括生成单元，该生成单元被配置成生成：与自己相对于真实空间的位置有关的第一位置数据；与其他装置相对于自己的位置有关的第二位置数据；以及基于第一位置数据和第二位置数据的、与其他装置相对于真实空间的位置有关的第三位置数据。
12.在本技术的一方面的信息处理方法中，用于生成位置数据的信息处理设备生成：与自己相对于真实空间的位置有关的第一位置数据；与其他装置相对于自己的位置有关的第二位置数据；以及基于第一位置数据和第二位置数据的、与其他装置相对于真实空间的位置有关的第三位置数据。
13.本技术的一方面的程序使计算机执行处理，该处理包括以下步骤：生成与自己相对于真实空间的位置有关的第一位置数据；生成与其他装置相对于自己的位置有关的第二位置数据；以及基于第一位置数据和第二位置数据，生成与其他装置相对于真实空间的位置有关的第三位置数据。
14.在本技术的一方面的信息处理设备、信息处理方法和程序中：生成与自己相对于真实空间的位置有关的第一位置数据；生成与其他装置相对于自己的位置有关的第二位置
数据；以及基于第一位置数据和第二位置数据，生成与其他装置相对于真实空间的位置有关的第三位置数据。
15.注意，信息处理设备可以是独立的设备，或者可以是形成一个装置的内部块。
16.此外，可以通过经由传输介质传输或通过记录在记录介质上来提供程序。
附图说明
17.图1是示出根据本公开内容的信息处理系统的实施方式的配置的图。
18.图2是示出显示装置的示例的图。
19.图3是示出应用了根据本公开内容的技术的hmd的外观配置的图。
20.图4是示出作为信息处理设备的hmd的配置示例的框图。
21.图5是示出使用该系统时的图像的图。
22.图6是示出第一实施方式中的智能电话的配置示例的图。
23.图7是用于说明坐标系的图。
24.图8是示出第一实施方式中的hmd的配置示例的图。
25.图9是用于说明坐标变换的图。
26.图10是用于说明另一坐标变换的图。
27.图11是用于说明第一实施方式中的智能电话的处理的流程图。
28.图12是用于说明第一实施方式中的hmd的处理的流程图。
29.图13是示出第二实施方式中的智能电话的配置示例的图。
30.图14是示出第二实施方式中的hmd的配置示例的图。
31.图15是用于说明第二实施方式中的智能电话的处理的流程图。
32.图16是用于说明第二实施方式中的hmd的处理的流程图。
33.图17是示出第三实施方式中的智能电话的配置示例的图。
34.图18是用于说明第三实施方式中的智能电话的处理的流程图。
35.图19是示出第四实施方式中的智能电话的配置示例的图。
36.图20是示出第四实施方式中的hmd的配置示例的图。
37.图21是用于说明第四实施方式中的智能电话的处理的流程图。
38.图22是用于说明第四实施方式中的hmd的处理的流程图。
39.图23是示出第五实施方式中的智能电话的配置示例的图。
40.图24是用于说明第五实施方式中的智能电话的处理的流程图。
41.图25是用于说明第五实施方式中的hmd的处理的流程图。
42.图26是示出第六实施方式中的智能电话的配置示例的图。
43.图27是示出第六实施方式中的hmd的配置示例的图。
44.图28是用于说明第六实施方式中的智能电话的处理的流程图。
45.图29是用于说明第六实施方式中的hmd的处理的流程图。
46.图30是示出使用另一系统时的图像的图。
47.图31是示出第七实施方式中的智能电话和hmd的配置示例的图。
48.图32是用于说明第七实施方式中的智能电话的处理的流程图。
49.图33是示出第八实施方式中的智能电话和hmd的配置示例的图。
50.图34是用于说明第八实施方式中的智能电话的处理的流程图。
51.图35是示出第九实施方式中的智能电话和hmd的配置示例的图。
52.图36是用于说明第九实施方式中的智能电话的处理的流程图。
53.图37是示出使用另一系统时的图像的图。
54.图38是用于说明另一坐标变换的图。
55.图39是示出第十实施方式中的智能电话和hmd的配置示例的图。
56.图40是用于说明第十实施方式中的智能电话的处理的流程图。
57.图41是示出使用另一系统时的图像的图。
58.图42是示出第十一实施方式中的智能电话、hmd以及外部终端的配置示例的图。
59.图43是用于说明第十一实施方式中的外部终端的处理的流程图。
60.图44是用于说明第十一实施方式中的智能电话的处理的流程图。
61.图45是用于说明个人计算机的配置的图。
具体实施方式
62.在下文中，将描述用于实现本技术的实施方式(在下文中称为实施方式)。
63.《关于ar内容的显示装置》
64.图1是示出根据本技术的实施方式的信息处理系统的配置示例的图。
65.通过经由网络3例如局域网(lan)或因特网连接头戴式显示器(hmd)1和信息处理设备2来配置图1的信息处理系统。可替选地，通过经由网络3连接智能电话4和信息处理设备2来进行配置。
66.此外，hmd 1和智能电话4被配置成能够相互交换数据，至少使得数据从智能电话4被发送至hmd 1，并且hmd 1接收并处理数据。构成信息处理系统的hmd 1、信息处理设备2和智能电话4分别用作处理预定信息(数据)的信息处理设备。
67.如图1所示，hmd 1是具有透射式显示单元的眼镜型可佩戴终端。hmd 1根据信息处理设备2经由网络3执行的控制，或者根据信息处理设备2经由网络3和智能电话4执行的控制，在显示单元上显示包括诸如人物的各种对象的视频图像。用户将看到叠加在用户前方的风景上的对象。
68.在下文中，将描述多个实施方式作为应用本技术的实施方式。根据实施方式，存在hmd 1所显示的图像的图像数据由信息处理设备2提供的情况，以及该图像数据一旦由信息处理设备2提供给智能电话4并且然后经由智能电话4提供的情况。
69.包括对象的视频图像的投影方法可以是虚拟图像投影方法或者是将图像直接形成在用户眼睛的视网膜上的视网膜投影方法。
70.信息处理设备2再现ar内容并将通过再现获得的视频图像数据发送至hmd 1或智能电话4，使得ar内容的视频图像显示在hmd 1上。信息处理设备2通过例如个人计算机(pc)配置。
71.智能电话4计算hmd 1相对于环境(真实空间)的位置和姿势(position)。虽然稍后将描述细节，但是智能电话4通过计算智能电话4(自己)相对于环境的位置以及hmd 1相对于智能电话4(自己)的位置来计算hmd 1相对于环境的位置。
72.在常规hmd 1中，hmd 1本身已经计算了自己相对于环境的位置。因此，hmd 1已经
配备了对环境成像的摄像机和通过分析环境的成像图像来计算位置的处理单元。在本技术中，hmd 1的位置由智能电话4计算，使得hmd 1不需要配备摄像机或处理单元。因此，可以简化hmd 1的配置，并且可以减小尺寸和重量。
73.此处，以智能电话4为例进行说明，但是智能电话4仅需具有指定hmd 1的位置的功能，并且仅需是具有对图像成像的摄像机和对成像图像进行处理的处理单元的终端即可。也就是说，虽然此处将以智能电话4为例继续描述，但是本技术可以应用于除智能电话外的移动终端(信息处理设备)。
74.可以使用例如作为图2的a中所示的视频透射型hmd的hmd 1a或图2的b中所示的智能电话1b的移动终端来代替hmd 1，作为ar内容的显示装置。
75.在使用智能电话1b代替hmd 1的情况下，构成图1中所示的系统的智能电话4可以是不同于智能电话1b的智能电话，或者可以是如上所述的配备有摄像机和处理单元的移动终端。
76.在使用hmd 1a作为显示装置的情况下，由信息处理设备2再现的ar内容的视频图像被显示为叠加在通过安装在hmd 1a中的摄像机成像的hmd 1a前方的风景的图像上。在佩戴hmd 1a的用户的眼睛前方，存在显示被叠加在由摄像机成像的图像上的ar内容的显示器。
77.此外，在使用智能电话1b的情况下，由信息处理设备2再现的ar内容的视频图像被显示为叠加在由安装在智能电话1b背面的摄像机成像的智能电话1b前方的风景的图像上。在智能电话1b的正面设置有显示各种图像的显示器。
78.作为ar内容的显示装置，可以使用将视频图像投影到存在于实际场景中的对象的表面上的投影仪。可以将诸如平板终端和电视接收机的各种装置用作ar内容的显示装置。
79.显示装置和信息处理设备2可以有线连接，而不是经由网络3无线连接。
80.《hmd的外观配置》
81.在以下描述中，如图3所示，将描述具有眼镜形状的形式的可佩戴终端作为应用本技术的信息处理设备的示例。
82.图3所示的hmd 1整体上具有眼镜形状的形式并且包括显示单元11。
83.显示单元11对应于眼镜的镜片部分，并且例如，整个显示单元11被配置成透射式显示器。因此，显示单元11将注释(虚拟对象)透射地叠加并显示在用户直接观看的真实世界中的图像(真实对象)上。
84.尽管未示出，但是对应于hmd 1中的眼镜框的壳体可以被配置成容纳或安装有各种传感器、按钮、扬声器等。
85.注意，hmd 1的形状不限于图3中示出的形状，并且可以采用各种形状，例如帽子形状、围绕用户头部固定的带状形状以及覆盖用户整个头部的头盔形状。此外，以下描述的本技术也可以应用于诸如隐形眼镜型显示器的装置。也就是说，根据本公开内容的技术通常可以应用于hmd。
86.《作为信息处理设备的hmd的配置示例》
87.图4是示出作为信息处理设备的hmd 1的配置示例的框图。
88.图4中的hmd 1包括中央处理器单元(cpu)31、存储器32、传感器单元33、输入单元34、输出单元35和通信单元36。这些经由总线37相互连接。
89.cpu 31根据存储在存储器32中的程序和数据执行用于实现hmd 1的各种功能的处理。
90.存储器32包括诸如半导体存储器或硬盘的存储介质，并且存储供cpu 31处理的程序和数据。
91.传感器单元33包括各种传感器，例如麦克风、陀螺仪传感器和加速度传感器。由传感器单元33获取的各种传感器信息也用于cpu 31的处理。注意，本技术甚至可以应用于不具有传感器单元33的hmd 1。
92.输入单元34包括按钮、键、触摸面板等。输出单元35包括图3中的显示单元11、扬声器等。通信单元36被配置作为协调各种类型的通信的通信接口。
93.《第一实施方式》
94.将描述第一实施方式。如图5所示，将以用户握持智能电话4并且通过智能电话4对环境和hmd 1成像的情况为例进行描述。
95.如参照图6所描述的，智能电话4包括两个摄像机，外部摄像机101和内部摄像机103。智能电话4的外部摄像机101对环境成像，而内部摄像机103对hmd 1成像。hmd 1由用户佩戴。
96.智能电话4指定智能电话4相对于环境的位置以及hmd 1相对于智能电话4的位置，并且使用与这两个指定位置有关的信息来指定hmd 1相对于环境的位置。将描述在执行这样的处理时智能电话4和hmd 1的配置。
97.《第一实施方式中的智能电话的配置示例》
98.图6是示出第一实施方式中的智能电话4(称为智能电话4a)的配置示例的图。智能电话4a包括外部摄像机101、环境位置指定单元102、内部摄像机103、hmd位置指定单元104、位置变换单元105、渲染单元106和通信单元107。
99.注意，在下面的描述中，示出了描述所需的功能，而没有示出其他功能。例如，虽然智能电话4具有显示文本和图像的显示器、电话功能等，但是这些功能未被示出但却是被提供的。这同样适用于其他装置。
100.外部摄像机101和内部摄像机103分别设置在智能电话4a的不同表面上。例如，在与设置有智能电话4a的显示器的表面相同的表面上设置内部摄像机103，而在设置有显示器的表面的背面侧的表面上设置外部摄像机101。
101.在假设外部摄像机101对环境成像并且内部摄像机103对hmd 1成像的情况下继续描述，但是外部摄像机101可以对hmd 1成像并且内部摄像机103可以对环境成像。注意，此处的环境是用户所在的空间。例如，在图5所示的示例中，用户位于桌子所在的空间中，并且外部摄像机101正在对桌子所在的环境成像。
102.环境位置指定单元102指定智能电话4a相对于环境的位置和姿势。例如，以环境中的预定位置为原点，指定智能电话4a相对于原点的位置(坐标)以及智能电话4a相对于原点的姿势。稍后将参照图9和图10描述指定的方式。
103.智能电话4a和hmd 1处理的坐标包括世界坐标和局部坐标。将参照图7简要描述世界坐标和局部坐标。三维坐标系包括左手坐标系和右手坐标系。在图7和以下描述中，将使用右手坐标系作为示例。另外，此处以诸如世界坐标、局部坐标的坐标系为例进行描述，但是也可以通过使用其他坐标系例如由方位角、角度和距离表示的坐标系来实施本技术。
104.图7的a是用于说明世界坐标的图，并且图7的b是用于说明局部坐标的图。
105.参照图7的a，世界坐标是在三维空间中表示世界本身的坐标。在hmd 1的情况下，世界坐标是基于现实世界的坐标。世界坐标中指定的坐标是不移动的坐标。世界坐标也可以被称为全局坐标、绝对坐标等。世界坐标是其原点是对象与摄像机之间的公共基准点的坐标系。在以下描述中，世界坐标中的坐标轴被表示为x轴、y轴和z轴，三维空间中平行于底面的面中的两个轴被表示为x轴和z轴，并且沿垂直于所述面的方向的轴被表示为y轴。
106.例如，向图7的a所示的三维空间中的对象91分配例如(x1,y1,z1)作为世界坐标中的坐标。
107.参照图7的b，局部坐标是基于布置在三维空间中的对象的坐标，并且是分别赋予对象的坐标。例如，在三维空间中布置有多个对象的情况下，存在针对所述多个对象的局部坐标。局部坐标可以是以对象的中心为原点的坐标。在以下描述中，局部坐标中的坐标轴被表示为x轴、y轴和z轴，三维空间中平行于底面的面中的两个轴被表示为x轴和z轴，并且沿垂直于所述面的方向的轴被表示为y轴。
108.例如，在局部坐标中，得到以对象91的中心部分为原点(0,0,0)的坐标系。
109.在以下描述中，以简单地描述为坐标的世界坐标的情况为例继续描述，但是本技术也可以应用于使用局部坐标的情况。
110.将描述返回至图6所示的智能电话4a的配置。hmd位置指定单元104指定hmd 1a相对于智能电话4a的位置和姿势。例如，以智能电话4a的预定位置为原点，指定hmd 1相对于原点的位置(坐标)和姿势。
111.位置变换单元105用作生成单元，其被配置成：使用来自环境位置指定单元102的位置数据和来自hmd位置指定单元104的位置数据来指定hmd 1a相对于环境的位置和姿势并且生成位置数据。所生成的位置数据被提供给渲染单元106。
112.注意，在以下描述中，虽然被简单地描述为位置数据，但是位置数据包括用于指定位置和姿势的数据。此外，例如，虽然给出了诸如指定hmd 1a相对于环境的位置的描述，但是该描述包括对位置的指定和对姿势的指定。
113.渲染单元106基于hmd 1的显示单元11的显示区域与布置在三维空间中的真实对象或虚拟对象之间的位置关系并且基于表示用户的操作的用户操作信息(在下文中，也简称为操作信息)，生成与真实对象或虚拟对象的位置相关联的图像数据。此处所说的三维空间可以是真实空间，也可以是虚拟空间。
114.可以采用从信息处理设备2(图1)提供虚拟对象的数据的配置。在这样的配置的情况下，通信单元107从信息处理设备2接收虚拟对象的数据并将其提供给渲染单元106。
115.渲染单元106使用与hmd 1a相对于环境的位置和姿势有关的位置数据来指定与用户和对象之间的距离等、用户头部的位置以及用户头部所朝向的方向(用户正在观看的方向)有关的信息。此外，渲染单元106生成与hmd 1a的显示单元11的显示区域中的对象有关的图像数据，并且将其输出至通信单元107。
116.通信单元107将图像数据发送至hmd 1a。
117.《第一实施方式中的hmd的配置示例》
118.图8是示出第一实施方式中的hmd 1(称为hmd 1a)的配置示例的图。hmd 1a包括通信单元121、显示控制单元122和显示单元11。
119.通信单元121接收从智能电话4a的通信单元107发送的图像数据。所接收的图像数据被提供给显示控制单元122。显示控制单元122控制显示单元11，使得基于图像数据的图像被显示在显示单元11上。
120.《智能电话和hmd的位置的指定》
121.参照图9，将描述智能电话4a和hmd 1a的位置的指定。智能电话4a指定智能电话4a的外部摄像机101相对于环境的位置hgso。位置hgso中的g表示设置在环境中的原点，并且so表示智能电话4a的外部摄像机101。
122.智能电话4a指定内部摄像机103相对于智能电话4a的外部摄像机101的位置hsosi。位置hsosi中的si表示智能电话4a的内部摄像机103。此外，智能电话4a指定hmd 1a相对于智能电话4a的内部摄像机103的位置hsihm。位置hsosi中的hm表示hmd 1a。
123.通过使用智能电话4a的外部摄像机101相对于环境的位置hgso、内部摄像机103相对于外部摄像机101的位置hsosi以及hmd 1a相对于内部摄像机103的位置hsihm，具体地，通过将如下式(1)所示的各个位置相乘，计算hmd 1a相对于环境的位置hghm。
124.位置hghm＝位置hgso
×
位置hsosi
×
位置hsihm
……
(1)
125.位置hgso、位置hsosi、位置hsihm、位置hsihm中的h表示h矩阵。h矩阵是同时变换矩阵(齐次变换矩阵)，同时变换矩阵是用一个矩阵表示平移和旋转的矩阵，并且此处用作执行坐标变换的矩阵。
126.注意，在使用h行示例并且涉及诸如通信等交换的情况下，可以使用平移分量(xyz)和旋转分量(四元数)来执行计算。此外，此处将以h行示例为例继续描述，但是可以适当地使用适合于情况的计算和变换方法。
127.式(2)是平移矩阵t，并且式(3)是旋转行示例r。
128.[公式1]
[0129][0130]
[公式2]
[0131]
r＝rxryrz
…
(3)
[0132]
矩阵r中的各个元素rx、ry和rz由式(4)表示。
[0133]
[公式3]
[0134][0135]
使用矩阵t和矩阵r使得能够通过下式(5)来表示矩阵h。
[0136]
[公式4]
[0137][0138]
以这种方式，在原点被设置在环境中的预定位置处的情况下，可以获得hmd 1a相对于原点的坐标。基于以这种方式获得的hmd 1a相对于环境的位置，确定虚拟对象的布置，并且通过智能电话4a的渲染单元106生成包括该虚拟对象的图像的图像数据。
[0139]
注意，此处给出以下描述，其中指定内部摄像机103相对于智能电话4a的外部摄像机101的位置hsosi，并且当如式(1)所示计算hmd 1a相对于环境的位置时进行相乘，也可以采用不乘位置hsosi这一项的配置。
[0140]
例如，在外部摄像机101和内部摄像机103被布置在彼此靠近的位置处并且位置hsosi的值变小的情况下、在hmd 1a相对于环境的位置精度不需要高精度的情况下等，也可以省略位置hsosi这一项。
[0141]
参照图10描述指定hmd 1a相对于环境的位置的其他方式。参照图10描述的具体方法是将智能电话4a的预定位置设置为虚拟原点，并且通过使用智能电话4a的虚拟原点来指定每个位置。例如，虚拟原点可以是智能电话4a的中心。此外，虚拟原点不同于世界坐标中的原点，世界坐标中的原点是环境中的原点。
[0142]
同样在这种情况下，与图9所示的情况类似，获得智能电话4a的外部摄像机101相对于环境的位置hgso以及hmd 1a相对于智能电话4a的内部摄像机103的位置hsihm。
[0143]
此外，在智能电话4a中设置虚拟原点(被描述为原点sc)的情况下，还获得原点sc相对于外部摄像机101的位置hsosc以及内部摄像机103相对于原点sc的位置hscsi。
[0144]
通过使用智能电话4a的外部摄像机101相对于环境的位置hgso、原点sc相对于外部摄像机101的位置hsosc、内部摄像机103相对于原点sc的位置hscsi以及hmd 1a相对于内部摄像机103的位置hsihm，具体地，通过将如下式(6)中所示的各个位置相乘，计算hmd 1a相对于环境的位置hghm。
[0145]
位置hghm＝位置hgso
×
位置hsosc
×
位置hscsi
×
位置hsihm
……
(6)
[0146]
以这种方式，在智能电话4a中设置虚拟原点，使用该虚拟原点进行坐标变换，并且在环境中的预定位置被设置为原点的情况下获得hmd 1a相对于原点的坐标。基于以这种方式获得的hmd 1a相对于环境的位置，来确定虚拟对象的布置，并且由智能电话4a的渲染单元106生成包括该虚拟对象的图像的图像数据。
[0147]
《第一实施方式中的智能电话的处理》
[0148]
参照图11所示的流程图，将描述第一实施方式中的智能电话4a(图6)的处理。
[0149]
在步骤s101中，计算智能电话4a相对于环境的位置和姿势。通过使用由智能电话4a的外部摄像机101(图6)成像的图像，环境位置指定单元102(图6)获得外部摄像机101相对于环境的位置，即，参照图9和图10描述的位置hgso。
[0150]
注意，可以采用自定位估计处理(同时定位与地图构建(slam))以使用通过slam获得的3d地图来捕获外部环境，或者通过将目标识别为地标并基于该地标执行处理来进行捕获。此外，可以使用从全球定位系统(gps)获得的信息作为位置数据。
[0151]
注意，将假设通过用外部摄像机101和内部摄像机103成像并分析通过成像获得的图像来获取位置数据来给出描述，但是只要可以获取到关于位置和姿势的信息，就可以应用本技术。例如，外部摄像机101和内部摄像机103可以是单目摄像机或立体摄像机。此外，还可以使用执行距离测量的摄像机，例如深度摄像机或飞行时间(tof)摄像机。此外，可以通过声波测量来测量位置和姿势。在距离测量的情况下，通过检测多个点来生成位置数据。
[0152]
在步骤s102中，计算hmd 1a相对于智能电话4a的位置和姿势。通过使用由智能电话4a的内部摄像机103(图6)成像的图像，hmd位置指定单元104(图6)获得hmd 1a相对于智能电话4a的内部摄像机103的位置，即，参照图9和图10描述的位置hsihm。
[0153]
在步骤s103中，位置变换单元105计算hmd 1a相对于环境的位置和姿势。从环境位置指定单元102向位置变换单元105提供智能电话4a相对于环境的位置hgso，并且从hmd位置指定单元104向位置变换单元105提供hmd 1a相对于智能电话4a的位置hsihm。位置变换单元105通过使用这些位置数据来计算hmd 1a相对于环境的位置hghm。
[0154]
在如参照图9所描述的计算hmd 1a相对于环境的位置hghm的情况下，位置变换单元105基于以上描述的式(1)来计算位置hghm。再次描述式(1)。
[0155]
位置hghm＝位置hgso
×
位置hsosi
×
位置hsihm
……
(1)
[0156]
在式(1)中，虽然将内部摄像机103相对于外部摄像机101的位置hsosi相乘，但是该位置hsosi可以由位置变换单元105计算，或者可以使用预先计算的值(矩阵)。由于外部摄像机101和内部摄像机103被固定至智能电话4a，因此可以预先计算内部摄像机103相对于外部摄像机101的位置hsosi。
[0157]
在如参照图10所描述的计算hmd 1a相对于环境的位置hghm的情况下，位置变换单元105基于以上描述的式(6)来计算位置hghm。再次描述式(6)。
[0158]
位置hghm＝位置hgso
×
位置hsosc
×
位置hscsi
×
位置hsihm
……
(6)
[0159]
在式(6)中，将设置在智能电话4a中的虚拟原点sc相对于外部摄像机101的位置hsosc和内部摄像机130相对于虚拟原点sc的位置hscsi相乘。位置hsosc和位置hscsi可以由位置变换单元105计算，或者可以使用预先计算的值(矩阵)。
[0160]
由于外部摄像机101和内部摄像机103被固定至智能电话4a，并且此外，由于虚拟原点sc可以被预先设置在例如显示器的中心等处，因此可以预先分别计算在智能电话4a中
设置的虚拟原点sc相对于外部摄像机101的位置hsosc以及内部摄像机130相对于虚拟原点sc的位置hscsi。
[0161]
此外，位置hgso
×
位置hsosc可以由环境位置指定单元102计算，位置hscsi
×
位置hsihm可以由hmd位置指定单元104计算，并且这些值(矩阵)可以被提供给位置变换单元105。
[0162]
通过计算位置hgso
×
位置hsosc而计算的值是设置在智能电话4a中的虚拟原点sc相对于环境的位置。环境位置指定单元102还可以被配置成计算设置在智能电话4a中的虚拟原点sc相对于环境的位置。
[0163]
类似地，通过计算位置hscsi
×
位置hsihm而计算的值是hmd 1a相对于设置在智能电话4a中的虚拟原点sc的位置。hmd位置指定单元104还可以被配置成计算hmd 1a相对于在智能电话4a中设置的虚拟原点sc的位置。
[0164]
然后，位置变换单元105还可以被配置成通过将从环境位置指定单元102和hmd位置指定单元104分别提供的值相乘来计算hmd 1a相对于环境的位置。
[0165]
对于第一实施方式和以下描述的实施方式，还可以应用参照图9描述的获得hmd 1a相对于环境的位置的实施方式，并且还可以应用参照图10描述的获得hmd 1a相对于环境的位置的实施方式。
[0166]
返回对图11中示出的流程图的描述，当位置变换单元105在步骤s103中获得hmd 1a相对于环境的位置时，将位置数据提供给渲染单元106。
[0167]
在步骤s104中，渲染单元106使用所提供的位置数据并且使用例如从信息处理设备2提供的虚拟对象的数据，对ar内容执行空间定位渲染并生成经渲染的图像数据。
[0168]
在步骤s105中，通信单元107将由渲染单元106生成的图像数据发送至hmd 1a。
[0169]
《第一实施方式中的hmd的处理》
[0170]
参照图12所示的流程图，将描述第一实施方式中的hmd 1a(图8)的处理。
[0171]
在步骤s121中，hmd 1a的通信单元121接收从智能电话4a的通信单元107发送的图像数据。在步骤s122中，显示控制单元122控制显示单元11的显示，使得基于由通信单元121接收的图像数据的图像被显示在显示单元11上。
[0172]
以这种方式，hmd 1a接收来自智能电话4a的图像数据并对其进行处理。因此，hmd 1a仅需具有接收来自智能电话4a的图像数据并对该图像数据进行处理的功能即可，并且例如，即使在不具有常规hmd 1中设置的外部摄像机和内部摄像机的情况下，也可以使得用户能够体验ar和vr。也就是说，根据本技术，可以简化hmd 1a的配置，并且可以由于能够被简化而减小尺寸和重量。
[0173]
《第二实施方式》
[0174]
在第一实施方式中，由智能电话4a指定hmd 1a的位置，生成与该位置对应的图像数据并将该图像数据发送至hmd 1a。也就是说，在第一实施方式中，在智能电话4a与hmd 1a之间交换图像数据。智能电话4a和hmd 1a需要确保用于无延迟地发送和接收图像数据的通信频带并且需要具有用于进行发送和接收的处理能力。
[0175]
作为第二实施方式，描述了即使在智能电话4a与hmd 1a之间的通信频带小的情况下，也允许用户与第一实施方式类似地体验ar和vr的信息处理系统。
[0176]
《第二实施方式中的智能电话的配置示例》
[0177]
图13是示出第二实施方式中的智能电话4b的配置示例的图。第二实施方式中的智能电话4b与第一实施方式中的智能电话4a的相同之处在于计算hmd 1b(图14)相对于环境的位置，但不同之处在于不生成图像数据而是发送位置数据。
[0178]
在以下的描述中，与第一实施方式中的智能电话4a相同的部分用相同的附图标记指示，并且将适当省略其描述。类似地，在以下描述中，与第一实施方式中的hmd 1a相同的部分用相同的附图标记表示，并且将适当省略其描述。
[0179]
由于采用了不生成图像数据的配置，因此第二实施方式中的智能电话4b具有从第一实施方式中的智能电话4a(图6)的配置中去除渲染单元106的配置。在图13所示的智能电话4b中，将由位置变换单元105计算的与hmd 1b(图14)相对于环境的位置有关的位置数据提供给通信单元107。然后，通信单元107将位置数据发送至hmd 1b。
[0180]
由于位置数据的数据量比图像数据的数据量小，因此可以使从通信单元107发送的数据比第一实施方式的情况下的数据小。
[0181]
《第二实施方式中的hmd的配置示例》
[0182]
图14是示出第二实施方式中的hmd 1b的配置示例的图。第二实施方式中的hmd 1b与第一实施方式中的hmd 1a(图8)的不同之处在于：从智能电话4b接收与hmd 1b相对于环境的位置有关的位置数据并对其进行处理。
[0183]
第二实施方式中的hmd 1b从智能电话4b接收位置数据、通过使用位置数据执行渲染、生成图像数据并对其进行处理。执行渲染以及生成图像数据的处理是由第一实施方式中的智能电话4a中的渲染单元106(图6)执行的处理。
[0184]
如图14所示，第二实施方式中的hmd 1b包括与第一实施方式中的智能电话4a的渲染单元106对应的渲染单元141。渲染单元141通过使用由通信单元121接收的位置数据来执行渲染、生成图像数据并将其提供给显示控制单元122。
[0185]
以这种方式，通过在智能电话4b与hmd 1b之间交换数据量比图像数据少的位置数据的配置，可以使智能电话4b与hmd 1b之间的通信频带至少比第一实施方式中的智能电话4a与hmd 1a之间的通信频带小。
[0186]
《第二实施方式中的智能电话的处理》
[0187]
参照图15所示的流程图，将描述第二实施方式中的智能电话4b(图13)的处理。
[0188]
由于步骤s141至s143与第一实施方式中的步骤s101至s103(图11)相同，因此将省略其描述。在步骤s144中，通过通信单元107将位置变换单元105在步骤s143中生成的位置数据发送至hmd 1b。
[0189]
《第二实施方式中的hmd的处理》
[0190]
参照图16所示的流程图，将描述第二实施方式中的hmd 1b(图14)的处理。
[0191]
在步骤s151中，hmd 1b的通信单元121接收从智能电话4b的通信单元107发送的位置数据。
[0192]
在步骤s152中，渲染单元141使用经由通信单元121提供的位置数据，并且还例如使用从信息处理设备2提供的ar内容数据，对ar内容执行空间定位渲染并且生成经渲染的图像数据。与信息处理设备2的通信由通信单元121执行。
[0193]
在步骤s153中，显示控制单元122控制显示单元11的显示，使得基于由渲染单元141生成的图像数据的图像被显示在显示单元11上。
[0194]
以这种方式，hmd 1a仅需具有接收来自智能电话4a的位置数据以及利用该位置数据和图像数据生成要呈现给用户的图像的图像数据的功能即可，并且例如，即使在不具有常规hmd 1中设置的外部摄像机和内部摄像机的情况下，也可以使得用户能够体验ar和vr。也就是说，根据本技术，可以简化hmd 1a的配置，并且可以由于能够被简化而减小尺寸和重量。
[0195]
《第三实施方式》
[0196]
作为第三实施方式，将描述还收集环境(真实空间)信息并通过使用所收集的环境信息来执行处理的实施方式。环境信息是例如环境的形状或对象。在使用所收集的环境信息执行处理的情况下，例如，可以将桌子检测为环境中的对象，并且在桌子上显示虚拟角色。
[0197]
《第三实施方式中的智能电话的配置示例》
[0198]
图17是示出第三实施方式中的智能电话4c的配置示例的图。第三实施方式中的智能电话4c与第一实施方式中的智能电话4a(图6)的不同之处在于从外部摄像机101向渲染单元106c提供图像数据，并且其他配置相同。
[0199]
渲染单元106c分析通过外部摄像机101成像的外部环境、收集环境信息并根据该信息对ar内容执行空间定位渲染。例如，如上所述，在真实空间中的桌子被检测为环境信息的情况下，渲染单元106c执行用于在桌子上显示预定ar内容的渲染。
[0200]
第三实施方式中的hmd 1c从智能电话4c接收图像数据并且基于该图像数据执行处理以将图像呈现给用户。执行这样的处理的hmd 1c具有与第一实施方式中的hmd 1a(图8)的配置相同的配置，并且可以被配置成执行相同的处理(图12)。此处，假设hmd 1c的配置和处理与第一实施方式中的hmd 1a的配置和处理相同，并且将省略其描述。
[0201]
《第三实施方式中的智能电话的处理》
[0202]
将参照图18所示的流程图描述智能电话4c的处理。
[0203]
由于步骤s171至s173与第一实施方式中的步骤s101至s103(图11)相同，因此将省略其描述。在生成位置信息的同时，在步骤s174中，渲染单元106c收集环境信息。渲染单元106c分析从外部摄像机101提供的、通过对外部环境成像而获得的图像，检测例如安装在外部环境中的物体、墙壁、地板等，并且收集作为环境信息。注意，此处，在假设渲染单元106c收集环境信息的情况下继续描述，但是可以采用用于收集环境信息的单元例如环境信息收集单元与渲染单元106c分开设置的配置，并且该环境信息收集单元收集环境信息。
[0204]
在步骤s175中，渲染单元106c使用从位置变换单元105提供的位置数据、所收集的环境信息、从信息处理设备2提供的ar内容信息等，执行用于对ar内容进行空间定位渲染的处理，从而生成图像数据。在步骤s176中，通过通信单元107将所生成的图像数据发送至hmd 1c(未示出)。
[0205]
以这种方式，hmd 1a接收来自智能电话4a的图像数据并对其进行处理。来自智能电话4a的图像数据可以用作用于根据环境的形状和环境中存在的对象来显示ar内容的图像数据。
[0206]
《第四实施方式》
[0207]
如参照图1等所描述的，智能电话4在被用户握持的状态下使用。此外，通过用智能电话4对外部环境和hmd 1成像来指定hmd 1相对于环境的位置。用户需要保持智能电话4处
于能够对外部环境和hmd 1成像的状态下。
[0208]
然而，存在用户的握持智能电话4的手将被放下并且智能电话4将不处于能够对外部环境和hmd 1成像的状态的可能性。例如，在用户的手被放下的情况下，可能使内部摄像机103指向不能对hmd 1成像的方向。
[0209]
此外，即使智能电话4被保持在能够对外部环境和hmd 1成像的状态下，例如，在外部摄像机101正在对白墙成像的情况下，也可能发生由于不能提取足够数量的特征点(特征量)而难以指定智能电话4相对于环境的位置的情况。在下面的描述中，其被描述为特征点，但也可以是特征量。
[0210]
作为第四实施方式，将描述这样的模式：在所述模式下，在发生智能电话4无法捕获环境或无法捕获hmd 1的状况的情况下，向用户通知出现这样的状态(发出警告)。
[0211]
《第四实施方式中的智能电话的配置示例》
[0212]
图19是示出第四实施方式中的智能电话4d的配置示例的图。第四实施方式中的智能电话4d的不同之处在于：在第一实施方式中的智能电话4a(图6)的配置中增加了环境捕获丢失确定单元161、hmd捕获丢失确定单元162以及警告处理单元163，并且其他部分都一样。
[0213]
在图19所示的智能电话4d中，来自外部摄像机101的图像数据和来自环境位置指定单元102的位置数据被提供给环境捕获丢失确定单元161。环境捕获丢失确定单元161确定是否处于外部摄像机101已经成功捕获到环境的状态。
[0214]
例如，环境捕获丢失确定单元161确定是否处于外部摄像机101已经对环境成功成像的状态。在确定外部摄像机101不能对环境成像的情况下，发出警告。确定外部摄像机101不能对环境成像的情况是例如成像画面为全黑或全白的情况。
[0215]
此外，环境捕获丢失确定单元161还确定是否已经成功实现了空间定位。例如，成功实现空间定位的情况是从通过外部摄像机101成像的图像中提取了足够的特征点并且通过使用足够的特征点成功实现定位的状态。因此，不能实现空间定位的状态是不能提取足够的特征点的状态。在这种情况下，可以发出警告。
[0216]
此外，环境捕获丢失确定单元161还可以确定是否实现了特征点的时间序列跟踪，以及是否存在针对其实现了时间序列跟踪的多个特征点组。可以在不能进行时间序列跟踪的状态下或者在仅存在一个(没有)针对其实现了时间序列跟踪的特征点组的情况下发出警告。
[0217]
环境捕获丢失确定单元161的确定结果被提供给警告处理单元163。作为确定结果，可以在确定发生了捕获丢失的情况下使用标志“1”，并且可以在确定没有发生捕获丢失的情况下使用标志“0”。
[0218]
hmd捕获丢失确定单元162确定例如内部摄像机103是否已经对hmd 1d(图20)成功成像。在确定内部摄像机103不能对hmd 1d成像的情况下，发出警告。
[0219]
此外，可以在捕获即将丢失时发出警告。例如，在通过内部摄像机103成像的hmd 1d是在图像的边缘附近被成像的情况下，hmd捕获丢失确定单元162可以确定不处于内部摄像机103已经对hmd 1d(图20)成功成像的状态，并且可以向用户发出警告。
[0220]
hmd捕获丢失确定单元162的确定结果被提供给警告处理单元163。作为确定结果，可以在确定已经发生捕获丢失的情况下使用标志“1”，并且可以在确定没有发生捕获丢失
的情况下使用标志“0”。
[0221]
在环境捕获丢失确定单元161的确定结果或hmd捕获丢失确定单元162的确定结果中的至少一个确定结果是作为捕获丢失的确定结果的情况下，警告处理单元163确定发出警告并生成警告信息。警告信息取决于hmd 1d如何发出警告而不同，并且生成基于hmd 1d的规格的信息。
[0222]
可以以视觉方式向用户发出警告、可以以触觉方式向用户发出警告或者可以以听觉方式向用户发出警告。例如，在以视觉方式向用户发出警告的情况下，警告信息可以是使用户识别出发生了捕获丢失的诸如图像或文本(消息)的信息。
[0223]
此外，例如，在以触觉方式发出警告的情况下，警告信息可以是用于产生使用户识别出发生了捕获丢失的振动的信息。此外，例如，在以听觉方式发出警告的情况下，警告信息可以是使用户识别出发生了捕获丢失的诸如警告音或语音的信息。
[0224]
当然，作为警告，可以组合以视觉方式、以触觉方式和以听觉方式向用户给出的警告。
[0225]
可以将来自警告处理单元163的警告信息提供给位置变换单元105、渲染单元106或/和通信单元107。例如，在以视觉方式发出警告的情况下，可以将来自警告处理单元163的警告信息提供给渲染单元106，并且渲染单元106可以生成将警告信息叠加在要呈现给用户的图像上的图像的图像数据。
[0226]
此外，在以触觉或听觉方式向用户发出警告的情况下，可以将来自警告处理单元163的警告信息提供给通信单元107，并且可以将警告信息作为独立于图像数据的数据从通信单元107发送至hmd 1d。
[0227]
此处，在以下假设下继续描述：将来自警告处理单元163的警告信息提供给位置变换单元105，并且经由位置变换单元105将该警告信息提供给渲染单元106以及进一步提供给后续阶段中的通信单元107。
[0228]
例如，在给出指示要通过警告处理单元163发出警告的确定结果并将其提供给位置变换单元105的情况下，位置变换单元105可以在假设由环境位置指定单元102指定的位置或由hmd位置指定单元104指定的位置是具有低精度的位置信息的情况下执行处理。此时，警告处理单元163还可以被配置成向位置变换单元15提供指示由环境位置指定单元102指定的位置和由hmd位置指定单元104指定的位置中的哪个位置精度较低的信息，并且位置变换单元105也可以被配置成使用这些信息来执行处理。
[0229]
《第四实施方式中的hmd的配置示例》
[0230]
图20是示出第四实施方式中的hmd 1d的配置示例的图。第四实施方式中的hmd 1d的不同之处在于：在第一实施方式中的hmd 1a(图8)的配置中增加了警告处理单元181和扬声器182，并且其他部分相同。
[0231]
由于图20所示的hmd 1d示出了以听觉方式向用户发出警告的情况下的配置，因此配备有发出声音的扬声器182。在以视觉方式向用户发出警告的情况下，hmd 1d可以具有不配备扬声器182的配置。此外，在以触觉方式向用户发出警告的情况下，hmd 1d可以具有配备用于产生振动的振动器而不是扬声器182的配置。
[0232]
在通信单元121接收到警告信息的情况下，警告处理单元181基于该警告信息执行用于发出警告的处理。在图20所示的示例中，警告处理单元181执行用于通过扬声器182发
出警告音或消息的发声处理。注意，此处已经以通过hmd 1d发出警告的情况为例进行了描述，但是也可以在智能电话4d侧发出警告。
[0233]
《第四实施方式中的智能电话的处理》
[0234]
参照图21所示的流程图，将描述第四实施方式中的智能电话4d的处理。
[0235]
在步骤s201中，环境位置指定单元102计算智能电话4d相对于环境的位置和姿势。可以与步骤s101(图11)类似地执行步骤s201的处理。
[0236]
在步骤s202中，环境捕获丢失确定单元161使用来自外部摄像机101的图像数据和来自环境位置指定单元102的位置数据来确定在通过外部摄像机101成像的图像中是否已经捕获到环境。如上所述，通过确定是否已提取到足够的特征点、是否已成功地实现了跟踪等来执行关于是否已经捕获到环境的这种确定。
[0237]
在步骤s203中，hmd位置指定单元104计算hmd 1d相对于智能电话4d的位置和姿势。可以与步骤s102(图11)类似地执行步骤s203的处理。
[0238]
在步骤s203中，hmd捕获丢失确定单元162使用来自内部摄像机103的图像数据和来自hmd位置指定单元104的位置数据来确定在通过内部摄像机103成像的图像中是否已经捕获到hmd 1d。如上所述，通过确定是否已经在屏幕的中心附近(除边缘外的区域)对hmd 1d成功成像来执行关于是否已经捕获到hmd 1d的这种确定。
[0239]
在步骤s205中，警告处理单元163确定是否发生了捕获丢失。警告处理单元164参考来自环境捕获丢失确定单元161的确定结果和来自hmd捕获丢失确定单元162的确定结果，确定所述确定结果是否指示发生了捕获丢失。在步骤s205中确定发生了捕获丢失的情况下，处理进行至步骤s206。
[0240]
在步骤s206中，在确定发生了捕获丢失的情况下，警告处理单元163生成使用户识别出发生了捕获丢失的信息(警告数据)。例如，对于图20所示的hmd 1d，生成用于使扬声器182产生警告音的警告数据。
[0241]
注意，由于此处以智能电话4d配备有渲染单元106的配置的情况为例给出了描述，因此在假设智能电话4d也生成警告数据的情况下继续描述。然而，可以采用hmd 1d包括渲染单元并且在hmd 1d侧生成警告数据的配置。例如，可以将捕获状态从智能电话4d原样发送至hmd 1d侧，并且可以在hmd 1d侧进行警告确定。
[0242]
然而，在步骤s205中确定没有发生捕获丢失的情况下，处理进行至步骤s207。在步骤s206中生成警告数据的情况下，处理也进行至步骤s207。
[0243]
由于步骤s207至s209的处理与步骤s103至s105(图11)的处理类似，因此将省略其描述。
[0244]
以这种方式，可以检测到智能电话4d未能捕获到环境或未能捕获到hmd 1d的情况，并且可以向用户发出警告。在发出警告的情况下，为了改善捕获环境失败或捕获hmd 1d失败的状况，用户可以采取动作例如重新定向智能电话4d以改善捕获失败的状态。
[0245]
《第四实施方式中的hmd的处理》
[0246]
参照图22的流程图，将描述第四实施方式中的hmd 1d的处理。
[0247]
在步骤s221中，通信单元121接收从智能电话4d发送的图像数据和警告数据。注意，可以仅在存在警告时接收警告数据(仅在智能电话4d侧存在警告时生成并发送)，或者可以接收指示是否存在警告的信息。
[0248]
在步骤s222中，警告处理单元181确定是否发出警告。在通信单元121接收到警告数据的情况下或者在警告数据指示存在警告的情况下，警告处理单元181确定发出警告。在警告处理单元181在步骤s222中确定发出警告的情况下，处理进行至步骤s223。
[0249]
在步骤s223中，发出警告。根据图20所示的hmd 1d的配置，由于扬声器182被配置成发出警告音，因此在步骤s223中扬声器182发出警告音。在发出警告音的同时，还执行步骤s224中的处理。
[0250]
在步骤s222中确定不发出警告的情况下，处理也进行至步骤s224的处理。在步骤s224中，显示控制单元122执行显示控制以用于在显示单元11上显示基于所接收的图像数据的图像。
[0251]
注意，在将警告叠加在显示单元11上显示的图像上来发出警告的情况下，图像数据包括警告图像和文本，使得可以省略步骤s222和s223中的处理。
[0252]
以这种方式，在检测到智能电话4d未能捕获到环境或未能捕获到hmd 1d的状况发生的情况下，可以通过hmd 1d向用户发出警告。在发出警告的情况下，为了改善捕获环境失败或捕获hmd 1d失败的状况，用户可以采取动作例如重新定向智能电话4d以改善捕获失败的状态。
[0253]
注意，作为第四实施方式，已经以将第四实施方式应用于第一实施方式的情况为例进行了描述，但是也可以将第四实施方式应用于第二实施方式和第三实施方式。
[0254]
《第五实施方式》
[0255]
在第四实施方式中，已经描述了用于在出现环境不能捕获hmd 1d的状态的情况下向用户发出警告的模式。此外，将描述用于在发出警告时通知用户如何取消警告的第五实施方式。第五实施方式中的智能电话4是智能电话4e，并且hmd 1是hmd 1e。
[0256]
例如，在内部摄像机103对hmd 1e的捕获丢失的情况下，将关于如何移动智能电话4e以返回到能够捕获到hmd 1e的状态的信息(在下文中称为返回支持信息)呈现给用户。该返回支持信息是使得能够改善状况而无需用户直接看智能电话4e——换句话说，不会干扰佩戴hmd 1d并享受由hmd 1d提供的ar等的状态——的信息。
[0257]
在确定hmd 1e的捕获状态已经由于例如用户握持智能电话4e的手放下而丢失的情况下，生成指示举起智能电话4e的返回支持信息。在这种情况下，在hmd 1e的显示单元11上显示向上箭头、向上移动手的手势显示、诸如“请将您的手向上移动”的文本等作为返回支持信息。
[0258]
此外，返回支持信息可以是用于通过语音提供诸如“请将您的手向上移动”的消息的信息。可以将这样的显示和语音组合。此外，可以通过振动来通知用户的手正在被放下，并且在通过通知未改善状况的情况下，可以通过显示器或语音来呈现返回支持信息。
[0259]
此外，可以在hmd 1d上显示由智能电话4e捕获的区域作为返回支持信息。通过查看由智能电话4e捕获并被显示在hmd 1d的显示单元11上的区域，用户可以识别出没有捕获到环境和/或hmd 1d，并且通过移动握持智能电话4e的手以使得能够捕获来改善这种状况。
[0260]
例如，在由于通过智能电话4e成像的图像是白色墙壁并且无法提取足够的特征点而确定发生了捕获丢失的情况下，生成用于返回到没有发生捕获丢失的紧之前的状态的返回支持信息。例如，显示图像或消息或者输出语音以指示用户返回到在确定发生了捕获丢失紧之前的状态(过去状态)，换句话说，已经稳定地获得特征点的状态。
[0261]
例如，在稳定地获得特征点的状态(地点)是处于发生了捕获丢失的地点右侧的位置的情况下，显示右侧箭头，并且显示诸如“请将您的智能电话向右侧移动”的消息或以语音的形式说出“请将您的智能电话向右侧移动”。
[0262]
例如，在通过外部摄像机101或内部摄像机103成像的图像变得太暗以至于没有对比度并且确定发生了捕获丢失的情况下，可以发出诸如“请变亮”的消息或语音。图像太暗以至于没有对比度的情况是例如智能电话4e和/或hmd 1e没有移动并且智能电话4e和/或hmd 1e进入休眠状态等的情况。
[0263]
《第五实施方式中的智能电话的配置示例》
[0264]
图23是示出第五实施方式的智能电话4e的配置示例的图。图23所示的第五实施方式的智能电话4e的不同之处在于：采用在图19所示的第四实施方式的智能电话4d中增加位置存储单元201的配置，并且其他部分相同。
[0265]
位置存储单元201存储由位置变换单元105生成的位置数据。由于位置变换单元105指定hmd 1d相对于环境的位置并生成位置数据，因此位置存储单元201存储与hmd 1d相对于环境的位置有关的位置数据。
[0266]
此外，位置存储单元201可以被配置成不存储发生捕获丢失时的位置数据。通过这样的配置，位置存储单元201可以存储在捕获环境和hmd 1d的状态下的位置数据。通过存储这样的位置数据，在发生了捕获丢失的情况下，可以通过使用没有发生捕获丢失时的位置数据来生成用于返回到没有发生捕获丢失的状况的返回支持信息。
[0267]
在来自环境捕获丢失确定单元161或hmd捕获丢失确定单元162的确定结果指示发生了捕获丢失的情况下，警告处理单元163e参考存储在位置存储单元201中的位置数据生成返回支持信息。
[0268]
由智能电话4e生成的返回支持信息被提供给hmd 1e并且由hmd 1e提供给用户。由于hmd 1e的配置可以与第四实施方式中的hmd 1d(图20)的配置类似，并且因此将省略说明和描述。
[0269]
《第五实施方式中的智能电话的处理》
[0270]
参照图24所示的流程图，将描述第五实施方式中的智能电话的处理。
[0271]
由于步骤s241至s245的处理与步骤s201至s205(图21)的处理类似，因此此处将省略其描述。在步骤s245中确定发生了捕获丢失的情况下，处理进行至步骤s246。
[0272]
在步骤s246中，生成返回支持信息。在确定已经发生了捕获丢失的情况下，警告处理单元163e根据需要参考存储在位置存储单元201中的位置数据来生成返回支持信息。所生成的返回支持信息是如上所述的信息，例如，用于指示举起智能电话4e的图形、文本消息、语音消息等。当在步骤s246中生成返回支持信息时，处理进行至步骤s248。
[0273]
在步骤s248中，位置变换单元105计算hmd 1e相对于环境的位置和姿势，并且生成位置数据。由于此时计算出的hmd 1e相对于环境的位置和姿势是在确定已经发生了捕获丢失的情况下的位置和姿势，因此可以执行某种校正，使得执行位置变换以减少捕获丢失的影响。当在步骤s248中生成位置数据时，处理进行至步骤s250。
[0274]
然而，在步骤s245中确定没有发生捕获丢失的情况下，处理进行至步骤s248。在步骤s248中，位置变换单元105计算hmd 1e相对于环境的位置和姿势，并且生成位置数据。由于此时计算的hmd 1e相对于环境的位置和姿势是在确定没有发生捕获丢失的情况下的位
置和姿势，因此将所生成的位置数据存储在位置存储单元201中(步骤s249)。当在步骤s249中将位置数据存储在位置存储单元201中时，处理进行至步骤s250。
[0275]
由于步骤s250和s251的处理与步骤s103至s105(图11)的处理类似，因此将省略其描述。
[0276]
以这种方式，可以检测智能电话4d未能捕获到环境或未能捕获到hmd 1d的状况的发生，并且可以为用户生成与要执行以改善捕获失败的这样的状态的处理有关的返回支持信息。基于该返回支持信息，为了改善环境捕获失败或hmd 1d捕获失败的状况，用户可以采取动作例如重新定向智能电话4d以改善捕获失败的状态。
[0277]
《第五实施方式中的hmd的处理》
[0278]
参照图25的流程图，将描述第五实施方式中的hmd 1e的处理。
[0279]
在步骤s261中，通信单元121接收从智能电话4e发送的图像数据和返回支持信息。注意，可以仅在发生捕获丢失时接收返回支持信息(仅在确定在智能电话4e侧发生捕获丢失时生成并发送)，或者可以接收指示是否存在返回支持信息的信息例如标志。
[0280]
在步骤s262中，警告处理单元181确定是否向用户提供返回支持信息。在通信单元121接收到返回支持信息的情况下，或者在接收到指示存在返回支持信息的信息的情况下，警告处理单元181确定提供返回支持信息。在警告处理单元181在步骤s262中确定提供返回支持信息的情况下，处理进行至步骤s263。
[0281]
在步骤s263中，向用户提供返回支持信息。根据图20所示的hmd 1e(hmd 1d)的配置，由于扬声器182被配置成提供返回支持信息，因此在步骤s263中扬声器182输出返回支持信息，例如，诸如“请将您的手向上移动”的语音。在输出语音的同时，还执行步骤s264中的处理。
[0282]
在步骤s262中确定不提供返回支持信息的情况下，该处理也进行至步骤s264的处理。在步骤s264中，显示控制单元122执行显示控制以用于在显示单元11上显示基于所接收的图像数据的图像。
[0283]
注意，在将返回支持信息叠加在在显示单元11上显示的图像上来发出的情况下，由于图像数据还包括作为返回支持信息的图像或文本，因此可以省略步骤s262和s263中的处理。
[0284]
以这种方式，在检测到发生智能电话4e未能捕获到环境或未能捕获到hmd 1e的状况的情况下，hmd 1e可以提供与要执行以改善这样的捕获失败的状态的处理有关的返回支持信息。基于该返回支持信息，为了改善捕获环境失败或捕获hmd 1e失败的状况，用户可以采取动作例如重新定向智能电话4e以改善捕获失败的状态。
[0285]
注意，作为第五实施方式，已经以将第五实施方式应用于第一实施方式的情况为例进行了描述，但是也可以将第四实施方式应用于第二实施方式和第三实施方式。
[0286]
《第六实施方式》
[0287]
第一实施方式至第五实施方式是在智能电话4设置有两个摄像机即外部摄像机101和内部摄像机103的情况下的实施方式。作为第六实施方式，将描述智能电话4具有一个摄像机(使用针对智能电话4设置的多个摄像机中的一个)并且执行与第一实施方式至第五实施方式的处理几乎相同的处理的情况。
[0288]
《第六实施方式中的智能电话的配置示例》
[0289]
图26是示出第六实施方式中的智能电话4f的配置示例的图。图26所示的智能电话4f包括摄像机231、环境hmd位置指定单元232、运动传感器234、位置变换单元235和通信单元107。
[0290]
图26所示的智能电话4f的配置指示如下情况的配置：与第二实施方式中的智能电话4b类似，执行直至生成与hmd 1f相对于环境的位置有关的位置数据的处理，而不执行对ar内容进行空间定位渲染的处理。此处，将以第六实施方式与第二实施方式组合的情况为例进行描述，但是第六实施方式也可以与第一实施方式以及第三实施方式至第五实施方式组合。
[0291]
摄像机231对应于外部摄像机101和内部摄像机103(图13)，并且对环境成像并对hmd 1f成像。来自摄像机231的图像数据被提供给环境hmd位置指定单元232。摄像机231例如以时分方式对环境成像并且对hmd 1f成像。
[0292]
注意，此处，假设在对环境成像时不对hmd 1f成像的情况下继续描述。
[0293]
在以上描述中，例如，已经进行了这样的描述：在如图23所示的智能电话4e中那样设置外部摄像机101和内部摄像机103的情况下，通过外部摄像机101对环境成像，并且通过内部摄像机103对hmd 1e成像。在使用智能电话4e的情况下，可以说外部摄像机101对环境成像的状态是外部摄像机101不对hmd 1e成像的状态。
[0294]
如图26所示，在智能电话4f设置有一个摄像机231的情况下，摄像机231可以用作对应于外部摄像机101的摄像机并且可以用作对应于内部摄像机103的摄像机。在摄像机231用作对应于外部摄像机101的摄像机的情况下，可以称之为对环境成像而不对hmd 1e成像的状态。类似地，在摄像机231用作对应于内部摄像机103的摄像机的情况下，可以称之为对hmd 1e成像而不对环境成像的状态。
[0295]
出于这样的原因，此处在假设通过摄像机231对环境成像时不对hmd 1f成像的情况下继续描述。
[0296]
注意，在对环境成像时，通过获取从环境(通过成像而获得的图像)中获得的特征(点)来计算智能电话4f在环境中的位置。可以说，对环境成像意指是否正在对使得能够获取特征点的图像成像。因此，在对hmd1f成像时能够从hmd 1f的背景中获取特征点的时刻也被包括在对环境成像的状况中。
[0297]
以这种方式，可以在某些状况中使用一个摄像机对hmd 1d和环境成像。在这种情况下，由于可以与上述存在两个摄像机的情况类似地执行处理，因此此处省略描述，并且将以在对hmd 1f成像时不对使得能够获取特征点的图像成像的情况为例进行描述。
[0298]
返回参照图26的描述，环境hmd位置指定单元232对应于环境位置指定单元102和hmd位置指定单元104(图13)，并且指定智能电话4f相对于环境的位置，并且指定hmd 1f相对于智能电话4f的位置。来自环境hmd位置指定单元232的位置数据被提供给位置变换单元235。
[0299]
运动传感器234是例如组合了加速度传感器和陀螺仪传感器的传感器。运动传感器234检测智能电话4f的加速度、倾斜、方向等。
[0300]
在摄像机231不对环境成像的情况下，来自运动传感器234的位置数据被用于校正智能电话4f相对于环境的位置。
[0301]
位置变换单元235使用来自环境hmd位置指定单元232的位置数据和来自运动传感
器234的位置数据指定hmd 1f相对于环境的位置、生成位置数据并将该位置数据提供给通信单元107。通信单元107将位置数据发送至hmd 1f。
[0302]
《第六实施方式中的hmd的配置示例》
[0303]
图27是示出第六实施方式中的hmd 1f的配置示例的图。图27所示的hmd 1f具有在第二实施方式的hmd 1b中增加了运动传感器251的配置。
[0304]
设置运动传感器251以提供位置数据，该位置数据用于在智能电话4f中没有捕获到hmd 1f的情况下对位置数据进行校正。
[0305]
此处，以在智能电话4f上设置运动传感器234并且在hmd 1f上设置运动传感器251的情况为例进行描述，但是也可以采用仅在这两者之一上设置运动传感器的配置。
[0306]
在智能电话4f和hmd 1f两者上均设置运动传感器的情况下，将更容易追随智能电话4f和hmd 1f的移动，并且漂移也将被抑制。
[0307]
运动传感器是为了对位置进行校正而设置的，但是也可以被设置为不同于智能电话4f或hmd 1f的外部装置。例如，可以使设置在被称为智能手表的腕表状终端中的运动传感器与智能电话4f或hmd 1f链接以执行处理。
[0308]
此外，可以采用如下配置：在所述配置中，通过使用来自作为外部装置的运动传感器的位置信息，来对智能电话4f中的运动传感器234的位置数据进行校正或者对hmd 1f中的运动传感器251的位置数据进行校正。
[0309]
《第六实施方式中的智能电话的处理》
[0310]
参照图28所示的流程图，将描述第六实施方式中的智能电话4f的处理。
[0311]
在步骤s281中，环境hmd位置指定单元232确定摄像机231是否正在对环境成像。换句话说，在步骤s281中，确定摄像机231是否不在对hdm 1f成像。在步骤s281中确定摄像机231正在对环境成像的情况下，处理进行至步骤s282。
[0312]
在步骤s282中，环境hmd位置指定单元232计算智能电话4f相对于环境的位置和姿势。由环境hmd位置指定单元232计算的与作为智能电话4f相对于环境的位置有关的位置数据(例如，在参照图9的描述中，为对应于位置hgso的位置数据)被提供给位置变换单元235。
[0313]
然而，在步骤s281中，在确定摄像机231没有对环境成像的情况下，换句话说，在确定摄像机231正在对hmd 1f成像的情况下，处理进行至步骤s283。
[0314]
在步骤s283中，环境hmd位置指定单元232计算hmd 1f相对于智能电话4f的位置和姿势。由环境hmd位置指定单元232计算的与作为hmd 1f相对于智能电话4f的位置有关的位置数据被提供给位置变换单元235。
[0315]
在步骤s284中，位置变换单元235通过使用来自运动传感器234的位置数据来计算智能电话4f相对于环境的位置和姿势。位置变换单元235在环境hmd位置指定单元232提供智能电话4f相对于环境的位置数据时保存该位置数据。
[0316]
然后，环境hmd位置指定单元232通过使用来自运动传感器234的位置数据对所保存的智能电话4f相对于环境的位置数据进行校正来生成智能电话4f相对于当前环境的位置数据。
[0317]
也就是说，位置变换单元235保存在摄像机231对环境成像时获得的智能电话4f相对于环境的位置数据，并且在摄像机231没有捕获到环境时，使用由运动传感器234获得的位置数据对所保存的位置数据进行校正。以这种方式，在摄像机231没有捕获到环境时，使
1g并分别计算hmd 1g相对于智能电话4g的位置和姿势。
[0346]
在图31所示状况的情况下，通过摄像机281对hmd 1g-1和hmd 1g-2成像，并且在对hmd 1g-1和hmd 1g-2成像的图像中分别检测hmd 1g-1和hmd 1g-2。然后，计算hmd 1g-1相对于智能电话4g的位置，并且计算hmd 1g-2相对于智能电话4g的位置。
[0347]
通过以智能电话4g的位置为基准，分别计算hmd 1g-1相对于智能电话4g的位置和hmd 1g-2相对于智能电话4g的位置。可以以智能电话4g为基准获得hmd 1g-1与hmd 1g-2之间的相对位置关系。
[0348]
在步骤s322中，通过通信单元107将所计算的位置数据分别发送至hmd 1g-1和hmd 1g-2。hmd 1g-1和hmd 1g-2分别接收关于自身位置的位置数据并基于该位置数据执行渲染。
[0349]
通过执行这样的处理，多个hmd 1g可以共享虚拟空间。
[0350]
通过组合第六实施方式和第七实施方式，可以在从成像图像中检测到多个hmd 1时执行第七实施方式中的处理，并且可以在检测到一个hmd 1时执行第六实施方式中的处理。
[0351]
注意，第七实施方式可以是通过组合第一实施方式至第六实施方式中的任何一个或多个而获得的实施方式。
[0352]
《第八实施方式》
[0353]
作为第八实施方式，与在第七实施方式中一样，对设置两个摄像机并且通过使用这两个摄像机来执行与多个hmd 1的位置关系有关的处理的情况进行描述。
[0354]
《第八实施方式中的智能电话和hmd的配置示例》
[0355]
图33是示出第八实施方式中的智能电话4h和hmd 1h的配置的图。
[0356]
智能电话4h包括外部摄像机101、hmd位置指定单元301、内部摄像机103、hmd位置指定单元104和通信单元107。与第一实施方式中的智能电话4a(图6)相比，智能电话4h的不同之处在于采用如下配置：用hmd位置指定单元301代替环境位置指定单元102，并且省略位置变换单元105和渲染单元106。
[0357]
外部摄像机101对hmd 1h-2成像，并且内部摄像机103对hmd 1h-1成像。通过外部摄像机101成像的图像的图像数据被提供给hmd位置指定单元301。类似地，通过内部摄像机103成像的图像的图像数据被提供给hmd位置指定单元104。
[0358]
hmd位置指定单元301检测在图像中成像的hmd 1h-2并指定检测到的hmd 1h-2的位置。类似地，hmd位置指定单元104检测在图像中成像的hmd 1h-1并指定检测到的hmd 1h-1的位置。
[0359]
在图33所示的示例中，通过不同的摄像机对hmd 1h-1和hmd 1h-2分别成像，并且从通过不同摄像机成像的图像中分别检测hmd 1h-1和hmd 1h-2，并且分别指定hmd 1h-1的位置和hmd 1h-2的位置。
[0360]
所指定位置的位置数据被提供给通信单元107。通信单元107将关于hmd 1h-1的位置数据发送至hmd 1h-1并且将关于hmd 1h-2的位置数据发送至hmd 1h-2。
[0361]
在假设hmd 1h-1和hmd 1h-2具有相同配置的情况下继续描述。hmd 1h包括通信单元121h、渲染单元141、显示控制单元122h和显示单元11h。该配置与第二实施方式中的hmd 1b的配置类似，其中，接收位置数据并基于该位置数据对ar内容进行空间定位渲染。由于
hmd 1h的处理与第二实施方式中的hmd 1b的处理(图16所示的流程图的处理)类似，因此将省略其描述。
[0362]
《第八实施方式中的智能电话的处理》
[0363]
参照图34所示的流程图，将描述第八实施方式中的智能电话4h的处理。
[0364]
通过步骤s351，hmd位置指定单元301分析通过外部摄像机101成像的图像、检测hmd 1h-2(伙伴hmd 1h)并计算hmd 1h-2相对于智能电话4h的位置和姿势。
[0365]
通过步骤s352，hmd位置指定单元104分析通过内部摄像机103成像的图像、检测hmd 1h-1(自身hmd 1h)并计算hmd 1h-1相对于智能电话4h的位置和姿势。
[0366]
通过以智能电话4h的位置为基准，分别计算hmd 1h-1相对于智能电话4h的位置以及hmd 1h-2相对于智能电话4h的位置。换句话说，以智能电话4h为基准获得hmd 1h-1与hmd 1h-2之间的相对位置关系。
[0367]
在步骤s353中，通过通信单元107将所计算的位置数据分别发送至hmd 1h-1和hmd 1h-2。hmd 1h-1和hmd 1h-2分别接收关于自身位置的位置数据并基于该位置数据进行渲染。
[0368]
注意，此处，以通过一个摄像机对一个hmd 1成像的情况为例进行描述，但是可以组合第七实施方式，使得可以通过一个摄像机对多个hmd 1成像并且可以指定所述多个hmd 1的位置。
[0369]
也就是说，通过组合第七实施方式和第八实施方式，可以通过外部摄像机101对多个hmd 1成像，并且hmd位置指定单元301可以指定所述多个hmd 1的位置。此外，可以通过内部摄像机103对多个hmd 1成像，并且可以通过hmd位置指定单元104指定所述多个hmd 1的位置。通过这种方式，可以指定覆盖智能电话4h周围360度的hmd1的位置。
[0370]
通过执行这样的处理，多个hmd 1h可以共享虚拟空间。
[0371]
注意，第八实施方式可以是通过组合第一实施方式至第七实施方式中的任何一个或多个而获得的实施方式。
[0372]
《第九实施方式》
[0373]
作为第九实施方式，将描述组合第二实施方式和第七实施方式并且指定多个hmd 1相对于环境的位置的实施方式。
[0374]
《第九实施方式中的智能电话和hmd的配置示例》
[0375]
图35是示出第九实施方式中的智能电话4h和hmd 1h的配置的图。智能电话4i的配置与第二实施方式中的智能电话4b(图13)的配置类似。
[0376]
然而，在通过内部摄像机103成像的图像中成像了多个hmd 1i的情况下，hmd位置指定单元104i指定多个hmd 1i中的每一个的位置。在提供hmd 1i相对于智能电话4i的多条位置数据的情况下，位置变换单元105i针对每条位置数据变换位置。也就是说，位置变换单元105i生成多个位置数据作为hmd 1i相对于环境的位置数据。
[0377]
所指定位置的位置数据被提供给通信单元107。通信单元107将关于hmd 1i-1的位置数据发送至hmd 1i-1并且将关于hmd 1i-2的位置数据发送至hmd 1i-2。
[0378]
在假设hmd 1i-1和hmd 1i-2具有相同配置的情况下继续描述。hmd 1i包括通信单元121i、渲染单元141、显示控制单元122i和显示单元11i。该配置与第二实施方式中的hmd 1b的配置类似，其中，接收位置数据并基于该位置数据对ar内容进行空间定位渲染。由于
hmd 1i的处理与第二实施方式中的hmd 1b的处理(图16所示的流程图的处理)类似，因此将省略其描述。
[0379]
《第九实施方式中的智能电话的处理》
[0380]
参照图36所示的流程图，将描述第九实施方式中的智能电话4i的处理。
[0381]
在步骤s381中，环境位置指定单元102分析通过用外部摄像机101对环境成像而获得的图像，并且计算智能电话4i相对于环境的位置。
[0382]
在步骤s382中，hmd位置指定单元104i分析通过用内部摄像机103对hmd 1i成像而获得的图像，并且计算hmd 1i相对于智能电话4i的位置。此时，在检测到多个hmd 1i的情况下，针对多个hmd 1i中的每一个计算hmd 1i相对于智能电话4i的位置。例如，在图35所示的情况下，分别指定hmd 1i-1相对于智能电话4i的位置和hmd 1i-2相对于智能电话4i的位置。
[0383]
在步骤s383中，位置变换单元105i使用来自环境位置指定单元102的智能电话4i相对于环境的位置数据和来自hmd位置指定单元104i的hmd 1i相对于智能电话4i的位置数据，计算hmd 1i相对于环境的位置和姿势。此时，在提供hmd 1i相对于智能电话4i的多条位置数据的情况下，针对多个hmd 1i中的每一个计算hmd 1i相对于环境的位置。例如，在图35所示的情况下，分别指定hmd 1i-1相对于环境的位置和hmd 1i-2相对于环境的位置。
[0384]
以这种方式，通过用一个摄像机对环境成像并且用另一个摄像机对多个hmd 1i成像，可以针对多个hmd 1i中的每一个指定相对于环境的位置。因此，多个hmd 1i可以共享相同的虚拟空间。
[0385]
注意，第九实施方式可以是通过组合第一实施方式至第八实施方式中的任何一个或多个而获得的实施方式。
[0386]
《第十实施方式》
[0387]
作为第十实施方式，将描述通过使用多个智能电话4来指定多个hmd 1的位置的实施方式。如图37所示，将描述两个用户a和b共享虚拟空间的情况作为示例。
[0388]
用户a佩戴hmd 1j-1并握持智能电话4j-1。通过智能电话4j-1计算用户a所佩戴的hmd 1j-1的位置。
[0389]
用户b佩戴hmd 1j-2并握持智能电话4j-2。通过智能电话4j-2计算用户b所佩戴的hmd 1j-2的位置。
[0390]
智能电话4j-1计算智能电话4j-2的位置。智能电话4j-2计算智能电话4j-1的位置。即，智能电话4j相互计算彼此的位置。
[0391]
此处，以将ar空间(虚拟空间)定位在以智能电话4j-1为基准的坐标中的情况为例进行描述，但是也可以将智能电话4j-2用作基准。此外，此处以存在两个智能电话4的情况为例进行描述，但是本实施方式甚至可以应用于存在两个或更多个智能电话4的情况。
[0392]
此处，将参照图38具体描述位置的计算。将智能电话4j-2的外观识别原点定义为外观识别原点s2p。该外观识别原点s2p可以是智能电话4j-2的外部摄像机101j-2(图39)的位置。
[0393]
此外，此处，如参照图10所描述的那样，以将智能电话4j-1的预定位置(例如，显示器的中心)设置为虚拟原点s1c并通过使用该虚拟原点来指定智能电话4j-1的每个位置的情况为例进行描述。此外，类似地，以将智能电话4j-2的预定位置(例如，显示器的中心)设
置为虚拟原点s2c并通过使用该虚拟原点来指定智能电话4j-2的每个位置的情况为例进行描述。
[0394]
智能电话4j-1计算hmd 1j-1相对于智能电话4j-1的虚拟原点s1c的位置hs1chm1。该位置hs1chm1中的h表示矩阵h(这在下文中同样适用)，s1c表示智能电话4j-1的虚拟原点s1c，并且hm1表示hmd 1j-1。通过将位置hs1cs1i乘以位置hs1ihm1来计算位置hs1chm1。
[0395]
位置hs1chm1＝位置hs1cs1i
×
位置hs1ihm1
……
(7)
[0396]
位置hs1cs1i是内部摄像机103j-1(图39)相对于智能电话4j-1的虚拟原点s1c的位置，并且位置hs1cs1i中的s1i表示内部摄像机103j-1。位置hs1ihm1是hmd 1j-1相对于智能电话4j-1的内部摄像机103j-1的位置。
[0397]
智能电话4j-1还计算智能电话4j-2相对于智能电话4j-1的位置hs1cs2c。通过将位置hs1os2p、位置hs1cs1o和位置s2ps2c相乘来计算位置hs1cs2c。
[0398]
位置hs1cs2c＝位置hs1cs1o
×
位置hs1os2p
×
位置s2ps2c
……
(8)
[0399]
位置hs1cs1o是外部摄像机101j-1(图39)相对于智能电话4j-1的虚拟原点s1c的位置，并且位置hs1cs1o中的s1o表示外部摄像机101j-1。位置hs1os2p是智能电话4j-2的外观识别原点s2p相对于智能电话4j-2的外部摄像机101j-1的位置。位置s2ps2c是在智能电话4j-2中设置的虚拟原点s2c相对于智能电话4j-2的外观识别原点s2p的位置。
[0400]
在智能电话4j-1基于式(8)计算智能电话4j-2相对于智能电话4j-1的位置hs1cs2c时，乘以位置s2ps2c，位置s2ps2c是在智能电话4j-2中设置的虚拟原点s2c相对于智能电话4j-2的外观识别原点s2p的位置。该位置s2ps2c由智能电话4j-2提供。
[0401]
智能电话4j-2计算hmd 1j-2相对于智能电话4j-2的虚拟原点s2c的位置hs2chm2。该位置hs2chm2中的s2c表示智能电话4j-2的虚拟原点s2c，并且hm2表示hmd 1j-2。通过将位置hs2cs2i乘以位置hs2ihm2来计算位置hs2chm2。
[0402]
位置hs2ihm2＝位置hs2cs2i
×
位置hs2ihm2
……
(9)
[0403]
位置hs2cs2i是内部摄像机103j-2(图39)相对于智能电话4j-2的虚拟原点s2c的位置，并且位置hs2cs2i中的s2i表示内部摄像机103j-2。位置hs2ihm2是hmd 1j-2相对于智能电话4j-2的内部摄像机103j-2的位置。
[0404]
智能电话4j-1使用这些位置数据来计算hmd 1j-2相对于hmd 1j-1的位置hhm1hm2。hhm1hm2通过将以下各项相乘而获得：作为通过式(7)获得的位置hs1chm1的倒数的(位置hs1chm1)-1
＝位置hhm1s1c；通过式(8)获得的位置hs1cs2c；以及通过式(9)获得的位置hs2ihm2。
[0405]
位置hhm1hm2＝位置hhm1s1c
×
位置hs1cs2c
×
位置hs2ihm2
……
(10)
[0406]
以这种方式，智能电话4j-1计算hmd 1j-2相对于hmd 1j-1的位置。类似地，智能电话4j-2计算hmd 1j-1相对于hmd 1j-2的位置。因此，hmd 1j-1和hmd 1j-2可以掌握彼此的位置关系。
[0407]
《第十实施方式中的智能电话和hmd的配置示例》
[0408]
图39是示出第十实施方式中的智能电话4j和hmd 1j的配置的图。智能电话4j的配置与第二实施方式中的智能电话4b(图13)的配置类似。
[0409]
然而，不同之处在于：由于外部摄像机101j对伙伴智能电话4j成像并指定伙伴智能电话4j的位置，因此对来自外部摄像机101j的图像数据进行处理的处理单元是智能电话
位置指定单元331j。
[0410]
不同之处还在于：位置变换单元105j通过使用由智能电话位置指定单元331j指定的伙伴智能电话4j的位置数据、由hmd位置指定单元104j指定的自身hmd 1j的位置数据以及经由通信单元107j-1从智能电话4j-2提供的位置数据来计算伙伴hmd 1j相对于自身hmd 1j的位置。
[0411]
所指定位置的位置数据被提供给通信单元107j。通信单元107j-1向hmd 1j-1发送关于hmd 1j-1的位置数据，并且向hmd 1j-2发送hmd 1j-2指定位置所需的关于hmd 1j-1的位置数据。
[0412]
在假设hmd 1j-1和hmd 1j-2具有相同配置的情况下继续描述。hmd 1j包括通信单元121j、渲染单元141j、显示控制单元122j和显示单元11j。该配置与第二实施方式中的hmd 1b的配置类似，其中，接收位置数据并基于该位置数据对ar内容进行空间定位渲染。由于hmd 1j的处理与第二实施方式中的hmd 1b的处理(图16所示的流程图的处理)类似，因此将省略其描述。
[0413]
《第十实施方式中的智能电话的处理》
[0414]
参照图40所示的流程图，将描述第十实施方式中的智能电话4j的处理。
[0415]
在步骤s401中，智能电话位置指定单元331j分析通过对由外部摄像机101j成像的伙伴智能电话4j成像而获得的图像，并且计算伙伴智能电话4j相对于自己的位置。
[0416]
在步骤s402中，hmd位置指定单元104j分析通过对由内部摄像机103j成像的hmd 1j成像而获得的图像，并且计算hmd 1j相对于智能电话4j的位置。
[0417]
在步骤s403中，位置变换单元105j从伙伴智能电话4j获取通过通信单元107j接收的关于伙伴hmd 1j的位置数据。
[0418]
在步骤s404中，位置变换单元105j通过使用来自智能电话位置指定单元331j的位置数据、来自hmd位置指定单元104j的位置数据以及经由通信单元107j提供的位置数据，计算伙伴hmd 1j相对于自身hmd 1j的位置。在步骤s405中，通过通信单元107将所计算的位置数据分别发送至自身hmd 1j和伙伴hmd 1j。
[0419]
以这种方式，通过两个智能电话4j协作并指定多个hmd 1j的位置，多个hmd 1j可以共享相同的虚拟空间。
[0420]
第十实施方式中的智能电话4j指定伙伴智能电话4的位置，而不是伙伴hmd 1j的位置。
[0421]
例如，在智能电话4j-1指定伙伴hmd 1j-2的位置的情况下(在直接向伙伴hmd 1j-2发送位置数据的情况下)，智能电话4j-1需要在处理开始之前识别(验证并注册)伙伴hmd 1j-2。
[0422]
认为与智能电话4j-1注册hmd1j-2的处理相比，智能电话4j-1注册智能电话4j-2的处理可以更容易地执行。换句话说，认为智能电话4之间的注册比智能电话4与不同于智能电话4的终端之间的注册更容易。
[0423]
此外，例如，在智能电话4j-1被配置成指定伙伴hmd 1j-2的位置的情况下，智能电话4j-1必须捕获hmd 1j-2。在智能电话4j-1必须捕获hmd 1j-2的处理的情况下，hmd 1j-2可以移动的范围，换句话说，佩戴hmd 1j-2的用户b可以移动的范围，可能会受到限制。
[0424]
然而，根据第十实施方式，由于智能电话4j-1仅需捕获智能电话4j-2，因此与智能
电话4j-1必须捕获hmd 1j-2的处理的情况相比，佩戴hmd 1j-2的用户b可以移动的范围更宽。
[0425]
例如，由于在智能电话4j-1和智能电话4j-2被固定在能够相互捕获的位置的情况下，智能电话4j相互捕获的状态将持续，因此可以无限制地消除被限制为hmd 1j(佩戴hmd 1j的用户)的可移动范围的范围。
[0426]
注意，第十实施方式可以是通过组合第一实施方式至第九实施方式中的任何一个或多个而获得的实施方式。通过组合第一实施方式至第十实施方式，在采用可以捕获环境的配置的情况下，也可以针对环境进行空间定位。
[0427]
此外，在通过组合第一实施方式至第十实施方式获得包括多个运动传感器的系统配置的情况下，还可以通过使多个运动传感器链接来实现预定装置的摄像机抖动校正等。尤其是在手持智能电话来使用智能电话的情况下，假设将出现摄像机抖动，使得利用链接的多个运动传感器的这样的摄像机抖动校正是用于校正摄像机抖动的有效手段。
[0428]
《第十一实施方式》
[0429]
在第一实施方式至第十实施方式中，已经描述了通过智能电话4中设置的摄像机成像并且通过使用成像图像来指定hmd 1的位置的示例。可以用针对除智能电话4外的终端设置的摄像机来代替智能电话4中包括的外部摄像机101或内部摄像机103之一。此外，可以通过使用除智能电话4外的终端中的摄像机来执行作为第一实施方式至第十实施方式描述的处理。
[0430]
此外，作为第十一实施方式，将描述还使用针对除智能电话4外的终端设置的摄像机的情况。如图41所示，第十一实施方式是用户手持智能电话4k并且通过智能电话4k对hmd 1成像的状态。此外，智能电话4k处于被外部终端401成像的状态。
[0431]
外部终端401是安装在真实世界中的预定空间中的诸如店铺、博物馆或车站的设施中的摄像机。此处，在假设外部终端401被安装在一层有多个店铺的设施中的情况下继续描述。外部终端401例如与信息处理设备2(图1)连接，并且被配置成能够获取设施中的信息，例如店铺的位置、厕所的位置以及关于每个店铺所处理的商品的信息。
[0432]
《第十一实施方式中的外部终端、智能电话和hmd的配置示例》
[0433]
图42是示出第十一实施方式中的外部终端401、智能电话4k和hmd1k的配置的图。
[0434]
外部终端401包括摄像机411、智能电话位置指定单元412和通信单元413。外部终端401具有例如与第一实施方式中的智能电话4a(图6)的外部摄像机101和环境位置指定单元102对应的功能。即，外部终端401的摄像机411对智能电话4k成像，并且将图像数据提供给智能电话位置指定单元412。
[0435]
智能电话位置指定单元412指定智能电话4k在真实空间中的位置。换句话说，智能电话位置指定单元412指定智能电话4k相对于环境的位置。由通信单元413将与所指定的位置有关的位置数据发送至智能电话4k。
[0436]
在第一实施方式中，智能电话4k相对于环境的位置由智能电话4a(图6)的环境位置指定单元102指定，但是在第十一实施方式中，智能电话4k相对于环境的位置由外部终端401指定。
[0437]
智能电话4k包括摄像机431、hmd位置指定单元432、位置变换单元433、渲染单元434和通信单元435。在与第一实施方式中的智能电话4a(图6)进行比较的情况下，摄像机
431对应于内部摄像机103，hmd位置指定单元432对应于hmd位置指定单元104，位置变换单元433对应于位置变换单元105，渲染单元434对应于渲染单元106，并且通信单元435对应于通信单元107。
[0438]
摄像机431对hmd 1k成像并将图像数据提供给hmd位置指定单元432。hmd位置指定单元432指定hmd 1k相对于智能电话4k的位置。与所指定的位置有关的位置数据被提供给位置变换单元433。
[0439]
还经由通信单元435向位置变换单元433提供从外部终端401发送的智能电话4k相对于环境的位置数据。位置变换单元433指定hmd 1k相对于环境的位置，并且将该位置数据提供给渲染单元434。
[0440]
渲染单元434生成其中ar内容经受了空间定位渲染的图像数据并将该图像数据提供给通信单元435。通信单元435将该图像数据发送至hmd 1k。
[0441]
此处，在假设智能电话4k设置有渲染单元434的情况下继续描述，但是hmd 1k也可以如第十实施方式的hmd 1j那样包括渲染单元141k(未示出)。此外，在hmd 1k包括渲染单元141k的配置的情况下，可以将从外部终端401提供的位置数据提供给hmd 1k。
[0442]
hmd 1k包括通信单元121、显示控制单元122和显示单元11。该配置与第一实施方式中的hmd 1a的配置类似，其中，接收图像数据并基于该图像数据来控制显示单元11对图像的显示。由于hmd 1k的处理与第一实施方式中的hmd 1a的处理(图12所示的流程图的处理)类似，因此将省略其描述。
[0443]
《第十一实施方式中的外部终端的处理》
[0444]
将参照图43所示的流程图描述外部终端401的处理。
[0445]
在步骤s431中，智能电话位置指定单元412分析通过摄像机411成像的图像、检测智能电话4k并且指定智能电话4k相对于环境的位置。与所指定的位置有关的位置数据被提供给通信单元413。
[0446]
在步骤s432中，通信单元413将位置数据发送至智能电话4k。
[0447]
《第十一实施方式中的智能电话的处理》
[0448]
将参照图44所示的流程图描述智能电话4k的处理。
[0449]
在步骤s451中，智能电话4k的通信单元435接收从外部终端401发送的位置数据。通过通信单元435接收的位置数据被提供给位置变换单元433。
[0450]
在步骤s452中，hmd位置指定单元432分析通过摄像机431成像的图像、检测hmd 1k并且指定hmd 1k相对于智能电话4k的位置。与所指定的位置有关的位置数据被提供给位置变换单元433。
[0451]
注意，可以调换步骤s451和步骤s452中的处理的顺序。也就是说，虽然hmd位置指定单元432指定hmd 1k相对于智能电话4k的位置，但是可以通过通信单元435接收从外部终端401发送的位置数据，并且可以由位置变换单元433执行处理。
[0452]
在步骤s453中，位置变换单元433通过使用经由通信单元435从外部终端401发送的智能电话4k相对于环境的位置数据和从hmd位置指定单元432提供的hmd 1k相对于智能电话4k的位置数据来指定hmd 1k相对于环境的位置。所指定的位置的位置数据被提供给渲染单元434。
[0453]
在步骤s454中，渲染单元434通过使用来自位置变换单元433的位置数据来执行空
间定位渲染ar内容的处理，并且生成图像数据。此时，生成图像，其中，根据需要将从信息处理设备2经由外部终端401发送的或直接发送的信息也作为ar内容提供给用户。例如，向用户提供位于观看方向的产品的信息、与卫生间的位置有关的信息等。
[0454]
在步骤s455中，通信单元435将图像数据发送至hmd 1k。
[0455]
以这种方式，可以通过不同于智能电话4k和hmd 1k的外部终端401来捕获智能电话4k，并且可以指定hmd 1k相对于环境的位置。
[0456]
在同时对多个智能电话4k成像的情况下，外部终端401能够针对每个智能电话4k生成并提供位置数据。因此，与其位置由安装在预定空间中的外部终端401指定的多个智能电话4k配对的多个hmd 1k可以共享虚拟空间。
[0457]
例如，可以提供虚拟屏幕作为ar内容，多个用户可以同时欣赏虚拟屏幕上显示的内容。此外，如上所述，还可以分别提供用户所需的信息，例如产品信息。此外，例如，可以提供关于店铺中的座位可用性的信息。
[0458]
注意，第十一实施方式可以是通过组合第一实施方式至第十实施方式中的任何一个或多个而获得的实施方式。
[0459]
在上述第一实施方式至第十一实施方式中，不仅可以通过摄像机捕获hmd的移动，还可以捕获用户的视线的移动。通过捕获用户的视线，能够根据视线执行渲染，并且能够进一步提高空间定位的精度。
[0460]
注意，在上述实施方式中，以将本技术应用于被称为hmd1的显示装置的情况为例进行描述，但是也可以将所生成的位置数据提供给除显示装置外的装置。例如，可以将位置数据提供给诸如ar扬声器的音频装置，使得将对应于预定空间中的位置的声音提供给用户。
[0461]
根据本技术，可以简化hmd 1本身的配置。通过简化hmd 1的配置，可以减小尺寸、重量和制造成本。此外，还可以降低hmd 1的功耗。因此，可以使用隐形眼镜类型等的显示器来代替上述hmd 1。
[0462]
通过降低制造成本，可以降低用于引入用户体验增强现实所需的装置的引入成本。因此，根据本技术，可以促进用于体验增强现实的装置例如hmd 1的广泛使用。
[0463]
此外，由于智能电话4已经为许多用户所拥有，因此可以通过使用这样的终端来促进hmd 1的广泛使用。此外，hmd 1可以具有没有摄像机的配置，并且可以简化hmd 1的外观。例如，通过包括摄像机的hmd 1，即使是对佩戴这样的hmd 1犹豫不决的用户也更有可能想要佩戴简单的hdm1。
[0464]
《关于记录介质》
[0465]
上述一系列处理可以通过硬件执行或者也可以通过软件执行。在由软件执行一系列处理的情况下，将配置软件的程序安装在计算机中。此处，计算机的示例包括例如内置在专用硬件中的计算机、可以通过安装各种程序来执行各种功能的通用个人计算机等。
[0466]
图45是示出根据程序执行上述一系列处理的计算机的硬件的配置示例的框图。在计算机中，中央处理单元(cpu)1001、只读存储器(rom)1002和随机存取存储器(ram)1003通过总线1004相互连接。总线1004还与输入/输出接口1005连接。输入单元1006、输出单元1007、存储单元1008、通信单元1009和驱动器1010连接至输入/输出接口1005。
[0467]
输入单元1006包括键盘、鼠标、麦克风等。输出单元1007包括显示器、扬声器等。存
储单元1008包括硬盘、非易失性存储器等。通信单元1009包括网络接口等。驱动器1010驱动可移除记录介质1011，例如磁盘、光盘、磁光盘或半导体存储器。
[0468]
在如上所述配置的计算机中，例如，通过cpu 1001经由输入/输出接口1005和总线1004将记录在存储单元1008中的程序加载到ram 1003中并且执行所述程序来执行上述一系列处理。
[0469]
由计算机(cpu 1001)执行的程序可以通过记录在例如作为封装记录介质等的可移除记录介质1011上来提供。此外，可以经由有线或无线传输介质例如局域网、因特网或数字卫星广播来提供程序。
[0470]
在计算机中，通过将可移除记录介质1011附接至驱动器1010，可以经由输入/输出接口1005将程序安装在存储单元1008中。此外，可以由通信单元1009经由有线或无线传输介质接收程序并将其安装在存储单元1008中。此外，可以将程序预先安装到rom 1002和存储单元1008中。
[0471]
注意，由计算机执行的程序可以是根据本说明书中描述的顺序按时间序列执行处理的程序，或者可以是并行地或在诸如进行呼叫时的必要定时处执行处理的程序。
[0472]
此外，在本说明书中，系统表示包括多个装置的整个装置。
[0473]
注意，本说明书中描述的效果仅是示例而不是限制，并且还可以存在其他效果。
[0474]
注意，本技术的实施方式不限于上述实施方式，并且可以在不脱离本技术的范围的情况下进行各种修改。
[0475]
注意，本技术也可以具有以下配置。
[0476]
(1)
[0477]
一种信息处理设备，包括：
[0478]
生成单元，其被配置成生成：
[0479]
与自己相对于真实空间的位置有关的第一位置数据；
[0480]
与其他装置相对于自己的位置有关的第二位置数据；以及
[0481]
基于第一位置数据和第二位置数据的、与其他装置相对于真实空间的位置有关的第三位置数据。
[0482]
(2)
[0483]
根据上述(1)所述的信息处理设备，其中，
[0484]
基于第三位置数据，生成要在其他装置中显示的被定位在真实空间中的图像的图像数据。
[0485]
(3)
[0486]
根据上述(1)或(2)所述的信息处理设备，其中，
[0487]
第三位置数据是通过将第一位置数据和第二位置数据相乘而计算的。
[0488]
(4)
[0489]
根据上述(1)至(3)中任一项所述的信息处理设备，其中，
[0490]
第一位置数据是使用通过用第一摄像机对真实空间成像而获得的图像计算的，并且
[0491]
第二位置数据是使用通过用第二摄像机对其他装置成像而获得的图像计算的。
[0492]
(5)
[0493]
根据上述(4)所述的信息处理设备，其中，
[0494]
第一位置数据是第一摄像机相对于真实空间的位置，
[0495]
第二位置数据是其他装置相对于第二摄像机的位置，并且
[0496]
第三位置数据是通过将第一位置数据、第二位置数据和与第二摄像机相对于第一摄像机的位置有关的第四位置数据相乘而计算的。
[0497]
(6)
[0498]
根据上述(4)或(5)所述的信息处理设备，其中，
[0499]
生成单元还生成：
[0500]
与虚拟原点相对于第一摄像机的位置有关的第四位置数据；以及与第二摄像机相对于虚拟原点的位置有关的第五位置数据，
[0501]
第一位置数据是第一摄像机相对于真实空间的位置，
[0502]
第二位置数据是其他装置相对于第二摄像机的位置，并且
[0503]
第三位置数据是通过将第一位置数据、第二位置数据、第四位置数据和第五位置数据相乘而计算的。
[0504]
(7)
[0505]
根据上述(4)至(6)中任一项所述的信息处理设备，其中，
[0506]
第一摄像机和第二摄像机被设置在不同的表面上。
[0507]
(8)
[0508]
根据上述(4)至(7)中任一项所述的信息处理设备，其中，
[0509]
使用第三位置数据和从通过第一摄像机成像的图像中获得的真实空间的信息生成要在其他装置中显示的图像的图像数据。
[0510]
(9)
[0511]
根据(4)至(8)中任一项所述的信息处理设备，还包括：
[0512]
第一确定单元，其被配置成确定是否发生了第一摄像机未捕获到真实空间的捕获丢失状态；
[0513]
第二确定单元，其被配置成确定是否发生了第二摄像机未捕获到其他装置的捕获丢失状态；以及
[0514]
警告处理单元，其被配置成在第一确定单元和第二确定单元中的至少一者中确定发生了捕获丢失状态的情况下，生成用于发出警告的信息。
[0515]
(10)
[0516]
根据上述(9)所述的信息处理设备，其中，
[0517]
警告处理单元生成用于从捕获丢失状态返回到不发生捕获丢失的状态的信息。
[0518]
(11)
[0519]
根据(4)至(10)中任一项所述的信息处理设备，其中，
[0520]
第二摄像机对多个其他装置成像，并且
[0521]
针对多个其他装置中的每一个生成第二位置数据和第三位置数据。
[0522]
(12)
[0523]
根据上述(1)至(11)中任一项所述的信息处理设备，还包括：
[0524]
运动传感器，其中，
[0525]
以时分方式获取第一位置数据和第二位置数据，并且
[0526]
使用从运动传感器获得的位置数据校正第三位置数据。
[0527]
(13)
[0528]
根据上述(1)至(12)中任一项所述的信息处理设备，其中，
[0529]
第一位置数据由安装在真实空间中的包括摄像机的设备提供。
[0530]
(14)
[0531]
一种信息处理设备，包括：
[0532]
生成单元，其被配置成：
[0533]
针对多个其他装置中的每一个，生成与其他装置相对于自己的位置有关的第一位置数据；以及
[0534]
基于多条第一位置数据，生成与其他装置彼此的位置有关的第二位置数据。
[0535]
(15)
[0536]
根据以上述(14)所述的信息处理设备，还包括：
[0537]
一个或更多个摄像机，其被配置成对多个其他装置成像。
[0538]
(16)
[0539]
一种信息处理设备，用于基于以下来生成表示第一装置与第三装置之间的位置关系的位置数据：
[0540]
与第一装置相对于自己的位置有关的第一位置数据，所述第一位置数据是使用通过用第一摄像机对第一装置成像而获得的图像而计算的；
[0541]
与第二装置相对于自己的位置有关的第二位置数据，所述第二位置数据是使用通过用第二摄像机对第二装置成像而获得的图像计算的；以及
[0542]
与第三装置相对于第二装置的位置有关的第三位置数据，所述第三位置数据由第二装置生成。
[0543]
(17)
[0544]
根据上述(1)至(16)中任一项所述的信息处理设备，其中，
[0545]
信息处理设备是智能电话。
[0546]
(18)
[0547]
根据上述(1)至(17)中任一项所述的信息处理设备，其中，
[0548]
其他装置是hmd(头戴式显示器)。
[0549]
(19)
[0550]
一种信息处理方法，其中，
[0551]
被配置成生成位置数据的信息处理设备生成：
[0552]
与自己相对于真实空间的位置有关的第一位置数据；
[0553]
与其他装置相对于自己的位置有关的第二位置数据；以及
[0554]
基于第一位置数据和第二位置数据的、与其他装置相对于真实空间的位置有关的第三位置数据。
[0555]
(20)
[0556]
一种程序，用于使计算机执行处理，所述处理包括以下步骤：
[0557]
生成与自己相对于真实空间的位置有关的第一位置数据；
[0558]
生成与其他装置相对于自己的位置有关的第二位置数据；以及
[0559]
基于第一位置数据和第二位置数据，生成与其他装置相对于真实空间的位置有关的第三位置数据。
[0560]
附图标记列表
[0561]
1hmd、2信息处理设备、3网络、4智能电话、11显示单元、15位置变换单元、31cpu、32存储器、33传感器单元、34输入单元、35输出单元、36通信单元、37总线、91对象、101外部摄像机、102环境位置指定单元、103内部摄像机、104hmd位置指定单元、105位置变换单元、106渲染单元、107通信单元、121通信单元、122显示控制单元、130内部摄像机、141渲染单元、161确定单元、162确定单元、163警告处理单元、164警告处理单元、181警告处理单元、182扬声器、201位置存储单元、231摄像机、232环境hmd位置指定单元、234运动传感器、235位置变换单元、251运动传感器、281摄像机、282hmd位置指定单元、301hmd位置指定单元、331智能电话位置指定单元、401外部终端、411摄像机、412智能电话位置指定单元、413通信单元、431摄像机、432hmd位置指定单元、433位置变换单元、434渲染单元、435通信单元。