信息处理装置、信息处理方法和程序与流程

1.本技术涉及信息处理装置、信息处理方法和程序，并且更具体地，涉及能够使用对其经常穿戴抗拒感低的可穿戴设备执行操作的信息处理装置、信息处理方法和程序。


背景技术：

2.存在如下技术，该技术用于通过分析摄像机的图像来检测用户穿戴的设备的位置和姿势，并且根据用户的手势控制增强现实(ar)的显示。用户穿戴的设备将用作控制ar显示的ar控制器。
3.专利文献1公开了如下技术：通过检测在附属于用户佩戴的手环的壳体的四个角处准备的标记来指定壳体上的平面，并且将虚拟立体图像与所指定的平面合成并显示。
4.引用列表
5.专利文献
6.专利文献1：日本专利申请公开特许公报第2000
‑
98300号


技术实现要素：

7.本发明要解决的问题
8.在上述技术的情况下，用户需要佩戴专用手环。
9.由于需要在壳体上印刷诸如标记的复杂纹理，因此有损设备的时尚感。另外，由于需要检测多个标记，因此用于提取特征点的处理量增加。
10.本技术是鉴于这样的情况而提出的，并且使得能够使用对其经常穿戴抗拒感低的可穿戴设备来执行操作。
11.问题的解决方案
12.根据本技术的一个方面的信息处理装置包括：获取单元，其获取通过捕获可穿戴设备的图像而获得的捕获图像，可穿戴设备包括其外观根据时间变化的模块；以及估计单元，其基于指示根据当前时间该模块的外观的图像来检测在捕获图像中出现的模块，并且估计可穿戴设备的位置或姿势中的至少一个。
13.在本技术的一个方面中，获取通过捕获可穿戴设备的图像而获得的捕获图像，该可穿戴设备包括其外观根据时间变化的模块；基于表示根据当前时间该模块的外观的图像，检测在捕获图像中出现的模块；以及估计可穿戴设备的位置或姿势中的至少一个。
附图说明
14.图1是示出根据本技术的实施方式的可穿戴设备的佩戴示例的图。
15.图2是示出手表的外观的正视图。
16.图3是示出模板图像的示例的图。
17.图4是示出信息处理终端的配置示例的框图。
18.图5是示出控制器的功能配置示例的框图。
19.图6是用于说明校准处理的流程图。
20.图7是示出引导图像的显示示例的图。
21.图8是示出生成掩模图像的示例的图。
22.图9是用于说明位置/姿势估计处理的流程图。
23.图10是示出模板图像的生成的示例的图。
24.图11是手表的表盘的放大图。
25.图12是示出模板图像的示例的图。
26.图13是示出信息处理终端的配置示例的框图。
27.图14是用于说明位置/姿势估计处理的流程图。
28.图15是手表的表盘的放大图。
29.图16是示出图像处理的示例的图。
30.图17是手表的表盘的放大图。
31.图18是示出手表的另一示例的图。
32.图19是示出信息处理终端的另一示例的图。
33.图20是示出计算机的配置示例的框图。
具体实施方式
34.在下文中，将描述用于执行本技术的模式。此外，将按以下顺序给出描述。
35.1.使用每个时间的模板图像进行匹配的示例
36.2.使用每个姿势的模板图像进行匹配的示例
37.3.通过图像处理估计位置和姿势的示例
38.4.手表的配置
39.5.其他示例
40.<<1.使用每个时间的模板图像进行匹配的示例>>
41.<使用手表作为ar控制器的示例>
42.图1是示出根据本技术的实施方式的可穿戴设备的佩戴示例的图。
43.如图1所示，信息处理终端1是包括透射式显示单元的眼镜式可穿戴设备。例如，信息处理终端1使显示单元显示从内置存储器读取或经由因特网获取的各种类型的信息。
44.信息处理终端1是配备有用于显示叠加在实际场景上的各种类型信息的ar功能的可穿戴设备。用户看到叠加在用户前面的风景上的各种类型的信息，例如字符和图像。
45.ar功能的显示方法可以是虚拟图像投影方法，或者是直接在用户的眼睛的视网膜上形成图像的视网膜投影方法。另外，被显示以叠加在实际场景上的图像可以是二维图像，或者是诸如字符的对象立体呈现的三维图像。
46.信息处理终端1设置有捕获佩戴头部的用户前面的图像的摄像机。信息处理终端1分析由摄像机拍摄的图像以估计用户佩戴的手表2的位置和姿势，并且基于位置和姿势的转变检测手势操作。
47.信息处理终端1根据用户的手势操作来执行各种处理，例如控制由ar功能显示的内容以及控制外部设备。
48.即，作为可穿戴设备的手表2用作配备有ar功能的信息处理终端1的ar控制器。用
户可以通过移动佩戴手表2的左臂来操作信息处理终端1。
49.图2是示出手表2的外观的正视图。
50.如图2所示，手表2是模拟式手表。长指针22
‑
1和短指针22
‑
2设置在大致正圆的壳体11的表盘21上。在下文中，当不需要适当区分长指针22
‑
1和短指针22
‑
2时，将它们统称为时钟指针22。
51.三个计时器设置在表盘21中心附近的位置处，并且诸如刻度和数字的索引设置在外围。此外，在表盘21的中心上方印有标志。在图2的示例中，印有标志“aaaa”。
52.图1中的信息处理终端1基于通过摄像机进行捕获而获得的捕获图像来估计这样的模拟式手表2的位置和姿势。由于时钟指针22所指向的方向根据时间而变化，因此手表2是具有其外观根据时间而变化的表盘21的可穿戴设备。
53.为了估计手表2的位置和姿势，信息处理终端1需要从捕获图像中示出的对象中检测手表2的预定模块，例如表盘21。信息处理终端1基于在捕获图像中检测到的表盘21的位置和形状、设置在表盘21上的时钟指针22的方向等估计表盘21在3维空间中的位置和姿势。表盘21的位置和姿势表示手表2的位置和姿势。
54.图3是示出用于检测表盘21的模板图像的示例的图。
55.此处，模板图像是用于与捕获图像的每个部分进行匹配(检测捕获相同对象的区域)的图像。通过使用模板图像的模式匹配来检测表盘21。
56.在图3的a中示出的模板图像中，表示手表2的外观的图像中的正圆表盘21外侧的区域和表盘21内侧区域中表示“10:10”的时钟指针22的区域被遮蔽。用于生成模板图像的、表示手表2的外观的图像例如是在检测表盘21之前校准时预先登记的图像。在图3中，由黑色表示的区域是掩模区域。
57.另外，在图3的a中示出的模板图像中，表示“3:45”的时钟指针22的图像与表盘21的区域组合。示有阴影的指示“3:45”的时钟指针是通过图像处理合成的时钟指针22的图像。
58.图3的a中示出的模板图像是在“3:45”检测到表盘21时使用的图像。
59.类似地，在图3的b中示出的模板图像中，表盘21外侧的区域和表盘21内侧区域中表示“10:10”的时钟指针22的区域被遮蔽。
60.另外，在图3的b中示出的模板图像中，表示“7:00”的时钟指针22的图像与表盘21的区域组合。
61.图3的b中示出的模板图像是在“7:00”检测到表盘21时使用的图像。
62.类似地，在图3的c中示出的模板图像中，表盘21外侧的区域和表盘21内侧的区域中指示“10:10”的时钟指针22的区域被遮蔽。
63.另外，在图3的c中示出的模板图像中，表示“11:30”的时钟指针22的图像与表盘21的区域组合。
64.图3的c中示出的模板图像是在“11:30”检测到表盘21时使用的图像。
65.如上所述，在信息处理终端1中，将检测到表盘21的时间设置为当前时间，并且针对每个当前时间，生成表示当前时间的表盘21的图像作为模板图像，并且将其用于匹配。
66.信息处理终端1可以通过使用指示当前时间的表盘21的图像作为模板图像来估计表盘21的位置。此外，信息处理终端1可以根据时钟指针22的方向估计表盘21的姿势。
67.即，信息处理终端1可以估计手表2的位置和姿势。
68.另外，由于不需要用于检测位置和姿势的复杂纹理例如标记，因此用户可以在不影响时尚的情况下使用普通手表作为ar控制器。
69.稍后将描述诸如模板图像的生成和使用模板图像进行匹配的处理的细节。
70.<信息处理终端的配置示例>
71.图4是示出信息处理终端1的配置示例的框图。
72.如图4所示，通过将摄像机52、传感器53、通信单元54、显示单元55和存储器56连接至控制器51来配置信息处理终端1。
73.控制器51包括中央处理单元(cpu)、只读存储器(rom)、随机存取存储器(ram)等。控制器51执行存储在rom或存储器56中的程序并且控制信息处理终端1的整体操作。
74.例如，控制器51基于从摄像机52提供的捕获图像估计手表2的位置和姿势，并且检测用户的手势操作。控制器51根据检测到的手势操作执行各种处理。
75.摄像机52捕获用户前面的风景。摄像机52将通过执行捕获获得的捕获图像输出至控制器51。
76.注意，摄像机52是用于可见光检测的摄像机。摄像机52所捕获的图像是rgb图像。
77.摄像机52所捕获的图像还用于例如估计信息处理终端1自身的位置和姿势。
78.传感器53包括深度传感器或光检测和测距(lidar)。构成传感器53的深度传感器和lidar测量到对象的每个位置的距离，并且将距离图像、点云数据等作为指示测量结果的数据输出至控制器51。
79.传感器53适当地包括诸如加速度传感器、陀螺仪传感器和定位传感器的各种传感器。加速度传感器、陀螺仪传感器和定位传感器的测量结果用于对信息处理终端1的位置、姿势等的估计。
80.通信单元54包括便携式通信网络的通信模块、无线lan的通信模块等。通信单元54经由网络与外部设备通信。
81.显示单元55在控制器51的控制下将各种类型的信息(例如字符和图像)显示为ar内容。
82.存储器56是诸如闪速存储器的存储介质。存储器56存储各种数据，例如由控制器51的cpu执行的程序。
83.图5是示出控制器51的功能配置示例的框图。
84.图5所示的功能单元的至少一部分是通过构成图4中的控制器51的cpu执行预定程序来实现的。
85.如图5所示，控制器51包括图像获取单元71、时间同步单元72、掩模图像生成单元73、模板图像生成单元74、位置/姿势估计单元75和控制单元76。
86.图像获取单元71获取通过摄像机52捕获而获得的捕获图像。在校准时获取的捕获图像被提供给掩模图像生成单元73，并且在匹配时获取的捕获图像被提供给位置/姿势估计单元75。
87.时间同步单元72使信息处理终端1的内部时钟的时间与手表2的时间同步。与手表2的时间同步的内部时钟的时间信息被提供给模板图像生成单元74。
88.例如，时间同步是通过信息处理终端1和手表2两者接收包括关于标准时间的信息
的无线电波来建立的。
89.信息处理终端1和手表2两者都可以访问网络时间协议(ntp)服务器，并且可以基于从ntp服务器接收的信息来建立时间同步。
90.在手表2具有无线电通信功能的情况下，可以在信息处理终端1与手表2之间执行无线电通信以建立时间同步。
91.可以通过分析摄像机52所捕获的图像来检测手表2的时间，并且可以指定与内部时钟的时间的偏差。根据手表2的时间与内部时钟的时间之间的偏差，对执行匹配时使用的当前时间的信息进行校正。此外，不仅可以存储手表2的时间与内部时钟的时间之间的偏差，还可以存储用户所拥有的手表的指针或面板的设计。
92.掩模图像生成单元73基于从图像获取单元71提供的捕获图像生成用于生成模板图像的掩模图像。由掩模图像生成单元73生成的掩模图像被提供给模板图像生成单元74。
93.基于从掩模图像生成单元73提供的掩模图像，模板图像生成单元74针对检测到表盘21时的每个时间生成模板图像。由模板图像生成单元74生成的模板图像被提供给位置/姿势估计单元75。
94.位置/姿势估计单元75在从图像获取单元71提供的捕获图像的每个部分与由模板图像生成单元74生成的模板图像之间执行匹配，并且检测在捕获图像中出现的表盘21。位置/姿势估计单元75基于在捕获图像中出现的表盘21的位置和形状、时钟指针22的方向等估计手表2的位置和姿势。指示手表2的位置和姿势的估计结果的信息被提供给控制单元76。代替估计手表2的位置和姿势两者，可以仅估计其中之一。
95.控制单元76基于手表2的位置和姿势的估计结果，执行各种处理，例如控制ar功能所显示的内容、控制外部设备。控制单元76用作控制通过ar对各种类型信息的显示的显示控制单元，并且还用作控制外部设备的操作的操作控制单元。
96.<信息处理终端1的操作>
97.此处，将描述具有以上配置的信息处理终端1的操作。
98.首先，将参照图6的流程图描述校准处理。
99.校准处理是例如在估计手表2的位置和姿势之前预先执行的处理。
100.在步骤s11中，控制器51使显示单元55显示用作表盘区域的引导的引导图像。
101.在步骤s12中，图像获取单元71使摄像机52捕获根据引导图像引导其位置的手表2。
102.图7是示出引导图像的显示示例的图。
103.在图7的上部的位置p1处显示的图像g是用作表盘区域的引导的引导图像。在图7的示例中，将预定颜色的圆形图像g显示为引导图像
104.在显示位置被固定的同时，将这样的引导图像显示为叠加在前方的风景上。用户移动他/她的手臂使得手表2的表盘21适配在引导图像内侧。
105.如箭头a1的尖端所示，在手表2的表盘21在引导图像内侧的状态下执行拍摄。通过拍摄手表2获得的拍摄图像与引导图像的范围的信息一起被提供给掩模图像生成单元73。
106.在图6的步骤s13中，掩模图像生成单元73登记从图像获取单元71提供的捕获图像。示出手表2的捕获图像被管理为登记图像。
107.在步骤s14中，掩模图像生成单元73通过分析表盘21上引导图像叠加在登记图像
中的区域来检测长指针22
‑
1和短指针22
‑
2。掩模图像生成单元73生成掩模图像，该掩模图像遮蔽表盘21外侧的区域和表盘21内侧的时钟指针22的区域。
108.图8是示出生成掩模图像的示例的图。
109.如图8的左侧所示，登记图像示出了通过将表盘21的位置与引导图像对齐而拍摄的手表2。
110.基于这样的登记图像检测到表示“10:10”的时钟指针22，并且生成掩模图像，该掩模图像如箭头a11的尖端所示将表盘21外侧的区域和时钟指针22的区域进行遮蔽。
111.注意，在校准时间例如是“10:10”的情况下，时钟指针22位于指示“10:10”的位置。可以基于指示“10:10”的位置在预定范围内检测时钟指针22。因此，能够提高时钟指针22的检测精度。
112.在生成掩模图像之后，校准处理结束。
113.接下来，将参照图9的流程图描述位置/姿势估计处理。
114.例如在执行校准处理之后并且当检测到用户的手势操作时，开始图9中的位置/姿势估计处理。
115.在步骤s31中，时间同步单元72使信息处理终端1的内部时钟的时间与手表2的时间同步。
116.在步骤s32中，图像获取单元71使摄像机52捕获图像并获取捕获图像。由图像获取单元71获取的捕获图像被提供给位置/姿势估计单元75。
117.在步骤s33中，模板图像生成单元74参考从时间同步单元72提供的时间信息并且基于当前时间生成模板图像。
118.图10是示出模板图像的生成的示例的图。
119.在准备好图10的左侧所示的登记图像的情况下，模板图像生成单元74如箭头a21的尖端指示的那样基于掩模图像来遮蔽表盘21外侧的区域和时钟指针22的区域。
120.遮蔽后图像包括关于表盘21内侧中除了表示例如作为校准时间的“10:10”的时钟指针22的区域以外的区域的信息。
121.另外，模板图像生成单元74如箭头a22的尖端指示的那样通过将表示当前时间的时钟指针22的图像与遮蔽后图像进行合成来生成模板图像。
122.例如，在当前时间是“3:45”的情况下，合成表示“3:45”的时钟指针22的图像。在图10的右端所示的模板图像中，示有阴影的指示“3:45”的指针是通过图像处理合成的图像。
123.返回图9的描述，在步骤s34中，位置/姿势估计单元75使用由模板图像生成单元74生成的模板图像执行与捕获图像的每个部分的匹配。例如，如图10所示的正圆模板图像被变形以表示从各个角度观看时的外观，并且使用变形的模板图像执行匹配。
124.在步骤s35中，位置/姿势估计单元75通过使用模板图像进行匹配来确定是否已经检测到表盘21。
125.在未检测到表盘21的情况下，处理返回至步骤s32，并且重复以上处理。更新模板图像，并且使用更新的模板图像重复匹配。
126.在步骤s35中确定检测到表盘21的情况下，在步骤s36中，位置/姿势估计单元75基于在捕获图像中出现的表盘21的位置和形状、时钟指针22的方向等来估计表盘21的位置和姿势。
127.在步骤s37中，位置/姿势估计单元75更新关于由表盘21的位置和姿势表示的手表2的位置和姿势的信息。之后，处理返回至步骤s32，并且重复以上处理。
128.通过重复以上处理，控制单元76基于手表2的位置和姿势的时间序列检测用户的手势操作。
129.通过以上处理，信息处理终端1可以容易地估计手表2的位置和姿势。
130.例如，在仅基于捕获图像中出现的表盘21的位置和形状(正圆或椭圆)执行处理的情况下，信息处理终端1可以估计表盘21的位置，但不能估计手表2在竖直方向上的方向等。
131.通过考虑指示当前时间的指针的方向，信息处理终端1还可以估计手表2在竖直方向上的方向等。
132.另外，用户可以使用普通手表作为ar控制器。
133.在假设信息处理终端1总是在室内和室外佩戴的情况下，要求用户总是佩戴ar控制器。通过将对其持续佩戴抗拒感低的手表2用作ar控制器，可以在保持时尚的状态下没有困难地持续佩戴ar控制器。用户可以一直佩戴ar控制器，并且可以使用手势操作和ar对象的显示来获得交互体验。
134.<<2.使用每个姿势的模板图像进行匹配的示例>>
135.尽管对手表2的位置和姿势的估计是基于由摄像机52(即，用于可见光检测的摄像机)捕获的rgb图像执行的，但是也可以基于通过红外(ir)摄像机捕获的ir图像执行类似的处理。
136.在这种情况下，信息处理终端1设置有ir光照射设备和ir摄像机，该ir摄像机检测由照射设备发射的ir光的反射光并且生成ir图像作为捕获图像。
137.图11是手表2的表盘21的放大图。
138.如图11的左侧的虚线所示，在表盘21上形成包括用于ir光的逆反射材料的反射部分21a。在图11的示例中，反射部分21a形成在包括长指针22
‑
1和短指针22
‑
2旋转的范围的正圆范围内。
139.逆反射材料是以与入射角相同的角度反射光的材料。照射反射部分21a的ir光以与入射角相同的角度被反射。
140.设置在其上形成有反射部分21a的表盘21上的长指针22
‑
1和短指针22
‑
2包括用于ir光的非反射材料。
141.在利用ir光照射并通过ir摄像机捕获具有这样的配置的表盘21的情况下，获取如箭头a31的尖端所示的ir图像作为捕获图像。
142.在图9所示的ir图像中，反射部分21a内侧的除了指示“15:00”的长指针22
‑
1和短指针22
‑
2以外的部分以预定亮度示出。反射部分21a的外侧和指示“15:00”的时钟指针22的部分呈现为暗状态。
143.在信息处理终端1中，基于在ir图像中出现的反射部分21a的形状来生成表盘21的每个姿势的模板图像。
144.图12是示出模板图像的示例的图。
145.如图12所示，通过使表示当前时间的表盘21变形以表示从各种角度观看时的外观来生成每个姿势的模板图像。
146.例如，将表示当前时间的时钟指针22的图像与表示反射部分21a的形状的圆进行
合成，并且对合成图像进行变形以表示从各个角度观看时的外观，从而生成模板图像。
147.通过在模板图像与ir图像的每个部分之间执行这样的匹配，检测到在ir图像中出现的表盘21。
148.图13是示出信息处理终端1的配置示例的框图。
149.图13所示的信息处理终端1的配置与图4的配置的不同之处在于提供了ir光照射单元61和ir摄像机62。在图13所示的配置中，与图4所示的部件相同的部件由与在图4中使用的附图标记相同的附图标记表示。将适当地省略重复的描述。
150.ir光照射单元61是发射ir光的照射设备。当检测到用户的手势操作时，ir光照射单元61发射ir光。
151.ir摄像机62检测由ir光照射单元61发射的ir光的反射光并且生成ir图像作为捕获图像。由ir摄像机62生成的ir图像被提供给控制器51。ir摄像机62设置在例如ir光照射单元61的附近。
152.在图13的控制器51中，通过执行预定程序来实现与图5的每个配置相同的配置。
153.此处，将参照图14的流程图描述位置/姿势估计处理。
154.当检测到用户的手势操作时，开始图14中的位置/姿势估计处理。
155.在步骤s51中，时间同步单元72使信息处理终端1的内部时钟的时间与手表2的时间同步。
156.在步骤s52中，图像获取单元71使ir摄像机62捕获图像并且获取ir图像。由图像获取单元71获取的ir图像被提供给位置/姿势估计单元75。
157.在步骤s53中，模板图像生成单元74参考从时间同步单元72提供的时间信息，并且基于当前时间生成对应于每个姿势的模板图像。
158.在步骤s54中，位置/姿势估计单元75使用由模板图像生成单元74生成的模板图像执行与ir图像的每个部分的匹配。
159.在步骤s55中，位置/姿势估计单元75通过使用模板图像进行匹配来确定是否已经检测到表盘21。
160.在未检测到表盘21的情况下，处理返回至步骤s52，并且重复以上处理。更新模板图像，并且使用更新的模板图像重复匹配。
161.在步骤s55中确定已检测到表盘21的情况下，在步骤s56中，位置/姿势估计单元75基于在ir图像中出现的表盘21的位置和形状、时钟指针22的方向等来估计表盘21的位置和姿势。
162.在步骤s57中，位置/姿势估计单元75更新关于由表盘21的位置和姿势表示的手表2的位置和姿势的信息。之后，处理返回至步骤s52，并且重复以上处理。
163.通过重复以上处理，控制单元76基于手表2的位置和姿势的时间序列检测用户的手势操作。
164.通过使用以上描述的ir图像，可以提高对手表2的位置和姿势的估计精度。
165.<<3.通过图像处理估计位置和姿势的示例>>
166.图15是手表2的表盘21的放大图。
167.图15的左侧所示的表盘21的配置与图11所示的配置的不同之处在于，短指针22
‑
2包括半透射材料或逆反射材料。
168.包括用于ir光的逆反射材料的反射部分21a形成在表盘21上。另外，长指针22
‑
1包括用于ir光的非反射材料。
169.当在这样的表盘21上反射并通过ir摄像机捕获ir光的情况下，获取如箭头a41的尖端所指示的ir图像作为捕获图像。
170.在图15所示的ir图像中，反射部分21a内侧的除了长指针22
‑
1以外的部分以具有预定亮度的状态示出。反射部分21a的外侧和长指针22
‑
1的部分呈现为暗状态。
171.在信息处理终端1中，表盘21的位置和姿势是通过对其中一个长指针22
‑
1与反射部分21a一起出现的ir图像进行的这样的图像处理来估计的。在本示例中，不执行使用模板图像进行匹配，而是基于ir图像中出现的反射部分21a的形状与长指针22
‑
1的位置之间的关系来估计表盘21的位置和姿势。
172.图16是示出图像处理的示例的图。
173.在捕获图16的左端所示的ir图像的情况下，对ir图像执行二值化处理。在待二值化的ir图像中，示出表示表盘21的扁平椭圆形状。在表示表盘21的扁平椭圆形状上示出了表示长指针22
‑
1的直线。
174.通过对ir图像执行二值化处理，生成如箭头a51的尖端所示的边缘被强调的二值化图像。
175.如箭头a52的尖端所示，椭圆拟合应用于二值化图像。椭圆拟合是将具有预定尺寸的椭圆与作为在二值化图像中出现的表盘21的边界的边缘进行对齐的处理。
176.基于通过椭圆拟合与表盘21的边缘匹配的椭圆形状，检测到三维空间中表盘21所在的平面，如箭头a53的尖端处的虚线平行四边形所示。
177.另一方面，如箭头a54的尖端所示，通过椭圆拟合对与表盘21的边缘相匹配的椭圆的内部区域执行边缘计算，检测到表示长指针22
‑
1的直线的边缘e。
178.如箭头a55和箭头a56的尖端所示，将表示边缘e的线段投影在三维空间中表盘21所在的平面上，并且基于表示边缘e的线段的方向来估计表盘21的位置和姿势。表示边缘e的线段的方向与当前时间的分钟的方向一致。表盘21的位置和姿势使得指示当前时间的分钟的长指针22
‑
1看起来像表示边缘e的线段。
179.在本示例中，基于ir图像中出现的一个长指针22
‑
1的方向来估计表盘21的位置和姿势，但是可以基于长指针22
‑
1和短指针22
‑
2两者中每个的方向来估计表盘21的位置和姿势。在这种情况下，不仅长指针22
‑
1而且短指针22
‑
2包括非反射材料。
180.长指针22
‑
1可以包括半透射材料或逆反射材料，而短指针22
‑
2可以包括非反射剂。
181.<<4.手表的配置>>
182.在图13的示例中，在信息处理终端1中设置作为ir光照射设备的ir光照射单元61，但是可以在手表2侧设置ir光照射设备。
183.图17是手表2的表盘21的放大图。
184.如图17的a所示，反射部分21a包括光漫射片。如图17的b中的截面所示，作为ir光的照射设备的ir
‑
led设置在反射部分21a的背面侧。从ir
‑
led发射的ir光被反射部分21a漫射。
185.通过检测由反射部分21a漫射的ir光，信息处理终端1的ir摄像机62生成参照图11
所描述的ir图像，并且基于该ir图像估计表盘21的位置和姿势。
186.以这种方式，能够在手表2侧设置ir光照射设备。在这种情况下，不需要在信息处理终端1中设置ir光照射单元61。
187.注意，如参照图15所描述的，长指针22
‑
1和短指针22
‑
2中的短指针22
‑
2可以包括半透射材料或逆反射材料。
188.<<5.其他示例>>
189.<表盘形状的示例>
190.尽管表盘21的形状是正圆，但也可以是四边形。
191.在表盘21的形状为四边形的情况下，使四边形模板图像变形以表示从各种角度观看时的外观，并且使用变形的模板图像执行匹配。
192.对于从四边形到三维平面的反投影，例如使用一般的ar标记区域检测方法。
193.<应用于数字时钟的示例>
194.图18是示出手表的另一示例的图。
195.如图18所示，时间显示类型为数字类型的手表也可以用作ar控制器。
196.在这种情况下，代替时钟指针22，生成其中合成了表示当前时间的数字数值的模板图像，并且执行匹配。
197.在使用ir图像估计位置和姿势的情况下，在液晶背面上形成包括用于ir光的逆反射材料的区域。另外，ir光可以用作背光的光。
198.<在手表用作ar控制器的情况下的使用示例>
199.由于对一直佩戴手表抗拒感很低，因此用户可以将手表广泛用作日常生活中的ar控制器。
200.(1)对在用户没有意识到手表存在的情形下移动手的情况下手的移动进行分析以支持用户的行为。
201.示例1：当用户将他/她的手伸向便利店中的食物时，信息处理终端1在显示器上显示食物的价格、成分、最佳食用日期、评论等。
202.示例2：信息处理终端1可以在通过用摄像机52拍摄和存储用户已放入包中和从包中取出的对象来确定存在尚未放入包中的对象的情况下向用户发出警告。
203.(2)它可以随时随地使用，并且在想要使用时立即使用而没有安装设备的麻烦。
204.示例1：在用户为访客购买时发现用户没有时间清洁的情况下，用户可以在信息处理终端1的显示器上显示房屋内的风景的同时，远程指示清洁机器人到哪里清洁。
205.示例2：在通勤途中的火车中，收到来自朋友的vr游戏参与请求的消息的情况下，用户可以通过使信息处理终端1检测手表2的表盘21上的手势和触摸操作来参与游戏。
206.示例3：在用户使用信息处理终端1参与视频会议的情况下，用户可以在用手势(指示器)指示显示在信息处理终端1的显示器上的文档的同时讲话。
207.示例4：用户可以利用信息处理终端1的摄像机52拍摄用户的手前面的场景。
208.(3)可以在信息处理终端1上确认与时间相关的信息。
209.示例1：用户可以确认诸如日历、日程、邮件、sns等信息。
210.示例2：用户可以通过沿预定方向转动设置在手表2上的时间调整表盘，在信息处理终端1的显示器上显示过去的邮件、sns消息等。
211.示例3：用户可以通过沿相反方向转动手表2的时间调整表盘，在信息处理终端1的显示器上显示未来日程。
212.示例4：除了操作表盘之外，还可以用手指操作钟面。
213.<信息处理终端的示例>
214.图19是示出信息处理终端1的另一示例的图。
215.代替眼镜式可穿戴设备，可以使用信息处理终端(例如图19的a中所示的视频透射式头戴式显示器(hmd)1a)或便携式终端(例如图19的b中所示的智能电话1b)用作通过ar功能显示内容的显示设备。
216.在视频透射式hmd 1a用作显示设备的情况下，由hmd 1a再现的ar内容的视频与hmd 1a中提供的摄像机所捕获的hmd 1a前方的风景的图像重叠地进行显示。在佩戴hmd 1a的用户的视野前方，提供了将ar内容与摄像机所捕获的图像重叠地进行显示的显示器。
217.此外，在使用智能电话1b的情况下，由智能电话1b再现的ar内容的视频被显示以叠加在由设置在智能电话1b背面的摄像机捕获的智能电话1b前方的风景的图像上。
218.可以在诸如连接至信息处理终端1的pc的外部设备中实现参照图5描述的配置中的至少一种。
219.<计算机的配置示例>
220.上述一系列处理可以由硬件执行，也可以由软件执行。在一系列处理由软件执行的情况下，构成软件的程序从程序记录介质安装到包含在专用硬件中的计算机、通用个人计算机等。
221.图20是示出通过程序执行上述一系列处理的计算机的硬件配置示例的框图。
222.中央处理单元(cpu)1001、只读存储器(rom)1002和随机存取存储器(ram)1003通过总线1004相互连接。
223.输入/输出接口1005还连接至总线1004。包括键盘、鼠标等的输入单元1006以及包括显示器、扬声器等的输出单元1007连接至输入/输出接口1005。此外，包括硬盘、非易失性存储器等的存储单元1008、包括网络接口等的通信单元1009以及驱动可移除介质1011的驱动器1010连接至输入/输出接口1005。
224.在如上所述配置的计算机中，例如，cpu 1001经由输入/输出接口1005和总线1004将存储在存储单元1008中的程序加载到ram 1003中并且执行该程序，由此执行上述一系列的处理。
225.cpu 1001执行的程序例如通过记录在可移除介质1011中或经由诸如局域网、因特网或数字广播的有线或无线传输介质来提供，并且安装在存储单元1008中。
226.注意，由计算机执行的程序可以是按照本说明书中描述的顺序按时间序列执行处理的程序，或者可以是并行或在必要的定时(例如进行呼叫时)执行处理的程序。
227.此外，在本说明书中，该系统是指一组多个部件(设备、模块(零件)等)，而不管所有部件是否都设置在同一壳体中。因此，存储在分开的壳体中并通过网络连接的多个设备以及多个模块存储在一个壳体中的一个设备可以是系统。
228.本说明书中描述的效果仅是示例而不是限制，并且可以提供其他效果。
229.本技术的实施方式不限于上述实施方式，并且可以在不脱离本技术的精神的范围内做出各种改变。
230.例如，本技术可以由多个设备通过网络共享一个功能来一起执行处理的云计算系统来配置。
231.另外，上述流程图中描述的步骤可以由多个设备而不是一个设备共享和执行。
232.此外，在一个步骤中包含多个步骤的情况下，一个步骤中包含的多个处理可以由多个设备而不是一个设备共享和执行。
233.<配置的组合示例>
234.本技术还可以具有以下配置。
235.(1)一种信息处理装置，包括：
236.获取单元，其获取通过捕获可穿戴设备的图像而获得的捕获图像，所述可穿戴设备包括其外观根据时间变化的模块；以及
237.估计单元，其基于表示根据当前时间所述模块的外观的图像来检测在所述捕获图像中出现的所述模块，并且估计所述可穿戴设备的位置或姿势中的至少一个。
238.(2)根据(1)所述的信息处理装置，
239.所述估计单元基于使用表示根据当前时间所述模块的外观的图像作为模板图像进行的匹配的结果，估计所述可穿戴设备的位置或姿势中的至少一个。
240.(3)根据(2)所述的信息处理装置，
241.所述估计单元在所述捕获图像的每个部分与所述模板图像之间执行匹配，以检测在所述捕获图像中出现的所述模块。
242.(4)根据(2)所述的信息处理装置，还包括：
243.模板图像生成单元，其基于预先捕获的所述可穿戴设备的图像来生成所述模板图像。
244.(5)根据(4)所述的信息处理装置，
245.所述可穿戴设备是手表，所述手表设置有在作为所述模块的表盘上旋转的指针，并且
246.所述模板图像生成单元通过对表示预先捕获的所述可穿戴设备的图像的捕获时间的所述指针的区域进行遮蔽并合成表示当前时间的所述指针的图像，来生成所述模板图像。
247.(6)根据(1)至(5)中任一项所述的信息处理装置，还包括：
248.用于可见光检测的摄像机，其捕获所述可穿戴设备的图像并且生成所述捕获图像。
249.(7)根据(6)所述的信息处理装置，
250.所述用于可见光检测的摄像机是捕获用于估计用户所穿戴的所述信息处理装置的位置和姿势的图像的摄像机。
251.(8)根据(2)所述的信息处理装置，
252.所述获取单元获取通过使用红外摄像机捕获所述可穿戴设备的图像而获得的所述捕获图像，所述可穿戴设备包括具有用于红外线的反射材料作为部件的所述模块。
253.(9)根据(8)所述的信息处理装置，
254.所述可穿戴设备是手表，所述手表设置有在作为所述模块的表盘上旋转的指针，并且
255.所述表盘的至少一部分包括所述反射材料，并且所述指针包括非反射材料。
256.(10)根据(9)所述的信息处理装置，还包括：
257.模板图像生成单元，其基于在所述捕获图像中出现的所述表盘的形状，生成表示根据当前时间所述表盘的外观的所述模板图像。
258.(11)根据(10)所述的信息处理装置，
259.所述模板图像生成单元通过将表示当前时间的所述指针的图像与表示所述表盘的形状的图像进行合成来生成所述模板图像。
260.(12)根据(8)至(11)中任一项所述的信息处理装置，还包括：
261.所述红外摄像机。
262.(13)根据(9)所述的信息处理装置，
263.所述估计单元基于在所述捕获图像中出现的所述表盘的形状与在所述捕获图像中出现的表示当前时间的指针的位置之间的关系，估计所述可穿戴设备的位置或姿势中的至少一个。
264.(14)根据(1)至(4)中任一项所述的信息处理装置，
265.所述可穿戴设备是手表，所述手表设置有执行时间的数字显示的所述模块。
266.(15)根据(1)至(14)中任一项所述的信息处理装置，还包括：
267.显示控制单元，其根据所述估计单元的估计结果显示预定对象。
268.(16)根据(1)至(15)中任一项所述的信息处理装置，还包括：
269.控制单元，其根据穿戴所述可穿戴设备的用户的动作执行预定处理，所述动作由所述估计单元的估计结果表示。
270.(17)一种由信息处理装置执行的信息处理方法，所述方法包括：
271.获取通过捕获可穿戴设备的图像而获得的捕获图像，所述可穿戴设备包括其外观根据时间变化的模块；
272.基于表示根据当前时间所述模块的外观的图像，检测在所述捕获图像中出现的所述模块；以及
273.估计所述可穿戴设备的位置或姿势中的至少一个。
274.(18)一种程序，所述程序用于使计算机执行以下操作：
275.获取通过捕获可穿戴设备的图像而获得的捕获图像，所述可穿戴设备包括其外观根据时间变化的模块；
276.基于表示根据当前时间所述模块的外观的图像，检测在所述捕获图像中出现的所述模块；以及
277.估计所述可穿戴设备的位置或姿势中的至少一个。
278.附图标记列表
279.1 信息处理终端
280.2 手表
281.21 表盘
282.22 时钟指针
283.51 控制器
284.52 摄像机
285.53 传感器
286.54 通信单元
287.55 显示单元
288.56 存储器
289.61 ir光照射单元
290.62 ir摄像机
291.71 图像获取单元
292.72 时间同步单元
293.73 掩模图像生成单元
294.74 模板图像生成单元
295.75 位置/姿势估计单元
296.76 控制单元