信息处理装置、信息处理方法和程序与流程

1.本公开内容涉及信息处理装置、信息处理方法和程序。


背景技术：

2.近年来，已知基于由传感器检测到的数据来估计存在于真实空间中的对象表面的三维形状的技术。例如，公开了如下技术，在该技术中，用光以一图案照射对象表面，并且基于由照射图案的传感器的检测结果获得的图案的变化来估计对象表面的三维形状(例如，参见专利文献1)。
3.引用列表
4.专利文献
5.专利文献1：us 2017/0,003,121a


技术实现要素：

6.本发明要解决的问题
7.然而，期望提供一种能够以较高的清晰度估计对象表面的三维形状的技术。
8.问题的解决方案
9.根据本公开内容的一方面，提供了一种信息处理装置，包括：深度信息估计单元，其基于照射器的照射光的第一检测位置来估计第一深度信息，第一检测位置是从检测到发生了大于或等于第一阈值的亮度变化的位置的第一传感器输出的；以及
10.集成处理单元，其基于多个时间中的每个时间处的第一传感器的位置和取向信息以及第一深度信息来估计三维信息。
11.此外，根据本公开内容的另一方面，提供了一种信息处理方法，包括：基于照射器的照射光的第一检测位置来估计第一深度信息，第一检测位置是从检测到发生了大于或等于第一阈值的亮度变化的位置的第一传感器输出的；以及基于多个时间中的每个时间处的第一传感器的位置和取向信息以及深度信息来估计三维信息。
12.此外，根据本公开内容的另一方面，提供了一种用于使计算机用作信息处理装置的程序，包括：深度信息估计单元，其基于照射器的照射光的第一检测位置来估计第一深度信息，第一检测位置是从检测到发生了大于或等于第一阈值的亮度变化的位置的第一传感器输出的；以及集成处理单元，其基于多个时间中的每个时间处的第一传感器的位置和取向信息以及第一深度信息来估计三维信息。
附图说明
13.图1是示出在使用ir相机的情况下获得的深度信息的示例的图。
14.图2是示出在一起使用ir相机和dvs相机的情况下获得的深度信息的示例的图。
15.图3是示出根据本公开内容的第一实施方式的信息处理系统的配置示例的图。
16.图4是示出根据实施方式的信息处理系统的功能配置示例的图。
17.图5是示出根据实施方式的信息处理系统的操作的示例的流程图。
18.图6是用于描述在不使用dvs相机的情况下检测构造元的位置的一般示例的图。
19.图7是用于描述根据实施方式的信息处理系统对构造元的位置的检测示例的图。
20.图8是用于描述根据实施方式的信息处理系统对构造元的位置的检测示例的图。
21.图9是示出根据本公开内容的第二实施方式的信息处理系统的配置示例的图。
22.图10是示出根据实施方式的信息处理系统的功能配置示例的图。
23.图11是示出根据实施方式的信息处理系统的操作的示例的流程图。
24.图12是示出根据本公开内容的第三实施方式的信息处理系统的配置示例的图。
25.图13是示出根据实施方式的信息处理系统的功能配置示例的图。
26.图14是示出根据实施方式的信息处理系统的操作的示例的流程图。
27.图15是示出信息处理装置的硬件配置示例的框图。
具体实施方式
28.在下文中，将参照附图详细描述本公开内容的优选实施方式。注意，在本说明书和附图中，具有基本相同的功能配置的配置元素用相同的符号表示，并且省略了冗余的描述。
29.此外，在本说明书和附图中，具有基本相同或相似功能配置的多个配置元素可以通过在相同符号后附加不同数字来区分。然而，在不特别需要区分具有基本相同或相似功能配置的多个配置元素中的每一个的情况下，仅附加相同的符号。此外，不同实施方式的类似配置元素可以通过在相同符号之后添加不同字母来区分。然而，在不必特别区分每个类似配置元素的情况下，仅分配相同的符号。
30.注意，将按以下顺序给出描述。
31.0.概述
32.1.第一实施方式
33.1.1.系统配置示例
34.1.2.功能配置示例
35.1.3.功能细节
36.1.4.第一实施方式的总结
37.2.第二实施方式
38.2.1.系统配置示例
39.2.2.功能配置示例
40.2.3.功能细节
41.2.4.第二实施方式的总结
42.3.第三实施方式
43.3.1.系统配置示例
44.3.2.功能配置示例
45.3.3.功能细节
46.3.4.第三实施方式的总结
47.4.硬件配置示例
48.5.各种修改示例
49.《0.概述》
50.首先，将参照图1和图2来描述本公开内容的实施方式的概况。近年来，已知基于由传感器检测到的数据来估计存在于真实空间中的对象表面的三维形状(在下文中，该形状也简称为“三维形状”)的技术。
51.例如，已知如下技术(所谓的结构光方法)，该技术利用光(例如，红外光等)以一图案照射对象表面并且基于从被照射图案的传感器的检测结果获得的图案的变化来获得对象表面的深度信息(在下文中，深度图也被称为“深度图(depth map)”)。此外，在结构光方法中，可以基于传感器(相机)对图案的检测结果以及照射器与传感器之间的位置关系，通过三角测量来估计对象表面的深度信息。图案由照射器照射的多个照射光(多个构造元(configuration element))的组合构成。
52.此外，已知如下技术(所谓的主动立体方法)，该技术基于照射器与传感器(该传感器通常是立体相机)之间的位置关系、照射器对照射光的照射位置(参考照射器)、以及传感器对照射光的检测位置(参考传感器)，通过三角测量来估计用照射光照射的对象表面的深度信息。在这样的主动立体方法中，通常假设照射器与传感器之间的位置关系是预先已知的(即，是已知的)来估计对象表面的深度信息。
53.此外，根据结构光方法和主动立体方法的组合，可以基于照射器与传感器之间的位置关系、由照射器照射的图案的照射位置(参考照射器)、以及由传感器检测的图案的检测位置(参考传感器)，通过三角测量来估计用图案照射的对象的表面的深度信息。然后，将多个时间中的每一个时间处的深度信息临时相加(组合)，由此可以估计对象表面的三维形状。
54.(使用普通相机的情况)
55.此处，作为检测图案的传感器，通常使用输出通过图像传感器成像获得的整个图像(在下文中，其也被称为“捕获图像”)的传感器(在下文中，为了便于描述，相机可以被称为“普通相机”)。然而，由于需要输出整个捕获图像，所以普通相机具有帧速率不会变得太高的特征。将参照图1描述在帧速率不是那么大的情况下可能发生的事件。
56.注意，下面将描述输出红外光的检测结果的红外(ir)相机作为普通相机的示例。此时，照射器用红外光照射图案。然而，普通相机不限于ir相机。然后，照射器也可以用普通相机可以检测的波长带中的光照射图案就足够了。
57.图1是示出在使用ir相机的情况下获得的深度信息的示例的图。此处，例如，假设ir相机30和照射器(未示出)由用户手动地一起移动。参照图1，在一定时间示出了ir相机30-1，并且在ir相机30-1移动之后示出了ir相机30-2。ir相机30-2获得与由ir相机30-1获取的帧(捕获图像)相邻的帧。即，ir相机30-1和ir相机30-2获得两个连续的帧。
58.首先，ir相机30-1基于捕获的帧检测由照射器(未示出)照射对象表面f1的图案。然后，基于由ir相机30-1检测到的图案来估计对象表面f1的深度信息。随后，在ir相机30-1移动之后，ir相机30-2检测由照射器(未示出)照射在对象表面f2上的图案。然后，基于由ir相机30-2检测到的图案来估计对象表面f2的深度信息。
59.然而，如上所述，作为普通相机的示例的ir相机30具有帧速率不会变得太高的特征，因为需要输出整个捕获的图像。因此，在从ir相机30-1获得帧到ir相机30-2获得帧的时间内，可能发生不能获得对象表面的深度信息(即，不能获得对象表面f1与对象表面f2之间
的对象表面的深度信息)的事件。
60.此外，ir相机30在不能获得帧的时间段期间内省略深度信息，这可能导致不能以高清晰度估计对象表面的三维形状的事件。因此，还可以想到通过减小ir相机30与照射器(未示出)之间的移动速度来减小不能获得深度信息的对象表面。然而，即使ir相机30的移动速度减小，也可能发生获得期望范围内的深度信息需要时间的事件(即，不能以高速获得深度信息)。
61.(使用dvs相机的情况)
62.因此，在本公开内容的实施方式中，主要提出了一种能够以更高速度估计对象表面的深度信息的技术。具体地，已知传感器(第一传感器)，其检测在捕获图像中代替整个捕获图像而发生了大于或等于阈值(第一阈值)的亮度变化的位置(像素位置)。在本公开内容的实施方式中，基于传感器(照射器(未示出)的照射光)的检测位置来估计深度信息(第一深度信息)。
63.这样的传感器仅输出与输出整个图像的传感器相比亮度变化大于或等于阈值的位置，因此具有检测结果的输出速度(传送速度)高(即，帧速率高)的特征。因此，根据这样的配置，能够以更高的速度估计对象表面的深度信息。此外，可以基于对象表面的深度信息以高精度估计对象表面的三维形状。
64.作为检测捕获图像中发生大于或等于阈值的亮度变化的位置的传感器的示例，已知称为动态视觉传感器(dvs)的传感器。因此，在下文中，将描述dvs(在下文中，其也被称为“dvs相机”)被用作检测在捕获图像中发生了大于或等于阈值的亮度变化的位置的传感器的示例的情况。
65.注意，dvs相机检测对于每个像素是否发生大于或等于阈值的亮度变化。在dvs相机检测到发生了大于或等于阈值的亮度变化的像素的情况下，dvs相机可以输出在像素中发生了大于或等于阈值的亮度变化的事件。
66.例如，在dvs相机检测到亮度增加了阈值或更多的像素的情况下，作为事件，dvs相机输出像素的位置、检测到像素的时间(时间戳t(k))、以及指示亮度增加作为亮度变化的梯度的值。具体地，在像素开始被照射器新照射光的情况下(紧接在照射光从另一像素移动之后，紧接在照射光新出现之后等)，大于或等于阈值的亮度可以在像素中增加。
67.另一方面，在dvs相机检测到亮度降低了阈值或更多的像素的情况下，作为事件，dvs相机输出像素的位置、检测到像素的时间(时间戳t(k))、以及指示亮度降低的作为亮度变化的梯度的值。具体地，在像素不再由照射器用光照射的情况下(紧接在照射光移动到另一像素之后，紧接在照射光新消失之后等)，大于或等于阈值的亮度可能在像素中降低。
68.以这种方式，每个像素的照射光的变化(照射光在像素与另一像素之间的移动、照射光在像素上的出现、照射光从像素的消失等)可以由dvs相机检测为大于或等于阈值的亮度增加以及大于或等于阈值的亮度减小，并且可以作为事件输出。因此，通过观察由dvs相机输出的事件并将该事件与照射光相关联，可以跟踪照射光。
69.图2是示出在一起使用ir相机和dvs相机的情况下获得的深度信息的示例的图。此处，例如，假设ir相机30、dvs相机20和照射器(未示出)由用户手动地一起移动。参照图2，类似于图1，示出了在一定时间的ir相机30-1，并且示出了在ir相机30-1移动之后的ir相机30-2。另外，参照图2，示出了在ir相机30-1与ir相机30-2之间的定时处的dvs相机20-1和
dvs相机20-2。
70.在图2所示的示例中，dvs相机20-1的检测之后是dvs相机20-2的检测。即，在基于由ir相机30-1获得的帧估计对象表面f1的深度信息之后，基于由dvs相机20-1检测到的亮度变化(大于或等于阈值)已经发生的位置估计对象表面f11的深度信息。此后，基于由dvs相机20-2检测到的亮度变化(大于或等于阈值)已经发生的位置来估计对象表面f12的深度信息，并且然后基于由ir相机30-2获得的帧来估计对象表面f2的深度信息。
71.如在该示例中，通过组合使用ir相机30和dvs相机20，即使在ir相机30不能获得帧的时间内，dvs相机20也可以跟踪照射光。因此，即使在ir相机30不能获得帧的时间内，也可以基于dvs相机20的照射光的跟踪结果来估计对象表面的深度信息。因此，可以更快地估计对象表面的深度信息。
72.注意，图2示出了ir相机30也与dvs相机20一起使用的示例。然而，如稍后将描述的，本公开内容的实施方式可以不采用ir相机30。如上所述，dvs相机20通常具有比ir相机30更高的帧速率。因此，即使在单独使用dvs相机20而不使用ir相机30的情况下，也可以高速估计对象表面的深度信息。
73.此外，为了估计对象表面的三维形状，有必要在多个时间中的每个时间处添加深度信息。然而，如图2所示，在dvs相机20移动的情况下，照射光的观察位置(即，dvs相机20的位置和取向)可能随着时间的流逝而改变。由于通过作为参考的dvs相机20获得深度信息((观察位置是参考)，如果多个时间中的每一个处的深度信息按原样添加，则不能获得在相同世界坐标上表示的三维形状。
74.因此，在本公开内容的实施方式中，在考虑多个时间中的每一个处的照射光的观察位置(即，dvs相机20的位置和取向)之后，添加多个时间中的每一个处的深度信息。因此，即使在dvs相机20移动的情况下，也可以基于多个时间中的每一个的深度信息以高精度估计对象表面的三维形状。
75.以上描述了本公开内容的实施方式的概况。
76.《1.第一实施方式》
77.接下来，将参照图3至图8描述本公开内容的第一实施方式。
78.(1.1.系统配置示例)
79.首先，将描述根据本公开内容的第一实施方式的信息处理系统的配置示例。图3是示出根据本公开内容的第一实施方式的信息处理系统的配置示例的图。如图3所示，根据本公开内容的第一实施方式的信息处理系统1包括信息处理装置10、dvs相机20、ir相机30、照射器40和自身位置估计单元50。
80.此处，在图3所示的示例中，集成了信息处理装置10、dvs相机20、ir相机30、照射器40和自身位置估计单元50。然而，信息处理装置10可以不与dvs相机20、ir相机30、照射器40和自身位置估计单元50集成。此外，参照图3，示出了存在于真实空间中的对象70。
81.在图3所示的示例中，假设用户在手动移动信息处理系统1的同时使信息处理系统1估计对象70的形状。然而，信息处理系统1的移动不限于用户的手动移动。例如，信息处理系统1可以由机器人等移动，或者可以设置在移动体(例如，车辆、人等)中。替选地，如稍后将描述的，信息处理系统1可以固定在真实空间中的预定位置(即，信息处理系统1的位置可以不改变)。
82.此外，在图3所示的示例中，信息处理系统1在纸表面上从左向右移动，并且随着信息处理系统1的移动，照射器40在对象70上的照射光的位置也在纸表面上从左向右移动。然而，信息处理系统1的移动方向没有特别限制。
83.此外，其形状由信息处理系统1估计的对象70可以具有任何属性。例如，在图3所示的示例中，对象70是具有立方体形状的对象。然而，对象70的形状不限于立方体形状。此外，对象70可以是具有任何其他属性(例如，大小、颜色等)的对象。此外，对象70不限于可移动对象，并且可以是固定在该位置(例如，建筑物等)的对象。
84.此外，由信息处理系统1估计的形状可以不是对象70的整个形状。例如，由信息处理系统1估计的形状可以仅是对象70的一部分的形状。
85.上面已经描述了根据本公开内容的第一实施方式的信息处理系统的配置示例。
86.(1.2.功能配置示例)
87.接下来，将描述根据本公开内容的第一实施方式的信息处理系统1的功能配置示例。图4是示出根据本公开内容的第一实施方式的信息处理系统1的功能配置示例的图。如图4所示，根据本公开内容的第一实施方式的信息处理系统1包括信息处理装置10、dvs相机20、ir相机30、照射器40和自身位置估计单元50。
88.(照射器40)
89.照射器40可以由发射图案的投影仪配置。由照射器40照射的图案由多个构造元(多个照射光)的组合来配置。构造元的数目没有特别限制。此外，图案类型的数目可以是一个或多个。在存在多种类型的图案的情况下，可以从多种类型的图案中选择一种图案并照射。
90.在本公开内容的实施方式中，主要假设其中多个网点(点或圆)被散射的图案(随机网点图案)用作由照射器40照射的图案的情况。此时，主要假设多个构造元中的每一个由几个网点的组合来配置，并且可以由几个网点的排列来唯一地标识。然而，由照射器40照射的图案不限于这样的示例。
91.例如，由多条线或特殊元件构成的图案可以用作由照射器40照射的图案。替选地，可以通过拐角检测估计的图案可以用作由照射器40照射的图案。替选地，可以使用具有可见光的随机颜色图案作为由照射器40照射的图案。
92.此外，在本公开内容的实施方式中，主要假设照射器40利用ir波段中的光(红外光)照射图案的情况。然而，由照射器40照射的图案的波长带不限于ir波长带。例如，由照射器40照射的图案的波长带可以是可见光等的波长带。
93.(dvs相机20)
94.dvs相机20使图像传感器通过透镜和滤光器接收由照射器40照射的图案，并且基于接收的光获得由图像传感器生成的电信号。然后，dvs相机20基于电信号获得捕获图像。作为滤光器，可以使用使与照射器40照射的图案的波长带相同的波长带的光通过的滤光器。因此，由照射器40照射的图案的捕获图像(帧)由dvs相机20获得。假设dvs相机20的帧速率高于ir相机30的帧速率。
95.dvs相机20检测在捕获图像中发生了大于或等于阈值的亮度变化的位置。如上所述，在dvs相机20检测到亮度增加了阈值或更多的像素的情况下，dvs相机输出像素的位置、检测到像素的时间(时间戳t(k))，以及指示亮度增加作为亮度变化的梯度的值作为事件。
另一方面，在dvs相机检测到亮度降低了阈值或更多的像素的情况下，作为事件，dvs相机20输出像素的位置、检测到像素的时间(时间戳t(k))、以及指示亮度降低的作为亮度变化的梯度的值。
96.(ir相机30)
97.ir相机30使图像传感器通过透镜和滤光器接收由照射器40照射的图案，并且基于接收的光获得由图像传感器生成的电信号。然后，ir相机30基于电信号获得捕获图像。作为滤光器，可以使用使与照射器40照射的图案的波长带相同的波长带的光通过的滤光器。因此，由照射器40照射的图案的捕获图像(帧)由dvs相机20获得。
98.在本公开内容的实施方式中，如上所述，主要假设用ir波段中的光(红外光)照射图案。因此，ir相机30能够检测ir波段中的光(红外光)。然而，ir相机30可以适当地用能够检测由照射器40发射的图案的波长带中的光的相机代替。例如，在由照射器40照射的图案的波长带是可见光的波长带的情况下，可以使用可见光相机来代替ir相机30。
99.(自身位置估计单元50)
100.自身位置估计单元50通过估计自身位置和自身取向来获得自身位置信息和自身取向信息(在下文中，“位置信息”和“取向信息”也统称为“位置和取向信息”)。此处，不限制由自身位置估计单元50估计自身位置和自身取向的方法。
101.例如，自身位置估计单元50可以基于称为同时定位和映射(slam)的技术来估计真实空间中的自身位置(自身位置和取向)。例如，在使用slam的情况下，可以基于各种传感器的检测结果来估计相对于存在自身位置和取向的状态(初始状态)的变化量。作为传感器，可以使用立体相机或单目相机。这样的变化量是作为真实空间中的自身位置和取向而获得的。
102.替选地，自身位置估计单元50可以使用立体相机来估计真实空间中的自身位置和取向。例如，在使用立体相机的情况下，可以基于两个相机中的每一个检测真实空间中的预定点的位置以及两个相机之间的位置关系来估计相对于自身位置和取向的初始状态的变化量。这样的变化量是作为真实空间中的自身位置和取向而获得的。
103.替选地，自身位置估计单元50可以使用单目相机估计真实空间中的自身位置和取向。例如，在使用单目相机的情况下，可以基于单目相机在多个位置中的每个位置处检测到真实空间中的预定点的位置以及单目相机的多个位置之间的移动量来估计相对于自身位置和取向的初始状态的变化量。这样的变化量可以被估计为真实空间中的自身位置和取向。
104.替选地，自身位置估计单元50可以使用惯性测量单元(imu)估计真实空间中的自身位置和取向。imu是包括加速度传感器和角速度传感器的惯性测量设备，并且输出测量的加速度和角速度。例如，在使用imu的情况下，可以基于加速度和角速度通过惯性导航来估计相对于自身位置和取向的初始状态的变化量。这样的变化量是作为真实空间中的自身位置和取向而获得的。
105.注意，在使用imu的情况下，可以假设基于加速度和角速度以比由ir相机30对帧进行成像更高的速度执行自身位置和取向的估计。因此，在使用imu的情况下，可以直接估计由ir相机30获得的帧之间的自身位置和方向(不需要诸如线性插值的处理)。
106.替选地，自身位置估计单元50可以通过组合使用slam的估计、使用立体相机的估
计、使用单目相机的估计和使用imu的估计中的任何两个或更多个来估计真实空间中的自身位置和取向。
107.替选地，如稍后将描述的，深度信息开由深度信息估计单元132估计。因此，自身位置估计单元50可以基于由深度信息估计单元132估计的深度信息通过迭代最近点(icp)来估计自身位置和取向。此处，icp是由在多个时间的每一个处的深度信息指示的点云之间的对准算法。即，在使用icp的情况下，不必添加用于自身位置和取向的传感器。然后，可以将自身位置估计单元50结合到信息处理装置10中。
108.(信息处理装置10)
109.信息处理装置10连接至dvs相机20、ir相机30、照射器40和自身位置估计单元50中的每一个，并且基于来自dvs相机20、ir相机30和自身位置估计单元50的各种类型的信息来执行信息处理。此外，信息处理装置10控制照射器40的图案照射。信息处理装置10包括控制单元130和存储单元150。
110.(控制单元130)
111.控制单元130执行信息处理装置10的每个单元的控制。控制单元130包括例如一个或多个中央处理单元(cpu)等。在控制单元130包括诸如cpu的处理设备的情况下，处理设备可以包括电子电路。控制单元130可以通过由这种处理设备执行程序来实现。控制单元130包括照射控制单元131、深度信息估计单元132、集成处理单元133和记录控制单元134。稍后将描述这些块的细节。
112.(存储单元150)
113.存储单元150包括存储器，并且是存储由控制单元130执行的程序并存储用于执行程序所需的数据的记录介质。此外，存储单元150临时存储由控制单元130计算的数据。存储单元150包括磁性存储设备、半导体存储设备、光学存储设备、磁光存储设备等。
114.上面已经描述了根据本公开内容的第一实施方式的信息处理系统1的功能配置示例。
115.(1.3.功能细节)
116.接下来，将参照图5(适当地参照图1至图4)描述根据本公开内容的第一实施方式的信息处理系统1的功能细节。图5是示出根据本公开内容的第一实施方式的信息处理系统1的操作的示例的流程图。
117.(照射光的控制)
118.照射控制单元131控制照射器40，使得图案被照射器40照射。更具体地，照射控制单元131向照射器40输出用于指示图案照射的照射指令信号。在本公开内容的第一实施方式中，主要假设照射控制单元131控制照射器40，使得图案被照射器40恒定地照射。然而，如以下实施方式中描述的，照射控制单元131可以控制照射器40，使得在图案的照射与停止之间执行切换。
119.(第一帧)
120.ir相机30捕获第一帧(捕获图像)并且将捕获的第一帧输出至信息处理装置10。深度信息估计单元132基于从ir相机30输出的第一帧来检测图案(多个构造元)的一部分或全部。更具体地，深度信息估计单元132获得在从ir相机30输出的第一帧中检测到构造元的像素的位置作为检测位置(第三检测位置)。
121.深度信息估计单元132基于从ir相机30输出的第一帧中的构造元的检测位置来估计对象70的表面的深度信息(第二深度信息)(s11)。在下文中，由深度信息估计单元132基于从ir相机30输出的第一帧估计的时间t(n)处的深度信息也表示为深度d(n)。注意，如下所述，由深度信息估计单元132基于从ir相机30输出的第二帧估计的时间t(m)处的深度信息也表示为深度d(m)。
122.更具体地，控制单元130预先掌握ir相机30与照射器40之间的位置关系。因此，深度信息估计单元132可以基于从ir相机30输出的第一帧中的构造元的检测位置、构造元相对于照射器40的照射位置(即，指示照射器40已经参照照射器40的位置沿哪个方向照射构造元的信息)、以及ir相机30与照射器40之间的位置关系，通过三角测量来估计深度信息(深度d(n))。
123.以这种方式检测到的构造元的检测位置存储在存储单元150中(s12)。自身位置估计单元50通过估计时间t(n)处的自身位置和取向来获得自身位置和取向信息。在下文中，由自身位置估计单元50估计的时间t(n)处的自身位置和取向信息也表示为pcamera(n)。注意，如下所述，时间t(m)处的自身位置和取向信息也表示为pcamera(m)。
124.(构造元的跟踪)
125.假设用户移动信息处理系统1，同时从ir相机30输出第一帧和第二帧。此时，dvs相机20(第一传感器)检测对于每个像素是否已经发生阈值(第一阈值)或更大的亮度变化。如上所述，在dvs相机20检测到发生了大于或等于阈值的亮度变化的像素的情况下，dvs相机输出像素的位置、检测到像素的时间(时间戳t(k))和亮度变化的梯度作为事件。
126.深度信息估计单元132观察由dvs相机20输出的事件，并且将其中发生了大于或等于阈值的亮度的像素的位置与构造元相关联。因此，深度信息估计单元132可以检测构造元在dvs相机20的成像范围内的二维位置作为检测位置(第一检测位置)。深度信息估计单元132可以通过沿着时间序列检测多个时间处的构造元的二维位置来跟踪构造元的二维位置(s13)。
127.可能存在在构造元的跟踪期间不再检测到构造元的情况(构造元丢失的情况)。将参照图6至图8描述这种构造元的消失。
128.图6是用于描述在不使用dvs相机20的情况下检测构造元的位置的一般示例的图。参照图6，类似于图1所示的示例，ir相机30-1和ir相机30-2获得两个连续的帧。此外，在图6所示的示例中，在从由ir相机30-1获得帧到由ir相机30-2获得帧的时间中，可能发生不能获得对象表面的深度信息(即，不能获得对象表面f1与对象表面f2之间的对象表面的深度信息)的事件。在图6所示的示例中，不能获得深度信息的点是“？”。
129.在发生这样的事件的情况下，如图6所示，通常基于对象表面f1和对象表面f2的每一个的深度信息，通过线性插值近似等来补充对象表面f1与对象表面f2之间的对象表面的深度信息。然而，由于期望不能获得深度信息的点的形状根据对象而变化，因此对于不能获得深度信息的点通过线性插值来均匀地执行近似并不总是适当的。
130.图7和图8是用于说明由根据本公开内容的第一实施方式的信息处理系统1检测构造元的位置的示例的图。在图7所示的示例中，由于对象表面f1与对象表面f2之间的对象表面的形状变化是平缓的，所以即使在从由ir相机30-1获得帧时到由ir相机30-2获得帧时(也在检测点83处)的时间内，也使用dvs相机20来获得对象表面的深度信息(即，获得对象
表面f1与对象表面f2之间的对象表面的深度信息。
131.另一方面，在图8所示的示例中，由于对象表面f1与对象表面f2之间的对象表面的形状变化迅速，因此在从由ir相机30-1获得帧时到由ir相机30-2获得帧时为止的时间内，存在无法使用dvs相机20获得对象表面的深度信息的点(消失点81)(即，存在在对象表面f1与对象表面f2之间不能获得对象表面的深度信息的点)。当形状变化到达突然点(消失点81)时，构造元突然消失并且新出现在不同于消失点的位置。
132.深度信息估计单元132检测构造元的消失。更具体地，假设存在这样的配置单元，其中已经发生亮度已经减小阈值或更多的事件，但是没有发生亮度已经增大阈值或更多的事件。在这种情况下，深度信息估计单元132可以认为构造元已经消失。此时，深度信息估计单元132也可以将亮度下降了阈值或更多的位置检测为构造元的消失点81的开始位置。
133.此外，深度信息估计单元132检测构造元的外观。更具体地，假设亮度增加阈值或更多的事件同时作为几个网点的组发生。在这样的情况下，深度信息估计单元132可以检测网点组的位置作为出现位置(消失点81的结束位置)。注意，此时，不必唯一地标识哪个构造元对应于出现的构造元。关于消失和出现的这些信息可以用于与如下所述的消失点81相关的预定处理。
134.深度信息估计单元132基于构造元在dvs相机20的成像范围内的二维位置来估计对象70的表面的深度信息(第一深度信息)。注意，基于dvs相机20的成像范围中的构造元的二维位置估计的时间t(k)处的深度信息也表示为深度d(k)。时间t(k)是满足t(n)《t(m)《t(m)的时间。
135.更具体地，控制单元130预先掌握dvs相机20与照射器40之间的位置关系。因此，深度信息估计单元132可以基于构造元在dvs相机20的成像范围内的二维位置、构造元相对于照射器40的照射位置(即，指示照射器40相对于照射器40的位置照射了构造元的方向的信息)，以及dvs相机20与照射器40之间的位置关系，通过三角测量来估计深度信息(深度d(k))。
136.(第二帧)
137.ir相机30捕获第二帧(捕获图像)并且将捕获的第二帧输出至信息处理装置10。深度信息估计单元132基于从ir相机30输出的第二帧来检测图案(多个构造元)的一部分或全部。更具体地，深度信息估计单元132获得在从ir相机30输出的第二帧中检测到构造元的像素的位置作为检测位置(第三检测位置)。
138.此时，深度信息估计单元132可以唯一地识别哪个构造元对应于每个检测到的构造元。因此，在使用dvs相机20的跟踪中出现的构造元的标识信息可以通过基于第二帧获得的构造元的标识信息来掌握。此时，深度信息估计单元132还可以通过基于基于第一帧的构造元的检测位置和基于第二帧的构造元的检测位置反向估计帧之间的构造元的位置来提高使用dvs相机20的跟踪的精度。
139.深度信息估计单元132基于从ir相机30输出的第二帧中的构造元的检测位置来估计对象70的表面的深度信息(时间t(m)处的深度d(m))(s14)。更具体地，与深度(n)的估计类似，深度信息估计单元132可以基于从ir相机30输出的第二帧中的构造元的检测位置、构造元相对于照射器40的照射位置、以及ir相机30与照射器40之间的位置关系，通过三角测量来估计深度信息(深度d(m))。
140.自身位置估计单元50通过估计时间t(m)处的自身位置和取向来获得自身位置和取向信息(时间t(m)处的自身位置和取向信息pcamera(m))。pcamera(m)相对于pcamera(n)对应于自身位置估计单元50在一帧之间的移动(s15)。
141.(三维信息的估计)
142.集成处理单元133需要基于深度d(n)、d(k)和d(m)执行集成处理，以获得对象70的三维形状。然而，如上所述，在信息处理系统1的移动期间，照射光的观察位置可能随着时间的流逝而改变。即，由于深度d(n)、d(k)和d(m)是基于可以改变的观察位置获得的，所以如果深度d(n)、d(k)和d(m)按原样相加，则不能获得在相同世界坐标上表示的三维形状。
143.因此，集成处理单元133获得自身位置和取向信息pcamera(k)。此处，可以以任何方式获得自身位置和取向信息pcamera(k)。在本公开内容的第一实施方式中，主要假设集成处理单元133基于时间t(n)、t(k)、t(m)、pcamera(n)和pcamera(m)通过线性插值来计算pcamera(k)。然而，如上所述，在使用imu的情况下，可以直接估计pcamera(k)(不需要诸如线性插值的处理)。
144.集成处理单元133基于深度d(n)、d(k)和d(m)以及自身位置和取向信息pcamera(n)、pcamera(k)和pcamera(m)通过逆投影处理来估计世界坐标上的三维信息p(n)、p(k)和p(m)。例如，这种三维信息对应于在时间t(n)、t(k)和t(m)中的每一个处用照射光照射的对象70的表面的三维位置(每个构造元的三维位置)(s16)，并且可以表示为同一世界坐标上的三维点组。
145.在时间t(n)与时间t(m)之间获得多个时间的每一个处的深度d(k)的情况下，获得与多个时间的每一个对应的三维信息p(k)。
146.(三维信息的集成)
147.集成处理单元133对这样估计的三维信息进行集成。更具体地，集成处理单元133在时间t(n)、t(k)和t(m)的每一个处集成每个构造元的三维信息(s17)。因此，可以获得对象表面的更高清晰度的三维形状。
148.作为示例，集成处理单元133可以通过将其他三维信息(其他帧的三维信息和通过跟踪获得的三维信息)添加到从参考帧的三维信息生成的参考深度图来生成高清晰度深度图。
149.例如，集成处理单元133可以通过将其他三维信息(第二帧的三维信息p(m)和通过跟踪获得的三维信息p(k))添加到作为从第一帧的三维信息p(n)生成的参考的深度图来生成高清晰度深度图。注意，为了生成这样的高清晰度深度图，可以应用与基于多个图像的超分辨率的恢复有关的各种已知技术。
150.作为另一示例，集成处理单元133可以通过基于其他三维信息(其他帧的三维信息和通过跟踪获得的三维信息)分解构成三维表面信息的三角形(例如，三角形网格等)的对应点来生成高清晰度三维形状(网格表示)，其中，所述三维表面信息是从作为参考的帧的三维信息生成的参考。
151.例如，集成处理单元133可以通过基于其他三维信息(第二帧的三维信息p(m)和通过跟踪获得的三维信息p(k))分解构成用作从第一帧的三维信息p(n)生成的参考的三维表面信息的三角形(例如，三角形网格等)的对应点，来提高表面信息的清晰度。注意，与表面信息的重构有关的各种已知技术也可以应用于这种高清晰度表面信息的生成。
152.作为另一示例，集成处理单元133还可以通过简单地将以这种方式估计的三维信息相加作为三维点组来生成高清晰度三维形状。记录控制单元134控制存储单元150存储以这种方式获得的三维形状。当s17结束时，操作进行至s12，并且对第二帧和第三帧连续执行s12之后的处理(与上述涉及第一帧和第二帧的处理类似的处理)。
153.注意，在s13中获得的关于构造元消失的信息可以用于集成处理单元133中的集成处理。例如，在存在dvs相机20没有检测到构造元的消失点81(图8)的情况下，集成处理单元133可以执行与消失点81相关的预定处理。
154.作为示例，集成处理单元133可以执行将指示形状不确定的信息与消失点(消失点的三维位置)相关联的处理，作为与消失点81相关的预定处理。更具体地，集成处理单元133可以执行将指示形状不确定的信息与对应于由存储单元150存储的三维形状的消失点的位置相关联的处理。
155.根据这样的配置，在存在尚未获得三维形状的点的情况下，如果指示形状不确定的信息与该点相关联，则可以掌握该点是已经尝试了形状估计但形状估计尚未成功的点。另一方面，如果指示形状不确定的信息与没有获得三维形状的点不相关联，则可以掌握该点是没有尝试形状估计的点。
156.替选地，集成处理单元133可可以执行补充对应于消失点81的三维形状的补充处理。参照图8，在邻近消失点81的位置处存在检测构造元的检测点82。在这种情况下，集成处理单元133可以基于对应于检测点82的三维形状执行补充对应于消失点81的三维形状的补充处理作为与消失点81相关的预定处理。因此，可以自动补充形状估计未成功的点。
157.更特别地，认为构造元的消失与形状(例如，形状的倾斜)连续性的损失相关联。因此，由集成处理单元133执行的补充处理可以包括降低形状的连续性的处理。因此，可以估计与实际存在的对象的形状接近的形状。此处，降低形状连续性的处理没有限制。例如，由集成处理单元133执行的补充处理可以包括基于对应于检测点82的三维形状来估计对应于消失点81的三维形状的处理。
158.例如，在集成处理单元133将深度图生成为三维形状的情况下，可以估计消失点81的形状，使得对应于检测点82的三维形状的倾斜度和对应于消失点81的三维形状的倾斜度与构造元的消失相匹配。此外，在集成处理单元133将表面信息(例如，三角形网格等)生成为三维形状的情况下，可以通过基于关于消失点81的信息确定网格的连接的通过或失败来估计消失点81的形状。
159.作为示例，由集成处理单元133执行的补充处理可以包括估计与消失点81对应的三维形状的倾斜度的处理，使得由与检测点82对应的三维形状的倾斜度和与消失点81对应的三维形状的倾斜度形成的角度是预定角度或更大(在图8所示的示例中为90度)。
160.注意，实际中存在的对象的相邻表面是连续的。因此，如图8所示，由集成处理单元133执行的补充处理可以包括估计对应于消失点81的形状的位置的处理，使得对应于检测点82的三维形状的位置和对应于消失点81的三维形状的位置是连续的。
161.上面已经描述了根据本公开内容的第一实施方式的信息处理系统1的功能细节。
162.(1.4.第一实施方式的概况)
163.如上所述，在本公开内容的第一实施方式中，深度信息估计单元132基于由照射器40从dvs相机20输出的照射光的第一检测位置来估计第一深度信息，所述照射器40检测发
生亮度变化大于或等于第一阈值的位置。然后，集成处理单元133基于第一深度信息和第一传感器在多个时间中的每个时间的位置和取向信息来估计三维信息。
164.具体地，在本公开内容的第一实施方式中，作为普通相机的示例的ir相机30也与dvs相机20结合使用。更具体地，深度信息估计单元132基于由照射器40基于从ir相机30输出的捕获图像检测到的照射光的第三检测位置来估计第二深度信息。然后，集成处理单元133基于第一深度信息和第二深度信息执行集成处理。
165.根据这样的配置，即使在由ir相机30获得的多个帧之间，也使用dvs相机20获得深度信息。因此，根据这样的配置，可以使用多个帧之间的深度信息以更高的清晰度估计对象表面的三维形状。此外，根据这种配置，由于可以基于从作为普通相机的示例的ir相机30输出的整个图像来估计较宽范围内的深度信息，所以可以获得较宽范围内的三维形状。
166.以上描述了本公开内容的第一实施方式。
167.《2.第二实施方式》
168.接下来，将参照图9至图11描述本公开内容的第二实施方式。
169.(2.1.系统配置示例)
170.首先，将描述根据本公开内容的第二实施方式的信息处理系统的配置示例。图9是示出根据本公开内容的第二实施方式的信息处理系统2的配置示例的图。如图9所示，与根据本公开内容的第二实施方式的信息处理系统1类似，根据本公开内容的第二实施方式的信息处理系统2包括dvs相机20、照射器40和自身位置估计单元50。此外，根据本公开内容的第二实施方式的信息处理系统2包括信息处理装置12，而不是根据本公开内容的第一实施方式的信息处理装置10。
171.在本公开内容的第一实施方式中，已经描述了dvs相机20和普通相机一起使用的情况。在本公开内容的第二实施方式中，主要假设仅dvs相机20用于检测照射光而不使用普通相机。然而，在仅使用dvs相机20来检测照射光的情况下，仅在发生了大于或等于阈值的亮度变化的情况下估计深度信息。因此，难以高速获得三维信息。
172.因此，在本公开内容的第二实施方式中，照射控制单元135(图10)控制照射器40以在照射光的照射(即，照明)与停止(即，熄灯)之间切换(即，闪烁)。如在本公开内容的第一实施方式中所描述的，紧接在照射光在某个像素中新消失之后，大于或等于阈值的亮度可以在像素中降低。另一方面，紧接在照射光新出现在某个像素中之后，大于或等于阈值的亮度可能在像素中增加。
173.即，照射器40在照射光的照射与停止之间切换，使得可以有意地引起照射光的消失和出现，并且可以有意地引起亮度变化大于或等于阈值的事件。因此，基于发生了大于或等于阈值的亮度变化的像素的位置更频繁地估计深度信息，因此，可以以更高的速度获得三维信息。此外，这消除了使用普通相机的需要，从而可以降低提供普通相机的成本。
174.上面已经描述了根据本公开内容的第二实施方式的信息处理系统2的配置示例。
175.(2.2.功能配置示例)
176.随后，将描述根据本公开内容的第二实施方式的信息处理系统2的功能配置示例。图10是示出根据本公开内容的第二实施方式的信息处理系统2的功能配置示例的图。如图10所示，根据本公开内容的第二实施方式的信息处理系统2包括信息处理装置12、dvs相机20、照射器40和自身位置估计单元50。
177.另一方面，与根据本公开内容的第一实施方式的信息处理系统1不同，根据本公开内容的第二实施方式的信息处理系统2不包括作为普通相机的示例的ir相机30。控制单元130包括照射控制单元135、深度信息估计单元136、集成处理单元133和记录控制单元134。在下文中，将具体详细描述照射控制单元135和深度信息估计单元136。
178.上面已经描述了根据本公开内容的第二实施方式的信息处理系统2的功能配置示例。
179.(2.3.功能细节)
180.接下来，将参照图11(适当地参照图9和图10)描述根据本公开内容的第二实施方式的信息处理系统2的功能细节。图11是示出根据本公开内容的第二实施方式的信息处理系统2的操作的示例的流程图。
181.(用照射光照射)
182.照射控制单元135控制照射器40，使得图案被照射器40照射(s21)。更具体地，照射控制单元135向照射器40输出用于指示图案照射的照射指令信号。然而，在本公开内容的第二实施方式中，稍后停止该图案。
183.(第一帧)
184.图案的照射导致照射位置处的亮度增加大于或等于阈值(第一阈值)。dvs相机20(第一传感器)检测每个像素是否发生阈值(第一阈值)或更大的亮度变化。在dvs相机20检测到发生了大于或等于阈值的亮度变化的像素的情况下，dvs相机输出像素的位置、检测到像素的时间(时间戳t(n))和亮度变化的梯度作为事件。
185.深度信息估计单元136观察由dvs相机20输出的事件，并且将其中生成大于或等于阈值的亮度的像素的位置与构造元相关联。因此，深度信息估计单元136可以检测构造元在dvs相机20的成像范围中的二维位置作为检测位置(第一检测位置)。深度信息估计单元136基于构造元在dvs相机20的成像范围中的检测位置来估计对象70的表面的深度信息(在时间t(n)的深度d(n))(s22)。
186.将以这种方式检测到的构造元的检测位置存储在存储单元150中(s23)。类似于本公开内容的第一实施方式，自身位置估计单元50通过估计时间t(n)处的自身位置和取向来获得自身位置和方向信息(时间t(n)处的自身位置和取向信息pcamera(n))。
187.(构造元的跟踪)
188.此外，在本公开内容的第二实施方式中，如在本公开内容的第一实施方式中，dvs相机20(第一传感器)检测对于每个像素是否已经发生阈值(第一阈值)或更大的亮度变化。如上所述，在dvs相机20检测到发生了大于或等于阈值的亮度变化的像素的情况下，dvs相机输出像素的位置、检测到像素的时间(时间戳t(k))和亮度变化的梯度作为事件。
189.深度信息估计单元136观察由dvs相机20输出的事件，并且将其中生成大于或等于阈值的亮度的像素的位置与构造元相关联。因此，深度信息估计单元136可以检测构造元在dvs相机20的成像范围中的二维位置作为检测位置(第一检测位置)。深度信息估计单元136可以通过沿着时间序列在多个时间处检测构造元的二维位置来跟踪构造元的二维位置(s24)。
190.可能存在在构造元的跟踪期间不再检测到构造元的情况(构造元丢失的情况)。可以以与本公开内容的第一实施方式中的与构造元的消失相关的处理类似的方式来执行与
构造元的消失相关的处理。
191.(照射光的停止和照射)
192.照射控制单元135控制照射器40使得图案被照射器40停止，并且控制照射器40使得图案被照射器40照射(s25)。更具体地，照射控制单元135向照射器40输出用于指示停止图案的停止指示信号，并且向照射器40输出用于指示照射图案的照射指令信号。注意，此处，假设在停止和照射图案之后执行s26中和之后的操作，但是可以仅在停止图案之后执行s26中和之后的操作。
193.(第二帧)
194.图案的停止和照射引起大于或等于照射位置处的阈值(第一阈值)的亮度增加。dvs相机20(第一传感器)检测每个像素是否发生阈值(第一阈值)或更大的亮度变化。在dvs相机20检测到亮度变化大于或等于阈值的像素的情况下，dvs相机输出像素的位置、检测到像素的时间(时间戳t(m))和亮度变化的梯度作为事件。
195.深度信息估计单元136观察由dvs相机20输出的事件，并且将其中生成大于或等于阈值的亮度的像素的位置与构造元相关联。因此，深度信息估计单元136可以检测构造元在dvs相机20的成像范围内的二维位置作为检测位置。深度信息估计单元136基于构造元在dvs相机20的成像范围中的检测位置来估计对象70的表面的深度信息(在时间t(m)的深度d(m))(s26)。
196.与本公开内容的第一实施方式类似，自身位置估计单元50通过估计时间t(m)处的自身位置和取向来获得自身位置和取向信息(时间t(m)处的自身位置和取向信息pcamera(m))。pcamera(m)相对于pcamera(n)对应于自身位置估计单元50在一帧之间的移动(s27)。
197.(三维信息的估计)
198.类似于本公开内容的第一实施方式，集成处理单元133获得自身位置和取向信息pcamera(k)。然后，集成处理单元133基于深度d(n)、d(k)和d(m)以及自身位置和取向信息pcamera(n)、pcamera(k)和pcamera(m)通过逆投影处理来估计世界坐标上的三维信息p(n)、p(k)和p(m)。
199.(三维信息的集成)
200.与本公开内容的第一实施方式类似，集成处理单元133在时间t(n)、t(k)和t(m)的每一个处对每个构造元的三维信息进行集成(s29)。因此，可以获得对象表面的更高清晰度的三维形状。记录控制单元134控制存储单元150存储以这种方式获得的三维形状。当s29结束时，操作进行至s23，并且对第二帧和第三帧连续执行s23之后的处理(类似于上述与第一帧和第二帧相关的处理的处理)。
201.上面已经描述了根据本公开内容的第二实施方式的信息处理系统2的功能细节。
202.(2.4.第二实施方式的概况)
203.如上所述，在本公开内容的第二实施方式中，照射控制单元135控制照射器40以在照射光的照射和停止之间切换。根据这样的配置，能够有意地引起照射光的消失和出现，并且能够有意地引起亮度变化大于或等于阈值的事件。因此，基于发生了大于或等于阈值的亮度变化的像素的位置更频繁地估计深度信息，因此，可以以更高的速度获得三维信息。此外，根据这种配置，由于不需要使用普通相机，所以可以降低提供普通相机的成本。
204.上面已经描述了本公开内容的第二实施方式。
205.《3.第三实施方式》
206.接下来，将参照图12至图14描述本公开内容的第三实施方式。
207.(3.1.系统配置示例)
208.首先，将描述根据本公开内容的第三实施方式的信息处理系统的配置示例。图12是示出根据本公开内容的第二实施方式的信息处理系统3的配置示例的图。如图12所示，与根据本公开内容的第二实施方式的信息处理系统2类似，根据本公开内容的第三实施方式的信息处理系统3包括dvs相机20、照射器40和自身位置估计单元50。此外，根据本公开内容的第三实施方式的信息处理系统3包括信息处理装置13，而不是根据本公开内容的第二实施方式的信息处理装置12。
209.在本公开内容的第二实施方式中，已经描述了照射控制单元135(图10)控制照射器40以在照射光的照射和停止之间切换的情况。然而，由于在照射光停止的期间不能发生大于或等于阈值的亮度变化的事件，因此不基于发生了大于或等于阈值的亮度变化的像素的位置来估计深度信息。
210.因此，在本公开内容的第三实施方式中，照射控制单元138(图13)控制照射器40以在多个相互不同的图案之间切换照射图案。因此，可以增加阈值或更大的亮度变化事件发生的时间。然后，由于基于亮度变化大于或等于阈值的像素的位置更频繁地估计深度信息，所以可以以更高的速度获得三维信息。此外，如在本公开内容的第二实施方式中，因为不需要使用普通相机，所以可以降低用于提供普通相机的成本。
211.上面已经描述了根据本公开内容的第三实施方式的信息处理系统3的配置示例。
212.(3.2.功能配置示例)
213.接下来，将描述根据本公开内容的第三实施方式的信息处理系统3的功能配置示例。图13是示出根据本公开内容的第三实施方式的信息处理系统3的功能配置示例的图。如图13所示，根据本公开内容的第三实施方式的信息处理系统3包括信息处理装置13、dvs相机20、照射器40和自身位置估计单元50。
214.与根据本公开内容的第二实施方式的信息处理系统2类似，根据本公开内容的第三实施方式的信息处理系统3不包括作为普通相机的示例的ir相机30。控制单元130包括照射控制单元138、深度信息估计单元136、集成处理单元133和记录控制单元134。在下文中，将具体详细描述照射控制单元135。
215.上面已经描述了根据本公开内容第三实施方式的信息处理系统3的功能配置示例。
216.(3.3.功能细节)
217.接下来，将参照图14(适当地参照图12和图13)描述根据本公开内容的第三实施方式的信息处理系统3的功能细节。图14是示出根据本公开内容的第三实施方式的信息处理系统3的操作的示例的流程图。
218.(用照射光照射)
219.照射控制单元138控制照射器40，使得多个互不相同的图案中的第一图案作为照射图案被照射器40照射(s31)。更具体地，照射控制单元135向照射器40输出用于指示第一图案的照射的照射指令信号。然而，在本公开内容的第三实施方式中，稍后将照射图案切换到多个图案中与第一图案不同的第二图案。
220.随后，与本公开内容的第二实施方式中的对应处理(s22至s24)类似地执行s32至s34。
221.(照射光的切换)
222.照射控制单元135控制照射器40，使得照射图案被照射器40切换到多个图案中不同于第一图案的第二图案(s35)。更具体地，照射控制单元135向照射器40输出用于指示图案切换的切换指令信号。通过这样的模式切换，与模式停止的情况相比，能够增加亮度变化大于或等于阈值的事件发生的时间。
223.随后，与本公开内容的第二实施方式中的对应处理(s26至s29)类似地执行s36至s39。当s39结束时，操作进行至s33，并且对第二帧和第三帧连续执行s33之后的处理(类似于上述与第一帧和第二帧相关的处理的处理)。
224.此时，在s35中，照射控制单元138可以控制照射器40，使得照射模式可以从第二模式切换到第一模式。替选地，在预先准备三个或更多个图案的情况下，可以控制照射器40，使得照射图案可以从第二图案切换到第三图案。
225.上面已经描述了根据本公开内容的第三实施方式的信息处理系统3的功能细节。
226.(3.4.第三实施方式的概况)
227.如上所述，在本公开内容的第三实施方式中，照射控制单元138控制照射器40以在多个互不相同的图案之间切换照射图案。根据这样的配置，能够增加阈值或更多的亮度变化的事件发生的时间。然后，由于基于亮度变化大于或等于阈值的像素的位置更频繁地估计深度信息，所以可以以更高的速度获得三维信息。此外，如在本公开内容的第三实施方式中，因为不需要使用普通相机，所以可以降低用于提供普通相机的成本。
228.上面已经描述了本发明的第三实施方式。
229.《4.硬件配置示例》
230.随后，将参照图15描述作为根据本公开内容的第一实施方式的信息处理装置900的示例的信息处理装置10的硬件配置示例。图15是示出信息处理装置900的硬件配置示例的框图。注意，信息处理装置10不必具有图15所示的整个硬件配置，并且图15所示的硬件配置的一部分可以不存在于信息处理装置10中。此外，根据本公开内容的第二实施方式的信息处理装置12和根据本公开内容的第三实施方式的信息处理装置13中的每一个的硬件配置可以类似于信息处理装置10的硬件配置来实现。
231.如图15所示，信息处理装置900包括中央处理单元(cpu)901、只读存储器(rom)903和随机存取存储器(ram)905。此外，信息处理装置900可包括主机总线907、桥接器909、外部总线911、接口913、输入设备915、输出设备917、存储设备919、驱动器921、连接端口923和通信设备925。代替cpu 901或除cpu 901之外，信息处理装置900可以包括称为数字信号处理器(dsp)或专用集成电路(asic)的处理电路。
232.cpu 901用作算术处理设备和控制设备，并且根据记录在rom 903、ram 905、存储设备919或可移除记录介质927中的各种程序来控制信息处理装置900中的整体操作或部分操作。rom 903存储cpu 901使用的程序、操作参数等。ram 905临时存储在cpu 901的执行中使用的程序、在执行中适当改变的参数等。cpu 901、rom 903和ram 905通过包括诸如cpu总线的内部总线的主机总线907相互连接。此外，主机总线907经由桥接器909连接至外部总线911，例如外围组件互连/接口(pci)总线。
233.输入设备915例如是由用户操作的设备，诸如按钮。输入设备915可以包括鼠标、键盘、触摸面板、开关、杠杆等。此外，输入设备915可以包括检测用户语音的麦克风。输入装置915例如可以是使用红外线或其他无线电波的遥控设备，或者是与信息处理装置900的操作相对应的诸如移动电话的外部连接设备929。输入设备915包括输入控制电路，其基于用户输入的信息生成输入信号，并将输入信号输出至cpu 901。用户操作输入设备915以向信息处理装置输入各种类型的数据或指示信息处理装置900执行处理操作。此外，稍后将描述的成像装置933还可以通过对用户的手、用户的手指等的移动进行成像而用作输入设备。此时，可以根据手的移动或手指的方向来确定指向位置。
234.输出设备917包括能够可视地或可听地通知用户所获取的信息的设备。输出设备917例如可以是诸如液晶显示器(lcd)或有机电致发光(el)显示器的显示设备、诸如扬声器或耳机的声音输出设备等。此外，输出设备917可以包括等离子体显示板(pdp)、投影仪、全息图、打印机设备等。输出设备917将通过信息处理装置900的处理获得的结果作为诸如文本或图像的视频，或作为诸如语音或音频的声音输出。此外，输出设备917可以包括灯等以使周围环境变亮。
235.存储设备919是被配置为信息处理装置900的存储单元的示例的数据存储设备。存储设备919例如包括诸如硬盘驱动器(hdd)的磁存储设备、半导体存储设备、光存储设备、磁光存储设备等。存储设备919存储由cpu 901执行的程序、各种数据、从外部获取的各种数据等。
236.驱动器921是用于诸如磁盘、光盘、磁光盘或半导体存储器的可移除记录介质927的读取器和写入器，并且内置在信息处理装置900中或外部附加至信息处理装置900。驱动器921读取记录在附加的可移除记录介质927中的信息，并将该信息输出至ram 905。此外，驱动器921在附加的可移除记录介质927中写入记录。
237.连接端口923是用于将设备直接连接至信息处理设备900的端口。连接端口923可以是例如通用串行总线(usb)端口、ieee 1394端口、小型计算机系统接口(scsi)端口等。此外，连接端口923可以是rs-232c端口、光学音频终端、高清晰度多媒体接口(hdmi)(注册商标)端口等。通过将外部连接设备929连接至连接端口923，可以在信息处理装置900与外部连接设备929之间交换各种数据。
238.通信设备925例如是包括用于连接至网络931的通信设备等的通信接口。通信设备925例如可以是用于有线或无线局域网(lan)、蓝牙(注册商标)或无线usb(wusb)的通信卡。此外，通信设备925可以是用于光通信的路由器、用于非对称数字用户线(adsl)的路由器、用于各种类型的通信的调制解调器等。通信设备925例如使用诸如tcp/ip的预定协议向因特网和其他通信设备发送信号等以及从因特网和其他通信设备接收信号等。此外，连接至通信设备925的网络931是以有线或无线方式连接的网络，并且例如是因特网、家庭lan、红外通信、无线电波通信、卫星通信等。
239.《5.各种修改示例》
240.虽然已经参照附图详细描述了本公开内容的优选实施方式，但是本公开内容的技术范围不限于这些示例。明显的是，本公开内容的技术领域中具有普通知识的技术人员可以在权利要求中描述的技术思想的范围内构思各种改变示例或修改示例，并且自然地理解，这些也属于本公开内容的技术范围。
241.(立体相机系统)
242.例如，在本公开内容的第一实施方式至本公开内容的第三实施方式中，已经主要将使用其照射位置已知的图案的情况描述为由照射器40照射的照射光的示例。即，已经主要描述了使用结构化光方法的情况。然而，作为由照射器40照射的照射光，照射位置未知的照射光可以由照射器40照射。即，可以不使用结构光方法。在这种情况下，每个实施方式中使用的相机可以是立体相机。
243.例如，在本公开内容的第一实施方式中，可以使用两个ir相机30作为普通相机的示例。更具体地，假设控制单元130预先掌握两个ir相机30之间的位置关系。
244.此时，深度信息估计单元132可以基于从第一ir相机30(第三传感器)输出的帧中的照射光的检测位置(第三检测位置)、从第二ir相机30输出的帧中的照射光的检测位置(第四检测位置)以及两个ir相机30之间的位置关系，通过三角测量来估计深度信息(第二深度信息)。
245.此外，在本公开内容的第一至第三实施方式中，可以使用两个dvs相机20。更具体地，假设控制单元130预先掌握两个dvs相机20之间的位置关系。
246.此时，在本公开内容的第一实施方式中，深度信息估计单元132可以基于从检测发生第一阈值或更多的亮度变化的位置的第一dvs相机20(第一传感器)输出的照射器40的照射光的检测位置(第一检测位置)、从检测发生第二阈值或更多的亮度变化的位置的第二dvs相机(第二传感器)输出的照射器40的照射光的检测位置(第二检测位置)、以及两个dvs相机20之间的位置关系，通过三角测量来估计深度信息(第一深度信息)。
247.此外，在本公开内容的第二实施方式和本公开内容的第三实施方式中，深度信息估计单元136可以基于从检测发生第一阈值或更多的亮度变化的位置的第一dvs相机20(第一传感器)输出的照射器40的照射光的检测位置(第一检测位置)、从检测发生第二阈值或更多的亮度变化的位置的第二dvs相机(第二传感器)输出的照射器40的照射光的检测位置(第二检测位置)、以及两个dvs相机20之间的位置关系，通过三角测量来估计深度信息(第一深度信息)。
248.(对动物体的反应)
249.本公开内容的第一实施方式主要假设移动信息处理系统1的情况。然而，信息处理系统1可以被固定并且在相同的地方使用而不被移动。类似地，同样在本公开内容的第二实施方式中，信息处理系统2可以被固定并在相同的地方使用而不被移动，并且同样在本公开内容的第三实施方式中，信息处理系统3可以被固定并在相同的地方使用而不被移动。
250.在这种情况下，可以估计动物体的表面的深度信息。此时，可以使用对由照射器40照射的构造元的跟踪来补充多个帧之间的各像素中的深度变化。因此，可以高速地执行深度的更新。当以这种方式估计深度信息时，集成处理单元133在多个时间的每一个出执行添加深度信息的处理。
251.此外，本说明书中描述的效果仅是说明性或示例性的，而不是限制性的。即，根据本公开内容的技术，能够与上述效果一起或者代替上述效果，根据本说明书的说明书发挥对本领域技术人员明显的其他效果。
252.注意，以下配置也属于本公开内容的技术范围。
253.(1)
254.一种信息处理装置，包括：
255.深度信息估计单元，其基于照射器的照射光的第一检测位置来估计第一深度信息，所述第一检测位置是从检测到发生了大于或等于第一阈值的亮度变化的位置的第一传感器输出的；以及
256.集成处理单元，其基于多个时间中的每个时间处的所述第一传感器的位置和取向信息以及所述第一深度信息来估计三维信息。
257.(2)
258.根据上述(1)所述的信息处理装置，其中，
259.在存在所述第一传感器未检测到照射光的消失点的情况下，所述集成处理单元执行与所述消失点相关的预定处理。
260.(3)
261.根据上述(2)所述的信息处理装置，其中，
262.所述集成处理单元执行将指示形状不确定的信息与所述消失点相关联的处理，作为与所述消失点相关的所述预定处理。
263.(4)
264.根据上述(2)所述的信息处理装置，其中，
265.如果存在在与所述消失点相邻的位置处检测到所述照射光的检测点，则所述集成处理单元基于与所述检测点相对应的形状的信息来执行与所述消失点相对应的形状的补充信息的补充处理，作为与所述消失点相关的所述预定处理。
266.(5)
267.根据上述(4)所述的信息处理装置，其中，
268.所述补充处理包括估计与所述消失点相对应的形状的倾斜度的处理，使得由与所述检测点相对应的形状的倾斜度和与所述消失点相对应的形状的倾斜度形成的角度大于或等于预定角度。
269.(6)
270.根据上述(4)或(5)所述的信息处理装置，其中，
271.所述补充处理包括估计与所述消失点相对应的形状的位置的处理，使得与所述检测点相对应的形状的位置和与所述消失点相对应的形状的位置是连续的。
272.(7)
273.根据上述(1)至(6)中任一项所述的信息处理装置，其中，
274.所述照射器执行所述照射光的照射与停止之间的切换。
275.(8)
276.根据上述(1)至(6)中任一项所述的信息处理装置，其中，
277.所述照射器在相互不同的多个图案间切换照射图案。
278.(9)
279.根据上述(1)至(8)中任一项所述的信息处理装置，其中，
280.所述深度信息估计单元基于所述第一检测位置、照射光的相对于所述照射器的照射位置以及所述第一传感器与所述照射器之间的位置关系来估计所述第一深度信息。
281.(10)
282.根据上述(1)至(8)中任一项所述的信息处理装置，其中，
283.所述深度信息估计单元基于第一检测位置、所述照射器的照射光的第二检测位置、以及所述第一传感器与第二传感器之间的位置关系来估计所述第一深度信息，所述第二检测位置是从检测到发生了大于或等于第二阈值的亮度变化的位置的所述第二传感器输出的。
284.(11)
285.根据上述(1)所述的信息处理装置，其中，
286.所述深度信息估计单元基于所述照射器的照射光的第三检测位置来估计第二深度信息，所述第三检测位置是基于从第三传感器输出的捕获图像来检测的，并且
287.所述集成处理单元基于所述第一深度信息和所述第二深度信息执行集成处理。
288.(12)
289.根据上述(11)所述的信息处理装置，其中，
290.所述集成处理包括基于所述第一深度信息、所述第二深度信息、所述第一传感器的位置和取向信息以及所述第三传感器的位置和取向信息来估计三维信息的处理。
291.(13)
292.根据上述(11)或(12)所述的信息处理装置，其中，
293.所述深度信息估计单元基于所述第三检测位置、照射光的相对于所述照射器的照射位置、以及所述第三传感器与所述照射器之间的位置关系来估计所述第二深度信息。
294.(14)
295.根据上述(11)或(12)所述的信息处理装置，其中，
296.所述深度信息估计单元基于所述第三检测位置和所述照射器的照射光的第四检测位置来估计所述第二深度信息，所述第四检测位置是基于从第四感测器输出的捕获图像而检测的。
297.(15)
298.一种信息处理方法，包括：
299.基于照射器的照射光的第一检测位置来估计第一深度信息，所述第一检测位置是从检测到发生了大于或等于第一阈值的亮度变化的位置的第一传感器输出的；以及
300.由处理器基于多个时间中的每个时间处的所述第一传感器的位置和取向信息以及所述第一深度信息来估计三维信息。
301.(16)
302.一种用于使计算机用作信息处理装置的程序，所述作信息处理装置包括：
303.深度信息估计单元，其基于照射器的照射光的第一检测位置来估计第一深度信息，所述第一检测位置是从检测到发生了大于或等于第一阈值的亮度变化的位置的第一传感器输出的；以及
304.集成处理单元，其基于多个时间中的每个时间处的所述第一传感器的位置和取向信息以及所述第一深度信息来估计三维信息。
305.附图标记列表
306.1至3信息处理系统
307.10,12,13信息处理装置
308.130控制单元
309.131,135,138照射控制单元
310.132,136深度信息估计单元
311.133集成处理单元
312.134记录控制单元
313.150存储单元
314.20dvs相机
315.30ir相机
316.40照射器
317.50自身位置估计单元
318.70对象
319.81消失点
320.82检测点
321.83检测点