测距装置、信息处理方法及信息处理装置与流程

1.本公开涉及测距装置、信息处理方法及信息处理装置。


背景技术：

2.以往，提出了利用光对空间进行扫描(scan)、接受来自物体的反射光并计测距物体的距离的各种设备。对象场景的距离信息例如可以被转换为3维的点群(point cloud)的数据并利用。点群数据典型而言，是由3维坐标表现在场景中物体所存在的点的分布的数据。
3.专利文献1及2公开了一种系统，通过光束对空间进行扫描，由光传感器检测来自物体的反射光，从而取得距物体的距离信息。该系统生成将计测时刻与点群数据的各点建立了对应的信息并输出。
4.专利文献3及4公开了一种装置，通过光束对空间进行扫描，由图像传感器接受来自物体的反射光并取得距离信息。
5.在先技术文献
6.专利文献
7.专利文献1:日本特开2011-170599号公报
8.专利文献2:日本特开2009-294128号公报
9.专利文献3:日本特开2016-224062号公报
10.专利文献4:美国专利申请公布第2018/0217258号说明书


技术实现要素：

11.本发明所要解决的课题
12.本公开提供与距离数据或者距离图像的取得及处理相关的技术。例如，本公开的一个方式提供易于对由多个装置个别生成的距离图像数据或者点群数据进行综合的技术。另外，本公开的一个方式提供易于将距离图像数据或者点群数据与其他数据进行综合的技术。
13.用于解决课题的手段
14.本公开的一个方式所涉及的测距装置具备：发光装置，向不同的方向以及在不同的定时将多个光束朝向场景出射；受光装置，包含至少1个受光元件，由所述至少1个受光元件检测通过所述光的出射而产生的来自所述场景的反射光；以及信号处理电路，基于从所述受光装置输出的信号，按每个帧生成输出数据并输出，该输出数据包含表示所述场景中的多个点的位置或者距离的计测数据。所述输出数据包含：表示按每个所述帧决定的基准时刻的基准时刻数据、以及表示按每个所述点决定的与所述基准时刻的差量的时刻差量数据。在生成1帧的输出数据的期间中的光束的出射次数，也可以按每个所述帧而不同。
15.本公开的其他方式所涉及的信息处理装置具备处理器，所述处理器取得第1输出数据和第2输出数据，该第1输出数据包含表示场景中的多个点的位置或者距离的第1计测
数据，且包含表示按每个帧决定的基准时刻的基准时刻数据、以及表示按每个所述点决定的与所述基准时刻的差量的时刻差量数据，该第2输出数据包含表示所述场景中的其他多个点的位置或者距离的第2计测数据，且所述其他多个点各自的所述第2计测数据被赋予了时刻数据，所述处理器从所述第1输出数据及所述第2输出数据，分别提取具有被包含在规定的时刻范围中的时刻数据的1个以上的点的所述第1计测数据及1个以上的点的所述第2计测数据并综合到同一坐标系中，从而生成3维点群数据。
16.本公开的再其他方式所涉及的信息处理装置具备处理器，所述处理器取得由包含至少1个受光元件的受光装置在不同的定时检测的受光数据，基于所述受光数据按每个帧生成表示场景中的多个点的位置或者距离的计测数据，生成输出数据并输出，该输出数据包含所述计测数据、表示按每个所述帧决定的基准时刻的基准时刻数据、以及表示按每个所述点决定的与所述基准时刻的差量的时刻差量数据。在生成1帧的输出数据的期间中的光束的出射次数，也可以按每个所述帧而不同。
17.本公开的概括性或者具体性的方式也可以通过系统、装置、方法、集成电路、计算机程序或者计算机可读取的记录盘等记录介质实现，也可以通过系统、装置、方法、集成电路、计算机程序及记录介质的任意组合来实现。计算机可读取的记录介质既可以包括易失性的记录介质，也可以包括cd-rom(紧凑盘-只读存储器(compact disc-read only memory))等非易失性的记录介质。装置也可以由1个以上的装置构成。在装置由2个以上的装置构成的情况下，该2个以上的装置既可以配置在1个设备内，也可以分开配置在分离的2个以上的设备内。在本说明书及权利要求书中，“装置”不仅可以指1个装置，也可以指由多个装置构成的系统。
18.发明效果
19.根据本公开的一个方式，易于将包含距离图像数据或者点群数据的数据综合。
20.本公开中包含的各种方式中的附加性的益处及优点根据本说明书及附图而明确。该益处以及/或者优点分别能够通过本说明书及附图所公开的各种方式或者各方式中的一部分特征而个别地提供，为了得到其1个以上而不需要全部。
附图说明
21.图1是示意性地表示包含对道路的交通环境进行监视的服务器的系统的一例的概念图。
22.图2是表示图1所示的系统的更详细的构成例的框图。
23.图3是简化表示服务器、移动体及固定体的动作及数据的流动的一例的图。
24.图4是表示实施方式1所涉及的测距装置的构成的框图。
25.图5是示意性地表示通过光束对测距对象的场景进行扫描的情形的图。
26.图6a是表示记录介质中记录的数据的例子的图。
27.图6b是表示记录介质中记录的数据的例子的图。
28.图6c是表示记录介质中记录的数据的例子的图。
29.图6d是表示记录介质中记录的数据的例子的图。
30.图7a是表示点群数据的数据形式的例子的图。
31.图7b是表示点群数据的数据形式的其他例的图。
32.图7c是表示距离图像数据的数据形式的例子的图。
33.图7d是表示距离图像数据的数据形式的其他例的图。
34.图8是示意性地表示发光设备的一例的斜视图。
35.图9是示意性地表示1个光波导元件的截面的构造及传播的光的例子的图。
36.图10a是表示向与光波导阵列的出射面垂直的方向出射光的光波导阵列的截面的图。
37.图10b是表示向不同于与光波导阵列的出射面垂直的方向的方向出射光的光波导阵列的截面的图。
38.图11是示意性地表示3维空间中的光波导阵列的斜视图。
39.图12是从光出射面的法线方向观察光波导阵列及移相器阵列的示意图。
40.图13是表示光束扫描仪的其他例的图。
41.图14是表示光束扫描仪的再其他的构成例的图。
42.图15是表示光束扫描仪的再其他的构成例的图。
43.图16是表示光束扫描仪的再其他例的图。
44.图17a是用于说明基于间接tof方式的测距方法的第1图。
45.图17b是用于说明基于间接tof方式的测距方法的第2图。
46.图18a是用于说明基于间接tof方式的测距方法的第3图。
47.图18b是用于说明基于间接tof方式的测距方法的第4图。
48.图19是表示测距装置的动作的一例的流程图。
49.图20a是表示点群数据的文件格式的一例的图。
50.图20b是表示点群数据的其他例的图。
51.图21是表示实施方式1的变形例所涉及的动作的例子的流程图。
52.图22是表示记录介质中记录的数据的例子的图。
53.图23是表示记录介质中记录的数据的其他例的图。
54.图24a是表示点群数据的数据形式的其他例的图。
55.图24b是表示点群数据的数据形式的再其他例的图。
56.图24c是表示距离图像数据的数据形式的其他例的图。
57.图24d是表示距离图像数据的数据形式的再其他例的图。
58.图25是表示点群数据的文件格式的例子的图。
59.图26是表示实施方式2中的信号处理电路中的距离计测部的详细的功能构成的框图。
60.图27是表示实施方式2中记录的信息的例子的图。
61.图28是表示实施方式2中记录的信息的例子的图。
62.图29是表示实施方式2中的测距装置的动作的例子的流程图。
63.图30a是表示实施方式2中的点群数据的数据形式的例子的图。
64.图30b是表示实施方式2中的点群数据的数据形式的其他例的图。
65.图30c是表示实施方式2中的距离图像数据的数据形式的例子的图。
66.图30d是表示实施方式2中的距离图像数据的数据形式的其他例的图。
67.图31a是表示实施方式2中的输出数据的文件格式的例子的图。
68.图31b是表示实施方式2中的输出数据形式的其他例的图。
69.图32是表示图29中的步骤s3110的动作的详细情况的流程图。
70.图33是表示光束的方向、物体的位置与反射光向图像传感器的受光面上的入射位置之间的关系的示意图。
71.图34a是用于说明块的决定方法的第1图。
72.图34b是用于说明块的决定方法的第2图。
73.图34c是用于说明块的决定方法的第3图。
74.图34d是用于说明块的决定方法的第4图。
75.图35a是用于说明块的决定方法的第5图。
76.图35b是用于说明块的决定方法的第6图。
77.图36是表示实施方式3所涉及的车辆控制系统的构成的框图。
78.图37a是表示实施方式3中的输出数据列的数据形式的一例的图。
79.图37b是表示实施方式3中的输出数据列的数据形式的其他例的图。
具体实施方式
80.在本公开中，电路、单元、装置、部件或部的全部或者一部分、或者框图中的功能模块的全部或者一部分，例如能够由半导体装置、半导体集成电路(ic)或者包括lsi(大规模集成电路(large scale integration))的1个或者多个电子电路执行。lsi或者ic既可以被集成于1个芯片，也可以组合多个芯片而构成。例如，存储元件以外的功能模块也可以被集成于1个芯片。在此称为lsi或者ic，但根据集成的程度而叫法改变，也可以是被称为系统lsi、vlsi(very large scale integration：超大规模集成电路)或ulsi(ultra large scale integration：特大规模集成电路)的电路。在lsi的制造后被编程的现场可编程逻辑门阵列(fpga、field programmable gate array)或者能够重构lsi内部的接合关系或者设置lsi内部的电路划分的可重构逻辑器件(reconfigurable logic device)也能够以相同的目的使用。
81.进而，电路、单元、装置、部件或者部的全部或者一部分的功能或者动作，也能够通过软件处理来执行。在该情况下，软件被记录于1个或者多个rom、光盘、硬盘驱动器等非易失性记录介质，在软件由处理装置(processor)执行时，由该软件确定的功能由处理装置(processor)及周边装置执行。系统或者装置也可以具备记录了软件的1个或者多个非易失性记录介质、处理装置(processor)、以及所需的硬件设备例如接口。
82.＜能够适用后述的实施方式的构成的一例＞
83.在说明本公开的实施方式的详细情况之前，说明能够适用后述的实施方式的构成的一例。
84.图1是示意性地表示包含对道路的交通环境进行监视的服务器500的系统的一例的概念图。服务器500经由网络600，与被搭载于车辆等移动体300的测距装置以及被安装于信号灯等固定体400的测距装置连接。固定体400除了信号灯以外，例如也可以是照明设备、电线杆、护栏等公共物体及其他基础设施。各测距装置具备光源和光传感器，逐次生成包含距离信息的传感器数据并输出。传感器数据例如是表示距离图像或者3维点群的数据。在以下的说明中，只要没有特别说明，就将3维点群简称为“点群”。此外，在此将移动体300及固
定体400所具备的测距装置作为具备光源和光传感器的测距装置进行了说明，但其一部分或者整体也可以是以其他方式进行测距的测距装置。例如，也可以是使用毫米波等电波进行测距的测距装置，也可以是使用由一个或者多个相机取得的2维图像进行测距的测距装置。
85.服务器500从各移动体300及各固定体400，取得表示测距装置的位置及姿态的数据、以及传感器数据。服务器500具备处理器520和记录介质540。处理器520对从各测距装置取得的传感器数据进行综合来逐次生成表示道路环境的数据，并记录至记录介质540。处理器520例如生成由服务器500所固有的3维坐标系来表现的点群数据。这样的数据例如在发生了事故时能够出于调查事故原因的目的而被利用。
86.此外，在上述说明中，服务器500从移动体300及固定体400取得表示测距装置的位置及姿态的数据、以及传感器数据，但取得的数据也可以仅是传感器数据。在该情况下，例如，服务器500使用从各测距装置取得的传感器数据，估计各测距装置的位置和姿态。
87.另外，在上述说明中，服务器500所生成的点群数据由服务器500所固有的坐标系来表现，但服务器500所生成的点群数据的坐标系不需要是服务器500所固有的。例如，也可以设为能够从外部对服务器500指定点群数据的坐标系，也可以与服务器500所利用的三维地图数据的坐标系相对应。
88.图2是表示上述的系统的更详细的构成例的框图。该例中的系统包含多个移动体300和多个固定体400。移动体300及固定体400各自的个数是任意的。
89.移动体300各自具备以不同的位置及姿态被配置的多个测距传感器310、以及通信电路320。同样，固定体400各自具备以不同的位置及姿态被配置的多个测距传感器410、以及通信电路420。测距传感器310及410各自进行测距，并生成表示距离图像或者3维点群的传感器数据。传感器数据通过通信电路320及420发送至服务器500。
90.服务器500不仅具备处理器520及记录介质540，还具备通信电路560。处理器520经由通信电路560逐次取得传感器数据，并记录至记录介质540。处理器520通过对取得的传感器数据进行时刻比对及坐标转换等需要的处理，能够生成特定的时刻及特定的场所的被综合的点群数据。
91.图3是简化表示服务器500、移动体300及固定体400的动作及数据的流动的一例的图。在图3中为了简单，将多个移动体300汇总作为1个移动体来表现，将多个固定体400汇总作为1个移动体来表现。移动体300及固定体400各自中的测距传感器310及410各自反复进行测距，逐次生成包含场景中的物体的位置及时刻的信息的数据。这些数据被发送至服务器500。服务器500对取得的数据进行时刻比对及坐标转换等需要的处理，并记录至记录介质540。这样的动作例如按照一定的周期反复进行。
92.服务器500有时从外部接受请求对特定的日期时间及特定的场所的道路环境进行解析的指令。在该情况下，处理器520从记录介质540取得相应的日期时间及场所的数据，并生成与请求相应的数据并输出。通过这样的动作，例如能够取得有助于探明事故原因的数据。
93.在如上所述的系统中，为了对逐次生成的传感器数据进行综合来生成准确的道路环境的数据，准确地记录各位置的数据被取得的时刻是很重要的。特别是，为了掌握特定的时刻及特定的场所的物体的准确的位置及移动速度以便探明车辆事故的原因，需要事故现
场中的3维的位置数据、以及各位置的数据被取得的准确的时刻的信息。
94.为了取得对象场景的距离分布的信息，考虑利用光束对场景进行扫描并由图像传感器等受光装置检测反射光的测距装置。如后所述，通过适用tof(飞行时间(time of flight))的技术，能够计测距被光束照射的物体的距离。通过一边利用光束对场景进行扫描一边计测距离，能够生成距离图像数据、或者从距离图像数据转换而成的点群数据。在本公开中，有时将距离图像数据或者点群数据的某集合称为“帧”。其有时与作为从图像传感器输出的图像数据的单位的“帧”一致，也有时不同。距离图像数据或者点群数据例如以一定的帧率被反复生成。也能够将1个时刻与1帧量的距离图像数据或者点群数据建立对应并输出。
95.例如，以时速60千米(km)行驶的汽车在1毫秒(ms)中移动大致1.66厘米(cm)。一般性的动态图像由30fps即1秒钟30帧的帧率构成。即，每33ms取得1帧。时速60km的车辆在33ms的时间里移动大致55cm。由此，通过每1帧的时刻信息有可能无法明确车辆、行人或者自行车等多个移动体的位置关系。
96.使用图像传感器取得距离信息的测距传感器，例如被用于使用闪光灯光的近距离的3维计测。另一方面，还存在出射使光径缩小的光束来检测来自物体的反射光的方式。这样的方式适于取得超过100m的长距离的距离信息。根据如上的测距传感器，能够利用投射光的定时与受光的定时的偏差来计测距离。
97.在此作为一例，设想利用使光径缩小的光束对场景进行扫描，并由图像传感器检测反射光的情况。在使光径缩小的状态下出射的光束，仅到达位于场景内的有限的范围中的物体。因此，图像传感器在每次出射1个光束时，仅从位于狭小范围中的物体接受反射光。即，在图像传感器所具备的多个受光元件之中，仅位于与该物体的位置对应的范围中的一部分受光元件接受反射光。通过一边使光束的方向顺次变化一边检测反射光的扫描动作，能够关于图像传感器能够检测的范围整体得到距离信息。在这样的构成中，光束被出射的定时根据方向而不同。在每完成1次扫描时生成1个距离图像的构成中，受光的定时根据距离图像中的部分而不同。例如在以30fps输出的距离图像的情况下，根据像素，最大可能产生30ms左右的差。
98.像这样，即使是同一帧，测距的时刻根据距离图像或者点群的部分而不同。因此，在基于帧时刻对从多个测距传感器收集的数据进行综合的情况下，即使使用相同时刻的帧的数据，也有可能同一物体的位置信息在传感器间不同。由于该位置信息的偏差，有可能无法足够准确地对位置信息进行综合。
99.另一方面，也考虑按距离图像数据的每个像素或者点群数据的每个点记录详细的时刻信息的方法。如果是这样的方法，则能够避免上述的问题。但是，如果按距离图像数据的每个像素或者点群数据的每个点赋予详细的时刻信息，则数据量变得庞大，需要极为高速的通信网络及高性能的运算处理器。
100.以下，说明本公开的实施方式的概要。
101.本公开的例示性的实施方式所涉及的测距装置具备发光装置、受光装置和信号处理电路。所述发光装置向不同的方向以及在不同的定时将多个光束朝向场景出射。所述受光装置包含至少1个受光元件，由所述至少1个受光元件检测通过所述光的出射而产生的来自所述场景的反射光。所述信号处理电路基于从所述受光装置输出的信号，按每个帧生成
输出数据并输出，该输出数据包含表示所述场景中的多个点的位置或者距离的计测数据。所述输出数据包含：表示按每个所述帧决定的基准时刻的基准时刻数据、以及表示按每个所述点决定的与所述基准时刻的差量的时刻差量数据。在生成1帧的输出数据的期间中的光束的出射次数，也可以按每个所述帧而不同。
102.根据上述构成，各帧的输出数据包含基准时刻数据、以及按每个点决定的时刻差量数据。时刻差量数据的大小比基准时刻数据的大小更小。例如，基准时刻数据可以包含小时、分钟、秒、毫秒、微秒的各个单位的值。相对于此，时刻差量数据可以仅包含例如微秒的单位的值。在基准时刻数据例如由5字节的数据量表现的情况下，基准时刻数据例如可以由1字节的数据量表现。此外，基准时刻数据及差量时刻数据不限于以微秒为单位，例如也可以是以纳秒为单位或者以毫秒为单位的数据。通过按各帧的每个点记录相对于基准时刻的差量，与按每个点记录详细的时刻的情况相比，能够大幅减小输出数据的量。各帧的点的数量很多，例如也有数千至数百万的情况。如果按每个点赋予详细的时刻，则数据量变得庞大。如本实施方式，通过赋予数据量小的差量时刻，能够大幅减小各帧的输出数据的量。由此，不使用极为高速的通信网络及高性能的运算处理器，就能够对数据进行综合。
103.各点的所述时刻差量数据也可以表示为了取得关于所述点的所述计测数据而使用的所述光被出射的时刻或者所述光被检测出的时刻与所述基准时刻之间的差量。不限于这样的例子，所述时刻差量数据也可以表示与该点的计测时刻建立了关联的任意的时刻与基准时刻之间的差量。
104.所述发光装置也可以构成为向不同的方向以及在不同的定时将多个光束朝向场景出射。所述受光装置也可以包含多个受光元件的阵列。所述受光装置也可以构成为由所述多个受光元件检测通过各光束的出射而产生的来自所述场景的反射光。
105.根据上述构成，通过利用多个光束对场景进行扫描，能够取得更远方的距离信息。
106.所述输出数据也可以包含多个块的数据，该多个块的数据各自包含所述多个点之中的一部分点的所述计测数据。按每个所述块，表示与所述基准时刻的差量的个别的时刻差量数据也可以作为所述块的各点的所述时刻差量数据被记录。
107.根据上述构成，按每个块记录1个时刻差量数据，因此能够进一步减小输出数据的量。块例如按接受基于向1个方向出射的光束的反射光的受光元件的每个集合而被规定。在出射时刻根据光束而不同的情况下，检测时刻按接受其反射光的受光元件的每个集合而不同。由此，在上述构成中，按受光元件的每个集合规定块，按每个块计算并记录差量时刻。由此，与按每个点记录1个差量时刻的情况相比，能够将数据量抑制为几分之1以下。
108.此外，在按每个块记录时刻差量数据的情况下，也可以说是按与各块建立了对应的每个点决定了时刻差量数据。因此，在这样的情况下，也解释为输出数据包含按每个点决定的时刻差量数据。
109.各帧的所述基准时刻也可以是为了取得所述帧中的所述计测数据而出射的所述多个光束之中的最初的光束被出射的时刻。基准时刻不限于此，也可以被设定为其他时刻。
110.关于各点的所述时刻差量数据也可以表示为了取得关于所述点的所述计测数据而出射的光束的出射时刻与为了取得关于之前刚取得所述计测数据的其他点的所述计测数据而出射的光束的出射时刻之间的差量。
111.所述发光装置也可以构成为将所述多个光束以一定的时间间隔出射。各帧中的所
述基准时刻也可以是为了取得所述帧中的所述计测数据而最初出射的光束的出射时刻。所述帧中的各点的所述时刻差量数据也可以包含表示为了取得关于所述点的所述计测数据而出射的光束的序号的数据、以及表示所述多个光束的时间间隔的数据。
112.根据上述构成，时刻差量数据不是包含时刻的差量自身，而是包含表示光束的序号及光束的出射时刻的间隔的数据。根据这样的构成，也能够以较小的数据量表现各点的时刻差量。
113.所述信号处理电路也可以生成表示所述多个点的距离分布的距离图像数据作为所述输出数据。在该情况下，输出数据表现场景中的多个点的距离。距各点的距离例如可以通过tof(飞行时间(time of flight))等测距技术来计测。tof有直接tof或者间接tof等方式。利用哪一种方式来计测距离都可以。
114.所述信号处理电路也可以生成包含所述多个点的3维坐标的信息的点群数据作为所述输出数据。在该情况下，输出数据由3维坐标表现场景中的多个点的位置。点群数据例如可以通过从上述的距离图像数据转换而被生成。
115.本公开的其他实施方式所涉及的信息处理方法包括以下的步骤。
116.·
取得第1输出数据和第2输出数据，该第1输出数据包含表示场景中的多个点的位置或者距离的第1计测数据，且包含表示按每个帧决定的基准时刻的基准时刻数据、以及表示按每个所述点决定的与所述基准时刻的差量的时刻差量数据，该第2输出数据包含表示所述场景中的其他多个点的位置或者距离的第2计测数据，且在第2输出数据中所述其他多个点各自的所述第2计测数据被赋予了时刻数据。
117.·
从所述第1输出数据及所述第2输出数据，分别提取具有被包含在规定的时刻范围中的时刻数据的1个以上的点的所述第1计测数据及1个以上的点的所述第2计测数据并综合至同一坐标系中，从而生成3维点群数据。
118.根据上述的方法，通过对独立生成的第1输出数据与第2输出数据进行综合，能够生成3维点群数据。至少第1输出数据包含上述的时刻差量数据，因此能够更有效地对数据进行综合。
119.本公开的再其他的实施方式所涉及的信息处理装置具备处理器。所述处理器执行以下的步骤。
120.·
取得第1输出数据和第2输出数据，该第1输出数据包含表示场景中的多个点的位置或者距离的第1计测数据，且包含表示按每个帧决定的基准时刻的基准时刻数据、以及表示按每个所述点决定的与所述基准时刻的差量的时刻差量数据，该第2输出数据包含表示所述场景中的其他多个点的位置或者距离的第2计测数据，且在第2输出数据中所述其他多个点各自的所述第2计测数据被赋予了时刻数据。
121.·
从所述第1输出数据及所述第2输出数据，分别提取具有被包含在规定的时刻范围中的时刻数据的1个以上的点的所述第1计测数据及1个以上的点的所述第2计测数据并综合至同一坐标系中，从而生成3维点群数据。
122.本公开的再其他的实施方式所涉及的信息处理装置具备处理器。所述处理器执行以下的步骤。
123.·
取得由包含至少1个受光元件的受光装置在不同的定时检测的受光数据。
124.·
基于所述受光数据按每个帧生成表示场景中的多个点的位置或者距离的计测
数据。
125.·
生成输出数据并输出，该输出数据包含所述计测数据、表示按每个所述帧决定的基准时刻的基准时刻数据、以及表示按每个所述点决定的与所述基准时刻的差量的时刻差量数据。在生成1帧的输出数据的期间中的光束的出射次数，也可以按每个所述帧而不同。
126.以下，关于本公开的实施方式更具体地进行说明。此外，以下说明的实施方式均表示概括性或者具体性的例子。以下的实施方式中表示的数值、形状、构成要素、构成要素的配置位置及连接方式、步骤、步骤的顺序等为一例，其意图不在于限定本公开。另外，在以下的实施方式中的构成要素之中，关于在表示最上位概念的独立权利要求中未记载的构成要素，作为任意的构成要素进行说明。另外，各图是示意图，不一定是严密的图示。进而，在各图中，对于在实质上相同的构成要素赋予同一标记，有时省略或者简化重复的说明。
127.＜实施方式1＞
128.说明实施方式1所涉及的测距装置。在本实施方式中，使用能够使光束的出射方向变化的光束扫描仪作为发光装置。另外，使用将多个受光元件以2维排列的图像传感器作为受光装置。测距装置此外还具备：处理从图像传感器输出的信号的信号处理电路、以及对测距装置的整体的动作进行控制的控制电路。信号处理电路基于从图像传感器输出的信号，按每个帧生成输出数据并输出，该输出数据包含表示场景中的多个点的位置或者距离的计测数据。信号处理电路对计测数据附加表示按每个帧决定的基准时刻的基准时刻数据、以及按各帧的每个点决定的时刻差量数据，并作为输出数据输出。通过这样的构成，与对各点赋予详细的时刻数据的情况相比，能够大幅减小输出数据的大小。以下，更详细地说明本实施方式的测距装置的构成及动作的例子。
129.[1-1构成]
[0130]
[1-1-1测距装置的构成]
[0131]
图4是表示实施方式1所涉及的测距装置100的构成的框图。如图4所示，测距装置100具备光束扫描仪110、图像传感器120、控制电路130、时钟140、记录介质150和信号处理电路160。信号处理电路160包含距离计测部161、距离图像生成部162、点群数据生成部163、时刻决定部164和输出部169。
[0132]
光束扫描仪110是出射光束的发光装置的一种。光束扫描仪110例如包含激光源。光束扫描仪110响应于来自控制电路130的指令，将光束向指定的方向出射。在一例中，光束扫描仪110反复进行利用光束对对象场景进行扫描的动作。在其他例中，光束扫描仪110接受规定的触发，进行对对象场景中的特定的区域进行扫描的动作。光束扫描仪110在规定的时间内执行1次扫描。有时将该时间称为“帧时间”。光束扫描仪110在帧时间内，将多个光束向不同的方向顺次出射。各帧中的帧时间及光束的出射次数不限于相同，也有时按每个帧而不同。
[0133]
图像传感器120是受光装置的一种，具备沿着受光面以2维排列的多个受光元件的阵列。也可以在图像传感器120的受光面上还设置用于形成像的透镜等光学部件。图像传感器120接受来自位于出射的光束的路径上的物体的反射光。各受光元件是光电二极管等光电转换元件，与接受的光的强度相应地积蓄电荷。在以下的说明中，有时将受光元件称为“像素”。图像传感器120响应于来自控制电路130的指令，使各受光元件积蓄电荷，并输出与
积蓄的电荷的量相应的电信号。接受1个光束的反射光的受光元件是全部受光元件之中的仅一部分受光元件。向不同的方向反复出射光束，其每次由不同的受光元件群检测出反射光。光束的出射方向的模式及顺序被预先设定。通过检测由于该预先设定的一系列光束的出射而产生的反射光束，图像传感器120生成1帧的数据。在本实施方式中，在针对图像传感器120能够检测的场景的整个区域完成了基于光束的扫描的阶段，图像传感器120将全部像素的数据作为1帧的数据输出。图像传感器120例如1秒钟输出30帧。该帧率不过是一例，帧率按照用途被适宜决定。
[0134]
此外，在本实施方式中，在针对图像传感器120能够检测的场景的整个区域完成了基于光束的扫描的阶段输出数据，但图像传感器120也可以输出通过向与一部分像素的区域对应的方向出射光束而得到的数据。在该情况下，图像传感器120既可以输出由全部像素得到的数据，也可以仅输出由该一部分像素得到的数据。
[0135]
控制电路130例如可以由微控制器单元(mcu)等包含处理器的电子电路实现。控制电路130决定光束扫描仪110将光束出射的定时及出射的方向、以及图像传感器120的曝光的定时。控制电路130依照所决定的定时，向光束扫描仪110及图像传感器120分别输出投射光控制信号及曝光控制信号。生成投射光控制信号以使光束按照预定的方向及顺序被顺次出射。
[0136]
图5是示意性地表示通过光束对测距对象的场景进行扫描的情形的图。在图5中，多个光束的光斑由虚线圆表示，同时出射的光束的根数可以是1以上的任意的数量。在本实施方式中，在与图像传感器120的受光面平行的2维平面中，包罗性地顺次照射光束。控制电路130将表示光束的投射光方向和投射光定时的信息记录至记录介质150。此外，光束的扫描的方式是任意的。图5中的方格表现图像传感器120的像素。此外，图像传感器120的像素在实际上很微小，但在图5中为了容易观察而以比实际上大的方式表示。在以后的图中也有时采用同样的表现。
[0137]
时钟140是输出对波束扫描进行控制所需的详细的时刻信息的电路。时钟140例如对纳秒或者微秒的精度的时刻进行计测，并输出其信息。时钟140例如可以通过实时时钟等集成电路实现。时钟140也可以与时刻服务器同步。同步例如也可以利用ntp(网络时间协议(network time protocol))或者ptp(高精度时间同步协议(precision time protocol))等协议。或者，也可以使用gps信息进行以服务器的时刻为基准的时刻同步。此外，时刻同步的方法不限于上述，而是任意的。通过时刻同步，作为客户端的测距装置100能够取得准确的时刻信息。
[0138]
控制电路130在光束扫描仪110将各光束出射的定时，将由时钟140计测的详细的时刻(例如，以纳秒或者微秒为单位的时刻)记录至记录介质150。控制电路130另外也可以将各光束的反射光被受光元件检测出的时刻记录至记录介质150。
[0139]
信号处理电路160例如是包含cpu以及/或者gpu等处理器的电子电路。信号处理电路160中的距离计测部161、距离图像生成部162、点群数据生成部163、时刻决定部164及输出部169的功能例如可以通过由信号处理电路160的处理器执行记录介质150中存放的程序从而实现。在该情况下，该处理器作为距离计测部161、距离图像生成部162、点群数据生成部163、时刻决定部164及输出部169发挥功能。上述各功能部也可以由专用的硬件实现。此外，控制电路130和信号处理电路160也可以由1个电路实现。例如，也可以由1个mcu具有控
制电路130及信号处理电路160这双方的功能。记录介质150也可以被包含在该电路中。
[0140]
信号处理电路160中的时刻决定部164按每个帧决定基准时刻并记录至记录介质150。基准时刻例如可以被设定为：为了取得该帧的计测数据而出射的多个光束之中的最初的光束被出射的时刻。时刻决定部164将为了取得各像素的计测数据而出射的各光束被出射的时刻与该帧的基准时刻之间的差量记录至记录介质150。此外，基准时刻不限定于最初的光束的出射时刻。例如也可以将最后的光束的出射时刻或者光束的出射时刻的平均值等时刻设定为基准时刻。或者，也可以将任一个光束被图像传感器120接受的时刻或者受光时刻的平均值等时刻设定为基准时刻。
[0141]
记录介质150例如可以是rom或者ram等存储器。记录介质150记录由控制电路130及信号处理电路160生成的各种数据。记录介质150也可以还存放供控制电路130及信号处理电路160执行的计算机程序。
[0142]
记录介质150记录从控制电路130输出的表示光束的投射光方向及投射光定时的数据、以及表示各光束的出射时刻的数据。记录介质150进而还记录由信号处理电路160生成的各种数据。例如，记录由距离计测部161计算出的每个像素的距离数据。在本实施方式中，进而，由时刻决定部164决定的每个帧的基准时刻的数据、以及每个像素的时刻差量的数据也记录在记录介质150中。
[0143]
图6a至图6d表示了记录介质150中记录的数据的例子。图6a表示了在多个帧间共通的数据。图6b表示了按每个光束记录的出射方向和出射时刻的数据。图6c表示了按每个帧记录的基准时刻数据。图6d表示了按每个像素记录的距离数据和时刻差量数据。
[0144]
如图6a所示，在多个帧间共通的数据包含：表示图像传感器120在车辆内的位置、图像传感器120的受光面的法线方向、以及视场角的数据。图像传感器120在车辆内的位置例如可以由以车辆的中心为原点的3维坐标表现。图像传感器120的受光面的法线方向例如可以通过由该3维坐标表现的法线矢量的分量来表现。视场角例如可以由水平面上的角度及铅直面上的角度表现。
[0145]
如图6b所示，按每个光束记录出射方向和出射时刻的数据。在该例中，使用了以图像传感器120的受光面上排列的多个受光元件的1个的中心位置为原点、以相当于图像的横向的方向为x轴、以相当于图像的纵向的方向为y轴、以与受光面垂直且朝向场景的方向为z轴的坐标系。光束的出射方向可以由表示将光束的中心的方向投影至xy平面而成的方向的单位矢量以及表示将其投影至xz平面而成的方向的单位矢量来描述。此外，光束的出射方向的表现形式不限于图示的形式，而是任意的。在图6b的例中，向同一方向连续多次出射光束，在图像传感器120的受光元件中反复积蓄信号。由此，即使在1根光束的光量不足的情况下，也能够通过积蓄信号从而得到充分的检测灵敏度。在该例中，如果向同一方向出射了预先设定的次数的光束，则向其他方向也同样多次出射光束。通过反复进行这样的动作，实现了通过光束对场景的扫描。各光束可以以脉冲方式出射。各光束的出射时刻例如可以设定为该光束的出射的开始时刻或结束时刻、或者它们的平均值等值。在图6b所示的例中，时刻数据包含小时、分钟、秒、毫秒、微秒的各个值。时刻数据例如也可以包含纳秒的值。信号处理电路160为了决定图6c所示的基准时刻及图6d所示的时刻差量而参照该每个光束的时刻数据。
[0146]
如图6c所示，按每个帧记录基准时刻数据。作为基准时刻，例如，可以设定为了取
得该帧的计测数据而使用的最初的光束的出射时刻。基准时刻也可以是其他时刻。例如，也可以将为了取得该帧的计测数据而使用的多个光束的出射时刻的平均值作为基准时刻。或者，也可以将通过最初的光束而产生的反射光被图像传感器120接受的时刻、或者多个光束的反射光被接受的时刻的平均值，作为基准时刻。除此之外，也可以是出射时刻与受光时刻的平均值、或者被光束扫描仪110指示的出射时刻等，只要能够利用于确定或者估计通过该光束的出射而计测出的位置数据或者距离数据的计测时刻，则可以将任意的信息用作基准时刻。在图6c所示的例中，基准时刻数据包含小时、分钟、秒、毫秒、微秒的各个数值。
[0147]
如图6d所示，按每个像素记录被计测的距离以及时刻差量的数据。距离及时刻差量由信号处理电路160通过后述的方法计算。各像素的时刻差量是表示该像素的计测数据被取得的时刻与基准时刻之间的差量的值。在图6d的例中，时刻差量数据仅包含以微秒为单位的值。
[0148]
基准时刻及时刻差量数据也可以按照用途而包含例如纳秒等更详细的时刻的信息。
[0149]
接下来，更详细地说明信号处理电路160的功能。
[0150]
距离计测部161取得从图像传感器120输出的表示每个像素的通过在各曝光期间中受光而积蓄的电荷量的信号。距离计测部161基于该信号，计算距位于与各像素对应的位置处的物体的距离，并将每个像素的距离数据记录至记录介质150。该距离数据例如可以按照图6d所示的形式记录。
[0151]
距离图像生成部162基于计测出的每个像素的距离数据，生成表示场景中的多个点的距离分布的距离图像数据。更具体而言，距离图像生成部162生成包含表示每个帧的基准时刻的数据以及表示各像素的距离及时刻差量的数据的距离图像数据。距离图像生成部162也可以将计测出的距离的值转换为亮度信息以及/或者颜色信息来生成距离图像。
[0152]
点群数据生成部163将被生成的距离图像数据转换为以预定的点为原点的3维坐标空间中的点群数据。由此，生成包含场景中的多个点的3维坐标的信息的点群数据。原点例如可以设定为搭载了测距装置100的车辆的中心位置等规定的位置。点群数据生成部163按每个帧，生成将基准时刻、各点的坐标与时刻差量建立了对应的点群数据。设定与和各点的转换源即距离图像的像素建立了对应的时刻差量相同的值，作为该点的时刻差量。在此，在存在未接受到光束的反射光的受光元件的情况下，与该受光元件对应的点的数据不被包含在输出的点群数据中。
[0153]
输出部169输出包含每个帧的基准时刻以及每个像素的时刻差量的数据的距离图像数据、以及/或者、包含每个帧的基准时刻以及每个点的时刻差量的数据的点群数据。该距离图像数据或者该点群数据例如可以被记录于记录介质150。在以下的说明中，有时将距离图像数据及点群数据总称为“输出数据”。输出数据例如可以经由未图示的通信电路发送至其他信息处理装置。
[0154]
接收从测距装置100输出的数据的其他信息处理装置的处理器能够通过下式计算由距离图像数据或者点群数据表现的各点的时刻。
[0155]
时刻＝基准时刻 时刻差量
[0156]
此外，既可以生成距离图像数据和3维点群数据这双方，也可以仅生成上述数据中的一方。在本实施方式中，重要的点在于，包含距离图像数据及3维点群数据中的至少一方
的输出数据，包含每个帧的基准时刻的数据、以及场景中的多个点中的每个点的时刻差量的数据。由此，能够抑制取得了该输出数据的其他信息处理装置进行数据综合的负荷。
[0157]
此外，输出数据被赋予的时刻数据也可以由与时钟140所输出的时刻数据的时间的单位不同的时间的单位表现。例如，时钟140所输出的时刻数据由微秒或者纳秒程度的时间的单位表现，而另一方面，输出数据被赋予的时刻数据有时以毫秒程度的时间的单位来表现，其精度就足够。在这样的情况下，控制电路130及信号处理电路160也可以将时钟140所输出的时刻数据，转换为由基准时刻及时刻差量所需的时间的单位表现的时刻数据并记录。在此，基准时刻及时刻差量所需的时间的单位既可以预先决定，也可以设为能够按照来自外部的指示而设定。另外，输出数据也可以包含表示基准时刻及时刻差量的时间的单位的时刻单位数据。在该情况下，时刻单位数据例如可以被存放在输出数据被赋予的头区域等中。
[0158]
图7a至图7d表示了输出数据的形式的例子。图7a及图7b分别表示从信号处理电路160输出的点群数据的不同的2个数据形式的例子。图7c及图7d分别表示了从信号处理电路160输出的距离图像数据的不同的2个数据形式的例子。在图7a至图7d的任一例中，输出作为在多个帧间共通的数据的固定值、以及按每个帧而不同的数据。例如可以对输出数据的头附加固定值而输出。固定值也可以按照每预定的多个帧为1次的频度输出。
[0159]
固定值例如可以包含表示图像传感器120在车辆内的位置、图像传感器120的受光面的法线方向、图像传感器120的视场角、以及日期的值。图像传感器120的位置例如可以通过以车辆的中心为原点的3维坐标所表现的3字节的值来表现。受光面的法线方向例如可以通过上述的3维坐标所表现的3字节的值来表现。视场角例如可以由2字节的值表现。日期包含年、月、日的信息，例如可以由2字节的值表现。
[0160]
在图7a所示的点群数据的例中，各帧的数据包含该帧的基准时刻、该帧内的点的数量、各点的位置、以及各点的时刻差量各自的数据。基准时刻例如可以由5字节表现。帧内的点的数量例如可以由1字节表现。各点的位置是3维坐标值，例如可以由3字节表现。在该例中，在依次输出了基准时刻及点数的数据之后，位置的数据以与点数对应的量反复，接下来时刻差量的数据按照相同的点的顺序以与点数对应的量反复。
[0161]
在图7b所示的点群数据的例中，各帧的输出数据中的各点的位置及时刻差量的数据的排列与图7a的例子不同。在图7b的例中，接在基准时刻及点数的数据之后，点的位置及时刻差量的数据所成的对以与点数相应的量反复。此外的方面与图7a的例子相同。
[0162]
点群数据的形式不限于图7a及图7b所示的形式，可以是任意形式。在本实施方式中的点群数据中，不包含与图像传感器120的受光元件之中的未接受到光束的反射光的受光元件对应的点的数据。
[0163]
在图7c所示的距离图像数据的例中，各帧的数据包含该帧的基准时刻、关于各像素计测的距离、以及各像素的时刻差量各自的数据。距离例如可以由1字节表现。在该例中，在输出了基准时刻的数据之后，距离的数据按照图像传感器120的像素的排列顺序以与像素数相应的量反复，接下来，时刻差量的数据按照相同的像素的顺序以与像素数相应的量反复。在此，关于未接受到光束的反射光的像素，距离未被计测，因此计测时刻未被确定。因此，关于这样的像素，可以将距离的值例如设定为0或者无穷大，将时刻差量例如设定为0。固定值与上述的点群数据中的固定值相同。
[0164]
在图7d所示的距离图像数据的例中，各帧的数据中的各像素的距离及时刻差量的数据的排列与图7c的例子不同。在图7d的例中，接在基准时刻的数据之后，距离与时刻差量的数据所成的对按照预定的像素的顺序以与像素数相应的量连续反复。此外的方面与图7c的例子相同。
[0165]
距离图像数据的形式不限于图7c及图7d所示的形式，可以是任意形式。在图7c及图7d的例中，设为像素数是已知的值，在输出数据中不包含像素数的数据。像素数的数据也可以作为固定值被包含在输出数据中。
[0166]
在图7a至图7d的例中，日期的数据作为固定值被包含在输出数据中。日期的数据也可以被包含在每个帧的数据中。例如，基准时刻的数据也可以包含日期的信息。在基准时刻的数据包含日期的信息的情况下，例如即使在深夜的计测中日期变化的情况下，也能够容易地将帧的数据与日期建立对应。
[0167]
[1-1-2光束扫描仪110的构成]
[0168]
接下来，说明光束扫描仪110的构成例。光束扫描仪110是能够与控制电路130的控制相应地使光束的出射方向变化的发光设备。光束扫描仪110利用光束顺次照射测距对象的场景内的一部分区域。为了实现该功能，光束扫描仪110具备使光束的出射方向变化的机构。例如，光束扫描仪110可以具备激光器等发光元件、以及至少1个可动反射镜例如mems反射镜。从发光元件出射的光被可动反射镜反射而朝向测距对象的场景内的规定的区域。控制电路130通过对可动反射镜进行驱动，能够使光束的出射方向变化。
[0169]
也可以使用能够通过与具有可动反射镜的发光设备不同的构造使光的出射方向变化的发光设备。例如，也可以使用如专利文献4所公开的利用反射型波导的发光设备。或者，也可以使用由天线阵列对从各天线输出的光的相位进行调节从而使阵列整体的光的方向变化的发光设备。
[0170]
以下，说明光束扫描仪110的构成的一例。
[0171]
图8是示意性地表示可以作为光束扫描仪110使用的发光设备的一例的斜视图。该发光设备具备包含多个光波导元件10的光波导阵列。多个光波导元件10各自具有在第1方向(图8中的x方向)上延伸的形状。多个光波导元件10在与第1方向交叉的第2方向(图8中的y方向)上规则地排列。多个光波导元件10一边使光在第1方向上传播，一边使光向与平行于第1及第2方向的虚拟平面交叉的第3方向d3出射。
[0172]
多个光波导元件10各自具有：相互对置的第1反射镜30及第2反射镜40、以及位于反射镜30与反射镜40之间的光波导层20。反射镜30及反射镜40各自在与光波导层20的界面上具有与第3方向d3交叉的反射面。反射镜30及反射镜40以及光波导层20具有在第1方向上延伸的形状。
[0173]
第1反射镜30的反射面与第2反射镜40的反射面大致平行地对置。2个反射镜30及反射镜40之中的至少第1反射镜30具有使在光波导层20中传播的光的一部分透射的特性。换言之，第1反射镜30针对该光具有比第2反射镜40高的光透射率。因此，在光波导层20中传播的光的一部分从第1反射镜30向外部出射。这样的反射镜30及40例如可以是由基于介电体的多层膜形成的多层膜反射镜。
[0174]
通过调整向各个光波导元件10输入的光的相位，进而，调整这些光波导元件10中的光波导层20的折射率或厚度、或者向光波导层20输入的光的波长，能够使光向任意的方
向出射。
[0175]
图9是示意性地表示1个光波导元件10的截面的构造及传播的光的例子的图。在图9中，将与图8所示的x方向及y方向垂直的方向作为z方向，示意性地表示光波导元件10的与xz面平行的截面。在光波导元件10中，一对反射镜30与反射镜40以隔着光波导层20的方式配置。从光波导层20的x方向上的一端导入的光22，一边被光波导层20的上表面设置的第1反射镜30及下表面设置的第2反射镜40反复反射，一边在光波导层20内传播。第1反射镜30的光透射率比第2反射镜40的光透射率高。因此，主要从第1反射镜30输出光的一部分。
[0176]
在通常的光纤等光波导中，光一边反复进行全反射一边沿着光波导传播。相对于此，在本实施方式中的光波导元件10中，光一边被光波导层20的上下配置的反射镜30及40反复反射一边传播。因此，对光的传播角度没有制约。在此，光的传播角度意味着向反射镜30或者反射镜40与光波导层20的界面的入射角度。相对于反射镜30或者反射镜40以更接近于垂直的角度入射的光也能够传播。即，以比全反射的临界角小的角度向界面入射的光也能够传播。因此，光的传播方向上的光的群速度与自由空间中的光速相比大为降低。由此，光波导元件10具有光的传播条件相对于光的波长、光波导层20的厚度及光波导层20的折射率的变化而大为变化的性质。将这样的光波导称为“反射型光波导”或者“慢光光波导”。
[0177]
从光波导元件10向空气中出射的光的出射角度θ通过下式(1)表现。
[0178]
[数1]
[0179][0180]
由式(1)可知，通过改变空气中的光的波长λ、光波导层20的折射率nw及光波导层20的厚度d中的任一个，能够改变光的出射方向。
[0181]
例如，在nw＝2，d＝387nm，λ＝1550nm，m＝1的情况下，出射角度为0
°
。如果从该状态使折射率变化为nw＝2.2，则出射角度变化为大致66
°
。另一方面，如果不改变折射率而使厚度变化为d＝420nm，则出射角度变化为大致51
°
。如果既不改变折射率也不改变厚度而使波长变化为λ＝1500nm，则出射角度变化为大致30
°
。像这样，通过使光的波长λ、光波导层20的折射率nw及光波导层20的厚度d中的任一个变化，能够使光的出射方向变化。
[0182]
光的波长λ可以被包含在例如由一般性的硅(si)吸收光从而检测光的图像传感器能够得到高检测灵敏度的400nm至1100nm(可见光至近红外光)的波段中。在其他例中，波长λ可以被包含在光纤或者si光波导中传送损失比较小的1260nm至1625nm的近红外光的波段中。此外，这些波长范围是一例。使用的光的波段不限定于可见光或者红外光的波段，例如也可以是紫外光的波段。
[0183]
发光设备可以具备使各光波导元件10中的光波导层20的折射率、厚度及波长中的至少1个变化的第1调整元件。由此，能够调整出射光的方向。
[0184]
为了对光波导层20的至少一部分的折射率进行调整，光波导层20也可以包含液晶材料或者电光材料。光波导层20可以被夹在一对电极之间。通过对一对电极施加电压，能够使光波导层20的折射率变化。
[0185]
为了对光波导层20的厚度进行调整，例如也可以在第1反射镜30及第2反射镜40中的至少一方上连接至少1个促动器。通过由至少1个促动器使第1反射镜30与第2反射镜40的距离变化，能够使光波导层20的厚度变化。如果光波导层20由液体形成，则光波导层20的厚
度能够容易地变化。
[0186]
在多个光波导元件10在一个方向上排列而成的光波导阵列中，由于从各个光波导元件10出射的光的干涉，光的出射方向发生变化。通过调整向各光波导元件10供给的光的相位，能够使光的出射方向变化。以下，说明其原理。
[0187]
图10a是表示向与光波导阵列的出射面垂直的方向出射光的光波导阵列的截面的图。在图10a中，也记载了在各光波导元件10中传播的光的移相量。在此，移相量是以在左端的光波导元件10中传播的光的相位作为基准的值。本实施方式中的光波导阵列包含以等间隔排列的多个光波导元件10。在图10a中，虚线的圆弧表示从各光波导元件10出射的光的波面。直线表示由于光的干涉而形成的波面。箭头表示从光波导阵列出射的光的方向(即波矢量的方向)。在图10a的例中，在各光波导元件10的光波导层20中传播的光的相位均是相同的。在该情况下，光向与光波导元件10的排列方向(y方向)及光波导层20延伸的方向(x方向)这双方垂直的方向(z方向)出射。
[0188]
图10b是表示向不同于与光波导阵列的出射面垂直的方向的方向出射光的光波导阵列的截面的图。在图10b所示的例中，在多个光波导元件10的光波导层20中传播的光的相位沿排列方向逐个以一定量不同。在该情况下，光向与z方向不同的方向出射。通过使该变化，能够使光的波矢量的y方向的分量变化。如果将相邻的2个光波导元件10之间的中心间距离设为p，则光的出射角度α0通过下式(2)表现。
[0189]
[数2]
[0190][0191]
在光波导元件10的根数是n时，光的出射角度的扩展角δα由下式(3)表现。
[0192]
[数3]
[0193][0194]
因此，光波导元件10的根数越多，能够使扩展角δα越小。
[0195]
图11是示意性地表示3维空间中的光波导阵列的斜视图。图11所示的粗箭头表现从发光设备出射的光的方向。θ是光的出射方向与yz平面所成的角度。θ满足式(2)。α0是光的出射方向与xz平面所成的角度。α0满足式(3)。
[0196]
为了对从各个光波导元件10出射的光的相位进行控制，例如可以在向光波导元件10导入光的前级设置使光的相位变化的移相器。发光设备可以具备：与多个光波导元件10各自连接的多个移相器、以及对在各移相器中传播的光的相位进行调整的第2调整元件。各移相器包含与多个光波导元件10的对应的1个中的光波导层20直接或者经由其他光波导而相连的光波导。第2调整元件通过使得从多个移相器向多个光波导元件10传播的光的相位之差分别变化，使得从多个光波导元件10出射的光的方向(即第3方向d3)变化。在以下的说明中，与光波导阵列同样，有时将排列的多个移相器称为“移相器阵列”。
[0197]
图12是从光出射面的法线方向(z方向)观察光波导阵列10a及移相器阵列80a的示意图。在图12所示的例中，全部移相器80具有相同的传播特性，全部光波导元件10具有相同的传播特性。各个移相器80及各个光波导元件10既可以长度相同，也可以长度不同。在各个
移相器80的长度相等的情况下，例如能够通过驱动电压对各自的移相量进行调整。另外，通过设为使各个移相器80的长度以等步长变化的构造，也能够利用相同的驱动电压赋予等步长的移相。进而，该发光设备还具备：使光分支并供给至多个移相器80的分光器90、对各光波导元件10进行驱动的第1驱动电路210、以及对各移相器80进行驱动的第2驱动电路220。图12中的直线的箭头表示光的输入。通过分别独立地对个别设置的第1驱动电路210和第2驱动电路220进行控制，能够使光的出射方向在2维上变化。在该例中，第1驱动电路210作为第1调整元件的1个要素发挥功能，第2驱动电路220作为第2调整元件的1个要素发挥功能。
[0198]
第1驱动电路210通过使各光波导元件10中的光波导层20的折射率及厚度中的至少一方变化，使得从光波导层20出射的光的角度变化。第2驱动电路220通过使各移相器80中的光波导20a的折射率变化，使得在光波导20a的内部传播的光的相位变化。分光器90既可以由光通过全反射而传播的光波导构成，也可以由与光波导元件10同样的反射型光波导构成。
[0199]
此外，也可以在针对由分光器90分支后的各个光控制了相位之后，将各个光导入至移相器80。在该相位控制中，例如能够使用通过调整直到移相器80为止的光波导的长度来实现的被动(无源)的相位控制构造。或者，也可以使用具有与移相器80同样的功能的能够以电信号控制的移相器。通过这样的方法，例如也可以在导入至移相器80之前对相位进行调整以使等相位的光被供给至全部移相器80。通过这样的调整，能够使第2驱动电路220对各移相器80的控制变得简单。
[0200]
上述的发光设备的动作原理及动作方法等的详细情况在专利文献4中公开。将专利文献4的公开内容整体引用至本说明书中。
[0201]
图13是表示光束扫描仪110的其他例的图。该例中的光束扫描仪110具备光波导阵列10a、以及与光波导阵列10a连接的移相器阵列80a。光波导阵列10a包含在y方向上排列的多个光波导群10g。各光波导群10g包含1个以上的光波导元件10。移相器阵列80a包含在y方向上排列的多个移相器群80g。各移相器群80g包含1个以上的移相器80。在该例中，移相器群80g的集合与光波导群10g的集合不同。更具体而言，1个光波导群10g与2个移相器群80g连接。
[0202]
各移相器80的移相量被控制电路130个别地控制。各移相器80的移相量被控制为：与其排列的顺序相应的第1移相量(的整数倍)和按每个移相器群80g而不同的第2移相量(va、vb、vc、vd中的某一个)之和。通过使第2移相量按每个移相器群80g变化，控制光束的出射方向的y分量、以及光斑尺寸的y方向的扩展角。
[0203]
另一方面，控制电路130按每个光波导群10g，个别地决定所施加的电压的值。通过控制向各光波导群10g的施加电压，控制光束的出射方向的x分量。光的出射方向依赖于移相器群80g与光波导群10g的组合而决定。在图13的例中，从与1个移相器群80g连接的相邻的2个光波导群10s向同一方向出射光。如果将从1个光波导群10g出射的光束作为1个光束，则在图13的例中，能够同时出射2根光束。如果增加光波导元件10及移相器80的数量，则能够进一步增加光束根数。
[0204]
图14是表示光束扫描仪110的再其他的构成例的图。该例中的光束扫描仪110具备各自向不同的方向出射光束的多个发光设备70。在该例中，在1个芯片上安装多个移相器80及多个光波导元件10。控制电路130控制向各发光设备70中的各移相器80及各光波导元件
10的施加电压。由此，控制电路130对从各发光设备70出射的光束的方向进行控制。在该例中，光束扫描仪110具备3个发光设备70，但也可以具备更多的发光设备70。
[0205]
图15是表示光束扫描仪110的再其他的构成例的图。该例中的光束扫描仪110具备各自被安装在不同的芯片上的多个发光设备70。多个发光设备70向不同的方向出射光束。各发光设备70具备决定向多个移相器80及多个光波导元件10施加的电压的控制电路130a。各发光设备70中的控制电路130a被外部的控制电路130控制。在该例中也是，光束扫描仪110具备3个发光设备70，但也可以具备更多的发光设备70。
[0206]
图16是表示光束扫描仪110的再其他例的图。在该例中，光束扫描仪110具备激光器等发光元件、以及至少1个可动反射镜例如mems反射镜。从发光元件出射的光被可动反射镜反射而朝向对象区域内(在图16中以矩形表示)的规定的区域。控制电路130通过对可动反射镜进行驱动，使来自光束扫描仪110的出射光的方向变化。由此，例如在图16中以虚线箭头所示，能够利用光来扫描对象区域。
[0207]
[1-1-3图像传感器120的构成]
[0208]
接下来，说明图像传感器120的构成例。图像传感器120具备沿着受光面以2维排列的多个受光元件。可以与图像传感器120的受光面对置地设置未图示的光学部件。光学部件例如可以包含至少1个透镜。光学部件也可以包含棱镜或者反射镜等其他光学元件。光学部件可以被设计以使从场景中的物体的1点扩散的光会聚于图像传感器120的受光面上的1点。
[0209]
图像传感器120例如可以是ccd(电荷耦合器件(charge-coupled device))传感器、cmos(互补金属氧化物半导体(complementary metal oxide semiconductor))传感器或者红外线阵列传感器。各受光元件例如包含光电二极管等光电转换元件、以及1个以上的电荷积蓄部。通过光电转换而产生的电荷在曝光期间中被积蓄至电荷积蓄部。电荷积蓄部中积蓄的电荷在曝光期间结束后被输出。像这样，各受光元件输出与在曝光期间中接受的光的量相应的电信号。将该电信号称为“受光数据”。图像传感器120既可以是黑白类型的摄像元件，也可以是彩色类型的摄像元件。例如，也可以使用具有r/g/b、r/g/b/ir或者r/g/b/w的滤波器(滤光器)的彩色类型的摄像元件。图像传感器120不限于可视的波长范围，例如也可以在紫外、近红外、中红外、远红外等波长范围中具有检测灵敏度。图像传感器120也可以是利用spad(单光子雪崩二极管(single photon avalanche diode))的传感器。图像传感器200可以具备能够在曝光后一并读出全部像素的信号的电子快门即全局快门的机构。电子快门也可以是按每行进行曝光的滚动快门方式、或者仅对与光束的照射范围相应的一部分区域进行曝光的区域快门方式。
[0210]
[1-1-4测距方法的例子]
[0211]
在本实施方式中，信号处理电路160通过被称为间接tof方式的测距方法计测距物体的距离。以下，说明一般性的基于间接tof方式的测距方法的一例。此外，不限于间接tof方式，也可以使用基于直接tof方式的测距方法。
[0212]
tof方式是通过测定从光源出射的光被物体反射并返回到光源附近的光检测器为止的飞行时间，从而测定从装置到物体的距离的方式。将直接计测飞行时间的方式称为直接tof。将设置多个曝光期间并根据每个曝光期间的反射光的能量分布计算飞行时间的方式称为间接tof。
[0213]
图17a是表示间接tof方式中的投射光定时、反射光的到达定时及2次曝光定时的例子的图。横轴表示时间。矩形部分表现投射光、反射光的到达及2次曝光各自的期间。在该例中，为了简单，说明出射1个光束，并由接受了通过该光束而产生的反射光的受光元件连续2次进行曝光的情况下的例子。图17a的(a)表示光从光源出射的定时。t0是测距用的光束的脉冲宽度。图17a的(b)表示从光源出射并被物体反射的光束到达图像传感器的期间。td是光束的飞行时间。在图17a的例中，在比光脉冲的时间长度t0短的时间td内，反射光到达了图像传感器。图17a的(c)表示图像传感器的第1曝光期间。在该例中，与投射光的开始同时开始曝光，与投射光的结束同时结束曝光。在第1曝光期间中，反射光之中的早返回的光被进行光电转换，产生的电荷被积蓄。q1表现在第1曝光期间中被光电转换的光的能量。该能量q1与在第1曝光期间中积蓄的电荷的量成比例。图17a的(d)表示图像传感器的第2曝光期间。在该例中，第2曝光期间与投射光的结束同时开始，在经过了与光束的脉冲宽度t0相同的时间即与第1曝光期间相同的时间后的时刻结束。q2表现在第2曝光期间中被光电转换的光的能量。该能量q2与在第2曝光期间中积蓄的电荷的量成比例。在第2曝光期间中，反射光之中的在第1曝光期间结束后到达的光被接受。第1曝光期间的长度与光束的脉冲宽度t0相等，因此在第2曝光期间中接受的反射光的时间长度等于飞行时间td。
[0214]
在此，将在第1曝光期间中受光元件所积蓄的电荷的积分电容设为cfd1，将在第2曝光期间中受光元件所积蓄的电荷的积分电容设为cfd2，将光电流设为iph，将电荷转送时钟数设为n。第1曝光期间中的受光元件的输出电压由以下的vout1表现。
[0215]
vout1＝q1/cfd1＝n
×
iph
×
(t0-td)/cfd1
[0216]
第2曝光期间中的受光元件的输出电压由以下的vout2表现。
[0217]
vout2＝q2/cfd2＝n
×
iph
×
td/cfd2
[0218]
在图17a的例中，第1曝光期间的时间长度与第2曝光期间的时间长度相等，因此cfd1＝cfd2。因此，td能够由下式表现。
[0219]
td＝{vout2/(vout1 vout2)}
×
t0
[0220]
如果将光速设为c(≈3
×
108m/s)，则装置与物体的距离l由下式表现。
[0221]
l＝1/2
×c×
td＝1/2
×c×
{vout2/(vout1 vout2)}
×
t0
[0222]
图像传感器在实际上输出曝光期间中积蓄的电荷，因此有时在时间上无法连续进行2次曝光。在该情况下，例如可以使用图17b所示的方法。
[0223]
图17b是示意性地表示在无法连续设置2个曝光期间的情况下的投射光和曝光以及电荷输出的定时的图。在图17b的例中，首先，与光源开始投射光同时，图像传感器开始曝光，与光源结束投射光同时，图像传感器结束曝光。该曝光期间相当于图17a中的曝光期间1。图像传感器在刚曝光后输出在该曝光期间中积蓄的电荷。该电荷量相当于被接受的光的能量q1。接下来，光源再次开始投射光，如果经过了与第1次相同的时间t0则结束投射光。图像传感器与光源结束投射光同时开始曝光，如果经过了与第1曝光期间相同的时间长度则结束曝光。该曝光期间相当于图17a中的曝光期间2。图像传感器在刚曝光后输出在该曝光期间中积蓄的电荷。该电荷量相当于被接受的光的能量q2。
[0224]
像这样，在图17b的例中，为了取得用于上述距离计算的信号，光源进行2次投射光，图像传感器对于各个投射光在不同的定时曝光。通过像这样，即使在时间上无法连续设置2个曝光期间的情况下，也能够按每个曝光期间取得电压。像这样，在按每个曝光期间进
行电荷的输出的图像传感器中，为了得到在预先设定的多个曝光期间各自中积蓄的电荷的信息，以与设定的曝光期间的数量相等的次数投射同一条件的光。
[0225]
此外，在实际的测距中，图像传感器可能不仅接受从光源出射并被物体反射的光，而且还接受背景光、即太阳光或者来自周边的照明等的外部的光。于是，一般而言，设置用于在未出射光束的状态下计测向图像传感器入射的背景光所产生的积蓄电荷的曝光期间。通过从在接受了光束的反射光时计测的电荷量，减去在背景用的曝光期间中计测的电荷量，能够求出仅接受了光束的反射光的情况下的电荷量。在本实施方式中，为了简便，省略针对背景光的动作的说明。
[0226]
在上述的例中，为了简单，仅着眼于1个光束，但也可以连续出射多个光束。以下，说明连续出射2个光束的情况下的光检测动作的例子。
[0227]
图18a是表示在各单位期间中向不同的方向连续出射2个光束的情况下的光检测的第1例的图。横轴表现时间。在该例中，在单位期间内，连续进行3次曝光。
[0228]
图18a的(a)表示从光束扫描仪110出射2个光束的定时。图18a的(b)表示从光束扫描仪110出射的2个光束在物体上扩散(漫射)从而产生的反射光到达图像传感器120的定时。在该例中，如果由实线表示的第1光束的投射光结束，则立即开始由虚线表示的第2光束的投射光。这些光束的反射光以比各光束的投射光定时稍稍延迟的方式到达图像传感器。第1光束与第2光束相比，出射方向不同，这些光束的反射光向图像传感器中的不同的2个受光元件或者2个受光元件群入射。图18a的(c)至(e)分别表示第1至第3曝光期间。在该例中，第1曝光期间与第1光束的投射光的开始同时开始，与投射光的结束同时结束。第2曝光期间与第2光束的投射光的开始同时开始，与投射光的结束同时结束。第3曝光期间与第2光束的投射光的结束同时开始，如果经过了与该光束的脉冲的时间长度相同的时间则结束。图18a的(f)表示了图像传感器的快门开放期间。图18a的(g)表示了各受光元件的电荷输出的期间。
[0229]
在该例中，图像传感器的各受光元件在3个曝光期间中，分别独立地积蓄通过光电转换而产生的电荷。在各电荷积蓄期间中积蓄的电荷同时被读出。为了实现该动作，在各受光元件中设置3个以上的电荷积蓄部。电荷向这些电荷积蓄部的积蓄例如由开关切换。各曝光期间的长度被设定为比快门开放期间短的时间。图像传感器在最初的光束的投射光的开始时刻打开快门并开始曝光。在反射光有可能被接受的期间中，快门保持开放。如果通过最后的光束产生的反射光可能被接受的期间即第3曝光期间结束，则图像传感器关闭快门并结束曝光。如果快门开放期间结束，则图像传感器进行信号的读出。此时，按每个像素读出与第1至第3电荷积蓄期间中积蓄的各个电荷量相应的信号。被读出的信号作为受光数据发送至信号处理电路160。信号处理电路160基于该受光数据，能够通过参照图17a说明的方法针对接受了反射光的受光元件计算距离。
[0230]
根据图18a的例子，虽然每个受光元件需要多个电荷积蓄部，但能够一并进行多个电荷积蓄部中积蓄的电荷的输出。因此，能够在更短时间内反复进行投射光和曝光。
[0231]
图18b是表示在各单位期间中向不同的方向连续出射2个光束的情况下的光检测的第2例的图。在图18b的例中，与图17b的例同样，在曝光期间每次结束时进行电荷输出。在1个单位期间中，第1光束及第2光束的出射、曝光及电荷输出反复3组。在第1组中，与第1光束的投射光开始同时开始各受光元件的曝光，与第1光束的投射光结束同时结束曝光。该曝
光期间p1相当于图18a所示的曝光期间1。如果曝光期间p1结束，则读出各受光元件中积蓄的电荷。在第2组中，与第1光束的投射光结束同时、即与第2光束的投射光开始同时，开始各受光元件的曝光，与第2光束的投射光结束同时结束曝光。该曝光期间p2相当于图18a所示的曝光期间2。如果曝光期间p2结束，则读出各受光元件中积蓄的电荷。在第3组中，与第2光束的投射光结束同时开始各受光元件的曝光，如果经过了相当于各光束的脉冲宽度的时间长度，则曝光结束。该曝光期间p3相当于图18a所示的曝光期间3。如果曝光期间p1结束，则读出各受光元件中积蓄的电荷。在该例中，在各单位期间中，由多个光束的连续投射光、曝光及受光数据的读出构成的一系列动作反复进行3次。由此，与图17b的例同样，能够按每个受光元件取得与各曝光期间的电荷量相应的受光数据。由此，能够通过上述的运算来计算距离。
[0232]
根据图18b的例子，各受光元件具有1个电荷积蓄部即可，因此能够简化图像传感器的构造。
[0233]
此外，在图18a及图18b的例子中，按每个单位期间设定了3个曝光期间，但每单位期间的曝光期间的数量也可以是2个以下或者4个以上。例如，在使用能够同时向多个方向出射光束的光源的情况下，每单位期间的曝光期间也可以是2个。在该情况下，能够通过参照图17a或者图17b说明的方法计算距离。或者，在适用后述的基于直接tof的距离计算方法的情况下，每单位期间的曝光期间也可以是1个。进而，每单位期间出射的光束的数量不限于2个，也可以是3个以上。投射光及受光的定时可以与多个光束的到达距离范围的设定等相应地调整。
[0234]
[1-2动作]
[0235]
接下来，说明测距装置100的动作。
[0236]
图19是表示测距装置100的动作的一例的流程图。测距装置100通过执行图19所示的步骤s1110至s1290的动作，生成1帧量的距离图像数据及点群数据。在连续生成多帧量的数据的情况下，测距装置100反复进行图19所示的步骤s1100至s1290的动作。以下，说明各步骤的动作。
[0237]
(步骤s1110)
[0238]
控制电路130在针对新的帧开始进行对象场景的测距时，首先，向信号处理电路160的时刻决定部164发送用于使其决定该帧的基准时刻的指令。时刻决定部164接受到该指令，将从时钟140取得的时刻决定为基准时刻。
[0239]
(步骤s1120)
[0240]
时刻决定部164将决定的基准时刻记录至记录介质150。基准时刻例如图6c所示，可以按照规定帧与基准时刻的对应关系的表的形式记录。
[0241]
(步骤s1130)
[0242]
控制电路130判定在预定的光束的方向之中是否有未被投射光的方向。在针对预定的全部方向都完成了投射光的情况下，即在步骤s1130中为是的情况下，向步骤s1260前进。在预定的方向之中有未被投射光的方向的情况下，即在步骤s1130中为否的情况下，向步骤s1140前进。
[0243]
(步骤s1140)
[0244]
控制电路130决定预定的光束的方向之中的未被投射光的方向中的1个方向。
[0245]
(步骤s1150)
[0246]
控制电路130将表示在步骤s1150中决定的光束的方向的信息记录至记录介质150。
[0247]
(步骤s1160)
[0248]
控制电路130针对在步骤s1150中决定的方向，判断是否针对预定的2个以上的曝光期间全部都完成了图像传感器120的曝光。在该判断为是的情况下，向步骤s1210前进。在该判断为否的情况下，向步骤s1170前进。
[0249]
(步骤s1170)
[0250]
控制电路130选择预定的2个以上的曝光期间之中的尚未进行曝光的1个曝光期间。各曝光期间例如具有与光束扫描仪110所出射的光脉冲的时间长度相同的时间长度。第1曝光期间例如与投射光开始同时开始，与投射光结束同时结束。第2曝光期间例如与光束扫描仪110的投射光结束同时开始，如果经过了与光脉冲的时间长度相同的时间则结束。在设定第3曝光期间的情况下，该第3曝光期间例如在第2曝光期间的结束的定时开始，如果经过了与光脉冲的时间长度相同的时间则结束。
[0251]
(步骤s1180)
[0252]
控制电路130针对在步骤s1140中决定的光束的方向，判断光束扫描仪110的投射光是否满足了预定的向同一方向的投射光次数。在该判断为是的情况下，返回步骤s1400。在该判断为否的情况下，向步骤s1190前进。
[0253]
(步骤s1190)
[0254]
控制电路130使光束扫描仪110向在步骤s1140中决定的方向出射光束。出射的光束例如可以是矩形脉冲光。脉冲的时间长度例如可以是100ns左右。控制电路130将出射的光束的方向和时刻记录至记录介质150。例如图6b所示，光束的出射方向与时刻建立关联地记录。在此记录的时刻例如可以是该光束的脉冲的开始时刻或者结束时刻。
[0255]
(步骤s1200)
[0256]
控制电路130使图像传感器120在由步骤s1170决定的曝光期间执行曝光。该曝光期间例如是上述的第1至第3曝光期间中的某一个。在步骤s1200之后返回步骤s1180。
[0257]
(步骤s1210)
[0258]
控制电路130使图像传感器120关于全部像素输出与每个曝光期间内积蓄的电荷的量相应的信号。该信号被发送至信号处理电路160的距离计测部161。
[0259]
(步骤s1220)
[0260]
距离计测部161针对在步骤s1210中从图像传感器120读出了电荷的像素之中的、在某1个以上的曝光期间中有值的像素，进行距离计算。距离计算例如可以通过参照图17a至图18b说明的方法执行。
[0261]
(步骤s1230)
[0262]
距离计测部161将在步骤s1220中计算的各像素的距离记录至记录介质150。例如可以记录如图6d所示的将各像素的坐标与距离建立关联而得到的数据。
[0263]
(步骤s1240)
[0264]
时刻决定部164基于记录介质150中记录的各光束的时刻数据，计算各像素的时刻差量。时刻决定部164例如将为了计测某像素的距离而出射的光束的出射时刻与基准时刻
的差量，决定为时刻差量。如本实施方式，在为了计测该像素的距离而连续出射多个光束的情况下，也可以将该多个光束之中的最初的光束、最后的光束或者序号处于中央(中位)的光束与基准时刻的差量，设为该像素的时刻差量。或者，也可以将上述多个光束的出射时刻的平均值与基准时刻之差，设为该像素的时刻差量。
[0265]
(步骤s1250)
[0266]
时刻决定部164将计算出的各像素的时刻差量的数据记录至记录介质150。例如，如图6d所示，记录将像素与时刻差量的值建立对应而得到的数据。在步骤s1250之后，返回步骤s1130。
[0267]
以上的步骤s1110至s1120的动作反复进行，直到向预先设定的全部方向的投射光完成为止。如果向全部方向的投射光完成，则向步骤s1260前进。
[0268]
(步骤s1260)
[0269]
距离图像生成部162基于记录介质150中记录的每个像素的距离，生成以图像形式表现全部像素的距离分布的距离图像数据。在此，针对没有距离信息的像素，可以作为距离0或者无穷大来描述。
[0270]
(步骤s1270)
[0271]
点群数据生成部163基于记录介质150中记录的每个像素的距离，生成预定的3维空间坐标中的点群数据。点群数据生成部163基于图像传感器120的位置及图像传感器120的朝向的信息，针对具有除了0或者无穷大以外的值的像素进行坐标转换。由此，将距离图像数据转换为点群数据。点群数据生成部163将与各像素建立了对应的时刻差量的值，设为与该像素对应的点的时刻差量。
[0272]
(步骤s1280)
[0273]
输出部200生成输出数据，该输出数据包含：在步骤s1110中决定的帧的基准时刻、在步骤s1270中生成的点群数据、以及与各点建立了对应的时刻差量。输出数据例如图7a或者如图7b所示，可以包含该帧的基准时刻、点数、各点的位置及时刻差量的数据。
[0274]
(步骤s1290)
[0275]
输出部200输出在步骤s1280中生成的1帧量的数据。输出数据可以记录于记录介质150等任意的记录介质。输出数据也可以经由网络发送至未图示的其他信息处理装置。
[0276]
通过步骤s1110至s1290的动作，测距装置100能够生成1帧量的包含详细的时刻差量的信息的点群数据并输出。步骤s1110至s1290的动作例如可以按照规定的帧率(例如30fps)反复进行。
[0277]
在本实施方式中，输出图7a或者图7b所示的点群数据，但也可以除了点群数据之外或者替代点群数据，输出图7c或者图7d所示的距离图像数据。在替代点群数据而输出距离图像数据的情况下，不执行图19中的步骤s1270，而在步骤s1280中，输出将时刻差量数据与距离图像的各像素建立了对应的输出数据。无论在哪一种情况下，都按每个帧在输出数据中包含基准时刻的数据、用于确定场景中的多个点的距离或者位置的数据、以及各点的时刻差量的数据。
[0278]
[1-3.效果]
[0279]
如上，本实施方式中的测距装置100具备：光束扫描仪110，将光朝向场景出射；图像传感器120，检测通过该光的出射而产生的来自该场景的反射光；以及信号处理电路160，
基于从图像传感器120输出的信号，按每个帧生成输出数据并输出，该输出数据包含表示该场景中的多个点的位置或者距离的计测数据。输出数据包含：表示按每个帧决定的基准时刻的基准时刻数据、以及表示按每个点决定的与基准时刻的差量的时刻差量数据。在某定时，光束仅向由图像传感器120的视场角规定的范围的一部分出射。通过逐次变更光束的方向并逐次计测各像素处的距离，能够针对作为图像传感器120整体能够受光的场景的整个区域生成距离图像数据或者点群数据。关于距离图像数据或者点群数据，即使是相同的帧，计测时刻也按每个光束而不同。于是，信号处理电路160按每个帧决定基准时刻，按场景中的每个点计算并记录详细的时刻差量。
[0280]
如果按每个点输出例如以微秒为单位的详细的时刻，则数据量变得庞大。在本实施方式中，按每个帧决定基准时刻，并按每个点输出与基准时刻的差量时刻，能够以较少的数据量记录每个点的详细的时间信息并进行通信。
[0281]
本实施方式的测距装置100例如可以经由网络与管理交通状况的服务器那样的信息处理装置连接。该信息处理装置从测距装置100能够以较少的数据通信量，例如不是收集以1帧为单位的计测时刻(例如以毫秒为单位)，而是收集与帧内的光束的照射定时对应的详细的计测时刻(例如以微秒为单位)。因此，能够以较少的通信量，准确地对例如来自具备本实施方式的测距装置100的多个装置的信息进行综合。根据本实施方式，能够生成不仅包含物体的3维的位置信息而且还包含详细的时刻信息在内的4维的时空间信息。通过输出与3维的位置信息对应的详细时刻，尤其能够更准确地构成移动物体的位置、移动方向及速度。具体而言，能够再现发生了事故时的多个移动体的位置关系等交通状况的详细情况。能够以较少的数据量对详细的时刻信息进行通信，因此能够缓和通信的阻塞。
[0282]
[1-4.变形例]
[0283]
接下来，说明本实施方式的变形例。
[0284]
输出文件不限定于图7a至图7d中例示的形式的文件。例如，输出文件也可以包含用于时刻同步的协议或者作为基准的服务器信息等、在对点群进行综合时所需的时刻辅助信息。
[0285]
另外，也可以对点群数据进行编码或者压缩并输出。在编码时，例如也可以使用如图20a及图20b所示的文件格式。在图20a及图20b的例中，对各点的位置坐标附加时刻差量id，与各时刻差量id对应的实际的时刻差量的值被描述在其他区域(例如头的高位)中。此外，在该例中，基准时刻还包含日期的信息，例如由8字节表现。在该情况下，在帧间共通的固定值的数据中不包含日期的信息。时刻差量id的总数与用于进行1帧量的测距而出射的光束的方向的数量一致。也就是说，时刻差量id的值的范围是0至光束的方向的数量-1。像这样，通过附加时刻差量id作为各点的属性信息，在编码的观点上易于进行处理，易于提高编码效率。即，通过使用时刻差量id，即使在压缩时考虑由于附加id而引起的冗余部，数据量也得以削减。例如在时刻差量为微秒的精度的情况下，相当于帧间的时间长度的时刻差量的值的范围是0～33333，时刻差量的数据量是16bit。在利用同一光束测距的点有多个的情况下，即在将相同的时刻差量与多个点建立对应的情况下，只要光束的根数不超过时刻差量的最大值，则通过替代时刻差量自身而对各点附加时刻差量id，就能够削减数据量。时刻差量id所需的比特数依赖于光束的根数，例如在光束的根数为256个的情况下为8bit，比16bit小即可。
[0286]
像这样，通过使用时刻差量id，能够抑制数据大小，并且实现适于编码的文件格式。在该例中，时刻差量id相应于表示与基准时刻的差量的“时刻差量数据”。
[0287]
在实施方式1中，在帧的测距动作开始时决定基准时刻，但基准时刻的决定不需要在帧的测距动作开始时。例如，也可以在1帧量的距离计算结束后，决定基准时刻及时刻差量。以下，说明这样的实施方式的动作的例子。
[0288]
图21是表示实施方式1的变形例所涉及的1帧量的测距动作的例子的流程图。图22是表示本变形例中记录介质150中记录的数据的例子的图。在本变形例中，替代图6d所示的数据，将图22所示的数据记录于记录介质150。图6a至图6c所示的数据在本变形例中也同样记录。
[0289]
在图21的流程图中，步骤s1130至步骤s1230及步骤s1260至步骤s1290与图19所示的对应的步骤的动作相同。以下，说明与图19所示的动作不同的点。
[0290]
在本变形例中，不决定基准时刻，而执行步骤s1130至步骤s1230的动作。其后，执行步骤s2110的动作。
[0291]
(步骤s2110)
[0292]
时刻决定部164基于图6b所示的时刻信息，决定与在计测像素的距离中使用的光束的方向对应的1个时刻，并将该时刻记录至图22所示的表中。该时刻例如可以选择向同一方向多次出射的光束之中的最初的光束的出射时刻。或者，也可以使用最后的光束的出射时刻、或者全部出射时刻的平均值或者中位数。针对在步骤s1230中存储了距离的像素，如图22所示，可以例如以μ秒为单位记录时刻。由反复进行步骤s1130至步骤s2110而构成的循环，对应于光束的1个方向。在步骤s1190中顺次记录至记录介质150的每个投射光的时刻，在步骤s2110中决定了与该投射光方向对应的时刻之后被删除。因此，在图6b所示的表中，按光束的每个出射方向仅留下1个时刻。
[0293]
通过反复进行步骤s1130至步骤s2110，在图22所示的表中，针对计算了距离的全部像素记录时刻。如果在步骤s1130中向全部方向的投射光完成，则向步骤s2120前进。
[0294]
(步骤s2120)
[0295]
时刻决定部164从图22所示的表中记录的时刻之中，选择最早的时刻并决定为该帧的基准时刻。基准时刻除了是最早的时刻以外，也可以是最晚的时刻、中央(中位)的时刻或者平均的时刻。
[0296]
(步骤s2130)
[0297]
时刻决定部164将决定的基准时刻记录至记录介质150。基准时刻如图6c所示，按每个帧被记录。
[0298]
(步骤s2140)
[0299]
时刻决定部164按每个像素，计算记录介质150中记录的每个像素的测定时刻与在步骤s2120中决定的帧的基准时刻之差。时刻决定部164将计算出的时刻差量如图22所示与像素的位置及距离数据建立对应地记录至记录介质150。
[0300]
其后的步骤s1260至s1290与图19所示的对应的步骤相同。通过步骤s1260至s1290的动作，输出详细的计测时刻与每个像素或者点群的每个点建立了对应的数据。在此，详细的计测时刻通过每个帧的基准时刻以及场景中的每个点的时刻差量来表现。
[0301]
在上述的实施方式及其变形例中，按每个帧决定基准时刻，并按计测了距离的每
个像素，记录在距离计测中使用的光束的出射时刻与基准时刻的差量作为时刻差量。不限于这样的方式，时刻差量的表现形式是任意的。
[0302]
图23是表示记录介质150中记录的数据的其他例的图。在该例中，替代图6b所示的数据，记录多个光束的出射方向各自的序号(称为“投射光编号”)、各光束的出射时刻、以及按每个出射方向决定的1个代表时刻及时刻差量。关于某出射方向记录的时刻差量，被设定为关于该方向记录的代表时刻与关于紧前的不同出射方向记录的代表时刻之间的差量。代表时刻在图23的例中被设定为该出射方向的光束最初被出射的时刻，但也可以被设定为其他时刻。每个像素的时刻差量采用与在计测该像素的距离中使用的光束建立了对应的时刻差量。即，每个像素的时刻差量是对应的光束的时刻与紧前的光束的时刻之间的差量。在该例中，也进行与图21所示的动作同样的动作。图23所示的数据之中的投射光编号、出射方向及时刻，在步骤s1190中每次出射光束时被记录。每个出射方向的代表时刻在步骤s2110中被记录。时刻差量在步骤s2140中被记录。基准时刻例如可以使用在帧中最初被出射的光束、即图23所示的投射光编号为1的光束之中的最初的光束被出射的时刻，但不限定于此。在图23的例中，关于场景中的各点的时刻差量数据表示：为了取得关于该点的计测数据而出射的光束的出射时刻与为了取得关于之前刚(紧前)取得计测数据的其他点的计测数据而出射的光束的出射时刻之间的差量。像这样，时刻差量也可以表现与紧前的光束的出射时刻之间的差量。在该情况下，也与上述的例子同样，能够得到削减数据量的效果。
[0303]
接下来，参照图24a至图24d，说明点群数据及距离图像数据的形式的其他例。
[0304]
在图24a至图24d的例中，在各帧的测距动作中，光束扫描仪110将多个光束以一定的时间间隔出射。各帧中的基准时刻被设定为：为了取得该帧中的计测数据而最初被出射的光束的出射时刻。该帧中的各点的时刻差量数据包含：表示为了取得关于该点的计测数据而出射的光束的序号的数据、以及表示多个光束的时间间隔的数据。
[0305]
图24a及图24b表示点群数据的形式的变形例。在图24a及图24b的例中，光束的出射方向在帧内以一定的时间间隔变化。点群数据中的每个帧的数据包含该时间间隔的值。进而，时刻差量由投射光编号表现。投射光编号表现光束的每个出射方向的序号。如果将基准时刻设为t0，将时间间隔设为δt，将与投射光编号k(k＝1，2，
···
)对应的时刻差量设为δt，则能够通过δt＝t0 (k-1)δt的运算来求出时刻差量。此外，在被出射的光束之中，有时包含其反射光未被图像传感器120检测的光束。因此，输出数据中包含的投射光编号不一定是连续的，有时产生缺号。在图24a的例中，在各帧的数据中，在基准时刻、光束的时间间隔及点数的值之后，接着是与点数相应的数量的位置坐标的值、以及与点数相应的数量的投射光编号的值。另一方面，在图24b的例中，在各帧的数据中，在基准时刻、光束的时间间隔及点数的值之后，接着是与点数相应的数量的由位置坐标的值与投射光编号的值所成的对。图25作为一例表示了与图24b的例对应的文件格式的例子。在该例中，基准时刻包含日期(即年月日)的信息。日期的信息也可以被包含在固定值中。
[0306]
图24c及图24d表示距离图像数据的变形例。在图24c的例中，在各帧的数据中，在基准时刻、光束的时间间隔及点数的值之后，接着是与像素数相应的数量的距离的值、以及与像素数相应的数量的投射光编号的值。另一方面，在图24b的例中，在各帧的数据中，在基准时刻、光束的时间间隔及点数的值之后，接着是与点数相应的数量的由距离的值与投射光编号的值所成的对。在距离图像中，输出全部像素的数据，因此在各帧的数据中，投射光
编号连续。
[0307]
如图24a至图24d的例子那样，在帧中光束的方向的变化的时间间隔一定的情况下，能够将各点的时刻差量通过该时间间隔和投射光编号来表现。此外，在“时间间隔”与帧无关而是一定值的情况下，“时间间隔”也可以作为在帧间共通的固定值而记录。
[0308]
在上述的实施方式中使用了间接tof法作为对距离进行计测的方法，但也可以使用直接tof法。在该情况下，图像传感器120被置换为具备受光元件的2维阵列的传感器，该受光元件具备定时计数器。在基于直接tof的距离计测中，与光束的出射同时开始图像传感器120的曝光，进而同时开始定时计数器的动作。在图像传感器120的受光元件接受了1个光子的时刻，定时计数器的动作停止。将与可能有光束到达且接受到反射光的最大距离对应的时间长度以上的时间长度设为曝光时间，在曝光时间内未接受到光的情况下将距离设为无穷大。在直接tof法中，捕捉微弱的光来计测时间，因此也可以在实际进行距离计测时进行多次距离计测，并利用对得到的时间长度取平均值等方法，决定计测值。在通过多个投射光来计测距离的情况下，可以将最初的光束的投射光时刻、最后的光束的投射光时刻、或者该方向的全部光束的投射光时刻的中位数等设定为计测时刻。
[0309]
距离的计测方法不限于间接tof或者直接tof，也可以是其他方法。例如也可以使用fmcw((调频连续波)frequency modulated continuous wave)法，该fmcw不使用光束的脉冲投射光，而使用被频率调制后的连续波。在该情况下，受光可以不使用图像传感器，而使用将受光元件以2维阵列状配置而成的传感器，其中该受光元件对由于输出的连续波与接受的反射光之间的频率差而产生的光的节拍进行检测。
[0310]
＜实施方式2＞
[0311]
接下来，说明实施方式2所涉及的测距装置。在实施方式1中，表示场景中的多个点的3维位置的点群数据、或者表示场景中的多个点的距离分布的距离图像数据，包含每个帧的基准时刻数据、以及帧内的每个点的时刻差量数据。相对于此，在实施方式2中，在各帧中，按通过向同一方向出射的光束来计测距离的像素的每个集合，使数据成块，按每个块赋予个别的时刻差量数据。换言之，输出数据包含多个块的数据，各个块的数据包含多个点之中的一部分点的计测数据。按每个块，记录表示与基准时刻的差量的个别的时刻差量数据作为块的各点的时刻差量数据。
[0312]
实施方式2所涉及的测距装置的构成与实施方式中的测距装置的构成相同。与实施方式1的不同点在于信号处理电路160的动作。以下，以与实施方式1的不同点作为中心进行说明。
[0313]
图26是表示信号处理电路160中的距离计测部161的详细的功能构成的框图。距离计测部161具备数据像素提取部161a、块范围存储部161b和距离计算部161c。此外，数据像素提取部161a及距离计算部161c可以通过由信号处理电路160执行计算机程序来实现。
[0314]
数据像素提取部161a从图像传感器120取得与在每个曝光期间内各像素中积蓄的电荷的量相应的信号。数据像素提取部161a也从控制电路130取得表示被出射的光束的方向的信息。数据像素提取部161a参照块范围存储部161b，提取可能接受该方向的光束的反射光的像素的范围。进而，数据像素提取部161a在图像传感器120的像素之中，提取在2个以上的曝光期间中取得的2个信号之中的至少一方的值不为0、且与上述的像素的范围重叠的像素。将包含被提取的像素的预定的像素数的范围内的像素，决定为与该光束对应的像素
的块。预定的像素数例如可以是被包含在x轴方向上10像素且y轴方向上10像素的矩形区域中的100个。
[0315]
块范围存储部161b是存储器等记录介质。在图26的例中，是与记录介质150不同的要素，但块范围存储部161b也可以被包含在记录介质150中。在块范围存储部161b中，光束的各出射方向与可能接受该光束的反射光的像素范围建立关联地记录。进而，关于各出射方向，例如在假定为在100m的距离处有充分大的物体的情况下，接受该物体的反射光的像素的范围作为“标准像素范围”被记录。标准像素范围被包含在像素范围中。
[0316]
图27表示块范围存储部161b中记录的信息的一例。在该例中，光束的出射方向通过与图像传感器120的受光面平行的xy平面上的单位矢量、以及xz平面上的单位矢量记录。像素范围可以作为图像传感器120的像素之中的被包含在矩形的区域中的像素的范围被指定。例如，可以通过被输出的图像上最靠左上的像素位置和最靠右下的像素位置来表现像素范围。标准像素范围也同样可以通过图像上的最靠左上的像素位置和最靠右下的像素位置来指定范围。
[0317]
距离计算部161c仅关于数据像素提取部161a所决定的像素范围，计算距离。距离是指从图像传感器120的受光面到物体的距离。距离例如可以通过上述的间接tof或者直接tof的方法计算。
[0318]
图28是表示本实施方式中记录介质150中记录的信息的例子的图。在本实施方式中，不仅将图6a至图6d所示的数据，而且还将图28所示的数据在动作中进行记录。图28所示的数据包含光束方向、表示块的像素范围、以及时刻差量的信息。在本实施方式中，将接受从光束扫描仪110出射的1个方向的光束的反射光的像素群作为1个块对待。即使光束的方向相同，反射光的轨迹也根据物体的位置而变化，因此块的位置及大小可能在每次投射光时不同。在每1帧中1个方向的光束所进行的测距的次数是1次的情况下，块可能按每帧而不同。如上所述，在实际的测距中，反射光的能量小，因此有时1次投射光及曝光无法积蓄充分的电荷。在该情况下，也可以为了1次测距而多次向同一方向反复投射光并反复曝光，从而积蓄充分的电荷。此外，也可以替代表示光束方向的信息，而记录用于判别块的标识符(id)。块的像素范围例如可以通过该块中包含的多个像素之中的最初的像素(例如最靠左上的像素)的坐标和最后的像素(例如最靠右下的像素)的坐标来指定。块的像素范围的指定不限于坐标值，也可以通过像素的id来指定。与光束方向及块的像素范围建立对应地记录时刻差量。时刻差量例如可以以微秒或者纳秒为单位记录。计测时刻根据光束的出射的定时或者接受到该光束的反射光的定时决定。因此，在与1个方向的光束对应的块中，计测时刻是共通的。
[0319]
图29是表示实施方式2的测距装置的动作的例子的流程图。在该流程图中，步骤s1110至步骤s1210及步骤s1290与图19所示的对应的步骤的动作相同。以下，主要说明与图19所示的动作的不同点。
[0320]
通过步骤s1130至步骤s1210的动作，记录图6b所示的每个投射光的时刻信息。在步骤s1210中，距离计测部161关于图像传感器120的全部像素，取得与各曝光期间中积蓄的电荷的量相应的信号。
[0321]
(步骤s3110)
[0322]
信号处理电路160的距离计测部161决定图像传感器120的全部像素之中的接受了
光束的反射光的像素的块。具体而言，距离计测部161的数据像素提取部161a参照块范围存储部161b，决定可能接受与该光束的方向对应的来自物体的反射光的像素的范围。进而，数据像素提取部161a基于每个曝光期间内积蓄的电荷量，检测可能接受来自物体的反射光的像素的范围之中的某一个曝光期间内的电荷量不为0的像素。将检测出的像素及其周边的像素决定为块。块例如可以由x轴方向上10像素且y轴方向上10像素的矩形的区域内的像素构成。以某一个曝光期间中的电荷量的值不为0的1个以上的像素为中心决定范围。在某一个曝光期间的值不为0的像素分布于多个区域的情况下，以预定的大小的范围，决定包含尽可能多的像素的范围。在该范围内，未检测出某一个曝光期间的值不为0的像素的情况下，将预先按每个出射方向决定的标准像素范围中包含的多个像素决定为块。标准像素范围例如参照图27所说明的那样，可以是在距图像传感器120的受光面为100m的位置处存在充分大的物体的情况下接受来自该物体的反射光的像素的范围。关于步骤s3110的动作的详细情况后述。
[0323]
(步骤s3120)
[0324]
时刻决定部164按每个块计算时刻差量。基于图6b所示的每个光束的详细的时刻信息，关于着眼的出射方向，决定1个时刻(称为“代表时刻”)。代表时刻例如可以是向该方向出射的光束之中的最初的光束的出射时刻。或者，也可以是最后的光束的出射时刻、多个光束的出射时刻的中央(中位)的值、或者全部光束的出射时刻的平均值。时刻决定部164将决定的代表时刻与已经决定的基准时刻之间的差量，设为与该方向的光束对应的块的时刻差量。
[0325]
(步骤s3130)
[0326]
时刻决定部164将决定的时刻差量与块的像素范围的信息建立关联地记录至记录介质150。例如记录如图28所示的数据。记录光束方向、与该光束方向对应的块中包含的像素范围的开始像素及结束像素、以及与该光束方向及块对应的时刻差量。
[0327]
(步骤s3140)
[0328]
距离计算部161c关于在步骤s3110中决定的块中包含的各像素，计算距离。距离计算的方法如上所述。
[0329]
(步骤s3150)
[0330]
距离计算部161c将计算出的块内的每个像素的距离记录至记录介质150。各像素的距离例如可以按照图6d所示的形式记录。此外，在图6d的例中，按每个像素记录了时刻差量的信息，但也可以省略该时刻差量的信息。在本实施方式中，如图28所示，按每个块记录时刻差量，因此也可以不记录每个像素的时刻差量的信息。在步骤s3150之后返回步骤s1130。
[0331]
在步骤s1130中，如果判断为向预先设定的全部方向的投射光完成，则向步骤s3160前进。
[0332]
(步骤s3160)
[0333]
距离图像生成部162基于记录介质150中记录的每个像素的距离，生成以图像形式表现全部像素的距离分布的距离图像数据。在此，针对没有距离信息的像素，可以作为距离0或者无穷大来描述。
[0334]
(步骤s3170)
[0335]
点群数据生成部163基于记录介质150中记录的每个像素的距离，生成预定的3维空间坐标中的点群数据。点群数据生成部163基于图像传感器120的位置及图像传感器120的朝向的信息，针对具有除了0或者无穷大以外的值的像素进行坐标转换。由此，将距离图像数据转换为点群数据。点群数据生成部163依照包含作为点群数据的各点的来源的像素在内的块的信息，将点群数据中的多个点分割为多个块。按每个块，赋予在步骤s3140中计算的时刻的差量。
[0336]
(步骤s3180)
[0337]
输出部200生成输出数据，该输出数据包含：在步骤s1110中决定的帧的基准时刻数据、在步骤s3170中生成的点群数据、以及与各块建立了对应的时刻差量数据。
[0338]
图30a是表示本实施方式中的输出数据形式的例子的图。在该例中，每个帧的输出数据包含基准时刻、以及每个块的数据。作为每个块的数据，包含该块中包含的点的数量、该块的时刻差量、以及该块中包含的多个点各自的位置的信息。块中包含的点的数量例如可以由1字节表现。通过以块数反复输出每个块的点的数量、时刻、每个点的位置的数据集，1帧的数据的输出完成。此外，在图30a的例中块数是已知的固定值。
[0339]
图30b表示了输出数据形式的其他例。在该例中，依次赋予了将点群数据的各点与作为点群数据的转换源的距离图像中的各像素建立关联的id编号。作为1帧内的光束的方向的数量的块的数量，作为在全部帧间共通的固定值被输出。在此基础上，按每个帧输出数据。按每个帧，可以通过各个块中包含的多个点之中的最初的点的id(例如1字节)和最后的点的id(例如1字节)这2字节，确定各块中包含的多个点。该数据接在基准时刻数据之后输出与块数相应的数量，进而，将每个块的时刻差量输出与块数相应的数量。在此，与块对应的多个点的数据、以及时刻差量数据，以同一块的信息成为相同的序号的方式排列并输出。接在各块的数据之后，输出点群的各点在3维坐标中的位置。此时的点群的排列顺序是点群id的顺序。位置按每个点例如由3字节输出，以与点的个数相应的数量连续输出。此外，在块数根据帧而不同的情况下，也可以在每个帧的信息中包含块数的信息。
[0340]
在本实施方式中，点群数据包含多个块的数据，各块的数据包含与该块建立了对应的时刻差量的数据。不限于点群数据，关于距离图像数据，也可以同样地输出按每个块附加了时刻差量的数据。
[0341]
图30c是表示按每个块附加了时刻差量的距离图像数据的数据形式的一例的图。与上述的例子同样，输出作为在多个帧间共通的数据的固定值、以及按每个帧而不同的数据。在图30c的例中，每个帧的输出数据包含：基准时刻数据、以及按每个块描述了对应的像素的范围、时刻差量及各像素的距离的数据。在该例中，各像素被赋予了id。按每个帧，各个块中包含的多个像素的范围、即开始点和结束点的像素的id例如可以由2字节表现。在该对应像素的数据中，可以还包含像素数的信息。通过输出基准时刻，以及以与块数相应的数量反复输出每个块的对应像素、时刻差量、每个像素的距离的数据集，1帧的数据的输出完成。此外，在图30c的例中，块数是已知的固定值。块数也可以被包含在固定值中。
[0342]
图30d表示了输出数据形式的其他例。在该例中，固定值包含块数的信息。块数例如可以由1字节表现。按每个帧，基准时刻、以及各个块中包含的多个像素的范围、即开始点和结束点的像素的id例如可以由2字节表现。接下来，与各块对应的时刻差量例如可以由1字节表现。最后，关于各像素计测的距离可以由1字节表现。
[0343]
信号处理电路160也可以对点群数据或者距离图像数据进行编码或者压缩并输出。在编码时，例如也可以使用如图31a及图31b所示的文件格式。在图31a及图31b的例中，对点群数据的各点的位置坐标附加时刻差量id，与各时刻差量id对应的实际的时刻差量的值被描述在其他区域(例如头的高位)中。在该例中，基准时刻还包含日期的信息，例如由8字节表现。在该情况下，在帧间共通的固定值的数据中不包含日期的信息。时刻差量id的总数与块的数量一致。也就是说，时刻差量id的值的范围是0至块数-1。像这样，通过附加时刻差量id作为各点的属性信息，在编码的观点上易于进行处理，易于提高编码效率。即，通过使用时刻差量id，即使在压缩时考虑由于附加id而引起的冗余部，数据量也得以削减。例如在时刻差量为微秒的精度的情况下，相当于帧间的时间长度的时刻差量的值的范围是0～33333，时刻差量的数据量是16bit。在将相同的时刻差量与多个点建立对应的情况下，通过替代时刻差量自身而对各点附加时刻差量id，能够削减数据量。时刻差量id所需的比特数依赖于帧内的块数，例如在块数是256个的情况下为8bit，比16bit小即可。
[0344]
像这样，通过使用时刻差量id，能够抑制数据大小，并且实现适于编码的文件格式。此外，也可以将同样的文件格式适用于距离图像数据。
[0345]
接下来，说明步骤s3110中的动作的详细情况。图32是表示步骤s3110的动作的详细情况的流程图。步骤s3110包含图32所示的步骤s5110至s2110。以下，说明各步骤的动作。
[0346]
(步骤s5110)
[0347]
距离计测部161的数据像素提取部161a参照块范围存储部161b，决定可能接受与该光束的方向对应的来自物体的反射光的像素的范围。例如在图27的例中，提取与在步骤s1140中决定的光束的方向对应的“像素范围”。在光束向与图像传感器120的受光面正交的方向以外的方向出射的情况下，如果利用无失真的光学透镜使从物体扩散的光聚光，则聚光后的光在图像传感器120的受光面的特定的位置被检测。该位置处于将光束的方向投影至受光面的直线上，向该直线上的哪个位置入射，根据物体与图像传感器120的距离而变化。
[0348]
图33是表示光束的方向、物体的位置与物体的反射光向图像传感器120的受光面上的入射位置之间的关系的示意图。在图33中，从光束扫描仪110出射的光束由实线的箭头l1表现。在物体存在于位置165a、165b、165c的各处的情况下产生的反射光由虚线箭头表示。来自存在于位置165a的物体的反射光向受光面上的位置165a入射。来自存在于位置165b的物体的反射光向受光面上的位置165b入射。来自存在于位置165c的物体的反射光向受光面上的位置165c入射。位置165a、165b、165c处于将光束l1的路径投影至包含图像传感器120的受光面的平面而成的直线上。图27所示的“像素范围”，沿着该直线被设定，且被赋予了与光束的扩展宽度相应的像素的宽度。该像素范围表现在图像传感器120上可能接受反射光的范围。另一方面，图27所示的“标准像素范围”，表现可能接受在假定为物体存在于能够检测出该光束的反射光的最大的距离(例如100m)处的情况下的反射光的像素的范围。
[0349]
(步骤s5120)
[0350]
数据像素提取部161a在步骤s5110中决定的可能接受反射光的范围的像素之中，存在距离已经被记录在记录介质150中的像素的情况下，将该像素从可能接受反射光的范围的像素中除外。
[0351]
(步骤s5130)
[0352]
数据像素提取部161a针对处于在步骤s5110中决定的范围中且在步骤s5120中未被除外的像素，判断是否有在某一个曝光期间中受光的像素。在该判断为是的情况下，向步骤s5140前进。在该判断为否的情况下，向步骤s5150前进。
[0353]
(步骤s5140)
[0354]
数据像素提取部161a判断在步骤s5130中确定的在某一个曝光期间中受光的像素，是否分布在比预定的块的大小更小的范围内。预定的块的大小例如可以是纵横各10个像素的大小。在步骤s5140的判断为是的情况下，向步骤s5160前进。在步骤s5140的判断为否的情况下，向步骤s5170前进。
[0355]
图34a是表示图像传感器120的受光面之中的有可能受光的像素范围a1、以及标准像素范围a2的例子的图。图34b是表示在某一个曝光期间中受光的像素s在作为有可能受光的范围而预定的大小的范围a3的内部分布的状态的例子的图。图34c及图34d是表示在某一个曝光期间中受光的像素s超出了作为有可能受光的范围而预定的大小的范围a3而分布的状态的例子的图。在如图34b的情况下，在步骤s5140中判断为是。另一方面，在如图34c或者图34d的情况下，在步骤s5140中判断为否。
[0356]
此外，作为特殊的情形，如图35a的例子，在有可能受光的范围a1之中，可能检测出多个相同大小的连续的受光像素s的范围。或者，如图35b的例子，受光像素s可能在有可能受光的范围a1中均一地分布。对于这些例外，在图35a的情况下，例如也可以以包含有可能受光的范围a1之外的方式将附近受光的像素较多的连续的受光像素s的范围设定为块。在图35b的情况下，例如也可以将受光像素s的分布范围的中央(中位)的位置的块大小的区域a3设定为块。
[0357]
(步骤s5150)
[0358]
数据像素提取部161a将块范围存储部161b中存储的标准像素范围设定为块。该步骤例如在如图34a所示的情况下被执行。在执行了步骤s5150之后向步骤s3120前进。
[0359]
(步骤s5160)
[0360]
数据像素提取部161a在步骤s5110中提取的有可能受光的范围内，将受光的连续的像素设定为块。该步骤例如在如图34b所示的情况下被执行。在执行了步骤s5160之后向步骤s3120前进。
[0361]
(步骤s5170)
[0362]
数据像素提取部161a确定相邻的像素均为受光像素的连续的受光像素的区域。在被确定的受光像素连续的区域之中，提取最大的即区域中包含的像素数最多的区域。
[0363]
(步骤s5180)
[0364]
数据像素提取部161a判断在步骤s5170中提取的受光像素连续的区域之中的最大的区域，是否为预定的块大小以下。在该判断为是的情况下，向步骤s5190前进。在该判断为否的情况下，向步骤s5200前进。
[0365]
(步骤s5190)
[0366]
数据像素提取部161a将在步骤s5170中提取的区域设定为块。该步骤例如在如图34c所示的情况下被执行。在执行了步骤s5190之后向步骤s3120前进。
[0367]
(步骤s5200)
[0368]
数据像素提取部161a以在步骤s5170中提取的区域的中心位置、例如该区域中包
含的全部受光像素的坐标的重心位置作为中心，设定块。也可以以块的中心位置与在步骤s5170中提取的区域的中心重合的方式设定块。该步骤例如在如图34d所示的情况下被执行。在执行了步骤s5200之后向s3120前进。
[0369]
如上，实施方式2中的测距装置按光束的每个方向，使距离图像数据以及/或者从距离图像转换的点群数据中的多个点的数据成块。在此基础上，按每个块记录时刻差量。不是输出对距离图像数据或者点群数据的全部点都赋予了时刻的数据，而是按每个块赋予时刻并输出。由此，能够进一步削减数据量。
[0370]
＜实施方式3＞
[0371]
接下来，说明实施方式3所涉及的车辆控制系统。
[0372]
图36是表示实施方式3所涉及的车辆控制系统800的构成的框图。该车辆控制系统800包含点群数据取得系统200和自动驾驶控制系统700。点群数据取得系统200具备多个测距装置100a、以及处理器190。自动驾驶控制系统700具备信息处理装置710、记录介质720和输出接口730。
[0373]
各测距装置100a具备与上述任一个实施方式中的测距装置同样的构成。在图36中，仅表示1个测距装置100a的构成。多个测距装置100a均具有同等的功能，被配置在车辆的不同位置。各测距装置100a的信号处理电路160输出距离图像数据。在本实施方式中，点群数据由被配置在测距装置100a的外部的处理装置即处理器190生成。处理器190将从多个测距装置100a分别输出的多个距离图像数据综合为1个点群数据并输出。处理器190具备点群数据生成部191和点群数据输出部192。点群数据生成部191及点群数据输出部192各自也可以作为专用的电路实现。或者，也可以通过由处理器190执行计算机程序从而作为点群数据生成部191及点群数据输出部192发挥功能。
[0374]
各测距装置100a通过执行与上述任一个实施方式中的动作同样的动作，生成按每个帧赋予了基准时刻、且按帧内的每个像素或者每个块赋予了时刻差量的距离图像数据。例如，可以生成如图7c、7d、24c、24d、30c、30d中的任一个所示的距离图像数据。该距离图像数据被发送至点群数据生成部191。此外，用于识别多个测距装置100a中的各个测距装置100a的id信息，也可以作为在多个帧间共通的固定值被包含在距离图像数据中。
[0375]
点群数据生成部191对从多个测距装置100a分别取得的距离图像数据进行综合来生成点群数据。具体而言，点群数据生成部191从多个测距装置100a逐次取得距离图像数据，基于各个数据中包含的基准时刻及时刻差量，计算各像素的测定时刻。然后，根据测定时刻比较相近的像素的距离数据，生成综合后的3维点群数据。在某例中，点群数据生成部191将取得的多个帧的距离图像之中的测定时刻处于一定时间的范围内的距离图像，综合为点群数据中的1个“帧”。在其他例中，点群数据生成部191在1帧的距离图像中，将测定时刻处于一定时间的范围内的像素群综合为点群数据中的1个“帧”。在后者的例中，1个距离图像中的数据可以被分割至点群数据中的多个“帧”。上述的一定时间例如可以是30毫秒左右。
[0376]
点群数据生成部191从各测距装置100a，也取得表示各个图像传感器120的位置及姿态的数据。点群数据生成部191基于取得的该数据，关于各个距离图像的像素之中的具有除了0或者无穷大以外的值的像素，将距离数据转换为3维坐标数据。由此，点群数据生成部191能够将距离图像数据转换为3维点群数据。3维坐标例如可以是以该车辆的中心为原点
的3维坐标。点群数据生成部191将作为点群数据的转换源的距离图像数据中的像素或者块与时刻差量的对应，作为点群数据的点或者块与时刻差量的对应，来生成点群数据。
[0377]
点群数据生成部191也可以关于点群数据，重新决定基准时刻、以及每个点或者每个块的时刻差量。例如，也可以将从多个测距装置100a输出的距离图像数据被赋予的基准时刻中的任一个、或者其平均值，设为新的基准时刻。通过基于该新的基准时刻重新计算各点的时刻差量，能够决定综合后的点群数据中的各点的时刻差量。
[0378]
点群数据输出部192将生成的点群数据例如按上述的每一定时间作为输出数据列输出。该输出数据列被发送至自动驾驶控制系统700中的信息处理装置710。
[0379]
图37a表示输出数据列的数据形式的一例。在该例中，使点群的数据成块，按每个块赋予了个别的时刻信息。在图37a的例中，按每个数据列，首先以8字节输出基准时刻，以1字节输出块数，其后，按每个块，以1字节输出块内包含的点数，以1字节输出时刻差量，以3字节输出各点的3维位置信息。
[0380]
图37b表示输出数据列的数据形式的其他例。在该例中，按每个数据列，首先以8字节输出基准时刻，以1字节输出块数，以1字节输出全部点数，接下来，将块的对应点以各2字节输出与块数相应的数量，将时刻以各5字节输出与块数相应的数量，将各点的3维位置坐标以各3字节输出与全部点数相应的数量。
[0381]
此外，在图37a及图37b的例中，也可以赋予每个数据列的标识符(id)。标识符也可以设为按每个数据列各增加1，并在规定的数量时复位为0。另外，也可以将取得的传感器信息包含在数据列中。例如，也可以将包含图像传感器的传感器群的数量、以及各个传感器的固定值(例如位置、方向、视场角)包含在数据列中。也可以按每个块赋予传感器id，作为表示各个块由多个传感器之中的哪个传感器取得的信息。
[0382]
在本实施方式中，处理器190对从多个测距装置100a分别输出的距离图像数据进行综合，生成包含基准时刻以及每个点或者每个块的时刻差量的数据的数据列。不限于这样的方式，处理器190也可以替代基准时刻及各点或者各块的时刻差量的数据，而生成包含各点或者各块的计测时刻的数据的数据列。各点或者各块的计测时刻能够基于基准时刻及时刻差量的数据来计算。在该情况下，例如可以输出从图37a或者图37b所示的数据列将“基准时刻”的数据除外、替代“时刻差量”而包含“计测时刻”的数据的数据列。
[0383]
自动驾驶控制系统700基于从点群数据取得系统200逐次取得的点群数据，进行车辆的自动驾驶控制。自动驾驶控制系统700具备信息处理装置710和记录介质720。在记录介质720中，记录了地图数据等各种数据。各种数据也可以通过通信而每次取得及更新。信息处理装置710基于地图数据、以及从点群数据取得系统200逐次取得的点群数据，向多个操作系统发送恰当的指令。操作系统例如包含加速器、制动器、转向器等机构。根据本实施方式，从点群数据取得系统200发送被恰当地对时的点群数据，因此能够减小起因于时刻误差的误识别的可能性。
[0384]
＜其他实施方式＞
[0385]
在上述的各实施方式中，表示了数据形式的一例，但也可以使用其他数据形式。例如，各个数据的字节数不限于上述的值，既可以是其他固定值，也可以是可变的。在可变的情况下，也可以另行将字节长度包含在数据中。另外，也可以使用规定的数据形式的同步信息或者定界符，作为表示每个块、帧或者传感器的数据的分界的信息。在对数据进行解析
时，在取得了同步信息之后，能够进行数据的解析。既可以通过在数据中包含数据长度或者数据数量的信息来表示数据的分界，也可以将同步信息与数据长度或者数据数量组合来表示数据的分界。也可以将各个数据设为包形式。也可以在包中例如表示包的类别、长度或者数据等，在包头中表示数据共通的信息。
[0386]
在上述的各实施方式中，光束的束形状及束径是固定的，但束形状及束径也可以能够按每个帧调整。在相同的光的能量下，通过缩小束径，光束会到达更远处。在被出射的光的能量相同而按每个帧调整到达距离的情况下，按每个帧调整束形状及束径是有效的。也可以按束的每个方向使距离图像的像素成块，进而使从距离图像转换的点群数据的点成块。
[0387]
在上述的各实施方式中，光束的束径在1帧量的距离计测动作中是固定的。相对于此，也可以在1帧量的距离计测动作中能够调整束径。投射光也可以包含能够一次向图像传感器120的视场角的范围整体照射光的闪光灯的投射光。通过使光束的束形状及束径能够变更，能够以更少的投射光次数实现高精度的测距。也可以按束的每个种类或者方向使距离图像的像素成块，进而使从距离图像转换的点群数据的点成块。
[0388]
光束扫描仪110也可以构成为同时出射多个光束。在该情况下，控制电路130也可以关于从光束扫描仪110出射的多个光束，对各个光束的方向进行调整，以使这些光束的反射光不被同一像素接受。也可以同时出射多个光束，输出具有相同的时刻差量数据的多个像素块的数据。通过向不同方向同时出射多个光束，使方向的组合变化并且扫描对象场景，能够缩短扫描场景整体所需的时间。进而，通过与多个块建立对应地输出1个时刻信息，能够削减输出数据的量。
[0389]
在上述的各实施方式中，主要记录光束被出射的时刻作为进行了测距的详细的时刻。作为其他实施方式，也可以记录与图像传感器120接受了反射光的曝光期间建立了关联的时刻，作为测距的详细的时刻。
[0390]
＜补充＞
[0391]
(1)在上述的各实施方式中，作为对由测距装置计测的距离数据进行综合的处理的一例，说明了使用由多个测距装置计测的距离数据以及对该距离数据赋予的时刻信息来生成点群数据的例子。但是，使用输出数据的信号处理不限于上述对距离数据进行综合的处理。使用输出数据的信号处理既可以由图2所示的服务器500实施，也可以由移动体300或者固定体400所具备的未图示的信号处理电路实施。另外，也可以由测距装置100或者100a所具备的信号处理电路160实施。
[0392]
(2)在上述的各实施方式中，举出了对于通过出射光束来计测的距离数据或者3维点群数据赋予计测时刻信息的情况为例进行说明。但是，作为计测时刻信息被赋予的对象的距离数据或者3维点群数据，也可以是由具有与上述各实施方式中说明的测距装置不同的构成的测距装置测定的数据。例如，也可以是由使用毫米波等无线电波进行测距的测距装置测定的数据，也可以是由使用一个或者多个相机所取得的2维图像进行测距的测距装置测定的数据。
[0393]
另外，关于由使用毫米波等无线电波进行测距的测距装置测定的数据，例如也可以将根据基于在同一时刻从一个或者多个发送天线出射的电波束而由一个或者多个接收天线接收的信号生成的多个测距数据或者3维点群数据，作为一个块存放。此时，也可以按
块的数据，赋予了电波束的出射时刻或者反射束的接收时刻等计测时刻信息。
[0394]
像这样，关于本公开的各实施方式说明的测距数据的生成方法及装置，例如能够适用于出射光或者电波等电磁波并进行测距的任意的主动(有源)的测距方式。根据本构成，在输出数据中，与对于作为测距对象的区域整体的测距数据或者点群数据赋予一个计测时刻信息的情况相比，以更小的数据单位赋予时刻信息。因此，在使用该输出数据进行与其他数据的综合等信号处理的情况下，能够得到处理变得容易或者处理结果的品质或可靠性提高等效果。特别是，不是按每个点赋予详细的时刻信息，而是按每个点或者每个块赋予数据大小更小的时刻差量信息。由此，能够缩小输出数据的大小。
[0395]
(3)以下举出本公开中包含的多个方式之中的一部分为例进行说明。
[0396]
作为本公开中包含的一个方式的数据生成装置生成3维数据，所述3维数据包含在第1期间中被计测的第1计测数据、以及在第2期间中被计测的第2计测数据，所述第1计测数据包含表示通过照射一个或者多个束而测定的多个点的位置或者距离的测定数据，所述数据生成装置包含处理器以及与所述处理器连接的存储器，所述处理器生成表示基准时刻以及所述多个点各自的时刻差量的时刻数据，输出存放了所述时刻数据的所述3维数据，所述时刻数据基于为了对所述多个点进行计测而出射的束的出射时刻被决定。
[0397]
作为本公开中包含的一个方式的数据处理装置对3维数据进行处理，所述3维数据包含在第1期间中被计测的第1计测数据、以及在第2期间中被计测的第2计测数据，所述第1计测数据包含表示通过照射一个或者多个束而计测的多个点的位置或者距离的测定数据，所述数据处理装置包含处理器以及与所述处理器连接的存储器，所述处理器读出所述存储器中存放的所述3维数据，所述3维数据包含表示基准时刻以及所述多个点各自的时刻差量的时刻数据，使用所述时刻数据生成第二3维数据，所述时刻数据基于为了对所述多个点进行计测而出射的束的出射时刻被决定。
[0398]
工业实用性
[0399]
本公开的技术能够广泛利用于进行测距的装置或者系统。例如，本公开的技术可以用作lidar(光感探测及测距(light detection and ranging))系统的构成要素。
[0400]
附图标记说明：
[0401]
100 测距装置
[0402]
110 光束扫描仪
[0403]
120 图像传感器
[0404]
130 控制电路
[0405]
140 时钟
[0406]
150 记录介质
[0407]
160 信号处理电路
[0408]
161 距离计测部
[0409]
162 距离图像生成部
[0410]
163 点群数据生成部
[0411]
164 时刻决定部
[0412]
169 输出部
[0413]
190 处理器
[0414]
200 点群数据取得系统
[0415]
300 移动体
[0416]
310 测距传感器
[0417]
320 通信电路
[0418]
400 固定体
[0419]
410 测距传感器
[0420]
420 通信电路
[0421]
500 服务器
[0422]
520 处理器
[0423]
540 记录介质
[0424]
600 网络
[0425]
700 自动驾驶控制系统
[0426]
710 信息处理装置
[0427]
720 记录介质
[0428]
800 车辆控制系统