测距装置及控制方法与流程

1.本公开涉及测距装置及控制方法。


背景技术：

2.以往，提出了通过向物体照射光并检测来自该物体的反射光来取得与该物体的位置或距离有关的数据的各种设备。
3.例如专利文献1公开了一种物体检测装置，具备包括光源的投光系统、包括接受从投光系统投光并被物体反射的光的光检测器的受光系统、被输入光检测器的输出信号的信号处理系统、以及控制系统。控制系统将投光系统的投光范围内的至少1个区域设定为关注区域，并控制投光系统的投光条件或信号处理系统的处理条件，以使其在向关注区域投光时和向关注区域以外的区域投光时不同。
4.专利文献2公开了激光雷达(lidar：light detection and ranging)装置。该激光雷达装置具备第1光束扫描器、第2光束扫描器和控制器。第1光束扫描器以第1扫描模式的第1激光束扫描第1区域。第2光束扫描器以第2扫描模式的第2激光束扫描比第1区域窄的第2区域。控制器驱动第1光束扫描器而扫描第1区域，取得第1激光束的反射光的数据。并且，根据该数据决定1个以上的对象物，驱动第2光束扫描器而照射第2区域内，由此监视该对象物。
5.专利文献3公开了测距摄像装置。该测距摄像装置基于从检测无源光的图像传感器输出的信号，从摄像对象区整体之中确定需要测距的被摄体。并且，用激光照射该被摄体，通过检测其反射光，计测到该被摄体的距离。
6.专利文献4公开了用光束将空间进行扫描，由图像传感器接受来自物体的反射光而取得距离信息的装置。
7.现有技术文献
8.专利文献
9.专利文献1：日本特开2017－173298号公报
10.专利文献2：美国专利第10061020号说明书
11.专利文献3：日本特开2018－185342号公报
12.专利文献4：美国专利申请公开第2018/0217258号说明书


技术实现要素：

13.发明要解决的课题
14.本公开的目的是提供一种能够有效地取得测距对象场景中的特定区域的距离数据的技术。
15.用来解决课题的手段
16.有关本公开的一技术方案的测距装置具备：发光装置，能够射出扩散程度不同的多种光；受光装置，检测基于从上述发光装置射出的上述光的反射光；以及处理电路，控制
上述发光装置及上述受光装置，对从上述受光装置输出的信号进行处理。上述处理电路进行以下处理：使上述发光装置射出照射场景内的第1范围的第1光；使上述受光装置检测通过上述第1光的照射而产生的第1反射光并输出第1检测数据；基于上述第1检测数据，决定比上述第1范围窄的1个以上的第2范围；使上述发光装置射出照射上述第2范围且扩散程度比上述第1光小的第2光；使上述受光装置检测通过上述第2光的照射而产生的第2反射光并输出第2检测数据；基于上述第2检测数据，生成上述第2范围的距离数据并输出。
17.本公开的包含性或具体的形态，也可以由系统、装置、方法、集成电路、计算机程序或计算机可读取的记录盘等的记录介质实现，也可以由系统、装置、方法、集成电路、计算机程序及记录介质的任意的组合实现。计算机可读取的记录介质既可以包括易失性的记录介质，也可以包括cd－rom(compact disc-read only memory)等的非易失性的记录介质。装置也可以由1个以上的装置构成。在装置由2个以上的装置构成的情况下，该2个以上的装置既可以配置在1个设备内，也可以分开配置在分离的2个以上的设备内。在本说明书及权利要求书中，“装置”不仅能够指1个装置，还可以指由多个装置构成的系统。
18.发明效果
19.根据本公开的实施方式，能够有效地取得测距对象场景中的特定区域的距离数据。
附图说明
20.图1是表示测距装置的基本的构成的图。
21.图2是用来说明测距装置的动作的概要的图。
22.图3是表示由测距装置进行的1次测距动作的流程的流程图。
23.图4是示意地表示实施方式1的测距装置的构成的图。
24.图5是表示1次测距动作的例子的流程图。
25.图6a是表示距离图像的一例的图。
26.图6b是表示被选择的第2范围的例子的图。
27.图6c是表示被照射扫描束的范围的例子的图。
28.图7是表示1次测距动作的另一例的流程图。
29.图8是用来说明基于直接tof的测距方法的例子的图。
30.图9是用来说明基于间接tof的测距方法的例子的图。
31.图10a是表示近距离模式下的光脉冲及曝光时间窗的例子的图。
32.图10b是表示远距离模式下的光脉冲及曝光时间窗的例子的图。
33.图11是表示量程切换的另一例的图。
34.图12a是表示闪光和扫描束的发光定时及曝光定时的例子的图。
35.图12b是表示将基于闪光进行的测距和基于扫描束进行的测距以不同的帧动作进行的例子的图。
36.图13是示意地表示扫描光源的一例的图。
37.图14a是示意地表示扫描光源的例子的图。
38.图14b是示意地表示光波导元件的构造的一例的图。
39.图14c是示意地表示移相器的一例的图。
40.图15是表示实施方式1的变形例的测距装置的动作的流程图。
41.图16a是表示距离图像的一例的图。
42.图16b是表示被选择的第2范围的例子的图。
43.图16c是表示被照射扫描束的范围的例子的图。
44.图17是表示实施方式1的变形例的动作的流程图。
45.图18是表示变形例的闪光及扫描束的发光定时和曝光定时的例子的图。
46.图19是表示另一变形例的测距装置的动作的流程图。
47.图20是表示变形例的发光和受光的定时的图。
48.图21是表示变形例的发光和受光的定时的图。
49.图22是表示对于比闪光先射出扫描光的构成应用直接tof法的例子的图。
50.图23是表示实施方式2的测距装置的构成的图。
51.图24是表示由实施方式2的测距装置进行的1次测距动作的流程的流程图。
52.图25a是表示亮度图像的一例的图。
53.图25b是表示在亮度图像中存在特定的对象物的区域的例子的图。
54.图25c是表示被照射扫描束的范围的例子的图。
55.图25d是表示被照射扫描束的范围的另一例的图。
56.图26是表示实施方式2的变形例的动作的流程图。
具体实施方式
57.在本公开中，电路、单元、装置、部件或部的全部或一部分、或框图中的功能块的全部或一部分例如也可以由包括半导体装置、半导体集成电路(ic)或lsi(large scale integration)的1个或多个电子电路执行。lsi或ic既可以集成到1个芯片上，也可以将多个芯片组合而构成。例如，也可以将存储元件以外的功能块集成到1个芯片上。这里称作lsi或ic，但根据集成的程度而叫法变化，也可以称作系统lsi、vlsi(very large scale integration)或ulsi(ultra large scale integration)。也可以以相同的目的使用可在lsi的制造后编程的field programmable gate array(fpga)、或能够进行lsi内部的接合关系的重构或lsi内部的电路划分的设置的reconfigurable logic device。
58.进而，电路、单元、装置、部件或部的全部或一部分的功能或操作可以通过软件处理来执行。在此情况下，将软件记录到1个或多个rom、光盘、硬盘驱动器等的非暂时性记录介质中，在软件被处理装置(processor)执行时，由该软件确定的功能被处理装置(processor)及周边装置执行。系统或装置也可以具备记录有软件的1个或多个非暂时性记录介质、处理装置(processor)及需要的硬件设备、例如接口。
59.以下，说明本公开的例示性的实施方式。另外，以下说明的实施方式都表示包含性或具体的例子。因而，在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例，不是限定本公开的意思。此外，关于以下的实施方式的构成要素中的、在表示本公开的最上位概念的独立权利要求中没有记载的构成要素，设为任意的构成要素进行说明。此外，各图是示意图，并不一定是将各结构严密地图示的。在各图中，对于实质上相同的构成要素赋予相同的标号，有将重复的说明省略或简略化的情况。
60.图1是表示本公开的例示性的实施方式的测距装置的概略性的构成的框图。本实施方式的测距装置具备发光装置100、受光装置200和处理电路300。测距装置例如可以作为搭载于车辆的激光雷达系统的一部分使用。测距装置构成为，用光照射测距对象的场景，生成距离数据并输出。另外，本公开中的“距离数据”是指距场景中的1个以上的计测点相对于基准点的绝对距离、或表示计测点之间的相对深度的任意形式的数据、或者用来计算上述距离或深度的任意形式的数据。距离数据例如既可以是距离图像数据，也可以是三维点群数据。此外，距离数据并不限于直接表示距离或深度的数据，也可以是用来计算距离或深度的传感器数据本身、即raw数据。传感器数据即raw数据是从受光装置200所具备的传感器输出的数据。raw数据例如可以是受光装置200检测到的并表示1个以上的亮度的亮度数据。
61.发光装置100射出扩散程度不同的多种光。例如，可以朝向场景照射扩散相对较大的光束或闪光，或朝向场景中的特定区域照射扩散较小的光束。换言之，发光装置100能够射出相对较宽的第1光和照射比第1光的照射范围窄的范围的第2光。发光装置100也可以具备射出第1光的第1光源和射出第2光的第2光源。或者，发光装置100也可以具备能够射出第1光及第2光双方的1个光源。
62.受光装置200检测从发光装置100射出的光的反射光。受光装置200例如具备1个以上的图像传感器。受光装置200检测通过第1光的照射而产生的第1反射光，输出第1检测数据。受光装置200还检测通过第2光的照射而产生的第2反射光，输出第2检测数据。受光装置200也可以具备检测第1反射光并输出第1检测数据的第1图像传感器和检测第2反射光并输出第2检测数据的第2图像传感器。或者，受光装置200也可以具备能够分别检测第1反射光及第2反射光的1个图像传感器。
63.处理电路300是控制发光装置100及受光装置200，对从受光装置200输出的数据进行处理的电路。处理电路300包括1个以上的处理器和1个以上的记录介质。记录介质包括例如ram及rom等的存储器。在记录介质中，可以保存由处理器执行的计算机程序以及在处理的过程中产生的各种数据。处理电路300也可以是多个电路的集合体。例如，处理电路300也可以包括对发光装置100及受光装置200进行控制的控制电路和对从受光装置200输出的信号进行处理的信号处理电路。
64.图2是用来说明测距装置的动作的概要的图。在图2中，示意地表示测距装置的一例和能够由测距装置生成的距离图像的一例。该例中的发光装置100具备第1光源110和第2光源120。第1光源110构成为，作为第1光而射出闪光l1。第2光源120构成为，作为第2光而射出扩散更小的光束l2。第2光源120能够使光束l2的射出方向变化。受光装置200具备图像传感器210。该例中的图像传感器210是能够进行基于tof(time of flight：飞行时间)的测距的tof图像传感器。图像传感器210可以使用直接tof或间接tof技术来生成测距对象的场景的距离图像。处理电路300对第1光源110、第2光源120及图像传感器210进行控制。
65.本实施方式的处理电路300使第1光源110射出闪光l1，使图像传感器210检测其反射光。由此，图像传感器210中作为第1检测数据而生成对象场景的距离图像数据并输出。处理电路300基于所输出的距离图像数据，在场景中决定需要进行更高精度的测距的1个以上的区域。并且，使第2光源120朝向所决定的区域射出光束l2，使图像传感器210检测其反射光。此时，处理电路300也可以通过将光束l2的射出方向依次变更，使得由光束l2扫描所决定的区域。图2的右图所示的多个白圈表示用光束l2照射的区域的例子。通过将这些区域用
光束l2扫描，图像传感器210能够生成这些区域的距离数据。处理电路300能够基于从图像传感器210输出的距离数据，输出到存在于场景中的特定区域中的对象物的距离数据。通过反复进行上述的动作，将对象场景的距离数据例如距离图像数据以规定的帧速率输出。
66.图3是表示由测距装置进行的1次测距动作的流程的流程图。处理电路300在测距动作中，执行图3的流程图所示的步骤s11至s17的动作。以下，说明各步骤的动作。
67.(步骤s11)
68.处理电路300使发光装置100射出照射场景内的第1范围的第1光。在图2的例子中，由于第1光是闪光，所以场景内的比较的大的范围被闪光照射。
69.(步骤s12)
70.处理电路300使受光装置200检测通过第1光的照射而产生的第1反射光并输出第1检测数据。在图2的例子中，第1检测数据是表示第1范围内的距离分布的距离图像数据。第1检测数据也可以是表示第1范围内的亮度分布的亮度图像数据。
71.(步骤s13)
72.处理电路300基于第1检测数据，决定比第1范围窄的1个以上的第2范围。作为该第2范围，例如可以在第1检测数据表示的图像中，选择距离计测的精度低的范围、或推测为存在应关注的对象物的范围。在第1检测数据是距离图像数据的情况下，在生成距离图像数据时参照的各像素的受光量少的情况下，可以认为针对该像素计算出的距离的可靠度低。所以，例如在表示各像素的受光量的像素值低于规定的阈值的情况下，可以将包含该像素的范围决定为第2范围。另一方面，在第1检测数据是亮度图像数据的情况下，也可以通过利用周知的图像识别技术识别特定的对象物(例如，汽车、二轮车、自行车或步行者等)来决定第2范围。
73.(步骤s14)
74.处理电路300使发光装置100射出照射第2范围的第2光。如图2所示，第2光是比第1光窄的光束。因此，第2光的能量密度比第1光的能量密度高，达到更远方。即，通过第2光的照射，与使用第1光的情况相比能够进行更远方的距离计测。因而，对于仅通过第1光的照射不能以充分的精度计测距离的区域，也能够通过第2光的照射以更高的精度计测距离。在第2光的束径比第2范围小的情况下，处理电路300对发光装置100进行控制，以用第2光扫描第2范围。
75.(步骤s15)
76.处理电路300使受光装置200检测通过第2光的照射而产生的第2反射光并输出第2检测数据。第2检测数据既可以是被照射了第2光的区域的距离数据，也可以是亮度数据。
77.(步骤s16)
78.处理电路300基于第2检测数据，生成表示到存在于第2范围中的1个以上的对象物的距离的距离数据并输出。由此，能够取得仅通过第1光的照射不能得到的距离信息、例如远方的对象物的距离信息。
79.(步骤s17)
80.处理电路300也可以将第1检测数据和第2检测数据整合为1个数据。例如，也可以将基于第1检测数据的距离图像数据和基于第2检测数据的距离图像数据进行整合，重构1个距离图像数据。或者，也可以将基于第1检测数据的三维点群数据和基于第2检测数据的
三维点群数据进行整合，重构1个三维点群数据。或者，也可以将基于第1检测数据的亮度数据和基于第2检测数据的亮度数据进行整合，重构1个亮度数据。另外，该整合处理不是必须的，也可以将各距离数据单独地依次输出。
81.图3所示的流程图表示1次测距动作，在实际的应用时，可以反复执行图3所示的动作。例如，可以以1秒间30次左右的速率反复执行图3所示的动作。在图3所示的例子中，将第1光和第2光以不同的定时射出，但也可以将它们同时射出。在此情况下，反复进行将第1光和第2光同时射出的动作。由第2光照射的第2范围基于通过该第2光的照射以前的第1光的照射得到的第1检测数据来决定。
82.另外，在步骤s11及s12中，在由1次第1光的照射带来的反射光的强度不充分的情况下，也可以将第1光照射多次，基于将其反射光累计的结果来生成第1检测数据。同样，在步骤s14及s15中，也可以将第2光照射多次，基于将其反射光累计的结果来生成第2检测数据。第1光和第2光的累计次数既可以相同也可以不同。
83.如以上这样，根据本实施方式，首先用相对较宽的第1光照射场景内的第1区域。通过第1光的照射而产生的第1反射光由受光装置200检测，输出第1检测数据。接着，基于第1检测数据，决定比第1范围窄的第2范围。将所决定的第2范围用扩散程度比第1光小的第2光照射。通过第2光的照射而产生的第2反射光由受光装置200检测，输出第2检测数据。基于第2检测数据，计测到存在于第2范围内的对象物的距离。
84.通过这样的动作，关于在仅使用第1光的情况下不能以充分的精度计测距离的区域，也能够以更高的精度计测距离。进而，与通过用第2光扫描场景整体来取得场景整体的距离数据的构成相比，能够在短时间内取得需要的距离数据。因此，能够在短时间内取得可靠性高的距离数据。这样的测距装置例如可以作为自动驾驶系统中的传感器之一使用。通过使用本实施方式的测距装置，能够以高精度高速地进行自动驾驶所需要的可动物体(例如，人、汽车、两轮车等)的识别。
85.以下，说明本公开的更具体的实施方式。
86.(实施方式1)
87.图4是示意地表示本公开的例示性的实施方式1的测距装置的构成的图。本实施方式的测距装置具备闪光源111、扫描光源121、tof图像传感器211和控制器301。闪光源111对应于上述的“第1光源”。闪光源111射出闪光。扫描光源121对应于上述的“第2光源”。扫描光源121射出扫描光(以下，也称作“扫描束”)，该扫描光是将闪光的照射范围中包含的一部分范围进行照射的光束。闪光源111和扫描光源121的集合对应于上述的“发光装置”。tof图像传感器211对应于上述的“受光装置”中的“图像传感器”。tof图像传感器211例如使用直接tof或间接tof技术生成对象场景的距离图像数据。以下，有将距离图像数据简单称作“距离图像”的情况。控制器301对应于上述的“处理电路”。控制器301与闪光源111、扫描光源121及图像传感器211连接，控制它们的动作。控制器301具备处理器和存储器330。
88.本实施方式的控制器301进行闪光的射出定时的控制，扫描光的束形状、射出方向及射出定时的控制、以及基于从图像传感器211输出的数据的处理。控制器301基于通过闪光的照射而生成的距离图像数据和通过扫描光的照射而生成的距离数据，生成关于对象场景的新的距离图像数据并输出。另外，控制器301也可以代替距离图像数据或在距离图像数据的基础上，生成亮度图像数据或三维点群数据。以下，说明由控制器301进行的动作的详
细情况。
89.图5是表示由控制器301执行的1次测距动作的流程图。控制器301通过执行图5所示的步骤s101到s109的动作，生成场景的测距数据。以下，说明各步骤的动作。
90.(步骤s101)
91.控制器301将闪光源111进行驱动，使其射出闪光。通过闪光，照射场景中的比较宽的第1范围。测距数据通过将闪光进行脉冲发光并计测或计算其反射光脉冲的延迟时间来得到。另外，在本实施方式中使用闪光，但也可以代替闪光而使用比较广角的光束。
92.(步骤s102)
93.控制器301使图像传感器211执行曝光而检测闪光的反射光。反射光的检测按图像传感器211的每个像素进行。在本实施方式中，使用直接tof或间接tof的技术，按每个像素计算距离。也可以通过将闪光的照射和由图像传感器进行的曝光反复进行多次，来积蓄各像素的信号。通过这样的动作，能够使sn(signal to noise)比提高。图像传感器211输出表示每个像素的距离的值的数据。将该数据称作“距离图像数据”。关于图像传感器211的动作的具体例在后面叙述。
94.(步骤s103)
95.控制器301取得从图像传感器211输出的距离图像数据。图6a是表示距离图像的一例的图。如该例那样，生成表示第1区域内的距离分布的图像，向存储器330保存。
96.(步骤s104)
97.控制器301基于距离图像数据，将推测为测距的可靠度低的区域确定为第2范围。例如，基于图像传感器211在对各像素计算距离时使用的各像素的光强度数据、或所生成的距离图像的各像素的距离的值，决定第2范围。作为推测为测距的可靠度低的区域，例如可以选择作为距离图像的生成的来源的光强度数据的值比阈值小、即sn比低的区域。图6b是表示被选择的第2范围的例子的图。在图6b中，用矩形的框表现第2范围的例子。像这样，将距离图像的一部分区域决定为第2范围。在图6b的例子中，将1个矩形区域决定为第2范围，但也可以将多个区域决定为第2范围。
98.(步骤s105)
99.控制器301决定扫描束的射出方向。射出方向被设定为，第2范围的至少一部分被扫描束照射的方向。这里，扫描光源121也可以构成为，不仅能够变更光束的方向、还能够变更束形状或束径。在此情况下，控制器301也可以不仅根据扫描束的方向、还根据第2范围的分布来调整束形状及/或束径。
100.(步骤s106)
101.控制器301向扫描光源121指示，以向所决定的射出方向射出扫描束。由此，第2范围的至少一部分被扫描束照射。这里，在1次扫描束的射出下光量不足的情况下，也可以向相同的方向多次射出扫描束，通过反复曝光来积蓄信号。图6c表示被照射扫描束的范围的例子。在图6c中，用椭圆表现了被照射扫描束的范围的例子。在图6c中，例示了被方向不同的2个扫描束照射的2个范围。控制器301也可以通过将扫描束的方向变更并反复照射，来照射第2范围的整体。或者，也可以将多个扫描束向不同的方向同时射出。
102.(步骤s107)
103.控制器301使图像传感器211检测扫描束的反射光并输出扫描束的照射范围中的
距离数据。这里，在多次射出扫描束的情况下，曝光也按每一次的扫描束的射出来进行。在此情况下，将步骤s105到s107的动作反复进行直到扫描完成。
104.(步骤s108)
105.控制器301取得由图像传感器211生成的关于第2范围的距离数据。该距离数据是表示与被照射了扫描束的第2范围对应的多个像素的距离的值的数据。
106.(步骤s109)
107.控制器301基于在步骤s103中取得的距离图像数据和在步骤s108中取得的距离数据，生成新的距离图像数据并输出。该距离图像数据可以是将在步骤s103中取得的距离图像数据中的对应于第2范围的数据替换为在步骤s108中取得的数据而得到的数据。控制器301也可以在该距离图像数据的基础上，还一起输出从图像传感器211或未图示的其他图像传感器取得的亮度图像数据。另外，在该例中，控制器301将基于闪光的数据和基于扫描光的数据进行整合而输出，但也可以将两者作为独立的不同的数据来输出。
108.控制器301也可以将距离图像数据中的各距离的值变换为三维坐标值，作为三维点群数据来输出。此外，控制器301也可以将在步骤s102及步骤s107中由图像传感器211检测到的亮度图像数据，与为了根据该亮度图像数据计算距离图像数据而需要的附加数据一起输出。附加数据例如是表示在后述的基于间接tof的距离计算中需要的图像传感器211的曝光定时及曝光时间窗的宽度的数据。
109.通过以上的动作，对于仅通过闪光不能正确地测距的区域也能够取得测距数据。因此，能够增加可取得的测距的信息量。进而，与用扫描束扫描场景的整体的构成相比，能够在短时间内取得需要的距离数据。
110.图7是表示通过扫描束扫描第2范围的情况下的动作的例子的流程图。图7所示的动作除了在步骤s107与步骤s108之间追加了判断扫描是否完成的步骤这一点以外，与图5所示的动作相同。在该例中，在步骤s107之后，判定扫描是否完成。反复进行步骤s105到s107的动作，直到判定为扫描完成。在该例中，在步骤s105中，扫描束的射出方向被决定为，能照射到在步骤s104中决定的第2范围中的、照射还未进行规定的次数以上的区域。这里，规定的次数是指图像传感器211的像素的信号积蓄所需要的次数，可以设定为1次以上的任意的次数。在某些例子中，也有该次数为100次以上、根据情况达到1000次以上的情况。通过反复进行步骤s105到s107的动作，第2范围的整体被扫描束扫描。如果第2范围的整体被扫描束扫描，则判定为扫描完成，向步骤s108前进。
111.接着，更具体地说明由本实施方式的测距装置进行的测距动作。在本实施方式中，使用直接tof或间接tof等技术计测距离。
112.图8是用来说明基于直接tof的测距方法的例子的图。直接tof是用图像传感器211的各受光元件所具有的时钟来测定从光脉冲被射出起到返回来为止的时间的方法。在从光被射出的定时到反射光返回来的定时的期间中，生成门控信号，通过将该门控信号内的时钟脉冲的数量进行计数，计算光的飞行时间。在图8中，例示了反射光从相对较近的区域返回来的情况和反射光从相对较远的区域返回来的情况各自的门控信号及时钟的脉冲信号。由于来自远方的反射光更慢地到达图像传感器211，所以时钟的计数数变多。如果设飞行时间为t[s]，设光速为c(≈3
×
108m/s)，则能够通过d＝t/2c的运算来计算距离d[m]。
[0113]
图9是用来说明基于间接tof的测距方法的例子的图。间接tof是将从光脉冲被射
出起到返回来为止的时间变换为光强度而计测的方法。在图9的例子中，对于各像素设置3个曝光时间窗，根据在各个时间窗检测到的光强度来计算距离。时间窗匹配于所需的测定量程而设定。例如在对0m到100m的范围进行测距的情况下，如图9所示，通过准备3个334纳秒(ns)的曝光窗，并将光脉冲的时间宽度也设定为334ns，能够进行测距。在图9中，例示了来自处于比50m近的距离的物体的反射光脉冲、来自位于50m到100m的范围内的物体的反射光脉冲、以及来自处于比100m远的距离的物体的反射光脉冲。设第1时间窗中的信号值为a0，设第2时间窗中的信号值为a1，设第2时间窗中的信号值为a2。在第1及第2时间窗检测到反射光，而在第3时间窗没有检测到反射光的情况下，距离d为50m以下，通过图9所示的式(1)来计算。此外，在第2及第3时间窗检测到反射光，而在第1时间窗没有检测到反射光的情况下，距离d为50m以上且100m以下，通过图9所示的式(2)计算。另一方面，在第1及第2时间窗都没有检测到反射光的情况下，不计算距离。关于射出光脉冲的时间宽度及各曝光时间窗的宽度，根据距离的计测范围设定。例如，在50m以内的范围中进行测距的情况下，将该宽度设定为约167ns。该测距方法中，能够不改变图像传感器211的各受光元件的动作模式，而以1个样式的动作进行测距。
[0114]
控制器301构成为，切换能够进行近距离的测距的模式和能够进行远距离的测距的模式。具体而言，在闪光的发光时以近距离模式动作，在扫描光的发光时以远距离模式动作。图10a及图10b是用来说明这样的切换动作的例子的图。图10a表示近距离模式下的光脉冲及曝光时间窗的例子。图10b表示远距离模式下的光脉冲及曝光时间窗的例子。在图10a的例子中，将光脉冲宽度及曝光时间窗设定为167ns，以便能够在0m到50m的范围中测距。在图10b的例子中，将光脉冲宽度及曝光时间窗设定为334ns，以便能够在0m到100m的范围中测距。控制器301在动作中能够变更光脉冲的时间宽度及曝光时间窗的长度来切换可测定的距离的量程。
[0115]
图11是表示量程切换的另一例的图。在该例中，控制器301通过使相对于发光定时的曝光定时变化来切换测定量程。例如，在近距离模式下，在与图10a的例子同样的定时进行曝光，在远距离模式下，在从发光的开始定时起经过了脉冲宽度的2倍的时间的定时开始曝光。在图11的例子中，将光脉冲的时间宽度及各曝光时间窗的宽度设定为167ns，切换能够以0m到50m的量程测距的近距离模式和能够以50m到100m的量程测距的远距离模式。
[0116]
在图11的例子中，在近距离模式下，在第1时间窗及第2时间窗检测到反射光、在第3时间窗没有检测到反射光的情况下，基于图11所示的式(1)计算距离d。在近距离模式下，在第2时间窗及第3时间窗检测到反射光、在第1时间窗没有检测到反射光的情况下，基于图11所示的式(2)计算距离d。在近距离模式下，在第1时间窗及第2时间窗都没有检测到反射光的情况下不计算距离。另一方面，在远距离模式下，在第1时间窗及第2时间窗检测到反射光、在第3时间窗没有检测到反射光的情况下，基于图11所示的式(3)计算距离d。在远距离模式下，在第2时间窗及第3时间窗检测到反射光、在第1时间窗没有检测到反射光的情况下，基于图11所示的式(4)计算距离d。在远距离模式下，在第1时间窗及第2时间窗都没有检测到反射光的情况下不计算距离。
[0117]
控制器301也可以在近距离模式和远距离模式之间使射出光的输出变化。通过这样的控制，例如能够调整为不发生曝光的饱和。
[0118]
图12a是表示闪光和扫描束的发光的定时及曝光的定时的例子的图。测距装置在
用闪光对大范围进行测距后，用扫描束进行特定区域的测距。在该例中，将闪光及扫描束都多次连续射出，按每次射出进行曝光。对于闪光及扫描束，分别根据与通过多次的曝光动作而积蓄的电荷量相应的信号生成1帧的二维图像数据，进而基于该二维图像数据生成距离数据并输出。或者，也可以在根据电荷量按每个像素计算距离后，生成二维距离数据并输出。控制器301使图像传感器211反复执行这样的曝光动作和数据输出动作。以下，在本公开中，将与光的检测及1帧的数据的生成有关的动作称作“帧动作”。帧动作是由受光装置进行的曝光动作和数据输出动作的反复的单位，即是如图12a所示的连续的两次数据输出动作之间的动作。在该例中，在各帧动作中，在前半段设定闪光的发光及曝光的期间，在后半段设定扫描束的发光及曝光的期间。由此，按每个帧动作，将基于闪光得到的距离数据和基于扫描束得到的距离数据整合为1帧并输出。在图12a的例子中，闪光的曝光在近距离模式下进行，扫描束的曝光在远距离模式下进行。具体而言，在闪光和扫描束间，相对于发光定时的曝光定时不同。因此，能够将从近距离到远距离的较宽的量程的距离数据整合为1帧。
[0119]
并不限于这样的例子，也可以使射出闪光时的测定量程和射出扫描光时的测定量程相同。另外，每个帧动作的闪光及扫描束各自的射出次数也可以是1次。
[0120]
在本公开中，将通过1次帧动作取得的数据的集合称作“帧”。在1帧的数据中，例如可以包含亮度图像数据、距离图像数据或三维点群数据。
[0121]
图12b是表示将基于闪光进行的测距和基于扫描束进行的测距以不同帧动作进行的情况的例子。在本例中，将使用闪光取得的近距离的距离数据和使用扫描束取得的远距离的距离数据作为不同帧的数据输出。
[0122]
这样，在本实施方式中，控制器301使图像传感器211反复执行至少1次曝光动作、以及输出与通过该曝光动作积蓄的电荷量相应的二维图像数据的数据输出动作。在一例中，在连续的两次数据输出动作之间执行至少1次闪光的射出，在连续的另两次数据输出动作之间执行至少1次扫描束的射出。在另一例中，在连续的两次数据输出动作之间执行至少1次闪光的射出和至少1次扫描束的射出双方。在任何例子中，在连续的两次数据输出动作之间射出的扫描束都可以包括向不同的方向射出的多个扫描束。扫描束的射出方向基于通过在此前射出的闪光的照射而得到的数据来决定。
[0123]
接着，说明扫描光源121的构成例。扫描光源121是能够根据控制器301的控制使光束的射出方向变化的设备。扫描光源121能够将测距对象的场景内的一部分区域用光束依次照射。从扫描光源121射出的光束的波长没有被特别限定，例如也可以是包含于可视域到红外域中的任意的波长。
[0124]
图13是表示扫描光源121的一例的图。在该例中，扫描光源121具备激光器等发光元件和至少1个可动镜、例如mems镜。从发光元件射出的光被可动镜反射，朝向对象区域内(在图13中用矩形表示)的规定的区域。控制器301通过将可动镜驱动，使来自扫描光源121的射出光的方向变化。由此，例如如在图13中用虚线箭头表示那样，能够用光扫描对象区域。
[0125]
也可以使用能够通过与具有可动镜的光源不同的构造使光的射出方向变化的光源。例如，也可以使用专利文献4中公开那样的使用反射型波导的发光设备。或者，也可以使用通过用天线阵列调节从各天线输出的光的相位来使阵列整体的光的方向变化的发光设备。
[0126]
图14a是示意地表示扫描光源112的例子的立体图。为了参考，示意地表示了相互正交的x轴、y轴及z轴。扫描光源112具备光波导阵列10a、移相器阵列20a、光分路器30和将它们集成的基板40。光波导阵列10a包括在y方向上排列的多个光波导元件10。各光波导元件10在x方向上延伸。移相器阵列20a包括在y方向上排列的多个移相器20。各移相器20具备在x方向上延伸的光波导。光波导阵列10a中的多个光波导元件10与移相器阵列20a中的多个移相器20分别连接。光分路器30连接于移相器阵列20a。
[0127]
从未图示的发光元件发出的光l0经由光分路器30向移相器阵列20a中的多个移相器20输入。通过了移相器阵列20a中的多个移相器20的光以相位在y方向上各移位了一定量的状态，分别输入至光波导阵列10a中的多个光波导元件10。分别输入到光波导阵列10a中的多个光波导元件10的光作为光束l2从与xy平面平行的光射出面10s向与光射出面10s交叉的方向射出。
[0128]
图14b是示意地表示光波导元件10的构造的例子的图。光波导元件10包括相互对置的第1镜11及第2镜12、位于第1镜11与第2镜12之间的光导波层15、以及用来向光导波层15施加驱动电压的一对电极13及14。光导波层15例如可以由液晶材料或电光学材料等的通过电压的施加而折射率变化的材料构成。第1镜11的透射率比第2镜12的透射率高。第1镜11及第2镜12分别例如可以由多个高折射率层及多个低折射率层交替地层叠而成的多层反射膜形成。
[0129]
输入到光导波层15的光在光导波层15内一边被第1镜11及第2镜12反射一边沿着x方向传播。图14b中的箭头示意地表示光传播的状况。在光导波层15内传播的光的一部分从第1镜11向外部射出。
[0130]
通过对电极13、14施加驱动电压，光导波层15的折射率变化，从光波导元件10向外部射出的光的方向变化。对应于驱动电压的变化，从光波导阵列10a射出的光束l2的方向变化。具体而言，能够使图14a所示的光束l2的射出方向沿着与x轴平行的第1方向d1变化。
[0131]
图14c是示意地表示移相器20的例子的图。移相器20包括例如含有因热而折射率变化的热光学材料的全反射波导21、与全反射波导21热接触的加热器22、以及用来向加热器22施加驱动电压的一对电极23及24。全反射波导21的折射率比加热器22、基板40及空气的折射率高。通过折射率差，输入到全反射波导21中的光在全反射波导21内一边被全反射一般沿着x方向传播。
[0132]
通过向一对第2电极23及24施加驱动电压，用加热器22将全反射波导21加热。结果，全反射波导21的折射率变化，从全反射波导21的端部输出的光的相位移位。通过使从图14a所示的多个移相器20中的相邻的2个移相器20输出的光的相位差变化，能够使光束l2的射出方向沿着与y轴平行的第2方向d2变化。
[0133]
通过以上的构成，扫描光源121能够使光束l2的射出方向二维地变化。
[0134]
例如在专利文献4中公开了上述那样的扫描光源112的动作原理及动作方法等的详细情况。在本说明书中引用专利文献4的公开内容的整体。
[0135]
接着，说明图像传感器211的构成例。图像传感器211具备沿着受光面二维地排列的多个受光元件。可以与图像传感器211的受光面对置而设置未图示的光学零件。光学零件例如可以包括至少1个透镜。光学零件也可以包括棱镜或镜等的其他的光学元件。光学零件可以设计为，使从场景中的物体的1点扩散的光聚光到图像传感器211的受光面上的1点。
[0136]
图像传感器211例如可以是ccd(charge－coupled device)传感器、cmos(complementary metal oxide semiconductor)传感器或红外线阵列传感器。各受光元件包括例如光电二极管等光电变换元件和1个以上的电荷积蓄部。通过光电变换产生的电荷在曝光期间中被积蓄到电荷积蓄部中。被积蓄到电荷积蓄部中的电荷在曝光期间结束后被输出。这样，各受光元件输出与在曝光期间中接受的光的量相应的电信号。有将该电信号称作“受光数据”的情况。图像传感器211既可以是单色型的摄像元件，也可以是彩色型的摄像元件。例如，也可以使用具有r/g/b、r/g/b/ir或r/g/b/w的滤波器的彩色型的摄像元件。图像传感器211并不限于可视的波长范围，例如也可以在紫外、近红外、中红外、远红外等的波长范围中具有检测灵敏度。图像传感器211也可以是使用spad(single photon avalanche diode：单光子雪崩二极管)的传感器。图像传感器211可以具备一起进行全像素的曝光的电子快门方式即全局快门的机构。电子快门也可以是按每个行进行曝光的卷帘式快门方式或仅进行与光束的照射范围匹配的一部分区域的曝光的分区快门方式。在电子快门是全局快门方式的情况下，通过与闪光同步地控制快门，能够1次取得二维信息。另一方面，在如卷帘式快门等那样按每一部分像素改变曝光定时的方式的情况下，闪光的受光仅能够由曝光定时匹配的一部分的像素进行，而曝光定时不匹配的像素不能受光，所以能够取得的信息量减少。但是，这也可以通过进行按每个像素将快门定时的偏移量修正的距离计算的信号处理来解决。相对于此，在扫描光的情况下，由于照射的光的范围窄，所以反射光仅回到一部分像素。因此，与全局快门方式相比，卷帘式快门等那样按每一部分像素将曝光定时根据扫描光的射出方向改变的方式能够更有效地取得多的距离信息。但是，在应利用扫描光测定的信息量不那么多的情况下，例如在对象物的数量为10个以下左右较少的情况下，与全局快门方式组合也能够取得充分的信息量。考虑以上这样的特性，图像传感器211也可以能够切换电子快门的方式。例如，也可以在基于闪光进行的测距时进行基于全局快门方式的曝光，在基于扫描束进行的测距时进行基于与扫描束的光点形状匹配的卷帘式快门方式或分区快门方式的曝光。
[0137]
接着，说明本实施方式的变形例。
[0138]
图15是表示本实施方式的变形例的测距装置的动作的流程图。在本变形例中，控制器301在各帧动作中，控制闪光源111及扫描光源121，以将闪光和扫描光同时射出。控制器301执行图15所示的步骤s201到s209的动作。以下，说明各步骤的动作。
[0139]
(步骤s201)
[0140]
控制器301将闪光源111及扫描光源121驱动，使闪光和扫描光同时射出。通过闪光，照射场景中的比较大的第1范围。另一方面，通过扫描光，照射场景中的比较窄的第2范围。该步骤中的扫描光的射出方向是预先设定的特定的方向。
[0141]
(步骤s202)
[0142]
控制器301使图像传感器211执行曝光，检测闪光及扫描光各自的反射光。反射光的检测按图像传感器211的每个像素进行。图像传感器211输出与积蓄的电荷量相应的二维图像数据。步骤s201到s202的动作相当于第1帧动作。图像传感器211基于二维图像数据，生成具有每个像素的距离的值的距离图像数据并输出。或者，也可以根据积蓄的电荷量按每个像素计算距离，基于此来生成二维距离数据并输出。
[0143]
(步骤s203)
[0144]
控制器301取得从图像传感器211输出的距离图像数据。图16a是表示距离图像的一例的图。在图16a中，用椭圆表示了被照射了扫描光的区域的例子。另外，扫描光的照射范围并不限于椭圆，也可以是圆等其他形状。在扫描光源121构成为能够变更束形状或束径的情况下，控制器301也可以按每次射出来变更束形状或束径。在该例中，生成表示第1区域内的距离分布的图像，向存储器330保存。
[0145]
(步骤s204)
[0146]
控制器301基于在步骤s203中生成的距离图像数据，将推测为测距不充分的区域确定为第2范围。在该例中，第2范围也可以基于各像素的反射光强度来决定。例如，在判断为扫描光的反射光的强度充分高的情况下，控制器301也可以将反射光强度比阈值低且sn低的区域决定为第2范围。此外，在判断为扫描光的反射光的强度不充分的情况下，控制器301也可以变更射出方向而将照射目标改变为反射光的强度更高的位置。通过这样的控制，能够增加所得到的距离信息的量。另外，在能以适当的sn得到扫描光的反射光强度的情况下，也可以不变更在前帧动作中决定的第2范围而照射相同的区域。图16b表示所选择的第2范围的例子。在该例中，将与在图16a中用椭圆表示的照射范围不同的范围设定为在下个帧动作中射出的扫描光的照射范围即第2范围。
[0147]
(步骤s205)
[0148]
控制器301决定下个帧动作中的扫描束的射出方向。将射出方向决定为，由步骤s204决定的第2范围的至少一部分被扫描束照射的方向。
[0149]
接着，执行相当于第1帧动作之后的第2帧动作的步骤s206到s207的动作。
[0150]
(步骤s206)
[0151]
控制器301将闪光源111及扫描光源121驱动，使闪光和扫描束同时射出。扫描束的射出方向是在步骤s205中决定的方向。图16c表示被照射扫描束的范围的例子。在图16c中用椭圆表示了被照射扫描束的范围。
[0152]
(步骤s207)
[0153]
控制器301使图像传感器211执行曝光，检测闪光及扫描光各自的反射光。反射光的检测按图像传感器211的每个像素进行。图像传感器211生成表示每个像素的距离的值的距离图像数据，向记录介质记录。
[0154]
(步骤s208)
[0155]
控制器301从记录介质取得在步骤s207中输出的距离图像数据。
[0156]
(步骤s209)
[0157]
控制器301将距离图像数据输出给记录介质。此时，也可以将从图像传感器211或未图示的其他图像传感器取得的亮度图像数据一起输出。
[0158]
通过以上的动作，也能够取得与仅使用闪光的情况相比更高精度的距离数据。此外，与仅使用扫描光来扫描场景的全域的构成相比，能够在短时间内取得需要的距离数据。
[0159]
在图15所示的变形例中，将第2帧动作中的扫描束的射出方向基于在紧接着之前的第1帧动作中取得的检测数据来决定，但也可以基于在比第1帧动作更靠前的帧动作中取得的检测数据来决定。
[0160]
此外，图15仅表示了两帧的动作，但在连续地进行多次测距的情况下，可以将图15所示的步骤s204到s209中表示的动作反复执行。以下，说明进行这样的反复动作的情况下
的例子。
[0161]
图17是表示多个帧动作被反复进行的动作的例子的流程图。在图17所示的例子中，与图5所示的例子同样，首先仅使用闪光生成距离图像数据(步骤s101到s103)。接着，与图15所示的例子同样，决定扫描束的照射范围，将扫描束和闪光同时射出，生成距离图像数据(步骤s204到s209)。在步骤s209之后，控制器301判断是否有动作结束的指示(步骤s210)。动作结束的指示例如可以起因于用户的操作而从其他装置输入。在没有动作结束的指示的情况下，回到步骤204，将下个扫描束的照射范围基于紧接着之前取得的距离图像数据来决定。控制器301反复进行步骤s204到s210的动作，直到在步骤s210中接受到动作结束的指示。该反复的频率可以根据用途而任意地设定。例如，可以以每秒30帧(30fps)左右的频率反复进行上述动作。在该例中，将步骤s204到s210的1个循环的动作称作“帧动作”。控制器301通过反复执行多个帧动作，反复输出场景内的测距数据。另外，步骤s101到s103不一定需要，也可以使用在以前的帧动作中取得的距离图像数据执行步骤s204以后的处理。
[0162]
图18是表示本变形例的闪光及扫描束的发光定时和曝光定时的例子的图。在各帧动作中，控制器301使发光装置同时射出闪光和扫描束，使图像传感器211在相同的曝光期间内检测各自的反射光。通过这样的动作，对于仅在闪光下反射光弱而不能测距的区域，也能够进行高精度的测距。
[0163]
图19是表示其他变形例的测距装置的动作的流程图。图19所示的流程图除了步骤s206替换为步骤s216这一点以外，与图17的流程图相同。在本变形例中，控制器301也反复执行多个帧动作。在各帧动作中，控制器301使扫描光源121射出扫描光，然后使闪光源111射出闪光(步骤s216)。控制器301使得在相同的曝光期间内检测扫描光及闪光各自的反射光(步骤s207)。另外，在本变形例中步骤s101到s103也并不一定需要，也可以使用在以前的帧动作中取得的距离图像数据来执行步骤s204以后的处理。
[0164]
图20是表示本变形例的发光和受光的定时的图。如图示那样，在射出扫描束后，在经过规定的延迟时间后射出闪光。由此，对于处于基于闪光进行的测距的测定量程外的远方的对象物也能够在相同的曝光期间中进行测距。接受了扫描光的反射光的像素的距离，可以通过对接受了闪光的反射光的像素的距离的计算式加上用“延迟时间
”ד
光速”计算的距离的值来计算。在该例中，例如如果设闪光的测定量程为0m到50m，则将闪光的脉冲宽度设定为167ns。与此匹配，设置3个167ns的曝光时间窗。在比闪光靠前200ns射出脉冲宽度167ns的扫描光的情况下，扫描光的距离量程为20～70m。此外，在将延迟设为延后50m的330ns的情况下，距离量程成为50m～100m。通过将这样的曝光动作适用于通过闪光不能正确地测距的对象物，与仅使用闪光的情况相比能够扩大可测距的测距量程。
[0165]
图21表示在各帧动作中将闪光及扫描束分别多次射出而曝光的情况下的发光定时及曝光定时的例子。这样，在各帧动作中，也可以通过反复进行多次的发光及曝光来增加信号积蓄量。在该例中，按每个帧，在规定次数的曝光结束的时间点读出各像素的数据，输出该帧的测距数据。
[0166]
图22是表示在比闪光先射出扫描光的构成中，进行基于直接tof法的测距的情况下的发光和受光的定时的例子的图。在图22中，示出了接受闪光的反射光的像素区域和接受扫描光的反射光的像素区域各自中的反射光脉冲、门控信号及时钟脉冲的例子。通过将从射出闪光起到接受反射光期间的时钟脉冲进行计数，能够计测飞行时间，计算距离。如该
例那样，在使用直接tof法的情况下也能够进行测距。在此情况下，接受扫描光的反射光的像素的距离也能够通过对接受了闪光的反射光的像素的距离的计算式加上用“延迟时间
”ד
光速”计算的距离来计算。
[0167]
(实施方式2)
[0168]
接着，说明本公开的实施方式2。在本实施方式中，与实施方式1不同，基于通过闪光源111的照射而得到的亮度图像数据，决定扫描束的照射范围。例如，根据亮度图像数据，通过图像识别确定步行者或车辆等特定对象物的位置，朝向该位置射出扫描束。通过这样的动作，能够以高精度得到到该对象物的距离数据。
[0169]
图23是表示本实施方式的测距装置的构成的图。本实施方式的测距装置除了实施方式1的构成要素以外还具备图像处理电路303。图像传感器211构成为，除了距离图像以外还输出亮度图像的数据。图像处理电路303例如包括gpu(graphics processing unit)等的图像处理用的处理器。图像处理电路303可以根据图像数据来识别特定的物体。图像处理电路303基于亮度图像，确定特定的对象物的位置，将表示该对象物的位置的数据向控制器301发送。控制器301对扫描光源121进行控制，以向该位置照射扫描束。另外，控制器301和图像处理电路303也可以被整合为1个处理电路。
[0170]
图23所示的控制器301基于从图像传感器211输出的数据，分别生成距离图像数据和亮度图像数据并输出。控制器301还输出确定人或车辆等对象物的数据以及对象物的坐标数据。也可以将关于这些对象物的数据从图像处理电路303输出。关于对象物的数据既可以如图示那样作为与距离图像或亮度图像不同的数据输出，也可以整合到距离图像或亮度图像中而输出。
[0171]
图24是表示由本实施方式的测距装置进行的1次测距动作的流程的流程图。控制器301及图像处理电路303通过执行图24所示的步骤s301到s309的动作，生成场景的测距数据。以下，说明各步骤的动作。
[0172]
(步骤s301)
[0173]
控制器301将闪光源111驱动，使闪光射出。通过闪光，照射场景中的比较宽的第1范围。
[0174]
(步骤s302)
[0175]
控制器301使图像传感器211执行曝光并检测闪光的反射光。反射光的检测按图像传感器211的每个像素进行。图像传感器211输出包含表示每个像素的反射光强度的亮度数据的亮度图像数据。图像传感器211也可以与实施方式1同样一起输出距离图像数据。在本实施方式中，也能够利用直接tof或间接tof的技术按每个像素来计算距离。也可以通过反复进行多次闪光的照射和由图像传感器进行的曝光来积蓄各像素的信号。通过这样的动作，能够使sn提高。
[0176]
(步骤s303)
[0177]
控制器301取得从图像传感器211输出的亮度图像数据。图25a是表示亮度图像的一例的图。如该例那样，生成表示第1区域内的亮度分布的图像，向存储器330保存。该亮度图像数据被发送至图像处理电路303。
[0178]
(步骤s304)
[0179]
图像处理电路303根据亮度图像数据，检测应测距的1个以上的对象物。作为对象
物，可以选择例如人、车或不能确定的未知的物体。图像处理电路303例如可以使用周知的图像识别技术，基于图像的特征来确定特定的对象物。在本实施方式中，由于在照射了闪光的状态下取得亮度图像数据，所以即使在夜间也能够取得图像数据。作为闪光源111，例如可以使用车辆的头灯。也可以代替头灯而使用例如射出近红外光的光源来取得亮度图像数据。图25b是表示在亮度图像中存在特定的对象物的区域的例子的图。在该图中，用虚线框表示了多个对象物的区域。如该例那样，图像处理电路303从场景之中确定1个以上的对象物的位置，将表示其位置坐标的数据发送给控制器301。
[0180]
(步骤s305)
[0181]
控制器301基于对象物的位置数据，决定扫描束的射出方向。射出方向被设定为，所确定的对象物所在的区域(即第2范围)的至少一部分被扫描束照射的方向。控制器301也可以不仅根据扫描束的方向，还根据第2范围的分布来调整束形状及/或束径。
[0182]
(步骤s306)
[0183]
控制器301向扫描光源121指示，以向所决定的射出方向射出扫描束。由此，第2范围的至少一部分被扫描束照射。这里，在1次扫描束的射出下光量不足的情况下，也可以向相同的方向多次射出扫描束，通过反复曝光来积蓄信号。图25c表示被照射扫描束的范围的例子。在图25c中，用椭圆表现了被照射扫描束的范围的例子。在图25c中表示了被方向不同的2个扫描束照射的2个范围。控制器301也可以通过变更扫描束的方向并反复照射，来照射第2范围的整体。或者，也可以将多个扫描束向不同的方向同时射出。图25d表示被照射扫描束的范围的另一例。在该例中表示了检测到的对象物被束形状不同的多个扫描束照射的状况。如该例那样，也可以根据第2范围的大小或分布来变更束形状。例如，由于人和汽车大小不同，所以也可以匹配于其大小来变更束的光点尺寸。通过进行这样的控制，能够得到所需的充分的对象物的测距数据。在图25c及图25d的例子中，对多个对象物照射1个光束，但也可以向每个对象物射出1个光束。
[0184]
(步骤s307)
[0185]
控制器301使图像传感器211检测扫描束的反射光并输出扫描束的照射范围中的距离数据。这里，在将扫描束多次射出的情况下，曝光也按每一次的扫描束的射出而进行。在此情况下，反复进行步骤s305到s307的动作直到扫描完成。
[0186]
(步骤s308)
[0187]
控制器301取得由图像传感器211生成的关于第2范围的距离数据。该距离数据是表示与被照射了扫描束的第2范围对应的多个像素的距离的值的数据。
[0188]
(步骤s309)
[0189]
控制器301基于在步骤s303中取得的亮度图像数据和在步骤s308中取得的距离数据，生成输出用的数据并输出。该输出数据可以包含场景的亮度分布、以及各对象物的位置及距离的信息。输出数据也可以包含表示场景的距离分布的数据。例如，在构成为在步骤s303中图像传感器211除了亮度图像数据以外还生成距离图像数据的情况下，也可以将该距离图像数据包含于输出数据中。
[0190]
测距装置可以每当反复进行图24所示的动作，就输出距离图像数据和亮度图像数据这两种数据。这里，既可以将距离图像数据和亮度图像数据分别作为1帧的数据输出，也可以作为整合后的1帧的数据输出。此外，在本实施方式中，也可以将三维点群数据包含于
输出数据中。
[0191]
通过以上的动作，能够有效地取得根据亮度图像识别出的特定对象物的距离数据。例如在测距装置被用作用来自动驾驶的传感器的情况下，可以以人或车辆等的运动的物体为目标而进行测距。通过将扫描光瞄准于这样的运动的对象物并进行测距，能够跟踪运动。根据该运动，能够计算要移动的方向(例如速度矢量)。基于速度矢量，能够进行运动的预测。通过能够进行这样的动作预测，能够不减速到所需以上就顺畅地进行自动行驶。此外，在想要更详细地调查对象物的情况下也能够应用同样的技术。例如，关于落到路面上的未知的障碍物，有仅根据图像不能判别其尺寸或距离的情况。所以，通过用扫描光测定距离并与成像的结果对照，能够计算外形的大小。由此，能够作出是可以不避开、还是应避开的判断。
[0192]
图26是表示本实施方式的变形例的动作的流程图。该流程图除了步骤s303及s304分别替换为步骤s403及s404这一点以外，与图24所示的流程图相同。在本变形例中，在步骤s403中，从图像传感器211取得亮度图像数据及距离图像数据双方。在步骤s304中，图像处理电路303根据距离图像数据确定测距不充分的区域，根据亮度图像数据来确定特定的对象物。确定测距不充分的区域的方法与图5的步骤s104的方法相同。图像处理电路303将测距不充分的区域和存在特定的对象物的区域的位置数据发送给控制器301。控制器301在步骤s305中，基于所取得的该区域的位置数据，决定扫描束的射出方向、束形状、束尺寸等。
[0193]
根据本变形例，能够基于亮度图像数据及距离图像数据这两者，将需要更详细的测距的区域以更高的精度进行测距。例如，可以在通过基于闪光进行的测距来掌握整体像的同时，瞄准于应跟踪并预测运动的人或车、或需要确定尺寸的对象物来进行测距。由此，例如在作为自动驾驶车用的传感器而使用测距装置的情况下，能够不减速到所需以上就顺畅地进行自动行驶。
[0194]
以上的实施方式的构成及动作在可能的范围中能够适当组合。例如，也可以将实施方式2的动作与如图7所示的扫描动作、如图17所示的周期性的帧动作或闪光和扫描光的同时照射组合。
[0195]
在以上的实施方式中，由1个图像传感器211取得亮度图像及距离图像，但也可以由2个图像传感器取得这些图像。即，测距装置也可以包括生成亮度图像数据的第1图像传感器和生成距离图像数据的第2图像传感器。
[0196]
如以上这样，有关本公开的一技术方案的测距装置具备：发光装置，能够射出扩散程度不同的多种光；受光装置，检测基于从上述发光装置射出的上述光的反射光；以及处理电路，控制上述发光装置及上述受光装置，对从上述受光装置输出的信号进行处理。上述处理电路使上述发光装置射出照射场景内的第1范围的第1光；使上述受光装置检测通过上述第1光的照射而产生的第1反射光并输出第1检测数据；基于上述第1检测数据，决定比上述第1范围窄的1个以上的第2范围；使上述发光装置射出照射上述第2范围且扩散程度比上述第1光小的第2光；使上述受光装置检测通过上述第2光的照射而产生的第2反射光并输出第2检测数据；基于上述第2检测数据，生成上述第2范围的距离数据并输出。
[0197]
根据上述测距装置，对于在仅使用第1光的情况下不能以充分的精度计测距离的区域，通过使用第2光也能够以高精度计测距离。进而，与通过用第2光扫描场景整体来取得场景整体的距离数据的构成相比，能够在短时间内取得需要的距离数据。因此，能够在短时
间内取得可靠性高的距离数据。
[0198]
上述第1光例如可以是闪光。上述第2光可以是照射包含于上述闪光的照射范围中的范围的光束。上述闪光例如也可以是车辆的头灯。通过使用闪光，即使例如在夜间也能够取得大范围的第1检测数据。
[0199]
上述受光装置也可以具备图像传感器，该图像传感器生成上述第1范围的距离图像数据及上述第1范围的亮度图像数据中的至少一方作为上述第1检测数据。通过使用具备这样的图像传感器的受光装置，能够基于第1范围的距离图像数据或亮度图像数据，决定需要更详细的测距的第2范围。
[0200]
上述图像传感器也可以生成上述第1范围的距离图像数据。上述处理电路也可以基于上述第1范围的距离图像数据决定上述第2范围。由此，能够基于第1范围的距离图像数据决定需要更详细的测距的第2范围。例如，能够将测距的精度不充分的范围决定为第2范围。
[0201]
上述处理电路也可以将使用上述第1光取得的上述第1范围的距离图像数据和使用上述第2光取得的上述第2范围的距离图像数据整合为1帧的距离图像数据并输出。由此，能够取得高精度的进行整合后的距离图像数据。
[0202]
上述图像传感器也可以生成上述第1范围的亮度图像数据。上述处理电路也可以基于上述第1范围的亮度图像数据决定上述第2范围。由此，能够基于第1范围的亮度图像数据决定需要更详细的测距的第2范围。例如，能够将根据亮度图像数据识别出的特定的对象物所在的范围决定为第2范围。
[0203]
上述图像传感器也可以生成上述第1范围的距离图像数据及上述第1范围的亮度图像数据双方。上述处理电路也可以基于上述第1范围的距离图像数据及上述第1范围的亮度图像数据决定上述第2范围。由此，能够将例如基于距离图像数据决定的测距不充分的范围和基于亮度图像数据决定的特定的对象物所在的范围决定为第2范围。
[0204]
上述处理电路也可以基于上述第1范围的亮度图像数据，确定存在于上述第1范围内的1个以上的对象物，将上述第2范围决定为上述第2光照射到上述1个以上的对象物。
[0205]
上述图像传感器也可以具备全局快门方式的电子快门。在电子快门是全局快门方式的情况下，通过与第1光同步地控制快门的开启及关闭，能够一次取得二维信息。
[0206]
上述处理电路也可以使上述发光装置及上述受光装置反复执行射出至少1次上述第1光并检测上述第1反射光的动作、以及射出至少1次上述第2光并检测上述第2反射光的动作。由此，能够反复生成场景的距离数据。
[0207]
射出上述第2光的动作也可以包括向不同的方向多次射出上述第2光的动作。由此，能够用第2光扫描第2范围。
[0208]
上述处理电路也可以使上述发光装置多次同时射出上述第1光及上述第2光。上述第2范围的决定可以基于通过此前的上述第1光的照射而得到的上述第1检测数据来进行。
[0209]
上述处理电路也可以使上述发光装置及上述受光装置反复执行射出上述第2光、然后射出上述第1光、然后在相同的曝光期间内检测上述第1反射光和上述第2反射光的动作。上述第2范围的决定可以基于通过此前的上述第1光的照射而取得的上述第1检测数据来进行。
[0210]
上述发光装置也可以具备：第1光源，射出上述第1光；以及第2光源，射出上述第2
光。
[0211]
有关本公开的另一技术方案的方法，包括以下处理：使发光装置射出照射场景内的第1范围的第1光；使受光装置检测通过上述第1光的照射而产生的第1反射光并输出第1检测数据；基于上述第1检测数据，决定比上述第1范围窄的1个以上的第2范围；使上述发光装置射出照射上述第2范围且扩散程度比上述第1光小的第2光；使上述受光装置检测通过上述第2光的照射而产生的第2反射光并输出第2检测数据；基于上述第2检测数据，生成上述第2范围的距离数据并输出。
[0212]
有关本公开的再另一技术方案的计算机程序，由具备发光装置、受光装置和控制上述发光装置及上述受光装置并对从上述受光装置输出的信号进行处理的处理电路的系统中的上述处理电路执行。上述计算机程序使上述处理电路的处理器执行：使上述发光装置射出照射场景内的第1范围的第1光；使上述受光装置检测通过上述第1光的照射而产生的第1反射光并输出第1检测数据；基于上述第1检测数据，决定比上述第1范围窄的1个以上的第2范围；使上述发光装置射出照射上述第2范围且扩散程度比上述第1光小的第2光；使上述受光装置检测通过上述第2光的照射而产生的第2反射光并输出第2检测数据；基于上述第2检测数据，生成上述第2范围的距离数据并输出。
[0213]
工业实用性
[0214]
本公开的技术能够广泛地利用于进行测距的装置或系统。例如，本公开的技术能够作为lidar系统的构成要素使用。
[0215]
标号说明
[0216]
100 发光装置
[0217]
110 第1光源
[0218]
111 闪光源
[0219]
120 第2光源
[0220]
121 扫描光源
[0221]
200 受光装置
[0222]
210、211 图像传感器
[0223]
300 处理电路
[0224]
301 控制器
[0225]
303 图像处理电路
[0226]
330 存储器