用于电子扫描LIDAR系统的同步图像捕获的制作方法

用于电子扫描lidar系统的同步图像捕获


背景技术：

1.光成像、检测和测距(lidar)系统通过用脉冲激光照明目标且用传感器测量反射的脉冲来测量到目标的距离。然后可以使用飞行时间测量结果对目标进行数字3d表示。lidar系统可用于各种需要使用3d深度图像的应用，包含考古学、地理学、地质学、林业、绘图、建造、医学成像和军事应用，以及其它应用。自动驾驶车辆还可以将lidar用于障碍物检测和避让以及车辆导航。
2.一些lidar系统包括机械、移动部件，其在物理上以小于或等于360
°
的旋转角度扫描发射和接收元件以捕获场中景物的图像。可以用于车辆中障碍物检测和避障的这种系统的一个实例通常称为旋转或转动的lidar系统。在旋转的lidar系统中，将lidar传感器通常在壳体内安装到旋转或转动完全360度的柱。lidar传感器包括相干光发射器(例如，红外或近红外光谱中的脉冲激光)，以随着lidar传感器连续旋转穿过场景而照亮车辆周围的场景。当相干光发射器旋转时，它们会在场景中的不同方向上远离lidar系统发送辐射脉冲。入射在场景中周围物体上的部分辐射是从车辆周围的这些物体反射的，然后这些反射由lidar传感器的成像系统部分在不同的时间间隔进行检测。成像系统将检测到的光转换成电信号。
3.以这种方式，收集和处理关于围绕lidar系统的物体的信息，包括它们的距离和形状。lidar系统的数字信号处理单元可以处理电信号并在深度图像或3d点云中再现有关物体的信息，这些信息可以用作障碍检测和避开以及车辆导航和其他目的的辅助。另外，图像处理和图像拼接模块可以获取信息并组装车辆周围物体的显示。
4.固态lidar系统也存在不包括任何移动的机械零件。某些固态lidar系统没有在场景中旋转，而是使它们打算用光捕获并感测反射光的场景的整个部分闪光。在这样的系统中，发射机包括发射器阵列，所有发射器都一次发射光以照亮场景，因此有时被称为“闪光”lidar系统。由于缺少活动零件，因此闪光lidar系统的制造较不复杂；然而，由于所有发射器被立即激活，因此它们可能需要大量的功率来操作，并且它们可能需要大量的处理能力以一次处理来自所有像素检测器的信号。此外，现有的lidar系统设计为仅捕获发射光用于测距目的，以构建场景的三维图像。这种图像是单色的，并且不反映可见光谱中肉眼所感知的内容。


技术实现要素：

5.本公开的实施例涉及静止的固态lidar系统，其中除了用于生成场景的三维图像的距离测量之外没有可以捕获二维图像的旋转柱。与当前可用的旋转lidar系统相比，实施例可以高分辨率和低功耗并且以改善的精度、可靠性、尺寸、集成和外观来捕获场景的图像。
6.根据一些实施例，固态电子扫描lidar系统可以包括光传输模块和光感测模块，其操作是同步的，使得光传输模块中的发射器阵列的激发序列(firing sequence)对应于用于飞行时间测量的光感测模块中飞行时间(tof)传感器阵列的捕获序列。lidar系统还可以
包括图像捕获模块，其包括图像传感器阵列，该图像传感器阵列可以从与发射器阵列和tof传感器阵列相同的视场捕获环境光图像。在各种实施例中，图像传感器阵列可以作为卷帘快门相机或作为全局快门相机操作，并且在一些实施例中，图像传感器阵列可以以与tof传感器阵列同步的方式或以与tof传感器阵列异步的方式操作。
7.在一些实施例中，发射器阵列、tof传感器阵列和图像传感器阵列可以各自与图像空间远心体光学器件耦合，该远心体光学器件分别在物体空间中准直到发射器、tof传感器和图像传感器视场。发射器阵列可以是垂直腔面发射激光器(vcsel)阵列，tof传感器阵列可以包括tof光传感器阵列，其中tof传感器阵列中的每个tof光传感器包括光检测器的集合，例如单光子雪崩二极管(spad)，其用于检测窄光谱内的光，例如红外光谱内的光。然而，与tof传感器阵列不同，图像传感器阵列可以包括用于捕获在可见光谱内感知的场景图像的图像光传感器阵列。
8.在操作期间，发射器阵列可以顺序地将发射器阵列的一列或多列光发射器激发(fire)以将光(例如近红外波长范围的脉冲光束)投射到场景中，并且反射光可以被tof传感器阵列中一列或多列对应的tof光传感器接收。通过同步激发和捕获序列，固态扫描lidar系统仅通过在给定的时间点照射来自一组发射器的一定量的光可有效地捕获图像，这些光可以由相应的一组tof光传感器有效地检测到，从而最大程度地减少了对场景的过度照明，并以尽可能最佳利用系统可用功率的方式来集中能量。
9.与激发和捕获序列进一步同步，可以激活相应的图像光传感器组以测量场景中的环境光。图像传感器阵列的视场可以与发射器阵列的视场重叠(其可以与tof传感器阵列的视场相同)，这样电子扫描lidar系统可以捕获场景中物体的二维彩色图像，同时还捕获到场景中这些物体的距离。这使得电子扫描lidar系统除了可以提供到场景中物体的距离之外，还可以提供场景的高分辨率彩色图像，以便用户可以更好地了解电子扫描lidar系统正在扫描场景的哪个部分。
10.在一些实施例中，本文的电子扫描lidar系统还可以利用微光学器件来进一步提高捕获场景的飞行时间测量的效率。微光学器件可以改善从发射器阵列发射的光的亮度和强度，并且最小化电扫描lidar系统中tof传感器阵列的传感器像素之间的串扰。例如，在一些实施例中，光圈层可以位于tof传感器阵列中tof光传感器的前面。每个光发射器可对应于光圈层中的光圈，并且每个光圈可对应于tof传感器阵列元件中的tof光传感器，使得每个光发射器对应于特定tof光传感器。光圈可以减轻杂散光在相邻tof光传感器上的曝光，并将tof光传感器的视场范围缩小到该场中的单个点。
11.在一些实施例中，电子扫描光学系统包括具有多个光发射器的发射器阵列，所述光发射器被配置为将光发射到光学系统外部的场中，飞行时间(tof)传感器阵列，其包括被配置为检测从所述场反射回来的发射光的多个tof光传感器，以及图像传感器阵列，其包括多个图像光传感器，所述图像光传感器被配置为检测所述场中的环境光，其中所述发射器阵列的视场对应于所述tof传感器阵列的视场和所述图像传感器阵列的视场的至少子集。所述光学系统还包括发射器控制器，其耦合到发射器阵列并配置为通过一次激活多个光发射器的子集在每个发射周期中激活多个光发射器，tof传感器控制器，其耦合到tof传感器阵列并且被配置为与在发射器阵列中相应光发射器的激发同时同步tof传感器阵列内的各个tof光传感器的读出，使得通过所述发射周期所述发射器阵列中的每个光发射器可以被
激活并且所述tof传感器阵列中的每个tof光传感器可以被读出，以及图像传感器控制器，其耦合到图像光传感器阵列并且被配置为读出图像光传感器阵列中其视场与整个发射器阵列的视场重叠的至少一部分，以捕获表示发射周期中所述场的图像。
12.在一些实施例中，公开了一种固态光学系统，其包括：飞行时间(tof)传感器阵列、图像传感器阵列、发射器阵列、发射器控制器、tof传感器控制器和图像传感器控制器。tof传感器阵列可包括多个tof光传感器，其可操作以检测从发射器阵列发射并从固态光学系统外部的场反射回来的光，其中多个tof光传感器中的每个tof光传感器在与多个tof光传感器中的其他tof光传感器的视场在距光学系统的阈值距离之外不重叠的场中具有离散视场。图像传感器阵列可以包括被配置为检测场中环境光的多个图像光传感器，其中多个tof光传感器中的每个tof光传感器的离散视场限定tof传感器阵列的视场并且其中和其中图像传感器阵列的视场包括tof传感器阵列的视场。发射器阵列可以包括多个光发射器，每个光发射器被配置为将工作波长的离散光束发射到光学系统外部的场中，使得发射器阵列根据在距离系统的一定距离范围内在尺寸和几何形状上与tof传感器阵列的视场基本匹配的照明图案输出多个离散光束。发射器控制器可以耦合到发射器阵列并且可操作以通过一次激活多个光发射器的子集在每个发射周期中激活多个光发射器。tof传感器控制器可以耦合到tof传感器阵列并且可操作以与发射器阵列中的相应光发射器的激发同时同步tof传感器阵列内的各个tof光传感器的读出，使得通过所述发射周期所述发射器阵列中的每个光发射器可以被激活并且所述tof传感器阵列中的每个tof光传感器可以被读出。并且，图像传感器控制器可以被耦合到图像光传感器阵列并且可操作以读出图像光传感器阵列中其视场与发射器阵列的视场重叠的至少一部分，以捕获表示发射周期中所述场的图像。
13.在其他实施例中，提供了一种固态光学系统，其包括光检测系统、图像捕获系统和光发射系统。光检测系统可以包括具有焦距的第一体光学器件、包括与第一体光学器件隔开所述焦距的多个光圈的光圈层、包括多个tof光传感器的飞行时间(tof)传感器阵列、包括设置在tof传感器阵列的光圈层后面的多个透镜的透镜层、以及可操作以通过以第一波长为中心的窄光带并设置在第一体光学器件和tof传感器阵列之间的滤光器。光圈层、透镜层和tof传感器阵列可以被布置为形成多个tof通道，多个tof通道中的每个tof通道包括来自多个光圈的光圈、来自多个透镜的透镜和来自多个tof光传感器的tof光传感器。多个tof通道中的每个tof光传感器可以包括多个单光子雪崩二极管(spad)，并且多个tof通道中的每个tof通道可以在光学系统之前的在距光学系统的阈值距离之外不重叠的场中限定离散视场，并且其中每个tof通道将入射在第一体光学器件上的光传送到tof通道的多个spad。图像捕获系统可以包括第二体光学器件和图像传感器阵列，该图像传感器阵列包括多个图像光传感器，其可操作以检测所述场中通过第二体光学器件接收的环境光。多个tof光传感器中的每个tof光传感器的离散视场可以限定tof传感器阵列的视场并且其中图像传感器阵列的视场可以包括tof传感器阵列的视场。光发射系统可以包括第三体光学器件和发射器阵列，该发射器阵列包括多个垂直腔面发射激光器(vcsel)，每个垂直腔表面发射激光器被配置为发射第一波长的离散光束通过第三体光学器件进入光学系统外部的场，使得发射器阵列根据在距离系统的一定距离范围内在尺寸和几何形状上与tof传感器阵列的视场基本匹配的照明图案输出多个离散光束。
14.固态光学系统还可以包括发射器控制器、tof传感器控制器和图像传感器控制器。
发射器控制器可以耦合到发射器阵列并且可操作以通过一次激活多个光发射器的子集在每个发射周期中激活多个vcsel。tof传感器控制器可以耦合到tof传感器阵列并且可操作以与发射器阵列中的相应光发射器的激发同时同步tof传感器阵列内的各个tof光传感器的读出，使得通过所述发射周期所述发射器阵列中的每个光发射器可以被激活并且所述tof传感器阵列中的每个tof光传感器可以被读出。图像传感器控制器可以被耦合到图像光传感器阵列并且可操作以读出图像光传感器阵列中其视场与发射器阵列的视场重叠的至少一部分，以捕获表示发射周期中所述场的图像。
15.可以参考以下详细描述和附图来更好地了解本公开实施例的性质和优点。然而，应当理解，提供每幅图仅用于说明的目的并且不旨在作为对本公开范围的限制的限定。此外，作为一般规则，并且除非与描述中明显相反，在不同图中的元件使用相同的附图标记的情况下，这些元件通常相同或至少在功能或目的上相似。
附图说明
16.图1是根据本公开的一些实施例的示例性固态电子扫描lidar系统的框图。
17.图2a是根据本公开的一些实施例的用于示例性固态电子扫描lidar系统的发射器阵列、tof传感器阵列和图像传感器阵列的简化图示。
18.图2b-2d是示出根据本公开的一些实施例的发射器阵列的示例性激发序列以及tof传感器阵列和图像传感器阵列的传感器读出序列的简化图。
19.图3是根据本公开的一些实施例的在一种方案中电子扫描lidar系统的光传输和检测操作的说明性实例。
20.图4是根据本公开的一些实施例的用于发射器阵列、tof传感器阵列和图像传感器阵列的重叠视场的简化图示。
21.图5a是图示根据本公开的一些实施例的发射器阵列视场和图像传感器阵列视场的重叠视场的简化图。
22.图5b是图示根据本公开的一些实施例的发射器阵列视场和图像传感器阵列视场的重叠视场的简化图，其对应的发射器阵列和图像传感器阵列不完美地对准。
23.图6是图示根据本公开的一些实施例的图像传感器阵列与发射器阵列的同步的时序图。
24.图7a-7c是图示根据本公开的一些实施例的图像传感器阵列与发射器阵列的同步的时序图，其中图像传感器阵列的激活速率比发射器阵列的激活速率高很多。
25.图8是示出根据本发明的一些实施例的示例性固态电子扫描lidar系统的详细侧视图的简化图。
26.图9是根据本发明的一些实施例的示例性增强光发射系统的简化剖视图。
27.图10是根据本发明的一些实施例的在公路车辆的外部区域处实现的固态电子扫描lidar系统的简化图示。
28.图11是根据本发明的一些实施例的在公路车辆顶上实现的固态电子扫描lidar系统的简化图示。
具体实施方式
29.本公开的一些实施例涉及静止的固态lidar系统，其中不存在旋转柱。实施例不仅可以将窄带光发射到lidar系统外部的场中，并在发射的窄带光从场中的物体反射后将其捕获以进行飞行时间测量，而且还可以感测该场的环境可见光。实施例然后可以使用捕获的发射光来创建场的三维表示，并且使用捕获的环境可见光来创建场的高分辨率二维图像。然后可以将场的三维表示与场景的二维图像进行匹配，从而提高固态lidar系统的态势感知能力。
30.根据本公开的一些实施例的固态阵列电子扫描lidar系统可以包括光传输模块以及光感测模块。光传输模块可以包括包含各个发射器的阵列的发射机层，并且光感测模块可以包括包含tof光传感器的阵列的tof传感器层。发射器阵列中的每个发射器可以与tof传感器阵列中的对应传感器(即tof光传感器)配对。在一些实施例中，代替用整个发射器组闪烁场景，一次仅激活发射器的子集，并且仅在激发发射器的同时读出tof光传感器的相应子集。然后，在不同的时间激活发射器的不同子集，同时读出相应的tof光传感器子集，以便可以激活发射器阵列中的所有发射器，并且可以通过一个发射周期读出tof传感器阵列中的所有tof光传感器。
31.电子扫描lidar系统还可以包括图像捕获模块，使得系统可以从场景的环境光中捕获如同在可见光谱内感知的场景的高分辨率图像。图像捕获模块中的图像传感器阵列的视场可以与发射器阵列的视场重叠(即，发射器阵列的视场可以是图像传感器阵列的视场的子集，其中该子集不仅限于整个视场的一部分，而是可以等于整个视场)，以便电子扫描lidar系统可以捕获场景中物体的彩色图像，同时还可以捕获到场景中的那些物体的距离。在一些实施例中，图像传感器阵列由图像光传感器阵列形成，每个图像光传感器对可见光敏感。
32.在一些实施例中，图像捕获模块可以作为卷帘快门相机来操作，使得图像光传感器阵列的子组可以与相应的发射器组同时并且以相同的顺序被激活，使得图像传感器阵列可以感测也被发射器阵列照亮的场景的环境光以测量距离。在一些实施例中，图像捕获模块可以作为全局快门相机操作，使得整个图像光传感器阵列作为一个整体可以一次被激活以在每次激活一组发射器时感测其视场内的环境光，在这种情况下，只有与激活的发射器组共享视场的图像传感器阵列的部分被读出并用于生成图像，如将在本文中进一步详细讨论的。
33.i.电子扫描lidar系统
34.根据本公开的一些实施例的固态电子扫描lidar系统的更好理解可参考图1确定，其示出了根据本公开的一些实施例的示例性固态电子扫描lidar系统100的框图。固态电子扫描lidar系统100可以包括测距系统控制器104、光传输(tx)模块106、光感测(rx)模块108和图像捕获(irx)模块150。
35.tx模块106和rx模块108可以一起操作以生成表示到视场中物体的距离的测距数据，而irx模块150可以与tx模块106的操作同步以同时生成表示同一视场内的物体的图像的图像数据。固态电子扫描lidar系统100可以通过将一个或多个光脉冲110从光传输模块106传输到视场周围系统100中的物体来生成测距数据。然后，透射光的反射部分112在一段延迟时间后被光感测模块108检测到。基于延迟时间，可以确定到反射表面的距离。除了测
距数据之外，固态电子扫描lidar系统100还可以通过感测来自同一视场中的环境可见光来生成图像数据，在该视场中发射光脉冲110并且从其反射透射光的反射部分112。图像数据可用于渲染视场中物体的高分辨率图像，以便测距数据与相应的图像数据相匹配，以提供更详细的场景图像。
36.光传输模块106包括发射器阵列114(例如二维发射器阵列)和tx光学系统116，所述tx光学系统与发射器阵列114一起时可以形成光发射系统138。tx光学系统116可以包括图像空间远心的体发射机光学器件144。在一些实施例中，tx光学系统116可以进一步包括一个或多个tx光学组件146，例如光圈层、准直透镜层和滤光器，其可以与发射器阵列114结合以形成微光学发射器通道阵列，其中每个微光学发射器通道可以增加从体发射机光学器件发出的光束的亮度和/或用于光束整形、光束控制等，如本文中关于图11讨论的。发射器阵列114或各个发射器可以是窄带激光源，例如垂直腔表面发射激光器(vcsel)、激光二极管等。tx模块106还可以包括任选的处理器118和存储器120，尽管在一些实施例中，这些计算资源可以并入测距系统控制器104。在一些实施例中，可使用脉冲译码技术，例如巴克码(barker code)等。在这些情况下，存储器120可以存储指示何时应当传输光的脉冲代码。在一些实施例中，脉冲代码被存储为存储在存储器中的整数序列。
37.光传感模块108可以包括tof传感器阵列126(例如二维tof光传感器阵列)，其中tof传感器阵列126的每个tof光传感器可以对应于发射器阵列114的特定发射器，例如，作为rx模块108和tx模块106的几何配置的结果。在一些实施例中，每个tof光传感器(本文有时也仅称为“传感器”，或者称为“像素”)可以包括光检测器的集合，例如spad等，而在其他实施例中tof光传感器可以是单光子检测器(例如，apd)。光感测模块108包括接收器光学感测系统128，当其与tof传感器阵列126结合在一起时，可以形成光检测系统136。在一些实施例中，接收器光学感测系统128可以包括接收器体接收器光学器件140和接收器光学部件142，诸如光圈层、透镜层和滤光器，它们可以与tof传感器阵列126组合以形成微光学接收器通道阵列，其中每个微光学接收器通道测量对应于光测距装置102所处的周围场的不同视场中的图像像素的光。
38.根据本公开一些实施例的rx和tx光学系统的进一步细节在下面结合图10以及在2018年5月14日提交的题为“optical imaging transmitter with brightness enhancement”的并出于所有目的通过引用整体并入本文的共同转让的美国专利申请15/979,235中进行讨论。
39.根据本公开的一些实施例，除了rx模块108和tx模块106之外，光测距装置102还可以包括irx模块150。irx模块150可以包括图像传感器阵列152(例如，用于检测可见光的图像光传感器的二维阵列)，其中作为irx模块150和tx模块106的几何配置的结果，图像传感器阵列152的视场的至少一部分与发射器阵列114的整个视场重叠。图像传感器阵列152可以是任何合适的可见光传感器，例如电荷耦合器件(ccd)传感器或互补金属氧化物半导体(cmos)图像传感器。irx模块150还可以包括图像光学传感系统154，当其与图像传感器阵列152一起使用时可以形成图像捕获系统156。在一些实施例中，图像光学感测系统154可以包括成像体接收器光学器件158，环境光行进穿过该成像体接收器光学器件以聚焦并曝光在图像传感器阵列152上。
40.如本文所述，光测距装置102可以是电子扫描lidar设备，其可以通过一次仅激活
一组发射器并且通过在激发发射器的同时仅读出tof光传感器的相应组来捕获场景中基于到物体的距离的图像。可以在不同的时间激活发射器的不同组，同时读出相应的tof光传感器组，以便最终可以激活所有发射器，并且可以通过一个发射周期读出tof传感器阵列中的所有tof光传感器。除了tof光传感器组之外，还可以同时读出相应的图像光传感器组，以通过测量环境光来捕获场景图像。作为实例，发射器阵列可以通过在每个发射周期一次一组并以从左到右的顺序激活进行发射光，而tof传感器阵列和图像传感器阵列二者可以被配置为以相应的顺序分别读出相应的tof光传感器组和相应的图像光传感器组。因此，本公开的实施例可以包括一个或多个组件以同步光的发射和感测。
41.例如，光传输模块106可以包括耦合到发射器阵列114的发射器控制器115。发射器控制器115被配置为通过例如根据期望激发序列选择性地激发每组发射器来控制发射器阵列126的操作。发射器控制器115可以包括合适的处理器，例如asic、微控制器、fpga或其他合适的处理元件以及用于操作发射器阵列114的一个或多个驱动组件。类似地，光检测系统136可包括tof传感器控制器125，其耦合到tof传感器阵列126和被配置成控制tof传感器阵列126的操作。并且，图像捕获系统156可以包括耦合到图像传感器阵列152并且被配置为控制图像传感器阵列152的操作的图像传感器控制器160。tof传感器控制器125和图像传感器控制器160每个可以是能够选择一个或多个光传感器以感测光的合适的组件或组件组，例如asic、微控制器、fpga或耦合到选择电路(例如，多路复用器)的其他合适的处理器。
42.在一些实施例中，发射器控制器115、tof传感器控制器125和图像传感器控制器160是同步的，使得在发射器阵列114中的光发射序列与激活和/或读出tof传感器阵列126中的tof光传感器的序列和图像传感器阵列152中的图像光传感器同步。作为实例，发射器控制器115、tof传感器控制器125和图像传感器控制器160都可以耦合到时钟117，使得所有控制器可以基于相同的时序方案操作。时钟117可以是电子部件，其产生特定信号，该特定信号以特定速度在高状态和低状态之间振荡，以协调数字电路的动作。可选地，发射器控制器115、tof传感器控制器125和图像传感器控制器160可以包括它们自己的时钟电路，用于协调它们自己的动作。在这样的实施例中，发射器控制器115、tof传感器控制器125和图像传感器控制器160可以通过通信线路119和162通信耦合在一起，使得tof传感器控制器125和图像传感器控制器160可以将它们的时钟与发射器控制器115同步。那样，tof传感器控制器125、图像传感器控制器160和发射器控制器115可以分别同步地操作tof传感器阵列126、图像传感器阵列152和发射器阵列114以实现图像捕获。
43.在一些实施例中，图像传感器控制器160可以将图像传感器阵列152操作为卷帘快门相机，其中通过按顺序激活和读出整个图像光传感器阵列的部分来捕获场景的图像。图像传感器阵列152的部分被激活和读出的顺序可以对应于发射器阵列中的发射器被激发和/或tof传感器阵列中的tof光传感器被读取的顺序。
44.在某些实施例中，图像传感器控制器160可以将图像传感器阵列152操作为全局快门相机，其中通过按顺序一次性并以特定激活速率激活整个图像光传感器阵列但仅读出一部分图像光传感器来捕获场景图像。在一些情况下，图像传感器阵列152激活的速率对应于发射器阵列中的发射器组被激发的速率。代替从整个图像传感器阵列152读出图像数据，可以仅读取具有与被激发的相应发射器组的视场相对应的视场的图像光传感器的那些部分，以生成用于生成场景的彩色图像的图像数据。
45.如本文所述，图像传感器阵列152的激活速率可以与tof传感器阵列126的操作同步。在这种情况下，图像传感器阵列152被激活的速率可以等于或大于tof传感器阵列126被读取的速率(以及发射器阵列114被激发的速率)。例如，当速率相同时，每次激活图像光传感器时，tof光传感器可同时激活但持续相同或不同的持续时间，如将在本文中关于图6进一步讨论的。当图像传感器阵列152的激活速率大于tof传感器阵列126的激活速率，例如tof传感器阵列126的速率的2x、4x或8x时，图像传感器阵列152可以比tof传感器阵列126在给定的时间段内多被激活数次，如将在本文中关于图7a-7c进一步讨论的。
46.在一些另外的实施例中，图像传感器控制器160可以相对于发射器阵列114和tof传感器阵列126的操作以异步方式操作图像传感器阵列152。例如，图像传感器阵列152的激活速率可以不同于tof传感器阵列126和发射器阵列114的激活速率，并且并非tof光传感器的每次激活或发射器的激发都可以对应于同时激活的图像光传感器。在这样的实施例中，可以通过读出从时间上最接近tof传感器阵列126或发射器阵列114的激活的tof传感器光传感器组的激活捕获的图像数据来生成表示捕获的三维图像的二维彩色图像。
47.在一些进一步的实施例中，测距系统控制器104可以被配置为同步光感测模块108、图像捕获模块150和光传输模块106的操作，以使发射器阵列114的光发射序列与tof传感器阵列126和图像传感器阵列152的感测光的序列同步。例如，测距系统控制器104可通过在每个发射周期一次一组并以从左到右的顺序激活来指示光传输模块106的发射器阵列114发射光，并相应地指示光感测模块108中的tof传感器阵列126和图像捕获模块150中的图像传感器阵列152分别以同一顺序一次性感测相应的tof光传感器组和图像光传感器组的光。在这样的实施例中，测距系统控制器104可以具有其自己的时钟信号，基于该时钟信号，其排序指令至光感测模块108、图像捕获模块150、光传输模块106。应当理解的是，本文设想了用于光检测的序列的其他形式，并且这种序列不是限制性的，如本文将进一步讨论的。
48.为了说明发射器阵列的顺序激发和tof传感器阵列以及图像传感器阵列的感测的一个实例，参考图2a，其是根据本公开的一些实施例的用于示例性固态电子扫描lidar系统200的发射器阵列210和tof传感器阵列220的简化图示。发射器阵列210可以是具有m列数和n行数的发射器212的二维m x n阵列，并且tof传感器阵列220可以与发射器阵列210对应，使得每个tof光传感器222映射到发射器阵列210中的相应发射器212。因此，tof传感器阵列220可以是tof光传感器222的相应的二维m x n阵列。另一方面，图像感测阵列230可以是具有y列数和z行数的图像光传感器232的二维y x z阵列。在一些实施例中，图像光传感器232的二维y x z阵列的列数和行数可以大于或显著大于发射器212的m x n阵列，使得图像感测阵列的分辨率显著大于发射器阵列的分辨率。例如，在一些实施例中，图像传感器阵列230可以包括比tof传感器阵列126中包括的tof光传感器的列和/或行数多2x、4x、8x、16x或更多列和/或行的图像光传感器。
49.在一些实施例中，发射器阵列210和tof传感器阵列220通常是大型阵列，其包括比旋转lidar系统中通常采用的发射器或tof传感器阵列更多的元件(即，更多的发射器和更多的tof光传感器)。tof传感器阵列220的尺寸即总体物理尺寸(以及因此与tof传感器阵列220相对应的用于照亮视场的相应的发射器阵列210)连同tof传感器阵列220内的tof光传感器的间距可以确定所述视场和能够被tof传感器阵列220捕获的图像的分辨率。较大尺寸
的阵列通常会导致较大的视场，较小的间距尺寸通常会导致捕获的图像具有更高的分辨率。在一些实施例中，图像传感器阵列230的整体尺寸可以等于或大于发射器阵列210的整体尺寸，而其间距可以小于或基本上小于发射器阵列210的间距。因此，图像传感器阵列230可以具有与发射器阵列210相同或更大的视场，同时实现更大的分辨率。在一些实施例中，图像传感器阵列230的总体尺寸大于发射器阵列210的总体尺寸，从而可以增加对准容差并且可以实现与不同尺寸的发射器阵列的兼容性，如将在本文中关于图5a-5b进一步讨论的。
50.在一些实施例中，发射器阵列210、tof传感器阵列220和图像传感器阵列230均由单个半导体管芯形成，而在其他实施例中，阵列210、220和230中的一个或多个可由安装到同一衬底上的多个芯片形成。在一些实施例中，发射器阵列210、tof传感器阵列220和图像传感器阵列230中的每一个形成在被配置为具有重叠视场的独立半导体管芯上，如将在本文中关于图4进一步讨论的。
51.发射器阵列210可以被配置为被操作以使可以同时激发发射器的一个或多个集合(其中每个集合在本文中被称为“组”)。例如，在图2a所示的实施例中，发射器阵列210被配置为包括六组214(1...214(6)，其中每组包括四列发射器。tof传感器阵列220可以被配置为具有与发射器阵列210类似的几何形状，使得tof光传感器222被布置在类似布置的组中。另一方面，图像传感器阵列230可以被配置为具有比发射器阵列210更高的分辨率并且具有定位在对应发射器组的视场内以分配给那些组的某些图像光传感器组。因此，在图2a所示的实施例中，tof传感器阵列220还被配置为包括六组224(1...224(6)，其中每组包括四列tof光传感器；并且，图像传感器阵列230可以分成六组234(1)-234(6)，其中每组具有与对应的发射器组214(1)-214(6)相同的视场。
52.图2b-2d是示出根据本公开的一些实施例的发射器阵列210的激发序列和tof传感器阵列220以及图像传感器阵列230的传感器读出序列的简化图，其中图像传感器阵列230以卷帘快门技术操作。如图2b所示，可以通过激发发射器阵列210的发射器组214(1)并且同时读出图像传感器阵列220的tof传感器阵列220和图像传感器组234(1)的传感器组224(1)来开始图像捕获序列的第一阶段。在该第一阶段期间，从发射器组214(1)中的每个单独的发射器发射的光脉冲发射到场中。然后可以将发出的光从场中的一个或多个物体反射出来，并由tof传感器阵列220的传感器组224(1)内的相应tof光传感器子集捕获。同时，在视场内的场景中存在的环境光被图像光传感器232的相应组234(1)捕获。
53.接下来，在序列的第二阶段，来自发射器阵列的第二组214(2)的发射器可以被激活以发射光脉冲，该光脉冲可以被tof传感器阵列中的tof传感器组224(2)中的tof光传感器读出，同时图像传感器阵列中的组234(2)中图像光传感器测量该位置的环境光，如图2c所示。发射器组的顺序激发和在相应的图像光传感器的组和分组中的tof光传感器的同时读出继续，直到发射器的最后一组214(6)被激活，同时最后一组的tof光传感器224(6)和图像光传感器234(6)被读取，如图2d所示。当一个完整的周期完成时(在图2b-2d描绘的实例中，图像捕获序列的六个阶段)，发射器阵列210的每一组发射器将已被激活，tof传感器阵列220的每一相应组的tof光传感器将已被读出以检测从发射器阵列210的相应组发射的光子，并且图像传感器阵列230中每个相应组的图像光传感器将已被读出以检测视场中的环境光，该光由发射器阵列210发射。然后，在lidar系统200运行时，可以连续重复该循环。
54.虽然图2a图示了被分成六个不同组/分组的发射器阵列和两个传感器阵列，每个
组具有特定数量的发射器或光传感器，但实施例不限于这样的配置。其他实施例可以具有多于或少于六组/分组以及每组/分组更多或更少的发射器或光传感器。例如，在一些实施例中，采用k组发射器和k组/分组光传感器，其中k多于或少于图2a发射器阵列中描绘的六组/分组。作为进一步的实例，在一些实施例中，lidar传感器200可以分为16、32、64、128或更多个组，其中每个组包括1、2、4、8个或更多个发射器列，而不脱离本公开的精神和范围。此外，虽然图2a根据发射器列和光传感器列讨论了组，但在其他实施例中，发射器和光传感器阵列可以分成具有一排或多排发射器和一排或多排光传感器而不是列的组，使得一排或多排发射器在同时读取一个或多个相应排的光传感器时被激发。在其他实施例中，发射器阵列210中的组可以包括发射器子集，该发射器子集包括多列和多行中的发射器(例如，以正方形或矩形图案布置的发射器)并且tof传感器阵列220/图像传感器阵列230中的组/分组可以包括以对应于发射器子集的图案排列的tof光传感器/图像光传感器的子集。
55.另外，虽然图2b至图2d示出了其中激发的发射器每级前进一组/分组的图像捕获序列，但本公开的实施例不限于任何特定的序列。例如，在一些实施例中，可以在具有k个组/分组的lidar系统中采用以下顺序：对于第一阶段，激发第一组发射器阵列210；对于第2阶段，激发第(k/2 1)组；对于第3阶段，激发第2组，对于第4阶段，激发第(k/2 2)组，等等，直到第k组被激发的第k阶段。这样的实施例在使tof传感器阵列内的串扰最小化方面可能是有益的，因为在连续的阶段中没有读出相邻的传感器组。作为另一实例，可以同时激发两个或更多个相邻的发射器组，同时读出对应的两个或更多个相邻的传感器组/分组。作为其中二个组被激发并同时读取的示例，在图像捕获序列的第一阶段中，可以激发发射器阵列210的214(1)和214(2)组，在第二阶段中，可以激发214(3)和214(4)组，等等。
56.虽然图2b-2d示出了根据卷帘快门技术操作图像传感器阵列的实施例，其中以特定顺序激活和读取图像光传感器的特定子集，但实施例不限于这样的操作。例如，一些实施例被配置为利用全局快门技术操作图像传感器阵列，其中图像传感器阵列的整个图像光传感器阵列在发射器激发序列的每个阶段被激活，但其中只有那些具有与激发的发射器组的视场和/或激活的tof传感器组的视场相对应的视场的图像光传感器被读出以生成用于捕获场景的二维彩色图像的图像数据。关于图2b-2d讨论的这些实例仅仅是可能的许多不同的激发和读出序列中的一些，而在其他实施例中，其他的激发和读出序列也是可能的。
57.图3是在特定方案中根据本公开的一些实施例的电子扫描lidar系统300的光传输和tof检测操作的说明性实例。具体地说，图3示出了固态电子扫描lidar系统300，其可以代表图1所示的lidar系统100，其收集围绕系统的体积或场景的三维数据和距离数据。图3是突出显示发射器和传感器之间关系的理想化图，因此未示出其他部件。在图3的讨论中参考了图4，以提供对使用tof方法的距离确定技术的更好理解。图像传感器阵列未在图3和图4中示出，以简化实施例中的lidar系统如何执行测距的讨论，但应当理解，图像传感器阵列可以靠近tof传感器阵列和/或发射器阵列定位以感测来自场景中与发射器和tof传感器阵列相同或重叠的视场的环境光，将在本文中关于5a和5b讨论。
58.参考图3，电子扫描lidar系统300包括发射器阵列310(例如，发射器阵列114)和tof传感器阵列320(例如，tof传感器阵列126)。发射器阵列310可以是光发射器的阵列，例如垂直腔面发射激光器(vcsel)阵列等，其包括发射器组312(1)至312(n)。tof传感器阵列320可以是包括tof光传感器组322(1)至322(n)的光传感器阵列。tof光传感器可以是像素
化的光传感器，其为每个tof光传感器采用一组分立的光检测器，诸如单光子雪崩二极管(spad)等。然而，各种实施例可以部署其他类型的光传感器。
59.为了便于说明，发射器阵列310被描绘为具有七组发射器，其中每组包括一列三个发射器，并且tof传感器阵列320被描绘为具有相应的tof光传感器布置。应当理解，发射器组312(1)至312(n)和tof光传感器组322(1)至322(n)可以分别代表发射器阵列310和tof传感器阵列320的更大的组的部分。因此，虽然为了便于说明，图3a仅示出了21个不同点的发射器和tof光传感器，但可以理解，其他实施方式可以具有显著更多的发射器，包括具有多列发射器的组，其中每列包括多于三个的单独发射器。也就是说，可以通过具有更密集的发射器阵列和相应的更密集的tof光传感器阵列来实现更密集的点采样。
60.每个发射器可以与其相邻发射器相隔一间隔距离，并且可以被配置成将光脉冲从其相邻发射器传输到不同的视场，从而照亮仅与该发射器相关联的相应视场。例如，发射器组312(1)将照明光束314(1)(每个由一个或多个光脉冲形成)发射到视场的区域315(1)中，并因此反射离开该场中的树330。同样，发射器组312(n)将照明光束314(n)发射到视场的区域315(n)中。应当理解的是，在图3a所示的实施例中，发射器阵列310以从左到右的顺序扫描其组。因此，图3a示出了发射器组312(1)被激活的第一时间实例和最后一组即发射器组312(n)被激活的最后时间实例。其他组可以在组312(1)到312(n)之间从左到右依次步进。虽然图3a示出了其中发射器阵列310和tof传感器阵列320按垂直定向的组并且按顺序操作的实施例，但实施例不限于这样的配置。在其他实施例中，发射器和tof传感器阵列310和320可以以非序列顺序按垂直定向的组操作以最小化串扰，或者以序列或非序列顺序按水平定向的组操作，或者以任何其他合适的顺序进行发射和接收光，如以上和将在本文中进一步讨论的。
61.由发射器照射的每一视场可以认为是从测距数据产生的对应3d图像中的像素或光点。因此每一发射器对于其他发射器可以是独特的且与其它发射器不重叠，使得发射器组和非重叠视场组之间存在一对一映射。在一些实施例中，发射器阵列310和tof传感器阵列320每个都是固态设备，其可以非常小并且彼此非常接近。例如，根据本发明的实施例，发射器或tof传感器阵列的尺寸可以在几毫米到几厘米的范围内。这样，与到场景中物体的距离相比，两个阵列的尺寸及其分离距离(可以小于几厘米)可以忽略不计。当将发射器和tof传感器阵列的这种布置与可以分别校准由发射器阵列发射的光并将反射的光聚焦到tof传感器阵列中的各自的体光学器件配对时，tof传感器阵列和发射器阵列的视场在阈值距离以外可以非常相似，以使每个发射器和相应的tof传感器都在视场中观察到基本上相同的光斑。参考图4可以更好地理解该概念。
62.图4是根据本发明的一些实施例的用于发射器阵列310和tof传感器阵列320的重叠视场的简化图示。发射器阵列310中的每个发射器可以以圆锥体402发射图4所示的光脉冲，该圆锥体通过体发射机光学器件404准直并作为发射的光406输出到场中。然后，发射的光406可以反射离开场中的一个或多个物体，并作为反射光412传播回tof传感器阵列320，该反射光412首先传播通过体接收器光学器件410，该光学器件将反射光412向下聚焦成焦点，成为脉冲光408圆锥形，然后照射到tof传感器阵列320中的相应tof光传感器上。可以参考图4理解，体发射机和接收器光学器件184和410之间的距离可以在例如1-3cm之间，与到场景的距离相比相对较小。因此，随着场景越来越远，发射器阵列的视场与tof传感器阵列
的视场越来越重叠。例如，如图4所示，发射器阵列310和tof传感器阵列320的视场的重叠区域414、416和418随着到场景的距离增加而变大。因此，在接近场景例如在视场中的物体的末端的距离处，发射器阵列310的视场可以与tof传感器阵列320的视场基本上重叠。因此，即使体接收器和发射机光学器件相距一个或多个厘米，每个相应的发射器和tof光传感器也可以观察到场景中的基本相同点。即，从体发射机光学器件184投射到系统前方的视场中的每个照明束可以具有与在与系统的一定距离处的对应的tof光传感器(或对应的tof光传感器的微光学接收器通道)的视场基本相同的尺寸和几何形状。在一些实施例中，发射器阵列310可以根据照射图案将照明束选择性地投射到系统300之前的视场中，该照射图案在尺寸和几何形状上在系统300的距离范围内与输入通道的视场基本匹配。通过在发射器阵列和tof传感器阵列之间具有基本上重叠的视场，固态电子扫描lidar系统300可以实现高信噪比(snr)。
63.在一些实施例中，发射器阵列和tof传感器阵列具有匹配的几何结构，发射器阵列的体光学器件与tof传感器阵列的体光学器件基本相同。在其他实施例中，tof传感器阵列320的尺寸和体光学器件可能与发射器阵列310的尺寸和体光学器件不同，但是，可以选择它们以使发射器阵列310和tof传感器阵列320的对应组具有明显相同的视场。例如，tof传感器阵列320的尺寸可以大于发射器阵列310的尺寸。这意味着tof传感器阵列320的体接收器光学器件410应该与发射器阵列310的体发射机光学器件184不同，并且应当仔细选择两种体光学器件，以使两个阵列中的相应组的视场显著地相同。例如，可以使用具有比发射器阵列310的透镜元件大两倍的透镜元件的类似的体光学器件。所得的体接收器光学器件的焦距将是体发射机光学器件的焦距的两倍。在这种情况下，tof传感器阵列320的高度和宽度应该是发射器阵列310的两倍，其接收光圈直径是发射直径的两倍，从而确保每个tof光传感器和发射器的视角范围都匹配。
64.为了确保发射器阵列310和tof传感器阵列320的相应组看到相同视场，可以现场使用之前进行lidar系统300的对准处理，例如由制造商进行。本发明的一些实施例的设计特征(例如，具有用于发射器阵列的单个半导体管芯或多芯片模块和用于tof传感器阵列的多芯片模块的单个半导体管芯)允许制造商仅执行一次对准，从而简化了lidar系统300的制造和制造后维护的方式。在光学器件对准期间，可测量每个像素和每个发射器的视场，以确保它们完全相同。对准过程可考虑透镜特性，例如像差、畸变和焦距长度，以及调节透镜元件相对于外部组件的位置和方向。
65.因为发射器的视场与其相应传感器的视场重叠，所以每个tof光传感器理想地可检测来源于其相应发射器的反射照明射束，理想地无串扰，即，未检测到来自其它照明射束的反射光。例如，参考回图3a，发射器组312(1)将照明束314(1)发射到视场的区域315(1)中，并且一些照明束从物体330(即树)反射。理想地，光324(1)的反射部分仅由tof光传感器组322(1)检测。因此，发射器组312(1)和tof光传感器组322(1)共享相同的视场。同样，发射器组312(n)和tof光传感器组322(n)也可以共享相同的视场，使得光324(n)的反射部分仅被tof光传感器322(n)检测到。例如，在发射周期的最后迭代期间，发射器组312(n)将照明束314(n)发射到视场的区域315(n)中，并且一些照明束从物体332即停在物体330旁边的汽车反射。在一个周期中，图3a中的固态电子扫描lidar系统350可以捕获并生成表示包括树330和汽车332的部分的场景的图像。额外的循环可以进一步捕获场景的其他区域，尤其是
在系统300正在移动时(例如，当系统300安装在汽车上时)，这将在本文中参考图12和13进一步讨论。虽然相应的发射器和tof光传感器在图3a中示出为在其各自阵列中处于相同的相对位置，但是取决于系统中使用的光学器件的设计，任何发射器都可以与任何tof光传感器配对。
66.在测距测量期间，来自分布于lidar系统周围的体积周围的不同视场的反射光由各种tof光传感器收集且处理，从而得到每一相应视场中的任何对象的距离信息。如上文所描述，可使用飞行时间技术，其中光发射器发射精确定时脉冲，且在经过一些时间之后由相应tof光传感器检测脉冲的反射。然后，使用发射和检测之间经过的时间以及已知的光速来计算到反射表面的距离。在一些实施例中，tof光传感器可以获得附加信息，以确定反射表面除距离之外的其他属性。例如，脉冲的多普勒频移可以由传感器测量，并用于计算tof光传感器和反射表面之间的相对速度。脉冲强度可用于估计目标反射率，脉冲形状可用于确定目标是硬材料还是漫射材料。
67.根据一些实施例，lidar系统300可以传输的光的多个脉冲。在一些实施例中，每个编码脉冲具有由光强形成的嵌入正值脉冲码。系统可以通过创建在不同时间区间(time bin)检测到的反射光的强度直方图来确定背景光存在下光脉冲的时间位置和/或幅度。对于每个时间区间，系统向强度直方图添加一个加权值，该值取决于检测到的光的强度。加权值可以是正的或负的，并且具有不同的幅度。
68.通过选择正值脉冲代码的不同组合且应用不同权重，系统可以检测适合于标准数字信号处理算法的正值和负值代码。这一方法提供了高信噪比，同时保持了反射光脉冲的测量时间位置的低不确定性。
69.ii.用于图像捕获的图像传感器阵列的配置和操作
70.如本文所述，电子扫描lidar系统的发射器阵列和图像传感器阵列可以具有重叠的视场，使得图像传感器阵列可以捕获与发射器阵列的视场相对应的场景的图像。
71.a.重叠视场
72.图5a是图示根据本公开的一些实施例的发射器阵列视场500和图像传感器阵列视场502的重叠视场的简化图。整个发射器阵列视场500可以与图像传感器阵列视场502的至少一部分重叠，使得图像传感器可以捕获与发射器阵列的整个视场对应的场景的图像。即，在一些实施例中，发射器阵列视场500可以等于图像传感器阵列视场502的子集。图像传感器视场502被示出为具有代表图像传感器阵列内的各个图像光传感器的各个视场的多个矩形块。
73.发射器阵列视场500可以包括不同的视场组504a-f，其数量对应于发射器阵列中的发射器组的数量，在图5a所示的实例中为六个。每个视场组504a-f可以是被从相应的发射器组发射的光照射的视场区域，如本文关于图2a-2d和3-4所讨论的。图像传感器阵列视场502还可包括对应于用于感测环境光的图像光传感器的组数的六个视场组506a-f。每个视场组506a-f可以是与对应的发射器组发光的区域相对应的视场区域，如本文关于图2a-2d和3-4所讨论的。因此，在操作期间，当发射器组按顺序向视场组504a-f发射光时，具有相应视场506a-f的图像光传感器组可以同时读出相同序列中的图像光传感器数据以捕获场景图像。
74.在图像传感器阵列根据卷帘快门技术操作的一些实施例中，每个图像光传感器是
单独可寻址的，从而可以激活特定图像光传感器组以按顺序感测光而不必激活图像传感器阵列中的每个图像光传感器，例如，不必激活那些不具有与发射器激发组和/或tof光传感器激活组的重叠视场的图像光传感器。在这种情况下，每个图像光传感器可以映射到相应的发射器组，从而图像光传感器可以由控制器用控制信号激活。图像光传感器和发射器组之间的映射可以记录在存储器中并由控制器使用。例如，控制信号总线可以从图像传感器控制器(例如，图像传感器控制器160)耦合到图像传感器阵列。可以将控制信号发送到图像传感器阵列，指示激活哪组图像光传感器，从而又指示测量哪个视场组506a-f。继续图5a所示的实例，控制信号可以是1-6，其中1表示要测量的组506a，而6表示要测量的组506f。因此，与视场组506a相关联的图像光传感器组可以被配置为在接收到控制信号1时激活，如图5a所示。对于组506b-f的其余部分也可以这样说。将图像传感器阵列配置为可单独寻址可以节省功率，因为只有子集的图像光传感器被激活以感测光，从而通过一次照亮所有图像光传感器来最小化功率浪费。
75.在根据全局快门技术操作图像传感器阵列的实施例中，每次可以激活整个图像光传感器阵列。因此，可以捕获整个图像传感器阵列视场502的图像数据，即使只有一部分视场对应于发射器激发组(例如组504a)的视场。在这种情况下，将仅读取来自对应于发射器激发组504a的视场的那些图像光传感器(例如图像光传感器组506a)的图像数据，并且具有在组504a视场之外的视场的所有图像光传感器将被忽略。因此，可以完全忽略具有在发射器阵列视场500之外的视场的那些图像光传感器。
76.为了为每个图像光传感器分配正确的组控制信号，可以在制造过程中或在lidar系统启动时执行校准过程。每个发射器组都可以被激发以发射光，同时保持跟踪哪些图像光传感器接收光。当发射器组1被激发时接收光的那些图像光传感器可以编程为在发射器组1被激发时激活。可以对发射器组的其余部分执行相同的操作。
77.在此讨论的关于可单独寻址的配置的方法和配置也可以通过不可单独寻址的图像传感器阵列来实现，例如，被配置为全局快门的图像传感器阵列。在这种情况下，每次激活图像传感器阵列时，一次性激活整个图像光传感器阵列，而不是仅激活它们的一个子集。因此，一些实施例可以配置图像传感器阵列以仅读出对应于特定视场组506a-f的那些图像光传感器的图像数据，即使每个图像光传感器已被激活以感测光。将图像传感器阵列配置为全局快门可以节省设计成本和易于制造，并且可以允许lidar系统利用现有的高质量图像传感器，原因是本文关于图7a-7c讨论的。
78.在一些实施例中，图像传感器阵列视场502可以大于发射器阵列视场500，如图5a所示。因此，图像传感器阵列的物理尺寸可大于发射器阵列的物理尺寸。具有更大的图像传感器阵列允许与不同尺寸的不同发射器配置的更大兼容性。更大的图像传感器阵列还允许更宽松的制造公差，从而提高制造的便利性并节省制造成本。
79.例如，图5b是图示发射器阵列视场510和图像传感器阵列视场512的重叠视场的简化图，其对应的发射器阵列和图像传感器阵列不完美地对准。本发明的一些实施例可以校正如本文所述的这种未对准。例如，通过使图像传感器阵列的物理尺寸以及因此视场512大于发射器阵列的物理尺寸以及因此视场510，整个发射器阵列视场510仍然可以即使图像传感器阵列相对于发射器阵列以一定角度定位，也与图像传感器阵列视场512的至少一部分重叠，如图5b所示。即使图像传感器阵列视场512成角度，与发射器阵列的视场相对应的那
些图像光传感器仍可被编程为与发射器阵列同步激活。例如，与视场组514a相关联的图像光传感器组可以被配置为在接收到控制信号1时激活，如图5b所示。成角度的布置可导致具有锯齿状边缘的一组图像光传感器，该锯齿状边缘作为图像传感器阵列视场512和发射器阵列视场510之间角度失配的伪影。
80.较大的尺寸还允许一些光学像差容差。作为实例，不完美的体成像光学器件会导致图像传感器阵列视场512的一定程度的失真，这会导致视场的边缘向内塌陷。然而，因为图像传感器阵列视场512大于发射器阵列视场510，所以整个发射器阵列视场510仍然可以与图像传感器阵列视场512的至少一部分重叠，并且捕获发射器阵列视场510的图像的能力可不会受到负面影响。
81.b.图像光传感器的同步和时序
82.如本文所讨论的，图像传感器阵列中的图像光传感器的激活可以与发射器阵列中的发射器的激发和tof传感器阵列中的tof光传感器的激活同步。此外，在一些实施例中，可以在激活周期之间修改同步图像光传感器的曝光以实现最佳曝光时间。图6是图示根据本公开的一些实施例的图像传感器阵列与tof传感器阵列的同步的时序图。tof曝光序列600代表tof传感器阵列中tof光传感器组的按时间激活(以及发射器阵列中对应的发射器组的激发)，并且图像感测序列602代表图像传感器阵列中的图像光传感器相应组的按时间激活。如图6所示，四组tof光传感器可以在四个各自的时间被激活，例如在每个时间t(0)-t(3)，并且它们的激活持续时间可以各自以它们各自的时间t(0)-t(3)为中心。在一些实施例中，图像传感器阵列的同步激活可以被配置为使得其对应的激活也以时间t(0)-t(3)为中心。因此，图像传感器阵列的激活速率可以等于tof传感器阵列的激活速率。然而，应当理解，图像传感器阵列的激活速率可以显著高于tof传感器阵列的激活速率，尤其是在图像传感器阵列具有高快门速度的实施例中，如将在本文关于图7a-7c进一步讨论的。
83.在某些实施例中，可以控制图像传感器阵列以修改其每次激活之间的曝光时间，从而可以调整曝光时间，使得图像光传感器接收最佳光量。曝光时间可以由每次激活的持续时间限定。例如，第一、第二、第三和第四组图像光传感器的激活可以分别具有第一、第二、第三和第四曝光604、606、608和610。先前激活的亮度可用于修改后续激活的曝光。例如，如果前一次激活太亮，则可以减少后续激活的曝光，反之亦然。例如，如图6所示，图像传感器控制器可确定第一组图像光传感器激活期间感测到的光过亮；因此，可以减少用于第二组图像光传感器的曝光606。图像传感器控制器然后可以确定在第二组图像光传感器的激活期间感测到的光太亮，并且因此增加第三组图像光传感器的曝光608。之后，图像传感器控制器可以确定在第三组图像光传感器的激活期间感测到的光恰到好处，从而保持曝光610相同并且是针对此后的每次激活，直到整个图像传感器阵列被激活。
84.如本文提及，实施例不限于其中图像传感器阵列的激活速率等于发射器阵列的激活速率的配置，并且一些实施例可以配置有被设计为具有高快门速度的全局快门的图像传感器阵列，其中图像传感器阵列的激活速率大于发射器阵列的激活速率。图7a是说明根据本公开的一些实施例的图像传感器阵列与tof传感器阵列的同步(并因此与发射器阵列的发射器的激发同步)的时序图，其中图像传感器阵列的激活速率远高于tof传感器阵列的激活速率。激活序列700代表tof传感器阵列中tof光传感器组的按时间激活，并且图像感测序列702代表图像传感器阵列中整个图像光传感器阵列的按时间激活。
85.如图6所示，四组tof光传感器可以在四个独立的时间被激活，例如在每个时间t(0)-t(3)，并且它们的激活持续时间可以各自以相应的时间t(0)-t(3)为中心。相反，不像图6，图像感测序列702可以具有显著更高的激活速率，使得图像传感器阵列在给定时间段内比tof传感器阵列激活更多次。因此，并非图像传感器阵列的每次激活都将与tof传感器阵列的相应激活同步。例如，图像传感器阵列可以在tof传感器阵列的连续激发之间被激活四次，如图7a所示(即图7a中的图像传感器阵列的帧速率比tof传感器阵列的帧速率快五倍，tof传感器阵列的帧速率与发射器激发时的速率相匹配)。图像传感器阵列的高激活速率可导致每次激活的曝光时间减少。然而，图像传感器控制器可以被配置为利用图像传感器阵列的额外激活来改进所捕获图像的曝光。例如，如图7b所示，图像传感器控制器可以接收三个激活706a-c的图像数据，以在一组tof光传感器的单次激活704期间捕获视场的图像。三个激活706a-c发生的时间可以以激活tof光传感器组的时间t(1)为中心。可以接收来自更多或更少数量的激活的图像数据以捕获视场的图像。作为例子，如图7c所示，图像传感器控制器可以从两个激活708a-b以及激活706a-c总共五个激活接收图像数据，以在一组tof光传感器的单个激活704期间捕获视场的图像。五次激活发生的时间可以以激活tof光传感器组的时间t(1)为中心。
86.iii.用于光测距的增强型发光系统
87.本公开的一些实施例涉及lidar传感器，所述传感器除了其他用途之外，还可以用于自主车辆中的障碍物检测和规避。一些具体实施例涉及lidar传感器，其设计特征使得传感器制造的成本足够低且可靠性足够高，并且实现足够小的占地面积以用于大众市场的汽车、卡车和其他车辆。例如，一些实施例包括一组垂直腔面发射激光器(vcsel)作为向场内发射辐射的照明源，并且包括单光子雪崩二极管(spad)检测器阵列作为一组检测从场内的表面反射回来的辐射的tof光传感器(检测器)。使用vcsel作为发射器，spad作为检测器，可以同时进行多次测量(即可以同时激发vcsel)，还可以在单个芯片上使用标准cmos工艺分别制造一组发射器和一组tof光传感器，这大大简化了制造和组装过程。
88.然而，在某些实施例中使用vcsel和spad面临一定挑战，本公开的各种实施例克服了这些挑战。例如，vcsel比现有lidar结构中使用的典型激光器功率低得多，而spad比现有lidar结构中使用的典型检测器效率低得多。为了解决这些挑战以及同时激发多个发射器所带来的挑战，本公开的某些实施例包括各种光学部件(例如，透镜、滤光器和光圈层)，这些光学部件可以与多个spad阵列协同工作，每个阵列对应于不同的像素(例如，在场内的位置)，如本文所述。举例来说，如本文中关于图1所论述，光感测模块108的光学系统128可以包括微光接收器层(图1中未示出)，用于增强由tof传感器阵列126检测到的光，该传感器阵列可以包括tof光传感器的阵列，每个光传感器可以是spad阵列。
89.图8是示出根据本公开的一些实施例的示例性固态电子扫描lidar系统800的详细侧视图的简化图。固态电子扫描lidar系统800可以包括光检测系统801、光发射系统803和图像捕获系统807。光发射系统803利用窄带光线805提供系统800所在的场的至少一部分的主动照明。光检测系统801检测从光发射系统803发射的窄带光，所述窄带光已经被场内的物体反射为反射光线806。图像捕获系统807检测存在于光发射系统803发射光的场的部分中的可见光谱中的环境光。
90.光检测系统801可以代表以上参照图1讨论的光检测系统136。光检测系统801可以
包括光学感测系统和tof传感器阵列。光学感测系统可以包括体接收器光学器件、光圈层、准直透镜层以及滤光层；并且tof传感器阵列可以包括tof光传感器阵列，其中每个tof光传感器可以包括一个或多个用于测量光的光检测器。根据一些实施例，这些部件一起操作以从场接收光。例如，光检测系统801可以包括体接收器光学器件802和微光学接收器(rx)层804。在操作期间，光线806从多个方向进入体接收器光学器件802，并被体接收器光学器件802聚焦以形成光锥808。微光学接收器层804被定位成使得光圈810与体接收器光学器件802的焦平面重合。在一些实施例中，微光学接收器层804可以是微光学接收器通道812的二维阵列，其中每个微光学接收器通道812由各自的光圈810、准直透镜814和tof光传感器816形成，这些光圈、准直透镜和光传感器在光传输的方向上沿着相同的轴定位，例如从左向右水平定位，如图8所示。此外，每个微光学接收器通道812可以以各种方式配置以减轻来自tof光传感器之间的杂散光的干扰，这将在本文中进一步讨论。在操作期间，每个微光学接收器通道812测量不同像素(即，场内的位置)的光信息。
91.在体接收器光学器件802的焦点处，光线806聚焦并穿过光圈层811中的光圈810，并进入相应的准直透镜814。每个准直透镜814准直接收到的光，使得光线都以大致相同的角度，例如彼此平行进入滤光器。体接收器光学器件802的光圈和焦距决定了在光圈810处聚焦的相应光线的锥角。准直透镜814的光圈大小和焦距决定了允许光线的准直程度，而这决定了在滤光器818中可以实现多窄的带通。在光检测系统800的操作期间，光圈层可以起到各种功能。例如，(1)光圈810可以约束像素视场，因此尽管在tof光传感器平面上的间距很大，它仍具有严格的空间选择性；(2)光圈810可以约束视场以与发射器视场在大小上相似或相等，以有效利用发射器光；(3)光圈可以在准直透镜的焦平面处提供小的点状光源，以在穿过滤光器之前实现光线的严格准直，其中更好的准直形成可以通过滤光器的更紧密的波段，和(4)围绕每个光圈的光圈层的光圈区域可以阻挡杂散光。在一些实施例中，不包括准直透镜814，并且带通滤波器的通带较窄。
92.滤光器818阻挡不需要的光波长。基于干扰的滤光器在性能上往往表现出很强的角度依赖性。例如，在零度入射角下中心波长(cwl)为900纳米的1纳米宽带通滤光器在十五度入射角下可能具有898纳米的cwl。成像系统通常使用几十纳米宽的滤光器来适应这种效果，因此cwl的偏移比带通宽度小得多。然而，微光学层804的使用允许所有光线以大致相同的入射角进入滤光器818，从而最小化cwl偏移，并允许使用非常紧密的滤光器(例如，小于8纳米宽)。tof光传感器816响应入射光子产生电流或电压。在一些实施例中，滤光器818遍及整个微光学接收器通道812阵列是均匀的，使得阵列中的每个单独的微光学接收器通道812接收相同波长范围的光。
93.在一些实施例中，tof光传感器816位于准直透镜814的相对侧，使得光线806首先穿过准直透镜814和滤光器818，然后在暴露在tof光传感器816上。每个tof光传感器816可以是多个光检测器，诸如多个单光子雪崩检测器(spad)的微型阵列。可以在单个单片芯片上制造微型spad阵列，从而简化制造。在一些替代实施例中，每个tof光传感器816可以是单个光检测器，例如标准光电二极管、雪崩光电二极管、谐振腔光电二极管或另一种类型的光检测器。
94.光发射系统803可包括体发射机光学器件820和由二维阵列的光发射器824形成的光发射层822。每个光发射器824可以被配置成产生窄带光的离散光束。在一些实施例中，光
发射层822被配置成根据照射图案选择性地将离散光束投射通过体发射机光学器件820，所述照射图案在尺寸和几何形状上遍及距光发射系统803的距离范围与微光学接收器层804中的接收器通道的视场相匹配。光发射器824可以是任何合适的光发射器件，诸如集成在一个或多个单片芯片上的垂直腔面发射激光器(vcsel)，或者任何其他类型的激光二极管。光发射器824可以产生窄带光锥826，这些光锥被导向体发射机光学器件820，体发射机光学器件可以准直光锥826，然后将准直的光作为发射光线805输出到场内远处的目标。在一些实施例中，体发射机光学器件820是图像空间远心的。
95.从图8中平行光线805和806的图示中可以明显看出，每个微光学接收器通道812具有超出阈值距离的不重叠视场。如图8所示，每个微光学接收器通道812包括来自多个光圈的光圈、来自多个透镜的透镜以及来自多个光检测器的光检测器，其中每个通道的光圈为通道中的像素限定离散的视场，所述视场在其他微光学接收器通道的视场内超出阈值距离外不重叠。这样，每个微光学接收器通道接收对应于场内不被微光学接收器层804中的任何其他微光学接收器通道测量的离散位置的反射光。
96.在附加和替代实施例中，来自光锥826的光线805先被微光学发射机层(未示出)聚焦在空间的中间平面上，然后才被体发射机光学器件820导向远处的目标，以增强从光发射系统803发射的光的亮度和强度。在这样的实施例中，光发射系统803和光检测系统801被配置成使得每个微光学发射机通道(未示出)与相应的微光学接收器层804配对，并且它们的视场中心被对准成在距传感器一定距离处重叠，或者它们的主光线被平行化。在另外的附加和替代实施例中，由光发射系统803发射的远场光束具有与每个微光学接收器层804的远场视场相似的尺寸和发散角。下面将详细讨论具有用于增强输出光的亮度和强度的微光学发射机层的光发射系统803的细节。
97.因为vcsel不如现有激光雷达结构中的典型激光器强大，所以在一些实施例中，光发射系统803可以被配置成提高lidar系统800执行光测距功能的能力。也就是说，可以提高光发射系统803发射的光的质量，以提高光测距精度和效率。用于光测距和成像目的的透射光的质量可以根据亮度和强度来定义。从体发射机光学器件820发射的光线的亮度和强度可以通过修改和/或实现一个或多个光学发射机层来增强。
98.图像捕获系统807可以代表以上参照图1讨论的图像捕获系统156。图像捕获系统807可以包括体图像接收器光学器件830和由图像光传感器834的二维阵列形成的图像感测层832。每个图像光传感器834可以被配置为检测场景中存在的可见波长光谱中的环境光。体图像接收器光学器件830可以将进入的环境光838作为光代码836聚焦到图像感测层832上，使得图像光传感器834可以检测环境光838。在一些实施例中，图像体接收器光学器件830是图像空间远心的。图像感测层832可以是任何合适的可见光传感器，例如电荷耦合器件(ccd)传感器或互补金属氧化物半导体(cmos)图像传感器。
99.图9是根据本公开的一些实施例的示例性增强光发射系统900的简化剖视图。光发射系统900可以包括具有光发射器904的光发射器阵列902，光发射器例如可以包括但不限于用于发射光913的任何发光二极管、激光二极管、vcsel等。vcsel是一种从顶面垂直发射激光束的半导体激光二极管。注意，图9所示的线性阵列可以是任何几何形式的发射器阵列，包括但不限于圆形、矩形、线性或任何其他几何形状。
100.增强型光发射系统900可以包括通过开放空间918与光发射器阵列902隔开的微光
学发射机通道阵列906。每个微光学发射机通道908可以与相应的接收器通道(例如，图5中的接收器通道512)配对，并且它们的视场中心被对准成在距光学成像器系统一定距离处重叠。微光学发射机信道阵列906可以由夹在位于面向光发射器阵列902的一侧的第一光学表面920和位于背对光发射器阵列902的相对侧的第二光学表面921之间的衬底919形成。第一光学表面920和第二光学表面921都可以被配置成凸形微光学透镜阵列，其中第一光学表面920的每个凸透镜被配置成与第二光学表面920的相应凸透镜光学对准，使得透射通过第一光学表面920的光可以随后透射通过第二光学表面921。如图9所示，来自第一光学表面920和第二光学表面921的相应凸透镜可以背向彼此。在某些实施例中，第一光学表面920的凸透镜具有第一光功率，第二光学表面921的凸透镜具有不同于第一光功率的第二光功率。例如，第二光功率可以大于第一光功率，使得第二光功率的焦距比第一光功率的焦距短。衬底919可以由在光发射器904的波长范围内可透射的任何合适的材料形成，诸如硅、二氧化硅、硼硅酸盐玻璃、聚合物等。第一光学表面920和第二光学表面921可以由压印在衬底919的相应相对表面上的透明聚合物形成。
101.在一些实施例中，微光学发射机通道阵列906可以由微光学发射机通道908的单片阵列形成。每个微光学发射机信道908可以包括来自第一光学表面920的第一凸透镜、来自第二光学表面921的相应第二凸透镜以及位于两个凸透镜之间的衬底919的相应部分。每个微光学发射机信道908可以对应于各自的光发射器904，使得从光发射器904输出的光在操作期间首先穿过第一凸透镜，穿过衬底919的相应区域，然后穿过第二凸透镜。
102.一旦光从第二光学表面921的第二凸透镜射出，所述光就形成微型光斑图像910，所述图像是相应光发射器904的真实图像，但是是相应光发射器904的尺寸缩小的图像。在一些实施例中，微型光斑图像910位于微光学发射机信道阵列906和体发射机光学器件914之间。例如，微型光斑图像910可以形成在光圈层909的相应光圈内。每个光圈可以是反射层或不透明层上的针孔，其中发射的光聚焦以形成微型光斑图像910。应当理解，光圈层909是可选的，并且在没有光圈层909的情况下可以实现微光发射机通道阵列906的光增强能力。在这样的实施例中，可以在第二光学表面921的第二凸透镜的焦平面处形成微型光斑图像910。从那里继续远离光发射器和微光学信道，光形成光锥912，通向体发射机光学器件914。
103.根据本公开的一些实施例，发射光913的发散度可以小于光锥912的发散度。发散度的这种差异可以由微光学发射机信道908产生，特别是由第二光学表面921的光功率产生。因为从微光学发射机信道908出来的光的发散度大于从光发射器904发射的光913的发散度，所以微型光斑图像910可以是光发射器904的真实图像，但是比光发射器904的尺寸小很多，并且具有与发射光913相同数量的光子。然后，在形成真实光斑图像之后形成的最终光锥912在穿过体发射机光学器件914之后作为每个光发射器904的离散光束925被投射到场内。从光发射系统900发出的最终光线是具有小横截面积的高度准直的光束925，从而使得光发射系统900能够输出具有增强亮度和强度的光。相反，不具有微光学通道阵列而是在体发射机光学器件914的焦平面处具有光发射器阵列902的系统会产生准直度大大降低的光束，因此这些光束在远场将具有更大的横截面积。
104.请注意，体发射机光学器件914可以包括单个透镜或透镜组，其中两个或多个透镜一起形成体发射机光学器件914。在体发射机光学器件914中使用多个透镜可以增加数值光圈、减小rms光斑尺寸、使像平面变平、提高远心度，或者以其他方式提高体发射机光学器件
914的性能。还要注意，对于一些实施例，光锥912可以重叠形成光锥重叠区域916。
105.体发射机光学器件914位于微光学器件和发射层的前面，使得体成像光学器件的焦平面与微型光斑图像910重合。体发射机光学器件914接受发散光锥912并输出准直光束。它的数值光圈可以至少足够大，以捕获发散射线锥中的全部角度范围。此外，体发射机光学器件914可以是图像空间远心的，因为离开微光学层的光锥912可以都是平行的(而不是其中心轴对准体光学器件的中心)。在一个实施例中，光可以近似准直地离开体发射机光学器件914。注意，光束准直的质量与焦平面处的“发射物体”(微型光斑图像910)的尺寸有关。由于这种“发射物体”的尺寸已经通过使用微光学堆叠而减小，所以获得了比简单地直接成像发射物体更好的准直角度。
106.尽管图9示出了增强的光发射系统，其具有由夹在第一和第二光学表面之间的衬底形成的微光学通道阵列，并且通过开放空间远离光发射器阵列一定距离定位，以提高光发射系统输出的光的亮度和强度，但是实施例不限于这种配置。而是，其他实施例不一定必须实现开放空间或两个光学表面，如在2018年5月14日提交的标题为“具有亮度增强的光学成像发射机”的相关美国专利申请15/979,235中进一步详细讨论的，并且出于所有目的通过引用将该申请整体并入本文。
107.尽管实施例讨论了用于电子扫描发射器阵列的图像捕获模块，但实施例不限于这样的配置。在一些实施例中，图像捕获模块可以在机械扫描光发射的lidar系统中实现，例如使用反射镜检电流计。这样的系统可以使用反射镜检流计沿着预定的扫描模式扫描激光束的二维阵列。因此，光感测模块和图像捕获模块可以被配置为捕获与激光束的扫描图案重合的场景图像。
108.在一些实施例中，根据本公开的多个电子扫描lidar单元可以一起工作以提供比单个单元更大的视场。例如，图10示出了根据本公开的一些实施例的实施方式1000，其中固态电子扫描lidar系统1002a-d被实现在诸如汽车的道路车辆1005的外部区域；图11示出了根据本公开的一些实施例的实施方式1100，其中固态电子扫描lidar系统1102a-b被实现在道路车辆1105的顶部。在每种实施方式中，可以选择lidar系统的数量、lidar系统的放置和每个lidar系统的视场以获得车辆周围环境的360度视场的大部分(如果不是全部的话)。这里选择lidar系统的汽车实施方式仅仅是为了说明，本文描述的传感器可以用于其他类型的载具，例如船、飞机、火车等，以及使用3d深度图像的各种其他应用，例如医学成像、移动电话、增强现实、测地学、地理信息学、考古学、地理学、地质学、地貌学、地震学、林业、大气物理学、激光制导、机载激光条带测绘(alsm)和激光测高。
109.参照图1000，固态电子扫描lidar系统1002a-d可以安装在车辆的外部区域，靠近前挡泥板和后挡泥板。lidar系统1002a-d可以各自定位在车辆1005的相应角落处，使得它们定位在车辆1005的最外侧角落附近。那样，lidar系统1002a-d可以更好地测量车辆1005与区域1006a-d处的场地中的物体的距离，以及捕获区域1006a-d处的场地中的物体的图像。用于测距/3d成像目的的发射光和感测的反射发射光显示为实线，而用于成像(即，2d成像)目的的反射环境光显示为虚线。每个固态lidar系统可以面向不同的方向(单元之间可能有部分重叠和/或不重叠的视场)，以便捕获比每个单元自身能够捕获的复合视场更大的复合视场。
110.如图10所示，场景内的物体可以反射从lidar tx模块1008发出的光脉冲1010的一
部分。然后光脉冲1010的一个或多个反射部分1012传播回lidar系统1002a，并且可以被rx模块1009接收。此外，场景内的物体反射的环境光1014可以传播到lidar系统1002a并被irx模块1011接收。rx模块1009和irx模块1011可以被设置在与tx模块1008相同的壳体中。如本文所讨论的，电子扫描lidar系统1002a-d可以电子地扫描场景以捕获场景的图像。因此，lidar系统1002a可以在点1020和1022之间进行扫描以捕获区域1006a中的物体，对于系统1002b-d和区域1006b-d也是如此。
111.虽然图10示出了安装在车辆四个角落的四个固态电子扫描lidar系统，但实施例不限于这种配置。其他实施例可以具有安装在车辆其他区域的更少或更多的固态电子扫描lidar系统。例如，电子扫描lidar系统可以安装在车辆的顶部，如图11所示。在这样的实施例中，电子扫描lidar系统1102a-b可以具有更高的有利位置，以更好地观察车辆1105周围的区域1107a-b。在一些实施例中，可以通过其他方式来执行扫描，例如基于芯片的光束转向技术，例如，通过使用采用一个或多个基于mems的反射器的微芯片，例如数字微镜(dmd)设备、数字光处理(dlp)设备等。
112.如本文提及的，可以选择lidar系统的数量、lidar系统的位置以及每个lidar系统的视场，以获得车辆周围环境的大部分(如果不是全部的话)360度视场。因此，每个lidar系统1002a-d可以被设计为具有大约90度的视场，使得当实施所有四个系统1020a-d时，可以观察到车辆1005周围的360度视场的全部或绝大部分。在每个lidar系统1002a-d具有小于90度视场(例如45度视场)的实施例中，可以根据需要包括额外的lidar系统以扩展视场以实现组合视场，如特定实施方式可能需要的。
113.尽管已经针对特定实施例描述了本公开，但是应当理解，本公开旨在覆盖以下权利要求范围内的所有修改和等同物。