一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

立体图像捕获系统的制作方法

2023-02-16 13:04:19 来源:中国专利 TAG:

立体图像捕获系统
1.相关申请的交叉引用
2.本技术要求于2020年4月27日提交的美国临时申请第63/016,118号和于2021年4月13日提交的美国申请第17/229,671号的权益,所述申请中的每一个均通过引用以其整体并入本文。


背景技术:

3.图像捕获系统通过感测光来捕获场景的图像。光通常由如电荷耦接装置(ccd)或互补金属氧化物半导体(cmos)装置等图像传感器感测,所述图像传感器可以将感测到的光转化为电子。然后可以读取和解释电子以构建所捕获图像。图像传感器捕获的图像通常不提供用于构建场景的立体图像的深度感知,也不能够实现对到场景中的物体的距离的计算。


技术实现要素:

4.本公开的一些实施例涉及可以利用传感器阵列捕获深度信息的立体图像捕获系统。一种立体图像捕获系统可以被配置成移动其传感器阵列,例如,通过使所述阵列绕横向于其行的轴线旋转,使得可以由彼此间隔开的至少两个光电传感器对空间中的给定位置进行连续成像。所述两个光电传感器之间的距离可以用作光学基线来计算到场中的所述给定位置的深度信息,由此使所述立体图像捕获系统不仅利用来自2d传感器阵列的深度感知构建图像,而且还确定用于增强深度传感器的测距准确度的深度信息。
5.一些实施例涉及一种包含测距光电传感器和成像光电传感器两者的立体图像捕获系统。所述立体成像器系统可以包含:传感器阵列,所述传感器阵列包括:多个测距光电传感器,一旦从发射器阵列发射的光已从场景中的物体反射,所述多个测距光电传感器就检测所述光;第一多个成像光电传感器,所述第一多个成像光电传感器定位在所述测距光电传感器的第一侧处;以及第二多个成像光电传感器,所述第二多个成像光电传感器定位在所述测距光电传感器的与所述第一侧相对的第二侧处。所述第一多个成像光电传感器和所述第二多个成像光电传感器可以检测所述场景中的环境光并且可以间隔开一定间隙。所述系统可以进一步包含:移动部件,所述移动部件耦接到所述传感器阵列并且可操作以使所述传感器阵列在完整的旋转图像捕获循环内在第一位置与第二位置之间移动;以及系统控制器,所述系统控制器耦接到所述传感器阵列和所述移动部件。所述系统控制器可以被配置成:使用所述多个测距光电传感器通过飞行时间计算来确定到所述场景中的物体的第一距离;在所述第一位置处用所述第一多个成像光电传感器捕获所述场景的第一图像,并且在所述第二位置处用所述第二多个成像光电传感器捕获所述场景的第二图像;并且基于所述第一图像和所述第二图像以及通过所述间隙确定的光学基线计算到所述物体的第二距离。
6.在一些实施方案中,实施例可以包含以下特征中的一个或多个特征。所述多个测距光电传感器可以以对角交错的布置组织。所述第一多个成像光电传感器和所述第二多个
成像光电传感器可以各自以矩形布置组织。所述第一多个成像光电传感器中的至少一些成像光电传感器和所述多个第二成像光电传感器中的至少一些成像光电传感器可以沿同一水平线定位。所述移动部件可以是使所述传感器阵列绕中心轴线旋转的马达。所述移动部件可以是反射光以移动视场的微机电系统(mems)装置。所述系统控制器可以被进一步配置成基于所述第一距离和所述第二距离计算到所述物体的最终距离。
7.根据一些实施例,一种立体成像器系统包含:传感器阵列,所述传感器阵列包括第一多个光电传感器和与所述第一多个光电传感器间隔开一定间隙的第二多个光电传感器,所述第一多个光电传感器和所述第二多个光电传感器被配置成检测场景中的环境光;移动部件,所述移动部件耦接到所述传感器阵列并且可操作以使所述传感器阵列在完整的旋转图像捕获循环内在第一位置与第二位置之间移动;以及系统控制器,所述系统控制器耦接到所述传感器阵列和所述移动部件。所述系统控制器可以被配置成:通过指示所述移动部件在所述第一位置处用所述第一多个光电传感器从第一视角捕获所述场景中的物体的第一图像,并且在所述第二位置处用所述第二多个光电传感器从第二视角捕获所述场景中的所述物体的所述场景的第二图像,来移动传感器阵列的视场;并且基于所述第一图像和所述第二图像,使用通过所述间隙限定的光学基线计算到所述物体的距离。
8.在一些实施例中,提供了一种距离测量方法,其中所述方法包含:移动传感器阵列的视场,所述传感器阵列包括第一成像光电传感器和与所述第一成像光电传感器间隔开一定间隙的第二成像光电传感器;随着所述视场移动,在第一时间实例用所述第一成像光电传感器从第一视角捕获场景中的物体的第一图像;随着所述视场移动,在第二时间实例用所述第二成像光电传感器从第二视角捕获所述场景中的所述物体的所述场景的第二图像;以及基于所述第一图像和所述第二图像,使用通过所述间隙限定的光学基线计算到所述物体的第一距离。
9.在各个实施方案中,所述方法可以包括以下中的一项或多项。移动所述视场可以包含使所述传感器阵列绕中心轴线旋转。移动所述视场可以包含在所述传感器阵列静止的同时反射光以移动所述视场。第一成像光电传感器阵列和第二成像光电传感器阵列可以各种是二维成像光电传感器阵列。所述传感器阵列可以由二维成像光电传感器阵列形成,并且所述第一成像光电传感器阵列和所述第二成像光电传感器阵列可以各自是所述二维成像光电传感器阵列的子集。所述方法可以进一步包含将在所述第一图像和所述第二图像中捕获的所述物体的共有特征进行比较,并且使用来自所述比较的结果来计算到所述物体的所述第一距离。所述方法可以进一步包含使用测距光电传感器测量到所述物体的第二距离,并且基于所述第一距离和所述第二距离确定到所述物体的最终距离。而且,所述测距光电传感器可以位于二维测距光电传感器阵列中,并且所述第一成像光电传感器阵列和所述第二成像光电传感器阵列可以位于所述测距光电传感器阵列的相对侧上。
10.参考以下具体描述和附图,可以更好地理解本公开的实施例的性质和优点。然而,应当理解,提供每幅图仅用于说明的目的并且不旨在作为对本公开范围的限制的限定。此外,作为一般规则,并且除非与描述中明显相反,否则在不同图中的元件使用相同的附图标记的情况下,这些元件通常相同或至少在功能或目的上相似。
附图说明
11.图1是根据本公开的一些实施例的示例无源立体成像器系统的框图。
12.图2是根据本公开的一些实施例的被配置成进行立体成像的示例光检测系统的简化俯视图。
13.图3a-3b是根据本公开的一些实施例的旋转光检测系统在图像捕获序列的不同时间实例期间的简化俯视图。
14.图3c是根据本公开的一些实施例的光检测系统在图3a-3b中示出的彼此叠加的不同时间实例期间的俯视图。
15.图4是根据本公开的一些实施例的分别在第一时间实例和第二时间实例由第一光电传感器阵列和第二光电传感器阵列捕获的两个偏移图像的示例的简化图示。
16.图5a是根据本公开的一些实施例的被配置为彼此间隔开以进行立体成像的两个单独线性光电传感器阵列的示例传感器阵列的简化图示。
17.图5b是根据本公开的一些实施例的被配置为彼此间隔开以进行立体成像的两个单独m xn光电传感器阵列的示例传感器阵列的简化图示。
18.图5c是根据本公开的一些实施例的被配置为具有彼此间隔开以进行立体成像的两个光电传感器子集的单个m x n光电传感器阵列的示例传感器阵列的简化图示。
19.图6是根据本公开的一些实施例的示例有源立体系统的框图。
20.图7是根据本公开的一些实施例的示例光检测系统的简化图。
21.图8是根据本公开的一些实施例的用于有源立体成像器系统的示例传感器阵列的简化图示。
22.图9是根据本公开的一些实施例的操作立体成像器系统以使用光检测系统进行立体成像的示例方法的框图。
23.图10a是在通道之间没有串扰的光检测系统的一部分的简化横截面视图。
24.图10b是在通道之间存在串扰的光检测系统的一部分的简化横截面视图。
25.图11是根据本公开的一些实施例的示例微光学接收器通道结构的简化横截面图。
26.图12a-12b是根据本公开的一些实施例的立体成像器系统的示例实施方案的简单图示。
具体实施方式
27.立体成像是使用同一视场的两个偏移二维(2d)图像创建或增强深度感知的技术。可以使用由立体成像生成的数据以及捕获2d图像的传感器之间的已知距离(即“光学基线”)来确定到视场内的位置的距离。进行立体成像以捕获深度感知并确定距离的成像器系统在本文中被称为“立体成像器系统”。
28.本公开的一些实施例涉及具有图像传感器的立体成像器系统,所述图像传感器的视场可以跨场景移动/旋转。传感器阵列可以包含一个或多个光电传感器阵列,或单个二维阵列中的一个或多个光电传感器子集。在一些情况下,传感器阵列包含与第二光电传感器阵列间隔开的第一光电传感器阵列,其中所述第一光电传感器阵列和所述第二光电传感器阵列被配置成从两个不同视角捕获场景的图像以用于立体成像目的。为了使传感器阵列从两个不同视角捕获图像,第一光电传感器阵列中的每个光电传感器的查看方向可以与第二
光电传感器阵列中的对应光电传感器的查看方向相交,如本文关于图2进一步讨论的。这样,当第一光电传感器阵列和第二光电传感器阵列的查看方向跨场景移动时,由第一光电传感器阵列在第一位置处捕获的视场可以在传感器阵列的视场从第一位置移动到第二位置之后与第二光电传感器阵列在第二位置处的视场重叠。例如,传感器阵列可以绕轴线旋转,使得在传感器阵列绕轴线旋转时,第一光电传感器阵列和第二光电传感器阵列可以在不同时间实例从两个不同视角捕获场的图像以用于计算到场景中的物体的距离,如将在本文中关于图3a-3c进一步讨论的。
29.在一些实施例中,立体成像器系统可以是无源系统,所述无源系统不主动照射场景或而是相反检测场景中的从场景中的一个或多个物体反射的环境光。无源立体成像器系统可以包含用于接收场中的环境光的光感测模块。光感测模块可以包含一个或多个体接收器光学装置、微光学接收器系统和用于操作光感测模块的系统控制器。微光学接收器系统可以包含一个或多个微光学接收器层和可以测量接收到的光的一个或多个光电传感器,如本文将关于图11进一步讨论的。
30.在一些替代性实施例中,立体成像器系统可以是有源系统,所述有源系统可以将光发射到场中,并且然后在所发射的光已从场中的物体的表面反射之后检测所述所反射的光。除了光感测模块之外,有源立体成像器系统还可以包含光发射模块并且可以被配置为光测距装置。光发射模块可以包含由单独发射器(例如,竖直腔面发射激光器(vcsel))阵列构成的发射器层,在所述发射器层中每个发射器可以与光感测模块中的对应微光学接收器通道和传感器阵列中的对应光电传感器配对,或者所述光发射模块可以是跨场景均匀地传播光在单独发射器与接收器通道之间未进行特定配对的均匀照射器。在一些情况下,光发射模块可以包含微光学发射器通道阵列以增强从发射器阵列输出的光。在操作期间,由发射器阵列输出的光(例如,激光脉冲)穿过微光学发射器通道阵列,并且进入具有大数值光圈的体发射器光学装置,以更好地捕获来自微光学发射器通道阵列的光。然后,光离开体发射器光学装置并且照射远场处的多个斑点。
31.在这样的有源立体成像器系统中,2d传感器阵列可以包含测距光电传感器阵列和成像光电传感器阵列,所述测距光电传感器阵列用于接收由发射器阵列发射的光,例如窄带激光以通过飞行时间测量等计算距离,所述成像光电传感器阵列用于接收环境红-绿-蓝(rgb)光以用于立体成像目的,如本文将关于图7和8进一步讨论的。通过使用测距光电传感器和成像光电传感器两者,可以使用由成像光电传感器捕获的立体图像计算的距离数据来增强测距准确度。
32.为了更好地理解根据本公开的实施例的无源立体成像器系统和有源立体成像器系统的功能和配置,本文将详细讨论每个系统。
33.i.无源立体成像器系统
34.图1是根据本公开的一些实施例的示例无源立体成像器系统100的框图。无源立体成像器系统100可以包含系统控制器104和光感测模块106。成像数据可以由无源立体成像器系统100通过接收无源立体成像器系统100所定位的场景中存在的光来生成。与从系统100内的发射器发射的光相反,接收到的光可以是场中自然存在的光,即,环境光。
35.光感测模块106可以包含传感器阵列108,所述传感器阵列可以是例如二维光电传感器阵列。每个光电传感器可以是ccd、cmos或用于检测环境光的任何其它合适的传感器。
光感测模块106包含光学感测系统110,所述光学感测系统在与传感器阵列108一起时可以形成光检测系统112。在一些实施例中,光学感测系统110可以包含体接收器光学装置114以及如光圈层、准直透镜层和滤光器等光学部件116,所述光学感测系统可以与传感器阵列108组合以形成微光学接收器通道阵列,其中每个微光学接收器通道测量与系统100所定位的周围场的不同视场中的图像像素相对应的光。根据本公开的微光学接收器通道的各个实施例的另外细节结合本文的图11详细讨论。
36.本文限定的体成像光学装置可以是一个或多个光学表面,其可能包含多个透镜元件,具有大于一毫米的透明光圈,并且被定位成接收从微光学发射器/接收器层投射的光或将接收到的光聚焦在微光学发射器/接收器层上。投射从光学发射器,如微光学发射器层接收到的光的体成像光学装置在本文中有时被称为体发射器光学装置或输出体成像光学装置。将从场接收到的光聚焦到光学检测器上的体光学层,如微光学接收器层,在本文中有时被称为体接收器光学装置或输入体成像光学装置。输入图像-空间远心体成像光学装置允许系统测量均匀地位于宽视场(fov)上的窄带光。
37.在一些实施例中,光感测模块106的传感器阵列108(使用例如cmos技术)被制造为单个基板上的单片式装置的一部分,所述单片式装置既包含光电传感器阵列,又包含用于对来自所述阵列中的单独光电传感器(或光电传感器组)的所测量的光进行信号处理的处理器118和存储器120。包含传感器阵列108、处理器118和存储器120的单片式结构可以被制造为专用asic。在一些实施例中,光学部件116也可以是传感器阵列108、处理器118和存储器120为其中一部分的单片式结构的一部分。在这种情况下,光学部件116可以在asic上形成,例如,在与环氧树脂键合(不可逆地),使得其成为单片式结构的一部分。如以上提到的,处理器118(例如,数字信号处理器(dsp)、微控制器、现场可编程门阵列(fpga)等)和存储器120(例如,sram)可以进行信号处理。作为信号处理的示例,对于每个光电传感器或光电传感器组,光感测模块106的存储器120可以使检测到的光子随着时间的推移累积,并且这些检测到的光子可以用于重建场的图像。
38.在一些实施例中,来自处理器118的输出被发送到系统控制器104以进行进一步处理,例如,数据可以由系统控制器104的一个或多个编码器编码,并且然后作为数据包发送到用户接口115。系统控制器104可以以多种方式实现,包含例如通过使用如fpga等可编程逻辑装置作为asic或asic的一部分,使用具有存储器124的处理器122,以及上述的一些组合。根据本公开的一些实施例,处理器122可以从光感测模块106接收立体图像并且使用这些图像来生成具有深度感知的图像以及计算到场景中的物体的距离,如本文将进一步讨论的。系统控制器104可以与固定基部控制器协作或者独立于基部控制器操作(通过预编程指令),以通过发送包含开始光检测和停止光检测以及调整光电检测器参数的命令来控制光感测模块106。在一些实施例中,系统控制器104具有用于与光感测模块106交换数据的一个或多个有线接口或连接器。在其它实施例中,系统控制器104通过如光学通信链路等无线互连与光感测模块106通信。
39.根据本公开的一些实施例,无源立体成像器系统100还可以包含耦接到系统控制器104和光感测模块106的移动部件126。移动部件126可以由系统控制器104控制以移动传感器阵列108的视场。在一些情况下,传感器阵列108的移动可以通过物理移动光感测模块106或通过借助于光反射重定向光感测模块106的视场来实现。例如,移动部件126可以是使
光感测模块106绕垂直于传感器阵列108中的光电传感器行的轴线旋转的马达(例如,电动马达),如本文将关于图4a-4c进一步讨论的。可替代地,移动部件126可以是光重定向部件,如微机电系统(mems)装置,其可以被调制成反射二维光发射器阵列的不同方向上的光,以捕获场的两个偏移2d图像。然后可以使用两个偏移2d图像来生成场景的用于计算距离测量结果和/或用于生成具有深度感知的图像的立体图像。
40.a.用于进行立体成像的光检测系统
41.图2是根据本公开的一些实施例的被配置成进行立体成像的示例光检测系统200的俯视图。光检测系统200可以包含安装在散热器204上以用于使由传感器阵列202在操作期间产生的热消散的传感器阵列202。传感器阵列202可以定位在体接收器光学装置206后面,使得光传播穿过体接收器光学装置206然后暴露在传感器阵列202上。光检测系统200可以封闭在透光外壳208内以保护光检测系统200免受环境影响。
42.在一些实施例中,传感器阵列202可以包含被布置成使得能够捕获场景的两个偏移2d图像的多个光电传感器。例如,传感器阵列202可以包含彼此间隔开的多于一个光电传感器阵列,或具有彼此间隔开的光电传感器子集的单个光电传感器阵列,使得当光电传感器的视场移动时,可以捕获两个偏移2d图像。例如,传感器阵列202可以包含被间隙214分开的第一光电传感器阵列210和第二光电传感器阵列212。第一光电传感器阵列210和第二光电传感器阵列212各自可以是m x n光电传感器阵列,并且第一光电传感器阵列210和第二光电传感器阵列212两者的视场的尺寸可以相同。
43.在一些情况下,第一光电传感器阵列210和第二光电传感器阵列212可以捕获来自沿不同方向传播的主光线的光。例如,第一光电传感器阵列210可以捕获来自沿第一方向传播的主光线220的光,并且第二光电传感器阵列212可以捕获来自沿第二方向传播的主光线222的光,其中所述第一方向和所述第二方向彼此相交。这样,当传感器阵列202的视场例如通过绕中心轴线218的物理旋转216移动时,第一光电传感器阵列210的视场可以与第二光电传感器阵列212的视场在不同时间实例在光检测系统200旋转期间重叠,并且每个阵列可以捕获场景的同一图像,但是出于立体成像和距离计算目的使用间隙214作为光学基线从不同视角进行捕获。对此操作的更好理解可以在本文参考图3a-3c进行理解。
44.图3a-3b是根据本公开的一些实施例的旋转光检测系统200在图像捕获序列的不同时间实例期间的简化俯视图,并且图3c是根据本公开的一些实施例的光检测系统200在彼此叠加的不同时间实例期间的俯视图。具体地,图3a示出了第一时间实例的光检测系统200,并且图3b示出了第一时间实例之后的第二时间实例但在光检测系统200绕其中心轴线,例如图3中的中心轴线218进行完整的360
°
旋转之前的光检测系统200。在操作期间,光检测系统200可以在其光电传感器以高频率激活以捕获其周围环境,例如其场景的图像的同时连续旋转360
°
,以进行立体成像和距离计算。
45.如图3a所示,光检测系统200可以如图3a所示在第一时间实例在其绕中心轴线218旋转的同时定位。此时,传感器阵列202的第一光电传感器阵列210可以被定位成使得其视场300通过穿过体接收器光学装置206的主光线220从第一视角捕获树302的图像301。同时,第二光电传感器阵列212可以被定位成使得其视场304通过穿过体接收器光学装置206的主光线222捕获到树302的右侧的区域的图像。
46.随着光检测系统200继续旋转,其可以如图3b所示在第二时间实例但在自从在第
一时间实例定位光检测系统200开始进行完整旋转之前定位。在第二时间实例,第二光电传感器阵列212可以被定位成使得其视场304通过穿过体接收器光学装置206的主光线222从第二视角捕获树302的图像303。同时,第一光电传感器阵列210可以被定位成使得其视场300通过穿过体接收器光学装置206的主光线220捕获到树302的左侧的区域的图像。第二视角可以不同于第一视角,使得图像301和图像303形成树302的偏移图像对。
47.在一些实施例中,第一光电传感器阵列210的视场300具有与第二光电传感器阵列212的视场304相同的尺寸。在这样的实施例中,第一光电传感器阵列210的大小和形状可以等于第二光电传感器阵列212的大小和形状。例如,第一光电传感器阵列210和第二光电传感器阵列212可以是适于捕获场景中树302的图像的某种间距的m x n光电传感器阵列。因此,在第二时间实例第二光电传感器阵列212的视场可以与在第一时间实例第一光电传感器阵列210的视场完全重叠。因此,在第一时间实例由第一光电传感器阵列210捕获的树302的图像301和在第二时间实例由第二光电传感器阵列212捕获的树302的图像303可以是场景的同一视场的图像但是从两个不同视角捕获的图像。可以在光检测系统200绕其中心轴线连续旋转以捕获其周围场景的图像时连续重复在不同视场处的图像配对。
48.视角的差异可以通过将第一光电传感器阵列210和第二光电传感器阵列212相对定位为在其处捕获图像301和303的树302来实现。如图3c所示,第一光电传感器阵列210捕获树302的图像301的位置从第二光电传感器阵列212捕获树302的图像303的位置偏移了通过间隙214限定的距离308。因此,距离308是光学基线,其可以用于三角测量树302的表面距光检测系统200的距离并可以用于深度感知目的。如参考图3c可以理解的,由于旋转轴线,例如图3和3a-3b中的中心轴线218未定位在传感器阵列202的中心处,而是定位在传感器阵列202下方的位置处的事实,所以距离308可能大于间隙214。因此,在图3a-3c所示的实施例中,距离308通过214限定但不等于其。然而,这不旨在是限制性的,因为其它实施例可以使旋转轴线定位在传感器阵列202的中心处,在此处光学基线等于光电传感器阵列之间的间隙。
49.如从上面的讨论可以理解的,在第一时间实例由第一光电传感器阵列210和在第二时间实例第二光电传感器阵列212捕获的两个图像可以是场景的同一视场的图像但是从两个不同视角捕获的图像,并且因此形成适于立体成像和距离计算目的的两个偏移图像。可以通过比较两个图像并测量两个图像中明显的物体的相同特征之间的分离距离来计算距离。此比较的示例在本文参考图5进行讨论。
50.图4是根据本公开的一些实施例的分别在第一时间实例和第二时间实例由第一光电传感器阵列210和第二光电传感器阵列212捕获的两个偏移图像301和303的简化图示。考虑到视角的差异,在第一时间实例由第一光电传感器阵列210捕获的图像301可以显示出与在第二时间实例由第二光电传感器阵列212捕获的图像303的树不同的树302。例如,树302在图像303中可能看起来是横向压缩的。在两个图像301和303彼此叠加的情况下(为了清楚起见与如图4中示出的在彼此旁边拍摄相反),可以使用图像中的物体的相同特征之间的距离,如分别地相同分支、树干和根之间的距离400、402和404以用于三角测量目的。
51.应当理解,图3a-3c中示出的光检测系统200的旋转移动仅仅是移动光检测系统200的视场的一种方式,并且实施例不旨在如此进行限制。本文设想了用于移动视场以实现立体成像的其它类型的机制。例如,可以使用如旋转镜/mems装置等可移动镜子来反射由传
感器阵列的光电传感器捕获的主光线,使得光电传感器可以捕获如本文所讨论的场景的两个偏移图像。
52.b.用于无源立体成像的传感器阵列
53.如本文前面提到的,用于实现立体成像的传感器阵列可以包含彼此间隔开使得当传感器阵列的视场移动时可以捕获两个偏移2d图像的光电传感器。根据一些实施例,可以以各种方式构造此传感器阵列。例如,传感器阵列可以包含彼此间隔开的多于一个光电传感器阵列,或者传感器阵列可以包含具有彼此间隔开的光电传感器子集的单个光电传感器阵列,如本文将关于图5a-5c进一步讨论的。
54.图5a-5c是以各种方式配置的示例传感器阵列的简化图示。具体地,图5a是根据本公开的一些实施例的被配置为彼此间隔开以进行立体成像的两个单独线性光电传感器阵列的示例传感器阵列500的简化图示,图5b是根据本公开的一些实施例的被配置为彼此间隔开以进行立体成像的两个单独m x n光电传感器阵列的示例传感器阵列501的简化图示,并且图5c是根据本公开的一些实施例的被配置为具有彼此间隔开以进行立体成像的两个光电传感器子集的单个m x n光电传感器阵列的示例传感器阵列503的简化图示。
55.如图5a所示,传感器阵列500可以包含被间隙506分开的第一光电传感器阵列502和第二光电传感器阵列504。在一些实施例中,第一光电传感器阵列502和第二光电传感器阵列504各自可以是沿竖直朝向布置的线性光电传感器阵列。为了实现立体图像捕获,第一光电传感器阵列502中的每个光电传感器508可以与第二光电传感器阵列504中的对应光电传感器510位于同一旋转路径中。例如,当传感器阵列500绕竖直轴线512,例如图2的中心轴线218旋转时,光电传感器508和510的对应对可以处于同一水平旋转路径中。这样,在传感器阵列500的视场例如通过物理旋转移动时,第一光电传感器阵列502的视场可以与第二光电传感器阵列504的视场重叠以捕获场景的相同图像,但是从不同的视角,如本文上面关于图3a-3b提到的。
56.间隙506可以通过第一光电传感器阵列502和第二光电传感器阵列504之间的沿移动方向定位的对应光电传感器之间的距离来限定。例如,如果传感器阵列500绕竖直轴线512旋转使得其视场跨场景水平移动,则间隙506可以通过沿水平线定位的对应光电传感器,例如,从第一光电传感器阵列502的顶部开始第四个光电传感器和从第二光电传感器阵列504的顶部开始第四个光电传感器限定,如图5a所示。这样,当传感器阵列500绕竖直轴线512旋转以捕获图像用于立体成像目的时,那些光电传感器的视场可以重叠。如本文所讨论的,可以使用间隙506来确定用于计算到场景中的物体的距离并且生成具有深度感知的图像的光学基线。因此,间隙506可以是适于提供可以用于进行三角测量以计算到场景中的物体的距离的光学基线的任何距离。例如,间隙506的范围可以为4cm到8cm,例如为大约6cm。
57.应当理解,间隙506不限于沿水平线定位的对应光电传感器。例如,如果旋转轴线以对角线,例如对角轴线514定位,则限定光学基线的间隙可以通过沿横向于对角线轴线514的线,如对角旋转线516定位的对应光电传感器之间的距离限定。因此,对应光电传感器将是第一光电传感器阵列502中从底部开始第三个光电传感器和第二光电传感器阵列502中从顶部开始第三个光电传感器,如图5a所示。这样,当传感器阵列500绕对角轴线514旋转以捕获图像用于立体成像目的时,那些光电传感器的视场可以重叠。应当理解,传感器阵列500可以沿任何方向旋转以进行立体成像,且因此可以用于限定用于在不背离本公开的精
神和范围的情况下基于视场移动的方向来确立光学基线的间隙。
58.除了线性阵列外,一些传感器阵列还可以具有以两个单独m x n阵列的形式布置的光电传感器,其中m和n大于1。例如,如图5b所示,第一光电传感器阵列522和第二光电传感器阵列524各自可以由间隔开距离526的5x 15光电传感器阵列形成。与传感器阵列500相比在每个阵列中具有更多数量的光电传感器可以允许每个光电传感器阵列522和524具有比光电传感器阵列502和504的视场更大的视场,使得在传感器阵列501旋转350
°
时可能需要捕获更少的图像来对场景成像。用于确定光学基线的间隙可以不通过阵列522与524之间的距离526限定,因为定位在第一光电传感器阵列522的右边缘处的光电传感器的视场可以不对应于定位在第二光电传感器阵列522的左边缘处的光电传感器的视场,以进行立体成像构建和距离计算。相反,第一光电传感器阵列522与第二光电传感器阵列524中的对应光电传感器之间的距离可以表示用于计算距离和产生深度感知的间隙。
59.例如,通过对应光电传感器,例如,第一光电传感器阵列522的左上方光电传感器520与第二光电传感器阵列524的左上方光电传感器522之间的距离限定的间隙528可以用于确定光学基线以计算距离并产生深度感知。并且,由于两个阵列的视场重叠,所以跨所有对应光电传感器,间隙528的长度可以是共有的。例如,通过对应光电传感器,例如,第一光电传感器阵列522的右下方光电传感器536与第二光电传感器阵列524的右下方光电传感器538之间的距离限定的间隙534以及对应光电传感器的所有其它间隙的长度可以等于间隙528的长度。这样,第一光电传感器阵列522的视场可以与第二光电传感器阵列522的视场重叠,以捕获场景的两个偏移图像用于立体成像和距离计算目的。
60.尽管图5a和5b展示了具有被传感器阵列的不具有光电传感器的区分开的两个光电传感器阵列的传感器阵列,但实施例不限于这样的配置。相反,实施例可以在其中传感器阵列被配置为单个二维光电传感器阵列的成像器系统中实施。例如,参考图5c,传感器阵列503可以包含单个20x 15光电传感器阵列540。传感器阵列503可以被配置成通过以下进行立体成像和距离计算:分配由光电传感器子集捕获的图像用于立体成像和距离计算目的。那些子集可以战略性地定位,使得随着传感器阵列503的视场移动(例如,通过旋转),可以捕获两个偏移图像。
61.例如,光电传感器阵列540可以包含两个光电传感器阵列子集:彼此间隔开的第一光电传感器子集542和第二光电传感器子集544。第一光电传感器子集542和第二光电传感器子集544的尺寸、配置和操作可以与本文关于图5b讨论的第一光电传感器阵列522和第二光电传感器阵列524的尺寸、配置和操作相对应。第一光电传感器子集542与第二光电传感器子集544之间的距离可以填充有可能不用于立体成像和距离计算目的而是仅用于捕获场景的2d图像的其它光电传感器546。如本文可以理解的,一些实施例可以以独特方式利用通常用于2d图像捕获的图像传感器来进行立体成像和距离计算,并且因此可能更具成本效益并且设计更简单。
62.尽管图5a-5c展示了具有线性阵列、5x15阵列和20x15阵列的示例传感器阵列,但实施例不限于这样的配置。应当理解,在不背离本公开的精神和范围的情况下,本文的实施例可以具有适于立体成像和距离计算目的的任何数量、大小和布置的光电传感器。
63.ii.有源立体成像器系统
64.如本文所讨论的,立体成像器系统还可以被配置为有源立体成像器系统。有源立
体成像器系统可以与无源立体成像器系统不同,因为有源立体成像器系统还可以将其自身的光发射到场中,并且在所发射的光已从场中的物体的表面反射之后检测所述所反射的光。在一些实施例中,有源立体成像器系统还可以用作lidar装置,在所述装置中在发射和接收时反射光可以相关,以确定到所发射的光被反射的物体的距离。有源立体成像器系统可以收集大量距离数据点,并且所述距离数据点可以进行处理,以形成表示如由lidar装置捕获的系统的视场中的场景的三维点云。对有源立体成像器系统的更好理解可以参考图6来确定。
65.图6是根据本公开的一些实施例的有源立体系统600的框图。有源立体系统600可以包含光测距装置602和用户接口615。光测距装置602可以包含测距系统控制器604、光发射(tx)模块606和光感测(rx)模块608。可以由光测距装置602通过将一个或多个光脉冲610从光发射模块606发射到光测距装置602周围的视场中的物体来生成测距数据。然后,光感测模块608在某个延迟时间之后检测所发射的光的反射部分612。基于延迟时间,可以确定到反射表面的距离。也可采用其它测距方法,例如连续波、多普勒(doppler)等。
66.tx模块606包含发射器阵列614和tx光学系统616,所述发射器阵列可以是一维或二维发射器阵列,所述tx光学系统与发射器阵列614一起可以形成光发射系统638。tx光学系统616可以包含图像-空间远心的体发射器光学装置。在一些实施例中,tx光学系统616可以进一步包含一个或多个微光学结构,所述一个或多个微光学结构增加从体发射器光学装置发出的束的亮度和/或用于束整形、束操控等。发射器阵列614或单独发射器可以是激光源。tx模块606可以进一步包含光学处理器618和存储器620,但在一些实施例中,这些计算资源可以并入到测距系统控制器604中。在一些实施例中,可使用脉冲编码技术,例如巴克码(barker code)等。在此类情况下,存储器620可以存储指示何时应发射光的脉冲代码。在一些实施例中,脉冲代码以存储在存储器中的整数序列的形式存储。
67.光感测模块608在构造上可以与本文参考图1讨论的光感测模块106基本上类似。因此,处理器622、存储器624、传感器阵列626和rx光学系统628(与传感器阵列626一起时可以形成光检测系统636)的细节可以在本文关于图1进行参考,并且为简洁起见本文仅讨论关于那些部件的差异。对于有源立体系统600,传感器阵列626可以包含测距光电传感器。每个测距光电传感器可以是多个光电检测器,如多个单光子雪崩检测器(spad)的微型阵列或单个光子检测器(例如,apd)。在一些实施例中,传感器阵列626的测距光电传感器可以与发射器阵列614的特定发射器相对应,例如,作为光感测模块608和tx模块606的几何配置的结果。例如,在一些实施例中,发射器阵列614可以沿体发射器光学装置的焦平面布置,使得从体发射器光学装置投射到系统前方的场中的每个照射束与和系统相距超过初始阈值距离的任何距离的对应接收器通道的视场具有基本上相同的大小和几何形状。除了测距光电传感器之外,传感器阵列626还可以包含成像光电传感器。例如,ccd或cmos传感器等成像光电传感器可以被定位和配置成捕获图像以用于立体成像和距离计算目的。这样的传感器阵列在本文中关于图8进一步讨论。
68.在一些实施例中,处理器618可以对来自阵列中的单独光子检测器(或检测器组)的原始直方图进行信号处理。作为信号处理的示例,对于每个光子检测器或光子检测器组,存储器624(例如,sram)可以在连续时间选区内累积检测到的光子的计数,并且这些时间选区一起可以用于重建反射光脉冲的时间序列(即,光子对时间的计数)。所聚集光子计数的
这一时间序列在本文中称作强度直方图(或仅直方图)。处理器618可以实施匹配滤光器和峰检测处理以及时鉴定返回信号。另外,处理器618可以完成某些信号处理技术(例如,通过处理器622),如多轮廓匹配滤光,以帮助恢复光子时间序列,所述光子时间序列不太容易受到可能由于spad饱和与猝灭而发生的脉冲形状失真的影响。在一些实施例中,这种滤光的全部或部分可以由处理器458执行,所述处理器可以体现在fpga中。
69.在一些实施例中,将从处理器618输出的光子时间序列发送到测距系统控制器604以供进一步处理,例如,可以由测距系统控制器604的一个或多个编码器对数据编码,然后将数据以数据包的形式发送到用户接口615。测距系统控制器604可以以多种方式实现,包含例如通过使用如fpga等可编程逻辑装置作为asic或asic的一部分,使用具有存储器632的处理器630,以及上述的一些组合。测距系统控制器604可以与固定基部控制器协作或者独立于基部控制器操作(通过预编程指令),以通过发送包含开始光检测和停止光检测以及调整光电检测器参数的命令来控制光感测模块608。类似地,测距系统控制器604可以通过发送命令或中继来自基部控制器的命令来控制光发射模块606,所述基部控制器包含开始和停止光发射控件以及可以调整其它光发射器参数(例如,脉冲代码)的控件。在一些实施例中,测距系统控制器604具有用于与光感测模块608和光发射模块606交换数据的一个或多个有线接口或连接器。在其它实施例中,测距系统控制器604通过如光学通信链路等无线互连与光感测模块608和光发射模块606通信。
70.在扫描架构中可以使用光测距装置602,在所述扫描架构中,rx模块608和tx模块606通过电动马达634一起物理旋转,或者在rx模块608和tx模块606静止的同时视场通过如mems装置等镜子装置旋转。因此,电动马达634是有源立体成像器系统600中可以用于旋转作为lidar和立体成像捕获架构的一部分的系统部件,例如tx模块606和rx模块608的任选部件。系统控制器604可以控制电动马达634,并且可以根据需要开始旋转、停止旋转和改变旋转速度,以实施扫描系统。
71.有源立体成像器系统600可以与用户接口615的一个或多个例示交互。不同例示可以变化,并且可以包含但不限于:具有监测器、键盘、鼠标、cpu和存储器的计算机系统;汽车或其它车辆中的触摸屏;具有触摸屏的手持装置;或任何其它合适的用户接口。用户接口615可以位于安装了有源立体成像器系统600的物体的本地,但是也可以是远程操作的系统。例如,到达/来自有源立体成像器系统600的命令和数据可以通过蜂窝网络(lte等)、个人局域网(蓝牙、zigbee等)、局域网(wifi、ir等)或者如因特网等广域网路由。
72.硬件和软件的用户接口615可以将来自装置的lidar数据呈现给用户或车辆控制单元(未示出),但也可以允许用户用一个或多个命令来控制有源立体成像器系统600。示例命令可以包含以下命令:激活或停用有源立体成像器系统;指定光电检测器曝光水平、偏置、采样持续时间和其它操作参数(例如,发射的脉冲图案和信号处理);指定光发射器参数,如亮度。另外,命令可以允许用户选择用于显示结果的方法。用户接口可以显示有源立体成像器系统结果,所述结果可以包含例如单帧快照图像、不断更新的视频图像和/或一些或所有像素的其它光测量结果的显示。在一些实施例中,用户接口615可跟踪物体距车辆的距离(接近度),并且潜在地向驾驶员提供警示或提供用于对驾驶员表现进行分析的此类跟踪信息。
73.在一些实施例中,例如在有源立体成像器系统600用于车辆导航的情况下,用户接
口615可以是车辆控制单元的一部分,所述车辆控制单元通过如上述有线或无线网络之一的网络从光测距装置602和/或用户接口615接收输出或者另外与其通信。车辆控制单元可以基于接收到的测距数据修改与车辆的控制相关联的一个或多个参数。例如,在完全自主的车辆中,有源立体成像器系统600可以提供汽车周围的环境的实时3d图像,以结合gps和其它数据帮助导航。在其它情况下,有源立体成像器系统600可以用作高级驾驶员辅助系统(adas)的一部分或者用作安全系统的一部分,所述安全系统例如可以向任何数量的不同系统提供3d图像数据,所述不同系统例如自适应巡航控制系统、自动泊车系统、驾驶员疲劳监测系统、盲点监测系统、防撞系统等。当用户接口615被实施为车辆控制单元的一部分时,可以向驾驶员提供警报或者可以跟踪物体的接近度的跟踪。
74.图7是展示了根据本公开的一些实施例的具有宽视场并且能够进行窄带成像的示例性有源立体成像器系统700的详细视图的简化图。与无源立体成像器系统不同,有源立体成像器系统700可以包含光检测系统701和光发射系统702两者。光发射系统702提供对利用窄带光线704对系统700定位的场的至少一部分的主动照射。在从光发射系统702发射的窄带光已作为反射光线706被场中的物体反射之后,光检测系统701检测所述光。
75.a.光发射系统
76.在一些实施例中,光发射系统702包含体发射器光学装置718和由一维或二维光发射器722阵列形成的光发射层720。每个光发射器722可以被配置成生成离散窄带光束。在一些实施例中,光发射层720被配置成根据照射图案投射离散光束穿过体发射器光学装置718,所述照射图案在大小和几何形状上跨距光发射系统702的距离范围与微光学接收器通道阵列714中的对应接收器通道的视场相匹配。光发射器722可以是任何合适的光发射装置,如集成在一个或多个单片式芯片上的竖直腔面发射激光器(vcsel)或任何其它类型的激光二极管。光发射器722可以产生被导向到体发射器光学装置718的窄带光锥724,所述体发射器光学装置可以准直光锥724,并且然后将准直的光作为所发射的光线704输出到场内的远处目标。在一些实施例中,体发射器光学装置718是图像-空间远心的。
77.b.光检测系统
78.在光发射系统702将光发射到场中时,一旦所发射的光已从场中的物体反射,光检测系统701中的对应测距光电传感器就可以接收所述所反射的光。接收到的反射光可用于鉴定到场中的物体的距离。根据本公开的一些实施例,光检测系统701还可以包含用于进行立体成像的成像光电传感器,如将在本文中进一步讨论的。
79.光检测模块701可以表示以上关于图1讨论的光检测系统112并且可以包含体接收器光学装置708和微光学接收器(rx)层714。在操作期间,光线706从多个方向进入体接收器光学装置708,并且被体接收器光学装置708聚焦以形成光锥710。微光学接收器层714被定位成使得光圈726与体接收器光学装置708的焦平面重合。在一些实施例中,微光学接收器层714可以是微光学接收器通道712的一维或二维阵列,其中每个微光学接收器通道712由在光流动的方向上沿同一轴线定位,例如图2中示出的从左到右水平定位的相应光圈726、准直透镜728和光电传感器716形成。此外,每个微光学接收器通道712可以以各种方式被配置成减轻来自光电传感器之间的杂散光的干扰,如本文将进一步讨论的。在操作期间,每个微光学接收器通道712测量不同像素的光信息(即,场中的位置)。
80.在体接收器光学装置708的焦点处,光线706聚焦并穿过光圈层711中的光圈726,
并进入相应准直透镜728。每个准直透镜728准直接收到的光,使得光线都以大致相同的角度,例如彼此平行进入滤光器。光圈和体接收器光学装置708的焦长度决定了在光圈726处聚焦的相应光线的锥角。光圈大小和准直透镜728的焦长度决定允许的光线的准直程度如何,这决定了在滤光器730中可以实施多窄的带通来阻挡光不希望的波长。在光检测系统701操作期间,光圈726可以起到各种功能。例如,光圈726可以(1)约束像素fov,使得尽管光电传感器平面处的间距大,但仍具有紧密的空间选择性,(2)在准直透镜的焦平面处提供小的点状源,以在光线穿过滤光器之前实现光线的紧密准直,其中更好的准直产生可以穿过滤光器的更紧密的带,以及(3)排斥杂散光。
81.在一些实施例中,光电传感器716被定位在与准直透镜728相对的侧上,使得光线706首先穿过准直透镜728和滤光器730,然后暴露在光电传感器716上。一些光电传感器716可以是被配置成接收所发射的光的测距光电传感器,如多个光电检测器,例如多个单光子雪崩检测器(spad)的微型阵列。spad的微型阵列的阵列可以在单个单片式芯片上制造,由此简化制造。在一些替代性实施例中,每个光电传感器716可以是单个光电检测器,例如标准光电二极管、雪崩光电二极管、谐振腔光电二极管或另一种类型的光电检测器。其它光电传感器可以被配置为用于立体成像目的的成像光电传感器,如本文将进一步讨论的。
82.c.用于有源立体成像的传感器阵列
83.如以上讨论的,有源立体成像器系统可以具有包含测距光电传感器和成像光电传感器的传感器阵列。测距光电传感器可以与发射器相关,使得测距光电传感器可以捕获由发射器发射的光,例如窄带激光,以通过飞行时间测量等计算距离。成像光电传感器可以不被配置成捕获所发射的光,而且相反可以被配置成从环境光中捕获场景的偏移红-绿-蓝(rgb)图像以用于立体成像和距离计算目的。在这样的实施例中,可以使用通过立体成像计算的距离来增强由测距光电传感器进行的测量和/或填充测距光电传感器可能不那么准确的测量间隙,如非常近的范围的测量(例如,0-2米)等。这种传感器阵列的示例在本文中关于图8进行讨论。
84.图8是根据本公开的一些实施例的用于有源立体成像器系统的示例传感器阵列800的简化图示。传感器阵列800可以包含定位在两个成像光电传感器阵列:第一成像光电传感器阵列804和第二成像光电传感器阵列806之间的测距光电传感器阵列802。测距光电传感器阵列802可以是与第一成像光电传感器阵列804和第二成像光电传感器阵列806相同类型的光电传感器。例如,测距光电传感器802和成像光电传感器804和806可以是spad或被配置成测量窄带激光的其它雪崩二极管传感器。然而,任一光电传感器阵列感测到的光可以不同。例如,测距光电传感器802可以感测从发射器阵列发射的光,而成像光电传感器804和806被配置成感测环境光。为了使成像光电传感器804和806能够测量光,对应光电传感器804和806的接收器通道中的滤光器可以被配置成允许某些波长的可见光。
85.在一些额外和替代性实施例中,测距光电传感器阵列802可以是与第一成像光电传感器阵列804和第二成像光电传感器阵列806不同类型的光电传感器。例如,测距光电传感器阵列802可以是spad或其它雪崩二极管传感器,而第一成像光电传感器阵列804和第二成像光电传感器阵列806可以是ccd、cmos和被配置成测量更宽带的光,例如,可见rgb环境光的其它类似类型的光电传感器。
86.由于其与发射器阵列的相关性,测距光电传感器阵列802可以具有适于接收由发
射器阵列发射的光的阵列大小和光电传感器间距,而第一成像光电传感器阵列804和第二成像光电传感器阵列806可以具有不同于发射器阵列和测距光电传感器阵列802两者的阵列大小和光电传感器间距。例如,如图8所示,测距光电传感器阵列802可以具有向右侧向下平移的对角交错的布置,并且第一成像光电传感器阵列804和第二成像光电传感器阵列806各自可以具有比测距光电传感器阵列802更密集堆积的成像光电传感器的二维矩形m x n布置。在这样的实施例中,每个测距光电传感器,例如测距光电传感器808可以对应于与对应测距光电传感器808位于同一行中的成像光电传感器组,例如成像光电传感器组810,使得在传感器阵列800四处旋转以对场景进行成像时,成像光电传感器组810可以在成像光电传感器组810中的每个光电传感器被对应定位时捕获存在于与测距光电传感器808相同的视场处的环境光。因此,可以使用由传感器阵列800捕获的光来构建场景的地形图,以及场景的与场景的地形图高度相关的rgb图像。
87.除了装置类型、间距和布置差异之外,测距光电传感器阵列802可以由具有与第一成像光电传感器阵列804和第二成像光电传感器阵列806的大小不同的大小的光电传感器构造。例如,测距光电传感器可以具有比图像光电传感器的尺寸更大的尺寸。这样,测距光电传感器可以被更好地装备成测量从场景中的物体反射的所发射的光,如通过由spad构造。
88.根据本公开的一些实施例,来自第一成像光电传感器阵列804和第二成像光电传感器阵列806的成像光电传感器子集可以被分配成提供可以用于立体成像目的,如本文关于图3a-3c和5a-5b讨论的立体成像目的的数据。例如,来自第一光电传感器阵列804的第一成像光电传感器子集812和来自第二光电传感器阵列804的第二成像光电传感器子集814可以用于立体成像目的。在一些实施例中,第一成像光电传感器子集812和第二成像光电传感器子集814各自可以包含第一光电传感器阵列804和第二成像光电传感器阵列806中的整个成像光电传感器阵列的一部分,如图8所示。这可能是因为不是成像光电传感器子集的一部分的那些成像光电传感器(例如,第一成像光电传感器阵列804的顶部两行和第二成像光电传感器阵列806的底部两行)可能不具有另一阵列804/806中的定位在同一旋转路径(例如,在传感器阵列800绕竖直轴线旋转的实例中,同一水平线)中的对应光电传感器。因此,那些成像光电传感器可能不具有用于立体成像目的的对应偏移图像。
89.如参考图8可以理解的,成像光电传感器子集812可以与成像光电传感器子集814间隔开,且因此可以是用于生成场景的两个偏移图像以计算距离并产生深度感知的对应成像光电传感器子集。成像光电传感器子集812和814可以与本文关于图5b和5c讨论的光电传感器阵列622和624以及光电传感器子集642和644具有类似的特征和布置。
90.在一些实施例中,由测距光电传感器阵列802测量的距离的准确度可以通过根据对由成像光电传感器子集812和814捕获的两个偏移立体图像的分析计算的距离测量结果来增强和/或取代。例如,在非常近的距离(例如0-2米)处由测距光电传感器阵列802测量的测量结果的准确度可能低于其在更远的距离(例如2 米)处的测量结果的准确度。因此,由测距光电传感器阵列802计算的那些距离可以由通过对立体图像对的分析计算的距离来增强。增强测量结果的一种方式可以是通过对两个距离一起求平均。这样,可以确定更准确的距离测量结果。在一些额外和替代习惯实施例中,由测距光电传感器阵列802计算的那些距离可以由通过对立体图像对的分析计算的距离来增强。在这种情况下,可以简单地忽略由
测距光电传感器阵列802计算的那些距离。默认情况下,或者响应于确定第一距离与第二距离之间的差大于阈值,可以进行任一形式的增强。
91.iii.操作立体成像器系统的方法
92.图9是根据本公开的一些实施例的操作立体成像器系统以使用光检测系统进行立体成像的示例方法900的框图。在步骤902处,可以移动传感器阵列的视场以捕获场景的图像。例如,传感器阵列可以绕中心轴线旋转,如本文关于图3a-3c讨论的,或者一个或多个镜子,如mems装置可以移动以改变传感器阵列的视场。传感器阵列可以包含第一光电传感器和与第一光电传感器间隔开以捕获场景的图像的第二光电传感器。例如,第一光电传感器可以是来自第一光电传感器阵列/子集502、522、542和804的任何光电传感器,并且第二光电传感器可以是来自第二光电传感器阵列/子集504、524、544和806的与第一光电传感器相对应的任何光电传感器,如本文关于图5a-5c和8所讨论的。在一些实施例中,第一光电传感器和第二光电传感器可以分开一定间隙,例如,本文关于图5a-5b讨论的间隙506或528。
93.在步骤904处,在传感器阵列的视场移动时,可以在第一时间实例从第一视角捕获场景中的物体的第一图像。例如,在传感器阵列绕中心轴线旋转时,包含第一光电传感器的第一光电传感器阵列可以捕获场景中的物体的图像,如本文关于图3a所讨论的。然后,在步骤906处,在传感器阵列继续移动时,但在捕获第一图像之后进行完整360
°
之前,可以在第二时间实例从第二视角捕获场景中的物体的第二图像。例如,在传感器阵列绕中心轴线旋转时,包含第二光电传感器的第二光电传感器阵列可以捕获场景中的物体的图像,如本文关于图3b所讨论的。第一光电传感器阵列和第二光电传感器阵列的视场的尺寸可以相同,使得两个图像可以形成立体图像对。
94.在步骤910处,可以对第一图像和第二图像进行分析以使用基于第一光电传感器与第二光电传感器之间的间隙的光学基线来计算到场景中的物体的第一距离。在一些实施例中,立体成像器系统100的处理器,例如本文关于图1讨论的系统控制器104的处理器122可以接收第一图像和第二图像,将在第一图像和第二图像中明显的物体的共有特征进行比较,并且使用这些共有特征之间的距离以使用三角测量来鉴定到物体的距离,如本文关于图5所讨论的。因此,本公开的实施例可以使用二维传感器阵列来捕获到场景中的物体的距离。
95.如本文关于图7和8所讨论的,立体成像器系统可以是有源立体成像器系统,其还可以使用发射器阵列和测距光电传感器来进行测距,以在由发射器阵列发射的光已从场景中的物体反射之后测量所述光。因此,方法900可以可选地包含步骤912,其中可以测量到物体的第二距离。第二距离可以由测距光电传感器测量,一旦由对应光发射器发射的光已从场景中的物体反射,所述测距光电传感器就测量所述光。可以使用飞行时间测量等来计算到物体的距离。
96.此后,在步骤914处,可以基于第一距离和第二距离确定到物体的最终距离。例如,可以使用第一距离来增强第二距离的准确度,对于非常近范围的测量结果尤其如此,如本文关于图7和8讨论的。在一些其它情况下,第一距离可以代替第二距离。默认情况下,或者响应于确定第一距离与第二距离之间的差大于阈值,可以进行任一形式的增强。
97.iv.减轻接收器通道串扰
98.如可以通过本文的公开内容理解的,微光学接收器中的通道非常靠近彼此定位,
通常在彼此几微米内。每个通道之间的这种小间距可能会增加产生问题的机会。例如,通过体成像光学装置传播的光有时可能导致杂散光渗入到相邻通道中,由此导致场中的每个像素的反射光的读数不准确。理想情况下,任何通道都不应接收杂散光,如图10a所示。
99.图10a是其中在通道之间没有串扰的光检测系统1000的一部分的简化横截面视图。在操作期间,垂直光线1002和主光线1004进入体成像光学装置1006并且产生光锥1008。光线1002和1004进入光圈层1010的光圈,并且进入准直透镜1011。准直透镜1011接受有限范围的入射光角度。例如,准直透镜1011可以接收相对于垂线成 25至-25度的入射角的光线。图10a示出了入射角在 25至-25度之间的光锥1008。主光线1004是穿过光圈的中心的光线。在此示例中,主光线1004在准直透镜1011上的入射角为0度。
100.图10b是其中在通道之间存在串扰的光检测系统1001的一部分的简化横截面视图。在这种情况下,在操作期间,倾斜光线1012和主光线1014进入体接收器光学装置1016,之后进入准直透镜1021。在此示例中,准直透镜1021属于对应于远离图像中心的光电传感器的微光学通道。在此示例中,主光线1014的入射角为-12度,并且聚焦的光锥的入射角为 12度到-35度。准直透镜1021排斥光线中的一些光线,因为其只接受入射角为 25到-25度的光。另外,处于准直透镜接收锥之外的光线可以行进到其它光学表面并变为杂散光。因此,非远心体成像光学装置将显著更少的信号光子递送到光电检测器,同时潜在地用偏离的光线1022污染其它通道。另一方面,远心体成像光学装置将产生入射角为大约 25到-25度的光锥和准直透镜上的入射角为大约0度的主光线,而不管倾斜光线1012和主光线1014的角度如何。当激光器是远心的(其主光线都是平行的)时,远心体成像光学装置对发射器具有类似益处,vcsel或侧面发射器二极管激光棒的情况也是如此。
101.在一些实施例中,光感测模块的光检测系统使用输入图像-空间远心体成像光学装置。在一些其它实施例中,例如在成本或视场增加比性能更重要的情况下,光检测系统可以使用更标准的输入体成像光学装置,例如双凸透镜。对于进入图像-空间远心透镜的任何给定输入场,所得主光线平行于光轴,并且图像侧光线锥都跨越近似相同的一组角度。这允许光检测系统中远离光轴的微光学通道实现与同轴线微光学通道相似的性能。光检测系统不需要完美的图像空间远心来工作,但是越接近完美的远心越好。对于只能接受 /-25度光的微光学接收器光学层透镜,优选的是输入体成像光学装置为焦平面上的每个点产生角度不大于25度的图像侧光线。
102.根据本公开的一些实施例,微光学接收器通道阵列的每个通道的设计可以被具体配置成具有使杂散光对相应光电检测器的侵入最小化,由此减少或消除由杂散光的出现造成的任何有害影响的特征。图11是示例微光学接收器通道结构1100的简化横截面图,所述示例微光学接收器通道结构在本文的讨论中也称为微光学接收器通道。接收器通道1100可以表示图7中示出的微光学接收器通道712,并且用于接收含有宽范围波长的输入光锥,将以工作波长为中心的那些波长的窄带之外的所有波长过滤掉,并且允许光电传感器1171仅检测或基本上仅检测前述窄带波长内的光子。根据本公开的一些实施例,如接收器通道1100等微光学接收器通道结构可以包含以下层:
103.●
输入光圈层1140,所述输入光圈层包含透光的光圈1144和不透光的光阑区域1146,所述输入光圈层被配置成在被置于如体接收器光学装置708等成像光学装置(图7中示出;图11中未示出)的焦平面处时限定窄视场。光圈层1140被配置成接收输入边缘光线
1133。术语“透光”在本文指的是允许大部分或所有光穿过。这里的光是指近紫外范围、可见范围和近红外范围(例如300nm至5000nm)的光谱。不透光在本文指的是允许很少或不允许光穿过,而是吸收或反射光。光圈层1140可以包含通过不透光的光阑区域彼此隔开的透光的光圈。光圈和光阑区域可以构建在单个单片式件上,如透光的基板。光圈层1140可以任选地包含光圈1144的一维或二维阵列。
104.●
光学透镜层1150,所述光学透镜包含准直透镜1151,所述准直透镜的特征在于焦长度,从光圈1144和光阑区域1146的平面偏移焦长度,与光圈1144轴向对准,并且被配置成准直通过光圈传递的光子使得所述光子近似平行于准直透镜1151的轴线行进,所述准直透镜的轴线与接收器通道1100的光轴对准。光学透镜层1150可以任选地包含光圈、不透光的区域和管结构,以减少串扰。
105.●
滤光器层1160,所述滤光器层包含滤光器1161,通常是布拉格反射器型滤光器(bragg reflector type filter),所述滤光器与准直透镜1151相邻并且与光圈1144相对。滤光器层1160可以被配置成使特定工作波长和通带的正常入射光子穿过。滤光器层1160可以含有任何数量的滤光器1161。滤光器层1160可以任选地包含光圈、不透光的区域和管结构,以减少串扰。
106.●
光电传感器层1170,所述光电传感器层包含与滤光器层1160相邻的光电传感器1171并且被配置成检测入射在光电传感器1171上的光子。光电传感器1171在本文指的是能够检测光子的单个光电检测器,例如雪崩光电二极管、spad(单光子雪崩检测器)、rcp(共振腔光电二极管)等,或者指的是一起协作以充当单个光电传感器的几个光电检测器,如spad阵列,相比于单个大光子检测区,所述几个光电检测器通常具有较高动态范围、较低暗计数率或其它有益特性。光电传感器1171还可以指可见光光电传感器,如用于捕获立体图像的ccd和cmos传感器。每个光检测器可以是能够感测光子,即光的有源区。光电传感器层1170是指由光检电测器制成的层,并且含有用于提高检测效率并减少与相邻接收器结构的串扰的任选结构。光电传感器层1170可以任选地包含漫射器、会聚透镜、光圈、不透光的管间隔器结构、不透光的锥形间隔器结构等。
107.杂散光可能是由光学表面的粗糙、透明介质中的缺陷、背向反射等造成的,并且可能在接收器通道1100内或接收器通道1100外部的许多特征处生成。杂散光可以被引导:沿不平行于准直透镜1151的光轴的路径穿过滤光器区域1161;在光圈1144与准直透镜1151之间反射;以及通常采取可能含有许多反射和折射的任何其它路径或轨迹。如果多个接收器通道彼此相邻排布,则一个接收器通道中的这种杂散光可能被另一个通道中的光电传感器吸收,从而污染光子固有的定时、相位或其它信息。因此,接收器通道1100的特征可以为用于减少接收器通道之间的串扰的几个结构。
108.v.立体成像器系统的实施
109.图12a是根据本公开的一些实施例的示例立体成像器系统1200的简化图的俯视图,所述示例立体成像器系统被实施用于车辆1205,如汽车,并且能够连续360度扫描。位于立体成像器系统1200中的一个或多个光源(如红外或近红外脉冲ir激光器,未示出)的输出束可以被扫描,例如转动,以照射车辆周围的连续场景1220。在一些实施例中,由旋转箭头1215表示的扫描可以通过本任何合适的机械手段来实施,例如通过将光发射器安装到旋转柱或平台,或者任何其它机械手段,如通过使用检流计或基于芯片的控制技术。在操作期
间,车辆1205周围在任何方向并且在立体成像器系统1200的视场内的物体可以反射从立体成像器系统1200中的发射模块1208发射的光脉冲1211的部分。光脉冲1211的一个或多个反射部分1217然后行进返回到立体成像器系统1200并且可以被其感测模块1209检测。另外,可以捕获来自场景1220的环境光以生成两个偏移图像用于距离计算和深度感知目的。在一些情况下,感测模块1209可以安置在与发射模块1208相同的外壳中。
110.尽管图12a展示了安装在车辆1205的车顶上的固态立体成像器系统,但是实施例不限于这种配置。其它实施例可以具有安装在车辆的其它区域上的固态立体成像器系统。例如,立体成像器系统可以安装在车辆的角落,如图12b所示。图12b展示了根据本公开的一些实施例的实施方案1201,其中固态立体成像器系统1204a-d在如汽车等道路车辆的外部区域处实施。在此实施方案中,每个立体成像器系统1204a-d可以是可以测量全360度周围的距离的旋转立体成像器系统。然而,由于那些测量结果中的至少一些测量结果将相对于车辆1205进行测量,因此可以忽略那些测量结果。因此,每个立体成像器系统1205a-d可以利用来自360度扫描的测量结果的子集,例如,仅利用覆盖区域1219a-d的不捕获车辆1205的角度。
111.尽管已经相对于具体实施例描述了本公开,但是应当理解,本公开旨在覆盖以下权利要求的范围内的所有修改和等同物。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献