车辆中深度成像仪与雷达系统的融合的制作方法

1.主题公开涉及车辆中深度成像仪和雷达系统的融合。
2.车辆(如汽车、卡车、建筑设备、农场设备、自动化工厂设备)越来越多地使用传感器来获取有关车辆及其环境的信息。来自传感器的信息有助于车辆的半自主操作(例如车道偏离校正、自动转向或制动)和自主操作。典型地用于获取关于车辆环境的信息的示例性传感器包括摄像头、无线电探测和测距(雷达)系统以及光探测和测距(激光雷达)系统。通常，深度成像仪不被认为适合于汽车应用，但是当解决其缺点时，传感器可能是有利的。因此，期望在车辆中提供深度成像仪和雷达系统的融合。


技术实现要素：

3.在一个示例性实施例中，使用深度成像仪和雷达系统执行传感器融合的方法包括从雷达系统向区域发射射频(rf)能量，并在发射rf能量的同时使用光源向该区域发射光。所述方法还包括在与所述光源对准的深度成像仪处接收来自所述区域的由所述光源发射的光产生的反射光，以及在所述雷达系统处接收由所述区域中的一个或多个物体对所述雷达系统发射的rf能量的反射产生的rf反射。反射光被处理以对构成该区域的多个像素中的每个像素获得方位角、仰角、距离、距离方差以及反射率。对rf反射进行处理以对与一个或多个物体对应的区域的多个像素的子集获得方位角、仰角、距离、距离方差、速度和速度方差，该区域中的多个像素的子集表示感兴趣区域。在雷达系统确定的感兴趣区域内，利用深度成像仪产生的方位角、仰角、距离方差和反射率以及雷达系统产生的距离、速度和速度方差来执行传感器融合。
4.除了本文描述的一个或多个特征外，执行传感器融合还包括获得感兴趣区域中的高分辨率图像。
5.除了本文描述的一个或多个特征外，获得感兴趣区域中的高分辨率图像还包括针对与雷达系统确定的感兴趣区域相对应的多个像素子集获得由深度成像仪产生的的方位角、仰角和反射率。
6.除了本文描述的一个或多个特征外，执行传感器融合还包括对与多个像素的子集相对应的一个或多个物体确定基于融合的距离。
7.除了本文描述的一个或多个特征外，确定基于融合的距离包括使用基于反射光的距离、基于rf反射的距离和深度成像仪的最大可检测距离。
8.除了本文描述的一个或多个特征外，最大可检测距离基于光源发射的光的频率。
9.在另一示例性实施例中，在具有深度成像仪和雷达系统的车辆中执行传感器融合的方法包括将射频(rf)能量从雷达系统发送到一区域，并使用光源在传输rf能量的同时向该区域发射光。所述方法还包括在与所述光源对准的深度成像仪处接收来自所述区域的由所述光源发射的光产生的反射光，以及在所述雷达系统处接收由所述区域中的一个或多个物体对所述雷达系统发射的rf能量的反射产生的rf反射。反射光被处理以对构成该区域的多个像素中的每个像素获得方位角、仰角、距离、距离方差以及反射率。对rf反射进行处理
以对与一个或多个物体对应的区域的多个像素的子集获得方位角、仰角、距离、距离方差、速度和速度方差，该区域中的多个像素的子集表示感兴趣区域。传感器融合是在雷达系统确定的感兴趣区域内，利用深度成像仪产生的方位角、仰角、距离方差和反射率以及雷达系统产生的距离、速度和速度方差来执行的。基于传感器融合获得的信息实现汽车的自主或半自主控制。
10.除了本文描述的一个或多个特征外，执行传感器融合包括获得感兴趣区域中的高分辨率图像。
11.除了本文描述的一个或多个特征外，获得感兴趣区域中的高分辨率图像包括针对与雷达系统确定的感兴趣区域相对应的多个像素的子集获得深度成像仪所产生的方位角、仰角和反射率。
12.除了本文描述的一个或多个特征外，执行传感器融合包括对与多个像素的子集对应的一个或多个物体确定基于融合的距离。
13.除了本文描述的一个或多个特征外，确定基于融合的距离包括使用基于反射光的距离、基于rf反射的距离和深度成像仪的最大可检测距离。
14.除了本文描述的一个或多个特征外，最大可检测距离基于光源发射的光的频率。
15.在另一个示例性实施例中，用于在车辆中执行传感器融合的系统包括车辆的雷达系统，用于将射频(rf)能量传输到一区域，并接收由该区域中的一个或多个物体反射雷达系统发射的rf能量而产生的rf反射，以及包括光学传感器，所述光学传感器包括光源，以在发射rf能量的同时向所述区域发射光，并且包括与所述光源对准的深度成像仪，仪接收来自所述区域的由所述光源发射的光产生的反射光。控制器处理反射光以对构成该区域的多个像素中的每个像素获得方位角、仰角、距离、距离方差以及反射率。rf反射被处理以对与一个或多个物体对应的区域的多个像素的子集获得方位角、仰角、距离、距离方差、速度和速度方差，该区域中的多个像素的子集表示感兴趣区域。在雷达系统确定的感兴趣区域内，利用深度成像仪产生的方位角、仰角、距离方差和反射率以及雷达系统产生的距离、速度和速度方差来执行传感器融合。
16.除了本文描述的一个或多个特征外，控制器还获得感兴趣区域中的高分辨率图像，作为传感器融合的一部分。
17.除了本文所述的一个或多个特征外，控制器获得感兴趣区域中的高分辨率图像包括针对与雷达系统确定的感兴趣区域相对应的多个像素的子集获得由深度成像仪产生的方位角、仰角、以及反射率。
18.除了本文所述的一个或多个特征外，控制器对与多个像素的子集相对应的一个或多个物体确定基于融合的距离，作为传感器融合的一部分。
19.除了本文描述的一个或多个特征外，控制器通过使用基于反射光的距离、基于rf反射的距离和深度成像仪的最大可检测距离来确定基于融合的距离。
20.除了本文描述的一个或多个特征外，最大可检测距离基于光源发射的光的频率。
21.除了本文描述的一个或多个特征外，控制器还基于通过传感器融合获得的信息来实现对车辆的半自主控制。
22.除了本文描述的一个或多个特征外，控制器还基于通过传感器融合获得的信息来实现对车辆的自主控制。
23.上述特征和优点以及本发明的其他特征和优点在结合附图进行以下详细描述时显而易见。
附图说明
24.其他特征、优点和细节仅作为示例出现在以下详细描述中，详细描述参考附图，其中：
25.图1是根据一个或多个实施例的深度成像仪与雷达系统结合使用的车辆的框图；
26.图2是根据一个或多个实施例在车辆中执行深度成像仪和雷达系统融合的方法的处理流程；以及
27.图3示出了根据一个或多个实施例的光学传感器使用的示例性发射光和反射光。
具体实施方式
28.以下描述仅为示例性描述，并不旨在限制本发明及其应用或用途。应当理解，在附图中，相应的附图标记表示相似或相应的部件和特征。
29.如前所述，深度成像仪通常不属于车辆中使用的传感器。深度成像仪是光学传感器的一部分，更具体地说，是光学飞行时间相机的一部分，它与光学传感器的光源同步工作，以捕获从光源到一个或多个物体到深度成像仪的光的往返时间，深度成像仪捕获物体反射的任何光。深度成像仪获得的距离和反射率提供了光学传感器视野内的场景图像。深度成像仪的最大可探测距离与距离精度成反比关系。也就是说，距离精度随着频率的增加而增加，但最大可探测距离减小。在深度成像仪中，最大可探测距离和距离精度之间的这种折衷并不适合用于获取有关车辆周围环境的信息。
30.本文详述的系统和方法的实施例涉及车辆中深度成像仪和雷达系统的融合。具体而言，深度成像仪与雷达系统结合使用，以获得每个传感器的优点，同时减轻每个传感器的缺点。深度成像仪最大距离较低时，距离精度的提高与雷达系统最大距离较长相结合。来自深度成像仪的反射率信息有助于获得单独使用雷达系统无法获得的高密度反射率图像。调幅连续波(amcw)光信号用于深度成像仪，而调频连续波(fmcw)射频(rf)信号用于雷达系统，如详细所述。
31.根据示例性实施例，图1是车辆100的框图，其中深度成像仪110与雷达系统130一起使用。图1中的示例性车辆100是汽车101。示出了深度成像仪li0与光源120共定位。光源120和深度成像仪110一起可被称为光学传感器105。例如，光源120可以是激光器、垂直腔面发射激光器(vcsel)阵列或发光二极管(led)阵列。根据示例性实施例，光源120可以发射amcw光125，使得深度成像仪110是基于amcw的间接飞行时间(i-tof)深度成像仪。在图1所示的场景中，光125例如被物体160反射。图1所示的示例性物体160是行人165。取而代之，物体160可以是另一辆汽车、建筑物、灌木林或车辆100的环境中的任何其他东西。
32.光源120发射的光125的频率f可以是几十兆赫(mhz)。深度成像仪110的最大可检测距离rmax由下式给出：
33.34.因此，深度成像仪110的最大可检测距离rmax大约15米(m)。距离精度约为0.01m。空间分辨率可以是0.1度方位角和0.1度仰角。相比之下，雷达系统130的最大可探测距离可以在200m左右，分辨率在0.1m左右。深度成像仪110和光源120不需要如示例性情况中所示地位于同一位置。然而，深度成像仪110必须与光源120对准，使得反射光115被接收(即，深度成像仪110和光源120必须具有公共视野)。
35.雷达系统130也显示为与光学传感器105位于同一位置。雷达系统130发射rf能量133并基于在其视野中的一个或多个物体160对rf能量133中的一些的反射来接收rf反射135。根据一个或多个实施例，光学传感器105和雷达系统130是同步的，并且具有相同的视野，但是不需要如图所示位于同一位置。如上所述，雷达系统130可以发射调频连续波作为rf能量133，而光源120发射调幅连续波作为光125。发射的amcw光125和fmcw rf能量133的示例在图1中以微秒(μsec)为单位随时间t示出。rf能量133的频率f以千兆赫(ghz)表示，而光125的振幅a以瓦(w)表示。
36.车辆100显示有控制器140和一个或多个其他传感器150(例如，摄像机、激光雷达系统、附加雷达)。传感器150的数量和位置不受图1所示示例的限制。控制器140可以从光学传感器105和雷达系统130获取数据，以根据一个或多个实施例执行融合，如详细所述。深度成像仪110和雷达系统130可以执行接收信号(115、135)的处理，或者可以向控制器140提供数据以进行处理。控制器140可以单独地或除了来自其他传感器150的信息之外，使用由融合产生的信息来控制车辆100的自主或半自主操作的各方面。控制器140和深度成像仪l10和/或雷达系统130内的任何处理器可以包括处理电路，该处理电路可以包括专用集成电路(asic)、电子电路、处理器(共享、专用或组)和执行一个或多个软件或固件程序的存储器，组合逻辑电路和/或提供所述功能的其它合适的部件。
37.图2是根据一个或多个实施例的在车辆100中执行深度成像仪110和雷达系统130的融合的方法200的处理流程。在框210，光源120发射光125，同时，雷达系统130发射rf能量133。光125可以是amcw，而rf能量133是fmcw，如图1所示。在框220，深度成像仪110接收反射光115并处理反射光115以针对构成发射光125的光源120和接收反射光115的深度成像仪110的重叠视场的点(即像素)获得方位角θop，仰角φop，具有不确定性(即方差)
±
σop的距离rop和反射率(即振幅或强度)。也就是说，深度成像仪110与任何相机一样，获得相机的视场(即，区域)内的每个像素的信息。
38.如前所述，该处理可通过深度成像仪110内的处理电路或控制器140或两者的组合来执行。“op”标识用于区分光学传感器105与雷达系统130，雷达系统130的值用“r”标识。此外，更高精度的结果(例如通过光学传感器105获得的方位角θop和仰角φop，而不是通过雷达系统130获得的方位角θr和仰角φr)在图2中用粗体表示。在此阶段，不涉及根据一个或多个实施例的融合，并且仅在深度成像仪110处接收的反射光115的处理是已知的。参考图3进一步讨论距离和反射率确定。
39.在框230，雷达系统130接收rf反射135并处理rf反射135以针对与发射的rf能量133遇到的一个或多个物体160上的反射体相对应的一组点获得方位角θr、仰角φr、具有不确定性σr的距离rr、具有方差
±
σr的速度v。与获得构成视场的区域中的每个像素的信息的深度成像仪110不同，雷达系统130仅获得与反射rf能量113作为rf反射135的物体160相对应的视场中的像素子集的信息。该像素子集构成整个区域内的感兴趣区域(即，感兴趣区域
是被物体160占据的区域)。
40.rf反射135的处理可通过雷达系统130内的处理电路或控制器140或两者的组合来执行。如对于深度成像仪110所注意的，在该阶段不存在根据一个或多个实施例的融合，并且rf反射135的处理是众所周知的。具体地说，对于接收的rf反射135的集合，沿着距离单元(range bins)执行快速傅立叶变换，然后对第一fft结果执行第二fft。然后是数字波束形成，它为每个波束提供距离多普勒(即相对速度)图。除了具有不确定性σr的距离rr、具有方差
±
σr的速度v之外，采用阈值处理对每个检测的物体160获得方位角θr和仰角φr，每个检测的物体表示感兴趣区域。
41.在框240，获得感兴趣区域中的高分辨率图像表示根据一个或多个实施例的融合的第一阶段。特别是，对于在根据雷达系统130识别的感兴趣区域中获得的方位角θr和仰角φr对，对于感兴趣区域内的每个像素由深度成像仪110获得的相应的较高精度方位角θop和仰角φop以及方位角θop和仰角φop处的相关反射率被获得作为高分辨率图像，如图2所示。
42.在框250，为感兴趣区域中的每个像素计算更高精度距离r(即，基于融合的距离)表示根据一个或多个实施例的融合中的第二阶段。通过雷达系统130获得的相对较高的精度距离rr和通过深度成像仪110获得的相对较高的精度方差σop用于获得感兴趣区域中每个像素i、j的距离r：
[0043][0044]
在等式2中，rmax是根据等式1的使用深度成像仪110的最大可探测距离。
[0045][0046]ropi，j
＝r
i，j
modr
max
ꢀꢀꢀ
[等式4]
[0047]
在等式4中，每个距离ri，j mod(即模)rmax将给出将距离ri，j除以rmax所得的余数。在等式2和3中，rr可以被写入rrij，但是经由雷达系统130确定的距离的像素密度远低于经由深度成像仪110获得的像素密度。此外，雷达系统130不像深度成像仪110那样具有固定的像素网格。根据方框250处的处理，使用等式2通过融合计算的更高精度距离r和通过深度成像仪110获得的相应的更高精度距离方差aop产生。
[0048]
在框260，来自框240和250的第一融合步骤的结果与来自雷达系统130的速度v和相应方差
±
σr相结合。具体地，从框240，使用深度成像仪110在由雷达系统130识别的感兴趣区域中获得的高分辨率图像(在框240)由与感兴趣区域相关的方位角θop和仰角φop处的反射率表示。从框250，使用等式2通过融合计算的更高精度距离r和通过深度成像仪l10获得的相应的更高精度距离方差σop产生。控制器140可基于结果控制车辆100的自主或半自主操作的各方面。例如，控制器140可以在半自主车辆100中实现自动制动、自适应巡航控制或车道保持，或者可以在自主车辆100中使用与任一传感器(105、130)单独相比由融合产生的更高精度信息来实现轨迹规划。
[0049]
图3示出了根据一个或多个实施例的光学传感器105使用的示例性发射光125和反
射光115。两个信号的振幅a以瓦特表示，随时间t以秒(sec)为单位。发射光125是如图所示的amcw信号。图中示出在反射光115的一段时间内的四个样本c1、c2、c3、c4。c1、c2、c3和c4是集成反射信号115的各个样本所产生的积分值。c1、c2、c3和c4值处于像素级，使得每个像素获得四个样本。等式5-7用于计算每个像素的反射率和距离。根据反射光115，每个像素i、j的距离r
op
通过以下方式给出：
[0050][0051][0052]
振幅a由下式给出：
[0053][0054]
在等式5中，r
op
是距离，φd是由到物体160(即，感兴趣区域内的给定像素)来回飞行时间引起的调制相位延迟。
[0055]
虽然已经参考示例性实施例描述了上述公开，但是本领域技术人员将理解，在不脱离其范围的情况下，可以进行各种改变，并且可以用等效物代替其元件。此外，在不脱离本发明的基本范围的情况下，可以作出许多修改以使特定情况或材料适应本发明的教导。因此，本发明不限于所公开的特定实施例，而是包括在其范围内的所有实施例。