带基于神经网络的双密度点云生成器的车载激光雷达系统的制作方法

1.本主题公开涉及一种具有基于神经网络的双密度点云生成器的车辆激光雷达系统。


背景技术：

2.车辆(例如，汽车、卡车、建筑设备、农场设备)越来越依赖于传感器来提供关于车辆及其环境的信息。提供关于车辆周围环境的信息的示例性类型的传感器包括无线电检测和测距(无线电雷达)系统、光检测和测距(激光雷达(lidar))系统和摄像头。激光雷达系统提供激光雷达系统的视场中的特征的点云表示。随着点云密度的增加，视场中物体的检测得到改善，但是处理时间和复杂性也随着密度而增加。因此，期望提供具有基于神经网络的双密度点云生成器的车辆激光雷达系统。


技术实现要素：

3.在一个示例性实施例中，车辆系统包括激光雷达系统，以通过实施第一神经网络并基于初始点云来获得初始点云并获得双密度点云。双密度点云是通过减小感兴趣区域(roi)之外的初始点云的点密度而产生的。处理双密度点云产生表明激光雷达系统的视场(fov)中的任何物体的检测结果。控制器从激光雷达系统获得检测结果，并基于检测结果控制车辆的操作。
4.除了本文描述的一个或多个特征之外，激光雷达系统实施第一神经网络，以在产生所述双密度点云的所述fov内定义所述roi，roi是具有固定面积的区域，其具有基于所述第一神经网络的输出从一组潜在中心选择的中心。
5.除了本文描述的一个或多个特征之外，激光雷达系统实施第二神经网络，以基于双密度点云输出检测结果。
6.除了本文描述的一个或多个特征之外，第二神经网络包括编码器和解码器级，其提供逐点特征向量，使得逐点特征向量中的每个特征向量分别与双密度点云的每个点相关联。
7.除了本文描述的一个或多个特征之外，第一神经网络是深度q网络(dqn)，其从第二神经网络的编码器和解码器级获得逐点特征向量。
8.除了本文描述的一个或多个特征之外，训练dqn包括将用双密度点云获得的检测结果与地面实况检测结果进行比较，以产生一定数量的真阳性，并且将通过减小整个fov的初始点云的点密度获得的第二检测结果与地面实况检测结果进行比较，以产生第二数量的真阳性。
9.除了本文描述的一个或多个特征之外，训练dqn包括通过将所述一定数量的真阳性与所述第二数量的真阳性进行比较来获得奖励，并且训练dqn包括最大化奖励。
10.除了本文描述的一个或多个特征之外，dqn输出一矩阵，该矩阵表明与所述一组潜在中心中的每个潜在中心相对应的预测奖励。
11.除了本文描述的一个或多个特征之外，dqn输出一矩阵，该矩阵表明与所述一组潜在中心中的每个潜在中心相对应的正奖励的概率。
12.除了本文描述的一个或多个特征之外，训练dqn包括获得作为奖励与由dqn提供的预测奖励之间的差的损失，并且训练dqn包括最小化损失。
13.在另一示例性实施例中，一种方法包括获得初始点云并实施第一神经网络，以基于初始点云获得双密度点云。双密度点云是通过减小感兴趣区域(roi)之外的初始点云的点密度而产生的。该方法还包括处理双密度点云，以获得表明激光雷达系统的视场(fov)中的任何物体的检测结果。
14.除了本文描述的一个或多个特征之外，实施所述第一神经网络导致在所述fov内定义所述roi，这产生所述双密度点云，所述roi是具有固定面积的区域，其具有基于所述第一神经网络的输出从一组潜在中心选择的中心。
15.除了本文描述的一个或多个特征之外，该方法还包括实施第二神经网络，以基于双密度点云输出检测结果。
16.除了本文描述的一个或多个特征之外，实施第二神经网络包括实现编码器和解码器级，以提供逐点特征向量，使得逐点特征向量中的每个特征向量分别与双密度点云的每个点相关联。
17.除了本文描述的一个或多个特征之外，第一神经网络是深度q网络(dqn)，并且实现dqn包括从第二神经网络的编码器和解码器级获得逐点特征向量。
18.除了本文描述的一个或多个特征之外，该方法还包括：基于将利用双密度点云获得的检测结果与地面实况检测结果进行比较，以产生一定数量的真阳性，以及将通过减小整个fov的初始点云的点密度获得的第二检测结果与地面实况检测结果进行比较，以产生第二数量的真阳性，从而训练dqn。
19.除了本文描述的一个或多个特征之外，训练dqn包括通过将所述一定数量的真阳性与所述第二数量的真阳性进行比较来获得奖励，并且训练dqn包括使所述奖励最大化，并且训练dqn还包括获得作为奖励与由dqn提供的预测奖励之间的差的损失，并且训练dqn包括最小化损失。
20.除了本文描述的一个或多个特征之外，实现dqn包括输出一矩阵，该矩阵表明与所述一组潜在中心中的每个潜在中心相对应的预测奖励。
21.除了本文描述的一个或多个特征之外，实现dqn包括输出一矩阵，该矩阵表明与所述一组潜在中心中的每个潜在中心相对应的正奖励的概率。
22.除了本文描述的一个或多个特征之外，该方法还包括车辆控制器从激光雷达系统获得检测结果并基于检测结果控制车辆的操作。
23.当结合附图时，根据以下详细描述，本公开的上述特征和优点以及其他特征和优点是易于理解的。
附图说明
24.其他特征、优点和细节仅通过示例的方式出现在以下详细描述中，详细描述参考附图，其中：
25.图1是根据一个或多个实施例的具有基于神经网络的双密度点云生成器的车辆的
框图；
26.图2示出了根据一个或多个实施例的具有基于神经网络的双密度点云的示例性视场；
27.图3是根据一个或多个实施例的在车辆的激光雷达系统中执行基于神经网络的双密度点云生成的方法的处理流程；以及
28.图4是在图3所示的过程流中实现的训练神经网络的方法的各方面的过程流。
具体实施方式
29.以下描述本质上仅是示例性的，并不旨在限制本公开、其应用或用途。应当理解，在整个附图中，相应的附图标记表示相同或相应的部件和特征。
30.如前所述，激光雷达系统是用于获得关于车辆周围环境的信息的传感器之一。还应注意，从激光雷达系统获得的点云的密度影响性能和处理时间。具体地，性能随着点云密度的增加而增加，但是处理时间和带宽成本也是如此。本文详述的系统和方法的实施例涉及具有基于神经网络的双密度点云生成器的车辆激光雷达系统。神经网络是激光雷达系统的一部分，而不是对来自激光雷达系统的输出点云执行后处理的神经网络。
31.双密度点云是指具有较低密度点的区域和较高密度点的区域的点云。具体地，仅针对感兴趣的视场(fov)的一部分(即，感兴趣区域(roi))保留初始输出点密度。在fov的其他部分中，密度减小到预定百分比。fov的非roi区中的原始点密度的预定百分比是基于以下认识：即使处理时间确实增加，通过在非roi区中保留超过点密度的预定百分比的点，检测性能也不会增加。双密度方法有助于仅在roi中具有与较高性能相对应的较高处理时间和带宽，从而减少激光雷达系统的总处理时间和带宽要求。例如，为了模拟人类视觉，可以在视场的外围区域中提供较低的点云密度(即，较低的分辨率)。如所详述的，roi的区域的大小(其中点云密度相对高于fov的其他区域中的点云密度)可以是固定的。神经网络用于确定roi应该在fov内的何处居中。
32.根据示例性实施例，图1是具有基于神经网络的双密度点云生成器的车辆100的框图。图1所示的示例性车辆100是汽车101。车辆100包括激光雷达系统110，并且还可以包括其他传感器130(例如，无线电雷达系统、摄像头)。激光雷达系统110的数量和位置以及其他传感器130的数量及其位置不受图1中的示例性图示的限制。激光雷达系统110包含实施根据一或多个实施例的基于神经网络的双密度点云产生器的控制器120。
33.具体地，激光雷达系统110的控制器120通过实施神经网络来确定roi 220在fov 210内的位置，如图2所示。如前所述，较高密度点云仅保持在roi 220内，并且通过降低roi 220外部的fov 210的区域中的点密度来生成双密度点云。根据不同的示例性实施例，由控制器120所实施的神经网络输出fov 210内的roi 220位置的不同指示符。
34.车辆100包括车辆控制器140，其可以从激光雷达系统110和其他传感器130获得信息，以控制车辆100的自主或半自主操作的方面。例如，诸如自适应巡航控制或自动制动这样的半自主操作可以由车辆控制器140基于来自激光雷达系统110和/或其他传感器130的信息来实现。激光雷达系统110的控制器120和车辆控制器140两者可包含处理电路，所述处理电路可包含专用集成电路(asic)、电子电路、执行一或多个软件或固件程序的处理器(共享、专用或群组)和存储器、组合逻辑电路和/或提供所描述功能性的其它合适组件。
35.图2示出了根据一个或多个实施例的具有基于神经网络的双密度点云的示例性fov 210。激光雷达系统110的fov 210在图2中被示出为离散化为网格。如所指示的，fov 210的水平跨度(hfov)是90度，并且fov 210的垂直跨度(vfov)是50度。图2中示出了示例性roi 220。基于示例性网格，roi 220的水平网格跨度(rh)是9个单元格，并且roi 220的垂直网格跨度(rv)是5个单元格。示例性roi 220的中心235被标记。中心235是一组潜在中心230的一部分，该一组潜在中心230是表示fov 210的所有单元格的子组，其可以基于roi 220的固定尺寸(即，rh和rv)来充当roi 220的中心235。
36.也就是说，从该一组潜在中心230中选择不同的中心235将导致roi 220在fov 210内的移位。构成该一组潜在中心230的完整fov 210的单元格表示受到roi 220的固定面积限制。也就是说，选择该一组潜在中心230，使得以该一组潜在中心230中的任何一个为中心的roi 220将不会落在fov 210之外。根据一个或多个实施例并且如本文详述的，由激光雷达系统110的控制器120来实施神经网络，以从该一组潜在中心230中选择中心235，从而定义roi 220在fov 210内的位置。
37.图3是根据一个或多个实施例的在车辆100的激光雷达系统110中执行基于神经网络的双密度点云生成的方法300的处理流程。在框310处，该过程包括获得在激光雷达系统110内生成的初始点云p
t
。初始点云p
t
在整个fov 210中具有均匀的点密度。在框320处，减小roi 220外部的区域中的初始点云p
t
的密度可以产生双密度点云在roi 220外部的fov 210的区域中点密度减小的百分比可以是固定的(例如，20％)。根据已知过程(在框330-360处)使用神经网络进一步处理该双密度点云以获得表明车辆100周围的检测到的对象和车道的检测结果d。例如，神经网络可以是基于区域的卷积神经网络(r-cnn)。
38.在框330处，实施神经网络的编码器/解码器级(encoder/decoder stage)导致双密度点云的点被映射到较低水平的表示。然后，解码器层执行上采样并生成逐点(point-wise)特征向量x
t
。逐点向量是指，针对双密度点云点的每个点来生成向量。例如，对于双密度点云中的n个点中的每一个，可以生成n
×
m矩阵，或者换句话说，可以为每个点生成m长度向量(例如，m＝128)作为逐点特征向量x
t
的一部分。在框340处，生成三维提议(proposal)是指每个点被分类为前景点或背景点。在框340处，生成三维区域作为针对与每个前景点相关联的对象的提议。在框350处，由神经网络执行的过程包括对点云区域进行池化(pool)。区域池化是指将对应于相同对象的三维区域提议进行组合。在框360处，细化三维边界框导致fov 210中的对象和车道的检测。可以将来自框360的检测结果d提供给车辆控制器140以影响车辆100的操作。
39.在框370处，实施另一神经网络是指实施深度q网络(dqn)。来自编码器/解码器的逐点特征向量x
t
(在框330处)也被提供给dqn，如图3所示。dqn基于权重θ估计每个可能动作a的q值。结果是矩阵a
t
，其尺寸与该一组潜在中心230的单位尺寸相同(例如，根据图2中所示的示例性情况的19
×
11)。也就是说，每个动作a是选择该一组潜在中心230中的一个作为roi 220的中心235。在框380处，确定roi 220是指确定针对下一帧而在框310处由激光雷达系统110输出的下一点云p
t 1
的roi 220的中心235。
40.根据示例性实施例，从框370输出的矩阵a
t
包括与该一组潜在中心230内的每个位置相关联的预测奖励。在这种情况下，在框380处确定roi 220涉及根据矩阵a
t
确定该一组
潜在中心230中的哪个与最高预测奖励相关联。根据另一示例性实施例，从框370输出的矩阵a
t
包括与该一组潜在中心230内的每个位置相关联的概率。在这种情况下，在框380处确定下一个点云p
t 1
的roi 220涉及根据矩阵a
t
确定该一组潜在中心230中的哪个与产生正奖励的最高概率相关联。根据被称为策略梯度的该实施例，dqn实现了附加的softmax层以获得产生正奖励的概率。参考图4进一步讨论奖励。
41.根据示例性实施例，可以通过拆分x维度和y维度来简化在框370处实现的dqn。也就是说，代替针对fov 210中的可以充当roi 220的中心235的、每个网格点的一个q值，可以在框370处通过dqn的两个分支单独地确定qx和qy。然后，dqn可以输出ax
t
和ay
t
。
42.图4是在图3的框370处实现的训练dqn的方法400的各方面的处理流程。训练在框370处实现的dqn涉及将使用roi 220(在框320处)获得的检测结果d(由框360输出)与地面实况进行比较，并且还将如果没有使用双密度点云(即，初始点云pt的密度在整个fov 210上均匀减小)将会获得的检测结果d'与地面实况进行比较。也就是说，使用双密度点云获得的检测结果d相对于在不维持roi 220中的较高点密度的情况下获得的检测结果d'的改进用于训练dqn。
43.在框410处，参考图3详细描述了在框360的输出处获得检测结果d。在框420处，获得检测结果d'涉及使用参考图3讨论的相同r-cnn。然而，作为对r-cnn(在框330-360处实现)的输入是双密度点云的代替，输入是在整个fov 210上密度均匀减小的初始点云p
t
。在框430处，将检测结果d与地面实况进行比较产生多个真阳性(true positive)tp。真阳性是指检测结果d中的与地面实况匹配的检测对象的数量。在框430处，将检测结果d'与地面实况进行比较产生检测结果d'中的多个真阳性tp'。
44.在框440处，将使用双密度点云获得的真阳性tp与使用均匀减少的点密度获得的真阳性tp'进行比较为dqn提供奖励。例如，如果真阳性tp超过真阳性tp'(即，双密度点云产生更准确的检测结果d)，则奖励可以是正值。如果真阳性tp等于真阳性tp'(即，双密度点云产生与均匀减小的点密度相同的准确度)，则奖励可以为零。如果真阳性tp小于真阳性tp'(即，双密度点云产生比使用均匀减小的点密度更不准确的检测结果d)，则奖励可以是负值。训练dqn以最大化奖励被称为强化学习。
45.这是参考框370的输出讨论的奖励。如前所述，根据一个示例性实施例，框370的输出可以是基于将该一组潜在中心230中的每一个选择为roi 220的中心235而预测的奖励。根据另一示例性(策略梯度)实施例，框370的输出可以是基于该一组潜在中心230中的每一个被选择为roi 220的中心235的奖励是正值的概率。
46.除了奖励之外，还可以在训练dqn时使用损失。损失来自预测奖励和实际奖励的比较。因此，不是使用检测结果d和检测结果d'(如针对奖励的确定所讨论的)，而是将dqn的输出处的预测奖励与实际奖励进行比较。预测奖励与实际奖励之间的差异越大，在训练期间归因于dqn的损失越大。因此，除了最大化奖励之外，训练过程还寻求最小化损失。
47.虽然已经参考示例性实施例描述了上述公开，但是本领域技术人员将理解，在不脱离其范围的情况下，可以进行各种改变并且可以用等同物替换其元件。另外，在不脱离本公开的基本范围的情况下，可以进行许多修改以使特定情况或材料适应本公开的教导。因
此，本公开不旨在限于所公开的特定实施例，而是将包括落入其范围内的所有实施例。