一种融合毫米波雷达和激光雷达的3D目标检测与追踪方法

一种融合毫米波雷达和激光雷达的3d目标检测与追踪方法
技术领域
1.本发明涉及一种融合毫米波雷达和激光雷达的3d目标检测与追踪方法，属于目标检测与追踪和自动驾驶领域。


背景技术：

2.当前，基于激光雷达的3d检测与追踪方法大多遵循“tracking by detection”的范式，即先进行检测任务，后进行逐帧的追踪，追踪过程的核心是数据关联，即将跨帧的同一物体分配唯一的标号。数据关联问题常被视为二分图匹配问题，使用匈牙利算法或贪婪匹配算法进行求解。但是这样的范式对检测的依赖非常严重，检测结果的好坏直接决定了追踪的性能。激光雷达凭借高精度的3d位置和高分辨率的角度测量优势而成为自动驾驶中重要的传感器之一，许多基于激光雷达的3d检测工作应运而生。但激光雷达也有缺点存在，比如它的探测范围有限，远处的地方点云通常很稀疏；易受雨雾等不利天气的干扰；并且激光雷达只提供了静态的位置测量信息，没有提供动态信息(如速度等) 的测量，所以只依赖激光雷达进行检测和追踪任务会有一定的性能上限。相较于激光雷达，毫米波雷达具有更远的探测范围，并且基于多普勒效应对物体的径向速度进行了测量，同时其受雨雾等不利天气的干扰较小，成本较低，对基于激光雷达的感知追踪系统具有重要意义。但由于毫米波雷达的精度和分辨率较低，聚类后的目标点十分稀疏，并且受多径效应的影响，其测量的数据常存在噪声干扰，如何有效地融合毫米波雷达数据具有很大的挑战。当前基于融合激光雷达和毫米波雷达的工作仍然较少，radarnet[6yangb,guo r,liang m,et al.radarnet:exploiting radar for robust perception of dynamicobjects[c]//european conference on computer vision.springer,cham,2020:496-512.]是其中较为典型的工作，该模型对毫米波雷达和激光雷达数据均进行了体素特征提取后拼接融合，之后只对动态物体进行检测，同时利用毫米波雷达点的速度对动态物体的速度进行更新。
[0003]
但现阶段同时融合激光雷达和毫米波雷达做追踪的工作仍很少，大部分模型的精度比较受限于单一模态的缺陷。


技术实现要素：

[0004]
本发明技术解决问题：克服现有技术的不足，提供一种融合激光雷达和毫米波雷达的目标检测与追踪方法，提升检测与追踪的准确性和鲁棒性。同时使用了柱状网络处理，更充分地利用了毫米波雷达的特征，并且拓宽了其应用范围至兼有动态与静态目标的检测和追踪领域。
[0005]
本发明技术解决方案：一种融合激光雷达和毫米波雷达的目标检测与追踪方法，包括以下步骤：
[0006]
步骤1：对采集的激光雷达和毫米波雷达的数据进行预处理，激光雷达的数据采用基于体素的网络进行编码处理，毫米波雷达数据采用柱状网络进行编码处理，得到基于鸟瞰图形式的激光雷达特征和毫米波雷达特征；
[0007]
步骤2：将鸟瞰图形式的激光雷达特征和毫米波雷达特征直接进行拼接，实现基于鸟瞰图视角的检测层次融合，获取融合的特征后进行检测识别任务，得到目标的3d位置识别框和类别信息；
[0008]
步骤3：基于检测的识别框对原始的毫米波雷达点进行过滤，获取属于该框内的毫米波雷达点，再对检测框内雷达点和追踪框求取p2b距离，即毫米波雷达点到追踪框各边之间的平均最短距离，采用新颖的注意力机制加权后得到由毫米波雷达点计算所得的基于位置相似性的亲和矩阵；同时根据检测任务预测的速度求取检测框和追踪框间的位置偏移量，得到另一种位置偏移量亲和矩阵；
[0009]
步骤4：将所述两种亲和矩阵加权后得到最终的亲和矩阵，以此进行目标追踪，最终实现兼顾精度和鲁棒性的3d目标检测与追踪。
[0010]
进一步，所述步骤1中，对于激光雷达，采集包含高度信息的三维位置表示的激光雷达点云数据，在3d空间中采用基于体素的处理流程，即依次进行体素化、体素特征提取和变换至鸟瞰图形式，得到基于鸟瞰图形式的激光雷达特征；对于毫米波雷达可以直接提供鸟瞰图下的位置、雷达横截面积rcs和径向速度的测量，所以采用柱状网络进行编码和特征提取，得到鸟瞰图形式的毫米波雷达特征。
[0011]
进一步，所述步骤2具体实现如下：
[0012]
(1)将基于鸟瞰图形式的激光雷达特征和毫米波雷达特征直接进行拼接，其中拼接过程中使用残差网络结构，将激光雷达特征和毫米波雷达特征拼接前的bev特征和拼接后经由几层卷积网络处理后的融合bev特征进行再次拼接得到了最终的融合特征，由此实现基于鸟瞰图视角下检测层次的特征融合过程；
[0013]
(2)基于融合后的特征采用多任务学习的方式即分别为每个任务搭建不同的网络分支进行检测任务，分别进行目标的3d位置、大小、偏航角以及速度的回归和目标分类任务，将步骤(1)中得到的融合特征分别输入到后端多分支网络中进行处理，不同任务之间并行进行，最终输出物体的3d位置，物体大小，分类分数，以及速度和偏航角的回归值，即3d位置识别框和类别信息。
[0014]
进一步，所述步骤3具体实现如下；
[0015]
(1)基于检测的识别框对原始的毫米波雷达点云进行过滤，得到位置在该框范围内的毫米波雷达点；
[0016]
(2)对检测框内雷达点和追踪框求取所定义的p2b距离即点到四边形各边的平均最短距离，计算时将点和各边构建成三角形，选择三角形任意的两条边作为两条向量求取向量积运算除以2后，得到三角形的面积，然后计算底边的高求得对应点到边的最短距离；由于毫米波雷达受多径效应等的影响，毫米波雷达点的位置测量往往存在一定噪声，引入新颖的注意力机制加权：即根据每个雷达点自身的特征结合其检测框的特征经多层感知机mlp预测相应的注意力分数，作为对该毫米波雷达测量偏差的估计，测量偏差越大的点所估计的注意力分数越低，对最终的亲和矩阵的计算贡献越小，最后使用该注意力分数对不同的毫米波雷达点求得的p2b距离进行加权求和后，得到最终的基于位置相似性的亲和矩阵；
[0017]
(3)同时基于检测任务中的多头网络预测的速度求取检测框和追踪框间的鸟瞰图下的位置偏移量，得到另一种位置偏移量亲和矩阵，即由位置偏移量组成的亲和矩阵，该亲和矩阵根据网络所预测的速度进行计算。
[0018]
进一步，所述步骤4具体实现如下；
[0019]
(1)根据步骤3中由毫米波雷达点所预测的注意力分数，对计算所得的两种亲和矩阵进行加权求和，得到最终的亲和矩阵；
[0020]
(2)基于步骤(1)的亲和矩阵进行目标追踪，目标追踪过程包括数据关联和轨迹管理；数据关联采用贪婪匹配算法根据亲和矩阵匹配同一物体的检测框和追踪框，实现跨帧的物体关联；轨迹管理对于某一物体其检测框连续出现3次才会分配跟踪轨迹，对于已分配追踪轨迹的物体，如果所述轨迹一直在设定的视场范围内，则对物体作持续追踪；
[0021]
(3)最终实现兼顾精度和鲁棒性的3d目标检测与追踪。在融合毫米波雷达数据后，由于毫米波雷达有更远的探测距离并且提供了对速度的测量信息，实现了检测和追踪精度的提升；此外由于在数据关联时加入了由雷达点求得的p2b距离亲和矩阵，那么当另一种基于检测任务预测的速度所求得的位置偏移量亲和矩阵不准确时，仍可基于该p2b 距离亲和矩阵进行数据关联，所以具有一定的鲁棒性。
[0022]
本发明与现有技术相比的优点在于：
[0023]
(1)基于鸟瞰图拼接的融合方式实现了激光雷达和毫米波雷达的优势互补。该融合方式适应不同模态的结构特性：通过对激光雷达和毫米波雷达数据分别输入到相应的网络里进行处理，使用体素网络处理激光雷达数据，使用柱状网络处理毫米波雷达数据，两种网络结构均和不同模态的数据形式相对应；鸟瞰图拼接的融合方式保证了两种模态特征融合的范围一致与位置对应：毫米波雷达由于探测距离相较于激光雷达更远，在远处激光雷达点云稀疏的地方仍可实现较准确的目标分类，实验结果也表明融合毫米波雷达后在远处可以降低误报和漏检。鸟瞰图拼接因两种模态特征图大小一样，输入数据的距离范围也相同，可使融合的两种模态特征范围一致且位置对应，所以实现了优势互补，比如激光雷达未检测到的物体而毫米波雷达可以检测到，此时经拼接即可防止漏检；融合毫米波雷达数据提升了速度预测的准确性：毫米波雷达可以直接提供物体速度的测量，而鸟瞰图的拼接方式可以保留两种模态更多的原始特征，后端网络可以从激光雷达或毫米波雷达特征中直接提取信息，实验也表明速度预测更加精准，同时准确的预测速度增强了数据关联性能，降低了物体追踪id改变的次数，对追踪系统也有重要意义；
[0024]
(2)注意力机制的引入和增加了由毫米波雷达计算所得的亲和矩阵提升了追踪的鲁棒性。在追踪层次的融合模块中，由于对每个毫米波雷达点使用注意力分数进行了加权，这样一些测量噪声较大的雷达点作用会被削弱；同时当检测分支预测的速度不准而导致后面追踪所用的偏移量亲和矩阵不准确时，根据毫米波雷达所求得的位置相似性亲和矩阵仍可正常工作。所以整体框架在检测网络预测的速度不准或毫米波雷达数据存在一定数目噪声点的情况下仍可保持良好的追踪性能；
[0025]
(3)该融合毫米波雷达和激光雷达数据的检测与追踪框架具有重要意义。毫米波雷达因其低成本、可测量速度早已成为自动驾驶车辆上必不可少的传感器之一，但基于毫米波雷达的相关研究工作仍不充分，其诸多优点仍有待挖掘，本发明在检测和追踪系统中如何融合毫米波雷达做了一次有效的探索，具有重要的参考意义。此外该发明不仅可以提供目标检测的结果，也可以提供追踪的轨迹，对辅助路径规划等自动驾驶后端的任务具有重要意义；
[0026]
(4)该发明提出的融合框架十分方便扩展。该发明基于pytorch的深度学习开源框
架实现，pytorch的使用人数众多，易于移植和部署。同时该框架也十分方便加入新的模块进行功能扩展。
附图说明
[0027]
图1为本发明方法的整体实现流程图；
[0028]
图2为本发明注意力分数估计及p2b距离计算过程。
具体实施方式
[0029]
下面结合附图及实施例对本发明进行详细说明。
[0030]
如图1所示，本发明方法分为4个步骤：激光雷达(lidar)和毫米波雷达(radar) 数据处理；基于鸟瞰图视角的检测层次融合；基于毫米波雷达点(radar目标点)的注意力分数和p2b距离计算；3d目标追踪。
[0031]
每个步骤实现过程如下：
[0032]
第一步，激光雷达(lidar)和毫米波雷达(radar)数据处理。激光雷达和毫米波雷达的数据形式不同，所以采用了不同的网络结构处理两种模态。对于激光雷达，它的点云数据形式是三维的位置表示，包含高度信息，所以在3d空间中采用基于体素的处理流程：体素化，体素特征提取，变换至鸟瞰图形式，见图1的3d骨干网络。而对于毫米波雷达，它直接输出鸟瞰图下的2d位置，雷达横截面积(rcs)，径向速度的测量。但由于它对高度信息的测量通常不准确，所以直接采用柱状网络的编码和特征提取过程，可以直接输出鸟瞰图形式下的特征图。
[0033]
第二步，基于鸟瞰图视角的检测层次融合。在分别得到了基于鸟瞰图形式的激光雷达特征和毫米波雷达特征后，采取了直接将两种特征进行拼接的融合方式。这样做的原因是可保持当前两种模态的特征视角一致，并且直接拼接的方式不会引起信息的损失。在拼接过程中，使用了残差结构对拼接和经2d卷积网络处理后的特征与拼接前的激光雷达和毫米波雷达特征分别再次进行了拼接，以方便模型的训练以及保留原始特征的性质。基于融合后的特征，采用了多任务学习的方式解耦检测的任务，采用多头的方式分别进行目标的位置，旋转角以及速度的回归和目标分类任务。
[0034]
追踪任务概述。在得到了基于融合方法的检测结果后，进行目标追踪的任务，追踪遵循“先检测后追踪”的范式：目标检测，数据关联和追踪轨迹管理。其中数据关联要用到亲和矩阵来匹配已追踪的轨迹和当前的检测框，亲和矩阵即追踪轨迹的特征和当前帧检测物体特征之间的相似性，目的为同一物体分配唯一的追踪标号。这里，定义两种亲和矩阵。一种是利用检测结果中的速度来求取检测框和追踪框中心之间的位置偏移量亲和矩阵，记为λ
c2c
。另一种是求取物体检测框内的毫米波雷达点与物体追踪框之间的距离作为位置相似性亲和矩阵，记为λ
p2b
。而最终的关联矩阵是这两种亲和矩阵的加权和。由于λ
c2c
的求取过程较为直接，下面重点介绍λ
p2b
的求取过程。
[0035]
第三步，基于毫米波雷达点的注意力分数估计及p2b距离的加权计算。如图2，在计算λ
p2b
的过程中，使用当前帧检测得到的目标包围框选取属于该框内的毫米波雷达点，然后将框内的每个毫米波雷达点测量的径向速度反投影至网络预测得到的物体速度方向上。将毫米波雷达测量的径向速度转化为物体的实际切向速度后，根据该速度和毫米波雷达点的
位置求取点与追踪框之间的距离，采用的是点到四边形四条边的平均最短距离，记为p2b。因为一个检测框内有多个毫米波雷达点，所以现在求取的是多对一的距离，经过求和平均后可得到该检测框到追踪框整体一对一之间距离。而因为毫米波雷达本身的测量原理，它的测量是存在较大的不确定性，包含了一些存在误报的毫米波雷达目标点，所以如果直接对p2b距离进行求和平均的话，会有很多不准确的计算距离带来干扰，所以基于每个毫米波雷达点自身的测量属性对其进行了不确定性估计，得到相应的注意力分数。求取基于毫米波雷达点的注意力分数过程如下：
[0036]
首先对于该检测框内的每个毫米波雷达点，将其特征(鸟瞰图的2d位置，径向速度，时间戳，雷达横截面积)与该检测框的特征(鸟瞰图的2d位置，长，宽，偏航角，预测速度，分类分数，时间戳)进行组合得到成对融合的特征f
(det-rad)
＝(检测框2d位置与毫米波雷达点的2d位置偏差，时间偏差，长，宽，预测速度，预测速度与毫米波雷达径向速度夹角，径向速度经反投影的速度)。然后成对的融合特征会被输入到多层感知机(mlp)进行处理，其中mlp的输出通道数为1。这样每对特征f
(det-rad)
对应每个毫米波雷达点经预测可以得到一个注意力分数，在所求得的注意力分数数组前附加一个额外的分数＝1后经softmax运算得到最终的注意力分数数组，其中附加的第一项1作为对λ
c2c
亲和矩阵的加权权重，其他项将分别与每个毫米波雷达点与追踪框计算所得的 p2b距离进行加权求和得到最终该检测框内所有毫米波雷达点到追踪框的加权平均距离，所有的检测框到追踪框之间经计算得到了最终的p2b距离亲和矩阵λ
p2b
。最终将所有的注意力分数数组首项拿出来组成矩阵s
l
，进行加权运算得到最终的亲和矩阵λ＝s
l
⊙
λ
c2c
λ
p2b
，其中
⊙
是对应元素相乘的矩阵乘法。
[0037]
第四步，目标追踪过程。得到亲和矩阵λ后基于该矩阵使用贪婪匹配算法进行数据关联，同时对于未匹配的检测框作为追踪轨迹的初始框，对于未匹配上的追踪框在视场范围内进行持续的追踪，以应对遮挡的场景。
[0038]
性能测试结果，表1是设计的检测与追踪系统的测试性能，融合毫米波雷达后可以看到检测性能明显提高(map)，速度预测误差变小(mave)，追踪性能也大幅提升 (amota)，追踪id标号变化的次数降低(ids)。不过在融合了毫米波雷达加入了λ
p2b
亲和矩阵后提升较小，这部分主要是为了提升系统的鲁棒性。
[0039]
表1性能测试结果
[0040][0041]
表2是关于加入λ
p2b
亲和矩阵后的鲁棒性测试结果。可以看到关联矩阵加入λ
p2b
后，速度噪声所带来的干扰是最低的，追踪性能降低的百分比最小，其中对网络预测的速度增加高斯噪声后会直接影响λ
c2c
亲和矩阵计算所得的结果。
[0042]
表2两类亲和矩阵鲁棒性测试结果
[0043][0044]
表3是关于加入基于毫米波雷达点的注意力机制的鲁棒性测试结果。可以看到如果在原始毫米波雷达点云中人为的过滤掉一些可能的雷达噪声点，此时加入注意力机制所带来的收益甚小；而如果不过滤噪声点，此时加入注意力机制带来的收益会更高，表明注意力机制的引入对抵抗雷达噪声具有一定的鲁棒性。
[0045]
表3注意力机制鲁棒性测试结果
[0046][0047][0048]
综上，从以上表及图可以得出，本发明的追踪精度较高，相较于基准模型在检测和追踪精度上均有较大提升。同时具有较强的鲁棒性，在速度预测不准或雷达点云中有噪声点干扰时仍能保持较高的精度而正常工作。
[0049]
以上虽然描述了本发明的具体实施方法，但是本领域的技术人员应当理解，这些仅是举例说明，在不背离本发明原理和实现的前提下，可以对这些实施方案做出多种变更或修改，因此，本发明的保护范围由所附权利要求书限定。