一种基于4D毫米波雷达与激光雷达融合的目标检测方法与流程

一种基于4d毫米波雷达与激光雷达融合的目标检测方法
技术领域
1.本发明属于自动驾驶感知技术领域，尤其涉及一种基于4d毫米波雷达与激光雷达融合的目标检测方法。


背景技术：

2.自动驾驶汽车面临的外部环境是复杂多变的，如何准确感知障碍物的位置、大小、及类别是自动驾驶汽车面临的一大难题。由于传感器的目标检测受制于传感器本身的缺陷，检测能力受到制约，难以从算法层面进行克服。因此，基于传感器融合的目标检测受到重视，发展迅速。
3.其中，基于毫米波雷达与激光雷达融合的目标检测是一个具有较大潜力的研究方向。激光雷达可以输出大量的3d点云，能够较好的表征目标的几何信息；毫米波雷达具有较好的穿透性，在雨、雪、雾及灰尘条件下仍能较好地输出目标二维点云。两者融合能够提高目标检测的准确性和鲁棒性。
4.目前的毫米波雷达与激光雷达融合的目标检测算法，大多均将毫米波雷达点云与激光雷达点云分别编码，通过神经网络进行特征提取，通过神经网络进行检测框回归和分类。如李朝等人在论文“基于注意力的毫米波-激光雷达融合目标检测”提出的方法，该种方法虽然能够提高对目标识别的准确性，但是存在以下不足：
5.1)由于激光雷达点云数量非常多，上述方法会导致计算消耗巨大，处理速度变慢，不利于自动驾驶的安全。2)当目标相距极近时，该种检测方法容易将两个目标误识别为一个目标。3)在雨雪、雾、扬尘等场景下，由于激光雷达的穿透性不好，导致上述方法及其他毫米波雷达与激光雷达融合的目标检测方法难以得到准确的激光雷达点云，只能够得到稀疏的二维毫米波雷达点云，难以确定目标在三维空间中的位置、大小及类别。
6.4d毫米波雷达是一种近年来新出现的传感器，相较于传统的毫米波雷达，在二维点云的基础上增加了一个高度维度，并且点云数量大大增加，从而能真正地测量障碍物在三维空间的位置和大小。


技术实现要素：

7.为了解决上述已有技术存在的不足，本发明提出一种基于4d毫米波雷达与激光雷达融合的目标检测方法，通过4d毫米波雷达生成roi(感兴趣区域)，提取roi内的激光雷达点云，编码后利用深度学习方法进行目标检测。本发明的具体技术方案如下：一种基于4d毫米波雷达与激光雷达融合的目标检测方法，包括以下步骤：
8.s1：接收经过时空同步的4d毫米波雷达点云和激光雷达点云，对4d毫米波雷达点云进行基于马氏距离的高维度密度聚类；
9.s2：根据步骤s1的聚类结果对每一个簇拟合有向包围盒；
10.s3：根据先验信息及包围盒内的点云平均反射强度、包围盒几何特征，对每一个簇分类，并滤除地面点云簇及其包围盒；
11.s4：提取剩余包围盒中的激光雷达点云，按簇依次输入神经网络，进行目标检测；
12.s5：判断步骤s4中是否有目标被检测到，若有则覆盖步骤s3中的分类结果和包围盒结果，若无则保留步骤s2和步骤s3中的结果，并增加标注radar result。
13.进一步地，所述步骤s1中，遍历接收的4d毫米波雷达点云，计算多维随机变量p(x，y，z，v
x
，vy，i)的协方差矩阵∑，进行基于马氏距离的高维密度聚类，其中，
14.输入：4d毫米波雷达六维点云集d＝(p1，p2，...，pm)，邻域参数(μ，minpts)，协方差矩阵∑，样本距离度量方式即马氏距离
15.输出：簇划分c；
16.其中，x，y，z为点云在三维空间中的坐标，v
x
和vy为点云沿x轴和沿y轴的运动速度，i为点云的反射强度，p1，p2，...，pm为4d毫米波雷达点云，μ为邻域距离阈值，minpts为聚类时核心对象邻域内包含的最少样本数，pi，pj为点云集d中任意两点；
17.具体的聚类过程为：
18.s1-1：初始化核心对象集合聚类簇数k＝0，未访问样本集合γ＝d，簇划分
19.s1-2：遍历点云集d，找出所有核心对象；
20.s1-3：如果核心对象集合则聚类结束，否则转入步骤s1-4；
21.s1-4：在核心对象集合ω中，随机选择一个核心对象o，初始化当前簇核心对象队列ωcur＝{o}，初始化类别序号k＝k 1，初始化当前簇样本集合ck＝{o}，更新未访问样本集合γ＝γ-{o}；
22.s1-5：如果当前簇核心对象队列则当前聚类簇ck生成完毕，更新簇划分c＝{c1，c2，...，ck}，更新核心对象集合ω＝ω-ck，转入步骤s1-3，否则更新核心对象集合ω＝ω-ck；
23.s1-6：在当前簇核心对象队列ωcur中取出一个核心对象o
′
，通过邻域距离阈值μ找出所有的μ邻域子样本集nμ(o
′
)，令δ＝nμ(o
′
)∩γ，更新当前簇样本集合ck＝ck∪δ，更新未访问样本集合γ＝γ-δ，更新ωcur＝ωcur∪(δ∩ω)-o
′
，转入步骤s1-5；
24.其中，μ邻域的定义为：对于xj∈d，其μ邻域包含样本集d中与xj的距离不大于μ的子样本集，即nμ(xj)＝{xi∈d|distance(xi，xj)≤μ}，该子样本集的个数记为|nμ(xj)|；
25.核心对象的定义为：对于任一样本xj∈d，如果其μ邻域对应的nμ(xj)至少包含minpts个样本，即如果|nμ(xj)|≥minpts，则xj是核心对象。
26.进一步地，所述步骤s1-2中，找出所有的核心对象的方法为：
27.首先，通过马氏距离度量方式，找到样本xj的μ邻域子样本集nμ(xj)；
28.然后，如果子样本集样本个数满足|n∈(xj)|≥minpts，将样本xj加入核心对象样本集合：ω＝ω∪{xj}。
29.进一步地，所述步骤s2中，输入：4d毫米波雷达点云簇ci＝(p
i1
，p
i2
，...，p
in
)，迭代步长δ，p
i1
，p
i2
，...，p
in
为ci中的4d毫米波雷达点云；输出：包围盒底面矩形边界{ajx
′
bjy
′
＝cj|j＝1，2，3，4}，包围盒高度h，aj，bj，cj为直线表达式的参数；步骤s2的具体过程为：
30.s2-1：将三维点云簇投影到xy平面，得到n＝((x1′
，y1′
)，(x2′
，y2′
)...，(xm′
，ym′
))，(x1′
，y1′
)，(x2′
，y2′
)...，(xm′
，ym′
)分别为点云投影到xy平面上的坐标；
31.s2-2：初始化包围盒底面矩形的任一边相对于x轴的角度θ＝0，空字典q；
32.s2-3：令e1＝(cosθ，sinθ)，e2＝(-sinθ，cosθ)，计算
33.s2-4：令计算q
←
(θ：α)；
34.s2-5：判断θ＜π/2是否成立，若成立，执行θ＝θ δ，跳转步骤s2-3；若不成立，执行步骤s2-6；
35.s2-6：选取q中，α最大时对应的键θ
*
，计算，计算
36.s2-7：计算a1＝cosθ
*
，b1＝sinθ
*
，a2＝-sinθ，b2＝cosθ，a3＝cosθ
*
，b3＝sinθ
*
，a4＝-sinθ，b4＝cosθ，
37.s2-8：遍历点云簇ci，计算h＝p.z
max-p.z
min
，p.z
max
为ci中所有点云的最大z值，p.z
min
为ci中所有点云的最小z值；
38.s2-9：算法结束。
39.进一步地，所述步骤s3中的先验信息为：通过采集4d毫米波雷达点云数据，对每一帧点云数据执行步骤s1和步骤s2，统计其中地面、行人、小型车辆、大型车辆的点云簇平均反射强度及点云簇包围盒的高度信息。
40.进一步地，所述步骤s4中的点云目标检测网络为pointpillars。
41.本发明的有益效果在于：
42.1.本发明提出了一种基于4d毫米波雷达与激光雷达融合的目标检测方法，基于4d毫米波雷达的特性，通过4d毫米波雷达点云在三维空间中聚类时生成roi，只将roi内的激光雷达送入神经网络进行目标检测，相比于将所有激光雷达点云送入神经网络的方法，大大降低了计算量，提升了目标检测的速度。
43.2.本发明在4d毫米波点云聚类时，提出一种考虑反射强度与速度信息的基于马氏距离的密度聚类，相比基于欧式距离的聚类方法，能够区分相聚很近但是性质不同、速度不同的目标，降低了误识别的概率。
44.3.在雨雪、雾、扬尘等场景激光雷达失效时，相比传统毫米波雷达与激光雷达融合的感知方法，本发明仍然可以通过4d毫米波雷达感知障碍物在三维空间中的位置、大小，反射强度并进行简单分类，极大增加了感知系统的抗干扰能力和环境适应能力。
附图说明
45.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。其中：
46.图1是本发明的基于4d毫米波雷达与激光雷达融合目标检测流程图；
47.图2是本发明的聚类结果分类及地面滤除示意图。
具体实施方式
48.为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
49.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
50.如图1所示，一种基于4d毫米波雷达与激光雷达融合的目标检测方法，包括以下步骤：
51.s1：接收经过时空同步的4d毫米波雷达点云和激光雷达点云，对4d毫米波雷达点云进行基于马氏距离的高维度密度聚类；
52.遍历接收的4d毫米波雷达点云，计算多维随机变量p(x，y，z，v
x
，vy，i)的协方差矩阵∑，进行基于马氏距离的高维密度聚类，其中，
53.输入：4d毫米波雷达六维点云集d＝(p1，p2，...，pm)，邻域参数(μ，minpts)，协方差矩阵∑，样本距离度量方式即马氏距离
54.输出：簇划分c；
55.其中，x，y，z为点云在三维空间中的坐标，v
x
和vy为点云沿x轴和沿y轴的运动速度，i为点云的反射强度，p1，p2，...，pm为4d毫米波雷达点云，μ为邻域距离阈值，minpts为聚类时核心对象邻域内包含的最少样本数，pi，pj为点云集d中任意两点；
56.具体的聚类过程为：
57.s1-1：初始化核心对象集合聚类簇数k＝0，未访问样本集合γ＝d，簇划分
58.s1-2：遍历点云集d，找出所有核心对象；
59.s1-3：如果核心对象集合则聚类结束，否则转入步骤s1-4；
60.s1-4：在核心对象集合ω中，随机选择一个核心对象o，初始化当前簇核心对象队列ωcur＝{o}，初始化类别序号k＝k 1，初始化当前簇样本集合ck＝{o}，更新未访问样本集合γ＝γ-{o}；
61.s1-5：如果当前簇核心对象队列则当前聚类簇ck生成完毕，更新簇划分c＝{c1，c2，...，ck}，更新核心对象集合ω＝ω-ck，转入步骤s1-3，否则更新核心对象集合ω＝ω-ck；
62.s1-6：在当前簇核心对象队列ωcur中取出一个核心对象o
′
，通过邻域距离阈值μ找出所有的μ邻域子样本集nμ(o
′
)，令δ＝nμ(o
′
)∩γ，更新当前簇样本集合ck＝ck∪δ，更新未访问样本集合γ＝γ-δ，更新ωcur＝ωcur∪(δ∩ω)-o
′
，转入步骤s1-5；
63.其中，μ邻域的定义为：对于xj∈d，其μ邻域包含样本集d中与xj的距离不大于μ的子样本集，即nμ(xj)＝{xi∈d|distance(xi，xj)≤μ}，该子样本集的个数记为|nμ(xj)|；
64.核心对象的定义为：对于任一样本xj∈d，如果其μ邻域对应的nμ(xj)至少包含minpts个样本，即如果|nμ(xj)|≥minpts，则xj是核心对象。
65.步骤s1中，4d毫米波雷达点云有其运动速度信息和反射强度信息，于是在聚类时
不止考虑距离，且考虑其速度和反射强度。由于点云坐标(x，y，z)与其反射强度i和速度(v
x
，vy)量纲不同，数值差距大，所以采用马氏距离的密度聚类算法，p1(x1，y1，z1，v
x1
，v
y1
，i1)，p2(x2，y2，z2，v
x2
，v
y2
，i2)两个点的马氏距离可表示为其中，∑是协方差矩阵。通过马氏距离的度量，可以消除量纲不同和各个维度数据尺度不一的问题。密度聚类算法一般假定类别可以通过样本分布的紧密程度决定。同一类别的样本，是紧密相连的，即在该类别任意样本周围不远处一定有同类别的样本存在。通过将紧密相连的样本划为一类，就得到了一个聚类类别。通过将所有各组紧密相连的样本划为各个不同的类别，则得到最终的所有聚类类别结果。
66.s2：根据步骤s1的聚类结果对每一个簇拟合有向包围盒；
67.输入：4d毫米波雷达点云簇ci＝(p
i1
，p
i2
，...，p
in
)，迭代步长δ，p
i1
，p
i2
，...，p
in
为ci中的4d毫米波雷达点云；输出：包围盒底面矩形边界{ajx
′
bjy
′
＝cj|j＝1，2，3，4}，包围盒高度h，aj，bj，cj为直线表达式的参数；步骤s2的具体过程为：
68.s2-1：将三维点云簇投影到xy平面，得到n＝((x1′
，y1′
)，(x2′
，y2′
)...，(xm′
，ym′
))，(x1′
，y1′
)，(x2′
，y2′
)...，(xm′
，ym′
)分别为点云投影到xy平面上的坐标；
69.s2-2：初始化包围盒底面矩形的任一边相对于x轴的角度θ＝0，空字典q；
70.s2-3：令e1＝(cosθ，sinθ)，e2＝(-sinθ，cosθ)，计算
71.s2-4：令计算q
←
(θ：α)；
72.s2-5：判断θ＜π/2是否成立，若成立，执行θ＝θ δ，跳转步骤s2-3；若不成立，执行步骤s2-6；
73.s2-6：选取q中，α最大时对应的键θ
*
，计算，计算
74.s2-7：计算a1＝cosθ
*
，b1＝sinθ
*
，a2＝-sinθ，b2＝cosθ，a3＝cosθ
*
，b3＝sinθ
*
，a4＝-sinθ，b4＝cosθ，
75.s2-8：遍历点云簇ci，计算h＝p.z
max-p.z
min
，p.z
max
为ci中所有点云的最大z值，p.z
min
为ci中所有点云的最小z值；
76.s2-9：算法结束。
77.步骤s2中，对聚类好的每一个点云簇拟合有向包围盒，基本思想是遍历矩形的所有可能方向，每次迭代时，可以很容易地找到一个指向该方向并包含所有扫描点的矩形，根据矩形面积最小原则确定矩形的方向及长、宽，用点云簇中点云最高点与最低点的差值确定包围盒的高度。
78.s3：根据先验信息及包围盒内的点云平均反射强度、包围盒几何特征，对每一个簇分类，并滤除地面点云簇及其包围盒；
79.先验信息为：通过采集4d毫米波雷达点云数据，对每一帧点云数据执行步骤s1和步骤s2，统计其中地面、行人、小型车辆、大型车辆的点云簇平均反射强度及点云簇包围盒的高度信息。
80.例如，如图2所示，选取自制露天矿区点云数据集中的1000帧进行统计，得到以下结果：
81.对地面点云簇、行人点云簇、轿车等小型车辆点云簇、卡车等大型车辆点云簇平均反射强度进行统计分析，得到地面点云簇平均反射强度在2-6之间，行人点云簇平均反射强度在4-8之间，轿车、大型车辆等反射强度在15-25之间。
82.对地面点云簇包围盒、行人点云簇包围盒、轿车等小型车辆点云簇包围盒、卡车等大型车辆点云簇包围盒几何特征进行统计分析，得到地面点云簇包围盒高度在0m-0.3m之间，行人点云簇包围盒高度在1.2m-1.9m之间，轿车等小型车辆点云簇包围盒高度在1.2m-1.9m之间，卡车等大型车辆云簇包围盒高度在2.3m以上。
83.根据以上先验性息，将同时满足反射强度条件和几何条件的地面点云簇及其包围盒滤除，将剩余包围盒根据其几何特征及其内点云平均反射强度进行分类，将满足行人、小型车辆、大型车辆的点云簇赋予类别标签。
84.s4：提取剩余包围盒中的激光雷达点云，按簇依次输入神经网络，进行目标检测；
85.s5：判断步骤s4中是否有目标被检测到，若有则覆盖步骤s3中的分类结果和包围盒结果，若无则保留步骤s2和步骤s3中的结果，并增加标注radar result。
86.在一些实施方式中，步骤s1-2中，找出所有的核心对象的方法为：
87.首先，通过马氏距离度量方式，找到样本xj的μ邻域子样本集nμ(xj)；
88.然后，如果子样本集样本个数满足|n∈(xj)|≥minpts，将样本xj加入核心对象样本集合：ω＝ω∪{xj}。
89.较佳地，步骤s4中的点云目标检测网络包括但不限于pointpillars。
90.在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
91.在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。
92.在本发明中，术语“第一”、“第二”、“第三”、“第四”仅用于描述目的，不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。
93.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。