一种基于4D毫米波雷达与激光雷达融合的目标检测方法与流程

技术特征：
1.一种基于4d毫米波雷达与激光雷达融合的目标检测方法，其特征在于，包括以下步骤：s1：接收经过时空同步的4d毫米波雷达点云和激光雷达点云，对4d毫米波雷达点云进行基于马氏距离的高维度密度聚类；s2：根据步骤s1的聚类结果对每一个簇拟合有向包围盒；s3：根据先验信息及包围盒内的点云平均反射强度、包围盒几何特征，对每一个簇分类，并滤除地面点云簇及其包围盒；s4：提取剩余包围盒中的激光雷达点云，按簇依次输入神经网络，进行目标检测；s5：判断步骤s4中是否有目标被检测到，若有则覆盖步骤s3中的分类结果和包围盒结果，若无则保留步骤s2和步骤s3中的结果，并增加标注radar result。2.根据权利要求1所述的目标检测方法，其特征在于，所述步骤s1中，遍历接收的4d毫米波雷达点云，计算多维随机变量p(x，y，z，v
x
，v
y
，i)的协方差矩阵σ，进行基于马氏距离的高维密度聚类，其中，输入：4d毫米波雷达六维点云集d＝(p1,p2,...,p
m
)，邻域参数(μ,minpts)，协方差矩阵σ，样本距离度量方式即马氏距离输出：簇划分c；其中，x,y,z为点云在三维空间中的坐标，v
x
和v
y
为点云沿x轴和沿y轴的运动速度，i为点云的反射强度，p1,p2,...,p
m
为4d毫米波雷达点云，μ为邻域距离阈值，minpts为聚类时核心对象邻域内包含的最少样本数，p
i
,p
j
为点云集d中任意两点；具体的聚类过程为：s1-1：初始化核心对象集合聚类簇数k＝0，未访问样本集合γ＝d，簇划分s1-2：遍历点云集d，找出所有核心对象；s1-3：如果核心对象集合则聚类结束，否则转入步骤s1-4；s1-4：在核心对象集合ω中，随机选择一个核心对象o，初始化当前簇核心对象队列ωcur＝{o}，初始化类别序号k＝k 1，初始化当前簇样本集合c
k
＝{o}，更新未访问样本集合γ＝γ-{o}；s1-5：如果当前簇核心对象队列则当前聚类簇c
k
生成完毕，更新簇划分c＝{c1,c2,...,c
k
}，更新核心对象集合ω＝ω-c
k
，转入步骤s1-3，否则更新核心对象集合ω＝ω-c
k
；s1-6：在当前簇核心对象队列ωcur中取出一个核心对象o
′
，通过邻域距离阈值μ找出所有的μ邻域子样本集nμ(o
′
)，令δ＝nμ(o
′
)∩γ，更新当前簇样本集合c
k
＝c
k
∪δ，更新未访问样本集合γ＝γ-δ，更新ωcur＝ωcur∪(δ∩ω)-o
′
，转入步骤s1-5；其中，μ邻域的定义为：对于x
j
∈d，其μ邻域包含样本集d中与x
j
的距离不大于μ的子样本集，即nμ(x
j
)＝{x
i
∈d|distance(x
i
,x
j
)≤μ}，该子样本集的个数记为|nμ(x
j
)|；核心对象的定义为：对于任一样本x
j
∈d，如果其μ邻域对应的nμ(x
j
)至少包含minpts个样本，即如果|nμ(x
j
)|≥minpts，则x
j
是核心对象。
3.根据权利要求2所述的目标检测方法，其特征在于，所述步骤s1-2中，找出所有的核心对象的方法为：首先，通过马氏距离度量方式，找到样本x
j
的μ邻域子样本集nμ(x
j
)；然后，如果子样本集样本个数满足|n∈(x
j
)|≥minpts，将样本x
j
加入核心对象样本集合：ω＝ω∪{x
j
}。4.根据权利要求1或2所述的目标检测方法，其特征在于，所述步骤s2中，输入：4d毫米波雷达点云簇c
i
＝(p
i1
,p
i2
,...,p
in
)，迭代步长δ，p
i1
,p
i2
,...,p
in
为c
i
中的4d毫米波雷达点云；输出：包围盒底面矩形边界{a
j
x
′
b
j
y
′
＝c
j
|j＝1,2,3,4}，包围盒高度h，a
j
,b
j
,c
j
为直线表达式的参数；步骤s2的具体过程为：s2-1：将三维点云簇投影到xy平面，得到n＝((x1′
,y1′
),(x2′
,y2′
)...,(x
m
′
,y
m
′
))，(x1′
,y1′
),(x2′
,y2′
)...,(x
m
′
,y
m
′
)分别为点云投影到xy平面上的坐标；s2-2：初始化包围盒底面矩形的任一边相对于x轴的角度θ＝0，空字典q；s2-3：令e1＝(cosθ,sinθ)，e2＝(-sinθ,cosθ)，计算s2-4：令计算α＝-q
←
(θ:α)；s2-5：判断θ<π/2是否成立，若成立，执行θ＝θ δ，跳转步骤s2-3；若不成立，执行步骤s2-6；s2-6：选取q中，α最大时对应的键θ
*
，计算，计算s2-7：计算a1＝cosθ
*
，b1＝sinθ
*
，a2＝-sinθ，b2＝cosθ，a3＝cosθ
*
，b3＝sinθ
*
，a4＝-sinθ，b4＝cosθ，s2-8：遍历点云簇c
i
，计算h＝p.z
max-p.z
min
，p.z
max
为c
i
中所有点云的最大z值，p.z
min
为c
i
中所有点云的最小z值；s2-9：算法结束。5.根据权利要求1或2所述的目标检测方法，其特征在于，所述步骤s3中的先验信息为：通过采集4d毫米波雷达点云数据，对每一帧点云数据执行步骤s1和步骤s2，统计其中地面、行人、小型车辆或大型车辆的点云簇平均反射强度及点云簇包围盒的高度信息。6.根据权利要求1-5之一所述的目标检测方法，其特征在于，所述步骤s4中的点云目标检测网络为pointpillars。

技术总结
本发明公开了一种基于4D毫米波雷达与激光雷达融合的目标检测方法，基于4D毫米波雷达的特性，通过4D毫米波雷达点云在三维空间中聚类时生成ROI，只将ROI内的激光雷达送入神经网络进行目标检测；在4D毫米波点云聚类时，提出一种考虑反射强度与速度信息的基于马氏距离的密度聚类；本发明的技术方案，相比于将所有激光雷达点云送入神经网络的方法，大大降低了计算量，提升了目标检测的速度，误识别的概率低，在雨雪、雾、扬尘等场景激光雷达失效时，仍然可以通过4D毫米波雷达感知障碍物在三维空间中的位置，大小，反射强度并进行简单的分类，极大增加了感知系统的抗干扰能力和环境适应能力。能力。能力。


技术研发人员：徐国艳 陆宇骁 余贵珍 王章宇 周彬
受保护的技术使用者：北京踏歌智行科技有限公司
技术研发日：2022.03.21
技术公布日：2022/6/28