一种毫米波雷达点云分类方法与流程

1.本发明应用于自动驾驶领域或机器人领域，具体涉及一种毫米波雷达点云分类方法。


背景技术：

2.随着自动驾驶技术的飞速发展，环境感知所用到的各类传感器也得到了技术和产品上的更新换代。毫米波雷达作为一款成熟的车载传感器，它具有探测距离远，测速精准，在恶劣天气情况下能够稳定工作等优点。但是由于受到频段的限制，毫米波雷达在探测分辨率上有所欠缺，存在目标数目太少的问题。近年来出现的一些产品在分辨率上得到了明显改善，而雷达探测目标数目的增多也为更进一步的点云分类提供了可能。
3.近两年有相关研究人员根据点云独有的置换不变性和旋转不变性等特性提出了能够直接学习点云的神经网络，取得了良好的分割和检测效果，然而对于二维的毫米波雷达目标点云，却没有在深度学习方面引起广泛的研究。毫米波雷达虽然只能检测x、y坐标，相比激光雷达的x、y、z、intensity少了两个维度，但其特有的相对速度vr和雷达散射截面积rcs信息却能够增加输入维度，提高最终的点云分割效果，因此，如果能够对毫米波雷达点云进行分类，则对过滤无效目标点、提取关键信息有重要作用。


技术实现要素：

4.本发明的目的是提供一种毫米波雷达点云分类方法，利用该方法能够给每个毫米波雷达目标点赋予类别属性，对过滤无效目标点、提取关键信息有重要作用。
5.为实现本发明的目的，本发明提供的一种毫米波雷达点云分类方法，毫米波雷达点云数据集，经过数据预处理后，输入分类器，最终输出带有类别信息的雷达目标点。
6.其中，
7.所述数据集为开源数据集或者为根据使用的雷达型号和驾驶场景制作专有的数据集。
8.其中，
9.所述数据预处理用于保证毫米波雷达点云数据集中的数据至少含有障碍物目标的横坐标x，纵坐标y、相对速度vr和雷达散射截面积rcs四种目标属性。
10.其中，
11.所述数据预处理还用于对每一帧数据进行重采样，保证每帧点云数量的一致性，上述的重采样按照平均数量进行重采样，而不是按照最大数量。
12.其中，
13.所述分类器的网络结构如下：
14.输入数据维度为(n,4)，输出数据维度(n,),其中n代表点云个数，4代表输入通道数目，分别为：横坐标x，纵坐标y、相对速度vr和雷达散射截面积rcs，k代表输出的类别数目；
15.(a)点云分类网络：输入数据经过两次一维卷积操作后维度变成(n,64)，这里用多层感知机来表示这种卷积操作，再经过三层mlp后将点云维度升至(n,1024)；对该层进行最大池化，得到这帧点云的全局特征，最后对1024个全局特征进行全连接操作，输出单帧点云的k个类别分数；
16.(b)点云分割网络
17.为了得到每个点的类别信息，接下来选取上述分类网络中的(n,64)中间层，将全局特征和类别分数附加到每个点云上，得到分割网络的输入数据，维度为(n,64 1024 k)，再加上类别分数作为参考，最后经过五层mlp后最终获得每个点云的类别概率，
18.(c)损失函数
19.损失函数包含两部分，一部分是对类别的正确率使用交叉熵损失函数，计算公式如下：
[0020][0021]
其中，yi表示样本i的label，前景点为1，背景点为0；pi表示样本i预测为正的概率；
[0022]
另一部分是将前景点的交并比(iou，intersection of union)参与到损失函数的计算中，计算公式如下：
[0023][0024]
其中，c
gt
表示标注的类别真值，c
pred
表示预测的类别，
[0025]
总损失函数为
[0026]
l
total
＝l1 α
·
l2[0027]
其中，α为l2损失的占比，默认值为0.01。
[0028]
与现有技术相比，本发明的有益效果为，实现了一种利用深度神经网络来实现毫米波雷达目标点云分类的方法，该方法的分类准确率能达到90％以上，前景点的iou达到0.4，对滤除无用目标，提升目标检测效果起到了良好的推动作用。
附图说明
[0029]
图1为本技术一种毫米波雷达点云分类方法的流程示意图。
[0030]
图2为某场景下标注示意图。
[0031]
图3所示ambiguity state在前景点和背景点上频率分布直方图。
[0032]
图4所示为本技术中分类器的网络结构图。
具体实施方式
[0033]
需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
[0034]
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0035]
本发明针对车载毫米波雷达传感器，提出了一种毫米波二维点云分类方法，该方
法能够给每个毫米波雷达目标点赋予类别属性，对过滤无效目标点、提取关键信息有重要作用。
[0036]
本发明输入毫米波雷达的二维检测目标原始数据，经过数据预处理后，分别经过分类网络和分割网络的前向传播，最终输出带有类别信息的雷达目标点。整体设计框架，如图1所示，如何设计和训练该分类器网络是本发明的关键。
[0037]
(1)数据集制作
[0038]
数据集可以使用开源数据集，也可以根据使用的雷达型号和驾驶场景制作专有的数据集。由于毫米波雷达的点云稀疏，在标注时无法判断障碍物的准确尺寸和位置，所以数据采集过程中建议同时采集激光雷达的三维点云和摄像头的图像数据。如图2所示为装备了5个毫米波雷达和1个激光雷达在某场景下的标注结果示意图。判断包围框内部的毫米波雷达点云为该物体的检测目标，并标记为相应类别。本发明所述类别包含两类，用k表示，即k＝2，分别是前景障碍物(人、车、骑行者等)和背景障碍物(树木、栏杆等)。
[0039]
(2)数据预处理
[0040]
不同厂家的毫米波雷达产品数据略有差异，为保障发明所述分类器的输出效果，规定毫米波雷达原始数据中至少含有障碍物目标的横坐标x，纵坐标y、相对速度vr和雷达散射截面积rcs。有些雷达产品返回的目标属性更为丰富，除了上述属性外，还可能含有障碍物的测量状态、在训练时可以有选择的包含进去。选择方法上可以考虑该属性在不同类别上的统计特性是否相近来进行判断。比如某雷达产品还会给出每个目标的多普勒径向速度不确定状态(ambiguity state)，然而该属性在前景和背景上的频率分布几乎是一致的，如图3所示，均值和方差几乎相等，这种情况下不建议作为分类器的输入特征。
[0041]
此外，不同的工作模式下毫米波雷达返回的目标数目可能不固定，为方便后续模型训练时的矩阵运算，需要对每一帧数据进行重采样，保证每帧点云数量的一致性。考虑到毫米波雷达存在过多无用的背景目标点，本发明按照平均数量进行重采样，而不是按照最大数量。
[0042]
(3)分类器
[0043]
如图4所示为本发明所述分类器的网络结构，输入数据维度为(n,4)，输出数据维度(n,),其中n代表点云个数，4代表输入通道数目，分别为：横坐标x，纵坐标y、相对速度vr和雷达散射截面积rcs，如果还有其他通道且统计特性差异较大的话，也可以加入到网络训练当中。k代表输出的类别数目。
[0044]
a.点云分类网络
[0045]
输入数据经过两次一维卷积操作后维度变成(n,64)，这里用多层感知机(mlp,multi-layer perceptron)来表示这种卷积操作。再经过三层mlp后将点云维度升至(n,1024)。对该层进行最大池化，得到这帧点云的全局特征。最后对1024个全局特征进行全连接操作，输出单帧点云的k个类别分数。
[0046]
b.点云分割网络
[0047]
为了得到每个点的类别信息，接下来选取上述分类网络中的(n,64)中间层，将全局特征和类别分数附加到每个点云上，得到分割网络的输入数据，维度为(n,64 1024 k)。之所以用这三个组合作为分割网络的输入，是因为本发明认为网络的中间层和全局特征层最能反映该帧点云的外形结构，再加上类别分数作为参考，最后经过五层mlp后最终获得每
个点云的类别概率。
[0048]
c.损失函数
[0049]
损失函数包含两部分，一部分是对类别的正确率使用交叉熵损失函数，计算公式如下：
[0050][0051]
其中，yi表示样本i的label，前景点为1，背景点为0；pi表示样本i预测为正的概率。
[0052]
另一部分是将前景点的交并比(iou，intersection of union)参与到损失函数的计算中。计算公式如下：
[0053][0054]
其中，c
gt
表示标注的类别真值，c
pred
表示预测的类别。
[0055]
总损失函数为
[0056]
l
total
＝l1 α
·
l2[0057]
其中，α为l2损失的占比，默认值为0.01。
[0058]
本发明实现了一种利用深度神经网络来实现毫米波雷达目标点云分类的方法，该方法的分类准确率能达到90％以上，前景点的iou达到0.4，对滤除无用目标，提升目标检测效果起到了良好的推动作用。
[0059]
需要说明的是，本技术中未详述的技术方案，采用公知技术。
[0060]
以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。