障碍物检测方法、装置及电子设备与流程

1.本发明涉及雷达技术领域，尤其涉及一种障碍物检测方法、装置及电子设备。


背景技术：

2.毫米波雷达是工作在毫米波波段探测的雷达，毫米波是指30-300ghz领域，波长为1-10mm。毫米波雷达能分辨识别很小的目标，而且能同时识别多个目标；具有成像能力强、体积小、机动性和隐蔽性好的优点。毫米波雷达具有无测距盲区、易于实现小型化的优点，在汽车领域广泛被应用，成为汽车对周围环境进行感知和检测的重要器件。
3.传统的障碍物检测方法是将毫米波雷达点产生的点云通过手动设定条件和阈值，对噪声和干扰进行去除，然后通过dbscan聚类算法实现目标检测。然而，车载毫米波雷达点云的信息维度较多，同时具有稀疏、噪声多和干扰性强等特点，在三维空间中对毫米波雷达目标进行检测稳定性和准确性不高，对于障碍物的分类容易出现误差。并且，检测过程中也会存在着较多的漏检和误检。
4.本发明解决的技术问题是，如何提高毫米波雷达检测的稳定性和准确性，减少对障碍物检测的误差。


技术实现要素：

5.本发明提供一种障碍物检测方法、装置及电子设备，用以解决现有技术中对障碍物检测准确性不足的缺陷，实现提高毫米波雷达检测的稳定性和准确性，减少对障碍物检测的误差。
6.本发明提供一种障碍物检测方法，包括：
7.采集雷达点云数据；
8.从所述雷达点云数据中提取各雷达点的特征信息；
9.将所述各雷达点的特征信息输入至障碍物检测模型中，输出障碍物检测结果；
10.其中，所述障碍物检测模型是利用带有标签的至少一种障碍物对应的雷达点云数据样本训练得到的
11.根据本发明提供的一种障碍物检测方法，所述特征信息包括如下至少一种：
12.所述雷达点云的位置信息、雷达散射截面积、俯仰角、航向角、点云密度、速度以及信噪比。
13.根据本发明提供的一种障碍物检测方法，在将所述各雷达点的特征信息输入至障碍物检测模型中，输出障碍物检测结果之前，所述方法还包括：
14.利用提取到的各雷达点的特征信息运行语义分割模型，输出各雷达点属于障碍物类别和背景的语义分割结果；
15.对属于障碍物类的雷达点云进行dbscan聚类，输出对应同类障碍物的目标雷达点云；
16.所述将所述各雷达点的特征信息输入至障碍物检测模型中，输出障碍物检测结
果，包括：
17.将所述目标雷达点云中的各雷达点的特征信息输入至障碍物检测模型中，输出障碍物检测结果。
18.根据本发明提供的一种障碍物检测方法，所述对属于障碍物类的雷达点云进行dbscan聚类，输出对应同类障碍物的目标雷达点云，包括：
19.对属于障碍物类的雷达点云进行dbscan聚类，输出包围同类障碍物的目标雷达点云的第一包围框；
20.将所述目标雷达点云中的各雷达点的特征信息输入至障碍物检测模型中，输出障碍物检测结果，包括：
21.将所述第一包围框内各雷达点的特征信息输入所述障碍物检测模型，输出第二包围框；
22.将所述第一包围框和第二包围框相加，得到所述障碍物的形状。
23.根据本发明提供的一种障碍物检测方法，所述语义分割模型和所述障碍物检测模型均采用多层感知机。
24.根据本发明提供的一种障碍物检测方法，所述从所述雷达点云数据中提取各雷达点的特征信息之前，所述方法还包括：
25.对采集的目标数量帧的点云数据进行融合；
26.对融合后的点云数据提取所述各雷达点的特征信息。
27.根据本发明提供的一种障碍物检测方法，所述对采集的目标数量帧的点云数据进行融合之前，所述方法还包括：
28.基于启发式算法，对所述雷达点云进行预处理，包括：去除噪声。
29.本发明还提供一种障碍物检测装置，包括：
30.采集模块，用于采集雷达点云数据；
31.特征提取模块，用于从所述雷达点云数据中提取各雷达点的特征信息；
32.信息处理模块，用于将所述各雷达点的特征信息输入至障碍物检测模型中，输出障碍物检测结果；
33.其中，所述障碍物检测模型是利用带有标签的至少一种障碍物对应的雷达点云数据样本训练得到的。
34.根据本发明提供的一种障碍物检测装置，还包括：
35.语义分割模块，用于利用提取到的各雷达点的特征信息运行语义分割模型，输出各雷达点属于障碍物类别和背景的语义分割结果；
36.聚类模块，用于对属于障碍物类的雷达点云进行dbscan聚类，输出对应同类障碍物的目标雷达点云；
37.运算模块，用于将所述各雷达点的特征信息输入至障碍物检测模型中，输出障碍物检测结果，包括：
38.将所述目标雷达点云中的各雷达点的特征信息输入至障碍物检测模型中，输出障碍物检测结果。
39.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述障碍物检测方
法的步骤。
40.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述障碍物检测方法的步骤。
41.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述障碍物检测方法的步骤。
42.本发明提供的障碍物检测方法及相关设备，通过对雷达点云数据的各个雷达点进行特征提取，获取雷达点云多个维度的信息，将多个维度的特征信息输入至障碍物检测模型，通过障碍物检测模型进行障碍物类型的检测和识别。本发明通过对雷达点云数据进行单点的特征提取，因此获取的雷达点云数据更全面，对应的各雷达点的特征信息更准确，从而能够减小误检和漏检情况，提高了障碍物检测的准确性和稳定性。
附图说明
43.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
44.图1是本发明提供的障碍物检测方法的流程示意图之一；
45.图2是本发明提供的障碍物检测方法的流程示意图之二；
46.图3是本发明提供的障碍物检测装置的结构示意图之一；
47.图4是本发明提供的障碍物检测装置的结构示意图之二；
48.图5是本发明提供的电子设备的结构示意图。
具体实施方式
49.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
50.下面结合图1-图2描述本发明的提供的障碍物检测方法。
51.本发明提供一种障碍物检测方法，如图1所示，包括以下步骤：
52.步骤110：采集雷达点云数据；
53.其中，本实施例中的雷达指的是毫米波雷达，毫米波雷达能分辨识别很小的目标，而且能同时识别多个目标；具有成像能力强、体积小、机动性和隐蔽性好的优点。
54.本实施例中，毫米波雷达设置于自动驾驶的汽车上，可根据实际情况设置不同的数量，设置在自动驾驶汽车的不同位置上，以获取各个方位不同的雷达点云数据。
55.步骤120：从所述雷达点云数据中提取各雷达点的特征信息；
56.具体地，雷达点云具有信息维度多，分布复杂的特点，难以对不同维度的信息统一进行处理，需要将雷达点云进行单点、局部以及全局特征提取，获取多个维度不同的信息。在此步骤中，提取各雷达点的特征信息，即对雷达点云数据进行单点特征提取。
57.步骤130：将所述各雷达点的特征信息输入至障碍物检测模型中，输出障碍物检测
结果；
58.其中，所述障碍物检测模型是利用带有标签的至少一种障碍物对应的雷达点云数据样本训练得到的。
59.具体地，通过障碍物检测模型，对雷达点云数据代表的对象进行检测与识别。首先判断检测的对象是障碍物还是背景，障碍物的类型包括障碍物通常为车辆、行人等，背景通常为栏杆。其次，再对障碍物的形状、大小做进一步地检测。
60.本实施例中，障碍物模型是基于雷达点云样本训练而得到的，每个训练样本都包括目标雷达点云，并且目标雷达点云在训练样本中都已经被标定，即本实施例进行有标签的训练，也就是说目标雷达点云在每个训练样本中都是已知的。本实施例中，障碍物模型是基于多分类交叉熵损失来监督模型的训练，最终实现语义分割的功能。语义分割是计算机视觉中的基本任务，在语义分割中我们需要将视觉输入分为不同的语义可解释类别，本实施例中的语义分割指将雷达点云的特征信息分割为障碍物和背景两种类别。
61.本实施例提供的障碍物检测方法，通过对雷达点云进行特征提取，获取雷达点云多个维度的信息，将多个维度的特征信息输入至障碍物检测模型，通过障碍物检测模型进行障碍物类型的检测和识别。本发明通过对雷达点云数据进行单点的特征提取，因此获取的雷达点云数据更全面，对应的各雷达点的特征信息也就更准确，从而能够减小误检和漏检情况，提高了障碍物检测的准确性和稳定性。
62.可选地，所述特征信息包括如下至少一种：
63.所述雷达点云的位置信息、雷达散射截面积、俯仰角、航向角、点云密度、速度以及信噪比。
64.具体地，位置信息反映了雷达点云的大致方位。雷达散射截面积是指雷达入射方向上单位立体角内返回散射功率与目标截状的功率密度之比，表征了雷达波照射下所产生的回波强度。俯仰角反映了障碍物相对于自动驾驶汽车的纵向的相对角度。航向角反映了障碍物相对于自动驾驶汽车的横向的相对角度。点云密度反映了障碍物对雷达回波的反射的密集程度。具体表现为，距离雷达较近的障碍物的点云比较密集，而距离雷达较远的障碍物的点云就比较稀疏。点云速度可作为初步判断背景和障碍物的依据，而不同的动态障碍物的速度也不同。信噪比则指的是雷达设备产生信号和噪声的比例，这里信号指雷达设备处理的点云信号，而噪声指的是经过雷达设备后产生的原信号中并不存在的无规则的额外信号。
65.其中点云密度的计算公式为：
[0066][0067]
其中ρ为点云密度，m为所选区域雷达点云的个数，s为所选区域雷达点云的面积。
[0068]
本发明提供的另一实施例中，参照图2，障碍物检测方法还包括以下步骤：
[0069]
步骤210：利用提取到的各雷达点的特征信息运行语义分割模型，输出各雷达点属于障碍物类别和背景的语义分割结果；
[0070]
步骤220：对属于障碍物类的雷达点云进行dbscan聚类，输出对应同类障碍物的目标雷达点云；
[0071]
步骤230：所述将所述各雷达点的特征信息输入至障碍物检测模型中，输出障碍物
检测结果，包括：
[0072]
将所述目标雷达点云中的各雷达点的特征信息输入至障碍物检测模型中，输出障碍物检测结果。
[0073]
由于在对雷达点云的进行检测时，会受到周围环境的影响，再加上雷达点云的多维度信息的复杂性，本实施例先通过将雷达点云数据的特征信息进行语义分割，将属于障碍物类的雷达点云进行dbscan聚类，再将聚类后的雷达点云输入至障碍物检测模型中。本实施通过语义分割和dbscan聚类的方法，对障碍物和背景的雷达点云进行了进一步地处理，在进行检测之前便可筛选掉一部分不属于障碍物的雷达点云，从而进一步提升检测的准确性。
[0074]
其中，聚类算法是以数据的相似性为基础，在一个聚类中的模式之间比不在同一聚类中的模式之间具有更多的相似性。本实施例中，将雷达点云进行语义分割和dbscan聚类，能够筛选掉一部分背景的雷达点云，缩小了障碍物的检测范围，以便于后续的检测。
[0075]
dbscan(density-based spatial clustering of applications with noise)是一种密度聚类算法，聚类类别可以通过样本分布的紧密程度决定。通过将紧密相连的样本划为一类，得到一个聚类类别。通过将所有各组紧密相连的样本划为各个不同的类别，得到最终的所有聚类类别结果。本实施例中将各组紧密连续的雷达点云划为一类，得到多组不同的雷达点云的聚类类别。
[0076]
dbscan聚类算法既可以适用于凸样本集，也可以适用于非凸样本集。dbscan聚类算法的显著优点是聚类速度快且能够有效处理噪声点和发现任意形状的空间聚类。
[0077]
通过dbscan聚类算法，得到障碍物对应的雷达点云的包围框的特征信息。将包围框的特征信息输入到障碍物检测模型中，以获取更精确的检测结果。在本实施例中，障碍物检测模型通过smooth l1回归损失以及二分类交叉熵损失进行监督和训练。通过障碍物检测模型输出这些包围框的中心点以及延伸补偿，再和输入障碍物检测模型之前的包围框的特征做加法，从而输出最终的包围框的中心点以及长和宽，并输出置信度。
[0078]
本实施例通过将各雷达点对应的雷达点云进行分类，再将属于障碍物的雷达点云进行dbscan聚类分析以及进一步地特征提取，再将特征输入到障碍物检测模型中，能够进一步地提高检测的准确率，以及显著地降低误检率。
[0079]
可选地，所述对属于障碍物类的雷达点云进行dbscan聚类，输出对应同类障碍物的目标雷达点云，包括：
[0080]
对属于障碍物类的雷达点云进行dbscan聚类，输出包围同类障碍物的目标雷达点云的第一包围框；
[0081]
将所述目标雷达点云中的各雷达点的特征信息输入至障碍物检测模型中，输出障碍物检测结果，包括：
[0082]
将所述第一包围框内各雷达点的特征信息输入所述障碍物检测模型，输出第二包围框；
[0083]
将所述第一包围框和第二包围框相加，得到所述障碍物的形状。
[0084]
由于包围框是一个虚拟的特征，雷达点云的图像中并不能显示包围框的具体状态，因此无法对包围框直接进行特征提取，需要进行特征信息的处理和转换。
[0085]
具体表现为，在获取包围框的位置坐标等特征之后，对包围框内的雷达点云进行
特征提取，包括包围框内雷达点云的坐标信息、雷达散射截面积、俯仰角、航向角、点云密度等信息。然后用包围框内的雷达点云的特征信息作为包围框的特征信息，输入至障碍物检测模型中，障碍物检测模型输出包围框的检测结果，与输入的包围框相加，进而获取障碍物的检测结果。
[0086]
本实施例中，所述语义分割模型和所述障碍物检测模型均采用多层感知机。
[0087]
可选的，所述从所述雷达点云数据中提取各雷达点的特征信息之前，所述方法还包括：
[0088]
对采集的目标数量帧的点云数据进行融合；
[0089]
对融合后的点云数据提取所述各雷达点的特征信息。
[0090]
本实施中，对雷达点云进行单点的逐帧提取，获得每一帧所对应的雷达点云，同时，利用本车的速度信息，对每一帧对应的雷达点云进行运动补偿，然后将多个雷达点云进行叠加。叠加融合之后的雷达点云增加了雷达点的数量，使得对于雷达点云数据进行特征提取更加方便。
[0091]
可选的，所述对采集的目标数量帧的点云数据进行融合之前，所述方法还包括：
[0092]
基于启发式算法，对所述雷达点云进行预处理，包括：去除噪声。
[0093]
具体地，启发式算法是一个基于直观或经验构造的算法，在可接受的花费(指计算时间和空间)下给出待解决组合优化问题每一个实例的一个可行解，该可行解与最优解的偏离程度一般不能被预计。本实施例中，启发式算法可选择为：蚁群算法、模拟退火法、神经网络等。
[0094]
由于雷达点云具有稀疏、噪声多和干扰性强的特点，在本实施例中，通过设定预处理条件和阈值，对雷达点云进行预处理，通常指去除噪声。噪声通常包括杂波以及系统内部各种有源或者无源的干扰。
[0095]
去除噪声的具体方法为：对雷达采集的点云进行预处理，先进行雷达坐标系到本车坐标系的转换，然后根据雷达的视场角(fov)，对不同区域的雷达点，设定一些不同的雷达散射截面(rcs)、信噪比(snr)阈值，进行自适应的噪声去除。
[0096]
本实施通过对雷达点云进行预处理，在进行特征提取之前提前去除噪声，进行预处理后的雷达点云能够使后续的特征提取以及检测的结果更加准确和方便。
[0097]
下面对本发明提供的障碍物检测装置进行描述，下文描述的障碍物检测装置与上文描述的障碍物检测方法可相互对应参照。
[0098]
如图3所示，本发明提供的障碍物检测装置包括以下模块：采集模块310、特征提取模块320以及信息处理模块330。
[0099]
采集模块310，用于采集雷达点云数据；
[0100]
特征提取模块320，用于从所述雷达点云数据中提取各雷达点的特征信息；
[0101]
信息处理模块330，用于将所述各雷达点的特征信息输入至障碍物检测模型中，输出障碍物检测结果；
[0102]
其中，所述障碍物检测模型是利用带有标签的至少一种障碍物对应的雷达点云数据样本训练得到的。
[0103]
本实施例提供的障碍物检测装置，通过对雷达点云进行特征提取，获取雷达点云多个维度的信息，将多个维度的特征信息输入至障碍物检测模型，通过障碍物检测模型进
行障碍物类型的检测和识别。本发明通过对雷达点云数据进行单点的特征提取，因此获取的雷达点云数据更全面，对应的各雷达点的特征信息也就更准确，从而能够减小误检和漏检情况，提高了障碍物检测的准确性和稳定性。
[0104]
在一优选实施例中，如图4所示，本实施例提供的障碍物检测装置还包括：语义分割模块410、聚类模块420以及运算模块430。
[0105]
语义分割模块410，用于利用提取到的各雷达点的特征信息运行语义分割模型，输出各雷达点属于障碍物类别和背景的语义分割结果；
[0106]
聚类模块420，用于对属于障碍物类的雷达点云进行dbscan聚类，输出对应同类障碍物的目标雷达点云；
[0107]
运算模块430，用于将所述各雷达点的特征信息输入至障碍物检测模型中，输出障碍物检测结果，包括：
[0108]
将所述目标雷达点云中的各雷达点的特征信息输入至障碍物检测模型中，输出障碍物检测结果。
[0109]
本实施例提供的障碍物检测装置通过将各雷达点对应的雷达点云进行语义分割，再将属于障碍物的雷达点云进行dbscan聚类分析以及进一步地特征提取，再将特征输入到障碍物检测模型中，能够进一步地提高检测的准确率，以及显著地降低误检率。
[0110]
图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(communications interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行障碍物检测方法，该方法包括：
[0111]
采集雷达点云数据；
[0112]
从所述雷达点云数据中提取各雷达点的特征信息；
[0113]
将所述各雷达点的特征信息输入至障碍物检测模型中，输出障碍物检测结果；
[0114]
其中，所述障碍物检测模型是利用带有标签的至少一种障碍物对应的雷达点云数据样本训练得到的。
[0115]
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0116]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的障碍物检测方法，该方法包括：
[0117]
采集雷达点云数据；
[0118]
从所述雷达点云数据中提取各雷达点的特征信息；
[0119]
将所述各雷达点的特征信息输入至障碍物检测模型中，输出障碍物检测结果；
[0120]
其中，所述障碍物检测模型是利用带有标签的至少一种障碍物对应的雷达点云数据样本训练得到的。
[0121]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的障碍物检测方法，该方法包括：
[0122]
采集雷达点云数据；
[0123]
从所述雷达点云数据中提取各雷达点的特征信息；
[0124]
将所述各雷达点的特征信息输入至障碍物检测模型中，输出障碍物检测结果；
[0125]
其中，所述障碍物检测模型是利用带有标签的至少一种障碍物对应的雷达点云数据样本训练得到的。
[0126]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0127]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0128]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。