智能平台车环境感知系统及其数据融合方法与流程

1.本发明涉及，具体地，涉及一种智能平台车环境感知系统及其数据融合的方法。


背景技术：

2.目前，随着智能汽车技术的飞速发展，各大型汽车厂商均大力研发无人驾驶汽车技术，无人驾驶已经掀起了全球研究的热潮。无人驾驶技术中，感知作为智能车的“智慧之眼”，是最为基础的技术，也是无人驾驶能够实现的前提。感知技术是指车辆通过传感器与外界环境进行交互，并对感知到的信息进行处理，得到识别结果。常用的传感器有相机、激光雷达、毫米波雷达、超声波雷达、惯导、卫星定位系统等，各传感器有各自的优缺点，一般需要多个传感器的共同工作，才能达到无人驾驶对于环境的感知要求，因此，传感器的数据融合也成为了感知的关键技术。
3.目前，对于智能汽车传感器数据融合已经有了一定的研究，例如“一种基于磁导航的多传感器融合智能车的自动驾驶系统”研究了怎样利用多种传感器分工检测提高汽车的感知能力，“一种面向智能车的毫米波雷达与单目相机信息融合方法”研究了如何利用毫米波雷达与相机进行数据融合，“一种用于车辆的环境感知系统及其控制方法”研究了如何利用多个摄像头与毫米波雷达对汽车四周进行感知，“一种融合多源车载传感器信息的智能车辆驾驶性自动化评价方法”研究了如何利用多个传感器感知到的信息对汽车驾驶性进行自动化评价。
4.虽然现状对于智能汽车传感器数据融合有了一定的研究，但是综上所述，大部分研究都在于摄像头与毫米波雷达的融合，而对于价格更高的激光雷达研究较少。然而，激光雷达有着更高的分辨率，能够实现更加精确的障碍物检测，在目前的感知算法下，毫米波雷达还不能满足无人驾驶所需的探测能力，因此有必要提出一种融合激光雷达的感知系统。


技术实现要素：

5.针对现有技术中的缺陷，本发明的目的是提供一种智能平台车环境感知系统及其数据融合方法。
6.根据本发明提供的一种智能平台车环境感知系统，包括设置在车辆本体上的相机、激光雷达、毫米波雷达、gps定位系统、超声波雷达以及惯性导航系统，其中：
7.相机用于车道线、交通标示牌、红绿灯以及车辆、行人检测；
8.激光雷达用于与相机融合3d场景识别；
9.毫米波雷达用于辅助场景识别；
10.超声波雷达用于识别车辆四周近距离障碍物；
11.gps定位系统用于定位；
12.惯性导航系统用于高精度地图建模。
13.优选地，所述激光雷达采用16线激光雷达和32线激光雷达。
14.优选地，所述超声波雷达设置有多个，多个超声波雷达分布在车辆本体的四周。
15.根据本发明提供的一种基于上述的智能平台车环境感知系统的数据融合方法，包括如下步骤：
16.图像获取步骤：使用张正友标定法对相机的内参、外参和畸变系数进行标定，利用相机获取图像；
17.图像处理步骤：利用卷积神经网络对去畸变的图像进行处理，提取出障碍物信息和交通特征信息；
18.激光雷达探测步骤：对激光雷达的点云数据进行拟合匹配，通过激光雷达探测障碍物的位置信息；
19.修正步骤：利用毫米波雷达检测前方道路障碍物，对激光雷达的数据进行修正；
20.数据融合步骤：利用特征级融合对摄像头，激光雷达和毫米波雷达的数据进行融合，得到3d目标检测，识别道路上障碍物，并对目标物进行封装分类并添加标签；
21.数据跟踪步骤：对目标物进行跟踪。
22.优选地，还包括gps识别步骤：将车辆本体所在位置驶时显示在地图中，对比识别出的障碍物与地图中的路况。
23.优选地，还包括惯性导航系统定位步骤：通过惯性导航系统对车辆本体进行定位。
24.优选地，还包括预警步骤：超声波雷达监测车辆本体和障碍物的距离小于设定值时，车辆本体发出预警。
25.优选地，利用卡尔曼滤波算法对目标物进行跟踪。
26.优选地，还包括判断躲避步骤：基于目标物的追踪、车辆本体的位置、超声波雷达监测的距离目标，判断躲避方案。
27.与现有技术相比，本发明具有如下的有益效果：
28.1、本发明解决了智能车感知能力不足与传感器价格昂贵的矛盾，使智能汽车可以利用更低的成本达到较好的感知能力。
29.2、本发明采用了两个线束较低的激光雷达进行融合，减少了因购买高线束激光雷达带来的高昂成本。
30.3、本发明采用高精度地图对智能汽车进行定位，有效解决了立交桥等复杂路况对识别带来的困难。
31.4、本发明采用了多种传感器进行数据融合，有足够的冗余性，能够保证智能汽车的安全性。
附图说明
32.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
33.图1为传感器在智能汽车上的排布；
34.图2为粒子群算法优化点云配准的流程图；
35.图3为障碍物识别封装流程图；
36.图4为整体环境感知识与追踪流程图。
具体实施方式
37.下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
38.如图1至图4所示，本发明提供的一种智能平台车环境感知系统，包括车辆本体以及设置在车辆本体上的相机、激光雷达、毫米波雷达、gps定位系统、超声波雷达以及惯性导航系统，其中：相机用于车道线、交通标示牌、红绿灯以及车辆、行人检测；激光雷达用于与相机融合3d场景识别；毫米波雷达用于辅助场景识别；超声波雷达用于识别车辆四周近距离障碍物；gps定位系统用于定位；惯性导航系统用于高精度地图建模。激光雷达采用16线激光雷达和32线激光雷达。超声波雷达设置有多个，多个超声波雷达分布在车辆本体的四周。
39.根据本发明提供的一种基于上述的智能平台车环境感知系统的数据融合方法，包括图像获取步骤：使用张正友标定法对相机的内参、外参和畸变系数进行标定，利用相机获取图像；图像处理步骤：利用卷积神经网络对去畸变的图像进行处理，提取出障碍物信息和交通特征信息；激光雷达探测步骤：对激光雷达的点云数据进行拟合匹配，通过激光雷达探测障碍物的位置信息；修正步骤：利用毫米波雷达检测前方道路障碍物，对激光雷达的数据进行修正；数据融合步骤：利用特征级融合对摄像头，激光雷达和毫米波雷达的数据进行融合，得到3d目标检测，识别道路上障碍物，并对目标物进行封装分类并添加标签；数据跟踪步骤：利用卡尔曼滤波算法对目标物进行跟踪。gps识别步骤：将车辆本体所在位置驶时显示在地图中，对比识别出的障碍物与地图中的路况。惯性导航系统定位步骤：通过惯性导航系统对车辆本体进行定位。预警步骤：超声波雷达监测车辆本体和障碍物的距离小于设定值时，车辆本体发出预警。判断躲避步骤：基于目标物的追踪、车辆本体的位置、超声波雷达监测的距离目标，判断躲避方案。
40.更进一步的，本发明提供了一种智能平台车环境感知系统及其数据融合方法，本发明提出的数据融合系统包括：用于车道线、交通标示牌、红绿灯以及车辆、行人检测的单目相机一个；用于与相机融合3d场景识别的16线和32线激光雷达各一个；用于辅助场景识别的毫米波雷达一个；用于识别车辆四周近距离障碍物的超声波雷达四个；用于定位和高精度地图建模的gps定位系统和惯性导航系统。
41.本发明采用的标定及融合方法包括张正友标定法、卷积神经网络、粒子群算法与卡尔曼滤波算法等。
42.由于激光雷达的价格十分昂贵，在2018年末的报价中，16线、32线、64线的车载激光雷达价格分别为4万元、40万元、80万元左右，虽然现在激光雷达的价格以及大幅下降，但高线束的激光雷达价格仍然十分高昂。因此，为了在能保证感知精度的基础上降低成本，采用16线 32线激光雷达联合感知的方式。
43.为了达到上述目的，所述智能车感知过程包括以下步骤：
44.首先利用单目摄像头获取图像，由于相机的镜头存在畸变现象，所以在使用相机之前需要使用张正友标定法对相机的内参、外参和畸变系数进行标定；
45.标定好后，利用卷积神经网络对去畸变的图像进行处理，提取出人、车等障碍物以
及车道线、交通标志牌、红绿灯等的特征信息；
46.由于单目摄像头成像为2d图像，无法得知障碍物的距离信息，因此需要激光雷达探测障碍物的位置信息；
47.由于使用了两个激光雷达，它们的坐标系存在差异，因此首先要对两个激光雷达的点云数据进行拟合匹配，此处使用粒子群优化算法对点云进行配准；
48.两个激光雷达的配准可以看作为两组点云多次优化寻找最佳刚性变换的问题，采用粒子群优化算法可以方便地找到较好的刚性变换结果；
49.激光雷达容易受到天气状况的干扰，为了保证汽车行驶的安全性，感知必须要有一定的冗余性，因此利用毫米波雷达检测前方道路障碍物，对激光雷达的数据进行修正；
50.接下来利用特征级融合对摄像头，激光雷达和毫米波雷达的数据进行融合，得到更加精准的3d目标检测，识别道路上的行人、车辆等障碍物，并对目标进行封装分类并添加标签；
51.利用卡尔曼滤波算法对目标物进行跟踪；
52.在实际行驶过程中，经常出现难以识别的状况，例如在立交桥下行驶时，会出现识别到上方障碍物的情况，此时如果将上方障碍物全部忽略，便容易出现检测不完全的现象，实际上也出现过无人驾驶汽车将白色货车车厢当成白云以致发生事故的例子，若不将上方障碍物忽略，则无人驾驶汽车很难正常行驶；
53.为了解决立交桥等复杂的路况带来的识别困难，引入gps和高精度地图，将车辆所在位置驶时显示在高精度地图中，对比识别出的障碍物与高精度地图中的路况，便可以有效解决这类复杂路况的识别问题；
54.由于gps信号会受到高楼、随道等环境的影响，在某些特定环境定位效果较差，而惯性导航系统(ins)不受环境的干扰，但自身随着时间的延续会逐渐增大累计误差，因此可以采用gps ins融合定位的方式弥补单个传感器的缺陷。ins的计算频率一般大于gps，因此可以采用ins定位，gps修正的方式对汽车实现更加精准的定位。
55.在智能车辆行驶过程中，超声波雷达实时检测车辆四周的环境，当智能汽车离障碍物或离栏杆、路牙等较近时，便会发出预警，避免智能汽车与突然出现或识别遗漏的障碍物发生碰撞。
56.以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本技术的实施例和实施例中的特征可以任意相互组合。