基于V2X的数据采集融合设备、方法和系统与流程

基于v2x的数据采集融合设备、方法和系统
技术领域
1.本发明涉及数据采集融合技术领域，具体地，涉及一种基于v2x的数据采集融合设备、方法和系统。


背景技术：

2.目前，对于车联网与v2x技术已经有了一定的研究，专利文献cn110606083b(申请号：cn201910876899.6)公开了一种多传感器与v2x融合的低速巡航方法及系统，研究了如何利用v2x广播与adas实现汽车的低速巡航；专利文献cn110988541a(申请号：cn201911276947.4)公开了一种用于智能网联汽车信道抗扰性能测试的系统及方法，研究了如何提高v2x数据采集系统的抗干扰能力；“一种支持v2x技术的车载设备”提出了一种基于车载t
‑
box和v2x模块的车载设备；“一种支持v2x技术的路边设备”提出了一种支持v2x的路边设备组成结构，“智能汽车多传感器融合装置”提出了一种智能汽车的传感器安装配置。
3.综上所述，虽然目前对于车联网与v2x领域有了一定的研究，但大部分研究都专注于通信设施或传感器的研究，而对于通信与感知的联合数据采集研究较少，然而，仅利用通信技术或传感器技术难以突破设施自身的局限性，因此有必要提出一种利用通信技术和传感器技术融合的v2x数据采集系统。


技术实现要素：

4.针对现有技术中的缺陷，本发明的目的是提供一种基于v2x的数据采集融合设备、方法和系统。
5.根据本发明提供的基于v2x的数据采集融合设备，包括：
6.用于实现v2v和v2i通信的dsrc专用短程通信收发设备；
7.用于实现v2n和v2p通信的5g收发设备；
8.用于车道线、交通标示牌、红绿灯、车辆以及行人检测的单目相机；
9.用于与相机融合实现多源数据采集的激光雷达；
10.用于定位和高精度地图建模的组合导航系统；
11.用于辅助前方道路数据采集的毫米波雷达；
12.用于识别车辆周围障碍物的超声波雷达。
13.根据本发明提供的基于v2x的数据采集融合方法，包括如下步骤：
14.步骤1、利用车载组合导航系统建立周围测试场的高精度地图并对车辆自身进行定位，得到自身在测试场中的位置信息；
15.步骤2、采用gps和ins融合定位的方式弥补单个传感器的缺陷；
16.步骤3、利用单目摄像头获取车辆前方图像信息，并对图像做修正处理；
17.步骤4、利用目标检测技术对修正过的图像进行识别，提取出图像中人、车、障碍物以及车道线、交通标志牌、红绿灯的特征信息并得到标签和检测框；
18.步骤5、利用激光雷达获取车辆前方点云信息，利用聚类算法对点云进行聚类，得到激光雷达的检测结果；
19.步骤6、将激光雷达的点云映射到图像中，利用检测框对点云进行处理，实现激光雷达与相机的融合；
20.步骤7、在将激光雷达点云向图像映射前，对激光雷达和相机位置进行标定，再利用映射公式将点云映射到图像上；
21.步骤8、将激光雷达与相机的检测结果进行匹配融合，得到具有距离信息和目标检测标签的目标信息，实现激光雷达和点云的融合。
22.优选的，在获取图像信息前，对相机的内参、外参和畸变系数进行标定，消除相机镜头存在的畸变现象。
23.优选的，所述映射公式为：
24.y＝p
×
r
×
m
×
x
25.其中，p、r、m分别为相机的内参矩阵、旋转修正矩阵和外参矩阵，x为激光雷达点云坐标，y为映射到图像上的点云坐标。
26.优选的，利用毫米波雷达和超声波雷达同时进行周围障碍物的检测，排除激光雷达和相机受环境干扰的因素，以保证汽车行驶安全。
27.优选的，利用专用短程通信技术dsrc实现自动驾驶汽车与道路设施和周围车辆的通信；
28.向道路设施发送的内容包括自身车辆位置、车速、车载传感器识别出的障碍物以及自身超车、转向的驾驶决策；
29.从道路设施接收的内容包括前方道路障碍物以及交通标志信息。
30.优选的，利用5g通信技术进行车与云平台的通信、车与人的通信，实现自动驾驶汽车根据接收的信息规划行驶路径；
31.发送的内容包括汽车的位置、速度以及目的地信息；
32.接收的信息包括云平台存有的道路、行人信息，以及道路拥堵状况信息。
33.优选的，将车载传感器识别出的信息和利用无线通信接收到的信息进行融合，利用决策算法做出全局最优决策；
34.在决策过程中根据实际情况对判断权重做出适当调整。
35.根据本发明提供的基于v2x的数据采集融合系统，包括如下模块：
36.模块m1、利用车载组合导航系统建立周围测试场的高精度地图并对车辆自身进行定位，得到自身在测试场中的位置信息；
37.模块m2、采用gps和ins融合定位的方式弥补单个传感器的缺陷；
38.模块m3、利用单目摄像头获取车辆前方图像信息，并对图像做修正处理；
39.模块m4、利用目标检测技术对修正过的图像进行识别，提取出图像中人、车、障碍物以及车道线、交通标志牌、红绿灯的特征信息并得到标签和检测框；
40.模块m5、利用激光雷达获取车辆前方点云信息，利用聚类算法对点云进行聚类，得到激光雷达的检测结果；
41.模块m6、将激光雷达的点云映射到图像中，利用检测框对点云进行处理，实现激光雷达与相机的融合；
42.模块m7、在将激光雷达点云向图像映射前，对激光雷达和相机位置进行标定，再利用映射公式将点云映射到图像上；
43.模块m8、将激光雷达与相机的检测结果进行匹配融合，得到具有距离信息和目标检测标签的目标信息，实现激光雷达和点云的融合。
44.优选的，在获取图像信息前，对相机的内参、外参和畸变系数进行标定，消除相机镜头存在的畸变现象；
45.所述映射公式为：
46.y＝p
×
r
×
m
×
x
47.其中，p、r、m分别为相机的内参矩阵、旋转修正矩阵和外参矩阵，x为激光雷达点云坐标，y为映射到图像上的点云坐标；
48.利用毫米波雷达和超声波雷达同时进行周围障碍物的检测，排除激光雷达和相机受环境干扰的因素，以保证汽车行驶安全；
49.利用专用短程通信技术dsrc实现自动驾驶汽车与道路设施和周围车辆的通信；
50.向道路设施发送的内容包括自身车辆位置、车速、车载传感器识别出的障碍物以及自身超车、转向的驾驶决策；
51.从道路设施接收的内容包括前方道路障碍物以及交通标志信息；
52.利用5g通信技术进行车与云平台的通信、车与人的通信，实现自动驾驶汽车根据接收的信息规划行驶路径；
53.发送的内容包括汽车的位置、速度以及目的地信息；
54.接收的信息包括云平台存有的道路、行人信息，以及道路拥堵状况信息；
55.将车载传感器识别出的信息和利用无线通信接收到的信息进行融合，利用决策算法做出全局最优决策；
56.在决策过程中根据实际情况对判断权重做出适当调整。
57.与现有技术相比，本发明具有如下的有益效果：
58.(1)本发明系统采用无线通信和传感器结合的方式实现自动驾驶汽车对周围环境的数据采集和感知识别，大大提高了感知系统的准确度和稳定性；
59.(2)本发明利用5g技术实现自动驾驶汽车与云平台的通信，不仅可以获取路边行人位置，防止漏检或误检，还可以利用云平台获取大范围的交通状态，规划行驶路线，改善交通拥堵状况。
附图说明
60.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
61.图1为相机与激光雷达联合目标检测流程图；
62.图2为v2x通信结构示意图；
63.图3为基于v2x的数据采集流程图。
具体实施方式
64.下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术
人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
65.实施例：
66.本发明提出的v2x设备包括：
67.用于实现v2v和v2i通信的dsrc专用短程通信收发设备和技术；
68.用于实现v2n和v2p通信的5g收发设备和技术；
69.用于车道线、交通标示牌、红绿灯以及车辆、行人检测的单目相机一个；
70.用于与相机融合实现多源数据采集的激光雷达一个；
71.用于定位和高精度地图建模的组合导航系统；
72.用于辅助前方道路数据采集的毫米波雷达一个；
73.用于识别车辆四周近距离障碍物的超声波雷达四个；
74.在实际驾驶过程中，驾驶场景往往十分复杂，需要考虑到天气、来往车辆、行人、道路临时障碍、交通规则、交通状况等多方面的信息，因此利用多源信息采集装置进行环境感知是十分重要的，本发明将信息采集分为两大类：通信装置和传感器装置，通过通信和传感器手段分别感知环境不同模态的信息，并将多源信息融合，实现驾驶场景的识别。
75.请参见图1
‑
3，根据本发明提供的一种基于v2x的自动驾驶测试场数据采集及融合方法，包括如下步骤：
76.步骤1.利用车载组合导航系统建立周围测试场的高精度地图并对车辆自身进行定位，得到自身在测试场中的位置信息；
77.步骤2.采用gps ins融合定位的方式弥补单个传感器的缺陷。ins的计算频率一般大于gps，因此采用ins定位，gps修正的方式对汽车实现更加精准的定位。
78.步骤3.利用单目摄像头获取车辆前方图像信息，由于相机的镜头存在畸变现象，需要提前对相机的内参、外参和畸变系数进行标定，对图像做修正处理；
79.步骤4.利用目标检测技术对修正过的图像进行识别，提取出图像中人、车等障碍物以及车道线、交通标志牌、红绿灯等的特征信息并得到标签和检测框；
80.步骤5.激光雷达获取车辆前方点云信息，利用聚类算法对点云进行聚类，得到激光雷达的检测结果；
81.步骤6.将激光雷达的点云映射到图像中，利用检测框对点云进行处理，实现激光雷达与相机的融合；
82.步骤7.在将激光雷达点云向图像映射前，需要对激光雷达和相机位置进行标定，再利用映射公式y＝p
×
r
×
m
×
x将点云映射到图像上；
83.其中，p、r、m分别为相机的内参矩阵、旋转修正矩阵和外参矩阵，在相机和激光雷达的标定过程中得到这三个矩阵，x为激光雷达点云坐标，y为映射到图像上的点云坐标；
84.步骤8.将激光雷达与相机的检测结果进行匹配融合，得到具有距离信息和目标检测标签的目标信息，实现激光雷达和点云的融合；
85.步骤9.由于激光雷达和相机容易受到环境的干扰，为了保证汽车行驶的安全性，需要利用毫米波雷达和超声波雷达同时进行周围障碍物的检测；
86.步骤10.利用dsrc专用短程通信实现自动驾驶汽车与道路设施和周围车辆的通
信；
87.向道路设施发送的内容包括自身车辆位置、车速、车载传感器识别出的障碍物以及自身超车、转向等驾驶决策；
88.从道路设施接收的内容包括前方道路障碍物以及交通标志信息等；
89.步骤11.利用5g通信技术实现车与云平台的通信，另外，行人也可以利用手机向云平台发送自己的位置信息；
90.发送的内容包括汽车的位置、速度以及目的地等信息；
91.接收的信息包括云平台存有的道路行人信息，实现车与人的通信，以及道路拥堵状况信息，自动驾驶汽车可根据这些信息规划行驶路径；
92.步骤12.将车载传感器识别出的信息和利用无线通信接收到的信息进行融合，利用决策算法做出全局最优决策；
93.步骤13.传感器得到的数据会受到天气、光照等条件的影响，而在隧道等特殊场景无线通信的功能也会受到干扰，决策过程中应根据实际情况对判断权重做出适当调整。
94.本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
95.以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本技术的实施例和实施例中的特征可以任意相互组合。