基于检测车辆轨迹大数据的地图车道线标注方法及系统与流程

1.本发明涉及地图车道线标注方法，具体地，涉及一种基于检测车辆轨迹大数据的地图车道线标注方法及系统。


背景技术：

2.现有的地图车道线标注技术主要包括：
3.1、通过相机采集图像集,通过深度学习识别图像集中的车道线信息,结合车辆本身的位姿信息,拼接成高精度地图的车道线信息。本方法中视觉受光线影响较严重,下雨,路面积水,车道线损坏,遮挡,均会对识别结果产生影响,又因相机本身无法提供深度信息,导致高精度地图的精度难以突破10cm级别,少数可以达到厘米级的纯视觉高精度地图车道线标注方案。
4.2、通过激光雷达采集车道线信息,结合车辆本身的位姿信息,拼接点云地图,通过生成点云的深度学习,识别对应车道线,结合人工标注,生成高精度地图。
5.激光雷达无法提供车道线的颜色信息,无法区分白线和黄线,激光雷达识别出的车道线点云与其他点云地位上并无明显区别,容易发生误检,漏检问题,激光雷达易受到干扰,下雨,路面积水,其他激光雷达对射,车道线损坏,遮挡等问题,均会对识别结果产生影响.激光雷达叠加数据难以完全滤除车辆干扰,数据采集越多,生成的地图中,出现在视野里的车辆的干扰点越多,导致数据量的增加并不能帮助标注反而会影响标注的结果。
6.在公开号为cn112329553a的中国发明专利申请文件中，公开了一种车道线标注方法及装置，所述方法包括：获取待标注图像，所述待标注图像包括至少一条车道线；针对每条车道线，在所述车道线的两端分别确定一个与所述车道线两侧边界均相切的相切圆；获取车道线拟合参数，基于所述相切圆的圆心和所述车道线拟合参数进行曲线拟合，得到所述车道线的车道中心线；根据所述相切圆和所述车道中心线确定所述车道线两侧边界的车道边界线；根据所述车道边界线对所述车道线进行标注。本发明的标注方法，通过利用相切圆先拟合出所述车道线的车道中心线，然后将所述车道中心线进行扩展得到所述车道线两侧边界的车道边界线，能够提高车道线标注效率，保证车道线标注宽度均匀变化。


技术实现要素：

7.针对现有技术中的缺陷，本发明的目的是提供一种基于检测车辆轨迹大数据的地图车道线标注方法及系统。
8.根据本发明提供的一种基于检测车辆轨迹大数据的地图车道线标注方法，包括以下步骤：
9.步骤s1：通过采集设备对验证路段进行数据采集，所述验证路段为地图上未标注车道线的路段；
10.步骤s2：根据车辆模型获取行车轨迹信息；
11.步骤s3：建立标注路段中车道线、行车轨迹与验证路段中车道线、行车轨迹的映射
关系，所述标注路段为地图上已标注车道线的路段；
12.步骤s4：建立验证路段的车道线与车道轨迹的关系模型并修正；
13.步骤s5：通过车道线与车道轨迹的关系模型，预测其他路段的车道线，完成地图的车道线标注。
14.优选的，在所述步骤s3中，对城市的地图进行栅格化，将车辆轨迹点转化成对应车道及道路中心线的格栅概率密度，得到最大似然的车道线分布。
15.优选的，在所述步骤s4中，通过对车道线与车道轨迹映射关系的逻辑建模，或端对端的机器学习训练，可以得到高精度地图区域的车道线与车道轨迹的关系模型，预测验证数据集所在区域的车道线；同时预测车道线将与真实车道线对比，不断修正模型参数。
16.优选的，所述步骤s2中，将传感器采集的数据进行计算，得到采集车在图像相对坐标系下的位置，然后估算出传感器采集的车辆对象在三维坐标系下的包络框，或使用带有深度信息的图像进行车辆识别，对识别到的车辆进行建模，通过建立的车辆模型，及与采集车的位置关系，计算得到车辆对象在世界坐标系下的轨迹。
17.优选的，对于不同车型车辆识别，通过对不同车辆模型的训练，得到预先经过训练的车辆配准模型。
18.根据本发明提供的一种基于检测车辆轨迹大数据的地图车道线标注系统，包括：数据采集模块和云端处理模块，云端处理模块对数据采集模块得到的数据进行处理分析，形成该路段的车道线数据。
19.优选的，所述数据采集模块包括以下模块：
20.运动模块：为采集设备提供运动能力；
21.融合定位模块：采用单独或融合定位方式，为采集设备提供实时的定位信息；
22.传感器模块：用于获取道路上采集设备感知范围内车辆的行驶轨迹信息；
23.控制及处理模块：用于对采集设备运动的控制,对传感器数据的收集及存储,对传感器范围内车辆轨迹的计算及储存。
24.优选的，所述数据采集模块还包括数据传输模块，所述数据传输模块将采集设备及各传感器采集到的信息传输至信息处理模块。
25.优选的，所述云端处理模块包括以下模块：
26.数据处理模块：收集各项传感器的数据,并通过时序同步,将一种或多种传感器数据形成统一时间轴下的数据集合；
27.车辆轨迹提取模块：结合各传感器数据,在世界坐标轴下提取车辆轨迹；
28.模型训练及回归模块：将获得的车辆轨迹与已知地图的车道线进行训练，从而通过车道轨迹预测出车道线；
29.车道线标注模块：将训练好的模型，用于无标记区域的车道线的标记；
30.在上述模块中，后一模块依靠前一模块的数据。
31.优选的，所述传感器模块包括视觉传感器、激光雷达传感器或其他能够提供深度，图像及点云信息的传感器，所述视觉传感器和激光雷达传感器通过gnss或硬件同步采样；所述激光雷达传感器工作时，通过对多帧激光雷达数据拼接，得到一帧点云密度密集的关键帧点云。
32.与现有技术相比，本发明具有如下的有益效果：
33.1.追踪采集设备周围的车辆运动轨迹，通过追踪车辆轨迹的大数据集合，判断车道线位置，通过大量车辆轨迹数据收敛得到真实车道线。
34.2.与传统的车道线标注方法相比，本方案通过对车道轨迹数据进行处理，使少量的错误数据不会对正确的车道线产生影响，从而提高了车道线标注的准确率。
附图说明
35.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
36.图1为本技术一种基于检测车辆轨迹大数据的地图车道线标注方法的架构设计图；
37.图2为本技术一种基于检测车辆轨迹大数据的地图车道线标注方法的车辆轨迹点流程图；
38.图3为本技术一种基于检测车辆轨迹大数据的地图车道线标注方法的概率密度拟合流程示意图；
39.图4为本技术一种基于检测车辆轨迹大数据的地图车道线标注方法中车辆轨迹点在地图栅格下的投影图；
40.图5为本技术一种基于检测车辆轨迹大数据的地图车道线标注方法中轨迹点落在栅格地图上周围栅格成为车辆中心线的概率分布图；
41.图6为本技术一种基于检测车辆轨迹大数据的地图车道线标注方法中轨迹点落在栅格地图上周围栅格成为车道线的概率分布。
具体实施方式
42.下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
43.参照图1，一种基于检测车辆轨迹大数据的地图车道线标注系统，包括数据采集模块和云端处理模块，一台或多台数据采集模块通过采集数据,回传给云端处理模块,云端处理模块对采集数据的处理和计算,得到标注车道线后的地图数据。
44.其中,数据采集模块包括至少四个模块：运动模块,融合定位模块,传感器模块,控制及处理模块，大部分情况下,还包括数据传输模块,以实现对实时数据的云端传输与远程指令的接收功能,但是该模块并非必须,原则上,离线采集数据通过硬件传输实现计算也应当列入本专利的保护范围之内。
45.运动模块可以支持人工驾驶、操作,也可以支持自动驾驶、遥控,其作用为为数据采集硬件提供运动能力,可以在普通的采集路段完成传感器数据的采集,常用的运动模块为车辆的动力模块,或无人机的飞行模块,并且该模块可以使用于道路行驶。
46.融合定位模块,可以融合或单独采用包括但不限于,视觉定位、gps或其他种类的卫星定位、激光雷达点云定位、轮速、imu及其他可以用于直接或辅助定位的传感器提供的定位数据,为采集设备提供实时的定位信息,该模块提供的数据可以理解为为采集设备提
供了道路行驶过程中带时序的相对准确的全局或可以转化为全局位姿的局部位姿。
47.传感器模块,应当包括现有的传感器模块,如单目相机,多目相机,深度相机,以及单线激光雷达,多线激光雷达,固态激光雷达,毫米波雷达等无人驾驶,无人机及自动机器人领域常用的距离,图像及点云传感器,还应当包括未来出现的其他种类的行业内用于识别车辆及道路的传感设备。该模块用于获取道路上采集设备感知范围内车辆的行驶轨迹或用于得到行驶轨迹的直接或辅助信息,如车辆图像,车辆点云或其他车辆模型的简化位置信息。应注意,如果未来出现可以直接传输行驶车辆的位置信息的通信结构,如通过蓝牙或其他5g设备直接获取道路临近车辆的位置信息的相关设备,则也应该属于该传感器的描述范畴及本方案的保护领域内。
48.控制及处理模块,包括但不限于现有的无人车控制模块,fpga,单片机,工控机,arm板卡,或是携带图像处理或点云处理及储存功能的cpu及gpu或功能上等同或可以起到相同效果的软件及硬件设备。其作用可能包括对采集设备运动的控制,对传感器数据的收集及存储,对传感器范围内车辆轨迹的计算及储存,应当注意的是,是否实时计算车辆轨迹并不在本方法的保护范围内,只要采集了可以生成车辆轨迹的传感器数据,则用以进行直接或辅助车道线标注的行为,不论在线或离线,均应当扩展理解为本方法阐述的范围之内。
49.如果必要,本方法应当支持数据传输模块,在搭载通信模块后,以任意方式,在任意通信协议下,传输传感器或车辆位姿及传感器信息至远程生成车辆轨迹,并进行车道线标注的行为,应当理解为本方法阐述的范围之内。
50.云端处理模块包括数据处理模块,车辆轨迹提取模块,模型训练及回归模块,以及车道线标注模块。后一模块依赖前一模块的数据,从端到端的角度则是通过大量的采集设备传感器及位姿信息,到标注的车道线的过程,该车道线可能需要后续继续经过人为矫正,但不论生成车道线的质量好坏,只要使用了道路车辆的轨迹信息,则都应当在本方法的保护范围内。
51.数据处理模块,作用为收集车辆传感器的各项传感器数据,并通过时序同步,将一种或多种传感器数据形成统一时间轴下的数据集合。
52.车辆轨迹提取模块,通过结合各传感器数据,提取车辆轨迹,该车辆轨迹应当在世界坐标系下,因此所有的设备采集设备之间可以通用,注意,提取的车辆轨迹无论包含或不包含时间戳信息,均应该在本方法的保护范围之内,即本方法需要保护的车辆轨迹可以仅包含空间信息。
53.模型训练及回归模块,该模块通过将获得的车辆轨迹与已知高精度地图的车道线进行训练,注意,此处训练可以是深度学习的方法,也可以是传统的回归分析的方法,即只需要通过轨迹生成车道线的预测,即为本方案的保护范围,在此期间,可以采用其他的辅助数据,如传感器提取的车道线信息,或人工标注的车道等等,均不影响本方案的保护范围。
54.车道线标注模块,本模块用以将训练好的模型,用于无预标记区域的车道线的标记,模块可能包括自动化部分和手动矫正部分,该模块常见于各种其他高精度车道线的标注方法中,在此不作赘述。
55.一种基于检测车辆轨迹大数据的地图车道线标注方法，包括以下步骤：
56.步骤s1：通过采集设备对验证路段进行数据采集。通过可移动的采集设备,通过设备携带的与设备刚性固定的传感器,采集图像、点云或其他形式的路面及传感器采集范围
内车道上的其他数据信息,通过设备的单个定位装置,或嵌入相应定位算法的定位模组,获得与传感器信息时序对应的位姿信息。
57.采集设备中含有拍摄路面信息的传感器,包括视觉传感器和激光雷达传感器,采用的视觉传感器为单目相机,采用的激光雷达传感器为32或64线激光雷达,首先通过gnss或硬件同步,将激光雷达与相机传感器时间戳同步至同一个时间轴下.统一采取5hz作为采样频率,此时,我们可以得到频率为5hz的一一匹配的激光雷达与图像数据。
58.步骤s2：根据车辆模型获取行车轨迹。通过现有的深度学习算法,识别传感器信息中的车辆对象,并进行建模,并通过多帧传感器数据,结合采集设备当前的位置姿态,计算出每一帧识别到的车辆模型在世界坐标系下的坐标,通过拼接得到车辆模型的轨迹信息。
59.步骤s3：建立车道线与行车轨迹的映射关系，并预测车道轨迹。根据交通法规和一般人行车习惯,车道线与大量的行车轨迹之间,存在一定几何关系,通过深度学习或传统的回归分析手段,对已有高精度地图的路段车道线,与该路段的大量车辆轨迹之间,最终可以得到映射关系。
60.步骤s4：建立车道线与车道轨迹的关系模型并修正。通过对该映射关系的建模分析,或端对端的深度学习,可以得到未建立高精度地图的区域的车道线与车道轨迹的关系模型,通过得到的模型,预测验证数据集所在区域的车道线,并与真实车道线对比,修正模型参数。
61.步骤s5：通过得到的车道线与车道轨迹的关系模型，预测未知区域的车道线，完成地图的车道线标注。
62.参照图2，本发明方法使用的数据来源是载有激光雷达和相机或其他包括但不限于图像,点云及其他反应道路中车辆及车道线所在位置信息的传感器的可移动设备(如数据采集车、无人机或其他可以搭载传感器实现移动的人为驾驶设备或自动设备)所采集的传感器数据集及采集设备位姿数据集。
63.采样后,将图像输入yolo或其他经过训练的深度学习模型,识别在采集设备运行过程中采集到的原始图像中的车辆信息,将传感器采集的数据进行计算，得到采集车在图像相对坐标系下的位置，然后估算出传感器采集的车辆对象在三维坐标系下的包络框，或使用带有深度信息的图像进行车辆识别，对识别到的车辆进行建模，通过建立的车辆模型，及与采集车的位置关系，计算得到车辆对象在世界坐标系下的轨迹。
64.单帧激光雷达数据往往缺少完整车辆点云,通常通过3
‑
5帧在空间上拼接的方式,得到一帧点云密度较密集的与图像对应的关键帧点云。通过cnn深度学习网络,使用图像先验信息作为粗筛,或直接使用原始点云信息进行匹配,可以在原始点云帧中,标注出雷达视野范围内车辆对象的点云。
65.对于不同车型车辆,可以通过对不同车辆模型的训练,得到预先经过训练的车辆配准模型,同时,这一步可以采取一些简易的方案,如匹配车辆的前、后轮,或其他的车身部件,经过配准,车辆点云在世界坐标系下可以完整地映射到车辆点云模型,根据点云模型提取出车辆轨迹点,通常选择以车辆与地面接触的实体部分点或车辆某一特定点位在地面的投影点作为轨迹点基准,不同车型均可以用统一的方式选取世界坐标系下地面曲面内的一点作为车辆轨迹的基准点。
66.通过本方法生成车道线建立在两个基本假设上，1、驾驶员行驶时行程的行车轨迹
与车道线之间统计上满足一定几何关系,即大部分驾驶员在行驶车辆直行过程中的车辆应尽可能分布在车道中央,左右偏离在没有其他前置条件的前提下应满足或近似满足正态分布。2、数据足够多时,由于驾驶员错误或不规范驾驶、交通事故或其他以外状况导致的例外状况会由于数据量过少比重过低而不会对结果产生显著影响,亦即数据量的提升会使得车道标注结果不断向真实车道收敛。
67.参照图3，可以使用栅格化的方式,首先,对城市的高精度地图进行栅格化,例如划分为100m*100m的地图网格,此时落在网格内的所有轨迹,可以理解为单次回归分析的一个对象,如图4所示；对网格再次栅格化为5cm*5cm的概率栅格,此时,仅仅需要计算每一个栅格被划分为车道线、道路中心线或其他类型的高精度地图标注线的概率。
68.参照图5和图6，通过经验可以知道,对于每一个轨迹上的轨迹点,我们认为,该点附近的概率栅格是道路中心线上的点的概率分布,是以该轨迹点落在的栅格为顶点的一个三维钟型曲面,越靠近该轨迹点,则成为道路中心点的概率越高,因此我们可以对每一个栅格设计概率更新函数,以确保当一个新的轨迹点落在该栅格内时,该点周围的栅格成为道路中心线的概率都会相应更新。同样的,在距离该点1、2车道线并与车辆行驶方向平行的栅格,有最高的概率成为车道线的候选点,这同样基于驾驶员在大数据下倾向于沿着车道中心方向行驶,至此,对于每一个车辆轨迹点,我们都可以更新其对应的车道及道路中心线的概率栅格概率密度,该模型的训练过程,可以采用传统的线性回归分析,也可以采用深度学习的方式提取与真实车道线的残差进行优化,最终得到最大似然的车道线分布。
69.本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
70.以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本技术的实施例和实施例中的特征可以任意相互组合。