高精矢量地图的构建方法、装置及存储介质与流程

1.本发明实施例涉及地图技术领域，尤其涉及一种高精矢量地图的构建方法、装置及存储介质。


背景技术：

2.作为实现智能驾驶的重要一环，高精地图能够基于其内含的有效道路信息为车载智能驾驶系统的感知、融合和决策提供精准的数据输入。
3.在现有基于激光雷达的高精地图建图过程中，由于交通拥堵路段充斥着大量地图构建的非必需信息，因而建立的地图中也相应包含大量无用的地图信息，上述无用的地图信息会严重阻碍地图构建必需信息的提取及处理，影响智能驾驶系统的定位匹配精度，甚至造成误匹配。另外，现有高精地图大多是基于激光雷达的反射强度进行构建的。由于不同激光雷达的反射强度不尽相同，因而对同一物体来说，不同激光雷达测得的反射值差异较大。每次建图过程中实施难度偏大。此外，在标识磨损严重，或提取远距离和小体积元素的工况下，基于激光雷达的高精地图构建方法还存在标识提取困难，以及难以独立完成地图构建的问题。


技术实现要素：

4.本发明实施例提供一种高精矢量地图的构建方法、装置及存储介质，以有效去除地图构建的非必需信息，降低高精地图构建的实施难度，提高高精地图的地图精度和建图鲁棒性。
5.第一方面，本发明实施例提供了一种高精矢量地图的构建方法，包括：
6.获取激光雷达扫描的激光点云和相机拍摄的二维图像；
7.将所述激光点云变换投影到所述二维图像，并将所述激光点云与所述二维图像的像素点对应关联；
8.提取所述二维图像中的语义分割框，基于所述激光点云和所述二维图像的像素点的对应关联关系，剔除所述二维图像的环境中的非固定元素和非稳定元素；
9.根据所述语义分割框和所述激光点云的关联关系，恢复语义分割框的三维信息，得到多帧图像；
10.根据所述激光点云和车辆位姿，对所述多帧图像进行语义信息优化，输出高精度地图。
11.可选地，所述非固定元素包括随着时间会发生移动的元素；所述非稳定元素包括随着环境时间会发生变化的元素。
12.可选地，所述语义分割框包括地面标识、杆状物标识、空中标志牌或红绿灯中的至少一种。
13.可选地，所述语义分割框为地面标识；
14.根据所述语义分割框和所述激光点云的关联关系，恢复语义分割框的三维信息，
得到多帧图像，包括：
15.基于地面标识所对应的三维信息，剔除距离超过阀值的地面标识，并为剩下的地面标识打上相应的语义标签。
16.可选地，所述语义分割框为杆状物标识；
17.根据所述语义分割框和所述激光点云的关联关系，恢复语义分割框的三维信息，得到多帧图像，包括：
18.根据所述语义分割框和激光点云的关联关系，提取当前帧点云信息中杆状物两根垂直的边缘线，恢复出杆状物标识的中心线坐标，剔除大于距离阀值的杆状物，为剩余杆状物打上语义标签。
19.可选地，所述语义分割框为空中标志牌；
20.根据所述语义分割框和所述激光点云的关联关系，恢复语义分割框的三维信息，得到多帧图像，包括：
21.根据空中标志牌的三维信息，得到所述空中标志牌所在的方形框的四个顶点的三维坐标，并按照顺时针顺序保存空中标志牌的顶点坐标，剔除大于距离阀值的空中标志牌，然后为剩余空中标志牌打上语义标签。
22.可选地，所述语义分割框为红绿灯；
23.根据所述语义分割框和所述激光点云的关联关系，恢复语义分割框的三维信息，得到多帧图像，包括：
24.根据激光点云和像素点的关联关系，恢复红绿灯的三维信息，并打上相应的语义标签。
25.可选地，根据所述激光点云和车辆位姿，对所述多帧图像进行语义信息优化，输出高精度地图，包括：
26.通过gps、imu和车辆轮速信息，计算出车辆的初始位姿；
27.基于所述初始位姿，使用过滤掉部分激光点云的点云特征，融合gps、imu和轮速信息进行紧耦合优化，得到精准位姿；
28.基于所述精准位姿进行最近邻和距离阀值控制搜索，找到最近的语义标识，完成相应的匹配；
29.对于地面标识和杆状物采用点到线的距离进行优化，以及对空中标识牌和红绿灯类特征采用pnp优化，联合优化后输出高精语义矢量地图。
30.第二方面，本发明实施例还提供了一种高精矢量地图的构建装置，包括：
31.数据获取模块，用于获取激光雷达扫描的激光点云和相机拍摄的二维图像；
32.数据配准模块，用于将所述激光点云变换投影到所述二维图像，并将所述激光点云与所述二维图像的像素点对应关联；
33.元素剔除模块，用于提取所述二维图像中的语义分割框，基于所述激光点云和所述二维图像的像素点的对应关联关系，剔除所述二维图像的环境中的非固定元素和非稳定元素；
34.信息恢复模块，用于根据所述语义分割框和所述激光点云的关联关系，恢复语义分割框的三维信息，得到多帧图像；
35.优化输出模块，用于根据所述激光点云和车辆位姿，对所述多帧图像进行语义信
息优化，输出高精度地图。
36.第三方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本发明实施例中任一所述的高精矢量地图的构建方法。
37.本发明实施例通过将激光雷达扫描的激光点云变换投影到相机拍摄的二维图像，使得激光点云与二维图像的像素点对应关联。在标识磨损严重，或提取远距离和小体积元素的工况下，本发明实施例能够根据二维图像的像素点对磨损严重的标识，以及远距离和小体积的元素进行有效提取，克服了现有基于激光雷达的高精地图构建方法标识提取困难，且难以独立完成地图构建的问题。
38.另外，本发明实施例还通过提取二维图像中的语义分割框，基于激光点云和二维图像的像素点的对应关联关系，剔除了二维图像的环境中的非固定元素和非稳定元素。也即有效去除了地图构建的非必需信息，有利于降低高精地图构建的实施难度，并提高高精地图的地图精度。
39.此外，本发明实施例还根据语义分割框和激光点云的关联关系，恢复语义分割框的三维信息，得到多帧图像；根据激光点云和车辆位姿，对多帧图像进行语义信息优化，输出高精度地图。基于此，本发明实施例不仅运用激光雷达保证了地图精度，使用视觉完成了无用信息的剔除，还通过三维信息恢复及多帧图像优化提升了高精地图的建图鲁棒性。
附图说明
40.图1是本发明实施例提供的一种高精矢量地图的构建方法的流程图；
41.图2是本发明实施例提供的另一种高精矢量地图的构建方法的流程图；
42.图3是本发明实施例提供的一种高精矢量地图的构建装置的结构示意图。
具体实施方式
43.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
44.图1是本发明实施例提供的一种高精矢量地图的构建方法的流程图。本实施例适用于复杂环境下的智能驾驶场景中，例如，智能驾驶汽车或巡检机器人等。本实施例可以由高精矢量地图的构建装置来执行，该高精矢量地图的构建装置可以由软件和/或硬件的方式实现，该高精矢量地图的构建装置可以通过集成在智能驾驶系统中而集成于车辆内部。如图1所示，本实施例提供的高精矢量地图的构建方法包括如下步骤：
45.s110、获取激光雷达扫描的激光点云和相机拍摄的二维图像。
46.其中，激光雷达是一种以发射激光束探测目标的位置、速度等特征量的雷达系统，激光雷达的类型有多种，例如可以是基于直接飞行时间(direct time of flight，dtof)测距的激光雷达。激光点云是指在同一空间参考系下，用于表征待构建地图中的多个待测目标空间分布和表面特性，由激光雷达扫描出的海量点的集合。同样地，相机的类型也有多种，示例性地，相机可以是任一种单目相机。
47.此外，由于激光雷达的扫描视角多为360
°
，相机拍摄视角的范围一般小于180
°
，因
而相机所拍摄的二维图像的视角会远低于激光点云的视角。基于此，为了使激光雷达扫描的激光点云和相机拍摄的二维图像实时对应，可选地，在获取激光雷达扫描的激光点云和相机拍摄的二维图像之前，本实施例可以优选完成激光雷达与相机的时空配准，即时间配准和空间配准。可以理解的是，本实施例不对时间配准和空间配准的先后顺序进行具体限定，例如可以先进行时间配准，后完成空间配准。
48.可知地，时间配准是指激光雷达和相机的硬件时间戳同步。激光雷达和相机时间配准后，当相机拍摄某区域的二维图像时，激光雷达刚好运行至相机拍摄的方向，进而实现激光雷达和相机的时间同步。可以理解的是，本发明实施例对激光雷达与相机的时间配准方式不进行限制，例如可以是基于现有任一硬件同步模块完成时间配准。另外，空间配准是指激光雷达和相机外参的标定。
49.可以理解的是，在激光雷达和相机外参标定的基础上，本发明实施例可以进一步优选完成激光雷达、相机和车辆后轴中心的标定过程，也即将激光雷达坐标系和相机坐标系统一转换至车辆坐标系下。基于此，本发明实施例有效克服了现有基于激光雷达的高精地图构建方法需要实时调整反射值参数才能获取地图信息，实施难度偏大的问题。
50.s120、将激光点云变换投影到二维图像，并将激光点云与二维图像的像素点对应关联。
51.其中，可以理解的是，由于二维图像的视角远低于激光点云的视角，因而将激光点云变换投影到二维图像后，超出二维图像视角范围的激光点云会相应投影到二维图像的边界外，处于二维图像边界以外的激光点云需要适应性进行剔除。
52.基于此，示例性地，s120的具体实现方式可以是：根据激光雷达和相机的外参，以及三维到二维的变换规则，将激光点云变换投影到二维图像；剔除位于二维图像边界以外的激光点云；基于剔除冗余激光点云后的投影结果，将激光点云与二维图像的像素点进行对应关联。
53.s130、提取二维图像中的语义分割框，基于激光点云和二维图像的像素点的对应关联关系，剔除二维图像的环境中的非固定元素和非稳定元素。
54.其中，语义分割框用于对二维图像中表达语义含义的不同像素点进行分组和/或分割。可以理解的是，语义分割框的提取算法可以但不限于是阈值法、基于像素聚类的分割方法、基于图划分的分割方法或基于卷积神经网络的分割方法等。
55.可选地，非固定元素包括随着时间会发生移动的元素，非稳定元素包括随着环境时间会发生变化的元素。示例性地，非固定元素可以是行人、车辆和动物等非固定且容易移动的元素，非稳定元素可以是树叶、草丛和花朵等随环境时间发生变化的元素。
56.s140、根据语义分割框和激光点云的关联关系，恢复语义分割框的三维信息，得到多帧图像。
57.其中，由于s130中提取的语义分割框源于二维图像，二维图像由相机以单帧形式拍摄而成，因而二维图像中语义分割框也为单帧，并且仅包含二维信息。
58.基于此，示例性地，s140的具体实现方式可以是：根据激光点云本身固有的三维信息，以及语义分割框和激光点云的关联关系，各个单帧二维图像中语义分割框的二维信息会适应性转换为三维信息；通过整合各个具备三维信息的单帧二维图像，得到多帧图像。
59.s150、根据激光点云和车辆位姿，对多帧图像进行语义信息优化，输出高精度地
图。
60.其中，车辆位姿可以但不限于包括车辆的位置参数和姿态参数。此外，高精度地图可以是高精点云地图，或者可以是高精矢量地图。可以理解的是，根据激光点云和车辆位姿，对多帧图像进行语义信息优化后，处于车辆坐标系下的多帧图像会适应性转换至世界坐标系下，即输出世界坐标系下的高精度地图。
61.本发明实施例通过将激光雷达扫描的激光点云变换投影到相机拍摄的二维图像，使得激光点云与二维图像的像素点对应关联。在标识磨损严重，或提取远距离和小体积元素的工况下，本发明实施例能够根据二维图像的像素点对磨损严重的标识，以及远距离和小体积的元素进行有效提取，克服了现有基于激光雷达的高精地图构建方法标识提取困难，且难以独立完成地图构建的问题。
62.另外，本发明实施例还通过提取二维图像中的语义分割框，基于激光点云和二维图像的像素点的对应关联关系，剔除了二维图像的环境中的非固定元素和非稳定元素。也即有效去除了地图构建的非必需信息，有利于降低高精地图构建的实施难度，并提高高精地图的地图精度。
63.此外，本发明实施例还根据语义分割框和激光点云的关联关系，恢复语义分割框的三维信息，得到多帧图像；根据激光点云和车辆位姿，对多帧图像进行语义信息优化，输出高精度地图。基于此，本发明实施例不仅运用激光雷达保证了地图精度，使用视觉完成了无用信息的剔除，还通过三维信息恢复及多帧图像优化提升了高精地图的建图鲁棒性。
64.基于上述各实施例，在s140中，可选地，语义分割框包括地面标识、杆状物标识、空中标志牌或红绿灯中的至少一种。示例性地，语义分割框可以但不限于包括车道线、电线杆、路灯杆、方形标志牌以及红绿灯等。因此，根据语义分割框的类别，本发明实施例可以采用不同的处理方法恢复语义分割框的三维信息，得到多帧图像，下面进行具体说明。
65.可选地，语义分割框为地面标识；根据语义分割框和激光点云的关联关系，恢复语义分割框的三维信息，得到多帧图像，包括：
66.基于地面标识所对应的三维信息，剔除距离超过阀值的地面标识，并为剩下的地面标识打上相应的语义标签。
67.其中，地面标识所对应的三维信息来源于激光点云。可知地，相机拍摄的二维图像会包含多个远离本车辆的地面标识，对距离超过阀值的地面标识进行识别会影响地图精度，增加车辆内部智能驾驶系统的通信及计算压力。基于此，通过剔除距离超过阀值的地面标识，本发明实施例能够降低智能驾驶系统的通信和计算压力，并保证地图的构建精度。
68.可选地，语义分割框为杆状物标识；根据语义分割框和激光点云的关联关系，恢复语义分割框的三维信息，得到多帧图像，包括：
69.根据语义分割框和激光点云的关联关系，提取当前帧点云信息中杆状物两根垂直的边缘线，恢复出杆状物标识的中心线坐标，剔除大于距离阀值的杆状物，为剩余杆状物打上语义标签。
70.其中，当前帧点云信息是指，与当前的一帧二维图像对应的激光点云内包含的数据信息。杆状物两根垂直的边缘线是指，杆状物与地面相互垂直的边缘线。另外，距离阀值可以根据高精矢量地图拟获取的构建精度进行适应性改变，本发明实施例对此不进行限制。可以理解的是，杆状物标识的中心线坐标的恢复方法可以是基于几何关系的恢复方法，
杆状物标识的距离阀值可以与地面标识的距离的阀值保持一致。
71.适应性地，由于相机拍摄的二维图像会包含多个远离本车辆的杆状物标识，对大于距离阀值的杆状物标识进行识别计算会影响地图精度，增加智能驾驶系统的通信及计算压力。基于此，通过剔除超过距离阀值的杆状物标识，本发明实施例能够进一步降低智能驾驶系统的通信和计算压力，有利于保证地图的构建精度。
72.可选地，语义分割框为空中标志牌；根据语义分割框和激光点云的关联关系，恢复语义分割框的三维信息，得到多帧图像，包括：
73.根据空中标志牌的三维信息，得到空中标志牌所在的方形框的四个顶点的三维坐标，并按照顺时针顺序保存空中标志牌的顶点坐标，剔除大于距离阀值的空中标志牌，然后为剩余空中标志牌打上语义标签。
74.其中，空中标志牌的三维信息也来源于激光点云。可知地，上述空中标志牌的处理方法适用于方形牌。适应性地，当空中标志牌为三角形牌时，本发明实施例可以根据空中标志牌的三维信息，得到空中标志牌所在的三角形框的三个顶点的三维坐标，并按照顺时针顺序保存空中标志牌的顶点坐标，剔除大于距离阀值的空中标志牌，然后为剩余空中标志牌打上语义标签。此外，当空中标志牌为圆形牌时，本发明实施例可以根据空中标志牌的三维信息，得到空中标志牌所在的圆形框的圆点及圆周任一点的三维坐标，并保存空中标志牌的圆点及圆周任一点的坐标，剔除大于距离阀值的空中标志牌，然后为剩余空中标志牌打上语义标签。
75.适应性地，在其他实施例中，得到空中标志牌所在的方形框的四个顶点的三维坐标后，本发明实施例还可以按照逆时针顺序保存空中标志牌的顶点坐标。可以理解的是，按照固定顺序保存空中标志牌的顶点坐标，有利于智能驾驶系统的数据调用和坐标识别。
76.可以理解的是，空中标志牌的距离阀值可以与杆状物标识的距离阀值，以及地面标识的距离的阀值保持一致。示例性地，上述阀值均可以为10m、20m或50m等。
77.此外，同样地，由于相机拍摄的二维图像会包含多个远离本车辆的空中标志牌，对大于距离阀值的空中标志牌进行识别计算会影响地图精度，增加智能驾驶系统的通信及计算压力。基于此，通过剔除大于距离阀值的空中标志牌，本发明实施例能够再进一步降低智能驾驶系统的通信和计算压力，更有利于保障地图的构建精度。
78.可选地，语义分割框为红绿灯；根据语义分割框和激光点云的关联关系，恢复语义分割框的三维信息，得到多帧图像，包括：
79.根据激光点云和像素点的关联关系，恢复红绿灯的三维信息，并打上相应的语义标签。
80.其中，红绿灯的三维信息同样来源于激光点云。
81.可以理解的是，与地面标识、杆状物标识和空中标志牌相比，红绿灯一般与本车辆距离较远。因此，在激光点云和二维图像中，红绿灯通常较小，这就意味着只有少部分的二维图像中的像素点，以及激光点云的点云数据能够表征红绿灯的位置等特征参数。由此可知，本发明实施例通过语义标签等语义信息恢复红绿灯的语义分割框的三维信息，并得到多帧图像，有利于降低高精地图构建的实施难度。
82.图2是本发明实施例提供的另一种高精矢量地图的构建方法的流程图。如图2所示，本实施例提供的高精矢量地图的构建方法具体包括如下步骤：
83.s210、获取激光雷达扫描的激光点云和相机拍摄的二维图像。
84.s220、将激光点云变换投影到二维图像，并将激光点云与二维图像的像素点对应关联。
85.s230、提取二维图像中的语义分割框，基于激光点云和二维图像的像素点的对应关联关系，剔除二维图像的环境中的非固定元素和非稳定元素。
86.s240、根据语义分割框和激光点云的关联关系，恢复语义分割框的三维信息，得到多帧图像。
87.其中，可知地，s250～s280均基于s240得到的多帧图像进行处理。通过多帧图像的处理，本发明实施例能够克服现有基于激光雷达的高精地图构建方法存在的标识提取困难，以及难以独立完成地图构建的问题，进而有利于保证地图精度。
88.s250、通过gps、imu和车辆轮速信息，计算出车辆的初始位姿。
89.其中，车辆轮速信息可以但不限于包括a和v等车辆的运动参数，可知地，a表示车辆的行驶加速度，v表示车辆的行驶速度。
90.示例性地，初始位姿包括但不限于是x、y、z、h、p和r等。可以理解的是，x、y和z是车辆的初始位置参数，分别表示车辆在世界坐标系下的初始三维坐标值；h、p和r是车辆的初始姿态参数，分别表示车辆绕世界坐标系的x轴、y轴和z轴的初始旋转角度，当车辆的行驶方向发生改变时，h的数值适应性变化，p和r能够表征车辆的横向和纵向稳定性。
91.s260、基于初始位姿，使用过滤掉部分激光点云的点云特征，融合gps、imu和轮速信息进行紧耦合优化，得到精准位姿。
92.其中，过滤掉部分激光点云的点云特征是指，剔除距离超过阀值的地面标识，以及大于距离阀值的杆状物和空中标志牌后的激光点云的点云特征。
93.示例性地，精准位姿包括但不限于是x’、y’、z’、h’、p’和r’等。可以理解的是，x’、y’和z’是车辆的精准位姿参数，分别表示车辆在世界坐标系下的精准三维坐标值；h’、p’和r’是车辆的精准姿态参数，分别表示车辆绕世界坐标系的x轴、y轴和z轴的精准旋转角度。
94.可以理解的是，多帧图像分别对应于不同的初始位姿和精准位姿。
95.s270、基于精准位姿进行最近邻和距离阀值控制搜索，找到最近的语义标识，完成相应的匹配。
96.其中，最近邻是指最近邻算法，此处的距离阀值是指最近邻距离阀值。
97.示例性地，进行最近邻和距离阀值控制搜索的具体实现方法可以如下：任意选取一个阈值作为最近邻距离阀值，对在最近邻距离阀值范围内离本车辆最近的语义标识进行投票，票数多于某一设定值的语义标识即为最优语义标识。可以理解的是，最优语义标识距离本车辆较近，也即最近的语义标识。由此可见，通过剔除超过最近邻距离阀值的语义标识，本发明实施例能够更进一步降低智能驾驶系统的通信和计算压力，更有利于保障地图的构建精度，并降低高精地图构建的实施难度。
98.s280、对于地面标识和杆状物采用点到线的距离进行优化，以及对空中标识牌和红绿灯类特征采用pnp优化，联合优化后输出高精语义矢量地图。
99.其中，点是指地面标识和杆状物对应的语义标识中的坐标信息，地面标识和杆状物所采用的点到线的距离优化的媒介可以是软件代码；pnp优化是指三维到三维的优化方法。
100.综上所述，在上述各实施例的基础上，本发明实施例通过gps、imu和车辆轮速信息，计算出车辆的初始位姿；基于初始位姿，使用过滤掉部分激光点云的点云特征，融合gps、imu和轮速信息进行紧耦合优化，得到精准位姿；基于精准位姿进行最近邻和距离阀值控制搜索，找到最近的语义标识，完成相应的匹配；对于地面标识和杆状物采用点到线的距离进行优化，以及对空中标识牌和红绿灯类特征采用pnp优化，联合优化后输出高精语义矢量地图的手段，克服了现有基于激光雷达的高精地图构建方法精度偏低，实施难度大，标识提取困难，以及难以独立完成地图构建等问题，有效去除了地图构建的非必需信息，有利于降低高精地图构建的实施难度，提高高精地图的地图精度和建图鲁棒性。
101.图3是本发明实施例提供的一种高精矢量地图的构建装置的结构示意图。本实施例可适用于复杂环境下的智能驾驶场景中，该装置可以由软件和/或硬件的方式实现，该装置可以通过集成在智能驾驶系统中而集成于车辆内部。如图3所示，本实施例提供的高精矢量地图的构建装置包括：
102.数据获取模块310，用于获取激光雷达扫描的激光点云和相机拍摄的二维图像。
103.数据配准模块320，用于将激光点云变换投影到二维图像，并将激光点云与二维图像的像素点对应关联。
104.元素剔除模块330，用于提取二维图像中的语义分割框，基于激光点云和二维图像的像素点的对应关联关系，剔除二维图像的环境中的非固定元素和非稳定元素。
105.信息恢复模块340，用于根据语义分割框和激光点云的关联关系，恢复语义分割框的三维信息，得到多帧图像。
106.优化输出模块350，用于根据激光点云和车辆位姿，对多帧图像进行语义信息优化，输出高精度地图。
107.可选地，非固定元素包括随着时间会发生移动的元素，非稳定元素包括随着环境时间会发生变化的元素。
108.可选地，语义分割框包括地面标识、杆状物标识、空中标志牌或红绿灯中的至少一种。
109.可选地，语义分割框为地面标识；信息恢复模块具体用于基于地面标识所对应的三维信息，剔除距离超过阀值的地面标识，并为剩下的地面标识打上相应的语义标签。
110.可选地，语义分割框为杆状物标识；信息恢复模块具体用于根据语义分割框和激光点云的关联关系，提取当前帧点云信息中杆状物两根垂直的边缘线，恢复出杆状物标识的中心线坐标，剔除大于距离阀值的杆状物，为剩余杆状物打上语义标签。
111.可选地，语义分割框为空中标志牌；信息恢复模块具体用于根据空中标志牌的三维信息，得到空中标志牌所在的方形框的四个顶点的三维坐标，并按照顺时针顺序保存空中标志牌的顶点坐标，剔除大于距离阀值的空中标志牌，然后为剩余空中标志牌打上语义标签。
112.可选地，语义分割框为红绿灯；信息恢复模块具体用于根据激光点云和像素点的关联关系，恢复红绿灯的三维信息，并打上相应的语义标签。
113.可选地，优化输出模块具体用于通过gps、imu和车辆轮速信息，计算出车辆的初始位姿；基于初始位姿，使用过滤掉部分激光点云的点云特征，融合gps、imu和轮速信息进行紧耦合优化，得到精准位姿；基于精准位姿进行最近邻和距离阀值控制搜索，找到最近的语
义标识，完成相应的匹配；对于地面标识和杆状物采用点到线的距离进行优化，以及对空中标识牌和红绿灯类特征采用pnp优化，联合优化后输出高精语义矢量地图。
114.本发明实施例提供的高精矢量地图的构建装置，通过设置数据获取模块获取激光雷达扫描的激光点云和相机拍摄的二维图像，通过设置数据配准模块将激光雷达扫描的激光点云变换投影到相机拍摄的二维图像，使得激光点云与二维图像的像素点对应关联。基于此，在标识磨损严重，或提取远距离和小体积元素的工况下，本发明实施例能够根据二维图像的像素点对磨损严重的标识，以及远距离和小体积的元素进行有效提取，克服了现有基于激光雷达的高精地图构建方法标识提取困难，且难以独立完成地图构建的问题。
115.另外，本发明实施例还通过设置元素剔除模块提取二维图像中的语义分割框，基于激光点云和二维图像的像素点的对应关联关系，剔除了二维图像的环境中的非固定元素和非稳定元素。因此，本发明实施例能够有效去除地图构建的非必需信息，有利于降低高精地图构建的实施难度，并提高高精地图的地图精度。
116.此外，本发明实施例还通过设置信息恢复模块根据语义分割框和激光点云的关联关系，恢复语义分割框的三维信息，得到多帧图像；通过设置优化输出模块根据激光点云和车辆位姿，对多帧图像进行语义信息优化，输出高精度地图。由此可知，本发明实施例不仅运用激光雷达保证了地图精度，使用视觉完成了无用信息的剔除，还通过三维信息恢复及多帧图像优化提升了高精地图的建图鲁棒性。
117.本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本技术所有发明实施例提供的高精矢量地图的构建方法：获取激光雷达扫描的激光点云和相机拍摄的二维图像；将激光点云变换投影到二维图像，并将激光点云与二维图像的像素点对应关联；提取二维图像中的语义分割框，基于激光点云和二维图像的像素点的对应关联关系，剔除二维图像的环境中的非固定元素和非稳定元素；根据语义分割框和激光点云的关联关系，恢复语义分割框的三维信息，得到多帧图像；根据激光点云和车辆位姿，对多帧图像进行语义信息优化，输出高精度地图。
118.可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
119.计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
120.计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、rf等等，或者上述的任意合适的组合。
121.可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
122.注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。