一种多传感器融合语义增强增量式自动驾驶建图方法及系统与流程

本发明涉及自动驾驶高精地图构建，尤其涉及一种多传感器融合语义增强增量式自动驾驶建图方法及系统。

背景技术：

1、高精地图是自动驾驶系统实现精准定位、路径规划与运动决策的核心基础，其精度与鲜度直接决定了自动驾驶的安全性与可靠性。当前主流的高精地图构建方式仍以“离线采集+全局优化+人工标注”为主导：搭载激光雷达、rtk-gnss和imu的数据采集车沿既定路线多次往返扫描，将采集到的点云数据进行离线批处理优化，再由人工或半自动方式完成道路要素的标注与矢量化，最终生成高精地图并下发至量产车辆使用。

2、然而，上述传统方案在规模化部署中暴露出日益尖锐的矛盾——地图更新速度远远滞后于道路环境的变化速度。道路施工、交通标线重绘、临时改道、新设交通标志等现实场景中的动态变化，要求高精地图具备周级乃至天级的更新能力，而传统方案从数据采集、回传、后处理到人工标注的完整周期长达数周至数月，难以满足自动驾驶系统对地图鲜度的基本要求。更关键的是，即使增加采集车数量和标注人员规模，传统“重采集、重处理”的模式在边际成本急剧上升的同时，也无法解决众包化增量更新中的数据关联与一致性维护难题——不同车辆在不同时刻采集的数据如何高效融合、局部变化如何精准定位并快速反映到已有地图中，这些问题在传统全局批处理框架下缺乏有效解法。

3、上述问题的根源在于，传统建图方法将“建图”视为一次性完成的离线任务，而非需要持续维护的动态过程。其技术路径决定了每一次地图更新都必须对整个数据集进行重新优化，无法复用已有地图成果，导致大量算力浪费在重复处理未发生变化的区域上，且随着地图规模扩大，全局优化的计算量呈指数级增长，逐渐变得不可行。

4、与此同时，现有技术在位姿估计精度方面也存在显著短板。在几何结构退化的典型场景中——例如隧道内的长直结构、缺乏明显特征的地下停车场、纹理匮乏的高速公路、以及重复性高的城市高架路——纯几何特征（点、线、面）驱动的slam系统因缺乏足够的几何约束而发生位姿漂移，建图精度急剧下降甚至完全失效。虽然近年来有研究工作尝试引入语义信息辅助感知或回环检测，但语义标签大多停留在可视化标注或动态物体过滤层面，未能深度嵌入后端优化框架，致使语义信息这一稳定、高维的环境观测信号未能在位姿估计中发挥应有的约束作用。

技术实现思路

1、鉴于目前自动驾驶高精地图构建技术领域存在的上述不足，本发明提供一种多传感器融合语义增强增量式自动驾驶建图方法及系统，能够通过将语义信息深度嵌入前端加权、后端因子图优化及变化检测全链路，构建语义路标级增量更新机制，实现厘米级建图精度。

2、为达到上述目的，本发明的实施例采用如下技术方案：

3、一种多传感器融合语义增强增量式自动驾驶建图方法，包括：

4、获取多传感器同步数据，对同步数据进行多模态语义感知与跨模态融合，生成带有语义标签的统一语义点云，并基于所述统一语义点云提取语义路标；

5、基于所述统一语义点云和所述语义路标，执行语义加权前端里程计，根据语义标签的静态/动态属性对点云配准残差赋予不同权重，获得车辆初始位姿估计及关键帧；

6、构建统一因子图进行后端优化，所述统一因子图中至少包括语义路标观测因子、语义几何先验因子和语义共视约束因子；

7、采用增量平滑求解器对所述统一因子图进行优化，输出优化后的全局位姿轨迹和语义地图要素；

8、将新采集的语义路标与已有地图中的历史语义路标进行关联比对，执行语义路标级变化检测，识别路标的变化状态；

9、基于所述变化检测结果，对受影响的区域进行局部重优化，将优化后的地图要素以增量补丁形式融合至已有地图中，输出更新后的多层高精地图。

10、依照本发明的一个方面，所述多模态语义感知与跨模态融合具体包括：

11、通过2d多任务神经网络对环视图像进行语义分割、全景分割、目标检测和车道线检测，获得2d语义特征；通过3d点云语义分割网络对lidar点云进行逐点语义分割，获得3d语义特征；利用跨模态注意力机制将所述2d语义特征与所述3d语义特征进行逐点融合，生成所述统一语义点云；

12、所述语义路标的提取包括：对所述统一语义点云中属于杆状物和标志牌的实例进行聚类，采用圆柱拟合或平面拟合方式重构其三维空间位置与几何参数。

13、依照本发明的一个方面，所述语义加权前端里程计中，根据语义标签的静态/动态属性赋予点云配准残差不同的权重，具体包括：

14、将语义标签分类为静态高权重类别、动态零权重类别和中间权重类别；其中，归属于静态地物类别的点云配准残差赋予第一权重，归属于动态物体类别的点云配准残差赋予第二权重，所述第一权重大于所述第二权重；所述第二权重包括零权重及趋近于零的权重。

15、依照本发明的一个方面，所述统一因子图中至少包括语义路标观测因子、语义几何先验因子和语义共视约束因子，其中：

16、所述语义路标观测因子基于车辆位姿与语义路标空间位置之间的重投影残差构建，残差的信息矩阵依据语义类别和语义置信度进行自适应加权；所述语义类别包括静态地物类别和动态物体类别，不同语义类别对应不同的权重值；

17、所述语义几何先验因子包括以下至少之一：杆状语义路标的垂直性约束因子、标志牌语义路标的朝向约束因子、以及同一语义类别路标之间的平行性约束因子；

18、所述语义共视约束因子由连续多个关键帧对同一语义路标的共视观测推导得到，用于约束所述多个关键帧之间的相对位姿。

19、依照本发明的一个方面，还包括构建五层语义场景图，所述五层语义场景图自底向上依次为：传感器观测层、关键帧位姿层、语义路标与结构层、道路拓扑层和全局区域层；

20、所述传感器观测层存储原始传感器数据及提取的语义特征；所述关键帧位姿层存储优化后的关键帧位姿及其协方差；所述语义路标与结构层存储所述语义路标的类别、位置、几何参数及共视关系；所述道路拓扑层存储车道线、道路边界及交叉口的矢量化拓扑关系；所述全局区域层存储区域级别的场景语义摘要信息；

21、所述统一因子图的构建基于所述五层语义场景图中各层级之间的关联关系建立因子节点与变量节点之间的约束边。

22、依照本发明的一个方面，所述多层高精地图包括以下五层：

23、点云层，存储稠密三维点云；

24、语义路标层，存储所述语义路标的类别、空间位置、几何参数及唯一标识符；

25、矢量化道路层，存储车道线、道路边界、交通标志牌的矢量几何信息；

26、语义栅格层，按语义类别对地面进行栅格化占据与语义标注；

27、场景图层，存储所述五层语义场景图中的高层语义信息。

28、依照本发明的一个方面，所述语义路标级变化检测具体包括：

29、将新采集的语义路标与已有地图中的历史语义路标进行空间位置和语义类别的联合关联匹配；

30、根据匹配结果将每个语义路标判定为以下四种变化状态之一：

31、新增状态，新采集路标在已有地图中无匹配项；

32、移除状态，已有地图中的历史路标在新采集数据中无匹配项；

33、修改状态，新采集路标与历史路标匹配成功但空间位置或几何参数发生变化；

34、稳定状态，新采集路标与历史路标匹配成功且空间位置与几何参数差异小于预设阈值。

35、依照本发明的一个方面，所述基于变化检测结果对受影响的区域进行局部重优化，具体包括：

36、根据判定为新增状态、移除状态或修改状态的语义路标所在的空间位置，确定受影响的区域；

37、仅对所述受影响的区域内部的位姿节点与语义路标节点重新构建因子图进行局部优化，所述受影响的区域之外的位姿节点与语义路标节点保持固定不变；

38、将局部优化后的地图要素与未受影响区域的地图要素进行拼接，生成增量补丁。

39、依照本发明的一个方面，所述执行语义加权前端里程计之前，还包括基于场景复杂度的双模门控决策步骤：

40、计算当前场景的场景复杂度量化指标，所述场景复杂度量化指标包括以下至少之一：点云特征熵、动态物体占点云总数的比例、rtk-gnss信号置信度以及图像纹理丰富度；

41、当所述场景复杂度低于第一阈值时，切换至快思考模式，仅执行基于几何特征的vio/lio里程计进行位姿跟踪；

42、当所述场景复杂度高于第二阈值时，切换至慢思考模式，触发语义推理增强，所述语义推理增强包括调用推理链生成当前场景的结构化语义推理结果，并基于所述推理结果调整所述语义加权前端里程计的权重分配策略和所述统一因子图中各语义因子的信息矩阵配置；

43、所述第一阈值低于所述第二阈值，两者之间构成滞回区间，以避免模式频繁切换。

44、一种多传感器融合语义增强增量式自动驾驶建图系统，包括：

45、获取模块，获取多传感器同步数据，对同步数据进行多模态语义感知与跨模态融合，生成带有语义标签的统一语义点云，并基于所述统一语义点云提取语义路标；

46、赋权模块，基于所述统一语义点云和所述语义路标，执行语义加权前端里程计，根据语义标签的静态/动态属性对点云配准残差赋予不同权重，获得车辆初始位姿估计及关键帧；

47、优化模块，构建统一因子图进行后端优化，所述统一因子图中至少包括语义路标观测因子、语义几何先验因子和语义共视约束因子；所述语义路标观测因子用于约束车辆位姿与语义路标之间的重投影误差，所述语义几何先验因子用于约束语义路标的几何属性，所述语义共视约束因子用于约束共视同一语义路标的多个关键帧之间的相对位姿关系；

48、地图模块，采用增量平滑求解器对所述统一因子图进行优化，输出优化后的全局位姿轨迹和语义地图要素；

49、比对模块，将新采集的语义路标与已有地图中的历史语义路标进行关联比对，执行语义路标级变化检测，识别路标的变化状态；

50、补丁模块，基于所述变化检测结果，对受影响的区域进行局部重优化，将优化后的地图要素以增量补丁形式融合至已有地图中，输出更新后的多层高精地图。

51、本发明实施的优点：

52、1、建图精度与鲁棒性显著提升

53、将语义信息深度嵌入slam全链路：在前端，根据语义标签的静态/动态属性赋予点云配准残差差异化权重，静态地物提供高置信度约束，动态物体被有效滤除，从根本上削弱了动态障碍物对里程计漂移的影响；在后端，引入语义路标观测因子、语义几何先验因子和语义共视约束因子三类语义约束，其中语义路标观测因子的信息矩阵依据语义类别和置信度进行自适应加权，使稳定语义路标在优化中发挥更强的锚定作用。

54、2、地图更新效率实现量级提升

55、本发明构建了语义路标级变化检测机制，将新采集语义路标与历史路标进行空间位置与语义类别的联合关联匹配，精准识别新增、移除、修改和稳定四类变化状态；结合isam2增量平滑求解器，仅对受影响的tile区域内部的位姿节点与语义路标节点进行局部重优化，未变化区域保持固定不变。

56、3、地图数据结构丰富，满足多模块需求

57、本发明输出的多层高精地图包含点云层、语义路标层、矢量化道路层、语义栅格层和场景图层共五层异构数据，既覆盖了定位模块所需的稠密几何信息，也提供了规划模块所需的矢量化拓扑结构、感知模块所需的语义栅格先验以及决策推理模块所需的高层场景语义摘要。