一种基于跨模态高程配准的仿真地图生成系统及方法与流程

本发明涉及仿真地图，尤其涉及一种基于跨模态高程配准的仿真地图生成系统及方法。

背景技术：

1、高保真仿真地图是自动驾驶仿真系统的核心基础，直接决定了感知算法测试的真实性与规划控制算法验证的可靠性。carla作为主流开源自动驾驶仿真平台，要求仿真地图同时具备视觉真实感与可行驶拓扑结构。然而，制作一张同时满足上述要求的仿真地图，仍面临多项技术瓶颈。

2、在视觉重建方面，三维高斯溅射技术虽能实现高保真场景重建，但其输出仅为孤立的高斯点云或三角网格，缺乏与自动驾驶仿真平台所要求的车道级拓扑、交通规则要素的耦合机制，无法直接用于仿真测试。在路网拓扑生成方面，现有技术依赖激光点云或gis矢量数据，与视觉重建流程完全独立，难以保证重建场景与拓扑结构的空间一致性。视觉重建与拓扑生成由两套独立流程分别完成，导致重建场景坐标系、网格路面高程与opendrive参考线高程之间出现系统性偏差，仿真中车辆浮空、碰撞检测失效等问题频发，且现有方案缺乏在统一坐标系下将两者对齐的配准机制与量化验收标准。此外，三维高斯溅射原始网格的面片数量通常远超仿真平台的实时渲染能力，而现有方案未给出与目标帧率相联动的网格简化策略与验收标准，实践中需反复手动调整，效率低下且结果不可复现。

技术实现思路

1、为解决背景技术中存在的技术问题，本发明提出一种基于跨模态高程配准的仿真地图生成系统及方法。

2、本发明提出的一种基于跨模态高程配准的仿真地图生成方法，包括：

3、s1、沿道路采集多视角影像序列并对其进行预处理，输出第一影像序列；

4、s2、对第一影像序列执行质量筛选，输出满足质量门限的第二影像序列；

5、s3、对第二影像序列进行三维重建以生成视觉网格，对第二影像序列进行语义提取以拟合生成第一参考线，输出世界坐标系下的视觉网格与第一参考线；

6、s4、沿第一参考线采样，计算视觉网格与第一参考线的高程残差，并以样条函数构造修正量迭代修正第一参考线，直至高程残差满足容差，输出修正后 的第二参考线；

7、s5、将视觉网格与第二参考线分别作为视觉层与拓扑层，在仿真坐标系中对齐并集成为地图包，输出地图包。

8、优选的，s1具体为：沿道路行进方向按预设采样间隔触发采集，获取各采集位置处包含主朝向及多个侧向视角的多朝向影像，并记录各影像对应的采集位置信息，输出原始多朝向影像序列及对应的位置序列；将原始多朝向影像序列中的各影像进行去畸变校正，并统一缩放至预设分辨率，输出预处理后的多朝向影像序列；根据位置序列计算相邻采集位置间的弧长增量，累加弧长增量得到各影像对应的弧长坐标，并将弧长坐标关联至预处理后的多朝向影像序列中对应的各影像，输出携带弧长坐标的第一影像序列。

9、优选的，s2具体为：对第一影像序列中的各影像分别计算模糊度指标与曝光一致性指标，并对第一影像序列中的各相邻帧对计算稀疏特征匹配率，输出各影像的模糊度指标、曝光一致性指标及各相邻帧对的稀疏特征匹配率；将各模糊度指标与模糊度门限比较、将各曝光一致性指标与曝光门限比较、将各稀疏特征匹配率与匹配率门限比较，标记未同时满足模糊度门限、曝光门限及匹配率门限的影像及其所属的相邻帧对，输出标记结果；根据标记结果，对未通过质量门限的影像所对应的道路区段触发补充采集，并将补充采集获得的影像补入第一影像序列后重复执行以上过程，直至第一影像序列中全部影像及全部相邻帧对通过质量门限，输出满足质量门限的第二影像序列。

10、优选的，对第二影像序列进行三维重建以生成视觉网格具体为：对第二影像序列进行运动恢复结构解算，输出世界坐标系下各帧相机的内参、外参与稀疏点云；以稀疏点云中各点为中心初始化三维高斯椭球，各三维高斯椭球具有位置、协方差、不透明度与球谐系数，通过可微渲染将各三维高斯椭球投影至各观测视角下并与对应原始影像比较，以最小化光度重建误差为目标迭代优化各三维高斯椭球的参数，输出优化后的三维高斯椭球集合；将三维高斯椭球集合转换为三角网格，并对三角网格执行减面操作直至其面片数满足预设上限，形成视觉网格。

11、优选的，世界坐标系具有原点、垂直轴和行进轴，垂直轴与行进轴构成世界坐标系的轴向且二者相互垂直，原点为第二影像序列中第一帧影像的相机光心位置，垂直轴方向为第二影像序列所覆盖场景的重力方向，行进轴方向为第一帧影像的相机朝向在水平面上的投影方向，世界坐标系的尺度单位为运动恢复结构解算过程中平移向量的长度单位；

12、各帧相机的内参、外参及稀疏点云的空间坐标由运动恢复结构解算过程统一于世界坐标系下。

13、优选的，对第二影像序列进行语义提取以拟合生成第一参考线具体为：对第二影像序列中的各影像执行语义分割，生成包含道路类别的像素级语义掩膜，输出各影像的语义掩膜；根据各帧相机的内参、外参及场景深度，将各语义掩膜中属于道路类别的像素反投影至世界坐标系，形成并输出道路语义点云；对道路语义点云进行平面拟合提取路面内点，并由路面内点拟合道路中心线及车道边界，形成由弧长参数表达的第一参考线。

14、优选的，s4具体为：沿第一参考线的弧长方向按预设步长离散采样，获取各采样点处第一参考线高程，输出携带弧长坐标的参考线采样点序列；在各采样点处，沿垂直方向对视觉网格发射射线进行求交运算，获得并输出视觉网格在各采样点处的路面高程；计算各采样点处第一参考线高程与路面高程之间的高程残差，并以三次样条函数构造高程修正量，在满足纵坡约束的条件下迭代修正第一参考线高程，直至参考线采样点序列的全部采样点处的高程残差满足容差，输出修正后的第二参考线。

15、优选的，迭代修正具体为：将各采样点处的高程修正量的初值设为零，输出各采样点处的当前高程修正量；以三次样条函数构造高程修正量沿弧长方向的分布曲线，以高程残差与高程修正量之和的加权平方和最小化为优化目标，并以高程修正量沿弧长方向的变化率不超过预设纵坡限值为约束条件，求解各采样点处的高程修正量，输出更新后的各采样点处的高程修正量；判断各采样点处更新后的高程残差是否均满足容差，若满足则终止迭代并输出修正后的第二参考线，若不满足则加密采样点并重新求解各采样点处的高程修正量。

16、优选的，还包括s6，s6具体为：沿第二参考线的各车道选取多个测试点，在各测试点处检测视觉层与第二参考线之间的碰撞偏差，并驱动仿真车辆沿第二参考线进行多次试跑以统计试跑成功率，生成包含碰撞偏差与试跑成功率的质检报告；若碰撞偏差与试跑成功率均满足预设条件，则将地图包连同质检报告一并输出；若碰撞偏差不满足预设条件，则返回执行s4；若碰撞偏差满足预设条件而试跑成功率不满足预设条件，则返回执行s3。

17、本发明还提供一种基于跨模态高程配准的仿真地图生成系统，包括：

18、预处理模块，用于沿道路采集多视角影像序列并对其进行预处理，输出第一影像序列；

19、质量筛选模块，用于对第一影像序列执行质量筛选，输出满足质量门限的第二影像序列；

20、重建解析模块，用于对第二影像序列进行三维重建以生成视觉网格，并对第二影像序列进行语义提取以拟合生成第一参考线，输出世界坐标系下的视觉网格与第一参考线；

21、高程配准模块，用于沿第一参考线采样，计算视觉网格与第一参考线的高程残差，并以样条函数构造修正量迭代修正第一参考线，直至高程残差满足容差，输出修正后的第二参考线；

22、集成输出模块，用于将视觉网格与第二参考线分别作为视觉层与拓扑层，在仿真坐标系中对齐并集成为地图包，输出地图包。

23、本发明中，通过沿第一参考线离散采样、对视觉网格发射垂向射线求交获取路面高程，并以样条函数迭代修正第一参考线高程，将视觉层与拓扑层之间的高程偏差控制在厘米级容差范围内，系统性解决了仿真中车辆浮空或嵌入路面的问题，保证了车辆动力学仿真与碰撞检测的准确性。通过在统一世界坐标系下并行完成视觉场景重建与参考线拟合，视觉网格与第一参考线源自同一输入数据且共享同一坐标基准，从源头上避免了传统方案中重建场景与路网结构空间不一致的问题。通过对生成的地图包执行碰撞偏差检测与自动驾驶试跑，依据量化指标判定交付质量，未达标时根据失败类型智能回退至相应环节重新执行，并最终将地图包连同质检报告一并交付，使地图生成过程可追溯、结果可复现，避免了传统方案中反复手动调整、效率低下且结果不可控的缺陷。