基于地图要素条件化动态融合的在线高精地图构建方法

本发明涉及自动驾驶与环境感知，具体为基于地图要素条件化动态融合的在线高精地图构建方法。

背景技术：

1、在线高精地图构建是自动驾驶系统理解周围道路环境的基础模块，现有的在线构建方法利用车载多视角摄像头采集实时图像，通过深度学习模型提取二维图像特征并投影至三维鸟瞰图空间中，随后利用网络架构内的查询向量提取鸟瞰图特征，最终输出车道线、道路边界等地图要素的矢量化坐标序列，由于车辆始终处于动态行驶状态，多源、多帧图像特征的融合质量直接决定高精地图要素边界的输出精度。

2、在实际复杂的交通工况下，现有方法在数据融合与特征聚合机制上存在一定的局限性，在多视角多帧数据融合环节，现有的网络模型对传感器底层物理状态与相对位姿精度缺乏感知，当车载系统出现相机硬件丢帧、图像传输延迟或底盘位姿传感器输出的位姿估计出现较大误差时，现有的处理流程采用基础的零矩阵对缺失数据进行被动填充，并直接拼接输入后续的聚合模块中参与矩阵计算，这种未加阻断的融合方式会导致由零填充操作和位姿偏移引起的无效数值进入鸟瞰图表征中，使得网络在训练反向传播和推理阶段受到冗余数据的干扰，进而降低地图要素特征的可靠性。

3、在空间特征提取与交互环节，现有模型中的查询向量在全局鸟瞰图空间内执行大范围的特征交互计算，未能将特征采样范围精确约束在待预测地图对象的局部物理网格内，这种缺乏局部空间定位约束的采样操作会引入非目标区域的背景噪声，此外，现有的特征交互机制对提取到的特征施加均等的处理或仅采用基础的全连接映射，缺乏针对具体地图要素类别的条件化筛选机制，由于未结合待预测对象的几何形态先验信息对特征通道进行动态调整，网络难以主动增强与车道分隔线、人行横道等细长结构强相关的底层语义通道数值，这种特征响应层面的不足，最终导致矢量化几何边界的预测结果出现位置偏差或边界断裂，无法满足高精度地图的实时构建需求。

技术实现思路

1、针对现有技术的不足，本发明提供了基于地图要素条件化动态融合的在线高精地图构建方法，解决了现有在线高精地图构建方法因异常传感器状态引入融合噪声，以及特征提取缺乏局部空间与条件约束导致地图要素矢量化预测精度较低的问题。

2、为实现以上目的，本发明通过以下技术方案予以实现：基于地图要素条件化动态融合的在线高精地图构建方法，所述方法包括以下步骤：

3、通过多个车载环视摄像头获取当前时刻及连续历史多帧的多视图环视图像，同步采集车载底盘位姿传感器输出的位姿协方差数据，并获取用于表征各时间戳及各相机输入通道数据完整性的硬件时空有效性状态数据；

4、对所述多视图环视图像进行特征提取，生成多尺度二维图像特征；

5、基于空间投影与坐标对齐在所述多尺度二维图像特征中构造多源候选证据集合，利用当前待更新的鸟瞰图单元表征对所述多源候选证据集合进行条件化通道重加权，结合所述位姿协方差数据与所述硬件时空有效性状态数据执行门控掩码聚合，生成全局鸟瞰图表征；

6、初始化实例查询表征，将每个单独的实例查询表征映射并分散为多个局部空间参考点二维物理坐标，利用所述局部空间参考点二维物理坐标在所述全局鸟瞰图表征中采样提取局部候选特征集合，将所述实例查询表征作为条件信号对所述局部候选特征集合进行通道重加权与交互响应聚合，完成所述实例查询表征的残差更新；

7、将更新完成的实例查询表征输入矢量输出模块，输出地图要素实例的分类概率标签及由多维坐标点序列构成的矢量化几何边界信息。

8、优选的，通过多个车载环视摄像头获取当前时刻及连续历史多帧的多视图环视图像，同步采集车载底盘位姿传感器输出的位姿协方差数据，并获取用于表征各时间戳及各相机输入通道数据完整性的硬件时空有效性状态数据的步骤包括：构建包含空间维度与时间维度的多视图环视图像序列，将经过时序对齐处理的多视图环视图像序列存入计算平台的内存缓冲队列中；遍历所述内存缓冲队列以检测各个时间戳及各个相机输入通道的数据完整性，当发现历史队列空缺或相机通道未回传有效图像数据时在所述内存缓冲队列的相应位置执行零填充操作；为所述内存缓冲队列中的每一个数据来源构建1个布尔类型的掩码变量，正常存在真实回传图像数据的数据来源对应的掩码变量赋值为1，经过零填充操作处理的数据来源对应的掩码变量赋值为0，全部数据来源的掩码变量共同构成布尔状态掩码矩阵并作为所述硬件时空有效性状态数据。

9、进一步的，所述多视图环视图像进行特征提取，生成多尺度二维图像特征的步骤包括：

10、将所述多视图环视图像序列整合为具有预设维度的五维输入张量，利用共享特征提取骨干网络提取图像特征，输出基础特征图集合；将所述基础特征图集合输入特征金字塔网络执行双线性插值上采样操作，将上采样后的特征图与具有相同空间分辨率的高分辨率基础特征图进行横向连接以及逐元素加和融合，生成包含融合上下文信息的多尺度二维图像特征；从所述多尺度二维图像特征中选取预设空间分辨率的特征层级作为最终输出目标。

11、进一步的，基于空间投影与坐标对齐在所述多尺度二维图像特征中构造多源候选证据集合的步骤包括：

12、利用相机内参矩阵与外参矩阵将预先划分好的三维鸟瞰图网格空间对应的三维参考点投影至当前时刻的各个相机成像平面中；结合包含平移向量与旋转矩阵的自我运动位姿信息将历史帧坐标系对齐至当前帧坐标系下，建立三维鸟瞰图参考点与跨视角以及跨帧二维像素坐标之间的几何对应关系；根据所述几何对应关系在各相机视角的投影坐标邻域内对所述二维多尺度图像特征进行双线性插值采样，汇总提取到的局部图像特征以构造针对三维鸟瞰图单元的初始多源候选证据集合作为所述多源候选证据集合。

13、在本发明的一个优选实施例中，利用当前待更新的鸟瞰图单元表征对所述多源候选证据集合进行条件化通道重加权的处理过程包括：

14、将当前待更新的鸟瞰图单元表征输入通道特征激活层以生成通道维度动态权重向量；利用所述通道维度动态权重向量对所述初始多源候选证据集合内的各个候选特征执行逐通道元素相乘处理，通过面向地图要素的条件化通道重加权操作增强与当前道路几何结构具有强相关响应的底层语义通道数值并抑制冗余背景通道噪声以生成重加权候选特征集合。

15、进一步的，结合所述位姿协方差数据与所述硬件时空有效性状态数据执行门控掩码聚合，生成全局鸟瞰图表征的步骤包括：

16、判断所述位姿协方差数据是否超过预设的协方差安全阈值，当位姿协方差数据超过协方差安全阈值时强制将参与特征聚合计算的有效历史时间帧数量截断为0；在未超过协方差安全阈值的情况下，将底盘系统输出的相对位姿置信度分数输入包含两层线性映射层与激活函数的多层感知机进行升维映射以获取用于特征软降权的位姿表征，将所述鸟瞰图单元表征、所述重加权候选特征集合中的重加权候选特征以及用于特征软降权的位姿表征进行矩阵拼接并输入非线性评分网络计算各个重加权候选特征的初始空间可靠性得分；

17、结合所述硬件时空有效性状态数据中的布尔状态掩码矩阵识别出属于零填充状态的无效候选来源，对无效候选来源的初始空间可靠性得分施加负无穷大惩罚机制并利用归一化指数函数计算最终的特征空间来源权重；将所述特征空间来源权重与对应的重加权候选特征相乘求和生成鸟瞰图特征更新量，通过残差加和方式合并至原始的鸟瞰图单元表征中生成更新后的全局鸟瞰图表征。

18、优选的，初始化实例查询表征，将每个单独的实例查询表征映射并分散为多个局部空间参考点二维物理坐标，利用所述局部空间参考点二维物理坐标在所述全局鸟瞰图表征中采样提取局部候选特征集合的步骤包括：

19、利用内部包含多层全连接层的参考点生成网络将每个单独的实例查询表征映射并分散为多个局部空间参考点二维物理坐标作为所述局部参考点；利用所述局部空间参考点二维物理坐标在所述全局鸟瞰图表征中执行双线性网格插值采样操作，汇总同一实例查询表征关联的所有局部空间参考点二维物理坐标提取出的局部特征并拼接组合构成局部候选特征集合。

20、进一步的，将所述实例查询表征作为条件信号对所述局部候选特征集合进行通道重加权与交互响应聚合，完成所述实例查询表征的残差更新的步骤包括：

21、将当前解码网络层级的实例查询表征输入基于单层线性映射网络构建的查询通道特征激活层以生成查询通道权重向量，利用所述查询通道权重向量对提取出的所述局部候选特征集合内的每一个局部特征执行逐通道元素相乘的重加权处理操作输出重加权局部候选特征集合；

22、依据所述实例查询表征与所述重加权局部候选特征集合中的各个重加权局部候选特征之间的点积响应相似度得分计算局部来源可靠性权重，利用归一化指数函数对点积响应相似度得分进行概率映射输出归一化的局部来源可靠性权重；利用所述归一化的局部来源可靠性权重对整个重加权局部候选特征集合进行加权求和聚合以生成针对当前实例查询表征的特征残差更新量，将特征残差更新量与原有的实例查询表征执行矩阵对应元素加法操作以完成特征维度上的残差更新。

23、进一步的，将更新完成的实例查询表征输入矢量输出模块，输出地图要素实例的分类概率标签及由多维坐标点序列构成的矢量化几何边界信息的步骤包括：

24、利用分类预测网络计算当前实例查询表征属于车道分隔线类别、道路边界线类别以及人行横道类别等地图要素类别的概率分布作为所述分类概率标签；利用几何回归网络将所述实例查询表征映射为1组有序的二维几何点集，所述二维几何点集包含预设数量的二维物理坐标点，用于刻画道路地图对象的空间位置与几何形态；所述分类预测概率分布与所述二维几何点集共同构成局部场景中地图要素实例的矢量化预测结果。

25、进一步的，所述方法在投入应用前还包括模型训练步骤：构建包含多源多帧多视角图像以及对应真实标注集合的训练数据集，将所述训练数据集输入未收敛的网络模型中进行前向传播以获取包含分类预测概率与二维几何点集的预测集合；采用层次化集合预测框架对模型输出进行二分图匹配，以计算预测集合中各个预测实例与真实标注集合中各个真实目标要素之间的匹配代价，基于匈牙利匹配算法求解使得全局总匹配代价最小的最优分配排列方案；

26、基于所述最优分配排列方案计算模型整体训练目标损失函数，所述整体训练目标损失函数由一对一实例级回归损失、一对多正样本分配损失以及底层稠密特征监督损失3部分组成；启动反向传播过程进行网络权重参数更新，并在反向传播过程中利用所述硬件时空有效性状态数据中的布尔状态掩码矩阵将处于零填充状态的无效数据节点的反向传播梯度严格重置为0。

27、本发明提供了基于地图要素条件化动态融合的在线高精地图构建方法。具备以下有益效果：

28、1、本发明通过掩码-门控机制抑制相机丢帧、位姿漂移带来的噪声，提升模型在硬件掉帧与位姿偏移工况下的时序鲁棒性与数据可靠性，通过在特征聚合与模型训练阶段引入底盘位姿协方差数据与布尔状态掩码矩阵，当位姿误差超出安全阈值时主动截断历史时间帧，并对处于零填充状态的无效特征来源施加负无穷大惩罚机制，截断与惩罚机制直接阻断传感器丢帧与位姿估计偏移产生的无效数据进入融合链路，同时也避免无效梯度在反向传播时引起网络权重参数的异常更新，相较于单纯增加无过滤历史帧而引入噪声的做法，本发明的掩码与门控融合机制排除跨帧对齐误差引发的无效数据干扰问题，使模型在严格阈值条件下的总体平均精度得到提升。

29、2、本发明通过局部参考点采样缩小采样空间，降低无关背景干扰，从而提升地图要素的空间特征提取精度，方法中将实例查询表征直接映射并分散为多个局部空间参考点二维物理坐标，利用局部空间参考点二维物理坐标在全局鸟瞰图表征中执行局部网格采样，局部网格采样方式替代全局特征交互，缩小特征采样的空间检索范围，使提取到的局部候选特征集合在物理空间上与真实的地图要素目标更为贴合，减少无关区域的计算冗余与特征干扰，根据nuscenes数据集的模块消融实验结果，引入实例解码级局部采样与交互融合机制后，模型总体平均精度超越基线模型，验证实例解码级局部采样与交互融合机制能够排除非目标区域的噪声干扰。

30、3、本发明利用条件化通道重加权，提高车道线、人行横道等地图要素矢量化几何边界预测的准确率，在完成特征采样后，本方法将实例查询表征作为条件信号，生成通道维度权重向量对局部候选特征集合执行逐通道的重加权处理，重加权处理步骤利用待预测地图要素的先验信息，在通道维度上动态增加与车道线、道路边界目标结构相关的底层语义特征数值，并抑制冗余背景噪声的数值，从而为后续的矢量输出模块提供特征依据，使得最终输出的多维坐标点序列更加准确，在nuscenes数据集的定量对比中，采用本发明的条件化通道重加权方法后，车道分隔线、道路边界线以及人行横道的平均精度均超越基线模型，证明条件化通道重加权方法在改善细粒度几何对齐及矢量边界表达质量方面具有提升效果。