地图生成方法、设备及介质与流程

本技术涉及自动驾驶环境感知与多模态传感器融合领域，尤其涉及一种地图生成方法、设备及介质。

背景技术：

1、在自动驾驶场景中，车辆通常需要实时构建周围环境的高精度三维语义栅格地图，以识别可通行区域、障碍物位置、道路边界等关键信息。

2、现有三维语义占据预测通常采用视觉、激光雷达及其多模态融合方案，对周围场景进行三维建模与语义识别。现有的多模态数据融合方法在生成栅格地图时，通常直接基于预设的投影关系或简单的空间对齐，将二维图像特征直接映射到三维空间中，或者将三维点云特征投影到二维图像平面进行拼接，易受标定误差和动态漂移影响。

3、这种特征关联的粗糙性，导致最终生成的栅格地图在复杂场景下精度不足，影响车辆在复杂环境中的决策安全性。

技术实现思路

1、本技术提供一种地图生成方法、设备及介质，以解决上述技术问题。该方案面向自动驾驶环境感知中的多模态三维语义占据预测需求，针对现有多模态融合方案依赖空间对齐、易受标定误差和动态漂移影响，以及现有空间表征在计算开销与信息表达之间难以平衡的问题，提出一种结合场景空间表示、跨模态特征关联与融合建图的技术思路，实现对复杂场景的有效表征与地图生成，从而提升多模态感知在精度、稳定性及效率方面的综合表现。

2、第一方面，本技术提供一种地图生成方法，该方法包括：

3、采集多模态传感器数据，多模态传感器数据包括多视角图像和三维点云数据；

4、根据三维点云数据的深度信息，确定多个三维高斯基元的空间位置和形态参数，并根据空间位置和形态参数构建三维高斯场景表示；

5、提取多视角图像的二维图像特征，并对三维点云数据进行特征提取，生成体素化的三维几何特征；

6、根据三维高斯场景表示的空间位置信息，将三维几何特征关联至各个三维高斯基元上，得到附着于各个三维高斯基元的三维激光雷达特征；

7、对二维图像特征与三维激光雷达特征进行特征融合处理，得到融合后的三维高斯特征；

8、对三维高斯特征进行光栅化渲染，生成栅格地图。

9、在一种可能的实施方式中，将三维几何特征关联至各个三维高斯基元上，得到附着于各个三维高斯基元的三维激光雷达特征，包括：

10、针对每个三维高斯基元，根据三维高斯场景表示的空间位置信息确定对应的目标深度平面，并在目标深度平面上生成多个采样点；

11、根据多个采样点，从目标深度平面中提取分层特征；

12、对分层特征进行聚合处理，得到聚合后的特征，并将聚合后的特征赋予三维高斯基元，得到附着于三维高斯基元的三维激光雷达特征。

13、在一种可能的实施方式中，对分层特征进行聚合处理，得到聚合后的特征，包括：

14、将多个分层特征划分为多个特征块；

15、对每个特征块内的分层特征进行均值池化，得到对应的块聚合表示；

16、对各个块聚合表示进行全局融合处理，得到聚合后的特征。

17、在一种可能的实施方式中，对各个块聚合表示进行全局融合处理，得到聚合后的特征，包括：

18、计算多个分层特征的全局平均特征；

19、通过门控全局融合操作，将各个块聚合表示与全局平均特征进行加权融合，得到聚合后的特征。

20、在一种可能的实施方式中，对二维图像特征与三维激光雷达特征进行特征融合处理之前，还包括：

21、将二维图像特征和三维激光雷达特征分别转换为概率分布；

22、计算二维图像特征的概率分布与三维激光雷达特征的概率分布之间的双向交叉熵；

23、基于双向交叉熵生成对应的调制权重，并根据调制权重分别对二维图像特征和三维激光雷达特征进行平滑更新。

24、在一种可能的实施方式中，对二维图像特征与三维激光雷达特征进行特征融合处理，得到融合后的三维高斯特征，包括：

25、从二维图像特征中提取与三维激光雷达特征匹配的语义纹理信息；

26、从三维激光雷达特征中提取与二维图像特征匹配的结构信息；

27、通过软门控操作预测融合掩码，并根据融合掩码对语义纹理信息和结构信息进行加权融合，得到三维高斯特征。

28、在一种可能的实施方式中，得到融合后的三维高斯特征之后，还包括：

29、计算二维图像特征与三维激光雷达特征之间的余弦相似度；

30、根据余弦相似度生成门控权重；

31、根据门控权重对三维高斯特征进行修正，得到修正后的三维高斯特征。

32、在一种可能的实施方式中，对三维高斯特征进行光栅化渲染，生成栅格地图之前，还包括：

33、将附着有三维高斯特征的三维高斯基元序列化为一维序列；

34、通过选择性状态空间模型对一维序列进行全局建模；

35、将建模后的一维序列恢复为三维空间结构，得到更新后的三维高斯特征。

36、第二方面，本技术实施例提供一种地图生成装置，该装置包括：

37、采集模块，用于采集多模态传感器数据，多模态传感器数据包括多视角图像和三维点云数据；

38、构建模块，用于根据三维点云数据的深度信息，确定多个三维高斯基元的空间位置和形态参数，并根据空间位置和形态参数构建三维高斯场景表示；

39、特征提取模块，用于提取多视角图像的二维图像特征，并对三维点云数据进行特征提取，生成体素化的三维几何特征；

40、关联模块，用于根据三维高斯场景表示的空间位置信息，将三维几何特征关联至各个三维高斯基元上，得到附着于各个三维高斯基元的三维激光雷达特征；

41、融合模块，用于对二维图像特征与三维激光雷达特征进行特征融合处理，得到融合后的三维高斯特征；

42、渲染模块，用于对三维高斯特征进行光栅化渲染，生成栅格地图。

43、在一种可能的实施方式中，关联模块，具体用于：

44、针对每个三维高斯基元，根据三维高斯场景表示的空间位置信息确定对应的目标深度平面，并在目标深度平面上生成多个采样点；

45、根据多个采样点，从目标深度平面中提取分层特征；

46、对分层特征进行聚合处理，得到聚合后的特征，并将聚合后的特征赋予三维高斯基元，得到附着于三维高斯基元的三维激光雷达特征。

47、在一种可能的实施方式中，关联模块，还用于：

48、将多个分层特征划分为多个特征块；

49、对每个特征块内的分层特征进行均值池化，得到对应的块聚合表示；

50、对各个块聚合表示进行全局融合处理，得到聚合后的特征。

51、在一种可能的实施方式中，关联模块，还用于：

52、计算多个分层特征的全局平均特征；

53、通过门控全局融合操作，将各个块聚合表示与全局平均特征进行加权融合，得到聚合后的特征。

54、在一种可能的实施方式中，融合模块，还用于：

55、将二维图像特征和三维激光雷达特征分别转换为概率分布；

56、计算二维图像特征的概率分布与三维激光雷达特征的概率分布之间的双向交叉熵；

57、基于双向交叉熵生成对应的调制权重，并根据调制权重分别对二维图像特征和三维激光雷达特征进行平滑更新。

58、在一种可能的实施方式中，融合模块，具体用于：

59、从二维图像特征中提取与三维激光雷达特征匹配的语义纹理信息；

60、从三维激光雷达特征中提取与二维图像特征匹配的结构信息；

61、通过软门控操作预测融合掩码，并根据融合掩码对语义纹理信息和结构信息进行加权融合，得到三维高斯特征。

62、在一种可能的实施方式中，融合模块，还用于：

63、计算二维图像特征与三维激光雷达特征之间的余弦相似度；

64、根据余弦相似度生成门控权重；

65、根据门控权重对三维高斯特征进行修正，得到修正后的三维高斯特征。

66、在一种可能的实施方式中，融合模块，还用于：

67、将附着有三维高斯特征的三维高斯基元序列化为一维序列；

68、通过选择性状态空间模型对一维序列进行全局建模；

69、将建模后的一维序列恢复为三维空间结构，得到更新后的三维高斯特征。

70、第三方面，本技术实施例提供一种地图生成设备，包括：处理器和存储器；

71、存储器存储计算机执行指令；

72、处理器执行存储器存储的计算机执行指令，使得处理器执行上述第一方面 技术实现要素： 提供的一种地图生成方法。

73、第四方面，本技术提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时，用于实现第一方面发明内容的一种地图生成方法。

74、第五方面，本技术提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时，用于实现第一方面发明内容的一种地图生成方法。

75、本技术在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。

76、本技术提供的一种地图生成方法、设备及介质，通过采集多模态传感器数据，并基于三维点云数据的深度信息确定多个三维高斯基元的空间位置和形态参数以构建三维高斯场景表示，同时提取多视角图像的二维图像特征和三维点云数据对应的体素化三维几何特征，再依据三维高斯场景表示的空间位置信息将三维几何特征关联至各个三维高斯基元，并进一步对二维图像特征与三维激光雷达特征进行融合以及对三维高斯特征进行光栅化渲染，能够在统一的场景表示下实现图像信息与点云信息的有效结合，降低对严格空间对齐的依赖，并兼顾场景几何结构与语义信息的表达，进而提高了复杂自动驾驶场景下地图生成的精度、鲁棒性和计算效率。