一种基于多模态路口语义树构建的跨视角定位方法

本发明涉及一种基于多模态路口语义树构建的跨视角定位方法，属于自动驾驶与智能交通。

背景技术：

1、随着自动驾驶技术的快速发展，车辆在复杂城市环境中的全局精准定位已成为制约自动驾驶系统大规模商业应用的关键瓶颈之一。具体而言，在卫星信号遮挡、高精度地图缺失或动态更新滞后等场景下，如何实现自动驾驶车辆在无全球导航卫星系统（globalnavigation satellite system，gnss）辅助条件下的自主全局定位，是当前学术界与产业界共同关注的核心技术问题。

2、跨视角定位技术作为解决上述问题的重要途径，旨在将车载传感器获取的局部环境感知信息与卫星图像所提供的全局地理空间信息进行匹配，从而推断车辆的全局位置。其中，地面激光雷达（lidar）能够精确捕捉道路及周边环境的三维几何结构信息，而卫星图像则可提供覆盖范围广、更新周期相对可控的全局道路网络拓扑信息。因此，如何将地面激光雷达获取的局部道路结构与卫星图像提供的全局道路网络进行精确匹配，是实现自动驾驶车辆全局定位的关键技术环节。

3、然而，现有跨视角定位技术在实际应用中存在显著的技术缺陷。首先，单个路口的结构特征（如分支数量、相对角度等几何属性）在不同地理位置往往呈现高度相似性，仅凭单个路口的局部结构特征难以构建具有足够区分度的特征描述，导致跨视角匹配过程中容易产生歧义，无法实现可靠的定位判别。其次，具有拓扑判别力的路口结构通常需要至少三个相互连接的路口所构成的局部子图才能有效区分不同地理位置，但此类结构对应的空间范围往往超出单张卫星图像的固定覆盖区域，且车载激光雷达的感兴趣区域可能部分超出卫星图像块的边界，导致局部道路结构与全局道路网络之间出现空间对齐断裂。此外，卫星图像与激光雷达点云在数据形式、观测视角、信息密度等方面存在本质差异，两种模态之间缺乏统一的语义表征框架，使得跨模态特征对齐与相似性度量面临根本性困难。

技术实现思路

1、本发明所要解决的技术问题是：提供一种基于多模态路口语义树构建的跨视角定位方法，通过构建统一的路口语义树数据结构，将卫星视角的道路拓扑结构与地面视角的激光雷达点云数据进行拓扑级对齐与匹配，实现了大规模场景下的高精度跨视角定位。

2、本发明为解决上述技术问题采用以下技术方案：

3、一种基于多模态路口语义树构建的跨视角定位方法，包括如下步骤：

4、步骤1，获取卫星视角的道路图像，将其划分为3×3的图像块阵列，按照空间位置关系将中心图像块及其八个邻域图像块拼接为扩展语义画布；

5、步骤2，对扩展语义画布进行道路网络语义提取，得到候选路口集合及路口间的道路连接关系，从候选路口集合中过滤分支数量为2的伪路口，得到卫星视角的有效路口集合；

6、步骤3，利用搭载激光雷达的机器人获取地面视角的激光雷达点云序列，并进行时序累积，形成累积激光雷达点云，从累积激光雷达点云中提取地面视角的有效路口集合；

7、步骤4，基于卫星视角的有效路口集合定义卫星视角路口语义树的节点和边，并基于广度优先遍历构建卫星视角路口语义树；基于地面视角的有效路口集合定义地面视角路口语义树的节点和边，并基于广度优先遍历构建地面视角路口语义树；

8、步骤5，从地面视角路口语义树中提取地面视角子树集合，从卫星视角路口语义树中提取卫星视角子树集合；对于地面视角子树集合中的每个待匹配地面视角子树，根据度数序列一致性判定准则，在卫星视角子树集合中搜索与待匹配地面视角子树具有相同拓扑结构的卫星视角子树；

9、步骤6，计算与待匹配地面视角子树具有相同拓扑结构的卫星视角子树和待匹配地面视角子树之间的综合几何属性相似度，并与匹配阈值进行比较，选择超过匹配阈值的综合几何属性相似度中最大的综合几何属性相似度对应的卫星视角子树，作为待匹配地面视角子树的最优匹配子树；

10、步骤7，根据步骤6确定的最优匹配子树对，建立地面坐标系到卫星全局坐标系的坐标映射关系，将地面坐标系中机器人的当前位置映射到卫星全局坐标系，得到机器人在卫星全局坐标系中的定位结果。

11、本发明采用以上技术方案与现有技术相比，具有以下技术效果：

12、1、本发明采用路口语义树作为跨视角匹配的核心数据结构，通过拓扑结构匹配与几何属性相似度度量相结合的策略，有效克服了传统方法在视角剧变、光照差异和遮挡条件下的特征匹配失效问题。设计的跨视角地理定位方法在oxford基准数据集上召回精度recall@1为48.02%，相较于同类型最新方法提升了4.99%。

13、2、本发明通过多帧激光雷达数据的时序累积，覆盖多个相互连接的路口区域，同时进一步将拓扑匹配扩展至多模态场景，通过路口语义树的层级结构确保了匹配的特异性，即使在卫星图像分辨率受限、激光雷达点云部分遮挡的情况下，仍能保持较高的匹配成功率。在初始位姿存在较大误差的情况下，仍能通过拓扑结构的全局一致性约束实现快速收敛和精确定位，增强了鲁棒性和泛化能力。

14、3、现有深度学习方法需要大规模标注数据集进行监督学习，数据标注成本高昂且难以覆盖所有地理区域和季节变化。本发明属于无监督/弱监督的拓扑匹配方法，无需依赖大量标注的跨视角图像对进行训练。直接利用卫星图像的道路网络语义和激光雷达点云的几何结构进行路口提取和树构建，无需人工标注跨视角匹配对。同时，由于路口语义树的数据结构紧凑，存储开销极低，便于在车载嵌入式系统中部署，满足边缘计算的资源约束要求。

15、4、本发明通过提升自动驾驶车辆在复杂路口场景下的定位精度和可靠性，有助于降低交通事故风险，提升道路交通安全性。特别是在gps信号受遮挡的城市峡谷、隧道入口、立交桥底等场景，本发明可通过拓扑结构匹配实现稳定的跨视角定位，弥补gnss定位的不足。通过降低数据标注成本、减少硬件算力需求和简化系统部署流程，可显著降低自动驾驶定位系统的研发和量产成本，具有良好的产业化前景。

1.一种基于多模态路口语义树构建的跨视角定位方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于多模态路口语义树构建的跨视角定位方法，其特征在于，所述步骤2的具体过程如下：

3.根据权利要求2所述的基于多模态路口语义树构建的跨视角定位方法，其特征在于，所述步骤3的具体过程如下：

4.根据权利要求3所述的基于多模态路口语义树构建的跨视角定位方法，其特征在于，所述步骤4中，卫星视角路口语义树为，地面视角路口语义树为，分别为卫星视角路口语义树的节点集合和边集合，分别为地面视角路口语义树的节点集合和边集合；

5.根据权利要求1所述的基于多模态路口语义树构建的跨视角定位方法，其特征在于，所述步骤4中，基于广度优先遍历构建卫星视角路口语义树的遍历过程如下：

6.根据权利要求1所述的基于多模态路口语义树构建的跨视角定位方法，其特征在于，所述步骤5中，从地面视角路口语义树中提取深度不小于2的地面视角子树，构成地面视角子树集合；从卫星视角路口语义树中提取深度不小于2的卫星视角子树，构成卫星视角子树集合；

7.根据权利要求1所述的基于多模态路口语义树构建的跨视角定位方法，其特征在于，所述步骤6中，综合几何属性相似度基于节点方位角相似度指标和距离比值一致性指标进行度量；其中，节点方位角相似度指标的计算过程如下：

8.一种计算机设备，包括存储器、处理器，以及存储在所述存储器中并能够在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的基于多模态路口语义树构建的跨视角定位方法的步骤。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于多模态路口语义树构建的跨视角定位方法的步骤。