通用空中分割技术赋能下基于细节层次的地图视觉定位方法

本发明属于计算机视觉图像与人工智能，具体涉及一种通用空中分割技术赋能下基于细节层次的地图视觉定位方法。

背景技术：

1、航空视觉定位技术旨在通过航空器（例如无人机、卫星等）搭载的摄像头获取的视觉信息，估算航空器的旋转和位移。这些技术充分挖掘了航空器特别是无人机在多个领域的巨大潜力，例如货物运输、监控和监测等领域。

2、传统视觉定位方法依赖通过地理配准图像构建的详细三维场景表征，这些表征可能采用运动结构法（sfm）、学习式三维表征或基于网格的重建。这些表征能提供丰富的结构和纹理细节，通常根据应用需求存储在云端，但这也带来了数据采集、内存消耗和隐私保护等多方面的挑战。

3、为应对这些挑战，现有技术中提出了lod-loc和lod-locv2两种基于lod城市模型（lod地图）的无人机定位方法。lod地图（全称是细节层次地图），是一种用于表示三维地理空间数据的技术，核心思想是针对同一个地理区域，根据观察者的视角距离、显示分辨率或应用需求，提供不同详细程度，亦即细节层次的模型表示。这两种方法均主张采用广泛可用的无纹理建筑模型作为三维地理参考，通过建筑物边缘或平面表面特征进行无人机姿态估计。上述范式表明这一方向为实现可扩展且全球适用的无人机定位技术提供了希望。然而，仅依赖建筑物结构会限制此类方法的普适性，尤其在建筑物稀少或缺失的郊区或农村地区。此外，这些方法中采用的数据集仅涵盖两个场景，导致其泛化能力未得到充分验证。

4、此外，由于航空器（包括无人机）影像所包含的信息远比单纯的建筑结构更为丰富。若将定位局限于单一语义类别，将导致大量可用视觉线索的浪费。

5、因此，开发航空器（包括无人机）多类别定位框架时，仍面临两大核心挑战：如何高效获得高精度的多语义lod地图，以及如何设计一个在未知环境中具有良好泛化能力的本地化方法流程。

技术实现思路

1、针对上述技术问题，本发明提出一种通用空中分割技术赋能下基于细节层次的地图视觉定位方法。所述方法利用开放街道地图构建地理参考，自动生成大规模标注数据集；提出基于omnilod-loc框架的语义对齐高精度定位流程；特别是设计并训练一个基于混合专家范式的跨域分割网络提升泛化能力。

2、本发明提供一种通用空中分割技术赋能下基于细节层次的地图视觉定位方法，包括：

3、步骤110，构建大规模像素级标注的语义分割数据集，作为航空器定位的精确地理参考数据源；

4、步骤120，基于所述语义分割数据集，采用基于视觉特征模块的参数高效微调技术，设计并训练一个基于混合专家范式的跨域分割网络；所述跨域分割网络，至少包括模块化低秩特征提取器和频率感知滤波器；

5、步骤130，获取查询图像；利用训练好的跨域分割网络对所述查询图像进行像素级语义分割，获得多类别的像素级语义分割图，包括：利用模块化低秩特征提取器进行特征提取与适配优化，获取调制后的特征；利用频率感知滤波器对调制后的特征进行自适应调节的二次精炼；

6、步骤140，设计用于航空器定位的omnilod-loc框架，包括：通过计算像素级语义分割图与投影语义图之间的融合相似度，构建多语义成本体积；所述投影语义图，通过将预构建的细节层次语义地图中多类别语义信息投影至图像平面生成；

7、步骤150，通过最大化所述融合相似度，采用粗到精的优化策略在所述多语义成本体积中寻找相似度极值，将所述相似度极值的候选位姿确定为航空器的最优估计位姿，完成定位。

8、优选地，所述语义分割数据集，通过以下两条并行自动化流程构建：

9、空中实景图像的标注流程：结合具有地理参考的空中实景图像与同区域的开放街道地图矢量数据，通过自动配准与矢栅转换，生成对应的多类别语义标签；

10、合成空中图像的流程：基于开放街道地图的矢量数据，利用虚幻引擎渲染合成具有对应地理参考的空中图像，并同步自动生成对应的多类别语义标签。

11、优选地，所述跨域分割网络中，频率感知滤波器串联在低秩特征提取器之后；

12、所述模块化低秩特征提取器，通过动态道路由组合不同秩的可学习低秩专家，构建低秩专家池，以及基于低秩专家混合机制为输入特征张量的每个序列样本生成特征适配方案，获得调制后的特征；

13、所述频率感知滤波器，基于频谱域自适应调制机制对融合调制后的特征进行二次精炼。

14、相比现有技术，本发明获得的有益效果包括：

15、（1）利用开放街道地图与虚幻引擎渲染，构建了自动化、低成本的大规模像素级语义分割数据集，解决了标注效率与地理参考准确性的问题。

16、（2）设计了基于混合专家范式的跨域分割网络，通过模块化低秩特征提取与频率感知滤波，显著增强了模型在从城市到乡村等不同场景下的语义分割泛化能力。

17、（3）提出了omnilod-loc框架，将姿态估计转化为多语义成本体积的优化问题，充分利用多类别视觉线索，并通过粗到精策略实现了更高精度和鲁棒性的六自由度定位。

18、本发明形成了一套从数据构建、语义理解到精准定位的完整解决方案，有效解决了跨域泛化弱、标注成本高、定位精度不足等核心挑战，推动了无人机等航空器视觉定位技术的实用化与规模化应用。

1.一种通用空中分割技术赋能下基于细节层次的地图视觉定位方法，其特征在于，所述方法包括：

2.根据权利要求1所述的通用空中分割技术赋能下基于细节层次的地图视觉定位方法，其特征在于，所述语义分割数据集，通过以下两条并行自动化流程构建：

3.根据权利要求1所述的通用空中分割技术赋能下基于细节层次的地图视觉定位方法，其特征在于，所述跨域分割网络中，频率感知滤波器串联在低秩特征提取器之后；

4.根据权利要求3所述的通用空中分割技术赋能下基于细节层次的地图视觉定位系统，其特征在于，所述特征适配方案，包括：

5.根据权利要求4所述的通用空中分割技术赋能下基于细节层次的地图视觉定位方法，其特征在于，所述频谱域自适应调制机制，包括：

6.根据权利要求5所述的通用空中分割技术赋能下基于细节层次的地图视觉定位方法，其特征在于，所述道路由函数由下式给出：

7.根据权利要求1所述的通用空中分割技术赋能下基于细节层次的地图视觉定位方法，其特征在于，对所述跨域分割网络进行训练的损失函数，由下式给出：

8.根据权利要求1所述的通用空中分割技术赋能下基于细节层次的地图视觉定位方法，其特征在于，所述航空器是无人机，所述查询图像是无人机机载相机实时拍摄的空中实景图像；

9.根据权利要求8所述的通用空中分割技术赋能下基于细节层次的地图视觉定位方法，其特征在于，所述粗到精的优化策略，采用下列数学模型进行最优姿态选择：

10.根据权利要求2所述的通用空中分割技术赋能下基于细节层次的地图视觉定位方法，其特征在于，所述语义分割数据集是数据集omniairloc，包含89.5k张的无人机rgb图像，涵盖道路、建筑、植被、水体及背景共五类的像素级语义分类标注，所述无人机rgb图像包含78k张空中图像以及11.5k张空中实景图像；