一种语义与空间关系先验嵌入的视觉位置识别方法及系统

本发明属于计算机视觉和视觉位置识别，具体涉及一种语义与空间关系先验嵌入的视觉位置识别方法及系统。

背景技术：

1、视觉位置识别（visual place recognition,vpr）旨在通过提取判别性视觉表征，判断查询图像是否与已访问地点匹配。近年来，基于深度学习的纯视觉方法（如netvlad、boq、salad）通过全局特征聚合策略在标准基准上取得了优异性能。然而，这类方法完全依赖隐式、无引导的全局图像感知，缺乏显式的高层语义约束，导致视觉表征对动态噪声（如移动车辆、行人）和剧烈的外观变化高度敏感，在城市环境中具有重复建筑结构时易产生感知混淆（perceptual aliasing）。

2、为克服上述局限，近期研究探索引入结构化或多模态先验来补充视觉特征。一类方法引入结构化空间先验（如structvpr），通过语义分割图编码场景布局，但分割掩码仅提供粗粒度的像素级标签，缺乏细粒度概念语义，在严重遮挡和极端视角变化下表现脆弱。另一类方法引入文本先验，通过多模态大语言模型（mllm）生成自由形式的自然语言描述，或通过隐式知识蒸馏从视觉-语言模型（vlm）获取语义知识。然而，自由形式文本不可避免地引入动态物体并产生跨模态鸿沟，而隐式蒸馏缺乏显式的结构化约束，易导致严重的语义漂移。此外，现有方法均未显式编码地标间的空间拓扑关系，导致具有相同地标类别但不同空间配置的地点无法区分。

3、综上所述，现有视觉位置识别技术存在以下主要缺陷：（1）纯视觉方法无法区分动态噪声与永久性地标，在存在重复结构的场景中易产生感知混淆；（2）基于分割的空间先验缺乏细粒度语义信息，对遮挡和视角变化敏感；（3）基于文本先验的方法未对动态物体进行有效过滤，且未显式编码空间关系，无法区分具有相同地标但不同空间配置的地点。因此，亟需一种能够有效解耦动态噪声、显式编码语义实体和空间关系的新型视觉位置识别方法。

技术实现思路

1、为了解决现有技术中存在的问题，本发明提供一种语义与空间关系先验嵌入的视觉位置识别方法及系统，通过构建两阶段文本净化支路，利用多模态大语言模型在严格提示约束下生成场景描述，并采用严格词汇标准化策略过滤动态物体，得到高纯度的结构化文本短语，显式编码永久性地标实体及其空间关系；进而通过参数共享的交叉注意力机制将文本先验选择性注入局部和全局视觉特征中，实现跨模态特征融合，显著提升了视觉位置识别在动态环境和极端外观变化下的判别能力和鲁棒性。

2、为了实现上述目的，第一方面，本发明提供一种语义与空间关系先验嵌入的视觉位置识别方法，包括以下步骤：

3、提取输入图像的多粒度视觉特征，得到全局视觉特征和局部视觉特征；

4、对所述输入图像进行文本净化处理，生成结构化文本短语，所述文本净化处理包括：利用冻结的多模态大语言模型在提示约束下生成场景描述，并对所述场景描述执行严格词汇标准化，得到所述结构化文本短语，所述结构化文本短语显式编码永久性地标实体及所述永久性地标实体之间的空间关系；

5、利用冻结的文本编码器将所述结构化文本短语映射为文本特征嵌入；

6、通过参数共享的交叉注意力机制，以所述全局视觉特征和所述局部视觉特征作为查询，以所述文本特征嵌入作为键和值，将所述文本特征嵌入中的文本先验分别注入所述全局视觉特征和所述局部视觉特征，得到注入文本先验的全局视觉特征和注入文本先验的局部视觉特征；

7、对所述注入文本先验的全局视觉特征和所述注入文本先验的局部视觉特征进行聚合与归一化，生成用于视觉位置识别的紧凑全局描述符。

8、进一步的，所述利用多模态大语言模型在提示约束下生成场景描述包括：

9、采用冻结的多模态大语言模型作为条件生成器，给定所述输入图像和严格提示约束，生成原始场景描述；

10、规范词汇表约束、内在不变性约束和负约束实现输出规范化。

11、进一步的，所述规范词汇表约束用于将输出术语限制为预定义的语义类别；所述内在不变性约束用于强制优先描述永久性材质属性，忽略包括光照和天气的动态属性；所述负约束用于显式排除包括车辆和行人的动态噪声类别。

12、进一步的，所述执行严格词汇标准化，包括：

13、采用确定性算子解析所述场景描述的布局，移除超出预定义词汇表的幻觉内容，将场景分解为永久性地标实体集合、垂直空间关系集合和邻接空间关系集合，形成所述结构化文本短语。

14、进一步的，所述提取输入图像的多粒度视觉特征包括：

15、将所述输入图像送入冻结的视觉骨干网络dinov2，通过可训练的视觉头提取全局cls token特征作为所述全局视觉特征，并提取局部patch特征作为所述局部视觉特征。

16、进一步的，所述通过参数共享的交叉注意力机制将所述文本特征嵌入中的文本先验分别注入所述全局视觉特征和所述局部视觉特征包括：

17、将所述全局视觉特征和所述局部视觉特征通过共享的投影矩阵变换为查询，将所述文本特征嵌入通过共享的投影矩阵变换为键和值，计算交叉注意力输出；

18、将所述交叉注意力输出经独立可学习的全局门控标量和局部门控标量调制后，作为残差分别注入所述全局视觉特征和所述局部视觉特征；

19、所述局部门控标量的初始注入率低于所述全局门控标量的初始注入率；所述局部门控标量初始化为负值，所述全局门控标量初始化为较大正值。

20、进一步的，所述对所述注入文本先验的全局视觉特征和所述注入文本先验的局部视觉特征进行聚合与归一化，生成用于视觉位置识别的紧凑全局描述符包括：

21、将所述注入文本先验的局部视觉特征通过基于注意力机制的聚合器bag-of-queries聚合为紧凑局部描述符；

22、对所述注入文本先验的全局视觉特征施加恒定的幅度缩放因子，将缩放后的全局token与局部描述符拼接并执行l2归一化，得到所述紧凑全局描述符。

23、第二方面，本发明提供一种语义与空间关系先验嵌入的视觉位置识别系统，包括视觉特征提取模块、文本净化模块、文本特征编码模块、双门控非对称注入模块以及描述符生成模块；

24、视觉特征提取模块，用于提取输入图像的多粒度视觉特征，得到全局视觉特征和局部视觉特征；

25、文本净化模块，用于对所述输入图像进行文本净化处理，生成结构化文本短语，所述文本净化处理包括：利用冻结的多模态大语言模型在提示约束下生成场景描述，并对所述场景描述执行严格词汇标准化，得到所述结构化文本短语，所述结构化文本短语显式编码永久性地标实体及所述永久性地标实体之间的空间关系；

26、文本特征编码模块，用于利用冻结的文本编码器将所述结构化文本短语映射为文本特征嵌入；

27、双门控非对称注入模块，用于通过交叉注意力机制，以所述全局视觉特征和所述局部视觉特征作为查询，以所述文本特征嵌入作为键和值，将所述文本特征嵌入中的文本先验分别注入所述全局视觉特征和所述局部视觉特征，得到注入文本先验的全局视觉特征和注入文本先验的局部视觉特征；

28、描述符生成模块，用于对所述注入文本先验的全局视觉特征和所述注入文本先验的局部视觉特征进行聚合与归一化，生成用于视觉位置识别的紧凑全局描述符。

29、第三方面，本发明还提供本发明提供一种计算机设备，包括处理器以及存储器，存储器用于存储计算机可执行程序，处理器从存储器中读取部分或者全部所述计算机可执行程序并执行，处理器执行部分或全部计算机可执行程序时能实现上述的一种语义与空间关系先验嵌入的视觉位置识别方法。

30、同时提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时，能实现上述的一种语义与空间关系先验嵌入的视觉位置识别方法。

31、与现有技术相比，本发明至少具有以下有益效果：

32、本发明提出的两阶段文本净化管道通过在源头主动过滤动态噪声，从根本上消除了动态物体对视觉表征的干扰，解决了现有方法中动态物体导致语义漂移的问题。相比现有自由形式文本描述方法引入动态物体造成性能下降，在pitts30k基准上r@1从92.7%降至92.0%，本发明的高纯度文本短语显著提升了检索精度，r@1提升至93.6%；

33、采用参数共享的交叉注意力机制实现跨模态融合，确保局部和全局视觉特征查询统一的多模态语义空间，减少了参数量并提升了融合效率。双门控非对称注入策略通过在局部特征上保守注入、在全局特征上积极吸收，实现了微观几何结构与宏观语义整合的最优平衡，保护了预训练视觉流形的稳定性。

34、在推理阶段仅需处理视觉模态，文本先验的生成在离线阶段完成，不增加在线推理开销；最终描述符维度仅为8704维，兼容faiss检索引擎，可通过内积运算实现高效的最近邻搜索，满足大规模地点识别的实时性需求。

35、在多个标准vpr基准（pitts30k、msls-val、tokyo24/7、sped、amstertime）上均取得了优于现有技术的性能，在tokyo24/7和sped等以极端光照变化和季节变化著称的基准上均建立了新的单图检索最优水平，证明了本发明方法具有良好的泛化能力和鲁棒性。

36、进一步的，显式编码地标实体间的空间拓扑关系，包括垂直关系和邻接关系，使具有相同地标类别但不同空间配置的地点能够被有效区分，显著缓解了感知混淆问题。在具有极端外观变化的amstertime基准上，本发明达到78.2%的r@1，超越最强纯视觉基线13.8个百分点，证明了空间关系先验在跨时代外观匹配中的强大判别力。