一种基于层次靶向语义对齐的遥感图文检索方法

摘要: 本发明涉及遥感图像处理,具体涉及一种基于层次靶向语义对齐的遥感图文检索方法。背景技术:1、随着地球观测技术的持续进步,高分辨率遥感影像的获取效率与数据规模快速提...
一种基于层次靶向语义对齐的遥感图文检索方法

本发明涉及遥感图像处理,具体涉及一种基于层次靶向语义对齐的遥感图文检索方法。

背景技术:

1、随着地球观测技术的持续进步,高分辨率遥感影像的获取效率与数据规模快速提升,如何从海量遥感数据中高效、精准地检索与文本描述相匹配的图像,即遥感图像-文本检索技术,已成为遥感信息处理领域的重要研究方向,在地理定位、灾害应急救援、城市规划管理、国土资源调查等场景中具有广泛的应用价值。

2、现有的遥感图像-文本检索(remote sensing image-text retrieval, rsitr)技术核心在于实现跨模态语义对齐,根据对齐的粒度与实现方式不同,可分为全局特征对齐范式与局部特征对齐范式两大类。近年来,以对比语言图像预训练(contrastivelanguage-image pretraining, clip)模型为代表的通用视觉语言预训练技术取得了显著突破,其强大的跨模态语义表征能力为遥感图文检索提供了新的技术路径,基于预训练模型迁移学习的方案也逐渐成为该领域的主流研究方向。其中,全局特征对齐方法通过编码器分别提取图像与文本的全局语义特征,将其映射至统一的共享语义空间后计算相似度,该类方法计算效率高、泛化能力强,但对细粒度地物信息的捕捉能力不足,难以适配遥感场景中多尺度、稀疏目标的检索需求。局部特征对齐方法则将图像拆分为多个区域特征、将文本拆解为单词级特征,通过区域与单词间的细粒度匹配挖掘更丰富的语义对应关系,能够提升细节匹配精度,但普遍存在计算复杂度高、易引入冗余对齐的问题。

3、在上述技术发展基础上,本领域针对迁移学习效率、对齐精度等方向开展了诸多优化研究。有研究公开了一种计算和内存高效的遥感图文检索框架,通过侧枝结构的聚焦适配器模块抑制小目标特征提取过程中的背景像素干扰,同时将遥感场景类别作为元数据设计标签增强技术以缩小检索空间,并结合负样本回收策略扩展对比学习的负样本池,在保证检索性能竞争力的同时有效降低了训练阶段的显存占用、提升了数据吞吐量。该方案侧重于训练阶段的计算与存储资源效率优化,整体采用单一路径的语义对齐逻辑,未对细粒度匹配过程中的冗余区域做靶向筛选,在检索精度的深度语义优化维度仍存在提升空间。

4、现有专利文献cn121919374a公开了一种显隐式语义协同指导的跨模态遥感图文检索方法,构建显式与隐式双并行分支架构,通过上下文感知的加权掩码策略实现显式分支的细粒度词-区域对齐,再以显式分支生成的对比损失监督隐式分支的自适应二值化哈希表征生成,以兼顾语义对齐精度与哈希检索效率。该方案采用并行分支协同的设计思路,其细粒度对齐机制未结合遥感场景的成像特性做适配性优化。

5、此外,现有迁移学习方案大多直接复用通用领域预训练模型的结构与参数,未针对遥感场景的地物形态、空间分布等特性进行针对性适配,预训练语义知识向遥感领域迁移时存在明显的性能损耗,无法充分释放预训练模型的表征潜力。

6、因此,本领域亟需一种新的技术方案——能够适配遥感场景特性,且兼顾检索精度与运行效率的遥感图文检索方法,以更好地满足海量遥感数据下的高精度检索需求。

技术实现思路

1、为了缓解或部分缓解上述技术问题,本发明的解决方案如下所述:

2、一种基于层次靶向语义对齐的遥感图文检索方法,包括以下步骤:

3、通过图像采样网络对输入遥感图像进行特征编码,输出包含图像全局特征与多个图像区域局部特征的图像特征序列;通过文本采样网络对输入描述文本进行特征编码,输出包含文本全局特征与多个单词对应的局部特征的文本特征序列;

4、基于所述图像全局特征与所述文本全局特征执行粗粒度全局语义对齐,得到用于约束模态内特征类间区分度的跨模态分类损失、以及用于对齐图像全局特征与文本全局特征分布的跨模态匹配损失;

5、计算各图像区域局部特征与所有单词局部特征的语义相似度,构建区域-文本相似度矩阵;针对每个单词,通过目标校正权重对该单词对应所有图像区域的语义匹配结果进行靶向筛选,所述目标校正权重满足:当且仅当图像区域为与该单词语义相似度最高的区域时,权重取值为1,其余图像区域的权重均取值为0;基于筛选后的语义匹配结果计算该单词与遥感图像的靶向相似度,聚合所有单词的靶向相似度得到细粒度跨模态相似度,得到细粒度对齐损失;

6、将所述跨模态分类损失、跨模态匹配损失与细粒度对齐损失求和构建联合损失函数,以联合损失最小化为目标对所述图像采样网络与文本采样网络进行端到端训练,得到用于遥感图像与描述文本双向检索的遥感图文检索模型。

7、优选地,所述目标校正权重的确定方式为:

8、;

9、其中,为第x个图像区域与第y个单词对应的目标校正权重;y为查询单词的序号;为图像区域对应的单词序号索引;为第x个图像区域与第个单词的语义相似度;arg max(·)为取最大值对应索引的运算;otherwise表示其余情况。

10、优选地,所述靶向相似度的计算方式为:

11、将筛选得到的图像区域特征与对应单词的局部特征进行归一化点积运算,得到该单词与遥感图像的靶向相似度;所述归一化点积运算为对两个特征向量分别进行l2范数归一化后计算点积。

12、优选地,所述聚合所有单词的靶向相似度得到细粒度跨模态相似度,采用对数指数池化方式实现,包括:

13、对每个单词的靶向相似度乘以比例因子后取指数运算,对所有单词的指数运算结果求和后取对数,再除以所述比例因子,得到细粒度跨模态相似度;所述比例因子用于调整最相关语义在相似度聚合中的权重。

14、优选地,所述跨模态匹配损失的计算方式为:

15、分别计算文本到图像方向的匹配损失与图像到文本方向的匹配损失;

16、基于图像全局特征与文本全局特征计算文本到图像匹配概率分布,采用kl散度衡量文本到图像匹配概率分布相对于图像到文本匹配概率分布的差异,得到文本到图像方向的匹配损失;

17、基于图像全局特征与文本全局特征计算图像到文本匹配概率分布,采用kl散度衡量图像到文本匹配概率分布相对于文本到图像匹配概率分布的差异,得到图像到文本方向的匹配损失;

18、将所述文本到图像方向的匹配损失与所述图像到文本方向的匹配损失求和,得到所述跨模态匹配损失。

19、优选地,所述细粒度对齐损失采用双向排名损失,包括:

20、针对匹配的图像-文本对,选取训练批次内非匹配对中与所述匹配的图像-文本对的文本相似度最低的负样本图像、以及与所述匹配的图像-文本对的图像相似度最低的负样本文本;

21、基于正向匹配的图像-文本对相似度与负向匹配的图像-文本对相似度之间的差值,分别计算文本到图像方向的排名损失与图像到文本方向的排名损失,将两个方向的排名损失求和,得到所述细粒度对齐损失。

22、优选地,所述图像采样网络与文本采样网络均采用预训练对比语言图像预训练clip模型的对应编码器进行参数初始化;训练阶段仅通过生成层级提示向量对clip模型的各隐藏层进行适配,输出融合遥感场景语义信息的上下文表征,无需对clip模型进行全量微调。

23、优选地,基于上下文表征对所述语义匹配结果进行修正,包括:

24、将所述上下文表征输入条件随机场进行序列标注概率建模,得到各单词的语义修正概率;将所述语义修正概率与原始匹配概率进行逐元素相乘融合,得到修正后的匹配概率,用于后续的跨模态匹配损失计算。

25、优选地,所述遥感图文检索模型用于执行文本检索图像或图像检索文本:

26、文本检索图像模式中,将查询文本编码得到文本特征,将图像库中的遥感图像预先编码得到图像特征并存入特征库,计算查询文本特征与各图像特征的总相似度,按相似度从高到低排序,返回前k幅图像作为检索结果;

27、图像检索文本模式中,将查询图像编码得到图像特征,将文本库中的描述文本预先编码得到文本特征,计算查询图像特征与各文本特征的总相似度,按相似度从高到低排序,返回前k条描述文本作为检索结果。

28、优选地,细粒度特征学习中transformer层数配置为3层;和/或,所述端到端训练采用adam或adamw优化器进行参数更新。

29、本发明技术方案,具有如下有益的技术效果之一或多个:

30、(1)构建了粗细粒度融合的层次化语义学习框架,通过粗粒度全局分类损失与跨模态匹配损失约束整体语义分布,结合细粒度局部对齐损失挖掘细节语义信息,实现多维度语义的联合优化学习;既保障了跨模态检索的泛化能力,又提升了细粒度语义匹配精度,有效提升了遥感图文检索的整体性能与场景适应性。

31、(2)引入靶向语义对齐机制,通过目标校正权重对细粒度区域-单词匹配对进行筛选,仅保留核心词汇与对应关键图像区域的匹配信号,剔除背景区域与非核心词汇带来的冗余语义干扰;在保留细粒度匹配精度的同时降低了冗余计算开销,适配遥感图像背景占比高、地物目标稀疏分散的场景特点。

32、(3)引入了层级提示调优机制,通过映射网络生成多层提示向量并嵌入预训练transformer 的各隐藏层,仅需微调少量投影参数即可实现通用视觉语言预训练模型向遥感场景的快速适配;无需对预训练模型进行全量微调,在降低训练算力成本的前提下,有效提升了预训练语义知识向遥感领域的迁移效果。

33、此外,本发明还具有的其它有益效果将在具体实施例中提及。