一种联合语义重加权与飞行姿态感知数据增强的无人机影像检索方法及系统

摘要: 本发明涉及摄影测量与计算机视觉,尤其涉及一种联合语义重加权与飞行姿态感知数据增强的无人机影像检索方法及系统。背景技术:1、无人机影像匹配对检索是大规模sfm(s...
一种联合语义重加权与飞行姿态感知数据增强的无人机影像检索方法及系统

本发明涉及摄影测量与计算机视觉,尤其涉及一种联合语义重加权与飞行姿态感知数据增强的无人机影像检索方法及系统。

背景技术:

1、无人机影像匹配对检索是大规模sfm(structure from motion,计算机视觉中的三维重建技术)三维重建的核心前置环节,通过预筛选具备空间重叠潜力的影像对,可将特征匹配的时间复杂度从二次降为线性,是提升大场景无人机三维重建效率的关键技术。传统手工设计的全局特征(如词袋模型bag of words,bow、局部聚合描述子vector oflocally aggregated descriptors,vlad)依赖局部梯度信息的统计聚合,在弱纹理、重复纹理场景中特征区分能力显著下降;且此类方法可扩展性有限,当数据规模增长时,检索精度与检索效率均会出现明显衰减。

2、深度全局特征是通过神经网络自动学习影像的特征表示,能够捕捉全局上下文与高层语义信息,在弱纹理场景下仍具备较强判别性,已成为影像检索领域的主流技术路线。然而,现有深度全局特征方法在无人机影像匹配对检索任务中仍存在明显缺陷:

3、1)通用数据增强策略与无人机真实飞行姿态不匹配。传统影像检索广泛采用90°、270°固定角度旋转增强,在正射航线数据集上仅能带来有限增益,在自由飞行优化拍摄场景中会引入大量不符合真实成像规律的分布外样本,误导模型学习无效空间特征,反而造成泛化能力下降;同时常规随机裁剪、垂直翻转等操作易破坏无人机影像的全局场景结构,不利于匹配关系的建模。

4、2)基于swin transformer的检索方法存在特征层级选择偏差。现有方案默认采用网络最终层的输出特征进行聚合,其感受野最大、语义抽象性最强,但深度注意力建模导致局部纹理细节与空间位置信息严重丢失,无法为重复纹理、相似结构密集的无人机场景提供足够的细粒度区分信息,限制了检索精度的进一步提升。

5、3)重复纹理区域干扰全局特征的判别性。无人机影像普遍包含大面积农田、水体、密集建筑立面等同质重复纹理,传统全局池化或聚合方法对所有空间位置的特征等权处理,导致高响应的重复纹理特征主导全局描述子,掩盖了高判别性的语义区域信息,大幅提升了误检索概率,尤其在弱纹理、大视角变化场景下性能衰减明显。

6、因此,现有技术还存在数据增强策略不匹配、特征层级选择偏差以及重复纹理区域干扰的问题。

技术实现思路

1、针对现有技术缺陷,本发明提供一种联合语义重加权与飞行姿态感知数据增强的无人机影像检索方法及系统,以解决现有技术存在的数据增强策略不匹配、特征层级选择偏差以及重复纹理区域干扰的问题。

2、本发明解决技术问题所采用的技术方案如下:

3、第一方面,本发明提供联合语义重加权与飞行姿态感知数据增强的无人机影像检索方法,包括:

4、基于贴合无人机真实飞行姿态特性的数据增强策略对飞行姿态感知的无人机影像数据进行增强处理;

5、基于swin transformer网络从增强后的无人机影像数据中提取中间层特征;

6、通过特征相似度统计方法计算所述中间层特征中每个token的重复度评分,自适应分配与重复度成反比的权重,抑制重复纹理区域的权重,得到重加权后的特征图;

7、将所述重加权后的特征图输入全局特征聚合层,生成紧凑全局描述子;

8、基于所有影像的全局特征描述子,采用分层可导航小世界图近似最近邻搜索算法构建索引,基于所构建的索引进行大规模无人机影像的匹配对检索,得到无人机影像检索结果。

9、在一种实现方式中,所述基于贴合无人机真实飞行姿态特性的数据增强策略对飞行姿态感知的无人机影像数据进行增强处理,包括:

10、采集所述无人机影像数据;

11、对所采集的无人机影像数据进行连续旋转和随机翻转;

12、对数据增强后的所有影像数据统一缩放至指定分辨率,并采用imagenet数据集的均值与标准差对缩放后的影像数据进行归一化,得到所述增强后的无人机影像数据。

13、在一种实现方式中,所述基于swin transformer网络从增强后的无人机影像数据中提取中间层特征,包括:

14、将所述增强后的无人机影像数据输入所述swin transformer网络,划分为不重叠的图像块,并将所述图像块转换为向量,得到初始化特征序列;

15、将所述初始化特征序列依次经过4个阶段与3次下采样操作,得到空间分辨率为输入影像的1/4、1/8、1/16、1/32的图像特征;

16、选取第三阶段之后下采样输出的图像特征作为基础特征图,得到所述中间层特征;其中,所述第三阶段之后下采样的输出特征对应的空间分辨率及通道维度均与第四阶段输出特征一致。

17、在一种实现方式中,所述通过特征相似度统计方法计算所述中间层特征中每个token的重复度评分,自适应分配与重复度成反比的权重,抑制重复纹理区域的权重,得到重加权后的特征图,包括:

18、通过1×1卷积层将所述中间层特征的通道维度降至原维度的1/4,生成降维特征图;

19、将所述降维特征图展平为token序列,对每个token执行l2归一化后,通过矩阵乘法计算所有token中两两之间的余弦相似度矩阵;

20、基于所述余弦相似度矩阵,统计与当前token相似度大于或等于预设阈值的token数量,排除自身相似度的统计偏差,得到原始重复度评分,并通过token总数归一化后得到[0,1]区间的标准化重复度评分;

21、根据所述标准化重复度评分生成反向权重,对所述反向权重执行softmax归一化并乘以token总数,通过截断操作将所述反向权重限制在设定区间内,生成最终权重图;

22、将所述最终权重图重塑为与输入特征图匹配的空间维度,并与所述中间层特征执行逐元素相乘,得到所述重加权后的特征图;其中,所述重加权后的特征图为重复纹理被抑制、判别性区域被增强的输出特征图。

23、在一种实现方式中,所述基于所有影像的全局特征描述子,采用分层可导航小世界图近似最近邻搜索算法构建索引,基于所构建的索引进行大规模无人机影像的匹配对检索,得到无人机影像检索结果,包括:

24、将所有计算好的全局特征描述子建立为索引结构;

25、基于所述索引结构,将每张查询影像的全局特征向量依次输入,遍历顶层中所有顶点,找到距离待查询顶点最近的顶点作为下一层的入口;

26、在下一层遍历入口顶点的邻居,找到距离待查询顶点最近的顶点作为下下一层的入口,逐层向下搜索直到最底层;

27、在最底层从入口顶点出发,遍历其邻居节点并维护候选集合,筛选出距离待查询顶点最近的k个顶点,输出对应的k张候选影像,将待查询影像与候选影像逐一配对,得到无人机影像检索结果。

28、在一种实现方式中,所述将所有计算好的全局特征描述子建立为索引结构,包括:

29、计算新加入的顶点投影的最高层数;

30、判断索引结构中是否已有顶点;

31、若所述索引结构中没有任何顶点,直接在对应层加入顶点;否则,在顶层中遍历所有顶点,找到距离新顶点最近的顶点作为下一层的入口;

32、在下一层遍历入口顶点的邻居,找到距离新顶点最近的顶点作为下下一层的入口;

33、重复执行顶点遍历操作,直到找到目标层的入口顶点,在所述目标层中遍历入口顶点的邻居,找到距离最近的指定数量节点,将新顶点插入所述目标层与所述指定数量节点建立连接;

34、将所述目标层中找到的新节点作为下一层的入口,在下一层中遍历对应节点找到距离最近的指定数量节点,并将新顶点插入当前层与新找到的节点建立连接,直至底层完成顶点的插入。

35、在一种实现方式中,所述方法还包括:

36、采用排序列表损失和批量难样本挖掘策略进行端到端训练;其中,所述排序列表损失包括:正负样本全局边界约束项与正样本内部排序约束项;所述正负样本全局边界约束项通过双边界约束将正样本集合限制在以查询为中心、半径为的超球内,将负样本集合推至半径为的超球外;所述正样本内部排序约束项用于将正样本按几何相似度降序排列,对相邻样本对施加排序约束;

37、所述批量难样本挖掘策略为:从多个不同场景中各选取1张查询影像,为每张查询影像选取若干按几何相似度排序的正样本,批量内其他查询的正样本作为当前查询的负样本;在损失计算时,自动过滤损失为0的平凡样本。

38、第二方面,本发明提供一种联合语义重加权与飞行姿态感知数据增强的无人机影像检索系统,包括:

39、数据增强模块,用于基于贴合无人机真实飞行姿态特性的数据增强策略对飞行姿态感知的无人机影像数据进行增强处理;

40、中间层特征提取模块,用于基于swin transformer网络从增强后的无人机影像数据中提取中间层特征;

41、重加权模块,用于通过特征相似度统计方法计算所述中间层特征中每个token的重复度评分,自适应分配与重复度成反比的权重,抑制重复纹理区域的权重,得到重加权后的特征图;

42、全局特征聚合模块,用于将所述重加权后的特征图输入全局特征聚合层,生成紧凑全局描述子;

43、影像匹配对检索模块,用于基于所有影像的全局特征描述子,采用分层可导航小世界图近似最近邻搜索算法构建索引,基于所构建的索引进行大规模无人机影像的匹配对检索,得到无人机影像检索结果。

44、第三方面,本发明提供一种终端,包括:处理器以及存储器,所述存储器存储有联合语义重加权与飞行姿态感知数据增强的无人机影像检索程序,所述联合语义重加权与飞行姿态感知数据增强的无人机影像检索程序被所述处理器执行时用于实现如第一方面所述的联合语义重加权与飞行姿态感知数据增强的无人机影像检索方法的操作。

45、第四方面,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有联合语义重加权与飞行姿态感知数据增强的无人机影像检索程序,所述联合语义重加权与飞行姿态感知数据增强的无人机影像检索程序被处理器执行时用于实现如第一方面所述的联合语义重加权与飞行姿态感知数据增强的无人机影像检索方法的操作。

46、本发明采用上述技术方案具有以下效果:

47、1)本发明通过贴合无人机真实飞行姿态特性的数据增强策略,从数据端提升模型跨采集模式的泛化能力;

48、2)本发明通过swin transformer的分层金字塔结构选取最优中间阶段特征,实现语义表达与细节保留的最优平衡;

49、3)本发明通过轻量无监督的token级语义重加权模块,自适应抑制重复纹理区域的权重,强化高判别性语义区域的特征表达;

50、4)本发明结合排序列表损失完成端到端训练,实现高精度、高鲁棒性的大规模无人机影像候选匹配对检索。