一种基于软区域广义均值池化的跨视角无人机与卫星图像检索方法

本申请涉及图像检索，特别是涉及一种基于软区域广义均值池化的跨视角无人机与卫星图像检索方法。

背景技术：

1、随着无人机平台和卫星遥感技术的发展，利用无人机图像与卫星图像进行跨视角地点检索和视觉定位，已广泛应用于应急测绘、城市巡检、低空导航、灾害监测和地理信息更新等场景。该类任务通常以无人机视角图像作为查询图像，在大规模卫星图像库中检索与其对应的同一地理位置图像，从而实现无人机位置估计或目标区域匹配。

2、现有跨视角基于软区域广义均值池化的跨视角无人机与卫星图像检索方法通常采用卷积神经网络、视觉transformer或自监督视觉基础模型提取图像特征，并通过全局平均池化、最大池化或广义均值池化获得全局描述子，再基于余弦相似度或欧氏距离完成图像匹配。但是现有技术仍然存在以下不足：传统区域池化方法通常只关注空间划分本身，对区域内部高响应特征的强调能力不足；而普通广义均值池化虽然能够增强强响应区域的影响，但其作用范围通常为整幅特征图，缺少对多个局部软区域的独立建模能力。因此，亟需一种能够结合输入自适应区域建模与广义均值池化优势的跨视角基于软区域广义均值池化的跨视角无人机与卫星图像检索方法，以提升无人机图像与卫星图像之间的特征匹配鲁棒性和检索精度。

技术实现思路

1、本申请提供了一种基于软区域广义均值池化的跨视角无人机与卫星图像检索方法，能够解决单一全局特征对局部区域表达能力不足的问题。

2、为了实现上述目的，本申请提供了一种基于软区域广义均值池化的跨视角无人机与卫星图像检索方法，包括以下步骤：

3、s1、获取无人机视角图像，对所述无人机视角图像执行预处理，并提取其中的视觉特征，得到无人机空间特征图；

4、s2、对所述无人机空间特征图执行软区域广义均值池化处理，得到软区域权重图；

5、s3、对所述无人机空间特征图和软区域权重图执行加权广义均值池化处理，得到第一描述子；

6、s4、对所述第一描述子执行特征融合处理，得到无人机图像检索特征；

7、s5、对所述无人机图像检索特征与卫星图像库中的卫星图像检索特征计算相似度，根据所述相似度对所述卫星图像库进行排序，得到地点检索结果。

8、在本申请中，通过软区域掩码生成网络根据无人机空间特征图自适应生成软区域权重图，并结合加权广义均值池化对不同空间位置的特征响应进行差异化聚合，使池化过程能够突出与地理位置相关的高响应区域，抑制天空、阴影、遮挡物及其他无关背景信息的干扰，克服固定区域池化缺乏自适应性以及普通广义均值池化难以对多个局部区域进行独立建模的问题；同时，通过融合软区域池化得到的局部描述子与全局广义均值池化得到的全局描述子，并经线性映射、层归一化及l2归一化处理生成无人机图像检索特征，使所述检索特征兼具局部地物判别信息和整体场景语义信息，从而提高无人机图像与卫星图像在视角变化、尺度差异、遮挡及外观变化条件下的特征匹配鲁棒性、区分能力和地点检索精度。

1.一种基于软区域广义均值池化的跨视角无人机与卫星图像检索方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于软区域广义均值池化的跨视角无人机与卫星图像检索方法，其特征在于，所述s1还包括有以下步骤：

3.根据权利要求2所述的基于软区域广义均值池化的跨视角无人机与卫星图像检索方法，其特征在于，当所述视觉特征为无人机空间令牌序列时，则去除所述无人机空间令牌序列的分类令牌或非空间令牌，并将剩余空间令牌按照二维位置关系重新排列为无人机空间特征图。

4.根据权利要求2所述的基于软区域广义均值池化的跨视角无人机与卫星图像检索方法，其特征在于，所述数据增强处理为随机水平翻转、颜色扰动或随机擦除中的一种或多种。

5.根据权利要求1或2所述的基于软区域广义均值池化的跨视角无人机与卫星图像检索方法，其特征在于，所述软区域广义均值池化处理由软区域掩码生成网络执行，所述软区域掩码生成网络由深度卷积、非线性激活函数和逐点卷积构成，其输入为无人机空间特征图，输出为软区域权重图；

6.根据权利要求5所述的基于软区域广义均值池化的跨视角无人机与卫星图像检索方法，其特征在于，所述s3的软区域广义均值池化处理包括有以下步骤：

7.根据权利要求6所述的基于软区域广义均值池化的跨视角无人机与卫星图像检索方法，其特征在于，所述可学习幂指数p的设置包括以下任一种：

8.根据权利要求5所述的基于软区域广义均值池化的跨视角无人机与卫星图像检索方法，其特征在于，所述s3还包括有以下步骤：对所述无人机空间特征图执行全局广义均值池化处理，得到全局描述子，根据局部描述子和全局描述子拼接后执行线性映射和归一化处理，得到第一描述子。

9.根据权利要求6或8所述的基于软区域广义均值池化的跨视角无人机与卫星图像检索方法，其特征在于，所述s4的融合处理包括有以下步骤：

10.根据权利要求9所述的基于软区域广义均值池化的跨视角无人机与卫星图像检索方法，其特征在于，所述s5还包括有以下步骤：根据所述相似度从高到低对所述卫星图像库中的卫星视角图像进行排序，取排名top-k的卫星视角图像作为所述地点检索结果；其中，k为预设阈值；