一种基于语义代理的纯文本遥感场景分类方法

本发明属于遥感图像处理，具体涉及一种基于语义代理的纯文本遥感场景分类方法。

背景技术：

1、遥感场景分类用于为航空或卫星遥感图像块赋予语义化的土地利用或地表覆盖类别，是城市规划、资源调查、环境监测和灾害响应等应用的基础环节。现有方法通常利用卷积神经网络、视觉transformer或遥感视觉基础模型从图像像素中提取视觉特征，再根据所述视觉特征完成场景预测。即使在引入文本提示或图文对齐的视觉语言分类方法中，最终分类通常仍依赖图像编码器输出的视觉特征。

2、上述以视觉特征为中心的分类范式在图像可以集中存储和持续传输时能够取得较高精度，但在星地链路、无人机回传或边缘终端等带宽受限场景中，传输高分辨率图像需要较大的通信开销；在涉及敏感区域或受控数据共享时，直接传输原始图像还可能暴露不必要的细节；在低算力终端上部署视觉主干网络，则会带来较高的参数量、显存占用和推理延迟。

3、近年来的视觉语言模型能够将图像内容转换为自然语言描述，但现有技术多将该描述作为图像分类的辅助信息、类别提示或交互式回答，尚未形成以图像特定文本为唯一分类输入的完整遥感场景分类流程。普通图像描述还可能只罗列显著对象，而遗漏对象共现、空间布局、密度、尺度及功能语境等决定遥感场景类别的判别性证据。因此，如何将遥感图像压缩为可检查且具有分类能力的语义表示，并在不访问图像像素和视觉特征的条件下完成下游分类，是本领域亟需解决的问题。

技术实现思路

1、为了解决现有遥感场景分类在分类阶段持续依赖图像输入所导致的带宽、隐私、计算和可解释性问题，本发明提出一种基于语义代理的纯文本遥感场景分类方法。

2、本发明采用的技术方案如下：

3、一种基于语义代理的纯文本遥感场景分类方法，包括以下步骤：

4、s1、获取遥感场景图像数据集、各遥感场景图像对应的场景标签以及代理生成提示；

5、s2、将遥感场景图像和代理生成提示输入视觉语言模型，通过所述视觉语言模型执行视觉观察到自然语言的语义抽象，生成与单幅遥感场景图像对应的文本语义代理；所述文本语义代理表征全局场景、关键对象、对象属性、共现关系、空间组织、密度、尺度及功能语境中的至少一种判别性信息；；

6、s3、将各文本语义代理与对应的场景标签组成文本样本对，构建纯文本场景分类数据集；当采用不同视觉语言模型或不同代理生成提示时，分别构建同一遥感场景图像数据集的多个文本代理集合；

7、s4、利用文本嵌入模型将文本语义代理编码为文本特征，利用投影适配器将通用文本嵌入空间映射至遥感场景标签空间，并利用分类器输出场景类别概率；采用场景标签对所述投影适配器和所述分类器进行训练，得到纯文本遥感场景分类模型；

8、s5、针对待分类的遥感场景图像，先生成待分类文本语义代理，再将待分类文本语义代理输入训练完成的纯文本遥感场景分类模型，最终不访问待分类遥感场景图像的图像像素或图像视觉特征的条件下得到场景分类结果。

9、进一步的，s2中，所述代理生成提示包括平铺提示和结构化提示；所述平铺提示用于指示视觉语言模型以连续自然语言段落描述遥感场景，描述内容涵盖整体场景、关键对象、对象之间的空间关系及场景功能中的至少一种，且禁止仅输出类别名称；所述结构化提示用于指示视觉语言模型按照预设语义字段顺序输出场景信息，所述预设语义字段包括全局场景、对象级属性、功能线索、空间布局、对象共现、密度、尺度中的至少两种；

10、所述视觉语言模型包括本地部署的开源视觉语言模型、通过接口访问的闭源视觉语言模型，或针对遥感数据微调的专用视觉语言模型。

11、进一步的，s3中，所述纯文本场景分类数据集的样本划分保持与原遥感场景图像数据集相同的样本索引和类别分布；针对不同文本代理集合采用统一的数据划分索引，以消除数据划分差异对模型评估的影响。

12、进一步的，s4中，所述投影适配器依次执行层归一化、线性映射、gelu激活和丢弃操作，将通用文本特征重排至适配遥感场景分类的标签空间；所述文本嵌入模型在训练过程中保持参数冻结，或通过参数高效微调、全量微调方式更新参数；

13、所述分类器为线性分类器，采用交叉熵损失函数通过反向传播更新投影适配器和分类器参数，并通过验证集分类准确率筛选最优模型参数。

14、进一步的，还包括跨生成器推理适配方法：当推理阶段的代理生成器与训练阶段的代理生成器不同时，直接采用训练完成的分类器进行推理，或在训练集中混合多个生成器的文本语义代理、对文本语义代理进行归一化处理，或为投影适配器增加生成器不变约束，以降低代理分布偏移对分类精度的影响。

15、进一步的，所述方法支持分布式部署：图像采集端、卫星端或无人机边缘端运行视觉语言模型生成文本语义代理，仅将所述文本语义代理经通信链路传输至分类端；分类端运行文本嵌入模型、投影适配器和分类器，在无原始图像访问权限的条件下完成场景分类。

16、一种基于语义代理的纯文本遥感场景分类的系统，包括：

17、数据获取模块，用于获取遥感场景图像、各遥感场景图像对应的场景标签以及代理生成提示；

18、语义代理生成模块，用于将所述遥感场景图像和所述代理生成提示输入视觉语言模型，生成与单幅遥感场景图像对应的文本语义代理；

19、纯文本数据集构建模块，用于将各所述文本语义代理与对应场景标签组成文本样本对，构建纯文本场景分类数据集；

20、文本编码模块，用于利用文本嵌入模型将所述文本语义代理编码为文本特征；

21、投影适配模块，用于利用投影适配器将所述文本特征映射至遥感场景标签空间，得到适配文本特征；

22、分类模块，用于利用分类器基于所述适配文本特征输出场景类别概率，并采用场景标签对投影适配器和分类器进行训练；

23、其中，推理阶段仅基于待分类文本语义代理输出分类结果，不访问待分类遥感场景图像的图像像素或图像视觉特征。

24、一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如本发明所述的基于语义代理的纯文本遥感场景分类方法。

25、本发明的有益效果为：

26、（1）通过文本语义代理承载遥感场景的高层语义证据，在代理生成完成后将分类训练和推理从视觉空间转移至文本空间，减少分类端对原始图像、视觉主干网络及大规模视觉特征的依赖。

27、（2）文本语义代理可在图像采集端或边缘端一次生成并重复用于分类、检索或统计分析，在低带宽链路中仅传输文本即可支持场景预测，并可避免向分类端直接共享原始图像细节。

28、（3）文本语义代理能够被人工检查和审阅，便于定位分类依据和代理生成误差；视觉语言模型、代理生成提示、文本嵌入模型和分类器相互解耦，便于分别替换、复用和扩展。

29、（4）采用轻量投影适配器对通用文本特征进行标签空间适配，在保持分类网络结构简单的同时，提高不同遥感场景类别在文本特征空间中的可分性，降低训练参数量、存储开销和推理资源需求。