一种基于视觉语言模型的遥感图斑识别方法及装置与流程

本发明涉及遥感图像处理，具体涉及一种基于视觉语言模型的遥感图斑识别方法及装置。

背景技术：

1、遥感图像变化检测是国土资源监测、城市规划、环境保护等领域的重要技术手段。在变化检测后，如何对变化图斑进行精确的类别识别（如识别为“新建建筑”、“推土区”、“新增道路”等）是后续分析的关键。

2、现有技术中，公开了将视觉语言模型应用于图像分类的方案，其利用视觉语言模型得到提示数据与待分类图像之间的相似度进行分类，提示数据包括实例图像；此类方法不改变原始模型的结构或参数，亦无需训练或微调。另有文献以大语言模型为每个类别生成视觉描述子，以“描述匹配”替代类名匹配实现零样本分类；此类描述式提示均为单类独立生成、在推理期直接使用，未针对易混类别进行成对设计与量化校验。

3、此外，在遥感视觉语言模型的适配方面，通行的做法是冻结视觉编码器、仅对语言侧参数进行适配，视觉端特征提取能力保持固定；面向遥感影像中纹理差异微弱的地物类别（如草地与公园绿地、在建道路与建成道路），此类方式难以取得理想效果。

4、现有的遥感图像分类方法主要存在以下缺点：

5、模型架构局限：现有方法多基于传统卷积神经网络（cnn）或视觉transformer（vit），特征提取能力有限，难以有效处理复杂地物类别间的语义混淆问题。虽然部分方法尝试使用视觉语言模型，但未针对遥感图像进行专门优化。

6、类别支持固定：现有方法通常采用固定类别分类器，无法支持开放词汇识别，即无法识别训练时未见过的地物类别。

7、数据增强不足：现有方法未针对遥感图像类别不均衡问题设计专门的数据增强策略，导致少数类样本识别精度低。

8、预处理简单：现有方法多采用矩形裁剪，未考虑不规则多边形地物区域的特殊性，引入了大量背景噪声。

9、模型更新困难：现有方法采用单一模型部署，模型更新需重新训练和部署整个模型，成本高、效率低。

10、资源管理粗放：现有方法通常在服务启动时即加载模型到gpu，导致启动时间长、资源占用高，缺乏智能的gpu资源管理机制。

技术实现思路

1、本发明为了解决或至少部分解决现有技术的缺陷或不足，提出了一种基于视觉语言模型的遥感图斑识别方法及装置。

2、在本发明实施例的第一方面中，提供了一种基于视觉语言模型的遥感图斑识别方法，包括：

3、s1.对遥感图像进行预处理以得到模型训练图像；

4、s2.基于模型训练图像对预训练的视觉语言模型进行训练以得到训练后的视觉语言模型；其中，训练时根据语言塔与视觉塔的模块结构差异，分别为语言塔和视觉塔配置低秩适配参数，并以所述模型训练图像的图像特征与各类别的类别文本特征向量之间的对比学习损失训练所述视觉语言模型，使语言塔与视觉塔均获得针对遥感图像的低秩适配；所述类别文本特征向量由融入了针对易混类别的判别性视觉描述的文本模板经编码与集成处理得到，所述判别性视觉描述经过成对排他性校验后固定；

5、s3.基于训练后的视觉语言模型获取待识别遥感图像的图斑识别结果。

6、作为本发明实施例的优选，所述s1具体包括：

7、s11.获取遥感图像；

8、s12.获取地物区域矢量标注文件；

9、s13.检测遥感图像与地物区域矢量标注文件的坐标系是否一致，当坐标系不一致时，将地物区域矢量标注文件投影到遥感图像的坐标系下；

10、s14.基于遥感图像和地物区域矢量标注文件生成二值掩膜图；

11、s15.基于地物区域矢量标注文件并按设定比例确定扩展裁剪区域；

12、s16.基于扩展裁剪区域对遥感图像和二值掩膜图进行同步裁剪，并对裁剪后的遥感图像进行归一化处理以得到初始模型训练图像；

13、s17.掩膜应用：基于裁剪后的二值掩膜图，将初始模型训练图像地物区域的内部区域各像素保持原始亮度，将初始模型训练图像地物区域的外部区域各像素按预设背景亮度保留系数缩小亮度以得到模型训练图像。

14、作为本发明实施例的优选，所述s1还包括：

15、s18.基于掩膜应用的数据增强以得到其他的模型训练图像，所述数据增强包括几何增强、辐射增强、同类别cutmix增强中的至少一种。

16、作为本发明实施例的优选，所述s2具体包括：

17、s21.加载模型训练图像；

18、s22.初始化预训练的视觉语言模型，冻结视觉语言模型的原始参数，根据语言塔与视觉塔的模块结构差异分别配置双塔的低秩适配参数：语言塔侧的低秩适配模块挂载于分立的自注意力查询投影层、键投影层、值投影层、输出投影层，以及多层感知机的门控投影层、上行投影层、下行投影层；视觉塔侧的低秩适配模块挂载于融合式查询键值投影层，以及多层感知机的第一线性层、第二线性层；配置完成后，以结构匹配计数方式预校验各目标模块是否真实存在于基座模型中；

19、s23.获取所有类别名称的类别文本特征向量；

20、s24.进行训练循环，每个循环执行以下操作：

21、s241.锚点重算：以无梯度方式按当前模型参数重新获取全部类别的类别文本特征向量作为分类锚点；

22、s242.前向传播：将模型训练图像输入视觉语言模型以得到初始图像特征向量，对所述初始图像特征向量进行l2归一化处理以得到图像特征向量；

23、s243.计算损失：计算图像特征向量与类别文本特征向量的对比学习损失；

24、s244.反向传播：计算梯度并更新低秩适配参数；

25、s245.验证评估：在验证集上评估模型性能，若验证精度提升，则保存当前模型为最佳模型；

26、s246.训练循环结束后，将最佳模型的低秩适配参数进行保存以得到训练后的视觉语言模型。

27、作为本发明实施例的优选，所述s23具体包括：

28、s231.为每个类别名称生成多个不同表述的文本模板；

29、s232.为每个类别构建针对其易混类别的判别性视觉描述，并以类别名称的形式融入该类别的各文本模板，得到富化文本；其中至少部分判别线索为地物区域之外的上下文地物线索，所述上下文地物线索在模型训练图像中仍可辨识；

30、s233.将每个类别的多个富化文本分别输入视觉语言模型以得到文本特征向量；

31、s234.对每个类别的多个文本特征向量取平均并进行l2归一化处理以得到类别文本特征向量；

32、s235.对各类别的类别文本特征向量进行成对排他性校验：计算各类别类别文本特征向量之间的两两余弦相似度，当互为易混类别的相似度不低于第一预设阈值，或某次描述修订导致其他类别对的相似度增量超过第二预设阈值时，修订相应类别的描述措辞并重新校验，直至满足上述规则；通过校验后，判别性视觉描述随最佳模型检查点一并保存，供识别阶段自动加载。

33、作为本发明实施例的优选，所述s3具体包括：

34、s31.接收遥感图斑识别请求，判定训练后的视觉语言模型是否已加载到图形处理器，若视觉语言模型未加载，则将视觉语言模型加载到图形处理器；

35、s32.获取待识别的遥感图像及待识别图像的多边形矢量数据，按与模型训练阶段相同的方式进行预处理以得到模型待识别图像；

36、s33.将所述模型待识别图像输入训练后的视觉语言模型，视觉语言模型提取所述模型待识别图的图像特征向量，并计算所述图像特征向量与类别文本特征向量的余弦相似度，再根据所述余弦相似度进行排序以得到图斑识别结果。

37、作为本发明实施例的优选，所述s3还包括：

38、s34.记录视觉语言模型每次被访问的时间戳，并判定视觉语言模型的空闲时间是否超过预设时间阈值，当视觉语言模型的空闲时间超过预设时间阈值时，将视觉语言模型从图形处理器的内存中释放。

39、在本发明实施例的第二方面中，提供了一种基于视觉语言模型的遥感图斑识别装置，包括：

40、模型训练图像获取模块，配置为对遥感图像进行预处理以得到模型训练图像；

41、视觉语言模型训练模块，配置为基于模型训练图像对预训练的视觉语言模型进行训练以得到训练后的视觉语言模型；其中，训练时根据语言塔与视觉塔的模块结构差异，分别为语言塔和视觉塔配置低秩适配参数，并以所述模型训练图像的图像特征与各类别的类别文本特征向量之间的对比学习损失训练所述视觉语言模型，使语言塔与视觉塔均获得针对遥感图像的低秩适配；所述类别文本特征向量由融入了针对易混类别的判别性视觉描述的文本模板经编码与集成处理得到，所述判别性视觉描述经过成对排他性校验后固定；

42、遥感图像识别模块，配置为基于训练后的视觉语言模型获取待识别遥感图像的图斑识别结果。

43、在本发明实施例的第三方面中，提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现根据第一方面所提供的方法。

44、在本发明实施例的第四方面中，提供了一种电子设备，包括一个或多个处理器，以及与一个或多个处理器关联的存储器，存储器用于存储程序指令，程序指令在被一个或多个处理器读取执行时，执行根据第一方面所提供的方法。

45、综上，本发明具有如下有益效果：

46、特征表达能力强：利用视觉语言模型的多模态特征提取能力，同时提取图像视觉特征和文本语义特征，实现图像-类别文本的语义对齐，有效提升复杂地物类别的区分能力。相比传统cnn方法，本发明使用qwen3-vl视觉语言模型进行特征提取，特征表达能力更强。

47、开放词汇识别：支持识别训练时未见过的地物类别，只需提供类别名称即可进行分类，无需重新训练模型。相比固定类别分类器，本发明通过对比学习实现开放词汇识别，灵活性更高。

48、针对性数据增强：提出同类别cutmix增强策略，专门针对遥感图像类别不均衡问题设计，有效提升少数类样本的识别精度。相比通用cutmix方法，本发明的同类别cutmix策略更具针对性。

49、精准区域处理：采用多边形掩膜和上下文扩展裁剪，精准提取不规则地物区域，减少背景噪声干扰。相比矩形裁剪方法，本发明能更好地保留地物的空间信息和上下文信息。

50、高效模型更新：采用基础模型与lora权重分离部署模式，模型更新仅需替换lora权重（约占总参数5%），大幅降低更新成本。相比全量重训练方法（如cn122194778a），本发明的模型更新效率更高。

51、智能资源管理：实现模型懒加载和超时卸载机制，根据请求动态管理gpu资源，提高资源利用率。相比静态部署方法，本发明能更好地利用有限的gpu资源。

52、训练策略完善：综合使用标签平滑、focal loss、早停机制、混合精度训练等多种训练策略，提升模型训练效果和泛化能力。相比单一训练策略方法，本发明的训练过程更加稳健。

53、进一步地或者更细节的有益效果将在具体实施方式中结合具体实施例进行说明。