一种融合双模型的遥感图像小样本语义分割方法与流程

本发明属于遥感图像智能解译、计算机视觉、小样本学习与语义分割，特别涉及一种融合双模型的遥感图像小样本语义分割方法。

背景技术：

1、遥感图像是获取地表信息的重要数据来源，能够对大范围区域进行连续观测，在国土资源调查、城市规划、生态评估、灾害监测以及土地利用管理等领域具有广泛应用价值。遥感图像语义分割旨在对图像中道路、建筑物、车辆、飞机、船舶、植被、水体等不同地物类别进行像素级分类，是遥感图像智能解译中的核心任务之一。通过语义分割技术，可以获得地物目标的精细空间分布和边界结构，为后续变化检测、目标统计、场景理解和辅助决策提供基础数据支撑。

2、近年来，基于深度学习的语义分割方法在自然图像和遥感图像处理中取得了显著进展。卷积神经网络、编码器—解码器结构、transformer以及多尺度特征融合网络能够自动学习图像中的层次化特征表示，相较于传统依赖人工特征的分类方法具有更强的表达能力。然而，这类方法通常依赖大量高质量像素级标注数据进行训练。对于遥感图像而言，像素级标注不仅需要专业领域知识，而且标注过程耗时费力，特别是在高分辨率场景、新区域、新传感器或新类别任务中，可获得的标注样本往往极其有限。

3、小样本语义分割为缓解上述标注瓶颈提供了可行途径。该任务通常采用支持-查询范式，在推理阶段仅给定少量带标注支持样本，即要求模型完成查询图像中目标类别的像素级预测。现有小样本分割方法多依赖自然图像预训练主干提取支持图像和查询图像特征，并通过原型匹配、度量学习或元学习策略建立支持类别与查询像素之间的对应关系。该类方法在普通自然图像场景中取得了一定效果，但直接应用于遥感图像时仍面临多方面困难。

4、首先，自然图像与遥感图像之间存在显著域差异。自然图像多为平视视角，目标主体通常占据图像较大区域，而遥感图像多为俯视或正射视角，目标尺度变化大，背景区域占比高，纹理重复性强，并且受成像高度、传感器类型、空间分辨率和地理区域差异影响明显。以自然图像分类任务为目标预训练得到的主干网络往往更偏向自然图像中的显著主体和局部纹理，对遥感图像中的小尺度目标、密集目标和复杂空间结构表征不足，导致小样本分割模型在遥感场景中出现跨域表征失配。

5、其次，遥感场景中同一类别目标具有显著类内差异。相同地物可能由于成像高度、拍摄角度、季节变化、区域差异和目标尺寸不同而呈现出完全不同的外观。例如，同为飞机类别的目标可能在尺度、方向、机身形态和停放背景上存在明显变化；同为车辆或船舶的目标也可能因分辨率和场景背景不同而具有差异化的纹理表现。在小样本条件下，少量支持样本难以覆盖类别的多样化外观模式，导致由支持样本得到的类别原型不稳定，进而削弱支持—查询匹配的可靠性。

6、再次，遥感图像背景复杂且前景目标常与相似背景相互混淆。高分辨率遥感图像覆盖范围广，背景中常包含道路、建筑、草地、水域、港口设施和其他地物类别，不同类别之间在局部纹理和几何形状上可能高度相似。由于前景像素在图像中占比较小，有限支持样本中的前景监督信号容易被背景信息稀释，模型在进行支持—查询特征匹配时可能将与目标外观相似的背景区域错误激活，从而造成分割结果边界不完整、目标漏分或背景误分。

7、因此，现有技术在遥感图像小样本语义分割中仍存在以下不足：其一，缺少面向遥感域的高质量无标签数据生成与主干预训练机制，难以系统缓解自然图像预训练主干与遥感场景之间的域差异；其二，缺少能够充分利用类别文本提示并建立细粒度文本-视觉关联的语义增强方法，导致少量支持样本的类别表达不足；其三，缺少能够同时考虑支持前景完整性、前景/背景区分性以及查询区域判别性的原型对齐机制，导致复杂背景下容易发生误激活。

8、故而，提出一种融合双模型的遥感图像小样本语义分割方法是很有必要的。

技术实现思路

1、本发明的目的在于提供一种融合双模型的遥感图像小样本语义分割方法，以解决上述背景技术中提出的技术问题。

2、为实现上述目的，本发明提供如下技术方案：一种融合双模型的遥感图像小样本语义分割方法，适用于仅提供少量带像素级标注支持样本、需要对查询遥感图像中未见类别进行分割的遥感小样本分割场景，其特征在于，包括以下步骤：

3、步骤一，构建由支持图像、支持掩码、查询图像以及待分割类别名称组成的小样本分割任务输入，同时将类别名称转化为类别文本提示、将支持掩码或类别布局图转化为多通道语义掩码，为后续可控数据生成与跨模态语义引导提供类别条件和空间条件；

4、步骤二，采用潜在扩散模型作为遥感图像生成器，将所述类别文本提示与多通道语义掩码作为联合条件注入扩散去噪网络，在潜在空间内生成与遥感场景语义一致、目标布局合理且外观多样的遥感图像，并利用视觉语言模型对生成图像进行语义一致性筛选，获得高质量无标签遥感预训练样本；

5、步骤三，基于所述高质量无标签遥感预训练样本构建自监督域适配预训练数据集，采用动量对比学习机制对语义分割主干网络进行无标签预训练，使主干网络学习遥感图像的纹理结构、目标尺度和俯视成像特征，得到域适配预训练主干；

6、步骤四，将支持图像与查询图像输入所述域适配预训练主干，分别提取多层级支持特征和查询特征，同时利用视觉语言模型提取待分割类别对应的文本嵌入和查询图像视觉特征，构建面向查询图像的跨模态语义表示；

7、步骤五，将类别文本嵌入与查询图像视觉特征之间的细粒度关联建模为最优传输计划，在全局约束下求解文本语义与视觉区域之间的匹配关系，并将对齐后的跨模态响应输入softmax-gradcam，生成查询图像的像素级类别语义先验。

8、步骤六，对支持特征进行初步前景预测，根据支持掩码与初步预测结果之间的覆盖关系，将已覆盖前景区域和未充分覆盖前景区域分别编码为主支持向量和辅助支持向量，并对二者进行聚合，获得包含完整前景信息的增强支持特征；

9、步骤七，基于增强支持特征和支持掩码执行掩码平均池化，分别得到支持前景原型和支持背景原型，利用所述支持前景原型和支持背景原型激活查询特征，得到查询前景先验掩码和查询背景先验掩码，并对二者执行差分运算以消除同时近似前景与背景的模糊区域，生成判别性查询前景区域；

10、步骤八，基于所述判别性查询前景区域提取查询前景原型，并将所述查询前景原型、支持前景原型以及像素级类别语义先验共同用于查询特征激活和分割预测，通过端到端训练得到查询图像中目标类别的像素级分割结果。

11、根据上述技术方案，所述步骤一的具体方法如下：

12、所述类别文本提示由待分割类别名称、遥感成像场景描述以及目标外观描述组合得到；

13、所述多通道语义掩码用于表示不同地物类别或目标区域的空间布局，掩码通道与类别语义一一对应，能够在不引入额外人工标注成本的条件下为扩散模型提供局部空间结构约束；

14、所述小样本分割任务输入遵循情节式训练范式，每个情节包含至少一个支持样本及其像素级标注，以及至少一个待预测查询样本。

15、根据上述技术方案，所述步骤二的具体方法如下：

16、a）潜在扩散模型首先通过图像编码器将遥感图像或噪声样本映射至低维潜在空间；

17、b）在去噪u-net中同时引入文本条件和语义掩码条件，其中文本条件用于约束生成图像的全局类别语义与场景属性，语义掩码条件用于约束目标的空间位置、形状轮廓和类别布局，二者在多个去噪尺度下参与特征调制，使生成图像同时满足语义一致性和空间结构一致性。

18、根据上述技术方案，所述步骤二的具体方法如下：

19、所述视觉语言模型对生成图像进行语义一致性筛选时，分别提取生成图像的视觉嵌入和对应类别文本提示的文本嵌入，计算二者之间的相似度，并保留相似度高于预设阈值的生成样本；

20、通过该筛选过程剔除存在类别漂移、语义不一致或布局异常的低质量图像，从而提高后续自监督域适配预训练数据的可靠性。

21、根据上述技术方案，所述步骤三的具体方法如下：

22、所述自监督域适配预训练采用动量对比学习结构，包括在线编码器、动量编码器、投影头以及动态负样本队列：

23、对于同一遥感图像的两种随机增强视图，在线编码器输出查询表示，动量编码器输出键表示，并通过对比损失拉近同源增强视图的特征距离、推远不同图像样本的特征距离；

24、所述动量编码器参数由在线编码器参数按指数动量方式更新，动态负样本队列用于提供稳定且丰富的负样本集合，以避免依赖超大批量训练。

25、根据上述技术方案，所述步骤四的具体方法如下：

26、所述视觉语言模型在小样本分割训练阶段保持参数冻结，仅作为类别语义先验提取器使用；

27、所述最优传输计划以文本嵌入和视觉区域特征之间的匹配代价为基础，在全局约束下计算跨模态关联矩阵，使类别文本语义能够以细粒度方式分配至查询图像的不同视觉区域。

28、根据上述技术方案，所述步骤五的具体方法如下：

29、所述softmax-gradcam根据对齐后的类别响应对查询图像特征进行梯度加权，得到与待分割类别相关的像素级语义先验图。

30、根据上述技术方案，所述步骤六的具体方法如下：

31、所述主支持向量由初步预测结果与支持掩码重叠的可靠前景区域聚合得到，用于表征已被模型稳定识别的目标区域；

32、所述辅助支持向量由支持掩码中未被初步预测充分覆盖的前景区域聚合得到，用于补充小样本条件下易遗漏的目标结构；

33、通过主支持向量和辅助支持向量的联合聚合，能够获得比单一掩码平均池化更完整的支持前景特征表示。

34、根据上述技术方案，所述步骤七的具体方法如下：

35、所述支持前景原型和支持背景原型分别由增强支持特征在支持前景区域和支持背景区域内执行掩码平均池化得到：

36、即将所述两类原型分别与查询特征进行相似性计算，得到查询前景先验掩码和查询背景先验掩码，通过对查询前景先验掩码减去查询背景先验掩码，抑制与前景和背景均高度相似的模糊区域，保留更具类别判别性的查询前景区域。

37、根据上述技术方案，所述步骤八的具体方法如下：

38、所述查询前景原型由判别性查询前景区域中的查询特征加权聚合得到，并与支持前景原型共同构成双向原型引导；

39、所述像素级类别语义先验作为辅助注意力权重参与查询特征增强，使分割网络在支持样本数量极少、同类目标尺度和外观变化显著以及背景区域复杂的遥感场景中，能够准确激活目标区域并抑制相似背景干扰；

40、整体训练目标包括像素级分割损失和原型匹配约束损失，二者加权求和后进行端到端优化。

41、与现有技术相比，本发明的有益效果是：

42、1）本发明将条件潜在扩散模型引入遥感小样本语义分割的数据增强和域适配预训练流程，通过文本提示提供全局类别语义，通过多通道语义掩码提供局部空间布局约束，能够生成语义一致、结构合理且外观多样的遥感图像；结合视觉语言模型筛选机制，可降低生成样本中的语义漂移风险，为无标签自监督预训练提供可靠数据来源。

43、2）本发明利用动量对比学习对分割主干网络进行遥感域自监督预训练，使主干网络在无需额外人工标注的条件下学习遥感图像的俯视纹理、目标尺度分布和复杂背景结构，有效缓解自然图像预训练主干直接迁移至遥感场景时的跨域表征偏差，提高后续小样本分割任务中的特征表达能力。

44、3）本发明通过视觉语言模型引入类别文本提示，将待分割类别的文本语义作为与单一样本外观变化无关的外部先验；进一步将文本—视觉对齐建模为最优传输计划，在全局约束下建立文本嵌入与查询图像局部视觉区域之间的细粒度关联，并结合softmax-gradcam生成像素级语义先验，从而增强查询图像中目标区域的语义响应。

45、4）本发明设计了判别性原型引导的语义对齐机制，通过主支持向量和辅助支持向量聚合获得更完整的支持前景表示，并通过支持前景/背景原型分别激活查询特征，利用前景先验与背景先验差分排除模糊区域，进而生成判别性查询前景原型。该机制能够有效抑制复杂背景干扰，提升支持-查询匹配的稳定性和目标边界分割的准确性，适用于飞机、车辆、船舶、建筑物、运动场等多类遥感地物小样本分割任务。