一种基于SAM模型的遥感影像分割方法及其装置

本发明涉及遥感影像处理，具体来说是一种基于sam模型的遥感影像分割方法及其装置。

背景技术：

1、高分辨率遥感影像地物分割是城市制图、农业监测和灾害评估等任务的重要基础。与自然影像相比，遥感影像通常具有目标密集、尺度变化显著等特点，导致分割难度较高。以分割一切模型（segment anything model，sam）为代表的可提示分割基础模型能够根据点、框等提示信息生成相应的分割掩码，其中，点提示是一种输入形式简洁、交互灵活的目标引导方式，但其分割性能高度依赖提示点的质量与空间分布。

2、现有方法通常通过微调分割模型参数实现遥感场景适配，导致训练和部署成本的增加，或对分割结果进行后处理，难以从源头修正错误。同时，现有点提示优化方法受限于预设候选点集合或全局空间约束，难以有效补充遗漏目标提示并适应密集多实例遥感场景。

3、因此，如何在保持基础分割模型参数不变的情况下，自动生成高质量提示并根据分割反馈进一步优化提示，仍是遥感影像提示式分割中亟需解决的问题。

技术实现思路

1、本发明的目的是为了解决现有技术中可提示分割基础模型应用于多实例遥感影像分割时，点提示质量不佳或位置分布不合理而导致目标漏检和跨实例泄漏的缺陷，提供一种基于sam模型的遥感影像分割方法及其装置来解决上述问题。

2、为了实现上述目的，本发明的技术方案如下：

3、一种基于sam模型的遥感影像分割方法，包括以下步骤：

4、遥感影像的获取及预处理；

5、设定基于可提示分割基础模型的点提示空间精炼框架：点提示空间精炼框架包括初始点提示生成模块、边界感知尺度自适应提示路由模块以及反馈式迭代提示精炼模块，并在保持可提示分割基础模型参数固定的条件下，通过优化输入点提示实现遥感影像分割；

6、点提示空间精炼框架的训练，在保持可提示分割基础模型参数固定的情况下，利用训练遥感影像及其真值掩码，对边界感知尺度自适应提示路由模块和反馈式迭代提示精炼模块进行训练；

7、获取并预处理待分割遥感影像，提取其稠密语义特征，通过多参考原型匹配与投票融合生成初始正、负点提示，并利用训练后的边界感知尺度自适应提示路由模块进行查询前点提示校准，得到校准后的点提示集合；

8、将待分割遥感影像和校准后的点提示集合输入可提示分割基础模型，得到当前分割掩码；根据正点提示的空间邻近关系形成目标簇，利用训练后的反馈式迭代提示精炼模块，在各目标簇的局部区域内迭代编辑点提示并更新分割掩码，直至选择停止动作或达到预设最大迭代次数，输出遥感影像地物分割掩码。

9、所述遥感影像的获取及预处理包括以下步骤：

10、将参考遥感影像和待分割遥感影像调整至预设尺寸；

11、利用自监督视觉特征提取器分别提取参考遥感影像和待分割遥感影像的初始语义特征；

12、利用特征上采样器对初始语义特征进行特征空间上采样，得到与遥感影像空间位置相对应的稠密语义特征图。

13、设定基于可提示分割基础模型的点提示空间精炼框架包括：

14、设定初始点提示生成模块，用于根据参考遥感影像及其真值掩码生成目标原型，并通过多参考原型匹配与投票融合生成初始正、负点提示；

15、设定边界感知尺度自适应提示路由模块，包括特征投影层、多尺度专家、全局上下文专家、空间路由模块、正点预测分支和边界负点预测分支，并对初始点提示进行校准，得到校准后的点提示集合；

16、设定反馈式迭代提示精炼模块，包括状态编码单元、点提示编辑动作头和停止动作头，用于根据当前分割状态选择提示编辑动作，并根据所选择的提示编辑动作更新点提示集合，重复执行提示更新和分割，直至满足停止条件，得到最终分割掩码。

17、所述点提示空间精炼框架的训练包括以下步骤：

18、根据训练遥感影像的真值掩码构建正点监督区域和边界负点监督区域，对真值掩码进行腐蚀操作，得到目标内部区域作为正点监督区域，对真值掩码进行膨胀操作，并计算膨胀后的掩码与原真值掩码之间的差异区域，得到目标外侧边界区域作为边界负点监督区域，公式如下：

19、，，

20、其中，表示腐蚀操作，表示膨胀操作，和分别表示对应操作的结构元素尺寸，以正提示监督区域和边界负提示监督区域分别对正提示响应图和边界负提示响应图进行监督，使其学习目标内部正点分布和目标边界负点分布，公式如下：

21、，

22、其中，和分别表示预测得到的正提示响应图和边界负提示响应图，和分别表示正提示监督区域和边界负提示监督区域，表示加权二元交叉熵损失函数，用于缓解正、负提示监督区域数量不均衡问题，和分别表示正提示损失权重和边界负提示损失权重，表示正、负提示响应图与其监督标签之间的加权损失；

23、根据训练阶段可提示分割基础模型输出的当前分割掩码与真值掩码之间的误差区域生成专家动作轨迹，根据误差区域确定提示编辑方向，当存在漏检区域时生成增加正点提示动作，当存在误检区域时生成增加负点提示动作，当已有正点位于误检区域时生成删除错误正点提示动作，当选中停止动作时则停止迭代编辑；

24、反馈式迭代提示精炼模块根据状态信息预测提示编辑动作，通过优化动作预测结果与专家动作之间的匹配关系，使其学习不同分割误差状态下的提示编辑策略，公式如下：

25、，

26、其中，表示状态—动作对样本集合  中的样本数量，表示第次提示编辑过程中的状态信息，表示根据当前分割误差生成的专家动作， 表示策略选择该专家动作的概率 表示策略网络的参数，表示优化提示编辑策略的负对数似然损失；

27、在训练过程中，对当前提示集合进行扰动，包括随机删除已有正、负提示点以及增加干扰提示点，以构造不同提示误差状态；针对扰动后的提示状态重新生成专家动作轨迹，提高反馈式迭代提示精炼模块对于不同提示质量状态的适应能力。

28、所述设定初始点提示生成模块包括以下步骤：

29、获取多个参考遥感影像及其真值掩码，利用预训练视觉特征提取器提取各参考遥感影像的初始语义特征，并通过特征上采样器对初始语义特征进行空间上采样，获得与参考遥感影像空间位置对应的稠密语义特征图；

30、根据真值掩码确定目标区域位置集合，从稠密语义特征图中提取目标区域对应的特征，并进行平均池化和归一化处理，得到各参考遥感影像对应的目标原型特征，公式如下：

31、，

32、其中，表示第张参考遥感影像对应的目标原型特征，表示第张参考遥感影像中位置处的稠密语义特征，表示目标区域  中包含的空间位置数量，表示特征归一化操作；

33、利用与参考遥感影像相同的特征提取器和特征上采样器，获取待分割遥感影像对应的稠密语义特征图，计算待分割遥感影像中各空间位置的稠密语义特征与各目标原型特征之间的余弦相似度，获得多个目标相关响应图，公式如下：

34、，

35、其中，表示第个目标原型在待分割遥感影像位置处的目标相关响应值，表示待分割遥感影像位置处的稠密语义特征，表示第张参考遥感影像对应的目标原型特征，表示余弦相似度计算；

36、对多个目标相关响应图进行融合，获得综合目标相关响应图，从目标相关响应区域选取候选正点提示，并结合边界约束确定候选负点提示；

37、统计各候选位置被多个参考遥感影像支持为正负点提示的次数，保留支持次数达到预设投票阈值的候选位置，公式如下：

38、，

39、其中，为参考图数量，为第  张参考遥感影像生成的候选正点集合，为结合目标边界约束从候选区域选取的负点集合，二者构成第  张参考图像给出的候选提示 ，表示空间位置，表示指示函数，和分别为候选位置被多个参考遥感影像标记为正点提示和负点提示的支持次数，并通过空间稀疏约束去除过密候选位置，自动生成初始点提示集合。

40、所述设定边界感知尺度自适应提示路由模块包括以下步骤：

41、基于待分割遥感影像对应的稠密语义特征图，将稠密语义特征图输入特征投影层，对各空间位置处的稠密语义特征进行通道维度变换和特征映射，得到投影后的输入特征，公式如下：

42、，

43、其中，表示特征投影层执行的特征维度变换和映射操作，表示空间位置处的稠密语义特征，表示经过特征投影后的输入特征；

44、将输入特征输入多个具有不同感受野的多尺度专家和全局上下文专家，分别提取不同空间尺度下的局部语义特征和场景级上下文特征，利用空间路由模块根据不同空间位置处的特征响应，为各专家分配归一化融合权重，并对各专家特征进行逐位置加权融合，得到空间自适应融合特征，公式如下：

45、

46、其中，表示位置  处经过空间自适应融合后的特征表示， 表示专家数量， 表示第  个专家网络从输入特征  中提取的位置  处的专家特征， 表示空间路由模块为第  个专家在位置  处分配的归一化融合权重；

47、将空间自适应融合特征分别输入正点预测分支和边界负点预测分支，生成正点分数图和边界负点分数图；其中，正点分数图用于表征各空间位置作为正点提示的置信度，边界负点分数图用于表征目标边界相关位置作为负点提示的置信度；

48、根据正点分数图对初始正点提示进行位置校准、低置信度正点筛除和遗漏正点补充，根据边界负点分数图在目标边界相关区域筛选边界负点提示，并将边界负点提示与初始负点提示进行融合，同时将处理后的正点提示与负点提示合并，得到校准后的点提示集合。

49、所述设定反馈式迭代提示精炼模块包括以下步骤：

50、按照校准后的点提示集合中正点提示之间的空间邻近关系形成目标簇，并针对各目标簇构建局部处理区域；

51、根据当前分割掩码、历史正点提示信息、历史负点提示信息、局部处理区域内的遥感影像块和语义特征构建局部状态，并将局部状态信息记为：

52、，

53、其中， 为当前分割掩码， 和  分别为历史正点提示信息和历史负点提示信息， 为局部遥感图像块， 为对应的语义特征；

54、将局部状态信息输入状态编码单元得到状态特征，并由点提示编辑动作头和停止动作头根据状态特征选择提示编辑动作；提示编辑动作包括增加正点提示、增加负点提示、删除错误正点提示和停止动作；当选择非停止动作时，根据提示编辑动作更新点提示集合，并将更新后的点提示集合重新输入可提示分割基础模型，公式如下：

55、，

56、其中，表示第  次迭代时的点提示集合，表示根据当前状态选择的提示编辑动作，表示根据提示编辑动作对点提示集合进行更新的操作，表示更新后的点提示集合，表示可提示分割基础模型，表示输入遥感影像，表示利用更新后的点提示集合生成的新一轮分割掩码；

57、在选择停止动作或者达到预设最大迭代次数时，停止点提示编辑并输出当前分割掩码。

58、一种基于sam模型的遥感影像分割装置，包括：

59、数据处理模块，用于获取并预处理遥感影像，提取稠密语义特征；

60、点提示生成与校准模块，用于通过多参考原型匹配与投票融合生成初始正、负点提示，并利用边界感知尺度自适应提示路由进行查询前校准；

61、掩码生成模块，用于根据待分割遥感影像和校准后的点提示集合生成当前分割掩码；

62、反馈式迭代提示精炼模块，用于根据当前分割掩码，在目标簇对应的局部处理区域内迭代编辑点提示并更新当前分割掩码；

63、结果输出模块，用于在满足停止条件时输出遥感影像地物分割掩码。

64、一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，即可实现基于sam模型的遥感影像分割方法。

65、一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，即可实现基于sam模型的遥感影像分割方法。

66、有益效果

67、本发明的一种基于sam模型的遥感影像分割方法及其装置，与现有技术相比，在保持模型参数不变的情况下，降低参考遥感影像外观差异以及输入点提示质量和空间配置对分割结果的影响，提高初始正、负点提示的可靠性，针对不同尺度目标的特征响应及边界信息，对点提示位置进行校准，减少正点定位偏差、不同尺度目标漏检和边界负点不足的问题，并利用分割掩码反馈对点提示进行迭代调整，逐步修复掩码碎裂和跨实例泄漏的问题，实现查询前点提示校准与查询后反馈式迭代提示精炼结合的闭环优化，提高了密集多实例遥感影像分割结果的准确性。