一种基于前景背景比例感知的少样本图像分割方法及系统与流程

本发明属于计算机视觉与人工智能，具体涉及一种基于前景背景比例感知的少样本图像分割方法及系统。

背景技术：

1、语义分割用于对图像中每个像素点进行类别判定，是工业检测、医学影像分析、遥感解译、自动驾驶和生态监测等任务中的基础技术。现有深度学习分割模型通常依赖大量像素级标注数据。像素级标注需要逐区域描绘目标边界，标注周期长，人工成本高，在不同类别或场景中难以快速获得充分的样本。

2、少样本语义分割旨在利用少量带掩码标注的支持图像，对未见类别的查询图像进行分割。该类方法一般采用情景式训练方式，在每个训练或测试任务中输入支持集（包括若干张支持图像和对应掩码）和查询集（包括查询图像和对应掩码），模型根据支持图像提供的类别线索预测查询图像中的对应目标区域。

3、现有少样本语义分割方法通常包括原型类方法和注意力类方法，其中：1）原型类方法先利用支持掩码提取支持图像中的前景特征，再通过掩码平均池化将支持图像的全部前景特征压缩为少数原型向量，原型向量不再携带空间位置与局部细粒度信息，即目标边界、局部纹理和多部位结构信息被平均化，导致空间位置与局部细粒度信息损失使得目标边界处的轮廓表征退化，后续依靠原型和查询特征的相似度引导分割时也无法体现真实细节差异，最终会放大边界模糊、细节缺失、子部位区分失效等问题。2）注意力类方法通过建立查询图像的查询特征和支持图像的支持特征之间的像素级或特征单元级对应关系，能够保留更多空间细节。然而，在交叉注意力计算中，查询特征同时包含前景特征和背景特征，而支持特征通常更偏向前景特征。查询图像中的背景特征与支持图像的前景特征的相似度一般较低，但归一化后，大量低相似度的背景位置仍可能累积形成不可忽略的注意力权重，使背景区域被误导为前景区域，造成前景和背景表示混杂。若直接对背景注意力进行硬抑制，会丢失有助于目标边界定位的上下文信息，且被抑制区域难以获得有效梯度，造成图像分割准确性低。此外，对于少样本分割任务而言，支持图像数量有限，模型容易依赖训练集中偶然出现的背景共现关系，进而影响未见类别上的泛化能力。

4、因此，提出一种基于前景背景比例感知的少样本图像分割方法及系统。

技术实现思路

1、本发明的目的在于针对上述问题，提出一种基于前景背景比例感知的少样本图像分割方法及系统，在保留支持图像细粒度信息的同时，根据查询图像的前景背景比例动态调整注意力分配保留弱背景上下文，大大提高模型的鲁棒性、泛化能力和分割精度。

2、为实现上述目的，本发明所采取的技术方案为：

3、本发明提出的一种基于前景背景比例感知的少样本图像分割方法，包括如下步骤：

4、s1、获取图像数据集并划分为支持集和查询集，支持集包括若干张支持图像和对应掩码，查询集包括查询图像，即待分割图像；

5、s2、构建前景背景比例感知分割模型以执行如下操作：

6、s21、根据支持集和查询集利用深度特征提取网络提取支持前景特征和高层查询特征；

7、s22、将各支持前景特征沿空间维度展平为对应支持特征矩阵，将高层查询特征沿空间维度展平为查询特征矩阵，并分别计算查询特征矩阵与各支持特征矩阵之间的相似度得到对应的相似度矩阵，根据各相似度矩阵获得对应支持图像下查询图像的前景背景比例；

8、s23、根据各支持图像下查询图像的前景背景比例进行对应相似度矩阵的动态校准，获得对应校准相似度矩阵；

9、s24、对各校准相似度矩阵进行随机扰动增强获得对应注意力得分矩阵，分别将各注意力得分矩阵归一化形成注意力权重矩阵；

10、s25、根据各支持前景特征、各注意力权重矩阵和高层查询特征利用注意力融合模块获得查询图像的分割结果；

11、s3、将图像数据集输入训练好的前景背景比例感知分割模型，获得查询图像的分割结果。

12、优选地，深度特征提取网络采用resnet模型、convnext模型、vision transformer模型、swin transformer模型其中一种。

13、优选地，根据支持集和查询集利用深度特征提取网络提取支持前景特征和高层查询特征，具体如下：

14、分别将支持集中各支持图像输入深度特征提取网络获得对应高层支持特征，再将支持集中各支持图像的掩码进行维度变换后与对应高层支持特征逐元素相乘获得对应支持前景特征；

15、将查询集中查询图像输入深度特征提取网络获得高层查询特征。

16、优选地，根据各相似度矩阵获得对应支持图像下查询图像的前景背景比例，具体如下：

17、s221、获取各相似度矩阵的软先验掩码，具体为对各相似度矩阵沿列维度求平均值获得对应查询特征矩阵的激活分数向量，根据查询特征矩阵的激活分数向量获得对应软先验掩码，计算如下：

18、

19、其中，表示查询特征矩阵与第张支持图像的支持特征矩阵的相似度矩阵的软先验掩码，表示查询特征矩阵与第张支持图像的支持特征矩阵的相似度矩阵对应的查询特征矩阵的激活分数向量，表示转换为与高层查询特征相同空间尺寸，表示sigmoid函数，表示温度因子，，表示支持集中支持图像的数量；

20、s222、分别计算各相似度矩阵的软先验掩码的空间平均值与比例调节参数的乘积作为对应支持图像下查询图像的前景背景比例，比例调节参数取值范围为0~1。

21、优选地，根据各支持图像下查询图像的前景背景比例进行对应相似度矩阵的动态校准，获得对应校准相似度矩阵，具体如下：

22、将各相似度矩阵展平成一维相似度序列，再对一维相似度序列中的元素按相似度大小排序，并将对应支持图像下查询图像的前景背景比例所在分位位置的相似度作为动态阈值，相似度大于或等于动态阈值的位置记为伪前景区域，相似度小于动态阈值的位置记为伪背景区域；

23、根据动态阈值为对应相似度矩阵建立校准相似度矩阵，则校准相似度矩阵中第行第列的元素，表示如下：

24、

25、其中，为对应校准相似度矩阵中第行第列的元素，为对应相似度矩阵中第行第列的元素，，，表示查询特征矩阵中元素的数量，表示对应支持特征矩阵中元素的数量，为对应动态阈值，为预设常数，取值范围为~。

26、优选地，对各校准相似度矩阵进行随机扰动增强获得对应注意力得分矩阵，分别将各注意力得分矩阵归一化形成注意力权重矩阵，公式如下：

27、

28、其中，对应校准相似度矩阵的注意力得分矩阵中第行第列的元素，计算如下：

29、

30、其中，为对应校准相似度矩阵的注意力权重矩阵，表示沿列维度进行归一化，表示对应校准相似度矩阵中第行第列的元素的扰动噪声，为扰动强度，取值范围为0.001~1.0。

31、优选地，比例调节参数和扰动强度的获取采用如下方案之一：

32、1）比例调节参数为第一预设固定值，扰动强度均为第二预设固定值；

33、2）比例调节参数和扰动强度均根据训练进程进行自适应调整，即比例调节参数随训练轮次增大，扰动强度随训练轮次衰减；

34、3）比例调节参数和扰动强度均根据先验掩码置信度进行自适应调整，具体为根据各软先验掩码的熵计算对应先验掩码置信度，当先验掩码置信度小于第一置信度阈值时，比例调节参数为第一比例阈值，扰动强度为第一扰动阈值，当先验掩码置信度大于等于第一置信度阈值且小于第二置信度阈值时，比例调节参数为第二比例阈值，扰动强度为第二扰动阈值；当先验掩码置信度大于等于第二置信度阈值时，比例调节参数为第三比例阈值，扰动强度为第三扰动阈值，且第一比例阈值、第二比例阈值、第三比例阈值依次增大，第一扰动阈值、第二扰动阈值、第三扰动阈值依次增大；

35、4）比例调节参数根据目标面积占比进行自适应调整，即与目标面积占比正相关，扰动强度根据伪背景区域的面积占比进行动态调整，即与伪背景区域的面积占比负相关。

36、优选地，注意力融合模块，执行如下操作：

37、s251、分别将各支持前景特征映射为值矩阵后与对应校准相似度矩阵的注意力权重矩阵相乘，获得对应支持图像的交叉注意力输出特征；

38、s252、对高层查询特征执行自注意力计算，获得自注意力输出特征；

39、s253、将各支持图像的交叉注意力输出特征分别与自注意力输出特征沿通道维度拼接，并通过卷积层映射回与高层查询特征相同的通道数，再经过非线性激活函数后与高层查询特征进行残差融合，获得对应支持图像的融合特征；

40、s254、将各支持图像的融合特征输入解码器，得到对应支持图像下查询图像的像素级分割结果；

41、s255、将各支持图像下查询图像的像素级分割结果进行加权融合获得查询图像的分割结果，各支持图像下查询图像的像素级分割结果的权重为查询特征矩阵与对应支持图像的支持特征矩阵的相似度矩阵的全部元素的平均值经归一化获得。

42、优选地，前景背景比例感知分割模型采用训练图像集进行训练，训练图像集划分为若干个支持-查询对，每个支持-查询对包括支持集和查询集，且每个支持-查询对的支持集包括若干张支持图像和对应掩码，每个支持-查询对的查询集包括查询图像和对应掩码，训练过程中的分割损失采用dice损失获得、或采用dice损失与交叉熵损失加权求和获得。

43、一种基于前景背景比例感知的少样本图像分割系统，包括：

44、数据采集模块，用于获取图像数据集并划分为支持集和查询集，支持集包括若干张支持图像和对应掩码，查询集包括查询图像，即待分割图像；

45、模型构建模块，用于构建前景背景比例感知分割模型，包括：

46、特征提取模块，用于根据支持集和查询集利用深度特征提取网络提取支持前景特征和高层查询特征；

47、比例估计模块，用于将各支持前景特征沿空间维度展平为对应支持特征矩阵，将高层查询特征沿空间维度展平为查询特征矩阵，并分别计算查询特征矩阵与各支持特征矩阵之间的相似度得到对应的相似度矩阵，根据各相似度矩阵获得对应支持图像下查询图像的前景背景比例；

48、比例动态校准模块，用于根据各支持图像下查询图像的前景背景比例进行对应相似度矩阵的动态校准，获得对应校准相似度矩阵；

49、扰动增强模块，用于对各校准相似度矩阵进行随机扰动增强获得对应注意力得分矩阵，分别将各注意力得分矩阵归一化形成注意力权重矩阵；

50、特征融合模块，用于根据各支持前景特征、各注意力权重矩阵和高层查询特征利用注意力融合模块获得查询图像的分割结果；

51、结果输出模块，用于将图像数据集输入训练好的前景背景比例感知分割模型，获得查询图像的分割结果。

52、与现有技术相比，本发明的有益效果为：

53、针对现有少样本图像分割方法存在的支持前景信息损失、交叉注意力背景权重放大以及背景硬抑制影响泛化能力等问题，本发明根据支持集和查询集利用深度特征提取网络提取支持前景特征和高层查询特征，将各支持前景特征沿空间维度展平为对应支持特征矩阵，将高层查询特征沿空间维度展平为查询特征矩阵，并分别计算查询特征矩阵与各支持特征矩阵之间的相似度得到对应的相似度矩阵，根据各相似度矩阵获得对应支持图像下查询图像的前景背景比例；随后，依据对应支持图像下查询图像的前景背景比例对相似度矩阵进行动态阈值划分，得到伪前景区域和伪背景区域；在伪背景区域中引入受控随机扰动，避免完全去除背景上下文造成的信息损失；最终根据各支持前景特征、各注意力权重矩阵和高层查询特征利用注意力融合模块获得查询图像的分割结果。具体地：

54、1）本发明在高层查询特征和支持前景特征之间建立细粒度相似关系，有利于保留局部纹理、边界和部件差异等信息，而非将支持图像的前景信息简单压缩为单一原型，避免细粒度信息损失；

55、2）本发明从软先验掩码中估计前景背景比例，并将前景背景比例用于相似度矩阵的动态校准，能够根据不同图像中的目标面积变化自适应调整注意力稀疏程度，减少固定阈值在小目标、大目标或复杂背景场景中的适应性不足；

56、3）本发明在将各注意力得分矩阵归一化形成注意力权重矩阵前对伪背景区域进行处理，能够降低背景低相似度响应在归一化后被放大的概率，从而缓解前景背景特征混杂问题；

57、4）本发明在伪背景区域引入受控的随机扰动增强，使模型不过度依赖训练样本中的固定背景模式，同时保留部分背景上下文信息，有助于提高模型在未见类别和跨场景图像上的泛化能力；

58、5）本发明的比例感知注意力模块（包括比例估计模块、比例动态校准模块和扰动增强模块）可作为现有少样本分割网络的即插即用模块，不限定于训练数据集或类别，比例感知注意力模块及前景背景比例感知分割模型整体便于在工业缺陷图像、医学影像、遥感图像和自然场景图像等分割场景中部署。