基于查询特征增强的小样本医学图像分割系统及方法

本发明属于图像处理，尤其涉及一种基于查询特征增强的小样本医学图像分割系统及方法。

背景技术：

1、医学图像分割作为医学图像分析领域的关键技术之一，旨在从复杂的医学图像中准确地识别并描绘感兴趣的解剖结构或病理结构。小样本图像分割方法展现出其在图像处理领域的优势，其核心思想是利用少量支持样本的特征来指导对查询图像中同类目标的分割。

2、小样本图像分割（few-shot image segmentation，fss）方法的关键是挖掘和学习支持图像（support image）与查询图像（query image）之间的相似特征。现有的小样本医学图像分割方法可以沿着三条技术路线展开：一类通过构建基于支持图像的提示信息来增强对查询图像的分割，例如利用具备交互机制的双分支结构实现支持-查询特征间的显式引导；另一类则侧重于在支持图像与查询图像之间建立特征层面的对应关系，主要通过相似性建模识别器共享的判别性特征，典型代表方法有注意力模块与图网络等结构；此外，还有一类方法是基于原型学习思想，通过从支持样本中提取稳定且具有代表性的类别级原型，并利用原型与查询图像特征之间的相似度度量来实现对目标区域的精准描绘。在这些方法之中，基于原型学习的方法利用稳定且具有代表性的类别特征进行跨样本匹配，能够有效地应对和处理医学图像中常见的目标形态多变和类别重叠或不平衡等情况，因而成为当前处理小样本医学图像分割任务的主流方法。

3、然而，医学图像具有明显的个体差异和结构异质性。不同患者之间的器官大小、形状、位置和纹理分布可能存在显著差异；同一患者在不同切片、不同成像阶段或不同病理状态下，目标区域的边界形态和组织密度也可能发生变化。这种差异会导致支持图像中提取的原型难以充分代表查询图像中的目标区域。现有基于原型学习的方法多采用掩码平均池化生成单一前景原型或背景原型，该方式容易平滑局部细节，导致目标区域内部结构差异、弱边界区域和相似背景区域难以被有效刻画。部分方法虽然构建了多个原型，但在原型筛选、边界难例建模和前景背景差异化表达方面仍不充分，容易出现漏分割、误分割和边界模糊等问题。

4、此外，现有小样本医学图像分割方法普遍采用resnet等卷积网络作为特征提取器。该类网络在局部纹理建模方面具有一定优势，但对全局上下文信息和长距离依赖关系的建模能力有限。近年来，视觉大模型及其编码器在自然图像和医学图像任务中表现出较强的通用特征表达能力，例如sam图像编码器能够提供较丰富的全局语义信息。然而，直接使用基于transformer结构的编码器输出特征进行医学图像分割时，其空间粒度与后续基于掩码池化的原型构建过程之间仍可能存在不匹配，局部空间连续性和边界细节表达仍需进一步增强。

5、同时，支持图像与查询图像之间的语义关联建模仍是小样本医学图像分割中的关键问题。若支持特征不能根据当前查询图像的语义上下文进行自适应调整，则可能受到患者差异、切片差异和成像差异的影响，导致构建出的原型与查询图像目标区域匹配不足。因此，如何在少量标注样本条件下增强医学图像特征表达能力，建立支持图像与查询图像之间更有效的语义关联，并构建能够同时刻画区域语义与边界难例的多视图原型，是当前小样本医学图像分割方法亟待解决的问题。

技术实现思路

1、有鉴于此，本发明创造旨在提供一种基于查询特征增强的小样本医学图像分割系统及方法，通过查询特征增强支持特征，利用掩码差异定位难例区域生成边界原型，结合聚类与网格化得到区域原型；最终基于多视图原型与查询特征的相似度匹配，实现精医学图像的精准分割，有效提升小样本条件下的分割性能。

2、为达到上述目的，本发明创造的技术方案是这样实现的：

3、一种基于查询特征增强的小样本医学图像分割系统，用于对医学图像进行图像分割，包括：特征编码与适配单元，分别将待分割的查询图像，以及用于引导分割的支持图像进行编码，得到相适配的查询特征和支持特征；注意力增强单元，利用查询特征对支持特征进行基于多头注意力的特征增强处理，得到查询增强后的增强支持特征；难例边界原型生成单元，利用增强支持特征和支持特征的真实支持掩码，生成支持图像的自预测前景概率图；基于自预测前景概率图和真实支持掩码确定真实为前景但被预测为背景的难例前景区域，以及真实为背景但被预测为前景的难例背景区域；分别对难例前景区域和难例背景区域进行约束与采样，对应得到难例前景边界原型以及难例背景边界原型；区域原型生成单元，在真实支持掩码中聚类得到多个前景局部簇原型，基于增强支持特征对前景局部簇原型进行注意力筛选与融合，得到前景区域原型；基于支持特征，对真实支持掩码中的背景区域进行网格化划分，得到背景区域原型；分割单元，计算两个边界原型和两个区域原型中，每个原型与查询特征之间的相似度响应；根据相似度响应生成查询图像中前景和背景的类别概率分布，得到查询图像的最终分割结果。

4、进一步的，特征编码与适配单元包括：sam图像编码器，分别对查询图像和支持图像进行编码，得到原始查询特征和原始支持特征；token适配器，分别对两特征进行不同感受野下深度卷积操作，再将得到的两特征各自的多感受野特征进行融合，对应得到感受野各自的局部结构增强特征；将两局部结构增强特征与原始查询特征和原始支持特征对应融合，对应得到查询特征和支持特征。

5、进一步的，在注意力增强单元中：将支持特征沿通道维度划分为第一特征和第二特征，对查询特征进行卷积操作，得到第三特征；分别对第二特征和第三特征进行深度卷积处理，对应得到查询向量和键向量；对第一特征依次进行深度卷积处理和全局平均池化操作，再对处理后的特征进行双分支并行处理；在每一个分支中，对输入特征依次进行连续的不同尺度的卷积处理；对两分支得到的特征进行加权融合，得到值向量；将查询向量、键向量和值向量进行多头维度重排，再对重排后的三个向量进行对应通道的注意力头处理；将处理后的每个通道的注意力头输出的特征融合后，再与支持特征进行残差融合，得到增强支持特征。

6、进一步的，在每个通道的注意力头中：根据对应通道的查询向量和键向量，通过下式计算当前通道的通道相似度矩阵：

7、；

8、其中，am表示第m个注意力头的通道相似度矩阵，和分别表示对第m个注意力头的查询向量qm和键向量km沿空间维度进行归一化后的查询向量与键向量，τm表示对应的学习温度系数；根据支持特征，对当前通道的通道相似度矩阵进行top-k稀疏筛选，得到对应的稀疏通道相似度矩阵；将稀疏通道相似度矩阵进行softmax处理后，与将对应通道的值向量相乘，得到当前通道的注意力头的输出特征。

9、进一步的，在难例边界原型生成单元中：利用真实支持掩码对增强支持特征进行掩码平均池化，生成全局前景原型；将全局前景原型与增强支持特征进行拼接，并将得到的自预测特征进行解码，得到支持图像的自预测前景概率图；通过下式，根据自预测前景概率图得到二值自预测掩码：

10、；

11、其中，表示二值自预测掩码，ss表示自预测前景概率图；将二值自预测掩码与真实支持掩码进行差分对比，定位难例前景区域和难例背景区域；对真实支持掩码别执行形态学腐蚀操作和形态学膨胀操作，再由真实支持掩码分别与对应得到腐蚀掩码和膨胀掩码进行差分运算，对应得到前景侧边界带和背景侧边界带：以前景侧边界带和背景侧边界带，分别对难例前景区域和难例背景区域进行约束，再将对应得到的难例前景边界候选区域和难例背景边界候选区域分别进行采样，对应得到难例前景边界候选特征以及难例背景边界候选特征；根据真实支持掩码，分别对难例前景边界候选特征和难例背景边界候选特征进行语义一致性筛选，对应得到难例前景边界原型和难例背景边界原型。

12、进一步的，在区域原型生成单元中，基于增强支持特征对前景局部簇原型进行注意力筛选与融合，得到前景区域原型，此过程包括：计算增强支持特征与每个前景局部簇原型之间的语义相关度，得到每个前景局部簇原型对应的类注意力权重；利用类注意力权重将前景局部簇原型进行加权融合，得到前景语义融合特征；利用真实支持掩码对前景语义融合特征进行掩码平均池化，得到前景区域原型。

13、进一步的，在区域原型生成单元中，基于支持特征，对真实支持掩码中的背景区域进行网格化划分，得到背景区域原型，此过程包括：对背景区域进行网格化划分，并在各网格区域内进行池化，得到各网格区域对应的初始背景区域原型；利用支持特征对每个初始背景区域原型进行掩码平均池化，得到对应的初始背景原型；将得到初始背景原型组成背景原型集合，并计算背景原型集合的自相关矩阵；保留自相关矩阵中相关性强的元素，得到背景调节矩阵，再利用背景调节矩阵对背景原型集合进行校准，得到背景区域原型。

14、进一步的，在分割单元中，根据相似度响应生成查询图像中前景和背景的类别概率分布，得到查询图像的最终分割结果，此过程包括：按照区域类别，将两个边界原型和两个区域原型划分为前景原型和背景原型；按照所有前景原型对应的原型置信度权重，将对应的前景原型的相似度响应进行加权融合，得到前景响应图；按照所有背景原型对应的原型置信度权重，将对应的背景原型的相似度响应进行加权融合，得到背景响应图；将前景响应图与背景响应图进行拼接，并通过softmax函数生成类别概率分布；通过下式得到查询图像的最终二值分割掩码，完成对查询图像的最终分割：

15、；

16、其中，表示最终二值分割掩码，mq表示类别概率分布。

17、一种基于查询特征增强的小样本医学图像分割方法，包括：

18、s1：获取医学图像数据集，并将医学图像及其对应的掩码划分为支持图像、支持图像的真实支持掩码、查询图像以及查询图像的真实查询掩码的数据集，并对数据集进行预处理，得到训练集；

19、s2：构建如本发明提供的医学图像分割系统；

20、s3：利用步骤s1得到的训练集，按照小样本分割的episode训练范式对步骤s2构建的医学图像分割系统进行训练，得到医学图像分割模型；

21、s4：将待分割的医学图像作为查询图像，带分割标注的图像作为支持图像；将查询图像、支持图像以及支持图像的分割掩码输入步骤s3得到的医学图像分割模型中，得到待分割图像的预测分割结果。

22、进一步的，在步骤s3中，使用下式的联合损失函数对医学图像分割系统进行训练：

23、ltotal=λ1lce+λ2ldice+λ3lalign+λ4lssp；

24、其中，ltotal表示联合损失函数，lce表示医学图像分割系统输出的预测查询掩码与其对应的真实查询掩码之间的交叉熵损失，ldice表示预测查询掩码与其对应的真实查询掩码之间的dice损失，lalign表示原型对齐损失，lssp表示自预测一致性损失，λ1~λ4表示损失权重；

25、原型对齐损失为：

26、；

27、其中，ms(h,w)表示真实支持掩码中(h,w)位置处的元素，h和w表示宽度和高度，和分别表示利用查询图像反向预测支持图像时，位置(h,w)被预测为前景和背景的概率；

28、自预测一致性损失为：

29、；

30、其中，和分别表示自预测前景概率图中被自预测为前景和背景的概率。

31、与现有技术相比，本发明创造能够取得如下有益效果：

32、本发明创造所述的基于查询特征增强的小样本医学图像分割系统及方法，注意力增强单元利用查询特征作为显式引导信号，对支持特征进行跨视图的注意力激活与增强，该机制使得支持特征能够动态地适应查询图像的风格与语义上下文，实现了特征空间的高效对齐，从而显著提升了模型在不同模态或差异化较大的器官上的泛化性能；本发明采用区域原型与难例边界原型相结合的多视图原型学习方式，其中，前景区域原型和背景区域原型用于刻画相对稳定的类别语义信息，前景难例边界原型和背景难例边界原型用于刻画前景边界和背景边界中容易发生漏检或误检的困难区域特征，从而提升模型对复杂解剖结构和弱边界区域的表征能力；基于自预测的挖掘机制，通过对比自预测掩码与真实掩码的差异，主动定位模型难以识别的“漏检”与“误检”区域（即弱特征区域），在此基础上经过去噪与精炼处理，生成的难例边界原型，以引导模型更敏锐地识别并学习器官边缘与粘连部位特征，从而缓解医学图像分割中常见的边界平滑过度与细节丢失问题。