基于成对谱上下文和可靠性引导更新的图像分割方法及系统

本发明涉及图像处理，尤其是指一种基于成对谱上下文和可靠性引导更新的图像分割方法及系统。

背景技术：

1、图像分割作为计算机视觉领域的基础性核心任务，核心目的是实现图像目标区域的像素级精准定位与边界精细化描绘。在医学图像处理场景中，准确的分割结果可用于病灶定量分析、辅助诊断和治疗方案制定。

2、当前，u型编码器-解码器网络是图像分割任务的主要基础架构，该网络通过编码器逐级下采样操作，逐层提取图像的语义特征，同时利用解码器逐级上采样实现特征图分辨率的恢复，并通过跳跃连接机制将编码器的高分辨率特征直接传递至解码器对应层级。该架构有效融合了强语义特征与空间细节特征，兼顾了图像语义表征能力和空间细节保留能力，能够有效适配多数常规图像分割场景，已然成为图像分割领域的经典基础结构，被广泛应用于各类视觉分割任务及医学影像分割任务中。

3、然而，现有基于u型编码器-解码器的图像分割技术仍存在诸多固有技术问题。一方面，现有网络核心依赖卷积运算完成特征提取，而卷积的感受野范围受网络层级数量、卷积核尺寸的限制，无法有效捕捉图像的长程空间依赖关系。对于医学图像中形态变化复杂、存在长程关联的病灶目标区域，仅依靠卷积运算难以充分建模目标的全局连续结构，极易出现目标区域分割不完整、结构断裂、形态失真等问题。同时，现有技术中基于图像块或局部窗口的注意力建模方法，会破坏图像原生的空间连续性，或者需通过多层网络传播逐步建立全局特征关联，建模效率低、特征拟合效果差，无法精准适配复杂病灶的全局结构特征提取需求。另一方面，u型网络的浅层跳跃连接特征虽包含丰富的高分辨率边缘、纹理细节信息，但同时极易引入大量无效干扰信息，包括图像中普遍存在的背景纹理干扰、散斑噪声、高光反射杂点、局部成像伪影等。在现有常规分割网络的高分辨率图像重建阶段，通常直接将解码器深层语义特征与编码器浅层跳跃特征进行拼接融合，该融合方式未对浅层特征的有效性进行甄别，导致大量不可靠的细节干扰信息被引入特征重建过程，严重干扰病灶目标的边界恢复精度，易造成目标边界模糊、过分割、欠分割等缺陷。此外，现有针对跳跃特征融合的确定性融合方法，普遍缺少对浅层高分辨率特征局部可靠性的显式评估与筛选机制。目前的门控融合策略仅依靠特征语义相似度完成浅层特征的筛选与融合，筛选维度单一、判别精度低，对于空间位置与目标区域高度重合的伪影、噪声干扰，极易将其误判为有效目标细节特征并参与特征融合，进一步加剧了分割结果的误差，大幅降低了医学图像病灶分割的精准度与鲁棒性。

4、综上所述，当前现有图像分割网络存在全局结构建模能力薄弱、浅层无效特征干扰严重、特征融合缺乏可靠性判别机制等核心问题，难以实现复杂医学图像病灶的高精度分割，无法充分满足临床医疗诊断与治疗的精细化应用需求。

技术实现思路

1、为此，本发明所要解决的技术问题在于克服现有技术中基于卷积的分割网络全局结构建模能力不足、难以有效捕捉图像长程空间依赖关系，浅层跳跃特征易携带噪声与伪影等无效干扰信息，且跳跃特征融合缺乏局部可靠性显式判别机制，仅依靠语义相似度筛选特征易造成干扰信息误融合，进而导致复杂区域分割形态失真、边界精度差、分割鲁棒性低的问题。

2、第一方面，为解决上述技术问题，本发明提供了一种基于成对谱上下文和可靠性引导更新的图像分割方法，包括：

3、s1、获取图像和所述图像对应的像素级标注掩膜；对所述图像和所述像素级标注掩膜分别进行预处理，得到预处理图像和预处理像素级标注掩膜；

4、s2、根据所述预处理图像和所述预处理像素级标注掩膜，建立训练集和验证集；

5、s3、建立图像分割网络模型；其中，所述图像分割网络模型包括编码器、解码器和像素级预测层；所述编码器包括成对谱上下文模块，所述解码器包括可靠性引导更新模块；所述像素级预测层连接至所述解码器的输出端；

6、将所述预处理图像输入至所述编码器，得到n个多尺度编码特征；将所述n个多尺度编码特征的前n级多尺度编码特征输入至所述成对谱上下文模块进行增强，得到增强编码特征；其中，n表示所述编码器输出的多尺度编码特征的总数量；

7、将所述增强编码特征和所述n个多尺度编码特征中剩余的后n-n级多尺度编码特征输入至所述解码器中，所述解码器利用对应尺度的所述增强编码特征进行跳跃融合，得到解码特征；

8、所述可靠性引导更新模块对所述解码特征和所述增强编码特征中的浅层增强编码特征进行空间尺寸与通道对齐，并将对齐后的所述解码特征作为语义先验、将对齐后的所述浅层增强编码特征作为浅层观测；根据所述语义先验和所述浅层观测，生成门控图；利用所述门控图对所述浅层观测进行净化，得到净化浅层观测；根据所述语义先验和所述净化浅层观测，得到融合特征；

9、将所述融合特征进行卷积精炼后输入至所述像素级预测层，得到所述图像的分割概率图；根据所述分割概率图，生成图像分割结果；

10、s4、利用所述训练集对所述图像分割网络模型进行训练，并利用所述验证集选择所述图像分割网络模型的最优参数，得到最优图像分割网络模型；

11、s5、将待分割图像输入至所述最优图像分割网络模型中，得到所述待分割图像的图像分割结果，完成图像分割。

12、在本发明的一个实施例中，将所述n个多尺度编码特征的前n级多尺度编码特征输入至所述成对谱上下文模块进行增强，得到增强编码特征的步骤为：

13、所述成对谱上下文模块包括谱上下文分支和局部混合分支；分别将所述前n级多尺度编码特征中的各级编码特征映射为隐藏特征，并将所述隐藏特征分别输入所述谱上下文分支和所述局部混合分支；

14、所述谱上下文分支对所述隐藏特征进行二维实值快速傅里叶变换，得到频域特征；

15、在横向非负频率范围内构建截断低频带；在所述截断低频带内，所述谱上下文分支利用复数谱混合权重对所述频域特征进行跨通道谱混合，得到混合频域特征；

16、所述谱上下文分支对所述混合频域特征进行二维实值逆快速傅里叶变换恢复为空间域谱上下文特征；

17、所述局部混合分支对所述隐藏特征进行空间域局部通道混合，得到局部混合特征；

18、在空间域中对所述空间域谱上下文特征和所述局部混合特征进行融合，并经输出投影，得到空间域融合特征；

19、将所述空间域融合特征与所述前n级多尺度编码特征进行残差融合，得到增强编码特征。

20、在本发明的一个实施例中，所述跨通道谱混合满足的数学关系式为：

21、；

22、其中，表示纵向频率索引和横向频率索引对应的混合频域特征，表示隐藏通道数，表示频率位置的频域系数，表示频率位置从第个输入隐藏通道到第个输出隐藏通道的复数谱混合权重，表示截断低频带。

23、在本发明的一个实施例中，所述截断低频带满足的关系式为：

24、；

25、；

26、其中，表示截断低频带，表示纵向频率索引集合，表示横向非负频率位置数量，表示纵向频率索引，表示横向频率索引，表示正纵向非零频率模式数量，表示隐藏特征的高度。

27、在本发明的一个实施例中，所述成对谱上下文模块还包括采用成对权重共享，使正纵向非零频率模式和对应负纵向频率模式在相同横向非负频率位置处共享复数谱混合权重；其中，所述复数谱混合权重的数学表达式为：

28、；

29、其中，表示频率位置从第个输入隐藏通道到第个输出隐藏通道的复数谱混合权重，表示隐藏特征的高度，表示横向频率索引，表示横向非负频率位置数量，表示纵向频率索引，表示正纵向非零频率模式数量。

30、在本发明的一个实施例中，根据所述语义先验和所述净化浅层观测，得到融合特征的步骤为：

31、利用所述语义先验，估计先验不确定性；其中，所述先验不确定性满足的关系式为：

32、；

33、根据所述净化浅层观测和所述语义先验，估计观测噪声；其中，所述观测噪声满足的关系式为：

34、；

35、；

36、其中，表示先验不确定性，表示观测噪声，表示语义先验，表示净化浅层观测，表示差异惩罚映射函数，表示基础噪声预测函数；

37、利用所述观测噪声和所述先验不确定性，确定更新权重；

38、利用所述更新权重对所述语义先验和所述净化浅层观测进行可靠性引导融合，得到融合特征；其中，所述融合特征的表达式为：

39、；

40、其中，表示融合特征，表示更新权重。

41、在本发明的一个实施例中，所述更新权重的表达式为：

42、；

43、其中，表示更新权重，表示先验不确定性，表示观测噪声，表示sigmoid函数。

44、在本发明的一个实施例中，所述增强编码特征的数学表达式为：

45、；

46、其中，表示增强编码特征，表示多尺度编码特征，表示1×1输出投影,表示gelu激活函数,表示空间域谱上下文特征,表示局部混合分支的1×1卷积,表示隐藏特征。

47、在本发明的一个实施例中，所述编码器依次输出第一至第五级编码特征，第一至第四级编码特征分别经所述成对谱上下文模块增强后作为跳跃连接特征，第五级编码特征作为瓶颈特征输入所述解码器；所述解码器包括四个解码阶段，前三个解码阶段将上采样后的解码特征与对应尺度的增强编码特征进行特征拼接和卷积精炼，第四个解码阶段采用所述可靠性引导更新模块对上采样后的解码特征和浅层增强编码特征进行融合。

48、第二方面，为解决上述技术问题，本发明提供了一种基于成对谱上下文和可靠性引导更新的图像分割系统，用于实现上述的基于成对谱上下文和可靠性引导更新的图像分割方法，包括：

49、获取与预处理模块，用于获取图像和所述图像对应的像素级标注掩膜；对所述图像和所述像素级标注掩膜分别进行预处理，得到预处理图像和预处理像素级标注掩膜；

50、数据集建立模块，用于根据所述预处理图像和所述预处理像素级标注掩膜，建立训练集和验证集；

51、网络模型构建模块，用于建立图像分割网络模型；其中，所述图像分割网络模型包括编码器、解码器和像素级预测层；所述编码器包括成对谱上下文模块，所述解码器包括可靠性引导更新模块；所述像素级预测层连接至所述解码器的输出端；

52、将所述预处理图像输入至所述编码器，得到n个多尺度编码特征；将所述n个多尺度编码特征的前n级多尺度编码特征输入至所述成对谱上下文模块进行增强，得到增强编码特征；其中，n表示所述编码器输出的多尺度编码特征的总数量；

53、将所述增强编码特征和所述n个多尺度编码特征中剩余的后n-n级多尺度编码特征输入至所述解码器中，所述解码器利用对应尺度的所述增强编码特征进行跳跃融合，得到解码特征；

54、所述可靠性引导更新模块对所述解码特征和所述增强编码特征中的浅层增强编码特征进行空间尺寸与通道对齐，并将对齐后的所述解码特征作为语义先验、将对齐后的所述浅层增强编码特征作为浅层观测；根据所述语义先验和所述浅层观测，生成门控图；利用所述门控图对所述浅层观测进行净化，得到净化浅层观测；根据所述语义先验和所述净化浅层观测，得到融合特征；

55、将所述融合特征进行卷积精炼后输入至所述像素级预测层，得到所述图像的分割概率图；根据所述分割概率图，生成图像分割结果；

56、优化模块，用于利用所述训练集对所述图像分割网络模型进行训练，并利用所述验证集选择所述图像分割网络模型的最优参数，得到最优图像分割网络模型；

57、输出模块，用于将待分割图像输入至所述最优图像分割网络模型中，输出所述待分割图像的图像分割结果，完成图像分割。

58、本发明的上述技术方案相比现有技术具有以下有益效果：

59、（1）本发明所述的一种基于成对谱上下文和可靠性引导更新的图像分割方法及系统，在编码器的多个尺度设置成对谱上下文模块，于截断低频带内进行复数跨通道谱混合，并针对成对纵向频率模式进行权重共享，一方面在复数域同时保留幅值与相位信息，利用低频带完成跨通道信息互补融合，并通过残差连接保留原始空间表征，另一方面通过频率维度的权重共享有效压缩模型参数量，形成结构化频域参数约束，将成对纵向频率模式之间的对应关系引入频域参数学习，结合空间域局部混合分支兼顾全局结构信息与局部通道信息，提升频域表征能力。

60、（2）本发明在最终高分辨率重建阶段，根据先验不确定性和观测噪声控制浅层细节注入，有利于抑制背景纹理、噪声和伪影造成的不可靠浅层响应。

61、（3）本发明实现了编码端全局连续结构特征的高效建模，同时在解码端实现浅层细节特征的可靠性自适应调控，有效规避无效特征干扰，提升图像分割精度与鲁棒性。