一种基于频率解耦反馈网络的多任务医学图像分割方法
本发明涉及医学图像处理、深度学习和计算机视觉,特别涉及一种基于频率解耦反馈网络的多任务医学图像分割方法。
背景技术:
1、医学图像分割是计算机辅助诊断、临床治疗规划和数字医疗系统中的关键基础技术。准确的病灶分割能够为临床医生提供不可或缺的解剖结构信息,在皮肤病变筛查、消化道息肉检测和甲状腺结节评估等临床场景中具有重要的应用价值。随着深度学习技术的发展,以u-net为代表的卷积神经网络架构已成为医学图像分割领域的事实标准,凭借其对称编码器-解码器结构和跳跃连接机制,能够有效恢复局部空间细节并实现端到端的像素级预测。
2、然而,现有深度学习分割框架在复杂真实临床环境中仍面临严重的性能瓶颈,主要体现在:第一,传统卷积网络在处理微小目标、低对比度病灶以及受散斑噪声严重干扰的超声图像时,往往难以准确勾画模糊的病灶边界;第二,现有方法普遍缺乏跨任务鲁棒性和泛化能力,针对特定数据分布微调的单一模型架构在直接应用于其他成像模态时,通常会出现显著的性能退化,难以在多个异质数据集上同时保持高精度的分割效果。
3、为缓解纯卷积神经网络的结构性局限,研究者将视觉transformer(visiontransformer,vit)引入医学图像分割任务,利用全局自注意力机制捕捉长程语义依赖关系。然而,transformer固有的二次计算复杂度在处理高分辨率临床图像时计算开销过大,且缺乏局部归纳偏置,往往导致细粒度空间纹理信息的丢失。为此,cnn-transformer混合架构混合网络应运而生。但现有混合方法通常在单一空间域中处理特征,难以将共享的结构信息与模态特异性噪声有效分离,且缺乏针对模糊边界和不确定区域的自适应处理机制。
4、在频域分析方面,小波变换凭借优异的时频局部化特性,能够将图像特征显式解耦为不同频率子带,有效分离高频边界细节、低频语义结构以及模态特异性噪声。在长程依赖建模方面,基于状态空间模型(ssm)的mamba架构作为自注意力机制的革命性替代方案,在线性计算复杂度下捕获长程依赖关系和全局空间上下文,成功解决了visiontransformer的二次计算瓶颈。尽管小波变换和mamba架构各自具有独特优势,但现有方法通常将这些先进范式作为独立组件进行简单组合,未能将其与鲁棒的多尺度空间精化策略深度集成,这种单一的架构设计制约了其在精确描绘高度复杂、模糊和多样化医学病灶方面的潜力发挥。
5、综上所述,现有医学图像分割方法面临的共性挑战在于:如何在单个统一框架中,深度整合频率域和空间域的多模态特征,同时有效利用预测不确定性自动精确定位模糊病灶边界,从而实现跨多模态、多任务的高鲁棒性分割。
技术实现思路
1、本发明的目的在于提供一种基于频率解耦反馈网络的多任务医学图像分割方法,通过在统一框架内深度整合小波频率解耦、状态空间全局建模和不确定性引导反馈优化,有效解决现有方法在多模态医学图像分割中边界模糊、跨任务泛化能力不足等问题。
2、为实现上述目的,本发明技术方案如下:
3、一种基于频率解耦反馈网络的多任务医学图像分割方法,包括以下步骤:
4、s1,获取医学图像数据集,构建基于渐进式频率-空间级联(pfsc)架构的频率解耦反馈网络(fdf-net),fdf-net包括骨干编码器、投影层、解码器模块组、边缘特征提取模块、协同边界-置信度控制器(sbc);
5、s2,将医学图像输入骨干编码器进行逐层特征提取,获得五层多尺度特征金字塔,并通过投影层将各层特征映射至统一通道维度,得到编码特征(用于后续输入sbc模块进行协同引导,详见步骤s4);
6、s3,将步骤s2得到的编码特征输入解码器模块组进行逐级解码:浅层解码阶段采用小波引导空间融合模块(wavelet-guided spatial fusion,wgsf)进行频率-空间特征解耦与增强,深层解码阶段采用谱mamba空间融合(smsf)模块进行全局上下文建模与长程依赖捕获;
7、s4,基于解码特征与边缘特征,通过sbc生成协同引导特征,利用不确定性引导反馈机制对编码特征进行迭代优化,经过两轮反馈循环后得到最终的精炼编码特征;
8、s5,将最终精炼编码特征经解码器模块组、边缘特征提取模块和sbc处理后,由多尺度分割预测头输出最终分割结果;
9、s6,利用边界感知解耦损失函数对所述分割网络进行端到端训练优化,得到训练收敛后的最优模型权重参数。
10、s1的具体流程步骤包括:
11、获取多模态医学图像数据集,包括isic2017和isic2018皮肤镜图像、kvasir-seg(内窥镜息肉数据集)、cvc-clinicdb(内窥镜息肉数据集)和cvc-colondb内窥镜图像、ddti(甲状腺超声数据集)和tn3k(甲状腺超声数据集)甲状腺超声图像;将图像和标注统一调整为256×256像素,采用imagenet标准均值(0.485,0.456,0.406)和标准差(0.229,0.224,0.225)进行归一化;
12、优选的,s2的流程包括:构建pfsc多任务分割网络;骨干编码器采用res2net50,以imagenet预训练权重初始化,输出五层特征金字塔e0至e4;投影层由五个卷积组成;解码器模块组包含三组相同的解码器,每组含四个级联子模块d0-d3:d3和d2采用smsf模块,d1和d0采用wgsf模块;边缘特征提取模块将e4上采样至e1分辨率后与e1拼接,经两层卷积输出边缘特征;sbc模块接收语义特征、边界特征和不确定性图三个输入,输出协同引导特征r。
13、具体流程步骤如下:
14、构建基于渐进式频率-空间级联pfsc多任务分割网络;骨干编码器采用res2net50,以imagenet预训练权重初始化,输出五层特征金字塔至e4(分辨率为输入的1~1/16倍)。投影层由五个1×1卷积组成,将各层映射至解码通道配置(32,64,128,256,512)。解码器模块组包含三组相同的解码器,每组含四个级联子模块d0-d3:d3和d2采用smsf模块,d1和d0采用wgsf模块;边缘特征提取模块将e4上采样至e1分辨率后与e1拼接,经两层卷积输出64通道边缘特征;协同边界-置信度控制器sbc模块接收语义特征三个输入,输出协同引导特征r(具体生成过程详见步骤s4中的sbc处理流程)。
15、优选的,s3中,所述msa模块结构:输入特征并行进入三个不同空洞率的卷积分支以提取多尺度特征。各分支通过激活函数生成空间掩膜,将特征软性划分为前景与背景区域,并引入端到端更新的可学习标量参数对这两部分进行动态加权调制。随后,各分支的输出聚合求和,生成兼顾不同感受野的多尺度融合特征。该单元作为核心共享组件,同时嵌入于浅层波引导空间融合与深层频谱状态空间融合模块中。
16、s3中谱mamba空间融合smsf模块的处理流程包括:
17、在谱状态空间融合模块中,输入特征沿通道等分为两部分:左分支利用二维实数快速傅里叶变换转至频域,与可学习复数权重逐元素相乘以动态增强关键低频语义,再经逆变换还原为空间特征;右分支经层归一化后输入二维状态空间模型,沿四个独立方向执行一维选择性扫描,以提取全局长程空间上下文特征;最终,两分支特征拼接恢复原始通道数,与输入特征残差相加后,送入多尺度空间注意力模块进行特征重标定,输出兼具频域语义与空间长程依赖的最终融合特征。
18、s3中小波引导空间融合wgsf模块的处理流程包括:
19、输入特征图分别进入左分支和右分支进行并行处理;其中,左分支通过残差卷积模块提取局部空间表征;右分支则通过小波分解模块,将输入特征划分为非重叠的像素块,并应用离散haar小波变换计算出四个维度的频率基分量。
20、四个维度的频率基分量具体包括:一是低频近似分量,通过综合像素块内的特征值提取图像在水平和垂直双向上的低频平滑信息,以此表征原始特征的全局语义结构和整体亮度分布;二是水平高频-垂直低频分量,反映图像在水平方向上的高频变化,捕获纵向的边界与纹理细节;三是水平低频-垂直高频分量,反映图像在垂直方向上的高频变化,捕获横向的边界与纹理细节;四是高频对角分量,反映图像在对角线方向上的高频波动信息,对应于特征中的深层细节纹理以及潜在的噪声成分。
21、具体过程如下:s3中小波引导空间融合(wgsf)模块的处理流程包括:
22、输入特征图f(来自编码器经投影层输出的编码特征)分别进入左分支和右分支。左分支通过残差卷积模块(conv+bn+relu)×2提取局部空间表征;右分支通过小波分解模块(wdm)将输入特征划分为非重叠像素块(步长2),应用离散haar小波变换计算四个频率基分量;设输入特征在像素块(i,j)处的四个像素值为,则:
23、;
24、;
25、;
26、;
27、其中:ll表示低频近似分量(low-low),反映图像在行和列两个方向上的低频平滑信息,对应原始图像的全局语义结构和整体亮度分布,表示输入特征图f在像素块中位于左上、右上、左下、右下四个位置的像素值。
28、其中:lh表示水平高频-垂直低频分量(low-high),反映图像在水平方向上的高频变化信息,用于捕获纵向边界和纹理细节。
29、其中:hl表示水平低频-垂直高频分量(high-low),反映图像在垂直方向上的高频变化信息,用于捕获横向边界和纹理细节。
30、其中:hh表示高频对角分量(high-high),反映图像在对角方向上的高频变化信息,对应图像的细节纹理和噪声成分。
31、四分量沿通道维度拼接为4c通道,经双线性插值上采样→1*1卷积恢复c通道;将左分支、右分支和输入f残差求和后,送入通道注意力(ca):全局平均池化→生成通道权重。最后经msa模块精化输出。
32、所述msa模块结构:输入并行通过三个空洞卷积分支(卷积,d=1/2/3)。每分支经生成空间掩膜f,将特征分为前景f和背景(1-f),由可学习参数分别加权:。三支输出求和得到多尺度融合特征。可学习参数和初始化为1.0,取值范围不受限制,通过反向传播与主干网络联合端到端训练更新。该模块同时嵌入在wgsf和smsf中。
33、其中:表示第k个空洞卷积分支的输出特征图,表示第k个分支的空洞卷积操作,其空洞率d=k(k=1,2,3),表示第k个分支的输入特征图,表示第k个分支经sigmoid函数生成的空间掩膜,取值范围为[0,1],用于将特征划分为前景区域(接近1)和背景区域((1-)接近1),表示第k个分支中分别用于加权前景特征和背景特征的可学习标量参数},初始值均为1.0。
34、优选的,s3中谱mamba空间融合(smsf)模块的处理流程包括:
35、输入f沿通道均分为fleft和fright。左分支通过频率处理模块,利用二维实数快速傅里叶变换(rfft)将特征变换至频域,与可学习复数权重进行逐元素乘法以动态滤波增强低频语义成分,再通过逆rfft映射回空间域:
36、;
37、其中:表示经频域滤波后映射回空间域的频域增强特征,表示二维实数快速傅里叶变换(2d rfft),将空间域特征变换至频域,表示二维实数逆快速傅里叶变换(2d irfft),将频域特征映射回空间域,表示输入特征f沿通道维度均分后的左半部分特征,通道数为表示可学习复数权重张量,维度与频域特征匹配,通过复数高斯分布初始化并与主干网络联合端到端训练更新,用于动态滤波增强关键频域成分,表示逐元素复数乘法,对频域各分量进行独立的复数加权调制。
38、右分支通过二维状态空间模型(ss2d/mamba),将输入特征重塑后进行层归一化,沿上下、下上、左右、右左四个方向分别执行一维选择性扫描,聚合全局空间上下文信息:
39、;
40、其中:表示经二维状态空间模型(mamba)处理后的全局空间上下文特征,表示二维选择性状态空间模型(2d selective state space model),即mamba操作,状态空间维度,状态扩展因子expand=2,表示层归一化操作,用于稳定特征分布并加速训练收敛,表示输入特征f沿通道维度均分后的右半部分特征,通道数为c/2,经转置对齐通道维度后输入mamba模块。
41、将频域特征和空间mamba特征沿通道维度拼接恢复原始通道数,与原始输入特征通过残差连接求和后送入多尺度空间注意力模块(multi-scale spatialattention,msa)进行多感受野空间特征重标定:
42、;
43、其中:表示smsf模块的最终输出特征,融合了频域全局语义和空间长程上下文信息,表示多尺度空间注意力(multi-scale spatial attention)操作,表示沿通道维度的特征拼接操作,将频域特征和空间mamba特征拼接恢复原始通道数c,f表示smsf模块的原始输入特征,通过残差连接与拼接特征相加,确保基线语义的稳定传播。
44、优选的,s4中sbc的处理流程包括:在协同边界置信控制器中,首先接收并独立编码语义特征、边界特征与不确定性图;随后,语义特征经全局平均池化、全连接层与归一化指数函数,动态生成宏观的边界权重与置信度权重系数;同时,边界特征与不确定性特征经卷积与s型激活函数映射,生成分别标识边界位置与高不确定性区域的微观空间引导掩膜;接着,将宏观权重与微观掩膜进行协同调制,调制结果与原始语义特征残差相加后,经卷积平滑输出用于更新前序编码器的最终反馈引导特征。
45、s4中不确定性引导反馈机制的具体流程包括:
46、首先为第一级联阶段,即初始的无反馈阶段。在该阶段中,原始编码特征被输入至初始解码器组以提取初级解码语义特征;随后,该初级解码特征结合上采样操作进入边缘提取模块,从而生成初始的边界特征;
47、在第二级联阶段即第一轮反馈阶段,初级解码语义特征首先生成预测概率图,并依此反向推导出像素级不确定性图;随后,初级解码语义特征、初始边界特征与不确定性图同步输入协同边界置信控制器,以生成反馈引导特征;经过空间尺度对齐后,该反馈引导特征与编码特征金字塔的各层原始特征依次进行乘法调制与残差相加,最后经卷积平滑,输出第一轮更新后的编码特征;
48、接着为第三级联阶段,即第二轮反馈阶段;将第一轮更新后的编码特征输入至次级解码器组以生成次级解码特征,并再次结合上采样操作提取出次级边界特征。随后,网络重复执行协同边界置信控制器的特征融合与调控流程,生成新一轮的反馈信号,以此对编码特征进行二次迭代更新。
49、最后为最终输出阶段;经过前述连续两轮反馈迭代优化后的编码特征被送入最终的解码器组以及最终的协同控制模块中,由此获取得到经充分精炼优化的编码器特征,精炼编码特征最终被直接用于末端阶段的高精度解码与最终的分割结果预测。
50、s4中sbc的具体处理流程包括:
51、接收语义特征,分别经独立编码器(conv+bn+relu)提取语义特征。对进行全局平均池化,通过全连接层和softmax函数动态生成边界权重ws(边界权重系数,表示网络对边界信息的关注程度)和置信度权重wu(置信度权重系数,表示网络对不确定性估计的依赖程度,满足ws+wu=1的动态权重约束)(满足=1),实现宏观层面的自适应权重分配:
52、;
53、其中:表示边界权重系数,由语义特征经全局平均池化(gap)、全连接层(fc)和softmax函数动态生成,表示网络对边界信息的自适应关注程度,表示置信度权重系数,同样由softmax函数动态生成,满足=1的归一化约束,表示网络对不确定性估计的自适应依赖程度,表示全局平均池化(global average pooling),将的空间维度压缩为通道级全局统计量,表示全连接层(fully connected layer),将池化后的特征映射为二维权重向量,softmax表示softmax归一化函数,确保输出权重满足=1的概率分布约束。
54、同时对边界特征和不确定性图分别通过卷积和sigmoid函数生成微观层面的空间引导掩膜:
55、;
56、其中:与表示专门针对于边界和不确定特征的卷积,表示边界空间引导掩膜,由编码器提取后的边界特征经卷积和sigmoid函数生成,取值范围为[0,1],在空间维度上标识边界区域的位置和强度,表示不确定性空间引导掩膜,由不确定性图经卷积和sigmoid函数生成,取值范围为[0,1],在空间维度上标识高不确定性的模糊区域,表示sigmoid激活函数,将特征值映射至(0,1)区间,输出可解释为概率型空间注意力掩膜,表示卷积操作,用于通道维度的特征映射和压缩。
57、将宏观权重与微观掩膜进行协同调制,调制后的特征与原始语义特征通过残差连接相加,经卷积输出最终协同引导特征r(用于反馈调制编码器特征):
58、;
59、其中不确定性图u由粗分割预测概率
p(经sigmoid激活)计算得到:
60、;
61、当
p接近0.5时(高度不确定)u趋近于1,当
p接近0或1时(高度确定)u趋近于0。
62、优选的,s4中不确定性引导反馈机制的具体流程包括:
63、第一级联阶段(无反馈):原编码特征e(0)→解码器组0→;+↑→边缘提取→(0)。
64、第二级联阶段(第一轮反馈):→粗分割头→p→u=1-2|p-0.5|→sbc(t=,s=(0),u)→r,通过反馈卷积模块和投影层更新编码特征金字塔的全部五层特征:
65、;
66、其中,表示的是第i层在接收反馈信号校准后生成的新一代编码特征,表示的是第i层的卷积操作,表示第i层空间分辨率进行适配后的反馈校准信号,代表当前级联轮次更新前,第i层的原始输入编码特征。
67、对层使用r3经卷积投影并上采样后同样以上述方式处理,得到更新后的编码特征。
68、第三级联阶段(第二轮反馈):→解码器组1→;+↑→边缘提取→(1)→重复sbc→。
69、最终输出阶段:→解码器组2→→最终sbc→精炼编码特征(经两轮反馈迭代优化后的编码器特征,用于最终阶段解码和分割预测)。
70、优选的,s6中边界感知解耦损失函数的构建包括:在边界感知解耦损失函数的构建流程中,总损失函数被严格解耦为三个独立的优化部分,分别为区域分割损失、边缘分割损失以及辅助监督损失;辅助监督损失配置有固定的预设权重系数,用于平衡各损失分支在反向传播时的梯度贡献。
71、区域分割损失由二值交叉熵损失与空间相似度损失线性组合而成,在计算该空间相似度时,引入了微小的平滑参数以防止计算过程中出现分母为零的异常情况;
72、边缘分割损失采用自适应加权二值交叉熵损失;其边缘真实标签由原始区域标签经形态学膨胀与腐蚀操作后逐像素作差自动生成;同时,系统依据每批次中背景负像素与边缘正像素的比例动态计算正样本权重,并将该权重严格限制在一至一百的数值区间内,以缓解像素类别不平衡并防止梯度异常;辅助监督损失具体操作为对网络前序多个中间解码层所输出的初步预测结果,同步施加与前述最终区域分割损失完全相同的优化约束。
73、具体过程如下:
74、边界感知解耦损失函数的构建包括:
75、将总损失函数解耦为区域分割损失、边缘分割损失和辅助损失三部分:
76、;
77、其中=0.4为辅助损失权重系数。区域分割损失由二值交叉熵(bce)损失和dice损失的组合构成:
78、;
79、;
80、其中代表预测分割掩码,为平滑系数,dice为分割领域常用的评估指标,代表着预测准确性,公式2表示的是dice的计算公式。边缘分割损失采用自适应加权bce损失,边缘真值标签通过形态学操作自动生成:
81、;
82、其中代表边缘真实标签,为膨胀操作,代表腐蚀操作,mask代表的是图像的掩码。并根据每批次中正负像素比例自动计算正样本权重:
83、;
84、其中为正样本权重,与分别事正负像素值。将限制在[1.0,100.0]范围内以缓解边缘/背景像素的严重类别不平衡。辅助损失用于多尺度监督,对至解码层的预测施加与相同的区域分割损失,增强中间层语义判别力。
85、由上述技术方案与现有技术相比可知,本发明具有如下有益效果:
86、(1)本发明通过构建渐进式频率-空间级联架构,将wgsf部署于浅层、smsf部署于深层,实现了频率域与空间域特征的深度协同融合,能有效解耦高频边界细节与低频语义结构,同时捕获长程全局上下文依赖,显著提升了模型在多模态成像下的特征表征能力和跨任务泛化性能。
87、(2)通过sbc控制器和双回路不确定性引导反馈机制,利用预测不确定性动态调制特征表达,迫使网络持续关注高度模糊和挑战性的病灶区域,实现了边界迭代精化,有效解决了多模态医学图像中普遍存在的病灶边界模糊问题。
88、(3)通过边界感知解耦损失函数,利用形态学操作自动生成边缘监督信号,无需额外人工边界标注即可实现病灶边界的精确感知和优化,大幅降低了标注成本和实际应用的部署门槛。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com