融合全局注意力与频域增强的扩散模型脑肿瘤三维分割方法
本发明涉及医学图像处理与深度学习交叉,具体涉及一种融合全局注意力与频域增强的扩散模型脑肿瘤三维分割方法,尤其适用于临床场景中噪声干扰、边界模糊、多模态缺失条件下的脑肿瘤精准、高效分割。
背景技术:
1、脑肿瘤作为中枢神经系统高发的侵袭性病变,具有异质性强、边界模糊、形态差异大等特点,早期精准诊断与靶区勾画对制定手术方案、放化疗计划及预后评估至关重要。磁共振成像(mri)凭借多序列、多参数、高软组织对比度等优势,可同步获取 t1、t2、t1ce、flair 等多模态互补信息,已成为脑肿瘤临床影像学评估的首选手段。
2、基于深度学习的脑肿瘤自动分割技术已成为研究热点,但现有方法仍存在显著局限:基于cnn的架构(如3d u-net、vnet、nnu-net)依靠局部感受野提取空间特征,对肿瘤全局结构依赖弱,面对不规则形态、微小病灶及模糊边界时易出现漏分割、边界偏移与内部空洞;基于transformer的模型(如transbts、swinunetr、unetr)通过自注意力机制实现长程依赖建模,可提升全局特征表达能力,但存在参数量大、计算复杂度高、推理速度慢等问题,难以在临床低配硬件上部署;基于扩散模型的分割方法凭借迭代去噪机制具备优异的抗噪与细节生成能力,但现有方案普遍存在多尺度特征融合不足、全局与局部特征失衡、训练与推理噪声分布不匹配等缺陷;多数扩散分割模型未设置初始分割误差校正环节,在模态缺失、低对比度、强伪影等复杂临床场景中鲁棒性不足;同时,现有方法普遍未能将频域增强、轻量化 3d 注意力、多尺度自适应融合与误差校正机制有机结合,难以在保证分割精度的同时实现模型轻量化,无法满足临床实时性与便捷部署需求。
3、尽管现有脑肿瘤分割技术持续演进,但在实际临床应用中仍面临以下核心技术瓶颈:
4、肿瘤特征适配能力不足:脑肿瘤形态多变、尺度差异悬殊、边界模糊,且mri图像存在噪声与模态差异,现有模型难以同步精准捕捉全局结构与局部细节,易导致分割不完整、边缘偏移、微小病灶漏检。
5、模型复杂度与临床部署矛盾突出:主流3d分割模型依赖深层卷积或transformer结构,参数与计算量庞大,对硬件资源要求高,无法在医院常规终端、床旁设备等低算力平台高效运行。
6、噪声与伪影鲁棒性薄弱:mri 采集过程易受运动伪影、磁场不均匀、线圈噪声等影响,现有扩散模型在空间域操作中缺乏有效的频域特征增强与降噪机制,分割结果稳定性不足。
7、分割误差缺乏闭环校正:初始分割产生的系统性偏差无法被识别与修正,误差持续累积导致肿瘤核心、水肿区、增强实体区分界不准确。
8、多尺度与3d注意力设计缺陷:部分轻量化模型过度追求参数压缩,弱化多尺度特征交互;传统注意力多停留在2d或伪3d结构,难以充分挖掘三维空间中肿瘤与周围组织的关联信息,对模糊边界聚焦能力不足。
9、综上,现有脑肿瘤mri分割技术在分割精度、模型轻量化、抗干扰能力、误差校正等方面仍存在明显短板,无法同时满足临床对高精准、高效率、高鲁棒、易部署的综合需求。因此,构建一种融合多尺度特征增强、3d轻量化注意力、频域增强、迭代去噪与分割误差校正的一体化脑肿瘤分割方案,成为本领域亟待解决的关键技术问题。
技术实现思路
1、发明目的:本发明的目的在于,针对现有脑肿瘤 mri 分割方法中多尺度特征融合不足、噪声干扰抑制能力弱、全局与局部特征难以平衡、扩散模型训练与推理存在分布差异、初始分割存在系统性误差等问题,结合多尺度双注意力扩散模型、纠错式扩散机制、轻量化轴向注意力与多尺度特征融合三类技术优势,提出一种融合全局注意力与频域增强的扩散模型脑肿瘤三维分割方法。技术方案:
2、为实现上述目的,本发明采用如下技术方案:
3、一种融合全局注意力与频域增强的扩散模型脑肿瘤三维分割方法,包括以下步骤:
4、步骤 1:获取多序列三维脑部 mri 影像数据及其标注掩码;所述多序列包括 t1、t2、t1ce、flair 四种模态;
5、步骤 2:对所述三维影像进行强度标准化、去噪与分块预处理,得到规范空间维度的预处理特征图
6、
7、其中b为批处理大小,h、w、d分别为影像的高度、宽度、深度;
8、步骤 3:将预处理特征图同时输入上下文感知编码单元与主去噪编码单元,分别提取多层级、多尺度深度特征,并通过对对应层级特征逐元素加和实现双路径特征表达互补
9、步骤 4:将步骤3输出的强化编码特征输入全局感知跨尺度增强单元,所述全局感知跨尺度增强单元包含行列全局注意力子单元与频域尺度调节子单元;其中,所述行列全局注意力子单元用于捕获全局长程依赖,所述频域尺度调节子单元通过快速傅里叶变换提取频域特征、基于频率相关的自适应加权系数调节、再经逆快速傅里叶变换还原,以增强肿瘤边缘与纹理细节;
10、步骤 5:利用步骤4输出的高表达能力特征图,经解码器初步生成初始肿瘤分割掩码;
11、步骤 6:构建纠错扩散分支:计算所述初始掩码与真实标注掩码的差异图;将所述差异图输入离散隐空间编码模块,映射至隐变量;在隐空间中执行前向加噪扩散与逆向去噪扩散,得到校正后的差异图,将校正差异叠加至初始掩码得到初次校正结果;
12、步骤 7:在推理阶段,采用频域约束噪声初始化策略与置信度引导扩散采样策略;所述频域约束噪声初始化策略利用低频结构保留滤波器与高频细节增强滤波器在频域对初始噪声进行重新构建;所述置信度引导扩散采样策略基于扩散步骤中各预测结果的熵值计算不确定度,并根据所述不确定度生成采样权重进行加权融合,以缩小训练与推理分布差异;
13、步骤 8:将经纠错与推理优化的特征输入解码器末端,通过三维轴向关联注意力子单元建立全空间长程依赖,并对多尺度解码特征进行上采样拼接与全局加权融合,最终经输出卷积与分类函数输出三维脑部肿瘤精细分割结果。
14、优选的,步骤 3 所述上下文感知编码单元与主去噪编码单元的特征融合规则为:
15、
16、其中为主去噪编码单元第i层输出特征,为上下文感知编码单元第i层输出特征,通过逐元素加和实现双路径特征互补。
17、优选的,步骤4所述行列全局注意力子单元的输出满足:
18、
19、其中为自适应注意力权重,为以位置u为中心的行列关联区域,为行列上下文特征向量,为输入特征。
20、优选的,步骤4所述频域尺度调节子单元的具体计算过程为:
21、
22、
23、
24、其中为频域尺度调节子单元的输入强化编码特征, 为经fft变换后的频域特征, 为经频率自适应加权后的频域特征,为频域增强输出特征;fft为快速傅里叶变换,ifft为逆快速傅里叶变换,为频率相关的自适应加权系数。
25、优选的,步骤6所述纠错扩散分支的具体实现步骤为:
26、步骤 6-1:采用基础分割网络生成初始肿瘤掩码;
27、步骤 6-2:计算差异图,其中为真实掩码;
28、步骤 6-3:将差异图输入离散隐空间编码模块,得到隐变量;
29、步骤 6-4:在隐空间执行逆向扩散去噪,得到校正后的差异图;
30、步骤6-5:将校正差异叠加至初始掩码,得到最终校正掩码。
31、优选的,步骤7所述频域约束噪声初始化满足:
32、
33、
34、
35、
36、其中为扩散过程的累积噪声系数, 为噪声采样函数, 和为独立采样的高斯噪声向量;为低频结构保留滤波器,为高频细节增强滤波器。
37、优选的,步骤7所述置信度引导扩散采样的不确定性度量与权重计算为:
38、
39、
40、
41、其中为第t步扩散的平均预测概率,为不确定性度量, 为采样权重, 为当前扩散时间步, 为扩散总步数, 为sigmoid激活函数。
42、优选的,网络训练采用多组分加权复合损失函数:
43、
44、其中,,,兼顾分割重叠率、分类误差与特征重构误差。
45、优选的,去噪解码器末端嵌入三维轴向关联注意力子单元,用于建立全空间长程依赖,输出为三个轴向注意力输出之和:
46、
47、其中、、分别为高度、宽度、深度三个轴向的注意力增强特征。
48、优选的,解码器端采用多尺度自适应加权融合单元,将多层特征统一上采样至相同尺度后进行拼接与全局加权融合:
49、
50、
51、
52、其中为第层解码器输出的原始特征图, 为全局平均池化操作,实现多尺度特征的自适应权重分配与高效融合。
53、有益效果:
54、本发明与现有脑肿瘤mri分割技术相比,具有以下显著的有益效果:
55、1.本发明首创性地将频域尺度调节与隐空间误差扩散校正机制有机结合。通过快速傅里叶变换(fft)及其频率自适应加权,有效抑制了mri图像中的运动伪影与线圈噪声,强化了肿瘤边缘与纹理的高频特征;同时,将初始分割误差映射至离散隐空间进行扩散去噪校正,形成了分割-误差分析-闭环修复的迭代框架,能够精准识别并修正初始预测的系统性偏差,显著提升了对微小病灶、模糊边界以及肿瘤核心区、水肿区等多类别组织的定位分割精度。
56、2.针对现有扩散模型训练与推理噪声分布不匹配的痛点,本发明在推理阶段采用的频域约束噪声初始化策略与置信度引导扩散采样策略,能够有效降低测试集真实噪声分布带来的干扰,自动给高置信度区域赋予更高权重。这使得模型在模态缺失、低对比度及强伪影等复杂临床场景下,依然能够输出稳定、一致的高质量分割结果,极大提升了模型的泛化能力。
57、3.区别于传统3d transformer模型,本发明在解码器末端设计的三维轴向关联注意力子单元,将三维空间的长程依赖解耦为高度、宽度、深度三个独立的轴向注意力计算。在保留全空间上下文建模能力的同时,将计算复杂度和参数量从三次方级显著降低,有效解决了现有大模型难以在临床常规低算力终端(如床旁设备、普通工作站)上部署的实际难题。
58、4.本发明构建的上下文感知编码与主去噪编码双路径并行结构,配合多尺度自适应融合及gap全局加权融合模块,有效解决了传统分割模型多尺度特征融合不足、易导致空洞或漏分割的问题。该方案能够同步捕捉mri图像中复杂多变的全局解剖语义与细微的局部纹理细节,大幅提升了模型对不同形态、不同尺度脑肿瘤的适应能力。
59、总结而言,本发明通过构建融合频域增强、轻量化轴向注意力、闭环纠错扩散及推理分布对齐的完整技术链条,有效克服了传统深度学习方法在精度、鲁棒性、计算效率与误差校正等方面的综合短板,为临床脑肿瘤精准诊断、放射治疗靶区勾画及术后评估提供了一种高效、可靠的智能化医学影像分析工具。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com