一种基于混合尺度融合注意力框架的颅内动脉瘤CTA图像分割方法
本发明属于深度学习,具体涉及一种基于混合尺度融合注意力框架的颅内动脉瘤cta图像分割方法。
背景技术:
1、随着医学影像分析技术的发展,基于深度学习的医学图像分割方法已广泛应用于临床辅助诊断。在颅内动脉瘤 cta (ct血管造影,computed tomography angiography,cta))图像分割任务中,颅内动脉瘤在体积、形态、与母血管关系上存在显著的个体差异,现有多尺度融合方法(如sknet)仅在局部像素级动态融合各卷积分支特征,无法根据整样本特性在全局层面调整对不同尺度的依赖倾向;而现有全局调制方法(如条件归一化)只能整体增强或抑制特征响应,不具备在多分支结构中动态选择尺度分支的能力。在颅内动脉瘤分割任务中,哪些通道重要、在哪些空间位置重要、当前样本更依赖哪种尺度,三者并非独立可解耦的问题,而是深度耦合的联合优化需求。现有技术中无法实现通道、空间位置和尺度三者的联合建模与针对性的协同调制,难以针对颅内动脉瘤的个体差异实现对不同样本、不同空间位置自适应分配最合适的尺度特征,因此会导致漏检边界分割不连续,不利于临床实际应用。
技术实现思路
1、本发明的目的是提供一种基于混合尺度融合注意力框架的颅内动脉瘤cta图像分割方法,以解决现有技术无法实现通道、空间位置和尺度三者的联合建模与针对性的协同调制,难以针对颅内动脉瘤的个体差异实现对不同样本、不同空间位置自适应分配最合适的尺度特征这一技术问题。
2、所述的一种基于混合尺度融合注意力框架的颅内动脉瘤cta图像分割方法,包括下列步骤:
3、s1、数据准备和预处理,得到预处理后的3d cta体积图像数据;
4、s2、分割模型的构建和训练,以编码器-解码器结构的深度学习网络为骨架,在解码器的每一层结构中,依次嵌入混合尺度融合模块与卷积块注意力模块,构建hsf-net分割模型,解码器中的特征图先通过混合尺度融合模块融合多尺度特征,再通过注意力机制对融合后的特征进行精炼优化;之后对hsf-net分割模型进行训练;
5、s3、分割模型的推理应用,训练好的hsf-net分割模型用于对3d cta体积图像数据进行图像分割。
6、优选的,混合尺度融合模块与卷积块注意力模块嵌入在解码器的标准卷积模块之后,解码器的处理流程包括下列步骤:
7、a、输入特征图首先经过标准卷积模块进行初步特征处理,统一特征维度;
8、b、将初步处理后的特征图输入混合尺度融合模块,通过四个并行卷积分支提取多尺度特征,并经门控融合机制实现自适应加权融合,输出融合特征图;
9、c、将融合特征图输入卷积块注意力模块,依次经过通道注意力子模块和空间注意力子模块的精炼处理,增强关键特征、抑制干扰特征;
10、d、将上一步精炼后的特征图输出,用于解码器后续的上采样操作或最终的分割结果生成。
11、优选的,混合尺度融合模块包括四个并行的卷积分支和一个门控融合单元,四个卷积分支分别为:
12、局部细节分支:采用1×1×1卷积,用于跨通道交互;
13、结构分支:采用3×3×3卷积,用于提取局部结构;
14、中程依赖分支:采用5×5×5卷积,用于提取中尺度解剖结构;
15、全局上下文分支:采用3×3×3空洞卷积,扩张率为3,用于捕获宏观结构信息。
16、优选的,每个卷积分支的输出特征图通过门控融合单元进行融合,包括下列步骤:
17、1)通道与空间联合门控,对于每个卷积分支输出的特征图通过自适应尺度选择门控单元分别生成通道注意力权重图和空间注意力权重图;
18、2)全局引导增强,提取编码器输出的全局特征,与各卷积分支的通道注意力权重图和空间注意力权重图结合,得到各卷积分支的综合注意力权重图;
19、3)归一化融合,对所有分支的综合注意力权重图进行softmax归一化处理;
20、4)多尺度加权融合,根据归一化后的注意力权重,对四个并行分支的输出特征进行加权融合,得到最终的融合特征图。
21、优选的,步骤1)中,生成通道注意力权重图的表达式为:,其中gap为全局平均池化操作,mlp为多层感知机,
σ表示sigmoid激活函数,表示各个卷积分支输出的特征图,卷积核k∈{1,3,5,d}中,1、3、5对应各卷积分支不同三维卷积核尺寸,d对应三维空洞卷积。
22、优选的,步骤1)中,生成空间注意力权重图的表达式为:,其中和分别为特征图的全局平均池化结果和全局最大池化结果,表示1×1×1卷积操作,
σ表示sigmoid激活函数,表示各个卷积分支输出的特征图,卷积核k∈{1,3,5,d}中,1、3、5对应各卷积分支不同三维卷积核尺寸,d对应三维空洞卷积。
23、优选的,步骤2)中,生成综合注意力权重图的表达式为:,其中⊙表示逐元素相乘操作,z为提取编码器输出的全局特征;和分别表示卷积核为k的卷积分支的通道注意力权重图和空间注意力权重图。
24、优选的,步骤3)中,softmax归一化处理的归一化公式为:
25、
26、其中,为归一化前卷积核为k的卷积分支输出的综合注意力权重图,为归一化后的注意力权重;
27、步骤4)中,加权融合的融合公式为:
28、
29、其中,表示最终的融合特征图,为归一化后的注意力权重,⊙表示逐元素相乘操作。
30、优选的,卷积块注意力模块依次包括通道注意力子模块和空间注意力子模块,混合尺度融合模块的输出先输入通道注意力子模块,分别经过全局平均池化和全局最大池化,得到两个 c×1×1×1 的描述符,再通过同一个多层感知机处理,得到的两个输出相加再经过sigmoid激活函数生成通道注意力图,通道注意力图与输入的特征图进行逐元素相乘,所得特征图输入空间注意力子模块,沿通道维度分别执行平均池化和最大池化操作,得到的两个描述符沿通道维度进行拼接得到新特征图,新特征图经7×7×7卷积层处理,再通过sigmoid激活函数生成空间注意力图,将空间注意力图与输入该子模块的特征图进行逐元素相乘,输出精炼后的特征图。
31、优选的所述以编码器-解码器结构的深度学习网络为swinunetr网络、3d ux-net网络、v-net网络或nnu-net网络。
32、本发明的技术优点如下:本发明通过对解码器的每层结构进行改进,让解码器中的特征图先通过混合尺度融合模块融合多尺度特征,再通过注意力机制对融合后的特征进行精炼优化。混合尺度融合模块通过四个并行卷积分支结合门控融合单元,实现多尺度特征自适应融合,即在融合过程中让通道重要性在空间上局部化,并与样本级尺度偏好协同调制,从而实现对不同样本、不同空间位置自适应分配最合适的尺度特征。这种融合机制实现通道、空间、样本的三重联合调制,克服了现有技术难以针对颅内动脉瘤的个体差异实现对不同样本、不同空间位置自适应分配最合适的尺度特征的技术问题。而卷积块注意力模块则通过通道 - 空间双重注意力精炼,针对融合后的多尺度特征,增强动脉瘤关键区域响应、抑制无关干扰,从而进一步提升分割精准度。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com