一种基于空间拓扑感知的傅里叶频域增强血管分割方法

摘要: 本发明涉及深度学习与医学影像分割的交叉,具体为一种基于空间拓扑感知的傅里叶频域增强血管分割方法。背景技术:1、医学成像技术是术前手术规划的关键,其中磁共振成像m...
一种基于空间拓扑感知的傅里叶频域增强血管分割方法

本发明涉及深度学习与医学影像分割的交叉,具体为一种基于空间拓扑感知的傅里叶频域增强血管分割方法。

背景技术:

1、医学成像技术是术前手术规划的关键,其中磁共振成像mri和计算机断层扫描成像ct应用广泛,mri虽因无辐射受青睐,但存在检查耗时、成本高、对患者要求多等局限,ct则凭借低成本、扫描快、空间分辨率高的优势,在临床常规检查中占据主导地位,其提供的器官与血管解剖信息,为分割任务奠定基础,然而,当前血管分割多依赖医生经验,不仅效率低,还易受主观因素影响,且血管结构复杂、与周围组织对比度低,导致错分、漏分问题频发,因此自动化血管分割技术的研发极具临床价值与科研意义;

2、在医学图像分割领域,常用方法分为传统图像处理和深度学习两类,传统方法如阈值分割、边缘检测等,基于图像亮度、颜色等特征分割,具有简单快速、可解释的优点,但处理复杂图像时精度与鲁棒性欠佳,例如cui等人改进的vesseness滤波器,虽优化了冠状动脉分割,但仍存在局限性,近年来,深度学习推动血管分割技术革新,xu等人提出的多阶段2d卷积神经网络算法,通过分步处理提升肺部血管分割精确度,yan等人的lvsnet利用创新模块实现肝脏血管分层分割,huang等人基于3du-net解决肝血管数据不平衡问题,tong等人的三维u-net改进网络减少了肝静脉分割的假阳性区域,这些进展虽显著提升分割效果,但仍存在以下许多不足:

3、影像噪声干扰显著:ct扫描过程中,成像设备硬件性能局限、患者呼吸或体动等生理运动,以及扫描参数设置不当等因素,均会在血管图像中引入噪声,这些噪声与血管结构特征存在相似性,使得分割算法难以有效区分二者,尤其是在细小血管或对比度较低区域,噪声干扰更为突出,极易引发血管的误分割或漏分割问题;

4、图像对比度严重不足:血管与周围组织在ct图像中呈现出较低的对比度,特别是在小血管及其分支区域,边界识别难度极高,一方面血管内流动血液与周围组织的密度差异较小,直接导致图像对比度较低,另一方面随着血管直径减小,血液流速加快,进一步削弱了与周围组织的对比度,这种低对比度问题在血管分叉和交叉区域表现得尤为明显,复杂的血管结构与组织相互作用,进一步加剧了血管分割的难度;

5、血管尺寸差异悬殊:血管在不同个体及同一机体的不同部位,其大小和形态均存在显著差异,以脑血管造影为例,小动脉和微血管直径仅为几微米,而主要大脑动脉直径可达数毫米,如此巨大的尺寸跨度,对分割算法提出了严苛要求,算法需具备同时适应不同尺度血管特征的能力,从而精准识别和分割各类大小的血管结构;

6、血管结构错综复杂:血管网络由大量分支、交叉点及细小血管构成,形态与分布极为复杂,血管分支层次丰富,从主干血管逐级细分至毛细血管,分支血管长短不一、粗细不均,血管交叉点的形态与角度变化多样,这种复杂的血管拓扑结构,极大地增加了血管分割的技术难度。

技术实现思路

1、本发明的目的在于提供一种基于空间拓扑感知的傅里叶频域增强血管分割方法,以解决上述背景技术中提出的现有技术影像噪声干扰显著、图像对比度严重不足、血管尺寸差异悬殊和血管结构错综复杂的问题。

2、为此,本发明提供了一种基于空间拓扑感知的傅里叶频域增强血管分割方法,包括以下步骤:

3、s1、采集详细的ct影像数据并进行多维度预处理;

4、s2、设计编码器和解码器,构建频域增强网络架构;

5、s3、建立血管解剖依赖模型;

6、s4、多角度拓扑学习血管层次;

7、s5、自下而上进行注意力交互;

8、s6、进行多阶段训练并验证实验结果。

9、优选的,所述s1步骤中,采集详细的ct影像数据并进行多维度预处理的具体步骤为:收集腹部和肺部ct影像,由临床专家通过mimics标注血管掩膜,覆盖肝动静脉和肺动脉的不同类型血管,然后裁剪ct影像异常强度值,通过z-score将强度归一化,然后增强复合数据,包括使用随机高斯噪声、随机对比度增强、随机镜像翻转,随机水平翻转和随机旋转。

10、优选的,所述s2步骤中,构建频域增强网络架构,设计编码器的具体步骤为:

11、(1)、首先输入3d图像,通过大核卷积提取初始特征,作为编码器的输入,使用dft和idft在空间域和频率域之间转换特征:其中

12、用于填充频率表征,为了防止后续卷积操作中的环绕效应,对频域表示提前进行填充,填充零序列可以为序列线性卷积提供足够的“空间”,防止一个序列的尾部环绕并与卷积的开始部分发生干扰;

13、(2)、表示层的图像空间表示先经过ln层归一化后,经过离散傅里叶变换dft,dft能够将复杂信号分解为不同振幅的单一频率分量,从而实现对图像滤波等操作;

14、(3)、公式中,将频率表示与可学习权重之间进行元素相乘,类似于空间域中的卷积,相乘后的结果被裁剪以去除填充区域,并添加频域可学习偏置项;

15、(4)、公式中,使用逆离散傅里叶变换将频率表示变回至空间域,并将空间数据经过ln层归一化后,连接多层感知器mlp,然后添加到前一层的空间数据,形成残差即跳跃连接,式子表示最后空间数据使用池化操作对空间表示进行下采样,傅里叶transformer编码块将传统卷积神经网络操作与频域处理技术进行有效融合,能够充分利用两种表示的优势,提高网络的性能。

16、优选的,所述s2步骤中,构建频域增强网络架构,设计解码器的具体步骤为:傅里叶融合解码器的具体公式为,其中从编码器导出的特征表示为e,而从解码器导出的特征表示为d,上标和分别表示层的深度,下标'spatial'和'freq'用于区分经过傅里叶变换后的空间域特征和频域特征,然后对编码器浅层特征应用cropinner和解码器深层特征应用cropouter,将低频语义与高频细节相融合,最终,通过逆离散傅里叶变换idft将结果空间域特征转换,作为解码器下一层的输入。

17、优选的,所述s3步骤中,建立血管解剖依赖模型的具体步骤为:

18、(1)、使用已构建的fdesnet网络对ct影像进行初步推理,生成血管掩膜预测结果,定位血管的大致区域,然后对标注的血管真实掩膜使用5×5×5的三维膨胀核进行膨胀,生成dilatedlabel,扩大血管区域覆盖范围,确保细小分支体素被包含;

19、(2)、基于膨胀后的dilatedlabel,计算其三维空间的最小外界矩形框,确定包含所有膨胀血管体素的空间范围,然后使用上述矩形框对原始ct影像进行裁剪,去除不相关的背景区域,减少噪声干扰,最后裁剪后影像尺寸动态适配血管分布,例如肝脏血管可裁剪至128×128×64体素;

20、(3)、提取血管与器官点集,从膨胀后的血管掩膜中提取所有血管体素的三维坐标,形成血管点集,维度为,其中,从血管的相邻器官同样提取点集,然后使用最远点采样法对器官表面点云进行降采样,保留8000个样本点,降低后续计算复杂度;

21、(4)、对距离场图进行归一化和裁剪,减少离群值的干扰,对血管点集中的每个点计算其到器官点集中所有点的欧氏距离,并取最小值,生成原始距离场,然后将原始距离值映射到[0,1]区间,并设定阈值,将超出范围的距离值裁剪至阈值边界,减少异常值干扰;

22、(5)、最后将标准化后的距离场图与裁剪后的ct影像、血管掩膜预测结果合并,作为解剖依赖的上下文信息,输入后续拓扑学习模块,利用裁剪后的小尺寸影像和降采样的器官点集,将距离场计算复杂度降低,提升训练效率,整合解剖依赖信息。

23、优选的,所述s4步骤中,多角度拓扑学习血管层次的具体步骤为:

24、(1)、将第一部分生成的距离场图与裁剪后的ct图像区域作为输入,然后通过膨胀血管掩膜的外界矩形框裁剪ct影像,减少背景噪音并加速训练,并使用fdesnet作为骨干网络,结合傅里叶transformer编码器生成多任务特征,将生成的特征分为三个任务分支,分别用于关键点检测、中心线热图回归和相邻连接预测;

25、(2)、针对血管关键点检测分支,通过fdesnet生成每个点作为关键点的概率图,概率图表示每个点被预测为关键点的概率值,随后计算预测点与地面真实点之间的加权hausdorff距离,来计算它们的相似性;

26、(3)、针对中心线热图回归分支,引入中心线热图单元,结合3d自适应高斯滤波器生成局部归一化热图,高斯滤波器定义为:

27、和,其中是中心线上第t点的坐标,是指穿过并垂直于中心线的横截面上边界点的第个坐标,是的核的宽度,作为血管半径,最后基于血管直径动态调整热图形状,确保骨架线一致性;

28、(4)、针对相邻连接预测分支,以3×3×3立方体区域内的26个最近邻域为对象,给定血管标签和其他26个最近邻域,将邻域从1到26进行索引,并将每个血管对编码为1通道的二进制标签,若和都是血管点,则该对被标记为连接,相应的通道中的点被标记为1,否则,将其标记为0,表示不连接,然后进行训练和预测,在训练阶段生成包括点和26个最近邻域在内的共27个通道的预测向量,进而生成具有连接似然性的通道概率图,在预测阶段,将通道概率图转为二值图像作为最终分割结果,成对的体素在连接性方面保持彼此一致。

29、优选的,所述s5步骤中,自下而上进行注意力交互的具体步骤为:

30、(1)、对三个分支输出的关键点检测概率图、中心线热图和相邻连接概率图沿通道维度拼接,生成的综合特征图进行全局平均池化和全连接操作,计算各通道的重要性权重,然后基于通道注意力加权后的特征,计算空间维度的注意力权重,聚焦血管拓扑关键区域;

31、(2)、将通道注意力与空间注意力相乘,得到最终注意力权重,对拼接的综合特征图进行加权,然后通过三维卷积层对加权后的综合特征图进行降维,生成适配于分割任务的特征图;

32、(3)、生成分割掩膜并进行后处理,将适配于分割任务的特征图输入sigmoid激活函数,生成血管分割概率图,然后采用自适应阈值将概率图p转换为二值掩膜m,基于相邻连接预测分支的拓扑约束,对二值掩膜进行形态学操作,确保血管连接的连续性;

33、(4)、最后对裁剪后的图像区域进行三维傅里叶变换,提取频域特征,通过傅里叶transformer编码器将频域信息嵌入空间特征,将嵌入频域信息的特征与空间注意力特征加权融合,增强血管细节的分割精度。

34、优选的,所述s6步骤中,进行多阶段训练并验证实验结果的具体步骤为:

35、(1)、进行分阶段递进训练,使用膨胀后的血管掩膜标注数据,训练fdesnet网络初步定位血管区域,同时生成距离场图编码血管与相邻器官的空间关系,通过裁剪ct影像减少背景噪声干扰,然后输入距离场图和裁剪后的图像,同时训练关键点检测、中心线热图回归、相邻连接预测三个分支,利用傅里叶transformer编码器和注意力机制增强不同拓扑特征的交互,最后将解剖依赖模块与拓扑学习模块串联,加入自下而上注意力交互,进行整体参数微调,确保模型从粗分割到精细拓扑学习的连贯性;

36、(2)、将3dircadb等公开数据集按8:1:1比例划分为训练集、验证集、测试集,确保各子集包含不同个体的血管形态,然后对ct影像进行强度归一化,裁剪异常值并缩放到统一范围,消除设备差异影响,并将数据进行增强:随机旋转、翻转、缩放,增强模型对不同角度血管的适应性,添加高斯噪声、调整对比度,模拟临床扫描中的噪声场景,对血管真实掩膜进行膨胀,扩大标注范围以覆盖细小分支;

37、(3)、计算预测掩膜与真实标签的重叠率,衡量分割精度,统计正确分割的像素占比,评估模型对背景与血管的区分能力,计算真实血管中被正确分割的比例,反映小血管的捕捉能力,衡量预测与真实区域的交集占并集的比例,补充dice指标的评估维度,基准方法为3du-net、dv-net和nnunet,采用相同的数据预处理流程和训练轮次,统一使用相同的硬件环境、损失函数配置,确保对比结果可信;

38、(4)、结果显示本发明的方法获得了最佳的分割性能,在dice、准确度acc、敏感度sen和jaccard指数上分别获得72.34%、99.47%、73.12%和56.79%的最高值,证实了基于空间拓扑感知的傅里叶频域增强血管分割方法的优越性。

39、本发明提出的一种基于空间拓扑感知的傅里叶频域增强血管分割方法,其有益效果在于:

40、该种傅里叶频域增强血管分割方法通过傅里叶transformer编码模块和傅里叶融合解码模块,将图像从空间域转换到频域,利用血管结构低频、噪声高频的特性,设计频域滤波器抑制高频噪声,保留低频血管信息,融合编码器高频边缘特征与解码器低频语义特征,在降低噪声影响的同时,提高对小血管和低对比度区域的分割精度,解决了影像噪声导致的误分割与漏分割问题,相比传统空间域处理的卷积网络,显著提升了对噪声的鲁棒性和分割准确性;

41、该种傅里叶频域增强血管分割方法利用解剖结构增强低对比度血管识别,在训练中加入血管解剖依赖阶段,生成距离场图编码血管与周围器官的距离关系,提供血管位置精确信息和空间依赖性,即使在血管直径小、对比度低的区域,模型也能借助这些结构依赖性信息,提高分割准确性,减少因低对比度引起的误分割或漏分割,弥补了现有技术在低对比度血管识别上的不足;

42、该种傅里叶频域增强血管分割方法的血管拓扑学习阶段,采用多任务学习策略,通过关键点检测、中心线热图回归和相邻连通性预测,捕捉血管多层次拓扑结构,关键点检测识别分叉和末端点,中心线热图回归保持血管骨架结构并动态适应血管直径变化,相邻连通性预测描述血管上下文,这种方式使模型能够适应血管尺寸从细小分支到主干血管的巨大变化,有效处理血管结构复杂、分支众多、交叉点形态多变的问题,相较于传统骨架线提取方法,能更全面准确地学习血管结构信息;

43、该种傅里叶频域增强血管分割方法的自底向上注意力交互模块,通过自注意力机制,将密集层次的邻接连通性信息,传递给稀疏层次的中心线和关键点,有效整合不同层次特征,避免了现有注意力机制无法有效整合跨层次特征、丢失空间层次结构的问题,使模型能够更加关注不同尺度血管特征,提升对尺寸变化敏感的分割性能,实现从细小分支到较大主干血管的有效分割。