一种基于空频双域门控与欧氏距离状态空间建模的3D牙科CBCT图像分割方法
本发明属于医学图像处理,具体涉及一种面向锥形束计算机断层扫描(cone beam computed tomography,cbct)三维牙科图像的自动分割方法,尤其适用于临床cbct影像中牙齿、牙槽骨等多解剖结构的自动分割。
背景技术:
1、锥形束计算机断层扫描(cbct)是数字牙科领域最主要的3d成像模态,广泛应用于正畸、种植和颌面外科手术规划。准确的多解剖结构分割(包括牙齿、牙槽骨、神经管等)是治疗规划的关键前提。然而,临床cbct图像中存在的成像质量波动、局部灰度不均以及牙齿解剖结构之间复杂的空间依赖关系,给精确的自动分割带来了挑战。
2、在现有分割方法中,基于卷积神经网络的3d分割方法是较为经典的技术路线,以3d u-net和nnu-net为代表,采用编码器-解码器结构进行端到端的体素级语义分割。然而,纯卷积神经网络的感受野受限于卷积核大小,难以捕获牙齿之间的解剖序列依赖、双侧对称性和邻间隙接触关系等长距离拓扑依赖。为克服这一限制,基于transformer的方法(如nnformer、swin unetr)引入了自注意力机制,通过全局自注意力计算实现长距离依赖建模,但其点积注意力本质上度量的是向量间的角度余弦相似度,而医学解剖结构的空间关系更适合用绝对空间距离来刻画,并且自注意力机制的二次方计算复杂度对于高分辨率3d体积而言成本过高,难以在临床资源约束下部署。
3、近年来,基于状态空间模型(ssm)的方法,特别是mamba架构,通过输入依赖的选择性扫描机制实现了线性复杂度的序列建模。在3d医学图像分割领域,u-mamba和segmamba等方法已尝试将mamba应用于体积分割任务,其中segmamba还设计了沿轴向、冠状和矢状三个正交平面的三向扫描策略以捕获3d全局上下文。但这类方法存在一个固有缺陷:其序列扫描机制是递归式的,一旦某个包含噪声或异常特征的体素进入状态空间递推过程,该误差便会通过隐状态传播至后续所有位置,导致错误在特征序列中逐级累积。此外,状态空间模型的递归扫描机制缺乏对特征表示质量的主动增强能力,现有技术未在序列建模之前对特征进行多表示域增强以提升特征鲁棒性。
4、另一方面,频域学习方法(如gfnet、afno)证明了基于快速傅里叶变换的逐元素滤波可以替代自注意力机制,其核心优势在于傅里叶变换可将空间域的全局信息压缩为频谱表示,使每个空间位置都能通过频域变换间接获取全图上下文,从而突破卷积局部感受野的限制。然而,现有频域方法并未与状态空间序列建模相结合,未能将频域的全局感受野优势与ssm的线性复杂度序列建模能力统一起来。
5、综上所述,现有技术主要存在三方面不足。一是状态空间模型在序列建模中的误差传播问题,即局部噪声或灰度异常通过递归隐状态向后续位置扩散,导致分割质量退化,且现有方案未在序列建模前对特征进行多表示域增强以提升鲁棒性和全局感知能力。二是transformer自注意力的角度偏差与计算成本问题,点积相似度不适合刻画三维医学数据中的绝对空间距离关系,且二次复杂度限制了其在高分辨率体积上的应用。三是纯卷积方法受限于单一空间域处理,每个体素仅能获取邻域内的局部信息,缺乏全局上下文判断能力,在局部灰度异常或边界模糊的区域容易产生误判。
技术实现思路
1、本发明的目的在于克服现有技术的不足,提供一种基于空频双域门控与欧氏距离状态空间建模的3d牙科cbct图像分割方法。本发明在不引入二次计算复杂度的前提下,实现了全局感受野感知与结构亲和力增强的3d牙科cbct图像分割,提升了分割精度和鲁棒性。
2、为实现上述目的,本发明采用如下技术方案:一种基于空频双域门控与欧氏距离状态空间建模的3d牙科cbct图像分割方法,包括:
3、获取待分割的3d cbct体积图像;
4、将所述3d cbct体积图像输入至预训练的fitv-mamba(fourier-isomorphictensor valve mamba)分割网络,所述fitv-mamba分割网络包括编码器、解码器以及位于编码器与解码器之间的瓶颈层;
5、所述编码器对所述3d cbct体积图像进行多尺度下采样,提取多尺度特征,并生成跳跃连接特征;
6、所述瓶颈层接收所述编码器最深层的特征图,依次经过傅里叶同构张量阀门(fourier-isomorphic tensor valve, f.i.t.v.)模块和欧几里得径向合成器mamba(euclidean radial synthesizer mamba, ers-m)模块进行处理;所述傅里叶同构张量阀门模块对输入特征同时进行空间域保留处理和频域滤波处理,并通过自适应门控融合单元对空间分支输出和频域分支输出进行逐体素自适应融合,输出空频双域增强特征;所述欧几里得径向合成器mamba模块接收所述空频双域增强特征,计算基于负平方欧氏距离的结构亲和力矩阵,对特征进行结构亲和力增强,然后将亲和力增强后的特征重塑为三维空间形式,分别沿解剖学的三个正交平面进行独立的状态空间序列扫描,将三个方向的扫描结果融合后输出全局拓扑建模特征;
7、所述解码器接收所述全局拓扑建模特征,通过逐级上采样并融合对应编码器层级的跳跃连接特征,输出与输入图像同分辨率的逐类分割概率图;
8、输出所述逐类分割概率图,即为图像分割结果。
9、进一步地,所述编码器由七个阶段组成,各阶段特征通道维度依次为32、64、128、256、320、320、320,各阶段的卷积块深度配置依次为1、3、4、6、6、6、6。
10、进一步地,所述傅里叶同构张量阀门模块包括空间保留分支、频域滤波分支和自适应门控融合单元;
11、所述空间保留分支对输入特征执行3×3×3卷积、实例归一化和relu激活操作,输出局部空间细节保持特征;
12、所述频域滤波分支对输入特征执行如下操作:沿空间三个维度进行三维实数快速傅里叶变换,得到复数频谱;将复数频谱的实部和虚部沿通道维度拼接,形成双倍通道数的实数张量;采用1×1×1卷积对拼接后的频域特征进行可学习滤波;对滤波后的特征执行三维逆实数快速傅里叶变换,输出频域全局上下文特征;
13、所述自适应门控融合单元将空间分支输出和频域分支输出沿通道维度拼接,通过1×1×1卷积层后进行sigmoid激活,生成体素级门控权重图,基于所述门控权重图对空间分支输出和频域分支输出进行软门控加权融合,并结合残差连接输出最终特征。
14、进一步地,所述频域滤波分支中,采用1×1×1卷积对拼接后的频域特征进行可学习滤波具体包括:第一阶段:采用分组卷积独立处理实部和虚部,保持两者分离以维护相位信息的完整性;第二阶段:采用标准卷积对实部和虚部进行全通道交互建模,学习跨频率分量的调制关系;
15、所述频域滤波分支引入一个可学习的残差缩放因子,该残差缩放因子在训练开始时初始化为零,使得训练初期频域分支以零贡献启动,随着训练推进逐渐增大其贡献;
16、所述软门控加权融合的具体方式为:将门控权重图分别与空间分支输出和频域分支输出逐元素相乘,并将两者相加,再经过1×1×1卷积处理,最后与输入特征相加作为输出。
17、进一步地,所述欧几里得径向合成器mamba模块中,计算基于负平方欧氏距离的结构亲和力矩阵具体包括:
18、将输入特征展平为一维序列,通过三个独立的线性投影层分别投影为查询、键和值;
19、对于序列中任意两个位置,采用两者查询向量与键向量之间差向量的平方范数的负值作为相似度度量,构建亲和力矩阵;
20、将所述亲和力矩阵的计算展开为查询与键的点积的两倍减去查询向量模长的平方再减去键向量模长的平方,并利用矩阵乘法实现高效计算;
21、对亲和力矩阵沿键所在维度进行softmax归一化,得到注意力权重矩阵;
22、利用注意力权重矩阵对值向量进行加权聚合,得到结构增强特征,并在聚合后引入一个可学习的零初始化缩放参数进行残差连接。
23、进一步地,所述沿解剖学的三个正交平面进行独立的状态空间序列扫描具体包括:
24、轴向扫描:将三维体积沿轴向平面展开为一维序列,由第一状态空间模型块处理;
25、冠状扫描:将三维体积沿冠状平面展开为一维序列,由第二状态空间模型块处理;
26、矢状扫描:将三维体积沿矢状平面展开为一维序列,由第三状态空间模型块处理;
27、三个状态空间模型块具有独立的可学习参数,三个方向的输出通过逆置换映射回原始三维空间后进行求和融合。
28、进一步地,各状态空间模型块采用零阶保持离散化方法,将连续状态空间方程转化为离散递推形式,其中离散状态转移矩阵通过对连续状态转移矩阵指数化得到,离散输入投影矩阵通过连续状态转移矩阵的指数函数与单位矩阵之差乘以连续输入投影矩阵并左乘连续状态转移矩阵的逆得到,离散化后按时间步递推更新隐状态并计算输出。
29、进一步地,所述欧几里得径向合成器mamba模块在三向扫描求和后,还经过一个由两层1×1×1卷积和gelu激活函数组成的多层感知机增强层进行处理,并采用残差连接稳定训练。
30、进一步地,所述fitv-mamba分割网络采用复合损失函数进行训练,所述复合损失函数由软dice损失和交叉熵损失等权重组合而成;所述软dice损失对每个前景类别计算,背景类别不参与损失计算。
31、进一步地,所述fitv-mamba分割网络采用深度监督策略进行训练,解码器在不同分辨率层级产生多个输出,对各层级输出分别计算损失并加权求和,权重采用分层递减方案,使高分辨率输出获得更大的惩罚权重,最低分辨率输出的权重为零,仅作为辅助正则化信号。
32、本发明还提供了一种基于空频双域门控与欧氏距离状态空间建模的3d牙科cbct图像分割系统,用于实现上述方法,包括:
33、图像获取模块,用于获取待分割的3d cbct体积图像;
34、分割网络模块,存储有预训练的fitv-mamba分割网络,所述fitv-mamba分割网络包括编码器、解码器以及位于编码器与解码器之间的瓶颈层;所述编码器用于对所述3dcbct体积图像进行多尺度下采样,提取多尺度特征,并生成跳跃连接特征;所述瓶颈层包括傅里叶同构张量阀门模块和欧几里得径向合成器mamba模块;所述傅里叶同构张量阀门模块用于对输入特征同时进行空间域保留处理和频域滤波处理,并通过自适应门控融合单元对空间分支输出和频域分支输出进行逐体素自适应融合,输出空频双域增强特征;所述欧几里得径向合成器mamba模块用于接收所述空频双域增强特征,计算基于负平方欧氏距离的结构亲和力矩阵,对特征进行结构亲和力增强,然后将亲和力增强后的特征重塑为三维空间形式,分别沿解剖学的三个正交平面进行独立的状态空间序列扫描,将三个方向的扫描结果融合后输出全局拓扑建模特征;所述解码器用于接收所述全局拓扑建模特征,通过逐级上采样并融合对应编码器层级的跳跃连接特征,输出与输入图像同分辨率的逐类分割概率图;
35、输出模块,用于输出所述逐类分割概率图。
36、与现有技术相比,本发明具有以下有益效果:
37、相比纯卷积分割方法(如3d u-net),本发明通过f.i.t.v.模块的频域分支,利用傅里叶变换将空间域全局信息注入每个体素,使各位置获得超越卷积局部感受野的全图上下文感知能力;同时通过ers-m模块的三向正交mamba扫描实现跨整个体积的全局拓扑建模,有效捕获远距离解剖依赖关系,克服了卷积操作感受野受限的固有问题。
38、相比transformer分割方法(如swinunetr、nnformer),本发明采用负平方欧氏距离替代点积注意力作为相似度度量,更准确地刻画三维医学数据中的绝对空间距离关系,避免了角度度量的几何偏差;同时将亲和力计算与状态空间扫描解耦,避免了全局自注意力的二次方计算复杂度,具有更高的计算效率。
39、相比现有mamba分割方法(如u-mamba、segmamba),本发明在序列建模前通过f.i.t.v.模块进行空频双域门控增强,使进入状态空间扫描的特征同时具备局部细节与全局上下文,提升了序列建模的特征质量;通过欧氏距离亲和力矩阵为三向扫描提供全局结构先验,弥补了单纯按固定顺序展平导致的拓扑信息损失;频域滤波采用1×1×1卷积使其参数量与输入分辨率完全解耦,避免了滑动窗口推理中边界patch尺寸变化导致的形状不匹配问题,具有良好的实际部署优势。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com