一种多尺度特征增强与全局关联建模的牙齿姿态估计方法
本发明涉及一种多尺度特征增强与全局关联建模的牙齿姿态估计方法,属于牙齿姿态估计。
背景技术:
1、随着数字化口腔医学的发展,高精度的口腔内扫描已逐渐取代传统模型,而人工智能在临床诊断与数字化矫治中正发挥革命性作用。其中,旨在获取牙齿三维空间位置与取向的牙齿姿态估计技术是牙齿排列对齐、模型重建及矫治轨迹生成等任务中基础且核心的技术。目前,深度学习虽在医学影像领域取得成功,但三维点云数据的姿态标注成本极高且依赖专业背景。开发高精度的姿态估计模型,可将人工标注流程优化为自动预标和微调核验组合形式,显著提升数据生产效率。此外,姿态信息蕴含了关键的解剖学拓扑关系,将其作为底层先验模块集成,能有效辅助复杂病例下的牙齿边界识别与正畸力系设计,提升系统的稳健性。因此,高效且高精度的牙齿姿态估计技术,正成为数字化口腔医学实现全面智能化转型的基石与关键。
2、根据模型类型的不同,牙齿姿态估计一般可以分为基于模板匹配和基于深度学习两大类。其中基于深度学习的代表方法为tpnet,凭借其对于大量数据的学习能力和处理复杂牙齿病例的鲁棒性,逐步成为主流方法。tpnet 的架构设计充分考虑了三维空间几何特征的提取精度。该模型的核心特征提取骨干基于dgcnn,利用一系列堆叠的 edge-conv模块进行特征编码。它能在每一层特征提取过程中动态更新局部邻域关系,捕捉牙齿表面细微的解剖学特征。tpnet引入了置换不变的聚合操作,通过连接最大池化与均值池化特征,形成了强有力的全局牙齿表征。在输出端,tpnet创新性地采用了双分支预测头,独立预测旋转变换和平移变换。这种解耦设计有效避免了不同物理含义的参数在优化过程中的梯度干扰。
3、虽然基于深度学习的tpnet取得了不错的效果,但在计算效率方面,dgcnn所依赖的knn邻域搜索操作在处理大规模点云时,由于需要频繁计算点对间的欧氏距离,导致推理延迟较高。同时现有的dgcnn结构虽然在局部几何感知上有一定优势,但相比于更现代的架构,其感受野的捕获能力与多尺度特征的融合精度仍显不足,难以精准捕捉牙齿关键微观特征。再者,目前的算法普遍将牙齿视为孤立的个体进行处理,严重忽略了口腔解剖学中的先验约束,缺乏这种全局牙弓层面的交互信息。最后,在模型训练层面,简单的多任务加权损失函数并未从根本上解决平移任务与旋转任务之间量级不一、收敛速度失衡的顽疾。这种不平衡的训练过程往往导致模型在某一任务上陷入局部最优,从而限制了整体预测精度。
4、因此,如何解决现有的tpnet牙齿姿态估计方法存在的特征提取能力差和缺乏齿间关系建模已经成为亟待解决的问题。
技术实现思路
1、本发明的目的是为了解决现有的tpnet牙齿姿态估计方法存在的特征提取能力差和缺乏齿间关系建模的技术问题,提出一种多尺度特征增强与全局关联建模的牙齿姿态估计方法。
2、本发明的目的是通过以下技术方案实现的:
3、本发明公开的一种多尺度特征增强与全局关联建模的牙齿姿态估计方法,包括以下步骤:
4、步骤1:对牙齿口扫数据集进行预处理,将原始牙齿口扫网格模型转换为点云格式;针对全牙列的 32 个牙位,对每个牙位对应的牙齿点云进行最远点降采样,使单颗牙齿的点云包含 512 个点;
5、步骤2:构建基于 pointnext 架构的牙齿特征提取骨干网络以提取点云特征;
6、步骤2.1:将输入的 32 颗牙齿的点云展平至,通过初始嵌入层将原始三维坐标映射至高维特征空间;所述初始嵌入层依次通过 1×1 卷积、批归一化与 silu 激活函数进行运算,将输入特征的通道维度从 3 维扩展至 64 维,得到初始特征;所述初始特征表示为:
7、
8、其中,n为单颗牙齿点云的点数量,采用1x1卷积,bn代表批归一化,为silu 激活函数,这一步将输入通道从3维扩展到64维;
9、步骤2.2:堆叠多个 invresmlp 模块,多阶段深度提取点云特征;具体的,单个所述 invresmlp 模块执行流程为,将初始特征作为输入特征,经1x1卷积层扩展映射将通道维度线性扩展至原始维度的 4 倍,并依次经过批归一化层、非线性激活函数进入深度可分离一维卷积层,利用逐通道的分组卷积强化局部几何建模,通过线性投影层将特征重新压缩至原始维度,并与输入特征进行残差连接,得到模块输出特征;通过融合卷积层将最后一阶段 invresmlp 模块输出的特征映射至 512 维,得到骨干网络输出的逐点特征;所述模块输出特征表示为:
10、
11、步骤3:对骨干网络输出的逐点特征分别执行最大池化与注意力池化,经逐元素相加池化结果,得到单颗牙齿的特征嵌入;
12、步骤3.1:对骨干网络输出的逐点特征进行逐牙位的最大池化,得到维度为 512维的最大池化特征;所述最大池化特征表示为:
13、
14、其中,为第j个点的特征向量;n为单颗牙齿点云的点数量;
15、步骤3.2:对骨干网络输出的逐点特征进行注意力池化;具体为,将骨干输出的逐点特征进行转置分别映射得到键k与值 v同时将可学习的查询向量展开得到查询;通过多头注意力mha计算查询与所有点特征的相关性,经 归一化后对值v进行加权聚合,得到维度为 512 维的注意力池化特征;将最大池化特征与注意力池化特征按元素相加,得到单颗牙齿的特征嵌入;
16、所述注意力池化特征表示为:
17、
18、其中,表示特征维度;表示为转置函数;
19、步骤4:通过全局 transformer 进行牙齿间全局关系建模,优化牙齿特征表达;
20、步骤 4.1:获取各牙齿的 fdi 编号,对 fdi 编号进行编码并映射至高维嵌入空间,得到维度为 64 的 fdi 嵌入向量;将单颗牙齿的特征嵌入与对应的 fdi 嵌入向量进行特征拼接,并通过线性投影层将拼接后的特征维度重新对齐至 512 维,得到 transformer 输入特征;所述transformer 输入特征表示为:
21、
22、步骤 4.2:在由所有牙齿的输入特征构成的序列首部,拼接一个可学习的globaltoken ;根据牙齿存在掩码构造注意力掩码,当对应位置牙齿缺失时,掩码设置为 1 以屏蔽该位置的特征干扰,否则设置为 0;将拼接后的特征序列与注意力掩码输入 transformer 编码器进行特征优化,得到优化后的特征序列;从优化后的特征序列中剥离global token 对应的特征,仅保留 32 颗牙齿对应的优化特征;
23、所述 transformer 编码器采用层归一化结构,堆叠 l 层编码器块;每一编码器块依次包含多头自注意力子层与前馈神经网络子层,两个子层的输出均与对应子层的输入执行残差连接;所述前馈神经网络由第一线性层、gelu 激活函数、第二线性层依次连接构成;
24、所述优化后的特征序列表示为:
25、
26、步骤5:通过由平移回归头与旋转回归头组成的双分支姿态回归头,分别输出牙齿姿态的平移分量与旋转分量;
27、步骤5.1:构建由平移回归头与旋转回归头组成的双分支姿态回归头,所述姿态回归头采用深度残差 mlp 结构;所述深度残差 mlp 由堆叠的残差块构成,单个残差块依次由第一线性层、silu 激活函数、第二线性层与层归一化层构成,并采用残差块的输出与输入执行残差连接;
28、步骤5.2:平移回归头通过线性投影层输出三维平移向量;旋转回归头通过线性投影层输出连续的 6d 旋转向量,将每颗牙齿的平移向量与 6d 旋转向量进行拼接,生成维度为 32×9 的牙齿姿态预测结果;
29、步骤6:构建包含平移损失、旋转均方误差损失与测地线损失的总损失;利用pcgrad 投影冲突梯度策略模块进行网络训练;基于总损失反向传播更新网络参数;
30、步骤6.1:计算牙齿平移分量的smooth 损失,基于预测的牙齿平移和牙齿平移的真值,以牙齿存在掩码为加权系数,计算所有存在牙齿的 smooth 损失的均值;
31、
32、其中,m为牙齿总数,为牙齿存在掩码,如果标号i的牙齿存在则为1,否则为0;表示smooth 损失;
33、步骤6.2:计算牙齿 6d 旋转表征的均方误差损失,基于预测的牙齿旋转和牙齿旋转的真值,以牙齿存在掩码为加权系数,计算所有存在牙齿的均方误差的均值;
34、
35、其中,m为牙齿总数,为牙齿存在掩码,如果标号i的牙齿存在则为1,否则为0;
36、步骤6.3:计算牙齿旋转的测地线损失,将预测的 牙齿旋转和牙齿旋转的真值分别转换为正交旋转矩阵和,并计算相对旋转矩阵,基于相对旋转矩阵的迹求解旋转角度,以牙齿存在掩码为加权系数,计算所有存在牙齿的旋转角度的均值;
37、
38、
39、其中,表示矩阵的迹,m为牙齿总数,为牙齿存在掩码,如果标号i的牙齿存在则为1,否则为0;表示索引为i的牙齿预测和真值之间的相对旋转矩阵所对应的旋转角;
40、步骤6.4:将平移损失、旋转均方误差损失与测地线损失通过超参数加权后,输入pcgrad 投影冲突梯度策略模块得到总损失,基于总损失反向传播更新网络参数;
41、
42、其中,pcgrad投影冲突梯度策略,、和为调节各部分贡献度的超参数;
43、步骤7:将32 颗牙齿的点云输入至pointnext 架构进行点云特征提取,经过特征池化获得每个牙齿的特征;经过全局transformer建模齿间关系,并利用已训练的平移损失、旋转均方误差损失与测地线损失进行网络优化,利用平移回归头与旋转回归头组成的双分支姿态回归头进行平移和正交旋转,得到牙齿的姿态信息;
44、与现有技术相比,具有如下有益效果:
45、1、本方法相较于基于模板匹配的牙齿姿态估计方法,提升了数据的利用率和学习效率,使模型的鲁棒性有较大的提升;相较于基于深度学习的tpnet牙齿姿态估计方法,使用现代点云处理backbone和注意力池化,提高了特征的提取效率和能力,采用全局齿间建模方式学习齿间信息以增强性能,同时引入投影冲突梯度策略,减轻了平移和旋转分量的负迁移。
46、2、本方法提供了基于深度学习的牙齿姿态估计方法的一种改进范式,即添加齿间的全局关系建模和引入多任务学习优化方法。
47、3、本方法的性能领先于现有的牙齿姿态估计方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com