融合多尺度特征提取与条件扩散模型的牙位预测方法

本发明属于数字化口腔正畸，涉及融合多尺度特征提取与条件扩散模型的牙位预测方法。

背景技术：

1、数字化口腔正畸通常包括三维牙颌获取、牙齿分割、牙位预测、正畸路径规划以及矫治方案生成等环节。其中，牙位预测用于根据患者当前畸形牙列状态预测各颗牙齿在理想咬合状态下的空间位置与姿态，是后续正畸路径规划和隐形矫治器设计的重要基础。在正畸治疗过程中，牙齿通常可近似为刚体结构，其运动主要表现为三维空间中的平移和旋转。由此，牙位预测问题可以被建模为多刚体位姿估计问题，即根据当前牙列结构预测每颗牙齿从当前状态到理想状态的刚体变换矩阵。预测结果的精度直接影响后续路径规划、矫治器设计以及临床方案评估。

2、现有牙位预测方法多采用点云网络、图结构网络或transformer网络进行特征提取，并通过直接回归方式输出旋转和平移参数。该类方法虽然能够实现端到端预测，但在复杂畸形牙列和缺牙病例中仍存在如下问题：对牙尖、窝沟、牙冠轮廓以及牙弓整体结构等多尺度牙齿结构信息的提取与融合不充分，难以同时兼顾局部几何细节和全局牙列空间关系；并且直接回归方式对目标牙齿位姿的不确定性建模能力有限，容易导致目标刚体变换矩阵预测不稳定，进而影响后续正畸路径规划和矫治方案生成的准确性。

3、针对上述现有技术中存在的问题，本技术提出融合多尺度特征提取与条件扩散模型的牙位预测方法。

技术实现思路

1、本发明的目的是提供融合多尺度特征提取与条件扩散模型的牙位预测方法，解决现有牙位预测方法中多尺度牙齿结构特征提取与融合不充分及目标牙齿位姿预测稳定性不足的问题。

2、本发明所采用的技术方案是：融合多尺度特征提取与条件扩散模型的牙位预测方法，预测过程如下：搭建牙位预测模型，将三维牙颌模型输入牙位预测模型中，对三维牙颌模型分割，得到各牙齿的牙齿点云集合，对牙齿点云集合中的各点云进行数据预处理与增强，得到每颗牙齿的牙列点云集合；对牙列点云集合中各牙齿点云进行特征提取和融合，得到每颗牙齿的多尺度融合条件特征；将多尺度融合条件特征输入条件扩散位姿回归模块，预测每颗牙齿从当前状态到目标状态的目标刚体变换矩阵，根据目标刚体变换矩阵生成目标牙列结构。

3、本发明的特点还在于：

4、牙位预测模型包括数据预处理与增强模块、多尺度结构感知特征提取模块、动态上下文特征融合模块及条件扩散位姿回归模块；

5、数据预处理与增强模块用于接收三维牙颌，数据预处理与增强模块包括网格点云转换单元、坐标系统一单元、数据增强单元、曲率感知自适应采样单元和缺牙插值填充单元；

6、多尺度结构感知特征提取模块包括并行设置的多尺度点云特征编码器、牙齿关键点语义特征提取分支和牙齿位置特征编码分支；其中，多尺度点云特征编码器用于提取牙列点云集合中每颗牙齿点云的几何特征；牙齿关键点语义特征提取分支包括关键点提取网络和关键点编码器，用于根据牙列点云集合中每颗牙齿点云及其对应的牙齿类别条件提取牙齿关键点集合并编码得到牙齿关键点语义特征；牙齿位置特征编码分支用于根据统一口腔世界坐标系下的牙齿质心坐标集合得到牙齿位置特征；

7、动态上下文特征融合模块用于接收牙齿点云几何特征、关键点语义特征和牙齿位置特征，并对三类特征进行拼接、上下文关系建模和非线性映射，得到多尺度融合条件特征；动态上下文特征融合模块包括动态归一化单元、多头自注意力单元、前馈网络单元、层级缩放单元、随机路径丢弃单元和残差连接单元，其中，动态归一化单元、多头自注意力单元和前馈网络单元按照特征处理方向依次连接，层级缩放单元、随机路径丢弃单元和残差连接单元设置于多头自注意力单元和前馈网络单元的特征传递路径中，用于对不同牙齿之间的空间依赖关系和多类型特征之间的语义关联进行融合建模；

8、条件扩散位姿回归模块用于接收多尺度融合条件特征，并基于多尺度融合条件特征预测每颗牙齿从当前状态到目标状态的刚体变换矩阵；条件扩散位姿回归模块包括扩散空间构建单元、条件自适应扩散去噪网络、跨层条件注入单元和位姿恢复单元，其中，扩散空间构建单元用于构建噪声位姿，条件自适应扩散去噪网络用于根据噪声位姿、扩散时间步和多尺度融合条件特征预测噪声扰动，跨层条件注入单元用于将多尺度融合条件特征注入条件自适应扩散去噪网络的各网络层，位姿恢复单元用于根据预测噪声扰动恢复每颗牙齿的目标刚体变换矩阵。

9、牙位预测的具体步骤如下：

10、步骤1、获取患者三维牙颌模型，对三维牙颌模型进行分割，得到三维网格模型，将各颗牙齿三维网格模型转换为牙齿点云集合；并根据三维牙颌模型分割结果确定每颗牙齿对应的牙齿类别条件；根据牙弓整体几何结构建立统一口腔世界坐标系，为每颗牙齿建立局部坐标系，在统一口腔世界坐标系下计算每颗已存在牙齿的质心坐标，得到牙齿质心坐标集合；

11、步骤2、对每颗牙齿的牙齿点云集合中的各点云依次进行网格点云转换单元、坐标系统一单元、数据增强单元、基于曲率感知自适应采样单元和缺牙插值填充单元预处理和增强，得到整口牙齿的牙列点云集合；

12、步骤3、通过多尺度结构感知特征提取模块分别对牙列点云集合、牙列点云集合及各点云对应的牙齿类别条件、牙齿质心坐标集合进行特征提取，分别获得每颗牙齿的牙齿点云几何特征、牙齿关键点语义特征和牙齿位置特征；

13、步骤4、通过动态上下文特征融合模块对每颗牙齿牙齿点云几何特征、牙齿关键点语义特征和牙齿位置特征进行融合，得到每颗牙齿的多尺度融合条件特征；

14、步骤5、将多尺度融合条件特征作为条件引导信息输入至基于条件引导的条件扩散位姿回归模块，通过条件自适应扩散去噪网络预测每颗牙齿从当前状态到目标状态的刚体变换矩阵；

15、步骤6、根据刚体变换矩阵对三维牙颌执行空间旋转和平移变换，得到每颗牙齿的目标位姿，根据各颗牙齿的目标位姿对全部牙齿进行重建排列，生成目标牙列结构，并将目标牙列结构作为后续正畸路径规划和矫治方案生成的目标状态。

16、步骤2具体步骤如下：

17、步骤2.1、通过网格点云转换单元、坐标系统一单元及数据增强单元对每颗牙齿的牙齿点云集合中的各点云进行增强，得到每颗牙齿增强后牙齿点云集合；

18、步骤2.2、对增强后牙齿点云集合执行基于曲率感知的自适应点云采样，使每个点云的高曲率关键结构在采样点云中得到保留，得到每颗牙齿采样后的牙齿点云集合；

19、步骤2.3、对采样后的牙齿点云集合中存在缺牙的情况，执行基于拟合牙弓线插值的缺牙填充，生成缺失牙齿的估计质心、占位点云或位置特征，得到结构完整且几何细节保留的整口牙齿的整口牙齿的牙列点云集合。

20、步骤3具体步骤如下：

21、步骤3.1、将牙列点云集合中各牙齿点云输入多尺度点云特征编码器，提取各牙齿点云的牙齿点云几何特征；

22、步骤3.2、将牙列点云集合中各牙齿点云及其对应的牙齿类别条件输入牙齿关键点语义特征提取分支，提取各牙齿点云的牙齿关键点集合并编码得到关键点语义特征；

23、步骤3.3、将统一口腔世界坐标系下的牙齿质心坐标集合中各坐标输入牙齿位置特征编码分支，将各坐标映射为高维位置特征，即牙齿位置特征；

24、(1)

25、其中，为牙齿位置特征，为牙齿质心坐标集合；牙齿质心坐标集合包括已存在牙齿的质心坐标以及经缺牙填充得到的缺失牙齿估计质心坐标。

26、步骤3.1中牙齿点云几何特征提取过程如下：

27、步骤3.1.1、对牙列点云集合中各牙齿点云分别采用不同邻域尺度的局部k近邻搜索构建多尺度邻域，并对各尺度邻域内的点云局部空间关系进行编码，生成各牙齿点云的多尺度邻域特征；其中，小尺度邻域用于提取牙尖、切缘、窝沟等局部细节特征，大尺度邻域用于提取牙冠整体轮廓和牙列整体结构特征；

28、步骤3.1.2、对各牙齿点云多尺度邻域特征中不同尺度的邻域特征进行残差连接和通道拼接融合，得到各牙齿点云的牙齿点云几何特征；

29、(2)

30、其中，表示牙列点云集合中第颗牙齿的点云，表示多尺度点云特征编码器，表示第颗牙齿的牙齿点云几何特征；

31、步骤3.2中关键点语义特征提取过程如下：

32、步骤3.2.1、将牙列点云集合中的各牙齿点云及其对应的牙齿类别条件输入关键点提取网络，通过几何感知位置编码增强点云空间结构表达，并输出每个牙齿点云中各点属于关键点区域的响应概率；其中，牙齿类别条件用于表征对应牙齿的类别或牙位信息；

33、步骤3.2.2、根据每颗牙齿点云中各点属于关键点区域的响应概率筛选牙尖、切缘、窝沟或咬合接触区域关键点集合；并由关键点编码器对进行线性映射、归一化、非线性激活、池化和多层感知机处理，得到关键点语义特征;

34、(3)

35、其中，表示第颗牙齿的关键点集合，表示第颗牙齿的第个关键点坐标，表示第颗牙齿的关键点数量，表示第颗牙齿的关键点语义特征。

36、步骤4具体步骤如下：

37、步骤4.1、将每颗牙齿的牙齿点云几何特征、关键点语义特征和牙齿位置特征在通道维度进行拼接，得到初始拼接特征；

38、(4)

39、其中，为初始拼接特征，为牙齿点云几何特征，为关键点语义特征，为位置特征，表示拼接；

40、步骤4.2、将每颗牙齿的初始拼接特征输入动态归一化单元、多头自注意力单元和前馈网络单元，进行上下文关系建模和非线性映射，得到融合特征；

41、(5)

42、其中，为融合特征；

43、步骤4.3、将每颗牙齿的融合特征与初始拼接特征再次拼接，得到多尺度融合条件特征。

44、步骤5具体步骤如下：

45、步骤5.1、在训练阶段，将多尺度融合条件特征作为条件引导信息输入条件扩散位姿回归模块，并将每颗牙齿在统一口腔世界坐标系和局部坐标系约束下从当前状态到目标状态的真实刚体变换矩阵作为扩散建模空间中的真实目标位姿；其中，当前状态为输入三维牙颌模型中牙齿的初始畸形位姿，目标状态为理想咬合状态下牙齿的目标位姿；

46、步骤5.2、将真实目标位姿输入扩散空间构建单元，扩散空间构建单元根据扩散时间步t、噪声调度参数和高斯噪声，对真实目标位姿进行前向扩散加噪处理，得到时间步t处的噪声位姿，前向扩散过程的重参数化形式为：，其中，表示高斯噪声，表示由噪声调度参数累积得到的系数，为真实目标位姿，为时间步t处的噪声位姿；

47、步骤5.3、将步骤5.2得到的噪声位姿、扩散时间步t以及多尺度融合条件特征输入条件自适应扩散去噪网络；同时，将多尺度融合条件特征和扩散时间步t输入跨层条件注入单元作为条件调制参数，并将条件调制参数注入条件自适应扩散去噪网络的各网络层，以引导条件自适应扩散去噪网络预测噪声扰动，其表达式为：；其中，表示条件自适应扩散去噪网络预测得到的噪声扰动，表示参数为的条件自适应扩散去噪网络，表示时间步处的噪声位姿，表示扩散时间步，表示多尺度融合条件特征；

48、步骤5.4、将步骤5.3得到的预测噪声扰动和噪声位姿输入位姿恢复单元，位姿恢复单元根据预测噪声扰动对噪声位姿进行反向恢复，得到预测刚体变换矩阵；在训练阶段，采用多约束联合损失函数对预测刚体变换矩阵进行监督优化，以更新条件自适应扩散去噪网络的参数；

49、步骤5.5、在推理阶段，将步骤4得到的多尺度融合条件特征作为条件引导信息，从随机噪声初始化位姿表示，并通过条件自适应扩散去噪网络执行多步反向去噪，逐步生成每颗牙齿从当前状态到目标状态的目标刚体变换矩阵。

50、步骤5.3中多约束联合损失函数包括变换矩阵回归损失、点云几何一致性损失、碰撞避免损失和运动约束损失；采用多约束联合损失函数对预测刚体变换矩阵进行监督优化的具体过程如下：

51、步骤5.3.1、根据预测刚体变换矩阵和真实刚体变换矩阵计算变换矩阵回归损失，用于约束预测旋转矩阵和平移向量与真实标注之间的一致性，变换矩阵回归损失表达式如下：

52、(6)

53、其中，表示第颗牙齿的预测刚体变换矩阵，，表示第颗牙齿的真实刚体变换矩阵，，和分别表示第颗牙齿的预测旋转矩阵和真实旋转矩阵，和分别表示第颗牙齿的预测平移向量和真实平移向量，表示牙齿集合，为牙齿数量，表示旋转矩阵的对数映射，表示二范数；

54、步骤5.3.2、将预测变换矩阵和真实变换矩阵分别作用于牙齿点云集合中每个点云，得到预测变换点云集合和真实变换点云集合，并通过倒角距离计算点云几何一致性损失，用于约束预测结果在几何空间中的一致性，几何一致性损失的表达式如下：

55、(7)

56、其中，表示参与计算的牙齿集合，表示参与计算的牙齿数量，表示牙齿集合中的第颗牙齿，表示第颗牙齿的原始牙齿点云，表示第颗牙齿的预测变换点云，表示第颗牙齿的目标点云，表示倒角距离；

57、步骤5.3.3、根据预测变换点云集合中相邻牙齿之间的最近距离计算碰撞避免损失，当相邻牙齿之间的最近距离小于预设安全阈值时，对距离不足程度施加平方惩罚，碰撞避免损失的表达式如下：

58、(8)

59、其中，表示第颗牙齿与第颗牙齿在拓扑结构上相邻，表示预测变换点云集合中第颗牙齿与第颗牙齿之间的最近邻点距离，表示预设的安全距离阈值；

60、步骤5.3.4、根据预测变换点云集合中相邻牙齿质心之间的距离计算运动约束损失，当相邻牙齿之间距离超过预设最大距离阈值时，对过度分离程度施加惩罚， 运动约束损失表达式如下：

61、(9)

62、其中，表示参与计算的牙齿集合，和表示牙齿集合中的两颗牙齿，表示第颗牙齿与第颗牙齿在拓扑结构上相邻，表示预测变换点云集合中第颗牙齿的质心坐标，表示预测变换点云集合中第颗牙齿的质心坐标，表示两颗相邻牙齿质心之间的欧氏距离，表示相邻牙齿之间允许的最大生理距离阈值，表示当两颗相邻牙齿质心距离超过最大生理距离阈值时施加的平方惩罚；

63、步骤5.3.5、将变换矩阵回归损失、点云几何一致性损失、碰撞避免损失和运动约束损失进行加权求和，得到多约束联合损失函数，并根据多约束联合损失函数更新条件自适应扩散去噪网络的参数；

64、(10)

65、其中，、、和分别为各损失项对应的权重系数，为变换矩阵回归损失，为点云几何一致性损失，为碰撞避免损失，为运动约束损失。

66、本发明的有益效果是：本发明通过多尺度结构感知特征提取模块分别提取牙齿点云几何特征、牙齿关键点语义特征和牙齿位置特征，并通过动态上下文特征融合模块对不同层级、不同类型的牙齿结构信息进行融合，能够同时增强牙尖、切缘、窝沟等局部几何细节以及牙弓整体空间关系的表达能力，解决现有牙位预测方法中多尺度牙齿结构特征提取与融合不充分的问题。将多尺度融合条件特征作为条件引导信息输入条件扩散位姿回归模块，通过条件自适应扩散去噪网络从噪声位姿逐步恢复目标刚体变换矩阵，并结合多约束联合损失函数对位姿预测结果进行监督优化，能够提高复杂畸形牙列和缺牙病例下牙齿目标位姿预测的稳定性与准确性，为后续正畸路径规划和矫治方案生成提供更可靠的目标牙列结构。