一种基于二维候选回写与流形上曲面分割的口扫单牙牙冠实例分割方法与流程

摘要: 本发明涉及数字化口腔医疗,尤其涉及一种基于二维候选回写与流形上曲面分割的口扫单牙牙冠实例分割方法。背景技术:1、随着口腔扫描设备和数字化诊疗流程的发展,基于口扫...
一种基于二维候选回写与流形上曲面分割的口扫单牙牙冠实例分割方法与流程

本发明涉及数字化口腔医疗,尤其涉及一种基于二维候选回写与流形上曲面分割的口扫单牙牙冠实例分割方法。

背景技术:

1、随着口腔扫描设备和数字化诊疗流程的发展,基于口扫三维模型的自动分析已成为数字牙科的重要基础环节。稳定的单牙牙冠实例分割是后续数字化设计、修复、排牙、附件制作以及定量测量的前提。

2、现有与单牙牙冠实例分割相关的方法,主要是在整口牙列三维数据上直接执行固定类别分割或固定类别标注。此类方法通常以点云、网格面片或采样点作为输入,在整口牙列上一次性输出牙龈及多颗牙齿的固定类别结果。该类方法在标准病例中能够取得较好效果,但其局限在于:一方面,局部边界恢复与整口类别判断被压缩到同一预测空间中,当局部边界尚未稳定时,模型已被迫输出整口类别;另一方面,此类方法往往依赖固定采样策略、固定输入规模或统一预处理分辨率,当训练和推理所面对的网格密度不一致时,边界表达容易波动。对于口扫模型中的牙齿拥挤、邻接面狭窄、粘连重建或伪桥接等情况,错误连接还会沿三维邻接关系扩散,使相邻牙齿之间发生错误合并或单颗牙齿被错误劈裂。

3、对于真实口扫数据而言,扫描遮挡、体液附着、重建伪影、牙齿拥挤、邻接接触紧密等因素,会使本应彼此独立的相邻牙齿在三维网格上被错误连通。若仍在原始连接关系上直接做整口固定类别分割,则难以从根本上抑制错误连接对单牙牙冠实例分割的干扰;若同时要求训练与推理样本保持一致的网格分辨率,又会进一步限制方法在真实口扫数据中的部署适应性。

4、因此,需要一种新的口扫单牙牙冠实例分割方法,在保持原有网格支撑不变的基础上抑制错误连接对局部曲面分割的干扰,并实现分辨率无关训练,使同一组网络参数在跨分辨率局部曲面片段上仍具有稳定的实例分割能力。

技术实现思路

1、本发明提供一种基于二维候选回写与流形上曲面分割的口扫单牙牙冠实例分割方法,将整口复杂牙列问题转化为局部候选牙区内的目标牙与非目标牙实例分割问题,并利用二维观测结果对三维流形上的局部曲面分割过程进行调制,以降低错误拓扑连接、牙齿拥挤、邻接面粘连和扫描遮挡对实例分割结果的影响。此外,该方法不需要切断或重建原始网格连接关系,在保持原始网格支撑不变的前提下即可抑制跨牙错误传播,并通过双流扩散网络分割模块完成局部实例分割处理,能够在不依赖固定顶点数或统一网格密度的条件下实现稳定分割。

2、本发明解决其技术问题所采用的技术方案是,一种基于二维候选回写与流形上曲面分割的口扫单牙牙冠实例分割方法,包括:

3、s1:获取口腔扫描三维网格模型,基于所述口腔扫描三维网格模型生成二维几何视图;

4、s2:在所述二维几何视图上生成目标牙候选区域以及像素级目标响应信息;

5、s3:将所述目标牙候选区域回写到所述口腔扫描三维网格模型上,并截取对应的局部曲面片段;

6、s4:根据所述局部曲面片段上各顶点在二维几何视图上的二维坐标,从所述像素级目标响应信息中采样获取各顶点的顶点级目标响应值,建立顶点级目标响应场,以及对每个顶点生成顶点可见性标记;

7、s5:根据所述局部曲面片段的原始网格结构构造原始流形算子,基于所述顶点级目标响应场和所述顶点可见性标记调制原始流形算子获得调制流形算子;

8、s6:基于所述原始流形算子和所述调制流形算子对所述局部曲面片段执行目标牙与非目标牙的局部实例分割判别并输出局部实例分割判别结果;

9、s7:将所述局部实例分割判别结果回填到所述口腔扫描三维网格模型,输出单牙牙冠实例分割结果。

10、作为上述方案的一种优选方案,步骤s1中,所述二维几何视图通过对所述口腔扫描三维网格模型进行坐标对齐、尺度归一及预设视角渲染后得到,所述二维几何视图为深度图、法向图、曲率图以及可视化图像中的一种或多种。

11、作为上述方案的一种优选方案,步骤s2中,所述目标牙候选区域为边界框或实例区域,所述像素级目标响应信息为目标牙概率图或目标牙置信图。

12、作为上述方案的一种优选方案,步骤s3中,将所述目标牙候选区域回写到所述口腔扫描三维网格模型上时,按设定比例对所述目标牙候选区域进行外扩。

13、作为上述方案的一种优选方案,步骤s3中,所述截取得到的所述局部曲面片段保持原始网格的顶点、边和三角面组织方式。

14、作为上述方案的一种优选方案,步骤s4中,对每个顶点生成顶点可见性标记时,通过投影点在二维标签图中的标签一致性判断可见性;通过顶点投影深度与二维深度图的一致性判断可见性;或者综合标签一致性和深度一致性共同判断可见性。

15、作为上述方案的一种优选方案,步骤s5中,所述调制流形算子表示为:

16、

17、其中,表示由局部曲面片段的原始流形算子得到的边的原始强度,表示局部曲面片段中连接顶点与顶点的边;表示结合顶点目标响应和可见性信息后得到的调制强度;表示边的联系缩放因子,表示为:

18、

19、式中,表示边的联系缩放因子;为联系缩放因子的下限常数,满足0<<1;为自然常数;表示边的边界屏障量,,式中,表示该边在归一化局部坐标系下的欧氏长度,和分别表示顶点和顶点的目标概率值,为正的分母稳定常数;为正的边界抑制强度参数,,为预先设定的典型边界边的目标衰减系数,为多个局部曲面片段中一端属于目标牙、另一端不属于目标牙的边的边界屏障量的中位数。

20、作为上述方案的一种优选方案,所述步骤s6通过双流扩散网络分割模块实现,所述双流扩散网络分割模块包括共享输入映射层、原始流形分支、调制流形分支、分支交互融合单元以及输出判别头;所述原始流形分支和调制流形分支分别接收原始流形算子和调制流形算子对应的质量矩阵、特征值和特征向量,分别执行局部流形特征扩散与表面编码,在各层双流特征更新后,进一步构造原始流形分支特征、调制流形分支特征及二者差异特征,并通过门控交互单元分别回写到两条分支中;所述分支交互融合单元将原始流形分支和调制流形分支输出的两组局部表示及其差异特征进行拼接、门控交互和融合;所述输出判别头生成当前局部曲面片段内各顶点属于目标牙还是非目标牙的概率。

21、作为上述方案的一种优选方案,所述原始流形分支和调制流形分支均由若干个扩散基础单元块级联构成,每个所述扩散基础单元块在当前流形算子上执行基于内蕴几何的特征传播与更新。

22、作为上述方案的一种优选方案,步骤s7中,将所述局部实例分割判别结果回填到所述口腔扫描三维网格模型时,若局部实例分割判别结果对应的目标牙候选区域在原始网格上存在重叠区域,则对重叠区域进行融合;所述对重叠区域进行融合包括选择概率高的目标牙候选区域;对多个目标候选牙区域的目标概率进行平均或加权平均;或者在回填后执行连通区域筛选,保留与当前目标牙最一致的主连通区域。

23、本发明的优点是:先构建候选牙区,再在局部牙区内执行目标牙与非目标牙实例分割,相比于整口直接固定类别分割,能够显著降低整口复杂病例中的实例分割难度;将二维结构转化为顶点级目标响应场和可见性标记,并进一步作用于三维流形上的局部曲面分割过程,而不是简单作为附加特征、掩膜或提示使用,能够从分割机制层面抑制跨牙错误泄漏;无需显示切掉、删除或重建原始网格连接关系,在保持原始网格支撑不变的前提下对流形上的局部曲面分割过程进行调制,便于与现有三维几何编码流程衔接;进行局部曲面分割时引入顶点可见性约束,使二维观测只在可靠可见区域中发挥主导作用,从而降低遮挡、倒凹及不可见区域对实例分割结果的误导;采用双流扩散网络分割模块分别接收原始流形算子和调制后流形算子,并通过分支交互融合完成局部判别,既能保留原始几何连续性,又能增强目标牙边界约束能力;基于扩散网络对流形内蕴几何量进行训练与推理,不依赖固定顶点数、固定采样密度或统一网格分辨率,可在不同分辨率局部曲面片段之间采用同一组网络参数,具有分辨率无关训练能力以及跨分辨率实例分割稳定性;采用原始流形分支与调制后流形分支协同的局部判别方式,既不过度依赖二维观测,也不盲目信任受污染的原始连接关系,能够提升复杂口扫场景下的分割稳定性。