一种基于双向增强网络的3D牙齿模型分割方法与流程

一种基于双向增强网络的3d牙齿模型分割方法
技术领域
1.本发明涉及一种牙齿模型分割技术，特别是一种基于双向增强网络的3d牙齿模型分割方法。


背景技术：

2.对数字化的3d牙齿模型进行准确的牙齿分割是计算机辅助牙齿正畸治疗中一项基本任务。准确的分割信息可以帮助牙医进行临床诊断，为病人的正畸手术提供数字化的牙齿形状信息，量化预期和临床治疗结果之间的差异等。然而，从牙龈中准确的分割出每颗牙齿是一个富有挑战性的问题，其挑战性主要体现在以下几个方面：(1)虽然大多数人的牙齿都具有一些相同的几何特征，但它们的形状是独特的且在个体之间存在巨大的差异；(2)正畸患者的牙齿通常都比较特殊，他们的牙齿往往会出现缺失、拥挤或者错位等情况，这些都可能产生模糊的牙齿边界；(3)扫描过程中的噪声可能会导致牙齿模型表面部分缺失。
3.为了应对上述的挑战，传统的方法通常通过使用预先选择的几何属性，例如：坐标、法向量或者曲率，来对牙齿模型进行分割。还有一些方法将三维的网格投影成二维图像以此进行牙齿模型分割。然而，这些传统方法的有效性比较依赖专业的知识和经验。同时，这些方法的鲁棒性较差，因为只使用那些低级的几何特性不能准确地分割具有极端外观的牙齿。最近，许多基于深度学习的方法被提出来，通过学习面向任务的特征表示，以实现牙齿模型的自动分割。其中一些方法将三维网格转换为有序的二维图像，然后应用一般的卷积神经网络进行牙齿分割。
4.然而，这些方法往往忽略了几何数据的无序性，在转换的过程中，还会引入额外的计算成本和量化误差。
5.为了避免额外的数据预处理过程，最近的方法通过扩展现有的点云分割网络来对三维牙齿模型进行分割。它们基于预先定义的邻居来表示一个网格。然而，在邻域的构建过程中，邻域之间的重叠是很难避免的，特别是当网格紧密分布在不同牙齿的边界附近时。


技术实现要素：

6.发明目的：本发明的目的是提供一种基于双向增强网络的3d牙齿模型分割方法，以一种双向的方式同时利用网格的坐标信息和语义信息来增强网格的局部上下文信息。还提供了一种装置及存储介质。
7.技术方案：本发明的一种基于双向增强网络的3d牙齿模型分割方法，包括以下步骤：
8.s1、使用quadric edge collapse网格化简算法对原始3d牙齿模型进行化简，得到化简后的3d牙齿模型的初始化坐标矩阵p和法向量矩阵v；
9.s2、将化简后的3d牙齿模型输入特征提取模块，得到其语义信息f；
10.s3、将每个网格的坐标p和语义信息f作为输入，送入双向增强网络的双向增强模块，得到增强后的网格特征s；
11.s4、将每个网格增强后的特征s输入预测感知机，得到每个网格所属特定牙齿种类的概率矩阵m，训练出一个3d牙齿模型分割网络；
12.s5、利用训练好的3d牙齿模型分割网络对测试实例中每个网格所属特定牙齿种类进行预测。
13.进一步的，步骤s1具体为：
14.利用quadric edge collapse网格化简算法将原始3d牙齿模型网格数量下采样到n，得到保留原始3d牙齿模型拓扑信息，去除冗余信息的化简后的3d牙齿模型，化简后的3d牙齿模型对应的坐标矩阵p∈rn×9，其中每一行代表每个三角形网格三个顶点的3d空间坐标；对应的法向量矩阵v∈rn×3，其中每一行代表每个三角形网格的法向量。
15.进一步的，步骤s2具体为：
16.第i个网格的语义信息fi的计算公式为：
[0017][0018]
其中，特征提取器被实现为多层感知机，用mlp表示，表示按通道连接，pi表示第i个网格的坐标，vi表示第i个网格的法向量，fi表示第i个网格的语义信息；
[0019]
则化简后的3d牙齿模型的语义信息f∈rn×
16
，其中每一行代表每个三角形网格的语义信息，即fi。
[0020]
进一步的，步骤s3具体为：
[0021]
将每个网格视为中心，利用k近邻算法构造其邻域；设中心网格的坐标为pi，语义信息为fi，其邻域表示为邻域内的邻居的坐标信息为pj，语义信息为fj；
[0022]
首先使用第一多层感知机和第二多层感知机分别为每个中心网格校准其邻域内每个邻居的坐标信息和语义信息：
[0023][0024][0025]
其中，为校准后的邻居的坐标信息；为校准后的邻居的语义信息；mlp1为第一多层感知机，mlp2为第二多层感知机；
[0026]
接着基于每个网格的语义信息来增强其坐标信息；具体的：估计中心网格的不同邻居的几何偏移量，计算公式为：
[0027][0028]
其中，δfj＝f
i-fj；操作被实现为多层感知机；因此，偏移后的邻居的坐标信息被表示为：
[0029][0030]
然后，将偏移后的邻居的坐标信息和校准后的邻居的坐标信息连接起来送入第三多层感知机，得到每个网格增强后的邻居坐标信息为：
[0031][0032]
其中，mlp3表示第三多层感知机；
[0033]
同样，基于每个网格的坐标信息来增强其语义信息；偏移后的邻居的语义信息被表示为：
[0034][0035]
其中，δpj＝p
i-pj；
[0036]
同样，基于偏移后的邻居的语义信息和校准后的邻居的语义信息，每个网格增强后的邻居语义信息被表示为：
[0037][0038]
其中，mlp4表示第四多层感知机；
[0039]
最后，采用最大池化操作从每个网格增强后的邻居坐标信息和增强后的邻居语义信息中获取更具区分性的能表示该网格的特征，具体来说，第i个网格的特征被表示为：
[0040][0041]
进一步的，步骤s4中利用步骤s3中得到的增强后的网格特征预测每个网格所属特定牙齿种类的概率，计算公式为：
[0042]
m＝mlp
pred
(s)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)；
[0043]
其中，s表示增强后的网格特征矩阵，每一行代表每个网格增强后的特征，即si，m∈rn×c，每一行代表特定网格属于c个不同类别的概率，mlp
pred
为预测感知机。
[0044]
进一步的，步骤s4中3d牙齿模型分割网络训练方法为：通过最小化交叉熵损失函数来训练得到一个牙齿分割网络；其中，交叉熵损失函数的计算公式为：
[0045][0046]
其中，m
ic
表示第i个网格属于第c类牙齿的预测概率，y
ic
表示第i个网格属于第c类牙齿的真实概率，c表示牙齿的种类数，n表示化简后的3d牙齿模型的网格总数；
[0047]
训练出的3d牙齿模型分割网络为一系列的权重参数，它能根据输入网络的牙齿模型信息自动确定出牙齿模型中每个三角形网格属于某一种牙齿或牙龈。
[0048]
进一步的，步骤s5具体为：将测试样本的坐标信息和法向量输入到训练好的3d牙齿模型分割网络，对测试样本中每个网格所属特定牙齿种类进行预测；最后分别采用戴斯相似性系数dsc，正类预测值ppv和敏感性sen三种评价指标度量训练好的3d牙齿模型分割网络的分割效果，这三种评价指标的值越高代表网络的分割性能越好。
[0049]
进一步的，所述双向增强网络包括：网格化简模块、特征提取模块、双向增强模块和牙齿预测模块，其中，双向增强模块包括坐标信息增强、语义信息增强和特征聚合，原始3d牙齿模型输入网格化简模块后一方面输出化简后的3d牙齿模型的每个网格的坐标，另一方面将化简后的3d牙齿模型输入特征提取模块，得到每个网格的语义信息；然后将每个网格的坐标和语义信息均输入双向增强模块，分别经过坐标信息增强和语义信息增强后得到增强后的邻居的坐标信息和语义信息，然后将增强后的坐标信息和语义信息进行特征聚合，得到增强后的网格特征，然后将增强后的网格特征输入牙齿预测模块，预测每个网格所属特定牙齿种类的概率。
[0050]
另一实施例中，一种基于双向增强网络的3d牙齿模型分割装置，包括存储器和处理器，其中：
[0051]
存储器，用于存储能够在处理器上运行的计算机程序；
[0052]
处理器，用于在运行所述计算机程序时，执行上述一种基于双向增强网络的3d牙
齿模型分割方法的步骤。
[0053]
另一实施例中，一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被至少一个处理器执行时实现上述一种基于双向增强网络的3d牙齿模型分割方法的步骤。
[0054]
有益效果：与现有技术相比，本发明提出了一种双向增强网络以一种双向的方式同时利用网格的坐标信息和语义信息来增强网格的局部上下文信息，这使得牙齿模型的不同信息得到了充分的利用，从而能学习到更具区分性的特征，有效提高牙齿与牙龈交界处以及相邻牙齿之间的交界处等富有挑战性的区域的分割准确率。在对网格的局部上下文信息进行增强后，我们利用最大池化操作从增强后的局部上下文信息中提取更具区分性的网格特征，这在降低网络复杂性的同时还能从牙齿模型中提取出独特的结构细节，从而增强了网络的泛化能力。最后，在增强后的特征上预测每个网格所属特定牙齿种类的概率，并使用交叉熵损失函数来训练得到一个牙齿分割网络。本发明将深度学习应用到3d牙齿模型分割中，提出基于双向增强网络的3d牙齿模型分割方法，通过广泛的实验，该方法的有效性得到了验证，并应用于牙齿分割领域。
附图说明
[0055]
图1是本发明方法流程图；
[0056]
图2是本发明双向增强网络结构框图；
[0057]
图3是本发明的双向增强模块的结构示意图。
具体实施方式
[0058]
下面结合附图和具体实施例对本发明进行详细说明。
[0059]
如图1所示，本发明的一种基于双向增强网络的3d牙齿模型分割方法，包括以下步骤：
[0060]
s1、使用quadric edge collapse网格化简算法对原始3d牙齿模型进行化简，得到化简后的3d牙齿模型的初始化坐标矩阵p和法向量矩阵v；具体为：
[0061]
s100、考虑到原始的3d牙齿模型包含冗余的信息，在保留其原始拓扑信息的基础上利用quadric edge collapse网格化简算法将原始3d牙齿模型网格数量下采样到n。这里采用的网格是三角形网格。
[0062]
s101、根据化简后的3d牙齿模型，得到化简后的3d牙齿模型对应的坐标矩阵p∈rn×9，其中每一行代表每个网格三个顶点的3d空间坐标；对应的法向量矩阵v∈rn×3，其中每一行代表每个网格的法向量。
[0063]
s2、将化简后的3d牙齿模型输入特征提取模块，得到其语义信息f；其具体过程如下：
[0064]
第i个网格的语义信息fi的计算公式为：
[0065][0066]
其中，特征提取模块被实现为多层感知机，用mlp表示，表示按通道连接，pi表示第i个网格的坐标，vi表示第i个网格的法向量，fi表示第i个网格的语义信息。
[0067]
则化简后的3d牙齿模型的语义信息f∈rn×
16
，其中每一行代表每个三角形网格的
语义信息，即fi。
[0068]
s3、将每个网格的坐标p和语义信息f作为输入，送入双向增强网络的双向增强模块，得到增强后的更具区分性的特征s；具体为：
[0069]
s301、将每个网格视为中心，利用k近邻算法构造其邻域；设中心网格的坐标为pi，语义信息为fi，其邻域表示为邻域内的邻居的坐标信息为pj，语义信息为fj；
[0070]
首先使用两个不同的多层感知机(即第一多层感知机和第二多层感知机)分别为每个中心网格校准其邻域内不同邻居的坐标信息和语义信息，计算公式为：
[0071][0072][0073]
其中，为校准后的邻居的坐标信息；为校准后的邻居的语义信息；mlp1为第一多层感知机，mlp2为第二多层感知机。
[0074]
s302、基于每个网格的语义信息来增强其坐标信息。具体来说，选择了一种基于学习的方法来估计不同邻居的几何偏移量，计算公式为：
[0075][0076]
其中，δfj＝f
i-fj；操作由多层感知机实现。因此，偏移后的邻居的坐标信息被表示为：
[0077][0078]
然后，将偏移后的邻居的坐标信息和校准后的邻居的坐标信息连接起来送入第三多层感知机，得到每个网格增强后的邻居的坐标信息为：
[0079][0080]
其中，mlp3表示第三多层感知机；
[0081]
s303、同样，也可以基于每个网格的坐标信息来增强其语义信息。偏移后的邻居的语义信息被表示为：
[0082][0083]
其中，δpj＝p
i-pj；
[0084]
同样，基于偏移后的邻居的语义信息和校准后的邻居的语义信息，每个网格增强后的邻居语义信息可以被表示为：
[0085][0086]
其中，mlp4表示第四多层感知机。
[0087]
最后，采用最大池化操作从每个网格增强后的邻居坐标信息和增强后的邻居语义信息中获取更具区分性的能表示该网格的特征，具体来说，第i个网格的特征可以被表示为：
[0088][0089]
s4、将每个网格增强后的网格特征输入预测感知机，得到每个网格所属特定牙齿种类的概率矩阵m，训练出一个3d牙齿模型分割网络；其具体过程如下：
[0090]
利用上述步骤s3中得到的增强后的网格特征预测每个网格所属特定牙齿种类的概率，计算公式为：
[0091]
m＝mlp
pred
(s)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)；
[0092]
其中，s表示增强后的网格特征矩阵，每一行代表每个网格增强后的特征，即si，m∈rn×c，每一行代表特定网格属于c个不同类别的概率，mlp
pred
为预测感知机。
[0093]
然后，我们通过最小化交叉熵损失函数来训练得到一个3d牙齿模型分割网络。交叉熵损失函数的计算公式为：
[0094][0095]
其中，m
ic
表示第i个网格属于第c类牙齿的预测概率，y
ic
表示第i个网格属于第c类牙齿的真实概率，c表示牙齿的种类数，n表示化简后的3d牙齿模型的网格总数；
[0096]
训练出的3d牙齿模型分割网络为一系列的权重参数，它能根据输入网络的牙齿模型信息自动确定出牙齿模型中每个三角形网格属于某一种牙齿或牙龈。
[0097]
s5、利用训练好的3d牙齿模型分割网络对测试实例中每个网格所属特定牙齿种类进行预测；
[0098]
将测试样本的坐标信息和法向量输入到训练好的3d牙齿模型分割网络，对测试样本中每个网格所属特定牙齿种类进行预测。最后分别采用戴斯相似性系数(dsc)，正类预测值(ppv)和敏感性(sen)三种评价指标度量训练好的3d牙齿模型分割网络的分割效果，这三种评价指标的值越高代表网络的分割性能越好。
[0099]
如图2和图3所示，上述分割方法采用的双向增强网络，包括网格化简模块、特征提取模块、双向增强模块和牙齿预测模块，其中，双向增强模块包括坐标信息增强、语义信息增强和特征聚合，原始3d牙齿模型输入网格化简模块后一方面输出化简后的3d牙齿模型的每个网格的坐标，另一方面将化简后的3d牙齿模型输入特征提取模块，得到每个网格的语义信息；然后将每个网格的坐标和语义信息均输入双向增强模块，分别经过坐标信息增强和语义信息增强后得到增强后的邻居的坐标信息和语义信息，然后将增强后的坐标信息和语义信息进行特征聚合，得到增强后的网格特征，然后将增强后的网格特征输入牙齿预测模块，预测每个网格所属特定牙齿种类的概率。
[0100]
一种基于双向增强网络的3d牙齿模型分割装置，包括存储器和处理器，其中：
[0101]
存储器，用于存储能够在处理器上运行的计算机程序；
[0102]
处理器，用于在运行所述计算机程序时，执行上述一种基于双向增强网络的3d牙齿模型分割方法的步骤。
[0103]
本实施例具有与上述实施例的一种基于双向增强网络的3d牙齿模型分割方法相同的有益效果。
[0104]
一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被至少一个处理器执行时实现上述一种基于双向增强网络的3d牙齿模型分割方法的步骤。并达到如上述方法一致的技术效果。