牙颌三维数字模型的分割方法与流程

1.本技术总体上涉及牙颌三维数字模型的分割方法，尤其是涉及利用人工神经网络对牙颌三维数字模型进行分割的方法。


背景技术：

2.如今，牙科治疗越来越多地借助计算机技术，在很多情况下需要对扫描获得的包括牙列与至少部分牙龈的牙颌的三维数字模型进行分割，把各牙齿的牙冠部分分割开，包括牙冠与牙龈之间以及相邻牙冠之间的分割。
3.由于通过计算机用户界面手工分割牙颌三维数字模型效率低下，目前已经出现多种计算机自动分割牙颌三维数字模型的方法，然而，在牙体缺失或缺损、牙列拥挤、严重错颌畸形等情况下，这些方法无法精确快速分割牙齿。
4.因此，有必要提供一种新的牙颌三维数字模型的分割方法。


技术实现要素：

5.本技术的一方面提供了一种计算机执行的牙颌三维数字模型的分割方法，包括：获取第一牙颌三维数字模型；基于所述第一牙颌三维数字模型产生图，它包括节点、节点初始特征以及邻接点，其中，所述节点是所述第一三维数字模型的面片的中心点；利用经训练的图神经网络，基于所述图，产生粗预测结果以及偏移向量，所述图神经网络包括特征提取子网络、粗预测子网络以及偏移子网络，所述特征提取子网络基于所述图产生节点特征矩阵，所述粗预测子网络基于所述节点特征矩阵产生所述粗预测结果，所述偏移子网络基于所述节点特征矩阵产生所述偏移向量；基于所述偏移向量，对所述粗预测结果中属于牙齿的节点进行聚类操作；以及基于所述粗预测结果和聚类结果进行加权计算，得到第一分割结果。
6.在一些实施方式中，所述节点初始特征包括节点坐标、面片法向以及节点至面片各顶点的向量。
7.在一些实施方式中，所述邻接点是利用k近邻算法针对每一所述节点计算得到的与其相邻的节点。
8.在一些实施方式中，所述特征提取子网络是动态图卷积神经网络。
9.在一些实施方式中，所述粗预测子网络是基于卷积的神经网络。
10.在一些实施方式中，所述粗预测子网络采用edgeconv卷积操作。
11.在一些实施方式中，所述偏移子网络是基于共享的全连接层的回归神经网络。
12.在一些实施方式中，所述粗预测子网络是基于所述节点特征矩阵和所述偏移子网络产生的偏移向量产生所述粗预测结果。
13.在一些实施方式中，所述聚类操作采用基于密度聚类的算法。
14.在一些实施方式中，所述的牙颌三维数字模型的分割方法还可以包括：基于所述粗预测结果和聚类结果进行加权计算，得到第二分割结果；以及利用所述第二分割结果构
建马尔可夫随机场，并利用图割算法得到所述第一分割结果。
15.在一些实施方式中，所述的牙颌三维数字模型的分割方法还可以包括：获取第二牙颌三维数字模型；对所述第二牙颌三维数字模型进行简化，得到所述第一牙颌三维数字模型；以及将所述第一分割结果映射回所述第二牙颌三维数字模型，得到第三分割结果。
16.在一些实施方式中，所述的牙颌三维数字模型的分割方法还可以包括：采用模糊聚类算法和最短路径算法对所述第三分割结果进行优化和平滑。
17.在一些实施方式中，所述模糊聚类算法考虑面片面积。
附图说明
18.以下将结合附图及其详细描述对本技术的上述及其他特征作进一步说明。应当理解的是，这些附图仅示出了根据本技术的若干示例性的实施方式，因此不应被视为是对本技术保护范围的限制。除非特别指出，附图不必是成比例的，并且其中类似的标号表示类似的部件。
19.图1为本技术一个实施例中的牙颌三维数字模型分割方法的示意性流程图；
20.图2示意性地展示了本技术一个实施例中的图神经网络的结构；
21.图3示意性地展示了本技术一个实施例中特征提取子网络的结构；
22.图4a展示了本技术一个例子中聚类之前的节点分布；以及
23.图4b展示了图4a所示节点在聚类后的分布。
具体实施方式
24.以下的详细描述中引用了构成本说明书一部分的附图。说明书和附图所提及的示意性实施方式仅仅出于是说明性之目的，并非意图限制本技术的保护范围。在本技术的启示下，本领域技术人员能够理解，可以采用许多其他的实施方式，并且可以对所描述实施方式做出各种改变，而不背离本技术的主旨和保护范围。应当理解的是，在此说明并图示的本技术的各个方面可以按照很多不同的配置来布置、替换、组合、分离和设计，这些不同配置都在本技术的保护范围之内。
25.本技术的一方面提供了一种计算机执行的牙颌三维数字模型的分割方法，
26.请参图1，为本技术一个实施例中的牙颌三维数字模型分割方法100的示意性流程图。
27.在101中，获取牙颌的三维数字模型。
28.在一些实施方式中，可以直接扫描患者的牙颌，获取牙颌三维数字模型。在又一些实施方式中，可以扫描患者牙颌的实体模型，比如石膏模型，获取牙颌三维数字模型。在又一些实施方式中，可以扫描患者牙颌的咬模，获取牙颌三维数字模型。
29.在一个实施例中，可以基于三角网格构建牙颌三维数字模型，下面以此类牙颌三维数字模型为例进行说明。
30.在103中，简化牙颌三维数字模型。
31.在一个实施例中，可以对101中获得的牙颌三维数字模型进行简化，以减少后续计算的内存占用量。
32.在一个实施例中，可以采用基于二次误差度量(quadric error metrics)的算法
简化牙颌三维数字模型。
33.在一个实施例中，可以预先设定简化后牙颌三维数字模型的面片数量n，例如，可以预先设定n＝10000。可以理解，简化后面片的数量n可以不预先固定，例如，可以根据预先设定的面片密度或比例进行简化。
34.简化操作后得到经简化的牙颌三维数字模型。简化操作为业界习知技术，此处不再对其进行详细说明。
35.在105中，基于经简化的牙颌三维数字模型的面片产生图。
36.在一个实施例中，可以基于经简化的牙颌三维数字模型的面片产生图，作为图神经网络(graph neural network)的输入。在一个实施例中，该图包括节点、节点初始特征以及边。
37.每个面片的中心点作为一个节点，每一节点的坐标为对应面片的三维中心坐标，节点集合可以表示为p＝{c1,...,cn}∈rn×3，其中，n代表经简化的牙颌三维数字模型的面片数量，c1代表索引为1的面片的三维中心坐标(即该面片对应的节点坐标)。
38.节点的初始特征可以包括面片的中心坐标(3维向量)、法向(3维向量)以及面片中心至每个面片顶点的向量(9维向量)，即每一节点的初始特征为15维向量。因此，节点集合的初始特征可以表示为x∈rn×
15
。
39.在一个实施例中，可以采用k近邻算法(k-nearest neighbor)为每个节点计算k个邻接节点，形成k条边。在一个实施例中，可以n*k的邻接矩阵来表示节点集合的边，它可以存储每个节点的相邻节点的索引。
40.在107中，利用经训练的图神经网络，基于图，产生粗预测结果和偏移向量。
41.请参图2，示意性地展示了本技术一个实施例中的图神经网络200，它包括特征提取子网络201、粗预测子网络203以及偏移子网络205。
42.在一个实施例中，特征提取子网络201可以采用修改后的动态图卷积神经网络(dynamic graph cnn，简称dgcnn)，例如，可以采用yue wang等在acm transactions on graphics(tog)38.5(2019):1-12发表的《dynamic graph cnn for learning on point clouds》中披露的dgcnn网络结构。
43.在一个实施例中，特征提取子网络201以节点初始特征x和邻接矩阵为输入，输出n*1216的节点特征矩阵。
44.请参图3，示意性地展示了本技术一个实施例中特征提取子网络201的结构，它包括3个edgeconv模块2011～2015、共享的全连接层、instance normalization层(图中未示)、leaky relu激活函数、concatenate操作以及全局平均池化层。其中，每一edgeconv模块接收同一个邻接矩阵。
45.在一个实施例中，偏移子网络205是基于共享的全连接层的回归网络，它包括instance normalization层和leaky relu激活函数。偏移子网络205基于特征提取子网络201输出的节点特征矩阵，为每一节点预测其到对应牙齿的中心的标准化偏移向量o＝{o1,...,on}∈rn×3。标准化偏移向量乘以常数δ(在一个实施例中，δ＝6)得到偏移向量，节点坐标p加上偏移向量即得到偏移后的节点坐标q＝{qi|qi＝ci δ
×
oi,i＝1,...,n}∈rn×3。
46.在一个实施例中，偏移子网络205还可以基于偏移后的节点集合计算邻接矩阵，并将其输出给粗预测子网络203。
47.请参图4a，展示了一个例子中节点的原始分布，请再参图4b，展示了一个例子中偏移后的节点分布。可见，偏移后的节点更向牙齿中心集中，更加紧凑，一方面易于聚类，另一方面能够使得粗预测子网络更好地预测分类。
48.粗预测子网络203用于预测节点的17类(包括16颗牙齿和牙龈)概率分布，它是基于卷积的网络，在一个实施例中，卷积操作可以采用edgeconv，也可以采用kpconv、pointconv或x-conv等。
49.在一个实施例中，粗预测子网络203包括共享的全连接层、leaky relu激活函数、instance normalization层和edgeconv模块，其中，该edgeconv模块接收偏移后的节点的邻接矩阵。粗预测子网络203以特征提取网络输出的节点特征矩阵和偏移后的节点的邻接矩阵作为输入，为每个面片预测一个17类概率分布，表征该面片分别属于牙龈和单颌左右共16颗牙齿的概率。
50.在一个实施例中，可以用标注好的牙颌三角网格数据训练图神经网络200。
51.在一个实施例中，图神经网络200的训练可以采用以下方程式(1)所表达的损失函数：
[0052][0053]
其中，l
sem
是监督17类概率分布的交叉熵损失函数，是监督偏移向量的平均评分误差损失函数，
[0054][0055]
其中，o是网络输出的标准化偏移向量，是结点的偏移向量真值。
[0056]
在109中，基于偏移向量，对粗预测属于牙齿的面片进行聚类。
[0057]
在一个实施例中，若一个面片(即节点)的粗预测分类结果为牙龈，那么，将其偏移向量重置为零。
[0058]
在一个实施例中，可以基于偏移子网络205预测的偏移向量，采用基于密度聚类的算法(dbscan)对粗预测属于牙齿的面片进行聚类，并用主成分分析和k均值聚类算法优化聚类结果，以将面片分成不同的簇，最后将这些簇进行分类得到初步分割结果。具体操作如下。
[0059]
首先，根据粗预测子网络203输出的17类概率分布，取出所有被分类为牙齿的结点(面片)t。
[0060]
接着，对t的偏移后的结点坐标q
t
用dbscan(参数为ε＝1.05，minpts＝30)聚成m簇，记为g＝{g1,...,gm}。
[0061]
对于每个gi，若其面片数量少于60，则舍弃该簇，将其视为牙龈(因为面片数量过少，极大概率是气泡)。
[0062]
对每个gi(i＝1,...,m)，用主成分分析计算长轴并计算gi在长轴上的投影长度，若投影长度大于τ，则用k均值聚类对gi分成两簇，如此可将两颗被错误聚类成一颗的牙齿给分开。在一个实施例中，对于前牙，可以设τ＝6.5，对于后牙，可以设τ＝10。
[0063]
对于每个gi，将gi中所有结点的17类概率分布求平均，将概率最高的牙齿类别分配给gi。对于之前被分开的簇，则寻找未被分配的牙齿类别分配给该簇，如果无未被分配的牙
齿则不分配。
[0064]
至此，完成聚类操作。
[0065]
在111中，基于粗预测结果和聚类结果加权计算初步分割结果。
[0066]
在一个实施例中，可以根据以下方程式(3)基于所述粗预测结果和聚类结果加权计算得到更准确的初步分割结果。
[0067][0068]
其中，代表粗预测子网络203输出的面片i属于类别j(j＝0,1,...,16)的概率，σ是非负常量(σ＝2)，m
ij
代表聚类结果，可以用以下式子(4)表达，
[0069][0070]
在113中，利用初步分割结果构建马尔可夫随机场，并利用图割算法得到每个面片的分类结果。
[0071]
由于初步分割结果中存在一些面片被误分割的情况，因此，可以对初步分割结果进行优化。基于初步分割结果(概率分布)，构建马尔可夫随机场，并利用图割算法得到每个面片的类别，即为简化后的牙颌三维数字模型的最终分割结果。在一个实施例中，可以采用由x.xu、c.liu以及y.zheng发表于ieee transactions on visualization and computer graphics,vol.25,no.7,pp.2336
–
2348,2018.的《3d tooth segmentation and labeling using deep convolutional neural networks》中所披露的方法构建马尔可夫随机场。
[0072]
在115中，将简化后的牙颌三维数字模型的最终分割结果映射回原始牙颌三维数字模型。
[0073]
在一个实施例中，可以使用k近邻算法(k＝1)将简化后的牙颌三维数字模型的最终分割结果映射回原始牙颌三维数字模型。
[0074]
在117中，对原始牙颌三维数字模型的分割结果的牙齿边缘进行优化和平滑。
[0075]
在一个实施例中，可以采用模糊聚类算法和最短路径算法对原始牙颌三维数字模型的分割结果的每个牙齿边界进行优化和平滑。
[0076]
在一个实施例中，可以采用由x.xu、c.liu以及y.zheng发表于ieee transactions on visualization and computer graphics,vol.25,no.7,pp.2336
–
2348,2018.的《3d tooth segmentation and labeling using deep convolutional neural networks》中所披露的模糊聚类(fuzzy clustering)和最短路径算法。
[0077]
在一个实施例中，可以对以上论文中的模糊聚类算法的capacity函数加以改进。对于面片i，改进后面片i至其相邻面片j的capacity函数如下：
[0078][0079]
其中，c(i,j)和x的定义与原论文相同，c(i,j)为面片i和面片j之间的flow capacity值，x为面片i的中心至当前牙齿边界的最短测地距离，σ＝0.05，ai和aj分别是面片
i和j的面积，γ＝50。改进后的模糊聚类将面片面积考虑进来，增加了牙齿边界面片面积较小处的分割概率。
[0080]
尽管在此公开了本技术的多个方面和实施例，但在本技术的启发下，本技术的其他方面和实施例对于本领域技术人员而言也是显而易见的。在此公开的各个方面和实施例仅用于说明目的，而非限制目的。本技术的保护范围和主旨仅通过后附的权利要求书来确定。
[0081]
同样，各个图表可以示出所公开的方法和系统的示例性架构或其他配置，其有助于理解可包含在所公开的方法和系统中的特征和功能。要求保护的内容并不限于所示的示例性架构或配置，而所希望的特征可以用各种替代架构和配置来实现。除此之外，对于流程图、功能性描述和方法权利要求，这里所给出的方框顺序不应限于以同样的顺序实施以执行所述功能的各种实施例，除非在上下文中明确指出。
[0082]
除非另外明确指出，本文中所使用的术语和短语及其变体均应解释为开放式的，而不是限制性的。在一些实例中，诸如“一个或多个”、“至少”、“但不限于”这样的扩展性词汇和短语或者其他类似用语的出现不应理解为在可能没有这种扩展性用语的示例中意图或者需要表示缩窄的情况。