牙齿的计算机断层扫描图像的分割方法与流程

1.本技术总体上涉及牙齿的计算机断层扫描图像的分割方法。


背景技术：

2.随着计算机科学的不断发展，牙科专业人员越来越多地借助计算机技术来提高牙科诊疗的效率。在借助计算机的牙科诊疗中，经常会用到牙齿的三维数字模型。
3.目前，通过口内扫描，或者通过扫描牙齿的印模或实体模型，能够获得精度较高的牙冠的三维数字模型，但是这种方法无法获得牙根的信息。
4.对于一些需要掌握牙根信息的诊疗项目(例如，牙齿正畸治疗)，可以利用断层扫描技术(computedtomography，简称ct)可以获得牙齿整体的二维断层图像序列(包括牙冠和牙根)，并基于此产生牙齿整体的三位数字模型。由于利用计算机断层扫描技术获得的二维断层图像不仅包括牙齿，还包括颌骨，因此，在利用二维断层图像序列建立牙齿整体的三维数字模型之前，就需要对其进行分割，以剔除颌骨部分，保留牙齿部分。
5.鉴于以上，有必要提供一种牙齿的计算机断层扫描图像的分割方法。


技术实现要素：

6.本技术的一方面提供了一种计算机执行的牙齿的计算机断层扫描图像的分割方法，它包括：获取表示第一牙颌萌出牙牙冠的第一三维数字模型和所述第一牙颌的二维断层图像序列；利用局部图像分类模型，基于所述第一牙颌的二维断层图像序列，为每一萌出牙自所述第一牙颌的二维断层图像序列中选定起始分割的二维断层图像，所述局部图像分类模型是经训练的深度神经网络，用于将局部二维断层图像分为包括牙冠和牙根的类别；基于所述第一三维数字模型，获取每一萌出牙的位置和范围信息；以及对于每一萌出牙，利用所述位置和范围信息，利用局部图像分割模型，自对应的起始分割的二维断层图像起向牙冠和牙根方向对该萌出牙的局部图像进行分割，获得其二值遮罩图像序列。
7.在一些实施方式中，所述第一三维数字模型是通过以下方法之一获得：口内扫描或者扫描牙齿印模或实体模型。
8.在一些实施方式中，所述第一牙颌的二维断层图像是通过锥束计算机断层扫描获得。
9.在一些实施方式中，所述的计算机执行的牙齿的计算机断层扫描图像的分割方法还包括：对于每一萌出牙，利用所述位置和范围信息，利用所述局部图像分割模型，对该萌出牙的起始分割的二维断层图像中该萌出牙的局部图像进行分割，获得该萌出牙对应所述起始分割的二维断层图像的遮罩二值图像；以及对于每一萌出牙，将前一二维断层图像对应的遮罩二值图像作为范围信息，并利用该范围信息，利用所述局部图像分割模型对下一二维断层图像中该萌出牙的局部图像进行分割。
10.在一些实施方式中，所述的计算机执行的牙齿的计算机断层扫描图像的分割方法还包括：利用全局图像分割模型和所述局部图像分类模型，基于所述第一牙颌的二维断层
图像序列，提取所述第一牙颌萌出牙的牙冠部分的遮罩图像序列，其中，所述全局图像分割模型是经训练的深度神经网络，用于对二维断层图像进行分割，以提取全局牙齿遮罩图像；以及将所述第一三维数字模型和所述第一牙颌萌出牙的牙冠部分的遮罩图像序列在第一平面投影并将两者的投影进行配准，以获得所述位置和范围信息。
11.在一些实施方式中，对于每一萌出牙，所述起始分割的二维断层图像中该萌出牙的局部图像是位于牙齿中段。
12.在一些实施方式中，对于每一萌出牙，所述起始分割的二维断层图像中该萌出牙的局部图像是位于牙颈。
13.在一些实施方式中，所述的计算机执行的牙齿的计算机断层扫描图像的分割方法还包括：利用全局图像分割模型，基于所述第一牙颌的二维断层图像序列，提取所述第一牙颌的全局牙齿遮罩图像序列，其中，所述全局图像分割模型是经训练的深度神经网络，用于对二维断层图像进行分割，以提取全局牙齿遮罩图像；利用所述局部图像分类模型，删除所述第一牙颌的全局牙齿遮罩图像序列中所有萌出牙的牙根部分的遮罩，获得第二遮罩图像序列；基于所述第二遮罩图像序列产生遮罩亮度曲线，并基于所述亮度曲线确定所述第一牙颌的二维断层图像序列中埋伏牙所在的范围；对于每一埋伏牙，在所述埋伏牙所在范围内，确定起始分割的二维断层图像；以及对于每一埋伏牙，利用所述局部图像分割模型，自对应的起始分割的二维断层图像起向牙冠和牙根方向对该埋伏牙的局部图像进行最终分割，获得其二值遮罩图像序列。
14.在一些实施方式中，所述的计算机执行的牙齿的计算机断层扫描图像的分割方法还包括：对于每一埋伏牙，利用所述局部图像分割模型，在所述二维断层图像范围内，对其局部图像进行预分割，并基于分割获得的遮罩面积确定其起始分割的二维断层图像。
15.在一些实施方式中，对于每一埋伏牙，将所述预分割获得的最大面积遮罩所对应的二维断层图像作为起始分割的二维断层图像。
16.在一些实施方式中，所述的计算机执行的牙齿的计算机断层扫描图像的分割方法还包括：若两个埋伏牙的最大面积遮罩中心点之间的距离小于第一阈值，那么，不对面积较小的遮罩所对应的埋伏牙利用所述局部图像分割模型进行最终分割。
17.在一些实施方式中，所述的计算机执行的牙齿的计算机断层扫描图像的分割方法还包括：若一个埋伏牙的最大面积遮罩中心点与最近萌出牙对应其分割起始二维断层图像的遮罩的中心点之间的距离大于第二距离阈值，那么，不对该埋伏牙利用所述局部图像分割模型进行最终分割。
附图说明
18.以下将结合附图及其详细描述对本技术的上述及其他特征作进一步说明。应当理解的是，这些附图仅示出了根据本技术的若干示例性的实施方式，因此不应被视为是对本技术保护范围的限制。除非特别指出，附图不必是成比例的，并且其中类似的标号表示类似的部件。
19.图1为本技术一个实施例中计算机实施的牙齿三维数字模型的融合方法的示意性流程图；
20.图2a展示了本技术一个例子中被分类为下颌骨的二维断层图像；
21.图2b展示了本技术一个例子中被分类为上颌骨的二维断层图像；
22.图2c展示了本技术一个例子中被分类为牙齿的二维断层图像；
23.图2d展示了本技术一个例子中被分类为咬合牙齿的二维断层图像；
24.图2e展示了本技术一个例子中被分类为开颌牙齿的二维断层图像；以及
25.图3展示了本技术一个例子中利用全局图像分割模型提取出的全局牙齿遮罩。
具体实施方式
26.以下的详细描述引用了构成本说明书一部分的附图。说明书和附图所提及的示意性实施方式仅仅是出于说明性之目的，并非意图限制本技术的保护范围。在本技术的启示下，本领域技术人员能够理解，可以采用许多其他实施方式，并且可以对所描述实施方式做出各种改变，而不背离本技术的主旨和保护范围。应当理解的是，在此说明并图示的本技术的各个方面可以按照很多不同的配置来布置、替换、组合、分离和设计，这些不同配置都在本技术的保护范围之内。
27.本技术的一方面提供了一种牙齿的计算机断层扫描图像的分割方法，用于提取二维断层图像序列中的牙齿部分。
28.在一个实施例中，可以利用锥束计算机断层扫描(cone beam computed tomography，简称cbct)获取牙齿的二维断层图像序列，可以理解，也可以利用其他计算机断层扫描技术获取牙齿的二维断层图像序列。其中，牙齿的二维断层图像是灰度图。
29.请参图1，为本技术一个实施例中的牙齿的计算机断层扫描图像的分割方法100的示意性流程图。
30.为了便于说明，下面以单个牙颌(即上颌或下颌)为例，对牙齿的计算机断层扫描图像的分割方法100进行说明。
31.在101中，获取表示第一牙颌的牙冠的第一三维数字模型以及第一牙颌的二维断层图像序列。
32.在一个实施例中，可以通过口内扫描，或者扫描牙齿印模或实体模型(例如，牙齿的石膏模型)，获得第一三维数字模型，其中，所述第一三维数字模型可以是经分割的，即其中的每一个牙冠是独立的。获取所述第一三维数字模型的技术手段已为业界所习知，此处不再赘述。
33.通常，利用计算机断层扫描获得的是上、下颌整体的二维断层图像序列，要获得上颌或者下颌的二维断层图像序列，可以利用全局图像分类模型将其分成上颌与下颌两部分。全局图像分类模型是基于深度卷积神经网络，它可以是vgg网络、inception网络或resnet网络等。在一个实施例中，所述全局图像分类模型可以将二维断层图像分为五个类别：下颌骨、牙齿、咬合牙齿、开颌牙齿以及上颌骨，即为每一张二维断层图像分配一个类别。其中，仅包含下颌骨或上颌骨的二维断层图像将被分类为下颌骨或上颌骨；同时包含颌骨与牙齿的二维断层图像将被分类为牙齿；同时包含上颌牙齿与下颌牙齿的二维断层图像将被分类为咬合牙齿；仅包含单个牙颌(例如，上颌或下颌)磨牙的二维断层图像将被分类为开颌牙齿(患者在开颌状态下扫描获得的二维断层图像序列中通常包括这类二维断层图像)。
34.请参图2a，展示了一个例子中被分类为下颌骨的二维断层图像。
35.请参图2b，展示了一个例子中被分类为上颌骨的二维断层图像。
36.请参图2c，展示了一个例子中被分类为牙齿的二维断层图像。
37.请参图2d，展示了一个例子中被分类为咬合牙齿的二维断层图像。
38.请参图2e，展示了一个例子中被分类为开颌牙齿的二维断层图像。
39.在103中，基于所述第一牙颌的二维断层图像序列提取牙冠部分的遮罩。
40.在一个实施例中，可以利用全局图像分割模型基于所述第一牙颌的二维断层图像序列提取牙齿部分的遮罩，得到所述第一牙颌的全局牙齿遮罩图像序列，每一全局牙齿遮罩图像包含对应二维断层图像中所有牙齿的遮罩，并且这些牙齿遮罩被作为一个整体，即未对其按单颗牙齿进行分割，其中，遮罩图像是二值图像。所述全局牙齿分割模型可以是经训练的深度卷积神经网络，例如，fcn网络、unet网络或vnet网络等。在一个实施例中，对一张二维断层图像进行分割时，所述全局牙齿分割模型对该二维断层图像的每一个像素进行分类，以提取出属于牙齿的像素。
41.请参图3，展示了一个例子中利用全局图像分割模型提取出的全局牙齿遮罩。
42.接着，可以利用局部牙齿分类模型对所述第一牙颌的牙齿遮罩的二值图像序列中每一牙齿遮罩连通域所对应的牙齿局部图像进行分类，去除牙根遮罩，保留牙冠遮罩，得到所述第一牙颌的牙冠遮罩图像序列。所述局部牙齿分类模型可以是经训练的深度卷积神经网络，例如，vgg网络、inception网络或resnet网络等。在一个实施例中，所述局部牙齿分类模型可以将每一牙齿遮罩连通域所对应的牙齿局部图像分为三个类别：牙冠、牙根以及背景。
43.由于牙根部分的遮罩一般不存在邻牙之间粘连的情况，因此，可以根据所述局部分类的结果从所述第一牙颌的全局牙齿遮罩图像序列中删除各牙齿牙根部分的遮罩。
44.在105中，将所述第一三维数字模型以及所述第一牙颌的牙冠遮罩图像序列在第一平面上投影并进行配准。
45.在一个实施例中，所述第一平面可以平行于所述第一牙颌的二维断层图像。在又一实施例中，所述第一平面可以平行于所述第一三维数字模型的坐标系的xy平面。
46.以下将所述第一三维数字模型在所述第一平面的二维投影图像记为t1，将所述第一牙颌的牙冠遮罩图像序列在所述第一平面的二维投影图像记为i1。
47.在一个实施例中，可以采用以下方法通过沿所述第一平面的平移和绕垂直于所述第一平面的第一轴线的旋转将t1和i1进行配准。
48.首先，将t1旋转r度，得到tr1，将tr1作为模板图像，i1作为源图像，做模板匹配。用归一化方差和方法计算匹配系数矩阵，匹配系数矩阵中值最小的像素位置即为最佳匹配中心点。r可以在设定范围内选取一些离散值，例如，从-10度到10度，步长为2度选取11个旋转角度。
49.接着，为得到的一系列匹配系数矩阵的每一个计算一个匹配系数值(即对应系数矩阵的最小值)，筛选出其中最小的匹配系数值，其所对应的匹配系数矩阵所对应的旋转角度即为最佳匹配旋转角度，记为r
tm1
。模板图像的偏移量即为最小匹配系数值所对应的坐标值min_loc_x1和min_loc_y1。r
tm1
、min_loc_x1以及min_loc_y1即为最佳匹配变换参数，至此完成配准。
50.在本技术的起始下，可以理解，除了以上配准方法之外，还可以采用任何适用的其
他配准方法，此处不再一一列举。
51.在107中，基于所述配准的结果和所述第一三维数字模型确定萌出牙的位置和范围信息。
52.在一个实施例中，可以计算所述第一三维数字模型中各牙冠的中心点(例如，可以通过计算每一牙冠的顶点的平均坐标获得其中心点)，然后将这些中心点在所述第一平面上投影，得到投影图像c1。
53.将c1按所述配准得到的变换参数旋转r
tm1
，沿x轴偏移min_loc_x1，以及沿y轴偏移min_loc_y1，得到变换后的图像c
t1
，将其作为所述第一牙颌各萌出牙的位置信息。
54.将所述第一三维数字模型中各牙冠在所述第一平面的投影按所述配准得到的变换参数旋转r
tm1
，沿x轴偏移min_loc_x1，以及沿y轴偏移min_loc_y1，得到变换后的图像，将其作为所述第一牙颌各萌出牙的范围信息。
55.在109中，基于所述牙齿的位置和范围信息，利用局部牙齿分类模型和局部牙齿分割模型对所述第一牙颌的二维断层图像序列进行重新分割，获得所述萌出牙的遮罩序列。
56.在一个实施例中，在所述第一牙颌的二维断层图像上以所述萌出牙的中心点为中心，以预设的范围(例如，边长为15mm的正方形，可以理解，这个预设的范围可以根据不同的像素间距和物理尺寸进行调整)截取牙齿局部图像。然后，利用所述局部牙齿分类模型对这些牙齿局部图像分类为牙冠、牙根或背景，即可得到牙根和牙冠相邻接的断层图像位置，即牙颈所在的断层图像位置。
57.在一个实施例中，对于每一颗萌出牙，可以自牙颈所在断层图像开始，分别向牙冠和牙根两个方向进行分割，即先对牙颈所在断层图像进行分割，以提取该萌出牙的遮罩，接着，再以该萌出牙的当前遮罩作为参考，对下一断层图像进行分割。在本技术的启示下，可以理解，也可以自牙颈所在断层图像附近的断层图像开始(即牙齿中段的断层图像)(由于同一牙齿在邻近的断层图像中的牙齿遮罩的形状变化不大，不会降低分割的准确性)，分别向牙冠和牙根两个方向进行分割。对于每一颗萌出牙，都选定一个断层图像作为分割的起始点，以下将该选定的断层图像称为该萌出牙的起始分割断层图像。
58.在一个实施例中，对于每一颗萌出牙，可以基于所述位置和范围信息(即所述第一三维数字模型中对应该萌出牙的牙冠在所述第一平面上的投影经所述变换参数变换后的结果)，利用局部牙齿分割模型对其在起始断层图像中的局部断层图像进行分割，以提取其在当前断层图像(即起始断层图像)中的牙齿遮罩。所述局部牙齿分割模型可以是经训练的深度卷积神经网络，例如，fcn网络、unet网络或vnet网络等，用于在牙齿局部断层图像中提取出牙齿遮罩。对一张局部断层图像进行分割时，所述局部牙齿分割模型对该局部断层图像的每一个像素进行分类，以提取出属于牙齿的像素。
59.在一个实施例中，对于同一萌出牙的下一断层图像的分割，可以基于该萌出牙在当前断层图像的牙齿遮罩，利用局部牙齿分割模型对其在下一断层图像中的局部断层图像(由所述牙齿局部分类模型处理得到)进行分割，以提取其在下一断层图像中的牙齿遮罩。以此类推，直至提取出该萌出牙在所有断层图像中的遮罩。
60.简单地说，对所述第一牙颌的断层图像序列的精确分割包括两个步骤：第一，基于所述位置，利用所述局部牙齿分类模型，对局部断层图像进行分类，以找到各萌出牙牙颈所在断层图像；第二，基于所述位置和范围信息，利用所述局部牙齿分割模型，对所述局部断
层图像进行分割。由于参考了所述位置和范围信息，有效地提高了所述局部牙齿分类模型和局部牙齿分割模型的准确度以及效率。
61.在一些情况下，除了萌出牙，所述第一牙颌还可能包括埋伏牙，此时，还需要对这些埋伏牙进行分割。在所述局部断层图像分割中，除了分割获得萌出牙的遮罩序列，同时也获得了埋伏牙的遮罩序列，但对埋伏牙的这个分割结果的准确性可能不高，因此，可以进行以下操作，以获得比较准确的埋伏牙的分割结果。
62.在111中，利用牙齿遮罩亮度曲线检测埋伏牙。
63.在一个实施例中，亮度曲线的横坐标可以是断层图像位置，纵坐标可以是每个断层图像中牙齿遮罩的亮度总和，即牙齿遮罩的像素数总和或像素值总和。
64.通常，在z轴方向上，下颌埋伏牙是位于下颌萌出牙的牙颈之下，上颌埋伏牙是位于上颌埋伏牙之上。将之前分割获得的全局牙齿遮罩序列称为第一遮罩序列，由于之前已经获得准确性较高的萌出牙的局部分割结果，可以在所述第一遮罩序列中将所有萌出牙的牙根的遮罩去除，仅保留萌出牙的牙冠的遮罩，得到第二遮罩序列。基于该第二遮罩序列产生的牙齿遮罩亮度曲线将包括一个主峰和一个小峰，主峰对应萌出牙牙冠所在断层图像索引范围，而小峰则对应埋伏牙所在断层图像索引范围。接着，可以在所述小峰所对应的断层图像索引范围内检测埋伏牙。由于在所述第二牙齿遮罩序列中，已经将萌出牙的牙根遮罩删除，因此，在所述第二牙齿遮罩序列的所述范围内，只有埋伏牙遮罩。
65.然后，对于每一埋伏牙，利用局部牙齿分割模型对其局部断层图像进行预分割，获得其遮罩序列，从中找出面积最大的遮罩，将该遮罩的中心点作为后续局部分割的种子点。
66.此时获得的种子点中可能存在伪种子点，在一个实施例中，可以基于距离判别标准，通过以下方法筛除这些伪种子点。
67.在一个实施例中，可以设定第一距离阈值为3mm，若两颗埋伏牙的种子点之间的距离(三维空间距离)小于该第一距离阈值，那么，这两个种子点很可能属于同一埋伏牙，因此，去除遮罩面积较小的种子点。
68.在一个实施例中，可以设定第二距离阈值为15mm，若埋伏牙的种子点与最近的萌出牙种子点的距离大于该第二距离阈值，那么，该种子点很可能属于颌骨，因此，去除该埋伏牙种子点。
69.最后，对于每一剩余的种子点，从其所在的层开始，分别向牙冠和牙根两个方向，利用所述局部牙齿分割模型进行局部分割，获得其所对应的埋伏牙的完整遮罩序列。
70.在获得所有牙齿(包括萌出牙和埋伏牙)的遮罩序列后，可以利用邻层约束、高斯平滑和分水岭分割等方法对其进行优化。
71.牙齿遮罩邻层约束算法可以去除牙齿分割结果中过分割的区域，其具体操作如下：
72.设种子点所在断层索引为s，对s断层的牙齿局部图像is进行分割，得到s断层牙齿的遮罩图像ms；
73.将is作为模板图像，s 1断层图像作为源图像进行模板匹配，得到s 1断层中牙齿的中心点；
74.对s 1断层的牙齿局部图像i
s 1
进行分割，得到s 1断层牙齿的遮罩图像m
s 1
；
75.对ms进行位移变换，使ms的中心点与m
s 1
的中心点重合；
76.对ms做形态学膨胀运算，得到膨胀后的遮罩图像m
sd
，结构元素大小可采用3；
77.用m
sd
和m
s 1
做与运算，得到邻层牙冠遮罩约束后的遮罩结果图像m
rs 1
；
78.用m
rs 1
作为s 1断层的遮罩图像，对s 2断层重复以上操作计算s 2断层的遮罩图像，以此类推，直至处理完所有牙齿遮罩。
79.在一个实施例中，可以采用高斯平滑对经邻层约束算法处理的牙齿遮罩图像序列进行平滑处理。
80.分水岭分割算法可以检测相连牙冠的边界，在分割结果中去除相连的邻牙区域，具体操作如下：
81.对第i层牙冠断层局部图像用局部牙齿分割模型进行分割，得到牙冠遮罩图像m
io
；
82.判断牙冠是否与邻牙相连，若m
io
中的牙冠连通域包含图像边界位置，则判断该牙冠与邻牙相连，即牙冠遮罩图像m
io
中包含邻牙区域；
83.由i-1层的牙齿遮罩图像m
i-1
和m
io
根据以下方程式(1)生成标记图像marker，
84.marker＝erode(((mio-dilate(mi-1))|mio))
ꢀꢀꢀ
方程式(1)
85.其中，erode和dilate分别为形态学腐蚀运算和膨胀运算，“|”为或运算，
86.以marker为标记图像，对第i层牙冠断层局部图像应用分水岭分割算法，得到牙齿边界图像b；
87.用m
io
减去边界图像b得到分离的牙冠遮罩图像，在牙冠遮罩图像中提取包含图像中心点的连通区域得到断层i的牙冠遮罩图像mi，其中，mi为不包含邻牙区域的牙冠遮罩。
88.在获得所述第一牙颌所有牙齿的遮罩序列后，就可以基于它产生这些牙齿的整体(包括牙冠和牙根)三维数字模型，对于一些牙齿诊疗项目，牙齿的整体三维数字模型非常有用，因为，不仅可以获得牙冠之间的关系，还能获得牙根之间的关系。
89.尽管在此公开了本技术的多个方面和实施例，但在本技术的启发下，本技术的其他方面和实施例对于本领域技术人员而言也是显而易见的。在此公开的各个方面和实施例仅用于说明目的，而非限制目的。本技术的保护范围和主旨仅通过后附的权利要求书来确定。
90.同样，各个图表可以示出所公开的方法和系统的示例性架构或其他配置，其有助于理解可包含在所公开的方法和系统中的特征和功能。要求保护的内容并不限于所示的示例性架构或配置，而所希望的特征可以用各种替代架构和配置来实现。除此之外，对于流程图、功能性描述和方法权利要求，这里所给出的方框顺序不应限于以同样的顺序实施以执行所述功能的各种实施例，除非在上下文中明确指出。
91.除非另外明确指出，本文中所使用的术语和短语及其变体均应解释为开放式的，而不是限制性的。在一些实例中，诸如“一个或多个”、“至少”、“但不限于”这样的扩展性词汇和短语或者其他类似用语的出现不应理解为在可能没有这种扩展性用语的示例中意图或者需要表示缩窄的情况。