智齿阻生类型识别方法及系统与流程

1.本发明涉及图像处理技术领域，具体涉及一种基于深度学习的口腔根尖片影像智齿阻生类型识别方法及系统。


背景技术：

2.智齿一般在十八岁以后也就是成人之后才萌出，这也就是叫它智齿的原因，有的人智齿因为颌骨骨量的不足不能完全萌出或完全不能萌出，这就形成了埋伏牙即阻生牙，阻生的智齿就叫做阻生智齿。
3.阻生智齿是最常见的阻生齿，阻生智齿对于人类健康有较大危害，如：反复发作的冠周炎，龋齿，下颌疼痛、磨牙，引发三叉神经痛，牙列不齐，邻牙及支持组织的吸收，颅下颌紊乱症，智齿周围囊性病变，口腔粘膜发生癌前病损等。为了减轻阻生智齿对人类身心健康造成的危害，需要对其进行合适的处理，有些阻生智齿需要将智齿拔除，而有些则不需要。
4.而对智齿阻生类型的准确判断，对于医生如何合理的处理阻生智齿的处理能够提供重要诊断依据。
5.申请号为202110442986.8的中国发明专利申请，公开了基于yolo和u
‑
net的口腔曲段影像智齿分割方法，对口腔曲断影像进行图像预处理，对预处理后图像中的智齿进行位置标注得到位置标签，并划分训练集和测试集，利用图像和位置标签训练yolo模型，设置空间位置的置信度阈值，得到智齿的空间位置信息；基于智齿的空间位置信息进行切片处理，将得到的所有包含智齿的切片进行预处理，预处理后对训练集的切片进行像素级的标注；最后采用训练集的切片图像和位置标签训练u
‑
net模型，设置像素类别的置信度阈值进行二值化，最终得到智齿的像素级分类信息，完成智齿分割。
6.虽然上述专利申请中公开了训练的yolo模型和u
‑
net模型，首先利用yolo模型获得智齿的空间位置信息，然后利用u
‑
net模型获得只包含前景与背景的二值图像，最终实现了智齿的精确分割。然而，该专利申请并没有实现如何利用分割好的智齿图像进行阻生类型的分类识别。


技术实现要素：

7.本发明的目的在于提供一种利用二阶段深度学习方法，分别对智齿进行分割及阻生类型的识别，采用了多通道输入，提高了分类准确率的基于深度学习的基于深度学习的智齿阻生类型识别方法及系统，以解决上述背景技术中存在的至少一项技术问题。
8.为了实现上述目的，本发明采取了如下技术方案：
9.一方面，本发明提供一种智齿阻生类型识别方法，包括：
10.获取待识别的口腔根尖片影像图像；
11.利用训练好的智齿分割模型对获取的待识别的口腔根尖片影像图像进行处理，获得分割图像；
12.对分割图像进行智齿区域裁剪，获得智齿区域图像；
13.利用训练好的阻生类型识别模型对智齿区域图像进行处理，获得智齿阻生类型识别结果。
14.优选的，训练所述智齿分割模型包括：对多张口腔根尖片影像图像中的牙齿区域进行特征增强预处理；对完成预处理后的图像进行智齿的标注和智齿阻生类型的标注；对已标注的图像数据进行尺寸归一化，分为训练集、验证集和测试集，对基础网络进行训练和参数优化，得到最终训练好的智齿分割模型。
15.优选的，训练所述阻生类型识别模型包括：基于智齿分割模型的分割结果，对数据集图像进行智齿区域裁剪，获取智齿区域图像；对裁取后的带有智齿阻生类型标注的智齿区域图像数据集进行尺寸归一化，分为训练集、验证集和测试集，对基础网络进行训练和参数优化，得到最终训练好的阻生类型识别模型。
16.优选的，采用灰度值归一化对口腔根尖片影像图像中的牙齿区域进行特征增强预处理。
17.优选的，智齿阻生类型标签，包括近中阻生、远中阻生、水平阻生、垂直阻生和倒置阻生。
18.优选的，训练所述智齿分割模型使用的基础网络为：
19.语义分割网络fcn、deeplab或者u
‑
net 中的一种；
20.或者，
21.目标检测网络yolo、ssd、fast r
‑
cnn或faster r
‑
cnn中的一种。
22.优选的，训练所述阻生类型识别模型的基础网络为vgg、resnet、resnext、densenet、efficientnet或regnet中的一种。
23.第二方面，本发明提供一种智齿阻生类型识别系统，包括：
24.获取模块，用于获取待识别的口腔根尖片影像图像；
25.分割模块，用于利用训练好的智齿分割模型对获取的待识别的口腔根尖片影像图像进行处理，获得分割图像；
26.裁取模块，用于对分割图像进行智齿区域裁剪，获得智齿区域图像；
27.识别模块，用于利用训练好的阻生类型识别模型对智齿区域图像进行处理，获得智齿阻生类型识别结果。
28.第三方面，本发明提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如上所述的智齿阻生类型识别方法。
29.第四方面，本发明提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如上所述的智齿阻生类型识别方法的指令。
30.本发明有益效果：利用二阶段深度学习方法，分别对智齿进行分割及阻生类型的识别，采用了多通道输入，可以快速准确的对口腔根尖片影像中智齿的阻生类型进行识别，保证了分类准确率。
31.本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
32.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
33.图1为本发明实施例所述的智齿阻生类型识别系统功能原理框图。
34.图2为本发明实施例所述的基于深度学习的口腔根尖片影像智齿阻生类型识别方法流程示意图。
35.图3为本发明实施例所述的根尖片影像示意图。
36.图4为本发明实施例所述的智齿标注二值图。
37.图5为本发明实施例所述的智齿区域图像裁取流程示意图。
具体实施方式
38.下面详细叙述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
39.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。
40.还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
41.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件和/或它们的组。
42.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
43.为便于理解本发明，下面结合附图以具体实施例对本发明作进一步解释说明，且具体实施例并不构成对本发明实施例的限定。
44.本领域技术人员应该理解，附图只是实施例的示意图，附图中的部件并不一定是实施本发明所必须的。
45.实施例1
46.如图1所示，本实施例1提供一种基于深度学习的口腔根尖片影像智齿阻生类型识别系统，该系统包括：
47.获取模块，用于获取待识别的口腔根尖片影像图像；
48.分割模块，用于利用训练好的智齿分割模型对获取的待识别的口腔根尖片影像图像进行处理，获得分割图像；
49.裁取模块，用于对分割图像进行智齿区域裁剪，获得智齿区域图像；
50.识别模块，用于利用训练好的阻生类型识别模型对智齿区域图像进行处理，获得智齿阻生类型识别结果。
51.本实施例1中，利用上述的智齿阻生类型识别系统实现了一种智齿阻生类型识别方法，包括：
52.利用获取模块获取待识别的口腔根尖片影像图像；利用分割模块基于训练好的智齿分割模型对获取的待识别的口腔根尖片影像图像进行处理，获得分割图像；利用裁取模块对分割图像进行智齿区域裁剪，获得智齿区域图像；利用识别模块基于训练好的阻生类型识别模型对智齿区域图像进行处理，获得智齿阻生类型识别结果。
53.本实施例1中，训练所述智齿分割模型包括：对多张口腔根尖片影像图像中的牙齿区域进行特征增强预处理；对完成预处理后的图像进行智齿的标注和智齿阻生类型的标注；对已标注的图像数据进行尺寸归一化，分为训练集、验证集和测试集，对基础网络进行训练和参数优化，得到最终训练好的智齿分割模型。
54.本实施例1中，训练所述阻生类型识别模型包括：基于智齿分割模型的分割结果，对数据集图像进行智齿区域裁剪，获取智齿区域图像；对裁取后的带有智齿阻生类型标注的智齿区域图像数据集进行尺寸归一化，分为训练集、验证集和测试集，对基础网络进行训练和参数优化，得到最终训练好的阻生类型识别模型。
55.其中，采用灰度值归一化对口腔根尖片影像图像中的牙齿区域进行特征增强预处理。智齿阻生类型标签，包括近中阻生、远中阻生、水平阻生、垂直阻生和倒置阻生。
56.本实施例1中，智齿分割模型记作wts
‑
net，采用u
‑
net作为wts
‑
net的网络结构。智齿阻生类型识别模型记作wtc
‑
net，采用resnet
‑
50作为wtc
‑
net的网络结构。
57.实施例2
58.如图2所示，本实施例2中，提供一种基于深度学习的口腔根尖片影像智齿阻生类型识别方法，首先获取待识别的口腔根尖片影像图像；然后利用训练好的智齿分割模型对获取的待识别的口腔根尖片影像图像进行处理，获得分割图像；再对分割图像进行智齿区域裁剪，获得智齿区域图像；最后利用训练好的阻生类型识别模型对智齿区域图像进行处理，获得智齿阻生类型识别结果。
59.具体的，本实施例2中，首先对口腔根尖片影像进行图像预处理，对预处理后图像中的智齿进行像素级的标注得到类别标签，并划分训练集、验证集和测试集；随后利用图像和类别标签训练智齿分割模型(wts
‑
net)，通过设置像素类别的置信度阈值对模型输出结果进行二值化，最终得到智齿的像素级分类信息，完成智齿分割；然后基于智齿的分割结果进行图像裁取处理，得到包含智齿区域的图像，对训练集里的智齿区域图像进行图像级的智齿阻生类别标注；最后利用智齿区域图像和阻生类别标注训练智齿阻生类型识别模型(wtc
‑
net)，得到智齿的阻生类型分类信息。
60.本实施例2中，所述基于深度学习的口腔根尖片影像智齿阻生类型识别方法在训练智齿分割模型和阻生类别识别模型时，具体包括如下步骤：
61.步骤1：图像预处理：为了消除不同型号的设备造成的影像灰度分布偏差，同时对
图像中的牙齿区域进行特征增强，提高图像对比度，预处理方法主要采用灰度值归一化，即将图像灰度值归一化至0～255，如下公式所示，其中，x表示图像原始灰度值，y表示归一化之后的灰度值：
62.y＝(x
‑
x
min
)/(x
max
‑
x
min
)*255。
63.步骤2：图像标注：对完成预处理后的如图3所示的图像进行标注，标注对象为智齿，标注内容包括：a)逐像素的二值标注，形成二值图，如图4所示，用于智齿分割模型的训练；b)智齿阻生类型标签，包括近中阻生、远中阻生、水平阻生、垂直阻生和倒置阻生共5种类别，用于智齿阻生类型识别模型的训练。
64.步骤3：智齿分割模型训练：智齿分割模型记作wts
‑
net，这里采用u
‑
net作为wts
‑
net的网络结构。对已标注的图像数据进行尺寸归一化，归一化至448
×
448，然后按照8:1:1分为训练集、验证集和测试集。模型训练采用adam优化器，初始学习率设置为0.0003，损失函数采用dice loss，训练迭代次数设置为50。经过训练和参数优化后，在100例测试样本上的智齿分割dice值为0.9431。
65.步骤4：智齿区域图像裁取：基于wts
‑
net模型的分割结果，对数据集图像进行智齿区域裁剪，获取智齿区域图像，裁剪规则如下：利用智齿分割二值图生成包围框，然后对包围框进行外扩，扩展长度为原始包围框长边的1/3，最后，利用外扩后的包围框对原图像和智齿分割二值图进行裁剪，得到双通道的智齿区域图像，裁取过程如图5所示。
66.步骤5：智齿阻生类型识别模型训练：智齿阻生类型识别模型记作wtc
‑
net，这里采用resnet
‑
50作为wtc
‑
net的网络结构。对裁取后的带有智齿阻生类型标注的智齿区域图像数据集进行尺寸归一化，归一化至384
×
384，然后按照8:1:1分为训练集、验证集和测试集。模型训练采用adam优化器，初始学习率设置为0.0001，损失函数采用交叉熵(cross
‑
entropy)损失函数，训练迭代次数设置为40。经过训练和参数优化后，在100例测试样本上的智齿阻生类型识别准确率为0.93。
67.实施例3
68.本发明实施例3提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如上所述的智齿阻生类型识别方法，该方法包括：
69.获取待识别的口腔根尖片影像图像；
70.利用训练好的智齿分割模型对获取的待识别的口腔根尖片影像图像进行处理，获得分割图像；
71.对分割图像进行智齿区域裁剪，获得智齿区域图像；
72.利用训练好的阻生类型识别模型对智齿区域图像进行处理，获得智齿阻生类型识别结果。
73.实施例4
74.本发明实施例4提供一种计算机程序(产品)，包括计算机程序，所述计算机程序当在一个或多个处理器上运行时，用于实现如上所述的智齿阻生类型识别方法，该方法包括：
75.获取待识别的口腔根尖片影像图像；
76.利用训练好的智齿分割模型对获取的待识别的口腔根尖片影像图像进行处理，获得分割图像；
77.对分割图像进行智齿区域裁剪，获得智齿区域图像；
78.利用训练好的阻生类型识别模型对智齿区域图像进行处理，获得智齿阻生类型识别结果。
79.实施例5
80.本发明实施例5提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如上所述的智齿阻生类型识别方法的指令，该方法包括：
81.获取待识别的口腔根尖片影像图像；
82.利用训练好的智齿分割模型对获取的待识别的口腔根尖片影像图像进行处理，获得分割图像；
83.对分割图像进行智齿区域裁剪，获得智齿区域图像；
84.利用训练好的阻生类型识别模型对智齿区域图像进行处理，获得智齿阻生类型识别结果。
85.综上所述，本发明实施例提供的基于深度学习的口腔根尖片影像智齿阻生类型识别方法及系统，利用二阶段深度学习方法，对智齿的阻生类型进行精确的识别；对于智齿阻生类别识别模型wtc
‑
net，采用了多通道输入，提高分类准确率。
86.其中，训练wts
‑
net模型的基础网络可以使用任意语义分割(比如fcn、deeplab、u
‑
net 等)或者目标检测模型(比如yolo、ssd、fast r
‑
cnn、faster r
‑
cnn等)替换；训练wtc
‑
net模型的基础网络可以使用任意分类模型(比如vgg、resnet、resnext、densenet、efficientnet、regnet等)替换；adam优化器可以用其他优化器替换(比如sgd、adamw等)。
87.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
88.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
89.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
90.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方
框或多个方框中指定的功能的步骤。
91.上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明公开的技术方案的基础上，本领域技术人员在不需要付出创造性劳动即可做出的各种修改或变形，都应涵盖在本发明的保护范围之内。