一种下颌阻生智齿图像处理方法及系统与流程

1.本发明涉及图像处理技术领域，尤其涉及一种下颌阻生智齿图像处理方法及系统。


背景技术：

2.智齿是指人类口腔内，牙槽骨上最里面的上下左右各一的四颗第三磨牙，因为这四颗第三磨牙正好在20岁左右时开始萌出，此时人的生理、心理发育接近成熟，于是被看做是“智慧到来”的象征，故称它为“智齿”。
3.其中，阻生智齿是智齿在萌出的过程中由于存在牙龈阻力、骨阻力或者邻牙阻力的影响，导致智齿无法正常萌出，而且以后也不会萌出的现象，阻生现象按照不同的分类方法有很多种，且每一种阻生都有其特生的特征，而对应的也容易秀发某些具体的口腔疾病。
4.目前，对于智齿阻生类型的识别都是利用vgg(visual geometry group)网络、resnet(residual neural network)网络、densenet(dense convolutional network)网络或efficientnet网络(效率网络)中的一种模型对口腔影像图片进行智齿阻生类型识别。其识别出的智齿所述类型是：垂直阻生( vertical impaction)；水平阻生(horizontal impaction)；近中阻生(mesioangular impaction)；远中阻生(distoangular impaction)；颊向阻生( buccoangular impaction)；舌向阻生(linguoangular impaction)；倒置阻生(inverted impaction)中的一种，其中，数据标签一般根据阻生智齿的长轴与第二磨牙长轴的关系来进行标注的。但是，这几种用于识别智齿阻生类型的模型在速度和精度上尚有较大提升空间，且对于智齿的类型分类不够精细化，不能够将阻生智齿的三维位置表述出来，使得医生在进行诊断的时候无法给出准确的风险评估结果。


技术实现要素：

5.有鉴于此，本发明提供一种下颌阻生智齿图像处理方法及系统，旨在解决对阻生智齿类型识别不精细以及位置定位不精准的技术问题。
6.为解决以上技术问题，本发明提出技术方案为一种下颌阻生智齿图像处理方法，包括：获取待识别的口腔图像；将所述待识别的口腔图像输入训练好的第一网络模型中，输出口腔图像中的阻生智齿类型；将所述待识别的口腔图像输入训练好的第二网络模型中，输出口腔图像中的阻生智齿位置。
7.可选的，所述第一网络模型的训练方法，包括：构建卷积神经网络，并对所述卷积神经网络进行优化，生成优化卷积神经网络；将训练数据集中的训练数据输入到优化卷积神经网络模型中进行训练，输出第一网络模型。
8.可选的，所述建立卷积神经网络，并对所述卷积神经网络进行优化，生成优化卷积神经网络，包括：建立convnext网络；将convnext网络第一个卷积核优化为两个长宽（1,4）和（4,1）的卷积核；在convnext模块中增加注意力机制模块，生成优化convnext网络。
9.可选的，所述第二网络模型的训练方法，包括：构建目标检测网络，并将训练数据集中的训练数据输入到目标检测网络模型进行训练，输出第二网络模型。
10.可选的，所述训练数据集的获取方法，包括：基于口腔原始图像数据，生成额外的口腔高质量图像数据，形成数据集；对所述数据集中的口腔原始图像数据和口腔高质量图像数据按照阻生智齿的分类标准进行标注；基于标注好的口腔原始图像数据和口腔高质量图像数据，生成训练数据集。
11.可选的，所述基于口腔原始图像数据，生成额外的口腔高质量图像数据，包括：利用增强型超分辨率生成对抗网络在所述口腔原始图像数据上生成额外的口腔高质量图像数据对数据集进行扩充。
12.可选的，所述训练数据集划分训练集、验证集、测试集。
13.可选的，所述对所述数据集中的口腔原始图像数据和口腔高质量图像数据按照阻生智齿的分类标准进行标注，包括：对所述数据集中的口腔原始图像数据和口腔高质量图像数据根据阻生智齿的长轴与第二磨牙长轴的关系进行标注；对所述数据集中的口腔原始图像数据和口腔高质量图像数据根据阻生智齿与下颌支及第二磨牙的关系进行标注；对所述数据集中的口腔原始图像数据和口腔高质量图像数据根据阻生智齿在颌骨内的深度进行标注；对所述数据集中的口腔原始图像数据和口腔高质量图像数据根据阻生智齿在牙列中的位置进行标注。
14.可选的，所述下颌阻生智齿图像处理方法对训练数据使用mosaic、缩放、平移进行数据增强。
15.另外，为实现上述发明目的，本发明还提出一种下颌阻生智齿图像处理系统，包括：图像获取模块，用于获取待识别的口腔图像；类型输出模块，用于将所述待识别的口腔图像放入训练好的第一网络模型中，输出口腔图像中的阻生智齿类型；位置输出模块，用于将所述待识别的口腔图像放入训练好的第二网络模型中，输出口腔图像中的阻生智齿位置。
16.与现有技术相比，本发明公开了一种下颌阻生智齿图像处理方法及系统，通过获取待识别的口腔图像；将所述待识别的口腔图像放入训练好的第一网络模型中，输出口腔图像中的阻生智齿类型；将所述待识别的口腔图像放入训练好的第二网络模型中，输出口
腔图像中的阻生智齿位置。其中，第一网络模型基于优化convnext网络训练得到，结合阻生智齿的四种分类标准，获取口腔图像中的阻生智齿类型，第二网络模型基于目标检测网络训练得到，结合阻生智齿的四种分类标准，获取得到口腔图像中的阻生智齿位置。通过本发明对convnext网络进行优化，使得优化后的模型更加健壮，在保证速度的同时，提升精度，结合阻生智齿的四种分类标准，使得识别的阻生智齿类型更精细，定位的阻生智齿位置更精准，进而更有利于辅助医生进行诊断。
附图说明
17.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
18.图1是本发明一实施例提供的一种下颌阻生智齿图像处理方法的步骤示意图；图2是本发明一实施例提供的优化卷积神经网络流程示意图；图3是本发明一实施例提供的阻生智齿四种分类标准的通用分类标准的示意图；图4是本发明一实施例提供的部分阻生智齿分类标准相结合的阻生智齿图示。
具体实施方式
19.为了使本领域技术人员更好的理解本发明实施例，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.现有技术中，对于阻生智齿的分类一般仅用一种分类标准进行标注，以此得到的阻生智齿类型和阻生智齿的位置都是不够精准的，只能大概描述，对于医生根据阻生智齿类型和位置进行诊断时，无疑会提高诊断难度，且还会有误诊的风险，因此如何精准识别阻生智齿的类型并精准定位阻生智齿的三维位置便是降低诊断难度的关键难题。
21.参照图1，是本发明一实施例提供的一种下颌阻生智齿图像处理方法的步骤示意图，包括：s11、获取待识别的口腔图像。
22.在获取待识别口腔图像的时候，本实施例采用cbct（cone beam ct），即锥形束投照计算机重组断层影像设备进行获取，相较于体层ct（螺旋ct）的最大区别在于体层ct的投影数据是一维的，重建后的图像数据是二维的，重组的三维图像是连续多个二维切片堆积而成的，其图像金属伪影较重。而cbct的投影数据是二维的，重建后直接得到三维图像。因此，采用cbct不仅获取三维图像数据快，且拥有很高的各向同性空间分辨力，对于获取图像中的阻生智齿的三维位置信息的时候能够更精准、更精细化。
23.s12、将待识别的口腔图像输入训练好的第一网络模型中，输出口腔图像中的阻生智齿类型。
24.第一网络模型由优化卷积神经网络模型进行训练得到，其中，卷积神经网络在模型选择上，选择convnext网络，优化卷积神经网络模型时基于convnext网络优化得到的，具
体为对convnext原网络进行了两方面改进：其一：将口腔图像输入后的第一个卷积核从原来的长宽(4,4)改成了两个长宽(1,4)和(4,1)的卷积核，步长没有改变。这样做可以减少参数，增加非线性映射，提升性能。
25.其二：在convnext block中增加了se block，这样做可以为网络增加注意力机制，使其在提取特征时更加专注于我们关注的部分，提升了网络性能。
26.需要说明的是，在模型选择上，vgg网络：结构简单，应用性强。但是在网络深度加深时会出现模型退化问题，导致精度不高；resnet网络：引入残差结构，不用担心网络深度加深导致的网络退化。但是在小数据集上容易产生过拟合；densenet网络：借鉴resnet的残差结构，参数相比较resnet减少，但是计算量增加；efficientnet网络：训练图像尺寸很大时，训练速度非常慢；在浅层网络中使用depthwise convolutions速度会很慢；convnext网络：该网络是在resnet网络的基础上进行优化的，参考了swin-transformer网络结构优点；也借鉴了resnext的组卷积，采用了更加激进的depthwise convolution，即group数和通道数channel相同，并且使用layer normalization替代batch normalization。最后在保证模型的识别速度的同时，提升模型的识别精度。
27.因此，在保证模型的识别速度以及模型的识别精度的基础上，convnext网络无疑是其中的佼佼者，其次，在对convnext网络进行进一步优化之后，可以得到更加健壮的优化模型，以实现本实施例中结合阻生智齿的四种分类标准对阻生智齿进行准确识别，进而精准描述牙的三维位置。
28.进一步的，在对优化convnext网络模型进行训练，输出第一网络模型的过程中，首先基于口腔原始图像数据，利用增强型超分辨率生成对抗网络(esrgan)在原始数据cbct图像的上生成额外的高质量cbct图像数据，用于扩充数据集；其次，对数据集中的原始数据和扩充生成的数据分别按照四种阻生智齿的分类标准进行标注，划分出训练集、验证集、测试集，进而在训练数据上使用mosaic（数据增强方法）、缩放、平移进行数据增强，以解决训练数据量少带来的过拟合问题，提高网络的性能。
29.其中，数据集按照6∶2∶2划分为训练集、验证集、测试集。
30.1、首先用训练集训练模型，利用损失函数计算损失，然后反向传播更新模型的权重weight和偏置bias。
31.2、然后用验证集验证模型，根据检验结果，调整训练模型过程中的超参数（训练过程中会有除了权重和偏置外的其他参数，也称超参数，只在训练模型的过程中涉及到，如优化器的参数、学习率等）。
32.3、记录下模型调整过后的信息。
33.重复上述步骤1、2、3（训练过程中一个epoch就是一轮步骤1、步骤2、步骤3。）在经过一定数量的epoch之后，得到一个训练好的模型。
34.在得到训练好的模型之后利用测试集在训练好的模型上得到测试结果，其测试结果可以直观的评估我们训练出的模型的好坏。
35.需要说明的是，现有技术中，在对口腔影像图片进行阻生智齿类型识别的时候，仅选用四种阻生智齿分类标准中的一种进行识别，具体根据阻生智牙的长轴与第二磨牙长轴的关系来进行标注，如图3所示，标准所述类别分别是：垂直阻生( vertical impaction);水平阻生(horizontal impaction);近中阻生(mesioangular impaction);远中阻生(distoangular impaction);颊向阻生( buccoangular impaction);舌向阻生(linguoangular impaction);倒置阻生(inverted impaction)中的一种。另外三种阻生智齿的分类标准分别是：一、根据阻生智齿与下颌支及第二磨牙的关系，具体为：i类：在下颌支前缘和第二磨牙远中面之间,有足够的间隙可容纳阻生智齿牙冠的近远中径。
36.ii类：下颌支前缘与第二磨牙远中面之间的间隙不大,不能容纳智齿的近远中径。
37.iii类：阻生智齿的全部或大部分位于下颌支内。
38.二、根据阻生智齿在颌骨内的深度,分为高位(position a)、中位(position b),低位( position c)阻生，具体为：高位阻生:阻生智齿的最高部位平行或高于牙弓给平面。
39.中位阻生:阻生智齿的最高部位低于给平面,但高于第二磨牙的牙颈部。
40.低位阻生:阻生智齿的最高部位低于第二磨牙的牙颈部。骨埋伏阻生(即牙全部被包埋于骨内)三、根据在牙列中的位置，具体为：颊侧移位﹔舌侧移位﹔正中位。
41.参照图4，是部分阻生智齿分类标准相结合的阻生智齿图示，具体由上述分类标准一和分类标准二结合给出的，是在单一阻生智齿分类标准上进一步细化分类所得到的结果，基于此，在结合四种阻生智齿分类标准后对阻生智齿类型进行识别可以得到更为准确的类型结果以及更为精准的位置描述，例如阻生智齿的一种识别结果：在下颌支前缘和第二磨牙远中面之间,有足够的间隙可容纳阻生智齿牙冠的近远中径、高位阻生、近中阻生、舌侧移位。
42.s13、将待识别的口腔图像输入训练好的第二网络模型中，输出口腔图像中的阻生智齿位置。
43.第二网络模型由目标检测网络模型训练得到，其中，目标检测网络选用yolov5目标检测模型，yolov5目标检测模型是基于yolov4进行改进创新的进阶，其前身还有yolov、yolov2、yolov3，相较于其前身的各个版本，yolov5展现出在各个数据集上收敛速度快、模型可定制型强的特点，同时识别率更高。
44.在本实施例中，利用yolov5目标检测模型对上述优化convnext网络选用的训练数据进行训练以及根据四种阻生智齿的分类标准对训练数据进行标注，进而得到口腔图像中的阻生智齿的三维位置描述信息，定位出阻生智齿、下颌神经，并计算出二者的距离关系，能够更加精准的描述出阻生智齿具体的位置，便于医生根据阻生智齿的位置进行诊断以及后续的医疗建议。
45.本发明一实施例提供的一种下颌阻生智齿图像处理方法，通过获取待识别的口腔图像；将所述待识别的口腔图像放入训练好的第一网络模型中，输出口腔图像中的阻生智齿类型；将所述待识别的口腔图像放入训练好的第二网络模型中，输出口腔图像中的阻生
智齿位置。其中，第一网络模型基于优化convnext网络训练得到，结合阻生智齿的四种分类标准，获取口腔图像中的阻生智齿类型，第二网络模型基于目标检测网络训练得到，结合阻生智齿的四种分类标准，获取得到口腔图像中的阻生智齿位置。通过本发明识别的阻生智齿类型更精细，定位的阻生智齿位置更精准，进而更有利于辅助医生进行诊断。
46.进一步的，本发明一实施例提供的一种下颌阻生智齿图像处理系统，包括：图像获取模块，用于获取待识别的口腔图像；类型输出模块，用于将待识别的口腔图像放入训练好的第一网络模型中，输出口腔图像中的阻生智齿类型；位置输出模块，用于将待识别的口腔图像放入训练好的第二网络模型中，输出口腔图像中的阻生智齿位置。
47.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
48.以上仅是本发明的优选实施方式，应当指出的是，上述优选实施方式不应视为对本发明的限制，本发明的保护范围应当以权利要求所限定的范围为准。对于本技术领域的普通技术人员来说，在不脱离本发明的精神和范围内，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。