一种基于深度学习的口腔疾病识别系统

1.本发明涉及人工智能与医疗健康领域，更具体地，涉及一种基于深度学习的口腔疾病识别系统。


背景技术：

2.我国的国情是人口基数大，从卫生医疗资源投入、卫生服务的可及性和利用程度及卫生健康水平看，城乡和地区之间还存在较大的发展不平衡现象，人民日益增长的口腔病变早期筛查和诊断的需求与目前有限的医疗资源之间的矛盾越发突出。
3.目前现有技术多是借助专业设备和口腔辅助拍摄器械采集的口腔的临床图像，成本高、局限性大，人群自行采集口腔图像难度较大，不易广泛普及；现有技术更多针对口腔图像整体进行疾病分类，没有真正指出口腔疾病具体的发病部位，对于患者的口腔卫生指导缺乏针对性，且对于口腔医生的工作量并没有明显减少；并且现有技术没有通过用户上传图像，进行口腔常见疾病筛查，并将筛查结果和筛查报告实时返回给用户的口腔疾病筛查系统。
4.口腔领域在数字化方面的不断发展，需要继续扩展筛查更多口腔疾病帮助大众。而人工智能技术与医疗健康领域的融合为口腔疾病筛查提供了新的解决方案。


技术实现要素：

5.针对现有技术中的不足，本发明提供了一种基于深度学习的口腔疾病识别系统，可以通过将人工智能技术应用于口腔疾病识别，利用拍摄设备进行图像采集，对口腔常见疾病进行日常筛查，降低了口腔疾病人工智能筛查的使用门槛，并且可以准确指出病灶具体位置，做出预后判断并对患者进行指导。
6.具体地，本发明是通过以下技术方案来实现的：
7.本发明提供了一种基于深度学习的口腔疾病识别系统，该系统包括：
8.图像获取模块，获取采用拍摄设备按照预设规则拍摄得到的口腔图像，其中所述拍摄设备包括智能手机、平板电脑以及数码相机；
9.图像预处理模块，基于经训练的图像预处理模型对所述口腔图像进行预处理，得到目标口腔图像；
10.图像识别模块：图像基于经训练的病变识别模型，对所述目标口腔图像进行口腔疾病识别，得到口腔疾病识别结果；
11.识别报告生成模块，根据所述口腔疾病识别结果生成识别报告，所述识别报告包括病灶具体位置信息、个性化的诊疗建议以及口腔卫生宣教。
12.进一步地，所述病变识别模型为添加了注意力机制并增加了卷积操作的改进的yolov4模型。
13.进一步地，所述系统还包括：模型训练模块，所述模型训练模块包括：
14.数据集模块，对所述口腔图像按照正面咬合照、正面牵拉上唇照、正面牵拉下唇
照、上颌大开口照、下颌大开口照及其他口腔局部照进行标注，得到第一样本数据集，基于所述第一样本数据集，按照口腔疾病类型进行标注，从而得到第二样本数据集；
15.训练模块，将所述第一样本数据集划成第一训练集和第一验证集，并基于所述第一训练集和所述第一验证集训练得到所述口腔图像预处理模型；以及将所述第二样本数据集划成第二训练集和第二验证集，并基于所述第二训练集和所述第二验证集训练得到所述病变识别模型。
16.识别模块，用于对待识别病变的图像依次进行口腔分类检测、口腔病变检测，识别完毕后，获得最终判定结果。
17.进一步地，所述识别报告生成模块包括预后模块，所述预后模块基于所述识别结果和预先输入的经验数据做出预后判断，其中所述预后判断包括判断口腔疾病的特定后果以及预测某段时间内发生某种结局的可能性。
18.进一步地，所述病变识别模型包括以下中的至少一种：牙周疾病识别模型，用于识别牙周组织疾病；牙列缺损识别模型，用于识别牙列缺损及缺失；龋源性疾病识别模型，用于识别龋源性疾病；牙齿颜色结构异常识别模型，用于识别牙齿颜色结构异常；口腔黏膜疾病识别模型，用于识别口腔黏膜疾病；错畸形识别模型，用于识别口腔错畸形疾病。
19.进一步地，所述口腔图像包括：正面咬合图像、正面牵拉上唇图像、正面牵拉下唇图像、上颌大开口图像、下颌大开口图像、其他口腔局部图像中的至少一种。
20.进一步地，所述系统还包括：数据存储模块，用于存储所述识别报告和对应的目标口腔图像。
21.本发明通过经训练的口腔图像处理模型对采用拍摄设备按照预设规则拍摄的口腔图像进行预处理，得到目标口腔图像；基于病变识别模型，对标口腔图像进行口腔疾病识别，得到口腔疾病识别结果；并且生成包括病灶具体位置、个性化的诊疗建议以及口腔卫生宣教的信息识别报告；从而将人工智能技术应用于口腔疾病筛查，降低了口腔人工智能筛查的使用门槛，并且可以准确指出病灶具体位置，为口腔疾病筛查提供了新的解决方案。
附图说明
22.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1是根据本发明的一个实施例的基于深度学习的口腔疾病识别系统的示图；
24.图2是本发明的一个实施例的基于深度学习的口腔疾病识别系统的模型训练模块的示图；
25.图3是yolov4模型的主体架构的示图；
26.图4a是根据本实施例的对yolov4模型的改进的示图；
27.图4b是根据本实施例的对yolov4模型的改进的另一示图；
28.图5是根据本发明的另一实施例的基于深度学习的口腔疾病识别系统的示图。
具体实施方式
29.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
30.图1是根据本发明的一个实施例的基于深度学习的口腔疾病识别系统的示图。参照图1，该系统可以包括图像获取模块101、图像预处理模块102、图像识别模块103和识别报告生成模块104。
31.图像获取模块101用于获取采用拍摄设备按照预设规则拍摄得到的口腔图像；其中拍摄设备包括智能手机、平板电脑以及数码相机等移动终端，在本实施例中可以不采用专业的拍摄设备(例如，内窥镜、智能牙刷、单反相机等)及辅助牵拉设备、反光板等，即可进行相应的口腔疾病识别；口腔常见疾病包括：牙列缺损(牙齿缺失、无法保留的残根、牙列缺损)、龋源性疾病(龋病、龋源性牙髓病、龋源性根尖周病等)、牙周组织疾病(牙龈病、牙周病等)、错畸形(牙列拥挤、牙列间隙、开深覆深覆盖、反牙弓狭窄，安氏 i、ii、iii类错等)、牙齿颜色结构异常(色素、死髓牙、氟斑牙、四环素牙、牙釉质发育不全、畸形牙、磨耗等)、口腔黏膜疾病(口腔溃疡、口腔扁平苔藓、口腔白斑、疱疹性口炎、鹅口疮、口角炎等) 等，针对口腔常见疾病本实施例规定了按照预设规则拍摄的口腔图像包括：正面咬合图像、正面牵拉上唇图像、正面牵拉下唇图像、上颌大开口图像、下颌大开口图像以及其他局部口腔图像，拍摄这些图像的预设规则为：正面咬合图像，患者端坐，咬住后牙做最大限度呲牙动作，保证最大限度露出牙齿和牙龈，拍摄者站于前方，拍摄镜头与前牙在同一水平，进行拍摄；正面牵拉上唇图像，后牙咬住，双手手指向上牵拉上唇，使上牙牙齿及牙龈尽量暴露，拍摄者站于前方，手机镜头与前牙在同一水平，进行拍摄；正面牵拉下唇图像，牙齿微微张开，暴露下牙切端，双手手指向下牵拉下唇，使下牙牙齿及牙龈尽量暴露，拍摄者站于前方，手机镜头与前牙在同一水平，进行拍摄；上颌大开口图像，患者端坐，仰头，最大张口，使上颌牙尽量暴露，拍摄者站于前方，由下向上，进行拍照，注意图像亮度和清晰度，如果上牙拍照不全，可分左右，分别拍照；下颌大开口图像，患者端坐，低头，最大张口，使下颌牙尽量暴露，拍摄者站于前方，由上向下，进行拍照，注意图像亮度和清晰度，如果下牙拍照不全，可分左右，分别拍照；其他局部口腔图像，针对患有龋病的牙齿进行单独拍张，具体角度、位置不限，以能清晰反应牙齿病变为准，可从不同角度拍摄数张，可借助家用物品辅助牵拉口角，帮助暴露病变位置，但物品不可遮挡、紧邻龋损处，以免后期进入识别区域。需要说明的是，本实施例中的图像包括照片和/或视频。
32.另外，预设规则还包括自拍拍摄和他人辅助的方式。其中自拍拍摄：本人手持手机站在镜子前，打开后置摄像头和闪光灯。后置摄像头对准口腔，通过镜子观察是否对准。正面咬合照，咬住后牙做最大限度呲牙动作，保证最大限度露出牙齿和牙龈；正面牵拉上唇照，右手拇指及食指向上牵拉上唇，保证清晰观察到上前牙区及牙龈；正面牵拉下唇照，右手拇指及食指向下牵拉下唇，保证清晰观察到下前牙区及牙龈。5种照片 x均要求拍摄者通过镜子观察保证手机与口腔唇齿保持水平；他人辅助拍摄：他人手持手机，打开后置摄像头和闪光灯。正面咬合照，要求患者正面咬合牙齿，最大限度露出牙齿和牙龈；正面牵拉上唇
照，患者端坐用手指牵拉上唇保证清晰观察到上前牙区及牙龈；正面牵拉下唇照，患者端坐用手指牵拉下唇保证清晰观察到下前牙区及牙龈。5种照片 x均要求拍摄者站于前方，手机镜头与牙齿保持水平。
33.图像预处理模块102用于基于经训练的图像预处理模型对口腔图像进行预处理，得到目标口腔图像；具体地，对待识别的按照预设规则通过拍摄设备拍摄的口腔图像进行预处理包括对口腔图像进行筛选、裁剪和分类。该预处理是通过口腔预处理模型执行的。其中图像预处理使用faster-rcnn网络进行训练得到，faster-rcnn网络由 4个重要部分组成：conv layers region proposal networks roipooling classification。作为一种cnn网络目标检测方法，fasterrcnn首先使用一组基础的conv relu pooling层提取图像的featuremaps。该feature maps被共享用于后续rpn层和全连接层。rpn网络用于生成region proposals。该层通过softmax判断anchors属于 positive或者negative，再利用bounding box regression修正anchors获得精确的proposals。feature maps和proposals输入到roi pooling，综合这些信息后提取proposal feature maps，送入后续全连接层判定目标类别。再利用proposal feature maps计算proposal的类别，同时获得检测框最终的精确位置。
34.具体地预处理步骤可以包括：1)数据预处理，使用上述已标注完成的口腔分类数据集，对数据集图像使用数据增强算法、随机翻转改变图片颜色的方式，实现数据增广、增强；2)训练卷积神经网络模型，针对当前特定问题进行改进，改进的办法有调整优化器、学习率、迁移学习；改进的具体办法为：首先对卷积神经网络训练得到的模型进行判定优劣，调节修改优化器函数，再进行训练；其次，对损失函数进行调整：损失函数包括类别正确和标注正确两部分的损失，对于类别正确的损失情况，赋予不同权重以解决不平衡问题；最后，使用迁移学习的方法，引入已有大数据库训练得到优秀的预训练权重，使得模型具有基本的特征提取能力；3)编写区域裁剪，“收集”经过口腔分类裁剪模型预测带有预测结果的照片，并实现预测区域自动裁剪功能，此过程均由技术人员编码完成；4)输出口腔分类裁剪，完成上传照片的分类和裁剪。
35.图像识别模块103用于基于经训练的病变识别模型，对目标口腔图像进行口腔疾病识别，得到口腔疾病识别结果；其中病变识别模型包括用于识别牙周组织疾病的牙周疾病识别模型，用于识别牙列缺损的牙列缺损识别模型，用于识别龋源性疾病的龋源性疾病识别模型，用于识别牙齿颜色结构异常的牙齿颜色结构异常识别模型，用于识别口腔黏膜疾病的口腔黏膜疾病识别模型，用于识别口腔错畸形的错畸形识别模型。
36.识别报告生成模块104用于根据口腔疾病识别结果生成识别报告。该识别报告模板包括：病人信息、识别结果、对应的图像、病灶具体位置信息、个性化的诊疗建议以及口腔卫生宣教等。其中病灶具体位置信息是根据对应的图像确定的。
37.图2是本发明的一个实施例的基于深度学习的口腔疾病识别系统的模型训练模块的示图，如图2所示，该系统还包括：模型训练模块。模型训练模块包括：数据集模块201、训练模块202、识别模块 203。数据集模块201可以获取通过拍摄设备拍摄的口腔图像，对训练口腔图像中的正面咬合照、正面牵拉上唇照、正面牵拉下唇照、上颌大开口照、下颌大开口照及其他口腔局部照进行标注，得到第一样本数据集，对第一样本数据集，针对口腔病变进行标注(例如，可以利用labelimg标图工具进行标注)，从而得到第二样本数据集；
38.其中基于第一样本数据集，按照口腔疾病类型进行标注进一步包括以下中的至少一项：针对牙列缺损进行标注，标注标签包括牙齿缺失、残根、牙列缺损、正常等中的至少一种；针对口腔龋源性疾病进行标注，标注标签包括面龋源性疾病、正面龋源性疾病、原发龋源性疾病、继发龋源性疾病、正常等中的至少一种；针对口腔牙周组织疾病进行标注，标注标签包括牙龈病、牙周病、正常等中的至少一种；针对口腔错畸形进行标注，标注标签包括牙列拥挤、牙列间隙、开深覆深覆盖、反牙弓狭窄，安氏i、ii、iii类错正常等中的至少一种；针对牙齿颜色结构异常进行标注，标注标签包括色素、死髓牙、氟斑牙、四环素牙、牙釉质发育不全、畸形牙、磨耗、正常等中的至少一种；针对口腔黏膜疾病进行标注，标注标签包括口腔溃疡、口腔扁平苔藓、口腔白斑、疱疹性口炎、鹅口疮、口角炎、正常等中的至少一种。
39.训练模块202可以将第一样本数据集划成第一训练集和第一验证集，并基于第一训练集和第一验证集训练，通过faster-rcnn算法得到口腔图像预处理模型；并将第二样本数据集划成第二训练集和第二验证集，并基于第二训练集和第二验证集，通过yolov4算法训练得到病变识别模型；其中病变识别模型包括用于识别牙周组织疾病的牙周疾病识别模型，用于识别牙列缺损的牙列缺损识别模型，用于识别龋源性疾病的龋源性疾病识别模型，用于识别牙齿颜色结构异常的牙齿颜色结构异常识别模型，用于识别口腔黏膜疾病的口腔黏膜疾病识别模型，用于识别口腔错畸形疾病的口腔错畸形识别模型中的至少一种。
40.口腔图像预处理模型的构建具体为：构建多尺度注意力卷积神经网络模型，并利用所构建完成的多类口腔数据集结合深度学习技术对所述多尺度注意力卷积神经网络模型进行训练；神经网络通过使用 yolo系列网络主体架构进行搭建。yolov4的主体架构由 backbone neck head组成。其中backbone使用cspresnet50作为特征提取的主网络，neck使用panet作为特征层，head使用yolov3 原有head，如图3所示。为了增大感受野，附加spp模块来提升。
41.该病变识别模型为添加了注意力机制并增加了卷积操作的改进的yolov4模型。yolov4固定有大、中、小三个特征提取层，所谓大、中、小层是针对一张图片中标定区域占整张图片大小比例进行划分。经前期对多类口腔疾病数据集的数据统计分析，口腔疾病数据集标定标签占据中层、小层目标居多，其中中层目标尤甚。因为yolo 系列网络对大目标的特征提取能力出众，所以本专利需要对中、小特征层进行处理，使得网络更符合本数据集。
42.注意力机制最初被用于机器翻译，现在已成为神经网络领域的一个重要概念。注意力机制可以利用人类视觉机制进行直观解释。例如，我们的视觉系统倾向于关注图像中辅助判断的部分信息，并忽略掉不相关的信息。本专利为了使得网络更好的学习数据集样本，采用添加注意力机制的方式对网络进行改进。
43.改进如下：将第3个大残差块resblock_body
×
8(52
×
52
×
256)的输出52
×
52
×
256作为cbam的输入，如图4a所示。先使用通道注意力，在空间维度上经过全局平均池化得到1
×1×
256的通道信息，然后使用1
×
3的卷积核进行卷积，最后经过sigmoid激活函数得到 1
×1×
256的通道权重，将输入特征图与得到的通道权重相乘得到52
ꢀ×
52
×
256的输出特征图，再使用空间注意力，对输出特征图在通道维度上分别使用全局最大池化与全局平
均池化，再使用7
×
7的卷积核进行卷积，最后经过sigmoid激活函数得到52
×
52
×
1的空间权重，将通道注意力的输出特征图与得到的空间权重相乘得到52
×
52
ꢀ×
256的输出特征图。其中在第3个大残差块结束向下一特征层传递“信息”前，也添加注意机制模块用来保障提取特征不会因为前一步操作造成特征信息“丢失”。在此过程中由于对提取特征的“重点”分析，可将经过卷积操作的特征进行强调，让网络学会关注重点信息。再者在不影响网络训练能力的前提下，为了获得更大的感受野，使得经过网络的特征尽可能多得到提取；提高训练得到模型在一张图片上检测到不同尺寸的多个物体的能力，保存更多参数。就需要对网络进行适度加深，加深层次比原有层次多出4层卷积层，4层卷积层平均分配在spp模块的前后交界处，如图4b所示。
44.训练模块利用训练样本集对搭建好的口腔疾病筛查模型进行训练，并获得训练完成的口腔疾病筛查模型；训练过程中，分两大批次送入图像进行训练。以牙周组织疾病为例，首批次输入16张牙周组织图像，第二批次输入8张牙周组织图像，输入的图像完成训练后，视为完成了一个批次的训练，训练样本集中的全部牙周组织疾病图像完成一次训练后，视为完成一轮训练；设定训练轮数为适当轮数，当训练轮数达到指定轮数后停止训练，并自动保存训练效果最好的一轮结果作为训练好的牙周组织疾病筛查模型；其中训练效果最好是指模型识别正确率最高；检测模块用于加载训练完成的口腔疾病筛查模型，利用测试样本集对训练好的口腔疾病筛查模型进行验证；将保存好的模型加载到未设置参数的网络上，将测试样本数据集的牙周组织图像输入到已训练好的牙周组织疾病网络中得到输出，将输出结果与专业医师标记结果进行对比，计算准确率，以验证模型的效果。
45.识别模块203可以用于将待识别病变的图像依次进行口腔分类检测、口腔病变检测，识别完毕后，获得最终判定结果。本实施例使用一种网络训练六类模型，其中网络结构的更改和网络参数的调节均根据前期有效实验获得。且网络结构的调整符合数据集样本特点，能保证六类或六类以上疾病经过训练后均得到良好的筛查模型，使用六类模型进行口腔疾病筛查能得到优秀结果。
46.进一步地，识别报告生成模块102还包括：预后模块。该预后模块可以基于识别结果和预先输入的医生的经验数据做出预后判断，其中所述预后判断包括判断口腔疾病的特定后果以及预测某段时间内发生某种结局的可能性。上述的“预后”是指预测口腔疾病的可能病程和结局。它既包括判断疾病的特定后果(例如，康复，某种症状、体征和并发症等其它异常的出现或消失)，也包括提供时间线索，如预测某段时间内发生某种结局的可能性。由于预后是一种可能性，主要指病人群体而不是个人。
47.图5是根据本发明的另一实施例的基于深度学习的口腔疾病识别系统的示图。参照图5，该口腔疾病识别系统还包括：数据存储模块504，用于存储识别报告生成模块503所生产的识别报告和对应的口腔图像，以供用户查看下载经过识别的图像和结果以及多次查证。例外，图5中的图像获取模块501、图像预处理模块502、图像识别模块503以及识别报告生成模块504与图1中的图像获取模块101、图像预处理模块102、图像识别模块103以及识别报告生成模块104 相同，在此省略对其的详细描述。
48.在其他实施例中，口腔疾病识别系统还包括上传模块，用于将待识别的图像(例如照片或视频)，上传至云端服务器等待模型识别。
49.此外，需要说明的是使用根据本发明实施例的基于深度学习的口腔疾病识别系统
进行识别的步骤可以包括：使用拍摄设备(例如，智能手机、平板电脑数码相机)以所述预设规则拍摄待识别的口腔图像 (包括照片或视频)；由图像获取模块获取该口腔图像，并由图像预处理模块对图像进行预处理(筛选、裁剪和分类)；通过图像识别模块，基于经训练的病变识别模型，对目标口腔图像进行口腔疾病识别，得到口腔疾病识别结果；通过识别报告生成模块，基于口腔疾病识别结果，生成识别报告，并给出有针对性的口腔健康卫生宣教和口腔卫生指导；通过数据存储模块存储识别报告和对应的目标口腔图像。
50.由以上可知，本发明通过经训练的口腔图像预处理模型对按照预设规则通过拍摄设备(例如，智能手机、平板电脑以及数码相机等) 拍摄的口腔图像进行筛选、裁剪和分类，得到目标口腔图像；基于病变识别模型，对标口腔图像进行口腔疾病识别，得到口腔疾病识别结果；并且生成包括病灶具体位置、个性化的诊疗建议以及口腔卫生宣教的信息识别报告；从而将人工智能技术应用于口腔疾病筛查，降低了口腔人工智能筛查的使用门槛，并且可以准确指出病灶具体位置，为口腔疾病筛查提供了新的解决方案。
51.在本实施例中，需要说明的是，本发明实施例的系统中的各个模块可以集成于一体，也可以分离部署。上述模块可以合并为一个模块，也可以进一步拆分成多个子模块。
52.此外，在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
53.此外，在本发明中，参考术语“一个实施例”、“实施例”、“另一实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
54.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。