一种牙齿自动分割和标志定位的两阶段深度学习方法与流程

本发明属于医学图像处理领域，具体涉及一种牙齿自动分割和标志定位的两阶段深度学习方法。

背景技术：

1、近些年，数字牙科得到快速发展，提高了牙医的效率，提高了正畸诊断、治疗计划和手术指南的准确性。数字牙科的一个基本组成部分是从cbct图像中对牙齿、颌骨和颅骨进行3d分割。此外，单个牙齿几何形状和颌骨的精确数字模型有助于模拟修复体评估、头影测量分析、计算机辅助数字种植体计划和咬合不规则预测。但是从cbct图像中自动准确地分割单个牙齿是一项艰巨的任务，原因如下：a.牙根与其周围牙槽骨之间的强度相似；b.牙冠部分相邻牙齿之间的附着边界。

2、现有技术中通常是采用基于全卷积网络（fcn）的全牙自动分割方法，而不是单个牙齿分割，这种方法的缺点是牙齿可能被分成几个部分，导致分水岭转换会为单个牙齿分配几个标签，存在分割不够准确和稳健的问题。此外，现有技术中也有采用mask r-cnn深度学习的方法对单个牙齿进行分割和识别，但是存在不能反映上下文（全局）信息，从而分割不够准确和稳健的问题。

技术实现思路

1、本发明提供了一种牙齿自动分割和标志定位的两阶段深度学习方法，旨在解决现有技术中单个牙齿三维分割不准确、牙根边界模糊、相邻牙齿粘连、数据标注成本高等问题，提供一种两阶段深度学习方法，在全景图像重建、牙齿检测、2d分割、3d分割等各环节实现差异化技术路径，显著提高分割精度和鲁棒性，本发明的技术方案如下：

2、一方面本发明公开了一种牙齿自动分割和标志定位的两阶段深度学习方法，包括以下步骤：

3、s1、利用牙齿3d cbct图像重建上下颌的全景图像；

4、s2、利用cbam注意力引导的特征提取网络对全景图像进行牙齿检测，输出每个牙齿的边界框，并依据所述边界框裁剪出单个牙齿图像；同时根据边界框的中心坐标按照fdi系统为每颗牙齿分配唯一编号；

5、s3.利用基于多尺度膨胀卷积和坐标注意力的u-net模型对裁剪出的单个牙齿图像进行2d分割，获得2d分割掩膜，最终得到所有牙齿的2d牙齿分割区域；

6、s4、将所述2d单个牙齿的边界框投影回3d cbct图像，提取松散3d牙齿兴趣识别区域；将所述2d牙齿分割区域投影回3d cbct图像，提取紧密3d牙齿兴趣识别区域；

7、s5、将所述松散3d牙齿兴趣识别区域和所述紧密3d牙齿兴趣识别区域输入3d分割模型，并采用包含体素级交叉熵损失、边界增强dice损失、以及以检测框中心为约束的中心距离损失的混合增强损失函数对所述3d分割模型进行训练，得到牙齿3d分割结果。

8、进一步地，s1具体包括以下步骤：

9、s11、将牙齿3d cbct图像分解为多个2d切片，针对每个2d切片使用multi-otsu算法分割，并获取二进制骨骼图像；

10、s12、利用连通区域标记技术ccl提取上颌部分和下颌部分；

11、s13、将提取出的上颌部分和下颌部分转换成对应的灰度图像，并基于灰度图像得到z方向上的mip图像，包括上颌mip图像和下颌mip图像；

12、s14、依次利用otsu算法和形态关闭算子对mip图像进行处理得到二进制牙弓区域，包括二进制上牙弓区域和二进制下牙弓区域；

13、s15、针对二进制牙弓区域，采用形态学骨骼化方法来提取牙弓区域的中轴，然后将三次样条曲线拟合、插值、外推技术应用于所述的中轴内侧，得到完全通过牙弓区域的光滑参考曲线，包括上牙弓参考曲线和下牙弓参考曲线；

14、s16、基于光滑参考曲线进行拟合得到上下颌的全景图像。

15、进一步地，所述步骤s15中所述外推的延伸长度根据全景图像中检测到的牙齿尺寸自适应确定，具体为：

16、外推长度

17、其中为全景图像中检测到的所有牙齿的近远中径均值，k为自适应外推倍数；

18、当全景图像中检测到的磨牙数量大于或等于4时，所述自适应外推倍数k的取值范围为[2,3]；

19、当检测到的磨牙数量小于4时，所述自适应外推倍数k的取值范围为[4,5]。

20、进一步地，步骤s2中，利用cbam注意力引导的特征提取网络对全景图像进行牙齿检测，具体包括以下步骤：

21、采用特征提取主干网络对输入的全景图像进行卷积和下采样操作，输出多尺度特征图；

22、将所述多尺度特征图依次输入通道注意力模块和空间注意力模块，输出增强特征图；

23、其中，所述通道注意力模块用于对输入的特征图分别进行全局平均池化和全局最大池化，将两个池化结果输入共享的全连接网络后逐元素求和，再经sigmoid激活函数处理，生成通道权重；所述空间注意力模块用于对经通道注意力模块加权后的特征图沿通道维度进行平均池化和最大池化，将两个池化结果拼接后经卷积层和sigmoid激活函数处理，生成空间权重；

24、在所述增强特征图上，以滑动窗口方式生成多个锚框，并为每个锚框并行预测以下三组输出：置信分数，表示该锚框内包含牙齿的概率；边界框偏移量，用于调整锚框的位置和尺寸以拟合牙齿边界；牙齿类别概率，表示该锚框内牙齿属于切牙、尖牙、前磨牙或磨牙的概率。

25、进一步地，为每个锚框并行预测步骤中，所述置信分数采用自适应非对称阈值策略进行设置，具体包括：

26、构建置信度阈值函数：

27、

28、其中，为根据置信度阈值函数得到的置信分数，r表示牙齿所属的区域类型，所述区域类型包括上颌切牙区、上颌磨牙区、下颌各区及其他牙位区；为基准阈值，为区域调节因子，为预设的灵敏度控制参数。

29、进一步地，利用基于多尺度膨胀卷积和坐标注意力的u-net模型对裁剪出的单个牙齿图像进行2d分割，具体包括以下步骤：

30、编码器下采样：采用包含四个下采样层的编码器对输入单个牙齿图像进行处理，输出四个不同尺度的编码特征图，其中每个下采样层由两个3×3卷积层和一个2×2最大池化层依次连接组成；

31、多尺度膨胀卷积：在编码器的最后一级采样层之后，设置包含四个并联的膨胀卷积分支的多尺度膨胀卷积模块，四个膨胀卷积分支的膨胀率分别为1、2、4、8；将各膨胀卷积分支的输出沿通道维度拼接后，经1×1卷积降维，得到多尺度上下文特征；

32、坐标注意力增强：在编码器与解码器之间的跳跃连接路径中嵌入坐标注意力模块；用于对编码得到的每个特征图分别沿水平方向和垂直方向进行全局平均池化，得到两个方向的位置感知特征图，将两者拼接后经卷积和激活函数处理，生成包含位置信息的注意力权重，再将所述注意力权重与原始编码特征图逐元素相乘，输出增强后的跳跃连接特征图；

33、解码器上采样：采用包含四个上采样层的解码器进行上采样处理，其中，每个采样层先通过转置卷积将特征图尺寸加倍，再与对应尺度的增强后的跳跃连接特征图拼接，然后经两个3×3卷积层处理；

34、输出分割掩膜：经解码器最后一层采样层处理后，输出与输入图像同尺寸的2d分割掩膜。

35、进一步地，采用包含体素级交叉熵损失、边界增强dice损失、以及以检测框中心为约束的中心距离损失的混合增强损失函数对所述3d分割模型进行训练步骤中，所述混合增强损失函数具体包括以下函数：

36、

ltotal=

lce+

λ1

lboundary+

λ2

lcenter

37、其中，

lce表示体素级交叉熵损失，

lboundary表示边界增强dice损失，

lcenter表示以检测框中心为约束的中心距离损失，

λ1和

λ2为权重系数。

38、进一步地，所述边界增强dice损失具体包括以下函数：

39、

40、其中，为牙齿预分割边界附近的体素集合；为距离约束权重，且；为体素v到最近边界点的欧氏距离，为衰减系数；表示体素v的真实类别，为1时表示牙齿，为0时表示背景；表示预测得到的体素 v属于牙齿区域的概率。

41、另一方面本发明还公开了一种牙齿自动分割和标志定位的两阶段深度学习系统，包括：

42、全景图像重建模块，用于利用牙齿3d cbct图像重建上下颌的全景图像；

43、单个牙齿检测模块，用于利用cbam注意力引导的特征提取网络对全景图像进行牙齿检测，输出每个牙齿的边界框，并依据所述边界框裁剪出单个牙齿图像；同时根据边界框的中心坐标按照fdi系统为每颗牙齿分配唯一编号；

44、2d牙齿分割模块，用于利用基于多尺度膨胀卷积和坐标注意力的u-net模型对裁剪出的单个牙齿图像进行2d分割，获得2d分割掩膜，最终得到所有牙齿的2d牙齿分割区域；

45、3d牙齿兴趣识别区域提取模块，用于将所述2d单个牙齿的边界框投影回3d cbct图像，提取松散3d牙齿兴趣识别区域；将所述2d牙齿分割区域投影回3d cbct图像，提取紧密3d牙齿兴趣识别区域；

46、3d分割结果输出模块，用于将所述松散3d牙齿兴趣识别区域和所述紧密3d牙齿兴趣识别区域输入3d分割模型，并采用包含体素级交叉熵损失、边界增强dice损失、以及以检测框中心为约束的中心距离损失的混合增强损失函数对所述3d分割模型进行训练，得到牙齿3d分割结果。

47、优选的，所述全景图像重建模块利用牙齿3d cbct图像重建上下颌的全景图像，具体通过以下步骤得到：

48、s11、将牙齿3d cbct图像分解为多个2d切片，针对每个2d切片使用multi-otsu算法分割，并获取二进制骨骼图像；

49、s12、利用连通区域标记技术ccl提取上颌部分和下颌部分；

50、s13、将提取出的上颌部分和下颌部分转换成对应的灰度图像，并基于灰度图像得到z方向上的mip图像，包括上颌mip图像和下颌mip图像；

51、s14、依次利用otsu算法和形态关闭算子对mip图像进行处理得到二进制牙弓区域，包括二进制上牙弓区域和二进制下牙弓区域；

52、s15、针对二进制牙弓区域，采用形态学骨骼化方法来提取牙弓区域的中轴，然后将三次样条曲线拟合、插值、外推技术应用于所述的中轴内侧，得到完全通过牙弓区域的光滑参考曲线，包括上牙弓参考曲线和下牙弓参考曲线；

53、s16、基于光滑参考曲线进行拟合得到上下颌的全景图像

54、本发明公开了一种牙齿自动分割和标志定位的两阶段深度学习方法，其有益效果在于：

55、本发明利用利用cbam注意力引导的特征提取网络对全景图像进行牙齿检测，通过通道注意力和空间注意力的协同作用，能够显著提升小牙位（如下颌切牙）和遮挡牙位的检测准确率。

56、本发明利用基于多尺度膨胀卷积和坐标注意力的u-net模型对裁剪出的单个牙齿图像进行2d分割，能够在保持参数量的条件下有效扩大感受野，捕获牙根尖区域的全局上下文信息，提高牙根分割的完整性。

57、本发明采用混合增强损失对d分割模型进行训练，其中，边界增强dice损失通过距离约束权重强化边界区域学习，在牙根与牙槽骨界面分割任务中将dice系数进行有效提升。中心距离损失的引入使3d分割结果的几何完整性得到进一步增强，降低相邻牙齿之间的分割粘连率。