一种基于深度学习关键点检测与薄板样条变形的目标牙列布局方法及系统与流程
本发明涉及计算机视觉、图像处理,尤其是一种基于深度学习关键点检测与薄板样条变形的目标牙列布局方法及系统。
背景技术:
1、数字化微笑设计(digital smile design,dsd)是近年来口腔美学修复领域的核心技术之一。自2012年coachman与calamita首次系统提出dsd概念以来,该技术历经十余年发展,已成为前牙美学诊断与修复设计的重要工具。
2、早期阶段(2012-2015年),dsd主要依托二维静态照片,通过powerpoint等通用软件手工绘制参考线,结合美学参数对牙齿形态进行初步规划。这一阶段直观但精确度有限,主要作为医患沟通工具使用。发展阶段(2016-2020年),面部扫描仪与口内扫描仪(如3shape trios、medit i500)的普及,使三维数字化流程成为可能,dsd与cad/cam技术深度融合,可在exocad、3shape dental system等专业软件中进行三维牙冠形态设计,并直接驱动数字化蜡型制作。ai融合阶段(2021年至今),深度卷积神经网络开始向口腔修复渗透,已有文献报道牙齿分割、牙冠形态自动生成及gan驱动的修复效果模拟等前沿探索。
3、在正畸领域,现有技术已提出基于关键牙确定目标牙列布局的方法(参见cn106137414b)。该方法通过接收代表原始牙列布局的原始数据集,获取代表头部结构的参数集(包括头影参数测量数据集、牙科图像测量数据集等),利用所述参数集基于代表多颗关键牙(如下颌尖牙、第一磨牙、中切牙以及上颌第一磨牙和中切牙)的原始位置数据集,确定代表所述多颗关键牙的目标位置数据集,进而根据所述关键牙的目标位置产生代表目标牙列布局的目标数据集。具体而言,该方法根据上颌第一磨牙和上颌中切牙的垂直向目标位置,利用由上颌第一磨牙和上颌中切牙所组成的合平面,确定代表上颌牙列的垂直向目标位置;根据下颌尖牙和下颌第一磨牙的横向目标位置,利用由下颌尖牙、下颌第一磨牙和下颌中切牙所拟合的下颌咬合曲线,确定代表下颌牙列的横向目标位置;根据下颌中切牙的前后向目标位置,利用所述下颌咬合曲线,确定代表下颌牙列的前后向目标位置。
4、然而,上述现有技术方案主要存在以下问题:
5、操作门槛高,工作流程繁琐,上述现有技术以及当前主流三维dsd方案均依赖专业口内扫描仪(成本超10万元)及exocad等专业软件,完整工作流含扫描、数据配准、数字蜡型设计、渲染出图等至少6步,通常需技工配合,平均耗时2-5工作日,椅旁实时预览几乎无法实现。其根本原因在于,现有技术以三维数字模型为处理对象,需要昂贵的专用硬件设备和复杂的软件操作技能,且三维数据的采集、处理、渲染链条长,难以在普通诊疗环境中快速完成。
6、修复效果缺乏真实感,三维渲染牙齿模型虽几何精准,但光泽度、半透明性及表面纹理与真实牙釉质存在明显差异。现有技术(包括上述基于三维模型排牙的方法)输出的均为计算机生成的三维虚拟牙齿图像,患者难以将其与自身真实口腔建立直观对应关系,导致对修复效果存在认知偏差,复诊修改率可高达31%,显著增加诊疗成本。该问题的产生根源在于,三维渲染技术本质上是对牙齿物理属性的近似模拟,而牙釉质的多层光学特性、表面微纹理及个体化色泽差异难以通过通用渲染引擎真实再现。
7、因此,研究出一种轻量化、高真实感基于深度学习关键点检测与薄板样条变形的目标牙列布局方法是目前需要解决的重要问题之一。
技术实现思路
1、针对现有技术存在的上述问题,本发明的目的是提供一种基于深度学习关键点检测与薄板样条变形的目标牙列布局方法。
2、本技术还提供一种基于深度学习关键点检测与薄板样条变形的目标牙列布局系统。
3、为解决上述问题,本发明采用如下技术方案:一种基于深度学习关键点检测与薄板样条变形的目标牙列布局方,所述方法包括步骤:
4、s1、获取口腔正面二维照片;
5、s2、将所述口腔正面二维照片输入经迁移学习的yolov8s-pose网络模型,检测上颌中切牙的原始位置数据检测点,所述原始位置数据检测点包括:龈缘中央点kp-0、切缘中点kp-1、近中切角kp-2、远中切角kp-3、近中最突点kp-4和远中最突点kp-5;
6、s3、根据所述原始位置数据,计算基线美学指标,所述基线美学指标包括冠长、冠宽、宽长比、对称性偏差和牙中线偏移;
7、s4、接收四维调整参数,基于所述四维调整参数计算目标关键点坐标,采用薄板样条变形模型,以所述原始位置数据为源控制点、以所述目标关键点为目标控制点,求解弯曲能量最小的全局平滑映射函数,对所述口腔正面二维照片进行形态变形,得到变形后图像;
8、s5、以所述源控制点与目标控制点坐标的并集凸包为基础,经形态学膨胀和高斯模糊生成羽化软遮罩,按公式iout=iwarped·m+ioriginal·(1-m)进行像素统合,得到输出图像;其中,iout为最终输出的合成图像,iwarped为经过tps变形后的图像(牙齿形态已调整),ioriginal为原始口腔照片(未变形),m为羽化软遮罩(soft mask),取值范围 [0, 1]。
9、s6、基于所述目标关键点坐标重新计算美学指标,将所述美学指标与预设阈值进行比对;当所述宽长比超出预设理想范围时,在所述输出图像上以预设可视化方式标注预警信息;接收调整后的四维调整参数,返回步骤s4迭代执行,直至所述宽长比处于所述预设理想范围内或达到预设最大迭代次数。
10、进一步的,所述步骤s2中,所述经迁移学习的yolov8s-pose网络模型通过以下训练得到:
11、预训练阶段,在公开口腔牙齿数据集上进行规定次数训练,初始学习率为1×10-2;
12、调整第一阶段,在预训练阶段基础上继续进行规定次数训练,学习率降至2×10-4;
13、调整第二阶段,在调整第一阶段基础上继续训练至收敛,学习率为5×10-5。
14、进一步的,所述步骤s4中,所述基于四维调整参数计算目标关键点坐标,具体包括:
15、冠长调整,将切缘中点kp-1、近中切角kp-2和远中切角kp-3沿y轴整体平移,模拟切缘延长或缩短;
16、冠宽调整,将近中切角kp-2、远中切角kp-3、近中最突点kp-4和远中最突点kp-5以牙冠质心为中心进行径向扩展或收缩,模拟近远中宽度变化;
17、龈缘调整,将龈缘中央点kp-0沿y轴平移,模拟牙冠延长术或龈缘成形术效果;
18、轴倾调整,以龈缘中央点kp-0为旋转锚点,将上述原始位置数据检测点绕z轴旋转±12度范围内。
19、进一步的,所述步骤s4之前可选的执行近中缝隙闭合预处理步骤,检测上颌左右中切牙边界框之间的缝隙区域,采用opencv telea图像修复算法,以周边牙齿纹理填充所述缝隙区域的深色像素,将修复后的图像作为步骤s4的输入 。
20、进一步的,所述美学指标的计算公式为:
21、冠长 = 龈缘中央点kp-0与切缘中点kp-1之间的欧氏距离;
22、冠宽 = 近中切角kp-2与远中切角kp-3之间的欧氏距离;
23、宽长比 = 冠宽 / 冠长,理想值范围为0.75-0.80;
24、对称性偏差 = |左侧中切牙冠长 - 右侧中切牙冠长| / 双侧冠长均值 ×100%,理想值小于5%;
25、牙中线偏移 = (左侧切缘中点横坐标 + 右侧切缘中点横坐标) / 2 - 图像水平中点横坐标,理想值小于2像素。
26、一种基于深度学习关键点检测与薄板样条变形的目标牙列布局系统,输入单元,其用于接收代表患者原始牙列外观的原始图像数据集和获取代表牙冠解剖结构的参数集,所述原始图像数据集包括代表上颌中切牙的原始位置的数据集,所述上颌中切牙包括左侧中切牙和右侧中切牙;
27、控制器,其用于执行以下步骤:
28、利用所述牙冠解剖结构的参数集,基于代表上颌中切牙的原始位置的数据集,确定代表上颌中切牙的目标位置的数据集;以及
29、根据所述代表上颌中切牙的目标位置的数据集,产生代表目标牙列外观的目标图像数据集;
30、其中,所述利用牙冠解剖结构的参数集,基于代表上颌中切牙的原始位置的数据集,确定代表上颌中切牙的目标位置的数据集包括:
31、将所述原始图像数据集输入经迁移学习的深度学习关键点检测网络,检测每颗上颌中切牙的关键点,所述关键点包括龈缘中央点、切缘中点、近中切角、远中切角、近中最突点和远中最突点,得到代表上颌中切牙原始位置的关键点坐标数据集;
32、接收四维调整参数,所述四维调整参数包括冠长调整量、冠宽调整量、龈缘调整量和轴倾调整量;
33、根据所述冠长调整量,将切缘中点、近中切角和远中切角沿垂直向整体平移;根据所述冠宽调整量,将近中切角、远中切角、近中最突点和远中最突点以牙冠质心为中心进行径向扩展或收缩;根据所述龈缘调整量,将龈缘中央点沿垂直向平移;根据所述轴倾调整量,以龈缘中央点为旋转锚点,将所述关键点绕牙冠长轴旋转;得到代表上颌中切牙目标位置的关键点坐标数据集;
34、其中,所述根据代表上颌中切牙的目标位置的数据集,产生代表目标牙列外观的目标图像数据集包括:
35、根据代表所述上颌中切牙原始位置和目标位置的关键点坐标数据集,利用薄板样条变形模型,以所述代表原始位置的关键点坐标数据集为源控制点集,以所述代表目标位置的关键点坐标数据集为目标控制点集,求解弯曲能量最小的全局平滑映射函数,对所述原始图像数据集执行像素级坐标变换,得到变形后图像;
36、以所述源控制点集与目标控制点集坐标的并集凸包为基础,经形态学膨胀和高斯模糊生成羽化软遮罩,将所述变形后图像与原始图像数据集进行自适应融合,得到所述目标图像数据集。
37、较于现有技术,本发明的有益技术效果在于:
38、1.本发明通过采用yolov8s-pose网络经三阶段渐进式迁移学习检测上颌中切牙6个解剖关键点的技术手段,基于深度学习特征提取与关键点回归的方法,使pose map@0.5提升至0.995的高精度定位效果,使模型可在cpu环境实时推理,满足椅旁快速检测需求。
39、2.本发明通过采用薄板样条变形模型结合坐标归一化、边界固定桩及自适应软遮罩融合的方法,实现了在真实口腔照片上保留天然牙釉质光泽纹理的高真实感形态调整效果,消除了传统三维渲染的数字感偏差。
40、3.本发明通过建立四维参数化调整空间与实时美学指标计算反馈的技术手段,基于关键点坐标几何运算与预设理想阈值比对,实现了宽长比、对称性等核心参数的量化约束引导效果,使设计过程从经验驱动转变为数据驱动,显著提升了美学修复方案的标准化程度和临床可预期性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com