一种三维牙齿配准方法、系统、计算机设备及存储介质

1.本发明属于模式识别和机器学习技术领域，尤其涉及一种三维牙齿配准方法、系统、计算机设备及存储介质。


背景技术：

2.目前，牙齿矫正及牙齿美容都因为过高的价格而导致关注度较低，但随着居民收入的提高以及口腔健康知识的普及，人们对于牙齿美容的接受度正在逐年提升。尤其是在尚处于发展中的中国市场，牙齿矫正与美容行业在近年来一直保持着快速增长态势。牙齿矫正常指通过正畸或者口腔手术等方法治疗牙齿排列不整齐、牙齿形态异常、牙齿光泽异常、龋齿、错颌畸形等问题。根据世界卫生组织发布的报告显示，咬合不正或牙齿歪斜是全球第三大流行的牙科疾病，其仅次于蛀牙和牙周病。据权威调查机构发布的数据显示，2020年中国大口腔行业整体规模达到1952亿元，处于快速增长阶段。
3.龋病、牙外伤、牙周病等会造成天然牙牙体缺损或是缺失，影响天然牙的咀嚼、发音和美观。为了恢复天然牙的生理功能，一般通过修复体恢复缺损或缺失的牙体组织形态。临床应用结果显示，人造冠在临床试戴时，咬合面通常比实际所需咬合面高出约300μm，前牙人造冠轴面凸度相比邻牙时常过于突出，即便经过调整，粘固戴走后，患者在适应新的人造冠形态的过程中，常常出现基牙疼痛、咀嚼模式变化等不适的症状。因此，如何通过人造冠更好地恢复缺损或缺失的天然牙形态，使其接近天然牙的效果是口腔修复学专家学者们长期关注的问题。
4.在计算机辅助正畸治疗中，为了制定针对患者的治疗计划(例如，用于制造透明矫正器)，医生需要设计合适的修复体，实际制作完成后，为了比较修复体与设计模型的差异，会进行配准操作。这一步骤虽然有一些商业软件的帮助，但这些商业软件采用的方法都是传统算法，性能较低，自动化程度不高，在配准时需要手动或半自动执行任务，因此非常耗时、费力且影响体验。由于深度学习相对于传统算法能更有效地表征原始信号，在自主学习和特征抽象表示方面具有突出优点，从而使得分类、识别和预测变得更加容易和准确，近年来在很多模式识别领域取得了成功。因此，研究如何将深度学习方法有效地应用于三维牙齿配准问题，不仅是为三维牙齿配准研究提供一种新的方法和视角，也是对深度学习应用领域的一种拓展。
5.然而，目前存在的基于深度学习的配准方法一般应用在一些轮廓简单且刚性的目标配准问题中。针对较为复杂的三维牙齿口扫影像进行自动配准的研究尚且少见。
6.通过上述分析，现有技术存在的问题及缺陷为：
7.(1)目前牙齿配准过程耗时、费力，自动化程度低，且严重依赖医生经验；
8.(2)现有自动或半自动的牙齿配准方法大多使用基于传统手工算子的算法，而基于深度学习的配准方法较为少见；
9.(3)现有传统配准方法和深度配准方法的性能和鲁棒性均有待提高。
10.解决以上问题及缺陷的难度为：一方面，目前通用的目标配准方法多针对二维目
标配准或者较为简单轮廓的三维目标配准问题而提出，而三维牙齿属于轮廓复杂的三维目标，因此现有通用目标配准方法在对较复杂的三维牙齿数据进行处理时，存在鲁棒性较低的难点；另一方面，现有牙齿配准方法多依赖于手动设计算子的思路，怎样将深度学习应用于三维牙齿配准问题尚需探讨与尝试。总结来说，如何针对三维牙齿点云配准这一特定的目标配准问题设计高效的深度神经网络成为当前需要应对的巨大挑战。
11.解决以上问题及缺陷的意义为：在计算机辅助正畸治疗中，为了制定针对患者的治疗计划(例如，用于制造透明矫正器)，医生需要设计合适的修复体，实际制作完成后，为了比较修复体与设计模型的差异，会进行配准操作，这一步骤虽然有半自动商业软件的帮助，但执行这项任务也是耗时、费力且严重依赖经验的。因此，设计具有高效性的、自动化的、智能化的三维牙齿配准网络就变得非常重要。本发明提出了一种三维牙齿配准方法，能够有效应对三维牙齿配准问题，解决目前商业配准软件的缺陷，减轻口腔正畸医生的工作量，推动口腔正畸医生治疗过程的自动化和智能化。


技术实现要素：

12.针对现有技术存在的问题，本发明提供了一种三维牙齿配准方法、系统、计算机设备及存储介质。
13.本发明是这样实现的，一种三维牙齿配准方法，所述三维牙齿配准方法采集原始牙齿三维口扫影像数据，并进行预处理以构建三维牙齿数据集；构建具有严格旋转不变性的牙齿点云特征提取网络模块；构建参数估计网络模块，以建立牙齿点云和其高斯模型参数之间的映射关系；构建可微分高斯模型参数计算网络模块；使用牙齿训练集对整体网络进行训练，得到训练好的三维牙齿配准网络，从而进行三维牙齿配准作业。
14.进一步，所述三维牙齿配准方法包括以下步骤：
15.步骤一，采集原始的牙齿三维口扫影像数据，并进行预处理以构建三维牙齿数据集。本步骤在大量真实可靠的医学数据集的基础上进行数据扩充，既保护了患者的隐私，又保证了有足够真实性的数据来验证网络；
16.步骤二，构建具有严格旋转不变性(rri)的点云特征提取模块f。本步骤构建的模块使得网络具有旋转不变性质，同时对每一个点的特征进行了增强和转换，最终增强了点云特征的鲁棒性；
17.步骤三，利用概率学中的高斯混合模型(gmm)来构建参数估计网络模块e
ψ
。本步骤对牙齿点云三维空间点和高斯模型参数的映射关系进行了估计；
18.步骤四，构建可微分的参数计算网络模块r
θ
和r
t
。本步骤对高斯模型的参数和旋转平移矩阵进行了计算；
19.步骤五，利用牙齿点云数据的成对训练集和测试集对所述三维牙齿配准网络进行训练和测试。经过本步骤可以得到训练好的三维牙齿配准模型。
20.进一步，所述三维牙齿配准方法还包括：输入牙齿点云三维空间点依次经过e
ψ
、r
θ
和r
t
模块，得到最优的变换矩阵t，实现基于深度学习的三维牙齿配准。
21.进一步，所述步骤一中的采集原始的牙齿三维口扫影像数据，并进行预处理以构建三维牙齿数据集，具体包括：通过医学口腔扫描设备得到原始牙齿点云三维空间点，进行必要的牙齿点云背景去除处理，然后使用平移、旋转、添加扰动操作将牙齿点云数据行数据
扩增，以扩充三维牙齿配准数据集规模。最后划分为训练集与测试集，从而构建三维牙齿点云数据集。
22.进一步，所述步骤二中构建的严格旋转不变点云特征提取模块f，利用具有旋转不变性的算子、取模运算||
·
||、两点之间的夹角运算、sift变换、k元运算符，将n
×
3的点云坐标转化为n
×
c的点云特征向量。
23.进一步，所述步骤三中基于高斯混合模型构建的参数估计网络模块e
ψ
，作用在于估计牙齿点云三维空间点和高斯模型参数的映射关系h，包括：
24.输入：点云特征其中n为点云中点的数量，c为点云特征维度；
25.输出：n
×
m的矩阵h＝[h
nm
]，且n＝1,2,
…
,n；矩阵h的每一个元素h
nm
表示点pn和高斯混合模型(gmm)的成分m之间的隐式关联概率；
[0026]
参数估计网络：mlp(3，64，128，256，1024)
→
concat层
→
mlp(2048，512，256，128，m＝16)
→
softmax；其中mlp表示多层感知器(multi-layer perceptron)，concat表示特征拼接；最后一个全连接层不含bn层和relu激活。
[0027]
进一步，所述步骤四中构建的可微分参数计算模块r
θ
和r
t
，用于计算gmm的参数θ和变换t；
[0028]
所述步骤五中利用牙齿口扫数据对应的训练集对所述三维牙齿配准网络进行训练，得到训练好的高性能三维牙齿配准模型，具体包括：将牙齿点云三维空间点输入到所述配准网络进行训练，得到训练好的基于深度学习三维牙齿配准模型；将待配准的牙齿点云三维空间点对依次经过e
ψ
、r
θ
和r
t
模块，得到最优的变换矩阵t，从而实现基于深度学习的三维牙齿配准。
[0029]
本发明的另一目的在于提供一种实施所述三维牙齿配准方法的三维牙齿配准系统，所述三维牙齿配准系统包括：
[0030]
三维牙齿数据集构建模块，用于采集原始的牙齿三维口扫影像数据，并进行预处理以构建三维牙齿数据集；
[0031]
点云特征提取模块，用于提取和构建有严格旋转不变性的牙齿点云特征；
[0032]
映射关系估计模块，利用概率学中的高斯混合模型来构建参数估计网络模块，用来估计牙齿点云三维空间点和高斯模型参数的映射关系；
[0033]
可微分参数计算模块，用于计算高斯混合模型的参数和对应变换矩阵；
[0034]
三维牙齿配准模型训练模块，用于利用牙齿点云三维空间点训练集对三维牙齿配准网络进行训练，得到训练好的三维牙齿配准模型。
[0035]
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括牙齿口扫仪、存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：控制牙齿口扫仪采集三维牙齿影像数据，并构建三维牙齿数据集；构建严格旋转不变的点云特征提取模块；构建基于高斯混合模型的参数估计网络模块，用来估计牙齿点云三维空间点和高斯模型参数的映射关系；构建可微分参数计算模块；利用牙齿点云训练集对所述三维牙齿配准网络进行训练，得到训练好的三维牙齿配准模型。
[0036]
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述
计算机程序被处理器执行时，使得所述处理器执行如下步骤：构建三维牙齿点云数据集；构建严格旋转不变点云特征提取模块；利用高斯混合模型搭建参数估计网络模块，用来估计牙齿点云三维空间点和高斯模型参数的映射关系；构建可微分参数计算模块；利用牙齿训练集对所述三维牙齿配准网络进行训练，得到训练好的三维牙齿配准模型。
[0037]
结合上述的所有技术方案，本发明所具备的优点及积极效果为：
[0038]
第一，针对上述现有牙齿配准方法存在的技术问题以及难点，本发明提出了一套完整的基于深度学习的三维牙齿配准技术，可以解决目前牙齿配准技术普遍存在的步骤繁琐、响应慢、智能化程度低、操作乏味且严重依赖专业知识等诸多缺点。具体描述如下：
[0039]
(1)传统牙齿配准软件如geomagic control、geomagic wrap等并不是专门的针对牙齿点云的配准软件，在配准任务时需要经过以下步骤，导入点云模型，模型格式预处理，配准模式选择，对齐点选取。在对齐点选取过程中，为保证配准效果，需要对多幅牙齿点云模型选取同样位置的数十个点对，选择点对时需要经常性的对模型进行平移旋转，因此完成一次配准任务步骤极为繁琐且耗时。而本发明针对步骤繁琐的问题，网络模型训练好后，用户只需上传待配准模型，就可以一键实现配准任务，无需任何其他额外的复杂操作步骤。
[0040]
(2)传统配准软件的方法原理都是基于传统的机器学习算法，在处理大规模点云模型的配准任务时，与现有的深度学习方法相比，响应速度较慢；同时传统方法存在响应速度与配准精度不能兼得的问题。而本发明设计的神经网络结构简单，在练模型训练完成后，完成一次配准任务所需时间在30～40ms左右，在保证配准性能的同时，响应速度提升较大。
[0041]
(3)传统的配准方法在配准时依赖医生的专业知识，经验丰富的医生才能选取合适的牙齿点云模型对应点对，选取对应点的过程需要医生对牙齿结构有深度的了解，而经验丰富的医生并不能将全部精力用于配准任务，经验丰富的医生数量不能满足大量牙齿数据配准任务的需要。针对该问题，本发明基于神经网络实现了配准任务的智能化，通过对真实可靠的牙齿数据集训练出的网络模型可以替代医生高效完成配准任务，极大减少了对医生专业知识的依赖性。
[0042]
第二，本发明所要保护的技术方案通过引入一系列核心技术和理论，如深度神经网络、高斯混合模型、可微分参数计算模块等，使得本发明对应方法具备高性能、抗噪声、高鲁棒性等技术优势，具体描述如下：
[0043]
本发明提供的三维牙齿配准方法，构建了严格旋转不变的点云特征提取模块，该模块使得网络具有旋转不变性质，同时对每一个点的特征进行了增强和转换；本发明基于神经网络和高斯混合模型等理论及工具构建了参数估计网络模块，并构建了可微分的参数计算模块，相对于传统手动算子具有更高的鲁棒性；本发明引入了概率算法，因此本方法能够容忍噪声和不同大小的输入点云，并且在没有精确的点对(point-pair)对应关系的情况下，也能够恢复正确的变换，更适用于实际情况；本发明实施例为如何使用深度学习进行三维牙齿配准提供了新理论和新方法支持，使得基于深度学习的三维牙齿配准技术变得更加实用、可靠和普及化。
[0044]
第三，作为本发明的权利要求的创造性辅助证据，还体现在以下几个重要方面：
[0045]
(1)本发明的技术方案转化后的预期收益和商业价值为：本发明的技术方案最终可落地为相应的软硬件平台进行销售，销售前景广阔，可部署在广大医院等医疗机构内，需求量巨大。产品增值明显，预期收益为5万/台以上。
[0046]
(2)本发明的技术方案填补了我国高端智能牙齿矫正辅助仪器领域内的缺失，极大促进了我国高端智能牙齿矫正辅助仪器领域的竞争力，为我国新时代下智慧牙医概念的推广做出了贡献。
[0047]
(3)本发明结合概率学算法和深度学习的理论，实现了一套完整的三维牙齿配准技术，解决了牙齿三维配准长久以来的技术痛点和难点，高效地完成了三维牙齿配准任务，解决了牙科和口腔科学一直渴望解决的自动化和智能化牙齿矫正辅助技术这一难题。
附图说明
[0048]
图1是本发明实施例提供的三维牙齿配准方法流程图。
[0049]
图2是本发明实施例提供的三维牙齿配准方法的总体架构图。
[0050]
图3是本发明实施例提供的参数估计网络模块e
ψ
的结构示意图。
[0051]
图4是本发明实施例提供的参数估计网络模块e
ψ
中mlp的结构示意图。
[0052]
图5是本发明实施例提供的三维牙齿配准的可视化结果图。
[0053]
图6是本发明实施例提供的三维牙齿配准系统的系统组成框图。
[0054]
图7是本发明实施例提供的一种三维牙齿配准计算机设备示意图。
[0055]
图8是本发明实施例提供的一种三维牙齿配准可读存储介质示意图。
[0056]
图中：1、三维牙齿数据集构建模块；2、点云特征提取模；3、映射关系估计模块；4、可微分参数计算模块；5、三维牙齿配准模型训练模块；6、牙齿；7、牙齿口扫仪；8、显示器；9、主机；10、只读存储器；11、路由器；12、电源；13、外部硬盘。
具体实施方式
[0057]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0058]
针对现有技术存在的问题，本发明提供了一种三维牙齿配准方法、系统、计算机设备及存储介质，下面结合附图对本发明作详细的描述。
[0059]
如图1所示，本发明提供的三维牙齿配准方法包括以下步骤：
[0060]
s101，采集原始的牙齿三维口扫影像数据，并进行预处理以构建三维牙齿数据集；
[0061]
s102，构建具有严格旋转不变性的牙齿点云特征提取网络模块；
[0062]
s103，利用概率学中的高斯混合模型来构建参数估计网络模块，用来估计牙齿点云三维空间点和高斯模型参数的映射关系；
[0063]
s104，构建可微分的高斯模型参数计算网络模块；
[0064]
s105，利用牙齿点云三维空间点训练集对所述三维牙齿配准网络进行训练，得到训练好的三维牙齿配准模型。
[0065]
本发明提供的三维牙齿配准方法，业内的普通技术人员还可以采用其他的步骤实施，图1的本发明提供的三维牙齿配准方法仅仅是一个具体实施例而已。
[0066]
下面结合具体实施例对本发明的技术方案作进一步的描述。
[0067]
实施例1：
[0068]
目前商用的三维牙齿配准技术大多数采用传统方法，因此该技术大多局限于良好
背景、使用者配合条件下，在复杂背景、牙齿模型时间跨度较大等环境下通常表现不佳，而且这种方法安全性较低。随着深度学习的发展，由于深度神经网络在自主学习和特征抽象表示方面具有突出优点，因此，研究如何将深度学习算法有效地应用于三维牙齿，不仅是为三维牙齿配准研究提供一种新的方法和视角，也是对深度学习应用领域的一种拓展。因此，本发明利用深度神经网络技术，引入概率学高斯混合模型理论，设计三维牙齿配准方法。
[0069]
本发明实施例提供了一种三维牙齿配准方法，图2是本发明实施例提供的三维牙齿配准方法的总体架构图。该方法包括以下5个步骤：
[0070]
步骤1，通过医学口腔扫描设备得到原始牙齿点云数据，进行背景去除处理后，划分训练集与测试集，构建三维牙齿配准训练集和测试集；通过平移、旋转、添加扰动等操作将牙齿点云数据进行数据扩增，以扩充三维牙齿配准数据集规模。
[0071]
具体而言，本发明实施例使用先进的光学口腔扫描仪器对个体进行牙齿点云三维空间点采集，使用公开的分割算法(如使用基于pointnet模型的牙齿和背景二分割方法)进行无关背景去除处理后，得到牙齿点云三维空间点组成的数据集。再使用平移、旋转、添加扰动等标准化处理对牙齿点云数据集进行扩增，从而得到最终的牙齿点云数据集。
[0072]
步骤2，构建严格旋转不变(rigorous rotation invariant,rri)的点云特征提取模块，具体而言，为了实现对三维旋转不变性的可靠保证，保留点云除方向信息之外的所有必要消息，本发明实施例构建了严格旋转不变的点云特征提取模块。
[0073]
具体而言，本发明实施例构建严格旋转不变的点云特征提取模块过程中，对任一点集s，建立一个k最近邻图g＝(s,δ)，其中δ＝{(x,y)∈s
×
s且y为x的k个最近邻之一}。
[0074]
点集中每一个点pi可以表示为它和相邻点p
ik
的关系：
[0075]
[ri,(r
i1
,θ
i1
,φ
i1
),(r
i2
,θ
i2
,φ
i2
),...,(r
ik
,θ
ik
,φ
ik
)]
ꢀꢀꢀꢀꢀꢀ
(1)
[0076]
其中，ri为向量范数，即从三维实数集到一维实数集的一元rri算子；θ
ik
是点i与点k之间的相对角度；φ
ik
是其对应的正交投影间的相对角度。
[0077]
更进一步的，式(1)中的各变量分别定义如下：
[0078][0079]
其中，γ
p
是从到平面l的正交投影算子，点p与平面l正交。ψj是和
的相对角度，为ψj的k近邻对应的最小值。φ
ik
是和沿逆时针方向的相对角度。arctan2(y,x)为输出y/x的反正切值。
[0080]
最终，点集中每一个点pi可以表示为四元组构成的向量：
[0081]
((ri,r
i1
,θ
i1
,φ
i1
),(ri,r
i2
,θ
i2
,φ
i2
),...,(ri,r
ik
,θ
ik
,φ
ik
))
ꢀꢀꢀꢀꢀ
(3)
[0082]
对于任一邻域中的每个点，利用这些旋转不变性的算子描述该点与中心点的关系，从而得到每一个点的局部表征。之后将ri分配到每一个相邻点，然后用一个四元组表示每一个相邻点与中心点的关系，然后将该四元组向量看作一个新的点云，每个点云描述的是一个邻域。
[0083]
步骤3，利用深度神经网络和高斯混合模型来构建参数估计网络e
ψ
模块，用于估计牙齿点云三维空间点和高斯模型参数的映射关系h。
[0084]
具体而言，本发明实施例提出了一种基于概率学算法的特征提取模块，利用深度神经网络将输入的点云特征提取为高斯混合模型表示。具体的，构建的参数估计网络e
ψ
模块包括mlp层、池化层、concat层和全连接层。
[0085]
输入：点云特征n为点云中点的数量，c为点云特征维度；
[0086]
输出：n
×
m的矩阵h＝[h
nm
]，且n＝1,2,
…
,n；矩阵h的每一个元素h
nm
表示点pn和高斯混合模型(gmm)的成分m之间的隐式关联概率；
[0087]
基于深度神经结构设计的参数估计网络模块：mlp(3，64，128，256，1024)
→
concat层
→
mlp(2048，512，256，128，m＝16)
→
softmax。mlp代表多层感知器(即multi-layer perceptron)，concat代表特征拼接。最后一个全连接层没有bn层(即批规范化层)和relu激活。图3是本发明实施例提供的参数估计网络模块的结构示意图。
[0088]
mlp层由多层卷积层叠加。如mlp(3，64，128，256，1024)中，卷积核除第一层为[1
×
3]之外，其余的卷积核大小都为[1
×
1]。图4是本发明实施例提供的参数估计网络模块e
ψ
中mlp的结构示意图。
[0089]
表1参数估计网络模块中每一层的参数设计
[0090]
[0091]
本发明实施例验证过程中参数估计网络中每一层的参数设计具体参见表1，卷积过程中填充方式为0填充。
[0092]
步骤4，本发明实施例提供的一种三维牙齿配准方法中构建可微分参数计算模块r
θ
和r
t
，包括：
[0093]
(1)计算混合高斯模型(gmm)的参数空间θ，由m个三元组(λm,μm,∑m),m＝1,2,
…
,m组成。其中gmm是一个生成模型，可表示为m个高斯模型的加权和:
[0094][0095]
其中λm是权值，μm是3
×
1的均值向量，∑m是3
×
3的协方差矩阵，为高斯分布函数，p(
·
)为概率符号。
[0096]
(2)计算变换矩阵
[0097][0098]
即可以求解出变换t的最优闭式解t
*
。
[0099]
步骤5，利用牙齿点云三维空间点组成的成对训练集和测试集对所述三维牙齿配准网络进行训练和测试，得到训练好的高性能三维牙齿配准模型。
[0100]
具体而言，将牙齿点云三维空间点组成的数据集输入到神经网络中进行特征学习和训练，得到训练好的三维牙齿配准模型，通过牙齿点云三维空间点测试集对训练好的模型进行测试验证性能。将未知的成对的牙齿点云三维空间点对输入到神经网络中，神经网络将模型对转换为高斯混合模型，并计算高斯混合模型的参数，得到最终的变化矩阵，将变换矩阵应用到待配准模型对，完成配准任务。
[0101]
综上所述，本发明实施例提供的三维牙齿配准方法，通过结合概率学的高斯混合模型和深度神经网络的方式，可以实现对牙齿点云三维空间点的精确配准。图5是本发明实施例提供的三维牙齿配准结果的可视化示意图。如该图所示，图5的(a)为未配准的两副牙齿三维图像(注：黑色表示背景，浅色和深色分别为目标牙齿和待配准牙齿)，图5的(b)为二者配准后的图像(此时二者经过配准已重叠)。
[0102]
本发明实施例设计了多组实验从其实际配准性能和配准时间等角度进行全面而综合的论证。具体来说，为证明本发明的三维牙齿配准模型的高性能，将其与其他传统配准方法和基于深度学习的配准方法进行了对比，选取并计算以下四类具有代表性的性能指标：(1)均方根误差(root mean square error,rmse)和召回率(recall)，(2)最大公共点集(largest common pointset,lcp)，(3)倒角距离(chamfer distance,cd)和豪斯多夫距离(hausdorffdistance,hd)等指标，(4)配准时间。
[0103]
表2、表3、和表4为本实例提供的不同配准方法的上述性能指标的对比结果。实验中具体选取的对比配准方法包括以下四个：正态分布变换方法(normal distribution transform,ndt)、点特征直方图方法(point feature histogram,pfh)、快速点特征直方图方法(fastpointfeature histogram,fpfh)、以及最近点匹配方法(deep closest point,dcp)。
[0104]
表2不同配准方法的rmse和recall等性能指标对比结果
[0105][0106]
表3不同配准方法的lcp性能指标对比结果
[0107][0108]
表4不同配准方法的cd距离和hausdorff距离等性能指标对比结果
[0109][0110]
表5不同配准方法的配准时间对比结果(单位：毫秒ms)
[0111][0112]
目前基于深度学习的配准方法在单模态三维牙齿配准问题的应用较少，且现有传统及深度配准方法均对长时间跨度的模型配准鲁棒性较差。因此本发明结合概率学中的高斯混合模型，提出了一种基于深度学习的牙齿点云三维空间点配准方法，能够实现对牙齿点云三维空间点的高效自动配准，进行全局匹配，无需初始化，同时能够容忍噪声和不同大小的输入点云，并且在没有精确的点对(point-pair)对应关系的情况下，也能够恢复正确的变换，适用于实际情况。
[0113]
本发明实施例提出了一套完整的基于深度学习的三维牙齿配准方法，可以解决传统配准方法鲁棒性低，深度学习通用方法的泛化能力差，对有噪声干扰，复杂模型鲁棒性差等缺陷，可以有效应用于实际情况；本发明实施例为三维牙齿配准技术的实用化提供了新理论和新方法支持，使得三维牙齿配准技术变得更加实用、可靠和普及化；本发明实施例可以广泛应用于口腔正畸领域，牙齿修复等牙科领域。
[0114]
实施例2：
[0115]
在上述实施例的基础上，请参见图6，图6是本发明实施例提供的一种三维牙齿配准系统的系统组成框图。本发明提供的三维牙齿配准系统包括：
[0116]
(i)、三维牙齿数据集构建模块1，用于采集原始的牙齿三维口扫影像数据，并进行预处理以构建三维牙齿数据集；
[0117]
具体而言，三维牙齿数据集构建模块1采用模型扫描仪进行牙齿点云三维空间点的采集；对牙齿点云三维空间点组成的数据集进行旋转、平移、添加扰动等处理进行扩增以
得到最终的牙齿点云三维空间点数据集。
[0118]
(ii)、点云特征提取模块2，用于提取和构建有严格旋转不变性的牙齿点云特征；
[0119]
具体而言，本发明实施例的点云特征提取模块构建模块2利用具有旋转不变性的算子、取模运算||
·
||、两点之间的夹角运算、sift变换等，将n
×
3的点云坐标转化为n
×
c的特征向量。
[0120]
(iii)、映射关系估计模块3，用于利用概率学中的高斯混合模型来构建参数估计网络模块，用来估计牙齿点云三维空间点和高斯模型参数的映射关系；
[0121]
具体而言，本发明实施例的映射关系估计模块3包括：
[0122]
输入：点云特征n为点云中点的数量，c为点云特征维度；
[0123]
输出：n
×
m的矩阵h＝[h
nm
]，且n＝1,2,
…
,n；矩阵h的每一个元素h
nm
表示点pn和高斯混合模型(gmm)的成分m之间的隐式关联概率；
[0124]
参数估计网络模块：mlp(3,64,128,256,1024)
→
concat
→
mlp(2048,512,256,128,j＝16)
→
softmax。最后一个全连接层不含bn层和relu。
[0125]
(iv)、可微分参数计算模块4，用于计算高斯混合模型的参数和对应变换矩阵；
[0126]
具体而言，本发明实施例的可微分参数计算模块4包括：
[0127]
①
计算gmm的参数空间θ，包含m个三元组(λm,μm,∑m),m＝1,2,
…
,m.
[0128]
②
计算变换矩阵t。
[0129]
参数空间θ和计算变换矩阵t的具体公式如实施例1中公式(4)(5)所提供。
[0130]
(v)、三维牙齿配准模型训练模块5，用于利用牙齿点云三维空间点训练集对三维牙齿配准网络进行训练，得到训练好的三维牙齿配准模型。
[0131]
具体而言，本发明实施例的三维牙齿配准模型训练模块5包括：
[0132]
①
将牙齿点云三维空间点对应的数据集划分为训练集和测试集两个部分，训练集所占比例为3/4，测试集所占比例为1/4。
[0133]
②
使用设计的三维牙齿配准网络对训练集进行训练，得到训练好的三维牙齿配准网络模型。
[0134]
实施例3：
[0135]
在上述实施例的基础上，请参见图7，图7是本发明实施例提供的一种三维牙齿配准计算机设备示意图。本发明实施例提供的一种三维牙齿配准计算机设备，该计算机设备包括牙齿6、牙齿口扫仪7、显示器8、主机(内含处理器cpu)9、只读存储器(rom)10、路由器11、电源12和外部硬盘13。其中，主机(处理器)9和牙齿口扫仪7、显示器8、存储器10、路由器11、和外部硬盘13通过通信接口完成相互间的通信；
[0136]
牙齿口扫仪7用于采集牙齿口扫影像数据；
[0137]
显示器8用于显示牙齿口扫影像数据及其三维配准结果；
[0138]
只读存储器10用于存放计算机程序代码；
[0139]
路由器11用于该计算机设备和外界设备的联网功能；
[0140]
外部硬盘13用于储存配准结果；
[0141]
电源12用于该计算机设备的供电；
[0142]
主机(处理器)9，用于执行存储器上所存放的计算机程序时，该计算机程序被处理
器执行时实现以下步骤：
[0143]
步骤一，打开模型扫描仪机进行三维牙齿口扫数据的采集。
[0144]
具体而言，本发明实施例的步骤一采用模型扫描仪进行牙齿点云数据的采集；并将采集到的数据转化得到牙齿点云三维空间点组成的数据集。对牙齿点云三维空间点进行旋转、平移、添加扰动等处理进行扩增得到最终的牙齿点云三维空间点数据集。
[0145]
步骤二，构建严格旋转不变性的点云特征提取模块。
[0146]
具体而言，本发明实施例的步骤二利用具有旋转不变性的算子、取模运算||
·
||、两点之间的夹角运算、sift变换等，将n
×
3的点云坐标转化为n
×
c的牙齿特征向量。
[0147]
步骤三，利用深度神经网络和高斯混合模型来构建参数估计网络e
ψ
模块，用来估计牙齿点云三维空间点和高斯模型参数的映射关系h。
[0148]
具体而言，本发明实施例的步骤三包括：
[0149]
输入：点云特征n为点云中点的数量，c为点云特征维度。
[0150]
输出：n
×
m的矩阵h＝[h
nm
]，且n＝1,2,
…
,n；矩阵h的每一个元素h
nm
表示点pn和高斯混合模型(gmm)的成分m之间的隐式关联概率；
[0151]
采用深度神经设计参数估计网络模块：mlp(3，64，128，256，1024)
→
concat层
→
mlp(2048，512，256，128，m＝16)
→
softmax。最后一个全连接层没有bn层和relu激活。
[0152]
步骤四，构建可微分参数计算模块r
θ
和r
t
，具体而言，本发明实施例的步骤三包括：
[0153]
(1)计算gmm的参数空间θ，包含m个三元组(λm,μm,∑m),m＝1,2,
…
,m.
[0154]
(2)计算变换矩阵t。
[0155]
具体公式见实施例1中公式(4)(5)。
[0156]
步骤五，构建整体网络模型，使用牙齿点云训练集对网络进行训练，得到训练好的高效三维牙齿配准模型。
[0157]
具体而言，本发明实施例的步骤五包括：
[0158]
(1)将牙齿点云三维空间点组成的数据集划分为训练集和测试集两个子集。其中，训练集所占比例为3/4，测试集所占比例为1/4。
[0159]
(2)使用训练集对设计好的三维牙齿配准网络进行训练，得到训练好的三维牙齿配准模型；
[0160]
步骤六，通过路由器响应外围应用系统的请求，将步骤五的三维牙齿配准结果发送至外围系统，实现其他基于三维牙齿配准结果的外围应用目的。该外围应用系统在实际实现时并不做限定，下面仅做举例：(1)基于三维牙齿配准的修复体质量验证系统，如可用于对制作好的修复体进行核查，保证修复体质量；(2)基于三维牙齿配准的牙齿变化分析系统，用于医生对牙齿经过正畸治疗后的变化分析。
[0161]
本发明实施例提供的一种三维牙齿配准计算机设备，可以执行前述三维牙齿配准方法对应的实施例。本发明实施例提供的计算机设备采用前述三维牙齿配准方法，解决了现有诊断治疗手段自动化程度低的缺点，同时解决现有牙齿配准方法鲁棒性低、对实际情况适应较差的缺点，可广泛应用于牙齿矫正和口腔美容中。
[0162]
实施例4：
[0163]
在上述实施例3的基础上，请参见图8，图8是本发明实施例提供的一种三维牙齿配准计算机可读存储介质示意图。本发明实施例提供的一种三维牙齿配准计算机可读存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时实现以下步骤：
[0164]
步骤一，程序开始，进行必要的初始化。
[0165]
步骤二，打开模型扫描仪机进行牙齿点云数据的采集。
[0166]
具体而言，本发明实施例的步骤一采用模型扫描仪进行牙齿点云数据采集，并转化得到牙齿点云三维空间点组成的数据集。对牙齿点云三维空间点数据集进行旋转、平移、添加扰动等处理进行扩增以得到最终的牙齿点云三维空间点数据集。
[0167]
步骤三，构建严格旋转不变的点云特征提取模块。
[0168]
具体而言，本发明实施例的步骤二利用具有旋转不变性的算子、取模运算||
·
||、两点之间的夹角运算、sift变换等，将n
×
3的点云坐标转化为n
×
c的特征向量。
[0169]
步骤四，利用深度神经网络和高斯混合模型来构建参数估计网络e
ψ
模块，用来估计牙齿点云三维空间点和高斯模型参数的映射关系h。
[0170]
具体而言，本发明实施例的步骤三包括：
[0171]
输入：点云特征n为点云中点的数量，c为点云特征维度；
[0172]
输出：n
×
m的矩阵h＝[h
nm
]，且n＝1,2,
…
,n；矩阵h的每一个元素h
nm
表示点pn和高斯混合模型(gmm)的成分m之间的隐式关联概率；
[0173]
参数估计网络模块：mlp(3，64，128，256，1024)
→
concat
→
mlp(2048，512，256，128，j＝16)
→
softmax。最后一个全连接层不含bn层和relu。
[0174]
步骤五，构建可微分参数计算模块r
θ
和r
t
。
[0175]
具体而言，本发明实施例的步骤五包括：
[0176]
(1)计算gmm的参数空间θ，包含m个三元组(λm,μm,∑m),m＝1,2,
…
,m.
[0177]
(2)计算变换矩阵t。
[0178]
具体公式见实施例1中公式(4)和(5)。
[0179]
步骤六，构建整体网络模型，使用牙齿点云三维空间点训练集对网络进行训练，得到训练好的高效三维牙齿配准模型。
[0180]
具体而言，本发明实施例的步骤六包括：
[0181]
(1)将牙齿点云三维空间点对应的数据集划分为训练集和测试集两个部分，其中，训练集所占比例为3/4，测试集所占比例为1/4。
[0182]
(2)使用设计的三维牙齿配准网络对训练集进行训练，得到训练好的三维牙齿配准网络模型；
[0183]
步骤七，程序需要结束时退出程序。
[0184]
本发明实施例提供的一种计算机可读存储介质，可以执行上述三维牙齿配准方法实施例，其上存储有上述三维牙齿配准的计算机程序，可供各种牙齿配准计算机设备进行使用，从而提高三维牙齿配准设备的安全性、准确性，给用户带来良好体验。
[0185]
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备
和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、cd或dvd-rom的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
[0186]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。