基于机器学习的三维牙颌颅面畸形辅助识别方法和系统与流程

1.本发明涉及口腔正畸学领域，尤其是一种基于机器学习的三维牙颌颅面畸形辅助识别方法，以及一种基于机器学习的三维牙颌颅面畸形辅助识别系统。


背景技术：

2.正畸矫治中颅面颌骨的垂直向及矢状向诊断十分重要，其影响面部美观、正畸矫治中的支抗设计、排牙方案的制定以及总体治疗方案及最终矫治效果。目前临床实践中基于头影测量分析或cbct三维测量得出相关诊断结果，然而头影测量片拍摄质量要求高，标志点标定的技术敏感性高，cbct则存在额外的电离辐射问题。有经验的正畸医生可以根据患者软组织面型给出较为准确的相关诊断，提示基于软组织面型可获得相应诊断结果。目前基于三维面部照片得到相关的三维牙颌颅面畸形辅助识别方法仍属空白。


技术实现要素：

3.本发明的发明目的在于：针对上述存在的问题，提供一种基于机器学习的三维牙颌颅面畸形辅助识别方法，以提供一种口腔正畸学中免除/减小电离辐射的方式进行颌颅面畸形的辅助诊断方法。
4.本发明采用的技术方案如下：
5.一种基于机器学习的三维牙颌颅面畸形辅助识别方法，包括：
6.获取面部三维照片集；
7.对各面部三维照片，分别执行：标定面部三维照片中的标志点；获取各标志点的三维坐标，对获取的各标志点的三维坐标进行坐标系的统一；
8.对各面部三维照片对应的特征信息进行预处理，得到对应的训练样本，所述特征信息包括面部三维照片的各标志点统一坐标系后的三维坐标；
9.利用各训练样本对机器学习模型进行训练，得到预测模型；
10.利用所述预测模型预测患者面部三维照片的各标志点的三维坐标所对应的面部特征。
11.进一步的，所述标定面部三维照片中的标志点，包括：
12.利用标定工具自动标记面部三维照片中的标志点，并手动调整全部或部分标志点。
13.进一步的，所述对获取的各标志点的三维坐标进行坐标系的统一，包括：
14.设定新坐标系的原点为鼻下点；
15.建立参考平面a：取左右侧耳屏点与右侧鼻翼点建立参考平面a；
16.建立水平面：以左右侧耳屏点为轴，将参考平面a上旋7.5
°
，通过鼻下点做与该平面平行的面，即新坐标系的水平面；
17.建立矢状面：建立通过左右侧耳屏点中点与鼻下点，与水平面垂直的平面；
18.建立冠状面：与水平面及矢状面垂直的面；
19.坐标系的转化：将原坐标系下的坐标转换到新坐标系下。
20.进一步的，所述对各面部三维照片对应的特征信息进行预处理，包括：对各面部三维照片对应的特征信息进行正交化处理。
21.进一步的，所述患者面部三维照片的各标志点的三维坐标，为通过标定工具自动标记的标志点的三维坐标，或者为在此基础上手动调整后的三维坐标。
22.本发明还提供了一种基于机器学习的三维牙颌颅面畸形辅助识别系统，包括图像采集模块、样本处理模块、模型构建模块和预测模块，其中：
23.所述图像采集模块用于采集待预测面部三维照片以及用于训练模型的面部三维照片集；
24.所述样本处理模块用于分别标定各面部三维照片中的标志点；获取各标志点的三维坐标，对各面部三维照片的标志点的三维坐标进行坐标系统一；对面部三维照片集中各面部三维照片对应的特征信息进行预处理，得到训练样本集，所述特征信息包括面部三维照片的各标志点统一坐标系后的三维坐标；
25.所述模型构建模块利用所述训练样本集对机器学习模型进行训练，得到预测模型；
26.所述预测模块利用所述预测模型评估所述待预测面部三维照片的各标志点的三维坐标所对应的面部特征。
27.进一步的，所述样本处理模块利用标定工具自动标记面部三维照片中的标志点，并响应调整指令调整全部或部分标志点。
28.进一步的，所述样本处理模块中配置有对各标志点的三维坐标进行坐标系统一的计算机程序，运行该计算机程序以执行以下方法：
29.设定新坐标系的原点为鼻下点；
30.建立参考平面a：取左右侧耳屏点与右侧鼻翼点建立参考平面a；
31.建立水平面：以左右侧耳屏点为轴，将参考平面a上旋7.5
°
，通过鼻下点做与该平面平行的面，即新坐标系的水平面；
32.建立矢状面：建立通过左右侧耳屏点中点与鼻下点，与水平面垂直的平面；
33.建立冠状面：与水平面及矢状面垂直的面；
34.坐标系的转化：将原坐标系下的坐标转换到新坐标系下。
35.进一步的，所述样本处理模块中配置有对特征信息进行预处理的计算机程序，运行该计算机程序以执行以下方法：对特征信息进行正交化处理。
36.进一步的，所述样本处理模块传输给所述预测模块的待预测面部三维照片的标志点坐标，为通过标定工具自动标记的标志点的三维坐标，或者为在此基础上响应调整指令进行调整后的三维坐标。
37.综上所述，由于采用了上述技术方案，本发明的有益效果是：
38.1、本发明的基于机器学习的三维牙颌颅面畸形辅助识别方案，利用面部三维照片即可训练出识别模型，同样的，利用面部三维照片即可预测出面部特征，相较于传统影像学方法，面部三维照片获取更为简单，可以避免/减少电力辐射暴露量，对患者而言，体验更好，接受度更高。
39.2、本发明在调整标志点位置时，一方面可以修正机器标定的不当数据，另一方面
也可以实现对样本数据的扩展，除此外，利用扩展数据训练还可提高对机器标定的待测数据的识别准确率。
40.3、本发明对标定点坐标进行了坐标系的统一，便于对不同人脸的差异比对，同时也便于进行相关研究的统计分析。
附图说明
41.本发明将通过例子并参照附图的方式说明，其中：
42.图1是基于机器学习的三维牙颌颅面畸形辅助识别方法流程图。
43.图2是基于机器学习的三维牙颌颅面畸形辅助识别系统构造图。
44.图3是标志点标定的示意图。
45.图4是统一坐标系后的面部三维图像的示意图。
具体实施方式
46.本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
47.本说明书(包括任何附加权利要求、摘要)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
48.一种基于机器学习的三维牙颌颅面畸形辅助识别方法，如图1所示，包括：
49.1)获取训练数据集的步骤
50.训练数据集包含大量的训练样本，用于训练机器模型。训练数据集的获取方法包括获取面部三维照片集的步骤和基于获取的面部三维照片集得到训练样本集的步骤。
51.基于三维光学扫描或者三维立体摄影测量技术获取大量受试者(志愿者)面部三维照片，可以为一张，也可以为多张，最终挑选使用一张即可。以此，获得了大量的面部三维照片。
52.对于每一面部三维照片，均执行以下操作：
53.采用机器或者手动或者机器结合手动的方式，在照片中标定出标志点(或者称为特征点)，标志点即面部上具有特征标识作用的点位，例如鼻翼点、鼻根点、颊骨点、太阳穴等。
54.分别获取各标志点的三维坐标。再对各标志点的三维坐标进行统一，即统一到一个坐标系下。坐标统一前的三维坐标，可能是基于不同的坐标系下标定的坐标位置，而进行坐标统一后，是基于统一的三维坐标系对各标志点的三维坐标进行重新标定/转换，例如统一以鼻下点(也可以是其他标志点)作为坐标系原点，则对于统一坐标系前各标志点坐标，根据与鼻下点的相对位置，转换到新的坐标系下，以完成对各标志点三维坐标的统一。
55.将各面部三维照片的各标志点的三维坐标统一后，即可获得各标志点的位置信息，即标志点的x、y、z坐标。再结合该面部三维照片对应的受试者的其他特征信息数据，作为该受试者的特征信息。特征信息数据还可包括调整标志点位置前的三维坐标，以起到自然扩充样本的效果。
56.对各受试者的特征信息进行预处理，即得到对应的训练样本。所有的训练样本即
构成了训练数据集。
57.2)利用训练数据集训练机器学习模型的步骤
58.对于预处理后的训练样本，以80％作为训练集，20％作为测试集，对机器学习模型进行训练，得到预存模型，机器学习模型为多层感知器(mlp，multilayer perceptron)学习模型。
59.多层感知器是一个包含简单神经元的前馈网络，它将输入数据集映射为一组输出。多层感知器包含多层有向图完全连接的节点，其中每个节点都是一个具有非线性激活函数的神经元。
60.mlp的基本组成为神经元。在mlp中，相邻两层的每对神经元之间使用带有权系数的边连接。如图所示mlp至少由三层神经元组成，其中包括一个输入层，一个或多个隐藏层，以及一个输出层。输入神经元的数量取决于输入特征的维数，而输出神经元的数目是通过类别数量来确定的。mlp采用一种称为反向传播的有监督学习方法来训练网络。感知器通过以下非线性激活函数处理加权的实数值输入的线性组合计算输出。
[0061][0062]
其中ωi代表权重向量，xi是输入向量，b是偏移率，而是激活函数。常见激活函数有：relu函数、sigmoid函数、tanh函数。mlp在学习过程中调整隐藏层的权值降低输出误差。mlp通过网络向前传播输入模式信号，并于输出开始反向传播误差信号。反向传播的误差函数由真实值与期望值的差组成。学习过程的目标是最小化误差函数。结合权重矩阵，对误差函数求导找到误差函数的最小值。学习过程包括：(1)使用(-1，1)之间的值随机初始化权重；(2)向网络发送一个输入模式；(3)计算网络的输出；(4)对于输出层的每一个节点，计算输出节点的误差，对连接到节点的所有权重增加误差函数数值。
[0063]
为了控制收敛速度，并且减小适配权重的步长，引入学习参数。在一些实施方式中，采用relu激活函数，200层隐藏层。将训练数据集分为80％训练集与20％测试集，用测试集检验mse等指标。
[0064]
3)对患者牙颌颅面畸形的辅助识别
[0065]
通过以上学习过程，即得到了通过标志点坐标识别牙颌颅面面部特征的识别模型，将患者的面部三维照片所对应的标志点坐标输入到该识别模型，该识别模型即可输出具备参考性的面部特征，以辅助医师对患者面部畸形的诊断。对于患者的面部三维照片所对应的标志点坐标，与获取训练样本时根据面部三维照片获得标志点坐标的方法相同，或者可以省略对标志点调整的步骤。
[0066]
实施例二
[0067]
本实施例公开了基于机器学习的三维牙颌颅面畸形辅助识别方法，本实施例与实施例一的大体步骤相同，属于对实施例一的进一步优化。如图1所示，方法包括：
[0068]
1)基于三维光学扫描或者三维立体摄影测量技术拍摄每一受试者一张面部三维照片，以obj格式保存。拍摄要求如下：
①
被拍摄者不能佩戴眼镜或任何遮挡面部的饰品，双侧耳部及额头需完整暴露；
②
被拍摄者要求平视前方，取自然头位，唇部肌肉放松，牙齿保持自然息止合位；
③
被拍摄者保持静止直到拍摄完成。
[0069]
2)标定标志点，该步骤采用机器结合手动的方式进行。将obj格式的面部三维照片导入cliniface软件，基于软件对标志点的自动标定结果，再手动调整各标志点，例如编辑、拖拽，并手动增加双侧耳屏点，如图3所示，共标定41组共61个标志点，对应编号说明如下表1。需要说明的是，手动调整后的各标志点与调整前的标志点可保存关联关系，一起作为样本数据，后续对患者面部特征进行预测时，则可直接以调整前的标志点进行参照，而无需先调整标志点位置后再进行判别。
[0070]
表1标志点编号及名称
[0071]
[0072]
[0073][0074]
事实上，标定的标志点可以只选择上述表1中的部分，但作为统一坐标系的原点的标志点必须保留，对于标定的标志点，可根据试验进行适应性选择和调整。
[0075]
3)获取面部各标志点的三维坐标并统一坐标系
[0076]
同样的，于cliniface软件中，导出各标志点的坐标于一csv文件中。如图4所示，以鼻下点(subnasale)作为坐标系原点，对各面部三维照片的坐标进行统一，过程如下：
[0077]
①
定鼻下点(subnasale)为坐标系原点(当然也可以是其他标志点)；
[0078]
②
建立参考平面a：取左右侧耳屏点(tragion)与右侧鼻翼点(alar curvature point r)建立参考平面a；
[0079]
③
水平面的建立：以左右侧耳屏点为轴，将参考平面a上旋7.5
°
，通过鼻下点(subnasale)做与该平面平行的面，即统一后坐标系的水平面；
[0080]
④
矢状面的建立：通过左右侧耳屏点中点与鼻下点，与水平面垂直的平面；
[0081]
⑤
冠状面的建立：与水平面及矢状面垂直；
[0082]
⑥
坐标系的转化：将原坐标系下的坐标转换到新坐标系下。
[0083]
具体而言，坐标统一的方法包括：
[0084]
①
csv文件预处理：将导出的csv文件统一格式为(编号，x，y，z)。
[0085]
②
建立参考平面a法向量：将左右侧耳屏点连线与右侧鼻翼点右侧耳屏点连线做叉乘，再进行归一化，得出平面a法向量。
[0086]
③
水平面的建立：按下述方法得出选转后的平面a法向量，即为水平面的法向量。
[0087]
给定具有单位长的旋转轴a＝[a
x
,ay,az]和旋转角θ，则物体绕oa轴旋转变换的矩阵表示可确定如下：
[0088][0089][0090][0091]
p
′
＝p
·mt
[0092]
其中，p为面a法向量，p
′
为水平面法向量，m
t
表示m的转置矩阵。
[0093]
④
矢状面的建立：左右侧耳屏点连线的向量叉乘水平面的法向量，再进行归一化获得矢状面的法向量。
[0094]
⑤
冠状面的建立：通过矢状面的法向量与水平面的法向量叉乘获得冠状面的法向量。
[0095]
⑥
坐标系的转化：[v1,v2,v3]-1
[x-v]
[0096]
x为原坐标系中每一个点的坐标，v是新坐标系中原点坐标，v1,v2,v3代表新坐标的坐标轴法向量。
[0097]
图4所示为坐标系统一后的面部各标志点可视化展示。
[0098]
4)机器学习过程的实施
[0099]
(1)通过上述步骤1)～3)获得统一坐标系后的各个标志点的位置信息，其中包括各标志点的x、y、z坐标，获得的各标志点的三维坐标以csv格式保存。
[0100]
对于各面部三维照片，获取对应的特征信息数据，包括：受试者的性别、年龄、bmi、面部矢状向及垂直向评估结果，以及统一坐标系后的各标志点的三维坐标。
[0101]
(2)对各特征信息数据进行预处理，包括对特征信息数据进行正交化处理。预处理完成后，即得到训练数据集，利用该训练数据集以scikit-learn进行机器学习训练。
[0102]
(3)将数据以80％作为训练集，20％作为测试集通过scikit-learn建立多层感知学习模型，作为通过标志点三维坐标信息辅助诊断面部特征的分类器。
[0103]
5)结果的输出：
[0104]
拍摄患者的面部三维照片，获取其统一坐标系后的标志点坐标，导入到上述步骤4)训练得到的模型，输入对患者面部特征的预测结果，以辅助医师对患者面部牙颌颅面畸形与否的诊断。
[0105]
需要说明的是，本实施例是以cliniface为例进行的操作说明，在不违反整体发明构思的情况下，完全可以采用其他作用相同的软件进行标志点的标定和数据的导出。同样的，所采用的机器学习模型，也可替换为其他多层感知模型。
[0106]
实施例三
[0107]
本实施例公开了一种基于机器学习的三维牙颌颅面畸形辅助识别方法，该方法中，训练样本的面部矢状向及垂直向评估结果具体包括：矢状向分i、ii、iii类；垂直向分低角、均角、高角。
[0108]
则对应的，对患者面部三维照片的预测结果包括矢状向和垂直向的评估结果。
[0109]
实施例四
[0110]
本实施例公开了一种基于机器学习的三维牙颌颅面畸形辅助识别系统，如图2所示，包括图像采集模块、样本处理模块、模型构建模块和预测模块，其中：
[0111]
图像采集模块采集患者以及受试者(志愿者)的面部三维照片。图像采集模块基于三维光学扫描或者三维立体摄影测量技术拍摄每一受试者一张面部三维照片，以obj格式保存。拍摄要求如下：
①
被拍摄者不能佩戴眼镜或任何遮挡面部的饰品，双侧耳部及额头需完整暴露；
②
被拍摄者要求平视前方，取自然头位，唇部肌肉放松，牙齿保持自然息止合位；
③
被拍摄者保持静止直到拍摄完成。
[0112]
样本处理模块分别对各面部三维照片进行以下处理：标定面部三维照片中的标志点；获取各标志点的三维坐标；对各标志点的三维坐标进行统一。此外，样本处理模块还将统一坐标系后的各标志点的三维坐标与受试者的特征信息数据结合作为受试者的特征信息，对特征信息进行预处理，得到对应的训练样本。对于特征信息，还可包含统一坐标系前的标志点坐标，以起到扩充样本量的效果，并且，后续的预测过程中，对于机器标定的待测数据也可起到良好的兼容识别作用。
[0113]
样本处理模块可利用机器、手动或者机器结合手动的方式标定面部标志点。在一些实施例中，样本处理模块利用cliniface软件(或其他标定工具)执行对标志点的标定：将obj格式的面部三维照片导入cliniface软件，基于软件对标志点的自动标定结果，再响应调整指令，例如编辑、拖拽，以调整标志点的位置，并手动增加双侧耳屏点，如图所示，共标定41组共61个标志点，对应编号说明如上表1。此外，对于cliniface软件自动标定的标志点，以及手动调整后的标志点，样本处理模块存储关联关系，一起作为样本数据，这样，相当于扩充了样本数据。
[0114]
同样的，样本处理模块于cliniface软件中，导出各标志点的坐标于一csv文件中。并鼻下点(subnasale)作为坐标系原点，对各面部三维照片的坐标进行统一。坐标统一的具体运算过程参见实施例二，在此不再赘述。
[0115]
受试者的特征信息数据包括：受试者的性别、年龄、bmi、面部矢状向及垂直向评估结果，以及统一坐标系后的各标志点的三维坐标。样本处理模块对特征信息数据进行正交化处理，得到训练样本。
[0116]
模型构建模块利用训练样本对机器学习模型进行训练，得到对面部特征的预测模型。机器学习模型为多层感知器(mlp，multilayer perceptron)学习模型。多层感知器学习模型在前文中已经进行了详细介绍，在此不再赘述。在一些实施方式中，模型构建模块将训练样本数据以80％作为训练集，20％作为测试集通过scikit-learn建立多层感知学习模型，作为通过标志点三维坐标信息辅助诊断面部特征的分类器。
[0117]
预测模块即利用模型构建模块训练好的预测模型，对样本处理模块所标定的患者的面部三维照片的标志点坐标进行预测，输出具备参考性的面部特征，以辅助医师对患者面部畸形的诊断。
[0118]
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。