一种三维人脸标志点自动确定方法

1.本发明涉及三维人脸标志；具体涉及一种三维人脸标志点自动确定方法。


背景技术：

2.1背景
3.颜面部的三维形态特征是口腔医学临床诊疗关注的重点问题，随着数字化技术的发展，口腔临床三维颜面数据的获取变得更加便捷，颜面三维形态分析已成为口腔医生诊疗的重要环节。三维颜面解剖标志点体现了口腔临床医生对于三维颜面整体形态特征的感知重点，是颜面三维形态分析的前提和基础。基于颜面解剖标志点可以对颜面部进行测量学和形态学分析，便于口腔颌面外科、口腔正畸科和口腔修复科等进行疾病的诊断分析，治疗方案的设计以及治疗效果的评价。
4.目前，在三维颜面数据上确定解剖标志点主要以人工标记的方式为主，而人工选点的工作量较大，加之对操作者的临床经验有很大依赖性，不利于临床普及推广。近年来，为了实现标志点高效的自动定位，基于软件算法自动确定三维颜面解剖标志点成为口腔临床关注的热点，报道的算法主要包括几何信息分析类算法和机器学习类算法，相关算法程序尚处于实验室研究阶段。为了解决在三维颜面数据上快速、准确、自动、批量确定颜面解剖标志点的问题，本文提出了一种新的实现方法：基于可变形模板进行三维颜面解剖标志点的自动确定。
5.2国内外研究发展动态及现状
6.在口腔医学中，颜面解剖标志点的确定一直是国内外学者关注的重点内容之一。随着医疗技术的发展，颜面解剖标志点的确定在维度上逐渐由二维转向三维，在方法上逐渐由人工确定转向自动确定，大致经历了如下发展过程：
7.二维颜面解剖标志点的确定：
8.①
人工在二维影像上确定：在20世纪科学技术尚不发达的时候，口腔临床医生只能采集到患者的二维影像数据，因此基于二维影像数据对患者的颜面部形态进行测量分析是当时的主流。1980年farkas lg[1]等人在其研究中分析了在受试者颜面部直接确定颜面解剖标志点进行测量和在二维图像上确定颜面解剖标志点进行测量的效果，其结果显示在二维图像上确定颜面解剖标志点进行测量的部分指标是可靠的，而部分指标具有一定的偏差。1990年lewis claman[2]等人在其研究中提出了采集口腔临床患者二维图像的标准要求，以便于口腔临床医生进行颜面部形态分析。
[0009]
②
算法在二维影像上自动确定：随着科学技术的发展，人工智能及大数据的出现为二维颜面解剖标志点的确定带来了崭新的可能。2017年song anping[3]等人在其研究中使用一种检测颜面解剖标志点的算法在患者的二维图像上自动确定解剖标志点，对面神经麻痹患者进行评估检测。2018年asghar t abatabaei balaei[4]等人使用患者的二维图像研究阻塞性睡眠呼吸暂停综合症时，采用人工标记和算法自动标记两种方式在图像上确定颜面解剖标记点，根据其结果，使用算法自动确定二维颜面解剖标志点进行研究具有良好
sciences in medicine,2017,40(4):851-860.
[0021]
[4]tabatabaei b a,sutherland k,cistulli p,et al.prediction of obstructive sleep apnea using facial landmarks[j].physiol meas,2018,39(9):94004.
[0022]
[5]head-and-face anthropometric survey of chinese workers[j].the annals of occupational hygiene,2008.
[0023]
[6]al a a,richmond s,popat h,et al.a three-dimensional analysis of the effect of atopy on face shape[j].eur j orthod,2014,36(5):506-511.
[0024]
[7]economou s,stoustrup p,kristensen k d,et al.evaluation of facial asymmetry in patients with juvenile idiopathic arthritis:correlation between hard tissue and soft tissue landmarks[j].american journal of orthodontics and dentofacial orthopedics,2018,153(5):662-672.
[0025]
[8]johal a,chaggar a,zou l f.a three-dimensional soft tissue analysis of class iii malocclusion:a case-controlled cross-sectional study[j].journal of orthodontics,2018,45(1):16-22.
[0026]
[9]liang s,wu j,weinberg s m,et al.improved detection of landmarks on 3d human face data[j].annu int conf ieee eng med biol soc,2013,2013:6482-6485.
[0027]
[10]梁艳，章云.姿态和表情变化下的三维人脸标志点定位(英文)[j].控制理论与应用,2017,34(06):820-828.
[0028]
[11]wang k,zhao x,gao w,et al.a coarse-to-fine approach for 3d facial landmarking by using deep feature fusion[j].symmetry,2018,10(8):308.
[0029]
[12]paulsen r r,juhl k a,haspang t m,et al.multi-view consensus cnn for 3d facial landmark placement[m]cham:springer international publishing,2019.11361,706-719.
[0030]
[13]white j d,ortega-castrill
ó
n a,matthews h,et al.meshmonk:open-source large-scale intensive 3d phenotyping[j].scientific reports,2019,9(1).
[0031]
[14]ekrami o,claes p,white j d,et al.measuring asymmetry from high-density 3d surface scans:an application to human faces[j].plos one,2018,13(12):e207895.
[0032]
[15]besl p j,mckay h d.a method for registration of 3-d shapes[j].ieee trans,1992,14(2):239-256.


技术实现要素：

[0033]
(一)要解决的技术问题
[0034]
本发明的目的是提供一种三维人脸标志点自动确定方法，提出了一种基于预设解剖特征信息的三维人脸模板实现个性化三维颜面解剖标志点自动确定的方法，可快速、批量的确定患者个性化人脸的三维颜面解剖标志点的三维坐标，实现人脸解剖标志点的自动确定。
[0035]
(二)技术方案
[0036]
本发明的1、一种三维人脸标志点自动确定方法，其特征在于包括以下步骤：
[0037]
(1)在三维人脸模板上确定颜面解剖标志点的顶点序号信息；
[0038]
(2)三维人脸模板与目标三维人脸变形配准，确定目标三维人脸的解剖标志点。
[0039]
2、根据权利要求1所述的一种三维人脸标志点自动确定方法，其特征在于包括以下步骤：
[0040]
所述步骤(1)的三维人脸模板是由一名颜面部形态正常，无发育性疾病，对称性良好的志愿者三维颜面数据构建，数据范围为：上至发际线，左右两侧至耳屏和下颌角，下至颏部下方；
[0041]
所述步骤(1)的三维人脸模板，为一种点云数据，可选取三维人脸解剖标志点的顶点，并获得所选顶点在三维人脸模板点云中的序号信息；
[0042]
所述步骤(2)包括：
[0043]
①
基于非刚性配准算法，将上述三维人脸模板变形配准到需要确定三维颜面解剖标志点的目标三维颜面数据，获得到变形后的三维人脸模板；
[0044]
②
基于变形前三维人脸模板点云中确定的标志点顶点序号信息，批量、自动获取变形后模板点云中相应序号的顶点三维坐标，实现自动确定三维颜面解剖标志点的效果。
[0045]
(三)有益效果
[0046]
本发明的优点在于：
[0047]
1、提出了一种基于预设解剖特征信息的三维人脸模板实现个性化三维颜面解剖标志点自动确定的方法，可快速、批量的确定患者个性化人脸的三维颜面解剖标志点的三维坐标，实现人脸解剖标志点的自动确定。
[0048]
2、本发明自动确定的三维颜面解剖标志点的点数灵活(几个至几十个)，效率较高。
附图说明
[0049]
图1是本发明基于三维人脸模板实现三维颜面解剖标志点自动确定的示意图(以32个点为例)；
[0050]
图中，a选取的三维人脸模板；b志愿者的三维颜面数据；c变形后模板数据自动确定的三维颜面解剖标志点。
具体实施方式
[0051]
以下实施例用于说明本发明，但不用来限制本发明的范围。
[0052]
本发明的一种三维人脸标志点自动确定方法，包括以下步骤：
[0053]
(1)选取三维人脸模板并确定其颜面解剖标志点的顶点序号信息。
[0054]
(2)基于三维人脸模板实现三维颜面解剖标志点的自动确定。
[0055]
所述步骤(1)包括：
[0056]
选取一名颜面部形态正常，无发育性疾病，对称性良好的志愿者，使用三维颜面扫描设备采集其三维颜面数据，并以obj格式保存。在处理三维点云数据的软件中对采集的数据进行处理，填补颜面部的缺损数据，删除颜面部以外的冗余数据，保留数据范围为：上至
发际线，左右两侧至耳屏和下颌角，下至颏部下方。将处理后的三维颜面数据作为三维人脸模板，在三维人脸模板的点云中，选取能代表三维颜面解剖标志点的顶点，顶点的选取和数量能根据需求设定，确定所选顶点在三维人脸模板点云中的序号信息；
[0057]
所述步骤(2)包括：
[0058]
基于非刚性配准算法，将上述三维人脸模板变形配准到需要确定三维颜面解剖标志点的三维颜面数据上。使用非刚性配准算法的流程能分为以下步骤：
[0059]
①
在处理三维数据的软件中(例如：geomagic studio 2013)，使用软件功能，在三维人脸模板和三维颜面数据上分别选取相应的5-8个重要颜面解剖标志点，基于颜面解剖标志点数据，非刚性配准算法完成三维人脸模板和三维颜面数据的初对齐；
[0060]
②
初对齐后，基于迭代最近点算法(iterative closest point,icp)计算三维人脸模板和三维颜面数据间的点云对应关系，并进行刚性配准；
[0061]
③
基于icp算法得到的三维人脸模板和三维颜面数据间的点云对应关系，非刚性配准算法进行非刚性配准，迭代运行步骤
②
和步骤
③
至非刚性配准算法收敛或达到设定的迭代次数，将三维人脸模板逐步变形配准到三维颜面数据上，得到变形后的三维人脸模板，以obj格式保存，基于三维人脸模板点云中确定的顶点序号信息，批量、自动的获取变形后模板点云中相应序号的顶点的三维坐标，实现自动确定三维颜面解剖标志点的效果。
[0062]
处理三维数据的软件：geomagic studio 2013，但不限于该软件；
[0063]
三维颜面扫描设备：face scan(3d-shape corp，erlangen，德国)，但不限于该设备；
[0064]
非刚性配准算法：meshmonk:开源大规模密集三维表型分析，作者：white j d、ortega-castrill
ó
n a、matthews h等。2019年发表于scientific reports，第1期，第9卷。从高密度三维表面扫描中测量不对称性：人脸应用，作者：ekrami o、claes p、white j d等。2018年发表于plos one，第12期，第13卷，页码e0207895。
[0065]
迭代最近点算法(iterative closest point,icp)：一种三维形状的配准方法，作者：besl p j,mckay h d。1992年发表于ieee trans，第2期，第14卷，页码239
–
256。
[0066]
本发明的方法临床应用评价：
[0067]
应用本方法为颜面部无显著畸形患者和下颌轻度偏斜患者的三维颜面数据自动确定三维颜面解剖标志点，结果显示，针对5例颜面无显著畸形志愿者的三维颜面测试数据，32个颜面解剖标志点中，鼻底点的定点误差最小，为0.22
±
0.13mm；眉峰点的定点误差最大，右侧为5.39
±
1.71mm、左侧为5.17
±
2.19mm。10个面中线解剖标志点的平均定点误差均小于2mm，22个双侧解剖标志点中除眉峰点、颧点和下颌角点外，平均定点误差均小于3mm。针对5例下颌轻度偏斜患者的三维颜面测试数据，32个颜面解剖标志点中，鼻底点的定点误差最小，为0.54
±
0.36mm；下颌角点的定点误差最大，右侧为10.35
±
2.55mm、左侧为7.59
±
4.44mm。10个面中线解剖标志点除发迹点和颏下点外，平均定点误差均小于3mm；22个双侧解剖标志点中除眉峰点、耳屏点和下颌角点外，平均定点误差均小于4mm。
[0068]
综上所述，本方法自动确定中线解剖标志点的效果优于双侧解剖标志点，鼻、唇区解剖标志点的自动确定效果优于面部其他区域，颜面部无显著畸形数据解剖标志点的自动确定效果优于下颌偏斜数据，颏部及面部轮廓解剖标志点的自动确定效果有待进一步改进。总体评价，本方法具有良好的可行性，可初步满足口腔临床的应用需求。
[0069]
如上所述，便可较为充分的实现本发明。以上所述仅为本发明的较为合理的实施实例，本发明的保护范围包括但并不局限于此，本领域的技术人员任何基于本发明技术方案上非实质性变性变更均包括在本发明包括范围之内。