一种基于3D人脸的面部稠密关键点检测算法的制作方法

一种基于3d人脸的面部稠密关键点检测算法
技术领域
1.本发明涉及人脸检测技术领域，具体为一种基于3d人脸的面部稠密关键点检测算法。


背景技术：

2.人脸关键点是指面部具有显著语义信息的点集合。通过计算机算法技术检测出图像中的关键点，称为人脸关键点检测。该技术可应用于动画人脸合成，面部校验，表情识别等领域。因此，近年该领域的研究成果不断涌现。人脸关键点检测有很长的研究历史。按照时间线来划分，可分为传统方法和深度学习方法。近年来，基于深度学习的人脸关键点检测算法已经成为主流，其检测精度已经远远高于传统方法。
3.目前基于深度学习的人脸关键点检测算法逐渐成为研究热点，检测精度也不断在提升。在实际应用中，人脸分布存在多样性，对于算法来说具有巨大考验。目前算法大多基于回归算法，对于稠密关键点和多姿态人脸的关键点检测存在一定的缺陷。
4.稠密关键点检测，基于回归的关键点检测算法能检测的关键点数量有限。其中，具有代表性的如mtcnn和retinaface仅提供5个面部关键点，应用范围有限。
5.多姿态人脸关键点检测，在正脸和小角度姿态侧脸上，目前的检测算法效果十分突出。一旦出现大姿态侧脸，不可见关键点增多，算法精度急剧下降。


技术实现要素：

6.为了解决上述技术问题，本发明提供了如下的技术方案：
7.本发明一种基于3d人脸的面部稠密关键点检测算法，包括如下步骤：
8.s1、特征提取，特征信息包括人脸三维点云信息和人脸三维姿态信息也即图片有效信息，将图片中的有效信息通过卷积神经网络编码器进行提取，编码器由1个卷积层和10个残差块组成，经过5次下采样即可将低维特征压缩至高维特征；
9.s2、三维信息生成，通过使用在反卷积网络译码器由17个反卷积层，经过5次上采样即可将s1中压缩的高维特征生成三维人脸信息，所述三维人脸信息包括人脸三维点云信息和人脸三维姿态信息；
10.s3、关键点提取，将s2中生成的三维人脸信息云子集在2d图像上进行投影，通过投影变换，将三维点云信息投影至2d图像上，取出其中的子集，即得到需要检测的人脸关键点。
11.作为本发明的一种优选技术方案，所述s1中的卷积神经网络由多个卷积层级联而成，每个卷积层都对特征进行压缩。
12.作为本发明的一种优选技术方案，所述s2中的反卷积网络，由多层反卷积层构成，且每个反卷积层，将对高维特征进行解压，生成人脸的三维点云信息和三维姿态信息。
13.作为本发明的一种优选技术方案，所述三维点云信息包括人脸的形状和皮肤纹理信息，所述三维姿态信息包括人脸的空间旋转角。
14.作为本发明的一种优选技术方案，所述s3中的关键点提取包括68个面部关键点提取，在提取关键点的同时对3d人脸模型的顶点进行映射关联，3d人脸模型为已知模型3dmm，其3d点云信息包含在3d人脸模型之中，可以将三维点云信息与皮肤纹理信息一一对应，在提取特征的时候每个特征信息的rgb信息与点云信息是同时进行压缩的，即存在映射关系，故每个关键点都有一个3d人脸模型的顶点与之对应，通过投影变换，将3d人脸模型的顶点映射在2d平面上，即得所需的人脸关键点。
15.本发明的有益效果是：
16.1、本发明的3d人脸重建采用非线性模型，增强了模型的表征能力，使得生成的3d人脸，较线性模型更加真实，因此，在关键点检测任务上，检测到的关键点也更加精准；
17.2、本发明的稠密关键点检测提供68个面部关键点位置，每个面部关键点，都有一个3d人脸模型的顶点与之对应，3d顶点通过投影变换，映射在2d平面上，即所需的面部关键点，这种方式不同于直接回归的方法，每个关键点都来源自3d顶点，因此，在3d人脸模型生成准确的前提下，2d关键点也会准确；
18.3、本发明通过单图重建出3d人脸，解决了传统2d技术解决不了的大姿态人脸关键点检测问题。该检测算法支持多达68个面部关键点的检测，同时可以适用各种面部姿态，准确性有所提升。
附图说明
19.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
20.图1是本发明一种基于3d人脸的面部稠密关键点检测算法的流程图；
21.图2是本发明一种基于3d人脸的面部稠密关键点检测算法的特征提取示意图；
22.图3是本发明一种基于3d人脸的面部稠密关键点检测算法的三维信息生成示意图。
具体实施方式
23.以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
24.实施例：如图1所示，本发明一种基于3d人脸的面部稠密关键点检测算法，包括如下步骤：
25.s1、特征提取，如图2所示，特征信息包括人脸三维点云信息和人脸三维姿态信息也即图片有效信息，将图片中的有效信息通过卷积神经网络编码器进行提取，编码器由1个卷积层和10个残差块组成，经过5次下采样即可将低维特征压缩至高维特征；
26.s2、三维信息生成，如图3所示，通过使用在反卷积网络译码器由17个反卷积层，经过5次上采样即可将s1中压缩的高维特征生成三维人脸信息，所述三维人脸信息包括人脸三维点云信息和人脸三维姿态信息；
27.s3、关键点提取，将s2中生成的三维人脸信息云子集在2d图像上进行投影，通过投影变换，将三维点云信息投影至2d图像上，取出其中的子集，即得到需要检测的人脸关键点。
28.其中，s1中的卷积神经网络由多个卷积层级联而成，每个卷积层都对特征进行压缩，通过这种多层压缩的方式，特征将变的更加精简抽象。
29.其中，s2中的反卷积网络，由多层反卷积层构成，且每个反卷积层，将对高维特征进行解压，生成人脸的三维点云信息和三维姿态信息。
30.其中，三维点云信息包括人脸的形状和皮肤纹理信息，所述三维姿态信息包括人脸的空间旋转角。
31.其中，s3中的关键点提取包括68个面部关键点提取，在提取关键点的同时对3d人脸模型的顶点进行映射关联，3d人脸模型为已知模型3dmm，其3d点云信息包含在3d人脸模型之中，可以将三维点云信息与皮肤纹理信息一一对应，在提取特征的时候每个特征信息的rgb信息与点云信息是同时进行压缩的，即存在映射关系，故每个关键点都有一个3d人脸模型的顶点与之对应，通过投影变换，将3d人脸模型的顶点映射在2d平面上，即得所需的人脸关键点。
32.传统的3d人脸重建，通过线性基模型，拟合出3d人脸形状，但是由于线性基模型拟合能力有限，生成的3d人脸不够逼真。本发明的3d人脸重建采用非线性模型，增强了模型的表征能力，使得生成的3d人脸，较线性模型更加真实。因此，在关键点检测任务上，检测到的关键点也更加精准。
33.传统的关键点检测，仅提供有限的关键点(一般仅5个面部点)，不满足日渐增加的应用场景。本发明的稠密关键点检测提供68个面部关键点位置。每个面部关键点，都有一个3d人脸模型的顶点与之对应。3d顶点通过投影变换，映射在2d平面上，即所需的面部关键点。这种方式，不同于直接回归的方法，每个关键点都来源自3d顶点。因此，在3d人脸模型生成准确的前提下，2d关键点也会准确。
34.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。