人脸属性数据标注方法、计算机设备及存储介质与流程

1.本发明涉及图像处理技术领域，具体是一种人脸图像的属性数据标注方法、计算机设备及存储介质。


背景技术：

2.人脸属性分析是指，根据人脸图像分析出面部光照、头部姿态、性别、年龄等信息，在安防、互动娱乐等领域有着广泛的应用。现有的基于计算机视觉的人脸属性分析方法依赖于高质量的带标注数据。例如人脸光照数据需要人工观察人脸图像，标注对应的宏观光照标签，如欠曝、过曝、偏红等，标注受主观影响较大，且无法全面的描述真实环境中的复杂光照。此外，传统的光照数据的采集需要在实验室环境下部署大量光源，利用不同组合光源获取带有标注的人脸光照数据。又例如头部姿态数据，需要使用3d传感器采集不同人不同角度的大量头部姿态数据。这些数据采集方法成本高昂，采集过程繁琐，且实验室环境与真实环境差异较大，基于这种数据训练后的模型在真实场景下往往泛化性不足。


技术实现要素：

3.本发明所要解决的技术问题是提供一种提高拟合精度且泛化性好的人脸属性数据标注方法、计算机设备及存储介质。
4.为解决上述技术问题，本发明采用的技术方案是：本发明首先提供一种人脸属性数据标注方法，包括：建立人脸彩色图像数据集；检测建立的人脸彩色图像数据集中图像的人脸区域掩模；采用三维形变模型，对建立的人脸彩色图像数据集中图像，随机初始化身份参数、表情参数、纹理参数、球谐光照参数、头部姿态以及平移；对初始化参数进行渲染，得到渲染图像；计算人脸彩色图像数据集中图像与渲染图像在人脸区域掩模中的损失；最小化人脸彩色图像数据集中图像与渲染图像在人脸区域掩模中的损失，迭代优化身份参数、表情参数、纹理参数、球谐光照参数、头部姿态以及平移，得到优化后的球谐光照参数和头部姿态参数；采用优化后的球谐光照参数和头部姿态参数，对人脸彩色图像数据集中的所有图像数据都进行标注，得到标注后的光照数据集和头部姿态数据集；将人脸图像输入到人脸属性预测模型中训练；用于预测人脸光照的预测模型的最后一个全连接层为对应于球谐光照的27个参数对应的27个神经元；计算一个批次训练数据的预测光照参数与标注光照参数的损失，迭代优化模型；用于预测人脸头部姿态的预测模型的最后一个全连接层为对应于头部姿态数据的4个神经元，计算一个批次训练数据的预测头部姿态数据与标注头部姿态数据的损失，迭代优化模型；对待测人脸图像进行人脸检测，裁剪出人脸区域中的图像，输入到训练好的人脸
属性预测模型中，预测出此时人脸的光照参数和头部姿态。
5.本发明还提供一种计算机设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实 现所述的人脸属性数据标注方法。
6.本发明还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现所述的人脸属性数据标注方法。
7.与现有技术相比，本发明的有益效果是：本发明提出了一种人脸属性数据标注方法，基于3dmm人脸先验模型和可微渲染器，利用迭代优化参数的方式拟合人脸图像数据，得到对应的人脸属性参数。相比于传统的人脸属性数据人工采集标注方式，本方法实现了计算机算法全自动标注，大大降低了训练数据采集的成本。此外，传统的3d人脸拟合方法一般使用3dmm模型拟合检测得到的二维人脸关键点，这种方法只利用了图像中的关键点信息，受脸型、表情、相机参数、关键点检测器精度等因素的影响，拟合精度不高，且无法拟合光照这种纹理参数。而本发明方法结合了可微渲染器直接使用渲染出的人脸拟合待标注的人脸图像，利用了图像中的全部信息，能够拟合光照参数，且拟合的损失函数中加入了人脸区域掩模，排除了背景信息对拟合的干扰，提升了拟合的精确度。
附图说明
8.图1是本发明方法的流程图；图2是人脸区域掩模的标注过程示意图，其中，a为人脸彩色图像，b为a的人脸区域掩模；图3为基于参数的渲染图像，其中，a,b,c,d为四个不同旋转姿态的渲染图形， a的人脸姿态为俯仰角=-5
°
，偏航角=14
°
，桶滚角=7
°
； b的人脸姿态为俯仰角=-2
°
，yaw=-76
°
，桶滚角=2
°
； c的人脸姿态为俯仰角=2
°
，偏航角=-12
°
，桶滚角=3
°
； d的人脸姿态为俯仰角=-6
°
，偏航角=54
°
，桶滚角=5
°
；图4为三维人脸拟合效果对比，其中， a图为输入图像，b图为3ddfa-v2方法拟合的人脸形状，c图为本发明方法拟合出的人脸形状；图5为光照预测效果图，其中，a图为输入图像，b图为预测光照参数渲染出的光照纹理。
具体实施方式
9.本实施例提供一种人脸属性数据标注方法，步骤如图1所示，包括：1.人脸数据采集及预处理。通过预处理的人脸数据得到人脸彩色图像数据集。
10.在一个实施例中，人脸数据采集及预处理的方法包括：采集大量人脸彩色图像数据，数据包含丰富的光照、表情、身份、头部姿态，共n张，n为大于100的整数；使用人脸检测器检测人脸区域，裁剪出人脸区域中的图像；
将裁剪出人脸区域中的图像，统一放缩到高h像素、宽w像素尺寸（h、w为大于32的整数），得到数据集，其中为第n张（n为0到n—1整数）预处理后的图像。
11.2. 标注人脸区域掩模。检测建立的人脸彩色图像数据集中图像的人脸区域掩模，见图2所示，其中图2中b为a人脸彩色图像的人脸区域掩模。
12.在一个实施例中，对预处理后的图像使用预训练的人脸分割模型（如人脸语义分割工具face_segmentation）检测图像的人脸区域掩模，其中为图像的人脸区域掩模。
13.3. 基于3dmm模型标注人脸属性。具体包括：采用三维形变模型，对建立的人脸彩色图像数据集中图像，随机初始化身份参数、表情参数、纹理参数、球谐光照参数、头部姿态以及平移；对初始化参数进行渲染，得到渲染图像，见图3；计算人脸彩色图像数据集中图像与渲染图像在人脸区域掩模中的损失；最小化人脸彩色图像数据集中图像与渲染图像在人脸区域掩模中的损失，迭代优化身份参数、表情参数、纹理参数、球谐光照参数、头部姿态以及平移，得到优化后的球谐光照参数和头部姿态参数；采用优化后的球谐光照参数和头部姿态参数，对人脸彩色图像数据集中的所有图像数据都进行标注，得到标注后的光照数据集和头部姿态数据集。
14.三维形变模型（3dmm ，3d morphable models，）是一种人脸参数化模型，它能通过调节身份参数、表情参数、纹理参数、球谐光照参数、头部姿态、平移生成特定的3d脸型。球谐光照模型使用27个参数来表示复杂的光照，头部姿态用四元数的形式表示。
15.选取合适的3dmm模型（如巴塞尔人脸模型basel face model，大规模人脸模型large scale facial model）。对图像随机初始化身份参数、表情参数、纹理参数、球谐光照参数、头部姿态、平移。使用可微渲染器render（如tensorflow 网格渲染器tf mesh renderer、英伟达高性能可微渲染器nvdiffrast等）将参数渲染成图像，。采用l1损失函数计算与在掩模中的损失，，其中mean为求像素均值函数。使用adam优化器最小化loss，迭代优化各输入参数，得到优化后的球谐光照参数和头部姿态参数，此时，即为的人脸光照标注和头部姿态标注。对所有图像数据都进行标注，得到标注后的光照数据集和头部姿态数据集。
16.4.训练人脸属性预测模型。
17.将人脸图像输入到人脸属性预测模型中训练；用于预测人脸光照的预测模型的最后一个全连接层为对应于球谐光照的27个参数对应的27个神经元；计算一个批次训练数据的预测光照参数与标注光照参数的损失，迭代优化模型；用于预测人脸头部姿态的预测模
型的最后一个全连接层为对应于头部姿态数据的4个神经元，计算一个批次训练数据的预测头部姿态数据与标注头部姿态数据的损失，迭代优化模型；人脸属性预测模型可以选择卷积神经网络结构（如vgg、resnet、mobilenet等）。
18.5.人脸属性预测。
19.对待测人脸图像进行人脸检测，裁剪出人脸区域中的图像，输入到训练好的人脸属性预测模型中，预测出此时人脸的光照参数和头部姿态。
20.裁剪出人脸区域中的图像放缩到高h像素、宽w像素尺寸。
21.三维人脸拟合方法对比。对比本发明方法和三维稠密人脸对齐方法3ddfa-v2方法拟合人脸的效果，如图4 所示，a图为输入图像，b图为3ddfa-v2方法拟合的人脸形状，c图为本发明方法拟合出的人脸形状。可以看出本发明方法拟合出的人脸三维形状更加贴合图像中的人脸。
22.光照评估方法对比。用于人脸的光照质量评估方法fiiqa只能返回一个描述光照条件好坏的分数；专利《光照对称性与全局光照强度融合的无参考人脸光照评价方法》仅能评估光照对称性和亮度这种宏观信息；而本发明方法能够预测27维的球谐光照参数，如图5所示，a图为输入图像，b图为预测光照参数渲染出的光照纹理，可见本发明方法可以精细地表示复杂的光照情况。
23.头部姿态方法对比。aflw2000-3d是一个常用的人脸姿态评估数据集，在此数据集上对比本发明方法和细粒度头部姿态估计模型hopenet，对比结果如表1所示，本发明方法的平均误差比hopenet降低了28.9%。
24.表1头部姿态角度误差对比 俯仰角误差偏航角误差桶滚角误差平均误差hopenet6.56
°
6.47
°
5.44
°
6.16
°
本发明方法5.84
°
4.16
°
4.33
°
4.78
°
本发明人脸属性数据标注方法中的人脸属性，还包括人脸精细表情参数，具体标准方法如下：1.人脸数据采集及预处理。采集大量人脸彩色图像数据，数据包含丰富的表情、身份、光照、头部姿态，共n张（n为大于100的整数）。使用人脸检测器检测人脸区域，裁剪出人脸区域中的图像并统一放缩到高h像素、宽w像素尺寸（h、w为大于32的整数），得到数据集，其中为第n张（n为0到n—1整数）预处理后的图像。
25.2.标注人脸区域掩模。对预处理后的图像使用预训练的人脸分割模型（如face_segmentation）检测图像的人脸区域掩模，其中为图像的人脸区域掩模。
26.3.为3dmm模型绑定blendshapes。人脸3dmm（3d morphable models，三维形变模型）是一种人脸参数化模型，它能通过调节身份参数、表情参数、纹理参数、光照参数、旋转角、平移生成特定的3d脸型。选取合适的3dmm模型（如basel face model，large scale facial model），使用面部表情绑定算法——example-based facial rigging，为3dmm模型绑定所需的m种（m为正整数）表情blendshapes（形态键），表情可以是抬眉毛、皱眉、闭眼、张嘴等解耦的精细表情，每个blendshape都是0到1的值，表示该表情的变化程度。标定
blendshapes后的3dmm模型可以通过调节blendshapes系数控制3d人脸的细微表情。
27.4. blendshapes参数标注。对图像随机初始化身份参数、blendshapes参数、纹理参数、光照参数、旋转角、平移。使用可微渲染器render（如tf mesh renderer、nvdiffrast等）将参数渲染成图像，。采用l1损失函数计算与在掩模中的损失，，其中mean为求像素均值函数。使用adam优化器最小化loss，迭代优化输入参数，得到优化后的blendshapes参数，此时即为的表情标注。对所有图像数据都进行标注，得到标注后的数据集。
28.5.训练表情识别模型。选择合适和卷积神经网络结构（如vgg、resnet、mobilenet等），将网络最后一个全连接层设置为m个神经元，对应于m个blendshapes。模型输入为人脸图像，输出为预测的m种表情blendshapes。采用l1损失函数计算一个批次训练数据的预测blendshapes与标注blendshapes的损失，使用梯度下降法迭代优化模型。最终训练后的模型能准确地从输入人脸预测表情blendshapes。
29.6.精细面部表情识别。对待识别人脸图像进行人脸检测，裁剪出人脸区域中的图像并放缩到高h像素、宽w像素尺寸，输入训练后的模型预测出人脸m种表情blendshapes。
30.本实施例提供一种计算机设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实 现上述实施例的人脸属性数据标注方法。
31.本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例的人脸属性数据标注方法。