一种人脸图像质量的量化分析方法与流程

1.本发明涉及一种人脸图像质量的量化分析方法，属于人脸图像质量评估技术领域。


背景技术：

2.图像质量评估算法旨在使用数学模型给出与人的主观质量判断相一致的客观量化值。人脸图像质量评估的不同点在于，不仅要考虑图像质量，更要考虑人脸图像是否可以用于人脸识别，而图像中人脸的姿态、遮挡程度、模糊程度、光照条件等因素都会对人脸识别结果造成影响，难以将对人脸图像的主观感受转化为数字进行衡量，这是人脸图像质量评估所面临的巨大挑战。
3.在人脸识别、人脸聚类、人脸属性分析等任务中需要先对质量较差的人脸图像进行过滤，且人脸检测算法不可避免地会出现误检情况，直接将人脸检测结果输出到后续环节，很大程度会对后续算法效果造成影响。因此亟需要一种能够有效过滤低质量以及能对人脸图像质量准确量化分析的人脸质量评估算法。
4.目前人脸质量评估方法可分为两类，一类是通过人类视觉系统主观定义质量指标(human quality values,hqv)，另一类是人脸识别效果直接决定质量分数(machine quality values,mqv)。在hqv方法中，通过计算姿态、清晰度等影响因素来反映人脸图像质量；而在mqv方法中，质量分数通常由人脸识别特征的匹配相似度获得。
5.在实际应用场景中，简单的主观定义质量评价方法不足以准确评价人脸图像质量，而基于人脸识别相似度生成的质量分数完全依赖于人脸识别模型，与人主观感知结果相差较大。
6.目前人脸质量评估方法存在着以下缺陷：
7.(1)清晰度和姿态判断准确度较低
8.在主观定义人脸质量的方法中，清晰度、姿态等计算方法大多采用传统方法，而传统清晰度估计方法(如拉普拉斯、sobel算子等)无法同时有效解决模糊和噪声的问题；传统姿态估计方法，例如通过衡量人脸区域的对称性来评估姿态结果，无法获得人脸在三维空间的具体角度，对姿态的量化分析不够准确。
9.(2)忽视了人脸遮挡问题
10.目前在主观定义人脸质量的方法中，几乎没有对遮挡影响因素的评估，而遮挡对人脸识别具有较大影响。在监控等应用场景中口罩、头盔以及其它外部遮挡情况大量存在。人脸质量评估算法应能够考虑到遮挡因素，并能反映出不同遮挡程度对质量的影响。
11.(3)基于人脸识别特征的方法泛化能力较差，计算速度慢
12.为了使用人脸识别特征进行知识迁移，质量分数回归网络与人脸识别网络结构基本相同，在实际应用中网络不够轻量化，对不同人脸特征提取模型的泛化能力较差。
13.(4)基于人脸识别特征的质量评价与主观感知不符
14.基于人脸识别特征的质量评估方法中，质量分数标签由识别相似度生成，但通常
在人脸识别数据集中，缺少同一人的低质量样本，这样生成标签所训练的模型对低质量样本无法达到很好的区分度。在计算相似度时，需要先挑选一张高质量样本，不同对象生成的质量标签具有相对性，没有明确的标准，与主观感知结果有偏差。


技术实现要素：

15.本发明所要解决的技术问题是提供一种人脸图像质量的量化分析方法，通过人脸质量细粒度分类、人脸姿态估计、人脸清晰度估计模型、以及光照分析，可以有效地进行低质量人脸过滤，为人脸图像提供符合主观的人脸质量评价。
16.本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种人脸图像质量的量化分析方法，用于针对待测图像中局部待测人脸图像的质量进行量化，执行如下步骤a至步骤j，获得局部待测人脸图像所对应的分数，用于对局部待测人脸图像进行质量筛选；
17.步骤a.基于以人脸图像为输入、人脸图像所对应预设人脸图像细粒度分类为输出的质量分类网络，针对局部待测人脸图像进行处理，获得局部待测人脸图像所对应的细粒度分类，并作为局部待测人脸图像所对应的质量分类，然后进入步骤b；
18.步骤b.基于待测图像，以局部待测人脸图像为中心，针对局部待测人脸图像所对应的选择框外扩预设第一比例，获得第一局部外扩待测人脸图像，若超出待测图像区域，则以全0像素值进行填补，并进入步骤c；
19.步骤c.基于以人脸图像为输入，人脸图像中人脸分别对应偏航角方向、俯仰角方向、翻滚角方向下预设各角度区间概率为输出的姿态分类网络，针对第一局部外扩待测人脸图像进行处理，获得第一局部外扩待测人脸图像中人脸分别对应偏航角方向、俯仰角方向、翻滚角方向下预设各角度区间预测结果，并执行数学期望回归，获得第一局部外扩待测人脸图像中人脸分别对应偏航角方向、俯仰角方向、翻滚角方向下的预测角度连续值，即获得局部待测人脸图像中人脸分别对应偏航角方向、俯仰角方向、翻滚角方向下的预测角度连续值，然后进入步骤d；
20.步骤d.基于待测图像，以局部待测人脸图像为中心，针对局部待测人脸图像所对应的选择框外扩预设第二比例，获得第二局部外扩待测人脸图像，并进入步骤e；
21.步骤e.基于以人脸图像为输入、人脸图像所对应清晰度数据为输出的清晰度估计网络，针对第二局部外扩待测人脸图像进行处理，获得第二局部外扩待测人脸图像所对应清晰度数据，并使用sigmoid函数将清晰度数据映射到0到1之间，作为第二局部外扩待测人脸图像所对应的清晰度值，即获得局部待测人脸图像所对应的清晰度值，然后进入步骤f；
22.步骤f.基于局部待测人脸图像各角点的位置坐标，以及局部待测人脸图像的长、宽，针对局部待测人脸图像所对应的选择框进行缩小，获得局部待测人脸图像中的局部光照区域，并计算获得局部光照区域对应hsv色彩空间中v通道的均值，作为局部待测人脸图像所对应的人脸光照值，然后进入步骤g；
23.步骤g.计算获得局部待测人脸图像中人脸对应偏航角方向的预测角度连续值所对应的分数、俯仰角方向的预测角度连续值所对应的分数、翻滚角方向下的预测角度连续值所对应的分数，并根据各质量分类下预设偏航角方向权重、预设俯仰角方向权重、翻滚角方向权重，应用加权方式，获得局部待测人脸图像所对应的姿态分数，然后进入步骤h；
24.步骤h.根据局部待测人脸图像所对应的清晰度值，计算获得局部待测人脸图像所对应的清晰度分数，然后进入步骤i；
25.步骤i.根据局部待测人脸图像所对应的人脸光照值，计算获得局部待测人脸图像所对应的光照分数，然后进入步骤j；
26.步骤j.根据各质量分类分别对应的姿态权重、清晰度权重、光照权重，结合局部待测人脸图像所对应的质量分类，按如下公式：
[0027][0028]
获得局部待测人脸图像所对应的分数score，其中，分别表示局部待测人脸图像所对应质量分类下姿态权重、清晰度权重、光照权重，s
p
、sc、s
l
分别表示局部待测人脸图像所对应的姿态分数、清晰度分数、光照分数，m
t
表示局部待测人脸图像所对应质量分类下预设最大人脸图像分数。
[0029]
作为本发明的一种优选技术方案：所述步骤a中，基于所获局部待测人脸图像所对应的细粒度分类，结合各细粒度分类与预设各质量分类之间预设映射关系，获得局部待测人脸图像所对应细粒度分类对应的质量分类，即获得局部待测人脸图像所对应的质量分类，然后进入步骤b。
[0030]
作为本发明的一种优选技术方案：所述步骤c中，所获第一局部外扩待测人脸图像中人脸分别对应偏航角方向、俯仰角方向、翻滚角方向下预设各角度区间预测结果，按如下公式：
[0031][0032][0033][0034]
执行数学期望回归，获得第一局部外扩待测人脸图像中人脸分别对应偏航角方向下的预测角度连续值yaw
p
、俯仰角方向下的预测角度连续值pitch
p
、翻滚角方向下的预测角度连续值roll
p
，即获得局部待测人脸图像中人脸分别对应偏航角方向、俯仰角方向、翻滚角方向下的预测角度连续值；其中，i＝{0、1、2、
…
、i}，i表示人脸分别对应各姿态角方向下所划分角度区间的个数，logit
yaw
表示姿态分类网络对应人脸在偏航角方向的输出，logit
pitch
表示姿态分类网络对应人脸在俯仰角方向的输出，logit
roll
表示姿态分类网络对应人脸在翻滚角方向的输出，softmax(logit
yaw
)i表示logit
yaw
对应第i个角度区间的概率，softmax(logit
pitch
)i表示logit
pitch
对应第i个角度区间的概率，softmax(logit
roll
)i表示logit
roll
对应第i个角度区间的概率。
[0035]
作为本发明的一种优选技术方案：所述步骤f中，根据如下公式：
[0036]
[0037]
计算获得局部光照区域对应hsv色彩空间中v通道的均值l，作为局部待测人脸图像所对应的人脸光照值，其中，w和h分别为局部光照区域的宽和高，v
wh
为局部光照区域中(w，h)坐标位置对应hsv色彩空间v通道的像素值。
[0038]
作为本发明的一种优选技术方案：所述步骤g中，执行如下步骤g1至步骤g4，获得局部待测人脸图像中人脸对应偏航角方向的预测角度连续值所对应的分数、俯仰角方向的预测角度连续值所对应的分数、翻滚角方向下的预测角度连续值所对应的分数；
[0039]
步骤g1.基于横坐标为姿态角度、纵坐标为分数的坐标系，针对人脸对应的偏航角方向、俯仰角方向、翻滚角方向：基于人脸在对应方向上姿态角度的变化范围，以人脸在该方向上向其两侧转动极限姿态角度分别对应分数为0，构成两角点坐标位置，以及以人脸在该方向上转动姿态角度0所对应预设最大分数值，构成顶点坐标位置，然后进入步骤g2；
[0040]
步骤g2.针对人脸对应的俯仰角方向、翻滚角方向：基于人脸在对应方向上向其两侧分别转动相同预设第一转动姿态角度所对应的相同预设第一分数值，构成两个第一转动点坐标位置，其中，预设第一转动姿态角度大于0度姿态角度、且小于极限姿态角度，以及预设第一转动姿态角度所对应的预设第一分数值小于预设第一转动姿态角度对应其同侧角点坐标位置与顶点坐标位置之间所连直线上的分数值；
[0041]
针对人脸对应的偏航角方向：基于各质量分类下人脸在对应偏航角方向上向其两侧分别转动相同预设第二转动姿态角度所对应的相同预设第二分数值，构成各质量分类分别所对应的两个第二转动点坐标位置，其中，各质量分类下的预设第二转动姿态角度大于0度姿态角度、且小于极限姿态角度，以及各质量分类下预设第二转动姿态角度所对应的预设第二分数值大于该预设第二转动姿态角度对应其同侧角点坐标位置与顶点坐标位置之间所连直线上的分数值；
[0042]
然后进入步骤g3；
[0043]
步骤g3.以顶点坐标位置向其两侧方向分别依次直线连接第一转动点坐标位置、以及同侧角点坐标位置，构成人脸对应俯仰角方向与翻滚角方向的姿态角度与分数之间对应关系；
[0044]
分别针对各质量分类，以顶点坐标位置向其两侧方向分别依次直线连接质量分类所对应第二转动点坐标位置、以及同侧角点坐标位置，构成该质量分类下人脸对应偏航角方向的姿态角度与分数之间对应关系，进而获得各质量分类下人脸对应偏航角方向的姿态角度与分数之间对应关系；
[0045]
然后进入步骤g4；
[0046]
步骤g4.基于人脸对应俯仰角方向与翻滚角方向的姿态角度与分数之间对应关系、以及各质量分类下人脸对应偏航角方向的姿态角度与分数之间对应关系，结合局部待测人脸图像所对应的质量分类，获得局部待测人脸图像中人脸对应偏航角方向的预测角度连续值所对应的分数、俯仰角方向的预测角度连续值所对应的分数、翻滚角方向下的预测角度连续值所对应的分数。
[0047]
作为本发明的一种优选技术方案：所述步骤h包括步骤h1至步骤h4如下，获得局部待测人脸图像所对应的清晰度分数；
[0048]
步骤h1.针对预设各人脸样本图像，按步骤e的方法，获得各人脸样本图像分别所对应的清晰度值，然后进入步骤h2；
[0049]
步骤h2.按图像清晰度分数计算方法，计算获得各人脸样本图像分别所对应的清晰度分数，然后进入步骤h3；
[0050]
步骤h3.基于横坐标为清晰度值、纵坐标为清晰度分数的坐标系，以各人脸样本图像分别对应的清晰度值、清晰度分数，构成各个拟合点位置，并拟合获得清晰度值与清晰度分数之间对应关系，然后进入步骤h4；
[0051]
步骤h4.根据清晰度值与清晰度分数之间对应关系，以及局部待测人脸图像所对应的清晰度值，获得局部待测人脸图像所对应的清晰度分数。
[0052]
作为本发明的一种优选技术方案：所述步骤i包括步骤i1至步骤i4，获得局部待测人脸图像所对应的光照分数；
[0053]
步骤i1.基于横坐标为光照值、纵坐标为光照分数的坐标系，结合预设光照值范围，以最小光照值对应分数为0，构成起点坐标位置，以最大光照值对应分数为预设分数，构成末尾坐标位置，然后进入步骤i2；
[0054]
步骤i2.基于各质量分类下最小光照值与最大光照值之间预设高分光照值所对应的预设最大光照分数，构成各质量分类分别所对应的高分坐标位置，然后进入步骤i3；
[0055]
步骤i3.分别针对各质量分类，由起点坐标位置依次以开口向下弧线连接质量分类所对应高分坐标位置、末尾坐标位置，构成该质量分类所对应光照值与光照分数之间对应关系，进而获得各质量分类分别所对应的光照值与光照分数之间对应关系，然后进入步骤i4；
[0056]
步骤i4.根据各质量分类分别所对应的光照值与光照分数之间对应关系，结合局部待测人脸图像所对应的质量分类，以及局部待测人脸图像所对应的人脸光照值，获得局部待测人脸图像所对应的光照分数。
[0057]
作为本发明的一种优选技术方案：所述步骤i2中还包括基于各质量分类分别所对应的高分坐标位置，以各质量分类下预设高分光照值与最大光照值之间预设辅助光照值所对应的预设辅助光照分数，构成各质量分类分别所对应的辅助坐标位置；
[0058]
所述步骤i3中，分别针对各质量分类，由起点坐标位置依次以开口向下弧线连接质量分类所对应高分坐标位置、辅助坐标位置、末尾坐标位置，构成该质量分类所对应光照值与光照分数之间对应关系，进而获得各质量分类分别所对应的光照值与光照分数之间对应关系。
[0059]
作为本发明的一种优选技术方案：所述步骤a中，针对resnet18网络，移除网络中最后一个残差模块，并替换网络中平均池化层为自适应平均池化层，获得更新后的网络，所述质量分类网络基于该更新后的网络实现；
[0060]
基于预设各样本人脸图像、以及各样本人脸图像分别所对应预设人脸图像细粒度分类，按以人脸图像为输入、人脸图像所对应细粒度分类为输出，针对上述结构的质量分类网络进行训练，更新获得质量分类网络；
[0061]
所述步骤c中，针对resnet18网络，移除网络中最后一个残差模块，并对网络中的全连接层更新包括分别对应偏航角方向、俯仰角方向、翻滚角方向的分支全连接层，获得更新后的网络，所述姿态分类网络基于该更新后的网络实现；
[0062]
基于预设各样本人脸图像、以及各样本人脸图像中人脸分别对应偏航角方向、俯仰角方向、翻滚角方向下预设各角度区间类别，按以人脸图像为输入，人脸图像中人脸分别
对应偏航角方向、俯仰角方向、翻滚角方向下预设各角度区间类别预测结果为输出，针对上述结构的姿态分类网络进行训练，更新获得姿态分类网络；
[0063]
所述步骤e中，所述清晰度估计网络基于resnet10网络实现；基于预设各样本人脸图像、以及各样本人脸图像分别所对应清晰度数据，按以人脸图像为输入、人脸图像所对应清晰度数据为输出，针对上述结构的清晰度估计网络进行训练，更新获得清晰度估计网络。
[0064]
作为本发明的一种优选技术方案：所述关于对清晰度估计网络进行的训练过程中：针对预设各样本人脸图像，分别执行不同方法、不同程度的失真处理，获得各样本人脸图像分别对应各失真方法下不同程度的低质量样本人脸图像，共同构成各个样本人脸图像，并通过pairwise方法对各个样本人脸图像进行排序，结合rankloss损失函数，以人脸图像为输入、人脸图像所对应清晰度数据为输出，针对清晰度估计网络进行训练。
[0065]
本发明所述一种人脸图像质量的量化分析方法，采用以上技术方案与现有技术相比，具有以下技术效果：
[0066]
本发明所设计一种人脸图像质量的量化分析方法，引入细粒度、姿态、清晰度、光照四方面因素进行分析，将人脸图像进行细粒度分类，用于区分人脸图像中的误检、低质量、遮挡等问题；通过排序学习训练清晰度估计模型，实现对人脸图像清晰度的准确估计；利用姿态角度回归模型，获得人脸在三维空间的具体角度；再结合光照分析，经过不同场景图像测试，拟合出适用于不同类型的分数映射参数、以及影响因素权重，实现在不同应用场景下均可以给出相对准确的人脸质量分数，进而有效地进行低质量人脸过滤，为人脸图像提供符合主观的人脸质量评价；此外，所使用的模型均为经过压缩优化后的轻量化模型，计算速度快、资源占用较少。
附图说明
[0067]
图1是本发明所设计人脸图像质量的量化分析方法的框架示意图；
[0068]
图2是本发明所设计实施中姿态角度与分数之间对应关系；
[0069]
图3是本发明所设计实施中清晰度值与清晰度分数之间对应关系；
[0070]
图4是本发明所设计实施中光照值与光照分数之间对应关系。
具体实施方式
[0071]
下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
[0072]
本发明设计了一种人脸图像质量的量化分析方法，用于针对待测图像中局部待测人脸图像的质量进行量化，实际应用当中，先完成质量分类网络、姿态分类网络、清晰度估计网络的构建、训练。
[0073]
其中，关于质量分类网络，针对resnet18网络，移除网络中最后一个残差模块，并替换网络中平均池化层为自适应平均池化层，获得更新后的网络，所述质量分类网络基于该更新后的网络实现；并且基于预设各样本人脸图像、以及各样本人脸图像分别所对应预设人脸图像细粒度分类，按以人脸图像为输入、人脸图像所对应细粒度分类为输出，针对上述结构的质量分类网络进行训练，更新获得质量分类网络。
[0074]
关于姿态分类网络，针对resnet18网络，移除网络中最后一个残差模块，并对网络中的全连接层更新包括分别对应偏航角方向、俯仰角方向、翻滚角方向的分支全连接层，获
得更新后的网络，所述姿态分类网络基于该更新后的网络实现；并基于预设各样本人脸图像、以及各样本人脸图像中人脸分别对应偏航角方向、俯仰角方向、翻滚角方向下预设各角度区间类别，按以人脸图像为输入，人脸图像中人脸分别对应偏航角方向、俯仰角方向、翻滚角方向下预设各角度区间类别预测结果为输出，针对上述结构的姿态分类网络进行训练，更新获得姿态分类网络。
[0075]
清晰度估计网络基于resnet10网络实现；基于预设各样本人脸图像、以及各样本人脸图像分别所对应清晰度数据，按以人脸图像为输入、人脸图像所对应清晰度数据为输出，针对上述结构的清晰度估计网络进行训练，更新获得清晰度估计网络。
[0076]
应用中关于对清晰度估计网络进行的训练过程中：针对预设各样本人脸图像，分别执行不同方法、不同程度的失真处理，包括降低分辨率、高斯模糊、高斯噪声等10种失真方法，每种失真方法有4个不同失真程度，获得各样本人脸图像分别对应各失真方法下不同程度的低质量样本人脸图像，共同构成各个样本人脸图像，并通过pairwise方法对各个样本人脸图像进行排序，结合rankloss损失函数，以人脸图像为输入、人脸图像所对应清晰度数据为输出，针对清晰度估计网络进行训练。
[0077]
如下表1所示，为质量分类网络、姿态分类网络、清晰度估计网络的结构示意。
[0078]
表1
[0079][0080]
以及如下表2，为质量分类网络、姿态分类网络、清晰度估计网络在实际应用中具体所应用模型大小示意。
[0081]
表2
[0082]
模型输入大小参数量flops质量3*96*962.8m258.91m姿态3*112*1122.8m352.45m清晰度3*224*2244.9m894.16m
[0083]
基于上述质量分类网络、姿态分类网络、清晰度估计网络的获得，实际应用当中，如图1所示，执行如下步骤a至步骤j，获得局部待测人脸图像所对应的分数，用于对局部待
测人脸图像进行质量筛选。其中，图1中所出现人脸图片来源关于vggface的公开数据集资料。
[0084]
步骤a.基于以人脸图像为输入、人脸图像所对应预设人脸图像细粒度分类为输出的质量分类网络，针对局部待测人脸图像进行处理，获得局部待测人脸图像所对应的细粒度分类；进一步基于所获局部待测人脸图像所对应的细粒度分类，结合各细粒度分类与预设各质量分类之间预设映射关系，获得局部待测人脸图像所对应细粒度分类对应的质量分类，即获得局部待测人脸图像所对应的质量分类，然后进入步骤b。
[0085]
实际应用中，目前支持28种人脸质量的细粒度分类(含各类误检、异常人脸、遮挡等)，则按上述设计，综合常见场景和后续人脸特征提取需求，将以上细粒度类别映射为常见的几种人脸的质量分类输出，包括正常、遮挡、姿态异常、低质人脸、色度异常以及非人脸，即各细粒度分类与预设各质量分类之间预设映射关系，如下表3所示，获得局部待测人脸图像所对应的质量分类。
[0086]
表3
[0087]
质量输出类别号质量分类输出对应细粒度分类0正常正常、轻微遮挡等1面部遮挡口罩、帽檐遮挡等2姿态异常俯视、90度侧脸3低质人脸侧脸口罩、模糊、截断等4色度异常黑白等-1非人脸动物、轮胎等
[0088]
步骤b.基于待测图像，以局部待测人脸图像为中心，针对局部待测人脸图像所对应的选择框外扩预设第一比例，获得第一局部外扩待测人脸图像，若超出待测图像区域，则以全0像素值进行填补，并将第一局部外扩待测人脸图像调整为预设标准尺寸大小、以及归一化与标准化处理，并进入步骤c。
[0089]
应用中，若第一局部外扩待测人脸图像中存在特征点，则对第一局部外扩待测人脸图像，利用关键点判断输入图像是否经过
±
90、
±
180度旋转，若发生旋转则将第一局部外扩待测人脸图像旋转至正常方向。
[0090]
步骤c.基于以人脸图像为输入，人脸图像中人脸分别对应偏航角方向、俯仰角方向、翻滚角方向下预设各角度区间概率为输出的姿态分类网络，针对第一局部外扩待测人脸图像进行处理，获得第一局部外扩待测人脸图像中人脸分别对应偏航角方向、俯仰角方向、翻滚角方向下预设各角度区间预测结果，并按如下公式：
[0091][0092][0093]
[0094]
执行数学期望回归，获得第一局部外扩待测人脸图像中人脸分别对应偏航角方向下的预测角度连续值yaw
p
、俯仰角方向下的预测角度连续值pitch
p
、翻滚角方向下的预测角度连续值roll
p
，即获得局部待测人脸图像中人脸分别对应偏航角方向、俯仰角方向、翻滚角方向下的预测角度连续值，然后进入步骤d；其中，i＝{0、1、2、
…
、i}，i表示人脸分别对应各姿态角方向下所划分角度区间的个数，logit
yaw
表示姿态分类网络对应人脸在偏航角方向的输出，logit
pitch
表示姿态分类网络对应人脸在俯仰角方向的输出，logit
roll
表示姿态分类网络对应人脸在翻滚角方向的输出，softmax(logit
yaw
)i表示logit
yaw
对应第i个角度区间的概率，softmax(logit
pitch
)i表示logit
pitch
对应第i个角度区间的概率，softmax(logit
roll
)i表示logit
roll
对应第i个角度区间的概率。
[0095]
步骤d.基于待测图像，以局部待测人脸图像为中心，针对局部待测人脸图像所对应的选择框外扩预设第二比例，获得第二局部外扩待测人脸图像，并将第二局部外扩待测人脸图像调整为预设标准尺寸大小、以及归一化与标准化处理，进入步骤e。
[0096]
步骤e.基于以人脸图像为输入、人脸图像所对应清晰度数据为输出的清晰度估计网络，针对第二局部外扩待测人脸图像进行处理，获得第二局部外扩待测人脸图像所对应清晰度数据，并使用sigmoid函数将清晰度数据映射到0到1之间，作为第二局部外扩待测人脸图像所对应的清晰度值，即获得局部待测人脸图像所对应的清晰度值，然后进入步骤f。
[0097]
步骤f.基于局部待测人脸图像各角点的位置坐标，以及局部待测人脸图像的长、宽，针对局部待测人脸图像所对应的选择框进行缩小，获得局部待测人脸图像中的局部光照区域，根据如下公式：
[0098][0099]
计算获得局部光照区域对应hsv色彩空间中v通道的均值l，作为局部待测人脸图像所对应的人脸光照值，l越大表示人脸越亮，l越小表示人脸越暗，然后进入步骤g。其中，w和h分别为局部光照区域的宽和高，v
wh
为局部光照区域中(w，h)坐标位置对应hsv色彩空间v通道的像素值。
[0100]
步骤g.执行如下步骤g1至步骤g4，计算获得局部待测人脸图像中人脸对应偏航角方向的预测角度连续值所对应的分数、俯仰角方向的预测角度连续值所对应的分数、翻滚角方向下的预测角度连续值所对应的分数；并根据各质量分类下预设偏航角方向权重、预设俯仰角方向权重、翻滚角方向权重，应用加权方式，获得局部待测人脸图像所对应的姿态分数，然后进入步骤h。
[0101]
步骤g1.基于横坐标为姿态角度、纵坐标为分数的坐标系，针对人脸对应的偏航角方向、俯仰角方向、翻滚角方向：基于人脸在对应方向上姿态角度的变化范围，以人脸在该方向上向其两侧转动极限姿态角度分别对应分数为0，构成两角点坐标位置，以及以人脸在该方向上转动姿态角度0所对应预设最大分数值，构成顶点坐标位置，然后进入步骤g2。
[0102]
步骤g2.针对人脸对应的俯仰角方向、翻滚角方向：基于人脸在对应方向上向其两侧分别转动相同预设第一转动姿态角度所对应的相同预设第一分数值，构成两个第一转动点坐标位置，其中，预设第一转动姿态角度大于0度姿态角度、且小于极限姿态角度，以及预设第一转动姿态角度所对应的预设第一分数值小于预设第一转动姿态角度对应其同侧角点坐标位置与顶点坐标位置之间所连直线上的分数值；
[0103]
针对人脸对应的偏航角方向：基于各质量分类下人脸在对应偏航角方向上向其两侧分别转动相同预设第二转动姿态角度所对应的相同预设第二分数值，构成各质量分类分别所对应的两个第二转动点坐标位置，其中，各质量分类下的预设第二转动姿态角度大于0度姿态角度、且小于极限姿态角度，以及各质量分类下预设第二转动姿态角度所对应的预设第二分数值大于该预设第二转动姿态角度对应其同侧角点坐标位置与顶点坐标位置之间所连直线上的分数值；然后进入步骤g3。
[0104]
步骤g3.以顶点坐标位置向其两侧方向分别依次直线连接第一转动点坐标位置、以及同侧角点坐标位置，构成人脸对应俯仰角方向与翻滚角方向的姿态角度与分数之间对应关系，如图2所示；
[0105]
分别针对各质量分类，以顶点坐标位置向其两侧方向分别依次直线连接质量分类所对应第二转动点坐标位置、以及同侧角点坐标位置，构成该质量分类下人脸对应偏航角方向的姿态角度与分数之间对应关系，进而获得各质量分类下人脸对应偏航角方向的姿态角度与分数之间对应关系，如图2所示；然后进入步骤g4。
[0106]
步骤g4.基于人脸对应俯仰角方向与翻滚角方向的姿态角度与分数之间对应关系、以及各质量分类下人脸对应偏航角方向的姿态角度与分数之间对应关系，结合局部待测人脸图像所对应的质量分类，获得局部待测人脸图像中人脸对应偏航角方向的预测角度连续值所对应的分数、俯仰角方向的预测角度连续值所对应的分数、翻滚角方向下的预测角度连续值所对应的分数。
[0107]
步骤h.根据局部待测人脸图像所对应的清晰度值，执行如下步骤h1至步骤h4，计算获得局部待测人脸图像所对应的清晰度分数，然后进入步骤i。
[0108]
步骤h1.针对预设各人脸样本图像，按步骤e的方法，获得各人脸样本图像分别所对应的清晰度值，然后进入步骤h2。
[0109]
步骤h2.按图像清晰度分数计算方法，计算获得各人脸样本图像分别所对应的清晰度分数，然后进入步骤h3。
[0110]
步骤h3.基于横坐标为清晰度值、纵坐标为清晰度分数的坐标系，以各人脸样本图像分别对应的清晰度值、清晰度分数，构成各个拟合点位置，并拟合获得清晰度值与清晰度分数之间对应关系，如图3所示，然后进入步骤h4。
[0111]
步骤h4.根据清晰度值与清晰度分数之间对应关系，以及局部待测人脸图像所对应的清晰度值，获得局部待测人脸图像所对应的清晰度分数。
[0112]
步骤i.根据局部待测人脸图像所对应的人脸光照值，执行如下步骤i1至步骤i4，计算获得局部待测人脸图像所对应的光照分数，然后进入步骤j。
[0113]
步骤i1.基于横坐标为光照值、纵坐标为光照分数的坐标系，结合预设光照值范围，以最小光照值对应分数为0，构成起点坐标位置，以最大光照值对应分数为预设分数，构成末尾坐标位置，然后进入步骤i2。
[0114]
步骤i2.基于各质量分类下最小光照值与最大光照值之间预设高分光照值所对应的预设最大光照分数，构成各质量分类分别所对应的高分坐标位置；以及基于各质量分类分别所对应的高分坐标位置，以各质量分类下预设高分光照值与最大光照值之间预设辅助光照值所对应的预设辅助光照分数，构成各质量分类分别所对应的辅助坐标位置，然后进入步骤i3。
[0115]
步骤i3.分别针对各质量分类，由起点坐标位置依次以开口向下弧线连接质量分类所对应高分坐标位置、辅助坐标位置、末尾坐标位置，构成该质量分类所对应光照值与光照分数之间对应关系，进而获得各质量分类分别所对应的光照值与光照分数之间对应关系，如图4所示，然后进入步骤i4。
[0116]
步骤i4.根据各质量分类分别所对应的光照值与光照分数之间对应关系，结合局部待测人脸图像所对应的质量分类，以及局部待测人脸图像所对应的人脸光照值，获得局部待测人脸图像所对应的光照分数。
[0117]
步骤j.根据各质量分类分别对应的姿态权重、清晰度权重、光照权重，结合局部待测人脸图像所对应的质量分类，按如下公式：
[0118][0119]
获得局部待测人脸图像所对应的分数score，其中，分别表示局部待测人脸图像所对应质量分类下姿态权重、清晰度权重、光照权重，s
p
、sc、s
l
分别表示局部待测人脸图像所对应的姿态分数、清晰度分数、光照分数，m
t
表示局部待测人脸图像所对应质量分类下预设最大人脸图像分数。
[0120]
上述技术方案所设计一种人脸图像质量的量化分析方法，引入细粒度、姿态、清晰度、光照四方面因素进行分析，将人脸图像进行细粒度分类，用于区分人脸图像中的误检、低质量、遮挡等问题；通过排序学习训练清晰度估计模型，实现对人脸图像清晰度的准确估计；利用姿态角度回归模型，获得人脸在三维空间的具体角度；再结合光照分析，经过不同场景图像测试，拟合出适用于不同类型的分数映射参数、以及影响因素权重，实现在不同应用场景下均可以给出相对准确的人脸质量分数，进而有效地进行低质量人脸过滤，为人脸图像提供符合主观的人脸质量评价；此外，所使用的模型均为经过压缩优化后的轻量化模型，计算速度快、资源占用较少。
[0121]
下面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。