一种人脸轻量网络模型构建方法和人脸识别方法与流程

1.本发明涉及计算机视觉、人脸识别、模式识别、机器学习、深度 学习等技术领域，特别涉及一种人脸轻量网络模型的构建方法和人脸 识别方法。


背景技术：

2.人脸识别技术(face recognition)的发展从20世纪70年代开 始兴起，是计算机视觉领域(computer vision)迄今为止最热门的 研究问题之一。作为一种最易普及的生物特征识别技术，人脸识别的 应用场景众多，其最传统的场景莫过于安防、门禁、监控领域。无论 是在安检进出关的闸口，还是银行保险柜的安全门锁，都出现了人脸 识别的身影。相较于传统的密码、证件、门卡等安全手段，人脸识别 因为是一个天然的贴在脸上的“身份证”，具有极难伪造的属性。基 于面部识别的技术在军事和民用领域得到了广泛应用。此外，运用“交 互式指令 连续性判定 3d判定”的技术，人脸识别技术还被广泛应 用于线上、线下刷脸支付系统。随着人脸识别技术的广泛应用，移动 端和嵌入式设备的算法需求越来越多，当前人脸识别算法主要基于卷 积神经网络(convolutional neural networks,简称cnn)模型。而 cnn模型普遍模型比较大，同时在计算能力较弱的手机移动端和嵌入 式平台上，推理速度慢。
3.基于上述问题，目前亟需一种轻量级的人脸卷积神经网络的构建 方法，以实现满足移动端和嵌入式设备等低算力情况下快速推理满足 实时计算要求，又可以精准有效的识别出人脸信息。


技术实现要素：

4.本发明所要解决的技术问题之一在于提供一种基于嵌入空间蒸 馏的人脸轻量网络模型构建方法，使用该方法训练轻量级人脸卷积神 经网络模型，可以既在移动端和嵌入式设备等低算力情况下快速推理 满足实时计算要求，又可以保证人脸卷积网络模型的精度，精确有效 的识别出人脸信息。
5.本发明所要解决的技术问题之二在于提供一种人脸识别方法，可 以既在移动端和嵌入式设备等低算力情况下快速推理满足实时计算 要求，又可以保证人脸卷积网络模型的精度，精确有效的识别出人脸 信息。
6.本发明是这样实现的：
7.一种人脸轻量网络模型构建方法，包括如下步骤：
8.步骤a、获取指定数量的标记有人脸身份类别信息的人脸数字 图像作为训练数据集；
9.步骤b、基于softmax损失函数，利用所述训练数据集对一个重 量的人脸识别卷积神经网络t进行训练，获取训练后的模型；
10.步骤c、基于嵌入空间蒸馏损失函数，利用步骤b阶段所获取的 训练模型和训练数据集对轻量级的人脸识别卷积神经网络s进行训练， 获取训练后的轻量级人脸识别模型。
11.进一步地，所述步骤b，具体包括：
12.步骤b1、利用所述训练数据集训练后，获取一个人脸识别卷积 网络t；
13.步骤b2、定义z
t
为所述人脸识别卷积网络t最后一个全连接层的 输出；定义p
t
为所述人脸识别卷积网络t经过softmax获取的输出概 率，则
[0014][0015]
其中，表示所述人脸识别神经网络t输出概率p
t
的第i维输出；表 示所述人脸识别卷积网络t最后一个全连接输出z
t
的第i维输出；表 示所述人脸识别卷积网络t最后一个全连接输出z
t
的第j维输出；k表 示所述训练数据集的总类别数；z
t
、p
t
均为k维的列向量；
[0016]
步骤b3、定义f
t
为所述人脸识别神经网络t的输出特征；定义 为所述人脸识别卷积网络t对应第y
i
类的特征向量的中 心向量，表示为
[0017][0018]
其中，表示所述训练数据集第y
i
类的样本数量；表示所述人脸 识别卷积网络t对应第j个样本的输出特征；均为d维的列向 量；d为所述人脸识别卷积网络t特征向量的维度。
[0019]
进一步地，所述步骤c包括：
[0020]
步骤c1、随机初始化一轻量级人脸识别卷积网络s，定义z
s
为所 述轻量级人脸识别卷积网络s最后一个全连接层的输出；定义p
s
为所 述轻量级人脸识别卷积网络s经过softmax获取的输出概率；定义f
s
为所述轻量级人脸识别卷积网络s的输出特征；
[0021]
步骤c2、定义目标函数1，所述目标函数1为：
[0022][0023]
其中，n表示所述训练数据集样本总数；y
i
表示第i个样本对应的类别 标签；表示第i个样本对应所述轻量级人脸识别卷积网络s的最后 一个全连接层的第y
i
维输出；表示第i个样本对应所述轻量级人脸 识别卷积网络s最后一个全连接层的第j维输出；k表示所述训练数据 集的总类别数；τ和λ分别表示给定的常数；
[0024]
步骤c3、定义目标函数2，所述目标函数2为：
[0025][0026]
其中，n表示所述训练数据集样本总数；y
i
表示第i个样本对应的类别 标签；f
is
表示第i个样本对应所述轻量级人脸识别卷积网络s的输出特 征；表示所述人脸识别卷积网络t对应第y
i
类的中心向量；表示 表示所述人脸识别卷积网络t对应第j类的中心向量；
[0027]
步骤c4、根据步骤c2、步骤c3所述，该方法的目标函数表示为：
[0028]
l
total
＝λ1l1 λ2l2[0029]
其中，λ1和λ2为常数；
[0030]
步骤c5、将步骤c4的所述目标函数l
total
作为损失函数，利用所 述训练数据集，根据基于随机梯度下降的反向传播算法，更新所述轻 量级人脸识别卷积网络s中可学习的模型参数，以获取更新处理后的 基于嵌入空间蒸馏的人脸轻量网络模型。
[0031]
进一步地，所述步骤c5，还包括：
[0032]
在使用随机梯度下降的反向传播算法优化更新网络时，由于直接 固定来自所述人脸识别卷积网络t的中心向量容易造成模型收敛 困难甚至不收敛，所述基于嵌入空间蒸馏的人脸轻量网络模型采用一 种近似更新中心向量的策略：
[0033][0034]
其中，表示第t次迭代后所述人脸识别卷积网络t对应第y
i
类的 中心向量；表示当前迭代的批量下所述训练数据集中类别标签为 y
i
的样本数；表示第j个样本对应所述轻量级人脸识别卷积网络s的 输出特征。
[0035]
进一步地，所述步骤c5的所述基于嵌入空间蒸馏的人脸轻量网 络模型的判断方法为：
[0036]
获取指定数量的标记有人脸身份信息标签的人脸数字图像，并且 根据人脸身份信息标签，构建测试的正样本对和负样本对，作为测试 数据集；利用步骤c5所述基于嵌入空间蒸馏的人脸轻量网络模型对 所有测试数据集中的人脸数字图像提取特征，并且利用提取到的特征 计算测试数据集各个样本对的余弦距离；根据正负样本对的余弦距离， 利用接受者操作特征曲线(receiver operating characteristiccurve)，评估所述基于嵌入空间蒸馏的人脸轻量网络模型。
[0037]
一种人脸识别方法，基于如上所述的一种人脸轻量网络模型构建 方法，包括：
[0038]
步骤1、获取待识别的人脸数字图像；
[0039]
步骤2、将所述人脸数字图像输入所述基于嵌入空间蒸馏的人脸 轻量网络模型中，通过所述基于嵌入空间蒸馏的人脸轻量网络模型提 取人脸特征，并与预存的人脸数字
图像特征进行匹配识别。
[0040]
本发明的优点在于：该基于嵌入空间蒸馏的人脸轻量网络模型的 构建方法可以有效的提升轻量级人脸卷积网络的识别性能。使用该方 法训练轻量级人脸卷积神经网络模型，可以既在移动端和嵌入式设备 等低算力情况下快速推理满足实时计算要求，又可以保证人脸卷积网 络模型的精度，精确有效的识别出人脸信息。
附图说明
[0041]
图1是发明的一种基于嵌入空间蒸馏的人脸轻量网络学习的构 建方法的示意图；
[0042]
图2为发明的一种基于嵌入空间蒸馏的人脸轻量网络学习的构 建方法的流程图。
具体实施方式
[0043]
为了使本发明的目的、技术实现方案以及效果更加清楚，以下结 合实施例，对本发明进行详细说明。应当理解为此处所描述的具体实 施例仅用来解释本发明中提出的方法，并不用于限制本发明的保护范 围。
[0044]
本发明为了提升在移动端和嵌入式设备等低算力平台下轻量级 人脸卷积网络的人脸识别性能，提出了基于嵌入空间蒸馏的人脸轻量 网络学习的构建方法。本技术基于嵌入空间蒸馏损失函数，使用重量 人脸识别卷积神经网络t提供的监督信息约束轻量级的人脸识别卷积 神经网络s，可以有效的保证轻量级人脸卷积网络模型的精度。
[0045]
实施例一
[0046]
如图1和图2所示，本发明提出了一种基于嵌入空间蒸馏的人脸 轻量网络模型的构建方法，该方法可以用于轻量级的人脸卷积网络的 训练，完成移动端或嵌入式平台的人脸识别任务，所述构建方法包括：
[0047]
步骤s101，获取规定数量的具有人脸身份信息标签的人脸数字 图像作为训练数据集。本发明使用私有数据集作为人脸识别训练数据 集，该数据集包含979,403人11,416,230张人脸数字图像；
[0048]
步骤s102，基于softmax损失函数，使用步骤s101中构建的训 练数据集对一重量的人脸卷积网络模型进行训练，获取训练后的模型t并提取其相关嵌入空间信息。其中，所述重量人脸卷积网络模型由 101个卷积层由浅到深排列，使用maxout作为激活函数；
[0049]
具体的，包括：
[0050]
步取s1021，使用步骤s101中构建的训练数据集对重量人脸卷 积网络进行训练，获取训练后的重量人脸卷积网络模型t。
[0051]
步骤s1022，使用步骤s1021中训练后的模型t进行嵌入空间信 息的提取，
[0052]
其中，z
t
为人脸识别卷积网络t最后一个全连接层的输出；p
t
为 人脸识别卷积网络t经过softmax获取的输出概率，p
t
可以表示为
[0053][0054]
其中，表示所述人脸识别神经网络t输出概率p
t
的第i维输出；表 示所述人
脸识别卷积网络t最后一个全连接输出z
t
的第i维输出；表 示所述人脸识别卷积网络t最后一个全连接输出z
t
的第j维输出；k表 示所述的训练数据集的总类别数；z
t
、p
t
均为k维的列向量；
[0055]
步骤s1023，使用步骤s1021中训练后的模型t进行嵌入空间信 息的提取，
[0056]
其中f
t
为人脸识别神经网络t的输出特征；定义为 人脸识别卷积网络t对应第y
i
类的特征向量的中心向量；可以表示 为
[0057][0058]
其中，表示训练数据集第y
i
类的样本数量；表示人脸识别卷积 网络t对应第j个样本的输出特征；均为d维的列向量；d为人 脸识别卷积网络t特征向量的维度；
[0059]
步骤s103，基于嵌入空间蒸馏损失函数，利用步骤s102阶段所 获取的训练模型t、嵌入空间信息z
t
、p
t
、和训练数据 集对轻量级的人脸识别卷积神经网络s进行训练，获取训练后的轻量 级人脸识别模型s；
[0060]
具体的，包括：
[0061]
步骤s1031，定义目标函数1；
[0062]
其中，目标函数1为：
[0063][0064]
其中，n表示训练数据集样本总数；y
i
表示第i个样本对应的类别标签； 表示第i个样本对应轻量级人脸识别卷积网络s的最后一个全连接 层的第y
i
维输出；表示第i个样本对应轻量级人脸识别卷积网络s最 后一个全连接层的第j维输出；k表示训练数据集的总类别数；τ和λ分 别表示给定的常数；
[0065]
步骤s1032，定义目标函数2；
[0066]
其中，目标函数2为：
[0067][0068]
其中，n表示训练数据集样本总数；y
i
表示第i个样本对应的类别标签；f
is
表示第i
个样本对应轻量级人脸识别卷积网络s的输出特征；表示 人脸识别卷积网络t对应第y
i
类的中心向量；表示表示人脸识别卷 积网络t对应第j类的中心向量；
[0069]
步骤s1033，根据s1031和s1032，该方法的目标函数可以表示 为：
[0070]
l
total
＝λ1l1 λ2l2[0071]
其中，λ1和λ2为常数；
[0072]
s1034，将目标函数l
total
作为损失函数，利用训练数据集，根据 基于随机梯度下降的反向传播算法，更新轻量级人脸识别卷积网络s 中可学习的模型参数，以获取更新处理后的基于嵌入空间蒸馏的人脸 轻量网络模型；
[0073]
步骤s104，在使用随机梯度下降的反向传播算法优化更新网络 时，由于直接固定来自人脸识别卷积网络t的中心向量容易造成模 型收敛困难甚至不收敛，本文所述基于嵌入空间蒸馏的人脸轻量网络 学习采用了一种近似更新中心向量的策略：
[0074][0075]
其中，表示第t次迭代后人脸识别卷积网络t对应第y
i
类的中心 向量；表示当前迭代的批量下所述训练数据集中类别标签为y
i
的 样本数；表示第j个样本对应轻量级人脸识别卷积网络s的输出特征；
[0076]
步骤s105，判断是否需要继续优化更新所述的轻量级人脸卷积 神经网络的可学习参数，判断为是时，返回执行步骤s103。判断为 否时，执行步骤s106；
[0077]
具体的，对于判断是否需要继续迭代优化更新的方法是：
[0078]
从步骤s101中获取的训练数据集中分出指定数量的带有人脸身 份标签信息的人脸数字图像，构建验证数据集；
[0079]
利用步骤s1034更新处理后的基于嵌入空间蒸馏的人脸轻量网 络模型s对所述的验证数据集进行分类测试；当所述的验证数据集的 测试分类准确率未达到规定准确率时，则判断为需要继续迭代优化， 则重复步骤s103
‑
s104步骤。当判断所述的验证数据集的测试分类准 确率达到规定准确率时，执行步骤s106；
[0080]
步骤s106，保存所述的基于嵌入空间蒸馏的人脸轻量神经网络 模型s。
[0081]
为了更加清晰地说明本技术构建的人脸轻量模型与现有人脸识 别算法的显著优越性，现在将本发明的人脸识别模型测试结果公开如 下：
[0082]
本发明共提供两个测试数据集,其一，从公开数据集labeledface in the wild(简称lfw)中获取13,233张人脸数字图像，总计 5,749人，将其作为测试集1；其二，构建一个私有数据集，其包含 52,404人总计136,603张人脸数字图像，将其作为测试集2。利用所 述的两个测试数据集对所述的训练后的轻量级人脸卷积神经网络模 型进行测试。
[0083]
其中，表1为本发明的人脸识别模型与另外5个现有的人脸识别 模型在错误识别率为千分之一的正确识别率(tpr@fpr＝0.1％)、以及错 误识别率为百分之一时检测命中
率(dir@far＝1％)在测试集1上的比 较结果。表2为本发明的人脸识别模型与另外5个现有的人脸识别模 型在错误识别率为万分之一的正确识别率(tpr@fpr＝0.01％)、错误识 别率为十万分之一的正确识别率(tpr@fpr＝0.001％)、以及首选命中率 (rank
‑
1)的比较结果。表3为本发明的轻量级人脸识别模型与另外5 个现有的人脸识别模型在intel(r)core(tm)i9
‑
9820x cpu@ 3.30ghz、intel(r)xeon(r)cpu e5
‑
2650 v4@2.20ghz、以及hi3516c 上的速度测试结果。根据表1和表2的对比可以发现，本发明的方 法在两个数据集上的识别率均优于选取的5个对比模型。根据表3可 以发现，本发明的方法训练处的模型速度均快于选取的5个对比模型。 因此，本发明的模型可以既在移动端和嵌入式设备等低算力情况下快 速推理满足实时计算要求，又可以保证人脸卷积网络模型的精度，精 确有效的识别出人脸信息。
[0084]
表1：
[0085][0086][0087]
表2：
[0088][0089]
表3：
[0090]
[0091][0092]
实施例二
[0093]
基于实施例一的一种基于嵌入空间蒸馏的人脸轻量网络模型的 构建方法，本发明还提供了一种人脸识别方法，包括：
[0094]
步骤d1、获取待识别的人脸数字图像；
[0095]
步骤d2、将所述人脸数字图像输入实施一所述的基于嵌入空间 蒸馏的人脸轻量网络模型中，通过所述的基于嵌入空间蒸馏的人脸轻 量网络模型提取人脸特征，并与预存的人脸数字图像特征进行匹配识 别。
[0096]
综上所述，本发明的基于嵌入空间蒸馏的人脸轻量网络模的构建 方法，基于嵌入空间蒸馏，使用该方法训练轻量级人脸卷积神经网络 模型，可以既在移动端和嵌入式设备等低算力情况下快速推理满足实 时计算要求，又可以保证人脸卷积网络模型的精度，精确有效的识别 出人脸信息。同时，本发明所提出的创新方法，也可以应用到行人再 识别、车辆再识别与其他物体识别任务中。
[0097]
以上所述的仅为本发明的较佳实施例而已，并不用以限制本发明， 凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等， 均应包含在本发明的保护范围内。