模型训练、戴口罩人脸识别方法、电子设备及存储介质与流程

1.本发明涉及人脸识别领域，特别涉及一种模型训练、戴口罩人脸识别方法、电子设备及存储介质。


背景技术：

2.人脸识别技术(face recognition)是基于生物特征信息进行身份识别的一种生物识别技术，主要是利用录像机或者摄像机来采集具有人脸的视频或者图像，然后利用算法对图像进行信息分析来感知人、识别人。通常被称为人脸识别或面部识别。目前人脸识别该技术主要应用到刑事侦查、监控系统、打卡考勤、安全支付等领域。
3.现有众多的人脸识别算法主要是基于没有戴口罩的人脸进行识别，对于带上口罩的人脸，其面部特征已经遮挡了一大半，这样在对人脸特征提取过程中会导致大量特征点丢失，造成识别率严重下降。


技术实现要素：

4.本发明实施方式的目的在于提供一种模型训练、戴口罩人脸识别方法、电子设备及存储介质，能够基于人脸的深度信息对戴口罩的人脸进行有效识别，保证识别率。
5.为解决上述技术问题，本发明的实施方式提供了一种模型训练方法，包括：获取人脸戴口罩和未戴口罩的标准深度图像，并以同一人脸的戴口罩的标准深度图像作为图像样本、未戴口罩的标准深度图像作为所述图像样本对应的标签；对所述图像样本及其标签进行相同的格式转换，分别得到一维的样本向量和标签向量；以所述样本向量作为输入，一维的特征向量作为输出，构建加密模型；以所述加密模型输出的所述特征向量作为输入，所述样本向量对应的去口罩后的一维的还原向量作为输出，构建解密模型；所述样本向量与所述还原向量的长度相同；对所述加密模型和所述解密模型进行联合训练，所述联合训练时的损失函数基于所述解密模型输出的所述还原向量与所述标签向量之间的损失构建。
6.本发明的实施方式还提供了一种戴口罩人脸识别方法，包括：获取待检测人脸戴口罩的第一标准深度图像；对所述第一标准深度图像进行格式转换，得到一维的检测向量；采用如上所述的模型训练方法联合训练得到的加密模型和解密模型，对所述检测向量依次进行处理，得到所述检测向量对应的第一还原向量；将所述第一还原向量与注册库中人脸未戴口罩的第二标准深度图像所对应的经格式转换后的一维向量进行比对，确定所述待检测人脸的身份信息。
7.本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的模型训练方法，以及如上所述的戴口罩人脸识别方法。
8.本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的模型训练方法，以及如上所述的戴口罩人脸识别方法。
9.本发明实施方式相对于现有技术而言，通过获取人脸戴口罩和未戴口罩的标准深度图像，并以同一人脸的戴口罩的标准深度图像作为图像样本、未戴口罩的标准深度图像作为图像样本对应的标签；对图像样本及其标签进行相同的格式转换，分别得到一维的样本向量和标签向量；以样本向量作为输入，一维的特征向量作为输出，构建加密模型；以加密模型输出的特征向量作为输入，样本向量对应的去口罩后的一维的还原向量作为输出，构建解密模型；样本向量与还原向量的长度相同；对加密模型和解密模型进行联合训练，联合训练时的损失函数基于解密模型输出的还原向量与标签向量之间的损失构建。本方案基于人脸的相对的深度信息，构建出人脸戴口罩和未戴口罩的标准深度图像依次作为图像样本和标签，并通过图像样本对模型进行训练，以学习人脸在标准状态下，从戴口罩到摘掉口罩过程的人脸深度信息变化，从而通过模型直接对戴口罩的人脸图像进行人脸识别，提高现有识别算法对戴口罩人脸识别的准确率。
附图说明
10.图1是根据本发明实施方式的模型训练方法的具体流程图一；图2是根据本发明实施方式的加密模型和解密模型的结构示意图；图3是根据本发明实施方式的模型训练方法的具体流程图二；图4是根据本发明实施方式的戴口罩人脸识别方法的具体流程图；图5是根据本发明实施方式的电子设备的结构示意图。
具体实施方式
11.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本技术而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本技术所要求保护的技术方案。
12.本发明的一实施方式涉及一种模型训练方法，如图1所示，本实施例提供的模型训练方法，包括如下步骤。
13.步骤101：获取人脸戴口罩和未戴口罩的标准深度图像，并以同一人脸的戴口罩的标准深度图像作为图像样本、未戴口罩的标准深度图像作为图像样本对应的标签。
14.具体地，可以使用深度相机采集人脸深度图像。在实际场景中，不同人拍摄深度图时的环境条件、状态不完全相同，同一人在不同时间拍摄深度图时的状态也不同。为了得到较好的图像样本及其标签的对应关系，以及使不同图像样本之间具有可比性，本实施例对原始采集的人脸深度图像进行标准化，得到统一标准状态下的深度图像，记为“标准深度图像”。
15.所谓标准深度图像的定义为：图像的尺寸固定、图像中人脸的面部姿态端正，表情自然，人脸区域覆盖整个图像区域。
16.需要说明的是，本实施例中涉及的标准深度图像中的深度信息均为相对深度信息，其作用是使得不同人脸和/或不同状态下拍摄的各深度图像能够对齐有可比性。例如，可以人脸区域中未被口罩遮挡的任一关键点（如额头中间位置）作为参考位置，将该位置的相对深度值设置为0，其他位置的相对深度值可以是该其他位置相对于参考位置的原始深度的差值。例如：参考位置的原始深度值为5、内眼角的原始深度值为4，则内眼角的相对深度值为-1。
17.在得到不同人脸戴口罩和未戴口罩的标准深度图像，可以同一人脸的戴口罩的标准深度图像作为图像样本、未戴口罩的标准深度图像作为该图像样本对应的标签。例如，将同一人脸在一次采集的一组戴口罩和未戴口罩的两张深度图像中，戴口罩的深度图像所对应的标准深度图像作为图像样本、未戴口罩的深度图像所对应的标准深度图像作为该图像样本对应的标签。在对获取的标准深度图像进行标注时，需将同一人的戴口罩与未戴口罩的标准深度图像标注记作同一例样本，以方便训练模型时可以使用同一例样本中的戴口罩的标准深度图像作为训练样本（图像样本），另一个未戴口罩的标准深度图像作为相应的标签进行训练。
18.为使后续模型训练拥有更高的泛化性能，需要采集200个人以上的深度图像来构建图像样本及其标签。被采集人员需要轻微转动头部，以采集不同姿态下的人脸深度图像。
19.步骤102：对图像样本及其标签进行相同的格式转换，分别得到一维的样本向量和标签向量。
20.具体地，由于图像样本和标签均是二维深度信息，为方便模型训练可将二维的图像样本和标签进行格式转换，分别得到一维的样本向量和标签向量。其中，本实施例对格式转换的具体方法不做限定。
21.在一个例子中，可通过如下过程实现格式转换，即：分别将图像样本及其标签中的深度值，按在图像中的行顺序或列顺序展开，得到一维向量；其中，图像样本展开后的一维向量为样本向量、标签展开后的一维向量为标签向量。
22.具体地，对于图像样本，可以图像样本中各像素点的深度值按其在图像中的行顺序或列顺序展开，得到一维的向量作为样本向量，样本向量的长度为样本图像所包含的像素点数。同理，对于标签（标签图像），可以标签中各像素点的深度值按其在图像中的行顺序或列顺序展开，得到一维的向量作为标签向量，标签向量的长度为标签图像所包含的像素点数。
23.其中，按行展开的一维向量形如（第一行像素点深度值，第二行像素点深度值，
……
，最后一行像素点深度值），按列展开的一维向量形如（第一列像素点深度值，第二列像素点深度值，
……
，最后一列像素点深度值）。
24.步骤103：以样本向量作为输入，一维的特征向量作为输出，构建加密模型。
25.具体地，可以采用常规的深度学习网络作为加密模型的网络结构。该加密模型的输入为上述样本向量、加密模型的输出为对样本向量压缩后得到的特征向量。在加密过程中，向量的长度被压缩，即特征向量的长度小于样本向量的长度。例如将特征向量的长度设定为固定值128位。
26.在一个例子中，如图2所示，该加密模型可包括：前后依次串接的卷积层、池化层、第一全连接层和第二全连接层；其中卷积层的输入为加密模型的输入，第二全连接层的输出为加密模型的输出。
27.具体地，样本向量依次经卷积层和池化层后被提取出图像样本中的深度信息特征，同时实现向量长度压缩；然后进入两个全连接层后输出固定长度的一维向量作为特征向量。
28.步骤104：以加密模型输出的特征向量作为输入，样本向量对应的去口罩后的一维的还原向量作为输出，构建解密模型；样本向量与还原向量的长度相同。
29.具体地，可以采用常规的深度学习网络作为解密模型的网络结构。该解密模型的输入为加密模型输出的特征向量、解密模型的输出定义为样本向量对应的去口罩后的一维向量，即：还原向量。由此可见解密模型的作用是将特征向量尽可能还原为图像样本对应的标签，即人脸未戴口罩的标准深度图像经格式转换后的标签向量。在解密过程中，向量的长度被扩充，即还原向量的长度大于特征向量的长度，且还原向量与样本向量的长度相同，也即还原向量与标签向量的长度相同，从而更方便后续对这两个向量计算损失。
30.在一个例子中，如图2所示，该解密模型可包括：前后依次串接的第三全连接层和第四全连接层；其中第三全连接层的输入为解密模型的输入，第四全连接层的输出为解密模型的输出。
31.具体地，加密模型输出的特征向量依次经第三全连接层和第四全连接层后，向量长度被扩充还原到与样本向量和标签向量相同的长度。
32.步骤105：对加密模型和解密模型进行联合训练，联合训练时的损失函数基于解密模型输出的还原向量与标签向量之间的损失构建。
33.具体地，利用图像样本对加密模型和解密模型进行联合训练，直到满足收敛条件。收敛条件可包括损失值小于某个预先设定的较小的值，或者迭代超过最大预设次数等。
34.其中，联合训练时的损失函数可基于解密模型输出的还原向量与标签向量之间的损失构建。
35.在一个例子中，基于解密模型输出的还原向量与标签向量之间的损失构建损失函数可包括：根据如下公式（1）构建损失函数：
…………………………
（1）其中，loss为损失值，n为向量长度，为标签向量g中排序为i的元素值，为还原向量p中排序为i的元素值。
36.这里，向量中排序为i的元素值即对应标准深度图像中第i个像素点的深度值。
37.此外，在构建上述损失函数之前，需对还原向量和标签向量进行归一化。例如将两个向量归一化到0~1之间，以达到相似比对的效果。
38.与相关技术相比，本实施例通过获取人脸戴口罩和未戴口罩的标准深度图像，并以同一人脸的戴口罩的标准深度图像作为图像样本、未戴口罩的标准深度图像作为图像样本对应的标签；对图像样本及其标签进行相同的格式转换，分别得到一维的样本向量和标
签向量；以样本向量作为输入，一维的特征向量作为输出，构建加密模型；以加密模型输出的特征向量作为输入，样本向量对应的去口罩后的一维的还原向量作为输出，构建解密模型；样本向量与还原向量的长度相同；对加密模型和解密模型进行联合训练，联合训练时的损失函数基于解密模型输出的还原向量与标签向量之间的损失构建。本方案基于人脸的相对的深度信息，构建出人脸戴口罩和未戴口罩的标准深度图像依次作为图像样本和标签，并通过图像样本对模型进行训练，以学习人脸在标准状态下，从戴口罩到摘掉口罩过程的人脸深度信息变化，从而通过模型直接对戴口罩的人脸图像进行人脸识别，提高现有识别算法对戴口罩人脸识别的准确率。
39.本发明的另一实施方式涉及一种模型训练方法，该模型训练方法是对图1所示的模型训练方法的改进，改进之处在于：对获取人脸戴口罩和未戴口罩的标准深度图像的过程进行细化。如图3所示，上述步骤101可包括如下子步骤。
40.子步骤1011：获取多个人脸的戴口罩和未戴口罩的原始深度图像。
41.具体地，可以使用深度相机采集人脸深度图像，在一次采集的人脸深度图像中将同一个人戴口罩与未戴口罩的两种状态下的两张人脸深度图像作为一组深度图像。针对每组深度图像，要求被拍摄者的人脸面部表情、姿态特征应尽可能一致，唯一的区别仅限于戴口罩与未戴口罩的区别。这样在同等的拍摄条件下，拍摄出的两张深度图像的区别，理论上仅限于口罩遮挡区域的深度信息不同，而其他区域的深度信息相同。
42.子步骤1012：从原始深度图像中框选出人脸区域，并将人脸区域中人脸角度调整为正脸姿态。
43.具体地，对原始深度图像进行人脸识别，得到人脸区域（未戴口罩状态下的人脸所在位置，戴口罩状态下的人脸 口罩所在位置），并将其用矩形框选出来。之后，将人脸区域中人脸角度调整为正脸姿态。
44.本实施例中对人脸区域中人脸角度的评估，以及将人脸角度调整为正脸姿态的方法不做限定。
45.在一个例子中，可通过如下步骤实现将人脸区域中人脸角度调整为正脸姿态。
46.步骤一：将预先设置的正脸深度模板旋转得到不同角度，并计算不同角度下正脸深度模板与人脸区域之间深度图的欧氏距离，取欧氏距离最小的角度作为人脸区域的欧拉角度。
47.具体地，可以预先采集大量的正姿态人脸深度图，对这些正姿态人脸深度图使用最小二乘法拟合形成一个正脸深度模板，取出对应人脸关键点。然后将正脸深度模板不断旋转获得不同角度，并计算不同角度下正脸深度模板与上述得到的人脸区域的深度图之间的欧氏距离，欧氏距离值最小时所对应的正脸深度模板的旋转角度即为人脸区域中人脸角度，即人脸区域的欧拉角度。其中，为了减少计算量，在计算两个深度图之间的欧氏距离时，可以选择两个深度图中对应的人脸关键点计算最小欧氏距离。对于戴口罩的人脸深度图，可以在评估出口罩遮挡的部分人脸关键点的位置之后，计算对应的人脸关键点之间的欧氏距离。
48.步骤二：将人脸区域中人脸角度反向旋转欧拉角度，得到正脸姿态下的人脸区域。
49.具体地，在得到人脸区域中人脸角度（欧拉角度）后，可以将该人脸反向旋转该欧拉角度，从而得到正脸姿态下的人脸区域。
50.其中，人脸旋转对应的旋转矩阵公式为：建立坐标系将深度图横坐标设为x轴，纵坐标设为y轴，深度值作为z轴，人脸姿态表示的欧拉角为[θx,θy,θz]。将深度图像右乘相应旋转矩阵（r
x
(θ)、ry(θ)、rz(θ)），即可将人脸角度转换为正脸，即：绕x轴旋转：
………………………
（2）绕y轴旋转：
………………………
（3）绕z轴旋转：
………………………
（4）其中，公式（2）、（3）、（4）中的θ依次对应为θx、θy和θz。
[0051]
子步骤1013：将正脸姿态下的人脸区域调整为统一预设尺寸，形成标准深度图像，并以同一人脸的戴口罩的标准深度图像作为图像样本、未戴口罩的标准深度图像作为图像样本对应的标签。
[0052]
具体地，在得到正脸姿态下的人脸区域后，可将该正脸姿态下的人脸区域对应的图像尺寸进行缩放调整，以使其具有统一预设的相同尺寸，从而形成与原始深度图像相对应的标准深度图像。即人脸戴口罩和未戴口罩的标准深度图像。在得到标准深度图像后，以同一人脸的戴口罩的标准深度图像作为图像样本、未戴口罩的标准深度图像作为图像样本对应的标签。
[0053]
与相关技术比较，本实施例通过获取多个人脸的戴口罩和未戴口罩的原始深度图像；从原始深度图像中框选出人脸区域，并将人脸区域中人脸角度调整为正脸姿态；将正脸姿态下的人脸区域调整为统一预设尺寸，形成标准深度图像，从而快速得到各原始深度图像对应的标准深度图像。
[0054]
本发明的一实施方式涉及一种戴口罩人脸识别方法，该方法基于上述实施方式中的模型训练方法实现。如图4所示，本实施例提供的戴口罩人脸识别方法，包括如下步骤。
[0055]
步骤201：获取待检测人脸戴口罩的第一标准深度图像。
[0056]
具体地，针对待检测人脸，获取该人脸戴口罩状态下的原始深度图像，然后通过采用与步骤101中获取标准深度图像相同的处理过程，得到该待检测人脸戴口罩状态下的标准深度图像。本实施例中将待检测人脸戴口罩状态下的标准深度图像记为“第一标准深度图像”。
[0057]
步骤202：对第一标准深度图像进行格式转换，得到一维的检测向量。
[0058]
具体地，针对第一标准深度图像，通过采用与步骤102中相同的处理过程，对第一标准深度图像进行格式转换，得到一维向量，并将该一维向量记为“检测向量”。
[0059]
步骤203：采用模型训练方法联合训练得到的加密模型和解密模型，对检测向量依次进行处理，得到检测向量对应的第一还原向量。
[0060]
具体地，针对第一标准深度图像，通过上述实施方式中的训练方法训练得到的加密模型和解密模型，依次对检测向量进行处理，得到解密模型输出的还原向量，并将该还原向量记为“第一还原向量”。
[0061]
步骤204：将第一还原向量与注册库中人脸未戴口罩的第二标准深度图像所对应的经格式转换后的一维向量进行比对，确定待检测人脸的身份信息。
[0062]
其中，注册库中预先存储有多个一维向量，每个一维向量则是由人脸未戴口罩时的标准深度图像，即第二标准深度图像经上述格式转换后得到。
[0063]
具体地，当待检测人脸与注册库中某一维向量对应的人脸为同一人时，那么待检测人脸对应的上述第一还原向量应与该注册库中的该一维向量相似。因此通过将第一还原向量与注册库中的每个一维向量进行相似比对，对超过相似度阈值的一维向量，则判定其中相似度值最大的一维向量对应的人脸为当前待检测的人脸，从而确定待检测人脸的身份信息。
[0064]
本发明实施方式相对于现有技术而言，通过获取待检测人脸戴口罩的第一标准深度图像；对第一标准深度图像进行格式转换，得到一维的检测向量；采用上述模型训练方法联合训练得到的加密模型和解密模型，对检测向量依次进行处理，得到检测向量对应的第一还原向量；将第一还原向量与注册库中人脸未戴口罩的第二标准深度图像所对应的经格式转换后的一维向量进行比对，确定待检测人脸的身份信息，从而确保对戴口罩人脸识别的准确率。
[0065]
本发明的另一实施方式涉及一种电子设备，如图5所示，包括至少一个处理器302；以及，与至少一个处理器302通信连接的存储器301；其中，存储器301存储有可被至少一个处理器302执行的指令，指令被至少一个处理器302执行，以使至少一个处理器302能够执行上述任一方法实施例。
[0066]
其中，存储器301和处理器302采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器302和存储器301的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器302处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器302。
[0067]
处理器302负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器301可以被用于存储处理器302在执行操作时所使用的数据。
[0068]
本发明的另一实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述任一方法实施例。
[0069]
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-onlymemory）、随机存取存储器（ram，randomaccessmemory）、磁碟或者光盘等各种可以存储程序代码的介质。
[0070]
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。