一种基于超分辨和特征白化技术的人脸识别方法和系统与流程

1.本发明涉及人工智能以及图像增强领域，更具体地，涉及一种基于超分辨和特征白化技术的人脸识别方法和系统。


背景技术：

2.人脸识别系统的研究始于20世纪60年代，80年代后随着计算机技术和光学成像技术的发展得到提高，而真正进入初级的应用阶段则在90年后期。人脸识别系统成功的关键在于是否拥有尖端的核心算法，并使识别结果具有实用化的识别率和识别速度。“人脸识别系统”集成了人工智能、机器识别、机器学习、模型理论、专家系统、视频图像处理等多种专业技术，同时需结合中间值处理的理论与实现，是生物特征识别的最新应用，其核心技术的实现，展现了弱人工智能向强人工智能的转化。
3.人脸识别技术基本上可以归结为以下三类:
4.a)基于几何特征的方法。该方法是最早、传统的人脸检测和识别的方法。在基于该方法的人脸识别系统中，通常需要检测出重要面部特征的形状、相对位置以及这些特征之间的距离等相关参数，以构成一个可以代表人脸的特征向量，其特征分量通常包括两点间的欧式距离、曲率和角度等。在使用几何特征时最重要的一件事就是对图像进行适当的标准化。
5.b)基于模板的方法。这类技术的核心在于利用整幅图像的灰度级模板。与基于几何特征的方法一样，图像首先需要进行标准化。最简单的模板匹配就是把一幅图像看做是强度值的二维排列，然后利用合适的尺度(典型的如欧几里德距离)与单独的代表整脸的模板进行对比匹配，基于模板的方法可以分为基于相关的方法、特征脸方法、线性判别分析方法、神经网络方法、动态连接匹配方法等。
6.c)基于模型的方法。该方法利用数学模型将具有不同人脸尺度和人脸方向的不同人脸实例的信息合并，故相对基于模板的方法来说，该方法对于自然的人脸变形和光照条件具有更大的弹性。基于模型的方法利用模型参数来进行人脸识别。基于神经网络的方法便是其中最重要，也是现在最主流的一种，但是人脸的图像的分辨率、光线的强弱都会直接影响到识别的准确率。
7.题为“一种基于cnn的多层次图像语义的人脸识别方法”的中国专利申请(cn201710134068.2)，该专利提供了一种基于cnn的多层次图像语义的人脸识别方法，该方法在vggnet基础上做了进一步优化，提出了一种新的网络结构，对多层特征进行跨层拼接，使得最终提取的图像特征具有多层次图像语义。同时，在卷积神经网络的训练中，加入提取到的传统特征作为附加特征，使得cnn特征信息更加完备。然而，cnn的卷积层其实就是模拟传统特征的深度学习的过程，这也是深度学习比传统特征提取效果好的原因；效果差的原因则是因为图片本身的清晰度有问题，所以在卷积层的前面添加传统特征，提升有限。
8.题为“一种基于新型损失函数的人脸识别卷积神经网络训练方法”的中国专利申请(cn201810866133.5)，该专利公开了一种基于新型损失函数的人脸识别卷积神经网络训
练方法，将softmax loss、余弦相似度损失、center loss相结合，共同作为人脸识别卷积神经网络训练过程中的目标函数，在保证增大类间距、减小类内距离的同时，加入余弦相似度损失来克服由于训练与测试时人脸特征比对的度量方法不同造成的差异性。该方案的重点是在cnn最后的损失函数上进行优化，如果图片本身有问题，则通过损失函数的优化空间有限。
9.上述两个专利都是利用神经网络模型进行特征提取，进行人脸识别的方法，但这两个专利分别在基于特征提取和特征损失函数上进行优化，人脸图片不清晰的源头问题没有解决。


技术实现要素：

10.提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步的描述一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
11.为了解决以上的问题，本发明提供了一种用于人脸识别的方法，其中所述方法包括：
12.获取待进行人脸识别的图片；
13.对获取的图片进行超分辨处理以得到经重建的高分辨率图片；
14.对经重建的高分辨率图片进行人脸特征提取；
15.对提取的特征进行进入pca降维；
16.对经降维的特征进行白化处理；以及
17.将经白化的特征输入人脸识别模型，进行人脸识别。
18.根据本发明的进一步实施例，对获取的图片进行超分辨处理进一步包括：将获取的图片输入经训练的人脸超分辨模型以得到经重建的高分辨率图片，其中所述人脸超分辨模型是以如下过程训练的：获取采集样本数据，所述样本数据包括同一视角的低分辨率图片和高分辨率图片；使用基于srcnn的使用公开数据集训练完成的超分辨模型作为预训练模型；以及使用所述样本数据对所述预训练模型进行微调。
19.根据本发明的进一步实施例，所述人脸超分辨模型的训练过程进一步包括：构建生成式对抗网络gan；以及基于所述样本数据中的高分辨率图片和对应的低分辨率图片通过所述srcnn重建出的高分辨率图片来训练所述gan的生成网络和判别网络。
20.根据本发明的进一步实施例，对获取的图片进行超分辨处理以得到经重建的高分辨率图片进一步包括：将所述srcnn重建出的高分辨率图片输入所述gan的生成网络；以及所述gan的生成网络生成经处理的高分辨率图片作为超分辨处理结果输出。
21.根据本发明的进一步实施例，对提取的特征进行进入pca降维进一步包括：计算提取的特征的特征矩阵的协方差；计算特征值以及特征向量；以及根据特征值大小进行降维计算以得到经降维的特征。
22.根据本发明的又一方面，提供了一种用于人脸识别的系统，其中系统包括：
23.人脸超分辨模块，所述人脸超分辨模块被配置成：
24.获取待进行人脸识别的图片；
25.对获取的图片进行超分辨处理以得到经重建的高分辨率图片；以及
26.对经重建的高分辨率图片进行人脸特征提取；以及
27.特征白化模块，所述特征白化模块被配置成：
28.对提取的特征进行进入pca降维；以及
29.对经降维的特征进行白化处理；以及
30.人脸识别模型，所述人脸识别模型被配置成：
31.对经白化的特征进行人脸识别并给出识别结果。
32.根据本发明的进一步实施例，对获取的图片进行超分辨处理进一步包括：将获取的图片输入经训练的人脸超分辨模型以得到经重建的高分辨率图片，其中所述人脸超分辨模型是以如下过程训练的：获取采集样本数据，所述样本数据包括同一视角的低分辨率图片和高分辨率图片；使用基于srcnn的使用公开数据集训练完成的超分辨模型作为预训练模型；以及使用所述样本数据对所述预训练模型进行微调。
33.根据本发明的进一步实施例，所述人脸超分辨模型的训练过程进一步包括：构建生成式对抗网络gan；以及基于所述样本数据中的高分辨率图片和对应的低分辨率图片通过所述srcnn重建出的高分辨率图片来训练所述gan的生成网络和判别网络。
34.根据本发明的进一步实施例，对获取的图片进行超分辨处理以得到经重建的高分辨率图片进一步包括：将所述srcnn重建出的高分辨率图片输入所述gan的生成网络；以及所述gan的生成网络生成经处理的高分辨率图片作为超分辨处理结果输出。
35.根据本发明的进一步实施例，所述待进行人脸识别的图片是由摄像头捕获的图片，并且所述样本数据是摄像头场景下的图片。
36.与现有技术中的方案相比，本发明所提供的人脸识别方案至少具有以下优点：
37.1、利用生成式对抗网络对检测出的人脸图像进行超像素放大，能够获得更清晰、锐利的图像；
38.2、对卷积神经网络重建的高分辨率图片提取的特征进行额外的pca降维和白化，有效降低噪声并降低特征中的相关性，并且可以提高感受野精度；以及
39.3、对于高曝光度、强光下的视频或图片或者对于低曝光度、光源不足的视频或图片，本方案拥有更好的处理效果，能够提高模型的鲁棒性。
40.通过阅读下面的详细描述并参考相关联的附图，这些及其他特点和优点将变得显而易见。应该理解，前面的概括说明和下面的详细描述只是说明性的，不会对所要求保护的各方面形成限制。
附图说明
41.为了能详细地理解本发明的上述特征所用的方式，可以参照各实施例来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中示出。然而应该注意，附图仅示出了本发明的某些典型方面，故不应被认为限定其范围，因为该描述可以允许有其它等同有效的方面。
42.图1是根据本发明的一个实施例的人脸识别系统的示例架构图。
43.图2是根据本发明的一个实施例的用于提升图片检索召回率的方法的示例流程图。
44.图3是根据本发明的一个实施例的人脸识别方法的示例流程图。
具体实施方式
45.下面结合附图详细描述本发明，本发明的特点将在以下的具体描述中得到进一步的显现。
46.图1是根据本发明的一个实施例的人脸识别系统的示例架构图。如之前提到的，摄像头提取的原始图像可能由于网络带宽、视频质量等因素造成人脸像素过低。视频中人像由于不同远近景等因素，往往也造成人脸图像不能直接使用。这些情况必须在图像处理的早期阶段对它们进行图像预处理，例如进行超像素处理。对于人脸的图像预处理是基于人脸检测结果，对图像进行处理并最终服务于特征提取的过程。
47.如图1中所示，本发明的系统100可包括人脸超分辨模块101、特征白化模块102以及人脸识别模型103。根据一个实施例，人脸超分辨模块101包括经训练后的人脸超分辨模型，可从输入的低分辨率图片中提取并输出高分辨率特征。人脸超分辨也称为人脸幻想，是一种新型的预处理过程。它是通过对原始数据给定的低分辨率，尺度变换在二至四倍之间，像素放大倍数四至十六倍之间，可以生成更高质量的人脸。在一个示例中，人脸超分辨模型可使用超分辨率卷积神经网络srcnn(super-resolution convolutional neural network)作为预训练模型，并可在该模型的基础上进行训练微调，以使模型快速收敛，提高泛化能力，最终训练出适合摄像头场景的超分辨模型。
48.特征白化模块102随后对人脸超分辨模块101输出的高分辨率特征进行白化操作，去除超分辨处理过程中产生的噪点和图像里冗余的信息，随后被用于后续的人脸识别。经过白化处理后的特征具有高分辨率、低噪声以及低相关性的特性，因而能够改善后续人脸识别过程的准确率。
49.人脸识别模型103可以是任何合适的基于人脸特征识别技术的识别模型。当特征输入该模型后，模型103可给出识别结果。
50.图2是根据本发明的一个实施例的训练人脸超分辨模型的方法的示例流程图。方法开始于步骤202，采集样本数据。例如，针对目标应用场景(例如摄像头场景)，可使用同一个视角的低分辨率和高分辨率的图片作为样本数据。
51.步骤204，使用样本数据来训练人脸超分辨模型。作为一个示例，本发明的人脸超分辨模型可基于srcnn模型。训练过程可以使用本发明的特定应用场景(例如摄像头场景)的样本数据来重新开始训练。替代地且优选地，这一训练过程可基于现有的srcnn的预训练模型。srcnn是一种常用的用于将输入的低分辨率图片重建为高分辨率图片的超分辨模型，并且行业内已经存在许多利用公开数据集训练完成的模型。本发明可将这些已经过初步训练的模型作为预训练模型，因为神经网络浅层的层是一些线段、色彩、图形等低级的特征，所以这些特征是可以被重复使用的，由此节省训练过程。随后，在预训练模型的基础上，可针对特定应用场景(例如摄像头场景)来进行模型微调，从而能够快速提高模型的泛化能力。
52.作为一个可选实施方式，在srcnn的基础上可进一步引入生成式对抗网络gan(generative adversarial network)。gan包括生成网络和判别网络。利用样本数据中的原始高分辨率图片和对应的原始低分辨率图片通过srcnn重建出的高分辨率图片，通过不断地迭代训练，使得gan的生成网络与判别网络最终达到均衡，即重建出的高分辨率图片输入生成网络后，生成网络可生成经处理的高分辨率图片，而判别网络无法判别该经处理的高
分辨率图片是重建的高分辨率图片还是原始的高分辨率图片。由此，人脸超分辨模型训练完成。
53.图3是根据本发明的一个实施例的人脸识别方法的示例流程图。方法开始于步骤302，获取待进行人脸识别的图片。在摄像头场景中，该图片可以是来自摄像头捕获的图片。在一个示例中，待识别的图片可以是被检测到其中存在人脸的图片，并且也可以是从原始图片中裁剪出的包括人脸的部分图片。
54.在步骤304，对图片进行超分辨处理以得到经重建的高分辨率图片。这一超分辨处理可使用如结合图2所描述的训练方法训练而成的人脸超分辨模型，将图片输入该模型后，即可输出经重建的高分辨率图片。
55.在步骤306，对经重建的高分辨率图片进行人脸特征提取。人脸识别系统可使用的特征通常分为视觉特征、像素统计特征、人脸图像变换系数特征、人脸图像代数特征等。人脸特征提取就是针对人脸的某些特征进行的。人脸特征提取，也称人脸表征，它是对人脸进行特征建模的过程。现代主流算法有mtcnn与pfld算法，都是基于cnn的神经网络。本领域技术人员可以理解，此处的人脸特征提取操作取决于后续将采用的具体的人脸特征识别模型，本发明并不受限于具体的人脸特征识别模型，而是可适用于任何现有或将来的人脸特征识别模型。
56.在步骤308，对提取的特征进行进入pca降维。pca(principal component analysis)是一种常见的数据分析方式，常用于高维数据的降维，可用于提取数据的主要特征分量。对于从经过神经网络模型重建的超分辨图片中提取出的特征，尤其是当该神经网络中引入了gan时，提取出的特征通常会包括许多噪声。通过pca降维可有效过滤这些噪声。作为一个示例，提取的特征是一个矩阵，可先计算特征矩阵的协方差，然后计算特征值和特征向量，最后根据特征值大小进行pca降维。
57.在步骤310，经过pca降维后，对经降维的特征进行白化处理。白化处理又称漂白或者球化，是一种重要的预处理过程。它是对原始数据实现一种变换，将原始数据的协方差矩阵变换成为单位阵，其目的就是降低输入数据的冗余性，使得经过白化处理的输入数据具有如下性质：(i)特征之间相关性较低；(ii)所有特征具有相同的方差。在一个示例中，输入特征具有单位方差，可使用作为缩放因子来缩放每个特征x
rot,i
，计算公式如下：
[0058][0059]
在步骤312，将经白化的特征输入人脸识别模型，进行人脸识别。如之前提到的，人脸识别模型可以是任何合适的模型。对于任何模型，使用经过上述的引入对抗式网络的超分辨处理、pca降维以及白化处理后的特征数据，由于其清晰度改善、噪声以及相关性降低，因而都能够获得显著改善的人脸识别准确率。
[0060]
以上所已经描述的内容包括所要求保护主题的各方面的示例。当然，出于描绘所要求保护主题的目的而描述每一个可以想到的组件或方法的组合是不可能的，但本领域内的普通技术人员应该认识到，所要求保护主题的许多进一步的组合和排列都是可能的。从而，所公开的主题旨在涵盖落入所附权利要求书的精神和范围内的所有这样的变更、修改和变化。