一种基于全局多层连接的第三方人脸拍摄识别方法与流程

1.本发明涉及电子信息技术领域，特别涉及一种基于全局多层连接的第三方人脸拍摄识别方法。


背景技术：

2.在移动互联网时代，很多手机软件尤其是银行、互金、消金相关app，都需要确认用户操作是否是自己独立进行，否者可能会导致风险事件的发生。因此，识别用户人脸核验照是否是第三方拍摄具有重大意义。第三方人脸拍摄识别指的是判断一张图片中的人是自持设备拍摄还是第三方持设备拍摄，是一个二分类问题。基于传统数字图像处理的方法主要分析人体轮廓，通过轮廓的形状、长度等特征判断是否属于第三方拍摄，而基于深度学习的卷积神经网络会提取到深层次的抽象信息，如动作、视线角度等，往往又忽略的浅层简单信息，如轮廓、位置等。针对手机人脸核验是获取到的半身照，识别该类半身照既要考虑到简单信息、也要考虑到深层复杂信息，二现有方法都不具备较高的准确率和稳定性。


技术实现要素：

3.本发明要解决的技术问题是克服现有技术的缺陷，提供一种基于全局多层连接的第三方人脸拍摄识别方法，能够识别人脸核验时获取的半身照人脸是否属于第三方拍摄，具有较高准确率和鲁棒性。
4.本发明提供了如下的技术方案：
5.本发明提供一种基于全局多层连接的第三方人脸拍摄识别方法，包括以下步骤：
6.s1：人脸检测模块，对待检测图片进行人脸检测，若未发现人脸则直接返回“未检测到人脸”，提示重新上传，若检测到人脸，则将待检测图片(简称人脸照)送入下一模块；
7.s2：使用图片预处理模块，对人脸照进行resize、normalize归一化操作输出预处理后的图像；
8.s3：使用全局多层连接模块，对输入图像进行特征提取；
9.s4：输出模块，对提取到的特征进行预测，得到输入图片是第三方拍摄的得分，将得分与预先设定阈值比较，若得分大于阈值则判定为第三方拍摄人脸照。
10.作为本发明的一种优选技术方案，步骤s1，包含：
11.s1.1：使用人脸检测模型，对输入的待检测图片进行人脸检测，获取图片中所有人脸的相关信息；
12.s1.2：对步骤s1.1中得到的人脸位置信息进行判断，若未检测到人脸则直接返回“未检测到人脸”，提示重新上传；若检测到人脸，则将待检测图片送入下一个模块。
13.作为本发明的一种优选技术方案，步骤s2，包含：
14.s2.1：将步骤s1.2中得到的输入图像进行resize缩放，缩放后得到 224*224分辨率的图像；
15.s2.2：将步骤s2.1中得到的图像进行归一化操作，将所有像素值归一化到0-1之
间，得到归一化后的图像。
16.作为本发明的一种优选技术方案，步骤s3，包含：
17.s3.1：将步骤s2.2得到的图片输入到第一卷积模块，得到第一特征图；
18.s3.2：将步骤s2.2得到的图片和步骤s3.1得到的图片输入到第一拼接模块，得到第一拼接特征图；
19.s3.3：将步骤s3.2得到的第一拼接特征图输入到第二卷积模块，得到第二特征图；
20.s3.4：将步骤s2.2得到的图片、步骤s3.1得到的特征图输入、步骤s3.3 得到的特征图输入到到第二拼接模块，得到第二拼接特征图；
21.s3.5：将步骤s3.4得到的第二拼接特征图输入到第三卷积模块，得到第三特征图；
22.s3.6：将步骤s2.2得到的图片、步骤s3.1得到的特征图输入、步骤s3.3 得到的特征图、步骤s3.5得到的特征图输入到到第三拼接模块，得到第三拼接特征图；
23.s3.7：将步骤s3.6得到的第三拼接特征图输入到第四卷积模块，得到第四特征图；
24.s3.8：将步骤s2.2得到的图片、步骤s3.1得到的特征图输入、步骤s3.3 得到的特征图、步骤s3.5得到的特征图、步骤s3.7得到的特征图输入到到第四拼接模块，得到第四拼接特征图；
25.s3.9：将步骤s3.8得到的第四拼接特征图输入到第五卷积模块，得到第五特征图；
26.s3.10：将步骤s2.2得到的图片、步骤s3.1得到的特征图输入、步骤s3.3 得到的特征图、步骤s3.5得到的特征图、步骤s3.7得到的特征图、步骤s3.9 得到的特征图输入到到第五拼接模块，得到第五拼接特征图。
27.作为本发明的一种优选技术方案，步骤s4，包含：
28.s4.1：将步骤s3.10得到的第五拼接特征图，输入到输出模块，得到待检测图片是否属于第三方人脸分数。
29.与现有技术相比，本发明的有益效果如下：
30.本发明利用全局多层连接方式将神经网络的浅层和深层连通起来，将浅层信息与深层信息进行融合，浅层信息包含人物轮廓、角度等直观简单信息，而深层信息包含人物表情、动作等复杂信息，因此全局多层连接可以获得更好的提取特征效果；
31.同时，与传统卷积神经网络特征图高维的通道数相比，本发明的特征拼接模块通过pooling模块和1*1卷积对特征图进行了降维，降低了神经网络参数量和推理计算量，能够实现更快速高效的推理计算；
32.最后，本发明将待检测图片预先进行人脸检测，对于非人像照可以提前进行过滤，从而是入模照片更加干净，使整套识别方法能加智能和准确。
附图说明
33.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
34.图1是本发明的系统总体示意图；
35.图2是本发明的人脸检测模块示意图；
36.图3是本发明的数据预处理模块示意图；
37.图4是本发明的全局多层连接模块示意图；
38.图5是本发明的bcrcrp模块示意图；
39.图6是本发明的第一特征拼接模块示意图；
40.图7是本发明的第二特征拼接模块示意图；
41.图8是本发明的第三特征拼接模块示意图；
42.图9是本发明的第四特征拼接模块示意图；
43.图10是本发明的第四特征拼接模块示意图；
44.图11是本发明的输出模块示意图。
具体实施方式
45.以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。其中附图中相同的标号全部指的是相同的部件。
46.实施例1
47.如图1-11，本发明提供一种基于全局多层连接的第三方人脸拍摄识别方法，实施例将人脸半身照是第三方持设备拍摄还是自持设备拍摄看成一个二分类问题，提出了一种基于全局多层连接的第三方人脸拍摄识别方法。具体实施时，由于待检测图片可能不存在人像信息，直接预测可能会导致模型误判，故将待检测图片预先进行人脸检测，对未检测到人脸的照片直接打回。然后，通过使用基于全局多层连接的卷积神经网络对待检测图片进行特征提取，基于全局多层连接的网络能够在网络的深层也能获取到浅层信息，将图片中简单特征与复杂特征有效融合，使网络特征表达能力更强，从而能实现更加精准的分类。
48.图1是根据一示例性实施例示出的一种基于全局多层连接的第三方人脸拍摄识别方法的流程图，参照图1所示，该方法包括以下步骤：
49.s1：人脸检测模块，对待检测图片进行人脸检测，若未发现人脸则直接返回“未检测到人脸”，提示重新上传；若检测到人脸，则将待检测图片(简称人脸照)送入下一模块；
50.具体的，在第三方人脸拍摄识别场景下对图片中是否有人像进行判断是必要的一环，因为非人像照不仅会造成计算资源的浪费，而且可能发生误识别导致用户体验不佳，因此，对待检测图片识别之前先进行人脸检测是非常重要的，对于未识别出人脸的照片直接返回，对于有人脸的人脸照，则送入模型进行识别。
51.图2是根据一示例性实施例示出的人脸检测模块，对需要检测的图像进行人脸检测，获取包含人脸及小范围背景区域的图像的流程图，参照图2所示，其包括如下步骤：
52.s1.1：使用人脸检测模型，对输入的待检测图片进行人脸检测，获取图片中所有人脸的坐标位置；
53.具体的，步骤s1.1中的人脸检测模型，使用开源的dlib库中的hog facedetector，这是一种广泛应用的人脸检测模型，基于hog特征和svm算法，是目前最快速的开源检测算法，而且在具有小的遮挡、重叠时依然保持较高的准确率。该方法会以列表的形式返回输入图片中人脸的相关信息，当列表为空时，则图片中没有检测到人脸信息，当列表为非空时，每一个列表返回一张人脸的相关信息，包括头像左上角右下角坐标、68个关键点坐标。
54.s1.2：对步骤s1.1中得到的人脸位置信息进行判断，若未检测到人脸则直接返回
‘
未检测到人脸
‘
，提示重新上传；若检测到人脸，则将待检测图片送入下一个模块；
55.具体的，步骤s1.2利用步骤s1.1返回的列表信息，当列表为空的时候，直接返回“未检测到人脸”，提示重新上传；若列表不为空，则将待检测图片送入下一模块；
56.s2：使用图片预处理模块，对人脸照进行resize、normalize归一化操作输出预处理后的图像；
57.具体的，对步骤s1输出的人脸照进行预处理是重要且必要的过程，由于用户上传图像分辨率参差不齐，所以必须将人脸照resize缩放到固定的分辨率；然后，归一化操作可以降低像素值，减少计算量，加快推理速度；
58.图3是根据一示例性实施例所示的图片预处理模块，对s1输出的图片进行数据预处理示意图，参照图3所示，其包括如下步骤：
59.s2.1：将步骤s1中得到的输入图像进行resize缩放，缩放后得到224*224 分辨率的图像；
60.具体的，步骤s2.1采用双线性差值算法将步骤s1中得到的图片缩放到 224*224的分辨率，得到缩放后的图片。
61.s2.2：将步骤s2.1中得到的图像进行归一化操作，将所有像素值归一化到0-1之间，得到归一化后的图像。
62.具体的，由于s2.1得到的图片像素值的范围是0-255，所以将图片所有像素值同时除以255，得到归一化后的图像。
63.s3：使用稠密多层连接模块，对输入图像进行特征提取；
64.具体的，对步骤s2.2得到的预处理完的图片进行特征提取，本发明提出的基于全局多层连接的卷积神经网络，一共包含五个特征提取模块，每个模块包含两个子模块，分别为特征提取模块和特征拼接模块。每个模块接受前面所有模块的输出特征图，首先对特征图进行相应的下采样，然后进行通道拼接，对拼接后的特征图进行卷积、激活、在卷积操作，最后得到该模块的输出特征图。
65.图4是根据一示例性实施例所示的特征提取模块，对s2.2输出的图片进行特征提取示意图，参照图3所示，其包括如下步骤：
66.s3.1：将步骤s2.2得到的图片输入到第一卷积模块，得到第一特征图；
67.具体的，第一卷积模块包含6个步骤，分别是批归一化层(bn)、卷积层(conv)、激活层(relu)、卷积层(conv)、激活层(relu)、池化层(pooling)。步骤s2.2得到的输入图像的尺寸是[224,224,3]，经过第一卷积模块，得到的第一特征图尺寸为(112,112,48)。
[0068]
具体的，上述所述第一卷积模块包含的6个步骤与第二卷积模块、第三卷积模块、第四卷积模块、第五卷积模块都相同，因此，为了叙述方便，将该卷积模块命名为bcrcrp卷积模块。
[0069]
图5是根据一示例性实施例所示bcrcrp模块，参照图5所示，对上述6 个步骤进行具体介绍如下：
[0070]
具体的，批归一化层(bn)是将输入特征图统一减去一个均值，然后除以标准差，使特征服从一个标准高斯分布。批归一化可以让模型聚焦关注图片区域中相对信息，具有正则化效果，目前广泛使用于神经网络中。
[0071]
具体的，第二步卷积和第四步卷积具有相同结构，其中，卷积层的卷积核个数均为
48，步长均为1，卷积核的尺寸是3*3，经过卷积的图片尺寸不发生变化，通道数变成48。卷积层的主要作用是特征提取与整合，随着网络的加深，所提取的特征更加抽象复杂。
[0072]
具体的，第三步激活和第五步激活具有相同结构，其中，激活函数采用的线性整流函数(relu)，线性整流函数作为激活函数可以防止训练过程中可能存在的梯度弥散，是广泛使用的一种激活函数。
[0073]
具体的，第六步的池化层(pooling)采用最大池化，池化核的大小为2*2, 步长为2，因此，池化是一个降采样层，经过池化的特征图尺寸变为原来的二分之一。
[0074]
s3.2：将步骤s2.2得到的图片和步骤s3.1得到的图片输入到第一拼接模块，得到第一拼接特征图；
[0075]
具体的，第一拼接模块获取步骤s2.2输出和步骤s3.1输出，首先对步骤s2.2输出进行降采样得到尺寸同s3.1输出，然后在通道维度上对二者进行拼接，最后使用1*1卷积对特征进行降维，得到输出尺寸为(112,112,48)。
[0076]
图6是根据一示例性实施例所示的第一特征拼接模块示意图，具体的，步骤s2.2得到的特征图首先经过一个池化层，尺寸为(112,112,3)，然后对特征进行拼接得到特征图尺寸为(112,112,51)。最后，经过一个卷积(1*1)和激活层得到尺寸为(112,112,48)。
[0077]
s3.3：将步骤s3.2得到的第一拼接特征图输入到第二卷积模块，得到第二特征图；
[0078]
具体的，第二卷积模块与第一卷积模块具有相同的网络结构，都采用了上述所述bcrcrp模块，步骤s3.2得到的特征图尺寸为(112,112,48)，经过bcrcrp模块，输出特征图尺寸为(56,56,48)。
[0079]
s3.4：将步骤s2.2得到的图片、步骤s3.1得到的特征图、步骤s3.3得到的特征图输入到到第二拼接模块，得到第二拼接特征图；
[0080]
具体的，第二拼接模块获取步骤s2.2输出、步骤s3.1输出和步骤s3.3 输出，首先对步骤s2.2输出进行2次降采样得到尺寸同s3.3输出，然后步骤s3.1输出进行1次降采样得到尺寸同s3.3输出，对然后在通道维度上对三者进行拼接，最后使用1*1卷积对特征进行降维，得到输出尺寸为(56,56,48)。
[0081]
图7是根据一示例性实施例所示的第二特征拼接模块示意图，具体的，步骤s2.2得到的特征图首先经过2个池化层，尺寸为(56,56,3)，步骤s3.1 得到的特征图首先经过1个池化层，尺寸为(56,56,48)，然后对特征进行拼接得到特征图尺寸为(56,56,99)。最后，经过一个卷积(1*1)和激活层得到尺寸为(56,56,48)。
[0082]
s3.5：将步骤s3.4得到的第二拼接特征图输入到第三卷积模块，得到第三特征图；
[0083]
具体的，第三卷积模块与第一、第二卷积模块具有相同的网络结构，都采用了上述所述bcrcrp模块，步骤s3.4得到的特征图尺寸为(56,56,48)，经过bcrcrp模块，输出特征图尺寸为(28,28,48)。
[0084]
s3.6：将步骤s2.2得到的图片、步骤s3.1得到的特征图输入、步骤s3.3 得到的特征图、步骤s3.5得到的特征图输入到到第三拼接模块，得到第三拼接特征图；
[0085]
具体的，第三拼接模块获取步骤s2.2输出、步骤s3.1输出、步骤s3.3 输出和步骤s3.5的输出，首先对步骤s2.2输出进行3次降采样得到尺寸同 s3.5输出，对步骤s3.1输出进行2次降采样得到尺寸同s3.5输出，对步骤 s3.3输出进行1次降采样得到尺寸同s3.5输出，然后在通道维度上对四者进行拼接，最后使用1*1卷积对特征进行降维，得到输出尺寸
为(28,28,48)。
[0086]
图8是根据一示例性实施例所示的第三特征拼接模块示意图，具体的，步骤s2.2得到的特征图首先经过3个池化层，尺寸为(28,28,3)，步骤s3.1 得到的特征图经过2个池化层，尺寸为(28,28,48)，步骤s3.3得到的特征图经过1个池化层，尺寸为(28,28,48)，然后对特征进行拼接得到特征图尺寸为(28,28,147)。最后，经过一个卷积(1*1)和激活层得到尺寸为(28,28,48)。
[0087]
s3.7：将步骤s3.6得到的第三拼接特征图输入到第四卷积模块，得到第四特征图；
[0088]
具体的，第四卷积模块与第一、第二、第三卷积模块具有相同的网络结构，都采用了上述所述bcrcrp模块，步骤s3.6得到的特征图尺寸为(28,28,48)，经过bcrcrp模块，输出特征图尺寸为(14,14,48)。
[0089]
s3.8：将步骤s2.2得到的图片、步骤s3.1得到的特征图输入、步骤s3.3 得到的特征图、步骤s3.5得到的特征图、步骤s3.7得到的特征图输入到到第四拼接模块，得到第四拼接特征图；
[0090]
具体的，第四拼接模块获取步骤s2.2输出、步骤s3.1输出、步骤s3.3 输出、步骤s3.5的输出、步骤s3.7的输出，首先对步骤s2.2输出进行4次降采样得到尺寸同s3.7输出，对步骤s3.1输出进行3次降采样得到尺寸同 s3.7输出，对步骤s3.3输出进行2次降采样得到尺寸同s3.7输出，然后在通道维度上对五者进行拼接，最后使用1*1卷积对特征进行降维，得到输出尺寸为(14,14,48)。
[0091]
图9是根据一示例性实施例所示的第四特征拼接模块示意图，具体的，步骤s2.2得到的特征图首先经过4个池化层，尺寸为(14,14,3)，步骤s3.1 得到的特征图经过3个池化层，尺寸为(14,14,48)，步骤s3.3得到的特征图经过2个池化层，尺寸为(14,14,48)，步骤s3.5得到的特征图经过1个池化层，尺寸为(14,14,48)，然后对特征进行拼接得到特征图尺寸为(14,14,195)。最后，经过一个卷积(1*1)和激活层得到尺寸为(14,14,48)。
[0092]
s3.9：将步骤s3.8得到的第四拼接特征图输入到第五卷积模块，得到第五特征图；
[0093]
具体的，第五卷积模块与第一、第二、第三、第四卷积模块具有相同的网络结构，都采用了上述所述bcrcrp模块，步骤s3.8得到的特征图尺寸为(14,14,48)，经过bcrcrp模块，输出特征图尺寸为(7,7,48)。
[0094]
s3.10：将步骤s2.2得到的图片、步骤s3.1得到的特征图输入、步骤s3.3 得到的特征图、步骤s3.5得到的特征图、步骤s3.7得到的特征图、步骤s3.9 得到的特征图输入到到第五拼接模块，得到第五拼接特征图；
[0095]
具体的，第五拼接模块获取步骤s2.2输出、步骤s3.1输出、步骤s3.3 输出、步骤s3.5的输出、步骤s3.7的输出、步骤s3.9的输出，首先对步骤 s2.2输出进行5次降采样得到尺寸同s3.9输出，对步骤s3.1输出进行4次降采样得到尺寸同s3.9输出，对步骤s3.3输出进行3次降采样得到尺寸同 s3.9输出，对步骤s3.5输出进行2次降采样得到尺寸同s3.9输出，对步骤 s3.7输出进行1次降采样得到尺寸同s3.9输出，然后在通道维度上对六者进行拼接，得到特征图的尺寸为(7,7,243)。最后，经过一个全局最大池化层，得到243维的特征向量。
[0096]
图10是根据一示例性实施例所示的第五特征拼接模块示意图，具体的，步骤s2.2得到的特征图首先经过5个池化层，尺寸为(7,7,3)，步骤s3.1 得到的特征图经过4个池化
层，尺寸为(7,7,48)，步骤s3.3得到的特征图经过3个池化层，尺寸为(7,7,48)，步骤s3.5得到的特征图经过2个池化层，尺寸为(7,7,48)，步骤s3.7得到的特征图经过1个池化层，尺寸为(7,7,48)，然后对特征进行拼接得到特征图尺寸为(7,7,243)。最后经过一个全局最大池化层，得到243维的特征向量。
[0097]
s4：输出模块，对提取到的特征进行预测，得到输入图片是第三方拍摄的得分，将得分与预先设定阈值比较，若得分大于阈值则判定为第三方拍摄人脸照。
[0098]
具体的，输出模块是预测待检测图片是否第三方人脸拍摄最后一个步骤，通过一个逻辑回归层将特征向量转化成一个分数，将分数与预先设定好的阈值相比较，若分数大于阈值，则判定输入的人脸照是第三方拍摄，否则，判定为非第三方拍摄。
[0099]
图11是根据一示例性实施例所示的输出模块示意图，参照图11所示，输出模块包括以下步骤：
[0100]
s4.1：将步骤s3.10得到的第五拼接特征图，输入到输出模块，判定待检测图片是属于第三方拍摄照。
[0101]
具体的，输出模块的逻辑回归层由一个全连接层和一个sigmoid层组成，将步骤s3.10得到的243维特征向量分别乘以一个243维的权值矩阵，再加上一个偏置，得到一个数值。最后，将该数值输入到一个sigmoid函数得到一个0-1之间的分数。将分数与预先设定好的阈值相比较，若分数大于阈值，则判定输入的人脸照是第三方拍摄，否则，判定为非第三方拍摄。
[0102][0103][0104][0105]
进一步的，其技术要点主要有如下两点：
[0106]
1、本发明提出的一种基于全局多层连接的卷积神经网络结构，将神经网络中浅层信息与深层信息进行结合，使神经网络在特征提取的时候既能提取到图片中简单的轮廓、位置等特征，又能获取到图片中复杂的动作、表情等特征，相比传统的卷积神经网络，具有更好的特征抽取功能，这是本发明有别于其他类似发明的核心，也是本发明检测性能优于其他类似发明的根本所在；
[0107]
2、本发明提出的一种基于全局多层连接的卷积神经网络结构，一共有5 个下采样模块，每一个模块输出的通道数是固定的48，通过1*1卷积在通道维度上对拼接之后的特征图实现了降维。传统卷积神经网络，在每次下采样的时候通道数要乘以2，导致了神经网络中有大量参数。本发明通过特征拼接并降低通道数降低了神经网络中参数数量，实现了快速的计算和推理。
[0108]
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。