基于多模态融合卷积神经网络的防伪人脸识别系统的制作方法

技术特征：
1.一种基于多模态融合卷积神经网络的防伪人脸识别系统，其特征在于，包括：图像采集模块、人脸检测模块、防伪攻击检测模块和人脸识别模块，其中：图像采集模块采集同一个时刻彩色图像流、近红外图像流和深度图像流并将其中的彩色图像流输出至人脸检测模块、将彩色图像流、近红外图像流和深度图像流输出至防伪攻击检测模块，人脸检测模块通过内置的多任务卷积神经网络对彩色图像流进行人脸识别，并将得到的人脸区域输出至防伪攻击检测模块，防伪攻击检测模块通过裁剪人脸区域并根据内置的防伪检测网络进行三模态综合防伪识别，并将识别结果输出至人脸检测模块，人脸检测模块基于识别结果进一步将对齐后的人脸图像流输出至人脸识别模块，人脸识别模块通过从人脸图像流中提取特征并与数据库进行比对得到人脸识别最终结果；所述的人脸检测模块包括人脸检测单元和人脸对齐单元，其中：人脸检测单元内置多任务卷积神经网络作为人脸检测器，人脸对齐单元根据关键点的坐标和人脸区域，采用仿射变换矩阵将彩色图像流对齐为标准人脸形状。2.根据权利要求1所述的基于多模态融合卷积神经网络的防伪人脸识别系统，其特征是，所述的图像采集模块，通过多模态摄像头实现，其采集的三个模态图像的分辨率均为640
×
480，彩色图像的色彩深度为8比特，近红外图像和深度图像的色彩深度为16比特，利用摄像头sdk中提供的图像矫正接口函数修正三个图像的视差，保证三个图像是对齐的；所述的人脸检测器以分辨率为640
×
480三通道8比特深度的彩色图像作为输入，输出包围人脸区域的最小矩形框的左上角顶点和右下角的坐标和人脸左眼中心、右眼中心、鼻尖、左嘴角、右嘴角5个人脸关键点的坐标，即人脸区域并输出至防伪攻击检测模块进行裁剪，当防伪检测模块的识别结果为真人时将人脸区域和人脸5个关键点的坐标输出至人脸对齐单元。3.根据权利要求1所述的基于多模态融合卷积神经网络的防伪人脸识别系统，其特征是，所述的人脸对齐单元通过仿射变换矩阵将原本的人脸区别通过平移、缩放、旋转、翻转、剪切变化的一种或多种的组合，变换成两眼水平位于双眼连线的垂直平分线上的标准人脸。4.根据权利要求1所述的基于多模态融合卷积神经网络的防伪人脸识别系统，其特征是，所述的防伪攻击检测模块包括：图像裁剪单元和防伪检测网络，其中：图像裁剪单元根据人脸区域左边，分别从彩色图像流、近红外图像流和深度图像流中裁剪出人脸区域，将这三张图像分别作为防伪检测网络的输入，防伪检测网络包括三个分支网络。5.根据权利要求1所述的基于多模态融合卷积神经网络的防伪人脸识别系统，其特征是，所述的防伪检测网络包括：分别接收彩色图像流、近红外图像流和深度图像流中人脸区域的三个分支网络以及预测网络，其中：彩色图像流、近红外图像流和深度图像流中人脸区域分别经过各自的分支网络进行卷积操作提取中间层特征值，特征融合层分别接收来自彩色图像流分支网络、近红外图像流分支网络以及深度图像流分支网络的输出，通过在通道维度上拼接得到包含彩色和近红外的浅层融合特征；预测网络对浅层融合特征及逆行预测得到是否为真人的概率值。6.根据权利要求5所述的基于多模态融合卷积神经网络的防伪人脸识别系统，其特征是，分别用于提取彩色图像流、近红外图像流和深度图像流中人脸区域的分支网络结构相同，均包括一个普通卷积块conv和三个深度可分离卷积块dpconv，其中：
所述的预测网络中包括两个普通卷积块conv、一个平均池化层avgpool和两个全连接层fc，该预测网络根据浅层融合特征，经softmax函数输出预测的是否为真人的概率值。7.根据权利要求6所述的基于多模态融合卷积神经网络的防伪人脸识别系统，其特征是，所述的普通卷积块conv均为：卷积核的尺寸为3x3，深度可分离卷积块dpconv的卷积核的尺寸为3x3的基础上增加一个逐点卷积pwconv，该逐点卷积卷积核大小为1x1，步长为1或2；每一个卷积操作之后均进一步通过一个批归一化batchnorm和relu分线性激活。8.根据权利要求1所述的基于多模态融合卷积神经网络的防伪人脸识别系统，其特征是，所述的人脸识别模块根据防伪检测网络的识别结果，通过人脸特征网络将来自人脸检测模块的对齐之后的彩色人脸区域进行特征提取，将提取得到的人脸特征向量与数据库中已有的人脸特征做1：n的特征比对，即闭集人脸识别，之后将比对结果中置信度分数最高的目标及其对应的置信度分数显示到前端的图形化用户界面中。9.根据权利要求8所述的基于多模态融合卷积神经网络的防伪人脸识别系统，其特征是，所述的人脸特征网络采用viplitenet实现，如图3所示，该viplitenet具体包括：八个普通卷积块conv、两个全连接层fc和设置于其间的一个批归一化层batchnorm，其中：每个普通卷积块中进一步包含一个卷积层、一个批归一化层和一个激活层。10.根据权利要求8或9所述的基于多模态融合卷积神经网络的防伪人脸识别系统，其特征是，所述的人脸特征网络的损失函数具体为：
①
center loss：其中：为第y
i
个类别的特征中心，x
i
为输入损失函数的特征；
②
triplet loss：其中：为锚定人脸的特征为，为与锚定人脸相同身份的另一张人脸的特征为，为与锚定人脸不同身份的另一张人脸的特征为，α为超参数；
③
总损失函数l＝l
c
l
t
。

技术总结
一种基于多模态融合卷积神经网络的防伪人脸识别系统，包括：图像采集模块、人脸检测模块、防伪攻击检测模块和人脸识别模块，本发明通过特征融合卷积网络并融合可将光人脸和近红外人脸的特征，在应对不同光照强度下，获得更加高的人脸识别结果。并且在应对无光、弱光，正常光源下，特征融合网络具有高鲁棒性和高准确率。确率。确率。


技术研发人员：纪侨斌 徐树公 曹姗
受保护的技术使用者：上海大学
技术研发日：2020.04.16
技术公布日：2021/10/22