人脸识别方法、装置、设备和存储介质与流程

1.本技术涉及人脸识别技术领域，具体涉及一种人脸识别方法、装置、设备和存储介质。


背景技术：

2.随着计算机技术的发展，人脸识别应用到了越来越多的领域，例如可以用在考勤、门禁中。人脸识别通常是使用机器学习方法训练人脸识别模型，然后利用人脸识别模型对图像中的人脸进行识别。
3.在传统的人脸识别中，需要每个用户上传一张照片作为人脸底库图片，通过特征提取后与用户进行关联，用于后期通过人脸识别进行身份的比对和认证。然而一般上传的底库图片都是不戴口罩的图片。而在某些特殊时期(尤其是新冠疫情下)用户通常都会戴口罩，而对戴口罩的人脸进行识别的难点在于：人脸识别模型既要解决戴口罩情况下的人脸识别，又要解决不戴口罩情况下的人脸识别。戴口罩情况下与不戴带口罩情况下相比，缺少嘴部、鼻子等相关信息，采用目前的训练模型常常会导致识别的效果低，甚至可能会存在无法识别的情况。
4.申请内容
5.有鉴于此，本技术实施例中提供了一种人脸识别方法、装置、设备和存储介质。
6.第一方面，本技术实施例提供了一种人脸识别方法，该方法包括：
7.获取待识别用户的人脸图像；
8.从所述人脸图像中提取上半脸图像；
9.将所述上半脸图像输入预先训练的第一卷积神经网络模型，以得到第一图像特征；
10.将所述人脸图像输入预先训练的第二卷积神经网络模型，以得到第二图像特征；
11.将所述第一图像特征和所述第二图像特征进行融合，以得到融合图像特征；
12.将所述融合图像特征与人脸库中的人脸特征进行比对，根据比对结果确定待识别用户的人脸识别是否通过。
13.第二方面，本技术实施例提供了一种人脸识别装置，该装置包括：
14.人脸图像获取模块，用于获取待识别用户的人脸图像；
15.上半脸图像提取模块，用于从所述人脸图像中提取上半脸图像；
16.第一特征获得模块，用于将所述上半脸图像输入预先训练的第一卷积神经网络模型，以得到第一图像特征；
17.第二特征获得模块，用于将所述人脸图像输入预先训练的第二卷积神经网络模型，以得到第二图像特征；
18.融合特征获得模块，用于将所述第一图像特征和所述第二图像特征进行融合，以得到融合图像特征；
19.比对模块，用于将所述融合图像特征与人脸库中的人脸特征进行比对，根据比对
结果确定待识别用户的人脸识别是否通过。
20.第三方面，本技术实施例提供了一种终端设备，包括：存储器；一个或多个处理器，与所述存储器耦接；一个或多个应用程序，其中，一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个应用程序配置用于执行上述第一方面提供的人脸识别方法。
21.第四方面，本技术实施例提供了一种计算机可读取存储介质，计算机可读取存储介质中存储有程序代码，程序代码可被处理器调用执行上述第一方面提供的人脸识别方法。
22.本技术实施例提供的人脸识别方法、装置、设备和存储介质，首先获取待识别用户的人脸图像，其中人脸图像可以是佩戴口罩的人脸图像也可以是未佩戴口罩的人脸图像；然后从人脸图像中提取上半脸图像，将上半脸图像输入预先训练的第一卷积神经网络模型，以得到第一图像特征；同时将人脸图像输入预先训练的第二卷积神经网络模型，以得到第二图像特征；将第一图像特征和第二图像特征进行融合，以得到融合图像特征；将融合图像特征与人脸库中的人脸特征进行比对，根据比对结果确定待识别用户的人脸识别是否通过。
23.该人脸识别方法分别采用第一卷积神经网络模型和第二卷积神经网络模型来提取上半脸特征和全脸特征，然后将上半脸特征和全脸特征进行融合，再将融合后的特征与人脸库中的人脸特征进行比对从而确定人脸识别是否通过。采用特征融合方式形成的融合特征提高了对人脸的表述能力和鉴别能力，进而提高了人脸识别的准确性。并且采用该方法即可以对佩戴口罩的用户进行识别，也可以对未佩戴口罩的用户进行识别，使用非常方便。
附图说明
24.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
25.图1为本技术实施例提供的人脸识别方法的应用场景示意图；
26.图2为本技术一个实施例提供的人脸识别方法的流程示意图；
27.图3为本技术一个实施例提供的改进的mobilefacenet网络模型的示意图；
28.图4为本技术一个实施例提供的改进的resnet网络模型的示意图；
29.图5为本技术一个实施例提供的人脸识别装置的结构图；
30.图6为本技术一个实施例中提供的终端设备的结构示意图；
31.图7为本技术一个实施例中提供的计算机可读存储介质的结构示意图。
具体实施方式
32.下面将对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范
围。
33.为了更详细说明本技术，下面结合附图对本技术提供的一种人脸识别方法、装置、终端设备和计算机存储介质，进行具体地描述。
34.请参考图1，图1示出了本技术实施例提供的人脸识别方法的应用场景的示意图，该应用场景包括本技术实施例提供的终端设备100，终端设备100可以是具有显示屏的各种电子设备(如102、104、106和108的结构图)，包括但不限于智能手机、计算机设备、打卡机、考勤机等，其中计算机设备可以是台式计算机、便携式计算机、膝上型计算机、平板电脑等设备中的至少一种。当采集到用户的人脸图像时，终端设备100执行本技术的人脸识别方法，具体过程请参照人脸识别方法实施例。
35.其次，终端设备100可以泛指多个终端设备中的一个，本实施例仅以终端设备100来举例说明。本领域技术人员可以知晓，上述终端设备的数量可以更多或更少。比如上述终端设备可以仅为几个，或者上述终端设备为几十个或几百个，或者更多数量，本技术实施例对终端设备的数量和类型不加以限定。终端设备100可以用来执行本技术实施例中提供的一种人脸识别方法。
36.在一种可选的实施方式中，该应用场景包括本技术实施例提供的终端设备100之外，还可以包括服务器，其中服务器与终端设备之间设置有网络。网络用于在终端设备和服务器之间提供通信链路的介质。网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
37.应该理解，终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器可以是多个服务器组成的服务器集群等。其中，终端设备通过网络与服务器交互，以接收或发送消息等。服务器可以是提供各种服务的服务器。其中服务器可以用来执行本技术实施例中提供的一种人脸识别方法的步骤。此外，终端设备在执行本技术实施例中提供的一种人脸识别方法时，可以将一部分步骤在终端设备执行，一部分步骤在服务器执行，在这里不进行限定。
38.基于此，本技术实施例中提供了一种人脸识别方法。请参阅图2，图2示出了本技术实施例提供的一种人脸识别方法的流程示意图，以该方法应用于图1中的终端设备为例进行说明，包括以下步骤：
39.步骤s110，获取待识别用户的人脸图像。
40.其中，待识别用户的人脸图像是指任意需要进行人脸识别的用户的人脸图像。该人脸图像可以是采用终端设备内置的图像采集模块采集的，也可以是采用独立的图像采集设备采集的。
41.可选地，人脸图像是用户整个人脸的图像，可以是有遮蔽的整脸图像也可以是未遮蔽的整脸图像，例如可以佩戴口罩的人脸图像，也可以是未佩戴口罩的人脸图像。
42.步骤s120，从人脸图像中提取上半脸图像。
43.在获得人脸图像后，从人脸图像提取上半脸图像，其中上半脸图像包括眼睛、额头、眉毛、头发等信息。
44.具体过程为：将人脸图像对齐到n*n(例如112*112)大小，然后沿两点a(0,n/2)和b(n,n/2)的连线裁剪人脸，取上半人脸，再缩放到n*n大小，从而得到上半脸图像。
45.步骤s130，将上半脸图像输入预先训练的第一卷积神经网络模型，以得到第一图
像特征。
46.步骤s140，将人脸图像输入预先训练的第二卷积神经网络模型，以得到第二图像特征。
47.进一步地，给出了一种第一卷积神经网络模型和第二卷积神经网络模型的具体实施方式，描述如下：
48.在一种可选的实施例中，第一卷积神经网络模型和第二卷积神经网络模型包括resnet网络模型、vgg网络模型、densenet网络模型、squeezenet网络模型或mobilefacenet网络模型。
49.其中，resnet网络模型、vgg网络模型、densenet网络模型、squeezenet网络模型以及mobilefacenet网络模型都是卷积神经网络中非常好用的网络模型，可以用在人脸识别的特征提取中。
50.在一种优选的实施方式中，请参照图3所示，第一卷积神经网络模型为改进的mobilefacenet网络模型，改进的mobilefacenet网络模型包括第一inception层、第一注意力模块和依次连接的第一浅层网络、第一中层网络、第一深层网络和第一全连接层；且改进的mobilefacenet网络模型的激活函数为frelu激活函数。其中，第一inception层设置在第一浅层网络与第一中层网络之间；第一注意力模块设置在第一中层网络与第一深层网络之间，及第一深层网络与第一全连接层网络之间。
51.具体而言，mobilefacenet网络模型是由普通卷积模块、可分离卷积模块、瓶颈层(即bottleneck层)以及全局可分离卷积组成。按照其功能进行划分可以将mobilefacenet网络模型分为浅层网络、中层网络以及深层网络，其中浅层网络对应的特征图为浅层特征图、中层网络对应的特征图为中层特征图、深层网络对应的特征图为深层特征图。其中，浅层网络、中层网络以及深层网络的划分是按照其提取的特征图的深度来确定的，在不同条件或场景中划分的方式可以有所不同。
52.请参照图3，改进的mobilefacenet网络模型包括第一inception层、第一注意力模块和依次连接的第一浅层网络、第一中层网络、第一深层网络和第一全连接层。其中，第一浅层网络可以是普通卷积模块(即图3中的convblock)；第一中层网络可以是可分离卷积模块(即图3中的第一个depthwise)，而第一深层网络可以是可分离卷积模块(即图3中的第二个depthwise，该depthwise通常是global depthwwise，即全局可分离卷积模块)。第一全连接层为图3中的fc。
53.瓶颈层(即bottleneck层)可以与第一个可分离卷积模块(即图3中的第一个depthwise)一起构成第一中层网络，也可以与第二个可分离卷积模块(即图3中的第二个depthwise)一起构成第一深层网络。
54.其次，在第一inception层(即图3中的inception)设置于第一inception层设置在第一浅层网络与第一中层网络之间的inception层；第一注意力模块(即图3中的hoa)设置在第一中层网络与第一深层网络之间，及第一深层网络与第一全连接层网络之间。
55.其中，inception又叫做googlenet，其通过增加网络的宽度来提高网络性能，在每个inception模块中，使用了不同大小的卷积核，可以理解成不同的感受野，然后将其concat起来，丰富了每层的信息。之后，使用了bn算法(bn使用在conv之后，relu之前)，来加速网络的收敛速度。
56.可选地，inception可以是inception v1、inception v2、inception v3或inception v4。
57.另外，第一inception层中inception的个数可以是一个或多个。优选的，inception的个数为3个。
58.第一注意力模块是基于注意力机制(attention mechanism)形成的网络结构，其主要原理是受人类视觉机制的启发，让网络学习更关注的特征。而第一注意力模块是用来提取图像或图片的重要特征。
59.在一种优选的实施方式中，第一注意力模块可以是high
‑
order attention，高阶注意力模块(即图3中的hoa)。该模块具有可适应感受野和动态权重。hoa为每一个像素提供了一个全局注意力map，该map对该像素与其余所有像素的关系进行了建模。hoa模块通过图传导构建attention map，从而获得高阶相关上下文信息。每个位置的feature map是所有位置的feature map的加权和。使用了hoa模块传播的网络的感受野更为准确。
60.可选地，第一注意力模块还可以是自注意力(self
‑
attention)模块、软注意力(soft
‑
attention)模块或硬注意力(hard
‑
attention)，其中自注意力模块又可以包括通道注意或空间注意。
61.此外，frelu激活函数是一种视觉激活函数，又称为funnel漏斗relu，通过在激活函数中使用空间条件/2d漏斗式条件(只产生微不足道的计算开销，且非常容易实现)可以将relu/prelu扩展到具有像素级建模能力的可视参数激活函数，提取一个对象精细的空间布局。frelu能更好地捕捉不规则和详细的对象布局(空间信息)，其性能优于relu、prelu和swish等激活函数。
62.在另一种优选的实施方式中，如图4所示，第二卷积神经网络模型为改进的resnet网络模型，改进的resnet网络模型包括第二inception层、第二注意力模块和依次连接的第二浅层网络、第二中层网络、第二深层网络和第二全连接层；且改进的resnet网络模型的激活函数为frelu激活函数。其中，第二inception层设置在第二浅层网络中，第二注意力模块设置在第二浅层网络与第二中层网络之间，及第二中层网络与第二深层网络之间。
63.具体而言，resnet网络模型又名残差神经网络，指的是在传统卷积神经网络中加入残差学习(residual learning)的思想，解决了深层网络中梯度弥散和精度下降(训练集)的问题，使网络能够越来越深，既保证了精度，又控制了速度。
64.resnet网络模型通常包括5层卷积层结构、池化层和全连接层，其中5层卷积层结构分别为conv1_x,conv2_x,conv3_x,conv4_x,conv5_x。5层卷积层结构中普通卷积模块和残差卷积模块，其中普通卷积模块和残差卷积模块的数量可以是多个，不同数量的普通卷积模块和残差卷积模块组成不同的resnet网络模型结构，例如resnet18、resnet50以及resnet101等。
65.其次，按照其功能进行划分可以将resnet网络模型分为浅层网络、中层网络以及深层网络，其中浅层网络对应的特征图为浅层特征图、中层网络对应的特征图为中层特征图、深层网络对应的特征图为深层特征图。其中，浅层网络、中层网络以及深层网络的划分是按照其提取的特征图的深度来确定的，在不同条件或场景中划分的方式可以有所不同。
66.请参照4，改进的resnet网络模型包括第二inception层、第二注意力模块和依次连接的第二浅层网络、第二中层网络、第二深层网络和第二全连接层。其中，第二浅层网络
可以是普通卷积模块(即图4中的conv1)和残差卷积模块(即图4中的layer1)；第二中层网络可以是残差卷积模块(即图4中的layer2)，而第二深层网络可以是残差卷积模块(即图4中的layer3,4)。第二全连接层为图4中的fc。
67.其次，在第二inception层(即图4中的inception)设置第二浅层网络中，即设于conv1与layer1之间；第二注意力模块(即图4中的hoa)设置在第二浅层网络与第二中层网络之间，及第二中层网络与第二深层网络之间。
68.其中，inception又叫做googlenet，其通过增加网络的宽度来提高网络性能，在每个inception模块中，使用了不同大小的卷积核，可以理解成不同的感受野，然后将其concat起来，丰富了每层的信息。之后，使用了bn算法(bn使用在conv之后，relu之前)，来加速网络的收敛速度。
69.另外，第二inception层中inception的个数可以是一个或多个。优选的，inception的个数为3个。
70.可选地，inception可以是inception v1、inception v2、inception v3或inception v4。
71.第二注意力模块是基于注意力机制(attention mechanism)形成的网络结构，其主要原理是受人类视觉机制的启发，让网络学习更关注的特征。而第二注意力模块是用来提取图像或图片的重要特征。
72.在一种优选的实施方式中，第二注意力模块可以是high
‑
order attention，高阶注意力模块(即图4中的hoa)。
73.可选地，第二注意力模块还可以是自注意力(self
‑
attention)模块、软注意力(soft
‑
attention)模块或硬注意力(hard
‑
attention)，其中自注意力模块又可以包括通道注意或空间注意。
74.另外，模型训练就是给定输入向量和目标输出值，然后将输入向量来输入一个或多个网络结构或函数来求得实际输出值，并根据目标输出值和实际输出值来计算偏量，并判断偏量是否在容许范围内；若在容许范围内，则训练结束并固定相关参数；若不在容许范围内，不断去调整网络结构或函数中的一些参数，直至在偏量在容许范围内或达到了某一结束条件时，训练结束并固定相关参数，最后根据固定的相关参数即可得到训练完成的模型。
75.而本实施例中的第一卷积神经网络模型和第二卷积神经网络模型的训练实际上为：采用人脸图像集中的图像样本来对第一卷积神经网络模型和第二卷积神经网络模型进行学习训练，从而得到预先训练的第一卷积神经网络模型和预先训练的第二卷积神经网络模型。在本实施例中，第一卷积神经网络模型采用改进的mobilefacenet网络模型，第二卷积神经网络模型采用改进的resnet网络模型，一方面能使得模型训练速度快，另一方面也能使得模型准确率高，进而提高人脸识别的准确性。
76.进一步地，提供了一种第二卷积神经网络模型训练的实施方式，下面对该实施方式进行详细描述。
77.在一种实施例中，预先训练的第二卷积神经网络模型通过以下方式获得：
78.基于未佩戴口罩的人脸图像集对第二卷积神经网络模型进行训练，得到初始第二卷积神经网络模型。基于佩戴口罩和未佩戴口罩的混合人脸图像集，并采用triplet loss
方法来对初始第二卷积神经网络模型进行微调，以得到预先训练的第二卷积神经网络模型。
79.具体而言，预先训练的第二卷积神经网络模型在对人脸图像进行特性提取，得到第二图像特征时，既可能是对未佩戴口罩的整个人脸图像进行特征提取，也可能是对佩戴口罩的整个人脸图像进行特征提取。因此，为了保证第二卷积神经网络模型对未佩戴口罩的整个人脸图像和佩戴口罩的整个人脸图像的特征提取都准备，对第二卷积神经网络模型进行训练时进行改进，具体步骤为：基于未佩戴口罩的人脸图像集对第二卷积神经网络模型进行训练，得到初始第二卷积神经网络模型。基于佩戴口罩和未佩戴口罩的混合人脸图像集，并采用triplet loss方法来对初始第二卷积神经网络模型进行微调，以得到预先训练的第二卷积神经网络模型。
80.可选地，采用triplet loss方法来对初始第二卷积神经网络模型进行微调，包括：设置anchor为佩戴口罩的人脸图像，设置positive为未佩戴口罩的人脸图像，设置negative为未佩戴口罩的人脸图像或佩戴口罩的人脸图像；其中anchor与positive的人脸图像来自同一个人，而negative的人脸图像与anchor和positive的人脸图像来自不同人。
81.其中，未佩戴口罩的人脸图像集中包括多张未佩戴口罩的人脸图像；佩戴口罩和未佩戴口罩的混合人脸图像集包括多张未佩戴口罩的人脸图像和多张佩戴口罩的人脸图像。
82.在本实施例中，先采用未佩戴口罩的人脸图像集先对第二卷积神经网络进行训练，在训练完成后，得到初始第二卷积神经网络模型。在得到初始第二卷积神经网络模型后，基于佩戴口罩和未佩戴口罩的混合人脸图像集，并采用triplet loss方法来对所述初始第二卷积神经网络模型进行微调，以得到所述预先训练的第二卷积神经网络模型。采用该训练方法，一方面可以使模型快速收敛，从而提高模型训练的速度；另一方面在采用triplet loss方法来对初始第二卷积神经网络模型进行微调时设置anchor为佩戴口罩的人脸图像，设置positive为未佩戴口罩的人脸图像，设置negative为未佩戴口罩人脸图像或佩戴口罩的人脸图像，能提高第二卷积神经网络模型的准确性。
83.步骤s150，将第一图像特征和第二图像特征进行融合，以得到融合图像特征。
84.在得到第一图像特征和第二图像特征后，将其进行融合，从而得到融合图像特征。
85.另外，在对第一图像特征和第二图像特征的维数可以相同，也可以不相同。例如第一图像特征和第二图像特征的维数可以都是512或256维；或者第一图像特征的维数可以是512维，而第二图像特征的维数可以256维。
86.步骤s160，将融合图像特征与人脸库中的人脸特征进行比对，根据比对结果确定待识别用户的人脸识别是否通过。
87.在一个实施例中，将融合图像特征与人脸库中的人脸特征进行比对，根据比对结果确定待识别用户的人脸识别是否通过，包括：计算融合图像特征与人脸特征的余弦距离值；当余弦距离值大于预设阈值时，确定待识别用户的人脸识别通过。
88.其中，预设阈值为预先设置的一个值，该值通常是一个范围值。
89.本技术实施例提供的人脸识别方法，首先获取待识别用户的人脸图像，其中人脸图像可以是佩戴口罩的人脸图像也可以是未佩戴口罩的人脸图像；然后从人脸图像中提取上半脸图像，将上半脸图像输入预先训练的第一卷积神经网络模型，以得到第一图像特征；
同时将人脸图像输入预先训练的第二卷积神经网络模型，以得到第二图像特征；将第一图像特征和第二图像特征进行融合，以得到融合图像特征；将融合图像特征与人脸库中的人脸特征进行比对，根据比对结果确定待识别用户的人脸识别是否通过。
90.该人脸识别方法分别采用第一卷积神经网络模型和第二卷积神经网络模型来提取上半脸特征和全脸特征，然后将上半脸特征和全脸特征进行融合，再将融合后的特征与人脸库中的人脸特征进行比对从而确定人脸识别是否通过。采用特征融合方式形成的融合特征提高了对人脸的表述能力和鉴别能力，进而提高了人脸识别的准确性。并且采用该方法即可以对佩戴口罩的用户进行识别，也可以对未佩戴口罩的用户进行识别，使用非常方便。
91.应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
92.上述本技术公开的实施例中详细描述了一种人脸识别方法，对于本技术公开的上述方法可采用多种形式的设备实现，因此本技术还公开了对应上述方法的人脸识别装置，下面给出具体的实施例进行详细说明。
93.请参阅图5，为本技术实施例公开的一种人脸识别装置，主要包括：
94.人脸图像获取模块510，用于获取待识别用户的人脸图像；
95.上半脸图像提取模块520，用于从人脸图像中提取上半脸图像；
96.第一特征获得模块530，用于将上半脸图像输入预先训练的第一卷积神经网络模型，以得到第一图像特征；
97.第二特征获得模块540，用于将人脸图像输入预先训练的第二卷积神经网络模型，以得到第二图像特征；
98.融合特征获得模块550，用于将第一图像特征和第二图像特征进行融合，以得到融合图像特征；
99.比对模块560，用于将融合图像特征与人脸库中的人脸特征进行比对，根据比对结果确定待识别用户的人脸识别是否通过。
100.在一个实施例中，第一卷积神经网络模型和第二卷积神经网络模型包括resnet网络模型、vgg网络模型、densenet网络模型、squeezenet网络模型或mobilefacenet网络模型。
101.在一个实施例中，第一卷积神经网络模型为改进的mobilefacenet网络模型，改进的mobilefacenet网络模型包括第一inception层、第一注意力模块和依次连接的第一浅层网络、第一中层网络、第一深层网络和第一全连接层；且改进的mobilefacenet网络模型的激活函数为frelu激活函数；其中，第一inception层设置在第一浅层网络与第一中层网络之间；第一注意力模块设置在第一中层网络与第一深层网络之间，及第一深层网络与第一全连接层网络之间。
102.在一个实施例中，第二卷积神经网络模型为改进的resnet网络模型，改进的
resnet网络模型包括第二inception层、第二注意力模块和依次连接的第二浅层网络、第二中层网络、第二深层网络和第二全连接层；且改进的resnet网络模型的激活函数为frelu激活函数；其中，第二inception层设置在第二浅层网络与第二中层网络之间的inception层；第二注意力模块设置在第二中层网络与第二深层网络之间，及第二深层网络与第二全连接层网络之间。
103.在一个实施例中，装置包括：
104.第一训练模块，用于基于未佩戴口罩的人脸图像集对第二卷积神经网络模型进行训练，得到初始第二卷积神经网络模型。
105.第二训练模块，用于基于佩戴口罩和未佩戴口罩的混合人脸图像集，并采用triplet loss方法来对初始第二卷积神经网络模型进行微调，以得到预先训练的第二卷积神经网络模型。
106.在一个实施例中，第二模型训练模块，用于设置anchor为佩戴口罩的人脸图像，设置positive为未佩戴口罩的人脸图像，设置negative为未佩戴口罩的人脸图像或佩戴口罩的人脸图像；其中anchor与positive的人脸图像来自同一个人，而negative的人脸图像与anchor和positive的人脸图像来自不同人。
107.在一个实施例中，融合特征获得模块，用于计算融合图像特征与人脸特征的余弦距离值；当余弦距离值大于预设阈值时，确定待识别用户的人脸识别通过。
108.关于人脸识别装置的具体限定可以参见上文中对于方法的限定，在此不再赘述。上述装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于终端设备中的处理器中，也可以以软件形式存储于终端设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
109.请参考图6，图6其示出了本技术实施例提供的一种终端设备的结构框图。该终端设备60可以是计算机设备。本技术中的终端设备60可以包括一个或多个如下部件：处理器62、存储器64以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器64中并被配置为由一个或多个处理器62执行，一个或多个应用程序配置用于执行上述应用于终端设备的方法实施例中所描述的方法，也可以配置用于执行上述应用于人脸识别方法实施例中所描述的方法。
110.处理器62可以包括一个或者多个处理核。处理器62利用各种接口和线路连接整个终端设备60内的各个部分，通过运行或执行存储在存储器64内的指令、程序、代码集或指令集，以及调用存储在存储器64内的数据，执行终端设备60的各种功能和处理数据。可选地，处理器62可以采用数字信号处理(digital signal processing，dsp)、现场可编程门阵列(field
‑
programmable gate array，fpga)、可编程逻辑阵列(programmable logicarray，pla)中的至少一种硬件形式来实现。处理器62可集成中央处理器(central processing unit，cpu)、埋点数据的上报验证器(graphics processing unit，gpu)和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器62中，单独通过一块通信芯片进行实现。
111.存储器64可以包括随机存储器(random access memory，ram)，也可以包括只读存储器(read
‑
only memory)。存储器64可用于存储指令、程序、代码、代码集或指令集。存储器
64可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端设备60在使用中所创建的数据等。
112.本领域技术人员可以理解，图6中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的终端设备的限定，具体的终端设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
113.综上，本技术实施例提供的终端设备用于实现前述方法实施例中相应的人脸识别方法，并具有相应的方法实施例的有益效果，在此不再赘述。
114.请参阅图7，其示出了本技术实施例提供的一种计算机可读取存储介质的结构框图。该计算机可读取存储介质70中存储有程序代码，程序代码可被处理器调用执行上述人脸识别方法实施例中所描述的方法，也可以被处理器调用执行上述人脸识别方法实施例中所描述的方法。
115.计算机可读取存储介质70可以是诸如闪存、eeprom(电可擦除可编程只读存储器)、eprom、硬盘或者rom之类的电子存储器。可选地，计算机可读取存储介质70包括非瞬时性计算机可读介质(non
‑
transitory computer
‑
readable storage medium)。计算机可读取存储介质70具有执行上述方法中的任何方法步骤的程序代码72的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码72可以例如以适当形式进行压缩。
116.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
117.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。