人脸识别模型的训练方法、装置、设备和存储介质

1.本发明涉及图像处理技术领域，尤其涉及一种人脸识别模型的训练方法、装置、设备和存储介质。


背景技术：

2.人脸识别技术是指利用分析比较的计算机技术识别人脸，其已被广泛应用于安检和考勤等应用场景中。在某些特殊的场景中，用户可能需要佩戴口罩、眼镜或者围巾等，然而，佩戴口罩、眼镜或者围巾等物品会对人脸面部造成严重遮挡，容易导致人脸识别结果不准确。
3.为了解决这一问题，现有技术中通常是利用遮挡人脸图像和非遮挡人脸图像对人脸识别模型进行训练与特征提取，以此实现对遮挡人脸的识别。
4.然而，上述方式中对遮挡人脸的识别准确度依然较低，无法实现更高精准率的人脸识别。


技术实现要素：

5.本发明提供一种人脸识别模型的训练方法、装置、设备和存储介质，用以解决现有技术中对于遮挡人脸进行识别时，准确度较低的缺陷，实现了更为准确的识别遮挡人脸的目的。
6.本发明提供一种人脸识别模型的训练方法，包括：
7.获取多批样本图像，每批样本图像中包括多张遮挡人脸图像；
8.针对每张遮挡人脸图像，将所述遮挡人脸图像进行划分，得到多个图像块，所述多个图像块中包括遮挡区域对应的图像块和非遮挡区域对应的图像块；
9.对每个图像块进行特征提取，得到每个图像块的第一图像特征；
10.基于所述每个图像块的第一图像特征，通过自注意力机制进行关系抽取，得到所述遮挡人脸图像的目标图像特征，其中，所述遮挡区域对应的图像块和所述非遮挡区域对应的图像块之间的注意力值为0；
11.基于所述目标图像特征，对初始人脸识别模型进行训练，得到人脸识别模型，所述人脸识别模型用于对目标遮挡人脸图像进行识别。
12.根据本发明提供的一种人脸识别模型的训练方法，所述基于所述目标图像特征，对初始人脸识别模型进行训练，得到人脸识别模型，包括：
13.将每批样本图像各自对应的所述目标图像特征输入所述初始人脸识别模型中的共享分类网络中，以确定第一损失信息；
14.基于每批样本图像各自对应的所述目标图像特征进行类内样本图像的关系学习，得到类聚合特征，其中，同一类内样本图像中的遮挡人脸图像对应同一个用户；
15.基于所述类聚合特征，确定第二损失信息；
16.基于所述第一损失信息和所述第二损失信息，对所述初始人脸识别模型进行训
练，得到所述人脸识别模型。
17.根据本发明提供的一种人脸识别模型的训练方法，所述获取多批样本图像，包括：
18.采用随机采样和类内采样的方式，从原始样本图像集中获取每批样本图像。
19.根据本发明提供的一种人脸识别模型的训练方法，所述基于每批样本图像各自对应的所述目标图像特征进行类内样本图像的关系学习，得到类聚合特征，包括：
20.基于每批样本图像各自对应的所述目标图像特征，通过该批样本图像对应的批自注意力机制确定所述类聚合特征，其中，非类内样本图像之间的注意力值为0。
21.根据本发明提供的一种人脸识别模型的训练方法，所述基于所述每个图像块的第一图像特征，通过自注意力机制进行关系抽取，得到所述遮挡人脸图像的目标图像特征，包括：
22.基于所述每个图像块的第一图像特征，通过自注意力机制进行关系抽取，得到每个图像块的更新后的图像特征；
23.将所述每个图像块的更新后的图像特征进行组合，得到所述目标图像特征。
24.本发明还提供一种人脸识别方法，包括：
25.获取待识别的遮挡人脸图像；
26.将所述遮挡人脸图像进行预处理，得到目标遮挡人脸图像；
27.将所述目标遮挡人脸图像输入至人脸识别模型中，得到所述遮挡人脸图像的识别结果，所述识别结果包括识别成功或识别失败，所述人脸识别模型为上述任一种所述的人脸识别模型的训练方法训练得到的。
28.本发明还提供一种人脸识别模型的训练装置，包括：
29.获取模块，用于获取多批样本图像，每批样本图像中包括多张遮挡人脸图像；
30.划分模块，用于针对每张遮挡人脸图像，将所述遮挡人脸图像进行划分，得到多个图像块，所述多个图像块中包括遮挡区域对应的图像块和非遮挡区域对应的图像块；
31.提取模块，用于对每个图像块进行特征提取，得到每个图像块的第一图像特征；
32.关系抽取模块，用于基于所述每个图像块的第一图像特征，通过自注意力机制进行关系抽取，得到所述遮挡人脸图像的目标图像特征，其中，所述遮挡区域对应的图像块和所述非遮挡区域对应的图像块之间的注意力值为0；
33.训练模块，用于基于所述目标图像特征，对初始人脸识别模型进行训练，得到人脸识别模型，所述人脸识别模型用于对目标遮挡人脸图像进行识别。
34.本发明还提供一种人脸识别装置，包括：
35.获取模块，用于获取待识别的遮挡人脸图像；
36.预处理模块，用于将所述遮挡人脸图像进行预处理，得到目标遮挡人脸图像；
37.识别模块，用于将所述目标遮挡人脸图像输入至人脸识别模型中，得到所述遮挡人脸图像的识别结果，所述识别结果包括识别成功或识别失败，所述人脸识别模型为基于如上任一方式所述的人脸识别模型的训练方法训练得到的。
38.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述人脸识别模型的训练方法，以及实现如上述人脸识别方法。
39.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算
机程序被处理器执行时实现如上述任一种所述人脸识别模型的训练方法，以及实现如上述人脸识别方法。
40.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述人脸识别模型的训练方法，以及实现如上述人脸识别方法。
41.本发明提供的人脸识别模型的训练方法、装置、设备和存储介质，首先，获取多批样本图像，每批样本图像中包括多张遮挡人脸样本图像；其次，通过对每张遮挡人脸图像进行划分，得到多个图像块，并对每个图像块进行特征提取，得到每个图像块的第一图像特征；然后，通过自注意力机制对第一图像特征进行关系抽取，得到所述遮挡人脸图像的目标图像特征，其中，将所述遮挡区域对应的图像块和所述非遮挡区域对应的图像块之间的注意力值设置为0，这样可以避免遮挡区域对非遮挡区域特征提取造成的影响，使得人脸识别模型更加聚焦于人脸非遮挡区域，加强了模型对人脸非遮挡区域的学习，使得获取的遮挡人脸图像对应的目标图像特征更为准确，进而基于该目标图像特征，对初始人脸识别模型进行训练所获取的人脸识别模型也更为精确，由此提高了人脸识别的准确度。
附图说明
42.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
43.图1是本发明实施例提供的人脸识别模型的训练方法的流程示意图；
44.图2是本发明实施例提供的图像预处理的流程示意图；
45.图3是本发明实施例提供的人脸识别模型的训练过程示意图；
46.图4是本发明实施例提供的人脸识别方法的流程示意图；
47.图5是本发明实施例提供的人脸识别模型的训练装置的结构示意图；
48.图6是本发明实施例提供的人脸识别装置的结构示意图；
49.图7是本发明提供的电子设备的结构示意图。
具体实施方式
50.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
51.在某些特殊的场景中，用户可能会佩戴口罩、眼镜或者围巾等遮挡物，如在冬天的时候，很多用户会佩戴口罩出门。在这种场景下，在进行人脸识别时，人脸识别结果就会受到严重影响，例如：在刷脸乘坐地铁时，佩戴口罩的人脸将难以识别，这给人脸识别技术的应用带来了巨大挑战。
52.针对上述问题，本发明实施例提出了一种人脸识别模型的训练方法，该方法中，在对人脸识别模型进行训练时，可以将遮挡人脸图像进行划分，得到多个图像块后，将提取每个图像块的第一图像特征，在基于每个图像块的第一图像特征，通过自主力机制确定遮挡
人脸图像的目标图像特征的过程中，可以将自注意力机制中人脸遮挡区域与人脸非遮挡区域之间的注意力值设置为0，这样可以避免遮挡区域对非遮挡区域特征提取造成的影响，使得人脸识别模型更加聚焦于人脸非遮挡区域，加强了模型对人脸非遮挡区域的学习，使得人脸识别模型具有更强的鲁棒性，从而提升了人脸识别的准确性。
53.下面结合图1-图3对本发明实施例提供的人脸识别模型的训练方法进行描述，该方法可应用于人脸识别场景中，尤其应用于对遮挡人脸进行识别的场景中。执行该方法的主体可以是任何与摄像头通信连接的终端设备，例如手机、电脑、计算机或者其他任何人脸识别装置等。
54.图1为本发明实施例提供的人脸识别模型的训练方法的流程示意图，如图1所示，该方法包括：
55.步骤101：获取多批样本图像，每批样本图像中包括多张遮挡人脸图像。
56.其中，遮挡人脸图像包括遮挡区域和非遮挡区域，此处遮挡物可以是口罩、围巾等，对此不做具体要求。需要说明的是，每批样本图像中包括有同一人脸的多张遮挡图像，以及不同人脸的多张遮挡图像。另外，为了提高人脸识别模型的准确性，在每批样本图像中还包括有未遮挡的人脸图像。
57.其中，以遮挡物为口罩为例，可以通过虚拟口罩生成技术，为原始人脸图像虚拟生成其戴口罩的遮挡人脸图像，对于其他的遮挡物，遮挡人脸图像的生成方式与上述类似，此处不再赘述。
58.为了更加方便后续的人脸识别模型的训练以及实际场景的应用，在获取到样本图像后，通常需要对样本图像进行预处理。具体地，图2为本发明实施例提供的图像预处理的流程示意图，如图2所示，该预处理过程包括：
59.步骤201：对输入的样本图像进行人脸检测。
60.其中，可以通过网络模型检测的方式，对输入的样本图像进行人脸检测，以筛除不包括人脸的样本图像。
61.步骤202：对包括人脸的样本图像进行人脸关键点检测。
62.其中，人脸关键点至少包括左眼、右眼、鼻尖、左嘴角和右嘴角；对人脸关键点的检测方式，在此不做具体限制。
63.步骤203：基于人脸关键点，对包括人脸的样本图像进行图像对齐、以及裁剪操作，以得到固定大小且对齐人脸的样本图像。
64.具体地，可以根据检测到的人脸关键点，采用旋转、缩放或平移操作中的至少一种方式对齐人脸，并将该对齐后的人脸图像进行裁剪，以得到固定大小且对齐人脸的人脸图像，例如可以得到224*224大小的图像。应理解，这里对裁剪和对齐操作的先后顺序不做具体限定。
65.在通过上述方式获取到多批样本图像后，将执行如下步骤102。
66.步骤102：针对每张遮挡人脸图像，将遮挡人脸图像进行划分，得到多个图像块，多个图像块中包括遮挡区域对应的图像块和非遮挡区域对应的图像块。
67.其中，多个图像块的大小相同，在将遮挡人脸图像进行划分时，可以是划分为4*4的图像块，也可以是16*16的图像块，对于图像块的大小不做具体限定。
68.具体地，图3为本发明实施例提供的人脸识别模型的训练过程示意图，如图3所示，
在通过采样获取到多张遮挡人脸图像后，可依据图像块大小对遮挡人脸图像进行划分，以得到多个图像块。
69.由于遮挡人脸图像中仅有部分区域被遮挡物遮挡，因此，在对遮挡人脸图像进行划分得到的多个图像块中，包括遮挡区域对应的图像块和非遮挡区域对应的遮挡块。应理解，由于样本图像为被裁剪后得到的固定大小的图像，而且人脸通常处于该图像的固定区域，在用户佩戴口罩或者围巾等遮挡物时，该遮挡物通常也处于图像的固定区域，因此，遮挡区域对应的图像块是处于固定区域的图像块。如处于图像下方区域的图像块，可认为是遮挡区域对应的图像块。
70.进一步地，为了方便人脸识别模型的训练以及后续的处理，在对遮挡人脸图像进行划分后，可以将遮挡区域对应的图像块和非遮挡区域对应的图像块进行标记，如标记为1的图像块表示遮挡区域对应的图像块，标记为0的图像块表示非遮挡区域对应的图像块。
71.步骤103：对每个图像块进行特征提取，得到每个图像块的第一图像特征。
72.其中，第一图像特征包括遮挡区域的图像特征和非遮挡区域的图像特征。
73.继续参照图3，在获取到多个图像块后，可利用共享的卷积神经网络，对每个图像块的第一图像特征进行提取。
74.步骤104：基于每个图像块的第一图像特征，通过自注意力机制进行关系抽取，得到遮挡人脸图像的目标图像特征，其中，遮挡区域对应的图像块和非遮挡区域对应的图像块之间的注意力值为0。
75.其中，自注意力机制包括self-attention操作。
76.具体地，继续参照图3，在获取到每个图像块的第一图像特征后，可以通过自注意力机制，对每个第一图像特征进行“掩码操作”，以对各第一图像特征进行关系抽取，从而得到每个图像块对应的新的图像特征，将每个图像块对应的新的图像特征进行合并，可以得到遮挡人脸图像的目标图像特征。其中，在通过自注意力机制进行关系抽取的过程中，将遮挡区域对应的图像块和非遮挡区域对应的图像块之间的注意力值设置为0，这样，可以减少遮挡区域对非遮挡区域的影响，使得提取的目标图像特征聚焦在非遮挡区域，提高了人脸识别模型对遮挡物识别的鲁棒性。
77.进一步地，对如何通过自注意力机制，对该第一图像特征进行“掩码操作”的过程进行如下详细说明：
78.示例性的，假设该人脸图像的遮挡物为口罩，基于该遮挡物在人脸区域中的分布规律，将遮挡人脸图像中下方区域标记为口罩遮挡区域，其他区域标记为非口罩遮挡区域，例如：对于16*16的遮挡人脸图像，以4*4为图像块大小进行划分，得到均匀分布的16个相同大小的图像块，其位于中下部分的4个图像块标记为口罩遮挡区域，将其他区域的图像块标记为非口罩遮挡区域。依据对口罩遮挡人脸图像的不同区域的不同标记，可以将自注意力机制中的自注意力矩阵分为三个不同矩阵，即口罩遮挡区域之间的注意力矩阵m、非口罩区域之间的注意力矩阵n以及口罩遮挡区域与非口罩区域之间交叉区域的注意力矩阵c。
79.具体地，所述口罩遮挡区域之间的注意力矩阵为口罩遮挡区域对应的图像块与口罩遮挡区域对应的图像块计算的注意力集合，用系数标记矩阵表示为非口罩区域之间的注意力矩阵为非口罩区域对应的图像块与非口罩区域对应的图像块计算的注意力集
合，用系数标记矩阵表示为口罩遮挡区域与非口罩区域之间的注意力矩阵为口罩遮挡区域对应的图像块与非口罩区域对应的图像块计算的注意力集合，用系数标记矩阵为其中，“掩码操作”也即将遮挡区域对应的图像块和非遮挡区域对应的图像块之间的注意力值设置为0，遮挡区域对应的图像块和遮挡区域对应的图像块之间的注意力值，以及非遮挡区域对应的图像块和非遮挡区域对应的图像块之间的注意力值保留原始计算值，所述“掩码操作”等价于如下公式(1)：
[0080][0081]
其中，am、an和ac分别表示口罩遮挡区域之间、非口罩区域之间以及口罩遮挡区域与非口罩区域之间的相似度矩阵，同时上述三者的系数标记矩阵还满足此处r
hw
×
hw
表示所示图像块的大小。
[0082]
进一步地，对如何通过自注意力机制，对第一图像特征进行关系抽取，得到新的图像特征的过程进行如下详细说明：
[0083]
首先，对所有图像块都进行第一图像特征的提取，即步骤103，得到每一个图像块的第一图像特征，此处标记为x∈rh×w×c；
[0084]
然后，在获取到每一个图像块的第一图像特征后，再通过自注意力机制中的查询(q，query)、外键(k，key)、属性(v，value)三个矩阵得到相应的三个嵌入表达，这里分别标记为q、k、v，其工作原理可以理解为自注意力机制通过注意力汇聚，将查询和外键结合在一起，对不同的外键施加不同的权重，以实现对属性的不同选择倾向，此处可理解为，通过当前外键与其他外键得到的权重对应其他外键的属性。
[0085]
最后，通过自注意力机制，对第一图像特征进行关系抽取，其中，遮挡区域对应的图像块和非遮挡区域对应的图像块之间的注意力值为0。
[0086]
其中，该关系抽取如下公式(2)所示：
[0087][0088]
其中，k
t
表示k矩阵的转置，dk表示q、k矩阵的列数，即向量维度，指代窗口之间的注意力矩阵，此处窗口，可理解为在对所有的图像块(同一图像)进行划分得到多个相同大小的窗口，如4个窗口后，对每一个窗口内的多个图像块之间做注意力机制。
[0089]
由公式(2)可以得出，每一个图像块对应的新的图像特征，在此基础上，将所有图像块对应的新的图像特征进行组合，即可得到该口罩遮挡人脸图像对应的目标图像特征。
[0090]
步骤105：基于目标图像特征，对初始人脸识别模型进行训练，得到人脸识别模型，人脸识别模型用于对目标遮挡人脸图像进行识别。
[0091]
具体地，在确定出目标图像特征后，将该目标图像特征输入初始人脸识别模型中，确定出对应的损失信息后，将基于该损失信息调整初始人脸识别模型的参数，并迭代执行上述步骤，直至损失信息最小或者得到的模型收敛，将最后得到的模型确定为人脸识别模型。
[0092]
本发明实施例提供的人脸识别模型的训练方法，首先，获取多批样本图像，每批样
本图像中包括多张遮挡人脸样本图像；其次，通过对每张遮挡人脸图像进行划分，得到多个图像块，并对每个图像块进行特征提取，得到每个图像块的第一图像特征；然后，通过自注意力机制对第一图像特征进行关系抽取，得到所述遮挡人脸图像的目标图像特征，其中，将所述遮挡区域对应的图像块和所述非遮挡区域对应的图像块之间的注意力值设置为0，这样可以避免遮挡区域对非遮挡区域特征提取造成的影响，使得人脸识别模型更加聚焦于人脸非遮挡区域，加强了模型对人脸非遮挡区域的学习，使得获取的遮挡人脸图像对应的目标图像特征更为准确，进而基于该目标图像特征，对初始人脸识别模型进行训练所获取的人脸识别模型也更为精确，由此提高了人脸识别的准确度。
[0093]
在一种可能的实现方式中，在基于目标图像特征，对初始人脸识别模型进行训练，得到人脸识别模型时，可以通过如下方式进行训练：将每批样本图像各自对应的目标图像特征输入初始人脸识别模型中的共享分类网络中，以确定第一损失信息；基于每批样本图像各自对应的目标图像特征进行类内样本图像的关系学习，得到类聚合特征，其中，同一类内样本图像中的遮挡人脸样本图像对应同一个用户；基于类聚合特征，确定第二损失信息；基于第一损失信息和第二损失信息，对初始人脸识别模型进行训练，得到人脸识别模型。
[0094]
其中，共享分类网络为全连接神经网络分类器，第一损失信息和第二损失信息至少包括损失值的大小。
[0095]
继续参照图3，将通过步骤104获得的目标图像特征输入至共享分类网络，计算出第一损失值。
[0096]
进一步地，将通过该共享分类网络中的类内样本图像的关系学习，得到同一类内样本图像对应的类聚合特征。具体的，类似于前面的“掩码操作”的自注意力机制，此处也可以通过设置“类掩码操作”的自注意力机制对样本图像对应的目标图像特征进行关系抽取，以实现类内样本的关系学习，不同之处在于，这里的注意力矩阵是依据类内样本与非类内样本的关系进行划分，具体可以理解为类内样本与类内样本之间的注意力矩阵为同类样本之间计算的注意力集合；非类内样本与非类内样本之间的注意力矩阵为随机采样计算的注意力集合。需要说明的是，为了进一步提高类内样本的学习效率，以得到更高聚合性的类聚合特征，此处非类内样本与非类内样本之间的注意力矩阵可以置为零矩阵，类内样本与类内样本之间的注意力矩阵则保留原始计算值。
[0097]
进一步地，将该“类掩码操作”的自注意力机制应用于每一批样本图像所对应的目标图像特征，以获取同一类内样本图像对应的类聚合特征，进而再将该类聚合特征也输入至共享分类网络，以计算第二损失值。将第一损失信息和第二损失信息作为最终的损失信息，从而基于该损失信息对初始人脸识别模型进行训练，从而得到最终的人脸识别模型。
[0098]
在本实施例中，通过将每批样本图像各自对应的目标图像特征输入至共享分类网络，以计算出第一损失信息，以及通过类内样本关系学习得到的类聚合特征也输入至共享分类网络，以计算出第二损失信息，并在此基础上，通过计算得到的第一损失信息和第二损失信息，对初始人脸识别模型进行训练，以得到更加准确的人脸识别模型，从而提高了人脸识别的准确性。
[0099]
在上述实施例的基础上，为了获取更加准确的人脸识别模型，可以通过如下方式获取多批样本图像，以保证在人脸识别模型的训练过程中有充足的类内样本数量，从而用作类内关系学习：
[0100]
采用随机采样和类内采样的方式，从原始样本图像集中获取每批样本图像。
[0101]
具体地，多批样本图像的获取需要借助两种采样方式：一种为传统的采样方法，即随机采样，用于提高模型训练的准确性。另一种为类内采样方法，用于保证类内样本的数量，以提高模型训练的有效性。此处随机采样和类内采样需要通过两个独立的数据读取器进行采样，为了方便多批样本图像的统一获取，可将两个数据读取器读取的样本数据合并为一个批处理单元，需要说明的是，此处批处理单元为模型训练过程中的一次前向传播的数据集合。换句话说，就是将随机采样的输出作为类内采样的输入，并计算类内采样的输出，一直到运算到输出层为止。
[0102]
进一步地，通过将随机采样和类内采样相结合进行采样的方式，以获取多批样本图像，其一方面可以提高人脸识别模型的准确性，另一方面也可以保证充足的类内样本数量，提高了人脸识别模型训练的有效性，使得人脸识别结果更为准确。
[0103]
示例性的，在上述任一实施例的基础上，为了进一步提高人脸识别模型训练的准确性，在基于每批样本图像各自对应的目标图像特征进行类内样本图像的关系学习，得到类聚合特征时，可以通过如下方式进行获取：
[0104]
基于每批样本图像各自对应的目标图像特征，通过该批样本图像对应的批自注意力机制确定类聚合特征，其中，非类内样本图像之间的注意力值为0。
[0105]
其中，批自注意力机制，可以理解为是一种特殊的自注意力机制，该自注意力机制可用于提取批处理单元中的图像的类聚合特征，此处需要说明的是，该自注意力机制并不能直接处理所述批处理单元中的图像，而是需要先通过前述的“掩码操作”的自注意力机制提取该批处理单元中每批样本图像各自对应的目标图像特征，再基于该目标图像特征，提取出所述类聚合特征。
[0106]
进一步地，针对如何基于每批样本图像各自对应的目标图像特征，通过该批样本图像对应的批自注意力机制，以确定类聚合特征的详细过程进行如下说明：
[0107]
具体地，如图3所示，在获取到每批样本图像各自对应的目标图像特征后，可通过“类掩码操作”的批自注意力机制对该目标图像特征进行关系抽取，以提取同一类内样本图像对应的类聚合特征，所述批自注意力机制可以通过如下公式(3)和公式(4)进行：
[0108][0109][0110]
其中，为同一类内样本图像对应的类聚合特征，y∈rb×c，表示每批样本图像各自对应的目标图像特征，ln表示层级标准化，msa表示多头自注意力机制，mlp表示全连接神经网络。
[0111]
进一步地，为了提高人脸识别模型的训练效率，可以利用并行处理机制的transformer编码器对类内样本关系进行模型建立。其中，所述transformer编码器包括多头自注意力机制(multi-headed self-attention，msa)、层级标准化(layer normalization，ln)、全连接神经网络(multi-layer perception，mlp)。
[0112]
另外，在基于所述批自注意力机制，对目标图像特征进行关系抽取时，还需要借助已知的样本类标签对批注意力矩阵进行“类掩码操作”，也就是将每批样本图像中非类内样本图像之间的注意力值为0。其中，批注意力矩阵为所述批自注意力机制中产生的注意力矩
阵，其表示样本之间的相关性。
[0113]
在本实施例中，通过将批自注意力机制中非类内样本图像之间的注意力值置为0，使得该批自注意力机制能够有效从目标图像特征中提取出类内样本图像对应的类聚合特征，从而可以进行类内样本间的特征聚合性，提升了神经网络对口罩遮挡的鲁棒性，进而提高了人脸识别模型的准确度和性能，使得人脸识别结果更为准确。
[0114]
在一种可能的实现方式中，在基于每个图像块的第一图像特征，通过自注意力机制进行关系抽取，得到遮挡人脸图像的目标图像特征时，可以通过如下方式进行：
[0115]
基于每个图像块的第一图像特征，通过自注意力机制进行关系抽取，得到每个图像块的更新后的图像特征，并将每个图像块的更新后的图像特征进行组合，得到目标图像特征。
[0116]
具体地，在获取到每个图像块的第一图像特征后，可通过前述各实施例中所述的具有“掩码操作”的自注意力机制对其进行关系抽取，得到每个图像块的新的图像特征，该新的图像特征可在原有第一图像特征的基础上直接生成，也可以以覆盖原有第一图像特征的方式替换生成，按照该方式，可以得到每个图像块的新的图像特征，此处对第一图像特征的更新方式不做具体限定。
[0117]
进一步地，在每个图像块的第一图像特征更新完毕后，可以将所有更新后的图像特征进行组合，以得到目标图像特征。当然，为了加快人脸识别模型的训练速度，此处也可以采取边更新边组合的方式，以快速获取目标图像特征，也即按照第一图像特征的更新顺序完成更新后的图像特征的组合，对此不做具体限定。
[0118]
在本实施例中，通过自注意力机制对每个图像块的第一图像特征进行关系抽取，以获取得到每个图像块的更新后的图像特征，并将该更新后的图像特征进行组合，以形成目标图像特征，为初始人脸识别模型的后续训练提供了训练基础，也为初始人脸识别模型的调整提供了调整基础，从而间接提高了人脸识别模型的准确度。
[0119]
图4为本发明实施例提供的人脸识别方法的流程示意图，如图4所示，该方法包括：
[0120]
步骤401：获取待识别的遮挡人脸图像。
[0121]
其中，遮挡人脸图像中可以包括口罩、围巾等类似遮挡物。
[0122]
具体地，可以通过网络下载或者相机采集的方式进行获取遮挡人脸图像，该图像的获取方式，对此不做具体限定。
[0123]
步骤402：将遮挡人脸图像进行预处理，得到目标遮挡人脸图像。
[0124]
具体地，在获取到遮挡人脸图像后，可以通过图2中所示的图像预处理方法对该遮挡人脸图像进行预处理，以获取到固定大小且对齐人脸的遮挡人脸图像，即目标遮挡人脸图像。
[0125]
步骤403：将目标遮挡人脸图像输入至人脸识别模型中，得到遮挡人脸图像的识别结果，识别结果包括识别成功或识别失败，人脸识别模型为上述任一实施例的人脸识别模型的训练方法训练得到的。
[0126]
具体地，可将步骤402中获取到的目标遮挡人脸图像和待比对的多张未遮挡人脸图像一起输入至人脸识别模型中，以利用该人脸识别模型中transformer网络进行前向传递，继而可通过该人脸识别模型中特征层的输出，获取到目标遮挡人脸图像和待比对的多张未遮挡人脸图像的人脸图像特征。在此基础上，将待人脸识别的目标遮挡人脸图像的人
脸图像特征与待比对的多张未遮挡人脸图像的人脸图像特征进行人脸图像特征之间的余弦距离计算，进一步地，可以将该余弦距离换算为相似度分数进行比较，以选取最大的相似度与相似度阈值进行比对。若比对结果为大于阈值，则该最大相似度对应的未遮挡人脸图像即为目标人脸，也即该目标遮挡人脸图像的身份信息识别成功，反之则为识别失败。
[0127]
在本实施例中，通过对获取的遮挡人脸图像进行预处理，得到目标遮挡人脸图像，并将该目标遮挡人脸图像输入至更为准确的人脸识别模型中，以得到更为准确的遮挡人脸图像的识别结果，由此提高了人脸识别的准确率。其中，所述人脸识别模型为上述任一实施例所述的人脸识别模型的训练方法训练得到的。
[0128]
下面对本发明实施例提供的人脸识别模型的训练装置进行描述，下文描述的人脸识别模型的训练装置与上文描述的人脸识别模型的训练方法可相互对应参照。
[0129]
图5为本发明实施例提供的人脸识别模型的训练装置的结构示意图，如图5所示，该装置包括：
[0130]
获取模块510，用于获取多批样本图像，每批样本图像中包括多张遮挡人脸图像；
[0131]
划分模块520，用于针对每张遮挡人脸图像，将所述遮挡人脸图像进行划分，得到多个图像块，所述多个图像块中包括遮挡区域对应的图像块和非遮挡区域对应的图像块；
[0132]
提取模块530，用于对每个图像块进行特征提取，得到每个图像块的第一图像特征；
[0133]
关系抽取模块540，用于基于所述每个图像块的第一图像特征，通过自注意力机制进行关系抽取，得到所述遮挡人脸图像的目标图像特征，其中，所述遮挡区域对应的图像块和所述非遮挡区域对应的图像块之间的注意力值为0；
[0134]
训练模块550，用于基于所述目标图像特征，对初始人脸识别模型进行训练，得到人脸识别模型，所述人脸识别模型用于对目标遮挡人脸图像进行识别。
[0135]
本发明实施例提供的人脸识别模型的训练装置，首先，通过获取模块510获取多批样本图像，每批样本图像中包括多张遮挡人脸样本图像；其次，通过划分模块520对每张遮挡人脸图像进行划分，得到多个图像块，以及通过提取模块530对每个图像块进行特征提取，得到每个图像块的第一图像特征；然后，通过自注意力机制中关系抽取模块540对第一图像特征进行关系抽取，得到遮挡人脸图像的目标图像特征，其中，将所述遮挡区域对应的图像块和所述非遮挡区域对应的图像块之间的注意力值设置为0，这样可以避免遮挡区域对非遮挡区域特征提取造成的影响，使得人脸识别模型更加聚焦于人脸非遮挡区域，加强了模型对人脸非遮挡区域的学习，使得获取的遮挡人脸图像对应的目标图像特征更为准确，进而基于该目标图像特征，通过训练模块550对初始人脸识别模型进行训练所获取的人脸识别模型也更为精确，由此提高了人脸识别的准确度。
[0136]
可选地，训练模块550，具体用于：
[0137]
将每批样本图像各自对应的目标图像特征输入初始人脸识别模型中的共享分类网络中，以确定第一损失信息；
[0138]
基于每批样本图像各自对应的目标图像特征进行类内样本图像的关系学习，得到类聚合特征，其中，同一类内样本图像中的遮挡人脸样本图像对应同一个用户；
[0139]
基于类聚合特征，确定第二损失信息；
[0140]
基于第一损失信息和第二损失信息，对初始人脸识别模型进行训练，得到目标人
脸识别模型。
[0141]
可选地，获取模块510，具体用于：
[0142]
采用随机采样和类内采样的方式，从原始样本图像集中获取每批样本图像。
[0143]
可选地，训练模块550，还具体用于：
[0144]
基于每批样本图像各自对应的目标图像特征，通过该批样本图像对应的批自注意力机制确定类聚合特征，其中，非类内样本图像之间的注意力值为0。
[0145]
可选地，关系抽取模块540，具体用于：
[0146]
基于每个图像块的第一图像特征，通过自注意力机制进行关系抽取，得到每个图像块的更新后的图像特征；
[0147]
将每个图像块的更新后的图像特征进行组合，得到目标图像特征。
[0148]
本实施例的装置，可以用于执行人脸识别模型的训练装置侧方法实施例中任一实施例的方法，其具体实现过程与技术效果与人脸识别模型的训练装置侧方法实施例中类似，具体可以参见人脸识别模型的训练装置侧方法实施例中的详细介绍，此处不再赘述。
[0149]
进一步地，图6为本发明实施例提供的人脸识别装置的结构示意图，如图6所示，该装置包括：
[0150]
获取模块610，用于获取待识别的遮挡人脸图像；
[0151]
预处理模块620，用于将所述遮挡人脸图像进行预处理，得到目标遮挡人脸图像；
[0152]
识别模块630，用于将所述目标遮挡人脸图像输入至人脸识别模型中，得到所述遮挡人脸图像的识别结果，所述识别结果包括识别成功或识别失败，所述人脸识别模型为基于如上任一方式所述的人脸识别模型的训练方法训练得到的。
[0153]
在本实施例中，通过获取模块610对待识别的遮挡人脸图像进行获取；然后，通过预处理模块620对所获取的遮挡人脸图像进行预处理，得到目标遮挡人脸图像，并将该目标遮挡人脸图像输入至更为准确的人脸识别模型，以通过识别模块630对该目标遮挡人脸图像进行识别，得到更为准确的遮挡人脸图像的识别结果，从而提高了人脸识别的准确率。其中，所述人脸识别模型为上述任一实施例所述的人脸识别模型的训练方法训练得到的。
[0154]
本实施例的装置，可以用于执行人脸识别装置侧方法实施例中任一实施例的方法，其具体实现过程与技术效果与人脸识别装置侧方法实施例中类似，具体可以参见人脸识别装置侧方法实施例中的详细介绍，此处不再赘述。
[0155]
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(communications interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行人脸识别模型的训练方法，该方法包括：获取多批样本图像，每批样本图像中包括多张遮挡人脸图像；针对每张遮挡人脸图像，将遮挡人脸图像进行划分，得到多个图像块，多个图像块中包括遮挡区域对应的图像块和非遮挡区域对应的图像块；对每个图像块进行特征提取，得到每个图像块的第一图像特征；基于每个图像块的第一图像特征，通过自注意力机制进行关系抽取，得到遮挡人脸图像的目标图像特征，其中，遮挡区域对应的图像块和非遮挡区域对应的图像块之间的注意力值为0；基于目标图像特征，对初始人脸识别模型进行训练，得到人脸识别模型，人脸识别模型用于对目标遮挡人脸图像进行识别。
[0156]
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0157]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的人脸识别模型的训练方法，该方法包括：获取多批样本图像，每批样本图像中包括多张遮挡人脸图像；针对每张遮挡人脸图像，将遮挡人脸图像进行划分，得到多个图像块，多个图像块中包括遮挡区域对应的图像块和非遮挡区域对应的图像块；对每个图像块进行特征提取，得到每个图像块的第一图像特征；基于每个图像块的第一图像特征，通过自注意力机制进行关系抽取，得到遮挡人脸图像的目标图像特征，其中，遮挡区域对应的图像块和非遮挡区域对应的图像块之间的注意力值为0；基于目标图像特征，对初始人脸识别模型进行训练，得到人脸识别模型，人脸识别模型用于对目标遮挡人脸图像进行识别。
[0158]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的人脸识别模型的训练方法，该方法包括：获取多批样本图像，每批样本图像中包括多张遮挡人脸图像；针对每张遮挡人脸图像，将遮挡人脸图像进行划分，得到多个图像块，多个图像块中包括遮挡区域对应的图像块和非遮挡区域对应的图像块；对每个图像块进行特征提取，得到每个图像块的第一图像特征；基于每个图像块的第一图像特征，通过自注意力机制进行关系抽取，得到遮挡人脸图像的目标图像特征，其中，遮挡区域对应的图像块和非遮挡区域对应的图像块之间的注意力值为0；基于目标图像特征，对初始人脸识别模型进行训练，得到人脸识别模型，人脸识别模型用于对目标遮挡人脸图像进行识别。
[0159]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0160]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0161]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管
参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。