模型训练方法、人脸识别方法、装置、设备及介质与流程

1.本技术属于人工智能领域，具体涉及一种模型训练方法、人脸识别方法、装置、设备及介质。


背景技术：

2.随着电子技术的发展，用户将电子设备借给其他用户使用，无法控制其他用户对电子设备的操作时，会存在较大的隐私泄露风险。目前，电子设备可以对特定应用设置实时的人脸识别，即对电子设备使用者进行不间断的人脸识别，一旦识别到与预设人脸不符的情况下使用该应用，则会暂停电子设备中该应用使用。
3.现有技术中，实时人脸识别的训练方法通常是基于一个人脸数据库，训练时利用该数据库得到人脸图像的通过人脸识别模型对该人脸图像进行特征提取，得到该人脸图像所对应的人脸特征信息，并将该人脸特征信息在数据库中对应的人脸图像与输入的人脸图像进行比对，计算二者的比对参数，最后利用该参数对人脸识别模型进行微调。
4.如此，由于现有人脸识别训练方法中的用于调整人脸识别模型的对比参数过于单一和固定，无法获得更精准的对比参数，从而导致人脸识别模型更新后，对人脸识别的通过率和稳定性仍较低。


技术实现要素：

5.本技术实施例的目的是提供一种模型训练方法、人脸识别方法、装置、设备及介质，能够解决人脸识别模型更新后，对人脸识别的通过率和稳定性仍较低的问题。
6.第一方面，本技术实施例提供了一种人脸识别模型的训练方法，该人脸识别模型的训练方法包括：获取连续n帧的目标对象的人脸图像；将上述人脸图像输入人脸识别模型进行特征提取，得到第一人脸特征信息以及第二人脸特征信息；该人脸提取模型包括x层特征提取层；上述第一人脸特征信息为经所述x层特征提取层依次处理后得到的，上述第二人脸特征信息为经所述x层特征提取层中的第i层处理后得到的；i∈{2，3，
……
x-1}；基于上述第一人脸图像特征信息和上述第二人脸特征信息，计算出目标损失参数；基于该目标损失参数，对人脸识别模型进行训练，得到新的人脸识别模型。
7.第二方面，本技术实施例提供了一种人脸识别模型的训练装置，该人脸识别模型的训练装置包括：获取模块和处理模块；该获取模块，用于获取连续n帧的目标对象的人脸图像；该处理模块，用于将上述连续n帧目标对象人脸图像输入人脸识别模型进行特征提取，得到第一人脸特征信息以及第二人脸特征信息；该人脸提取模型包括x层特征提取层；上述第一人脸特征信息为经上述x层特征提取层依次处理后得到的，上述第二人脸特征信息为经上述x层特征提取层中的第i层处理后得到的；i∈{2，3，
……
x-1}；上述处理模块，还用于基于上述第一人脸图像特征信息和上述第二人脸特征信息，计算出目标损失参数；上述处理模块，还用于基于上述目标损失参数，对人脸识别模型进行训练，得到新的人脸识别模型；其中，n、x为大于1的正整数。
8.第三方面，本技术实施例提供了一种基于人脸识别模型的人脸识别方法，该基于人脸识别模型的人脸识别方法，包括：获取当前帧人脸图像；检测该当前帧人脸图像的关键点信息；基于该关键点信息对上述当前帧人脸图像进行处理，并输入至人脸识别模型，经过人脸识别模型的x层特征提取层依次处理，得到第三人脸图像特征信息；将该第三人脸图像特征信息与预设人脸图像特征信息进行匹配，输出第一识别结果；其中，上述人脸识别模型是应用第一方面人脸识别模型的训练方法所训练出的人脸识别模型。
9.第四方面，本技术实施例提供了一种基于人脸识别模型的人脸识别装置，该基于人脸识别模型的人脸识别装置包括：获取模块、检测模块以及处理模块；该获取模块，还用于获取当前帧人脸图像；该检测模块，用于检测该当前帧脸图像的关键点信息；该处理模块，还用于基于上述关键点信息对上述当前帧人脸图像进行处理，并输入至人脸识别模型，经过人脸识别模型的x层特征提取层依次处理，得到第三人脸图像特征信息；上述处理模块，还用于将上述第三人脸图像特征信息与预设人脸图像特征信息进行匹配，输出第一识别结果；其中，上述人脸识别模型是应用第一方面人脸识别模型的训练方法所训练出的人脸识别模型。
10.第五方面，本技术实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法，或第三方面所述的方法的步骤。
11.第六方面，本技术实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法，或第三方面所述的方法的步骤。
12.第七方面，本技术实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法，或第三方面所述的方法。
13.第八方面，本技术实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法，或第三方面所述的方法。
14.在本技术实施例中，获取连续n帧的目标对象的人脸图像；将上述人脸图像输入人脸识别模型进行特征提取，得到第一人脸特征信息以及第二人脸特征信息；该人脸提取模型包括x层特征提取层；上述第一人脸特征信息为经所述x层特征提取层依次处理后得到的，上述第二人脸特征信息为经所述x层特征提取层中的第i层处理后得到的；i∈{2，3，
……
x-1}；基于上述第一人脸图像特征信息和上述第二人脸特征信息，计算得到目标损失参数；基于该目标损失参数，对人脸识别模型进行训练，得到训练好的人脸识别模型。如此，通过输入多张人脸图像，可以得到第一人脸图像特征信息和第二人脸图像特征信息，两种用于表征不同层次的人脸特征信息，并基于二者的特征信息得到的人脸识别模型的目标损失参数，对人脸识别模型进行训练，得到训练好的人脸识别模型，由于人脸识别模型是通过获取不同层次的人脸特征信息，并计算这些人脸特征信息的损失，将损失应用于训练人脸识别模型，使得人脸识别模型识别不同的人脸的人脸特征信息更加精准，从而提高了人脸识别的通过率和稳定性。
附图说明
15.图1是本技术实施例提供的一种人脸识别模型的训练方法的流程示意图；
16.图2是本技术实施例提供的一种人脸识别模型的结构示意图；
17.图3是本技术实施例提供的一种基于人脸识别模型的人脸识别方法的流程示意图；
18.图4是本技术实施例提供的一种基于人脸识别模型的人脸识别方法的实例示意图；
19.图5是本技术实施例提供的一种人脸识别模型的训练装置的结构示意图；
20.图6是本技术实施例提供的一种基于人脸识别模型的人脸识别装置的结构示意图；
21.图7是本技术实施例提供的一种电子设备的硬件结构示意图之一；
22.图8是本技术实施例提供的一种电子设备的硬件结构示意图之二。
具体实施方式
23.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本技术保护的范围。
24.本技术的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
25.下面结合附图，通过具体的实施例及其应用场景对本技术实施例提供的模型训练方法、人脸识别方法、装置、设备及介质进行详细地说明。
26.现有技术中，实时人脸识别的训练方法通常是基于一个人脸数据库，训练时利用该数据库得到人脸图像的通过人脸识别模型对该人脸图像进行特征提取，得到该人脸图像所对应的人脸特征信息，并将该人脸特征信息在数据库中对应的人脸图像与输入的人脸图像进行比对，计算二者的比对参数，最后利用该参数对人脸识别模型进行微调。
27.而本技术实施例中，将会获取连续n帧的目标对象的人脸图像，即多张人脸图像；将该n帧人脸图像输入人脸识别模型进行特征提取，得到第一人脸特征信息以及第二人脸特征信息；该人脸提取模型包括x层特征提取层；上述第二人脸特征信息为经所述特征提取层中的第13层处理后得到的；通过基于第一人脸图像特征信息计算出分类交叉熵损失及第一l2损失，并基于第二人脸特征信息计算出第二l2损失；再基于这三种损失计算得到目标损失参数；根据该目标损失参数，对人脸识别模型进行训练，得到新的人脸识别模型。如此，通过输入多张人脸图像，可以得到第一人脸图像特征信息和第二人脸图像特征信息，两种用于表征不同层次的人脸特征信息，并基于二者的特征信息得到的人脸识别模型的目标损失参数，对人脸识别模型进行训练，得到训练好的人脸识别模型，由于人脸识别模型是通过获取不同层次的人脸特征信息，并计算这些人脸特征信息的损失，将损失应用于训练人脸
识别模型，使得人脸识别模型识别不同的人脸的人脸特征信息更加精准，从而提高了人脸识别的通过率和稳定性。
28.本技术实施例提供的人脸识别模型的训练方法以及基于人脸识别模型的人脸识别方法的执行主体可以为人脸识别模型的训练装置，该人脸识别模型的训练装置可以为电子设备，或电子设备中的功能模块。以下以电子设备为例，对本技术实施例提供的技术方案进行说明。
29.本技术实施例提供一种人脸识别模型的训练方法，图1示出了本技术实施例提供的一种人脸识别模型的训练方法的流程图。如图1所示，本技术实施例提供的人脸识别模型的训练方法可以包括下述的步骤201至步骤204。
30.步骤201、获取连续n帧的目标对象的人脸图像。
31.其中，n为大于1的正整数。
32.在本技术实施例中，上述连续n帧的目标对象的人脸图像可以是由电子设备获取实时的人脸图像，也可以是从训练数据集中获取的。
33.一种示例中，在用户使用电子设备时，电子设备获取用户的时序连续的人脸图像，例如，每200ms获取一次人脸图像。
34.另一中示例中，将获取到的不同用户的所有人脸图像构建为训练数据集。
35.示例性地，上述训练数据集可以包括不同用户的人脸图像，也可以只包括单个用户(即上述目标对象)的人脸图像。
36.示例性地，在对人脸识别模型训练的过程中，需要构建不同的人脸图像组，因此，可以随机将训练样本中的部分人脸图像替换为其他用户的人脸图像。应注意的是，训练样本中新增加的人脸图像与训练样本中的不是同一个用户。
37.示例性地，在对人脸识别模型训练的过程中，可以将同一个用户的同一个连续时间段的人脸图像作为一个序列。从该序列中，采样n帧连续的人脸图像作为人脸识别模型的训练样本。需要说明的是，训练样本之间可以有重叠的帧。
38.步骤202、将获取到的连续n帧的人脸图像输入人脸识别模型进行特征提取，得到第一人脸特征信息以及第二人脸特征信息。
39.在本技术实施例中，上述人脸识别模型包括x层特征提取层。其中，x为大于1的正整数。
40.在本技术实施例中，如图2所示，上述人脸识别模型可以包括x层特征提取层、不同卷积层、l2 norm层、softmax层。
41.在一种示例中，上述人脸识别模型包括特征提取模块，该特征提取模块包括上述x层特征提取层。
42.在另一种示例中，上述x个特征提取层为x个瓶颈性结构。
43.在本技术实施例中，上述第一人脸特征信息为经上述x层特征提取层依次处理后得到的。
44.在本技术实施例中，上述第二人脸特征信息为经上述x层特征提取层中的第i层处理后得到的，其中，i∈{2，3，
……
14}。
45.示例性地，上述第i层特征提取层为上述x层特征提取层中的其中一层。
46.需要说明的是，上述第i层特征提取层可以称为特征提取模块的中间层，上述第二
人脸特征信息可以称为从第i层抽取出的中层特征。
47.如此，由于同一个用户的时序连续的人脸图像，除了具有语义上的一致性之外，其人脸位置、轮廓等细节信息也具有较高的一致性。而且神经网络的高层特征中包含较多语义信息。越底层的特征中包含更多的细节信息，如与位置相关的轮廓纹理等。因此，需要从多层特征提取层中抽取中间特征信息，从而更好的获取人脸图像的细节特征，进而进行更精确地人脸识别。
48.可选地，在本技术实施例中，上述步骤202“将上述人脸图像输入人脸识别模型进行特征提取，得到第一人脸特征信息以及第二人脸特征信息”的过程中，包括步骤202a至步骤202c：
49.步骤202a、将上述人脸图像输入上述x层特征提取层依次处理，得到第一人脸特征图像。
50.步骤202b、将上述第一人脸特征图像经过卷积变换处理后，得到上述第一人脸图像特征信息。
51.示例性地，每个特征提取层由卷积层(conv)，归一化层(batch norm)，非线性激励层(relu)组成。
52.具体地，电子设备首先将上述人脸图像输入x层特征提取层，经过x层特征提取层中的conv，batch norm以及relu，提取出第一人脸特征图像(例如，大小为128x7x7的人脸特征图像)。接着，将该第一人脸特征图像依次输入不同大小的卷积层中，(例如，1x1 conv，depth-wise conv，1x1 conv)，从而通过该卷积层提取该第一人脸特征图像中的每个通道的人脸特征信息，然后将每个通道的人脸特征信息进行组合，最后，对组合后的人脸特征信息进行l2 norm变换，从而将该人脸特征信息归一化，得到第一人脸图像特征信息。
53.步骤202c、将经上述第i层特征提取层处理后的得到的第二人脸特征图像经过卷积层进行处理，得到上述第二人脸特征信息。
54.示例性地，首先，电子设备从特征提取模块的x层中的第i层提取出第二人脸特征图像(例如，大小为128x7x7的人脸特征图像)，然后，将该第二人脸特征图像输入一个卷积层(例如，7x7 depth wise conv)，通过该卷积层对第二人脸特征图像中的人脸特征信息进行池化，从而将人脸特征信息中的多余内容去除，减小计算参数，进而得到更准确的人脸特征信息(例如，该人脸特征信息可以为128x1x1大小)；然后通过另一个卷积层(例如，1x1 conv)将不同通道人脸特征信息进行组合，最后，对组合后的人脸特征信息进行l2 norm变换，从而将该人脸特征信息归一化，得到第二人脸图像特征信息。
55.步骤203、基于上述第一人脸图像特征信息和上述第二人脸特征信息，计算得到目标损失参数。
56.步骤204、基于上述目标损失参数，对人脸识别模型进行训练，得到训练好的人脸识别模型。
57.可选地，在本技术实施例中，上述步骤203“基于上述第一人脸图像特征信息和上述第二人脸特征信息，计算得到目标损失参数”的过程中，包括步骤203a至步骤203c：
58.步骤203a、基于上述第一人脸图像特征信息，得到分类交叉商损失和第一损失。
59.示例性地，上述第一损失可以是第一l2损失。
60.示例性地，上述第一人脸图像特征信息通过一个128xn的全连接层(n为训练集的
id类别数)，以及softmax层，转化为各个类别的概率值，结合图像的真实标签，得到基于margin的分类交叉熵损失lce。
61.示例性地，基于第一公式计算l2损失。
62.示例性地，上述第一公式为：
63.其中，i为n帧目标对象的人脸图像中的第i帧人脸图像。
64.进一步示例性地，上述第一l2损失是基于第二公式计算上述输入人脸识别模型的n帧目标对象的人脸图像对应的第一人脸图像特征信息两两之间l2损失之和。
65.示例性地，以上述n＝4为例，即有连续四帧的人脸图像，上述第二公式为：l2
emb
＝a
01
*l2(f0,f1) a
02
*l2(f0,f2) a
03
*l2(f0,f3) a
12
*l2(f1,f2) a
13
*l2(f1,f3) a
23
*l2(f2,f3)
66.其中，a
ij
为权重函数，同id之间为正，不同id之间为负。如下所示：
[0067][0068]
需要说明的是，当i,j帧为同一个人时，不同间隔的帧之间的l2损失的权重不同。相邻帧(|i-j|＝1)的相似性最高，故权重为1.5，间隔一帧权重为1.2，间隔两帧权重为1。设置不同权重的目的是约束模型，使得模型对间隔更近的帧给出的距离更小。当i,j帧为不同人时，则非取自连续的使用场景，其帧的间隔大小不具有意义，故权重都为-1。
[0069]
步骤203b、基于上述第二人脸特征信息，得到第二损失。
[0070]
示例性地，上述第二损失可以是第二l2损失。
[0071]
示例性地，上述第二l2损失是基于第三公式计算上述输入人脸识别模型的n帧目标对象的人脸图像对应的第二人脸图像特征信息两两之间l2损失之和。
[0072]
示例性地，以上述n＝4为例，即有连续四帧的人脸图像，上述第三公式为：
[0073]
l2
mid
＝a
01
*l2(f0
′
,f1
′
) a
02
*l2(f0
′
,f2
′
) a
03
*l2(f0
′
,f3
′
)
[0074]
a
12
*l2(f1
′
,f2
′
) a
13
*l2(f1
′
,f3
′
) a
23
*l2(f2',f3')
[0075]
如此，对中间层的第二人脸图像特征信息计算l2损失，可以在模型训练时显式地加入对连续帧的人脸姿态一致性的约束。
[0076]
步骤203c、将上述分类交叉熵损失、上述第一l2损失以及上述第二l2损失进行加权计算，得到目标损失参数。
[0077]
示例性地，上述第一l2损失为：上述第一人脸图像特征信息间的l2损失之和。
[0078]
示例性地，上述第二l2损失为：上述第二人脸图像特征信息间的l2损失之和。
[0079]
示例性地，基于第四公式对上述分类交叉熵损失、上述第一l2损失以及上述第二l2损失进行加权计算，得到最终的目标损失参数。
[0080]
示例性地，上述第四公式为：l
all
＝l
ce
w1*l2
emb
w2*l2
mid
。
[0081]
其中，w1，w2为权重系数，分别为0.5，0.2。
[0082]
示例性地，最终的目标损失参数由上述三部分损失的加权和构成。通过对目标损失参数进行反向传播，对人脸识别模型参数进行更新，得到新的人脸识别模型。
[0083]
如此，通过同时学习分类交叉熵损失，基于对比学习的n帧图像人脸图像特征信息之间的l2损失，以及n帧图像的中层人脸图像特征信息之间的l2损失,提升了人脸识别模型对同一用户id的不同人脸的聚合度，以及不同用户id的人脸的区分度，并且提升了模型对连续人脸图像的聚合能力。
[0084]
在本技术实施例提供的人脸识别模型的训练方法中，获取连续n帧的目标对象的人脸图像；将上述人脸图像输入人脸识别模型进行特征提取，得到第一人脸特征信息以及第二人脸特征信息；该人脸提取模型包括x层特征提取层；上述第一人脸特征信息为经所述x层特征提取层依次处理后得到的，上述第二人脸特征信息为经所述x层特征提取层中的第i层处理后得到的；i∈{2，3，
……
14}；基于上述第一人脸图像特征信息和上述第二人脸特征信息，计算得到目标损失参数；基于该目标损失参数，对人脸识别模型进行训练，得到训练好的人脸识别模型。如此，通过输入多张人脸图像，可以得到第一人脸图像特征信息和第二人脸图像特征信息，两种用于表征不同层次的人脸特征信息，并基于二者的特征信息得到的人脸识别模型的目标损失参数，对人脸识别模型进行训练，得到训练好的人脸识别模型，由于人脸识别模型是通过获取不同层次的人脸特征信息，并计算这些人脸特征信息的损失，将损失应用于训练人脸识别模型，使得人脸识别模型识别不同的人脸的人脸特征信息更加精准，从而提高了人脸识别的通过率和稳定性。
[0085]
本技术实施例提供一种人脸识别模型的训练方法，图3示出了本技术实施例提供的一种人脸识别模型的训练方法的流程图。如图3所示，本技术实施例提供的人脸识别模型的训练方法可以包括下述的步骤301至步骤304。
[0086]
步骤301、获取当前帧人脸图像。
[0087]
示例性地，上述当前帧人脸图像可以是由电子设备实时获取的人脸图像。
[0088]
举例说明，用户可以选择开启电子设备中的“实时人脸识别”功能。开启该功能后，电子设备的前置摄像头将按照预设时间间隔(例如，200ms)实时采集当前用户的人脸图像。
[0089]
步骤302、检测上述当前帧人脸图像的关键点信息。
[0090]
示例性地，上述关键点可以包括：左眼、右眼、鼻子、嘴巴左角点、嘴巴右角点等。
[0091]
示例性地，上述当前帧人脸图像的关键点信息可以是目标人脸图像中的关键点的位置和坐标信息。
[0092]
示例性地，对当前帧人脸图像进行人脸检测，得到目标人脸图像中的人脸位置框和关键点的坐标信息。
[0093]
步骤303、基于目标人脸图像的关键点信息对该目标人脸图像进行处理，并输入至人脸识别模型，经过人脸识别模型中的x层特征提取层依次处理，得到第三人脸图像特征信息。
[0094]
示例性地，上述人脸识别模型是应用上述步骤201至步骤204的训练方法所训练出来的人脸识别模型。
[0095]
步骤304:、将上述第三人脸图像特征信息与预设人脸图像特征信息进行匹配，输出第一识别结果。
[0096]
示例性地，上述预设人脸图像特征信息为电子设备中预设用户人脸所对应的人脸
图像特征信息。
[0097]
示例性地，上述第一识别结果用于指示当前帧人脸图像是否与预设人脸图像为同一人，即判断当前用户是否为预设用户。
[0098]
示例性地，将上述第三人脸图像特征信息与预设人脸图像特征信息进行匹配后，得到第一距离阈值，并将该第一距离阈值与预设距离阈值进行比较。
[0099]
示例性地，上述第一距离阈值用于表征：上述第三人脸图像特征信息与预设人脸图像特征信息之间的差异度。
[0100]
具体地，第一距离阈值可以表示为d(fi，f
enroll
)，其中fi为第三人脸图像特征信息，f
enroll
为预设人脸图像特征信息。
[0101]
示例性地，上述预设距离阈值为电子设备自定义设置的。进一步地，该预设距离阈值可以表示为d
th1
。
[0102]
在一种可能的实施例中，将该第一距离阈值与预设距离阈值进行比较，第一距离阈值小于预设距离阈值，则电子设备输出该第三人脸图像特征信息对应的目标人脸图像识别通过的结果，即该识别结果指示人脸验证成功。
[0103]
在另一种可能的实施例中，将该第一距离阈值与预设距离阈值进行比较，第一距离阈值大于预设距离阈值，即识别结果指示人脸验证失败，则继续进行步骤401。
[0104]
在本技术实施例提供的基于人脸识别模型的人脸识别方法中，获取当前帧人脸图像；检测该当前帧人脸图像的关键点信息；基于该关键点信息对上述当前帧人脸图像进行处理，并输入至人脸识别模型，经过人脸识别模型的x层特征提取层依次处理，得到第三人脸图像特征信息；将该第三人脸图像特征信息与预设人脸图像特征信息进行匹配，输出第一识别结果；其中，上述人脸识别模型是应用第一方面人脸识别模型的训练方法所训练出的人脸识别模型。如此，通过本技术实施例人脸识别模型的训练方法训练好的人脸识别模型进行人脸图像特征的提取，提高了人脸识别的成功率及稳定性。
[0105]
可选地，在本技术实施例中，在步骤304“将上述第三人脸图像特征信息与预设人脸图像特征信息进行匹配，输出第一识别结果”之后，本技术实施例提供的基于人脸识别模型的人脸识别方法还包括：
[0106]
步骤401、在上述第一识别结果指示人脸验证失败的情况下，若确定上述关键点信息存在缺失，则将上述第三人脸图像特征信息与上述当前帧的前y帧中的任一帧人脸图像对应的人脸图像特征信息进行匹配，输出第二识别结果。
[0107]
示例性地，上述前y帧中的任一帧人脸图像可以是电子设备实时采集的图像。
[0108]
示例性地，上述前y帧中的任一帧人脸图像可以与当前帧人脸图像为同一用户，可以不是同一用户。
[0109]
可选地，在本技术实施例中，上述步骤401的过程中，包括以下步骤401a至步骤401c：
[0110]
步骤401a、在上述第一识别结果指示人脸验证失败的情况下，检测当前帧人脸图像的关键点信息数量；并基于该关键点信息数量判断当前帧人脸图像的显示状态。
[0111]
示例性地，上述当前帧人脸图像的显示状态可以包括：非正常显示和正常显示。
[0112]
进一步示例性地，上述非正常显示状态可以包括以下至少之一：面部大面积遮挡、面部大角度转动、严重半脸等。
[0113]
在一种可能的实施例中，检测到上述关键点信息数量大于预定数量，且判断当前帧人脸图像的显示状态为正常显示，由于上述第一距离阈值大于预设距离阈值，则电子设备输出该第三人脸图像特征信息对应的目标人脸图像识别不通过的结果，即人脸验证失败。
[0114]
在一种可能的实施例中，检测到上述关键点信息数量小于预定数量，若判断该当前帧人脸图像的显示状态为非正常显示，则电子设备输出该第三人脸图像特征信息对应的当前帧人脸图像识别不通过的结果，即人脸验证失败；若判断该当前帧人脸图像的显示状态为正常显示，则表明人脸图像信息缺损较多，从而继续进行步骤401b。
[0115]
步骤401b、在当前帧人脸图像缺失过多的情况下，将上述第三人脸图像特征信息与前m帧人脸图像的第四人脸图像特征信息进行比对，得到第二距离阈值，并将该第二距离阈值与预设距离阈值进行比较。
[0116]
示例性地，上述前m帧人脸图像为上述前y帧人脸图像中的任一帧。
[0117]
示例性地，前m帧人脸图像为当前帧人脸图像的之前已经通过人脸识别的人脸图像。需要说明的是，寻找其前面已经通过的帧时(即当前帧的前m帧人脸图像)，查找范围应当尽量小，查找的范围可以为用户设置的，也可以是电子设备默认的，例如1s，即其前5帧。
[0118]
示例性地，上述第二距离阈值用于表征：上述第三人脸图像特征信息与第四人脸图像特征信息之间的差异度。
[0119]
具体地，第二距离阈值可以表示为d(fi,f
pre
)，其中fi为第三人脸图像特征信息，f
pre
为预设人脸图像特征信息
[0120]
在一种可能的实施例中，将该第二距离阈值与预设距离阈值进行比较，第二距离阈值小于预设距离阈值，则电子设备输出该第三人脸图像特征信息对应的目标人脸图像识别通过的结果，即人脸验证成功。
[0121]
在另一种可能的实施例中，将该第二距离阈值与预设距离阈值进行比较，第二距离阈值大于预设距离阈值，则继续进行步骤401c。
[0122]
步骤401c、判断上述当前帧人脸图像的前一帧人脸图像是否通过人脸识别，基于上述前一帧人脸图像的识别结果，输出当前帧人脸图像的识别结果。
[0123]
在一种可能的实施例中，目标人脸图像的前一帧人脸图像未通过人脸识别结果，则电子设备输出该第三人脸图像特征信息对应的目标人脸图像识别不通过的结果，即人脸验证失败。
[0124]
在另一种可能的实施例中，当前帧人脸图像的前一帧人脸图像通过人脸识别结果，进一步比较当前帧人脸图像与前一帧人脸图像中关键点位置的变化，若关键点变化较小，则表明人脸位置变化不大，电子设备输出人脸识别通过的结果，即人脸验证成功，否则输出人脸识别不通过的结果，即人脸验证失败。
[0125]
举例说明，如图4所示，测试图t1,t2,t3为连续测试图像。测试图t1(即上述当前帧人脸图像)与注册图(即上述预设人脸图像)的特征距离为0.46(即上述第一距离阈值)，小于识别距离阈值0.47(及上述预设距离阈值)，可以判为用户图像。而测试图t2，t3直接与注册图像比对时，距离大于阈值，会识别不通过(需要说明的是，此时的测试图t2，t3为当前帧人脸图像)。而连续帧之间具有较强的相关性，故可以将测试图t2与其前面已通过的测试图t1进行比对，其距离为0.46，可以通过。同样的，测试图t3可以与其前面已通过的t2图像进
行比对，距离为0.458，可以通过(需要说明的是，此时的测试图t2，t3为前m帧人脸图像)。
[0126]
如此，通过人脸识别模型进行人脸特征信息的提取，然后将人脸特征信息和预设人脸特征信息、前帧已通过人脸的人脸特征信息进行比对，并且结合人脸位置状态的变化，从而获得最终的验证结果，从而降低用户人脸拒识别率，提升用户体验。
[0127]
需要说明的是，本技术实施例提供的人脸识别模型的训练方法，执行主体可以为人脸识别模型的训练装置，或者电子设备，还可以为电子设备中的功能模块或实体。本技术实施例中以人脸识别模型的训练装置执行人脸识别模型的训练方法为例，说明本技术实施例提供的人脸识别模型的训练装置。
[0128]
图5示出了本技术实施例中涉及的人脸识别模型的训练装置的一种可能的结构示意图。如图5所示，该人脸识别模型的训练装置700可以包括：获取模块601和处理模块602；该获取模块601，用于获取连续n帧的目标对象的人脸图像；该处理模块602，用于将上述连续n帧目标对象人脸图像输入人脸识别模型进行特征提取，得到第一人脸特征信息以及第二人脸特征信息；该人脸提取模型包括x层特征提取层；上述第一人脸特征信息为经上述x层特征提取层依次处理后得到的，上述第二人脸特征信息为经上述x层特征提取层中的第i层处理后得到的；i∈{2，3，
……
x-1}；上述处理模块602，还用于基于上述第一人脸图像特征信息和上述第二人脸特征信息，计算得到目标损失参数；上述处理模块602，还用于基于上述目标损失参数，对人脸识别模型进行训练，得到训练好的人脸识别模型；其中，n、x为大于1的正整数。
[0129]
可选地，在本技术实施例中，上述处理模块602，具体用于：基于上述第一人脸图像特征信息，得到分类交叉商损失和第一损失；基于上述第二人脸特征信息，得到第二损失；将该分类交叉熵损失、该第一损失以及该第二损失进行加权计算，得到目标损失参数；上述第一损失为：上述第一人脸图像特征信息间的损失之和；上述第二损失为：上述第二人脸图像特征信息间的损失之和。
[0130]
可选地，在本技术实施例中，上述处理模块602，具体用于：将上述人脸图像输入上述x层特征提取层依次处理，得到第一人脸特征图像；将该第一人脸特征图像经过卷积变换处理后，得到上述第一人脸图像特征信息；将经上述第i层特征提取层处理后的得到的第二人脸特征图像经过卷积层进行处理，得到上述第二人脸特征信息。
[0131]
可选地，在本技术实施例中，上述处理模块602，具体用于：将上述第一人脸图像特征信息通过全连接层映射到m个预设人脸识别标签中，得到人脸识别预测参数，该人脸识别预测参数用于指示预测人脸识别标签；计算该预测人脸识别标签与上述m个预设人脸识别标签间的分类交叉熵损失；基于上述第一人脸图像特征信息，计算处理得到上述第一损失。
[0132]
在本技术实施例提供的人脸识别模型的训练装置中，获取连续n帧的目标对象的人脸图像；将上述人脸图像输入人脸识别模型进行特征提取，得到第一人脸特征信息以及第二人脸特征信息；该人脸提取模型包括x层特征提取层；上述第一人脸特征信息为经所述x层特征提取层依次处理后得到的，上述第二人脸特征信息为经所述x层特征提取层中的第i层处理后得到的；i∈{2，3，
……
14}；基于上述第一人脸图像特征信息和上述第二人脸特征信息，计算得到目标损失参数；基于该目标损失参数，对人脸识别模型进行训练，得到训练好的人脸识别模型。如此，通过输入多张人脸图像，可以得到第一人脸图像特征信息和第二人脸图像特征信息，两种用于表征不同层次的人脸特征信息，并基于二者的特征信息得
到的人脸识别模型的目标损失参数，对人脸识别模型进行训练，得到训练好的人脸识别模型，由于人脸识别模型是通过获取不同层次的人脸特征信息，并计算这些人脸特征信息的损失，将损失应用于训练人脸识别模型，使得人脸识别模型识别不同的人脸的人脸特征信息更加精准，从而提高了人脸识别的通过率和稳定性。
[0133]
图6示出了本技术实施例中涉及的基于人脸识别模型的人脸识别装置的一种可能的结构示意图。如图6所示，该基于人脸识别模型的人脸识别装置700可以包括：获取模块701、检测模块702以及处理模块703；该获取模块701，还用于获取目标人脸图像；该检测模块702，用于检测上述当前帧人脸图像的关键点信息；该处理模块703，还用于基于上述关键点信息对上述当前帧人脸图像进行处理，并输入至上述人脸识别模型，经过上述x层特征提取层依次处理，得到第三人脸图像特征信息；将上述第三人脸图像特征信息与预设人脸图像特征信息进行匹配，输出第一识别结果；其中，上述人脸识别模型是应用上述人脸识别模型的训练方法所训练出的人脸识别模型。
[0134]
在本技术实施例提供的基于人脸识别模型的人脸识别装置中，获取当前帧人脸图像；检测该当前帧人脸图像的关键点信息；基于该关键点信息对上述当前帧人脸图像进行处理，并输入至人脸识别模型，经过人脸识别模型的x层特征提取层依次处理，得到第三人脸图像特征信息；将该第三人脸图像特征信息与预设人脸图像特征信息进行匹配，输出第一识别结果；其中，上述人脸识别模型是应用第一方面人脸识别模型的训练方法所训练出的人脸识别模型。如此，通过本技术实施例人脸识别模型的训练方法训练好的人脸识别模型进行人脸图像特征的提取，提高了人脸识别的成功率及稳定性。
[0135]
本技术实施例中的人脸识别模型的训练装置和基于人脸识别模型的人脸识别装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为电子设备、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(mobile internet device，mid)、增强现实(augmented reality，ar)/虚拟现实(virtual reality，vr)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本或者个人数字助理(personal digital assistant，pda)等，还可以为服务器、网络附属存储器(network attached storage，nas)、个人计算机(personal computer，pc)、电视机(television，tv)、柜员机或者自助机等，本技术实施例不作具体限定。
[0136]
本技术实施例中的人脸识别模型的训练装置和基于人脸识别模型的人脸识别装置可以为具有操作系统的装置。该操作系统可以为安卓(android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本技术实施例不作具体限定。
[0137]
本技术实施例提供的人脸识别模型的训练装置和基于人脸识别模型的人脸识别装置能够实现图1至图4的方法实施例实现的各个过程，为避免重复，这里不再赘述。
[0138]
可选地，如图7所示，本技术实施例还提供一种电子设备800，包括处理器801和存储器802，存储器802上存储有可在所述处理器801上运行的程序或指令，该程序或指令被处理器801执行时实现上述人脸识别模型的训练方法和基于人脸识别模型的人脸识别方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0139]
需要说明的是，本技术实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
[0140]
图8为实现本技术实施例的一种电子设备的硬件结构示意图。
[0141]
该电子设备100包括但不限于：射频单元101、网络模块102、音频输出单元103、输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、以及处理器110等部件。
[0142]
本领域技术人员可以理解，电子设备100还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图8中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
[0143]
其中，处理器110，用于获取连续n帧的目标对象的人脸图像；处理器110，还用于将上述连续n帧目标对象人脸图像输入人脸识别模型进行特征提取，得到第一人脸特征信息以及第二人脸特征信息；该人脸提取模型包括x层特征提取层；上述第一人脸特征信息为经上述x层特征提取层依次处理后得到的，上述第二人脸特征信息为经上述x层特征提取层中的第i层处理后得到的；i∈{2，3，
……
x-1}；上述处理器110，还用于基于上述第一人脸图像特征信息和上述第二人脸特征信息，计算得到目标损失参数；上述处理器110，还用于基于上述目标损失参数，对人脸识别模型进行训练，得到训练好的人脸识别模型；其中，n、x为大于1的正整数。
[0144]
可选地，在本技术实施例中，上述处理器110，具体用于：基于上述第一人脸图像特征信息，得到分类交叉商损失和第一损失；基于上述第二人脸特征信息，得到第二损失；将该分类交叉熵损失、该第一损失以及该第二损失进行加权计算，得到目标损失参数；上述第一损失为：上述第一人脸图像特征信息间的损失之和；上述第二损失为：上述第二人脸图像特征信息间的损失之和。
[0145]
可选地，在本技术实施例中，上述处理器110，具体用于：将上述人脸图像输入上述x层特征提取层依次处理，得到第一人脸特征图像；将该第一人脸特征图像经过卷积变换处理后，得到上述第一人脸图像特征信息；将经上述第i层特征提取层处理后的得到的第二人脸特征图像经过卷积层进行处理，得到上述第二人脸特征信息。
[0146]
可选地，在本技术实施例中，上述处理器110，具体用于：将上述第一人脸图像特征信息通过全连接层映射到m个预设人脸识别标签中，得到人脸识别预测参数，该人脸识别预测参数用于指示预测人脸识别标签；计算该预测人脸识别标签与上述m个预设人脸识别标签间的分类交叉熵损失；基于上述第一人脸人像特征信息，计算处理得到上述第一损失。
[0147]
在本技术实施例提供的电子设备中，获取连续n帧的目标对象的人脸图像；将上述人脸图像输入人脸识别模型进行特征提取，得到第一人脸特征信息以及第二人脸特征信息；该人脸提取模型包括x层特征提取层；上述第一人脸特征信息为经所述x层特征提取层依次处理后得到的，上述第二人脸特征信息为经所述x层特征提取层中的第i层处理后得到的；i∈{2，3，
……
14}；基于上述第一人脸图像特征信息和上述第二人脸特征信息，计算出目标损失参数；基于该目标损失参数，对人脸识别模型进行训练，得到新的人脸识别模型。如此，通过输入多张人脸图像，可以得到第一人脸图像特征信息和第二人脸图像特征信息，两种用于表征不同层次的人脸特征信息，并基于二者的特征信息得到的人脸识别模型的目标损失参数，对人脸识别模型进行训练，得到新的人脸识别模型，由于人脸识别模型是通过
获取不同层次的人脸特征信息，并计算这些人脸特征信息的损失，将损失应用于训练人脸识别模型，使得人脸识别模型识别不同的人脸的人脸特征信息更加精准，从而提高了人脸识别的通过率和稳定性。
[0148]
可选地，在本技术实施例中，上述处理器110，还用于获取当前帧人脸图像；上述处理器110，用于检测上述当前帧人脸图像的关键点信息；上述处理器110，还用于基于上述关键点信息对上述目标人脸图像进行处理，并输入至上述人脸识别模型，经过上述x层特征提取层依次处理，得到第三人脸图像特征信息；上述处理器110，还用于将上述第三人脸图像特征信息与预设人脸图像特征信息进行匹配，输出第一识别结果；其中，上述人脸识别模型是应用上述人脸识别模型的训练方法所训练出的人脸识别模型。
[0149]
在本技术实施例提供的电子设备中，获取当前帧人脸图像；检测该当前帧人脸图像的关键点信息；基于该关键点信息对上述当前帧人脸图像进行处理，并输入至人脸识别模型，经过人脸识别模型的x层特征提取层依次处理，得到第三人脸图像特征信息；将该第三人脸图像特征信息与预设人脸图像特征信息进行匹配，输出第一识别结果；其中，上述人脸识别模型是应用第一方面人脸识别模型的训练方法所训练出的人脸识别模型。如此，通过本技术实施例人脸识别模型的训练方法训练好的人脸识别模型进行人脸图像特征的提取，提高了人脸识别的成功率及稳定性。
[0150]
应理解的是，本技术实施例中，输入单元104可以包括图形处理器(graphics processing unit，gpu)1041和麦克风1042，图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元106可包括显示面板1061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板1061。用户输入单元107包括触控面板1071以及其他输入设备1072中的至少一种。触控面板1071，也称为触摸屏。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
[0151]
存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器109可以包括易失性存储器或非易失性存储器，或者，存储器109可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory，ram)，静态随机存取存储器(static ram，sram)、动态随机存取存储器(dynamic ram，dram)、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，ddrsdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synch link dram，sldram)和直接内存总线随机存取存储器(direct rambus ram，drram)。本技术实施例中的存储器109包括但不限于这些和任意其它适合类型的存储器。
[0152]
处理器110可包括一个或多个处理单元；可选的，处理器110集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，
调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。
[0153]
本技术实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述人脸识别模型的训练方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0154]
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器rom、随机存取存储器ram、磁碟或者光盘等。
[0155]
本技术实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述人脸识别模型的训练方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0156]
应理解，本技术实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
[0157]
本技术实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述人脸识别模型的训练方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0158]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本技术实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
[0159]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是电子设备，计算机，服务器，或者网络设备等)执行本技术各个实施例所述的方法。
[0160]
上面结合附图对本技术的实施例进行了描述，但是本技术并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本技术的启示下，在不脱离本技术宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本技术的保护之内。