模型训练、人脸识别模型更新方法、电子设备及存储介质与流程

1.本发明涉及人脸识别领域，特别涉及一种模型训练、人脸识别模型更新方法、电子设备及存储介质。


背景技术：

2.人脸识别作为计算机视觉领域热点问题之一，伴随着深度学习技术的发展，目前已进入深水期。人脸识别类产品在使用过程中，开发人员会不断进行人脸识别算法技术升级以解决用户使用过程中的痛点。当前产业界人脸识别算法更新人脸特征库主要采取以下几种主流策略：1.后台/设备本地保留用户第一次注册时的原始注册图片，待人脸识别算法发生更新时，对保存的全部注册图片使用新的人脸识别算法提取特征，从而实现人脸特征库的更新。对于用户来说该更新策略基本实现无感升级状态。
3.2. 摒弃已有的人脸特征库，要求用户重新进行人脸注册后方可继续使用产品，同时实现人脸特征库的更新。
4.3. 人脸特征库使用旧算法特征，待识别人脸使用新算法特征；待人脸匹配成功时，需要结合第二种验证方法综合判断，待判断后确认是同一个人时，使用新算法提取的人脸特征替换人脸特征库中对应的人脸特征。如人脸识别门锁使用场景中，需配合指纹、密码或者手机验证码等方式，以确保当前使用安全性。
5.但是，上面所述的人脸特征库更新策略，存在以下弊端：策略1中，后台/设备保留原始注册图片，虽然能达到用户端无感升级的目标，但是一方面会存在严重的隐私问题，另一方面当用户特征库较大时，要求硬件设备条件较高，对于一般的物联网设备，存储这些原始图片会带来额外的成本压力。
6.策略2中，用户需重新注册后方可继续使用产品，一般适用于对安全性要求较高的场所，对于普通消费者来说，实际使用体验极差。
7.策略3中，人脸识别 其他方式综合验证，属于前两种方法的综合，能保证一定的使用安全性。但是，该方式较为繁琐，用户体验较差，无法突出人脸识别类产品的使用优势。另外，该方式可以执行的前提条件是从算法侧需要保证新、旧算法特征空间尽可能接近，否则可能会导致严重的人脸误识，给人脸识别的安全性带来无法预估的风险。由于这个前提条件的存在，给后续算法更新带来了额外的限制，从而导致更新后的算法使用体验并未明显上升。


技术实现要素：

8.本发明实施方式的目的在于提供一种模型训练、人脸识别模型更新方法、电子设备及存储介质，通过将新人脸识别算法特征空间通过映射矩阵映射到旧人脸识别算法特征空间，在确保人脸识别安全性的前提条件下，避免人脸隐私问题的同时逐步更新人脸特征库，从而实现用户侧无感升级，改善用户体验。
9.为解决上述技术问题，本发明的实施方式提供了一种模型训练方法，包括：以人脸识别新模型中特征提取网络中任一层输出的特征图为输入，增设特征映射分支网络，形成中间模型；所述中间模型的输出包括所述人脸识别新模型输出的第一人脸新特征，以及所述特征映射分支网络输出的第一特征映射矩阵；以人脸识别旧模型作为教师模型、所述中间模型为学生模型，对所述特征映射分支网络进行蒸馏训练，得到训练完成后的所述中间模型；其中，训练所述中间模型时的损失函数，是基于经所述第一特征映射矩阵计算后的所述第一人脸新特征，与所述人脸识别旧模型输出的人脸旧特征之间的第一特征损失构建。
10.本发明的实施方式提供了一种人脸识别模型更新方法，包括：采用如上所述的中间模型对待识别人脸图像进行人脸识别，得到所述中间模型中所述人脸识别新模型输出的人脸新特征，以及所述特征映射分支网络输出的特征映射矩阵；将经所述特征映射矩阵计算后的所述人脸新特征与注册特征库中的人脸旧特征逐一进行相似比对，确定相似度值；所述人脸旧特征为人脸识别旧模型对应的注册特征；如果存在相似度值大于预设相似阈值的人脸旧特征，则将当前所述人脸新特征确定为最大所述相似度值对应的所述人脸旧特征的更新特征；当确定出所述注册特征库中所有人脸旧特征的所述更新特征后，将所述注册特征库中所有人脸旧特征替换为相应的更新特征，并将所述人脸识别旧模型更新为所述人脸识别新模型。
11.本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的模型训练方法，或者如上所述的人脸识别模型更新方法。
12.本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的模型训练方法，或者如上所述的人脸识别模型更新方法。
13.本发明实施方式相对于现有技术而言，通过以人脸识别新模型中特征提取网络中任一层输出的特征图为输入，增设特征映射分支网络，形成中间模型；该中间模型的输出包括人脸识别新模型输出的第一人脸新特征，以及特征映射分支网络输出的第一特征映射矩阵；以人脸识别旧模型作为教师模型、中间模型为学生模型，对特征映射分支网络进行蒸馏训练，得到训练完成后的中间模型。由于该中间模型是以经第一特征映射矩阵计算后的第一人脸新特征和人脸识别旧模型输出的人脸旧特征来计算第一特征损失完成模型训练，因此训练后的中间模型既可以获取待识别人脸的人脸新特征（第一人脸新特征），又可以得到趋近于人脸旧特征的人脸特征（经第一特征映射矩阵计算后的第一人脸新特征），从而利用趋近于人脸旧特征的人脸特征对待识别人脸进行识别，利用人脸新特征对人脸旧特征进行更新。在确保人脸识别安全性的前提条件下，避免人脸隐私问题的同时逐步更新人脸特征
库，从而实现用户侧无感升级，改善用户体验。
附图说明
14.图1是根据本发明实施方式的模型训练方法的具体流程图一；图2是根据本发明实施方式的中间模型的结构示意图；图3是根据本发明实施方式的模型训练方法的具体流程图二；图4是根据本发明实施方式的人脸识别模型更新方法的具体流程图；图5是根据本发明实施方式的电子设备的结构示意图。
具体实施方式
15.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本技术而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本技术所要求保护的技术方案。
16.本发明的一实施方式涉及一种模型训练方法，如图1所示，本实施例提供的模型训练方法，包括如下步骤。
17.步骤101：以人脸识别新模型中特征提取网络中任一层输出的特征图为输入，增设特征映射分支网络，形成中间模型；该中间模型的输出包括人脸识别新模型输出的第一人脸新特征，以及特征映射分支网络输出的第一特征映射矩阵。
18.其中，人脸识别旧模型、人脸识别新模型依次为待更新前、后的两个人脸识别模型。在将人脸识别旧模型更新为人脸识别新模型时，需要同步将人脸识别旧模型对应的特征空间变换为人脸识别新模型对应的特征空间，以保证人脸识别的准确性。
19.具体地，本实施例中，以人脸识别新模型中特征提取网络中任一层输出的特征图为输入，增设特征映射分支网络，增设了特征映射分支网络后的人脸识别新模型记为中间模型。这里的特征提取网络主要负责在进行人脸图像识别时，提取人脸图像在不同深度层次特征图像。例如，该特征提取网络可以为包含多个卷积层的卷积神经网络，以该多个卷积层中任一层（优先选择非首尾位置的卷积层）输出的特征图作为特征映射分支网络的输入。该特征映射分支网络的输出为一特征映射矩阵，该特征映射矩阵用于对人脸识别新模型输出的人脸特征进行特征映射，得到映射后的人脸特征。为与后续训练场景中的特征映射矩阵相区别，本实施例中，将原始训练特征映射分支网络时，所述特征映射分支网络输出的特征映射矩阵记为第一特征映射矩阵。同时，将原始训练特征映射分支网络时，所述人脸识别新模型输出的人脸特征记为第一人脸新特征。由此，该中间模型的输出包括两部分，分别为人脸识别新模型输出的第一人脸新特征，以及特征映射分支网络输出的第一特征映射矩阵。
20.在一个例子中，上述人脸识别新模型和人脸识别旧模型均采用残差网络resnet50结构，相应地，以人脸识别新模型中特征提取网络中任一层输出的特征图为输入，增设特征映射分支网络，形成中间模型的过程可通过如下步骤实现。
21.步骤1：选取人脸识别新模型的残差网络resnet50结构中conv5_x层的第2个残差块的输出特征图作为特征映射分支网络的输入。
22.具体地，如图2所示，为本实施例示例性给出的中间模型的结构图，在实际应用中，也可根据实际需求灵活设置中间模型的结构。图2中，左侧主干网络中x到s之间的网络结构即为人脸识别新模型，采用了resnet50结构，包括：前后依次串接的conv5_x层、第一1x1卷积层（conv_1x1）、第一全局池化层（global pooling）和全连接层（fc）。以conv5_x层的第2个残差块（residual block_1）输出的特征图作为特征映射分支网络的输入。此时特征图大小为7x7，channel=512。
23.步骤2：采用前后串接的3x3卷积层和senet结构构建特征映射分支网络；所述3x3卷积层的输入作为特征映射分支网络的输入，senet结构的输出作为特征映射分支网络的输出。
24.在一个例子中，如图2所示，senet结构为特征映射分支网络中除3x3卷积层（conv_3x3）以外的网络结构，包括：前后依次串接的第二全局池化层（global pooling）、第二1x1卷积层（conv_1x1）、第一激活函数（relu）、第三1x1卷积层（conv_1x1）和第二激活函数（sigmoid）。在实际应用中，也可根据实际需求灵活设置特征映射分支网络的结构。
25.具体地，图2中，以conv5_x层的第2个残差块（residual block_1）输出的特征图作为特征映射分支网络的输入；此时特征图大小为7x7，channel=512；进入特征映射分支网络后，首先接一个3x3卷积层，此处channel可根据需求设定，一般建议n≤c≤512（n为特征图尺寸nxn，c为channel）；后续依次接一个全局池化层和2个1x1卷积层，两个1x1卷积层后均使用激活函数（分别是relu和sigmoid），最后特征映射分支网络输出即为第一特征映射矩阵m（基于resnet50，r为通道收缩因子=4）。
26.步骤102：以人脸识别旧模型作为教师模型、中间模型为学生模型，对特征映射分支网络进行蒸馏训练，得到训练完成后的中间模型；其中，训练中间模型时的损失函数，是基于经第一特征映射矩阵计算后的第一人脸新特征，与人脸识别旧模型输出的人脸旧特征之间的第一特征损失构建。
27.在完成特征映射分支网络的结构设计后，需要对该特征映射分支网络进行训练，来确保在第一人脸新特征（s）经过特征映射分支网络输出的第一特征映射矩阵m计算后的人脸特征（s*m）尽可能接近当前产品库中的人脸特征，即人脸识别旧模型对应的人脸旧特征。具体方法是如下：训练方法采用蒸馏训练法，即老师模型（teacher模型）为人脸识别旧模型（fr_old）其对应输出的人脸旧特征为t；学生模型（student模型）为上述构建的中间模型，其对应输出两项:即人脸识别新模型（fr_new）输出的人脸新特征s，特征映射分支网络输出的特征映射矩阵m。训练中间模型时的损失函数，是基于经特征映射矩阵m计算后的人脸新特征s*m，与人脸识别旧模型输出的人脸旧特征t之间的第一特征损失构建。本次蒸馏的目的是使s*m≈t。
28.在一个例子中，上述第一特征损失可通过如下公式计算：loss1=s1*m1‑
t
………………………
（1）其中，s1为第一人脸新特征，m1为第一特征映射矩阵，t为人脸旧特征。
29.需要说明的是，在执行本步骤的训练过程时，需冻结除特征映射分支网络的结构外的其他所有网络层，以确保网络参数更新时，只更新新增的征映射分支网络的参数部分。
30.与相关技术相比，本实施例通过以人脸识别新模型中特征提取网络中任一层输出
的特征图为输入，增设特征映射分支网络，形成中间模型；该中间模型的输出包括人脸识别新模型输出的第一人脸新特征，以及特征映射分支网络输出的第一特征映射矩阵；以人脸识别旧模型作为教师模型、中间模型为学生模型，对特征映射分支网络进行蒸馏训练，得到训练完成后的中间模型。由于该中间模型是以经第一特征映射矩阵计算后的第一人脸新特征和人脸识别旧模型输出的人脸旧特征来计算第一特征损失完成模型训练，因此训练后的中间模型既可以获取待识别人脸的人脸新特征（第一人脸新特征），又可以得到趋近于人脸旧特征的人脸特征（经第一特征映射矩阵计算后的第一人脸新特征），从而利用趋近于人脸旧特征的人脸特征对待识别人脸进行识别，利用人脸新特征对人脸旧特征进行更新。在确保人脸识别安全性的前提条件下，避免人脸隐私问题的同时逐步更新人脸特征库，从而实现用户侧无感升级，改善用户体验。
31.本发明的另一实施方式涉及一种模型训练方法，如图3所示，该模型训练方法是对图1所示方法步骤的改进，改进之处在于，对训练完成的中间模型进行优化，得到优化的中间模型。如图3所示，在步骤102之后，还包括如下步骤。
32.步骤103：以人脸识别新模型作为教师模型、训练完成后的中间模型为学生模型，对特征映射分支网络以及人脸识别新模型中特征映射分支网络接入位置的后续网络结构进行蒸馏训练，得到优化的中间模型；优化的中间模型的输出包括人脸识别新模型输出的第二人脸新特征，以及特征映射分支网络输出的第二特征映射矩阵。
33.其中，优化的中间模型训练时的损失函数，是基于经第二特征映射矩阵计算后的第二人脸新特征与第一人脸新特征之间的第二特征损失，以及经第二特征映射矩阵计算后的第二人脸新特征与人脸旧特征之间的第三特征损失，以及人脸识别新模型的原始特征损失构建。
34.具体地，在通过图1所示方法实施例得到训练好的中间模型（简称“原始中间模型”）后，可以在该训练方案上施加另一个基于蒸馏方案的强约束，即进一步以人脸识别新模型（fr_new）作为老师模型（teacher模型），其对应输出的人脸新特征（即第一人脸新特征）为s；上述中间模型作为学生模型（teacher模型），此时参与训练更新的网络部分除包含上述特征映射分支网络外，还包含人脸识别新模型中特征映射分支网络接入位置的后续网络结构（图2中从residual
‑
block_2到fc的网络结构），由于训练网络的不同，此时中间模型中的人脸识别新模型输出的人脸新特征记为第二人脸新特征、特征映射分支网络输出的特征映射矩阵记为第二特征映射矩阵。
35.同时，优化的中间模型训练时的损失函数基于三个损失项构建，分别是第二特征损失，第三特征损失和人脸识别新模型的原始特征损失。
36.第二特征损失：基于经第二特征映射矩阵（m2）计算后的第二人脸新特征（s2）与第一人脸新特征（s1）之间的特征损失。该特征损失的蒸馏目的是使s2*m2≈s1。
37.在一个例子中，上述第二特征损失loss2可通过如下公式计算：loss2=s2*m2‑
s1………………………
（2）其中，s2为第二人脸新特征，m2为第二特征映射矩阵，s1为第一人脸新特征。
38.第三特征损失：基于经第二特征映射矩阵（m2）计算后的第二人脸新特征（s2）与人脸旧特征（t）之
间的特征损失。该特征损失的蒸馏目的是使s2*m2≈t。
39.在一个例子中，上述第三特征损失loss3可通过如下公式计算：loss3=s2*m2‑
t
………………………
（3）其中，s2为第二人脸新特征，m2为第二特征映射矩阵，t为人脸旧特征。
40.人脸识别新模型的原始特征损失loss4。该loss4为单独训练人脸识别新模型时采用的特征损失，本实施例为保证人脸识别新模型的原始识别性能，沿用这一特征损失到中间模型的训练过程中。
41.基于此，上述优化的中间模型训练时的损失函数也可通过如下公式计算：loss=a *loss2 b*loss3 c*loss4
………………………
（4）其中，loss2为第二特征损失，loss3为第三特征损失，loss4为原始特征损失，a 、b、c分别为权重系数。
42.由于本实施例的目的是对中间模型中的参数进行微调优化，因此参数的设置优选为a远大于b大于c，且a b c=1。
43.与相关技术相比，本实施例通过在训练原始中间模型的基础上，新增另一蒸馏方案的强约束，以人脸识别新模型作为教师模型、训练完成后的中间模型为学生模型，对特征映射分支网络以及人脸识别新模型中特征映射分支网络接入位置的后续网络结构进行蒸馏训练，得到优化的中间模型。该优化的中间模型使得最终得到的特征映射后的人脸特征s2*m2能够同时与人脸识别新模型、人脸识别旧模型输出的人脸特征相似，同时还保证s2作为人脸识别新模型自身模型优化的优势。优化后的中间模型利用趋近于人脸旧特征的人脸特征对待识别人脸进行识别，利用人脸新特征对人脸旧特征进行更新。在确保人脸识别安全性的前提条件下，避免人脸隐私问题的同时逐步更新人脸特征库，从而实现用户侧无感升级，改善用户体验。
44.本发明的另一实施方式涉及一种人脸识别模型更新方法，如图4所示，该人脸识别模型更新方法包括如下步骤。
45.步骤201：采用中间模型对待识别人脸图像进行人脸识别，得到中间模型中人脸识别新模型输出的人脸新特征，以及特征映射分支网络输出的特征映射矩阵。
46.具体地，在需要将人脸识别旧模型更新为人脸识别新模型，同时更新人脸识别旧模型对应的注册特征库的场景中，可采用图1或图3所示方法实施例中训练的中间模型，可以是训练好的原始中间模型，或是优化后的中间模型对待识别的人脸图像进行处理。基于该中间模型的结构，采用中间模型对待识别人脸图像进行人脸识别，可以得到两个输出，分别是中间模型中人脸识别新模型输出的人脸新特征s，以及特征映射分支网络输出的特征映射矩阵m。
47.步骤202：将经特征映射矩阵计算后的人脸新特征与注册特征库中的人脸旧特征逐一进行相似比对，确定相似度值；人脸旧特征为人脸识别旧模型对应的注册特征。
48.具体地，将经特征映射矩阵m映射计算后的人脸新特征s*m与注册特征库中的人脸旧特征（对应人脸识别旧模型的人脸特征空间）逐一进行相似比对，并一一确定相似度值。其中，人脸旧特征为人脸识别旧模型对应的人脸特征，也称注册特征。
49.步骤203：如果存在相似度值大于预设相似阈值的人脸旧特征，则将当前人脸新特征确定为最大相似度值对应的人脸旧特征的更新特征。
50.具体地，当注册特征库中存在上述相似度值大于预设相似阈值的人脸旧特征时，则表征人脸识别成功。此时，可认为当前识别出的人脸新特征与最大上述相似度值对应的人脸旧特征所属于同一人，并将当前识别出的人脸新特征确定为该最大相似度值对应的人脸旧特征的更新特征，以备更新。
51.步骤204：当确定出注册特征库中所有人脸旧特征的更新特征后，将注册特征库中所有人脸旧特征替换为相应的更新特征，并将人脸识别旧模型更新为人脸识别新模型。
52.具体地，当通过反复执行步骤201~202，确定出注册特征库中所有人脸旧特征的更新特征后，可开启启动模型更新操作，即将注册特征库中所有人脸旧特征替换为相应的更新特征，并将人脸识别旧模型更新为人脸识别新模型。此后，当注册特征库中的人脸再次需进行人脸识别时，可直接采用人脸识别新模型进行人脸识别，并将识别出的人脸新特征与更新后的注册特征库中的人脸新特征进行相似比对，确定待识别人脸的身份。
53.与相关技术相比，本实施例通过采用中间模型对待识别人脸图像进行人脸识别，得到中间模型中人脸识别新模型输出的人脸新特征，以及特征映射分支网络输出的特征映射矩阵；将经特征映射矩阵计算后的人脸新特征与注册特征库中的人脸旧特征逐一进行相似比对，确定相似度值；如果存在相似度值大于预设相似阈值的人脸旧特征，则将当前人脸新特征确定为最大相似度值对应的人脸旧特征的更新特征；当确定出注册特征库中所有人脸旧特征的更新特征后，将注册特征库中所有人脸旧特征替换为相应的更新特征，并将人脸识别旧模型更新为人脸识别新模型。该模型更新过程利用趋近于人脸旧特征的人脸特征对待识别人脸进行识别，利用人脸新特征对人脸旧特征进行更新。在确保人脸识别安全性的前提条件下，避免人脸隐私问题的同时逐步更新人脸特征库，从而实现用户侧无感升级，改善用户体验。
54.本发明的另一实施方式涉及一种电子设备，如图5所示，包括至少一个处理器302；以及，与至少一个处理器302通信连接的存储器301；其中，存储器301存储有可被至少一个处理器302执行的指令，指令被至少一个处理器302执行，以使至少一个处理器302能够执行上述任一方法实施例。
55.其中，存储器301和处理器302采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器302和存储器301的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器302处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器302。
56.处理器302负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器301可以被用于存储处理器302在执行操作时所使用的数据。
57.本发明的另一实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述任一方法实施例。
58.即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使
得一个设备（可以是单片机，芯片等）或处理器（processor）执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read
‑
onlymemory）、随机存取存储器（ram，randomaccessmemory）、磁碟或者光盘等各种可以存储程序代码的介质。
59.本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。