基于联邦学习的人脸识别模型训练方法及装置

1.本发明涉及计算机技术领域，尤其涉及一种基于联邦学习的人脸识别模型训练方法及装置。


背景技术：

2.人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。一般而言，越多的训练数据所训练出来的模型的识别效果越好，而人脸数据属于个人的一种隐私信息。在现实生活中，一个设备上只有一个类别的情况是十分常见的，因此，如何在保护人脸隐私的情况下，同时获得大规模的人脸数据来训练人脸识别网络成为难题。
3.联邦学习是基于分布在多个设备上的数据集的机器学习模型，同时禁止设备之间的数据交换，以防止数据泄露。目前，针对一个设备上只有一类数据，而且各个设备之间的类别向量不交换的方法包括联邦平均分散(federated averaging with spreadout，fedaws)和联邦用户验证(federated user verification，feduv)，其中，fedaws方法中服务器接收客户端发送的类别向量，使用正则项使得客户端的类别向量相互远离；feduv方法中利用纠错码使得客户端之间的类别向量之间距离最大化。然而，fedaws方法和feduv方法得到的人脸识别模型与基于深度学习等集中训练的人脸识别模型的性能相比，依然存在较大差距。


技术实现要素：

4.本发明提供一种基于联邦学习的人脸识别模型训练方法及装置，用以解决现有技术中人脸识别准确率低的问题，实现在保护用户隐私的情况下，提升人脸识别的准确率。
5.第一方面，本发明提供一种基于联邦学习的人脸识别模型训练方法，应用于目标客户端，方法包括：
6.接收服务器发送的等效类别向量矩阵和第一骨干网络参数；所述等效类别向量矩阵包括：n个等效类别向量；所述n个等效类别向量由所述服务器对于c-m个候选客户端的类别向量进行融合计算得到；
7.基于所述第一骨干网络参数、所述目标客户端的样本人脸图像、所述目标客户端的第一类别向量及所述等效类别向量矩阵，对人脸识别模型进行训练，得到目标人脸识别模型及所述目标客户端的第二类别向量；
8.向所述服务器发送所述第二类别向量和所述目标人脸识别模型的目标骨干网络参数。
9.根据本发明提供的一种基于联邦学习的人脸识别模型训练方法，所述目标人脸识别模型的损失函数是基于所述样本人脸图像的特征向量与所述目标客户端的第一类别向量之间的余弦相似度，以及所述样本人脸图像的特征向量与所述第一类别向量和所述等效类别向量矩阵之间的余弦相似度确定的。
10.根据本发明提供的一种基于联邦学习的人脸识别模型训练方法，所述损失函数采
用公式(1)表示：
[0011][0012]
其中，n表示所述目标客户端的样本人脸图像数量；表示第i个样本的类别向量与第i个样本的特征向量之间的余弦相似度，i表示客户端的样本，yi是第i个样本所示的类别；s
j,i
表示类别向量wj和第i个样本的特征向量之间的余弦相似度，j表示每个客户端的类别向量；c是指每个客户端的类别向量数量和等效类别向量数量之和。
[0013]
根据本发明提供的一种基于联邦学习的人脸识别模型训练方法，所述接收服务器发送的等效类别向量矩阵和第一骨干网络参数之前，所述方法还包括：
[0014]
将所述目标客户端的第一标识发送至所述服务器；所述第一标识用于表示所述目标客户端。
[0015]
第二方面，本发明还提供一种基于联邦学习的人脸识别模型训练方法，应用于服务器，所述方法包括：
[0016]
对c个候选客户端中c-m个候选客户端的类别向量进行融合计算，得到等效类别向量矩阵；其中，所述等效类别向量矩阵包括n个等效类别向量；
[0017]
向所述c个候选客户端中除所述c-m个候选客户端之外的m个候选客户端，分别发送第一骨干网络参数和所述等效类别向量矩阵；
[0018]
接收所述m个候选客户端中每个候选客户端发送的目标骨干网络参数和所述第二类别向量；
[0019]
对所述m个候选客户端中每个候选客户端发送的目标骨干网络参数进行聚合，得到第二骨干网络参数。
[0020]
根据本发明提供的一种基于联邦学习的人脸识别模型训练方法，所述对c个候选客户端中c-m个候选客户端的类别向量进行融合计算，得到等效类别向量矩阵，包括：
[0021]
从所述c-m个候选客户端中随机选择n对客户端，分别对所述n对客户端中每对客户端的类别向量进行融合计算，得到n个等效类别向量。
[0022]
根据本发明提供的一种基于联邦学习的人脸识别模型训练方法，所述分别对所述n对客户端中每对客户端的类别向量进行融合计算，得到n个等效类别向量，包括：
[0023]
分别对所述n对客户端中每对客户端的类别向量，采用公式(2)和公式(3)进行融合计算，得到n个等效类别向量；
[0024][0025][0026]
其中，所述wi和wj表示所述每对客户端的类别向量；所述为所述wi和wj对应的等效类别向量。
[0027]
第三方面，本发明还提供一种基于联邦学习的人脸识别模型训练装置，应用于目
标客户端，所述装置包括：
[0028]
第一接收模块，用于接收服务器发送的等效类别向量矩阵和第一骨干网络参数；所述等效类别向量矩阵包括：n个等效类别向量；所述n个等效类别向量由所述服务器对于c-m个候选客户端的类别向量进行融合计算得到；
[0029]
训练模块，用于基于所述第一骨干网络参数、所述目标客户端的样本人脸图像、所述目标客户端的第一类别向量及所述等效类别向量矩阵，对人脸识别模型进行训练，得到目标人脸识别模型及所述目标客户端的第二类别向量；
[0030]
第一发送模块，用于向所述服务器发送所述第二类别向量和所述目标人脸识别模型的目标骨干网络参数。
[0031]
第四方面，本发明还提供一种基于联邦学习的人脸识别模型训练装置，应用于服务器，所述装置包括：
[0032]
融合模块，用于对c个候选客户端中c-m个候选客户端的类别向量进行融合计算，得到等效类别向量矩阵；其中，所述等效类别向量矩阵包括n个等效类别向量；
[0033]
第二发送模块，用于向所述c个候选客户端中除所述c-m个候选客户端之外的m个候选客户端，分别发送第一骨干网络参数和所述等效类别向量矩阵；
[0034]
第二接收模块，用于接收所述m个候选客户端中每个候选客户端发送的目标骨干网络参数和所述第二类别向量；
[0035]
聚合模块，用于对所述m个候选客户端中每个候选客户端发送的目标骨干网络参数进行聚合，得到第二骨干网络参数。
[0036]
第五方面，本发明还提供一种目标客户端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述基于联邦学习的人脸识别模型训练方法的步骤。
[0037]
第六方面，本发明还提供一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第二方面任一项所述基于联邦学习的人脸识别模型训练方法的步骤。
[0038]
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面任一项所述基于联邦学习的人脸识别模型训练方法的步骤，或者，如上述第二方面任一项所述基于联邦学习的人脸识别模型训练方法的步骤。
[0039]
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述第一方面任一项所述基于联邦学习的人脸识别模型训练方法的步骤，或者，如上述第二方面任一项所述基于联邦学习的人脸识别模型训练方法的步骤。
[0040]
本发明提供的基于联邦学习的人脸识别模型训练方法，通过接收服务器发送的等效类别向量矩阵和第一骨干网络参数，利用第一骨干网络参数、目标客户端的样本人脸图像、目标客户端的第一类别向量及等效类别向量矩阵，对目标客户端的人脸识别模型进行训练，得到目标客户端训练好的目标人脸识别模型及目标客户端的第二类别向量，并且向服务器发送第二类别向量和目标人脸识别模型的目标骨干网络参数，通过等效类别向量，使得各目标客户端之间不共享类别向量，保证了用户的隐私信息，而且提升了用户人脸识别的准确率。
附图说明
[0041]
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0042]
图1是本发明提供的应用于目标客户端的基于联邦学习的人脸识别模型训练方法的流程示意图之一；
[0043]
图2是本发明提供的应用于服务器的基于联邦学习的人脸识别模型训练方法的流程示意图之二；
[0044]
图3是本发明提供的应用于服务器的基于联邦学习的人脸识别模型训练方法的流程示意图之三；
[0045]
图4是本发明提供的基于联邦学习的人脸识别模型训练方法的流程示意图之四；
[0046]
图5是本发明提供的基于联邦学习的人脸识别模型训练装置的结构示意图之一；
[0047]
图6是本发明提供的基于联邦学习的人脸识别模型训练装置的结构示意图之二；
[0048]
图7是本发明提供的目标客户端的结构示意图。
具体实施方式
[0049]
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0050]
下面结合图1-图4描述本发明的基于联邦学习的人脸识别模型训练方法。
[0051]
图1为本发明提供的应用于目标客户端的基于联邦学习的人脸识别模型训练方法的流程示意图之一，如图1所示，该方法包括：
[0052]
步骤110，接收服务器发送的等效类别向量矩阵和第一骨干网络参数；所述等效类别向量矩阵包括：n个等效类别向量；所述n个等效类别向量由所述服务器对于c-m个候选客户端的类别向量进行融合计算得到。
[0053]
可选地，本发明提供的基于联邦学习的人脸识别模型训练方法可应用于人脸识别场景中。本发明提供的基于联邦学习的人脸识别模型训练方法的执行主体可以为本发明提供的基于联邦学习的人脸识别模型训练装置，例如目标客户端或者该基于联邦学习的人脸识别模型训练装置中的用于执行基于联邦学习的人脸识别模型训练方法的控制模块。
[0054]
可选地，在目标客户端接收服务器发送的等效类别向量矩阵和第一骨干网络参数之前，将目标客户端的第一标识发送至服务器；其中，第一标识用于表示目标客户端，也就是说，服务器预先获知目标客户端的第一标识。
[0055]
需要说明的是，目标客户端为对人脸图像进行识别的设备，例如目标客户端可以为手机、笔记本电脑及平板电脑等设备，也可以为其他终端设备。用户可以使用目标客户端对其人脸图像进行识别验证，以便于验证通过后从目标客户端进行相应的目标操作。
[0056]
可选地，等效类别向量矩阵是由n个等效类别向量组合得到的，等效类别向量可以使得目标客户端之间无法进行信息交换；同时，目标客户端也无法通过等效类别向量还原
目标客户端的类别向量，保证了目标客户端的类别向量信息不泄露。需要说明的是，当目标客户端在训练其类别向量远离等效类别向量时，该目标客户端的类别向量同时也会远离由融合计算得到等效类别向量的原始类别向量。
[0057]
可选地，第一骨干网络参数为人脸识别模型的参数。
[0058]
步骤120，基于所述第一骨干网络参数、所述目标客户端的样本人脸图像、所述目标客户端的第一类别向量及所述等效类别向量矩阵，对人脸识别模型进行训练，得到目标人脸识别模型及所述目标客户端的第二类别向量。
[0059]
可选地，第一类别向量表示目标客户端的样本人脸图像所属的类别的特征向量；第二类别向量表示目标客户端的样本图像在训练人脸识别模型结束之后所属的类别的特征向量。
[0060]
可选地，目标人脸识别模型表示对人脸识别模型训练结束之后，最终得到的人脸识别模型。
[0061]
可选地，目标客户端根据接收到服务器发送的第一骨干网络参数、等效类别向量矩阵，以及目标客户端参与训练的样本人脸图像和目标客户端的第一类别向量，对目标客户端的人脸识别模型进行训练；在训练完成后，目标客户端得到目标人脸识别模型及该目标客户端的第二类别向量。
[0062]
需要说明的是，在每一轮训练结束后，目标客户端的第二类别向量和人脸识别模型的第一骨干网络参数均会有变化。
[0063]
步骤130，向所述服务器发送所述第二类别向量和所述目标人脸识别模型的目标骨干网络参数。
[0064]
可选地，目标骨干网络参数表示目标人脸识别模型对应的参数。
[0065]
本发明提供的基于联邦学习的人脸识别模型训练方法，通过接收服务器发送的等效类别向量矩阵和第一骨干网络参数，利用第一骨干网络参数、目标客户端的样本人脸图像、目标客户端的第一类别向量及等效类别向量矩阵，对目标客户端的人脸识别模型进行训练，得到目标客户端训练好的目标人脸识别模型及目标客户端的第二类别向量，并且向服务器发送第二类别向量和目标人脸识别模型的目标骨干网络参数，通过等效类别向量，使得各目标客户端之间不共享类别向量，保证了用户的隐私信息，而且提升了用户人脸识别的准确率。
[0066]
可选地，目标人脸识别模型的损失函数是基于样本人脸图像的特征向量与目标客户端的第一类别向量之间的余弦相似度，以及样本人脸图像的特征向量与第一类别向量和等效类别向量矩阵之间的余弦相似度确定的。
[0067]
具体地，损失函数采用公式(1)表示：
[0068][0069]
其中，n表示目标客户端的样本人脸图像数量；表示第i个样本的类别向量与第i个样本的特征向量之间的余弦相似度，i表示客户端的样本，yi是第i个样本所示的类别；sj,i
表示类别向量wj和第i个样本的特征向量之间的余弦相似度，j表示每个客户端的类别向量；c是指每个客户端的类别向量数量和等效类别向量数量之和。
[0070]
需要说明的是，目标客户端根据对第一骨干网络参数、目标客户端的样本人脸图像、目标客户端的第一类别向量及等效类别向量矩阵，对人脸识别模型进行训练时，在每一轮进行训练的过程中，目标客户端根据损失函数得到损失值，使用损失值判断人脸识别模型的训练程度，对人脸识别模型进行更新。
[0071]
对于判断目标客户端对人脸识别模型训练是否结束时，可以通过服务器收集各个目标客户端的损失值进行判断，也可以通过服务器对测试集中的人脸图像进行测试，获得测试集中的人脸图像的识别结果进行判断，直到人脸识别结果的准确率达到稳定，训练结束。
[0072]
可选地，图2为本发明提供的应用于服务器的基于联邦学习的人脸识别模型训练方法的流程示意图之二，如图2所示，该方法包括：
[0073]
步骤210，对c个候选客户端中c-m个候选客户端的类别向量进行融合计算，得到等效类别向量矩阵；其中，所述等效类别向量矩阵包括n个等效类别向量。
[0074]
可选地，服务器根据c个候选客户端的第一标识，获知用于人脸识别模型训练的候选客户端的数量。
[0075]
具体地，服务器对c个候选客户端的类别向量进行初始化，再从初始化之后的c个候选客户端中选择m个候选客户端；其中，选择的m个候选客户端用于训练人脸识别模型；对于c-m个候选客户端，服务器的等效类别向量生成器对c-m个候选客户端的类别向量进行融合计算，得到等效类别向量；再根据等效类别向量，得到等效类别向量矩阵。
[0076]
需要说明的是，等效类别向量矩阵包括n个等效类别向量，是由n个等效类别向量进行堆叠之后得到的。
[0077]
步骤220，向所述c个候选客户端中除所述c-m个候选客户端之外的m个候选客户端，分别发送第一骨干网络参数和所述等效类别向量矩阵。
[0078]
可选地，服务器对c个候选客户端的类别向量进行初始化的同时，也对第一骨干网络的参数进行初始化；在初始化之后，服务器分别将除c-m个候选客户端之外的m个候选客户端融合计算得到的等效类别向量矩阵和第一骨干网络的参数发送至m个候选客户端。
[0079]
步骤230，接收所述m个候选客户端中每个候选客户端发送的目标骨干网络参数和所述第二类别向量。
[0080]
可选地，目标骨干网络参数为m个候选客户端中每个候选客户端在对人脸识别模型训练结束之后，得到的人脸识别模型的参数；第二类别向量为m个候选客户端中每个候选客户端在对人脸识别模型训练结束之后，m个候选客户端中每个候选客户端的类别向量。
[0081]
具体地，在m个候选客户端对人脸识别模型进行训练结束之后，m个候选客户端中每个候选客户端的类别向量为第二类别向量，目标人脸识别模型的参数为目标骨干网络参数；该m个候选客户端中每个候选客户端发送目标骨干网络参数和第二类别向量至服务器，因此，服务器接收m个候选客户端中每个候选客户端发送的目标骨干网络参数和第二类别向量。
[0082]
步骤240，对所述m个候选客户端中每个候选客户端发送的目标骨干网络参数进行聚合，得到第二骨干网络参数。
[0083]
可选地，第二骨干网络参数为服务器在接收到m个候选客户端中每个候选客户端发送的目标骨干网络参数之后，对每个候选客户端发送的目标骨干网络参数进行加权平均得到的。
[0084]
本发明提供的基于联邦学习的人脸识别模型训练方法，服务器通过对c-m个候选客户端的类别向量进行融合计算，得到等效类别向量矩阵；再分别将等效类别向量矩阵和第一骨干网络参数发送至m个候选客户端，用于m个候选客户端对人脸识别模型进行训练；在训练结束之后，服务器接收参与训练的m个候选客户端中每个候选客户端发送的目标骨干网络参数和第二类别向量；再对m个候选客户端中每个候选客户端发送的目标骨干网络参数进行聚合，得到第二骨干网络参数。通过等效类别向量，使得各m个候选客户端之间不共享类别向量，保证了用户的隐私信息，提升了用户人脸识别的准确率；同时，在训练结束之后，等效类别向量不需要发送至服务器，因此，对上传的带宽没有影响。
[0085]
可选地，图3为本发明提供的应用于服务器的基于联邦学习的人脸识别模型训练方法的流程示意图之三，如图3所示，该方法包括：
[0086]
步骤310，从所述c-m个候选客户端中随机选择n对客户端，分别对所述n对客户端中每对客户端的类别向量进行融合计算，得到n个等效类别向量。
[0087]
可选地，服务器从c个候选客户端中选择m个候选客户端进行训练人脸识别模型，再使用等效类别向量生成器从剩余的c-m个候选客户端中随机选择2个客户端，生成1个等效类别向量；等效类别向量生成器从剩余的c-m个候选客户端中随机选择n次，则等效类别向量生成器选择了n对客户端，分别对该n对客户端中每对客户端的类别向量进行融合计算，得到n个等效类别向量。
[0088]
步骤320，向所述c个候选客户端中除所述c-m个候选客户端之外的m个候选客户端，分别发送第一骨干网络参数和所述等效类别向量矩阵。
[0089]
步骤330，接收所述m个候选客户端中每个候选客户端发送的目标骨干网络参数和所述第二类别向量。
[0090]
步骤340，对所述m个候选客户端中每个候选客户端发送的目标骨干网络参数进行聚合，得到第二骨干网络参数。
[0091]
可选地，关于步骤320-340的说明和解释，可以参照上述针对步骤220-240的说明和解释，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0092]
本发明提供的基于联邦学习的人脸识别模型训练方法，服务器通过从c-m个候选客户端中随机选择n对客户端，对n对客户端中每对客户端的类别向量进行融合计算，得到n个等效类别向量；再分别将等效类别向量矩阵和第一骨干网络参数发送至m个候选客户端，用于m个候选客户端对人脸识别模型进行训练；在训练结束之后，服务器接收参与训练的m个候选客户端中每个候选客户端发送的目标骨干网络参数和第二类别向量；再对m个候选客户端中每个候选客户端发送的目标骨干网络参数进行聚合，得到第二骨干网络参数。通过等效类别向量，使得各m个候选客户端之间不共享类别向量，保证了用户的隐私信息，提升了用户人脸识别的准确率；同时，在训练结束之后，等效类别向量不需要发送至服务器，因此，对上传的带宽没有影响。
[0093]
可选地，步骤310的实现方式可以通过下述方式得到：
[0094]
分别对n对客户端中每对客户端的类别向量，采用公式(2)和公式(3)进行融合计
算，得到n个等效类别向量；
[0095][0096][0097]
其中，wi和wj表示每对客户端的类别向量；为wi和wj对应的等效类别向量。
[0098]
具体地，服务器从c-m个候选客户端中随机选择n对客户端，对于每对客户端的类别向量，采用公式(2)计算每对客户端的类别向量的平均值，再根据平均值采用公式(3)计算得到每对客户端的类别向量的等效类别向量；采用公式(2)和公式(3)对每对客户端的类别向量计算n次，得到n个等效类别向量。
[0099]
需要说明的是，客户端无法通过等效类别向量还原类别向量wi和wj，因为任意关于对称且与在同一个半圆上的两个类别向量wi和wj都能通过公式(2)和公式(3)得到等效类别向量等效类别向量保证了不泄露类别向量对应的客户端的信息，同时，在任何情况下，当客户端训练其类别向量远离等效类别向量时，该客户端的类别向量也会远离类别向量wi和wj。
[0100]
可选地，图4为本发明提供的基于联邦学习的人脸识别模型训练方法的流程示意图之四，如图4所示，该方法包括：
[0101]
步骤410，服务器对第一骨干网络参数和客户端的第一类别向量进行初始化；服务器的等效类别向量生成器根据客户端的第一类别向量，对客户端的第一类别向量进行融合计算，得到等效类别向量矩阵。
[0102]
步骤420，服务器将第一骨干网络参数、客户端的第一类别向量和等效类别向量矩阵发送至客户端。
[0103]
步骤430，客户端接收第一骨干网络参数、类别向量和等效类别向量矩阵，并根据第一骨干网络参数、客户端的样本人脸图像、客户端的第一类别向量及等效类别向量矩阵，对人脸识别模型进行训练。在训练的过程中，客户端根据损失函数得到损失值，根据损失值判断人脸识别模型的训练程度，更新人脸识别模型的参数。
[0104]
步骤440，客户端将训练结束之后得到的人脸识别模型的目标骨干网络参数和客户端的第二类别向量发送至服务器。
[0105]
步骤450，服务器接收客户端发送的目标骨干网络参数和第二类别向量，并对目标骨干网络参数进行聚合，得到第二骨干网络参数。
[0106]
步骤460，服务器再将第二骨干网络参数和第二类别向量发送至客户端，使得客户端对人脸识别模型再次进行训练。
[0107]
需要说明的是，服务器接收客户端发送的目标骨干网络参数和第二类别向量，并对目标骨干网络参数进行聚合，得到全局人脸识别模型；服务器使用测试集中的人脸图像对第二骨干网络参数对应的全局人脸识别模型进行测试，每次使用两张人脸图像进行测试，得到全局人脸识别模型输出的两张人脸图像对应的特征向量，服务器根据两个特征向量比对两张人脸图像的相似度，再使用两张人脸图像的标签进行比对，如果标签相同，则说明两张人脸图像是同一个人，从而按照相同的方式得到人脸图像识别的准确率；当人脸图
像识别的准确率区域稳定时，人脸识别模型的训练结束，得到训练好的人脸识别模型。
[0108]
可选地，根据图1至图4对本发明提供的基于联邦学习的人脸识别模型训练方法的描述，本发明还提供一种应用于目标客户端的人脸识别方法，该方法包括：
[0109]
步骤1，获取用户的人脸图像。
[0110]
可选地，人脸图像可以通过手机、相机或者摄像机等拍摄方式进行获取，也可以通过读取已拍摄照片的方式获取。
[0111]
步骤2，将人脸图像输入至全局人脸识别模型，得到全局人脸识别模型输出的人脸图像的特征向量；其中，全局人脸识别模型是服务器通过聚合各个客户端的目标骨干网络参数得到的人脸识别模型。
[0112]
具体地，以目标客端为手机为例，预先存储一张人脸图像，即将该人脸图像输入至全局人脸识别模型中，得到该人脸图像的特征向量，在使用手机进行人脸识别的时候，手机拍到的人脸图像也输入至全局人脸识别模型中，得到此时人脸图像的特征向量。
[0113]
步骤3，目标客户端根据比对两张人脸图像的特征向量，确定两张人脸图像的特征向量的相似度，从而得到两张人脸图像的相似度。
[0114]
步骤4，将两张人脸图像的相似度与目标阈值进行比对。当两张人脸图像的相似度小于目标阈值时，说明两张人脸图像不相似，验证失败；当两张人脸图像的相似度大于目标阈值时，说明两张人脸图像相似，是同一个人，验证成功。
[0115]
下面对本发明提供的基于联邦学习的人脸识别模型训练装置进行描述，下文描述的基于联邦学习的人脸识别模型训练装置与上文描述的基于联邦学习的人脸识别模型训练方法可相互对应参照。
[0116]
图5为本发明提供的基于联邦学习的人脸识别模型训练装置的结构示意图之一，应用于目标客户端，如图5所示，该基于联邦学习的人脸识别模型训练装置500包括：第一接收模块501、训练模块502和第一发送模块503；其中，
[0117]
第一接收模块501，用于接收服务器发送的等效类别向量矩阵和第一骨干网络参数；所述等效类别向量矩阵包括：n个等效类别向量；所述n个等效类别向量由所述服务器对于c-m个候选客户端的类别向量进行融合计算得到；
[0118]
训练模块502，用于基于所述第一骨干网络参数、所述目标客户端的样本人脸图像、所述目标客户端的第一类别向量及所述等效类别向量矩阵，对人脸识别模型进行训练，得到目标人脸识别模型及所述目标客户端的第二类别向量；
[0119]
第一发送模块503，用于向所述服务器发送所述第二类别向量和所述目标人脸识别模型的目标骨干网络参数。
[0120]
本发明提供的基于联邦学习的人脸识别模型训练装置，通过接收服务器发送的等效类别向量矩阵和第一骨干网络参数，利用第一骨干网络参数、目标客户端的样本人脸图像、目标客户端的第一类别向量及等效类别向量矩阵，对目标客户端的人脸识别模型进行训练，得到目标客户端训练好的目标人脸识别模型及目标客户端的第二类别向量，并且向服务器发送第二类别向量和目标人脸识别模型的目标骨干网络参数，通过等效类别向量，使得各目标客户端之间不共享类别向量，保证了用户的隐私信息，而且提升了用户人脸识别的准确率。
[0121]
可选地，所述目标人脸识别模型的损失函数是基于所述样本人脸图像的特征向量
与所述目标客户端的第一类别向量之间的余弦相似度，以及所述样本人脸图像的特征向量与所述第一类别向量和所述等效类别向量矩阵之间的余弦相似度确定的。
[0122]
可选地，所述损失函数采用公式(1)表示：
[0123][0124]
其中，n表示所述目标客户端的样本人脸图像数量；表示第i个样本的类别向量与第i个样本的特征向量之间的余弦相似度，i表示客户端的样本，yi是第i个样本所示的类别；s
j,i
表示类别向量wj和第i个样本的特征向量之间的余弦相似度，j表示每个客户端的类别向量；c是指每个客户端的类别向量数量和等效类别向量数量之和。
[0125]
可选地，所述基于联邦学习的人脸识别模型训练装置600，还包括：
[0126]
第三发送模块，用于将所述目标客户端的第一标识发送至所述服务器；所述第一标识用于表示所述目标客户端。
[0127]
图6为本发明提供的基于联邦学习的人脸识别模型训练装置的结构示意图之二，应用于服务器，如图6所示，该基于联邦学习的人脸识别模型训练装置600包括：融合模块601、第二发送模块602、第二接收模块603和聚合模块604；其中，
[0128]
融合模块601，用于对c个候选客户端中c-m个候选客户端的类别向量进行融合计算，得到等效类别向量矩阵；其中，所述等效类别向量矩阵包括n个等效类别向量；
[0129]
第二发送模块602，用于向所述c个候选客户端中除所述c-m个候选客户端之外的m个候选客户端，分别发送第一骨干网络参数和所述等效类别向量矩阵；
[0130]
第二接收模块603，用于接收所述m个候选客户端中每个候选客户端发送的目标骨干网络参数和所述第二类别向量；
[0131]
聚合模块604，用于对所述m个候选客户端中每个候选客户端发送的目标骨干网络参数进行聚合，得到第二骨干网络参数。
[0132]
本发明提供的基于联邦学习的人脸识别模型训练装置，服务器通过对c-m个候选客户端的类别向量进行融合计算，得到等效类别向量矩阵；再分别将等效类别向量矩阵和第一骨干网络参数发送至m个候选客户端，用于m个候选客户端对人脸识别模型进行训练；在训练结束之后，服务器接收参与训练的m个候选客户端中每个候选客户端发送的目标骨干网络参数和第二类别向量；再对m个候选客户端中每个候选客户端发送的目标骨干网络参数进行聚合，得到第二骨干网络参数。通过等效类别向量，使得各m个候选客户端之间不共享类别向量，保证了用户的隐私信息，提升了用户人脸识别的准确率；同时，在训练结束之后，等效类别向量不需要发送至服务器，因此，对上传的带宽没有影响。
[0133]
可选地，融合模块604，具体用于：
[0134]
从所述c-m个候选客户端中随机选择n对客户端，分别对所述n对客户端中每对客户端的类别向量进行融合计算，得到n个等效类别向量。
[0135]
可选地，融合模块604，具体用于：
[0136]
分别对所述n对客户端中每对客户端的类别向量，采用公式(2)和公式(3)进行融
合计算，得到n个等效类别向量；
[0137][0138][0139]
其中，所述wi和wj表示所述每对客户端的类别向量；所述为所述wi和wj对应的等效类别向量。
[0140]
图7为本发明提供的一种目标客户端的实体结构示意图，如图7所示，该目标客户端700可以包括：处理器(processor)710、通信接口(communications interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行基于联邦学习的人脸识别模型训练方法，该方法包括：
[0141]
接收服务器发送的等效类别向量矩阵和第一骨干网络参数；所述等效类别向量矩阵包括：n个等效类别向量；所述n个等效类别向量由所述服务器对于c-m个候选客户端的类别向量进行融合计算得到；基于所述第一骨干网络参数、所述目标客户端的样本人脸图像、所述目标客户端的第一类别向量及所述等效类别向量矩阵，对人脸识别模型进行训练，得到目标人脸识别模型及所述目标客户端的第二类别向量；向所述服务器发送所述第二类别向量和所述目标人脸识别模型的目标骨干网络参数。
[0142]
可选地，本发明还提供的一种服务器，该服务器可以包括：处理器(processor)、通信接口(communications interface)、存储器(memory)和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信。处理器可以调用存储器中的逻辑指令，以执行基于联邦学习的人脸识别模型训练方法，该方法包括：
[0143]
对c个候选客户端中c-m个候选客户端的类别向量进行融合计算，得到等效类别向量矩阵；其中，所述等效类别向量矩阵包括n个等效类别向量；向所述c个候选客户端中除所述c-m个候选客户端之外的m个候选客户端，分别发送第一骨干网络参数和所述等效类别向量矩阵；接收所述m个候选客户端中每个候选客户端发送的目标骨干网络参数和所述第二类别向量；对所述m个候选客户端中每个候选客户端发送的目标骨干网络参数进行聚合，得到第二骨干网络参数。
[0144]
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0145]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述应用于目标客户端的基于联邦学习的人脸识别模型训练方法，该
方法包括：
[0146]
接收服务器发送的等效类别向量矩阵和第一骨干网络参数；所述等效类别向量矩阵包括：n个等效类别向量；所述n个等效类别向量由所述服务器对于c-m个候选客户端的类别向量进行融合计算得到；基于所述第一骨干网络参数、所述目标客户端的样本人脸图像、所述目标客户端的第一类别向量及所述等效类别向量矩阵，对人脸识别模型进行训练，得到目标人脸识别模型及所述目标客户端的第二类别向量；向所述服务器发送所述第二类别向量和所述目标人脸识别模型的目标骨干网络参数。
[0147]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述应用于服务器端的基于联邦学习的人脸识别模型训练方法，该方法包括：
[0148]
对c个候选客户端中c-m个候选客户端的类别向量进行融合计算，得到等效类别向量矩阵；其中，所述等效类别向量矩阵包括n个等效类别向量；向所述c个候选客户端中除所述c-m个候选客户端之外的m个候选客户端，分别发送第一骨干网络参数和所述等效类别向量矩阵；接收所述m个候选客户端中每个候选客户端发送的目标骨干网络参数和所述第二类别向量；对所述m个候选客户端中每个候选客户端发送的目标骨干网络参数进行聚合，得到第二骨干网络参数。
[0149]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述应用于目标客户端的基于联邦学习的人脸识别模型训练方法，该方法包括：
[0150]
接收服务器发送的等效类别向量矩阵和第一骨干网络参数；所述等效类别向量矩阵包括：n个等效类别向量；所述n个等效类别向量由所述服务器对于c-m个候选客户端的类别向量进行融合计算得到；基于所述第一骨干网络参数、所述目标客户端的样本人脸图像、所述目标客户端的第一类别向量及所述等效类别向量矩阵，对人脸识别模型进行训练，得到目标人脸识别模型及所述目标客户端的第二类别向量；向所述服务器发送所述第二类别向量和所述目标人脸识别模型的目标骨干网络参数。
[0151]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述应用于服务器的基于联邦学习的人脸识别模型训练方法，该方法包括：
[0152]
对c个候选客户端中c-m个候选客户端的类别向量进行融合计算，得到等效类别向量矩阵；其中，所述等效类别向量矩阵包括n个等效类别向量；向所述c个候选客户端中除所述c-m个候选客户端之外的m个候选客户端，分别发送第一骨干网络参数和所述等效类别向量矩阵；接收所述m个候选客户端中每个候选客户端发送的目标骨干网络参数和所述第二类别向量；对所述m个候选客户端中每个候选客户端发送的目标骨干网络参数进行聚合，得到第二骨干网络参数。
[0153]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性
的劳动的情况下，即可以理解并实施。
[0154]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0155]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。