基于联邦蒸馏的联邦学习模型的训练方法、系统和介质与流程

技术特征：
1.一种基于联邦蒸馏的联邦学习模型的训练方法，其特征在于，包括以下步骤：客户端采用联邦学习算法，基于本地私有数据集训练并更新本地模型；所述客户端采用公共数据集和更新后的所述本地模型预测局部归一化层的第一输出向量，并向服务器上传所述第一输出向量对应的局部平均输出向量；服务器对所有所述局部平均输出向量进行全局共识操作并确定全局平均输出向量，向所有所述客户端下发所述全局平均输出向量；所述客户端在所述公共数据集上，采用所述全局平均输出向量和更新后的所述本地模型进行知识蒸馏，并在所述本地私有数据集上训练回调本地模型。2.根据权利要求1所述的一种基于联邦蒸馏的联邦学习模型的训练方法，其特征在于，在执行所述客户端采用联邦学习算法，基于本地私有数据集训练并更新本地模型这一步骤之前，所述方法还包括以下步骤：所述服务器向每个所述客户端发送初始化模型。3.根据权利要求1所述的一种基于联邦蒸馏的联邦学习模型的训练方法，其特征在于，所述客户端与服务器之间传输模型平均输出向量。4.根据权利要求1所述的一种基于联邦蒸馏的联邦学习模型的训练方法，其特征在于，所述客户端更新本地模型，包括：获取部分所述本地私有数据集；确定本地模型的目标函数对应的梯度信息；根据所述梯度信息和所述本地私有数据集，采用迭代一阶方式获取近似值。5.根据权利要求1所述的一种基于联邦蒸馏的联邦学习模型的训练方法，其特征在于，在所述客户端采用公共数据集和更新后的所述本地模型预测局部归一化层的第一输出向量之前，所述方法还包括以下步骤：计算每个标签的第二输出向量。6.根据权利要求1所述的一种基于联邦蒸馏的联邦学习模型的训练方法，其特征在于，所述客户端在所述公共数据集上，采用所述全局平均输出向量和更新后的所述本地模型进行知识蒸馏，包括：所述客户端根据所述全局平均输出向量，控制更新后的所述本地模型，采用知识蒸馏学习所述公共数据集上的共识信息。7.根据权利要求1-6任一项所述的一种基于联邦蒸馏的联邦学习模型的训练方法，其特征在于，所述归一化层包括softmax层；所述第一输出向量包括softmax层输出的logit向量。8.一种基于联邦蒸馏的联邦学习模型的训练系统，其特征在于，包括：客户端，所述客户端采用联邦学习算法，基于本地私有数据集训练并更新本地模型；采用公共数据集和更新后的所述本地模型预测局部归一化层的第一输出向量，并向服务器上传所述第一输出向量对应的局部平均输出向量；以及在所述公共数据集上，采用服务器下发的全局平均输出向量和更新后的所述本地模型进行知识蒸馏，并在所述本地私有数据集上训练回调本地模型；服务器，所述服务器对所有所述局部平均输出向量进行全局共识操作并确定全局平均输出向量，向所有所述客户端下发所述全局平均输出向量。
9.一种基于联邦蒸馏的联邦学习模型的训练系统，其特征在于，包括：至少一个存储器，用于存储程序；至少一个处理器，用于加载所述程序以执行如权利要求1-7任一项所述的基于联邦蒸馏的联邦学习模型的训练方法。10.一种存储介质，其特征在于，其中存储有计算机可执行的程序，所述计算机可执行的程序被处理器执行时用于实现如权利要求1-7任一项所述的基于联邦蒸馏的联邦学习模型的训练方法。

技术总结
本发明公开了一种基于联邦蒸馏的联邦学习模型的训练方法、系统和介质，可应用于模型处理技术领域。本发明方法包括：客户端采用联邦学习算法和本地私有数据集训练并更新本地模型，采用公共数据集和更新后的本地模型预测局部归一化层的第一输出向量，并向服务器上传第一输出向量对应的局部平均输出向量；服务器对所有局部平均输出向量进行全局共识操作并确定全局平均输出向量，向所有客户端下发所述全局平均输出向量；客户端在公共数据集上，采用全局平均输出向量和更新后的本地模型进行知识蒸馏，并在本地私有数据集上训练回调本地模型。本发明能使通信成本只取决于模型输出，不会随模型大小倍数增加，从而有效提高通讯的稳定性和减少延迟。稳定性和减少延迟。稳定性和减少延迟。


技术研发人员：朱佳 马晓东 黄昌勤
受保护的技术使用者：浙江师范大学
技术研发日：2021.11.09
技术公布日：2022/3/7