联邦学习方法、装置、设备及存储介质与流程

技术特征：
1.一种联邦学习方法，其特征在于，所述方法应用于服务器，所述方法包括：将目标模型的第一全局参数发送给第一终端，所述第一终端用于基于第一数据集对具有所述第一全局参数的目标模型进行训练，基于训练得到的第一本地参数获取用于对所述第一全局参数进行更新的第一本地更新信息，返回所述第一本地更新信息；基于所述第一本地更新信息，获取满足攻击防御条件的第一目标更新信息；基于所述第一全局参数和所述第一目标更新信息，获取所述目标模型的第一聚合参数；响应于具有所述第一聚合参数的目标模型满足目标终止条件，完成联邦学习任务。2.根据权利要求1所述的方法，其特征在于，所述第一本地更新信息为基于所述第一本地参数和所述第一全局参数确定的未量化的更新信息；所述基于所述第一本地更新信息，获取满足攻击防御条件的第一目标更新信息，包括：获取所述第一本地更新信息对应的目标质量指标，所述第一本地更新信息对应的目标质量指标用于衡量所述第一本地更新信息为非攻击更新信息的可信程度；将满足参考条件的目标质量指标对应的第一本地更新信息作为候选更新信息，基于所述候选更新信息，获取满足攻击防御条件的第一目标更新信息。3.根据权利要求2所述的方法，其特征在于，所述候选更新信息的数量为至少两个，所述基于所述候选更新信息，获取满足攻击防御条件的第一目标更新信息，包括：基于至少两个候选更新信息，确定至少两个候选更新信息组，任一候选更新信息组中包括至少一个候选更新信息；基于所述第一全局参数和所述任一候选更新信息组中包括的各个候选更新信息对应的第一本地参数，确定所述任一候选更新信息组对应的参数变化指标；基于所述至少两个候选更新信息组分别对应的参数变化指标，在所述至少两个候选更新信息组中，确定满足第一条件的参数变化指标对应的第一更新信息组；在所述第一更新信息组中，确定目标更新信息组，将所述目标更新信息组中包括的各个候选更新信息作为满足攻击防御条件的第一目标更新信息。4.根据权利要求3所述的方法，其特征在于，所述第一更新信息组的数量为至少两个，所述在所述第一更新信息组中，确定目标更新信息组，包括：将任一第一更新信息组中包括的各个候选更新信息对应的目标质量指标之和作为所述任一第一更新信息组对应的汇总质量指标；基于至少两个第一更新信息组分别对应的汇总质量指标，在所述至少两个第一更新信息组中，确定满足第二条件的汇总质量指标对应的第二更新信息组；在所述第二更新信息组中，确定目标更新信息组。5.根据权利要求2
‑
4任一所述的方法，其特征在于，所述第一本地更新信息对应的目标质量指标包括第一质量指标，所述获取所述第一本地更新信息对应的目标质量指标，包括：对返回所述第一本地更新信息的第一终端历史返回的全部本地更新信息进行汇总，得到所述第一本地更新信息对应的第一汇总更新信息；获取所述第一全局参数对应的第二汇总更新信息，所述第二汇总更新信息用于指示所述服务器对所述目标模型的更新情况；基于所述第一汇总更新信息和所述第二汇总更新信息之间的相似度，确定所述第一本地更新信息对应的第一质量指标，所述第一质量指标用于从汇总更新信息之间的相似度的
角度衡量所述第一本地更新信息为非攻击更新信息的可信程度。6.根据权利要求2
‑
4任一所述的方法，其特征在于，所述第一本地更新信息对应的目标质量指标包括第二质量指标；所述获取所述第一本地更新信息对应的目标质量指标，包括：基于所述第一本地更新信息对应的第一本地参数和所述第一全局参数之间的分布距离，确定所述第一本地更新信息对应的第二质量指标，所述第二质量指标用于从参数之间的分布距离的角度衡量所述第一本地更新信息为非攻击更新信息的可信程度。7.根据权利要求1所述的方法，其特征在于，所述第一本地更新信息为所述第一终端利用目标量化阈值和目标量化等级对原更新信息进行量化得到的更新信息，所述原更新信息为基于所述第一本地参数和所述第一全局参数确定的未量化的更新信息，所述目标量化阈值用于保证所述第一本地更新信息的解量化信息与所述原更新信息之间满足对称条件；所述第一终端还用于返回所述目标量化阈值和所述目标量化等级；所述基于所述第一本地更新信息，获取满足攻击防御条件的第一目标更新信息，包括：基于所述目标量化阈值和所述目标量化等级，对所述第一本地更新信息进行解量化，得到所述第一本地更新信息的解量化信息；在所述第一本地更新信息的解量化信息中，选取满足攻击防御条件的第一目标更新信息。8.根据权利要求1
‑
4、7任一所述的方法，其特征在于，所述基于所述第一全局参数和所述第一目标更新信息，获取所述目标模型的第一聚合参数，包括：获取所述第一目标更新信息对应的几何中位数信息；在所述第一全局参数的基础上，对所述第一目标更新信息对应的几何中位数信息进行聚合，得到所述目标模型的第一聚合参数。9.根据权利要求1
‑
4、7任一所述的方法，其特征在于，所述联邦学习任务为半监督联邦学习任务，所述第一数据集为无标准标签的数据集，所述服务器具有用于对所述目标模型进行训练的有标准标签的第二数据集；所述将目标模型的第一全局参数发送给第一终端之前，所述方法还包括：基于所述第二数据集对具有参考参数的目标模型进行训练，得到所述目标模型的第一全局参数。10.根据权利要求9所述的方法，其特征在于，所述基于所述第二数据集对具有参考参数的目标模型进行训练，得到所述目标模型的第一全局参数，包括：对所述第二数据集进行数据增强处理，得到增强数据集，所述增强数据集包括增强样本，所述增强样本对应有标准标签；调用所述具有所述参考参数的目标模型，获取所述增强样本对应的预测结果；基于所述增强样本对应的预测结果和所述增强样本对应的标准标签，获取目标损失函数；利用所述目标损失函数对所述参考参数进行更新，得到更新后的参数；基于所述更新后的参数，获取所述目标模型的第一全局参数。11.根据权利要求9或10所述的方法，其特征在于，所述获取所述目标模型的第一聚合参数之后，所述方法还包括：响应于具有所述第一聚合参数的目标模型不满足所述目标终止条件，基于所述第二数
据集对具有所述第一聚合参数的目标模型进行训练，得到所述目标模型的第二全局参数；将所述目标模型的第二全局参数发送给第二终端，所述第二终端用于基于无标准标签的第一数据集对具有所述第二全局参数的目标模型进行训练，基于训练得到的第二本地参数获取用于对所述第二全局参数进行更新的第二本地更新信息，返回所述第二本地更新信息；基于所述第二本地更新信息，获取满足攻击防御条件的第二目标更新信息；基于所述第二全局参数和所述第二目标更新信息，获取所述目标模型的第二聚合参数；响应于具有所述第二聚合参数的目标模型满足所述目标终止条件，完成所述半监督联邦学习任务。12.一种联邦学习装置，其特征在于，所述装置包括：发送单元，用于将目标模型的第一全局参数发送给第一终端，所述第一终端用于基于第一数据集对具有所述第一全局参数的目标模型进行训练，基于训练得到的第一本地参数获取用于对所述第一全局参数进行更新的第一本地更新信息，返回所述第一本地更新信息；第一获取单元，用于基于所述第一本地更新信息，获取满足攻击防御条件的第一目标更新信息；第二获取单元，用于基于所述第一全局参数和所述第一目标更新信息，获取所述目标模型的第一聚合参数；响应于具有所述第一聚合参数的目标模型满足目标终止条件，完成联邦学习任务。13.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以实现如权利要求1至11任一所述的联邦学习方法。14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行，以实现如权利要求1至11任一所述的联邦学习方法。

技术总结
本申请公开了联邦学习方法、装置、设备及存储介质。方法包括：将目标模型的第一全局参数发送给第一终端，第一终端用于基于第一数据集对具有第一全局参数的目标模型进行训练，基于训练得到的第一本地参数获取第一本地更新信息，返回第一本地更新信息；基于第一本地更新信息，获取满足攻击防御条件的第一目标更新信息；基于第一全局参数和第一目标更新信息，获取目标模型的第一聚合参数；响应于具有第一聚合参数的目标模型满足目标终止条件，完成联邦学习任务。上述过程，增加了对联邦学习过程中的攻击问题的考虑，获取聚合参数的过程能够一定程度上抵御恶意终端的攻击，有利于提高联邦学习的安全性和可靠性，进而提高联邦学习得到的模型的性能。到的模型的性能。到的模型的性能。


技术研发人员：刘毅 赵瑞辉
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：2021.01.05
技术公布日：2021/10/19