一种基于对抗训练的联邦学习隐私保护方法及系统与流程

技术特征：
1.一种基于对抗训练的联邦学习隐私保护方法，其特征在于，所述方法应用于客户端，所述方法包括以下步骤：接收服务器发送的全局模型；根据本地计算能力和本地隐私需求，将所述全局模型划分为特征提取器和目标分类器，并从多个预设隐私分类器中，选择任一对应的所述预设隐私分类器作为本地隐私分类器，以及根据本地数据集和所述特征提取器，对所述目标分类器和所述本地隐私分类器进行对抗训练，得到本地训练信息；将所述本地训练信息上传至所述服务器，以使所述服务器根据所述本地训练信息，聚合更新所述全局模型。2.如权利要求1所述的联邦学习隐私保护方法，其特征在于，所述根据本地数据集和所述特征提取器，对所述目标分类器和所述本地隐私分类器进行对抗训练，得到本地训练信息的步骤包括：根据所述本地隐私分类器的损失函数、所述目标分类器的损失函数、以及预设隐私系数，确定对抗训练中所述特征提取器对应的特征提取损失函数；所述特征提取损失函数表示为：l(fe)＝(1
‑
λ)l(tc)
‑
λl(pc)式中，l(fe)、l(tc)和l(pc)分别表示特征提取损失函数、目标分类器的损失函数和本地隐私分类器的损失函数；λ表示预设隐私系数，且0≤λ≤1；根据本地数据集和所述特征提取器，采用所述特征提取损失函数对所述目标分类器和所述本地隐私分类器进行所述对抗训练，得到所述本地训练信息。3.如权利要求1或2所述联邦学习隐私保护方法，其特征在于，所述根据本地数据集和所述特征提取器，采用所述特征提取损失函数对所述目标分类器和所述本地隐私分类器进行所述对抗训练，得到所述本地训练信息的步骤包括：预先根据批次大小，将所述本地数据集划分为多个待训练数据集；所述批次大小与所述全局模型同时由所述服务器发送；依次根据所述待训练数据集，通过所述特征提取器，完成所述目标分类器和本地隐私分类器的所述对抗训练，并判定当前迭代次数是否达到预设迭代次数，若达到，则停止所述对抗训练，得到所述本地训练信息，反之，则继续采用所述待训练数据集进行所述对抗训练。4.一种基于对抗训练的联邦学习隐私保护方法，其特征在于，所述方法应用于服务器，所述方法包括以下步骤：预先确定参与联邦学习的多个客户端，并向各个客户端发送全局模型，以使各个客户端根据本地计算能力和本地隐私需求，将所述全局模型划分为特征提取器和目标分类器，选取本地隐私分类器，并根据本地数据集、预设隐私系数和所述特征提取器，对所述目标分类器和所述本地隐私分类器进行对抗训练，得到本地训练信息；响应于各个客户端上传所述本地训练信息，根据所有所述本地训练信息，聚合更新所述全局模型；检测所述全局模型是否收敛，若收敛，则停止训练，反之，则将所述全局模型发送给各个客户端，继续迭代训练。
5.如权利要求4所述的联邦学习隐私保护方法，其特征在于，所述本地训练信息包括本地模型、本地数据集大小、分类准确率及所述预设隐私系数；所述响应于各个客户端上传所述本地训练信息，根据所有所述本地训练信息，聚合更新所述全局模型的步骤包括：分别根据各个客户端的本地数据集大小、分类准确率及预设隐私系数的加权聚合，得到对应的权重分配指标；根据各个客户端的所述权重分配指标为所有客户端分配对应的聚合权重系数；根据所述聚合权重系数对所述本地模型进行加权平均，更新所述全局模型。6.如权利要求4或5所述联邦学习隐私保护方法，其特征在于，所述预先确定参与联邦学习的多个客户端，并向各个客户端发送全局模型，以使各个客户端根据本地计算能力和本地隐私需求，将所述全局模型划分为特征提取器和目标分类器，选取本地隐私分类器，并根据本地数据集、预设隐私系数和所述特征提取器，对所述目标分类器和所述本地隐私分类器进行对抗训练，得到本地训练信息的步骤包括：预先确定批次大小；将所述批次大小与所述全局模型同时发送给各个客户端，以使各个客户端根据所述批次大小，将所述本地数据集划分为多个待训练数据集，并依次根据所述待训练数据集，通过所述特征提取器，完成所述目标分类器和本地隐私分类器的所述对抗训练。7.一种基于对抗训练的联邦学习隐私保护方法，其特征在于，所述方法包括以下步骤：服务器向多个客户端同时发送全局模型和批次大小；各个客户端根据本地计算能力和本地隐私需求，将所述全局模型划分为特征提取器和目标分类器，选取本地隐私分类器，根据预设隐私系数和所述本地隐私分类器，确定特征提取损失函数，根据所述批次大小将本地数据集划分批次，采用所述特征提取损失函数和所述特征提取器，对所述目标分类器和本地隐私分类器进行多批次多迭代对抗训练，得到本地训练信息，以及将所述本地训练信息上传至所述服务器；所述本地训练信息包括本地模型、本地数据集大小、分类准确率及所述预设隐私系数；所述服务器分别根据各个客户端的所述本地数据集大小、分类准确率和所述预设隐私系数，得到对应的权重分配指标，并根据所述权重分配指标为所有客户端分配对应的聚合权重系数，根据所述聚合权重系数对所述本地模型进行加权平均，更新所述全局模型。8.一种基于对抗训练的联邦学习隐私保护系统，其特征在于，所述系统应用于客户端，所述系统包括：第一任务模块，用于接收服务器发送的全局模型；第一训练模块，根据本地计算能力和本地隐私需求，将所述全局模型划分为特征提取器和目标分类器，并从多个预设隐私分类器中，选择任一对应的所述预设隐私分类器作为本地隐私分类器，以及根据本地数据集和所述特征提取器，对所述目标分类器和所述本地隐私分类器进行对抗训练，得到本地训练信息；第一聚合模块，用于将所述本地训练信息上传至所述服务器，以使所述服务器根据所述本地训练信息，聚合更新所述全局模型。9.一种基于对抗训练的联邦学习隐私保护系统，其特征在于，所述系统应用于服务器，所述系统包括：
第二任务模块，用于预先确定参与联邦学习的多个客户端，并向各个客户端发送全局模型，以使各个客户端根据本地计算能力和本地隐私需求，将所述全局模型划分为特征提取器和目标分类器，选取本地隐私分类器，并根据本地数据集、预设隐私系数和所述特征提取器，对所述目标分类器和所述本地隐私分类器进行对抗训练，得到本地训练信息；第二聚合模块，用于响应于各个客户端上传所述本地训练信息，根据所有所述本地训练信息，聚合更新所述全局模型；模型检测模块，用于检测所述全局模型是否收敛，若收敛，则停止训练，反之，则将所述全局模型发送给各个客户端，继续迭代训练。10.一种基于对抗训练的联邦学习隐私保护系统，其特征在于，所述系统包括服务器和多个客户端；所述服务器包括任务下发模块、模型聚合模块和模型检测模块；所述任务下发模块，用于向多个客户端同时发送全局模型和批次大小；所述模型聚合模块，用于分别根据各个客户端的所述本地数据集大小、分类准确率和所述预设隐私系数，得到对应的权重分配指标，并根据所述权重分配指标为所有客户端分配对应的聚合权重系数，根据所述聚合权重系数对所述本地模型进行加权平均，更新所述全局模型；所述模型检测模块，用于检测所述全局模型是否收敛，若收敛，则停止训练，反之，则将所述全局模型发送给各个客户端，继续迭代训练；所述客户端包括任务接收模块、数据划分模块和模型训练模块；所述任务接收模块，用于接收服务器发送的全局模型，根据本地计算能力和本地隐私需求，将所述全局模型划分为特征提取器和目标分类器，选取本地隐私分类器，根据预设隐私系数和所述本地隐私分类器，确定特征提取损失函数；所述数据划分模块，用于根据所述批次大小将本地数据集划分为多个待训练数据集；所述模型训练模块，用于依次根据所述待训练数据集，通过所述特征提取器和所述特征提取损失函数，完成所述目标分类器和所述本地隐私分类器的所述训练目标任务对应的对抗训练，并判定当前迭代次数是否达到预设迭代次数，若达到，则停止所述对抗训练，得到本地训练信息，以及将所述本地训练信息上传至所述服务器，反之，则继续采用所述待训练数据集进行所述对抗训练；所述本地训练信息包括本地模型、本地数据集大小、分类准确率及所述预设隐私系数。

技术总结
本发明公开了一种基于对抗训练的联邦学习隐私保护方法及系统，该方法包括：接收服务器发送的全局模型；根据本地计算能力和本地隐私需求，将所述全局模型划分为特征提取器和目标分类器，并从多个预设隐私分类器中，选择任一对应的所述预设隐私分类器作为本地隐私分类器，以及根据本地数据集和所述特征提取器，对所述目标分类器和所述本地隐私分类器进行对抗训练，得到本地训练信息；将所述本地训练信息上传至所述服务器，以使所述服务器根据所述本地训练信息，聚合更新所述全局模型。本发明不仅有效避免联邦学习内容级隐私的泄漏，而且减少了客户端与服务器的通信次数，有效提高联邦学习训练的准确率和效率，进一步提升联邦学习的服务质量。学习的服务质量。学习的服务质量。


技术研发人员：孙哲 殷丽华 胡宇 冯纪元 方滨兴 李超 李然 李丹
受保护的技术使用者：广州大学
技术研发日：2021.07.27
技术公布日：2021/11/4