基于差分隐私置乱模型的联邦协同蒸馏方法及系统

技术特征：
1.一种基于差分隐私置乱模型的联邦协同蒸馏方法，包括：联邦服务器通过无放回子采样方法对m个客户端进行随机采样，得到n个参与联邦训练的客户端，其中，m和n均为正整数，n<m；所述联邦服务器生成密钥和公共无标签数据集，并将所述密钥和所述公共无标签数据集发送到所述n个参与联邦训练的客户端；每个所述参与联邦训练的客户端利用自身的本地数据集对自身的本地分类器进行训练，得到n个训练完成的本地分类器；每个所述训练完成的本地分类器对所述公共无标签数据集进行预测，得到预测结果，并将所述预测结果进行加密后上传到混淆器中；所述混淆器利用shuffle方法对来自所述n个参与联邦训练的客户端的预测结果进行匿名和乱序处理，并将得到的n个处理结果上传到所述联邦服务器中，其中，所述shuffle方法用于实现隐私放大；所述联邦服务器将所述n个处理结果进行解密和聚合处理，得到软标签，并将所述软标签传输到下一轮参与联邦训练的客户端中，其中，所述软标签作为所述公共无标签数据集的标签。2.根据权利要求1所述的方法，其中，所述联邦服务器生成密钥和公共无标签数据集，并将所述密钥和所述公共无标签数据集发送到所述n个参与联邦训练的客户端包括：所述联邦服务器对联邦训练的轮次进行判断，得到判断结果；所述联邦服务器生成所述密钥和所述公共无标签数据集；所述联邦服务器对所述公共无标签数据集进行聚类处理，得到聚类后的无标签数据集；在所述判断结果是首轮联邦训练的情况下，通过所述联邦服务器将所述密钥和所述聚类后的无标签数据集发送到所述n个参与联邦训练的客户端中；在所述判断结果不是首轮联邦训练的情况下，所述联邦服务器将上一轮联邦训练的软标签、所述密钥以及所述聚类后的无标签数据集发送所述n个参与联邦训练的客户端中。3.根据权利要求2所述的方法，其中，所述联邦服务器对所述公共无标签数据集进行聚类处理，得到聚类后的无标签数据集包括：所述联邦服务器利用卷积神经网络对所述公共无标签数据集进行特征提取，得到提取结果；所述联邦服务器利用k平均聚类方法对所述提取结果进行聚类，得到聚类后的无标签数据集；其中，所述聚类后的无标签数据集与所述参与联邦训练的客户端的本地数据集具有相同的数据类型。4.根据权利要求1所述的方法，其中，每个所述参与联邦训练的客户端利用自身的本地数据集对自身的本地分类器进行训练，得到n个训练完成的本地分类器包括：所述参与联邦训练的客户端通过所述联邦服务器获取联邦训练的轮次信息；在所述轮次信息是首轮联邦训练的情况下，所述参与联邦训练的客户端将自身的本地数据集作为训练数据集，并用于对自身的本地分类器进行训练，得到训练完成的本地分类器；
在所述轮次信息不是首轮联邦训练的情况下，所述参与联邦训练的客户端将上一联邦训练轮次中从所述联邦服务器发送过来的软标签作为接收到的所述公共无标签数据集的标签，将带有软标签的公共数据集加入到所述本地数据集中，并利用新的本地数据集训练所述本地分类器，得到训练完成的本地分类器。5.根据权利要求1所述的方法，其中，每个所述训练完成的本地分类器对所述公共无标签数据集进行预测，得到预测结果，并将所述预测结果进行加密后上传到混淆器中包括：所述参与联邦训练的客户端利用自身训练完成的本地分类器对所述公共无标签数据集进行预测，得到预测结果；所述参与联邦训练的客户端获取联邦服务器的聚类结果，并根据所述聚类结果对所述预测结果进行平滑和隐私处理，得到处理结果；所述参与联邦训练的客户端利用所述密钥对所述处理结果进行加密，并将加密后的预测结果上传到所述混淆器中。6.根据权利要求5所述的方法，其中，所述参与联邦训练的客户端获取联邦服务器的聚类结果，并根据所述聚类结果对所述预测结果进行平滑和隐私处理，得到处理结果包括：所述参与联邦训练的客户端获取联邦服务器的聚类结果；所述参与联邦训练的客户端获取属于同一个聚类结果的预测结果的平均值；所述参与联邦训练的客户端将拉普拉斯噪声加入到平均值中，并将带噪声的平均值作为所述预测结果的标签，得到处理结果。7.根据权利要求1所述的方法，其中，所述联邦服务器将所述n个处理结果进行解密和聚合处理，得到软标签包括：所述联邦服务器对所述n个处理结果进行解密，得到n个解密结果；根据第一预设阈值，所述联邦服务器对n个解密结果进行第一次筛选，得到筛选结果；所述联邦服务器对所述筛选结果进行加权求平均，得到加权平均结果；根据第二预设阈值，所述联邦服务器对所述加权平均结果进行第二次筛选，得到所述软标签。8.一种基于差分隐私置乱模型的联邦协同蒸馏系统，包括：采样模块，用于联邦服务器通过无放回子采样方法对m个客户端进行随机采样，得到n个参与联邦训练的客户端，其中，m和n均为正整数，n<m；生成模块，用于所述联邦服务器生成密钥和公共无标签数据集，并将所述密钥和所述公共无标签数据集发送到所述n个参与联邦训练的客户端；分类器训练模块，用于每个所述参与联邦训练的客户端利用自身的本地数据集对自身的本地分类器进行训练，得到n个训练完成的本地分类器；预测处理模块，用于每个所述训练完成的本地分类器对所述公共无标签数据集进行预测，得到预测结果，并将所述预测结果进行加密后上传到混淆器中；隐私放大模块，用于所述混淆器利用shuffle方法对来自所述n个参与联邦训练的客户端的预测结果进行匿名和乱序处理，并将得到的n个处理结果上传到所述联邦服务器中，其中，所述shuffle方法用于实现隐私放大；软标签获取模块，用于所述联邦服务器将所述n个处理结果进行解密和聚合处理，得到软标签，并将所述软标签传输到下一轮参与联邦训练的客户端中，其中，所述软标签作为所
述公共无标签数据集的标签。9.一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求1~7中任一项所述的方法。10.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1~7中任一项所述的方法。

技术总结
本发明公开了一种基于差分隐私置乱模型的联邦协同蒸馏方法及系统。该方法包括：联邦服务器通过无放回子采样方法对客户端进行随机采样，得到参与联邦训练的客户端；联邦服务器生成密钥和公共无标签数据集，并将密钥和公共无标签数据集发送到参与联邦训练的客户端；参与联邦训练的客户端利用本地数据集对本地分类器进行训练，得到训练完成的本地分类器；训练完成的本地分类器对公共无标签数据集进行预测，得到预测结果，并将预测结果进行加密后上传到混淆器中；混淆器对预测结果进行匿名和乱序处理，并将得到的处理结果上传到联邦服务器中；联邦服务器将处理结果进行解密和聚合处理，得到软标签，并将软标签传输到下一轮参与联邦训练的客户端中。与联邦训练的客户端中。与联邦训练的客户端中。


技术研发人员：杨威 辛邦洲 黄刘生
受保护的技术使用者：中国科学技术大学
技术研发日：2022.10.17
技术公布日：2022/11/11