一种联邦学习模型安全聚合与分布式训练方法及系统

本发明属于联邦学习与信息安全，具体地说是一种联邦学习模型安全聚合与分布式训练方法及系统。

背景技术：

1、联邦学习（federated learning, fl）作为一种分布式机器学习范式，允许多个客户端在不上传本地原始数据的情况下协作训练全局模型，有效解决了数据孤岛与隐私保护之间的矛盾。然而，联邦学习在实际部署中面临严峻的安全与隐私挑战。

2、联邦学习系统通常假设所有参与方是诚实可信的，这一假设在开放或半开放的分布式环境中难以成立。恶意客户端可通过构造“有毒”的本地模型更新发起模型投毒攻击（model poisoning attack），或通过篡改本地训练数据发起数据投毒攻击（datapoisoning attack），严重破坏全局模型的准确性与收敛性。现有防御方法如krum算法、trimmed mean等拜占庭鲁棒聚合算法在面对高比例恶意节点或数据高度异构（non-iid）场景时防御性能显著下降。

3、研究表明，恶意服务器或第三方可通过分析客户端上传的梯度信息反推训练数据中的敏感信息，即使在联邦学习框架下，参与方的隐私仍面临严重威胁。传统安全聚合协议虽能在一定程度上保护梯度隐私，但在恶意多数（dishonest majority）场景下的安全性保障不足。

4、现有联邦学习系统中，服务器执行的聚合操作缺乏有效的验证机制，恶意服务器可能篡改聚合结果或返回错误模型，而客户端无法辨别聚合结果的正确性。这一“单点信任”问题严重制约了联邦学习在医疗、金融等高安全需求场景中的应用。在安全聚合场景下，客户端的本地模型更新被加密隐藏，如何在不泄露隐私的前提下公平评估各客户端对全局模型的贡献度，并据此设计合理的激励与惩罚机制，是联邦学习生态可持续发展面临的关键难题。

5、目前已有研究尝试结合同态加密、差分隐私、零知识证明等技术来增强联邦学习的安全性，但现有方案往往仅解决单一维度的安全问题，缺乏将恶意客户端检测、梯度隐私保护、聚合结果可验证与贡献度评估进行系统性融合的完整解决方案。部分方案在引入安全机制的同时带来了过高的计算与通信开销，难以在实际大规模分布式场景中部署应用。

6、综上所述，亟需一种能够同时抵御投毒攻击、保护梯度隐私、实现聚合结果可验证并支持贡献度公平评估的联邦学习安全聚合与分布式训练方法。

7、本背景技术所公开的上述信息仅仅用于增加对本发明背景技术的理解，因此，其可能包括不构成本领域普通技术人员已知的现有技术。

技术实现思路

1、本发明的目的是提供一种联邦学习模型安全聚合与分布式训练方法及系统，以解决现有技术中的问题。

2、为了实现上述目的，本发明提供如下技术方案：一种联邦学习模型安全聚合与分布式训练方法，包括以下步骤：

3、步骤s1：中央服务器初始化全局模型参数w(0)，设定联邦学习训练的总轮数t、每轮参与客户端数量阈值k和安全参数，并将初始全局模型参数及训练配置信息广播至所有参与联邦学习的客户端u={u1,u2,…,un}，其中n为客户端总数；

4、步骤s2：每一轮训练t中，被选中的客户端子集st⊆u分别执行本地模型训练，使用本地私有数据集更新本地模型参数，得到本地模型更新，并采用同态加密算法对所述本地模型更新进行加密后上传至中央服务器；

5、步骤s3：中央服务器接收所有参与客户端的加密更新后，执行多层级恶意客户端检测机制，生成合法客户端集合；

6、步骤s4：中央服务器对所述合法客户端集合的加密更新执行同态聚合操作，并在聚合结果上添加自适应差分隐私噪声，生成加噪聚合密文；

7、步骤s5：各客户端接收所述加噪聚合密文后，利用同态加密私钥进行解密，并独立验证聚合结果的正确性，若验证通过则接受本轮聚合结果，若验证失败则触发重新聚合流程；

8、步骤s6：验证通过后，各客户端根据所述加噪聚合结果更新全局模型，中央服务器基于各客户端的历史行为与当前轮次贡献计算各客户端的贡献度评分，并更新客户端的信誉值；

9、步骤s7：重复执行步骤s2至步骤s6，直至达到预设训练轮数t或全局模型损失函数收敛，输出最终全局模型参数w(t)。

10、优选的，所述步骤s3中多层级恶意客户端检测机制包括以下子步骤：

11、步骤s3.1：第一层级检测，中央服务器计算各客户端本地模型更新与上一轮全局模型之间的kl散度，若，则将客户端ui标记为可疑客户端，其中为预设的kl散度阈值；

12、步骤s3.2：第二层级检测，对于通过第一层级筛选的客户端集合，中央服务器计算各客户端更新与所有客户端更新均值向量之间的余弦相似度，其中，若<，则将客户端ui标记为恶意客户端，其中为预设的余弦相似度阈值；

13、步骤s3.3：第三层级检测，对于经过前两层筛选的客户端集合，中央服务器构建隔离森林模型，以各客户端更新的统计特征作为输入，输出异常分数si，若si>τif，则将对应客户端标记为恶意客户端，其中τif为预设的隔离森林异常阈值；

14、步骤s3.4：中央服务器将三层检测结果综合，生成合法客户端集合：

15、

16、其中、、分别表示客户端ui在各层级检测中被标记为恶意的指示变量。

17、优选的，所述步骤s4具体包括：

18、步骤s4.1：中央服务器对合法客户端集合的加密更新执行同态聚合操作：

19、

20、其中⨁表示同态加法运算，为同态加密公钥下的加密函数；

21、步骤s4.2：中央服务器在聚合结果上添加自适应高斯噪声以实现差分隐私保护：

22、

23、其中噪声标准差根据当前轮次的隐私预算消耗进行自适应调整：

24、

25、为第t轮的差分隐私预算分配值，为全局敏感度，为隐私失效概率；

26、步骤s4.3：服务器将加噪后的聚合密文广播至所有参与客户端。

27、优选的，所述步骤s4.2中的差分隐私预算分配采用动态分配策略：

28、

29、其中为总隐私预算，为分配曲线的形状参数，>0表示训练后期分配更多的隐私预算；所述全局敏感度定义为，并对客户端梯度进行裁剪操作，其中c为裁剪阈值。

30、优选的，所述步骤s5中聚合结果验证具体包括：

31、步骤s5.1：各客户端ui接收到聚合密文后，利用同态加密私钥sk进行解密，得到加噪后的全局模型更新；

32、步骤s5.2：各客户端独立验证聚合结果的正确性，客户端ui利用自身本地更新以及从其他客户端接收到的验证标签，验证等式是否成立，其中为客户端uj生成的聚合验证标签；

33、步骤s5.3：若验证通过，则客户端接受本轮聚合结果；若验证失败，则客户端向服务器发送验证失败报告，若超过阈值θ的客户端报告验证失败，则触发重新聚合流程。

34、优选的，所述验证标签的生成方式为：

35、

36、其中h(⋅)为抗碰撞哈希函数，为客户端ui的随机混淆因子，为一次性随机数；所述验证标签使用客户端私钥ski进行数字签名后上传至中央服务器；中央服务器将所有合法客户端的验证标签进行同态聚合生成全局验证标签；客户端验证时计算，其中为服务器公开的聚合随机数。

37、优选的，所述步骤s6中贡献度评分的计算公式为：

38、

39、其中为客户端ui本地模型在验证集上的准确率，为客户端更新与全局更新方向的余弦相似度，为客户端的历史信誉评分：

40、

41、、、为权重系数且；客户端信誉值更新公式为：

42、

43、其中∈(0,1)为衰减因子。

44、优选的，所述步骤s2中的同态加密采用paillier同态加密方案或模分量同态加密方案，加密操作定义为：

45、

46、其中为明文模型参数，为随机混淆因子，(n,g)为公钥；同态加法运算定义为：

47、

48、模数n的长度设定为2048位，满足的安全要求。

49、一种联邦学习模型安全聚合与分布式训练系统，用于执行上述的方法，包括：

50、中央服务器，配置有全局模型管理模块、安全聚合模块、恶意客户端检测模块、差分隐私保护模块、聚合结果验证模块和贡献度评估模块；

51、若干个客户端，每个客户端配置有本地模型训练模块、同态加密模块、数字签名模块和聚合结果验证子模块；

52、安全通信网络，连接中央服务器与各客户端，用于加密传输模型参数与验证信息。

53、优选的，所述恶意客户端检测模块包括：基于kl散度的初步筛选单元、基于余弦相似度的方向一致性检测单元和基于隔离森林的异常检测单元；所述差分隐私保护模块包括隐私预算动态分配单元、全局敏感度计算单元和自适应高斯噪声添加单元；所述聚合结果验证模块包括验证标签生成单元、验证标签聚合单元和客户端独立验证单元；所述贡献度评估模块包括本地准确率评估单元、方向相似度计算单元、历史信誉整合单元和信誉值更新单元。

54、与现有技术相比，本发明具有如下有益效果：

55、1.本发明创新性地构建了“kl散度初步筛选—余弦相似度方向一致性检测—隔离森林异常检测”三层级联的恶意客户端检测机制，相比单一检测方法，三层级联检测能够从分布差异、方向一致性和多维统计异常三个不同维度综合识别恶意行为，有效应对标签翻转攻击、模型投毒攻击等多种攻击类型，即使在non-iid数据场景和高比例恶意节点环境下仍能保持较高的检测准确率。实验表明，本发明的三层检测机制相比单一krum算法在攻击场景下的模型准确率有所提升。

56、2.本发明采用模分量同态加密对客户端本地模型更新进行端到端加密，服务器在密文域上直接执行聚合操作，全程无法接触客户端明文梯度；同时，在聚合结果上添加自适应高斯噪声，实现差分隐私保护，双重隐私保护机制能够有效抵御梯度反演攻击和差分隐私攻击，在保护强度与模型精度之间实现了良好的平衡。

57、3.本发明设计了基于同态哈希和验证标签的聚合结果可验证机制，各客户端能够独立验证服务器聚合结果的正确性，一旦服务器行为异常或聚合结果被篡改，客户端可及时发现并触发重新聚合流程，有效消除了对中央服务器的单点信任依赖，显著提升了系统的可信度。

58、4.本发明提出了融合本地准确率、更新方向一致性和历史信誉的多维度贡献度评估方法，能够在保护各客户端梯度隐私的前提下公平量化每个客户端对全局模型的贡献，基于贡献度评分的信誉更新机制为设计合理的激励与惩罚措施提供了量化依据，有助于吸引更多高质量数据持有方参与联邦学习。

59、5.本发明将恶意检测、隐私保护、结果验证与贡献评估有机整合为统一的技术框架，各模块之间协同工作而非简单叠加，恶意检测模块的输出直接服务于安全聚合模块，而贡献度评估模块又反过来为恶意检测提供历史行为参考，形成了检测、聚合、验证、评估、反馈的闭环安全增强体系，在保证安全性的同时控制了计算与通信开销。