一种联邦学习自适应加权聚合与更新压缩方法

本发明涉及人工智能、分布式机器学习和隐私计算，具体涉及一种联邦学习自适应加权聚合与更新压缩方法。

背景技术：

1、联邦学习是一种面向多参与方、多数据源和多终端环境的分布式机器学习技术。其基本思想是在不直接汇聚原始数据的前提下，由服务器端下发全局模型，各客户端利用本地数据完成模型训练并上传模型参数或模型更新，服务器端再对来自多个客户端的更新进行聚合，从而获得具有全局泛化能力的模型。与集中式训练相比，联邦学习能降低原始数据跨机构、跨地域或跨设备流动带来的隐私合规风险，并有利于打破数据孤岛。

2、传统联邦平均算法通常按照客户端本地样本数量对本地模型参数或模型更新进行加权平均。该方法结构简单、易于实现，但默认样本量越大的客户端贡献越大，无法充分识别客户端训练过程是否稳定、更新方向是否与全局优化方向一致、局部模型是否受到数据异构影响而产生偏移。

3、另一方面，联邦学习需要在多轮通信中反复上传和下发高维神经网络参数。随着卷积神经网络、残差网络和视觉分类模型的参数规模增大，上行上传本地模型更新会消耗大量通信带宽；在移动终端、边缘网关、车载设备和工业现场网络中，通信开销常成为限制联邦学习部署的重要瓶颈。固定比例 top-k 稀疏化、量化或梯度压缩等方法能够降低通信成本，但往往忽略不同参数、不同层级和不同训练阶段的重要性差异。

4、现有方案中，客户端聚合权重与压缩策略通常被分开设计：聚合阶段关注“哪些客户端贡献更可信”，压缩阶段关注“哪些参数需要上传”。二者之间缺少协同机制，导致客户端训练稳定性不能有效指导压缩强度，压缩后的稀疏更新也难以与动态权重聚合充分匹配。因此，需要一种能够同时考虑客户端级训练稳定性、参数级重要性、层级差异和训练阶段反馈的联邦学习方法。

技术实现思路

1、本发明的目的在于提供一种联邦学习自适应加权聚合与更新压缩方法，用于解决现有联邦学习在 non-iid 数据环境下客户端贡献度难以准确评价、局部模型漂移影响全局收敛、以及高维模型更新反复上传造成通信资源消耗过高等技术问题。

2、为解决上述问题，本发明构建由服务器端和多个客户端协同执行的“训练稳定性评估—动态加权聚合—重要性驱动压缩—反馈调控”一体化技术方案。客户端侧负责本地训练、稳定性统计、更新特征提取、参数重要性评分和稀疏上传；服务器端负责模型下发、客户端选择、动态权重计算、稀疏更新重构、全局模型评估和压缩比例调节。

3、在该方案中，原始训练样本始终保存在客户端本地，服务器端仅接收稀疏模型更新、掩码索引以及用于聚合和调控的必要元信息。该设计使聚合权重、上传参数选择和通信预算控制之间形成闭环，而不是将聚合策略与压缩策略孤立处理。

4、为便于说明，全文中  表示客户端编号， 表示模型参数坐标， 表示模型层编号， 表示联邦通信轮次；上标  表示第  轮对应变量，下标 、、 分别表示客户端、参数坐标和网络层维度。若未特别限定，向量范数为二范数， 为避免除零的正常数。

5、具体地，设客户端集合为 ，第  轮参与训练的客户端集合为 ，服务器端全局模型参数为 ，客户端  的本地数据集为 ，本地样本数为 。服务器端在每一轮向参与客户端下发  及参考方向 ，客户端在本地最小化经验风险：

6、

7、客户端完成  个本地训练轮次后得到 ，并形成模型更新 。参数变化率  用于衡量本地训练对全局模型的偏离程度。

8、其中， 为输入样本， 为输入样本  对应的标签， 为客户端本地样本数量， 为损失函数， 为模型映射函数， 为本地训练轮次数， 为参数变化率，为防止分母为零的正常数。

9、为评价客户端本轮更新是否可靠，本发明基于滑动窗口  统计损失序列 、梯度范数序列  和参数变化率 ，分别得到损失稳定性、梯度稳定性和参数变化稳定性：

10、

11、对任一子指标  在参与客户端集合  内进行归一化：

12、

13、综合训练稳定性得分为：

14、

15、其中， 表示对滑动窗口 w 内的序列计算方差的运算，

16、 为客户端  在滑动窗口  内的损失序列， 为梯度范数序列， 为梯度方差缩放系数；、、分别表示归一化前的损失、梯度和参数变化稳定性子指标，表示归一化后的第类子指标； 、、 为三个子指标权重，三者非负且满足 ，稳定性得分越高，表示该客户端在近期训练中损失波动较小、梯度变化较平稳且参数偏离程度较低；稳定性得分越低，则说明该客户端可能受局部类别偏斜、样本噪声或训练不充分影响较大。

17、上述子指标在参与客户端集合  内归一化后，按非负权重 、 和 融合得到训练稳定性得分 ，三项权重之和为 1。除训练过程稳定性外，本发明还利用更新方向相似度评价客户端更新与全局优化趋势的一致性。客户端完整更新  与参考方向  的余弦相似度表示为：

18、

19、服务器端将  归一化为 ，并根据训练进度确定阶段混合系数 ，进而计算客户端聚合权重：

20、

21、训练早期可适当提高稳定性得分的影响，以减弱噪声客户端或漂移客户端对全局模型的扰动；训练中后期可提高更新方向一致性的影响，使聚合更加贴近全局优化方向。

22、为降低上行通信量，本发明不要求客户端上传完整模型更新，而是对每个参数坐标构造重要性评分。对于参数坐标 ，梯度幅度分量、对角 fisher 信息分量和历史更新分量分别为：

23、

24、对 、 和  分别归一化后得到 、 和 ，综合重要性评分为：

25、

26、其中， 和  表示指数滑动平均系数， 为非负融合权重且三者之和为 1。梯度幅度反映当前轮优化贡献，对角 fisher 信息反映参数对损失变化的敏感程度，历史更新分量反映参数跨轮持续变化的重要性。

27、客户端按模型层类型设置基础保留比例 ，并结合稳定性调节因子  得到实际保留比例 。其中， 和  分别表示稳定性下阈值和上阈值， 和  分别表示保留比例下限和上限， 表示区间截断函数。随后对层 内参数集合  按  降序选择 top-k 坐标，按  确定保留参数数量，生成二值掩码 ，并得到稀疏更新 。

28、服务器端接收多个客户端上传的稀疏更新后，不将未上传坐标视为零更新，而是对每个参数坐标  计算有效上传权重和：

29、

30、当时，服务器端仅利用实际上传该坐标的客户端更新进行归一化聚合；当 时，该坐标保持上一轮全局参数不变。由此可避免未上传位置稀释有效更新，并保证每一轮聚合后的全局模型仍为完整参数模型。

31、服务器端还根据聚合前后的全局精度 、，全局损失 、，本轮通信开销  和通信预算  生成反馈量 ，

32、

33、服务器端以  更新下一轮层级基础保留比例。当模型精度下降或损失上升时提高保留比例，当通信开销超过预算时降低保留比例。

34、从通信复杂度看，若平均参数保留比例为 ，模型总参数量为 ，单个浮点参数位宽为 ，暂不考虑掩码索引开销，则上行参数传输量可由  降低为 ；结合1 bit 掩码或索引开销后，仍可通过通信开销公式进行预算约束。

35、在满足光滑性和有界方差等常见分析条件时，动态权重可理解为提高稳定客户端的有效贡献并降低漂移噪声项，其误差递推可表示为：

36、

37、在此式中， 表示目标最优参数或参考最优参数， 表示学习率， 表示强凸或局部近似强凸参数， 表示第  轮可信客户端的有效聚合权重下界， 表示随机梯度噪声， 表示由数据异质性和不稳定客户端造成的漂移项。该表达式用于说明提高可信客户端有效权重并抑制漂移项有利于提升收敛稳定性，并不限定本发明仅适用于特定模型或特定损失函数。

38、本发明与现有技术相比，具有如下优点和有益效果：

39、（1）本发明提高了异构数据环境下客户端贡献评价与全局聚合的可靠性。通过综合损失波动、梯度波动、参数变化率和更新方向相似度，并随训练进度调整评价重点，可抑制噪声更新和局部漂移，提高non-iid场景下的聚合可靠性与收敛稳定性。

40、（2）本发明实现了面向参数重要性和模型层级差异的自适应更新压缩。通过融合梯度幅度、对角fisher信息和历史更新幅度，并进行层内归一化排序；同时针对不同网络层设置差异化保留比例，结合客户端稳定性调节上传规模，以减少通信量、保留关键更新并适配不同模型结构。

41、（3）本发明构建了加权聚合、更新压缩和反馈调控的协同闭环。训练稳定性同时用于聚合权重和实际保留比例调节，服务器根据精度、损失及通信开销更新基础保留比例。对于非一致上传坐标，仅聚合实际上传的更新，未上传坐标保持原值，从而避免零填充造成的更新稀释和聚合偏差。

42、（4）本发明兼顾通信效率、数据保护与部署稳定性。客户端仅上传稀疏更新、掩码索引和必要元信息，原始样本与标签保留在本地；针对历史数据不足、参考方向无效、权重或上传信息异常等情况设置回退和异常处理机制，使系统在客户端动态参与、带宽波动及数据分布变化时仍能稳定运行。