一种基于逐层多阈值草图的个性化联邦学习方法及系统

本发明涉及联邦学习通信压缩，具体涉及一种基于逐层多阈值草图的个性化联邦学习方法。本发明还涉及一种基于逐层多阈值草图的个性化联邦学习系统。

背景技术：

1、个性化联邦学习旨在数据异质性条件下为各参与客户端学习适配的个性化模型，同时通过分散式训练保护数据隐私；然而，在高维深度神经网络模型中，客户端与服务器之间反复交换模型参数或更新所带来的通信开销成为限制其在大规模部署和带宽受限场景如物联网、边缘计算系统中应用的关键瓶颈。

2、现阶段，为降低通信开销，提出了基于符号聚合、随机一位量化和一位随机草图等极端通信压缩方法，这些方法通过将模型参数或梯度压缩为一比特或符号信息进行传输，在上行和下行通信中均实现了显著的通信量节省。

3、现阶段存在的问题包括：现有基于符号或一位压缩的方法通常对整个模型的所有网络层施加统一的二值压缩规则；这种层无关的设计虽然简化了通信和聚合过程，但忽视了深度神经网络的一个重要特性：不同层的参数分布存在显著异质性；例如，浅层权重分布往往较为集中，而深层权重分布则可能覆盖更宽的数值范围，且各层分布在训练过程中不断演变；在这一背景下，对所有层使用相同的压缩规则天然地与层之间的异构统计特性不匹配，导致压缩表示的信息损失较大，最终影响个性化模型的精度；此外，对于每个网络层而言，单一阈值往往过于粗糙，无法充分刻画该层的参数分布特征；当分布较宽或随时间变化时，一个阈值只能进行粗略的二等分，而多个阈值可以将被素描的参数空间划分为多个区间，从而提供更宽泛的覆盖范围和更精细的逐层参数变化表示。

技术实现思路

1、本发明的目的在于：针对上述存在的问题，本发明提供了一种基于逐层多阈值草图的个性化联邦学习方法及系统，采用逐层动态多阈值量化与（t+1）进制草图编码相结合的上下行压缩机制，通过一致性正则项引导本地模型的个性化建模，保证了模型在非独立同分布数据上的泛化性能，同时实现了通信量的极致压缩，解决了传统单阈值和全局单一压缩规则的精度问题。

2、本发明采用的技术方案如下：

3、一种基于逐层多阈值草图的个性化联邦学习方法，所述方法用于一个服务器与多个客户端的分布式架构，所述方法包括：

4、通信轮次前，所述服务器生成公共随机种子与共享模型参数并发送至各客户端，各客户端基于其本地数据对所述共享模型参数进行训练，获取各客户端对应的初始本地模型；

5、通信轮次开始后，各客户端根据当前轮次的本地模型与公共随机种子，获取当前轮次本地模型中每一网络层参数投影后的局部统计量并发送至服务器；所述服务器接收各客户端的局部统计量并进行聚合得到服务器全局统计量并发送至客户端；

6、客户端接收全局统计量，并在当前轮次本地模型中的每一网络层生成阈值集合，客户端通过公共随机种子获取当前网络层模型参数的投影向量，将所述投影向量与对应网络层阈值集合进行比较，将比较结果传递至服务器处理后获取全局共识变量，将全局共识变量发送至各客户端；

7、客户端接收所述全局共识变量，并基于所述共识变量更新客户端本地模型参数。

8、进一步地，各客户端在本地数据集上执行预设步数的随机梯度下降训练，具体训练过程为：客户端从本地数据集中抽取小批量训练样本，基于当前共享模型参数进行前向传播并计算任务损失，然后通过反向传播计算共享模型参数梯度，采用带动量的随机梯度下降方式更新本地模型参数，经过预设步数训练后，得到各客户端的初始本地模型。

9、进一步地，所述局部统计量包括客户端本地模型中每一网络层投影向量的均值与方差，所述投影向量的获取具体包括：通信轮次后，各客户端获取其当前轮次本地模型的每个网络层参数，本地模型中每个网络层结合所述公共随机种子，对各网络层参数进行结构化随机投影，生成各网络层的投影向量。

10、进一步地，所述全局统计量具体包括：服务器聚合所述客户端中本地模型各网络层发送的投影向量的均值与方差，获取对应服务器每层全局网络层的全局均值与方差，服务器将每层全局网络层的全局均值与方差作为全局统计量发送至客户端。

11、进一步地，所述阈值集合的生成包括：所述客户端接收全局统计量后，在其当前轮次的本地模型中结合标准正态分布的逆累积分布函数，为当前轮次本地模型中每一网络层独立生成有序的t个量化阈值集合。

12、进一步地，将所述投影向量与对应网络层阈值集合进行比较获取单比特比较结果，将单比特比较结果聚合为（t+1）进制的符号序列，客户端将所述符号序列编码为二进制比特流并上传至服务器，服务器解码所述二进制比特流，对解码得到的客户端当前轮次本地模型的当下网络层与其对应的阈值执行加权聚合，形成当下网络层的多阈值全局共识变量，然后将所述全局共识变量进行（t+1）进制编码然后发送给各客户端。

13、进一步地，更新客户端本地模型参数具体包括：客户端解码收到所述全局共识变量后，基于所述全局共识变量在本地数据上执行预设步数的局部随机梯度下降训练更新，完成本地模型参数的更新，并判断是否达到最大通信轮次，若是，则完成更新，客户端保存最终完成参数更新的本地模型，若否，则继续执行通信轮次。

14、进一步地，所述训练更新中，客户端基于本地数据与全局共识变量，构建带有正则项的局部优化目标函数，通过所述目标函数完成本地模型参数的更新。

15、进一步地，所述目标函数包括标准任务损失与逐层多阈值对齐平滑正则项，基于标准损失梯度与正则项梯度，更新本地模型的参数。

16、本发明还提供了基于逐层多阈值草图的个性化联邦学习系统，所述系统包括：

17、客户端，用于接收服务端的交互信息完成本地模型的参数更新；

18、服务端，用于接收客户端本地模型中网络层的信息并生成指导本地模型参数更新的交互信息；

19、系统初始化模块，通过所述服务端生成公共随机种子与共享模型参数并传输至各客户端，各客户端基于其本地数据对所述共享模型参数进行训练，获取各客户端对应的初始本地模型；

20、统计量聚合模块，通过各客户端当前轮次的本地模型与公共随机种子，获取当前轮次本地模型中每一网络层参数投影后的局部统计量并发送至服务端；所述服务端接收各客户端的局部统计量并进行聚合得到服务端全局统计量并发送至客户端；

21、阈值生成与全局共识聚合模块，通过客户端接收全局统计量，在当前轮次本地模型中的每一网络层生成阈值集合，客户端通过公共随机种子获取当前网络层模型参数的投影向量，将所述投影向量与对应网络层阈值集合进行比较，将比较结果传递至服务端处理后获取全局共识变量，将全局共识变量发送至各客户端；

22、参数更新模块，通过客户端接收所述共识变量，并基于所述共识变量更新客户端本地模型参数。

23、综上所述，由于采用了上述技术方案，本发明的有益效果是：

24、1、本发明自适应地匹配深度模型中不同网络层的异质性结构与参数分布差异，提供更精细的量化分辨率，在提升个性化模型表征保真度的同时，维持极低比特的双向通信开销极限。

25、2、本发明通过逐层分配独立的量化阈值集合，区别于传统全局单一压缩的模式，能够自适应地匹配不同网络层参数分布的异构统计特性，并减少了非独立同分布数据下的极值特征丢失，提升个性化模型的泛化精度。

26、3、本发明通过为各层配置多个阈值，将参数空间划分为多个区间，提供了比单一阈值更高分辨率的逐层量化表示和更精细的全局一致性对齐，改善了通信-精度权衡。

27、4、本发明采用（t+1）进制编码方式对多阈值比较结果进行紧凑表示，上下行通信量均随阈值数t呈对数增长而非线性增长，在维持上下行极低带宽占用的同时，实现了双向通信量压缩。