一种异步环境下的协作个性化联邦学习方法和系统

摘要: 本发明涉及联邦学习领域,特别涉及一种异步环境下的协作个性化联邦学习方法和系统。背景技术:1、传统个性化联邦学习依赖同步通信,每轮要求所有客户端同时上传模型,服务...
一种异步环境下的协作个性化联邦学习方法和系统

本发明涉及联邦学习领域,特别涉及一种异步环境下的协作个性化联邦学习方法和系统。

背景技术:

1、传统个性化联邦学习依赖同步通信,每轮要求所有客户端同时上传模型,服务器基于“全客户端”快照估计协作图并聚合个性化模型,上述方法在物联网场景下必须等待最慢节点,造成空转与墙钟时间膨胀,且无法真实反映设备算力、网络带宽即在线波动带来的异质延迟。现有本地化异步方案仅针对单线路(即单客户端)做陈旧度衰减,并未考虑协作图估计也受版本混杂影响,各客户端独立更新,协作权重与聚合模型版本不一致,导致相似度计算失准、个性化模型漂移,难以兼顾高精度与快速收敛。

2、协作图估计与个性化聚合高度依赖“全局同一版本”的模型快照,但在异步物联网环境中各节点上传时刻差异较大,缓冲区内模型“年龄”混杂,导致相似度计算偏差,协作权重被错误放大或抑制,最终个性化模型收敛缓慢甚至发散。还有传统异步联邦学习仅对全局模型做陈旧度衰减,未同步修正协作图,结果协作权重与真实数据分布错位;若强行缩短等待窗口以减少延迟,会进一步放大版本差异,造成“协作-陈旧”双重误差,难以在墙钟时间、通信开销与预测精度三者间取得平衡。

技术实现思路

1、考虑到现有协作式个性化方法普遍假设客户端同步上传,忽略物联网终端因算力、网络与在线状态差异所造成的梯度版本混杂,导致协作权重估计偏差、个性化模型发散,难以复现或真正落地,无法解决个性化联邦学习中协作图构建与模型聚合在异步场景下严重失准的问题。

2、鉴于上述问题,本发明提供异步环境下的协作个性化联邦学习方法,包括:

3、步骤s1:构建“客户端-服务器”全异步架构,并初始化所述全异步架构;在客户端本地训练和上传训练完成的模型;

4、步骤s2:通过服务器对上传的模型进行协作图估计;根据所述协作图估计的结果和模型的陈旧度,刷新所述服务器的缓冲;

5、步骤s3:根据模型的陈旧度,组播最新的缓冲;实时估计协作图总误差,以此调整当前训练状态;

6、步骤s4:对客户端接收的模型继续本地训练,直到满足预设收敛条件为止。

7、可选地,在步骤s1中,构建“客户端-服务器”全异步架构,并初始化所述全异步架构,包括:

8、将物联网块设备作为客户端,用于维护本地私有数据集与个性化模型;设置服务器用于维护最新接收到的模型缓冲区,其中表示客户端最近一次上传的延迟模型,表示客户端的个数;表示延迟模型的陈旧度,表示服务器当前逻辑时钟,表示延迟模型的上传时间戳。

9、可选地,在步骤s1中,在客户端本地训练和上传训练完成的模型,包括:

10、在客户端本地以学习率执行随机加权算法训练个性化模型,并上传训练完成的个性化模型,并附带上传时间戳。

11、可选地,在步骤s2中,通过服务器对上传的模型进行协作图估计,包括:

12、当服务器接收训练完成的个性化模型,利用模型缓冲区,估计协作权重,其中表示个性化模型与之间的协作估计值,。

13、可选地,在步骤s2中,根据所述协作图估计的结果和模型的陈旧度,刷新所述服务器的缓冲,包括:

14、对与客户端不同的任意客户端,通过服务器所述协作图估计的结果和延迟模型的陈旧度,联合衰减刷新延迟模型的缓冲;其中所述刷新与所述延迟模型的陈旧度相关。

15、可选地,在步骤s3中,根据模型的陈旧度,组播最新的缓冲,包括:

16、判断延迟模型的陈旧度与可容忍的误差阈值是否满足预设关系条件;若满足,则组播最新的缓冲;若不满足,则不组播最新的缓冲。

17、可选地,在步骤s3中,实时估计协作图总误差,以此调整当前训练状态,包括:

18、实时估计协作图总误差,根据所述总误差,使协作图重新对齐当前训练状态。

19、可选地,在步骤s4中,对客户端接收的模型继续本地训练,直到满足预设收敛条件为止,包括:

20、当客户端接收到组播的延迟模型后,对所述延迟模型继续本地训练;设定目标函数,使得所述延迟模型在本地训练过程中满足所述目标函数和以相应速率收敛。

21、本发明还提供异步环境下的协作个性化联邦学习系统,包括:

22、异步架构生成模块,用于构建“客户端-服务器”全异步架构,并初始化所述全异步架构;

23、上传模块,用于在客户端本地训练和上传训练完成的模型;

24、缓冲刷新模块,用于通过服务器对上传的模型进行协作图估计;根据所述协作图估计的结果和模型的陈旧度,刷新所述服务器的缓冲;

25、误差估计模块,用于根据模型的陈旧度,组播最新的缓冲;实时估计协作图总误差,以此调整当前训练状态;

26、训练模块,用于对客户端接收的模型继续本地训练,直到满足预设收敛条件为止。

27、本发明实施例中提供的上述技术方案的有益效果至少包括:

28、本发明实施例中提供了异步环境下的协作个性化联邦学习方法和系统构建“客户端-服务器”全异步架构,并初始化全异步架构;在客户端本地训练和上传训练完成的模型;通过服务器对上传的模型进行协作图估计;根据协作图估计的结果和模型的陈旧度,刷新服务器的缓冲;根据模型的陈旧度,组播最新的缓冲;实时估计协作图总误差,以此调整当前训练状态;对客户端接收的模型继续本地训练,直到满足预设收敛条件为止。通过服务器端缓冲机制与陈旧度加权策略,客户端进上传加密后的延迟模型,有效解决个性化联邦学习中协作图构建与模型聚合在异步场景下严重失准的问题,能够在墙钟时间、通信开销与预测精度三者间取得平衡。

29、本发明的异步环境下的协作个性化联邦学习方法具有如下优点:

30、第一,本发明能够实现异步协作个性化隐私保护,通过服务器端缓冲机制与陈旧度加权策略,客户端仅上传加密后的延迟模型,无需暴露原始数据或彼此交互,全程满足相应要求;

31、第二,本发明能够实现高精度异步个性化建模,利用“协作-陈旧”双感知权重刷新,使相似度估计与聚合模型始终对齐同一分布时间戳,显著抑制版本混杂带来的协作图偏置,在非独立同分布场景下仍保持小于或等于0.5%的精度损失;

32、第三,本发明能够实现高效异步墙钟收敛,通过可证误差界触发的选择性组播,通信额外开销小于5%的下行带宽,即可将慢节点造成的空转时间压缩为8.58倍,实现分钟级个性化模型更新,满足低延迟物联网应用需求。

33、本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

34、下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。

1.异步环境下的协作个性化联邦学习方法,其特征在于,包括:

2.如权利要求1所述的异步环境下的协作个性化联邦学习方法,其特征在于:

3.如权利要求2所述的异步环境下的协作个性化联邦学习方法,其特征在于:

4.如权利要求3所述的异步环境下的协作个性化联邦学习方法,其特征在于:

5.如权利要求4所述的异步环境下的协作个性化联邦学习方法,其特征在于:

6.如权利要求5所述的异步环境下的协作个性化联邦学习方法,其特征在于:

7.如权利要求6所述的异步环境下的协作个性化联邦学习方法,其特征在于:

8.如权利要求7所述的异步环境下的协作个性化联邦学习方法,其特征在于:

9.异步环境下的协作个性化联邦学习系统,其特征在于,包括: