基于轻量级鲁棒增强的联邦学习隐私保护方法及系统

摘要: 本发明涉及隐私保护,尤其涉及一种基于轻量级鲁棒增强的联邦学习隐私保护方法及系统。背景技术:1、随着物联网与边缘计算技术快速发展,海量终端持续生成规模大、类型繁杂...
基于轻量级鲁棒增强的联邦学习隐私保护方法及系统

本发明涉及隐私保护,尤其涉及一种基于轻量级鲁棒增强的联邦学习隐私保护方法及系统。

背景技术:

1、随着物联网与边缘计算技术快速发展,海量终端持续生成规模大、类型繁杂的数据,传统集中式机器学习存在传输负担重、数据隐私难以保障的弊端。联邦学习允许各客户端基于本地数据开展训练,仅交互模型更新参数,实现原始数据本地留存下的协同建模,在物联网边缘场景得到广泛应用。

2、但现有方案仍存在以下缺陷:联邦学习安全聚合需要引入复杂的加密、验证、恢复等额外机制,即便采用分层聚合、阈值上传策略抑制开销,伴随客户端数量与训练轮次增长,通信及计算开销依旧持续攀升。同时,面对非独立同分布(noniid)异构数据,传统聚合策略难以合理衡量各客户端贡献,造成模型收敛变慢、聚合稳定性下降。除此之外,多数方案缺少对客户端上传更新的校验防护,系统易遭受异常更新、模型投毒及后门攻击;其中异常更新会干扰全局收敛,恶意客户端上传的污染更新则会劣化模型整体性能,甚至植入后门行为。现有技术难以同时兼顾通信-计算开销控制、异构数据下的模型收敛性能以及抗投毒攻击能力。

技术实现思路

1、为了解决上述问题,本发明提出了一种基于轻量级鲁棒增强的联邦学习隐私保护方法及系统,提升联邦学习在边缘物联网场景下的开销控制能力、异构数据收敛性能以及抗投毒攻击能力。

2、为了实现上述目的,本发明采用如下技术方案:

3、第一方面,本发明提供一种基于轻量级鲁棒增强的联邦学习隐私保护方法,由客户端执行,包括:

4、获取服务器下发的全局模型参数及相关配置参数;筛除本地数据集中的异常样本,得到预处理后的训练样本;

5、采用基于鲁棒学习率的符号统计两阶段防御策略,其中,第一阶段基于所述参数和训练样本执行本地模型训练,计算本地梯度并对梯度进行符号统计;根据本地梯度与全局更新方向的相似度,通过自适应权重调整本轮本地梯度在全局聚合中的贡献,并生成梯度向量;对所述梯度向量及参与梯度向量计算的相关参数进行掩码及加密处理后发送至服务器;第二阶段通过服务器对上传数据进行聚合,并执行符号投票与鲁棒约束处理优化聚合结果,向客户端广播新的全局模型参数;

6、随机抽取部分训练轮次,对新的全局模型参数进行校验;验证通过后进入下一轮联邦学习训练,否则发起异常结果反馈。

7、第二方面,本发明提供一种基于轻量级鲁棒增强的联邦学习隐私保护方法,由服务器执行,包括:

8、采用基于鲁棒学习率的符号统计两阶段防御策略,其中,第一阶段将全局模型参数及相关配置参数发送至各客户端,对于任一客户端,所述客户端执行本地模型训练,计算本地梯度并对梯度进行符号统计;根据本地梯度与全局更新方向的相似度,通过自适应权重调整本轮本地梯度在全局聚合中的贡献,并生成梯度向量;对所述梯度向量及参与梯度向量计算的相关参数进行掩码及加密处理后发送至服务器;

9、第二阶段对上传数据进行聚合,并执行符号投票与鲁棒约束处理优化聚合结果,向客户端广播新的全局模型参数,以使客户端对新的全局模型参数进行校验;验证通过后进入下一轮联邦学习训练,否则发起异常结果反馈。

10、第三方面,本发明提供一种基于轻量级鲁棒增强的联邦学习隐私保护系统,由客户端执行,包括:

11、准备模块,用于获取服务器下发的全局模型参数及相关配置参数;筛除本地数据集中的异常样本,得到预处理后的训练样本;

12、本地更新模块,用于采用基于鲁棒学习率的符号统计两阶段防御策略,其中,第一阶段基于所述参数和训练样本执行本地模型训练,计算本地梯度并对梯度进行符号统计;根据本地梯度与全局更新方向的相似度,通过自适应权重调整本轮本地梯度在全局聚合中的贡献,并生成梯度向量;对所述梯度向量及参与梯度向量计算的相关参数进行掩码及加密处理后发送至服务器;第二阶段通过服务器对上传数据进行聚合,并执行符号投票与鲁棒约束处理优化聚合结果,向客户端广播新的全局模型参数;

13、校验模块,用于随机抽取部分训练轮次,对新的全局模型参数进行校验;验证通过后进入下一轮联邦学习训练,否则发起异常结果反馈。

14、第四方面,本发明提供一种基于轻量级鲁棒增强的联邦学习隐私保护系统,由服务器执行,包括:

15、参数分发模块,用于采用基于鲁棒学习率的符号统计两阶段防御策略,其中,第一阶段将全局模型参数及相关配置参数发送至各客户端,对于任一客户端,所述客户端执行本地模型训练,计算本地梯度并对梯度进行符号统计;根据本地梯度与全局更新方向的相似度,通过自适应权重调整本轮本地梯度在全局聚合中的贡献,并生成梯度向量;对所述梯度向量及参与梯度向量计算的相关参数进行掩码及加密处理后发送至服务器;

16、聚合更新模块,用于第二阶段对上传数据进行聚合,并执行符号投票与鲁棒约束处理优化聚合结果,向客户端广播新的全局模型参数,以使客户端对新的全局模型参数进行校验;验证通过后进入下一轮联邦学习训练,否则发起异常结果反馈。

17、与现有技术相比,本发明的有益效果为:

18、1.本发明客户端采用梯度掩码替代复杂加密安全聚合,对梯度向量实施掩码隐私遮蔽处理后上传,基于符号统计简化梯度传输信息,大幅削减多客户端多轮训练的通信与计算成本,避免对完整高精度梯度执行全量加密传输带来的高额运算负担,更好地实现了通信计算权衡,有效抑制多客户端场景下安全聚合引发的开销持续增长问题。

19、2.本发明客户端根据本地梯度与全局更新方向的相似度自适应调整梯度贡献权重,配合基于鲁棒学习率的符号统计两阶段优化策略,避免非独立同分布异构场景下传统均等聚合无法区分客户端贡献而造成的训练偏差;服务器端通过符号投票优化聚合结果,提升模型更新方向的准确性,实现异构数据条件下更优的模型收敛性能与聚合稳定性。

20、3.本发明将掩码隐私保护机制与两阶段防御策略相结合,客户端上传阶段完成梯度隐私遮蔽,服务器端执行符号投票与鲁棒约束过滤异常更新,同时引入校验机制及时识别异常聚合结果并反馈;在保障梯度参数隐私安全的前提下,识别并抑制异常更新、模型投毒及后门攻击对全局模型的污染,兼顾隐私防护与恶意攻击抵御能力。

21、本发明附加方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。

1.一种基于轻量级鲁棒增强的联邦学习隐私保护方法,其特征在于,由客户端执行,包括:

2.如权利要求1所述的基于轻量级鲁棒增强的联邦学习隐私保护方法,其特征在于,所述筛除本地数据集中的异常样本,具体包括:

3.如权利要求1所述的基于轻量级鲁棒增强的联邦学习隐私保护方法,其特征在于,所述计算本地梯度并对梯度进行符号统计,具体包括:使用符号函数对本地梯度进行符号统计,对单个客户端梯度的第k维,若为正数,则对梯度符号赋值1;若为负数,则对梯度符号赋值0;最终,生成本地梯度的符号统计结果。

4.如权利要求1所述的基于轻量级鲁棒增强的联邦学习隐私保护方法,其特征在于,所述根据本地梯度与全局更新方向的相似度,通过自适应权重调整本轮本地梯度在全局聚合中的贡献,并生成梯度向量,具体包括:

5.如权利要求4所述的基于轻量级鲁棒增强的联邦学习隐私保护方法,其特征在于,所述对所述梯度向量及参与梯度向量计算的相关参数进行掩码及加密处理后发送至服务器,具体包括:

6.一种基于轻量级鲁棒增强的联邦学习隐私保护方法,其特征在于,由服务器执行,包括:

7.如权利要求6所述的基于轻量级鲁棒增强的联邦学习隐私保护方法,其特征在于,所述对上传数据进行聚合,具体包括:

8.如权利要求6所述的基于轻量级鲁棒增强的联邦学习隐私保护方法,其特征在于,所述执行符号投票与鲁棒约束处理优化聚合结果,具体包括:

9.一种基于轻量级鲁棒增强的联邦学习隐私保护系统,其特征在于,由客户端执行,包括:

10.一种基于轻量级鲁棒增强的联邦学习隐私保护系统,其特征在于,由服务器执行,包括: