兼顾隐私保护与拜占庭鲁棒性的自适应联邦学习防御方法

摘要: 本发明涉及联邦学习,尤其涉及兼顾隐私保护与拜占庭鲁棒性的自适应联邦学习防御方法。背景技术:1、联邦学习作为分布式人工智能的核心范式,广泛应用于金融风控与智慧医疗...
兼顾隐私保护与拜占庭鲁棒性的自适应联邦学习防御方法

本发明涉及联邦学习,尤其涉及兼顾隐私保护与拜占庭鲁棒性的自适应联邦学习防御方法。

背景技术:

1、联邦学习作为分布式人工智能的核心范式,广泛应用于金融风控与智慧医疗等敏感数据领域。随着物联网设备激增,相关技术通过局部差分隐私、鲁棒聚合算法与动态噪声机制的协同作业,构建了从数据采集到模型聚合的安全防御体系。具体地,该体系涵盖了梯度加噪、离群点剔除及信誉评估等关键环节,旨在平衡隐私合规与模型效用。

2、然而,现有技术方案中,直接采用静态隐私预算与单一几何距离筛选,并没有建立基于历史轨迹的方向纠偏机制与多维信誉动态感知体系。由于缺乏对全局收敛状态的实时响应,持续随机噪声注入易引发严重的模型漂移,导致训练震荡甚至不收敛。此外,传统方法忽略更新方向的一致性校验,难以识别隐藏在统计偏差后的隐蔽拜占庭攻击,致使系统在复杂对抗环境下鲁棒性显著不足,严重制约了大规模部署的可靠性。

技术实现思路

1、本发明的主要目的在于提供一种兼顾隐私保护与拜占庭鲁棒性的自适应联邦学习防御方法。

2、本发明的另一个目的在于提出兼顾隐私保护与拜占庭鲁棒性的自适应联邦学习防御装置。

3、本发明的第三个目的在于提出一种电子设备。

4、本发明的第四个目的在于提出一种非临时性计算机可读存储介质。

5、为达上述目的,本发明第一方面实施例提出了兼顾隐私保护与拜占庭鲁棒性的自适应联邦学习防御方法,包括:

6、s1,服务器初始化全局模型并建立历史状态队列,客户端基于全局模型的收敛状态与局部更新偏离度动态计算噪声缩放系数,对本地训练生成的更新数据进行自适应噪声注入处理;

7、s2,客户端提取当前及历史多轮次的局部模型参数与全局模型参数,构建局部更新方向向量与全局演化趋势向量,利用全局演化趋势向量对注入噪声后的更新数据进行方向纠偏处理;

8、s3,服务器接收经方向纠偏后的更新数据,执行基于几何距离和方向相似度的双重筛选,剔除数值异常及方向偏离的更新数据;

9、s4,服务器对通过筛选的更新数据进行一致性、质量及贡献度的三维信誉评估,依据实时攻击强度动态调整聚合权重,将加权后的更新数据融合至全局模型。

10、可选的,客户端基于全局模型的收敛状态与局部更新偏离度动态计算噪声缩放系数,对本地训练生成的更新数据进行自适应噪声注入处理,包括:

11、客户端计算全局模型的稳定性,其数值为当前轮次全局模型参数与前一轮次全局模型参数之差的二范数;

12、客户端计算局部模型对全局共识的偏离度,其数值为前一轮次局部模型参数与当前轮次全局模型参数之差的二范数;

13、客户端基于所述全局模型的稳定性与所述局部模型对全局共识的偏离度计算收敛感知因子,并利用指数平滑公式更新噪声缩放系数,其中所述指数平滑公式为下一轮次的噪声缩放系数等于动量衰减因子乘以当前轮次的噪声缩放系数加上调节系数乘以收敛感知因子的截断值,所述截断值为收敛感知因子与预设上下限比较后的结果;

14、客户端依据更新后的噪声缩放系数对本地训练生成的更新数据执行自适应高斯噪声调节,得到注入噪声后的本地更新数据。

15、可选的,客户端提取当前及历史多轮次的局部模型参数与全局模型参数,构建局部更新方向向量与全局演化趋势向量,利用全局演化趋势向量对注入噪声后的更新数据进行方向纠偏处理,包括:

16、客户端从本地存储中提取当前轮次局部模型参数、前一轮次局部模型参数、前一轮次全局模型参数以及前二轮全局模型参数这四个历史状态数据;

17、客户端基于当前轮次局部模型参数与前一轮次局部模型参数计算局部更新方向向量,并基于前一轮次全局模型参数与前二轮全局模型参数计算全局演化趋势向量;

18、客户端计算所述局部更新方向向量与所述全局演化趋势向量在每一网络层参数空间的余弦相似度,构建参数级角度矩阵;

19、客户端利用所述全局演化趋势向量作为方向校准基准,结合所述参数级角度矩阵对注入噪声后的更新数据执行四重历史状态纠偏算法,生成方向校准后的本地更新数据。

20、可选的,服务器接收经方向纠偏后的更新数据,执行基于几何距离和方向相似度的双重筛选,剔除数值异常及方向偏离的更新数据,包括:

21、服务器计算每个客户端的更新数据与所述参考圆心之间的欧氏距离,将欧氏距离超过预设距离阈值的更新数据标记为数值异常的离群节点更新并予以剔除,完成基于几何距离的第一重筛选;

22、服务器计算剩余更新数据中每个客户端更新向量与参考中心向量的方向相似度,将方向相似度低于预设角度阈值的更新数据标记为旨在抵消全局学习成果的隐蔽攻击并予以剔除,完成基于方向相似度的第二重筛选;

23、服务器输出同时通过第一重筛选与第二重筛选的更新数据集合,作为后续三维信誉评估的输入数据。

24、可选的,服务器对通过筛选的更新数据进行一致性、质量及贡献度的三维信誉评估,依据实时攻击强度动态调整聚合权重,将加权后的更新数据融合至全局模型,包括:

25、服务器针对通过筛选的每个客户端更新数据,分别计算其相对于历史更新轨迹的一致性评分、相对于本地数据集质量的质里评分以及相对于全局模型提升的贡献度评分;

26、服务器将所述一致性评分、质量评分及贡献度评分进行加权融合,生成每个客户端的初始信誉分值,并基于实时感知的攻击强度计算自适应温度调节参数;

27、服务器利用所述自适应温度调节参数构建 softmax 策略函数,将每个客户端的初始信誉分值输入所述 softmax 策略函数,计算出每个客户端在当轮聚合中的动态聚合权重;

28、服务器依据计算出的动态聚合权重对通过筛选的更新数据进行加权求和运算,将加权后的更新数据融合至全局模型,实现在强攻击时平滑分布权重、在弱攻击时聚焦优势客户端权重的动态聚合。

29、为达上述目的,本发明第二方面实施例提出了一种兼顾隐私保护与拜占庭鲁棒性的自适应联邦学习防御装置,包括:

30、初始化模块,用于服务器初始化全局模型并建立历史状态队列,客户端基于全局模型的收敛状态与局部更新偏离度动态计算噪声缩放系数,对本地训练生成的更新数据进行自适应噪声注入处理;

31、纠偏模块,用于客户端提取当前及历史多轮次的局部模型参数与全局模型参数,构建局部更新方向向量与全局演化趋势向量,利用全局演化趋势向量对注入噪声后的更新数据进行方向纠偏处理;

32、更新模块,用于服务器接收经方向纠偏后的更新数据,执行基于几何距离和方向相似度的双重筛选,剔除数值异常及方向偏离的更新数据;

33、融合模块,用于服务器对通过筛选的更新数据进行一致性、质量及贡献度的三维信誉评估,依据实时攻击强度动态调整聚合权重,将加权后的更新数据融合至全局模型。

34、关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。

35、为达上述目的,本技术第三方面实施例提出了一种电子设备,包括:处理器和存储器;其中,所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于实现如第一方面实施例所述的兼顾隐私保护与拜占庭鲁棒性的自适应联邦学习防御方法。

36、为达上述目的,本技术第四方面实施例提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面实施例所述的兼顾隐私保护与拜占庭鲁棒性的自适应联邦学习防御方法。

37、本发明实施例的具有以下有益效果:

38、有效解决了局部差分隐私导致的模型漂移问题,显著提升了训练收敛稳定性与效率。结合双重几何筛选与三维信誉评估机制,实现了对隐蔽拜占庭攻击的精准防御,在保障自适应隐私保护的同时增强了全局模型的鲁棒性。