一种梯度补偿和特征对齐的差分隐私联邦学习方法

摘要: 本发明涉及联邦学习和隐私保护,具体为一种梯度补偿和特征对齐的差分隐私联邦学习方法。背景技术:1、传统机器学习依赖海量数据集中训练,但该模式面临严峻的数据隐私与安...
一种梯度补偿和特征对齐的差分隐私联邦学习方法

本发明涉及联邦学习和隐私保护,具体为一种梯度补偿和特征对齐的差分隐私联邦学习方法。

背景技术:

1、传统机器学习依赖海量数据集中训练,但该模式面临严峻的数据隐私与安全挑战,用户敏感信息在传输存储中易遭窃取或滥用,同时,机构间的数据壁垒形成“数据孤岛”,阻碍安全共享与协同利用,联邦学习通过将训练下沉至本地,仅交互模型参数,有效保护了原始数据隐私,但系统仍面临数据异构性与隐私泄露的双重挑战。

2、在数据异构性方面,各客户端持有非独立同分布数据,导致本地更新偏离全局最优,经典fedavg算法收敛缓慢且易陷次优解,现有方案包括引入近端项约束偏离、控制变量修正更新方向,以及个性化联邦学习中的模型解耦策略,特征对齐方法通过聚合类原型或引入对比学习缩小特征差异,但多依赖点对点距离度量,在高维空间中对扰动极为敏感。

3、在隐私泄露方面,攻击者可利用梯度信息反演用户数据,差分隐私通过添加噪声提供严格保护,但梯度裁剪与噪声注入会引入偏差和方差,损害模型效用,现有误差反馈、自适应裁剪等修正策略难以应对数据异构与隐私噪声叠加的耦合效应,导致对齐功能失效与优化偏移,亟需一种协同校正梯度失真与语义漂移的方案,实现隐私保护与模型效用的最优平衡。

技术实现思路

1、本发明的目的在于提供一种梯度补偿和特征对齐的差分隐私联邦学习方法,通过服务器端可学习的梯度偏差补偿机制与基于最优传输理论的跨客户端隐式特征对齐策略,缓解差分隐私噪声与非独立同分布数据异构性叠加所导致的模型性能退化问题,实现隐私保护与模型效用的协同优化。

2、为实现上述目的,本发明提供如下技术方案:一种梯度补偿和特征对齐的差分隐私联邦学习方法,包括以下步骤:

3、s1:开始联邦学习,服务器对全局模型参数进行初始化,并随机选择固定数量的部分客户端,并将初始模型参数发送给这些客户端,客户端基于此训练本地模型;

4、s2:各客户端接收全局模型参数后,基于本地私有的非独立同分布数据集进行本地模型训练,计算本地梯度更新,同时,客户端截取网络深层潜在特征图,利用soft k-means聚类算法无监督地计算每个类别特征的几何中心,构建本地语义原型,对所述本地语义原型进行裁剪归一化处理后,将本地梯度更新量、各类别特征原型以及对应的样本数量信息上传至服务器;

5、s3:服务器收到客户端上传的本地模型更新后,调取当前维护的全局补偿参数,将其叠加至原始梯度上进行预处理,得到补偿后的梯度,随后,对所述补偿后的梯度执行裁剪操作;

6、s4:服务器对裁剪后的补偿梯度进行加权聚合,并向聚合后的全局模型参数中注入高斯噪声,更新全局模型参数;

7、s5:服务器聚合各客户端上传的本地语义原型,构建全局类别原型,并向所述全局类别原型叠加高斯噪声以得到全局带噪原型,利用熵正则化的sinkhorn最优传输距离,计算各客户端本地语义原型与所述全局带噪原型之间的分布差异,构造对齐损失函数,通过反向传播计算对齐梯度,微调全局模型分类器的权重,以约束跨客户端的特征分布一致性;

8、s6:在完成本轮全局模型更新后,服务器利用本轮收集到的原始梯度的负方向作为反馈信号,迭代更新所述全局补偿参数,使补偿参数动态跟踪后续优化轨迹下的全局误差趋势;

9、s7:重复执行s1到s6,直至达到给定的最大通信轮次。

10、优选的,所述s2的具体步骤为:

11、s2.1:客户端接收服务器下发的第轮全局模型参数后,将其作为本地模型的初始参数,在本地私有的非独立同分布数据集上执行本地训练,通过随机采样获取小批量样本,计算本地梯度更新;

12、s2.2:利用soft-k-means算法提取本地语义原型,先初始化类中心,并通过软分配机制迭代感知样本密度,特征归属于聚类中心的置信权重由下式给出:

13、;

14、其中,为控制软分配尖锐程度的温度系数,表示客户端拥有的第类样本数量,表示第个样本的特征表示;随后,利用加权期望对聚类中心进行迭代更新:

15、;

16、经过多轮迭代收敛后得到客户端每个类别的本地原型;

17、s2.3:为防止极端原型值对全局对齐过程的干扰,并降低后续隐私保护的敏感度,客户端在上传前对类别原型进行范数裁剪:

18、;

19、其中,为原型裁剪阈值;随后,将本地梯度更新、裁剪后的类别原型集合及对应的样本规模信息打包发送至服务器。

20、优选的,所述s3的具体步骤为:

21、s3.1:服务器维护一个与全局模型参数维度一致的可学习补偿参数,在接收到客户端上传的原始梯度后,利用当前补偿向量进行预处理,得到补偿后的梯度:

22、;

23、其中,所述补偿向量用于吸收由差分隐私机制中梯度裁剪与噪声注入所引入的系统性偏差,使补偿后的梯度分布更接近理想无偏梯度分布;

24、s3.2:对补偿后的梯度进行l2范数裁剪,将其限制在预设的裁剪阈值范围内:

25、;

26、其中,为裁剪阈值,确保单个客户端更新对全局模型的最大影响被严格限制。

27、优选的,所述s4的具体步骤为:

28、s4.1:服务器对裁剪后的梯度按照客户端样本规模进行加权聚合;

29、s4.2:服务器向加权聚合后的梯度中添加满足-差分隐私的高斯噪声,并更新全局模型参数:

30、;

31、其中,为更新后的全局模型参数,为第轮全局模型参数,为客户端的数量,为单位矩阵,表示聚合裁剪之后的梯度,表示均值为0、协方差矩阵为的多维高斯分布,噪声的幅度由和全局敏感度共同决定,并据此更新全局模型参数;

32、其中,为噪声乘数,由矩会计方法计算得到:

33、;

34、其中,表示灵敏度,用来衡量算法对数据集中单个样本变化的敏感程度;表示隐私预算衡量使用噪声的水平;表示隐私失败概率。

35、优选的,所述s5的具体步骤为:

36、s5.1:服务器首先计算各客户端上传的裁剪后本地语义原型的加权期望:

37、;

38、其中,表示参与聚合的客户端总数,表示第个客户端拥有的样本数量,表示所有客户端样本数量的总和;随后向所述全局类别原型叠加高斯噪声:

39、;

40、其中,为原型噪声乘数,为全局带噪原型;

41、s5.2:对于每个客户端的本地语义原型集合,计算其与全局带噪原型之间的sinkhorn距离,并定义全局对齐损失为各客户端sinkhorn距离之和:

42、;

43、其中,表示第个客户端的本地语义原型与全局语义原型之间的sinkhorn距离,为正则化系数;所述sinkhorn距离通过在wasserstein距离的目标函数中引入离散信息熵正则化项h(m),将最优传输问题转化为严格凸优化问题,并通过sinkhorn-knopp迭代算法高效求解软分配矩阵;

44、s5.3:计算对齐损失关于全局带噪原型的梯度,并将其作用于全局模型的分类层权重进行更新:

45、;

46、其中,为对齐学习率,该操作在几何上将全局分类边界推向所有客户端特征分布的wasserstein重心,以提升模型在异构数据上的泛化能力。

47、优选的,所述s6的具体步骤为:

48、服务器采用原始梯度的负方向对全局补偿参数进行随机梯度下降更新,更新规则为:

49、;

50、其中,为更新后的补偿参数,为与全局模型参数维度一致的可学习补偿参数,为补偿向量的学习率,表示本地梯度更新的聚合,通过该动量式累积,补偿向量动态跟踪梯度的全局趋势,持续吸收并抵消由裁剪和噪声带来的持续性偏差。

51、与现有技术相比,本发明的有益效果是:该梯度补偿和特征对齐的差分隐私联邦学习方法:

52、1.通过在服务器端引入可学习的全局补偿参数,对客户端上传的原始梯度实施预处理补偿,主动且自适应地抵消由梯度裁剪与高斯噪声注入所引入的系统性偏差,其次,与传统被动调整隐私参数或采用启发式补偿的策略不同,该补偿机制以原始梯度的负方向为反馈信号进行动量式动态更新,能够持续跟踪全局优化轨迹下的误差趋势,有效引导全局模型沿更接近真实梯度的最优路径演进,从而实现梯度失真主动校正,显著提升收敛稳定性。

53、2.通过构建基于soft k-means与sinkhorn最优传输距离的跨客户端隐式特征对齐机制,客户端通过soft k-means无监督提取本地语义原型,服务器端利用熵正则化的sinkhorn距离精确量化并约束各客户端原型与全局带噪原型之间的分布差异,将全局分类边界推向所有客户端特征分布的wasserstein重心,其次,相较于传统基于欧氏距离或余弦相似度的确定性点对点度量,sinkhorn距离通过寻找分布间的最优匹配方案来量化整体差异,对差分隐私机制引入的随机噪声具有较强的抗干扰能力,有效克服了non-i.i.d.数据分布引发的本地特征语义漂移问题,显著提升了全局模型在异构数据上的泛化能力与跨域一致性,从而实现异构特征分布对齐,增强全局泛化能力。

54、3.通过优化反馈与特征空间两个正交层面展开协同设计,梯度补偿模块专注于优化层面的偏差校正与收敛稳定性,特征对齐模块侧重于表征层面的本地特征分布对齐,二者呈现出高度的互补性与协同效应,梯度补偿有效抑制了优化方向的偏离,为特征对齐模块构建特征原型提供了更为准确的梯度方向,反之,特征对齐模块通过优化特征空间的几何结构,为梯度补偿提供了分布更为一致的输入表征,进一步放大了补偿机制的效能,从而实现双模块协同优化,使得隐私-效用平衡。