一种基于联邦学习的跨平台异构数据共享分析方法与流程

摘要: 本发明涉及数据共享分析的,尤其是涉及一种基于联邦学习的跨平台异构数据共享分析方法。背景技术:1、随着全球数据安全与隐私保护法规的不断完善,跨部门、跨平台的数据孤...
一种基于联邦学习的跨平台异构数据共享分析方法与流程

本发明涉及数据共享分析的,尤其是涉及一种基于联邦学习的跨平台异构数据共享分析方法。

背景技术:

1、随着全球数据安全与隐私保护法规的不断完善,跨部门、跨平台的数据孤岛现象日益凸显。联邦学习作为一种分布式机器学习范式,允许各参与方在不共享本地原始数据的前提下协同训练模型,成为打破数据孤岛的有效手段。然而,现有的联邦学习系统在面对跨平台异构数据时,存在以下显著技术局限:

2、第一,特征空间异构性问题。不同平台(如医疗系统、社交网络、电商平台)收集的数据在特征维度、数据类型和语义信息上存在巨大差异。传统的联邦学习算法(如fedavg)通常要求各参与方具有相同维度的特征空间,或者仅适用于横向(样本对齐)与纵向(特征对齐)等固定场景。当面对非对称的异构数据(如结构化表格、图像、文本混同)时,现有框架无法直接进行联合表征学习,导致跨平台模型的泛化能力严重受限。

3、第二,中间表征交互带来的隐私泄露风险。为缓解特征异构问题,现有部分方案采用表征交换或特征对齐技术,在客户端与服务器之间传递中间层的激活值或特征向量。然而,此类中间表征往往仍包含大量敏感信息,在传输和聚合过程中极易遭受梯度反演攻击或属性推断攻击。若缺乏在密文域下的强安全保障,攻击者可通过分析这些中间表征逆向推断出本地原始数据分布,违背了联邦学习的隐私保护初衷。

4、第三,通信与系统异构性瓶颈。跨平台协作场景下,各参与方的网络带宽与计算算力差异极大。传统联邦学习在每一轮迭代中,要求客户端上传完整的模型梯度或参数。对于维度庞大的深度网络模型,这种密集通信会导致极高的带宽占用。网络延迟高或算力弱的平台会拖慢整体训练进度,形成“木桶效应”,严重制约了跨平台联邦训练的效率和系统鲁棒性。

技术实现思路

1、本发明的目的是提供一种基于联邦学习的跨平台异构数据共享分析方法,解决上述问题。

2、为实现上述目的,本发明提供了一种基于联邦学习的跨平台异构数据共享分析方法,包括以下步骤:

3、s1、参与数据共享分析的各客户端在本地构建异构特征提取网络,将不同维度的本地异构数据映射至统一维度的隐空间,获取本地隐表征;

4、s2、各客户端基于本地隐表征计算各类别的本地原型向量,并利用同态加密算法对本地原型向量进行加密,生成密文原型;

5、s3、联邦服务器接收密文原型,在密文域下对密文原型进行加权聚合,生成全局密文原型并下发至各客户端;

6、s4、各客户端接收并解密全局密文原型,利用基于全局明文原型的对比损失与交叉熵损失构建联合损失函数,通过反向传播更新本地网络参数;

7、s5、各客户端实时监测本地网络与计算资源状态,基于动态计算的稀疏化率对本地更新梯度进行top-k稀疏化处理,并将稀疏化后的梯度三元组异步上传至服务器进行聚合。

8、优选的,步骤s1中,客户端的本地数据特征维度为,统一隐空间维度为,且;异构特征提取网络包括多层感知机、卷积神经网络或transformer网络中的一种,其输出层维度均强制设置为。

9、优选的,步骤s2中,本地原型向量的计算公式为:

10、;

11、其中,为客户端中类别的本地原型,为客户端中属于类别的样本集合,为样本的本地隐表征。

12、优选的,步骤s3中,在密文域下对密文原型进行加权聚合的公式为:

13、;

14、其中,为所有客户端关于类别的全局明文原型,为加密后的全局类别原型,为参与联邦学习的客户端总数。

15、优选的,同态加密算法为paillier加密算法,各客户端在本地生成paillier公私钥对,并使用公钥对本地原型向量以及本地样本数量进行加密;

16、由于paillier算法不支持密文与密文的直接除法运算,步骤s3中生成全局密文原型并下发至各客户端的步骤具体包括:

17、联邦服务器在密文域下计算密文分子,并统计明文分母;

18、服务器将密文分子和明文分母下发至各客户端;

19、各客户端接收后,利用本地私钥对密文分子进行解密得到明文分子,并在本地明文域执行除法运算,得到全局明文原型。

20、优选的,步骤s4中,联合损失函数具体为:

21、;

22、其中,为交叉熵损失,为平衡超参数,为原型对比损失;

23、原型对比损失的计算公式为:

24、;

25、其中,表示余弦相似度,为温度系数,为样本真实标签对应的全局原型。

26、优选的,步骤s5中,动态计算稀疏化率的公式具体为:

27、;

28、其中,为预设最大稀疏率,为客户端实时带宽,为客户端的cpu利用率,和为预设参考基准,和为预设权重系数。

29、优选的,步骤s5中,top-k稀疏化处理及梯度三元组的具体构造方式为:

30、客户端根据计算得出的稀疏化率,确定需保留的梯度元素数量,其中为本地更新梯度张量的总元素个数;

31、将梯度张量中所有元素的绝对值进行降序排序,提取绝对值最大的前个梯度元素;

32、将提取出的个梯度元素的数值作为,其在原梯度张量中的位置序号作为,并附加当前客户端的唯一标识符作为,组合生成梯度三元组;

33、客户端将梯度三元组集合异步上传至服务器,服务器接收后根据将累加至全局模型参数的对应位置,完成异步聚合。

34、优选的,步骤s5中,服务器进行聚合的步骤具体包括异步加权聚合:

35、服务器维护一个全局模型参数缓存区,当接收到某一客户端异步上传的梯度三元组时,无需等待其他未上传的客户端,直接基于接收时间戳计算该客户端的时间衰减权重;

36、其中,为预设的衰减因子且,为服务器当前接收时间,为该客户端上一轮完成上传的时间;

37、服务器将接收到的梯度三元组中的乘以时间衰减权重后,根据累加至全局模型参数的对应位置,完成异步聚合更新。

38、因此,本发明采用上述的一种基于联邦学习的跨平台异构数据共享分析方法,具有以下好处:

39、(1)在本发明中,通过在各客户端本地构建异构特征提取网络(如多层感知机、卷积神经网络或transformer),将不同维度、不同模态的本地异构数据统一映射至相同维度的隐空间,并引入基于全局原型的对比损失进行联合训练。这一设计打破了传统联邦学习对参与方数据特征维度必须一致的严格限制,实现了真正的跨平台非对称异构数据(如结构化表格、图像、文本)的语义对齐与联合表征学习,大幅提升了跨领域协同模型的泛化能力。

40、(2)在本发明中,各客户端基于本地隐表征计算类别原型,并利用同态加密算法对本地原型向量及样本数量进行加密后上传,联邦服务器全程在密文域下完成加权聚合并下发全局密文原型。该机制确保服务器仅能获取聚合后的密文结果,且各客户端之间不直接交互任何中间特征表征或原始数据,从根本上杜绝了梯度反演攻击和属性推断攻击,在实现跨平台特征对齐的同时,严格保障了本地数据的“可用不可见”与隐私安全。

41、(3)在本发明中,各客户端实时监测本地网络带宽与计算资源状态,基于动态计算的稀疏化率对本地更新梯度进行top-k稀疏化处理,仅将包含关键梯度值、位置索引和客户端标识的梯度三元组异步上传至服务器。该机制不仅根据节点实时状态自适应压缩了通信数据量,大幅降低了带宽占用,还允许算力与网络条件差异巨大的平台以异步方式协同训练,有效避免了系统“木桶效应”导致的训练停滞,显著提升了跨平台联邦系统的通信效率与整体鲁棒性。

42、下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。