基于联邦学习的数据隐私保护聚合方法及系统与流程

摘要: 本发明涉及数据隐私保护,具体为基于联邦学习的数据隐私保护聚合方法及系统。背景技术:1、联邦学习作为一种分布式机器学习范式,通过在多个终端节点与中心服务器之间交换...
基于联邦学习的数据隐私保护聚合方法及系统与流程

本发明涉及数据隐私保护,具体为基于联邦学习的数据隐私保护聚合方法及系统。

背景技术:

1、联邦学习作为一种分布式机器学习范式,通过在多个终端节点与中心服务器之间交换模型梯度而非原始明文样本,实现了数据可用不可见前提下的协同训练。在典型的联邦学习架构中,终端节点利用本地业务数据计算局部梯度,并将其发送至中心云端服务器进行全局聚合,从而更新全局模型参数。随着参与节点的规模扩大,对梯度数据在传输与聚合过程中的隐私保护需求日益提升,同态加密等密码学技术逐渐被引入联邦聚合流程中,以确保数据在中心云端服务器处于不可见的密文状态。

2、然而,在广域分布的实际网络拓扑环境中,终端节点受限于边缘侧通信链路的波动与硬件运行状态,极易发生断线或通信故障,导致中心云端聚合服务器无法按期收集到完整的局部梯度,进而引发全局模型训练进程的停滞,针对节点离线引发的训练中断问题,现有技术通常采用超时丢弃机制或常规的数据备份方案,超时丢弃机制会直接损失离线节点蕴含的业务数据特征,导致全局模型的泛化能力与收敛精度严重下降;而现有的数据备份与容灾恢复机制往往需要在中继侧或中心侧对备份切片进行解密重组,在进行断线恢复的过程中极易向第三方节点泄露底层的明文隐私参数,打破了联邦学习的数据隔离信任边界。

技术实现思路

1、针对现有技术的不足,本发明提供了基于联邦学习的数据隐私保护聚合方法及系统,解决了现有联邦学习在应对节点离线引发训练停滞时,传统的容灾恢复与数据传输机制易导致模型明文隐私泄露的问题。

2、为实现以上目的,本发明通过以下技术方案予以实现:本发明第一方面提供一种基于联邦学习的数据隐私保护聚合方法,应用于包括边缘影子节点、多个终端节点及中心云端聚合服务器的系统,所述方法包括:

3、s1:所述边缘影子节点基于网络连通状态生成拓扑密钥基元,所述终端节点据此协同派生用于同态聚合的同态加密密钥;

4、s2:所述终端节点基于本地数据进行模型训练生成局部明文梯度,构造以所述局部明文梯度为常数项且最高次项阶数比所述冗余阈值小一的盲化多项式;利用所述同态加密密钥,对所述盲化多项式在中心求值点和节点求值点处的数值进行同态加密,分别生成主密态梯度和密态冗余分片;

5、s3:所述终端节点通过各跳注入盲化因子的多跳路由路径,将所述密态冗余分片分发至其他在线节点,由所述边缘影子节点同步记录对应路径的总盲化因子;同时,所述终端节点基于所述盲化多项式生成用于零知识验证的同态多项式承诺;

6、s4:所述中心云端聚合服务器对所述同态多项式承诺验证通过后,对所述主密态梯度进行全局密态聚合;当所述边缘影子节点监测到离线节点时,从其他在线节点处获取对应的所述密态冗余分片,结合所述总盲化因子逆向消除还原出原始密态冗余分片,并在数量达到所述冗余阈值时,在密文域下通过同态插值运算重构所述离线节点的主密态梯度,将其并入全局聚合结果中。

7、进一步地,所述步骤s2中,终端节点构造的所述盲化多项式的代数结构展现为如下公式:

8、

9、上述公式中,表示终端节点构建的盲化多项式方程;表示局部明文梯度,由所述终端节点基于本地业务数据样本执行模型前向传播与反向传播计算生成;表示系统分配的冗余阈值,其数值依据全网处于激活状态的终端节点总数量结合拜占庭容错约束机制计算得出;为比所述冗余阈值小一的整数,表示该多项式的最高次项阶数;代表多项式的自变量次数阶码,其取值范围从1递增遍历至;代表随机盲化系数,由所述终端节点通过调用安全多方随机数生成协议并执行哈希衍生后生成;代表多项式求值点的横坐标取值,其数值根据网络中实体节点的标识数据经由散列映射分配得到;代表同态加密体系底层依赖的安全大素数,其数值在系统初始化阶段基于底层加速算法的计算前提约束预先设定,构成多项式运算所在的有限域空间。

10、通过上述代数构造,当设定所述中心求值点为零()时,该盲化多项式的原点取值等于所述局部明文梯度。系统在密文域内收集到达到所述冗余阈值数量的密态冗余分片后,基于上述多项式结构执行同态拉格朗日插值方程,求解出原点处的密态数值,以重构离线节点的主密态梯度。

11、本发明第二方面提供一种基于联邦学习的数据隐私保护聚合系统,用于实现上述第一方面所述的方法,所述系统包括:

12、动态密钥派生模块,部署于所述边缘影子节点与终端节点,用于由边缘影子节点基于网络连通状态生成拓扑密钥基元,供终端节点协同派生同态加密密钥;

13、密态容灾切片模块,部署于所述终端节点,用于由所述终端节点进行模型训练生成局部明文梯度,构造以其为常数项且最高次项阶数比所述冗余阈值小一的盲化多项式,并利用所述同态加密密钥分别在中心求值点和节点求值点处加密,生成主密态梯度和密态冗余分片;

14、多跳路由与承诺验证模块,部署于所述终端节点、所述边缘影子节点及所述中心云端聚合服务器,用于由所述终端节点通过各跳注入盲化因子的多跳路由路径分发所述密态冗余分片,由所述边缘影子节点同步记录总盲化因子;并生成同态多项式承诺供中心云端聚合服务器验证及全局密态聚合;

15、机密协同自愈模块,部署于所述边缘影子节点,用于当所述边缘影子节点监测到离线节点时,从其他在线节点处获取对应的所述密态冗余分片,结合所述总盲化因子还原出原始密态冗余分片,并在达到冗余阈值时通过同态插值运算重构所述离线节点的主密态梯度并入全局聚合结果中。

16、本发明提供了基于联邦学习的数据隐私保护聚合方法及系统。具备以下有益效果:

17、1.本发明中终端节点将明文梯度嵌入多项式常数项以分发密态冗余分片,边缘影子节点收集分片并在密文域执行同态插值运算,以不解密方式重构离线节点主密态梯度并入聚合结果,解决节点通信中断引发的训练停滞问题。

18、2.本发明中终端节点经注入盲化因子的多跳路由分发密态分片,边缘影子节点记录总盲化因子并于重构前执行密文逆向消除,将通信状态与代数运算融合,防止旁路监听推导拓扑关系与数据流向,形成传输与计算的隐私闭环。

19、3.本发明中终端节点基于盲化多项式生成同态多项式承诺,中心云端聚合服务器在全局聚合前验证同态多项式承诺,在不触碰参数前提下确立密态梯度与冗余分片的代数同源性,拦截遭受篡改的污染梯度以保障聚合结果的正确性。

1.基于联邦学习的数据隐私保护聚合方法,应用于边缘影子节点、多个终端节点及中心云端聚合服务器的系统,其特征在于,包括:

2.根据权利要求1所述的基于联邦学习的数据隐私保护聚合方法,其特征在于,步骤s1中,生成拓扑密钥基元及派生同态加密密钥的过程包括:

3.根据权利要求1所述的基于联邦学习的数据隐私保护聚合方法,其特征在于,步骤s2中,构造盲化多项式的过程包括:

4.根据权利要求1所述的基于联邦学习的数据隐私保护聚合方法,其特征在于,所述中心求值点与节点求值点的分配方式包括:

5.根据权利要求1所述的基于联邦学习的数据隐私保护聚合方法,其特征在于,步骤s3中,分发所述密态冗余分片的过程包括:

6.根据权利要求1所述的基于联邦学习的数据隐私保护聚合方法,其特征在于,步骤s3中,生成同态多项式承诺的过程包括:

7.根据权利要求1所述的基于联邦学习的数据隐私保护聚合方法,其特征在于,步骤s4中,对所述主密态梯度进行全局密态聚合的过程包括:

8.根据权利要求5所述的基于联邦学习的数据隐私保护聚合方法,其特征在于,步骤s4中,还原出原始密态冗余分片的过程包括:

9.根据权利要求4所述的基于联邦学习的数据隐私保护聚合方法,其特征在于,步骤s4中,重构所述离线节点的主密态梯度的过程包括:

10.基于联邦学习的数据隐私保护聚合系统,其特征在于,用于实现权利要求1至9任一项所述的方法,所述系统包括: