一种面向联邦学习的数据安全共享方法

摘要: 本发明涉及数据安全共享,具体涉及一种面向联邦学习的数据安全共享方法。背景技术:1、面向联邦学习的数据共享可实现原始数据不出本地的价值共享,其核心模式为:数据提供...
一种面向联邦学习的数据安全共享方法

本发明涉及数据安全共享,具体涉及一种面向联邦学习的数据安全共享方法。

背景技术:

1、面向联邦学习的数据共享可实现原始数据不出本地的价值共享,其核心模式为:数据提供方利用本地数据完成模型训练,仅上传训练梯度至共享平台,平台聚合多方梯度后为数据需求方提供模型服务,该方式可有效规避原始数据泄露风险,已广泛应用于电力负荷预测、电力异常检测等场景。

2、随着行业落地规模扩大,参与面向联邦学习的数据共享的企业主体持续增多,多方主体动态参与任务发布、模型训练与梯度上传,使数据共享过程呈现多方异构参与、动态持续运行的特征,对共享平台可信性、参与方价值筛选精度及梯度聚合安全性提出了更高要求。同时,各数据提供方的数据质量参差不齐,梯度上传过程易产生异常更新甚至恶意梯度更新行为,进一步增加了可信管控、优质参与方筛选与安全梯度聚合的实施难度。

3、目前,面向联邦学习的数据共享研究主要集中于共享平台架构设计、数据提供方价值评估、梯度安全聚合三大核心方向,但现有技术存在诸多难以规避的缺陷。

4、在平台架构层面,现有方案多采用集中式服务器或区块链架构,其中集中式架构存在严重的单点故障风险,而区块链架构虽可实现去中心化可信管控,但存在链上计算效率低、系统运行开销大的问题;在参与方价值评估层面,现有技术主要依托测试集验证、边际贡献计算等方式评估数据提供方的贡献价值,普遍存在计算冗余、整体开销过大的问题,且难以在隐私保护的约束条件下精准刻画数据提供方的真实数据价值,无法实现优质数据提供方的有效筛选;在梯度聚合层面,现有方案多结合同态加密技术提升梯度聚合过程的安全性,但在大规模节点参与的应用场景中,存在异常恶意梯度难以快速精准定位的技术难题,系统整体运行效率与安全管控能力不足。

5、综上所述,现有面向联邦学习的数据共享技术无法兼顾隐私安全、共享平台高可信运行、精准价值筛选与高效梯度聚合的多重需求,难以适配大规模、动态化的行业应用场景,存在显著的技术短板。因此,如何在保障数据隐私与系统安全的基础上,构建高可信共享平台、实现高价值数据提供方精准筛选与高效安全的梯度聚合,是当前本领域亟需解决的关键技术问题。

技术实现思路

1、鉴于以上技术问题中的至少一项,本技术提供了一种面向联邦学习的数据安全共享方法,旨在解决现有面向联邦学习的数据共享平台在大规模、动态化的行业应用场景难以兼顾共享过程可信性与聚合效率、缺乏隐私保护条件下高价值数据提供方筛选机制以及梯度聚合过程难以兼顾验证效率、异常定位与隐私保护的技术问题,实现高可信的数据共享平台构建、隐私保护条件下的高价值数据提供方精准筛选以及高效安全的梯度聚合。

2、为解决上述技术问题,本发明所采取的技术方案是:

3、一种面向联邦学习的数据安全共享方法,该方法基于面向联邦学习的数据安全共享系统实现,该系统包括需求方、数据提供方、共享平台;该方法包括:

4、共享平台根据可验证随机函数vrf与信誉加权相结合的混合选举机制组建当前轮的梯度聚合预言机委员会c;

5、针对每个联邦学习任务,共享平台从c中指定一个节点作为聚合执行节点,其余节点作为验证节点;

6、通过任务相关性评估数据提供方的价值:需求方采用ckks同态加密算法得到密文单位化梯度,数据提供方基于与本地密文单位化梯度使用同态乘法运算得到梯度余弦相似度;

7、通过数据分布互补性评估数据提供方的价值:需求方计算各数据提供方的数据哈希签名与各需求方的参考哈希签名的汉明距离;

8、需求方基于和综合筛选高价值数据提供方,并计算得到高价值数据提供方对应的梯度聚合权重;

9、数据提供方基于第个数据提供方梯度得到梯度密文和完整梯度签名;

10、基于和执行批量签名校验,若批量校验等式不成立则通过构建梯度merkle树

11、并结合二分查找方式对异常节点进行定位;

12、共享平台剔除全部异常节点;

13、c基于执行加权梯度聚合得到密文聚合结果并通过拜占庭容错共识机制达成共识;

14、需求方基于更新全局电力联邦学习模型,实现面向联邦学习的数据安全共享。

15、进一步地,根据所述的一种面向联邦学习的数据安全共享方法,所述需求方,用于发布联邦学习任务、配置激励机制、执行数据质量评估与参与方筛选、下载聚合梯度更新全局电力联邦学习模型;

16、所述数据提供方,用于本地电力数据训练、生成数据质量参数、上传加密梯度与完整性证明;

17、所述共享平台,包括区块链和分布式预言机网络;所述区块链用于任务存证、筛选结果存证、梯度聚合结果存证、智能合约奖励分配;所述分布式预言机网络用于梯度完整性验证、链下密文梯度聚合、共识校验并上传聚合结果至区块链模块;所述分布式预言机网络包括单一聚合执行节点和多组独立验证节点,其中用于接收梯度、批量验证、密文梯度聚合运算,用于独立地重复核验聚合结果、分离计算与验证职责、规避单节点篡改风险。

18、进一步地,根据所述的一种面向联邦学习的数据安全共享方法,所述共享平台根据可验证随机函数vrf与信誉加权相结合的混合选举机制组建本轮梯度聚合预言机委员会c,包括:

19、区块链接收到需求方上传的完整任务描述信息后,区块链对通过哈希运算生成随机输入;

20、其中,表示完整任务描述信息,表示需求方,表示提供方集合,表示模型结构,表示损失函数,表示数据集,表示全局模型参数,表示梯度集合;

21、全部候选osp节点使用自身节点私钥对执行vrf计算,输出验证元组,其余osp节点可通过公钥完成校验,校验公式为:,其中,为vrf验证算法,为osp节点的公钥;

22、共享平台读取各候选节点归一化信誉值、随机伪随机因子,代入综合得分计算公式:;

23、共享平台对全部候选节点得分降序排序,选取得分最高的前k个节点,取得分最高的前k个节点组建成本轮梯度聚合预言机委员会c。

24、进一步地,根据所述的一种面向联邦学习的数据安全共享方法,所述通过任务相关性评估数据提供方的价值,包括:

25、需求方使用自有电力数据集训练得到参考梯度,对参考梯度做l2归一化处理得到,归一化公式如下:

26、;

27、其中,为l2归一化处理后的参考梯度;为参考梯度;为参考梯度的二范数,用于表征该向量的长度;

28、需求方采用ckks同态加密算法对归一化参考梯度加密,生成密文,具体实现如下:

29、;

30、其中,为第轮需求方单位化梯度经加密后得到的密文;为ckks同态加密算法;为需求方的ckks公钥;

31、各数据提供方对本地梯度做单位归一化得到,具体实现如下:

32、;

33、其中,为l2归一化处理后的第个数据提供方梯度;为第个数据提供方梯度;为的二范数;

34、数据提供方基于和使用同态乘法运算完成余弦相似度密文计算,具体实现如下:

35、;

36、其中,为第个数据提供方计算得到的梯度余弦相似度密文;为同态乘法运算符;

37、为l2归一化处理后的第个数据提供方梯度;为第轮需求方单位化梯度经加密后得到的密文;

38、需求方读取各数据提供方上传密文,使用本地私钥解密得到梯度余弦相似度,计算公式:;

39、其中,为需求方利用本地私钥,对密文解密得到的第个数据提供方梯度余弦相似度评估值;为ckks解密算法。

40、进一步地,根据所述的一种面向联邦学习的数据安全共享方法,所述通过数据分布互补性评估数据提供方的价值,包括:

41、各数据提供方按照统一电力特征提取规则生成本地数据统计特征向量,通过局部敏感哈希算法映射得到数据哈希签名,其中为第个数据提供方本地统计特征向量经局部敏感哈希映射得到的数据分布哈希签名,为局部敏感哈希函数;

42、需求方基于自有电力数据生成参考哈希签名,计算数据哈希签名与参考哈希签名这两组签名汉明距离,计算公式如下:;

43、采用dbscan聚类算法基于汉明距离对全部数据提供方进行分桶,将汉明距离相近的数据提供方划分至同一数据桶;

44、设第个数据桶为,计算该数据桶的数据分布差异中心值;进一步地,共享平台根据数据分布差异中心值和桶内平均余弦相似度对各数据桶进行分类筛选;

45、若满足,则判定该数据桶内数据提供方梯度方向与目标任务优化方向相反,将该数据桶划分为异常桶并剔除桶内全部数据;若满足,则判定为同质核心桶,表示数据分布与需求方数据高度重叠且梯度方向一致,保留该数据桶内全部数据提供方;若满足:,则判定为具有数据互补作用的互补核心桶;除上述情况外的数据桶划分为边缘桶,保留桶内数据提供方并在后续聚合过程中降低其聚合权重;

46、其中,和表示预设的数据分布差异阈值且满足,表示lsh算法生成的二进制哈希编码长度;表示梯度一致性阈值且满足;

47、完成数据桶筛选后,共享平台得到合法数据提供方集合,并根据节点梯度相似性、数据分布互补性以及桶规模信息计算各合法数据提供方的聚合权重:;

48、其中为数据分布增益函数,用于放大互补数据节点权重;为本轮参与聚合的数据提供方总数;

49、需求方基于权重完成数据提供方排序筛选。

50、进一步地,根据所述的一种面向联邦学习的数据安全共享方法,所述数据提供方基于第个数据提供方梯度得到梯度密文和完整梯度签名,包括:需求方根据安全参数确定ckks多项式参数,包括模数次数、系数模数以及缩放因子,并在密文环上生成ckks公私钥对;

51、其中,表示ckks加密计算所使用的多项式环;表示模数为的整数环;表示多项式环中的变量;表示需求方发布的同态加密公钥;表示需求方保存的解密私钥;

52、数据提供方基于本地数据完成第轮模型训练,得到本地梯度;随后,数据提供方使用需求方发布的同态加密公钥对本地梯度进行编码加密,得到梯度密文,表示基于的加密操作;根据ckks密文结构,将梯度密文表示为,其中和表示梯度密文对应的两个多项式分量;

53、为验证后续密文聚合结果的正确性,系统基于区块链生成随机挑战点,表示模数空间;数据提供方将梯度密文对应的多项式分量代入随机挑战点,计算轻量级验证参数,,其中和表示梯度密文对应的两个多项式分量,表示ckks密文计算模数;

54、构造待签名消息:,其中表示哈希函数,、表示随机挑战点生成的验证参数,表示当前联邦训练轮次,表示第个数据提供方的身份标识,表示消息拼接操作;

55、执行bls签名:数据提供方利用自身签名私钥,基于bls签名机制生成完整梯度签名;

56、其中,表示第个数据提供方生成的bls签名;表示数据提供方的签名私钥;

57、最终,数据提供方将梯度密文、验证参数、以及完整梯度签名共同上传至预言机网络。

58、进一步地,根据所述的一种面向联邦学习的数据安全共享方法,所述基于和执行批量签名校验,若批量校验等式不成立则通过构建梯度merkle树并结合二分查找方式对异常节点进行定位,包括:

59、预言机网络中的聚合执行节点计算每个数据提供方提交信息对应的叶节点哈希,其中表示第个数据提供方对应的merkle叶节点哈希值,表示用于保证提交信息的唯一性的随机参数,表示哈希函数;随后,聚合执行节点根据数据分桶映射关系,将属于同一数据桶的数据提供方节点组合形成底层子树,计算各数据桶对应的子树根哈希,并进一步基于所有桶根生成全局merkle根:,其中表示第个数据桶对应的子树根哈希,表示结构化merkle树根值;

60、聚合执行节点按照数据桶生成局部聚合签名:,进而得到全局批量聚合签名:,其中表示第个数据桶的聚合签名,表示第个数据桶内的数据提供方集合,表示全部数据提供方的批量聚合签名;

61、聚合执行节点通过双线性映射验证等式:,其中表示双线性映射函数,表示循环群生成元,表示第个数据提供方对应的签名消息,表示第个数据提供方的公钥,表示参与验证的数据提供方数量;

62、若上述等式成立,则判定当前批次数据提供方提交的梯度完整性验证通过,若上述等式不成立,则判定当前批次存在异常提交,启动异常节点定位流程,完成异常节点定位后,将异常数据提供方从合法数据提供方集合中剔除。

63、进一步地,根据所述的一种面向联邦学习的数据安全共享方法,所述异常节点定位流程,包括:聚合执行节点利用已构建的结构化merkle树,对异常提交进行分层定位,具体包括:首先,聚合执行节点按照数据桶划分结果对各数据桶内的数据提供方签名进行聚合,得到桶级聚合签名;随后,聚合执行节点按照验证等式对各数据桶执行局部bls聚合签名验证,若上述验证等式成立,则判定对应数据桶内数据提供方提交信息有效;若验证等式不成立,则判定该数据桶为异常数据桶,并将异常数据桶集合记为:,对于异常数据桶集合,聚合执行节点进一步采用递归二分方式定位异常数据提供方,

64、设当前待检测数据提供方集合为,将划分为两个互不相交的子集合和,满足;针对每个子集合,聚合执行节点分别计算对应的局部bls聚合签名:,其中表示子集合对应的局部聚合签名,表示当前划分得到的数据提供方子集合;随后,按照验证等式对子集合执行局部bls聚合签名验证;若某一子集合验证等式不成立,则判定该子集合内存在异常数据提供方,并继续对该子集合执行二分划分以及局部bls聚合签名验证过程;若验证等式成立,则判定该子集合内数据提供方提交信息有效;重复上述过程,直至定位到单个异常数据提供方。

65、进一步地,根据所述的一种面向联邦学习的数据安全共享方法,所述c基于执行加权梯度聚合得到密文聚合结果并通过拜占庭容错共识机制达成共识,包括:

66、密文加权聚合与结果上链,共享平台剔除全部异常节点后得到合法参与方集合,对筛选得到的梯度聚合权重归一化处理:,其中,为归一化后的梯度聚合权重,为原始梯度聚合权重,为剔除异常节点后得到的合法参与方集合;

67、在ckks密文域直接执行加权梯度聚合得到,其中,为密文域下的梯度加权聚合结果,为数据提供方上传的本地梯度密文;

68、聚合节点将广播至预言机委员会,各验证节点独立重复密文聚合运算,验证节点接收到聚合结果后,基于随机挑战点执行多项式恒等验证:,,以判断密文聚合是否满足预设加权规则,若多项式恒等验证成立,则验证节点确认聚合结果有效,否则拒绝该聚合结果;其中和表示聚合密文对应的多项式分量,表示随机挑战点,和表示第个数据提供方上传的密文验证参数,表示ckks计算过程中的系数模数;

69、通过拜占庭容错机制达成共识:统计委员会内认可聚合结果的投票数量,当预言机委员会内不少于2f+1个验证节点校验通过后,投票数量满足校验阈值公式:,则判定聚合结果可信,其中,为预言机委员会内认可聚合结果的投票节点集合;为认可聚合结果的投票节点数量;为本轮梯度聚合预言机委员会;为委员会节点总数;

70、预言机网络将聚合密文、共识投票证明上传区块链永久存证。

71、进一步地,根据所述的一种面向联邦学习的数据安全共享方法,所述需求方基于更新全局电力联邦学习模型,包括:

72、需求方从共享平台下载链上存储的,使用本地私钥解密得到全局梯度,基于全局梯度完成全局电力联邦学习模型更新,模型更新迭代公式:,其中,为第轮更新后的全局模型参数;为第轮更新前的全局模型参数;为模型更新学习率;为需求方解密聚合密文后得到的全局梯度;每次完成单轮联邦学习模型更新迭代后,共享平台自动进入下一轮本地训练、梯度聚合循环,直至全局联邦学习模型收敛达到预设精度阈值;

73、共享平台读取区块链内存储的各数据提供方的梯度贡献权重,触发区块链内置奖励分配智能合约,共享平台按照聚合权重自动完成本轮训练奖励分配;

74、每次完成单轮联邦学习模型更新迭代后,共享平台自动进入下一轮本地训练、梯度聚合循环,直至全局联邦学习模型收敛达到预设精度阈值。

75、采用上述技术方案所产生的有益效果在于:

76、(1)实现了可信的数据共享平台构建:平台采用区块链与分布式预言机相结合的架构,区块链负责数据共享任务的发布与结果存证,分布式预言机负责执行链下梯度聚合计算,避免了链上执行复杂计算导致的效率瓶颈。平台采用可验证随机函数与信誉加权相结合的混合机制选举预言机委员会:可验证随机函数保证选举结果随机且难以预测,防止委员会成员被针对性攻击;信誉加权综合节点历史行为筛除低可靠性候选节点,保证委员会成员的长期可靠性。针对每个联邦学习任务,系统从委员会中指定一个节点作为聚合执行节点,其余节点作为验证节点:聚合执行节点负责链下验证与密文聚合计算,验证节点对计算过程与结果进行独立核验,通过随机选取验证点验证聚合结果对应多项式的恒等关系判断计算正确性,并通过拜占庭容错共识机制对结果达成一致确认后上链存证,避免了单一中心节点执行任务管理与结果分发所导致的单点故障风险,提升了共享过程的可信性。

77、(2)实现了隐私保护下的高价值数据提供方筛选:一方面,通过对需求方与各提供方的单位化梯度进行ckks同态加密与同态乘法运算,在密文状态下计算得到梯度间的余弦相似度,从而在无需暴露梯度原始数值的情况下衡量各提供方梯度方向与目标任务优化方向的一致程度;另一方面,通过对各提供方数据生成局部敏感哈希签名并与需求方参考签名计算汉明距离,在不获取原始数据的前提下衡量提供方与需求方数据分布的相似程度,汉明距离过小说明分布高度重合,适度较大则说明该提供方数据具有互补价值。在此基础上,按汉明距离对各提供方进行分桶,结合桶内平均余弦相似度与平均汉明距离识别并剔除异常桶节点,并对保留节点按其相似度占比与所在桶的分布增益设置聚合权重,筛选出兼具任务相关性和分布价值的高价值数据提供方。

78、(3)实现了高效安全的梯度聚合:聚合过程中采用bls聚合签名机制,对多个数据提供方上传的梯度完整性证明进行批量验证,将多个独立签名聚合为固定长度的聚合签名,相较于逐一验证方式降低了多节点参与场景下的验证开销;同时,针对批量验证无法直接定位异常节点的问题,利用数据提供方筛选阶段生成的分桶结果构建结构化merkle树,并结合递归验证方式对异常梯度节点进行定位,避免了对全部参与方梯度逐一排查导致的额外计算开销,从而在保证梯度完整性的同时提升异常处理效率;进一步地,采用ckks同态加密技术在密文状态下执行合法数据提供方梯度的加权聚合,使聚合过程中无需获取梯度明文,在保障梯度隐私安全的同时提高了共享过程的安全性。