基于联邦学习与同态加密的模型训练方法与系统与流程

摘要: 本发明涉及数据安全,具体涉及一种基于联邦学习与同态加密的模型训练方法与系统。背景技术:1、随着大数据和人工智能技术的快速发展,多家数据持有机构在进行客户行为风险...
基于联邦学习与同态加密的模型训练方法与系统与流程

本发明涉及数据安全,具体涉及一种基于联邦学习与同态加密的模型训练方法与系统。

背景技术:

1、随着大数据和人工智能技术的快速发展,多家数据持有机构在进行客户行为风险识别、客户综合信用评分、异常行为筛查等业务场景中,迫切需要联合多个机构的数据进行协同建模,以提升模型的准确性和泛化能力。然而,由于原始数据涉及大量客户隐私信息和敏感信息,贸然共享数据可能会造成隐私泄露的问题。

2、相关技术引入联邦学习方案,联邦学习作为一种分布式机器学习框架,允许多个本地计算节点在不共享原始数据的前提下,通过交换模型参数或梯度信息协同训练全局模型,为解决上述问题提供了有效途径。然而,传统联邦学习方案在实际应用中仍存在以下技术问题:各本地计算节点需要将本地训练的模型参数或梯度上传至中心服务器进行聚合,攻击者可以通过分析模型参数或梯度信息,逆向推断本地计算节点的本地训练数据特征,导致用户隐私泄露。其次,虽然部分方案采用差分隐私等技术添加噪声,但噪声的引入会降低模型精度,难以在隐私保护与模型效用之间取得良好平衡。

技术实现思路

1、本发明提供了一种基于联邦学习与同态加密的模型训练方法与系统,以解决多源数据协同建模时可能存在隐私泄露风险和模型精度不足的问题。

2、第一方面,本发明提供了一种基于联邦学习与同态加密的模型训练方法,应用于中心服务器,该方法包括:接收各个本地计算节点发送的加密模型更新数据,加密模型更新数据为本地计算节点利用同态公钥对本地模型参数更新量进行同态加密得到的,本地模型参数更新量为本地计算节点基于中心服务器下发的初始全局模型参数对本地模型训练得到的;对所有的加密模型更新数据进行同态聚合处理,得到加密全局模型更新数据;将加密全局模型更新数据下发至各个本地计算节点,以使本地计算节点基于加密全局模型更新数据对本地模型进行训练,得到目标全局模型,目标全局模型用于风险评估。

3、在一种可选的实施方式中,对所有的加密模型更新数据进行同态聚合处理,得到加密全局模型更新数据,包括:针对任意一个加密模型更新数据,对加密模型更新数据进行异常检测,得到异常检测结果;基于异常检测结果,从多个加密模型更新数据中筛选通过异常检测的目标加密模型更新数据;对所有的目标加密模型更新数据进行加权同态聚合,得到加密全局模型更新数据。

4、在一种可选的实施方式中,对加密模型更新数据进行异常检测,得到异常检测结果,包括:获取加密模型更新数据对应的验证信息;利用验证信息,对加密模型更新数据进行有效性验证,得到验证结果;若验证结果表征加密模型更新数据通过有效性验证,则对加密模型更新数据进行梯度异常检测,得到异常检测结果;其中,验证信息包括本地计算节点的节点标识以及加密模型更新数据对应的加密时间戳。

5、在一种可选的实施方式中,该方法还包括:若异常检测结果表征加密模型更新数据未通过梯度异常检测,则为加密模型更新数据对应的目标本地计算节点添加目标标记;若目标本地计算节点对应的目标标记的总数量大于或者等于标记阈值,则不再接收本地计算节点发送的加密模型更新数据。

6、在一种可选的实施方式中,将加密全局模型更新数据下发至各个本地计算节点,以使本地计算节点基于加密全局模型更新数据对本地模型进行训练,得到目标全局模型,包括:获取各个本地计算节点发送的参数差异量化指标,其中,参数差异量化指标用于表征相应本地计算节点当前训练轮次的本地模型与上一训练轮次的本地模型之间的参数差异;对所有的参数差异量化指标进行平均处理,得到全局参数差异均值;若全局参数差异均值大于收敛阈值,则将加密全局模型更新数据下发至各个本地计算节点,以使本地计算节点继续基于加密全局模型更新数据对本地模型进行训练;若全局参数差异均值小于或者等于收敛阈值,则将加密全局模型更新数据下发至各个本地计算节点,以使本地计算节点基于加密全局模型更新数据得到目标全局模型。

7、第二方面,本发明提供了一种基于联邦学习与同态加密的模型训练方法,应用于本地计算节点,该方法包括:接收中心服务器下发的初始全局模型参数,并基于初始全局模型参数得到本地模型;利用本地训练数据,对本地模型进行迭代训练,得到模型更新参数;利用模型更新参数与初始全局模型参数之间的差异,确定本地模型参数更新量;利用密钥管理中心下发的同态公钥,对本地模型参数更新量进行加密,得到加密模型更新数据;将加密模型更新数据发送至中心服务器,以使中心服务器对所有的加密模型更新数据进行同态聚合处理,得到目标全局模型,目标全局模型用于风险评估。

8、在一种可选的实施方式中,该方法还包括:接收中心服务器下发的加密全局模型更新数据,加密全局模型更新数据为中心服务器对所有的加密模型更新参数进行同态聚合处理得到的;将加密全局模型更新数据发送至密钥管理中心,以使密钥管理中心基于同态私钥对加密全局模型更新数据进行解密,得到全局模型更新量,且同态私钥与同态公钥构成同态加密密钥对;接收密钥管理中心发送的全局模型更新量;基于全局模型更新量,对本地模型进行训练,得到参数差异量化指标;将参数差异量化指标发送至中心服务器,以中心服务器基于所有的参数差异量化指标确定模型是否收敛。

9、在一种可选的实施方式中,该方法还包括:接收中心服务器下发的当前训练轮次;对当前训练轮次进行编号连续性检测,得到连续性检测结果;若连续性检测结果表征当前训练轮次与上一训练轮次之间编号连续,则将加密全局模型更新数据发送至密钥管理中心。

10、在一种可选的实施方式中,该方法还包括:将本地计算节点的验证信息发送至中心服务器,以使中心服务器基于验证信息对加密模型更新参数进行有效性检测;其中,验证信息包括本地计算节点的节点标识以及加密模型更新数据对应的时间戳。

11、第三方面,本发明提供了一种基于联邦学习与同态加密的模型训练系统,该系统包括密钥管理中心、多个本地计算节点以及中心服务器;密钥管理中心,用于生成包括同态公钥和同态私钥的同态加密密钥对,且将同态公钥发送至各个本地计算节点;中心服务器,用于初始化初始全局模型参数,且将初始全局模型参数发送至各个本地计算节点;本地计算节点,用于接收中心服务器下发的初始全局模型参数,并基于初始全局模型参数得到本地模型;利用本地训练数据,对本地模型进行迭代训练,得到模型更新参数;利用模型更新参数与初始全局模型参数之间的差异,确定本地模型参数更新量;利用密钥管理中心下发的同态公钥,对本地模型参数更新量进行加密,得到加密模型更新数据;将加密模型更新数据发送至中心服务器,以使中心服务器对所有的加密模型更新数据进行同态聚合处理,得到目标全局模型,目标全局模型用于风险评估。

12、第四方面,本发明提供了一种电子设备,包括:存储器和处理器,存储器和处理器之间互相通信连接,存储器中存储有计算机指令,处理器通过执行计算机指令,从而执行上述第一方面或其对应的任一实施方式的一种基于联邦学习与同态加密的模型训练方法。

13、第五方面,本发明提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机指令,计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的一种基于联邦学习与同态加密的模型训练方法。

14、第六方面,本发明提供了一种计算机程序产品,包括计算机指令,计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的一种基于联邦学习与同态加密的模型训练方法。

15、本发明实施例提供的基于联邦学习与同态加密的模型训练方法,首先本地计算节点对本地模型参数更新量进行加密得到加密模型更新数据,并将加密模型更新数据发送至中心服务器,如此中心服务器可以在密文状态下对所有本地计算节点上传的加密模型更新数据进行同态聚合,得到加密全局模型更新数据,本地计算节点在接收到中心服务器下发的全局模型更新数据之后,可以基于全局模型更新数据继续对本地模型进行训练,从而得到最终的目标全局模型。由于中心服务器可以在密文状态下对所有本地计算节点上传的加密模型更新数据进行同态聚合,故而可避免本地计算节点上传至服务器的本地模型参数更新量发生泄露,而且也无需添加噪声,可以提升模型精度,从而可以在模型精度与数据泄露之间取得良好平衡,进而解决了多源数据协同建模时可能存在隐私泄露风险和模型精度不足的问题。