一种基于联合梯度的联邦异构动态分桶树训练方法与流程

摘要: 本发明涉及联邦学习和风控建模领域,尤其涉及一种基于联合梯度的联邦异构动态分桶树训练方法。背景技术:1、现有联邦树模型通常采用固定分桶方式构建直方图,仅根据特征分...
一种基于联合梯度的联邦异构动态分桶树训练方法与流程

本发明涉及联邦学习和风控建模领域,尤其涉及一种基于联合梯度的联邦异构动态分桶树训练方法。

背景技术:

1、现有联邦树模型通常采用固定分桶方式构建直方图,仅根据特征分位数进行等频分桶。

2、而等频分桶由于样本特征的复杂度,导致不同数据分桶内的梯度分布极度不平衡;且在金融风控场景中,某些高风险用户可能集中在较小特征区间内,但由于参与方无法感知梯度分布,只能基于固定分桶将其与大量普通样本划分至同一数据分桶内,容易出现高风险梯度信息被稀释,导致树节点划分稳定性下降,进而导致联邦树模型训练效果降低。

3、因此,亟需一种基于联合梯度的联邦异构动态分桶树训练方法,完成联邦动态分桶,实现更稳定准确的联邦树训练。

技术实现思路

1、本发明提供了一种基于联合梯度的联邦异构动态分桶树训练方法,解决纵向联邦学习场景下固定分桶无法适配复杂数据特征的问题,根据初始分桶结构和初始加密直方图进行分桶评估,并使参与方进行动态分桶,实现对不同梯度区域的动态分桶。

2、根据本发明的一方面,提供了一种基于联合梯度的联邦异构动态分桶树训练方法,应用于发起方,包括:

3、根据训练需求和与参与方的安全协议确定联邦训练数据,并根据所述联邦训练数据构建联邦训练树集;所述联邦训练树集中包括至少一个联邦训练树;所述联邦训练树包括发起方的训练样本标签和训练样本特征,以及参与方的训练样本特征;所述发起方的训练样本标签包括风控识别标签;所述发起方的训练样本包括交易频率特征和交易额度特征;所述参与方的训练样本特征包括金额消费行为特征、消费次数行为特征和活跃时长行为特征;

4、根据所述联邦训练树的当前节点中各训练样本对应的训练样本标签和模型预测值,计算各训练样本的一阶梯度和二阶梯度,并分别对所述一阶梯度和二阶梯度进行加密,得到初始加密一阶梯度和初始加密二阶梯度;并将所述初始加密一阶梯度和所述初始加密二阶梯度发送给参与方,以使所述参与方根据所述初始加密一阶梯度和所述初始加密二阶梯度,分别与初始数据分桶内的训练样本特征进行聚合统计,生成初始加密直方图;

5、获取所述参与方发送的所述初始加密直方图和特征分布统计信息,对所述初始加密直方图进行解密得到解密后的联合梯度统计结果,根据所述联合梯度统计结果和所述特征分布统计信息生成动态分桶配置给所述参与方,以使所述参与方根据动态分桶配置对训练样本特征再次分桶,得到候选分裂统计信息;其中,所述初始加密直方图包括由特征标识和初始分桶标识联合编码得到的特征分桶联合编码标识,以及对应的初始加密一阶梯度统计量、初始加密二阶梯度统计量和初始分桶样本数量,所述特征分布统计信息包括所述特征编码标识以及所述特征编码标识对应的特征基数、特征稀疏度得分和尾部分布值;

6、对所述参与方发送的候选分裂统计信息中加密一阶梯度统计量和加密二阶梯度统计量进行解密,根据解密后的梯度统计量计算各候选分裂点对应的分裂增益,确定所述参与方的最佳分裂信息;根据所述参与方的最佳分裂信息和所述发起方的最佳分裂信息,得到所述当前节点的全局最优分裂信息,并根据所述全局最优分裂信息协同所述参与方完成所述当前节点的拆分;其中,所述候选分裂统计信息包括候选分裂编码标识以及各候选分裂点左右两侧对应的加密一阶梯度统计量和加密二阶梯度统计量;

7、直至当前联邦训练树的所有节点完成拆分后,对其他联邦训练树进行迭代训练以得到联邦训练树集,其中,所述联邦训练树集用于对待识别样本进行风控识别。

8、根据本发明的另一方面,提供了一种基于联合梯度的联邦异构动态分桶树训练方法,应用于参与方,包括:

9、根据训练需求和与发起方的安全协议构建联邦训练数据,并根据所述联邦训练数据确定联邦训练树集;所述联邦训练树集中包括至少一个联邦训练树;所述联邦训练树包括发起方的训练样本标签和训练样本特征,以及参与方的训练样本特征;所述发起方的训练样本标签包括风控识别标签;所述发起方的训练样本特征包括交易频率特征和交易额度特征;所述参与方的训练样本特征包括金额消费行为特征、消费次数行为特征和活跃时长行为特征;

10、根据训练样本特征中各本地特征的特征值分布,按照预设初始分桶规则对训练样本特征进行初始分桶,确定各训练样本特征对应的初始分桶边界、初始分桶标识以及各训练样本特征在各本地训练样本特征下的初始分桶归属;其中,所述初始分桶边界以及本地特征标识、初始分桶标识与所述初始分桶边界之间的映射关系保留于所述参与方本地;

11、根据所述训练样本特征,计算各训练样本特征对应的特征基数、特征稀疏度得分和尾部分布值,并对各训练样本的特征标识进行编码,得到对应的特征编码标识;将所述特征编码标识与对应的特征基数、特征稀疏度得分和尾部分布值进行关联,形成特征分布统计信息;

12、对于所述联邦训练树的当前节点,接收发起方发送的初始加密一阶梯度和初始加密二阶梯度,根据所述当前节点对应的训练样本集合以及预先确定的所述初始分桶归属,对落入各初始数据分桶内的训练样本对应的初始加密一阶梯度和初始加密二阶梯度分别进行聚合统计,得到初始加密直方图,将所述初始加密直方图和所述特征分布统计信息发送给所述发起方,以使所述发起方根据所述初始加密直方图和所述特征分布统计信息生成动态分桶配置;其中,所述动态分桶配置包括特征编码标识、与所述特征编码标识对应的目标分桶数量以及分桶策略;

13、根据所述发起方发送的动态分桶配置结合所述当前节点中训练样本特征对应的本地特征值分布,进行动态分桶,并根据初始加密一阶梯度和初始加密二阶梯度对动态分桶后的目标数据分桶进行累积聚合,生成候选分裂统计信息,将所述候选分裂统计信息发送给所述发起方,以使所述发起方根据所述候选分裂统计信息对联邦训练树的当前节点进行拆分,直至当前联邦训练树的所有节点完成拆分后,对其他联邦训练树进行迭代训练以得到联邦训练树集,其中,所述联邦训练树集用于对待识别样本进行风控识别。

14、根据本发明的另一方面,提供了一种基于联合梯度的联邦异构动态分桶树训练装置,应用于发起方,包括:

15、联邦训练树集构建模块,用于根据训练需求和与参与方的安全协议构建联邦训练数据,并根据所述联邦训练数据确定联邦训练树集;所述联邦训练树集中包括至少一个联邦训练树;所述联邦训练树包括发起方的训练样本标签和训练样本特征,以及参与方的训练样本特征;所述发起方的训练样本标签包括风控识别标签;所述发起方的训练样本特征包括交易频率特征和交易额度特征;所述参与方的训练样本特征包括金额消费行为特征、消费次数行为特征和活跃时长行为特征;

16、梯度生成模块,用于根据所述联邦训练树的当前节点中各训练样本对应的训练样本标签和模型预测值,计算各训练样本的一阶梯度和二阶梯度,并分别对所述一阶梯度和二阶梯度进行加密,得到初始加密一阶梯度和初始加密二阶梯度;并将所述初始加密一阶梯度和所述初始加密二阶梯度发送给参与方,以使所述参与方根据所述初始加密一阶梯度和所述初始加密二阶梯度,,对所述当前节点中各初始数据分桶内的训练样本对应的初始加密一阶梯度和初始加密二阶梯度进行聚合统计,生成初始加密直方图;

17、动态分桶模块,用于获取所述参与方发送的所述初始加密直方图和特征分布统计信息,对所述初始加密直方图进行解密得到解密后的联合梯度统计结果,根据所述联合梯度统计结果和所述特征分布统计信息生成动态分桶配置给所述参与方,以使所述参与方根据动态分桶配置对训练样本特征再次分桶,得到候选分裂统计信息;其中,所述初始加密直方图包括由特征标识和初始分桶标识联合编码得到的特征分桶联合编码标识,以及对应的初始加密一阶梯度统计量、初始加密二阶梯度统计量和初始分桶样本数量,所述特征分布统计信息包括所述由特征标识编码后得到的特征编码标识以及所述特征编码标识对应的特征基数、特征稀疏度得分和尾部分布值;

18、拆分模块,用于对所述参与方发送的候选分裂统计信息中加密一阶梯度统计量和加密二阶梯度统计量进行解密,根据解密后的梯度统计量计算各候选分裂点对应的分裂增益,确定所述参与方的最佳分裂信息;根据所述参与方的最佳分裂信息和所述发起方的最佳分裂信息,得到所述当前节点的全局最优分裂信息,并根据所述全局最优分裂信息协同所述参与方完成所述当前节点的拆分;其中,所述候选分裂统计信息包括候选分裂编码标识以及各候选分裂点左右两侧对应的加密一阶梯度统计量和加密二阶梯度统计量;

19、训练模块,用于直至当前联邦训练树的所有节点完成拆分后,对其他联邦训练树进行迭代训练以得到联邦训练树集,其中,所述联邦训练树集用于对待识别样本进行风控识别。

20、根据本发明的另一方面,提供了一种基于联合梯度的联邦异构动态分桶树训练装置,应用于参与方,包括:

21、联邦训练树构建模块,用于根据训练需求和与发起方的安全协议构建联邦训练数据,并根据所述联邦训练数据确定联邦训练树集;所述联邦训练树集中包括至少一个联邦训练树;所述联邦训练树包括发起方的训练样本标签和训练样本特征,以及参与方的训练样本特征;所述发起方的训练样本标签包括风控识别标签;所述发起方的训练样本特征包括交易频率特征和交易额度特征;所述参与方的训练样本特征包括金额消费行为特征、消费次数行为特征和活跃时长行为特征;

22、初始分桶模块,用于根据训练样本特征中各本地特征的特征值分布,按照预设初始分桶规则对训练样本特征进行初始分桶,确定各训练样本特征对应的初始分桶边界、初始分桶标识以及各训练样本在各本地训练样本特征下的初始分桶归属;其中,所述初始分桶边界以及本地特征标识、初始分桶标识与所述初始分桶边界之间的映射关系保留于所述参与方本地;

23、分布统计模块,用于根据所述训练样本特征,计算各训练样本特征对应的特征基数、特征稀疏度得分和尾部分布值,并对各训练样本的特征标识进行编码,得到对应的特征编码标识;将所述特征编码标识与对应的特征基数、特征稀疏度得分和尾部分布值进行关联,形成特征分布统计信息;

24、动态分桶模块,用于对于所述联邦训练树的当前节点,接收发起方发送的初始加密一阶梯度和初始加密二阶梯度,根据所述当前节点对应的训练样本集合以及预先确定的所述初始分桶归属,对落入各初始数据分桶内的训练样本对应的初始加密一阶梯度和初始加密二阶梯度分别进行聚合统计,得到初始加密直方图,将所述初始加密直方图和所述特征分布统计信息发送给所述发起方,以使所述发起方根据所述初始加密直方图和所述特征分布统计信息生成动态分桶配置;其中,所述动态分桶配置包括特征编码标识、与所述特征编码标识对应的目标分桶数量以及分桶策略; 统计信息获取模块,用于根据所述发起方发送的动态分桶配置结合所述当前节点中训练样本特征对应的本地特征值分布,进行动态分桶,并根据初始加密一阶梯度和初始加密二阶梯度对动态分桶后的目标数据分桶进行聚合统计,生成候选分裂统计信息,将所述候选分裂统计信息发送给所述发起方,以使所述发起方根据所述候选分裂统计信息对联邦训练树的当前节点进行拆分,直至当前联邦训练树的所有节点完成拆分,对其他联邦训练树进行迭代训练以得到联邦训练树集,其中,所述联邦训练树集用于对待识别样本进行风控识别。

25、根据本发明的另一方面,提供了一种电子设备,所述电子设备包括:

26、至少一个处理器;以及

27、与所述至少一个处理器通信连接的存储器;其中,

28、所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明任一实施例所述的基于联合梯度的联邦异构动态分桶树训练方法。

29、根据本发明的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本发明任一实施例所述的基于联合梯度的联邦异构动态分桶树训练方法。

30、根据本发明的另一方面,提供了一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序在被处理器执行时实现根据本发明任一实施例所述的基于联合梯度的联邦异构动态分桶树训练方法。

31、本发明实施例的技术方案,根据初始分桶结构和初始加密直方图进行分桶评估,并使参与方进行动态分桶,实现对不同梯度区域的动态分桶,解决纵向联邦学习场景下固定分桶无法适配复杂数据特征的问题。

32、应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。