确定联邦学习的训练成员模型贡献度的方法及装置与流程

技术特征：
1.一种检测联邦学习的训练成员模型贡献度的方法，其中，所述联邦学习过程由多个训练成员在服务方辅助下利用各自的隐私数据训练业务模型，所述服务方对应有所述业务模型的全局模型，各个训练成员各自对应有所述业务模型的各个局部模型，所述方法由服务方执行，在所述模型的单个同步周期，所述方法包括：从各个训练成员接收各个局部模型分别对应的各个局部参数集，其中，单个局部参数集由单个训练成员利用单个局部模型处理本地隐私数据得到；按照预定同步策略对各个局部参数集进行融合，得到与全局模型对应的全局参数集；分别检测各个局部参数集与所述全局参数集之间的各个相关系数；利用各个相关系数确定各个训练成员在当前同步周期分别对应的各个当前贡献度，从而确定各个训练成员在所述联邦学习过程中的模型贡献度。2.如权利要求1所述的方法，其中，所述局部参数集中的单个元素对应单个待同步参数，所述待同步参数为所述业务模型的待定参数、待定参数的梯度、待定参数的改变量中的一项。3.如权利要求2所述的方法，其中，所述业务模型的待定参数数量为m，单个局部参数集由单个训练成员i按照预定压缩比例α
i
或预定数量k，从m个待同步参数中选择m
×
α
i
或者k个，由其对应的更新值构成单个局部参数集。4.如权利要求3所述的方法，其中，所述从m个待同步参数中选择m
×
α
i
或者k个通过剪枝或按照更新值由大到小的顺序选择中的一种方式进行。5.如权利要求1所述的方法，其中，所述预定同步策略包括但不限于以下中的至少一项：取最大值、取最小值、取中位数、取均值。6.如权利要求1所述的方法，其中，所述按照预定同步策略对各个局部参数集进行融合，得到与全局模型对应的全局参数集包括：按照预定同步策略对各个局部参数集进行融合，得到各个待同步参数分别对应的各个同步值；通过剪枝或按照大小顺序对各个同步值进行稀疏化，得到全局参数集。7.如权利要求1所述的方法，其中，所述相关系数通过以下中的至少一项进行衡量：欧拉距离、曼哈顿距离、余弦距离、kl散度、皮尔逊距离。8.如权利要求1所述的方法，其中，单个训练成员对应的单个当前贡献度与其对应的单个相关系数正相关。9.如权利要求8所述的方法，其中，各个训练成员的当前贡献度为针对各个相关系数进行线性归一化或逻辑回归归一化的归一化值。10.如权利要求1所述的方法，其中，所述分别检测各个局部参数集与所述全局参数集之间的各个相关系数包括：对各个局部参数集和全局参数集分别进行归一化；利用归一化后的局部参数集和全局参数集确定各个局部参数集分别与所述全局参数集之间的各个相关系数。11.如权利要求1所述的方法，其中，单个训练成员在所述联邦学习过程中的模型贡献度为该单个训练成员在各个同步周期分别对应的各个贡献度的和或均值。12.如权利要求1所述的方法，其中，所述方法还包括：
按照各个训练成员分别对应的各个模型贡献度，为各个训练成员分别确定各个收益比例，其中，单个训练成员的收益比例与其对应的模型贡献度正相关；按照各个收益比例在各个训练成员之间分配整体收益。13.如权利要求1所述的方法，其中，所述局部参数集、所述全局参数集均为矩阵形式，各个局部参数集分别通过各个局部稀疏矩阵表示，单个局部稀疏矩阵中，针对待同步参数稀疏化后所选中的位置为相应更新值，其余位置为0；所述按照预定同步策略对各个局部参数集进行融合包括：根据各个局部参数集，确定各个训练成员分别对应的各个局部稀疏位置矩阵，所述局部稀疏位置矩阵中，相应训练成员上传更新值的位置为非零值，其余位置为0；利用对各个局部稀疏位置矩阵求和的第一和矩阵，得到数量统计矩阵；通过对各个局部稀疏矩阵求和的得到的第二和矩阵与所述数量统计矩阵进行按位相除的除法操作，得到对各个局部稀疏矩阵进行融合的同步矩阵，所述同步矩阵用于确定所述全局参数集。14.一种检测联邦学习的训练成员模型贡献度的装置，其中，所述联邦学习过程由多个训练成员在服务方辅助下利用各自的隐私数据训练业务模型，所述服务方对应有所述业务模型的全局模型，各个训练成员各自对应有所述业务模型的各个局部模型，所述装置设于服务方，包括接收单元，同步单元，检测单元，确定单元，在所述模型的单个同步周期：所述接收单元，配置为从各个训练成员接收各个局部模型分别对应的各个局部参数集，其中，单个局部参数集由单个训练成员利用单个局部模型处理本地隐私数据得到；所述同步单元，配置为按照预定同步策略对各个局部参数集进行融合，得到与全局模型对应的全局参数集；所述检测单元，配置为分别检测各个局部参数集与所述全局参数集之间的各个相关系数；所述确定单元，配置为利用各个相关系数确定各个训练成员在当前同步周期分别对应的各个当前贡献度，从而确定各个训练成员在所述联邦学习过程中的模型贡献度。15.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-13中任一项的所述的方法。16.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-13中任一项所述的方法。

技术总结
本说明书实施例提供一种检测联邦学习的训练成员模型贡献度的方法及装置，尤其适用于横向联邦学习过程中，对各个训练成员数据质量检测或评估训练成员本地隐私数据对模型的整体质量影响。该方案可由服务方执行，在单个同步周期，从各个训练成员接收各个局部模型分别对应的各个局部参数集，然后按照预定同步策略对各个局部参数集进行融合，得到与全局模型对应的全局参数集，再分别检测各个局部参数集与所述全局参数集之间的各个相关系数，并利用各个相关系数确定各个训练成员在当前同步周期分别对应的各个当前贡献度，从而确定各个训练成员在联邦学习过程中的模型贡献度。该方式可以更准确地衡量训练成员数据的重要性。以更准确地衡量训练成员数据的重要性。以更准确地衡量训练成员数据的重要性。


技术研发人员：郑龙飞 王力 王磊
受保护的技术使用者：支付宝（杭州）信息技术有限公司
技术研发日：2022.06.27
技术公布日：2022/9/13