基于类别可靠性加权原型与门控的个性化联邦学习方法及系统

摘要: 本发明涉及机器学习和数据安全,尤其是一种基于类别可靠性加权原型与门控的个性化联邦学习方法及系统。背景技术:1、在数据安全和隐私保护需求提高的应用场景中,联邦学习...
基于类别可靠性加权原型与门控的个性化联邦学习方法及系统

本发明涉及机器学习和数据安全,尤其是一种基于类别可靠性加权原型与门控的个性化联邦学习方法及系统。

背景技术:

1、在数据安全和隐私保护需求提高的应用场景中,联邦学习通过多个客户端本地训练并由服务器协调模型或中间表示的交互,使多个客户端能够在不直接上传原始数据的情况下协同完成模型训练。

2、然而,实际联邦学习场景中的客户端数据通常并非独立同分布,可能存在类别分布不均、类别缺失、样本数量差异或域偏移。对于基于原型或类中心的联邦学习方法,若直接平均客户端上传的类别原型,容易受到低样本、高不确定性、高离散度或异常偏移等低可靠性原型污染;固定强度的全局对齐也可能削弱客户端对本地数据分布的适应能力,并在数据异构程度较高时引入负迁移。

3、因此,亟需要提供一种在不上传原始样本的情况下,按类别评估客户端原型可靠性,并在全局共享知识、域级共享知识和本地个性化知识之间进行自适应协调的个性化联邦学习方案。

技术实现思路

1、针对现有技术的不足,本发明提供一种基于类别可靠性加权原型与门控的个性化联邦学习方法及系统,以提升非独立同分布联邦场景分类精度与个性化适配能力。

2、第一方面,本发明提供基于类别可靠性加权原型与门控的个性化联邦学习方法,包括:

3、通过客户端将本地样本映射至公共特征空间,并按类别计算本地类别原型及类别统计量;

4、通过所述客户端向所述服务器上传有效类别对应的本地类别原型、类别统计量和客户端描述符;

5、通过所述服务器对每一有效类别的类别统计量确定客户端对应有效类别的类别级可靠性权重;

6、通过所述服务器基于所述类别级可靠性权重维护全局类别原型;

7、通过所述服务器根据所述客户端描述符进行客户端分组,并基于所述类别级可靠性权重在客户端组内维护域级类别原型;

8、通过所述客户端的本地状态、所述全局类别原型和所述域级类别原型生成归一化的门控系数;

9、所述客户端利用归一化的门控系数融合全局分支、域级分支和本地分支的分类输出,并利用所述归一化的门控系数中的全局分支门控权重和域级分支门控权重分别调节本地特征向所述全局类别原型和所述域级类别原型的对齐训练强度。

10、第二方面,本发明提供基于类别可靠性加权原型与门控的个性化联邦学习系统,包括服务器和多个客户端;

11、所述的客户端配置有第一模块、第二模块、第三模块、第四模块;

12、所述的服务器配置有第五模块、第六模块、第七模块;其中:

13、第一模块,用于将客户端的本地样本映射至公共特征空间,并按类别计算本地类别原型及类别统计量;

14、第二模块,用于向所述服务器上传有效类别对应的本地类别原型、类别统计量和客户端描述符;

15、第五模块,用于对每一有效类别的类别统计量确定客户端对应有效类别的类别级可靠性权重;

16、第六模块,用于基于所述类别级可靠性权重维护全局类别原型;

17、第七模块,用于根据所述客户端描述符进行客户端分组,并基于所述类别级可靠性权重在客户端组内维护域级类别原型;

18、第三模块,用于通过所述客户端的本地状态、所述全局类别原型和所述域级类别原型生成归一化的门控系数;

19、第四模块,用于利用归一化的门控系数融合全局分支、域级分支和本地分支的分类输出,并利用所述归一化的门控系数中的全局分支门控权重和域级分支门控权重分别调节本地特征向所述全局类别原型和所述域级类别原型的对齐训练强度。

20、第三方面,本发明提供一种电子设备,包括:

21、至少一个处理器;

22、以及与所述至少一个处理器通信连接的存储器;

23、其中,所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被至少一个处理器执行时实现所述基于类别可靠性加权原型与门控的个性化联邦学习方法。

24、本发明的有益效果为:

25、1、本发明通过类别级可靠性权重按类别评估原型可靠性,降低低样本、高不确定性或高离散度类别原型对共享表示的影响;

26、2、本发明通过全局类别原型与域级类别原型协同维护,在全局共享知识与本地个性化知识之间提供中间层知识,提高异构数据适应性;

27、3、本发明通过客户端分组和域级类别原型,在不上传原始样本的情况下形成与客户端分布更匹配的域级知识;

28、4、本发明通过门控融合,使客户端能够根据本地状态、全局类别原型和域级类别原型,自适应协调全局知识、域级知识和本地知识;

29、5本发明通过同一门控系数同时用于分类信息融合,并通过其中的全局分支权重和域级分支权重分别调节对应原型对齐训练强度,降低固定强度共享对齐在异构数据场景中可能引起的负迁移风险。

1.基于类别可靠性加权原型与门控的个性化联邦学习方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于:通过客户端将本地样本映射至公共特征空间,并按类别计算本地类别原型及类别统计量,包括:

3.根据权利要求2所述的方法,其特征在于:通过所述服务器对每一有效类别的类别统计量确定客户端对应有效类别的类别级可靠性权重,包括:

4.根据权利要求3所述的方法,其特征在于:通过所述服务器基于所述类别级可靠性权重维护全局类别原型,包括:

5.根据权利要求4所述的方法,其特征在于:通过所述服务器根据所述客户端描述符进行客户端分组,并基于所述类别级可靠性权重在客户端组内维护域级类别原型,包括:

6.根据权利要求5所述的方法,其特征在于:将所有客户的标准化的客户端描述符作为样本输入进行聚类迭代计算,得到客户端的分组结果,包括:

7.根据权利要求5所述的方法,其特征在于:通过所述客户端的本地状态、所述全局类别原型和所述域级类别原型生成归一化的门控系数,包括:

8.根据权利要求7所述的方法,其特征在于:所述客户端利用归一化的门控系数融合全局分支、域级分支和本地分支的分类输出,并利用所述归一化的门控系数中的全局分支门控权重和域级分支门控权重分别调节本地特征向所述全局类别原型和所述域级类别原型的对齐训练强度,包括:

9.基于类别可靠性加权原型与门控的个性化联邦学习系统,包括服务器和多个客户端;其特征在于:

10.一种电子设备,包括: