分层低秩适配的个性化联邦学习方法、装置、设备及介质与流程

摘要: 本发明涉及人工智能,尤其涉及一种分层低秩适配的个性化联邦学习方法、装置、设备及介质。背景技术:1、联邦学习作为一种分布式的机器学习范式,允许众多数据持有方在不共...
分层低秩适配的个性化联邦学习方法、装置、设备及介质与流程

本发明涉及人工智能,尤其涉及一种分层低秩适配的个性化联邦学习方法、装置、设备及介质。

背景技术:

1、联邦学习作为一种分布式的机器学习范式,允许众多数据持有方在不共享原始数据的前提下协同训练模型,其在保护隐私的同时挖掘分散数据价值的潜力,使其成为与预训练大模型相结合的重要研究方向,尤其是在金融科技、医疗健康等对数据隐私高度敏感的领域,各机构往往因合规要求难以直接交换客户数据,这使得联邦学习成为打破数据孤岛的关键技术路径。

2、现有技术中,直接将全量参数的大模型应用于联邦训练面临严峻挑战,一方面,动辄数亿的参数量导致客户端与服务器之间频繁传递模型更新会产生惊人的通信开销,这在资源受限的边缘计算场景中难以承受。为降低通信成本,参数高效微调方法如低秩适配被引入联邦学习,其通过训练少量低秩参数代替全量模型更新,显著减少了传输数据量。但在现有实践中,无论是所有客户端共享一个全局低秩适配器的方案,还是为每个客户端分配独立私有适配器的方案,都未能取得理想效果。前者在面对各客户端数据分布不一致时,被迫在所有客户端之间寻求一个平均解,导致聚合后的模型偏离每个客户端的真实最优方向,即所谓客户端漂移现象,使得模型在个性化任务上的性能不佳。进一步地,后者虽能完全适配本地数据,却放弃了任何形式的协同训练,当客户端本地数据稀少时极易陷入过拟合,且完全阻断了不同客户端之间潜在知识的流动。

技术实现思路

1、本发明提供一种分层低秩适配的个性化联邦学习方法、装置、设备及介质,以解决如何在联邦学习场景下,实现高精度个性化与良好泛化能力之间平衡的技术问题。

2、第一方面,提供了一种分层低秩适配的个性化联邦学习方法,包括:

3、响应于接收到联邦学习训练触发指令,与多个客户端联合训练全局共享的根层lora适配器,得到根层lora适配器参数并冻结所述根层lora适配器参数;

4、基于接收到的所述多个客户端分别上传的模型更新信息,对所述多个客户端进行自适应聚类,得到客户端簇结构,并确定每个客户端所属的簇,所述客户端簇结构包含至少一个簇,每个簇包含至少一个客户端;

5、基于所述根层lora适配器参数和所述客户端簇结构,与所述多个客户端联合训练每个簇共享的簇层lora适配器,得到各簇的簇层lora适配器参数并冻结所述簇层lora适配器参数;

6、向每个客户端下发所述根层lora适配器参数和所述每个客户端所属簇的簇层lora适配器参数,并指示每个客户端本地训练每个客户端独有的叶层lora适配器,得到所述每个客户端独有的叶层lora适配器参数。

7、第二方面,提供了一种分层低秩适配的个性化联邦学习装置,包括:

8、第一训练单元,用于响应于接收到联邦学习训练触发指令,与多个客户端联合训练全局共享的根层lora适配器,得到根层lora适配器参数并冻结所述根层lora适配器参数;

9、聚类单元,用于基于接收到的所述多个客户端分别上传的模型更新信息,对所述多个客户端进行自适应聚类,得到客户端簇结构,并确定每个客户端所属的簇,所述客户端簇结构包含至少一个簇,每个簇包含至少一个客户端;

10、第二训练单元,用于基于所述根层lora适配器参数和所述客户端簇结构,与所述多个客户端联合训练每个簇共享的簇层lora适配器,得到各簇的簇层lora适配器参数并冻结所述簇层lora适配器参数;

11、第三训练单元,用于向每个客户端下发所述根层lora适配器参数和所述每个客户端所属簇的簇层lora适配器参数,并指示每个客户端本地训练每个客户端独有的叶层lora适配器,得到所述每个客户端独有的叶层lora适配器参数。

12、第三方面,提供了一种计算机设备,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述分层低秩适配的个性化联邦学习方法的步骤。

13、第四方面,提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现上述分层低秩适配的个性化联邦学习方法的步骤。

14、上述分层低秩适配的个性化联邦学习方法、装置、计算机设备及存储介质所实现的方案中,通过根层lora适配器、簇层lora适配器与叶层lora适配器的三级分层架构,实现了全局共性知识、子群共性知识与个体特性知识的精确解耦与协同学习。根层适配器由所有客户端共享训练并冻结,为系统提供跨所有数据分布的通用知识基础;自适应聚类机制自动发现数据分布的隐性子群结构,簇层适配器在子群内共享训练并冻结,捕捉子群内部的共性知识;叶层适配器由每个客户端独立本地训练,学习该客户端特有的细粒度残差知识。三层适配器之间形成从粗到精的级联训练链路,使得每个客户端最终获得的模型既具备全局泛化能力,又保留子群共性特征,还包含个性化细节,从而在联邦学习场景下实现高精度个性化与良好泛化能力之间的有效平衡。

1.一种分层低秩适配的个性化联邦学习方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述与多个客户端联合训练全局共享的根层lora适配器,包括:

3.根据权利要求2所述的方法,其特征在于,所述基于接收到的所述多个客户端分别上传的模型更新信息,对所述多个客户端进行自适应聚类,得到客户端簇结构,包括:

4.根据权利要求1所述的方法,其特征在于,所述基于所述根层lora适配器参数和所述客户端簇结构,与所述多个客户端联合训练每个簇共享的簇层lora适配器,得到各簇的簇层lora适配器参数并冻结所述簇层lora适配器参数,包括:

5.根据权利要求1所述的方法,其特征在于,所述指示每个客户端本地训练每个客户端独有的叶层lora适配器,包括:

6.根据权利要求1所述的方法,其特征在于,所述每个客户端在本地更新簇层lora适配器时,所采用的训练目标函数包括簇层正交正则化项,所述簇层正交正则化项用于强制簇层lora适配器的更新方向与已冻结的根层lora适配器的更新方向正交;

7.根据权利要求1至6任一项所述的方法,其特征在于,所述方法还包括:

8.一种分层低秩适配的个性化联邦学习装置,其特征在于,包括:

9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述分层低秩适配的个性化联邦学习方法的步骤。

10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述分层低秩适配的个性化联邦学习方法的步骤。