异构客户端联邦学习方法、计算机设备及计算机程序产品
本技术涉及大语言模型参数高效微调,具体涉及一种异构客户端联邦学习方法、计算机设备及计算机程序产品。
背景技术:
1、随着人工智能技术的发展,大语言模型在自然语言处理领域展现出卓越性能。为降低训练资源开销,低秩自适应技术通过冻结预训练权重并仅训练插入的低秩矩阵,显著减少了需更新的参数量。与此同时,联邦学习范式允许分布式客户端在不共享原始数据的情况下协同训练,通过将计算任务迁移至边缘设备,既保护了数据隐私又降低了数据传输延迟。现有联邦低秩自适应微调通常由参数服务器分发全局低秩矩阵,客户端利用本地数据进行训练并上传更新,服务器进行聚合以生成新全局模型。
2、在大规模分布式部署中,参与训练的终端节点在计算能力、存储容量及通信带宽方面存在显著差异。这种系统资源的异构性导致不同客户端完成单轮训练和通信的耗时参差不齐,容易引发同步等待瓶颈。同时,针对资源受限节点的裁剪策略往往采用固定步长的秩数调整或简单的零填充,难以实现细粒度的资源适配,且易造成全局模型知识在局部训练中的丢失,使得整体训练效率与资源利用率之间存在长期矛盾。
技术实现思路
1、有鉴于此,本技术实施例提供了一种异构客户端联邦学习方法、计算机设备及计算机程序产品,以解决现有技术中因客户端系统资源异构导致的训练效率低下、同步等待时间长以及全局低秩参数知识丢失的技术问题。
2、本技术的第一方面提供了一种异构客户端联邦学习方法,应用于联邦学习系统中的客户端,所述方法包括:
3、向参数服务器发送所述客户端的系统资源信息,并接收所述参数服务器根据所述系统资源信息确定的可训练矩阵比例;
4、获取所述参数服务器发送的全局低秩矩阵和全局低秩矩阵更新量,并根据所述全局低秩矩阵和所述全局低秩矩阵更新量,确定所述全局低秩矩阵中各参数的重要性得分;
5、根据所述可训练矩阵比例和所述各参数的重要性得分,确定所述全局低秩矩阵在秩空间和特征空间上的保留比例;
6、根据所述保留比例和所述各参数的重要性得分,将所述全局低秩矩阵划分为保留子矩阵和裁剪子矩阵,并将所述裁剪子矩阵对应的矩阵乘积累积至冻结的预训练模型权重中;
7、基于所述保留子矩阵进行本地迭代训练,并将训练得到的本地低秩子矩阵更新量发送至所述参数服务器;其中,所述参数服务器用于对各客户端发送的本地低秩子矩阵更新量进行聚合,得到全局低秩矩阵更新量和全局低秩矩阵。
8、在一种可选的实施例中,所述向参数服务器发送所述客户端的系统资源信息,并接收所述参数服务器根据所述系统资源信息确定的可训练矩阵比例,包括:
9、获取所述客户端的基础计算时间、低秩矩阵训练对应的额外计算时间、上行通信速率以及下行通信速率;
10、根据所述基础计算时间、所述额外计算时间、所述上行通信速率以及所述下行通信速率,确定所述客户端对应的计算耗时和通信耗时;
11、将包括所述计算耗时和所述通信耗时的系统资源信息发送至所述参数服务器,所述参数服务器用于根据多个客户端的系统资源信息确定各客户端对应的可训练矩阵比例;
12、接收所述参数服务器发送的与所述客户端对应的可训练矩阵比例。
13、在一种可选的实施例中,所述参数服务器用于:
14、根据各客户端对应的基础计算时间、额外计算时间、上行通信速率以及下行通信速率,确定各客户端对应的计算耗时和通信耗时;
15、根据各客户端对应的计算耗时和通信耗时,确定各客户端能够参与本地训练的低秩矩阵参数规模;
16、根据各客户端能够参与本地训练的低秩矩阵参数规模与所述全局低秩矩阵的参数规模之间的关系,确定各客户端对应的可训练矩阵比例;
17、将各客户端对应的可训练矩阵比例发送至相应客户端。
18、在一种可选的实施例中,所述根据所述可训练矩阵比例和所述各参数的重要性得分,确定所述全局低秩矩阵在秩空间和特征空间上的保留比例,包括:
19、将所述全局低秩矩阵划分为秩空间和特征空间,其中,所述秩空间用于表征所述全局低秩矩阵的秩维度,所述特征空间用于表征所述全局低秩矩阵的输入特征维度或输出特征维度;
20、根据所述可训练矩阵比例,确定所述秩空间对应的候选保留比例和所述特征空间对应的候选保留比例;
21、根据所述各参数的重要性得分,对不同候选保留比例组合对应的矩阵区域进行评价;
22、根据评价结果,确定所述秩空间对应的目标保留比例和所述特征空间对应的目标保留比例。
23、在一种可选的实施例中,所述根据所述各参数的重要性得分,对不同候选保留比例组合对应的矩阵区域进行评价,包括:
24、根据所述全局低秩矩阵和所述全局低秩矩阵更新量,确定所述全局低秩矩阵中各参数对应的重要性矩阵;
25、根据所述秩空间对应的候选保留比例和所述特征空间对应的候选保留比例,对所述重要性矩阵进行区域划分,得到不同候选保留比例组合对应的候选子矩阵;
26、根据各所述候选子矩阵中参数的重要性得分,确定各所述候选子矩阵对应的候选重要性得分;
27、根据所述可训练矩阵比例和各所述候选子矩阵对应的候选重要性得分,确定所述目标保留比例。
28、在一种可选的实施例中,所述根据各所述候选子矩阵中参数的重要性得分,确定各所述候选子矩阵对应的候选重要性得分,包括:
29、根据所述重要性矩阵中各参数的重要性得分,构建与所述重要性矩阵对应的二维前缀和矩阵;
30、根据所述二维前缀和矩阵,计算不同候选保留比例组合对应的候选子矩阵中参数的重要性得分之和,作为所述候选子矩阵对应的候选重要性得分。
31、在一种可选的实施例中,所述根据所述保留比例和所述各参数的重要性得分,将所述全局低秩矩阵划分为保留子矩阵和裁剪子矩阵,并将所述裁剪子矩阵对应的矩阵乘积累积至冻结的预训练模型权重中,包括:
32、根据所述秩空间和所述特征空间对应的保留比例,在所述全局低秩矩阵中确定所述保留子矩阵和所述裁剪子矩阵;
33、根据所述裁剪子矩阵及其对应的低秩矩阵,确定所述裁剪子矩阵对应的矩阵乘积;
34、将所述裁剪子矩阵对应的矩阵乘积累积至冻结的预训练模型权重中,以保留所述裁剪子矩阵对应的模型更新信息;
35、将所述保留子矩阵作为后续本地迭代训练所使用的低秩矩阵。
36、在一种可选的实施例中,在将所述裁剪子矩阵对应的矩阵乘积累积至冻结的预训练模型权重中之后,还包括:
37、将所述保留子矩阵加载至所述预训练模型中,得到用于本地训练的本地模型;
38、利用所述本地模型对客户端的本地数据进行前向计算和损失评估;
39、根据所述损失评估结果,对所述保留子矩阵进行本地迭代训练;
40、在本地迭代训练过程中,所述裁剪子矩阵不参与梯度更新和本地更新量上传,并通过累积至所述预训练模型权重中的矩阵乘积参与所述本地模型的前向计算。
41、在一种可选的实施例中,所述将训练得到的本地低秩子矩阵更新量发送至所述参数服务器,包括:
42、根据所述保留子矩阵在所述全局低秩矩阵中的位置,确定所述本地低秩子矩阵更新量对应的矩阵位置信息;
43、将所述本地低秩子矩阵更新量及其对应的矩阵位置信息发送至所述参数服务器;
44、其中,所述参数服务器用于:
45、根据所述矩阵位置信息,将不同客户端发送的本地低秩子矩阵更新量映射至所述全局低秩矩阵的对应位置;
46、对未接收到本地低秩子矩阵更新量的位置进行零补齐,并对映射后的本地低秩子矩阵更新量进行聚合,得到所述全局低秩矩阵更新量;
47、根据所述全局低秩矩阵更新量更新所述全局低秩矩阵,并将更新后的全局低秩矩阵发送至各客户端,以用于后续轮次的参数重要性评价和保留比例确定。
48、本技术的第二方面提供了一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如第一方面任一项所述异构客户端联邦学习方法的步骤。
49、与现有技术相比,本技术的技术效果为:
50、通过向参数服务器发送客户端的系统资源信息,并接收所述参数服务器根据所述系统资源信息确定的可训练矩阵比例,使得客户端能够根据自身系统资源情况确定相应的训练参数规模,从而适应不同客户端的资源差异,降低因客户端资源异构导致的训练效率低下和同步等待时间过长问题。
51、通过根据全局低秩矩阵和全局低秩矩阵更新量确定各参数的重要性得分,并结合可训练矩阵比例确定全局低秩矩阵在秩空间和特征空间上的保留比例,使得客户端能够依据参数重要性进行低秩矩阵裁剪,在满足客户端训练资源约束的同时,提高低秩矩阵参数选择的合理性。
52、通过将全局低秩矩阵划分为保留子矩阵和裁剪子矩阵,并将裁剪子矩阵对应的矩阵乘积累积至冻结的预训练模型权重中,使得裁剪子矩阵对应的矩阵信息能够得到保留,减少因低秩矩阵裁剪造成的模型信息丢失。
53、综上,本技术通过对客户端可训练矩阵比例进行适配,并结合参数重要性对全局低秩矩阵进行秩空间和特征空间上的联合裁剪,同时保留裁剪子矩阵对应的矩阵信息,能够解决现有技术中因客户端系统资源异构导致的训练效率低下、同步等待时间长以及全局低秩参数知识丢失的技术问题。
54、因此,本技术提供的技术方案能够充分挖掘异构客户端的剩余计算与通信资源,减少模型信息损失,具有良好的工程应用前景。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com