异构协同大语言模型训练加速方法、装置及存储介质与流程

摘要: 本技术实施例涉及模型训练领域,更具体地涉及一种异构协同大语言模型训练加速方法、装置及存储介质。背景技术:1、随着人工智能技术的发展,大语言模型(largelan...
异构协同大语言模型训练加速方法、装置及存储介质与流程

本技术实施例涉及模型训练领域,更具体地涉及一种异构协同大语言模型训练加速方法、装置及存储介质。

背景技术:

1、随着人工智能技术的发展,大语言模型(large language model,llm)的参数规模和训练数据量不断增加,训练过程通常需要执行大量矩阵运算,并在多个计算设备之间频繁传输模型参数、激活数据和梯度数据,因而对计算能力、存储容量及通信带宽提出了较高要求。

2、现有的大语言模型训练通常采用数据并行、模型并行、流水并行、混合精度训练、模型量化或张量分解等方式降低训练开销。在由中央处理器、图形处理器、神经网络处理器或现场可编程门阵列等设备组成的异构计算环境中,还可根据不同设备的计算能力分配训练任务。然而,不同设备在运算类型、存储容量和通信带宽等方面存在差异,现有方案对模型张量的划分方式、计算任务的设备分配方式以及设备间的数据传输方式缺乏协调,容易产生设备负载不均和频繁的跨设备通信,影响训练效率。

3、此外,现有量化训练通常采用线性均匀量化方式,量化后的运算与部分异构设备的硬件计算特性匹配程度有限。当量化程度较高时,还可能引起量化误差累积、训练过程波动或模型精度下降。现有张量分解方式主要用于减少模型参数量和计算量,但分解后的张量结构与异构设备之间的任务划分缺乏充分配合,仍可能存在跨设备数据依赖和同步等待。因此,现有技术在控制模型训练精度损失时,提高异构设备利用率及训练吞吐量,降低设备间通信开销。

技术实现思路

1、本技术实施例提供一种异构协同大语言模型训练加速方法、装置及存储介质,用于解决现有技术中存在的模型张量划分方式、计算任务分配方式与异构计算设备的运算特性匹配程度较低,容易造成设备负载不均及跨设备通信开销较大,并且难以兼顾量化训练效率和训练稳定性的技术问题。

2、第一方面,本技术实施例提供一种异构协同大语言模型训练加速方法,该方法包括:

3、获取待训练的大语言模型以及多个异构计算设备的设备描述信息;

4、沿所述大语言模型中线性层的权重张量的输入维度对所述权重张量进行列分组,并对各列组进行张量分解,获得对应的分解因子,根据各列组的分解误差和所述设备描述信息确定各列组的分解秩;

5、根据各列组的计算任务特征和所述设备描述信息,将各列组的计算任务映射至所述多个异构计算设备,并构建以列组为张量并行粒度的异构并行训练拓扑;

6、基于所述异构并行训练拓扑执行所述大语言模型的训练,按照通道尺度和指数范围,将参与列组计算的分解因子和激活数据量化为由所述通道尺度与带符号的2的整数次幂的乘积表示的量化数据,并基于所述量化数据执行列组的前向计算和反向计算,将所述量化数据参与的乘法运算转换为移位运算和符号运算,并采用直通估计方式确定量化操作对应的反向梯度;

7、对所述多个异构计算设备之间传输的梯度数据进行幂次量化,传输量化后的符号信息和指数信息,并在量化域对所述梯度数据进行聚合,根据聚合结果更新所述大语言模型的模型参数;

8、获取训练过程中的设备运行指标和训练稳定性指标,根据所述设备运行指标调整各列组计算任务的设备映射关系,并根据所述训练稳定性指标调整量化参数和精度保护范围,直至完成所述大语言模型的训练。

9、第二方面,本技术实施例提供一种异构协同大语言模型训练加速装置,具有实现对应于上述第一方面提供的异构协同大语言模型训练加速方法的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块,所述模块可以是软件和/或硬件。

10、在一个实施方式中,所述异构协同大语言模型训练加速装置包括:

11、获取模块,用于获取待训练的大语言模型以及多个异构计算设备的设备描述信息;

12、分解模块,用于沿所述大语言模型中线性层的权重张量的输入维度对所述权重张量进行列分组,并对各列组进行张量分解,获得对应的分解因子,根据各列组的分解误差和所述设备描述信息确定各列组的分解秩;

13、构建模块,用于根据各列组的计算任务特征和所述设备描述信息,将各列组的计算任务映射至所述多个异构计算设备,并构建以列组为张量并行粒度的异构并行训练拓扑;

14、量化训练模块,用于基于所述异构并行训练拓扑执行所述大语言模型的训练,按照通道尺度和指数范围,将参与列组计算的分解因子和激活数据量化为由所述通道尺度与带符号的2的整数次幂的乘积表示的量化数据,并基于所述量化数据执行列组的前向计算和反向计算,将所述量化数据参与的乘法运算转换为移位运算和符号运算,并采用直通估计方式确定量化操作对应的反向梯度;

15、聚合更新模块,用于对所述多个异构计算设备之间传输的梯度数据进行幂次量化,传输量化后的符号信息和指数信息,并在量化域对所述梯度数据进行聚合,根据聚合结果更新所述大语言模型的模型参数;

16、训练调整模块,用于获取训练过程中的设备运行指标和训练稳定性指标,根据所述设备运行指标调整各列组计算任务的设备映射关系,并根据所述训练稳定性指标调整量化参数和精度保护范围,直至完成所述大语言模型的训练。

17、第三方面,本技术实施例提供一种计算机可读存储介质,其包括指令,当其在计算机上运行时,使得计算机执行如第一方面所述的异构协同大语言模型训练加速方法。

18、第四方面,本技术实施例提供一种计算设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述计算机程序时实现第一方面所述的异构协同大语言模型训练加速方法。

19、相较于现有技术,本技术实施例中,沿线性层权重张量的输入维度进行列分组,并结合各列组的分解误差和异构计算设备的设备描述信息确定分解秩,使分解后的列组能够作为异构计算任务的划分及映射粒度,在控制张量分解误差的同时,使各列组的计算量和数据传输量与异构计算设备的计算及通信能力相适配,从而减少跨设备数据依赖和同步等待,改善异构计算设备之间的负载均衡。进一步地,通过将分解因子和激活数据表示为通道尺度与带符号的2的整数次幂的乘积,可以将量化数据参与的乘法运算转换为移位运算和符号运算,使列组计算与支持移位运算的异构计算设备相适配,减少大语言模型训练过程中的乘法运算开销。采用直通估计方式确定量化操作对应的反向梯度,使分解因子能够在量化训练过程中持续更新,从而兼顾量化计算效率和模型训练精度。进一步地,对异构计算设备之间传输的梯度数据进行幂次量化,并传输对应的符号信息和指数信息,能够减少设备间传输的数据量;在量化域内完成梯度聚合后更新模型参数,可以降低梯度传输及聚合过程中的通信和计算开销。此外,根据设备运行指标动态调整列组计算任务的设备映射关系,并根据训练稳定性指标调整量化参数和精度保护范围,使列组计算任务能够随设备负载及通信状态变化进行重新分配,并在训练状态出现波动时降低量化强度或扩大精度保护范围。因此,可以在提高异构计算设备利用率、降低计算及通信开销的同时,减小量化误差对训练过程的影响,提高大语言模型训练的吞吐量和稳定性。