用于模型训练的硬件加速器和加速器的控制方法与流程

摘要: 本发明涉及硬件加速器,具体涉及一种用于模型训练的硬件加速器和加速器的控制方法。背景技术:1、近年来,基于transformer架构的大语言模型发展迅速,模型规模...
用于模型训练的硬件加速器和加速器的控制方法与流程

本发明涉及硬件加速器,具体涉及一种用于模型训练的硬件加速器和加速器的控制方法。

背景技术:

1、近年来,基于transformer架构的大语言模型发展迅速,模型规模不断扩大,性能持续提升,基于大语言模型的对话应用也日益普及。然而,大语言模型本身参数量巨大,训练过程需要处理海量训练数据,因而对内存访问带宽、算力、存储资源及通信传输均提出了极高要求,且训练一个完整模型通常耗时漫长。

2、现有技术通常将矩阵乘法中的前向传播、输入梯度计算和权重梯度计算直接映射至加速器芯片的计算引擎中。在此过程中,执行矩阵乘法运算前需对数据进行频繁的转置操作,这严重制约了模型训练的速度与效率。

技术实现思路

1、基于此,本发明提供了一种用于模型训练的硬件加速器和加速器的控制方法,实现在模型训练过程中维持稳定的数据供给且高训练效率的加速器。

2、根据本发明的一方面,提出一种用于模型训练的硬件加速器,包括:多个矩阵片上缓存单元,用于缓存矩阵数据,并将矩阵数据按照预先配置的数据排列格式输出;向量片上缓存单元,用于缓存向量数据,并将向量数据输出;矩阵计算单元,用于利用多个矩阵片上缓存单元输出的矩阵数据,执行预设矩阵计算,得到矩阵计算结果;向量计算单元,用于利用向量片上缓存单元输出的向量数据、多个矩阵片上缓存单元输出的矩阵数据和/或矩阵计算结果,执行预设向量计算,得到向量计算结果;数据加载单元,用于从外部存储器加载矩阵数据和向量数据,以及将矩阵计算结果和/或向量计算结果写入到外部存储器中。

3、根据一些实施例,多个矩阵片上缓存单元中,每个矩阵片上缓存单元包括:缓存模块,包含一组存储阵列,用于存储数据加载单元或片上流式传输的矩阵数据;写地址生成模块,用于生成矩阵数据存储到缓存模块中的写地址序列,并根据写地址序列的遍历顺序配置存入缓存模块的矩阵数据的数据排列格式;读地址生成模块,用于生成矩阵数据从缓存模块中读取的读地址序列,并根据读地址序列的遍历顺序配置输出矩阵数据的数据排列格式;数据变换模块,用于对从缓存模块中读取的数据进行预设数据处理。

4、根据一些实施例,读地址生成模块用于:基于配置的读遍历模式,生成从缓存模块读取矩阵数据的数据块的读地址序列,其中,读遍历模式包括行向遍历模式和列向遍历模式。

5、根据一些实施例,多个矩阵片上缓存单元,包括:第一矩阵片上缓存单元,用于缓存矩阵数据,并将矩阵数据按照配置的左矩阵数据排列格式输出至矩阵计算单元;第二矩阵片上缓存单元,用于缓存矩阵数据,并将矩阵数据按照配置的右矩阵数据排列格式输出至矩阵计算单元。

6、根据一些实施例,第一矩阵片上缓存单元用于缓存输入特征矩阵数据,第二矩阵片上缓存单元用于缓存权重矩阵数据;矩阵计算单元用于:接收从第一矩阵片上缓存单元传输的左矩阵数据排列格式的待处理输入特征矩阵数据和从第二矩阵片上缓存单元传输的右矩阵数据排列格式的待处理权重矩阵数据;对待处理输入特征矩阵数据和待处理权重矩阵数据进行矩阵乘法操作计算,得到矩阵计算结果。

7、根据一些实施例,第一矩阵片上缓存单元用于缓存结果梯度矩阵数据,第二矩阵片上缓存单元用于缓存权重矩阵数据,并对权重矩阵数据进行转置操作;矩阵计算单元用于:接收从第一矩阵片上缓存单元传输的左矩阵数据排列格式的待处理结果梯度矩阵数据和从第二矩阵片上缓存单元传输的右矩阵数据排列格式的待处理转置权重矩阵数据;对待处理结果梯度矩阵数据和待处理转置权重矩阵数据进行矩阵乘法操作计算,得到输入梯度矩阵数据作为矩阵计算结果。

8、根据一些实施例,第一矩阵片上缓存单元用于缓存输入特征矩阵数据,并对输入特征矩阵数据进行转置操作,第二矩阵片上缓存单元用于缓存结果梯度矩阵数据;矩阵计算单元用于:接收从第二矩阵片上缓存单元传输的左矩阵数据排列格式的待处理结果梯度矩阵数据和从第一矩阵片上缓存单元传输的右矩阵数据排列格式的待处理转置输入特征矩阵数据;对待处理结果梯度矩阵数据和待处理转置输入特征矩阵数据进行矩阵乘法操作计算,得到权重梯度矩阵数据作为矩阵计算结果。

9、根据一些实施例,向量片上缓存单元用于缓存中间权重梯度矩阵数据;

10、向量计算单元用于:接收从矩阵计算单元传输的待处理权重梯度矩阵数据和从向量片上缓存单元传输的待处理中间权重梯度矩阵数据;对待处理权重梯度矩阵数据和待处理中间权重梯度矩阵数据进行求和计算,得到求和计算结果作为向量计算结果。

11、根据本发明的一方面,一种用于模型训练的硬件加速器的控制方法,包括:控制数据加载单元访问外部存储器,以获取分割后的矩阵数据的数据块和向量数据的数据块;将分割后的矩阵数据的数据块存储至多个矩阵片上缓存单元,并将向量数据的数据块存储至向量片上缓存单元;从多个矩阵片上缓存单元和/或向量片上缓存单元中提取待处理数据;将待处理数据输入至矩阵计算单元和/或向量计算单元,对待处理数据执行预设计算,得到计算结果;将计算结果写入到外部存储器中。

12、根据本发明的一方面,提出一种系统级内存架构,包括主控处理器、片外内存及如上文的硬件加速器;主控处理器和片外内存分别与硬件加速器互连。

13、通过本发明所提供的上述实施例,多个矩阵片上缓存单元作为硬件加速器的矩阵数据缓存区,负责缓存矩阵数据,并在输出时,按照预先配置的数据排列格式输出;向量片上缓存单元作为硬件加速器的向量数据缓存区,负责缓存向量数据并根据需求输出;本发明将参与后续计算的、不同阶段的数据分别缓存至不同的片上缓存单元,避免对数据进行额外的转置操作处理,以供计算单元调用,从而维持稳定的数据供给,支持不同的数据流通路;矩阵计算单元和向量计算单元作为硬件加速器的计算单元,根据需求调用数据执行预设计算,实现数据复用并避免对数据进行额外的预处理和重新加载,提升整体效率。本发明实施例支持针对训练过程切换不同的数据通路,将不同阶段的数据缓存,实现数据处理和计算过程的融合,简化了训练任务在加速引擎上的执行流,提升加速器执行训练任务的性能,进而提高训练硬件整体的利用率,缩短训练时间。

1.一种用于模型训练的硬件加速器,其特征在于,包括:

2.根据权利要求1所述的硬件加速器,其特征在于,所述多个矩阵片上缓存单元中,每个矩阵片上缓存单元包括:

3.根据权利要求2所述的硬件加速器,其特征在于,所述读地址生成模块用于:

4.根据权利要求2所述的硬件加速器,其特征在于,所述多个矩阵片上缓存单元,包括:

5.根据权利要求4所述的硬件加速器,其特征在于,所述第一矩阵片上缓存单元用于缓存输入特征矩阵数据,所述第二矩阵片上缓存单元用于缓存权重矩阵数据;

6.根据权利要求4所述的硬件加速器,其特征在于,所述第一矩阵片上缓存单元用于缓存结果梯度矩阵数据,所述第二矩阵片上缓存单元用于缓存权重矩阵数据,并对所述权重矩阵数据进行转置操作;

7.根据权利要求4所述的硬件加速器,其特征在于,所述第一矩阵片上缓存单元用于缓存输入特征矩阵数据,并对所述输入特征矩阵数据进行转置操作,所述第二矩阵片上缓存单元用于缓存结果梯度矩阵数据;

8.根据权利要求7所述的硬件加速器,其特征在于,所述向量片上缓存单元用于缓存中间权重梯度矩阵数据;

9.一种用于模型训练的硬件加速器的控制方法,基于如权利要求1-8任一项所述的硬件加速器,其特征在于,所述方法包括:

10.一种系统级内存架构,其特征在于,包括主控处理器、片外内存及权利要求1-8任一项所述的硬件加速器;所述主控处理器和所述片外内存分别与所述硬件加速器互连。