用于AI芯片的数据处理方法、装置、设备、介质及产品与流程

摘要: 本公开涉及人工智能,尤其涉及ai芯片、高性能计算等领域,特别是涉及一种用于ai芯片的数据处理方法、装置、计算机设备、计算机可读存储介质及计算机程序产品。背景技术...
用于AI芯片的数据处理方法、装置、设备、介质及产品与流程

本公开涉及人工智能,尤其涉及ai芯片、高性能计算等领域,特别是涉及一种用于ai芯片的数据处理方法、装置、计算机设备、计算机可读存储介质及计算机程序产品。

背景技术:

1、在神经网络推理中,基于双操作数的二元数据运算是一类常见的计算形式,例如残差连接中的加法、注意力机制中的乘法等。

2、然而随着神经网络模型的规模不断增大,数据之间的计算量也显著提升,相关技术中,二元数据运算的双操作数的数据处理方法存在效率低下的问题,逐渐成为ai芯片的性能瓶颈,因此亟需一种更为有效的数据处理方法。

技术实现思路

1、本公开提供了一种用于ai芯片的数据处理方法、装置、计算机设备、计算机可读存储介质及计算机程序产品。

2、根据本公开的一方面,提供了一种用于ai芯片的数据处理方法,包括:获取待处理数据,待处理数据包括用于二元数据运算的第一操作数和第二操作数,其中,二元数据运算包括加减运算、乘除运算及比较运算,第一操作数和第二操作数为张量数据;基于第一dma模块将第一操作数搬运至第一缓存区;基于第一操作数的属性,构造第一操作数的单位张量,属性包括存储格式、张量形状及操作数位置;基于第二dma模块将单位张量搬运至第二缓存区;根据矩阵乘法累加器中第一乘法矩阵的数据要求,将第一操作数读入第一乘法矩阵;根据矩阵乘法累加器中第二乘法矩阵的数据要求,将单位张量读入第二乘法矩阵;基于第三dma模块搬运第二操作数,以对矩阵乘法累加器进行初始化;基于第一乘法矩阵读入第一操作数、第二乘法矩阵读入单位张量且经过初始化的矩阵乘法累加器执行矩阵乘法,得到数据处理结果;其中,第一dma模块、第二dma模块以及第三dma模块并行搬运数据。

3、在一些实施例中,获取待处理数据,待处理数据包括用于二元数据运算的第一操作数和第二操作数,其中,二元数据运算包括加减运算、乘除运算及比较运算,第一操作数和第二操作数为张量数据,还包括:响应于第一操作数的张量维度大于等于3,将第一操作数降维为二维矩阵;响应于第二操作数的张量维度大于等于3,将第二操作数降维为二维矩阵。

4、在一些实施例中,基于第一操作数的属性,构造第一操作数的单位张量,属性包括存储精度、张量形状及操作数位置,还包括:响应于第一操作数被分割为多个子张量,分割单位张量。

5、在一些实施例中,响应于第一操作数被分割为多个子张量,分割单位张量,包括:基于第一操作数的存储格式的精度位宽,确定单位张量的分块粒度;基于第一操作数的张量形状、分块粒度及ai芯片的计算核心数,确定单位子张量的张量形状;基于单位子张量的张量形状,将单位张量分割为两个以上的单位子张量。

6、在一些实施例中,基于第三dma模块搬运第二操作数,以对矩阵乘法累加器进行初始化,包括:响应于第二操作数为常量、且第一操作数和第二操作数执行加减运算,根据第二操作数设置矩阵乘法累加器的初值。

7、在一些实施例中,基于第一乘法矩阵读入第一操作数、第二乘法矩阵读入单位张量且经过初始化的矩阵乘法累加器执行矩阵乘法,得到数据处理结果,还包括:响应于第一操作数和第二操作数执行比较运算,根据数据处理结果设置矩阵乘法累加器的初值,以使得矩阵乘法累加器初始化;基于第一乘法矩阵读入第一操作数、第二乘法矩阵读入单位张量且经过初始化的矩阵乘法累加器执行矩阵乘法,再次得到数据处理结果。

8、在一些实施例中,基于第三dma模块搬运第二操作数,以对矩阵乘法累加器进行初始化,包括:响应于第二操作数为常量、且第一操作数和第二操作数执行乘除运算,根据第二操作数设置矩阵乘法累加器的缩放因子。

9、根据本公开的一方面,提供了一种用于ai芯片的数据处理装置,包括:数据获取模块,被配置为用于获取待处理数据,所述待处理数据包括用于二元数据运算的第一操作数和第二操作数,其中,二元数据运算包括加减运算、乘除运算及比较运算,第一操作数和第二操作数为张量数据;第一操作数搬运模块,被配置为用于基于第一dma模块将第一操作数搬运至第一缓存区;单位张量构造模块,被配置为用于基于第一操作数的属性,构造第一操作数的单位张量,属性包括存储精度、张量形状及操作数位置;单位张量搬运模块,被配置为用于基于第二dma模块将单位张量搬运至第二缓存区;矩阵乘法累加器初始化模块,被配置为用于基于第三dma模块搬运第二操作数,以对矩阵乘法累加器进行初始化;第一操作数读取模块,被配置为用于根据矩阵乘法累加器中第一乘法矩阵的数据要求,将第一操作数读入第一乘法矩阵;单位张量读取模块,被配置为用于根据矩阵乘法累加器中第二乘法矩阵的数据要求,将单位张量读入第二乘法矩阵;矩阵乘法执行模块,被配置为用于基于第一乘法矩阵读入第一操作数、第二乘法矩阵读入单位张量且经过初始化的矩阵乘法累加器执行矩阵乘法,得到数据处理结果;其中,第一dma模块、第二dma模块以及第三dma模块并行搬运数据。

10、根据本公开的另一方面,提供了一种计算机设备,包括:至少一个处理器;以及存储器,其上存储有计算机程序,计算机程序在被该至少一个处理器执行时,使该至少一个处理器执行本公开如上所提供的方法。

11、根据本公开的另一方面,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时,使处理器执行本公开如上所提供的方法。

12、根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时,使处理器执行本公开如上所提供的方法。

13、根据本公开的一个或多个实施例,可以利用单位张量的恒等性质,基于矩阵乘法累加器实现二元数据运算,在此过程中,三个dma模块并行搬运数据,提升了ai芯片上双操作数计算的执行效率。

14、根据在下文中所描述的实施例,本公开的这些和其它方面将是清楚明白的,并且将参考在下文中所描述的实施例而被阐明。

1.一种用于ai芯片的数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,获取待处理数据,所述待处理数据包括用于二元数据运算的第一操作数和第二操作数,其中,所述二元数据运算包括加减运算、乘除运算及比较运算,所述第一操作数和所述第二操作数为张量数据,还包括:

3.根据权利要求1或2所述的方法,其特征在于,基于所述第一操作数的属性,构造所述第一操作数的单位张量,所述属性包括存储精度、张量形状及操作数位置,还包括:

4.根据权利要求3所述的方法,其特征在于,响应于所述第一操作数被分割为多个子张量,分割所述单位张量,包括:

5.根据权利要求1所述的方法,其特征在于,基于第三dma模块搬运所述第二操作数,以对所述矩阵乘法累加器进行初始化,包括:

6.根据权利要求5所述的方法,其特征在于,基于所述第一乘法矩阵读入所述第一操作数、所述第二乘法矩阵读入所述单位张量且经过初始化的所述矩阵乘法累加器执行矩阵乘法,得到数据处理结果,还包括:

7.根据权利要求1、5或6中任一项所述的方法,其特征在于,基于第三dma模块搬运所述第二操作数,以对矩阵乘法累加器进行初始化,包括:

8.一种用于ai芯片的数据处理装置,其特征在于,所述装置包括:

9.一种计算机设备,其特征在于,所述计算机设备包括:

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,使所述处理器执行权利要求1-7中任一项所述的方法。

11.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,该计算机程序被处理器执行时,使所述处理器执行权利要求1-7中任一项所述的方法。