支持归一化处理的加速装置、归一化处理方法和设备与流程

摘要: 本公开涉及集成电路技术,尤其是一种支持归一化处理的加速装置、归一化处理方法和设备。背景技术:1、随着神经网络模型在各个领域的广泛应用,对神经网络模型的推理速度的...
支持归一化处理的加速装置、归一化处理方法和设备与流程

本公开涉及集成电路技术,尤其是一种支持归一化处理的加速装置、归一化处理方法和设备。

背景技术:

1、随着神经网络模型在各个领域的广泛应用,对神经网络模型的推理速度的要求逐渐提高,神经网络模型中例如归一化算子(例如层归一化算子、批量归一化算子)等复杂类型的算子是影响模型推理速度的关键因素之一。如何提高归一化算子的计算效率,成为当前亟需解决的技术问题。

技术实现思路

1、本公开的实施例提供了一种支持归一化处理的加速装置、归一化处理方法和设备,以提升归一化算子的计算效率。

2、本公开实施例的第一个方面,提供了一种支持归一化处理的加速装置,包括:存储器,被配置为:存储待归一化的矢量数据;所述矢量数据包括多个数值;第一加速器,被配置为:获取来自所述存储器的所述矢量数据;基于所述矢量数据,计算所述矢量数据对应的第一期望值和所述矢量数据中各数值对应的第二期望值;基于所述第一期望值和各数值对应的所述第二期望值,计算所述矢量数据对应的特征统计参数;第二加速器,被配置为:获取来自所述第一加速器的所述第一期望值和所述特征统计参数,以及获取来自所述存储器的所述矢量数据;基于所述矢量数据、所述第一期望值和所述特征统计参数,确定所述矢量数据对应的归一化结果。

3、本公开实施例的第二个方面,提供了一种归一化处理方法,包括:通过第一加速器,获取来自存储器的矢量数据;基于所述矢量数据,计算所述矢量数据对应的第一期望值和所述矢量数据中各数值对应的第二期望值;基于所述第一期望值和所述第二期望值,计算所述矢量数据对应的特征统计参数;通过第二加速器,获取来自所述第一加速器的所述第一期望值、所述特征统计参数,以及获取来自所述存储器的所述矢量数据;基于所述矢量数据、所述第一期望值和所述特征统计参数,确定所述矢量数据对应的归一化结果。

4、本公开实施例的第三个方面,提供一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行,以用于执行本公开上述任一实施例所述的归一化处理方法。

5、本公开实施例的第四个方面,提供一种电子设备,所述电子设备包括:处理器;用于存储所述处理器可执行指令的存储器;所述处理器,用于从所述存储器中读取所述可执行指令,所述处理器执行所述可执行指令以实现本公开上述任一实施例所述的归一化处理方法。

6、本公开实施例的第五个方面,提供了一种计算机程序产品,当所述计算机程序产品中的指令被处理器执行时,执行本公开上述任一实施例提供的归一化处理方法。

7、本公开上述实施例提供的支持归一化处理的加速装置、归一化处理方法和设备,通过存储器存储待归一化的矢量数据;通过第一加速器获取来自存储器的矢量数据;基于矢量数据,计算矢量数据对应的第一期望值和矢量数据中各数值对应的第二期望值;基于第一期望值和各数值对应的第二期望值,计算矢量数据对应的特征统计参数;通过第二加速器获取来自第一加速器的第一期望值和特征统计参数,以及获取来自存储器的矢量数据;基于矢量数据、第一期望值和特征统计参数,确定矢量数据对应的归一化结果。可见,本公开实施例中,能够通过先行一次获取来自存储器的矢量数据,完成矢量数据对应的第一期望值和矢量数据中各数值对应的第二期望值的计算,第一期望值和第二期望值能够决定矢量数据对应的方差,由此,通过先行一次获取矢量数据即可实现矢量数据对应的第一期望值和方差的计算,而后通过第二加速器再一次获取来自存储器的矢量数据,结合第一期望值和方差,即可完成对矢量数据的归一化计算,在矢量数据的整体归一化计算过程中,相对于相关技术中需多次获取矢量数据才能完成归一化算子对应的运算的方式,本公开实施例实现了两段式计算,即通过两次获取矢量数据即可完成归一化算子的计算,能够有效减少从存储器读取矢量数据的次数,一方面能够节省带宽,另一方面能够降低因矢量数据传输带来的延迟,从而提升归一化算子的计算效率。

1.一种支持归一化处理的加速装置,包括:

2.根据权利要求1所述的加速装置,其中,所述第一加速器包括:

3.根据权利要求2所述的加速装置,其中,所述统计参数计算电路,包括:

4.根据权利要求2所述的加速装置,其中,所述期望计算电路包括:

5.根据权利要求4所述的加速装置,其中,所述矢量数据包括多个矢量子数据;所述期望计算电路还包括:

6.根据权利要求5所述的加速装置,其中,所述第一规约均值计算单元,还被配置为:在得到所述第一当前累加结果之后,将所述第一当前累加结果覆写至所述第一缓存单元。

7.根据权利要求4所述的加速装置,其中,所述矢量数据包括多个矢量子数据;所述期望计算电路还包括:

8.根据权利要求7所述的加速装置,其中,所述第二规约均值计算单元,还被配置为:在得到所述第二当前累加结果之后,将所述第二当前累加结果覆写至所述第二缓存单元。

9.根据权利要求4所述的加速装置,其中,所述第一规约均值计算单元包括:

10.根据权利要求4所述的加速装置,其中,所述第二规约均值计算单元包括:

11.根据权利要求3所述的加速装置,其中,所述方差计算子电路包括:

12.根据权利要求1-11任一项所述的加速装置,其中,所述第二加速器包括:

13.根据权利要求12所述的加速装置,其中,所述第二加速器还包括:

14.一种归一化处理方法,包括:

15.一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行,以用于执行上述权利要求14所述的归一化处理方法。

16.一种片上系统,所述片上系统包括:上述权利要求1-13任一所述的支持归一化处理的加速装置。

17.一种电子设备,所述电子设备包括: