用于AI芯片的算子处理方法、装置、设备、介质及产品与流程

摘要: 本公开涉及人工智能,尤其涉及ai芯片、高性能计算等领域,特别是涉及一种用于ai芯片的算子处理方法、装置、计算机设备、计算机可读存储介质及计算机程序产品。背景技术...
用于AI芯片的算子处理方法、装置、设备、介质及产品与流程

本公开涉及人工智能,尤其涉及ai芯片、高性能计算等领域,特别是涉及一种用于ai芯片的算子处理方法、装置、计算机设备、计算机可读存储介质及计算机程序产品。

背景技术:

1、在ai芯片上,对算子进行编译优化,可以提高神经网络的运算效率,其中,算子融合是一种常见优化技术,其核心思想是将多个连续的算子合并为一个复合算子,以减少中间结果的内存访问和传输开销。

2、然而,相关的算子编译优化技术存在计算效率较低的问题,因此亟需一种更高效的用于ai芯片的算子处理方法。

技术实现思路

1、本公开提供了一种用于ai芯片的算子处理方法、装置、计算机设备、计算机可读存储介质及计算机程序产品。

2、根据本公开的一方面,提供了一种用于ai芯片的算子处理方法,包括:沿着待处理算子的计算顺序,获取待处理算子的属性,属性包括引用计数以及映射的硬件处理单元,其中,引用计数基于待处理算子之间的计算关系确定,映射的硬件处理单元至少包括卷积单元、仿射变换单元、逐元素运算单元、激活函数单元及池化单元;响应于映射的硬件处理单元属于同一目标硬件处理模块、待处理算子的计算顺序与目标硬件处理模块内配置的硬件子流水线的顺序相对应、且引用计数小于等于1,将待处理算子在算子融合开始节点和算子融合结束节点之间进行算子融合;响应于映射的硬件处理单元配置在同一目标硬件流水线上、且待处理算子的计算顺序与目标硬件流水线的顺序相对应,将待处理算子在流水线融合开始节点和流水线融合结束节点之间进行流水线融合。

3、在一些实施例中,包括:沿着计算顺序,获取当前算子和后驱算子的属性;响应于存在两个以上并行的当前算子,将当前算子依次排序;在依次排序的相邻当前算子之间插入空算子,空算子与后驱算子的属性相同。

4、在一些实施例中,还包括:响应于当前算子映射的硬件处理单元与后驱算子映射的硬件处理单元配置在同一硬件流水线上,将当前算子排序在靠近后驱算子一侧。

5、在一些实施例中,包括:响应于当前算子不满足所述算子融合的条件、后驱算子满足算子融合的条件,在后驱算子前插入算子融合开始节点,以使得从后驱算子开始算子融合;响应于当前算子和后驱算子映射的硬件处理单元均属于目标硬件处理模块、当前算子映射的硬件处理单元在硬件子流水线上的顺序在前、且当前算子和后驱算子的引用计数均小于等于1,将后驱算子融合至当前算子;响应于当前算子满足算子融合的条件、后驱算子不满足算子融合的条件,在当前算子后插入算子融合结束节点,以使得从当前算子结束算子融合。

6、在一些实施例中,包括:响应于当前算子不满足流水线融合的条件、后驱算子满足流水线融合的条件,在后驱算子前插入流水线融合开始节点,以使得从后驱算子开始流水线融合;响应于当前算子和后驱算子映射的硬件处理单元配置在同一目标硬件流水线上、且当前算子映射的硬件处理单元在目标硬件流水线上的顺序在前,将后驱算子融合至所述当前算子;响应于当前算子满足流水线融合的条件、后驱算子不满足流水线融合的条件,在当前算子后插入流水线融合结束节点,以使得从当前算子结束流水线融合。

7、在一些实施例中,响应于池化算子为最大池化算子并且池化参数满足片上硬件约束,将池化算子映射的池化单元与仿射变换单元、逐元素运算单元、激活函数单元配置在同一目标硬件流水线上。

8、在一些实施例中,响应于两个以上连续的仿射变换算子均映射到仿射变换单元,且仿射变换算子的权重存在同一存储硬件上,合并仿射变换算子。

9、根据本公开的一方面,提供了一种用于ai芯片的算子处理装置,包括:算子属性读取模块,被配置为用于沿着待处理算子的计算顺序,获取待处理算子的属性,属性包括引用计数以及映射的硬件处理单元,其中,引用计数基于所述待处理算子之间的计算关系确定,映射的硬件处理单元至少包括卷积单元、仿射变换单元、逐元素运算单元、激活函数单元及池化单元;算子融合模块,被配置为用于响应于映射的硬件处理单元属于同一目标硬件处理模块、待处理算子的计算顺序与目标硬件处理模块内配置的硬件子流水线的顺序相对应、且引用计数小于等于1,将待处理算子在算子融合开始节点和算子融合结束节点之间进行算子融合;流水线融合模块,被配置为用于响应于映射的硬件处理单元配置在同一目标硬件流水线上、且待处理算子的计算顺序与目标硬件流水线的顺序相对应,将待处理算子在流水线融合开始节点和流水线融合结束节点之间进行流水线融合。

10、根据本公开的另一方面,提供了一种计算机设备,包括:至少一个处理器;以及存储器,其上存储有计算机程序,计算机程序在被该至少一个处理器执行时,使该至少一个处理器执行本公开如上所提供的方法。

11、根据本公开的另一方面,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时,使处理器执行本公开如上所提供的方法。

12、根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时,使处理器执行本公开如上所提供的方法。

13、根据本公开的一个或多个实施例,通过将计算顺序与硬件子流水线的顺序和硬件流水线的顺序相对应,将算子既可以进行算子融合,又可以进行流水线融合,可以减少硬件内中间数据的搬移、提升算子的计算效率。

14、根据在下文中所描述的实施例,本公开的这些和其它方面将是清楚明白的,并且将参考在下文中所描述的实施例而被阐明。

1.一种用于ai芯片的算子处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,沿着待处理算子的计算顺序,获取所述待处理算子的属性,包括:

3.根据权利要求2所述的方法,其特征在于,响应于存在两个以上并行的当前算子,将所述当前算子依次排序,还包括:

4.根据权利要求2或3所述的方法,其特征在于,响应于所述映射的硬件处理单元属于同一目标硬件处理模块、所述待处理算子的计算顺序与所述目标硬件处理模块内配置的硬件子流水线的顺序相对应、且所述引用计数小于等于1,将所述待处理算子在算子融合开始节点和算子融合结束节点之间进行算子融合,包括:

5.根据权利要求2或3所述的方法,其特征在于,响应于所述映射的硬件处理单元配置在同一目标硬件流水线上、且所述待处理算子的计算顺序与所述目标硬件流水线的顺序相对应,将所述待处理算子在流水线融合开始节点和流水线融合结束节点之间进行流水线融合,包括:

6.根据权利要求1-3中任一项所述的方法,其特征在于,响应于池化算子为最大池化算子并且池化参数满足片上硬件约束,将所述池化算子映射的池化单元与所述仿射变换单元、所述逐元素运算单元、所述激活函数单元配置在同一目标硬件流水线上。

7.根据权利要求1-3中任一项所述的方法,其特征在于,响应于两个以上连续的仿射变换算子均映射到所述仿射变换单元,且所述仿射变换算子的权重存储在同一存储硬件上,合并所述仿射变换算子。

8.一种用于ai芯片的算子处理装置,其特征在于,所述装置包括:

9.一种计算机设备,其特征在于,所述计算机设备包括:

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,使所述处理器执行权利要求1-7中任一项所述的方法。

11.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,该计算机程序被处理器执行时,使所述处理器执行权利要求1-7中任一项所述的方法。