用于AI芯片的功耗补偿方法、装置、设备、存储介质及程序产品与流程

摘要: 本公开涉及人工智能,尤其涉及ai芯片、高性能计算等领域,特别是涉及一种用于ai芯片的功耗补偿方法、装置、设备、存储介质及程序产品。背景技术:1、在ai芯片中,计...
用于AI芯片的功耗补偿方法、装置、设备、存储介质及程序产品与流程

本公开涉及人工智能,尤其涉及ai芯片、高性能计算等领域,特别是涉及一种用于ai芯片的功耗补偿方法、装置、设备、存储介质及程序产品。

背景技术:

1、在ai芯片中,计算模块是较为核心的部分,主要用于高效完成大规模的数据运算,可以应用于神经网络的训练和推理。

2、然而,如果计算模块在运行时出现功耗波动较大的情况,可能会造成电压跌落、逻辑误触发、芯片局部过热老化等问题。因此亟需一种能够减少功耗波动的用于ai芯片的功耗补偿方法的解决方案。

技术实现思路

1、本公开提供了一种用于ai芯片的功耗补偿方法、装置、设备、存储介质及程序产品。

2、根据本公开的一方面,提供了一种用于ai芯片的功耗补偿方法,方法包括:为位于ai芯片中的计算模块的各数据传输节点一一配置翻转权重,其中,计算模块包括第一计算单元和第二计算单元,数据传输节点为第一计算单元和第二计算单元传输运算数据,在相同时间内第一计算单元的各数据传输节点的总翻转数大于第二计算单元的各数据传输节点的总翻转数,翻转数为数据传输节点在计算模块的相邻时钟周期之间发生比特翻转的位数;基于计算模块的各数据传输节点的翻转权重和最大翻转数,确定各数据传输节点的翻转数加权和的最大值;基于翻转数加权和的最大值,确定n-1个区间阈值,其中,n为大于等于2的自然数;统计计算模块的各数据传输节点的实时翻转数;基于翻转权重和实时翻转数,确定各数据传输节点的翻转数加权和的实时值;比较翻转数加权和的实时值和区间阈值,以确定翻转数加权和的实时值的档位,其中,翻转数加权和的实时值所在的区间与档位一一对应,翻转数加权和的实时值与档位的大小成反比;将基于档位确定的功耗值补偿至第一计算单元的电源处,其中,档位的大小和功耗值成正比。

3、在一些实施例中,计算模块至少包括乘加器,第一计算单元至少包括加法器,第二计算单元至少包括乘法器,数据传输节点至少包括乘法输入数据节点、乘法输出数据节点及加法中间值数据节点。

4、在一些实施例中,为位于ai芯片中的计算模块的各数据传输节点一一配置翻转权重,包括:翻转权重的大小与对应数据传输节点的最大翻转数成反比。

5、在一些实施例中,基于翻转数加权和的最大值,确定n-1个区间阈值,包括:将零到翻转数加权和的最大值的数值范围划分为n个连续的区间,以得到n-1个区间分界点;将n-1个区间分界点一一对应设置为n-1个区间阈值。

6、在一些实施例中,比较翻转数加权和的实时值和区间阈值,以确定翻转数加权和的实时值的档位,包括:比较翻转数加权和的实时值和n-1个区间阈值,以确定翻转数加权和的实时值所在区间的序号,其中,区间的序号基于降序排布的n个区间依次递增设置;将区间的序号设置为档位。

7、在一些实施例中,基于翻转权重和实时翻转数,确定各数据传输节点的翻转数加权和的实时值,包括:基于翻转权重,将对应数据传输节点的实时翻转数进行逻辑左移;将逻辑左移后的各个实时翻转数求和,以得到翻转数加权和的实时值。

8、在一些实施例中,将基于档位确定的功耗值补偿至第一计算单元的电源处,包括:根据计算模块的时钟信号,在远离第二计算单元的一侧生成基于档位确定的功耗值;将功耗值补偿至第一计算单元的电源处。

9、在一些实施例中,方法还包括:在计算模块的同一时钟周期内,统计计算模块的各数据传输节点的实时翻转数、确定各数据传输节点的翻转数加权和的实时值、比较翻转数加权和的实时值和区间阈值以及将基于档位确定的功耗值补偿至第一计算单元的电源处。

10、根据本公开的一方面,提供了一种用于ai芯片的功耗补偿装置,包括:权重配置模块,被配置为用于为位于ai芯片中的计算模块的各数据传输节点一一配置翻转权重,其中,计算模块包括第一计算单元和第二计算单元,数据传输节点为第一计算单元和第二计算单元传输运算数据,在相同时间内第一计算单元的各数据传输节点的总翻转数大于第二计算单元的各数据传输节点的总翻转数,翻转数为数据传输节点在计算模块的相邻时钟周期之间发生比特翻转的位数;加权和最大值确定模块,被配置为用于基于计算模块的各数据传输节点的翻转权重和最大翻转数,确定各数据传输节点的翻转数加权和的最大值;区间阈值确定模块,被配置为用于基于翻转数加权和的最大值,确定n-1个区间阈值,其中,n为大于等于2的自然数;翻转数实时值统计模块,被配置为用于统计计算模块的各数据传输节点的实时翻转数;加权和实时值确定模块,被配置为用于基于翻转权重和实时翻转数,确定各数据传输节点的翻转数加权和的实时值;档位确定模块,被配置为用于比较翻转数加权和的实时值和区间阈值,以确定翻转数加权和的实时值的档位,其中,翻转数加权和的实时值所在的区间与档位一一对应,翻转数加权和的实时值与档位的大小成反比;功耗补偿模块,被配置为用于将基于档位确定的功耗值补偿至第一计算单元的电源处,其中,档位的大小和功耗值成正比。

11、根据本公开的另一方面,提供了一种计算机设备,包括:至少一个处理器;以及存储器,其上存储有计算机程序,计算机程序在被该至少一个处理器执行时,使该至少一个处理器执行本公开如上所提供的方法。

12、根据本公开的另一方面,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时,使处理器执行本公开如上所提供的方法。

13、根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时,使处理器执行本公开如上所提供的方法。

14、根据本公开的一个或多个实施例,可以区分计算模块的各数据传输节点的翻转情况,对计算模块进行分梯度的精准补偿,大幅降低电源噪声与芯片热点,以及兼顾功耗平稳与芯片能效。

15、根据在下文中所描述的实施例,本公开的这些和其它方面将是清楚明白的,并且将参考在下文中所描述的实施例而被阐明。

1.一种用于ai芯片的功耗补偿方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述计算模块至少包括乘加器,所述第一计算单元至少包括加法器,所述第二计算单元至少包括乘法器,所述数据传输节点至少包括乘法输入数据节点、乘法输出数据节点及加法中间值数据节点。

3.根据权利要求1或2所述的方法,其特征在于,为位于所述ai芯片中的计算模块的各数据传输节点一一配置翻转权重,包括:所述翻转权重的大小与对应数据传输节点的最大翻转数成反比。

4.根据权利要求1或2所述的方法,其特征在于,基于所述翻转数加权和的最大值,确定n-1个区间阈值,包括:

5.根据权利要求1或2所述的方法,其特征在于,比较所述翻转数加权和的实时值和所述区间阈值,以确定所述翻转数加权和的实时值的档位,包括:

6.根据权利要求1所述的方法,其特征在于,基于所述翻转权重和所述实时翻转数,确定各数据传输节点的翻转数加权和的实时值,包括:

7.根据权利要求1所述的方法,其特征在于,将基于所述档位确定的功耗值补偿至所述第一计算单元的电源处,包括:

8.根据权利要求1-2、6-7中任一项所述的方法,其特征在于,所述方法还包括:

9.一种用于ai芯片的功耗补偿装置,其特征在于,所述装置包括:

10.一种计算机设备,其特征在于,所述计算机设备包括:

11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,使所述处理器执行权利要求1-8中任一项所述的方法。

12.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,该计算机程序被处理器执行时,使所述处理器执行权利要求1-8中任一项所述的方法。