计算装置、芯片、板卡和数据运算方法与流程

摘要: 本披露一般涉及计算机领域。具体地,本披露涉及一种计算装置、芯片、板卡和数据运算方法。背景技术:1、在基于transformer架构的大模型中,自注意力(self...
计算装置、芯片、板卡和数据运算方法与流程

本披露一般涉及计算机领域。具体地,本披露涉及一种计算装置、芯片、板卡和数据运算方法。

背景技术:

1、在基于transformer架构的大模型中,自注意力(self-attention)机制是核心计算组件。随着模型规模的不断增大,注意力机制的计算开销成为制约推理性能的主要瓶颈之一。为了提升推理性能,量化技术被广泛引入注意力机制的计算过程中。

2、量化是一种对数据的有损压缩技术,通过将高位宽数据(如浮点数)量化为低位宽数据(如整数)进行存储和计算,一方面能够减轻ai芯片的显存压力,提升推理的吞吐量;另一方面,由于ai芯片的低位宽算力通常远高于高位宽算力,采用低位宽计算能够显著提升推理性能。以大模型中常用的对称量化为例,对数据进行量化包括计算缩放因子和将原始数据除以缩放因子得到量化后数据两个步骤。这两个步骤涉及两条向量指令。

3、在大模型推理中,flash attention(闪电注意力,fa)是耗时占比较大的部分。通过引入量化与反量化操作,能够显著降低fa的耗时,提升推理性能。然而,在实际实现中,现有fa量化方案中,量化和反量化操作会引入多条向量运算指令,有可能抵消掉量化带来的性能提升。因此,亟需提供一种优化的fa 中的量化与反量化方案,提升注意力机制的计算效率。

技术实现思路

1、为了至少解决如上所提到的一个或多个技术问题,本披露在多个方面中提出了一种计算装置、芯片、板卡及数据运算方法。

2、在第一方面中,本披露提供一种计算装置,包括存储器和处理器核,其中:所述存储电路中存储有已量化的值张量v_quant及对应的第一量化缩放因子v_scale;所述处理器核配置用于按如下执行注意力机制运算:获取未量化的注意力分数p;将所述第一量化缩放因子v_scale融合至所述注意力分数p中,生成更新的注意力分数p’;对更新的注意力分数p’进行量化,得到已量化的注意力分数p’_quant及对应的第二量化缩放因子p’_scale,其中所述第二量化缩放因子p’_scale融合所述第一量化缩放因子v_scale的信息;基于已量化的注意力分数p’_quant和已量化的值张量v_quant执行运算,得到中间结果张量;以及基于所述第二量化缩放因子p’_scale和所述中间结果张量确定反量化后的注意力输出张量。

3、在第二方面中,本披露提供一种芯片,包括第一方面所述的计算装置。

4、在第三方面中,本披露提供一种板卡,包括第二方面所述的芯片。

5、在第四方面中,本披露提供一种数据运算方法,其利用第一方面所述的计算装置执行注意力计算。

6、根据如上所提供的执行注意力机制运算的计算方案,通过将值张量的量化缩放因子融合到注意力分数张量上,使得后续的反量化操作只需要考虑注意力分数张量的量化缩放因子,简化了操作流程,使数据依赖关系更加清晰。进一步地,通过引入等效更新系数,将注意力分数张量的反量化操作替换为更新系数的更新操作,可以省去一条完整的、数据量庞大的向量操作,显著降低计算开销。更进一步地,通过将末尾的反量化操作融合到输出重缩放中,避免了额外的独立向量操作,进一步减少了计算耗时。本披露实施例的上述以及其他优点将从后面的具体实施部分的描述中变得易于理解。

1.一种计算装置,配置用于执行注意力机制运算,包括存储电路和处理器核,其中:

2.根据权利要求1所述的计算装置,其中,所述处理器核进一步配置用于按如下运算生成更新的注意力分数p’:

3.根据权利要求1-2任一所述的计算装置,其中,所述注意力机制为按区块循环迭代执行的闪电注意力机制,所述处理器核进一步配置用于按如下基于所述第二量化缩放因子p’_scale和所述中间结果张量确定反量化后的注意力输出张量:

4.根据权利要求3所述的计算装置,其中,所述处理器核进一步配置用于按如下将当前迭代轮次的反量化操作与历史累积输出的更新操作进行融合:

5.根据权利要求4所述的计算装置,其中,所述处理器核进一步配置用于按如下确定所述等效更新系数:

6.根据权利要求3-5任一所述的计算装置,其中,所述处理器核进一步配置用于按如下基于所述第二量化缩放因子p’_scale和所述中间结果张量确定反量化后的注意力输出张量:

7. 根据权利要求6所述的计算装置,其中,所述处理器核进一步配置用于按如下执行融合后的归一化操作:

8.根据权利要求1-7任一所述的计算装置,其中所述第一量化缩放因子v_scale为pertoken量化对应的缩放因子张量,其维度与所述值张量的行维度相同。

9.根据权利要求1-8任一所述的计算装置,其中对所述更新的注意力分数p’的量化采用pertoken量化,第二量化缩放因子p’_scale的维度与所述更新的注意力分数p’的行维度相同。

10.一种芯片,包括根据权利要求1-9任一所述的计算装置。

11.一种板卡,包括根据权利要求10所述的芯片。

12.一种数据运算方法,其利用权利要求1-9任一所述的计算装置执行注意力机制运算。