一种基于激活稀疏-稠密分解的FP4大模型推理加速方法、装置及介质

摘要: 本发明涉及人工智能模型压缩与推理加速,特别是涉及一种基于激活稀疏-稠密分解的fp4大模型推理加速方法、装置及介质。背景技术:1、随着大语言模型、视觉语言模型和生...
一种基于激活稀疏-稠密分解的FP4大模型推理加速方法、装置及介质

本发明涉及人工智能模型压缩与推理加速,特别是涉及一种基于激活稀疏-稠密分解的fp4大模型推理加速方法、装置及介质。

背景技术:

1、随着大语言模型、视觉语言模型和生成式模型规模不断增大,推理阶段的矩阵乘法计算成为部署成本和服务延迟的主要来源。在线服务通常需要同时处理长上下文预填充和逐token解码,线性层在总计算量中占比极高,因此如何降低线性层乘法的计算量和访存量,是大模型推理系统中的关键问题。

2、低比特浮点格式,尤其是包含块尺度因子的fp4格式,能够显著提升张量核计算密度。然而,大模型激活分布中普遍存在输入相关的大幅值异常值。若直接对整块激活采用统一的fp4量化尺度,少量异常值会主导尺度选择,使大量普通激活值只能使用较少的有效表示区间,从而导致较大的量化误差。

3、半结构化稀疏计算是另一类硬件友好的加速方式。n:m半结构化稀疏模式能够被现代gpu或ai加速器以专用矩阵乘法指令执行,但激活稀疏不同于权重稀疏:权重掩码可以通过离线剪枝或校准确定,而激活掩码必须根据当前输入在线生成。若直接保留大幅值激活并丢弃其余激活,虽然能够利用稀疏计算硬件,但被丢弃的中等幅值激活仍具有累积贡献,会造成明显精度损失。

4、现有技术通常将量化和稀疏作为相互独立的压缩步骤处理,忽略了稀疏化会改变fp4量化尺度和局部分布,导致稀疏误差与量化误差相互耦合。为解决上述问题,需要一种既满足硬件fp4和n:m稀疏计算约束,又能够补偿稀疏损失和量化损失的训练无关推理加速方案。

技术实现思路

1、本发明所要解决的技术问题是:直接对激活进行半结构化稀疏会丢失部分有效信息,而fp4量化又易受到大幅值异常激活的影响,二者叠加使线性层输出产生误差。本发明提供一种在线激活稀疏-稠密分解与fp4残差补偿方法,在无需重新训练及校准数据的条件下,组织硬件可执行的稀疏fp4主干和稠密fp4补偿路径。

2、本发明的目的通过以下技术方案实现。

3、一种基于激活稀疏-稠密分解的fp4大模型推理加速方法,在大模型推理阶段针对线性层的当前输入激活执行,包括如下步骤:

4、根据当前输入激活的幅值在线生成满足n:m半结构化硬件约束的激活稀疏掩码,并提取稀疏主干;对所述稀疏主干执行fp4量化,得到稀疏路径的激活编码、激活尺度及描述保留位置的稀疏元数据,并在生成稀疏路径编码的同时对稀疏主干进行反量化;以原始输入激活与反量化后的稀疏主干之差构造稠密残差,并对所述稠密残差执行fp4量化,得到稠密残差路径的激活编码及激活尺度;对权重矩阵执行fp4量化,得到双路径共享的同一fp4权重数值载荷及配套尺度信息,并分别生成稀疏路径与稠密路径的权重尺度视图;将所述稀疏路径的激活编码、激活尺度及稀疏元数据与所述共享fp4权重数值载荷及稀疏路径权重尺度视图输入稀疏fp4矩阵乘法单元得到稀疏路径输出,并将所述稠密残差路径的激活编码及激活尺度与所述共享fp4权重数值载荷及稠密路径权重尺度视图输入稠密fp4矩阵乘法单元得到稠密残差路径输出;将所述稀疏路径输出与所述稠密残差路径输出累加,并转换为bf16或fp16格式;其中,所述稠密残差路径用于同时补偿所述在线激活稀疏掩码未保留的激活分量以及所述稀疏路径fp4量化引入的表示误差;所述方法在推理阶段执行,无需重新训练模型权重且无需依赖校准数据集。

5、进一步地,所述激活稀疏掩码沿输入激活矩阵的规约维度划分硬件约束组,在每个包含个激活元素的硬件约束组内保留个激活元素;所述选择以单个元素或相邻元素对为基本选择单元,并使选择结果满足所述约束构建半结构化稀疏约束,其中:

6、所述半结构化稀疏约束包括4:8成对稀疏模式或2:4稀疏模式;采用4:8成对稀疏模式时,将每八个连续激活元素划分为四个相邻元素对,并计算各元素对的选择分数:

7、

8、其中,至为组内激活元素,为第个元素对的分数;选择分数最大的两个元素对,保留其中的四个激活元素。

9、进一步地,所述稠密残差满足:

10、

11、其中,为掩码未保留的激活分量,为稀疏路径的激活量化误差,使稠密残差路径同时补偿稀疏化误差和稀疏路径fp4量化误差。

12、进一步地,所述稀疏路径激活编码、稠密残差路径激活编码及共享权重数值载荷采用nvfp4、mxfp4、hif4或其他包含fp4数值与块尺度因子的低比特浮点格式。

13、进一步地,所述稀疏路径和稠密残差路径复用同一fp4权重数值载荷,分别形成如下权重操作数表示:

14、

15、其中,与分别表示稀疏路径与稠密路径的权重操作数;与由同一配套权重尺度信息形成,采用适配各自矩阵乘法单元的尺度分组粒度或访问布局。

16、进一步地,所述目标线性层包括注意力投影层、前馈网络层、混合专家模型的专家线性层或多模态投影层中的任意一种,所述方法应用于大语言模型的预填充阶段或解码阶段、视觉语言模型、扩散生成模型或视频生成模型的线性层计算。

17、本发明还提供相应的推理加速装置,其包括与上述八个步骤对应的激活与权重获取、掩码及主干提取、主干量化压缩、残差构造量化、共享权重准备、稀疏矩阵乘法、稠密矩阵乘法及输出累加模块;还提供执行所述方法的电子设备和存储有相应程序的计算机可读存储介质。

18、有益效果

19、与现有技术相比,本发明具有如下有益效果:

20、(1)依据当前激活在线生成硬件可执行掩码,将大幅值激活分配至稀疏fp4路径,减少其对残差量化尺度的影响;

21、(2)以反量化稀疏主干为基准构造残差,使稠密路径同时补偿掩码外激活分量和稀疏路径激活量化误差;

22、(3)两路计算复用同一fp4权重数值载荷,通过路径尺度视图适配计算单元,减少重复权重存储;

23、(4)通过融合准备和原位累加减少中间数据读写及调度开销,用于提高所述硬件和模型组合下的推理执行效率。

1.一种基于激活稀疏-稠密分解的fp4大模型推理加速方法,其特征在于,在大模型推理阶段针对目标线性层的当前输入激活执行如下步骤:

2.根据权利要求1所述的方法,其特征在于,所述激活稀疏掩码沿输入激活矩阵的规约维度划分硬件约束组,在每个包含个激活元素的硬件约束组内保留个激活元素;选择以单个元素或相邻元素对为基本选择单元,并使选择结果满足所述约束构建半结构化稀疏约束,其中:

3.根据权利要求1所述的方法,其特征在于,所述稠密残差满足:

4.根据权利要求1所述的方法,其特征在于,所述稀疏路径激活编码、稠密残差路径激活编码及共享权重数值载荷采用nvfp4、mxfp4、hif4或其他包含fp4数值与块尺度因子的低比特浮点格式。

5.根据权利要求1所述的方法,其特征在于,所述稀疏路径和稠密残差路径复用同一fp4权重数值载荷,分别形成如下权重操作数表示:

6.根据权利要求1所述的方法,其特征在于,所述目标线性层包括注意力投影层、前馈网络层、混合专家模型的专家线性层或多模态投影层中的任意一种,所述方法应用于大语言模型的预填充阶段或解码阶段、视觉语言模型、扩散生成模型或视频生成模型的线性层计算。

7.一种基于激活稀疏-稠密分解的fp4大模型推理加速装置,其特征在于,包括:激活与权重获取模块、在线掩码及稀疏主干提取模块、稀疏主干量化与压缩模块、稠密残差构造与量化模块、共享权重准备模块、稀疏矩阵乘法模块、稠密矩阵乘法模块以及输出累加模块;各模块分别用于执行权利要求1中步骤的对应操作。

8.一种基于激活稀疏-稠密分解的fp4大模型推理加速装置,其特征在于,所述稠密残差构造与量化模块,用于根据原输入激活矩阵和反量化后的稀疏主干生成稠密残差,并对所述稠密残差执行fp4量化。

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现权利要求1至6任一项所述的方法。