一种基于联合误差补偿的大语言模型量化方法和装置
本发明涉及深度学习模型压缩与量化,具体涉及一种基于联合误差补偿的大语言模型量化方法和装置。
背景技术:
1、大语言模型在后训练部署中面临存储与算力的双重约束,对模型存储占用与推理延迟提出严格要求。在此背景下,权重与激活同时量化为8比特整数的w8a8方案,是transformer大模型后训练量化的重要技术路径:相较于仅权重量化方案,w8a8在prefill阶段可借助整型矩阵乘法单元显著提升推理吞吐;在decode阶段支持键值缓存以8比特格式存储,从而缓解访存带宽瓶颈;在存储压缩与计算加速两个维度均具备明确优势。
2、然而,w8a8全量化会引入两类误差源。一是权重量化误差,来源于权重矩阵离散化后的舍入偏差,由于权重分布可在校准阶段统计,配合逐通道量化与基于近似二阶信息的层内补偿方法,可将权重误差控制在较小范围内。二是激活量化误差,来源于激活张量经量化器处理后的截断与舍入噪声,其根本原因在于transformer激活张量中存在沿固定输入通道持续出现的系统性离群值,动态范围可达其余通道的一至两个数量级,在逐token量化中,这些离群通道主导量化阶梯划分,导致正常通道的有效分辨率大幅退化,呈现高度非线性的截断误差特征,难以通过简单舍入补偿修复,是w8a8全量化场景下导致精度显著下降的核心误差源。
3、进一步地,上述两类误差并非孤立存在于各层内部,而是具有跨层传播与逐层放大的特性。传统逐层优化范式通常假设每层输入激活为精确值,仅关注局部重构误差;但实际推理中,第l层的输入激活不可避免地包含前l-1层量化误差的累积传播。误差在transformer中存在多条传播放大通道:残差连接将上游量化误差直接叠加至每层输入;归一化对全通道取均值的统计量使局部误差扰动广播至全部通道;自注意力中softmax的指数非线性对幅值敏感,进一步扭曲受累积误差影响的注意力权重分布。若每层误差传播系数有界,则跨层累积误差随网络深度呈指数级增长。
4、针对上述问题,现有技术发展了块级重构与显式误差补偿两类方案。smoothquant通过激活-权重等效变换降低激活量化难度,但其校准过程基于全精度前向统计量,未将前序层量化引入的累积偏差纳入当前层优化目标,对跨层传播引发的输入偏差不具备补偿能力。qep提出可调传播强度的闭式补偿机制,将跨层输入偏差显式纳入当前层重建目标,但其有效性建立在激活保持全精度的前提上,面向w8a8全量化时,激活历经量化后输入偏差量级放大,且量化后激活协方差矩阵因离群通道截断效应而条件数急剧退化,导致补偿求解面临目标与推理实际不匹配、hessian数值不稳定两重困难。gptaq引入非对称校准将层内校准输入替换为量化输入,但其补偿仅限单层内部,未建立跨层误差链式传播的显式补偿框架。
5、综上,现有方法在面向w8a8的实际落地中,激活量化误差的抑制与跨层误差传播的补偿多被分别处理,缺乏能够同时抑制激活离群值引起的量化误差、并对跨层累积误差进行主动补偿的联合方法。
技术实现思路
1、本发明旨在克服现有技术的不足,提供一种基于联合误差补偿的大语言模型量化方法和装置,以解决现有技术中在w8a8全量化场景下,激活量化误差与跨层误差传播缺乏协同抑制机制,导致模型精度显著下降的技术问题。
2、为实现上述目的,本发明提供了一种基于联合误差补偿的大语言模型量化方法,其包括:
3、步骤1,获取目标大语言模型中各线性层在全精度前向传播下的参考输入激活,以及各线性层在量化前向传播下的实际输入激活;
4、步骤2,对于每一个线性层,根据线性层的权重通道统计量与激活通道统计量,计算变换矩阵,并利用变换矩阵对线性层的权重与输入激活进行等效变换,得到等效变换后的权重与等效变换后的输入激活;
5、步骤3,根据等效变换后的参考输入激活与等效变换后的实际输入激活之间的差值,确定线性层的跨层累积输入偏差;
6、步骤4,基于实际输入激活构建正则化矩阵,并根据跨层累积输入偏差与正则化矩阵,计算误差补偿校正项,并将误差补偿校正项叠加至等效变换后的权重,得到目标权重;
7、步骤5,对目标权重进行基于二阶信息的层内误差补偿与离散化投影,得到线性层的量化权重;
8、步骤6,将量化权重作用于所述实际输入激活得到量化输出,并将量化输出经激活量化后作为下一线性层的实际输入激活,直至完成全部线性层的量化。
9、进一步地,步骤2中,变换矩阵为逐通道缩放矩阵,等效变换包括:
10、将逐通道缩放矩阵作用于原始权重矩阵,并将逐通道缩放矩阵的逆作用于等效变换前的输入激活,得到第个线性层经等效变换后的权重矩阵和实际输入激活,使得变换前后线性层的输出保持不变;其中,,。
11、进一步地,逐通道缩放矩阵通过以下方式计算:
12、步骤21,对第个线性层的第个输入通道,获取该通道的参考输入激活通道观察范围与原始权重的通道观察范围;步骤22,根据迁移平滑因子,按式(5)计算该通道的缩放因子:
13、(5)
14、步骤23,依据各通道的缩放因子构成对角矩阵,得到逐通道缩放矩阵。
15、进一步地,步骤3的跨层累积输入偏差包括权重量化误差逐层传播形成的累积偏差分量和激活量化误差逐层传播形成的累积偏差分量,跨层累积输入偏差表示为式(13):
16、(13)
17、其中,为第个线性层输入端因前个线性层权重量化误差逐层传播形成的累积偏差分量,为第个线性层输入端因前个线性层激活量化误差逐层传播形成的累积偏差分量。
18、进一步地,误差补偿校正项的计算基于最小化全精度输出与量化输出间的frobenius范数,其优化目标表示为式(14):
19、(14)
20、其中,为第个线性层经等效变换后的权重矩阵,为第个线性层经等效变换后的参考输入激活,为在w8a8场景下第个线性层经等效变换后的实际输入激活,为在w8a8场景下第个线性层量化且经等效变换后的权重矩阵。
21、进一步地,基于最小化优化目标,误差补偿校正项表示为式(16),目标权重矩阵表示为式(17):
22、(16)
23、(17)
24、其中,为在w8a8场景下第个线性层的跨层累积输入偏差,为的转置矩阵,为正则化矩阵的逆矩阵,为可调强度因子。
25、进一步地,步骤4中,正则化矩阵是基于量化前向传播下线性层的实际输入激活构建的经验hessian矩阵叠加正则化项得到的;
26、其中,,其中,为在w8a8场景下第个线性层经等效变换后的实际输入激活的转置矩阵,为正则化系数且大于0,为单位矩阵。
27、进一步地,步骤5的基于二阶信息的层内误差补偿与离散化投影,包括:
28、步骤51,将目标权重的离散化建模为最小化量化前后输出重构误差的优化问题,其优化目标表示为式(18):
29、(18)
30、其中,为目标权重矩阵中的单行向量,为前者量化后行向量,为当前层输入激活的正则化hessian矩阵;
31、步骤52,按列分块对目标权重逐列量化,利用正则化矩阵的逆,将当前列的量化残差传播至块内未量化列以更新所述未量化列,其中未量化权重的更新公式表示为式(19):
32、(19)
33、其中,、分别为hessian逆矩阵的对角元素与对应列;
34、步骤53,对正则化矩阵进行cholesky分解以加速求解,直至完成目标权重全部列的量化。
35、进一步地,所述基于联合误差补偿的大语言模型量化方法还包括:
36、步骤7,按照算子类型对大语言模型进行差异化量化,包括:
37、步骤71,对自注意力线性投影层与前馈神经网络层,实施权重与激活8比特全量化;
38、步骤72,对归一化层与非线性激活算子,保留浮点;
39、步骤73,对词嵌入层与输出层,保持浮点全精度。
40、本发明还提供一种基于联合误差补偿的大语言模型量化装置,其包括:
41、参考激活获取单元,用于获取目标大语言模型中各线性层在全精度前向传播下的参考输入激活,以及各线性层在量化前向传播下的实际输入激活;
42、等效变换单元,用于对每一个线性层,根据线性层的权重通道统计量与激活通道统计量,计算变换矩阵,并利用变换矩阵对线性层的权重与输入激活进行等效变换,得到等效变换后的权重与等效变换后的输入激活;
43、跨层误差补偿单元,用于根据等效变换后的参考输入激活与等效变换后的实际输入激活之间的差值,确定线性层的跨层累积输入偏差,基于实际输入激活构建正则化矩阵,并根据跨层累积输入偏差与正则化矩阵,计算误差补偿校正项,并将误差补偿校正项叠加至等效变换后的权重,得到目标权重;
44、层内补偿单元,用于对目标权重进行基于二阶信息的层内误差补偿与离散化投影,得到线性层的量化权重;
45、状态传递单元,用于将量化权重作用于所述实际输入激活得到量化输出,并将量化输出经激活量化后作为下一线性层的实际输入激活,直至完成全部线性层的量化。
46、与现有技术相比,本发明提供的一种基于联合误差补偿的大语言模型量化方法和装置,具有以下有益效果:
47、由于本发明通过等效平滑变换将激活量化难度重新分配至权重侧、通过跨层误差补偿将前序层累积输入偏差反向映射为权重校正信号以抑制跨层误差指数级放大、并通过层内误差补偿在离散化过程中保留补偿信息,因此能够同时抑制激活离群值引起的量化误差和跨层累积误差,显著降低w8a8全量化场景下的模型精度损失。
48、由于本发明对计算密集型算子实施全量化、对归一化与非线性算子保留浮点、对词嵌入层保持全精度,并在离线阶段完成跨层误差计算、hessian构建与层内补偿的预求解,在线推理时直接加载整型权重,底层矩阵乘法算子无需修改,因此基本不引入额外运行时计算负担。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com