一种基于空间分布均匀化的多尺度旋转量化方法
本发明涉及人工智能,特别涉及一种基于空间分布均匀化的多尺度旋转量化方法。
背景技术:
1、随着大语言模型、视觉transformer和多模态生成模型的参数规模持续增加,模型权重、中间激活以及长上下文推理产生的键值缓存占用了大量显存和内存,高精度浮点数据还会显著增加处理器与存储器之间的数据传输带宽,使模型推理受到存储容量、内存带宽和计算吞吐能力的共同限制;
2、低比特量化通过将浮点数据映射为整数或其他低精度格式,可以减少模型存储空间和数据传输量,并使模型能够利用低精度计算单元进行加速,在4比特以上的量化场景中,常规逐通道量化或逐组量化通常能够保持一定的模型精度;但在4bit等低比特场景中,量化级数显著减少,原始数据中的异常值和局部密集分布会导致严重的量化误差;
3、在神经网络权重、激活和键值缓存中,部分特征维度可能出现幅值远高于平均水平的异常值,对于对称均匀量化,量化尺度通常根据块内最大绝对值确定。当少量异常值具有较大幅值时,量化尺度将被这些异常值支配,使绝大多数正常数据只能使用少数量化码字,造成量化分辨率下降;
4、以第b个数据块为例,其对称量化尺度可以表示为:
5、=- 1;(1)
6、= max(||) /;(2)
7、由公式(2)可知,块内最大绝对值越大,量化尺度越大,若大多数数据集中在零点附近,则这些数据在量化后容易被映射到相同或相邻的量化级,导致有效信息丢失;
8、现有大模型低比特量化相关专利方案均存在明显短板,无法同时解决异常值支配量化尺度、固定旋转无法自适应数据、量化样本局部拥挤、正交旋转正则梯度失效、可学习正交矩阵参数量爆炸五大核心痛点,现有主流专利缺陷逐一说明如下:
9、申请号为cn122242596a的发明专利提供《基于理论最优平滑函数的大语言模型量化方法》、以及申请号为cn121660061a的发明专利提供《大模型量化方法、装置、计算机设备、存储介质》均采用对角平滑缩放、固定平滑因子做逐通道幅值调整,仅能小幅均衡通道幅值,无法将少数通道聚集的极值能量分散至全维度,对大幅值离群值抑制效果有限;
10、申请号为cn122452653a的专利《基于双尺度缩放的大模型量化方法》仅拆分权重矩阵、增设行列缩放因子,全程无正交旋转操作,三类专利的优化目标仅为全局重构均方误差,未引入任何约束样本空间分布的正则项,量化后样本极易集中在少量量化码字,低比特场景精度衰减严重。
11、申请号为cn121981266a的专利提供《一种旋转矩阵与误差补偿的大模型量化方法》、以及申请号为cn121119002a的专利提供《基于非均匀分组阿达马变换与激活分布自适应的大模型量化方法》仅采用预定义、离线固定的 hadamard正交矩阵完成旋转,不存在可学习旋转参数,无法针对不同数据块、不同量化位宽精细调整旋转方向,难以适配层间、块间差异化数据分布;同时上述两篇专利仅针对激活做旋转处理,无法统一覆盖模型权重、kv缓存全张量量化场景,且均未引入空间均匀化正则,无法缓解量化后样本局部聚集问题;
12、通过正交旋转改变数据相对于量化坐标轴的方向,可以将集中于少数通道的能量分散到多个通道,随机hadamard旋转具有正交性和快速计算特性,能够以较低复杂度实现整体能量扩散,然而,固定的随机hadamard矩阵并不根据具体待量化数据学习,其旋转方向可能不是当前数据块的最优量化方向;
13、不同模型层、不同特征块及不同数据对象的分布存在明显差异,单独使用固定随机hadamard旋转虽然能够缓解部分异常值问题,但无法针对块内数据密度、量化边界和量化码字占用情况进行精细适配;
14、若直接为每个大小为g的数据块学习一个完整矩阵,则矩阵包含g×g个元素,并且必须维持正交约束,此类方案参数量大、优化复杂度高,还可能产生矩阵偏离正交流形、逆变换不稳定以及部署成本过高等问题。
15、因此,需要一种参数量更小、天然保持正交性、能够在固定随机hadamard旋转基础上对旋转方向进行精细调整的可学习旋转结构;
16、常规旋转量化通常仅最小化旋转后数据与量化后数据之间的均方误差,单一均方误差虽然能够反映平均重构质量,但未直接描述量化表示之间是否发生局部拥挤、码字利用是否均衡以及样本是否集中于少数方向。
17、基于分块dkoleo正则通过最近邻距离描述样本的局部空间密度,可用于鼓励样本在归一化表示空间中均匀展开,但是,如果将标准koleo正则直接施加于未经量化的完整正交旋转结果,由于正交旋转保持向量范数和样本间欧氏距离不变,标准koleo正则项会导致梯度失效。
技术实现思路
1、本发明提供一种基于空间分布均匀化的多尺度旋转量化方法,用以解决背景技术中提出的问题。
2、一种基于空间分布均匀化的多尺度旋转量化方法,包括:
3、s1:获取神经网络中的待量化张量,并将待量化张量按照样本维,结合执行块级旋转和量化的目标特征维度进行展开,得到二维矩阵,并将二维矩阵沿执行块级旋转和量化的目标特征维度按照块大小g进行划分,得到b个数据块;
4、s2:为数据块构建g×g的hadamard矩阵,hadamard矩阵的矩阵元素取值为+1或-1,并满足 ,其中,为g阶单位矩阵,并对hadamard矩阵右乘随机符号对角矩阵,得到数据块对应归一化随机hadamard矩阵,并对数据块进行第一阶段旋转,得到旋转结果;
5、s3:在旋转结果的基础上,构建由个givens二维旋转组成的可学习复合旋转矩阵,基于可学习复合旋转矩阵和归一化随机hadamard矩阵确定数据块的复合旋转矩阵,进一步得到数据块经过复合旋转后的旋转域;
6、s4:以w比特对旋转域进行伪量化,得到伪量化结果,并确定旋转域的量化尺度,基于量化尺度确定反量化结果,以反量化结果为基础,结合旋转域量化误差和复合旋转矩阵,进行逆旋转得到数据块的原始空间,基于原始空间计算得到原始空间重构误差;
7、s5:对反量化结果进行归一化,得到数据块中每个样本的归一化样本值,基于归一化样本值构建数据块在dkoleo空间分布均匀化正则项,进一步得到全部数据块的dkoleo正则项;
8、s6:基于旋转域量化误差和dkoleo正则项构成总损失进行联合优化givens旋转角,得到最优givens旋转角,基于最优givens旋转角对数据块进行正式旋转,正式低比特量化和正式恢复,得到原始空间量化重构结果。
9、优选的,所述s2中,对hadamard矩阵进行随机旋转,得到数据块对应归一化随机hadamard矩阵,包括:
10、构建随机符号对角矩阵,,;
11、按照如下计算公式,基于随机符号对角矩阵对hadamard矩阵进行旋转,得到归一化随机hadamard矩阵;
12、;
13、其中,表示数据块的大小。
14、优选的,所述s2中,对数据块进行第一阶段旋转,得到旋转结果,包括:
15、基于归一化随机hadamard矩阵,按照如下公式对数据块进行第一阶段旋转,得到旋转结果;
16、。
17、优选的,所述s3中,在旋转结果的基础上,构建由个givens二维旋转组成的可学习复合旋转矩阵,包括:
18、在个givens二维旋转组中第k个givens二维旋转作用于旋转结果的第个坐标和第个坐标,且,对应的可学习旋转角为,得到第k个givens二维旋转对应的旋转矩阵;
19、其中,旋转矩阵在除了第个坐标和第个坐标外,其他坐标与单位矩阵一致,且;
20、将k个givens二维旋转矩阵按照预设顺序相乘,得到可学习复合旋转矩阵,且;
21、上述操作的全部可学习参数只包括givens旋转角。
22、优选的,所述s3中,基于可学习复合旋转矩阵和归一化随机hadamard矩阵,确定数据块的复合旋转矩阵,进一步得到数据块经过复合旋转后的旋转域,包括:
23、基于如下公式确定数据块的复合旋转矩阵:
24、;
25、基于如下公式确定数据块经过复合旋转后的旋转域:
26、,且满足。
27、优选的,所述s4中,以w比特对旋转域进行伪量化,得到伪量化结果,并确定旋转域的量化尺度,基于量化尺度确定反量化结果,包括:
28、以w比特进行对称均匀量化,正整数的最大量化级为:;
29、基于旋转域的最大绝对值确定量化尺度:,其中,表示旋转域中第i个样本第j个特征维度的最大绝对值,表示旋转域中第i个样本第j个特征维度的取值;
30、基于如下公式,确定对旋转域中第i个样本第j个特征维度的硬量化整数结果;
31、;
32、其中,()表示取最近整数,表示将数值限制在指定量化区间内;
33、基于硬量化整数结果,计算得到旋转域中第i个样本第j个特征维度反量化结果。
34、优选的,所述s4中,以反量化结果为基础,结合旋转域量化误差和复合旋转矩阵,进行逆旋转得到数据块的原始空间,基于原始空间块计算得到原始空间重构误差,包括:
35、基于如下公式确定旋转域量化误差:
36、;
37、其中,表示frobenius范数,表示样本数量、token数量或权重行数;
38、基于复合旋转矩阵,对反量化结果进行逆旋转,得到原始空间:;
39、基于原始空间和数据块,确定原始空间重构误差:。
40、优选的,所述s5中,对反量化结果进行归一化,得到数据块中每个样本的归一化样本值,基于归一化样本值构建数据块在dkoleo空间分布均匀化正则项,进一步得到全部数据块的dkoleo正则项,包括:
41、对数据块中的第i个样本,经过旋转后的向量为,经过伪量化和反量化得到,对进行归一化,得到归一化样本值;;其中,为防止分母为零的正数,表示l2范数;
42、计算第i个样本与数据块中其他样本的归一化欧氏距离:,其中,表示第i个归一化样本和第h个归一化样本之间的l2范数,即欧氏距离;
43、基于如下公式构建数据块在dkoleo空间分布均匀化正则项:
44、;
45、;;
46、其中,argmin表示输出最小距离值对应的下标h,表示第i个样本与数据块中其他样本的最近邻距离,表示数据块中第i个样本与数据块中其他样本的最近邻索引;
47、全部数据块的dkoleo空间分布均匀化正则项。
48、优选的,所述s6中,基于旋转域量化误差和dkoleo正则项构成总损失进行联合优化givens旋转角,得到最优givens旋转角,包括:
49、在优化开始时,设置可学习旋转角;
50、最优givens旋转角的表达式为:;;
51、将最优givens旋转角作为优化目标进行迭代优化,第t+1次迭代的最新参数为,表示第t次givens旋转角参数,表示总损失对givens旋转角参数的梯度,adam optimizer表示adam 优化器。
52、优选的,所述s6中,基于最优givens旋转角对数据块进行正式旋转,正式低比特量化和正式恢复,得到原始空间量化重构结果,包括:
53、基于最优givens旋转角对数据块进行正式旋转具体为:
54、;
55、其中,表示在最优givens旋转角下数据块的旋转结果;
56、对进行正式低比特量化具体为:
57、;
58、其中,表示对进行正式低比特量化的量化结果;
59、对进行正式恢复,得到原始空间量化重构结果具体为:
60、 。
61、与现有技术相比,本发明取得了以下有益效果:
62、通过固定hadamard旋转完成粗粒度能量打散,把原始高度倾斜的数据分布转化为均匀度更高的初始分布,避免givens旋转从零学习全局能量分散,减少优化迭代轮次、提升收敛速度,通过仅存储每组 givens二维旋转的旋转角,单块参数数量为k,远小于完整g×g正交矩阵的参数;内存占用、梯度计算开销大幅降低,适合大模型海量特征块校准,通过givens旋转仅修改成对坐标,可针对当前块数据密度、极值分布、量化网格精细调整旋转方向,弥补固定旋转无法自适应数据的缺陷,并且单个 givens 矩阵、多givens乘积复合矩阵均严格满足正交约束,优化过程不会出现矩阵偏离正交流形、逆变换不稳定的问题,规避完整可学习矩阵易退化、需要频繁正交化的缺陷,givens 逆旋转仅需旋转角取负或反向执行二维旋转序列,复合旋转的逆矩阵无需矩阵求逆运算,大幅简化推理时反量化、逆旋转的计算流程,通过训练阶段采用可微伪量化,round取整操作使用直通估计,量化误差梯度可反向传导至givens旋转角,实现旋转参数与量化效果协同优化,而非旋转、量化分步独立处理,通过正交旋转保证旋转域量化误差与原始空间重构误差数值等价,训练时无需重复执行逆旋转计算原始空间误差,降低校准阶段浮点运算与显存占用,量化尺度由块内最大绝对值自动计算,适配4bit等低比特量化;位宽越低量化级数越少,重构误差损失可直接约束旋转方向,避免旋转后数据分布过度倾斜导致量化精度崩塌,训练阶段用逆旋转还原原始张量做误差评估,部署阶段固化旋转参数,推理时正向旋转量化、读取时逆旋转恢复原始特征,权重、激活等均可完整复用该量化恢复链路,正交旋转具备欧氏距离不变性,直接对旋转后原始数据施加 dkoleo正则无法产生梯度;本方案将正则施加于伪量化和反量化后的表示,量化映射破坏旋转不变性,正则可稳定向givens旋转角传递优化梯度,正则通过最大化归一化样本的最近邻距离,强制量化后样本均匀分布在归一化空间,避免大量样本拥挤在同一量化级,充分利用全部量化码字,解决低比特下码字浪费、有效信息丢失问题,对反量化样本做归一化后再计算距离,消除样本幅值差异对密度判断的干扰,正则仅关注样本在量化网格中的相对空间位置,精准约束旋转朝向分布均匀的量化友好方向,量化重构误差保证数值还原精度,dkoleo正则约束分布均匀;单一均方误差易出现样本局部塌缩,加权联合优化可兼顾重构误差与码字利用率,在4bit低比特下精度衰减更小,优化完成后固化全部旋转参数,离线校准阶段仅需少量校准样本学习givens旋转角,线上推理直接使用固化的随机hadamard矩阵、givens角、坐标对顺序,无需反向传播、参数更新,仅需保存随机符号种子、少量givens旋转角、块划分参数,相比完整旋转矩阵存储开销可忽略;旋转逻辑可与线性层、注意力计算算子融合,进一步压缩推理计算图,减少内存读写带宽,最终,从根源缓解低比特量化异常值支配量化尺度、码字利用率低的核心问题,兼顾固定结构化旋转的计算效率与可学习旋转的数据自适应能力,同时全程保持矩阵正交,无额外正交约束训练成本,解决正交旋转距离不变性导致分布正则失效的技术瓶颈,通过量化感知dkoleo正则实现量化网格与空间均匀分布联合优化,提升低比特量化稳定性。
63、本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在本技术文件中所特别指出的结构来实现和获得。
64、下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com