一种基于全局预算与平滑校正的大语言模型压缩方法
本发明涉及人工智能,尤其涉及一种基于全局预算与平滑校正的大语言模型压缩方法。
背景技术:
1、随着大语言模型(large language models,llms)规模的不断扩张,其在自然语言理解、生成等任务中展现出卓越性能,但也因参数量巨大而面临严峻的部署挑战。为降低llms的存储与计算开销,模型压缩技术,特别是剪枝与量化,成为研究热点。
2、现有技术中,已提出多种联合剪枝与量化的压缩方案。例如,中国专利cn117371508a公开了一种模型压缩方法,通过对权重矩阵进行稀疏化处理,并对融合后的权重进行量化。然而,此类方法通常将所有网络层视为同质化对象,采用统一的稀疏率或仅基于权重局部显著性的剪枝策略,忽视了不同transformer层在结构重要性(剪枝敏感度)和数值分布特性(量化敏感度)上的巨大差异,导致关键敏感层被过度压缩,性能严重下降。
3、为改善层间资源分配问题,业界提出了差异化剪枝策略。例如,中国专利cn120688565a基于层间互信息冗余度计算层重要性因子,并据此分配差异化稀疏率。然而,这类方法仅关注剪枝过程本身,未考虑剪枝操作对后续量化步骤产生的负面影响。具体而言,剪枝倾向于保留大数值权重以维持结构重要性,这会导致权重分布出现稀疏空洞和尖锐化,与量化所需的集中、平坦的分布特性产生严重冲突。直接对剪枝后的稀疏模型进行量化,会造成大量量化区间浪费和精度崩塌。
4、为解决剪枝与量化的分布冲突,现有技术尝试在量化前对激活值离群点进行硬截断或平滑处理。但这些方法主要针对稠密模型设计,在剪枝后的稀疏场景下,权重能量分布已发生剧变,简单的平滑策略会导致通道能量失衡,无法有效修复分布创伤。同时,剪枝与量化引入的混合误差会在深层网络中逐层累积。现有方案多依赖昂贵的全参数微调(fullfine-tuning)或参数高效微调(peft)来恢复精度,但这对于参数量达百亿级的大模型而言,面临着巨大的算力、显存和时间成本瓶颈,且在缺乏训练数据的场景下难以实施。
5、因此,如何提供一种兼具全局资源最优分配、稀疏分布无损修复以及误差自愈能力,且无需依赖昂贵重训练过程的联合剪枝与量化压缩方法,是本领域亟待解决的技术难题。
技术实现思路
1、本发明旨在解决现有大语言模型压缩技术在联合剪枝与量化时存在的层间资源分配一刀切,导致敏感层被过度压缩、性能崩塌;剪枝后的稀疏权重分布尖锐,与量化所需的平坦分布产生严重冲突;以及压缩误差逐层累积且难以在不依赖昂贵重训练的情况下修复。
2、为实现上述目的,本发明提供了一种基于全局预算与平滑校正的大语言模型压缩方法,包括以下步骤:
3、s1、模型全局统计探测:加载待压缩的大语言模型并构建校准数据集;将所述校准数据集输入待压缩模型,执行前向传播和反向传播探测,收集网络各层权重的梯度统计特征以及激活值的分布形态特征;
4、s2、构建全局敏感度预算与稀疏率分配机制:基于所述梯度统计特征计算表征剪枝敏感度的fisher信息,基于所述分布形态特征计算表征量化敏感度的峰度kurtosis,将所述fisher信息与峰度进行融合以构建联合敏感度指标,并根据所述联合敏感度指标利用全局预算分配算法动态计算每一网络层的目标稀疏率。
5、s3、执行层级串行的剪枝-平滑-量化协同优化:按照网络层序,在当前层分配的目标稀疏率约束下,计算当前层权重的显著性评分,并根据所述显著性评分生成剪枝掩码以对权重进行剪枝;随即执行稀疏流形平滑处理,通过计算平滑系数并执行数学等价变换,将当前层激活值中的离群尖峰能量迁移至剪枝后的稀疏权重中;再对平滑后的数据分布执行逐通道低比特量化,得到当前层的量化输出;
6、进一步地,所述稀疏流形平滑处理采用模块自适应策略:若当前层为前馈神经网络层,则执行平滑处理;若当前层为自注意力层,则跳过平滑处理。
7、s4、执行无训练串行误差补偿校准:计算当前层因剪枝与量化产生的全量混合噪声矩阵,并将所述混合噪声矩阵直接叠加注入到下一网络层的输入特征图中。
8、本发明还提供一种大语言模型压缩设备,包括处理器及存储器,所述存储器中存储有可在处理器上运行的程序指令,其特征在于,所述处理器执行所述指令时实现本发明方法。
9、与现有技术相比,本发明的有益效果为:
10、本发明通过联合fisher信息与峰度构建联合敏感度指标,采用全局预算分配算法自动为敏感层分配低稀疏率、为冗余层分配高稀疏率,打破了传统一刀切均匀剪枝的限制,在保证总压缩率的同时提升了模型整体保留精度,有效避免了敏感层因过度剪枝导致的性能崩塌。
11、本发明在剪枝与量化之间引入稀疏流形平滑处理,通过数学等价的能量迁移变换将激活值中的离群尖峰能量在浮点等价意义下迁移至稀疏权重中,改善了数据分布形态,使剪枝后的模型能够更适配低比特量化,避免了传统硬截断造成的不可逆信息丢失,大幅降低了量化误差。
12、本发明构建了无梯度的串行误差流机制,通过计算全量混合噪声矩阵并将其注入下一层输入,使深层网络能够自适应地感知并补偿前序层的累积误差。该机制无需任何反向传播或权重更新,有效阻断了误差的逐层放大,显著降低了压缩过程的算力和显存需求,实现了无需重训练的高性能压缩。
13、在多种主流大语言模型上的实验结果表明,本发明在高压缩比下能够保持原始模型的绝大部分性能,在超高压缩比下仍具有良好的性能稳定性,显著优于现有主流压缩方法,为资源受限环境下的高性能大模型部署提供了可行方案。
1.一种基于全局预算与平滑校正的大语言模型压缩方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的方法,其特征在于,所述联合敏感度指标按下式计算:
3.根据权利要求2所述的方法,其特征在于,所述剪枝敏感度与量化敏感度的计算方式分别为:
4.根据权利要求1所述的方法,其特征在于,所述动态计算每一网络层的目标稀疏率按下式执行全局预算分配,且满足约束条件:
5.根据权利要求1所述的方法,其特征在于,所述剪枝的显著性评分s采用如下公式计算:;其中,代表权重的幅值重要性,代表输入激活的强度,两者乘积构成了基础剪枝判据;为辅助敏感度项,为预设的固定平衡系数。
6.根据权利要求1所述的方法,其特征在于,所述稀疏流形平滑处理采用模块自适应策略:若当前层为前馈神经网络层,则执行平滑处理;若当前层为自注意力层,则跳过平滑处理;对于执行平滑处理的层,其平滑系数按下式计算:
7.根据权利要求6所述的方法,其特征在于,所述平滑处理变换通过以下方式实现:
8.根据权利要求1所述的方法,其特征在于,所述全量混合噪声矩阵δ的计算方式为:
9.一种大语言模型压缩设备,包括处理器及存储器,所述存储器中存储有可在处理器上运行的程序指令,其特征在于,所述处理器执行所述指令时实现如权利要求1至8任一项所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com