面向大语言模型的三值低秩压缩初始化方法及系统与流程

本技术涉及人工智能，特别涉及面向神经网络模型线性层的三值低秩压缩初始化技术。

背景技术：

1、随着大语言模型在智能对话、代码辅助生成、文档摘要等在线服务中的广泛部署，模型推理的主要瓶颈已由算力不足逐步转向显存容量、显存带宽及权重访存效率受限。以数据中心 gpu 集群上的对话服务为例，自回归解码每生成一个 token 均需重复读取注意力投影层、前馈网络等各线性层的大量权重，模型整体呈现明显的内存受限的特征，权重读取量直接影响解码延迟与服务吞吐。又如在手机、车载终端等端边侧设备上部署大语言模型或多模态模型时，存储空间与访存带宽更为紧张，往往需要将线性层权重压缩至极低比特才能满足部署条件。此外，视觉语言模型等包含大规模线性层的模型在批量推理场景中同样面临权重访存开销过高的问题。

2、为降低上述场景中的部署成本，面向线性层的训练后压缩、极低比特量化和结构化低秩分解已成为重要的技术方向。然而，现有低秩分解或量化方法通常直接最小化权重空间中未加权的重构误差，未显式考虑不同输入通道的激活能量差异和不同输出通道的敏感性差异，使有限的表达容量难以优先保护任务敏感区域；现有三值投影方法多采用单一全局缩放因子或简单的逐通道缩放，难以适配低秩因子内部行列幅值的非均匀性，连续低秩解转换为三值结构时容易出现投影失配；此外，从随机三值结构开始优化的搜索过程收敛不稳定，而仅依赖一次硬投影又容易固化错误的零值或符号选择。因此，迫切需要一种新的技术方案来解决上述问题。

技术实现思路

1、本技术的目的在于提供一种面向大语言模型的三值低秩压缩初始化方法及系统，以在有限的秩与三值离散表达容量的双重约束下，缓解连续低秩解投影至可部署三值结构时产生的结构失配，并减轻任务敏感通道的重构质量在初始化阶段被损伤的程度，从而解决上述背景技术中提出的问题。

2、为实现上述目的，本技术的实施方式提供了一种面向大语言模型的三值低秩压缩初始化方法，包括：在校准集上统计所述大语言模型中的线性层的原始权重矩阵所对应的输入激活和输出侧敏感性，得到输入重要性向量和输出重要性向量，并对所述原始权重矩阵进行双侧对角缩放，构造代理权重矩阵；对所述代理权重矩阵进行连续低秩分解，得到给定秩下的连续低秩起点，所述连续低秩起点包括左因子和右因子；以所述连续低秩起点为初始值、并基于所述代理权重矩阵，采用交替方向乘子法将连续变量的更新与三值投影变量的更新相分裂，交替更新连续变量、三值投影变量和对偶变量直至满足停止条件；其中，在固定一侧的三值投影变量的条件下、基于所述代理权重矩阵求解另一侧连续变量的闭式最小二乘子问题，再将所求得的连续变量与对应的对偶变量之和经三值符号-值独立分解投影（简称 tsvid）投影为该侧的三值投影变量，得到包含左三值结构矩阵的左因子和包含右三值结构矩阵的右因子；将所述左因子和右因子中的中间尺度合并为中间秩尺度，并将所述输入重要性向量和输出重要性向量所对应的逆缩放吸收到部署尺度中，导出由三值结构矩阵和连续缩放向量组合而成的三值低秩初始化结果。

3、本技术的实施方式还提供了一种面向大语言模型的三值低秩压缩初始化系统，包括：代理权重构造模块，用于在校准集上统计所述大语言模型中的线性层的原始权重矩阵所对应的输入激活和输出侧敏感性，得到输入重要性向量和输出重要性向量，并对所述原始权重矩阵进行双侧对角缩放，构造代理权重矩阵；连续低秩初始化模块，用于对所述代理权重矩阵进行连续低秩分解，得到给定秩下的、包括左因子和右因子的连续低秩起点；分裂求解模块，用于以所述连续低秩起点为初始值、并基于所述代理权重矩阵，采用交替方向乘子法将连续变量的更新与三值投影变量的更新相分裂，交替更新连续变量、三值投影变量和对偶变量直至满足停止条件，并经三值符号-值独立分解投影得到包含左三值结构矩阵的左因子和包含右三值结构矩阵的右因子；尺度合并导出模块，用于将所述左因子和右因子中的中间尺度合并为中间秩尺度，并将所述输入重要性向量和输出重要性向量所对应的逆缩放吸收到部署尺度中，导出由三值结构矩阵和连续缩放向量组合而成的三值低秩初始化结果。

4、本技术的实施方式还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的三值低秩压缩初始化方法。

5、在上述技术方案中，通过在校准集上统计线性层的输入激活与输出侧敏感性、得到输入重要性向量与输出重要性向量，并按双侧对角缩放构造代理权重矩阵，压缩目标由均匀的权重误差转变为贴近任务损失非均匀响应的加权目标，有限的秩与三值离散表达容量不再仅按原始权重误差平均分配，而是优先分配给任务敏感区域，有助于提升极低比特压缩初始化的整体质量；在代理空间中获得连续低秩起点后，采用交替方向乘子法将连续变量的更新与三值投影变量的更新相分裂，连续变量可以自由地朝降低重构误差的方向移动，三值投影变量始终满足部署所需的离散约束，二者经对偶变量牵引而逐步一致，降低了一次硬投影固化错误零值或错误符号的风险；经三值符号-值独立分解投影将连续矩阵表示为行尺度、三值结构矩阵与列尺度的乘积，离散结构选择与连续幅值拟合得以相互解耦；再将左右因子的中间尺度合并为中间秩尺度，并把输入输出敏感度对应的逆缩放吸收到部署尺度中，最终导出仅由三值结构矩阵和少量连续缩放向量组成的初始化结果，在降低权重存储量与访存开销的同时保持了部署形态的简洁。

6、进一步地，当输入重要性向量由输入激活平方均值的平方根表征、输出重要性向量由输出激活能量或输出梯度能量的平方根表征时，重要性统计既可以在仅执行前向传播的场景下实施，也可以在具备任务损失的场景下更贴近任务对输出通道的实际响应；同时，双侧加权重构目标被等价转化为代理空间中的标准最小二乘问题，压缩过程无需在每次迭代中显式携带加权项，压缩结果又可经逆变换恢复至原始权重空间，兼顾了实施便利性与数学上的等价性。

7、当连续低秩分解采用截断奇异值分解、并将奇异值的平方根分别吸收到左因子与右因子时，所得起点为给定秩下的最优连续低秩近似，且两个因子的数值幅度保持均衡，有利于后续三值投影中行列尺度的稳定估计；后续迭代只需在该低误差起点的附近寻找可部署的离散结构，而不必从随机三值结构开始搜索，降低了离散搜索难度与收敛不稳定性。

8、在交替更新过程中，固定一侧三值投影变量后，另一侧连续变量的子问题为凸二次问题且具有闭式解，求逆对象仅为秩维度的小矩阵，更新方向明确且计算开销较低；对偶变量的累加更新将连续变量与三值投影变量之间的残余偏差持续记入迭代过程，使下一轮的连续更新与三值投影均携带该偏差信息，促使两组变量在迭代中收敛一致。

9、在三值投影环节，以幅值矩阵的秩一近似初始化行尺度与列尺度，使初始尺度与矩阵的真实幅值结构相匹配，减少了交替更新中的振荡；以行列尺度乘积的二分之一为局部阈值逐元素判定三值取值，使置零门限随所在行、列的幅值水平自适应变化，能够比全局阈值更准确地拟合低秩因子内部行列幅值的非均匀分布；行尺度与列尺度的闭式交替更新配合尺度归一化以及负号向三值结构矩阵的吸收，消除了表示的尺度不唯一性，使行列尺度始终表示非负幅值，投影过程更加稳定。

10、当停止条件由全局残差与任务敏感通道的局部残差共同门控时，重要性排在前列的通道被确定为高敏感通道集合，其局部相对重构残差被引入停止判定，全局残差达标而局部残差未达标时继续迭代，从而在不新增任何统计量的前提下，避免高敏感通道的局部投影失配被全局平均误差掩盖，在相同迭代预算下有助于减小对模型任务影响较大的通道上的重构失配，使初始化结果在任务损失意义上更优。

11、在包含稳定化处理的方案中，近零尺度异常的沿用历史尺度或置零处理避免了闭式更新中的除零发散，病态求逆的对角稳定化保证了连续子问题求解的数值稳定，连续若干轮无改善时回退历史最优并以最大迭代次数为上限的机制构成收敛闭环，使迭代过程能够终止并导出历史记录中较优的结果，部署尺度的下限保护则避免了重要性趋于零时逆缩放对部署尺度的异常放大；上述处理相互配合，共同有助于提升整个迭代与导出过程的数值稳定性和部署稳定性。

12、当上述方案应用于大语言模型、视觉语言模型或多模态模型中 transformer 结构的各投影层与前馈网络线性层时，导出的初始化结果直接替换原有权重表示，推理阶段不引入额外的稠密矩阵，也不改变原线性层的连接关系，特别适用于显存、带宽和存储受限的工程部署场景。相应的系统通过代理权重构造模块、连续低秩初始化模块、分裂求解模块和尺度合并导出模块实现上述处理过程，可以部署于服务器、模型压缩平台、模型编译平台或其他具有处理器和存储器的计算设备中；存储有相应计算机程序的计算机可读存储介质在程序被处理器执行时同样实现上述处理过程，均能够获得与上述方法相同的技术效果。

13、本技术的说明书中记载了大量的技术特征，分布在各个技术方案中，如果要罗列出本技术所有可能的技术特征的组合（即技术方案）的话，会使得说明书过于冗长。为了避免这个问题，本技术上述 技术实现要素： 中公开的各个技术特征、在下文各个实施方式和例子中公开的各技术特征、以及附图中公开的各个技术特征，都可以自由地互相组合，从而构成各种新的技术方案（这些技术方案均应视为在本说明书中已经记载），除非这种技术特征的组合在技术上是不可行的。例如，在一个例子中公开了特征 a+b+c，在另一个例子中公开了特征 a+b+d+e，而特征 c 和 d 是起到相同作用的等同技术手段，技术上只要择一使用即可，不可能同时采用，特征 e 技术上可以与特征 c 相组合，则，a+b+c+d 的方案因技术不可行而应当不被视为已经记载，而 a+b+c+e 的方案应当视为已经被记载。