后归一化大语言模型的旋转量化归一化层融合方法及装置与流程

本发明属于大语言模型，具体涉及后归一化大语言模型的旋转量化归一化层融合方法及装置。

背景技术：

1、大语言模型（largelanguagemodels,llms）在自然语言处理领域取得了显著成就，但其巨大的参数量和计算开销给实际部署带来了严峻挑战。为降低模型部署成本，低比特量化技术被广泛应用，其中旋转量化（rotationquantization）因其能够有效抑制激活值离群点、改善量化分辨率而成为重要的量化预处理方法。与此同时，多token预测（multi-tokenprediction,mtp）作为一种新兴的模型架构改进方法，通过增加额外的预测分支使模型能够同时预测多个未来token，有效提升推理效率和生成质量。然而，现有的旋转量化方法与mtp架构之间存在兼容性问题，导致二者无法直接结合。

2、现有旋转量化方法（如quarot、spinquant等）在执行量化预处理时，通常需要先将模型中的归一化层融合为恒等变换，以便正交旋转矩阵能够自由穿透计算图。这一融合操作在传统的归一化层→线性层（norm→linear）拓扑结构下可以顺利完成。然而，在采用后归一化（post-norm）设计的mtp架构中，模型顶层的共享归一化层（model_norm）同时服务于语言模型头部和mtp分支，其输出不仅进入线性头路径，还进入mtp分支中的下游归一化层，形成独特的归一化层→归一化层（norm→norm）链式结构。当对该共享归一化层执行标准融合操作时，mtp分支中下游归一化层的rms分母计算会发生改变，引入严重的系统性缩放误差。实验表明，在qwen3.5-9b模型上，朴素融合即后文所述的完整融合导致mtp分支的top-1接受率从0.5993下降至0.5451，降幅达9.0%。更为棘手的是，简单地选择不融合共享归一化层则会阻止旋转矩阵穿透，使旋转量化完全无法执行。此外，不同模型对rmsnorm的权重约定也存在差异（如标准γ约定与(1+u)约定），进一步增加了融合方法的通用性难度。

3、有鉴于此，特提出本发明。

技术实现思路

1、本发明的一个目的在于，解决传统归一化层融合方法对于含mtp模块的模型的归一化层到归一化层的链式结构无法直接融合、跨分支权重不一致、旋转量化误差大的问题。

2、为实现上述目的，本发明提供了一种后归一化大语言模型的旋转量化归一化层融合方法，所述大语言模型包含共享归一化层和多token预测分支；所述共享归一化层的输出一支进入语言模型头部，另一支进入所述多token预测分支中的第二尺度不变归一化层，形成共享归一化层到第二归一化层的链式结构；所述方法包括：

3、获取所述共享归一化层的原始有效权重；

4、对所述原始有效权重进行分解，提取出尺度不变的形状分量；

5、对语言模型头部路径，将所述原始有效权重或其等价全尺度权重融合到语言模型头部权重中；

6、对所述多token预测分支中位于所述共享归一化层输出路径上的第二归一化层，将所述形状分量与所述第二归一化层的权重逐元素融合；

7、将所述共享归一化层的可学习缩放权重设置为恒等值；

8、在融合后的计算图上执行旋转矩阵插入、旋转融合和量化。

9、进一步地，所述共享归一化层位于所述大语言模型解码器的最终输出位置，采用后归一化架构；所述获取所述共享归一化层的原始有效权重，包括：根据所述共享归一化层的标识符，在所述大语言模型的模块层级结构中定位对应的归一化层实例；从所述归一化层实例中提取原始权重张量，并创建所述原始权重张量的独立副本，以断开与所述大语言模型的参数关联；对所述独立副本进行精度转换和格式标准化处理，生成标准化的权重向量；并且，所述从所述归一化层实例中提取原始权重张量，包括：遍历预设的参数名称候选列表，从所述归一化层实例中查找可学习权重参数；若所述可学习权重参数采用偏移量参数化形式，则将所述偏移量参数转换为有效权重形式；其中，所述偏移量参数化形式为(1+u)约定，u为可学习偏移量；所述转换为有效权重形式包括：计算原始有效权重γ1=1+u，其中，1为与u同维度的全1向量。

10、进一步地，所述对所述原始有效权重进行分解，提取出尺度不变的形状分量的步骤，包括：计算所述原始有效权重γ1的均方根值s，计算公式为s=rms(γ1)=，并将所述均方根值s作为全局尺度分量；将所述原始有效权重γ1除以所述均方根值s，生成形状分量=γ1/s，其中所述形状分量满足rms()=1；完成分解后，所述原始有效权重被分解为两个独立的分量：全局尺度分量s=rms(γ1)，为一个正标量，表征所述原始有效权重的整体缩放幅度；形状分量，为一个单位rms向量，表征所述原始有效权重的相对分布模式；其中，所述全局尺度分量不向所述第二归一化层传递，所述形状分量被保留并用于所述第二归一化层路径；其中，所述分解过程是严格可逆的：所述原始有效权重能够精确分解为rms()，也能够由rms()和精确重构，且所述分解和所述重构过程均不产生误差。

11、进一步地，所述对语言模型头部路径，将所述原始有效权重或其等价全尺度权重融合到语言模型头部权重中的步骤，包括：将所述原始有效权重γ1沿隐藏维度与语言模型头部的权重矩阵wlm执行逐行乘法运算：；其中，d为所述原始有效权重的维度，，v为词汇表大小。

12、进一步地，所述对所述多token预测分支中位于所述共享归一化层输出路径上的第二归一化层，将所述形状分量与所述第二归一化层的权重逐元素融合的步骤，包括：将所述形状分量与所述第二归一化层的权重参数γ2逐元素相乘，得到融合后的权重，计算公式为；其中，若所述第二归一化层采用偏移量参数化形式，则在融合前将权重参数转换为标准形式γ2=1+u，融合后再将权重参数转换回偏移量形式u′=-1，并写回所述第二归一化层；其中，u为可学习偏移量。

13、进一步地，当所述多token预测分支的拼接投影层具有多个输入归一化层时，仅对接收所述共享归一化层输出、并位于所述共享归一化层输出路径上的输入归一化层，将所述形状分量与其权重逐元素相乘；对不接收所述共享归一化层输出的其他输入归一化层，按照其自身权重融合到拼接投影层的对应输入维度区间。

14、进一步地，所述权重逐元素融合处理引入的误差近似为数据依赖的二阶残差误差，所述二阶残差误差的因子的计算公式为：

15、；

16、其中，为所述第二归一化层的输入激活值，为归一化后的形状分量且rms()=1；ρ为与在通道维度上的pearson相关系数。

17、进一步地，所述将所述共享归一化层的可学习缩放权重设置为恒等值的步骤，包括：确认对所述语言模型头部路径和所述多token预测分支的权重调整均已完成后，执行所述恒等值设置；识别所述共享归一化层的类型及其参数化形式，确定恒等值的配置方式；根据确定的配置方式，将所述共享归一化层的可学习缩放权重设置为恒等值；并且，所述识别所述共享归一化层的类型及其参数化形式的步骤，包括：判断所述共享归一化层为标准均方根归一化层或不含独立偏置、仅具有可学习通道缩放参数的尺度型归一化变体；对于所述标准均方根归一化层，恒等缩放权重为全1向量；对于采用(1+u)偏移量参数化形式的变体，偏移参数u为全0向量。

18、进一步地，所述在融合后的计算图上执行旋转矩阵插入、旋转融合和量化，包括：构造正交旋转矩阵并将其插入到模型计算图中；将所述正交旋转矩阵融合到模型的线性层权重矩阵中；对融合后的权重执行低比特量化。

19、另一些实施例中，提供一种后归一化大语言模型的旋转量化归一化层融合装置，能够执行上文所述的后归一化大语言模型的旋转量化归一化层融合方法；所述装置包括：参数获取模块，配置为获取所述共享归一化层的原始有效权重；参数分解模块，配置为计算所述原始有效权重的全局均方根尺度并生成形状分量；主路径融合模块，配置为对语言模型头部路径，将所述原始有效权重或其等价全尺度权重融合到语言模型头部权重中；分支融合模块，配置为对所述多token预测分支中位于所述共享归一化层输出路径上的第二归一化层，将所述形状分量与所述第二归一化层的权重γ2逐元素融合；恒等配置模块，配置为将所述共享归一化层的可学习缩放权重设置为恒等值；旋转量化模块，配置为在融合后的计算图上执行旋转矩阵插入、旋转融合和量化。

20、基于前文的描述，本领域技术人员能够理解的是，本发明通过将后归一化大语言模型中共享归一化层的原始有效权重分解为全局rms尺度与尺度不变形状分量，在语言模型头部路径将原始有效权重或其等价全尺度权重融合进头部权重，在多token预测分支将形状分量与第二归一化层权重逐元素融合，并将共享归一化层缩放权重置为恒等，最后在融合后计算图上执行旋转矩阵插入、旋转融合与量化。本发明方法有效解决现有技术中norm→norm链式结构无法直接融合、跨分支权重不一致、旋转量化误差大的问题，实现了仅引入二阶残差误差的高精度融合，有效降低推理延迟与量化误差。