面向万亿参数多模态大模型的平滑量化激活值转移方法、系统、设备及介质与流程

本发明涉及模型优化，具体涉及面向万亿参数多模态大模型的平滑量化激活值转移方法、系统、设备及介质。

背景技术：

1、现有技术中，大模型训练后量化方法通常采用统一量化策略对模型各层和各通道进行处理，未充分考虑多模态大模型中不同模态的激活值分布差异，尤其在视觉模态与文本模态并存的场景下，不同模态的激活值异常程度存在明显差别，容易在量化过程中产生较大的精度损失。同时，现有技术在面向大规模多模态模型时，缺乏针对不同层、不同通道的自适应资源分配机制，难以根据激活值异常程度对量化精度和平滑强度进行动态调整，导致资源利用不充分，影响量化处理效果。

2、此外，现有技术主要面向单模态模型的量化处理进行设计，在多模态场景下，权重与激活值之间缺乏协同优化机制，难以兼顾多模态大模型在资源受限条件下的量化精度与量化效率。因而，本发明旨在解决多模态大模型在训练后量化过程中面临的核心技术难题：如何在资源受限条件下（显存、计算能力有限），针对万亿参数规模的多模态大模型，实现激活值异常的高效转移与自适应分配，从而在保持模型推理精度的同时，最大化量化效率和系统吞吐量。

技术实现思路

1、鉴于上述存在的问题，本发明提供面向万亿参数多模态大模型的平滑量化激活值转移方法、系统、设备及介质。

2、因此，本发明解决的技术问题是：如何解决在资源受限条件下，针对万亿参数规模的多模态大模型，实现激活值异常的高效转移与自适应分配，从而在保持模型推理精度的同时，最大化量化效率和系统吞吐量的问题。

3、为解决上述技术问题，本发明提供如下技术方案：面向万亿参数多模态大模型的平滑量化激活值转移方法，其包括，采集多模态大模型各层各通道的激活值分布统计信息，确定各通道的异常值幅度指标、各层的模态类型信息以及各通道的信道条件参数；基于各层的所述模态类型信息和各通道的所述异常值幅度指标，构建各层的候选量化方案集合；在显存预算约束下，对各层的候选量化方案集合执行多重选择背包求解，确定各层的量化资源配置方案；基于各通道的所述信道条件参数以及各层的所述量化资源配置方案，采用容量可调注水分配处理确定各通道的平滑因子，对权重参数和激活值执行平滑变换，得到变换后的权重参数和变换后的激活值；对变换后的权重参数和变换后的激活值执行量化处理，对变换后的权重参数执行低秩分解处理，确定补偿矩阵，继而根据补偿矩阵对量化后的权重参数执行补偿处理，基于补偿处理后的权重参数和量化后的激活值，结合权重量化误差与激活值量化误差，得到量化后的多模态大模型。

4、作为本发明所述的面向万亿参数多模态大模型的平滑量化激活值转移方法的一种优选方案，其中：所述采集多模态大模型各层各通道的激活值分布统计信息，确定各通道的异常值幅度指标、各层的模态类型信息以及各通道的信道条件参数，包括，基于校准数据集遍历所述多模态大模型的各层，采集各层各通道的激活值分布统计信息；基于各通道的激活值分布统计信息，确定表征激活值异常程度的异常值幅度指标；根据各层通道的模态归属，对各层通道进行分类，得到各层的模态类型信息；根据所述异常值幅度指标，将各通道映射为信道条件参数。

5、作为本发明所述的面向万亿参数多模态大模型的平滑量化激活值转移方法的一种优选方案，其中：所述基于各层的所述模态类型信息和各通道的所述异常值幅度指标，构建各层的候选量化方案集合，包括，根据各层的模态类型信息，生成各层的候选量化方案；根据各通道的异常值幅度指标，对各层的候选量化方案进行筛选；对筛选后的候选量化方案确定精度损失信息和资源开销信息；根据所述精度损失信息和所述资源开销信息，构建各层的候选量化方案集合。

6、本优选方案通过结合模态类型信息和异常表征信息构建候选量化方案集合，从而使候选量化方案的形成过程同时具有模态差异适配能力和异常程度区分能力。

7、作为本发明所述的面向万亿参数多模态大模型的平滑量化激活值转移方法的一种优选方案，其中：所述在显存预算约束下，对各层的候选量化方案集合执行多重选择背包求解，确定各层的量化资源配置方案，包括，将各层的候选量化方案集合转化为多重选择背包问题；将所述资源开销信息作为约束信息，将所述精度损失信息作为优化依据；根据所述约束信息和优化依据，基于动态规划算法对所述多重选择背包问题进行求解，确定各层的目标候选量化方案；根据各层的目标候选量化方案，确定各层的量化资源配置方案。

8、本优选方案通过将候选量化方案集合转化为多重选择背包问题，在资源开销约束下以精度损失作为优化依据进行求解，从而使各层量化资源配置方案的确定过程具有全局预算约束下的可求解性和可比较性。

9、作为本发明所述的面向万亿参数多模态大模型的平滑量化激活值转移方法的一种优选方案，其中：所述基于各通道的所述信道条件参数以及各层的所述量化资源配置方案，采用容量可调注水分配处理确定各通道的平滑因子，对权重参数和激活值执行平滑变换，得到变换后的权重参数和变换后的激活值，包括，根据各层的量化资源配置方案，确定各层的量化比特配置；根据各层的量化比特配置、显存预算约束以及通道参数规模，确定各层的平滑资源预算；根据各层的平滑资源预算，确定容量可调注水分配处理的资源约束；基于各通道的信道条件参数，在资源约束下采用容量可调注水分配处理确定各通道的平滑因子；根据各通道的平滑因子，对权重参数和激活值执行平滑变换，将激活值异常在权重参数和激活值之间进行转移，得到变换后的权重参数和变换后的激活值。

10、本优选方案通过基于量化比特配置、显存预算约束和通道参数规模确定平滑资源预算，并结合通道异常表征信息进行容量可调注水分配处理，从而使平滑因子的确定过程具备面向异常通道的差异化分配能力，便于在平滑变换阶段实现激活值异常转移。

11、作为本发明所述的面向万亿参数多模态大模型的平滑量化激活值转移方法的一种优选方案，其中：所述基于各通道的信道条件参数，在资源约束下采用容量可调注水分配处理确定各通道的平滑因子，包括，以最小化该层的总量化误差为目标，并以平滑资源总量不超过所述资源约束为约束条件，构建平滑因子优化问题；基于所述平滑因子优化问题构建拉格朗日函数；根据卡鲁什-库恩-塔克条件，对各通道的平滑因子进行求解，确定拉格朗日乘子；根据所述拉格朗日乘子以及各通道的信道条件参数，确定各通道的平滑因子。

12、本优选方案通过将异常程度信息转换为等效条件信息，并在资源约束下据此分配平滑资源，从而将通道异常差异转化为可参与资源分配计算的表征形式，便于按通道需求确定平滑因子。

13、作为本发明所述的面向万亿参数多模态大模型的平滑量化激活值转移方法的一种优选方案，其中：所述对变换后的权重参数和变换后的激活值执行量化处理，对变换后的权重参数执行低秩分解处理，确定补偿矩阵，继而根据补偿矩阵对量化后的权重参数执行补偿处理，基于补偿处理后的权重参数和量化后的激活值，结合权重量化误差与激活值量化误差，得到量化后的多模态大模型，包括，对变换后的权重参数和变换后的激活值执行量化处理，得到量化后的权重参数和量化后的激活值；对变换后的权重参数执行低秩分解处理，确定补偿矩阵；将所述补偿矩阵与量化后的权重参数结合，得到补偿后的权重参数；基于补偿后的权重参数和量化后的激活值，确定权重量化误差与激活值量化误差；基于所述补偿后的权重参数和所述量化后的激活值，结合所述权重量化误差与所述激活值量化误差，得到量化后的多模态大模型。

14、本优选方案通过在量化处理后结合低秩补偿参数确定补偿矩阵，基于补偿后的权重参数和量化后的激活值确定量化误差，从而使量化后的多模态大模型同时具有量化结果和补偿结果的联合约束基础。

15、本发明提供了面向万亿参数多模态大模型的平滑量化激活值转移系统。

16、为解决上述技术问题，本发明提供如下技术方案：面向万亿参数多模态大模型的平滑量化激活值转移系统，包括：统计确定模块、方案构建模块、配置求解模块、平滑变换模块及量化补偿模块；所述统计确定模块用于采集多模态大模型各层各通道的激活值分布统计信息，确定各通道的异常值幅度指标、各层的模态类型信息以及各通道的信道条件参数；所述方案构建模块用于基于各层的所述模态类型信息和各通道的所述异常值幅度指标，构建各层的候选量化方案集合；所述配置求解模块用于在显存预算约束下，对各层的候选量化方案集合执行多重选择背包求解，确定各层的量化资源配置方案；所述平滑变换模块用于基于各通道的所述信道条件参数以及各层的所述量化资源配置方案，采用容量可调注水分配处理确定各通道的平滑因子，对权重参数和激活值执行平滑变换，得到变换后的权重参数和变换后的激活值；所述量化补偿模块用于对变换后的权重参数和变换后的激活值执行量化处理，对变换后的权重参数执行低秩分解处理，确定补偿矩阵，继而根据补偿矩阵对量化后的权重参数执行补偿处理，基于补偿处理后的权重参数和量化后的激活值，结合权重量化误差与激活值量化误差，得到量化后的多模态大模型。

17、本发明提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述的面向万亿参数多模态大模型的平滑量化激活值转移方法的步骤。

18、本发明提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的面向万亿参数多模态大模型的平滑量化激活值转移方法的步骤。

19、本发明的有益效果：本发明引入模态感知平滑机制，能够根据不同模态的激活值分布特征，动态调整平滑因子和量化精度。相比现有技术的统一处理方式，本发明可显著降低多模态场景下的量化误差，提升模型在复杂任务中的表现。

20、通过容量可调注水方法，本发明将量化比特数或平滑强度视为可分配资源，根据各通道激活值异常程度进行动态分配。对异常值较大的通道注入更多平滑资源或分配更高量化比特，实现了资源的最优利用，在相同硬件条件下可获得更高的模型精度。

21、通过建立权重量化误差与激活值量化误差的联合优化目标函数，并引入跨模态补偿机制，本发明能够在保证推理延迟约束的前提下，找到理论最优的平滑转移点。相比现有技术，可在万亿参数模型上实现更高的吞吐量和更低的显存占用，为大规模多模态模型的实际部署提供了可行方案。