模型量化方法、装置、电子设备及计算机可读存储介质与流程

本申请涉及智能模型，具体涉及一种模型量化方法、装置、电子设备及计算机可读存储介质。

背景技术：

1、随着计算机技术的快速发展，机器模型在各类智能应用中得到广泛部署。然而，高精度的模型通常参数量庞大，难以在资源受限的终端设备上高效运行。权重量化是降低模型体积和加速推理的主流手段。为了在有限存储预算下最小化量化带来的精度损失，可以采用混合精度量化，即为模型中不同模块设置不同的量化参数。

2、相关技术在进行混合精度量化时，通常是为不同类型的模块分配对应的量化参数，例如对卷积层使用较高精度、对全连接层使用较低精度。

3、然而，即便属于同一类型的模块，不同模块自身对量化的敏感性通常也存在差异，导致量化分配的灵活性和准确性不足。

技术实现思路

1、本申请提供一种模型量化方法、装置、电子设备及计算机可读存储介质，能够提高模型量化的灵活性和准确性，有效降低量化对模型精度的影响。具体方案如下：

2、第一方面，本申请提供了一种模型量化方法，包括：

3、确定待量化模型的各个待量化模块；

4、使用各个候选量化配置信息分别对所述待量化模块进行量化与反量化，得到所述待量化模块对应的各反量化模块，所述候选量化配置信息用于指示对模型参数的量化方式；

5、确定所述反量化模块的输出相对于对应的待量化模块的输出之间的模块输出误差；

6、以减小各所述待量化模块对应的模块输出误差为目标，从各所述候选量化配置信息中选择所述待量化模块对应的目标量化配置信息，以通过所述目标量化配置信息对所对应的待量化模块进行量化。

7、第二方面，本申请提供了一种模型量化装置，包括：

8、模块确定单元，用于确定待量化模型的各个待量化模块；

9、量化单元，用于使用各个候选量化配置信息分别对所述待量化模块进行量化与反量化，得到所述待量化模块对应的各反量化模块，所述候选量化配置信息用于指示对模型参数的量化方式；

10、误差确定单元，用于确定所述反量化模块的输出相对于对应的待量化模块的输出之间的模块输出误差；

11、量化选择单元，用于以减小各所述待量化模块对应的模块输出误差为目标，从各所述候选量化配置信息中选择所述待量化模块对应的目标量化配置信息，以通过所述目标量化配置信息对所对应的待量化模块进行量化。

12、第三方面，本申请还提供一种电子设备，包括：处理器、存储器以及存储在所述存储器上并可在处理器上运行的计算机程序指令；所述处理器执行所述计算机程序指令时实现如第一方面所述的方法。

13、第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现第一方面所述的方法。

14、第五方面，本申请实施例提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的方法。

15、与现有技术相比，本申请具有以下优点：

16、本申请实施例提供的模型量化方法，确定了待量化模型的各个待量化模块后，使用各个候选量化配置信息分别对所述待量化模块进行量化与反量化，得到所述待量化模块对应的各反量化模块，候选量化配置信息用于指示对模型参数的量化方式。也就是说，针对每个待量化模块，分别用各个候选量化配置信息所指示的量化方式对该待量化模块进行了量化与反量化，得到该待量化模块对应的各反量化模块，再分别确定待量化模块对应的各反量化模块的输出相对于对应的待量化模块的输出之间的模块输出误差，该模块输出误差能够客观反映不同量化配置对该待量化模块精度的影响程度。在此基础上，以减小各待量化模块对应的模块输出误差为目标，从候选量化配置信息中为每个待量化模块选择适配的目标量化配置信息。

17、这种基于模块级输出误差反馈的量化配置选择机制，能够准确衡量不同量化配置信息对各待量化模块的实际影响，以从各候选量化配置信息中筛选出对模型精度影响小的目标配置。相较于传统仅依据模块类型进行固定精度分配的方式，本申请通过确定不同候选配置下的模块输出误差，能够更精细地识别同一类型下不同模块对量化的敏感度差异，提升了混合精度量化的准确性，为每个模块选择出与其自身特征相匹配的量化配置，提高了模型量化的灵活性和准确性，有效降低量化对模型精度的影响。

1.一种模型量化方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，在所述使用各个候选量化配置信息分别对所述待量化模块进行量化与反量化之前，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述确定所述反量化模块的输出相对于对应的待量化模块的输出之间的模块输出误差，包括：

4.根据权利要求1所述的方法，其特征在于，所述确定所述反量化模块的输出相对于对应的待量化模块的输出之间的模块输出误差，包括：

5.根据权利要求1所述的方法，其特征在于，所述以减小各所述待量化模块对应的模块输出误差为目标，从各所述候选量化配置信息中选择所述待量化模块对应的目标量化配置信息，包括：

6.根据权利要求5所述的方法，其特征在于，所述确定所述待量化模块对应的重要性程度，包括：

7.根据权利要求5所述的方法，其特征在于，所述以减小各所述待量化模块对应的加权模块输出误差为目标，从各所述候选量化配置信息中选择所述待量化模块对应的目标量化配置信息，包括：

8.根据权利要求1所述的方法，其特征在于，所述以减小各所述待量化模块对应的模块输出误差为目标，从各所述候选量化配置信息中选择所述待量化模块对应的目标量化配置信息，包括：

9.根据权利要求7所述的方法，其特征在于，所述确定以所述候选量化配置信息量化所述待量化模块的存储成本，包括：

10.根据权利要求1至9任一项所述的方法，其特征在于，所述候选量化配置信息包括以下至少一种：对模型参数进行量化的量化比特数、量化分块大小、量化粒度、后端量化器类型。

11.一种模型量化装置，其特征在于，包括：

12.一种电子设备，其特征在于，包括：处理器、存储器以及存储在所述存储器上并可在处理器上运行的计算机程序指令；所述处理器执行所述计算机程序指令时实现如上述权利要求1-10中任一项所述的方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上述权利要求1-10中任一项所述的方法。