量化模型的训练方法、装置、电子设备和可读存储介质与流程

技术特征：
1.一种量化模型的训练方法，其特征在于，包括：获取样本数据；通过所述样本数据对量化模型进行第一阶段的训练，得到所述量化模型的浮点权重范围；基于所述浮点权重范围和所述样本数据，对经过第一阶段训练的量化模型进行第二阶段的训练，并在所述第二阶段的训练中获得训练好的目标量化模型的浮点激活范围；其中，所述目标量化模型中的浮点权重范围和浮点激活范围，用于对待量化数据进行量化处理。2.根据权利要求1所述的方法，其特征在于，所述通过所述样本数据对量化模型进行第一阶段的训练，得到所述量化模型的浮点权重范围，包括：对于第一阶段的训练，通过量化模型对所述样本数据进行前向传播处理，得到第一中间结果；通过所述前向传播处理确定所述量化模型的第一损失误差，并通过所述前向传播处理统计所述量化模型的初始权重范围；在对所述第一中间结果进行反向传播处理的过程中，基于所述第一损失误差调整所述初始权重范围，直至所述量化模型满足第一停止条件时停止，得到所述量化模型的浮点权重范围。3.根据权利要求2所述的方法，其特征在于，所述通过量化模型对所述样本数据进行前向传播处理，得到第一中间结果，包括：将量化模型中当前卷积算子通过卷积处理所输出的特征进行量化处理，得到量化特征；首个卷积算子的输出特征是对所述样本数据进行卷积处理得到的；对所述量化特征进行反量化处理，得到反量化特征，将所述反量化特征作为下一卷积算子的输入，并将所述下一卷积算子作为当前卷积算子，返回对所述将当前卷积算子通过卷积处理所输出的特征进行量化处理的步骤并继续执行，直至经过最后一次反量化处理后，得到第一中间结果。4.根据权利要求1所述的方法，其特征在于，所述基于所述浮点权重范围和所述样本数据，对经过第一阶段训练的量化模型进行第二阶段的训练，并在所述第二阶段的训练中获得训练好的目标量化模型的浮点激活范围，包括：对于第二阶段的训练，通过第一阶段训练后的量化模型中的所述浮点权重范围对所述样本数据进行前向传播处理，得到第二中间结果；基于所述前向传播处理确定量化模型的第二损失误差，并在对所述第二中间结果进行反向传播处理的过程中，基于所述第二损失误差调整所述量化模型的初始激活范围，直至所述量化模型满足第二停止条件时停止，得到训练好的目标量化模型的浮点激活范围；其中，所述初始激活范围是在所述第一阶段的训练中通过所述前向传播处理统计得到。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取预设量化类型对应的预设权重范围和预设激活范围；根据所述预设权重范围、所述预设激活范围、所述浮点权重范围和所述浮点激活范围确定所述目标量化模型的量化参数；所述量化参数用于将待量化数据量化为在所述预设量
化类型下所对应的数据。6.一种量化处理方法，其特征在于，包括：获取待量化数据对应的量化类型，并获取所述量化类型对应的定点权重范围和定点激活范围；基于所述定点权重范围和训练好的量化模型的浮点权重范围，确定所述待量化数据对应的权重量化参数；基于所述定点激活范围和所述训练好的量化模型的浮点激活范围，确定所述待量化数据对应的激活量化参数；所述训练好的量化模型是基于样本数据进行第一阶段浮点权重范围的训练和第二阶段浮点激活范围的训练所得到的量化模型；基于所述权重量化参数和所述激活量化参数，将所述待量化数据量化为在所述量化类型下的目标数据。7.根据权利要求6所述的方法，其特征在于，所述基于所述浮点权重范围和所述定点权重范围，确定所述待量化数据对应的权重量化参数，包括：基于所述浮点权重范围中的浮点权重最大值和浮点权重最小值，以及所述定点权重范围中的定点权重最大值和定点权重最小值，确定所述待量化数据对应的权重量化因子；根据所述权重量化因子、所述浮点权重最小值和所述定点权重最小值，确定所述待量化数据对应的权重量化偏移量。8.根据权利要求6所述的方法，其特征在于，所述基于所述权重量化参数和所述激活量化参数，将所述待量化数据量化为在所述量化类型下的目标数据，包括：基于所述权重量化参数对所述待量化数据进行卷积处理，并通过所述激活量化参数对卷积处理后的结果进行激活处理，得到在所述量化类型下的目标数据。9.根据权利要求6所述的方法，其特征在于，所述待量化数据为待量化的多媒体数据；所述训练好的量化模型是基于样本多媒体数据在第一阶段中训练多媒体的浮点权重范围，并在第二阶段中训练多媒体的浮点激活范围所得到量化模型；所述训练好的量化模型中多媒体的浮点权重范围和多媒体的浮点激活范围，用于对所述待量化的多媒体数据进行量化处理；所述目标数据为量化得到的目标多媒体数据。10.一种量化模型的训练装置，其特征在于，包括：样本获取模块，用于获取样本数据；第一训练模块，用于通过所述样本数据对量化模型进行第一阶段的训练，得到所述量化模型的浮点权重范围；第二训练模块，用于基于所述浮点权重范围和所述样本数据，对经过第一阶段训练的量化模型进行第二阶段的训练，并在所述第二阶段的训练中获得训练好的目标量化模型的浮点激活范围；其中，所述目标量化模型中的浮点权重范围和浮点激活范围，用于对待量化数据进行量化处理。11.一种量化处理装置，其特征在于，包括：类型获取模块，用于获取待量化数据对应的量化类型，并获取所述量化类型对应的定点权重范围和定点激活范围；权重确定模块，用于基于所述定点权重范围和训练好的量化模型的浮点权重范围，确
定所述待量化数据对应的权重量化参数；激活确定模块，用于基于所述定点激活范围和所述训练好的量化模型的浮点激活范围，确定所述待量化数据对应的激活量化参数；所述训练好的量化模型是基于样本数据进行第一阶段浮点权重范围的训练和第二阶段浮点激活范围的训练所得到的量化模型；量化模块，用于基于所述权重量化参数和所述激活量化参数，将所述待量化数据量化为在所述量化类型下的目标数据。12.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至9中任一项所述的方法的步骤。13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的方法的步骤。

技术总结
本申请涉及一种量化模型的训练方法、装置、计算机设备和存储介质。所述方法包括：获取样本数据；通过所述样本数据对量化模型进行第一阶段的训练，得到所述量化模型的浮点权重范围；基于所述浮点权重范围和所述样本数据，对经过第一阶段训练的量化模型进行第二阶段的训练，并在所述第二阶段的训练中获得训练好的目标量化模型的浮点激活范围；其中，所述目标量化模型中的浮点权重范围和浮点激活范围，用于对待量化数据进行量化处理。采用本方法能够提高量化模型的精度。提高量化模型的精度。提高量化模型的精度。


技术研发人员：杨金霄
受保护的技术使用者：OPPO广东移动通信有限公司
技术研发日：2021.08.05
技术公布日：2023/2/17