基于混合精度的训练后量化方法

摘要: 本发明涉及互联网,具体涉及基于混合精度的训练后量化方法。背景技术:1、随着深度学习模型在自动驾驶、工业检测、医学图像分析、边缘智能终端等场景中的部署需求不断增加...
基于混合精度的训练后量化方法

本发明涉及互联网,具体涉及基于混合精度的训练后量化方法。

背景技术:

1、随着深度学习模型在自动驾驶、工业检测、医学图像分析、边缘智能终端等场景中的部署需求不断增加,模型通常需要在存储空间、推理延迟、功耗和数据隐私等约束下运行。训练后量化作为一种无需重新训练模型参数的压缩方法,能够利用少量校准数据获取节点激活分布,并将高精度浮点运算映射为低比特整数运算,从而降低模型部署成本。在训练后量化中,均匀精度量化通常将模型中所有可量化节点压缩到同一位宽。该方法实现简单,但忽略了不同节点对量化误差的敏感程度差异。混合精度量化则针对不同节点设置不同位宽,通常将对模型输出影响较大的敏感节点保留为较高位宽,将冗余节点压缩为较低位宽,以在模型性能和资源约束之间取得平衡。

2、通过相关技术中的方法进行训练后量化时,其多依赖单一敏感性指标或最终任务性能变化,将逐个节点回退,导致最终生成的混合精度ptq策略的误差大,精确度不够。

技术实现思路

1、本发明的目的是提供基于混合精度的训练后量化方法,以解决相关技术中存在的技术问题。

2、为了实现上述目的,本发明提供一种基于混合精度的训练后量化方法,包括:

3、获取待压缩模型、标准校准数据以及退化输入数据,其中,标准校准数据为与待压缩模型正常工作条件下的输入数据分布相对应、用于采集待压缩模型中各节点激活分布并确定量化参数的样本数据;退化输入数据为相对于所述标准校准数据存在预设输入退化的样本数据;

4、将待压缩模型中的原子计算操作和辅助操作视为节点,相邻两个节点的张量传递关系视为边,构建第一有向无环计算图,并基于标准校准数据对第一有向无环计算图进行量化处理,得到量化模型;

5、计算第一有向无环计算图中每个节点的局部损失和全局影响状态,并基于局部损失和全局影响状态确定节点的目标类型,其中,目标类型为显著影响节点、隐性影响节点、误判损失节点和鲁棒节点中的任意一种;

6、计算第一有向无环计算图中目标节点组合的残差干扰系数,在残差干扰系数大于预设系数阈值时,将目标节点组合中的节点确定为耦合节点,将所有目标节点组合计算完成后,将得到的多个耦合节点确定为耦合节点组,其中,目标节点组合为第一有向无环计算图中任意两个节点之间的组合;

7、根据标准校准数据和退化输入数据计算第一有向无环计算图中每个节点的边际退化损失,当边际退化损失大于预设退化损失阈值时,将对应节点确定为退化输入敏感节点,将第一有向无环计算图中所有节点计算完成后,得到退化输入敏感节点组;

8、基于第一有向无环计算图,根据目标类型、耦合节点组以及退化输入敏感节点组,确定候选节点集合,并基于候选节点集合生成目标混合精度ptq策略。

9、可选地,所述基于标准校准数据对第一有向无环计算图进行量化处理,得到量化模型,包括:

10、获取第一有向无环计算图中每个节点的精度状态,当精度状态为第一浮点数时,对节点进行低比特量化处理,当精度状态为第二浮点数时,对节点不做任何处理,得到第二有向无环计算图;

11、将标准校准数据集输入第二有向无环计算图中,通过第二有向无环计算图执行前向推理,同时采集推理过程中每个节点对应的激活分布;

12、针对每个节点做如下处理:根据激活分布计算量化参数,并在量化参数满足预设量化条件时,对节点进行量化处理;

13、将所有节点处理完成后,得到量化模型。

14、可选地,所述计算第一有向无环计算图中每个节点的局部损失,包括:

15、计算第一有向无环计算图中在每个节点处待压缩模型输出值和量化模型输出值之间的均方根误差和kl散度;

16、通过动态阈值拟合方法对均方根误差进行拟合,并将拟合结果映射到二维判定空间,得到第一损失;

17、通过动态阈值拟合方法对kl散度进行拟合,并将拟合结果映射到二维判定空间,得到第二损失;

18、将第一损失和第二损失确定为局部损失。

19、可选地,计算第一有向无环计算图中每个节点的全局影响状态,包括:

20、确定节点对应的多个下游节点;

21、针对每个下游节点,计算下游节点的第一变化斜率,并确定节点对应于下游节点的误差传播保留系数,其中,所述第一变化斜率为所述下游节点的asnr与所述下游节点的多个前驱节点的平均asnr之间的差值,所述误差传播保留系数用于表征在降低或消除所述节点的量化误差后,所述下游节点原有误差传播状态的保留程度;

22、根据第一变化斜率和误差传播保留系数计算下游节点预测变化量,其中,所述预测变化量为降低或消除节点的量化误差后下游节点的预测变化量;

23、将所有下游节点计算完成后,得到多个预测变化量,当多个预测变化量均超过预设变化阈值时,将节点的全局影响状态确定为第一状态,否则,将节点的全局影响状态确定为第二状态,其中,所述第一状态对全局的影响力大于所述第二状态对全局的影响力。

24、可选地,所述基于局部损失和全局影响状态将确定节点的目标类型,包括:

25、根据局部损失将第一有向无环计算图中的节点划分为局部脆弱节点和局部鲁棒节点,其中,局部脆弱节点的损失值大于局部鲁棒节点中的损失值;

26、当节点为局部脆弱节点,且全局影响状态为第一状态时,将节点划分为目标类型中的显著影响节点;

27、当节点为局部脆弱节点,且全局影响状态为第二状态时,将节点划分为目标类型中的误判损失节点;

28、当节点为局部鲁棒节点,且全局影响状态为第一状态时,将节点划分为目标类型中的隐性影响节点;

29、当节点为局部鲁棒节点,且全局影响状态为第二状态时,将节点划分为目标类型中的鲁棒节点。

30、可选地,所述计算第一有向无环计算图中目标节点组合的残差干扰系数,包括:

31、提取目标节点组合中每个节点的量化误差向量,并将每个节点对应的量化误差向量进行合成,得到目标节点组合的合成向量,其中,目标节点组合为第一有向无环计算图中任意两个节点之间的组合;

32、基于每个节点的量化误差向量和合成向量计算目标节点组合的残差干扰系数。

33、可选地,所述根据标准校准数据和退化输入数据计算第一有向无环计算图中每个节点的边际退化损失,包括:

34、计算将标准校准数据输入到第一有向无环计算图后,节点的第一全局影响状态斜率;

35、计算将退化输入数据输入到第一有向无环计算图后,节点的第二全局影响状态斜率;

36、基于第一全局影响状态斜率与第二全局影响状态斜率计算边际退化损失。

37、可选地,所述基于第一有向无环计算图,根据目标类型、耦合节点组以及退化输入敏感节点组,确定候选节点集合,包括:

38、将第一有向无环计算图中每个节点设置为低比特宽度节点;

39、确定第一有向无环计算图中目标类型为显著影响节点和隐性影响节点的第一节点集合,并将第一节点集合中每个节点的低比特宽度调整为高比特宽度,得到第一候选节点集合;

40、确定第一候选节点集合中属于耦合节点组中的多个候选节点,并在多个候选节点中确定与低比特宽度节点进行耦合的目标候选节点,将第一候选节点集合、目标候选节点及低比特宽度节点确定为第二候选节点集合;

41、将第二候选节点集合以及退化输入敏感节点组确定为候选节点集合。

42、可选地,所述方法还包括:

43、通过目标混合精度ptq策略对待压缩模型进行量化处理,得到第一量化模型;

44、响应于针对第一量化模型中的节点参数进行调整,生成新的目标混合精度ptq策略,直到新的目标混合精度ptq策略满足预设条件时,停止对节点参数调整,其中,预设条件为rdc达到第一阈值、top-1准确率达到第二阈值、高比特宽度节点数量不超过硬件资源约束、显著影响节点数量降低至预设范围、隐性影响节点数量不再增加,节点参数包括在生成目标类型、耦合节点以及退化输入敏感节点中产生的参数。

45、可选地,所述预测变化量通过如下计算式表达:

46、;

47、;

48、其中,为在模拟下游节点的量化误差被降低或置零后,下游节点的 asnr预测变化量,表示第个节点相对于其前驱节点的asnr变化斜率,为第个下游节点相对于其前驱节点的asnr变化斜率,为节点对下游节点的误差传播保留系数,为第个下游节点的自适应信噪比,表示第个节点的自适应信噪比,表示节点的前驱节点集合,为第个下游节点,为第节点。

49、通过上述技术方案,构建待压缩模型的第一有向无环计算图,根据第一有向无环计算图计算节点的局部损失、全局影响状态、残差干扰系数以及边际退化损失,之后根据局部损失和全局影响状态对第一有向无环计算图中的节点进行分类,得到每个节点对应的目标类型,根据残差干扰系数确定第一有向无环计算图中的耦合节点组,以及根据边际退化损失确定第一有向无环计算图中的退化输入敏感节点组,最后基于第一有向无环计算图,根据目标类型、耦合节点组以及退化输入敏感节点组,确定候选节点集合,并基于候选节点集合生成目标混合精度ptq策略,可以避免仅依据单一指标或最终任务性能选择回退节点,能够减少误判风险节点的冗余回退,优先发现隐性影响节点和显著影响节点,从而在较少高位宽节点数量下维持较高模型输出一致性,以及可以提高目标混合精度ptq策略的准确性。

50、本发明的其他特征和优点将在随后的具体实施方式部分予以详细说明。