网络模型量化方法、装置、设备、介质、程序产品及芯片与流程

摘要: 本公开涉及网络模型量化领域,具体涉及一种网络模型量化方法、装置、设备、介质、程序产品及芯片。背景技术:1、近年来,随着人工智能技术的快速发展,越来越多的网络模型...
网络模型量化方法、装置、设备、介质、程序产品及芯片与流程

本公开涉及网络模型量化领域,具体涉及一种网络模型量化方法、装置、设备、介质、程序产品及芯片。

背景技术:

1、近年来,随着人工智能技术的快速发展,越来越多的网络模型已广泛应用于人们的日常生活和工作中。网络模型量化技术作为网络模型在终端部署的关键技术,能够通过对网络模型的压缩降低网络模型的计算量和存储占用,并提升网络模型的响应速度。

技术实现思路

1、为克服相关技术中存在的问题,本公开提供了一种网络模型量化方法、装置、设备、介质、程序产品及芯片。

2、根据本公开实施例的第一方面,提供了一种网络模型量化方法,所述网络模型量化方法包括:

3、对第一网络模型执行量化过程,以将所述第一网络模型的各目标配置参数由第一位宽减小至第二位宽,得到第二网络模型,所述目标配置参数包括所述第一网络模型的至少部分模型参数和/或模型特征;

4、确定各所述目标配置参数对于所述第一网络模型与所述第二网络模型之间的模型量化损失值的量化梯度,并基于所述量化梯度,确定各所述目标配置参数对于所述模型量化损失值的影响程度;

5、基于所述影响程度,确定各所述目标配置参数的优先级排序,并按照所述优先级排序依次将至少部分所述目标配置参数由所述第二位宽增大至第三位宽,直至满足预设量化条件,得到第三网络模型,各所述目标配置参数的所述第三位宽小于或等于所述第一位宽。

6、本实施例中,通过对第一网络模型执行量化过程以减小各目标配置参数对应的位宽,得到第二网络模型,并依次确定各目标配置参数对应的量化梯度、对于模型量化损失值的影响程度和优先级排序,能够按照优先级排序增大至少部分目标配置参数对应的位宽,得到第三网络模型,以通过对目标配置参数对应的位宽先后进行批量同步减小和选择性依序增大的方式实现对第一网络模型的混合精度量化,从而保证量化程度与模型性能的平衡。将量化梯度作为确定影响程度的依据,并将影响程度作为确定优先级排序的依据,能够充分考虑网络模型的层间关系,使得每一个目标配置参数最终对应的位宽能够与该目标配置参数对模型性能的影响程度相匹配,以保证第三网络模型的各目标配置参数的合理性,并且有利于减少混合精度量化的资源消耗和对样本量的依赖,提升混合精度量化的效率和稳定性。

7、本公开的一些实施例中,所述对第一网络模型执行量化过程,包括:

8、基于最近偶数取整策略和直通估计器对所述第一网络模型执行所述量化过程。

9、本实施例中,根据最近偶数取整策略和直通估计器对第一网络模型执行量化过程,能够提升量化过程的量化精度,并避免梯度中断问题,使得量化过程离散的量化操作具备梯度传递的可能,以解决量化操作不可求导的问题,为后续确定各目标配置参数对应的量化梯度提供了保障。

10、本公开的一些实施例中,所述确定各所述目标配置参数对于所述第一网络模型与所述第二网络模型之间的模型量化损失值的量化梯度,包括:

11、将预设样本分别输入至所述第一网络模型和所述第二网络模型,得到第一输出结果和第二输出结果;

12、基于所述第一输出结果、所述第二输出结果和预设损失函数,确定所述第一网络模型与所述第二网络模型之间的所述模型量化损失值;

13、基于所述模型量化损失值和所述第二网络模型,确定各所述目标配置参数在所述第二位宽下的所述量化梯度。

14、本实施例中,通过将预设样本分别输入至第一网络模型和第二网络模型,得到对应的第一输出结果和第二输出结果,并根据第一输出结果、第二输出结果和预设损失函数,确定第一网络模型与第二网络模型之间的模型量化损失值,再根据模型量化损失值和第二网络模型,确定各目标配置参数在第二位宽下对应的量化梯度,能够仅根据少量的预设样本以及两次前传和一次反传实现量化梯度的确定,为影响程度的确定提供了依据,并减少混合精度量化的资源消耗和对样本量的依赖,提升混合精度量化的效率和稳定性。

15、本公开的一些实施例中,所述基于所述量化梯度,确定各所述目标配置参数对于所述模型量化损失值的影响程度,包括:

16、基于各所述目标配置参数的所述量化梯度,确定各所述目标配置参数相对所述模型量化损失值的量化误差近似值;

17、基于各所述目标配置参数的所述量化误差近似值,确定各所述目标配置参数对于所述模型量化损失值的影响程度。

18、本实施例中,根据各目标配置参数对应的量化梯度,确定各目标配置参数相对模型量化损失值的量化误差近似值,并根据各目标配置参数对应的量化误差近似值,确定各目标配置参数对于模型量化损失值的影响程度,为优先级排序的确定提供了依据。将各目标配置参数相对模型量化损失值的量化误差近似值作为确定影响程度的依据,使得各目标配置参数对于量化损失值的影响程度能够与模型量化损失值中与该目标配置参数对应的部分相匹配,便于充分考虑网络模型的层间关系,有利于进一步提升敏感度信息和优先级排序的合理性和准确性。

19、本公开的一些实施例中,所述基于各所述目标配置参数的所述量化梯度,确定各所述目标配置参数相对所述模型量化损失值的量化误差近似值,包括:

20、对于每一个所述目标配置参数,基于该目标配置参数的所述量化梯度,以及该目标配置参数相对所述模型量化损失值的量化误差的泰勒展开式,确定该目标配置参数的所述量化误差近似值。

21、本实施例中,对于每一个目标配置参数,根据该目标配置参数对应的量化梯度,以及该目标配置参数相对模型量化损失值的量化误差的泰勒展开式,确定该目标配置参数对应的量化误差近似值,能够将量化误差基于泰勒展开式的一阶近似作为量化误差近似值,从而利用泰勒展开式的特性实现量化误差近似值的确定,为影响程度的确定提供了依据,能够充分考虑网络模型的层间关系,从而进一步提升影响程度和优先级排序的合理性和准确性,并提升混合精度量化的效率和稳定性。

22、本公开的一些实施例中,所述基于各所述目标配置参数的所述量化误差近似值,确定各所述目标配置参数对于所述模型量化损失值的影响程度,包括:

23、将所述目标配置参数划分为多个配置参数集合,各所述配置参数集合包括至少一个所述目标配置参数,同一所述配置参数集合中的所述目标配置参数对应相同的硬件支持位宽;

24、对于每一个所述配置参数集合,基于该配置参数集合中的各所述目标配置参数的所述量化误差近似值,确定该配置参数集合对于所述模型量化损失值的影响程度。

25、本实施例中,通过将目标配置参数划分为多个配置参数集合,使得各配置参数集合包括至少一个目标配置参数,且同一配置参数集合中的目标配置参数对应相同的硬件支持位宽,并对于每一个配置参数集合,根据该配置参数集合中的各目标配置参数对应的量化误差近似值,确定该配置参数集合对应的影响程度,为优先级排序的确定提供了依据。能够根据硬件支持位宽进行分组以同步计算多个目标配置参数的影响程度,简化了影响程度的确定过程,并使得目标配置参数对应的影响程度能够与目标配置参数对应的硬件支持粒度相匹配,有利于进一步提升影响程度的合理性和准确性。

26、本公开的一些实施例中,所述基于所述影响程度,确定各所述目标配置参数的优先级排序,包括:

27、基于各所述配置参数集合对于所述模型量化损失值的影响程度,确定各所述配置参数集合的所述优先级排序。

28、本实施例中,根据各配置参数集合对于模型量化损失值的影响程度,确定各配置参数集合对应的优先级排序,以作为各目标配置参数的优先级排序,为至少部分目标配置参数的位宽提升提供了依据,简化了优先级排序的确定过程,并使得目标配置参数对应的优先级排序和最终位宽能够与目标配置参数对应的硬件支持粒度相匹配,有利于进一步提升影响程度的合理性和准确性以及混合精度量化的效率。

29、本公开的一些实施例中,所述预设量化条件包括:所述第二网络模型的运算量达到预设运算量阈值。

30、本实施例中,将第二网络模型对应的运算量达到预设运算量阈值作为预设量化条件,使得位宽得到提升的目标配置参数的数量,以及目标配置参数提升后的第三位宽的大小能够与预设运算量阈值相匹配,以控制最终得到的第三网络模型的运算量,有利于实现网络模型的端侧部署。

31、本公开的一些实施例中,所述网络模型量化方法还包括:

32、对所述第三网络模型执行量化感知训练过程,得到第四网络模型。

33、本实施例中,通过对第三网络模型执行量化感知训练过程,得到第四网络模型,实现了对第三网络模型的进一步优化,从而进一步保证量化程度与模型性能的平衡,有利于实现网络模型的端侧部署。

34、本公开的一些实施例中,所述第一网络模型包括神经网络模型和扩散模型中的至少一者。

35、本实施例中,将神经网络模型和扩散模型中的至少一者作为第一网络模型,能够实现对不同类型的网络模型的混合精度量化,实现量化程度与模型性能的平衡,并减少混合精度量化的资源消耗和对样本量的依赖,提升混合精度量化的效率和稳定性,有利于实现多种不同类型的网络模型的端侧部署。

36、根据本公开实施例的第二方面,提供了一种网络模型量化装置,所述网络模型量化装置包括:

37、量化模块,所述量化模块用于对第一网络模型执行量化过程,以将所述第一网络模型的各目标配置参数由第一位宽减小至第二位宽,得到第二网络模型,所述目标配置参数包括所述第一网络模型的至少部分模型参数和/或模型特征;

38、确定模块,所述确定模块用于确定各所述目标配置参数对于所述第一网络模型与所述第二网络模型之间的模型量化损失值的量化梯度,并基于所述量化梯度,确定各所述目标配置参数对于所述模型量化损失值的影响程度;

39、提升模块,所述提升模块用于基于所述影响程度,确定各所述目标配置参数的优先级排序,并按照所述优先级排序依次将至少部分所述目标配置参数由所述第二位宽增大至第三位宽,直至满足预设量化条件,得到第三网络模型,各所述目标配置参数的所述第三位宽小于或等于所述第一位宽。

40、本公开的一些实施例中,所述确定模块还用于:

41、将预设样本分别输入至所述第一网络模型和所述第二网络模型,得到第一输出结果和第二输出结果;

42、基于所述第一输出结果、所述第二输出结果和预设损失函数,确定所述第一网络模型与所述第二网络模型之间的所述模型量化损失值;

43、基于所述模型量化损失值和所述第二网络模型,确定各所述目标配置参数在所述第二位宽下的所述量化梯度。

44、本公开的一些实施例中,所述确定模块还用于:

45、基于各所述目标配置参数的所述量化梯度,确定各所述目标配置参数相对所述模型量化损失值的量化误差近似值;

46、基于各所述目标配置参数的所述量化误差近似值,确定各所述目标配置参数对于所述模型量化损失值的影响程度。

47、本公开的一些实施例中,所述确定模块还用于:

48、将所述目标配置参数划分为多个配置参数集合,各所述配置参数集合包括至少一个所述目标配置参数,同一所述配置参数集合中的所述目标配置参数对应相同的硬件支持位宽;

49、对于每一个所述配置参数集合,基于该配置参数集合中的各所述目标配置参数的所述量化误差近似值,确定该配置参数集合对于所述模型量化损失值的影响程度。

50、根据本公开实施例的第三方面,提供了一种电子设备,所述电子设备包括:

51、处理器;

52、用于存储处理器可执行指令的存储器;

53、其中,所述处理器被配置为执行如第一方面所述的网络模型量化方法。

54、根据本公开实施例的第四方面,提供了一种非临时性计算机可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如第一方面所述的网络模型量化方法。

55、根据本公开实施例的第五方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的网络模型量化方法。

56、根据本公开实施例的第六方面,提供了一种芯片,所述芯片被配置为执行如第一方面所述的网络模型量化方法。

57、本公开的实施例提供的技术方案可以包括以下有益效果:将量化梯度作为确定影响程度的依据,并将影响程度作为确定优先级排序的依据,能够充分考虑网络模型的层间关系,使得每一个目标配置参数最终对应的位宽能够与该目标配置参数对模型性能的影响程度相匹配,以保证第三网络模型的各目标配置参数的合理性,并且有利于减少混合精度量化的资源消耗和对样本量的依赖,提升混合精度量化的效率和稳定性。

58、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。