低比特神经网络量化方法及装置、设备、介质与流程

摘要: 本公开涉及人工智能,具体而言,涉及一种权重误差补偿的低比特神经网络量化方法及装置、设备、介质。背景技术:1、随着深度学习技术的不断发展,深度神经网络(deepn...
低比特神经网络量化方法及装置、设备、介质与流程

本公开涉及人工智能,具体而言,涉及一种权重误差补偿的低比特神经网络量化方法及装置、设备、介质。

背景技术:

1、随着深度学习技术的不断发展,深度神经网络(deep neural network,dnn)在自然语言处理、计算机视觉等领域得到广泛应用,尤其是以大语言模型(large languagemodel,llm)为代表的模型,其参数规模不断扩大,在推理阶段对计算资源与存储资源提出了更高要求。为降低模型部署成本并提升运行效率,通常采用低比特量化技术对模型参数进行压缩,即通过将高精度浮点权重映射为低比特表示,从而在减少存储占用的同时降低计算复杂度。在量化过程中,由于权重表示精度的降低,会不可避免地引入量化偏差,该偏差将进一步影响模型的中间计算结果以及最终输出结果的准确性,因此,如何在降低比特宽度的同时抑制量化偏差对模型性能的影响,成为相关技术持续优化的重要方向。围绕该问题,现有技术通常在量化过程中引入误差建模与补偿机制,通过对量化过程中的误差进行分析与利用,以改善量化后模型的性能表现。

2、目前,相关技术在进行量化误差处理时,往往需要在量化流程中获取模型推理过程中的中间结果,并基于不同精度表示之间的差异构建用于后续处理的误差相关信息,以实现对量化过程的辅助调整。然而,该类技术路径在实际应用中,一方面需要在量化过程中额外执行高精度数据参与的计算过程,从而增加量化阶段的前向计算次数,导致整体处理时间显著增加;另一方面,在处理大规模模型或长序列数据时,需要对各层中间计算结果进行存储和读取,导致显存占用持续增长,进而限制模型在资源受限设备上的部署;同时,在量化过程中需要对不同精度表示的数据进行对齐处理与差异计算,使得数据流在多个计算路径之间频繁切换,增加了数据管理与计算调度的复杂程度,进而影响量化流程的稳定性与执行效率。

3、需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本公开实施例的目的在于提供一种权重误差补偿的低比特神经网络量化方法及装置、设备、介质,进而能够在量化过程中对权重量化偏差进行建模与利用,减少量化处理中的计算开销与存储负担,并提升量化模型在低比特条件下的推理稳定性。

2、本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。

3、根据本公开实施例的第一方面,提供了一种权重误差补偿的低比特神经网络量化方法,包括:

4、获取待量化神经网络中当前量化对象对应的浮点权重、量化输入特征图和输入权重误差信息,当前量化对象为待量化神经网络中的当前层或当前算子,输入权重误差信息为前一量化对象传递至当前量化对象的权重误差信息,或者为预设权重误差信息;

5、基于输入权重误差信息和量化输入特征图,确定当前量化对象对应的误差补偿信息,误差补偿信息用于近似表征由输入权重误差信息所表征的权重量化偏差引起的特征图误差;

6、基于误差补偿信息,对当前量化对象的浮点权重进行低比特量化处理,得到当前量化对象对应的目标量化权重;

7、基于当前量化对象的浮点权重与目标量化权重之间的权重差异,构建当前量化对象对应的输出权重误差信息;

8、基于目标量化权重和量化输入特征图,对当前量化对象执行量化推理,得到当前量化对象对应的量化输出特征图;

9、将量化输出特征图和输出权重误差信息传递至下一量化对象,以用于下一量化对象的低比特量化误差补偿。

10、在本公开的一些示例实施例中,基于前述方案,基于当前量化对象的浮点权重与目标量化权重之间的权重差异,构建当前量化对象对应的输出权重误差信息,包括:

11、确定当前量化对象的浮点权重与目标量化权重之间的权重差值;

12、对权重差值进行统计处理,得到权重量化误差统计值;

13、基于权重量化误差统计值,构建当前量化对象对应的输出权重误差信息。

14、在本公开的一些示例实施例中,基于前述方案,对权重差值进行统计处理,得到权重量化误差统计值,包括:

15、按照预设统计粒度对权重差值进行划分,得到至少一个权重误差统计单元;

16、分别对各权重误差统计单元中的权重差值进行统计处理,得到各权重误差统计单元对应的局部误差统计值;

17、基于局部误差统计值,确定权重量化误差统计值;

18、其中,预设统计粒度包括按层统计粒度、按算子统计粒度、按通道统计粒度或者按分组统计粒度。

19、在本公开的一些示例实施例中,基于前述方案,对权重差值进行统计处理,得到权重量化误差统计值,包括:

20、对权重差值进行均值计算,得到权重量化误差均值;

21、对权重差值的绝对值进行均值计算,得到权重量化误差绝对值均值;

22、对权重差值进行尺度映射处理,得到误差尺度因子;

23、基于权重量化误差均值、权重量化误差绝对值均值和误差尺度因子中的至少一种,得到权重量化误差统计值。

24、在本公开的一些示例实施例中,基于前述方案,基于输入权重误差信息和量化输入特征图,确定当前量化对象对应的误差补偿信息,包括:

25、基于输入权重误差信息对量化输入特征图进行误差映射处理,得到近似特征图误差信息;

26、根据近似特征图误差信息和量化输入特征图,构建当前量化对象对应的误差补偿矩阵;

27、将误差补偿矩阵确定为当前量化对象对应的误差补偿信息。

28、在本公开的一些示例实施例中,基于前述方案,根据近似特征图误差信息和量化输入特征图,构建当前量化对象对应的误差补偿矩阵,包括:

29、根据量化输入特征图,构建与当前量化对象对应的海森矩阵;

30、基于海森矩阵,确定用于逐列量化补偿的变换矩阵;

31、根据近似特征图误差信息、量化输入特征图和变换矩阵,生成当前量化对象对应的误差补偿矩阵。

32、在本公开的一些示例实施例中,基于前述方案,当前量化对象为待量化神经网络中的当前层,基于当前量化对象的浮点权重与目标量化权重之间的权重差异,构建当前量化对象对应的输出权重误差信息,包括:

33、获取当前层中多个算子分别对应的浮点权重和目标量化权重;

34、分别确定各算子的浮点权重与目标量化权重之间的算子权重差异;

35、对多个算子权重差异进行统计处理,得到当前层对应的层权重误差信息,并将层权重误差信息作为当前层对应的输出权重误差信息。

36、在本公开的一些示例实施例中,基于前述方案,将输出权重误差信息传递至下一量化对象,包括:

37、在当前层完成低比特量化处理后,将层权重误差信息、当前层的层标识,以及当前层的下一层的层标识进行关联存储;

38、在下一层被确定为当前量化对象时,基于当前层的层标识和下一层的层标识,读取层权重误差信息,得到下一层对应的输入权重误差信息。

39、在本公开的一些示例实施例中,基于前述方案,当前量化对象为待量化神经网络中的当前算子,将输出权重误差信息传递至下一量化对象,包括:

40、在当前算子完成低比特量化处理后,将输出权重误差信息、当前算子的算子标识,以及当前算子的下一算子的算子标识进行关联存储;

41、在下一算子被确定为当前量化对象时,基于当前算子的算子标识和下一算子的算子标识,读取输出权重误差信息,得到下一算子对应的输入权重误差信息。

42、在本公开的一些示例实施例中,基于前述方案,基于误差补偿信息,对当前量化对象的浮点权重进行低比特量化处理,得到当前量化对象对应的目标量化权重,包括:

43、按照当前量化对象的权重列顺序,对当前量化对象的浮点权重进行逐列量化处理;

44、在对当前权重列进行量化处理时,基于误差补偿信息对当前权重列进行补偿量化处理,得到补偿后的当前权重列;

45、根据补偿后的当前权重列更新待量化的后续权重列;

46、在当前量化对象的多个权重列完成量化处理后,得到当前量化对象对应的目标量化权重。

47、在本公开的一些示例实施例中,基于前述方案,量化输出特征图为下一量化对象对应的量化输入特征图;以及,当前量化对象对应的输出权重误差信息为下一量化对象对应的输入权重误差信息。

48、在本公开的一些示例实施例中,基于前述方案,待量化神经网络包括多个待量化层,该方法还包括:

49、按照待量化神经网络中多个待量化层的网络连接顺序,依次将各待量化层确定为当前量化对象。

50、在本公开的一些示例实施例中,基于前述方案,基于误差补偿信息,对当前量化对象的浮点权重进行低比特量化处理,得到当前量化对象对应的目标量化权重,包括:

51、确定当前量化对象的量化位宽和量化尺度参数;

52、基于量化位宽、量化尺度参数和误差补偿信息,将当前量化对象的浮点权重映射为低比特整数权重;

53、基于低比特整数权重和量化尺度参数,确定当前量化对象对应的目标量化权重;

54、其中,量化位宽小于浮点权重对应的数据位宽。

55、在本公开的一些示例实施例中,基于前述方案,基于输入权重误差信息和量化输入特征图,确定当前量化对象对应的误差补偿信息,包括:

56、基于量化输入特征图,生成用于量化补偿的输入关联信息;以及,

57、基于输入权重误差信息,生成用于近似表征特征图误差的误差关联信息;

58、根据输入关联信息和误差关联信息,确定误差补偿信息。

59、在本公开的一些示例实施例中,基于前述方案,待量化神经网络为大语言模型,当前量化对象包括大语言模型中的解码层或线性算子,该方法还包括下述任一项:

60、按照大语言模型中的解码层顺序,依次将各解码层确定为当前量化对象;

61、按照大语言模型中的解码层顺序,依次将各解码层确定为当前解码层,并在当前解码层中,按照线性算子的连接顺序,依次将多个线性算子确定为当前量化对象。

62、根据本公开实施例的第二方面,提供了一种权重误差补偿的低比特神经网络量化装置,包括:

63、获取模块,用于获取待量化神经网络中当前量化对象对应的浮点权重、量化输入特征图和输入权重误差信息,当前量化对象为待量化神经网络中的当前层或当前算子,输入权重误差信息为前一量化对象传递至当前量化对象的权重误差信息,或者为首个量化对象对应的预设权重误差信息;

64、补偿确定模块,用于基于输入权重误差信息和量化输入特征图,确定当前量化对象对应的误差补偿信息,误差补偿信息用于近似表征由输入权重误差信息所表征的权重量化偏差引起的特征图误差;

65、补偿量化模块,用于基于误差补偿信息,对当前量化对象的浮点权重进行低比特量化处理,得到当前量化对象对应的目标量化权重;

66、误差构建模块,用于基于当前量化对象的浮点权重与目标量化权重之间的权重差异,构建当前量化对象对应的输出权重误差信息;

67、量化推理模块,用于基于目标量化权重和量化输入特征图,对当前量化对象执行量化推理,得到当前量化对象对应的量化输出特征图;

68、传递模块,用于将量化输出特征图和输出权重误差信息传递至下一量化对象,以用于下一量化对象的低比特量化误差补偿。

69、根据本公开实施例的第三方面,提供了一种电子设备,包括:处理器;以及存储器,存储器上存储有计算机可读指令,计算机可读指令被处理器执行时实现第一方面中的权重误差补偿的低比特神经网络量化方法。

70、根据本公开实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现第一方面中的权重误差补偿的低比特神经网络量化方法。

71、本公开实施例提供的技术方案可以包括以下有益效果:

72、本公开的示例实施例中的权重误差补偿的低比特神经网络量化方法,一方面,通过获取当前量化对象对应的浮点权重、量化输入特征图和输入权重误差信息,并基于输入权重误差信息和量化输入特征图确定误差补偿信息,使得由输入权重误差信息表征的权重量化偏差能够被映射至量化输入特征图相关的补偿过程,从而不需要依赖浮点输入特征图与量化输入特征图之间的差异计算,即可近似表征特征图误差,减少额外浮点推理和浮点中间结果存储带来的计算开销与显存占用;另一方面,通过基于误差补偿信息对当前量化对象的浮点权重进行低比特量化处理,得到目标量化权重,使得权重量化过程能够结合输入误差进行补偿调整,从而在降低权重表示精度的同时抑制量化偏差对量化输出特征图的影响,提高低比特量化模型的推理稳定性;再一方面,通过基于浮点权重与目标量化权重之间的权重差异构建输出权重误差信息,并将量化输出特征图和输出权重误差信息传递至下一量化对象,使得量化输入数据和权重量化误差信息能够沿网络连接顺序连续传递,减少各层浮点中间结果的反复保存与读取,提高大规模模型或长序列场景下的资源适配能力和量化处理效率。

73、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。