大语言模型单次量化与混合精度推理的方法及装置与流程

摘要: 本技术涉及人工智能,尤其涉及一种大语言模型单次量化与混合精度推理的方法及装置。背景技术:1、随着大语言模型参数规模持续增长,千亿参数级别的超大规模语言模型即便经...
大语言模型单次量化与混合精度推理的方法及装置与流程

本技术涉及人工智能,尤其涉及一种大语言模型单次量化与混合精度推理的方法及装置。

背景技术:

1、随着大语言模型参数规模持续增长,千亿参数级别的超大规模语言模型即便经过剪枝、蒸馏处理,其权重数据仍会占用极大内存空间,难以直接在手机等端侧设备部署,权重量化成为实现模型轻量化部署的核心手段。

2、相关技术中,现有的大语言模型单次量化与混合精度推理的方法主要是对模型各层采用整层统一位宽的粗粒度量化模式,即同一线性层内的所有权重列共享相同的量化精度(如整层均为8位整数或整层均为4位整数),通过校准数据集统计激活值范围,确定每层的量化参数(缩放因子和零点偏移),然后对权重矩阵进行逐元素取整量化。然而该方法中承载核心语义知识的高敏感度权重(如敏感实体的判别边界)与低敏感度权重被统一量化,将导致模型语义识别、内容判别等核心能力大幅下降,量化后模型体积虽有缩减,但推理延迟、硬件资源消耗并未得到有效改善,难以满足端侧设备低延迟、低功耗的落地要求。

技术实现思路

1、本技术实施例的目的在于提供一种大语言模型单次量化与混合精度推理的方法及装置,以解决现有技术因采用整层统一位宽的粗粒度量化模式导致模型核心语义能力下降,以及因缺乏端侧硬件适配优化,导致推理延迟与资源消耗未能随模型体积缩减而有效降低的技术问题。具体技术方案如下:

2、在本技术实施例的第一方面,首先提供了一种大语言模型单次量化与混合精度推理的方法,所述方法包括:

3、获取待量化的模型权重文件,并对所述待量化的模型权重文件进行解析,得到至少一个初始权重矩阵;

4、针对任一所述初始权重矩阵,对所述初始权重矩阵进行拆分,得到所述初始权重矩阵对应的至少一个矩阵块;

5、针对任一所述矩阵块,确定所述矩阵块中各列对应的敏感度指标;

6、根据所述矩阵块中各列对应的敏感度指标,对所述矩阵块进行量化。

7、在一个可选的实施方式中,所述确定所述矩阵块中各列对应的敏感度指标,包括:

8、确定所述矩阵块对应的目标近似海森矩阵;

9、针对所述矩阵块中的任一列,从所述目标近似海森矩阵中获取所述列对应的元素,并将所述元素作为所述列对应的敏感度指标。

10、在一个可选的实施方式中,所述确定所述矩阵块对应的目标近似海森矩阵,包括:

11、对所述矩阵块进行转置,得到转置矩阵块;

12、基于预设转换系数和所述转置矩阵块,确定所述矩阵块对应的初始近似海森矩阵;

13、在所述初始近似海森矩阵为满秩的情况下,将所述初始近似海森矩阵确定为所述矩阵块对应的目标近似海森矩阵;

14、在所述初始近似海森矩阵不为满秩的情况下,基于预设阻尼关系和所述初始近似海森矩阵,确定所述矩阵块对应的目标近似海森矩阵。

15、在一个可选的实施方式中,所述基于预设阻尼关系和所述初始近似海森矩阵,确定所述矩阵块对应的目标近似海森矩阵,包括:

16、对所述初始近似海森矩阵的对角线元素进行统计分析,确定所述对角线元素的平均值;

17、根据所述预设阻尼关系和所述对角线元素的平均值,确定初始阻尼值;

18、迭代执行以下步骤,直至乔列斯基分解成功,将所述乔列斯基分解成功对应的初始修正矩阵作为所述矩阵块对应的目标近似海森矩阵:

19、根据所述初始阻尼值或目标阻尼值,对所述对角线元素进行更新,得到初始修正矩阵;

20、对所述初始修正矩阵执行所述乔列斯基分解;

21、按照预设递增规则和所述初始阻尼值,确定下一迭代的目标阻尼值。

22、在一个可选的实施方式中,所述根据所述矩阵块中各列对应的敏感度指标,对所述矩阵块进行量化,包括:

23、按照所述敏感度指标,对所述矩阵块中的各列进行排序,生成列量化顺序序列;

24、确定所述矩阵块对应的第一敏感度阈值和第二敏感度阈值;

25、根据预设精度关系、所述第一敏感度阈值和所述第二敏感度阈值,对所述列量化顺序序列进行区域划分,得到精度分配表;

26、根据所述精度分配表,对所述矩阵块进行量化。

27、在一个可选的实施方式中,所述确定所述矩阵块对应的第一敏感度阈值和第二敏感度阈值,包括:

28、根据所述矩阵块中各列对应的敏感度指标,确定敏感度统计量;

29、根据所述敏感度统计量,确定所述矩阵块对应的第一敏感度阈值和第二敏感度阈值。

30、在一个可选的实施方式中,所述根据所述精度分配表,对所述矩阵块进行量化,包括:

31、针对所述矩阵块中的任一列,查找所述精度分配表,获取所述列对应的目标精度;

32、获取所述目标精度对应的计算内核;

33、将所述目标精度和目标精度对应的计算内核,分配给所述列,得到量化后的矩阵块;

34、将各个所述量化后的矩阵块进行拼接,得到量化后的权重矩阵。

35、在一个可选的实施方式中,在所述得到量化后的权重矩阵之后,还包括:

36、确定所述量化后的权重矩阵与所述初始权重矩阵对应的元素差异度;

37、若所述元素差异度大于或等于预设差异度阈值,则执行所述按照预设拆分参数,对所述初始权重矩阵进行拆分,得到所述初始权重矩阵对应的至少一个矩阵块的步骤。

38、在一个可选的实施方式中,所述方法还包括:

39、对所述待量化的模型权重文件进行解析,得到至少一个初始模型层级;

40、针对任一所述初始模型层级,确定所述初始模型层级对应的各个初始权重矩阵;

41、在所述初始模型层级对应的各个初始权重矩阵均量化完成后,基于各个所述初始权重矩阵对应的量化后的权重矩阵,对所述初始模型层级进行更新,得到目标模型层级;

42、对所述目标模型层级进行评估。

43、在一个可选的实施方式中,所述对所述目标模型层级进行评估,包括:

44、从预设校准集中抽取多条局部验证样本;

45、针对任一所述局部验证样本,将所述局部验证样本输入至所述目标模型层级,得到目标局部结果;

46、将所述局部验证样本输入至所述初始模型层级,得到初始局部结果;

47、根据所述目标局部结果和所述初始局部结果,确定局部差异度;

48、根据各所述局部验证样本对应的局部差异度,对所述目标模型层级进行评估。

49、在一个可选的实施方式中,所述方法还包括:

50、在各个所述目标模型层级评估均通过的情况下,生成目标模型;

51、从所述预设校准集中抽取多条全局验证样本;

52、针对任一所述全局验证样本,将所述全局验证样本输入至所述待量化的模型权重文件对应的模型中,得到初始全局结果;

53、将所述全局验证样本输入至所述目标模型中,得到目标全局结果;

54、根据各所述全局验证样本对应的全局差异度,对所述目标模型进行评估。

55、在本技术实施例的第二方面,还提供了一种大语言模型单次量化与混合精度推理的装置,所述装置包括:

56、初始权重矩阵生成模块,用于获取待量化的模型权重文件,并对所述待量化的模型权重文件进行解析,得到至少一个初始权重矩阵;

57、拆分模块,用于针对任一所述初始权重矩阵,对所述初始权重矩阵进行拆分,得到所述初始权重矩阵对应的至少一个矩阵块;

58、敏感度指标确定模块,用于针对任一所述矩阵块,确定所述矩阵块中各列对应的敏感度指标;

59、量化模块,用于根据所述矩阵块中各列对应的敏感度指标,对所述矩阵块进行量化。

60、在本技术实施例的第三方面,还提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;

61、存储器,用于存放计算机程序;

62、处理器,用于执行存储器上所存放的程序时,实现上述第一方面中任一项所述的大语言模型单次量化与混合精度推理的方法。

63、在本技术实施例的第四方面,还提供了一种存储介质,所述存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面中任一所述的大语言模型单次量化与混合精度推理的方法。

64、在本技术实施例的第五方面,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面中任一所述的大语言模型单次量化与混合精度推理的方法。

65、本技术实施例提供的技术方案,通过获取待量化的模型权重文件,并对待量化的模型权重文件进行解析,得到至少一个初始权重矩阵;针对任一初始权重矩阵,对初始权重矩阵进行拆分,得到初始权重矩阵对应的至少一个矩阵块;针对任一矩阵块,确定矩阵块中各列对应的敏感度指标;根据矩阵块中各列对应的敏感度指标,对矩阵块进行量化。这一技术方案,通过在矩阵块粒度上逐列确定敏感度指标,并依据各列敏感度差异执行差异化量化,能够在同一权重矩阵内部实现列级别的细粒度混合精度分配,相比于传统层级别统一位宽的粗粒度量化模式,可针对承载核心语义知识的高敏感度权重列给予更精细的量化保护,从而在整体模型压缩倍数不变的前提下,显著降低关键任务上的精度损失,由此可实现大语言模型在端侧设备上的高效压缩与精准部署,在保证模型核心推理能力的同时,显著降低存储占用和推理延迟,提升端侧人工智能应用的用户体验。