一种面向大语言模型的混合精度量化与推理优化方法

摘要: 本发明属于人工智能模型压缩与推理加速,具体公开了一种面向大语言模型的混合精度量化与推理优化方法。背景技术:1、近年来,大语言模型在自然语言处理、多轮对话、文本理...
一种面向大语言模型的混合精度量化与推理优化方法

本发明属于人工智能模型压缩与推理加速,具体公开了一种面向大语言模型的混合精度量化与推理优化方法。

背景技术:

1、近年来,大语言模型在自然语言处理、多轮对话、文本理解与生成等任务中表现出优异性能,但随着模型参数规模的持续增长,其推理过程对计算资源和存储资源的需求也显著增加。大语言模型的推理往往需要较高算力和大容量显存支持,这使得其通常依赖高性能计算平台完成部署与运行。

2、为降低大语言模型部署门槛,量化技术被广泛用于降低模型权重位宽,从而减少模型存储开销与计算复杂度。混合精度量化通过对不同权重采用不同量化位宽,能够在一定程度上兼顾模型精度与计算效率。然而,现有量化方法往往不能充分考虑各权重的重要程度,或者高度依赖梯度信息进行重要性评估,导致计算代价较高、量化不稳定,难以在低比特条件下实现较好的精度保持效果。此外,仅依赖量化通常难以彻底解决大模型在消费级平台上的高效推理问题,推理计算图中存在冗余计算,重复执行带来额外时间开销,异构推理场景下数据传输、内存同步和存储层次利用不合理等问题也进一步削弱推理性能。

3、总体而言,现有技术存在量化重要性评估依赖梯度信息导致计算代价高、推理冗余计算识别不足以及异构平台内存与存储调度不协同等不足,难以满足大语言模型在资源受限平台上高效部署和推理的需求。

技术实现思路

1、鉴于上述现有技术存在的缺陷,本发明提出了一种面向大语言模型的混合精度量化与推理优化方法。该方法采用块级对称量化完成模型压缩,在推理阶段,识别并消除冗余计算节点,对跨执行流内存复用和分层存储放置进行优化,从而降低同步开销、减少访存瓶颈并提高整体推理效率。

2、本发明的第一方面,提供一种面向大语言模型的混合精度量化与推理优化方法,应用于包括中央处理器和图形处理器的异构计算平台,包括:

3、对待量化的大语言模型权重进行分层分块处理,并基于预设的校准数据集提取激活统计信息,构建权重重要性矩阵;

4、根据所述权重重要性矩阵,为各权重块分配相应的量化位宽,以块级对称量化方式完成权重量化,得到量化后模型;

5、在所述异构计算平台上加载所述量化后模型并执行推理,在推理过程中动态构建计算图,并根据节点张量属性、计算代价和执行上下文,评估当前节点与已执行节点之间的相似性;

6、当所述相似性满足预设条件时,以所述已执行节点的计算结果作为所述当前节点的计算结果;

7、推理结束后,输出对输入数据执行推理得到的推理结果。

8、可选的,所述对待量化的大语言模型权重进行分层分块处理,并基于预设的校准数据集提取激活统计信息,构建权重重要性矩阵,包括:将每层权重划分为多个超块,每个超块划分为多个子块;基于预设的校准数据集获取模型运行时的激活均值、激活方差以及各激活平方在总激活平方和中的占比;根据权重与激活之间的关系计算权重重要性,目标函数f满足

9、

10、其中,j为子块内权重索引,表示第j个子块内原始权重,表示第j个子块内量化后权重,表示第j个子块内对应激活,表示激活均值,表示激活方差,表示各激活平方在总激活平方和中的占比,表示平衡系数;

11、在索引间激活相关性低于预设相关性阈值的条件下,构建权重重要性矩阵g:

12、

13、其中,i为子块内权重索引。

14、可选的,所述根据所述权重重要性矩阵,为各权重块分配相应的量化位宽,以块级对称量化方式完成权重量化,包括:对重要性较高的权重块采用较高比特宽度量化,对重要性较低的权重块采用较低比特宽度量化;对于每个量化块,以该块内浮点数绝对值最大值作为尺度参考,设目标量化位宽为b,尺度因子s满足:

15、

16、量化计算为:;

17、其中,x为待量化浮点权重;

18、超块的尺度因子用于对所属子块的尺度因子进行量化。

19、可选的,所述根据节点张量属性、计算代价和执行上下文,评估当前节点与已执行节点之间的相似性,包括:所述节点张量属性包括输入输出张量的维度、数据类型和分布特征,所述计算代价包括运算复杂度和资源消耗,所述执行上下文包括执行流、前后依赖关系和当前调度状态;根据所述节点张量属性、节点计算代价和节点执行上下文进行综合评估,得到当前节点与历史已执行节点之间的相似性;设置动态自适应阈值,根据张量特征与计算复杂度对所述动态自适应阈值进行调整;所述当所述相似性满足预设条件时,以所述已执行节点的计算结果作为所述当前节点的计算结果,当当前节点与已执行节点之间的相似性高于所述动态自适应阈值时,跳过当前节点计算,直接复用已有计算结果;对相似性不高于所述动态自适应阈值的节点按原始计算路径执行。

20、可选的,所述推理过程还包括:根据所述推理过程中的任务上下文调度内存分配和复用;所述根据所述推理过程中的任务上下文调度内存分配和复用,包括:将已完成任务释放的内存块标记为可复用状态;在同一执行流内,释放的内存块由同一执行流直接复用;在两个执行流存在依赖关系时,后续执行流在前序执行流完成后复用其释放的内存块;在两个执行流彼此独立时,当原执行流的任务已完成时,复用其释放的内存块;当原执行流的内存仍被占用时,对后续任务进行重调度。

21、可选的,所述推理过程还包括:对所述推理过程中涉及的数据块,根据各数据块的访问模式、访问频率和访问范围执行上下文感知存储调度,根据所述存储优先级规则,将各数据块分配至对应的存储层级;所述对所述推理过程中涉及的数据块,根据各数据块的访问模式、访问频率和访问范围执行上下文感知存储调度,根据所述存储优先级规则,将各数据块分配至对应的存储层级,包括:根据预期访问模式对数据块进行标签分类,所述访问模式包括线程私有、线程块共享和全局持久;根据数据块的重要性和访问频率生成存储优先级规则;根据所述存储优先级规则将数据块分配至对应存储层级,所述存储层级包括寄存器、共享存储器和全局存储器;对需要卸载的数据块进行压缩和批量传输。

22、本发明的第二方面,提供一种面向大语言模型的混合精度量化与推理优化系统,应用于包括中央处理器和图形处理器的异构计算平台,包括:

23、重要性矩阵构建模块,用于对待量化的大语言模型权重进行分层分块处理,并基于预设的校准数据集提取激活统计信息,构建权重重要性矩阵;

24、量化模块,用于根据所述权重重要性矩阵,为各权重块分配相应的量化位宽,以块级对称量化方式完成权重量化,得到量化后模型;

25、相似性评估模块,用于在所述量化后模型的推理过程中动态构建计算图,根据节点张量属性、计算代价和执行上下文,评估当前节点与已执行节点之间的相似性;

26、计算简化模块,用于当所述相似性满足预设条件时,以所述已执行节点的计算结果作为所述当前节点的计算结果;

27、推理执行模块,用于在所述异构计算平台上加载所述量化后模型并执行推理,推理结束后,输出推理结果;

28、存储器,存储有计算机程序;

29、处理器,加载并执行所述计算机程序,以协同各模块执行上述第一方面所述的方法。

30、可选的,所述重要性矩阵构建模块还用于:将每层权重划分为多个超块,每个超块划分为多个子块;基于预设的校准数据集获取模型运行时的激活均值、激活方差以及各激活平方在总激活平方和中的占比;根据权重与激活之间的关系计算权重重要性,所述权重重要性的目标函数包含激活均值项、激活方差项和平衡系数项;所述量化模块还用于:对重要性较高的权重块采用较高比特宽度量化,对重要性较低的权重块采用较低比特宽度量化;对于每个量化块,以该块内浮点数绝对值最大值作为尺度参考,计算尺度因子并完成对称量化,超块的尺度因子用于对所属子块的尺度因子进行量化。

31、可选的,所述相似性评估模块还用于:根据输入输出张量的维度、数据类型和分布特征的节点张量属性、包括运算复杂度和资源消耗的节点计算代价以及包括执行流、前后依赖关系和当前调度状态的节点执行上下文进行综合评估,得到当前节点与历史已执行节点之间的相似性;设置动态自适应阈值,根据张量特征与计算复杂度对所述动态自适应阈值进行调整;所述计算简化模块还用于:当当前节点与已执行节点之间的相似性高于所述动态自适应阈值时,跳过当前节点计算,直接复用已有计算结果;对相似性不高于所述动态自适应阈值的节点按原始计算路径执行。

32、本发明的第三方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面所述的方法。

33、与现有技术相比,本发明的有益效果在于:

34、第一,通过基于激活信息而非梯度信息构建权重重要性矩阵,本发明能够在降低计算开销的同时提高量化稳定性,为混合精度量化位宽分配提供精确依据。

35、第二,通过将权重分层划分为超块与子块,并结合重要性矩阵执行差异化混合精度量化,本发明能够在压缩率、精度保持和推理效率之间实现平衡。

36、第三,通过在推理过程中动态构建计算图并基于节点张量属性、计算代价和执行上下文进行综合相似性评估,本发明能够识别推理计算图中的冗余计算节点,跳过冗余计算并直接复用已有计算结果,减少重复运算。

37、第四,通过量化阶段与推理优化阶段的协同设计,本发明能够提升大语言模型在异构计算平台上的整体推理效率,适用于资源受限环境下的大模型部署。