一种边缘AI一体机的大模型量化部署方法及系统与流程

摘要: 本发明涉及边缘人工智能及大模型推理,尤其涉及一种边缘ai一体机的大模型量化部署方法及系统。背景技术:1、随着大语言模型在智能问答、内容生成、信息检索及行业智能应...
一种边缘AI一体机的大模型量化部署方法及系统与流程

本发明涉及边缘人工智能及大模型推理,尤其涉及一种边缘ai一体机的大模型量化部署方法及系统。

背景技术:

1、随着大语言模型在智能问答、内容生成、信息检索及行业智能应用中的广泛应用,将大语言模型部署于边缘侧设备,以降低网络传输时延、减少云端资源依赖并提高数据处理的本地化程度,已成为人工智能应用的重要发展方向。然而,大语言模型通常具有较大的参数规模,在推理过程中需要占用较多的计算资源和存储资源。边缘ai一体机受计算能力、内存容量及显存容量等硬件条件限制,直接采用高精度模型执行推理时,容易出现模型权重占用空间较大、可用推理缓存空间不足以及并发处理能力受限等问题。

2、模型量化是降低大模型部署资源需求的常用技术手段,通过采用较低位宽表示模型权重和/或中间计算数据,可以减少模型权重的存储空间及推理过程中的计算开销。在实际运行过程中,边缘ai一体机的可用资源并非始终保持稳定,例如,并发推理任务数量、输入上下文长度以及其他任务的资源占用情况均可能发生变化。因此,采用固定量化精度的部署方式难以持续适应边缘ai一体机的资源变化,现有技术逐渐采用根据设备运行资源状态调整模型量化精度的方式,使模型能够在不同资源条件下以不同量化状态执行推理。

3、对于采用自回归方式执行推理的大语言模型,在生成后续令牌时通常保存历史令牌对应的键值缓存,以避免针对已有上下文重复执行完整计算。随着历史令牌数量增加,键值缓存所占用的存储空间持续增加。在模型推理过程中调整与键值缓存生成相关的模型权重量化状态时,调整前已经形成的历史键值缓存对应于调整前的量化权重,而后续令牌的相关计算则基于调整后的量化权重执行。若直接继续使用已有历史键值缓存,历史状态与调整后的模型计算状态之间可能存在偏差;若重新基于全部历史令牌生成键值缓存,则又会增加重复计算量和推理时延。特别是在存在多个候选量化状态、且目标量化状态需根据边缘ai一体机的实时资源情况在运行过程中确定时,如何在控制附加存储开销的同时,对已有历史键值缓存进行与目标量化状态相适配的处理,仍有进一步改进的空间。

4、现有技术中,公开号为cn120494006a、名称为大模型推理效能动态优化与硬件感知压缩方法的专利申请,公开了一种大模型推理过程中的动态优化方案,其通过获取输入数据的复杂度信息以及运行平台的硬件资源状态生成压缩控制信号,并根据所述压缩控制信号对大模型权重和激活值进行动态重配置,其中压缩控制信号可包括量化位宽、稀疏化比例及算子调度策略,以使模型压缩配置能够随输入状态和硬件运行状态进行调整。上述技术表明,依据运行环境对大模型的量化或压缩状态进行动态调整已成为大模型部署中的一种现有技术方案。

技术实现思路

1、本发明旨在至少解决现有技术中存在的上述技术问题之一。为此,本发明提供一种边缘ai一体机的大模型量化部署方法及系统,在大模型具有多个候选量化状态的情况下,通过针对不同候选量化状态之间的权重差异建立共享的迁移修正信息,使历史令牌在目标量化状态尚未确定时无需针对各候选量化状态分别保存对应的状态迁移信息,并能够在运行过程中确定目标量化状态后,对既有历史键值缓存进行与目标量化状态相适配的修正,从而降低多候选量化状态下历史状态迁移信息的存储开销,并减少量化状态迁移后重新生成历史键值缓存产生的重复计算。

2、为实现上述目的,本发明采用如下技术方案。

3、一种边缘ai一体机的大模型量化部署方法,包括:

4、获取待部署大模型以及边缘ai一体机的硬件资源信息,从待部署大模型中确定与键值缓存生成相关的缓存耦合量化单元,并根据硬件资源信息确定缓存耦合量化单元的第一量化状态以及至少两个候选第二量化状态;

5、分别确定第一量化状态对应的第一量化权重与各候选第二量化状态对应的第二量化权重之间的权重差分矩阵,对多个权重差分矩阵进行联合降维分解,得到各候选第二量化状态共享的迁移修正基以及分别对应于各候选第二量化状态的迁移恢复参数,其中,根据权重差分重构误差约束和量化迁移修正码的存储资源约束确定迁移修正基的维度;

6、在缓存耦合量化单元处于第一量化状态的情况下执行历史令牌推理,根据进入缓存耦合量化单元的输入状态生成历史键值缓存,并根据输入状态和迁移修正基生成与历史键值缓存对应的量化迁移修正码;

7、获取边缘ai一体机的运行资源状态以及当前历史令牌数量,根据各候选第二量化状态对应的权重资源释放量、量化迁移修正码的存储资源占用量以及对应迁移恢复参数的资源占用量,确定各候选第二量化状态对应的迁移资源收益参数,并从满足预设迁移收益条件的候选第二量化状态中确定目标第二量化状态;

8、将缓存耦合量化单元由第一量化状态迁移至目标第二量化状态,根据目标第二量化状态对应的目标迁移恢复参数以及量化迁移修正码确定历史状态修正量;

9、利用历史状态修正量修正历史键值缓存,并基于修正后的历史键值缓存以及处于目标第二量化状态的缓存耦合量化单元执行后续令牌推理。

10、优选地,缓存耦合量化单元包括transformer注意力层中的键投影单元和/或值投影单元;第一量化状态和各候选第二量化状态分别由权重量化位宽、量化尺度以及量化零点中的至少一种量化参数表征,且至少两个候选第二量化状态具有不同的权重量化位宽。由此,可以针对直接参与历史键值缓存生成的模型计算单元建立跨量化状态的缓存修正关系,并使不同候选第二量化状态对应于不同的权重表示精度。

11、优选地,对多个权重差分矩阵进行联合降维分解包括:将各候选第二量化状态对应的第二量化权重分别减去第一量化权重,得到各候选第二量化状态对应的权重差分矩阵;基于多个权重差分矩阵构建联合差分矩阵,并对联合差分矩阵进行低秩分解,得到迁移修正基以及分别与各候选第二量化状态对应的迁移恢复参数;针对不同候选维度,分别确定对应的权重差分重构误差和量化迁移修正码的预计存储资源占用量,并将同时满足预设修正误差条件和预设存储资源条件的候选维度确定为迁移修正基的维度。通过联合处理多个候选量化状态对应的权重差异,可以使不同量化迁移方向共享同一低维迁移空间,而无需针对每一种候选量化状态分别建立独立的历史状态编码空间。

12、优选地,生成与历史键值缓存对应的量化迁移修正码包括:获取生成历史键值缓存时进入缓存耦合量化单元的输入隐藏状态;根据迁移修正基将输入隐藏状态映射至低维迁移空间,得到量化迁移修正码;建立量化迁移修正码与对应历史键值缓存之间的关联关系,关联关系至少包括模型层标识、缓存耦合量化单元标识以及令牌位置标识;在历史键值缓存采用分块存储的情况下,关联关系还包括缓存块标识。由此,可以在目标第二量化状态尚未确定时,针对同一缓存耦合量化单元和同一历史令牌,仅保存一份基于共享迁移修正基形成的量化迁移修正码,并在后续确定不同目标第二量化状态时复用该量化迁移修正码。

13、优选地,迁移资源收益参数用于表征由第一量化状态迁移至对应候选第二量化状态产生的权重资源释放能力与量化迁移辅助资源占用之间的关系;量化迁移辅助资源至少包括当前历史令牌对应的量化迁移修正码占用的存储资源以及对应迁移恢复参数占用的存储资源;将迁移资源收益参数满足预设迁移收益条件的候选第二量化状态确定为可迁移量化状态。通过在量化状态选择过程中综合考虑权重资源释放能力和支持量化迁移产生的附加资源占用,可以根据历史令牌数量变化评价量化迁移辅助资源投入与候选第二量化状态权重资源释放能力之间的匹配程度。

14、优选地,从满足预设迁移收益条件的候选第二量化状态中确定目标第二量化状态包括:根据运行资源状态确定目标资源释放需求;从可迁移量化状态中筛选权重资源释放量满足目标资源释放需求的候选第二量化状态;根据筛选所得候选第二量化状态对应的迁移资源收益参数、对应的权重差分重构误差以及量化状态迁移执行开销,确定目标第二量化状态。由此,可以使目标量化状态的选择同时受到边缘ai一体机当前资源需求和历史状态迁移代价的约束。

15、优选地,在缓存耦合量化单元为键投影单元、且待部署大模型采用对键投影结果实施的线性位置编码变换的情况下,根据量化迁移修正码和目标迁移恢复参数确定位置编码前的键状态修正量,并根据对应历史令牌的位置标识,对键状态修正量执行与生成对应历史键缓存时相同的线性位置编码变换,将经线性位置编码变换的键状态修正量叠加至对应历史键缓存;在缓存耦合量化单元为值投影单元的情况下,根据量化迁移修正码和目标迁移恢复参数确定值状态修正量,并将值状态修正量叠加至对应历史值缓存。通过分别处理键缓存和值缓存,可以使历史状态修正过程与注意力计算中键、值状态的生成方式相适配。

16、优选地,利用历史状态修正量修正历史键值缓存包括以下任一种方式:将历史状态修正量叠加至对应历史键值缓存,得到并存储修正后的历史键值缓存;或者,保留第一量化状态下生成的历史键值缓存,在后续注意力计算调用历史键值缓存时,根据量化迁移修正码和目标迁移恢复参数生成对应的历史状态修正量,并将历史状态修正量叠加至被调用的历史键值缓存后执行注意力计算。前一种方式适用于在量化状态迁移后统一完成历史缓存更新的场景,后一种方式适用于减少历史键值缓存整体改写操作的场景。

17、本发明还提供一种边缘ai一体机的大模型量化部署系统,包括量化状态配置模块、迁移参数生成模块、历史状态生成模块、量化迁移决策模块、历史状态修正模块以及推理执行模块;

18、量化状态配置模块用于从待部署大模型中确定与键值缓存生成相关的缓存耦合量化单元,并确定缓存耦合量化单元的第一量化状态以及至少两个候选第二量化状态;

19、迁移参数生成模块,用于确定第一量化状态对应的第一量化权重与各候选第二量化状态对应的第二量化权重之间的权重差分矩阵,对多个权重差分矩阵进行联合降维分解,并根据权重差分重构误差约束和量化迁移修正码的存储资源约束确定迁移修正基的维度,得到各候选第二量化状态共享的迁移修正基以及分别对应于各候选第二量化状态的迁移恢复参数;

20、历史状态生成模块用于在缓存耦合量化单元处于第一量化状态的情况下,根据进入缓存耦合量化单元的输入状态生成历史键值缓存,并根据输入状态和迁移修正基生成与历史键值缓存对应的量化迁移修正码;

21、量化迁移决策模块用于根据边缘ai一体机的运行资源状态、当前历史令牌数量、各候选第二量化状态对应的权重资源释放量、量化迁移修正码的存储资源占用量以及迁移恢复参数的资源占用量,确定各候选第二量化状态对应的迁移资源收益参数,并从满足预设迁移收益条件的候选第二量化状态中确定目标第二量化状态;

22、历史状态修正模块用于在缓存耦合量化单元迁移至目标第二量化状态后,根据目标第二量化状态对应的目标迁移恢复参数以及量化迁移修正码确定历史状态修正量,并利用历史状态修正量修正历史键值缓存;

23、推理执行模块用于基于修正后的历史键值缓存以及处于目标第二量化状态的缓存耦合量化单元执行后续令牌推理。

24、优选地,大模型量化部署系统还包括迁移状态管理模块;迁移状态管理模块用于维护历史键值缓存、量化迁移修正码、缓存耦合量化单元以及当前量化状态之间的关联关系,并在对应历史键值缓存完成由第一量化状态向目标第二量化状态的历史状态修正后,释放对应历史令牌的至少部分量化迁移修正码占用的存储资源,以及更新边缘ai一体机的运行资源状态。

25、与现有技术相比,本发明至少具有以下有益效果:

26、(1)本发明针对同一缓存耦合量化单元由当前量化状态向多个候选量化状态迁移的场景,对多个候选量化状态对应的权重差分进行联合降维处理,使多个候选量化状态共享迁移修正基。在目标量化状态尚未确定的历史令牌推理阶段,针对同一缓存耦合量化单元和同一历史令牌,仅需根据对应的共享迁移修正基生成一份量化迁移修正码,无需针对每一种候选量化状态分别保存对应的历史状态迁移信息,从而降低多候选量化状态支持产生的附加存储开销。

27、(2)在运行过程中确定目标第二量化状态后,可利用目标第二量化状态对应的迁移恢复参数和已有量化迁移修正码确定历史状态修正量,对第一量化状态下已经生成的历史键值缓存进行适配修正,无需针对全部历史令牌重新执行完整的历史上下文计算,有利于降低量化状态迁移引起的重复计算量和推理时延。

28、(3)在确定目标第二量化状态时,将权重资源释放能力与量化迁移修正码、迁移恢复参数等迁移辅助资源的占用情况共同纳入迁移资源收益评价,使量化迁移决策能够随当前历史令牌数量和边缘ai一体机运行资源状态进行调整,从而提高有限存储资源条件下量化状态迁移的有效性。