自适应投机解码调度方法及电子设备与流程
本技术涉及人工智能,尤其涉及一种自适应投机解码调度方法及电子设备。
背景技术:
1、大语言模型(large language model,llm)在推理阶段存在显著的自回归生成瓶颈,即每步仅能生成一个词元(token),导致推理吞吐量受限、服务延迟偏高。投机解码(speculative decoding)作为一种有效的加速范式,通过引入轻量级草稿模型快速生成多个候选词元,再由目标模型以单次前向传播并行验证,在保证生成质量的前提下提升推理吞吐量。近年来,eagle、mtp(multi-token prediction)、dflash 等投机解码方案在工业界得到广泛部署,取得了良好的加速效果。
2、现有投机解码方案大致可归纳为三类:基于独立草稿模型的方案(如 eagle),草稿长度和验证批次通常设置为固定值;基于多词元预测头的方案(如 mtp),其预测头数量和验证策略采用固定配置;基于轻量级草稿头的方案(如 dflash),其草稿步数和接收阈值同样固化。上述方案在实际部署中均采用静态参数配置。
3、然而,草稿长度、验证批次大小、早停阈值等关键超参数的固定配置,一方面使得投机解码无法根据不同硬件设备的算力/带宽比、键值缓存占用率、实时负载状态进行动态调整,在异构硬件环境下推理效率严重下降;另一方面,由于缺乏基于硬件状态与置信度的动态早停及自回归模式切换机制,在低负载或低置信度场景下仍机械执行固定步数的投机解码,产生大量无效计算与额外延迟。由于投机解码的关键超参数与执行策略均未考虑底层硬件的异构特性、实时负载变化以及草稿输出的置信度状态,以此难以在多样化的硬件环境下维持最优的推理效率。
技术实现思路
1、本技术实施例提供一种自适应投机解码调度方法及电子设备,以至少部分地解决上述技术问题。
2、为了实现上述目的,根据本技术的第一方面,提供一种自适应投机解码调度方法,包括:
3、获取计算节点的硬件状态信息,根据所述硬件状态信息确定硬件性能评分;
4、根据所述硬件性能评分与业务侧统计信息,确定投机解码的草稿长度、验证批次大小和早停基础阈值;
5、基于所述草稿长度和所述验证批次大小,由草稿模型生成候选词元,并由目标模型对所述候选词元进行验证;
6、监测所述草稿模型输出的候选词元的置信度,根据硬件负载状态与历史接受率动态调整所述早停基础阈值,以得到早停调整阈值;
7、基于所述早停调整阈值在投机解码模式与自回归生成模式之间进行切换。
8、所述根据所述硬件状态信息确定硬件性能评分之前,所述方法还包括:对所述硬件状态信息进行滤波平滑处理,所述滤波平滑处理包括:
9、在预设大小的滑动窗口内,计算硬件状态信息的窗口均值与窗口标准差;
10、当所述滑动窗口内的硬件状态信息与所述窗口均值的差值大于预设倍数的所述窗口标准差,则判定该硬件状态信息为异常样本并剔除;
11、基于剔除所述异常样本后的所述滑动窗口内的硬件状态信息,重新计算均值,以作为滤波平滑处理后的硬件状态信息。
12、在一些实施例中,所述根据所述硬件状态信息确定硬件性能评分,包括:
13、对滤波平滑处理后的各维度的硬件状态信息分别进行归一化处理,得到各维度的归一化评分,由所述各维度的归一化评分构成所述硬件性能评分。
14、在一些实施例中,所述硬件状态信息包括算力与带宽之比、键值缓存占用率、存储带宽和显存余量;所述确定投机解码的草稿长度,包括:
15、当所述算力与带宽之比对应的硬件性能评分高于第一阈值且所述键值缓存占用率低于第二阈值时,增大所述草稿长度;
16、当所述存储带宽对应的硬件性能评分低于第三阈值、或所述键值缓存占用率高于第四阈值、或所述显存余量低于预设显存阈值时,减小所述草稿长度。
17、在一些实施例中,所述硬件状态信息包括算力利用率和显存余量;确定投机解码的验证批次大小,包括:
18、当所述显存余量大于所述目标模型参数量的预设倍数且所述算力利用率低于预设利用率阈值时,增大所述验证批次大小;
19、当所述显存余量低于所述目标模型参数量的预设比例时,减小所述验证批次大小;
20、其中,所述验证批次大小为所述草稿长度的整数倍。
21、在一些实施例中,所述根据硬件负载状态与历史接受率动态调整所述早停基础阈值,包括:
22、基于所述早停基础阈值、硬件负载调整因子和接受率调整因子的乘积确定所述早停调整阈值;其中,所述硬件性能评分越高,所述早停基础阈值越大;所述硬件负载越高,所述硬件负载调整因子越小;所述历史接受率越高,所述接受率调整因子越大。
23、在一些实施例中,所述基于所述早停调整阈值在投机解码模式与自回归生成模式之间进行切换,包括:
24、当连续预设数量的候选词元的置信度均低于所述早停调整阈值时,终止投机解码,切换至自回归生成模式;
25、其中,在所述自回归生成模式下,当连续预设数量的输出词元的平均置信度高于所述早停调整阈值的预设倍数且硬件负载低于预设负载阈值时,切换回所述投机解码模式。
26、在一些实施例中,所述草稿模型与所述目标模型部署于异构计算节点时,所述方法还包括:
27、根据各计算节点的算力对应的硬件性能评分与存储带宽对应的硬件性能评分确定节点综合能力评分,将所述草稿模型部署于所述算力对应的硬件性能评分最高的计算节点,将所述目标模型部署于所述存储带宽对应的硬件性能评分最高的计算节点;
28、在所述目标模型对当前候选词元进行验证的同时,由所述草稿模型并行生成下一轮的候选词元。
29、在一些实施例中,自适应投机解码调度方法还包括:
30、汇总集群内各计算节点的硬件性能评分与负载状态,构建全局负载视图;
31、基于所述全局负载视图,将草稿生成任务与目标模型验证任务分配至负载评分最低的计算节点;
32、当集群负载失衡时,将高负载计算节点上的推理任务迁移至低负载计算节点;
33、当集群整体算力利用率高于预设扩容阈值时增加计算节点,当集群整体算力利用率低于预设缩容阈值时减少计算节点。
34、第二方面,提供一种电子设备,包括:至少一个处理装置;以及,与所述至少一个处理装置通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理装置执行的指令,所述指令被所述至少一个处理装置执行,以使所述至少一个处理装置能够实现如上所述的方法。
35、本技术实施例中的自适应投机解码调度方法,通过采集硬件状态信息确定硬件性能评分,并结合业务侧统计信息自适应确定草稿长度、验证批次大小和早停基础阈值,再结合置信度与硬件负载和历史接受率对早停基础阈值进行动态调整得到早停调整阈值并据此进行模式切换,能够使投机解码的关键超参数与执行策略随硬件环境与业务负载实时变化,避免了固定参数配置在异构硬件环境下导致的推理效率下降,从而在保证生成质量的前提下提升推理吞吐量,降低端到端推理延迟。
36、本技术的其他特征和优点将在随后的具体实施方式部分予以详细说明。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com