一种大语言模型推测解码的并发软错误检测方法
本发明涉及人工智能与容错计算领域,特别是涉及一种大语言模型推测解码并发软错误检测方法。
背景技术:
1、大语言模型(llm)在自然语言处理任务中表现出色,但其庞大的参数量导致了极高的计算和内存带宽需求,从而造成了顺序词元(token)生成过程中的高延迟瓶颈。为了解决这一问题,推测解码(sd)技术被广泛采用。推测解码通过使用一个较小、较快的草稿模型并行提出多个未来词元,再由目标模型进行并行验证,在不改变最终输出分布的前提下大幅提升了系统的吞吐量。
2、然而,随着人工智能系统向任务关键型和大规模生产环境部署,其容错性和鲁棒性成为了关键的设计要求。大语言模型由于其复杂的架构、海量的参数以及对先进硬件加速器的依赖,极易受到外部瞬态硬件故障(如辐射引起的位翻转)或为了降低能耗而采用激进电压缩放(降低vdd)所带来的软错误的影响。
3、传统的并发错误检测(ced)技术如果不加修改地应用于大语言模型,往往需要昂贵的冗余计算开销;而现有的基于机器学习的检测方法通常依赖于聚合完整序列的特征或多次交互的统计数据。如果在推测解码中采用这种聚合完整序列特征的检测方式,将引入严重的o(n)级别延迟,这与推测解码追求极速生成的设计初衷背道而驰。目前,尚未有专门针对推测解码机制固有冗余进行低延迟优化的软错误检测方案。
技术实现思路
1、本发明的目的在于避免现有错误检测方法未充分利用推测解码冗余、检测延迟高的不足而提出的一种大语言模型推测解码并发软错误检测方法。该方法通过在初始验证步骤提取语义重叠特征,实现零等待的实时异常检测,兼顾了容错性与解码速度。技术方案如下:
2、一种大语言模型推测解码并发软错误检测方法,包括以下步骤:
3、步骤 1:构建大语言模型推测解码框架
4、加载大语言模型推测解码框架,所述推测解码框架包括参数量较小的草稿模型和参数量较大的目标模型,其中所述草稿模型用于快速生成推测候选词,所述目标模型用于对生成的推测候选词进行并行验证;
5、步骤 2:生成正常样本集;
6、步骤 3:注入故障并生成多梯度软错误样本集;
7、步骤 4:基于步骤2和步骤3所获得的正常样本集和多梯度软错误样本集构建离线平衡训练集,并所述离线平衡训练集中的每个样本标注正常或异常标签;
8、步骤 5:建立语义一致性重叠度特征表示;
9、步骤 6:离线寻优获取最佳异常判定阈值θ;
10、步骤 7:在线推理与待测序列获取:在大语言模型在线推理阶段,获取待测对象的当前输入提示词或上下文序列x,将所述上下文序列 x输入所述推测解码框架中;
11、步骤 8:在线实时特征提取
12、在针对所述步骤7上下文序列 x的在线生成循环中,草稿模型md在初始验证步骤(step-0)串行提出x个推测候选词元;针对这x个推测候选词元中的第i个词元位置(i=1,2, ..., x),提取所述草稿模型预测的前k个概率最大的词汇,构成对应位置的待测候选词集合;同时提取所述目标模型对草稿模型型输出进行并行验证时,在对应位置生成的前k个概率最大的词汇,构成待测候选词集合;
13、步骤 9:计算当前推理步的实时重叠度特征;
14、步骤 10:并发软错误判定与状态响应。
15、进一步的:给定初始文本数据集,在不修改所述步骤 1中目标模型参数的条件下,将所述初始文本数据集输入所述推测解码框架进行推理;在推理的初始验证步骤(step-0),提取所述草稿模型输出的 top-k候选词集合与所述目标模型输出的top-k候选词集合,记录为正常样本集。
16、进一步的:步骤3的方法为:针对所述步骤1中的目标模型,向其注意力层和全连接投影层的权重矩阵中静态注入随机位翻转,得到注入故障的目标模型;在执行所述随机位翻转时,设置两种故障注入模式:第一种注入模式不对目标模型浮点数权重参数指数部分的最有效位(msb)进行保护,并设定固定误码率进行注入;第二种注入模式对所述最有效位(msb)进行屏蔽保护,并采用逐步增大误码率的方式进行多梯度注入,直至目标模型输出发生结构性破坏;分别将所述初始文本数据集输入由所述草稿模型和上述两种模式及各误码率梯度下注入故障的目标模型组成的推测解码框架中,在初始验证步骤(step-0)提取双方的top-k候选词集合,合并记录为多梯度软错误样本集。
17、进一步的:步骤4的方法为:将所述步骤2得到的正常样本集与所述步骤3得到的多梯度软错误样本集按照1:1的数量比例混合,拼接得到离线平衡训练集,并为所述离线平衡训练集中的每个样本标注正常或异常标签。
18、进一步的:步骤5的方法为:对于所述步骤4的离线平衡训练集中的每一个样本,在其初始验证步骤(step-0)中,草稿模型串行提出预设数量为x的推测候选词元;针对这x个推测候选词元中的第i个词元位置(i=1, 2, ..., x),分别提取草稿模型预测的top-k候选词集合记为,提取目标模型和注入故障的目标模型并行验证时输出的top-k候选词集合记为;随后,针对每一个词元位置i(i=1, 2, ..., x),分别计算所述集合与所述集合之间的共x个交集,统计此x个交集内的元素总个数,并将所获得的元素总个数除以x求取平均值,得到表征该样本语义一致性的重叠度特征。
19、进一步的:步骤6的方法为:构建一个以判定阈值θ为分界点的单特征阈值分类器,将所述步骤 5中计算得到的各样本重叠度特征作为所述单特征阈值分类器的输入;在所述离线平衡训练集上,采用网格搜索算法设定判定阈值θ的寻优区间为[0, k],遍历可能的判定阈值θ,比较分类器输出结果与所述步骤4中的标注标签,寻找使分类准确率达到最大值的判定阈值,将其作为最佳异常判定阈值θ。
20、进一步的:步骤9的方法为:基于所述步骤8提取的各词元位置的待测候选词集合和,针对每一个词元位置i,分别计算所述集合与所述集合之间的交集元素个数,从而获得对应于x个词元位置的x个数值;进而将这x个数值相加并除以x求取平均值,得到当前推理步的实时重叠度特征。
21、进一步的:步骤10的方法为:将所述步骤9计算得到的当前推理步的实时重叠度特征与所述步骤6寻优确定的最佳异常判定阈值θ进行数值比较:
22、1)若<θ,则判定目标模型在当前生成过程中发生软错误,系统丢弃草稿模型当前提出的推测候选词序列,启动回滚操作,交由目标模型基于所述步骤7的上下文序列 x重新自回归生成当前词汇;
23、2)若≥θ,则判定目标模型处于正常状态,系统保留目标模型验证通过的词元,并继续执行后续推测解码生成流程。
24、本发明的有益效果是:
25、(1)检测延迟极低:本发明仅在初始验证步骤(step-0)提取特征,检测延迟与生成序列的整体长度脱钩,使得检测算法保持 o(1) 的时间复杂度,不影响推测解码的加速优势。
26、(2)检测准确率高:相比于基于概率熵或接受词长度序列的特征,采用top-k候选词集合重叠度(语义特征)能有效过滤目标模型内部数值噪声的干扰,对软错误导致的语义偏离具有极高的敏感度,检测准确率可达95%以上。
27、(3)支持动态电压管理:该方法在激进的低电压(高误码率)环境下展现出优异的适应性,能够精准拦截导致结构性破坏的错误,同时容忍被掩盖的无效硬件故障,为大模型的低功耗运行提供了可靠的安全监控。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com