用于大语言模型推理加速的N-gram投机采样方法及系统与流程
本技术涉及人工智能,特别涉及一种用于大语言模型推理加速的n-gram投机采样技术。
背景技术:
1、随着大语言模型在在线推理服务、企业知识库问答、代码辅助生成、长文本生成以及多轮对话系统中的应用逐渐增多,自回归推理过程中目标模型每生成一个token需执行一次完整前向计算所带来的高时延和低吞吐问题日益突出。投机采样作为一类推理加速技术,其核心思路是先通过低成本途径获取一段草稿token序列,再将该草稿一次性提交目标模型进行验证前向计算,从而以一次前向计算验证多个token。在不希望额外部署独立草稿模型的场景中--例如资源受限的边缘推理节点、追求部署简洁性的私有化推理平台以及对系统复杂度较敏感的实时对话服务--基于历史上下文构建n-gram匹配池并从中检索草稿token序列是一种实现成本较低的方案,在长文档续写、代码重复模式生成以及多轮对话中复用历史回答片段等具有较强局部重复性的场景中表现出较高的匹配命中率。
2、然而,现有的n-gram投机采样方案在实际部署中面临若干技术局限。现有方案通常基于token id的精确匹配进行检索,当同一语义文本因大小写差异、全角半角差异或带重音字符差异被分词器切分为不同的token id组合时,精确匹配将无法命中历史上下文中可复用的模式,导致草稿召回率受限。即使引入文本归一化手段扩大匹配范围以提升召回率,归一化过程在消除字符形式差异的同时也可能将信息密度较低的模式token序列纳入命中范围,使得后续草稿发散度高、验证失败概率大的草稿进入目标模型的验证前向计算,造成加速设备计算资源的无效占用。此外,归一化将多个原始模式token序列压缩至同一检索键下时,各候选草稿之间可能存在显著分歧,现有技术缺乏在验证前向计算之前对此类高分歧候选进行有效甄别和拦截的机制。因此,迫切需要一种能够在扩大草稿召回范围的同时有效控制低质量草稿进入目标模型验证前向计算的技术方案,以减少无效验证次数并提升推理吞吐效率。
技术实现思路
1、本技术的目的在于提供一种用于大语言模型推理加速的n-gram投机采样方法及系统,以解决上述背景技术中提出的问题。
2、本技术提供了一种用于大语言模型推理加速的n-gram投机采样方法,由计算机系统执行,包括:
3、构建匹配池,所述匹配池维护模式token序列与对应的后续token序列之间的映射关系;维护归一化索引,所述归一化索引维护归一化键与原始模式token序列集合之间的映射关系;
4、获取当前生成前缀末尾的模式token序列,在所述匹配池中对其进行精确token匹配,并将所述当前生成前缀末尾的模式token序列解码为文本、进行归一化处理得到当前归一化键;
5、当所述精确token匹配命中时,从所述匹配池中读取命中的模式token序列对应的后续token序列作为草稿token序列;
6、当所述精确token匹配未命中时,利用所述当前归一化键在所述归一化索引中回查得到至少一个命中的原始模式token序列,并基于所述至少一个命中的原始模式token序列从所述匹配池中读取对应的后续token序列作为草稿token序列;
7、对所述当前归一化键执行草稿质量过滤:计算所述当前归一化键中有效字符数量占总字符数量的有效字符占比,将所述有效字符占比与所述当前生成前缀末尾的模式token序列的长度对应的拒绝阈值进行比较;
8、当所述有效字符占比低于所述拒绝阈值时,拒绝所述草稿token序列,不将其提交至目标模型执行验证前向计算;
9、当所述有效字符占比不低于所述拒绝阈值时,将所述草稿token序列与当前生成前缀拼接后提交至所述目标模型执行一次验证前向计算,根据验证结果将连续被接受的token并入输出序列,或在被拒绝的位置回退到所述目标模型实际输出的token继续解码。
10、在一个优选例中,所述归一化处理为依次执行以下五步确定性管线,各步按以下固定顺序执行且顺序不可交换:
11、当分词器无法将所述模式token序列中某个token id解码为有效utf-8文本时,将无法解码的token替换为unicode替换字符u+fffd后继续执行所述五步确定性管线;若解码得到的文本为空字符串,则直接输出空字符串作为所述当前归一化键并终止所述归一化处理;
12、步骤一,若解码得到的文本中包含unicode代理项码位,先移除所述unicode代理项码位;然后对解码得到的文本执行unicode nfkd兼容分解,将预组合字符分解为基字符与非间距标记字符,并将全角字符、兼容字符映射为对应标准形式,得到第一文本;
13、步骤二,去除所述第一文本中unicode通用类别属性属于mn类的非间距标记字符,得到去除重音标记后的第二文本;可选地,对所述第二文本执行unicode nfc或nfkc组合,以得到规范化输出文本;
14、步骤三,将所述第二文本中所有字符统一转换为小写形式,得到第三文本;
15、步骤四,将所述第三文本中连续的空白字符合并为单个半角空格,得到第四文本;
16、步骤五,去除所述第四文本的首部和尾部空白字符,得到所述当前归一化键。
17、在一个优选例中,所述计算所述当前归一化键中有效字符数量占总字符数量的有效字符占比,将所述有效字符占比与所述当前生成前缀末尾的模式token序列的长度对应的拒绝阈值进行比较,包括:
18、对所述当前归一化键中的每个字符查询unicode通用类别属性,将属于letter类或number类的字符分类为有效字符,将属于punctuation类、separator类、symbol类或other类的字符分类为低信息量字符;其中,分词器定义的特殊token解码后的文本片段不参与有效字符数量和总字符数的统计;统计所述当前归一化键中的有效字符数量 和总字符数 ;
19、按照如下公式计算所述有效字符占比 :
20、
21、其中, 表示有效字符数量, 表示总字符数;当 时,定义;
22、所述草稿质量过滤采用如下拒绝策略函数 进行判定:
23、
24、其中, 表示所述当前归一化键, 表示所述当前生成前缀末尾的模式token序列的长度, 表示与长度 对应的所述拒绝阈值;当 为true时,判定对应草稿token序列未通过草稿质量过滤;当 为false时,判定对应草稿token序列通过草稿质量过滤;
25、所述拒绝阈值 的取值范围为 ,且 随长度 的增大而单调不增;
26、所述拒绝阈值 采用分段常数形式或如下递减函数形式:
27、
28、其中, 为正常数,控制阈值的整体水平; 为正常数,控制阈值随模式token序列长度变化的速率。
29、在一个优选例中,当利用所述当前归一化键在所述归一化索引中回查得到的原始模式token序列集合包含多个原始模式token序列时,执行候选后续首token一致性门控:
30、从所述匹配池中分别读取各个所述原始模式token序列对应的后续token序列,形成候选草稿集合;若某个所述原始模式token序列在所述匹配池中已失效,则将所述已失效的原始模式token序列从所述集合中剔除后继续处理;若剔除后所述候选草稿集合为空,则进入退化处理;若剔除后所述候选草稿集合仅包含一个候选草稿token序列,则保留该候选草稿token序列并跳过所述候选后续首token一致性门控中的频次统计步骤;
31、对所述候选草稿集合中每个草稿token序列的第一位token进行频次统计:
32、
33、其中, 表示所述候选草稿集合, 表示所述候选草稿集合中的第 个草稿token序列, 表示第 个草稿token序列的第一位token, 表示token值, 表示token值 的出现频次;
34、若存在唯一占优token,即所述出现频次最大的token值唯一,则保留以所述唯一占优token作为第一位token的候选组,淘汰其余候选;若不存在唯一占优token,则不将所述候选草稿集合提交至所述目标模型执行验证前向计算,进入退化处理。
35、在一个优选例中,所述方法还包括基于验证历史状态对候选进行排序:
36、为每个所述原始模式token序列维护历史接受计数 和历史拒绝计数 ,初始均为0;
37、在所述目标模型完成验证前向计算后进行结果回写:若所述草稿token序列中至少有一个token被接受,则将对应的原始模式token序列的历史接受计数 加1;若所述草稿token序列的第一位token即被拒绝,则将对应的原始模式token序列的历史拒绝计数 加1;
38、按照如下公式计算模式质量状态值 :
39、
40、其中, 表示历史接受计数, 表示历史拒绝计数;在后续同一归一化键再次命中多个原始模式token序列时,根据所述模式质量状态值 的大小调整候选草稿token序列的排序优先级;
41、对经所述候选后续首token一致性门控后保留的候选组,按以下优先级顺序排序:所述出现频次 较高的候选组优先;所述模式质量状态值 较大的原始模式token序列对应的候选优先;当所述出现频次 和所述模式质量状态值 均相同时,按照预设顺序确定排序优先级;取排序最优的候选草稿token序列作为本轮草稿,提交至所述目标模型执行验证前向计算。
42、在一个优选例中,当所述草稿token序列被拒绝、候选草稿集合为空或候选一致性门控未通过时,按如下顺序执行退化处理:
43、将所述当前生成前缀末尾的模式token序列的长度缩短后,重新执行所述精确token匹配以及通过所述归一化索引回查原始模式token序列的步骤;
44、若所述长度缩短至设定的最小长度仍未得到通过所述草稿质量过滤的草稿token序列,且系统持有上一轮验证前向计算产生的logits数据时,从所述logits数据中得分最高的前 个候选token中依次选取候选token,将当前生成前缀末尾长度为 的token序列与所述候选token拼接形成长度为 的扩展模式token序列,并重新执行所述精确token匹配以及通过所述归一化索引回查原始模式token序列的步骤;
45、若基于所述扩展的模式token序列仍未得到通过所述草稿质量过滤的草稿token序列,则交由所述目标模型单步生成下一个token;
46、在对初始提示词进行首次生成前,在所述目标模型对所述初始提示词执行预填充计算期间,利用独立线程并行执行根据所述初始提示词的token序列构建所述匹配池的初始化操作,将所述匹配池的初始化开销隐藏在所述预填充计算的时间窗口内。
47、本技术提供了一种用于大语言模型推理加速的n-gram投机采样系统,应用于计算机系统,包括:
48、匹配池管理模块,用于构建匹配池,所述匹配池维护模式token序列与对应的后续token序列之间的映射关系;以及,维护归一化索引,所述归一化索引维护归一化键与原始模式token序列集合之间的映射关系;
49、归一化匹配回查模块,用于获取当前生成前缀末尾的模式token序列,在所述匹配池中对其进行精确token匹配,并将所述当前生成前缀末尾的模式token序列解码为文本、进行归一化处理得到当前归一化键;当所述精确token匹配命中时,从所述匹配池中读取命中的模式token序列对应的后续token序列作为草稿token序列;当所述精确token匹配未命中时,利用所述当前归一化键在所述归一化索引中回查得到至少一个命中的原始模式token序列,并基于所述至少一个命中的原始模式token序列从所述匹配池中读取对应的后续token序列作为草稿token序列;
50、质量控制模块,用于对所述当前归一化键执行草稿质量过滤:计算所述当前归一化键中有效字符数量占总字符数量的有效字符占比,将所述有效字符占比与所述当前生成前缀末尾的模式token序列的长度对应的拒绝阈值进行比较;当所述有效字符占比低于所述拒绝阈值时,拒绝所述草稿token序列,不将其提交至目标模型验证模块;
51、目标模型验证模块,用于接收所述质量控制模块传入的通过所述草稿质量过滤的草稿token序列,将所述草稿token序列与当前生成前缀拼接后提交至目标模型执行一次验证前向计算,根据验证结果将连续被接受的token并入输出序列,或在被拒绝的位置回退到所述目标模型实际输出的token继续解码。
52、本技术提供了一种电子设备,包括:
53、处理器;以及
54、存储器,用于存储计算机程序;
55、所述计算机程序被所述处理器执行时,实现上述方法。
56、本技术提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述方法。
57、本技术提供了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现上述方法。
58、本技术所提供的技术方案通过在匹配池与目标模型验证前向计算之间构建以归一化文本信息密度为判据的前置质量拦截机制,针对性地解决了无草稿模型n-gram投机采样中低质量草稿token序列占用目标模型验证前向计算资源这一技术问题,其各技术手段在特定的数据流关系下产生协同的技术效果。
59、就匹配池与归一化索引的联合维护而言,匹配池 维护模式token序列 与后续token序列 之间的映射关系,归一化索引维护归一化键 与原始模式token序列集合 之间的映射关系,二者构成双层索引结构。该结构使得即使同一语义文本因大小写、全角半角、带重音字符等差异被分词器切分为不同的token id组合,系统在精确token匹配未命中时仍可通过归一化键回查到历史上下文中可复用的原始模式token序列,由此提升草稿token序列的召回率,增加投机采样的触发机会。
60、就草稿质量过滤而言,该过滤的作用对象被设定为命中模式token序列的归一化文本--即归一化键 --而非草稿token序列本身,这一靶点前移的设计使得系统在cpu侧以极低的计算代价即可拦截纯标点、纯空白等低信息密度模式token序列所对应的高发散度草稿,避免此类草稿进入加速设备上的目标模型验证前向计算而浪费一次完整的前向计算资源。系统对归一化键中的每个字符查询unicode通用类别属性,将属于letter类或number类的字符分类为有效字符、将其余字符分类为低信息量字符,计算有效字符占比,并将该占比与当前模式token序列长度 所对应的拒绝阈值 进行比较。当有效字符占比低于拒绝阈值时,系统通过拒绝策略函数 拒绝该草稿token序列,不将其提交至目标模型执行验证前向计算。有效字符占比 与拒绝阈值 的比较机制中, 随模式token序列长度 增大而单调不增这一约束,源自短模式token序列包含字符数少、仅凭少量低信息量字符即可构成全部内容从而随机匹配概率更高的技术特性,因此对短模式施加更严格的过滤以抑制随机匹配导致的无效草稿,对长模式适当放宽以避免误拒有效草稿,在草稿召回率与验证有效率之间实现长度感知的平衡。当 为零时直接定义 并触发拒绝,确保空文本、纯空白文本等极端情形被严格拦截。
61、就五步确定性归一化管线而言,依次执行nfkd兼容分解、去除mn类非间距标记字符、统一大小写、合并连续空白以及去除首尾空白,且按固定顺序执行,以保证实现一致性,确保不同的软件实现对相同的输入文本产生唯一确定的归一化键,消除归一化实现歧义。其中nfkd兼容分解必须先于去除mn类字符执行的顺序约束,保证了预组合字符能够先被正确分解后再去除组合重音符号。对无法解码的token替换为u+fffd的异常处理以及对代理项码位的预先移除,保证了归一化管线在各种输入条件下的鲁棒性。
62、就候选后续首token一致性门控而言,当同一归一化键 对应多个原始模式token序列时,系统从匹配池中分别读取各原始模式token序列对应的后续token序列形成候选草稿集合 ,对候选草稿集合中每个草稿的首位token进行频次统计。若存在唯一占优token ,则保留以该唯一占优token为首位token的候选组;若最大频次对应多个不同token值且无法形成唯一占优,则不将候选草稿集合提交至目标模型验证,转入退化处理。该门控与质量过滤分别从信息密度维度和候选稳定性维度构成双重验证前拦截,二者的协同作用使得最终进入目标模型验证的草稿token序列在信息密度和候选一致性两方面均已通过筛查,从而提高验证首token接受率并减少无效验证次数。
63、就基于验证历史状态的候选排序而言,系统为每个原始模式token序列 维护历史接受计数 和历史拒绝计数 ,并在目标模型完成验证后执行结果回写,由此计算模式质量状态值 参与后续候选排序。该反馈机制使“匹配-过滤-验证-反馈”形成闭环质量控制链条,降低系统重复选择历史验证失败模式token序列的概率,随着推理过程的推进逐步优化候选选择策略。
64、就退化处理而言,当草稿被质量过滤拒绝或被一致性门控阻断时,系统按照缩短模式长度、logits扩展匹配、目标模型单步生成的优先级顺序依次尝试,确保在无合格草稿时推理过程不会中断,并尽可能在每一退化层级尝试获取有效草稿。就并行池初始化而言,在目标模型执行预填充计算期间利用独立线程在cpu侧并行构建匹配池 ,由于二者在计算资源上互不竞争,将匹配池初始化开销隐藏在预填充计算的时间窗口内,有助于降低首token输出时延。
65、综上,本技术各技术手段的技术效果并非来自某一个孤立的文本处理步骤,而是来自匹配池 、归一化索引、有效字符占比 、拒绝阈值 、候选首token频次、模式质量状态值 、目标模型验证以及退化处理之间的连续协同。该协同使系统在扩大n-gram投机采样召回范围的同时,对由归一化回查引入的低信息量候选和多候选分歧进行验证前控制,使目标模型的验证前向计算资源被优先分配给信息密度较高、候选稳定性较强且历史验证表现较好的草稿token序列,有助于减少无效验证前向计算的比例、提高平均接受token数、改善推理吞吐量并降低加速设备前向计算的浪费。
66、本技术的说明书中记载了大量的技术特征,分布在各个技术方案中,如果要罗列出本技术所有可能的技术特征的组合的话,会使得说明书过于冗长。为了避免这个问题,本技术上述 技术实现要素: 中公开的各个技术特征、在下文各个实施方式和例子中公开的各技术特征、以及附图中公开的各个技术特征,都可以自由地互相组合,从而构成各种新的技术方案,这些技术方案均应视为在本说明书中已经记载,除非这种技术特征的组合在技术上是不可行的。例如,在一个例子中公开了特征a+b+c,在另一个例子中公开了特征a+b+d+e,而特征c和d是起到相同作用的等同技术手段,技术上只要择一使用即可,不可能同时采用,特征e技术上可以与特征c相组合,则,a+b+c+d的方案因技术不可行而应当不被视为已经记载,而a+b+c+e的方案应当视为已经被记载。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com