一种输入自适应的大语言模型层跳过推理加速方法和系统与流程

摘要: 本发明涉及人工智能中的深度学习与自然语言处理,特别是涉及一种输入自适应的大语言模型层跳过推理加速方法和系统。背景技术:1、基于transformer的大语言模型...
一种输入自适应的大语言模型层跳过推理加速方法和系统与流程

本发明涉及人工智能中的深度学习与自然语言处理,特别是涉及一种输入自适应的大语言模型层跳过推理加速方法和系统。

背景技术:

1、基于transformer的大语言模型(large language model,简称llm)支撑着现代自然语言处理与通用人工智能系统,在文本生成、摘要、问答、推理等广泛任务上取得了优异的性能。然而,随着模型深度和上下文长度的不断增长,推理效率已经成为制约大语言模型落地应用的关键瓶颈。

2、在自回归解码范式下,每一个生成的词元都必须顺序地通过全部transformer层,这使得推理延迟在根本上受模型深度的约束;与此同时,注意力计算需要持续扩展键值缓存(key-value cache,简称kv缓存),其规模随序列长度和模型深度增长,带来巨大的显存与带宽开销。在长上下文场景中,kv缓存往往超过模型参数本身而成为推理时显存的主要来源,使得显存而非计算成为部署的约束条件。

3、为缓解自回归解码带来的推理瓶颈,现有研究主要从模型压缩和动态计算两个方向展开。模型压缩技术包括知识蒸馏、量化和剪枝等,旨在减小模型规模或数值精度;动态计算则试图在运行时避免不必要的计算。其中,层级别的跳过(layer skipping)由于能够在不修改模型结构的前提下直接减少每词元的计算量和kv缓存构建开销,已经成为一种具有代表性且被广泛采用的策略。然而,现有的层跳过方法仍然存在一些不可忽略的缺陷:

4、第一、静态跳层方法按照固定的间隔跳过transformer层,或者依赖离线统计量、历史平均值预先选定一个固定的待跳过层子集。这类方法虽然保持了一致的计算路径,但是完全缺乏对输入的自适应性,其跳过决策在推理时即已固定,无法根据输入的具体内容进行调整,既可能跳过对当前输入仍然重要的层,也可能保留对当前输入冗余的层,因而在复杂或者多样化的任务上性能次优,甚至出现任务性能完全崩溃的情况;

5、第二、基于置信度的提前退出(early-exit)类动态方法虽然具有输入自适应性,但是其决策粒度为词元级别,不同词元会走互不相同的异构执行路径,从而破坏自回归解码所要求的kv缓存一致性:被某些词元跳过的层在kv缓存中缺失相应的键值状态,使得后续注意力计算不得不依赖不完整的历史键值状态,破坏上下文一致性并显著降低生成质量;

6、第三、衡量层重要性的输入-输出余弦相似度本质上是一个事后(post-hoc)指标,只有在该层被完整执行之后才能计算得到,因而在层执行之前不可获得,无法直接作为跳过决策依据;现有方法只能依赖对层重要性的间接近似,难以在计算前形成可靠的层贡献判据;

7、第四、基于路由网络的动态跳层方法(如混合深度方法、路由器微调方法等)需要昂贵的端到端联合训练,部署代价高,并且在推理时的灵活性有限,其跳过行为被训练阶段学习到的预定义跳层比例所约束,推理时难以根据输入内容灵活调整;

8、第五、部分动态方法在解码阶段需要为每一个新生成的词元重复评估层重要性,引入持续的额外计算开销,使跳层本应带来的加速收益被部分甚至完全抵消;

9、第六、现有层跳过方法普遍只关注计算量的减少,未能将跳层与kv缓存层数削减相绑定,因而难以同时缓解长上下文推理中的显存压力;而长上下文推理中kv缓存显存恰恰是最紧缺的资源,导致现有方法难以在显存受限的设备上部署。

10、上述缺陷相互制约:增强输入自适应性往往破坏自回归解码所需的路径一致性;保持路径一致性又可能牺牲对输入内容的适应能力;减少计算量的方案未必减少kv缓存显存;在解码阶段持续评估层重要性还会引入额外开销。因此,现有层跳过技术难以同时兼顾输入自适应性、执行路径一致性、决策前置可行性、解码低开销与kv缓存显存收益。

11、综上所述,如何在层执行之前获得可靠的层贡献判据、在全部解码词元间保持一致的执行路径、避免解码阶段重复决策开销,并同时降低计算量与kv缓存显存,是现有层跳过技术中一个根本性而尚未被解决的挑战。

12、需要说明的是,在上述背景技术部分公开的信息仅用于对本技术的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本发明的主要目的在于克服上述背景技术中存在的缺陷,提供一种输入自适应的大语言模型层跳过推理加速方法和系统。

2、为实现上述目的,本发明采用以下技术方案:

3、一种输入自适应的大语言模型层跳过推理加速方法,包括以下步骤:

4、s1、获取用户输入的文本,对所述文本进行分词处理,以得到输入词元序列;

5、s2、将所述输入词元序列输入待加速的大语言模型的嵌入层,以得到初始隐藏状态;其中所述待加速的大语言模型包含依次连接的嵌入层、l个transformer层以及语言模型头,l为transformer层的总数;

6、s3、加载与所述待加速的大语言模型对应的、预先离线训练好的层隐藏状态预测器集合、每一层的范数比例以及每一层的决策阈值;其中所述层隐藏状态预测器集合包含与各transformer层一一对应的轻量级预测器;

7、s4、在预填充阶段,逐层执行以下处理:针对当前transformer层,将该层的输入隐藏状态输入与该层对应的轻量级预测器,在该层执行之前得到该层的预测输出隐藏状态,并计算该层输入隐藏状态与所述预测输出隐藏状态之间的预测余弦相似度;当所述预测余弦相似度大于该层对应的决策阈值时,跳过该层的完整计算,以该层的范数比例对输入隐藏状态进行缩放并将缩放结果作为该层输出隐藏状态,且不为该层构建键值缓存;否则执行该层的完整计算并将完整计算结果作为该层输出隐藏状态,且为该层构建键值缓存;将当前层的输出隐藏状态作为下一层的输入隐藏状态,直至完成全部transformer层的处理;

8、s5、根据预填充阶段各transformer层被跳过或被执行的判定结果,生成本次推理请求对应的层执行掩码,并将最后一个transformer层的输出隐藏状态输入所述语言模型头,以得到第一个输出词元;

9、s6、在解码阶段,针对每一个新生成的词元,均直接复用所述层执行掩码,使所有词元共享完全一致的层执行路径;对所述层执行掩码中标记为执行的transformer层进行完整计算、并将新生成的键值追加到该层已有的键值缓存中;对所述层执行掩码中标记为跳过的transformer层不进行完整计算、以该层的范数比例对其输入隐藏状态进行缩放作为输出、且不进行键值缓存追加;

10、s7、重复执行步骤s6,直到生成结束符或者达到预设的最大输出长度为止,将生成的所有词元转换为文本并输出给用户。

11、一种输入自适应的大语言模型层跳过推理加速系统,包括:

12、分词模块,用于获取用户输入的文本,对所述文本进行分词处理,以得到输入词元序列;

13、嵌入模块,用于将所述输入词元序列输入待加速的大语言模型的嵌入层,以得到初始隐藏状态;

14、加载模块,用于加载与所述待加速的大语言模型对应的、预先离线训练好的层隐藏状态预测器集合、每一层的范数比例以及每一层的决策阈值;

15、预测模块,用于在预填充阶段针对每一个transformer层,将该层的输入隐藏状态输入与该层对应的轻量级预测器,在该层执行之前得到该层的预测输出隐藏状态,并计算该层输入隐藏状态与所述预测输出隐藏状态之间的预测余弦相似度;

16、跳层判定模块,用于将所述预测余弦相似度与该层对应的决策阈值进行比较:当所述预测余弦相似度大于该层决策阈值时,跳过该层的完整计算,以该层的范数比例对输入隐藏状态进行缩放作为该层输出,并且不为该层构建键值缓存;否则执行该层的完整计算并为该层构建键值缓存;

17、掩码生成模块,用于根据各transformer层被跳过或被执行的判定结果生成本次推理请求对应的层执行掩码,并将最后一个transformer层的输出隐藏状态输入语言模型头,以得到第一个输出词元;

18、解码模块,用于在解码阶段针对每一个新生成的词元直接复用所述层执行掩码,对标记为执行的transformer层进行完整计算并追加键值缓存,对标记为跳过的transformer层仅以范数比例进行缩放且不追加键值缓存,从而使所有词元共享完全一致的层执行路径;

19、输出模块,用于重复调用所述解码模块,直到生成结束符或者达到预设的最大输出长度为止,将生成的所有词元转换为文本并输出给用户;

20、蒸馏训练模块,用于以余弦相似度损失为目标函数、以原始大语言模型各层的真实输出隐藏状态为教师信号,离线训练所述层隐藏状态预测器集合,并基于验证样本集合标定每一层的范数比例、预测偏差与决策阈值。

21、本发明具有如下有益效果:

22、本发明提供了一种输入自适应的大语言模型层跳过推理加速方法和系统,在预填充阶段为每个transformer层调用与其一一对应的轻量级预测器,在层执行之前预测该层输出隐藏状态,并计算输入隐藏状态与预测输出隐藏状态之间的预测余弦相似度,从而在层完整计算之前获得层重要性判据。与现有依赖层执行后真实输入-输出余弦相似度或离线统计量的方法相比,该判据能够在计算前获得,使跳过决策不再受事后指标不可得或间接近似的限制;同时,由于预测器以余弦相似度损失离线蒸馏得到,原模型权重全程冻结,无需修改模型参数,也无需昂贵的端到端联合训练,因而部署代价低,并且与量化、剪枝、投机解码等现有推理优化方法“相互正交”。

23、在此基础上,本发明通过验证样本集合统计每一层的预测偏差,并以全局阈值减去该层预测偏差得到逐层个性化决策阈值。该处理补偿了各层预测器误差分布的差异,避免单一全局阈值造成跳层比例失控或过度保守。对于被判定为跳过的层,本发明以该层跨输入高度稳定的范数比例对输入隐藏状态进行缩放作为输出,而不是执行完整的注意力与前馈计算。由于该范数比例反映层输出与输入之间稳定的幅值关系,跳过层仍能保持隐藏状态的幅值稳定,从而在减少计算的同时维持后续层的输入稳定。

24、进一步地,预填充阶段逐层判定结果构成本次推理请求的层执行掩码,解码阶段所有新生成的词元均直接复用该掩码,使全部词元共享完全一致的层执行路径,从根本上保证键值缓存的一致性。与词元级提前退出方法不同,本发明不会出现某些词元跳过某层、导致该层键值缓存缺失,进而使后续注意力计算依赖不完整历史键值状态的问题。并且,预测器仅在预填充阶段调用,解码阶段不再重复评估层重要性,避免了动态方法在解码过程中持续引入额外计算开销、抵消加速收益的缺陷。

25、对于被跳过层,本发明在预填充阶段不为其构建键值缓存,在解码阶段也不追加任何键值,使该层键值缓存始终为空,从而被永久性地从键值缓存显存占用中剔除。由此,跳层收益不仅体现为计算量减少,还直接扩展到推理时显存开销的降低,缓解了长上下文推理中键值缓存随序列长度和模型深度线性增长、甚至超过模型参数本身而成为显存主要来源的问题,有利于在显存受限设备上部署。

26、实验结果表明,在longbench长上下文基准上,本发明在llama-3.1-8b的12.5%和25%跳层比例下分别取得34.36和25.79的平均分,在gemma-2-9b-it的11.9%和23.8%跳层比例下分别取得46.46和28.83的平均分,在相当加速比下优于现有静态跳层方法与动态跳层方法;在推理时显存开销方面,llama-3.1-8b跳过4层和8层分别降低448mb和886mb,gemma-2-9b-it分别降低383mb和740mb。上述结果表明,本发明能够在较宽的跳层比例范围内保持端到端性能,并在获得加速的同时有效降低推理时显存开销。

27、本发明实施例中的其他有益效果将在下文中进一步述及。