用于大语言模型服务的推理编排方法及系统与流程
本技术涉及人工智能,特别涉及一种用于大语言模型服务的推理编排方法、系统、电子设备及计算机可读存储介质。
背景技术:
1、随着大语言模型的发展,基于大语言模型的推理服务被广泛应用于对话交互、文档摘要、代码生成与调试、检索增强问答、结构化信息抽取以及智能体等场景。在此类推理服务中,服务端通常需要在输出质量、首 token 时延、总响应时延、模型调用成本以及计算资源占用等多个方面进行权衡。
2、在一些方案中,推理服务对所有用户请求采用固定的模型、固定的思考或生成长度上限以及固定的验证策略。对于内容简单、风险较低的请求,固定长度的思考路径会产生并不必要的 token 消耗与响应时延;而对于内容复杂或风险较高的请求,固定的思考长度与验证强度又可能不足以支撑达到所需的输出质量。
3、在另一些方案中,推理服务采用小模型与大模型级联,或在检测到低置信时整体切换到更高档位的模型。然而,此类切换通常以整个用户请求为粒度,缺乏在推理过程内部按阶段、并与所消耗的 token、时延、成本、验证及硬件资源直接挂钩的动态控制手段;当用于触发切换的置信度在阈值附近波动时,还容易引发模型档位、精度档位、硬件档位或批量档位的频繁切换,从而带来模型加载与预热、并发队列迁移以及 kv cache 重建等额外开销。此外,当输出中的低置信来源集中于个别字段、代码片段、引用证据或分歧子问题等局部对象时,上述方案往往对整个用户请求重新生成,导致计算量偏大。因此,迫切需要一种新的技术方案来解决上述问题。
技术实现思路
1、本技术的目的在于提供一种用于大语言模型服务的推理编排方法及系统,以在满足输出质量与风险约束的前提下,减少简单请求的无效思考 token 消耗与响应时延,并降低资源档位频繁切换所带来的开销。
2、本技术提供了一种用于大语言模型服务的推理编排方法,由电子设备执行,包括:
3、接收用户请求并生成请求画像,所述请求画像包括任务类型、风险等级、格式约束、证据需求、服务等级协议与上下文状态中的多项;
4、根据所述请求画像初始化置信预算账本,所述置信预算账本包括质量预算、延迟预算、成本预算、思考 token 预算、验证预算与硬件资源预算中的至少两项;
5、将所述用户请求的推理过程划分为多个思考段,每个思考段具有段号、起止位置、模型档位、精度档位与最大 token 数的一项或多项,并执行当前思考段;
6、在所述当前思考段结束后,生成表征所述当前思考段综合置信度的置信摘要,以及资源消耗摘要;其中,资源消耗摘要表征包括但不限于当前思考段的思考 token 消耗、时延消耗、成本消耗、验证预算消耗与硬件资源占用变化中的多项。
7、根据所述置信摘要、所述资源消耗摘要与所述置信预算账本的剩余预算,更新所述置信预算账本;
8、在思考段边界,根据更新后的所述置信预算账本与所述置信摘要,在继续思考、提前提交、局部复核、资源升级、资源压缩与回退中确定并执行状态转换;
9、根据所述状态转换的结果输出控制指令,所述控制指令用于执行下述操作中的至少一项:追加或截断思考段以控制 token 生成量、切换模型档位、调整精度档位、切换硬件档位、调整批量档位、对 kv cache 进行保留、压缩或释放、调用验证器、跳过验证器;
10、其中,被追加的思考段依据当前的或经所述控制指令调整后的模型档位、精度档位或硬件档位继续执行,作为下一思考段进入所述置信摘要的生成与所述置信预算账本的更新。
11、在一个优选例中,所述置信预算账本还包括风险预算,且所述质量预算、延迟预算、成本预算、风险预算、思考 token 预算、验证预算与硬件资源预算,分别用于约束:追加思考与验证的质量目标、首 token 时延与总响应时延、模型调用与 token 及资源消耗、高风险请求的提交阈值与回退条件、内部思考段长度与总思考 token 数、复核次数与多候选数量、以及 gpu、npu、cpu、显存、kv cache 与并发队列的占用;
12、所述根据所述请求画像初始化置信预算账本,包括:对风险等级低的摘要请求,初始化较低的思考 token 预算与验证预算;对代码调试请求,初始化中等或较高的思考token 预算与较高的验证预算;对风险等级高的业务请求,初始化较高的提交阈值 、较高的验证预算与更严格的回退条件;
13、其中, 表示提交阈值,随风险等级上调。
14、在一个优选例中,所述生成表征所述当前思考段综合置信度的置信摘要,包括根据模型自置信度、候选一致性、证据覆盖度、格式满足度、验证结果与推理偏离度中的多项,按下式确定综合置信度 :
15、
16、其中, 表示第 个思考段的综合置信度; 表示模型对结论的自置信度; 表示多候选或多思考段结论的一致程度; 表示答案与检索证据的覆盖程度; 表示输出满足格式约束的程度; 表示验证器的校验通过程度; 表示当前思考段相对原始请求约束的偏离程度; 至 为由任务类型与风险等级确定的权重,且对检索增强问答提高 ,对代码生成或代码调试提高 与 ,对高风险业务请求提高 。
17、在一个优选例中,所述更新所述置信预算账本之后,还包括:
18、计算所述当前思考段的单段置信收益 ,并计算单位资源置信收益 :
19、
20、维护长度为 的置信收益窗口,并计算窗口平均收益 :
21、
22、根据所述单位资源置信收益 及其阈值,判定执行所述继续思考或转入所述局部复核;并且,当所述窗口平均收益 小于边际收益阈值 ,且所述置信预算账本的剩余思考 token 预算、剩余延迟预算或剩余成本预算之一低于其对应预算的触发比例时,判定进入置信收益递减区,停止执行所述继续思考,转入所述提前提交、所述局部复核或所述回退;
23、其中,、 分别表示第 、 段的单段置信收益;、 分别表示第、 段的综合置信度; 表示单位资源置信收益;、、、、 分别表示所述资源消耗摘要中第 段的思考 token 消耗、时延消耗、成本消耗、验证预算消耗与硬件资源占用变化;、、、 为资源归一化系数; 为避免分母为零的正数; 为窗口段数; 表示窗口平均收益; 为边际收益阈值。
24、在一个优选例中,所述确定并执行状态转换,包括基于双阈值滞回规则执行资源档位切换:
25、设置低阈值 与高阈值 ,满足 ;当所述综合置信度 处于死区 时,维持当前的模型档位、精度档位、硬件档位与批量档位;
26、当连续 个思考段满足 且剩余质量预算未低于质量下限时,或者当 时,触发所述资源升级,其中 为硬触发阈值且满足;
27、当连续 个思考段满足 、资源压力高于压力阈值 、且所述请求画像中的风险等级未高于风险阈值时,触发所述资源压缩;所述资源压力根据队列长度、显存占用、硬件利用率、并发负载与剩余延迟预算中的至少一项确定;
28、其中,、 分别为低阈值与高阈值; 表示第 段的综合置信度;、 分别为触发资源升级、资源压缩的连续段数; 为硬触发阈值; 为资源压力阈值。
29、在一个优选例中,在触发所述资源升级或所述资源压缩时、执行档位切换之前,还包括:
30、判断所述当前思考段的段号与上一次档位切换所在段号之差是否不小于最小驻留段数 ,若不满足则维持当前档位;档位切换完成后,在冻结窗口 段内保持模型档位、精度档位与硬件档位不变;
31、在满足所述最小驻留段数后,执行切换代价校验,计算切换代价 :
32、
33、当切换后的预期置信收益 大于 时,执行所述档位切换;否则取消本次切换,改为在当前档位内执行所述局部复核、验证强度调整或思考段压缩;
34、其中, 为最小驻留段数; 为冻结窗口段数; 表示切换代价;、、、 分别表示目标模型加载与预热代价、kvcache 保留压缩释放或重建代价、并发或硬件队列迁移代价、以及精度切换的重算或重排代价; 至 为分项归一化系数; 表示切换后的预期置信收益; 为切换收益系数。
35、在一个优选例中,当所述置信摘要显示综合置信度未达提交阈值、且低置信来源集中于局部对象时,不对整个用户请求重新生成,而根据所述置信摘要中格式满足度、证据覆盖度、验证结果或候选一致性的低分项,或者推理偏离度的高分项,定位复核对象,所述复核对象包括格式字段或代码块、引用片段或检索证据、关键数值或工具输出、候选分歧的子问题、以及偏离的思考段中的至少一种,并针对定位到的复核对象,执行格式校验或字段完整性检查、证据与答案的对应关系复查、调用验证器或复核模型、对分歧子问题重新采样、或从最近未偏离思考段继续中的相应复核动作;所述局部复核仅扣减所述置信预算账本中的验证预算与对应的思考 token 预算,不重复扣减已完成思考段的成本预算;
36、所述局部复核完成后,更新所述置信摘要和所述置信预算账本,并根据更新后的所述置信摘要和所述置信预算账本,重新确定并执行状态转换;
37、当多个状态转换条件同时满足时,按照回退优先于局部复核、局部复核优先于资源升级、资源升级优先于继续思考、继续思考优先于资源压缩、资源压缩优先于提前提交的优先级次序,确定并执行状态转换。
38、本技术提供了一种用于大语言模型服务的推理编排系统,包括:
39、请求画像生成模块,用于接收用户请求并生成请求画像,所述请求画像包括任务类型、风险等级、格式约束、证据需求、服务等级协议与上下文状态中的多项;
40、预算初始化模块,用于根据所述请求画像初始化置信预算账本,所述置信预算账本包括质量预算、延迟预算、成本预算、思考 token 预算、验证预算与硬件资源预算中的至少两项;
41、思考段执行模块,用于将所述用户请求的推理过程划分为多个思考段,每个思考段具有段号、起止位置、模型档位、精度档位与最大 token 数的一项或多项,并执行当前思考段;
42、摘要生成模块,用于在所述当前思考段结束后,生成表征所述当前思考段综合置信度的置信摘要,以及资源消耗摘要;其中,资源消耗摘要表征包括但不限于当前思考段的思考 token 消耗、时延消耗、成本消耗、验证预算消耗与硬件资源占用变化中的多项。
43、预算更新模块,用于根据所述置信摘要、所述资源消耗摘要与所述置信预算账本的剩余预算,更新所述置信预算账本;
44、状态机编排模块,用于在思考段边界,根据更新后的所述置信预算账本与所述置信摘要,在继续思考、提前提交、局部复核、资源升级、资源压缩与回退中确定并执行状态转换;
45、控制执行模块,用于根据所述状态转换的结果输出控制指令,所述控制指令用于执行下述操作中的至少一项:追加或截断思考段以控制 token 生成量、切换模型档位、调整精度档位、切换硬件档位、调整批量档位、对 kv cache 进行保留、压缩或释放、调用验证器、跳过验证器,且被追加的思考段依据当前的或经所述控制指令调整后的模型档位、精度档位或硬件档位继续执行,作为下一思考段进入所述置信摘要的生成与所述置信预算账本的更新。
46、本技术提供了一种电子设备,包括处理器、存储器与计算资源,所述计算资源包括gpu、npu 或 cpu 中的至少一种,所述存储器存储有计算机程序指令,所述计算机程序指令被所述处理器执行时,使所述电子设备实现上述方法。
47、本技术提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述方法。
48、本技术通过前述各技术手段的协同,在大语言模型推理服务的运行过程中,于输出质量、风险约束与资源消耗之间形成较为受控的运行机制,具体体现在以下相互关联的方面。
49、其一,通过在单个用户请求的推理生命周期内建立置信预算账本,并在每个思考段边界生成置信摘要与资源消耗摘要、更新预算并执行状态转换,使系统能够根据阶段性的置信状态与剩余预算动态控制思考长度、验证范围与资源档位,从而有助于降低简单请求的无效追加思考,并有助于降低复杂或高风险请求因固定预算而思考不足的情形。
50、其二,通过计算单位资源置信收益并结合窗口平均收益检测置信收益递减,将是否继续追加思考的判断与思考 token、时延、成本、验证及硬件资源的消耗直接挂钩,从而有助于在置信收益效率转平后及时停止追加思考,减少低收益阶段的无效 token 消耗与响应时延。
51、其三,通过双阈值死区、连续段数、硬触发阈值、最小驻留期、冻结窗口以及切换代价校验相配合,仅在预期置信收益足以覆盖切换代价时才切换资源档位,从而有助于降低置信度在临界阈值附近波动所引发的模型档位、精度档位、硬件档位或批量档位的频繁切换,并有助于减少模型预热、队列迁移与 kv cache 重建等开销。
52、其四,通过根据低分信号定位低置信对象并执行局部复核,能够在不对整个用户请求重新生成的情况下,复核关键字段、代码片段、检索证据、工具输出或分歧子问题,且局部复核仅扣减验证预算与对应的思考 token 预算,从而有助于降低整请求重算的次数与整体计算量。
53、其五,通过状态转换的优先级次序与逐段审计记录,使多条件并存时的状态转换确定且可解释,便于服务端后续对预算初始化规则、阈值规则与资源调度策略进行标定与更新。
54、需要说明的是,上述技术效果的具体程度与所处理的任务类型、请求分布、资源配置以及各阈值与系数的取值有关,通常在请求分布具有质量与资源可优化空间时更为明显。
55、上述用于大语言模型服务的推理编排系统、电子设备与计算机可读存储介质,能够承载并执行前述方法,使各项技术效果在具备 gpu、npu 或 cpu 等计算资源、存储器与处理器的硬件环境中得以实现。
56、本技术的说明书中记载了大量的技术特征,分布在各个技术方案中,如果要罗列出本技术所有可能的技术特征的组合(即技术方案)的话,会使得说明书过于冗长。为了避免这个问题,本技术上述 技术实现要素: 中公开的各个技术特征、在下文各个实施方式和例子中公开的各技术特征、以及附图中公开的各个技术特征,都可以自由地互相组合,从而构成各种新的技术方案(这些技术方案均因视为在本说明书中已经记载),除非这种技术特征的组合在技术上是不可行的。例如,在一个例子中公开了特征 a+b+c,在另一个例子中公开了特征 a+b+d+e,而特征 c 和 d 是起到相同作用的等同技术手段,技术上只要择一使用即可,不可能同时采用,特征 e 技术上可以与特征 c 相组合,则,a+b+c+d 的方案因技术不可行而应当不被视为已经记载,而 a+b+c+e 的方案应当视为已经被记载。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com