基于策略级路由优化的多模型协同调用方法及装置与流程
本公开涉及大语言模型,尤其涉及一种基于策略级路由优化的多模型协同调用方法。
背景技术:
1、随着大语言模型在客服、知识问答、办公写作、代码生成、数据分析、企业知识库问答等场景中的应用增多,模型调用费用通常与 token 数量相关;一次完整调用不仅包含用户问题和上下文所形成的输入 token,还包含模型输出 token、工具调用 token、复核token、失败重试 token 等。对于长文档问答、企业知识库检索、多轮对话和复杂推理任务,token 消耗会显著增加。
2、目前模型调用技术存在如下不足:
3、1.仅按模型能力、调用成本或响应时间进行单次路由选择,容易把“低成本模型”与“低 token 消耗方案”混同,无法考虑输入 token、输出 token、压缩 token、复核 token和重试 token 对总成本的不同影响。
4、2. 对 prompt 或上下文进行压缩时,多数方案仅追求减少输入长度,没有根据任务风险、答案质量要求、上下文依赖程度决定压缩强度,可能造成关键信息丢失,进而增加返工、重试或人工复核成本。
5、3. 对复杂任务往往直接调用高能力大模型,虽然质量较高,但对于大量低风险、低复杂度请求存在明显资源浪费;而直接调用小模型又可能造成质量不足和二次调用。
6、4. 现有方案通常只关注最终答案质量,缺少对“路由策略本身”的反馈更新,无法持续学习不同任务类型下哪种调用策略能以较少 token 达到稳定质量。
7、5. 对高风险任务、隐私敏感任务、强上下文依赖任务缺少约束机制,过度压缩或低成本探索会带来事实错误、遗漏、泄露或合规风险。
技术实现思路
1、本公开至少提供了一种基于策略级路由优化的多模型协同调用方法及装置,以解决在大语言模型及多模态模型的实际调用场景中,如何在保证响应质量达到业务要求的前提下,减少总体 token 消耗,并降低由 token 消耗带来的调用成本和响应时延。
2、根据本公开的一方面,提供了一种基于策略级路由优化的多模型协同调用方法于,包括:
3、获取任务请求数据,并基于所述任务请求数据生成任务请求特征;
4、利用预先建立的历史任务库中的历史任务数据和所述任务请求特征,生成任务画像;
5、读取各个候选模型的模型画像;
6、利用所述任务画像从多种预设路由策略类型中筛选得到目标策略类型;以及,基于所述目标策略类型、所述模型画像和所述任务画像,生成多个模型调用策略;所述模型调用策略用于调用多个候选模型;
7、分别确定各个模型调用策略对应的预测总token消耗数量以及响应质量预测值;
8、根据所述任务画像确定质量约束;
9、根据各模型调用策略的响应质量预测值和预测总token消耗数量,从各模型调用策略中选取满足所述质量约束和预定的token消耗约束的候选模型调用策略;
10、根据各个候选模型调用策略的预测总token消耗数量,从各候选模型调用策略中选取目标模型调用策略;
11、执行所述目标模型调用策略,调用所述目标模型调用策略对应的各个候选模型。
12、在一种可能的方式中,所述历史任务数据包括任务原型或历史任务样本;所述任务请求特征包括请求语义特征和结构化特征;所述任务画像包括任务类型、任务复杂度、风险等级、隐私等级、上下文依赖程度、质量约束和任务偏好;
13、所述利用预先建立的历史任务库中的历史任务数据和所述任务请求特征,生成任务画像,包括:
14、利用任务原型或历史任务样本的语义特征与所述请求语义特征之间的相似度,识别得到任务类型、任务复杂度和任务偏好;
15、提取所述结构化特征的关键特征,以及结合所述关键特征和预先设置的风险识别规则库识别得到风险等级以及隐私等级;
16、利用所述结构化特征中上下文数据的语义特征与所述请求语义特征之间的相似度确定上下文依赖程度;
17、根据所述任务请求特征确定业务场景;并根据业务场景确定质量约束。
18、在一种可能的方式中,所述预设路由策略类型包括:自动模式策略、质量偏好策略、检索增强调用策略和失败回退策略;
19、所述利用所述任务画像从多种预设路由策略类型中筛选得到目标策略类型,包括:
20、在所述任务偏好表征任务请求有高质量要求或者风险等级高于预设等级的情况下,确定所述目标策略类型包括质量偏好策略;其中,所述质量偏好策略用于选择模型能力符合预定要求的候选模型、低压缩比例的候选模型、局部复核的候选模型、用于评测的候选模型中的一种或多种,并生成多模型校验的模型调用策略;
21、根据所述任务画像确定是否需要检索,在需要检索的情况下,确定目标策略类型包括检索增强调用策略;所述检索增强调用策略用于在生成所述模型调用策略之前,根据任务画像在预定的数据库对相关片段进行检索,得到用于对任务画像进行补充的特征;
22、随机确定所述目标策略类型是否包括所述自动模式策略;所述自动模式策略用于根据所述任务画像、所述模型画像、候选模型的历史 token 消耗自动生成模型调用策略;
23、所述目标策略类型包括所述失败回退策略;所述失败回退策略在所述模型调用策略中的候选模型不可用、执行所述模型调用策略之后的输出质量低于预设阈值、执行所述模型调用策略的响应超时、所述预测总token消耗数量异常或利用所述局部复核的候选模型进行复核的结果不通过的情况下,切换至备用模型、备用策略或预设的高质量策略。
24、在一种可能的方式中,所述根据各个候选模型调用策略的预测总token消耗数量,从各候选模型调用策略中选取目标模型调用策略,包括:
25、从各候选模型调用策略中选取预测总token消耗数量最小的候选模型调用策略作为目标模型调用策略。
26、在一种可能的方式中,所述根据各个候选模型调用策略的预测总token消耗数量,从各候选模型调用策略中选取目标模型调用策略,包括:
27、确定各候选模型调用策略的响应时延;
28、针对每个候选模型调用策略,根据该候选模型调用策略的响应时延和预测总token消耗数量,确定综合评选分值;
29、将综合评选分值最小的候选模型调用策略作为目标模型调用策略。
30、在一种可能的方式中,所述分别确定各个模型调用策略对应的预测总token消耗数量以及响应质量预测值,包括:
31、针对每个模型调用策略,利用该模型调用策略对应的预测输入 token数量、预测输出 token数量、预测压缩 token数量、预测复核 token数量和预测重试 token数量,确定该模型调用策略对应的预测总token消耗数量;
32、针对每个模型调用策略,基于该模型调用策略对应的任务匹配评分、模型能力评分、上下文覆盖评分、答案可验证性与事实一致性预测评分、格式符合度评分、安全与合规评分、风险惩罚项、压缩损失惩罚项,确定该模型调用策略对应的响应质量预测值。
33、在一种可能的方式中,所述基于策略级路由优化的多模型协同调用方法,还包括确定所述任务匹配评分的步骤:
34、计算所述模型调用策略对应的任务原型或历史任务样本的语义特征与所述请求语义特征之间的相似度,得到任务匹配初始值;
35、结合所述模型调用策略对应的任务原型或历史任务样本下所述模型调用策略的历史质量得分对所述任务匹配初始值进行修正,得到任务匹配评分;
36、还包括确定所述模型能力评分的步骤:
37、确定所述模型调用策略对应的各个候选模型的任务权重;
38、结合各个候选模型的自动能力评分值、人工能力评分值、历史通过率、所述任务权重以及针对所述任务请求的任务类型的业务成功率,确定所述模型能力评分;
39、还包括确定所述上下文覆盖评分的步骤:
40、确定所述模型调用策略对任务画像进行压缩、筛选或者检索得到的关键信息片段;
41、分别计算各个候选上下文片段与所述请求语义特征之间的第一相似度,以及,计算各个第一相似度的和,得到候选片段相似度和;
42、分别计算各个关键信息片段与所述请求语义特征之间的第二相似度,以及,计算各个第二相似度的和,得到目标相似度和;
43、将所述目标相似度和在所述候选片段相似度和中的占比作为所述上下文覆盖评分;
44、还包括确定所述答案可验证性与事实一致性预测评分的步骤:
45、确定所述模型调用策略对于预设功能的覆盖度;
46、基于所述覆盖度确定所述答案可验证性与事实一致性预测评分;
47、还包括确定所述格式符合度评分的步骤:
48、确定所述任务画像中的目标输出格式与所述模型调用策略对应的历史输出格式的匹配度;
49、根据所述匹配度确定所述格式符合度评分;
50、还包括确定所述安全与合规评分的步骤:
51、根据所述模型调用策略对应的各个候选模型达到所述任务画像中风险等级和隐私等级的要求的情况,确定安全与合规评分;
52、还包括确定所述风险惩罚项的步骤:
53、根据预设的风险惩罚系数、安全与合规评分以及风险等级确定所述风险惩罚项;
54、还包括确定所述压缩损失惩罚项的步骤:
55、确定所述模型调用策略对所述任务画像的压缩比例;
56、根据预设的压缩损失系数、所述上下文覆盖评分、所述压缩比例确定所述压缩损失惩罚项。
57、在一种可能的方式中,所述基于策略级路由优化的多模型协同调用方法,还包括:
58、获取所述目标模型调用策略执行后的输出结果和响应时延;
59、对所述输出结果进行用户评分、自动评测模型评分、规则校验、引用核查、格式校验、业务执行成功率评估,并根据结果确定质量评价结果;
60、利用所述任务请求数据、所述目标模型调用策略、所述质量评价结果构建模型训练样本;
61、利用所述模型训练样本训练执行所述基于策略级路由优化的多模型协同调用方法的模型,并修改候选模型的模型画像。
62、在一种可能的方式中,所述基于策略级路由优化的多模型协同调用方法,还包括:
63、利用日志记录所述任务画像、所述目标策略类型、所述模型调用策略、所述预测总token消耗数量、所述响应质量预测值以及所述质量评价结果。
64、根据本公开的另一方面,提供一种基于策略级路由优化的多模型协同调用装置,包括:
65、接入与请求处理模块,用于获取任务请求数据,并基于所述任务请求数据生成任务请求特征;
66、任务画像生成模块,用于利用预先建立的历史任务库中的历史任务数据和所述任务请求特征,生成任务画像;
67、策略剪裁模块,用于读取各个候选模型的模型画像;利用所述任务画像从多种预设路由策略类型中筛选得到目标策略类型;以及,基于所述目标策略类型、所述模型画像和所述任务画像,生成多个模型调用策略;所述模型调用策略用于调用多个候选模型;
68、路由核心模块,用于分别确定各个模型调用策略对应的预测总token消耗数量以及响应质量预测值;根据所述任务画像确定质量约束;根据各模型调用策略的响应质量预测值和预测总token消耗数量,从各模型调用策略中选取满足所述质量约束和预定的token消耗约束的候选模型调用策略;根据各个候选模型调用策略的预测总token消耗数量,从各候选模型调用策略中选取目标模型调用策略;
69、执行模块,用于执行所述目标模型调用策略,调用所述目标模型调用策略对应的各个候选模型。
70、本公开的基于策略级路由优化的多模型协同调用方法及装置,首先获取任务请求数据,并基于所述任务请求数据生成任务请求特征;利用预先建立的历史任务库中的历史任务数据和所述任务请求特征,生成任务画像;之后读取各个候选模型的模型画像,利用所述任务画像从多种预设路由策略类型中筛选得到目标策略类型;以及,基于所述目标策略类型、所述模型画像和所述任务画像,生成多个模型调用策略;所述模型调用策略用于调用多个候选模型;之后分别确定各个模型调用策略对应的预测总token消耗数量以及响应质量预测值;根据所述任务画像确定质量约束;最后根据各模型调用策略的响应质量预测值和预测总token消耗数量,从各模型调用策略中选取满足所述质量约束和预定的token消耗约束的候选模型调用策略;根据各个候选模型调用策略的预测总token消耗数量,从各候选模型调用策略中选取目标模型调用策略;执行所述目标模型调用策略,调用所述目标模型调用策略对应的各个候选模型。
71、上述技术方案实现了多模型协同调用,在工程实践中,不同模型在不同任务上的能力、成本和上下文窗口差异明显;较小模型在简单分类、短问答、摘要预处理等任务上能够以较低成本完成工作;较大模型在复杂推理、专业领域问答、长上下文综合、事实一致性校验等任务上质量更稳定。因此,多模型协同调用可以在质量和成本之间取得更好的平衡。综合考量,本公开的方案成本更低,原因是本公开不是单纯选择低价模型,而是在保证质量的前提下选择总体 token 消耗较低的调用策略,可同时减少输入、输出、复核和重试token。同时,本公开的方案质量更稳定,本公开通过任务风险识别、质量预测、质量约束和局部复核机制等,避免因过度压缩或直接调用低能力模型导致答案遗漏、事实错误或格式错误。同时,本公开的方案适用场景更广,本公开中的模型调用策略既可以是单模型调用,也可以是小模型压缩、大模型回答、小模型初答、大模型复核、多模型校验或失败回退,适用于问答、总结、写作、代码、客服、企业知识库等多类任务。同时,本公开的方案风险控制更强,对高风险、高隐私、强上下文依赖任务,本公开通过对应的策略类型提高质量阈值、限制压缩比例、优先使用可信模型或启用复核,从而兼顾成本节省和安全合规。另外,本公开的技术方案能够持续优化,本公开根据实际的质量评价结果更新模型画像,使同一模型在不同任务类型下形成独立画像,后续决策更贴合真实业务表现。再者,本公开的技术方案易于审计,本公开记录每次路由的任务画像、模型画像、所述目标策略类型、所述模型调用策略、所述预测总token消耗数量、所述响应质量预测值以及所述质量评价结果,便于解释为何选择某一模型或调用策略。
72、应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com