模型工具调用方法、装置、设备、存储介质和程序产品与流程
本发明涉及人工智能领域,尤其涉及一种模型工具调用方法、装置、设备、存储介质和程序产品。
背景技术:
1、随着大型语言模型(large language model,llm)的广泛应用,面向多工具协同的大模型智能体系统快速发展,尤其在任务执行、多源信息调用和响应生成等复杂应用中,对外部工具的智能调度和调用能力提出了更高要求。大模型自身知识存在时效性、专业性局限,处理实时资讯、数值运算、专业数据查询等场景时,必须调用搜索引擎、计算器、数据库、业务查询接口、行业专业插件等外部工具完成辅助计算与信息获取。在涉及多工具并行并发执行的场景中,若调度策略设计不合理,极易出现算力拥堵和资源浪费问题,因此需要对多工具协同调用的调度逻辑做优化。
2、现有技术基于资源感知思路做调度优化,先梳理任务间依赖关系构建静态工具调用图,再人工将工具划分为资源密集型、轻量非密集型两类,执行时优先调度轻量级工具,以此提升批量多任务场景下的执行速度与服务器资源利用率。但是,现有技术依赖提前人工划分工具资源类型以及预先生成固定调用图,该方式完全依靠人工前置配置,无法结合实时场景动态匹配工具与用户意图,筛选出的调用工具和用户真实需求匹配度较差,生成的用户答复不准确。
技术实现思路
1、本发明实施例的目的是提供一种模型工具调用方法、装置、设备、存储介质和程序产品,提高用户答复的准确性。
2、为实现上述目的,本发明实施例提供了一种模型工具调用方法,包括:
3、对用户指令进行意图解析,生成至少一个子任务;
4、在预设的工具索引库中筛选出与每一子任务对应的至少一个候选工具;
5、对所述候选工具进行评分,得到工具评分;
6、针对每一子任务,基于所述候选工具的工具评分和所述子任务的任务信息,生成每一子任务对应的候选工具的调用策略;
7、根据各子任务对应的调用策略调用对应的候选工具。
8、作为上述方案的改进,所述对用户指令进行意图解析前,所述方法还包括:
9、对模型可调用的全部外部工具进行元信息建模,构建工具索引库;其中,所述元信息包括功能适配特征、输出质量特征和运行特征中的至少一种。
10、作为上述方案的改进,所述对所述候选工具进行评分,得到工具评分,包括:
11、确定所述候选工具和所述子任务的任务匹配度;
12、基于所述任务匹配度和所述候选工具的元信息计算所述候选工具的工具评分。
13、作为上述方案的改进,所述调用策略以候选工具的有向调用图表征,所述调用策略包括以下至少一种:
14、按候选工具评分由高至低依次执行的顺序调用链路;
15、同步启动至少两个高分候选工具的并行分支链路;
16、当前候选工具异常时切换次级候选工具的失败回退链路;
17、并行执行多候选工具后整合多源输出结果的投票融合链路;
18、混合链路;其中,所述混合链路为由顺序调用链路、并行分支链路、失败回退链路和投票融合链路中任意至少两类链路组合形成的链路。
19、作为上述方案的改进,当所述调用策略为顺序调用链路时,在调用任一候选工具执行对应子任务并返回有效处理结果后,终止所述顺序调用链路中剩余候选工具的调用。
20、作为上述方案的改进,所述根据各子任务对应的调用策略调用对应的候选工具后,所述方法还包括:
21、对同一子任务下各候选工具返回的有效处理结果进行数据处理;
22、对数据处理后的有效处理结果进行加权融合,生成当前子任务对应的统一答复内容;
23、当生成全部子任务的统一答复内容后,获取本次工具调用对应的反馈日志,并基于所述反馈日志更新所述工具索引库内对应工具的元信息。
24、为实现上述目的,本发明实施例还提供了一种模型工具调用装置,包括:
25、子任务划分模块,用于对用户指令进行意图解析,生成至少一个子任务;
26、候选工具筛选模块,用于在预设的工具索引库中筛选出与每一子任务对应的至少一个候选工具;
27、工具评分模块,用于对所述候选工具进行评分,得到工具评分;
28、调用策略生成模块,用于针对每一子任务,基于所述候选工具的工具评分和所述子任务的任务信息,生成每一子任务对应的候选工具的调用策略;
29、工具调用模块,用于根据各子任务对应的调用策略调用对应的候选工具。
30、为实现上述目的,本发明实施例还提供了一种模型工具调用设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如上述任一实施例所述的模型工具调用方法。
31、为实现上述目的,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述任一实施例所述的模型工具调用方法。
32、为实现上述目的,本发明实施例还提供了一种计算机程序产品,包括计算机指令,所述计算机指令被处理器执行时实现如上述任一实施例所述的模型工具调用方法。
33、相比于现有技术,本发明公开的模型工具调用方法、装置、设备、存储介质和程序产品,先对用户指令做意图解析并拆分为多个子任务,能够精细化拆解用户多层需求,避免单一任务处理造成需求遗漏,针对每个子任务从工具索引库匹配候选工具并量化评分,能够依靠多维度指标客观衡量工具和子任务意图的适配程度,摆脱人工预设分类带来的主观偏差,实现工具的最优筛选匹配。另外,结合候选工具评分和子任务的任务信息动态生成专属调用策略,可自适应切换执行逻辑,区别于现有技术固定静态调用流程,且调度策略全动态自主生成,无需人工提前配置,既能保障工具和用户真实意图契合,减少结果偏差,又能应对运行中算力波动和工具超时等突发情况导致的工具调用失败,保障调用流程的稳定完整,提高模型输出答复内容的准确性与可靠性。
1.一种模型工具调用方法,其特征在于,包括:
2.如权利要求1所述的模型工具调用方法,其特征在于,所述对用户指令进行意图解析前,所述方法还包括:
3.如权利要求1所述的模型工具调用方法,其特征在于,所述对所述候选工具进行评分,得到工具评分,包括:
4.如权利要求1所述的模型工具调用方法,其特征在于,所述调用策略以候选工具的有向调用图表征,所述调用策略包括以下至少一种:
5.如权利要求4所述的模型工具调用方法,其特征在于,当所述调用策略为顺序调用链路时,在调用任一候选工具执行对应子任务并返回有效处理结果后,终止所述顺序调用链路中剩余候选工具的调用。
6.如权利要求1所述的模型工具调用方法,其特征在于,所述根据各子任务对应的调用策略调用对应的候选工具后,所述方法还包括:
7.一种模型工具调用装置,其特征在于,包括:
8.一种模型工具调用设备,其特征在于,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至6中任意一项所述的模型工具调用方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至6中任意一项所述的模型工具调用方法。
10.一种计算机程序产品,其特征在于,包括计算机指令,所述计算机指令被处理器执行时实现如权利要求1至6中任一项所述的模型工具调用方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com