针对检索增强的任务执行方法、装置及计算机设备与流程

摘要: 本技术涉及数据处理的,特别是涉及一种针对检索增强的任务执行方法、装置及计算机设备。背景技术:1、当前,企业级人工智能应用常需要集成多个大语言模型以及多个业务智能...
针对检索增强的任务执行方法、装置及计算机设备与流程

本技术涉及数据处理的,特别是涉及一种针对检索增强的任务执行方法、装置及计算机设备。

背景技术:

1、当前,企业级人工智能应用常需要集成多个大语言模型以及多个业务智能体。在相关技术中,执行用户的任务请求的逻辑通常为,从多个模型以及智能体中择一选择出任务模型,并利用任务模型执行用户的任务请求。择一选择任务模型的一种方式可以为,利用离线训练的奖励模型对各模型和智能体进行评分,将评分最高的模型/智能体确定为任务模型。

2、在实际过程中,请求文本可能属于某一特定领域,比如针对法律法规的问答以及针对机场场景的问询;然而,现有奖励模型通常采用固定的评分机制,仅基于通用领域的表现对各候选模型进行统一评估和排序,这导致根据评分所选出的任务模型难以充分契合特定领域输入的特点与需求;因此,相关技术中所确定的任务模型与请求文本的适配程度可能较低,进而使得最终的执行结果的质量较差。

3、如何提升执行结果的质量,是一个亟需解决的技术问题。

技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够提升执行结果的质量的针对检索增强的任务执行方法、装置及计算机设备。

2、第一方面,本技术提供了一种针对检索增强的任务执行方法,包括:

3、根据任务请求的请求类型以及路由规则,确定所述任务请求对应的路由树;所述任务请求包括用户的请求文本以及根据请求文本进行增强检索得到的召回知识;所述路由树包括各候选模型,以及各所述候选模型之间的执行关系;

4、根据所述召回知识,确定各所述候选模型与所述任务请求的匹配度,并根据所述匹配度,确定各所述候选模型的排序队列;

5、根据所述排序队列以及所述执行关系,调用各所述候选模型处理所述任务请求,得到各所述候选模型的执行结果;

6、根据归约策略确定各所述执行结果的质量分数,并根据所述质量分数从各所述执行结果中确定目标执行结果,并输出所述目标执行结果。

7、在其中一个实施例中,所述根据所述召回知识,确定各所述候选模型与所述任务请求的匹配度,包括:

8、对每一所述候选模型,将核心知识与所述候选模型的标签集进行匹配,得到标签匹配结果;所述核心知识为与所述请求文本的相似度最高的所述召回知识;

9、根据所述标签匹配结果,确定各所述候选模型与所述任务请求的匹配度。

10、在其中一个实施例中,所述标签集包括通配标签以及业务标签中的至少一类;所述根据所述标签匹配结果,确定各所述候选模型与所述任务请求的匹配度,包括:

11、对每一所述候选模型,根据所述匹配结果中所包含标签的类型,确定所述候选模型对应的排序层级;

12、根据所述排序层级以及所述候选模型对应的静态优先级,确定各所述候选模型与所述任务请求的所述匹配度。

13、在其中一个实施例中,所述根据所述排序队列以及所述执行关系,调用各所述候选模型处理所述任务请求,包括:

14、在所述执行关系包括故障切换关系的情况下,若确定存在故障模型,则根据所述故障模型在所述排序队列中的次序,确定目标模型,并调用所述目标模型处理所述任务请求,所述故障模型为调用失败的所述候选模型;

15、在所述执行关系包括轮询关系的情况下,根据所述轮询关系对应的各所述候选模型在所述排序队列中的次序,确定目标模型,并调用所述目标模型处理所述任务请求。

16、在其中一个实施例中,所述根据归约策略确定各所述执行结果的质量分数,包括:

17、确定各所述执行结果的负面应答率,所述负面应答率表征所述执行结果的完整性;

18、根据所述负面应答率以及参考信息,确定各所述执行结果的所述质量分数;所述参考信息为所述候选模型在所述排序队列中的次序,或,生成所述执行结果的所述候选模型对应的静态优先级。

19、在其中一个实施例中,所述根据所述负面应答率以及参考信息,确定各所述执行结果的所述质量分数,包括:

20、根据所述负面应答率,将各所述执行结果划分为正面执行结果以及负面执行结果;

21、对每一所述负面执行结果,根据所述参考信息和所述负面应答率,确定所述负面执行结果的所述质量分数;

22、对每一所述正面执行结果,确定所述执行结果与所述请求文本的关联度,并根据所述关联度与所述参考信息,确定所述正面执行结果的所述质量分数。

23、在其中一个实施例中,所述根据所述质量分数从各所述执行结果中确定目标执行结果,包括:

24、按照所述质量分数从大到小的顺序,将各所述执行结果排序,得到排序结果;其中,在所述质量分数相同时,以所述执行结果对应的所述候选模型在所述排序队列中的次序作为排序顺序;

25、将所述排序结果中首位的所述执行结果确定为所述目标执行结果。

26、第二方面,本技术还提供了一种针对检索增强的任务执行装置,所述装置包括路由模块、排序模块、执行模块以及质量审核模块,其中:

27、所述路由模块,用于根据任务请求的请求类型以及路由规则,确定所述任务请求对应的路由树;所述任务请求包括用户的请求文本以及根据请求文本进行增强检索得到的召回知识;所述路由树包括各候选模型,以及各所述候选模型之间的执行关系;

28、所述排序模块,用于根据所述召回知识,确定各所述候选模型与所述任务请求的匹配度,并根据所述匹配度,确定各所述候选模型的排序队列;

29、所述执行模块,用于根据所述排序队列以及所述执行关系,调用各所述候选模型处理所述任务请求,得到各所述候选模型的执行结果;

30、所述质量审核模块,用于根据归约策略确定各所述执行结果的质量分数,并根据所述质量分数从各所述执行结果中确定目标执行结果,并输出所述目标执行结果。

31、第三方面,本技术还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面中任一项所述的针对增强检索的任务执行方法;

32、第四方面,本技术还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面中任一项所述的针对增强检索的任务执行方法;

33、第五方面,本技术还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如上述第一方面中任一项所述的针对增强检索的任务执行方法;

34、上述针对检索增强的任务执行方法、装置及计算机设备,针对任务请求中用户输入的请求文本,对请求文本进行rag(检索增强处理)得到契合特定领域输入的特点与需求的召回知识;而根据召回知识与各候选模型的契合度,将各候选模型进行排列得到的排序队列,表征了各候选模型处理任务请求的适配程度;进而根据排序队列以及执行关系,调用各候选模型执行处理任务,以使得与任务请求适配度高的候选模型能够被优先选用执行任务请求。

35、进一步地,针对不同的请求类型预先设定了对应的路由树,以指示对应的候选模型;也就是说,对每个请求类型,将适合处理该请求类型的任务的各任务模型均作为候选模型构建为了路由树,这样不仅缩小了候选模型的范围,同时又能够避免适合的候选模型在筛选时被排除的情况出现;同时在调用各候选模型执行任务请求得到执行结果后,针对每一执行结果的质量分数,是从完整性(负面应答率)、候选模型的综合能力(静态优先级)以及执行结果自身的质量(与任务请求的关联度)这三个维度综合确定的,也就是说,质量分数即表征了执行结果的质量好坏。进一步,将质量分数最大的执行结果作为输出至用户的目标执行结果,从而以更好的契合用户的实际需求。

36、由于本技术的方法中,是调用多个候选模型均执行任务请求,因此,不存在相关技术中选择模型不精准的情况;另一方面,即使有某一模型在执行任务请求的过程中生成的执行结果不稳定,但是,其余各候选模型仍能够正常执行任务请求;而最终的目标执行结果是根据多维度综合确定的质量分数所抉择的,因此,最终输出的目标执行结果的质量能够保持相对的稳定性。