一种任务处理方法、装置、设备以及存储介质与流程

摘要: 本公开涉及计算机,尤其涉及数据处理、人工智能、大语言模型、智能体等,具体涉及一种任务处理方法、装置、设备以及存储介质。背景技术:1、随着技术的发展,基于大语言模...
一种任务处理方法、装置、设备以及存储介质与流程

本公开涉及计算机,尤其涉及数据处理、人工智能、大语言模型、智能体等,具体涉及一种任务处理方法、装置、设备以及存储介质。

背景技术:

1、随着技术的发展,基于大语言模型的智能处理系统的应用场景越来越广泛。在智能处理系统中通常包括多个具有不同处理职责的角色智能体,不同角色智能体对模型能力、响应速度、调用成本以及并发能力的需求并不相同。相关技术中,多个角色智能体常采用统一的模型调用方式,难以兼顾调用成本、并发容量和处理质量,容易引起模型调用失败、服务不可用或调用权限受限等问题,进而造成智能处理系统服务中断,降低用户体验。

技术实现思路

1、本公开提供了一种任务处理方法、装置、设备以及存储介质。

2、根据本公开的一方面,提供了一种任务处理方法,包括:

3、响应于接收到待处理的任务,拆解任务,得到至少一个子任务和每个子任务对应的提示信息,以及每个子任务对应角色智能体;

4、根据每个角色智能体对应的角色信息,确定每个角色智能体的目标模型调用通道和目标处理模型;

5、对应每个角色智能体,获取目标模型调用通道的并发容量配置信息,对并发容量配置信息进行调用校验,以及在调用校验通过的情况下,通过目标模型调用通道向目标处理模型传入与子任务对应的提示信息,得到角色智能体对应的处理结果;

6、汇总各角色智能体的处理结果,得到目标处理结果。

7、根据本公开的另一方面,提供了一种任务处理装置,包括:

8、业务模块,用于响应于接收到待处理的任务,拆解任务,得到至少一个子任务和每个子任务对应的提示信息,以及每个子任务对应角色智能体;

9、处理模块,用于根据每个角色智能体对应的角色信息,确定每个角色智能体的目标模型调用通道和目标处理模型;

10、处理模块,还用于对应每个角色智能体,获取目标模型调用通道的并发容量配置信息,对并发容量配置信息进行调用校验,以及在调用校验通过的情况下,通过目标模型调用通道向目标处理模型传入与子任务对应的提示信息,得到角色智能体对应的处理结果;

11、业务模块,还用于汇总各角色智能体的处理结果,得到目标处理结果。

12、根据本公开的另一方面,提供了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行如上的任务处理方法。

13、根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,计算机指令用于使计算机执行如上的任务处理方法。根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现如上的任务处理方法。

14、应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

1.一种任务处理方法,包括:

2.根据权利要求1所述的方法,其中,在所述角色信息对应第一路由类别的情况下,所述角色信息对应预设调用信息,所述预设调用信息包括模型调用通道和处理模型;

3.根据权利要求1所述的方法,其中,在所述角色信息对应第二路由类别的情况下,所述角色信息对应多个不同的候选档位,不同候选档位对应不同的预设调用信息;

4.根据权利要求3所述的方法,其中,所述获取所述角色智能体的在预定周期内的任务处理数量,包括:

5.根据权利要求4所述的方法,其中,获取所述单次任务对应的模型调用需求量,包括:

6.根据权利要求5所述的方法,其中,所述根据所述单次任务对应的分支路径数量、所述每个分支路径对应的智能体调用次数和所述单次模型调用次数,包括:

7.根据权利要求3所述的方法,其中,所述方法还包括:

8.根据权利要求3所述的方法,其中,所述模型调用承载范围包括第二阈值范围,所述第二阈值范围位于所述第一阈值范围内;

9.根据权利要求3-8任意一项所述的方法,其中,在所述通过所述目标模型调用通道向所述目标处理模型传入与所述子任务对应的提示信息之前,所述方法还包括:

10.根据权利要求1所述的方法,其中,所述并发容量配置信息包括模型配置并发数和硬性并发上限;

11.根据权利要求1所述的方法,其中,在所述通过所述目标模型调用通道向所述目标处理模型传入与所述子任务对应的提示信息之前,所述方法还包括;

12.一种任务处理装置,包括:

13.一种电子设备,包括:

14.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-11中任一项所述的方法。

15.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-11中任一项所述的方法。