一种智能体的任务请求调度方法、电子设备及存储介质与流程

本公开实施例涉及任务调度，更具体地，涉及一种智能体的任务请求调度方法、一种电子设备及一种计算机可读存储介质。

背景技术：

1、随着大型语言模型（large language model，llm）技术的快速发展，基于智能体的应用场景日益丰富，涵盖实时对话、深度研究报告生成、文生视频、图生视频、人工智能（artificial intelligence，ai）写作等多种类型。这些场景在任务调度需求上呈现出显著差异：实时场景对响应延迟要求较高，而长耗时场景则允许较长的处理周期。在图形处理单元（graphics processing unit，gpu）等计算资源有限的条件下，如何保障用户请求的处理成功率并维护集群稳定性，成为需要解决的技术问题。

2、相关技术中，针对实时场景与长耗时场景通常需要分别构建独立的调度系统，难以实现统一的接入协议、队列管理与限流控制。此外，相关技术方案普遍缺乏基于用户属性的多维度精细化调度能力，任务优先级的调整往往依赖修改代码或重启服务，无法快速响应突发任务需求。因此，需要一种能够统一支持多种任务场景、支持基于用户属性进行差异化调度、并具备运行时配置化能力的任务调度方案。

技术实现思路

1、本公开实施例的一个目的是提供一种智能体的任务请求调度的技术方案，以实现任务价值的精细化区分与算力资源的差异化倾斜分配。

2、根据本公开的第一方面，提供了一种智能体的任务请求调度方法，所述方法包括：

3、接收待执行的任务请求并解析所述任务请求的任务属性；

4、基于预设的配置映射表，根据所述任务属性确定所述任务请求的优先级；其中，所述配置映射表存储任务属性与优先级的映射关系；

5、将携带对应优先级的所述任务请求分发至优先排序队列；

6、按所述优先级从高到低的顺序读取所述优先排序队列中的任务请求，并调用智能体执行从所述优先排序队列中读取的任务请求。

7、可选地，所述任务属性包括地域、用户类型、会员等级、请求时段、任务类型中的任意一种或多种。

8、可选地，所述按所述优先级从高到低的顺序读取所述优先排序队列中的任务请求，并调用智能体执行从所述优先排序队列中读取的任务请求，包括：按所述优先级从高到低的顺序读取所述优先排序队列中的所述任务请求时，对从所述优先排序队列中读取的任务请求执行分布式限流校验；调用所述智能体执行校验通过的任务请求。

9、可选地，所述任务属性包括任务类型；所述对从所述优先排序队列中读取的任务请求执行分布式限流校验，包括：根据所述任务类型，基于令牌桶算法对从所述优先排序队列中读取的任务请求执行每秒查询率限流校验；和/或，基于信号量机制对从所述优先排序队列中读取的任务请求执行并发度限流校验。

10、可选地，所述方法还包括：检测先进先出队列中存量任务请求的积压长度；在所述积压长度超过预设的长度阈值时，将新接收的任务请求分发至所述优先排序队列；读取所述先进先出队列中的存量任务请求，根据所述配置映射表计算所述存量任务请求的优先级，并将所述存量任务请求分发至优先排序队列。

11、可选地，所述方法还包括：检测所述任务请求在所述优先排序队列中的排队时长；根据所述任务属性、所述排队时长、所述优先级检测所述任务请求是否满足丢弃条件；在所述任务请求满足所述丢弃条件的情况下，将所述任务请求从所述优先排序队列中剔除，并向所述任务请求的发送端返回丢弃响应。

12、可选地，所述任务属性还包括任务类型，所述将携带对应优先级的所述任务请求分发至优先排序队列，包括：确定与所述任务类型相匹配的目标存储介质；将携带对应优先级的将所述任务请求分发至与所述目标存储介质对应的优先排序队列。

13、可选地，所述方法还包括：通过配置中心接收对所述配置映射表的更新指令，对所述配置映射表进行热更新。

14、可选地，所述任务属性还包括任务类型，所述方法还包括：获取预先针对所述任务类型所配置的事件路由关系；根据所述事件路由关系，对所述任务请求的任务状态进行更新。

15、根据本公开实施例的第二方面，还提供了一种电子设备，包括存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序，以实现根据本公开第一方面所述的方法。

16、根据本公开实施例的第三方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序在被处理器执行时实现根据本公开第一方面所述的方法。

17、本公开实施例先解析任务请求的任务属性，再依托可配置的配置映射表自动映射生成对应优先级，将任务请求分发至优先排序队列，并依据任务自身优先级高低有序读取执行的闭环调度逻辑，摒弃了传统任务请求统一fifo均等调度、无法区分任务请求与任务属性的粗放调度模式，实现任务价值的精细化区分与算力资源的差异化倾斜分配，有效避免高峰流量场景下高价值用户、核心任务请求被普通低优任务请求挤占阻塞的问题，大幅降低高优任务请求的排队时延、提升核心任务请求的执行成功率，同时依托配置化映射规则实现调度策略可动态配置、无需硬编码改代码适配场景迭代，兼顾任务请求调度的灵活性、精准性与任务请求调度系统的稳定性，在保障整体任务请求吞吐能力的基础上，最大化提升gpu算力资源的利用价值与核心任务请求的用户体验。

18、通过以下参照附图对本公开的示例性实施例的详细描述，本公开实施例的其它特征及其优点将会变得清楚。

1.一种智能体的任务请求调度方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述任务属性包括地域、用户类型、会员等级、请求时段、任务类型中的任意一种或多种。

3.根据权利要求1所述的方法，其特征在于，所述按所述优先级从高到低的顺序读取所述优先排序队列中的任务请求，并调用智能体执行从所述优先排序队列中读取的任务请求，包括：

4.根据权利要求3所述的方法，其特征在于，所述任务属性包括任务类型；所述对从所述优先排序队列中读取的任务请求执行分布式限流校验，包括：

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

7.根据权利要求1所述的方法，其特征在于，所述任务属性还包括任务类型，所述将携带对应优先级的所述任务请求分发至优先排序队列，包括：

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

9.根据权利要求1所述的方法，其特征在于，所述任务属性还包括任务类型，所述方法还包括：

10.一种电子设备，其特征在于，包括存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序，以实现根据权利要求1-9中任一项所述的方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-9中任一项所述的方法。