异构生成模型集群调度装置、方法及存储介质与流程

本公开涉及生成式人工智能计算与调度，尤其涉及一种异构生成模型集群调度装置、方法及存储介质。

背景技术：

1、生成式人工智能服务可以在不同计算资源上部署生成模型，并在处理用户请求时调用搜索、数据库查询、代码执行、文件处理等外部工具。随着工具数量增加，同一请求可能涉及多个具有数据传递关系的工具。现有调度方式通常根据请求与工具描述之间的直接相关程度选择工具；当工具数量较多或者工具之间存在连续调用关系时，提供给生成模型的工具信息可能占用较多上下文资源，直接筛选又可能遗漏后续调用所依赖的信息，进而影响多工具调用过程的连续性和执行可靠性。因此，如何在生成模型可接收的工具信息受到限制的情况下，兼顾工具信息规模与工具调用关系，是生成式人工智能服务调度中需要解决的技术问题。

技术实现思路

1、本公开提供了一种异构生成模型集群调度装置，该装置包括处理器，处理器获取指令数据，并确定用于处理该指令数据的目标生成模型以及与目标生成模型对应的工具信息容量。在确定当前指令数据涉及的任务工具后，处理器结合工具关联信息确定候选工具集合，该候选工具集合包括任务工具以及与任务工具存在前置关系的前置工具。在目标生成模型的工具信息容量约束下，处理器基于候选工具集合进一步确定目标工具集合，并根据目标工具集合生成工具上下文数据。其中，目标工具集合至少包括任务工具以及任务工具的必要前置工具，必要前置工具的输出为对应后置工具的必填输入。工具上下文数据包含目标工具集合中工具对应的工具描述数据。随后，处理器将指令数据和工具上下文数据提供给目标生成模型，目标生成模型根据工具关联信息表征的依赖关系，按照相应的依赖顺序调用目标工具集合中的工具，并基于相应处理过程生成响应数据。

2、本公开还提供一种异构生成模型集群调度方法。该方法获取指令数据，并确定用于处理该指令数据的目标生成模型以及与目标生成模型对应的工具信息容量。在确定当前指令数据涉及的任务工具后，根据工具关联信息确定候选工具集合，该候选工具集合包括任务工具以及与任务工具存在前置关系的前置工具。在目标生成模型的工具信息容量约束下，基于候选工具集合进一步确定目标工具集合，并根据目标工具集合生成工具上下文数据。其中，目标工具集合至少包括任务工具以及任务工具的必要前置工具，必要前置工具的输出为对应后置工具的必填输入。工具上下文数据包含目标工具集合中工具对应的工具描述数据。随后，将指令数据和工具上下文数据提供给目标生成模型，使目标生成模型根据工具关联信息表征的依赖关系，按照相应的依赖顺序调用目标工具集合中的工具，并基于相应处理过程生成响应数据。

3、本公开还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，实现上述异构生成模型集群调度方法。

4、本公开提供了一种异构生成模型集群调度装置、方法及存储介质。通过在目标生成模型的工具信息容量约束下，结合工具关联信息确定与当前指令数据对应的目标工具集合，并基于目标工具集合生成工具上下文数据，使提供给目标生成模型的工具描述数据受到工具信息容量限制的同时，能够保留与任务工具调用相关的前置工具信息。由此，在控制工具上下文数据规模、减少工具信息对生成模型上下文资源占用的情况下，能够降低因前置工具信息缺失而导致工具调用链中断的可能性，为目标生成模型按照依赖顺序执行多工具调用提供相应的数据基础，从而提高多工具调用过程的连续性和执行可靠性。

1.一种异构生成模型集群调度装置，其特征在于，包括处理器，所述处理器被配置为：

2.根据权利要求1所述的异构生成模型集群调度装置，其特征在于，所述前置工具包括所述必要前置工具和辅助前置工具，所述辅助前置工具的输出为提高对应后置工具执行效果的非必填输入；

3.根据权利要求2所述的异构生成模型集群调度装置，其特征在于，所述处理器被配置为：

4.根据权利要求2所述的异构生成模型集群调度装置，其特征在于，所述处理器被配置为：

5.根据权利要求1所述的异构生成模型集群调度装置，其特征在于，所述处理器被配置为：

6.根据权利要求5所述的异构生成模型集群调度装置，其特征在于，所述处理器被配置为：

7.根据权利要求5所述的异构生成模型集群调度装置，其特征在于，所述处理器被配置为：

8.根据权利要求5所述的异构生成模型集群调度装置，其特征在于，所述处理器被配置为：

9.根据权利要求1所述的异构生成模型集群调度装置，其特征在于，所述处理器被配置为：

10.根据权利要求1所述的异构生成模型集群调度装置，其特征在于，所述处理器被配置为：

11.一种异构生成模型集群调度方法，其特征在于，包括：

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求11所述的异构生成模型集群调度方法。