用于使用多个生成式模型执行任务的生成式模型控制的制作方法

背景技术：

1、本说明书涉及使用一组生成式模型来处理请求。

2、生成式模型已经跨诸如文本生成(例如，写作、摘要、翻译、编码)、图像生成和音频生成的广泛范围的任务展现出最先进的性能。生成式模型使用在海量数据上训练的非常大的神经网络模型。例如，大语言模型(llm)可包括具有自注意力能力的基于transformer的神经网络模型，并且可响应于查询而实现通用语言理解和生成。因此，生成式模型正被部署在各种应用中，例如作为编码助手、作为电子邮件写作助手以及用于生成演示文稿中的图像。

3、生成式智能体是软件程序，它使用生成式模型以响应于输入(诸如呈自然语言的提示，该提示请求生成式智能体执行特定任务)而生成生成式输出。

技术实现思路

1、本说明书描述了用于使用控制生成式模型来管理和控制两个或更多个生成式模型在多智能体系统中的参与度的系统和技术。

2、在多智能体系统中，一组生成式模型处理针对任务的输入以生成针对任务的输出。换句话说，多智能体系统中的两个或更多个生成式模型彼此交互以解决任务。

3、在一些情况下，用户可以调用多个生成式模型来生成针对任务的输出。

4、在一些情况下，用户可以调用第一生成式模型来生成针对任务的输出，并且第一生成式模型可以调用一个或多个其他生成式模型来协作生成针对任务的输出。

5、通常，该组生成式模型跨多个步骤处理针对任务的输入。在每个步骤处，该组中的相应生成式模型可以生成生成式输出。

6、然而，当多个生成式模型例如通过对话彼此交互以生成针对任务的输出时，存在多个生成式模型可能无法在被分配给该任务的计算资源量内成功完成任务或者可能在完成任务的同时消耗过多计算资源量的风险。例如，这可能是因为一个或多个生成式模型可能生成了过多量的输出、生成了与任务无关的输出，或者生成了太多关于某个主题的细节而在朝向解决任务的方向未取得进展。与人际交互不同，生成式模型可能生成对完成任务没有帮助的输出，但是可能会产生显著的计算成本，且最终适得其反。例如，输出可能是不相关的，或者模型可被恶意行为者配置以阻止其他模型完成任务。

7、在一些情况下，一些聊天室系统通过从对话中移除特定的生成式语言模型(例如，禁止或屏蔽特定的生成式语言模型)来提供基本控制。然而，这些方法不必要地完全限制了特定的生成式语言模型对该对话的贡献，而没有考虑到如果给出适当提示，则特定的生成式语言模型可在对话的后期阶段提供有用的输出。

8、本说明书描述了用于使用控制生成式模型来管理和控制从一组多个生成式模型生成的针对任务的输出的系统和技术。

9、在一些实现方式中，控制生成式模型可以生成定义用于目标生成式模型的计算预算的控制数据，该计算预算定义目标生成式模型在步骤中消耗的计算资源量。

10、在一些实现方式中，控制生成式模型可以生成语义控制数据，该语义控制数据使目标生成式模型生成专注于任务的一方面的输出。

11、在一些实现方式中，控制生成式模型可以监测多个生成式模型解决任务的集体进展，并且可以确定在下一个步骤中应由多个生成式模型中的哪个生成式模型生成输出。

12、一般来说，本说明书中描述的主题的一个创新方面可以体现在包括以下动作的方法中：接收要由一组生成式模型处理的针对任务的输入以生成针对该任务的最终输出；以及通过该组生成式模型跨多个步骤处理该输入，其中该组中的相应生成式模型在该多个步骤中的每个步骤处生成生成式输出，并且处理该输入包括对于该多个步骤中的每个中间步骤，由控制生成式模型获得在该中间步骤处针对该任务的上下文数据；由该控制生成式模型基于在该中间步骤处针对该任务的上下文数据，为该组中的目标生成式模型生成控制数据；由该控制生成式模型将在该中间步骤处针对该任务的上下文数据和该控制数据提供给该组中的目标生成式模型；由该控制生成式模型从该目标生成式模型获得响应于该上下文数据和该控制数据而生成的输出；以及由该控制生成式模型基于来自该目标生成式模型的输出，更新针对该任务的上下文数据。这方面的其他实施例包括对应的计算机系统、设备、和计算机程序，这些计算机程序被记录在一个或多个计算机存储装置上，这些计算机系统、设备和计算机程序各自被配置为执行这些方法的这些动作。对于要被配置为执行特定操作或动作的一个或多个计算机的系统，意味着该系统已经在其上安装了在操作中使该系统执行这些操作或动作的软件、固件、硬件或它们的组合。对于被配置为执行特定操作或动作的一个或多个计算机程序，意味着该一个或多个程序包括在由数据处理设备执行时使该设备执行该操作或动作的指令。

13、前述和其他实施例可各自可选地单独或组合地包括以下特征中的一个或多个特征。具体地，一个实施例包括呈组合的所有以下特征。该控制数据包括用于该目标生成式模型的计算预算，并且该计算预算定义该目标生成式模型在该中间步骤中消耗的计算资源量。该控制数据定义来自该目标生成式模型的在该中间步骤处生成的输出中的词元数量。该控制数据限制来自该目标生成式模型的在该中间步骤处生成的输出中的词元数量，并且其中限制来自该目标生成式模型的在该中间步骤处生成的输出中的词元数量不会降低该任务的最终进展分数，该最终进展分数是在该输入已跨该多个步骤被处理以生成针对该任务的该最终输出之后该任务已完成程度的度量。该控制数据包括语义控制数据，该语义控制数据使该目标生成式模型生成专注于该任务的一方面的输出。该控制数据使该目标生成式模型在该中间步骤处生成指示该上下文数据没有变化的输出。该动作包括对于每个中间步骤，由该控制生成式模型基于在该中间步骤处针对该任务的上下文数据来从该组生成式模型中选择该目标生成式模型。该上下文数据包括由该组中的一个或多个生成式模型在该中间步骤之前的一个或多个先前步骤处生成的相应先前输出。该上下文数据包括进展分数，该进展分数指示在朝向该任务完成的方向取得的进展水平。该上下文数据包括该任务的重要性水平。该上下文数据包括该组生成式模型在用于完成该任务的中间步骤处剩余的计算预算量。该上下文数据包括关于该组生成式模型的元数据。该动作包括：接收由该组生成式模型在该多个步骤中的最终步骤处生成的针对该任务的最终输出；基于在该多个步骤中的每个步骤处针对该任务的上下文数据生成用于训练该控制生成式模型的训练数据；以及使用该训练数据训练该控制生成式模型。该动作包括在于该最终步骤处从生成式模型接收到该最终输出之后由该控制生成式模型确定任务已完成。

14、可以实现本说明书中描述的主题的特定实施例，以便实现以下优点中的一个或多个优点。

15、本说明书中描述的系统和方法可以减少由多个生成式模型生成针对任务的最终输出所消耗的计算资源(例如，存储器和处理器周期)，而不会降低完成任务的整体进展。该控制生成式模型不允许一个或多个生成式模型生成过多输出量、生成与任务无关的输出，或者生成过多关于某个主题的细节而在朝向解决任务的方向未取得进展，而是可以通过监测多个生成式模型解决任务的集体进展、确定在下一个步骤中多个目标生成式模型中的哪个目标生成式模型应生成输出并限制来自目标生成式模型的输出中的词元数量来降低计算成本。

16、该系统和方法可以提高由多个生成式模型提供针对任务的最终输出的效率。例如，在用于多个生成式模型中的一者或多者的给定量的词元的情况下，控制生成式模型可以在更少步骤中生成最终输出，因为控制生成式模型可以使用语义控制数据来指导多个生成式模型的对话，该语义控制数据使生成式模型生成专注于任务的一方面的输出。在一些实现方式中，因为用户可见的对话不太冗长，所以该系统和方法可以减少用户与多个生成式模型交互的开销。

17、在附图和以下描述中阐述本说明书的主题的一个或多个实施例的细节。根据描述、附图和权利要求，该主题的其他特征、方面和优点将变得显而易见。