使用生成式神经网络的序列的请求处理的制作方法

背景技术：

1、本说明书涉及使用生成式神经网络来处理请求。

2、生成式神经网络已经跨诸如文本生成(例如，写作、摘要总结、翻译、编程)、图像生成和音频生成的广泛范围的任务展现出最先进的性能。生成式神经网络使用在海量数据上训练的非常大的神经网络模型。例如，大语言模型(llm)可包括具有自注意力能力的基于transformer的神经网络模型，并且可响应于查询而实现通用语言理解和生成。因此，生成式神经网络正被部署在各种应用中，例如作为编程助理、作为电子邮件写作助理以及用于生成演示文稿中的图像。

技术实现思路

1、本说明书涉及使用生成式神经网络的序列来处理请求。可以调用生成式神经网络的序列来提供对请求的响应。生成式神经网络可以使用自然语言作为接口与另一生成式神经网络进行交互。例如，llm的序列中的llm可以处理与任务相关的请求，并可以调用序列中的下一llm来处置任务，直到序列中的最后llm提供用于该任务的最终输出。在一些情况下，序列中的生成式神经网络可以获得与任务相关的附加信息。在这个交互链中，重要的是，与任务相关的信息在过程的每一步处不劣化。

2、然而，通常不可能在过程的每一步处传递全部信息。首先，由于生成式神经网络系统的存储器约束，到生成式神经网络的输入的大小通常是有限的。第二，出于隐私原因，可以不允许生成式神经网络将全部信息转发给由另一方操作的下一生成式神经网络。因此，在使用生成式神经网络的序列的过程中，信息可能丢失，这是不期望的。另外，信息的丢失可能沿着生成式神经网络的序列累积，并且可能导致严重的——例如指数级——的信息劣化。该序列的最终输出可能不正确地对用于该任务的输入进行响应，或者可能与用于该任务的输入不相关。

3、本说明书描述了用于维护生成式神经网络的序列中的信息以确保初始请求中的重要信息不丢失的系统和技术。特别地，系统和技术维持和更新序列中的每个生成式神经网络处的信息的概要，并使用该概要来验证对下一生成式神经网络的请求是否与该概要一致。

4、一般而言，本说明书中描述的主题的一个创新方面可以体现在方法中，这些方法包括以下动作：接收要由生成式神经网络的序列处理以生成用于任务的最终输出的用于任务的输入，该序列包括初始生成式神经网络、一个或多个中间生成式神经网络和最终生成式神经网络；以及由该生成式神经网络的序列处理该输入，包括：对于每个中间生成式神经网络，由该生成式神经网络接收从该序列中的先前生成式神经网络生成的先前请求和先前概要；由该生成式神经网络基于该先前请求和该先前概要来生成下一请求；由该生成式神经网络确定该下一请求是否与该先前概要一致；响应于确定该下一请求与该先前概要一致，由该生成式神经网络基于该先前请求和该先前概要来生成下一概要；以及由该生成式神经网络向该序列中的下一生成式神经网络提供该下一请求和该下一概要。该方面的其他实施例包括对应的计算机系统、设备和记录在一个或多个计算机存储装置上的计算机程序，这些计算机系统、设备和计算机程序各自被配置为执行方法的动作。对于要被配置为执行特定操作或动作的一个或多个计算机的系统，意味着该系统已经在其上安装了在操作中使该系统执行这些操作或动作的软件、固件、硬件或它们的组合。对于要被配置为执行特定操作或动作的一个或多个计算机程序，意味着该一个或多个程序包括在由数据处理设备执行时致使该设备执行这些操作或动作的指令。

5、前述和其他实施例可各自可选地单独或组合地包括以下特征中的一个或多个特征。特别地，一个实施例包括呈组合的所有以下特征。先前概要包括输入和先前请求的属性，并且确定下一请求是否与先前概要一致包括确定下一请求的属性是否与先前概要中包括的属性一致。生成下一概要包括：由生成式神经网络基于先前请求来获得新信息；以及由生成式神经网络基于先前请求、先前概要和新信息来生成下一概要。生成下一概要包括由生成式神经网络基于先前请求、先前概要和下一请求来生成下一概要。这些动作包括，对于特定中间生成式神经网络：由生成式神经网络基于先前请求和先前概要来生成初始下一请求；由生成式神经网络确定该初始下一请求是否与该先前概要一致；以及响应于确定该初始下一请求与该先前概要不一致，由生成式神经网络基于该先前请求和该先前概要来生成下一请求。生成下一请求包括由生成式神经网络基于(i)先前请求、(ii)先前概要以及(iii)指示初始下一请求与先前概要不一致的数据来生成下一请求。这些动作包括：由初始生成式神经网络接收输入；由初始生成式神经网络处理输入，以生成下一请求和下一概要；以及由初始生成式神经网络向序列中的下一生成式神经网络提供下一请求和下一概要。这些动作包括由最终生成式神经网络接收从序列中的先前中间生成式神经网络生成的先前请求和先前概要；以及由最终生成式神经网络处理先前请求和先前概要，以生成用于任务的最终输出。

6、可以实现本说明书中描述的主题的特定实施例，以便实现以下优点中的一个或多个。

7、这些系统和技术可以使用初始请求中的信息的概要作为自然语言校验和，以确保初始请求中的重要信息不丢失。在一些实现方式中，序列中的每个生成式神经网络可以定义它们自己的概要，例如，将在生成式神经网络处获得的新信息添加到该概要，并且可以使用该概要来确保初始请求中的信息和新信息两者被保留在该序列中。

8、由于存储器约束，一些生成式神经网络具有有限的上下文长度，并且因此通常不可能将全部信息传递给生成式神经网络的序列中的每个生成式神经网络。本说明书中描述的系统和方法可以生成初始请求中的信息的概要，并且可选地生成由序列中的一些中间生成式神经网络收集的附加信息。这些系统和技术可以传递概要，而不是传递完整信息，从而节省由系统消耗的存储器，同时仍然确保重要信息维持在该概要中。另外，通过传递概要而不是完整信息，系统可以通过连接不同装置处或云中实现的生成模型的网络来发送更少数据，从而减少由生成式神经网络的序列进行的网络带宽消耗。

9、初始请求中的一些信息可以包括诸如个人身份信息、财务信息等的私人数据并且不应被提供给序列中的其他生成式神经网络。本说明书中描述的系统和方法可以生成不包括私人数据的信息的概要。因此，初始请求的重要信息可以在不泄露私人信息的情况下在生成式神经网络的序列中被传递，同时仍然确保该重要信息被维持在该概要中。

10、在附图和以下描述中阐述了本说明书的主题的一个或多个实施例的细节。该主题的其他特征、方面和优点将从描述、附图和权利要求中变得显而易见。

1.一种由一个或多个计算机执行的方法，所述方法包括：

2.如权利要求1所述的方法，其中，所述先前概要包括所述输入和所述先前请求的属性，并且确定所述下一请求是否与所述先前概要一致包括确定所述下一请求的属性是否与所述先前概要中包括的属性一致。

3.如权利要求1所述的方法，其中，生成所述下一概要包括：

4.如权利要求1所述的方法，其中，生成所述下一概要包括：由该生成式神经网络基于所述先前请求、所述先前概要和所述下一请求来生成所述下一概要。

5.如权利要求1至4中任一项所述的方法，包括，对于特定中间生成式神经网络：

6.如权利要求5所述的方法，其中，生成所述下一请求包括由该生成式神经网络基于(i)所述先前请求、(ii)所述先前概要以及(iii)指示所述初始下一请求与所述先前概要不一致的数据来生成所述下一请求。

7.如权利要求1至4中任一项所述的方法，包括：

8.如权利要求1至4中任一项所述的方法，包括：

9.一种系统，所述系统包括一个或多个计算机和一个或多个存储装置，所述一个或多个存储装置存储指令，所述指令在由所述一个或多个计算机执行时能够操作以使所述一个或多个计算机执行操作，所述操作包括：

10.如权利要求9所述的系统，其中，所述先前概要包括所述输入和所述先前请求的属性，并且确定所述下一请求是否与所述先前概要一致包括确定所述下一请求的属性是否与所述先前概要中包括的属性一致。

11.如权利要求9所述的系统，其中，生成所述下一概要包括：

12.如权利要求9所述的系统，其中，生成所述下一概要包括：由该生成式神经网络基于所述先前请求、所述先前概要和所述下一请求来生成所述下一概要。

13.如权利要求9至12中任一项所述的系统，其中，所述操作包括，对于特定中间生成式神经网络：

14.如权利要求13所述的系统，其中，生成所述下一请求包括由该生成式神经网络基于(i)所述先前请求、(ii)所述先前概要以及(iii)指示所述初始下一请求与所述先前概要不一致的数据来生成所述下一请求。

15.如权利要求9至12中任一项所述的系统，其中，所述操作包括：

16.如权利要求9至12中任一项所述的系统，其中，所述操作包括：

17.一个或多个非暂时性存储介质，所述一个或多个非暂时性存储介质编码有指令，所述指令在由计算装置执行时使所述计算装置执行操作，所述操作包括：

18.如权利要求17所述的非暂时性存储介质，其中，所述先前概要包括所述输入和所述先前请求的属性，并且确定所述下一请求是否与所述先前概要一致包括确定所述下一请求的属性是否与所述先前概要中包括的属性一致。

19.如权利要求17所述的非暂时性存储介质，其中，生成所述下一概要包括：

20.如权利要求17所述的非暂时性存储介质，其中，生成所述下一概要包括：由该生成式神经网络基于所述先前请求、所述先前概要和所述下一请求来生成所述下一概要。