自回归生成式人工智能模型中的多词元生成的制作方法

背景技术：

1、本公开的各方面涉及生成式人工智能模型，并且更具体地涉及响应于输入到生成式人工智能模型中的输入查询在每轮推断中生成多个词元。

2、生成式人工智能模型可以在各种环境中使用，以便生成对输入提示（也称为查询或输入）的响应。例如，生成式人工智能模型可以用于聊天机器人应用中，在该聊天机器人应用中使用大语言模型（llm）来生成对输入提示的回答或至少响应。其中可以使用生成式人工智能模型的其他示例包括潜在扩散模型，在该潜在扩散模型中，模型从期望图像的内容的输入文本描述生成图像；决策变换器，在该决策变换器中，基于给定环境内的先前动作的序列来预测未来动作；等等。

3、通常，使用生成式人工智能模型生成对查询的响应可能在计算上是昂贵的。例如，在其中使用大语言模型来生成对被格式化为文本查询的查询的响应的聊天机器人部署中，可以使用通过大语言模型的针对作为响应的一部分而生成的每个词元（例如，单词或单词的一部分）的传递（pass）来生成对查询的响应。每次传递的输出可以是词元（例如，单词或单词的各部分）的集合上的概率分布，例如，通过采样或基于最大似然，可以从该词元集合中选择下一个词元（例如，单词或单词的一部分）。因为通过大语言模型的传递被用于生成对查询的响应中的每个单词（或（多个）词元），所以计算开销可以被建模为响应中包括的单词的数量与执行通过大语言模型的传递的计算资源开销（例如，在处理能力、存储器带宽和/或所使用的其他计算资源方面）的乘积，其通常随着大语言模型内的参数的数量增加而增加。

技术实现思路

1、本公开的某些方面提供了一种用使用生成式人工智能模型来生成对输入提示的响应的方法。该方法一般来讲包括：生成包括多个输入词元的词元化输入，多个输入词元具有与由生成式人工智能模型生成的输出的最大长度相对应的长度，其中所生成的输出的最大长度包括至少两个词元。基于词元化输入和生成式人工智能模型，生成包括多个输出词元的输出，输出具有与由生成式人工智能模型生成的输出的最大长度相对应的长度。基于多个输入词元与多个输出词元的比较，从输出中标识有效词元集合，并且输出有效词元集合，作为对输入提示的响应。

2、其他方面提供了：处理系统，这些处理系统被配置为执行前述方法以及本文所描述的那些方法；一种非暂态计算机可读介质，该非暂态计算机可读介质包括指令，该指令在由处理系统的一个或多个处理器执行时使该处理系统执行前述方法以及本文所描述的那些方法；一种体现在计算机可读存储介质上的计算机程序产品，该计算机可读存储介质包括用于执行前述方法以及本文进一步描述的那些方法的代码；和一种处理系统，该处理系统包括用于执行前述方法以及本文进一步描述的那些方法的部件。

3、以下描述和相关附图详细阐述了一个或多个方面的某些例示性特征。

1.一种用于使用生成式人工智能模型处理输入提示的处理器实现的方法，所述处理器实现的方法包括：

2.根据权利要求1所述的方法，其中所述词元化输入包括所述输入提示的词元化版本和附加到所述输入提示的所述词元化版本的一个或多个填充词元。

3.根据权利要求2所述的方法，其中所述一个或多个填充词元的数量比所述输出的所述最大长度少一。

4.根据权利要求2所述的方法，其中生成所述输出包括：

5.根据权利要求1所述的方法，其中所述词元化输入包括先前由所述生成式人工智能模型生成的词元集合。

6.根据权利要求1所述的方法，其中从所述输出中标识所述有效词元集合包括：将所述多个输出词元中的第一索引处的词元与所述多个输入词元中的第二索引处的词元进行比较，所述第二索引从所述第一索引偏移一个词元。

7.根据权利要求1所述的方法，其中所述有效词元集合包括所述输入词元集合和所述输出词元集合中的匹配词元的连续序列以及所述多个输出词元中的在所述多个输入词元中的对应偏移索引处不匹配的第一词元。

8.根据权利要求1所述的方法，所述方法还包括：

9.根据权利要求8所述的方法，所述方法还包括：

10.根据权利要求1所述的方法，其中：

11.一种用于使用生成式人工智能模型处理输入提示的处理系统，所述处理系统包括：

12.根据权利要求11所述的处理系统，其中所述词元化输入包括所述输入提示的词元化版本和附加到所述输入提示的所述词元化版本的一个或多个填充词元。

13.根据权利要求12所述的处理系统，其中所述一个或多个填充词元的数量比所述输出的所述最大长度少一。

14.根据权利要求12所述的处理系统，其中为了生成所述输出，所述一个或多个处理器被配置为使所述处理系统：

15.根据权利要求11所述的处理系统，其中所述词元化输入包括先前由所述生成式人工智能模型生成的词元集合。

16.根据权利要求11所述的处理系统，其中为了从所述输出中标识所述有效词元集合，所述一个或多个处理器被配置为使所述处理系统：将所述多个输出词元中的第一索引处的词元与所述多个输入词元中的第二索引处的词元进行比较，所述第二索引从所述第一索引偏移一个词元。

17.根据权利要求11所述的处理系统，其中所述有效词元集合包括所述输入词元集合和所述输出词元集合中的匹配词元的连续序列以及所述多个输出词元中的在所述多个输入词元中的对应偏移索引处不匹配的第一词元。

18.根据权利要求11所述的处理系统，其中所述一个或多个处理器被进一步配置为使所述处理系统：

19.根据权利要求18所述的处理系统，其中所述一个或多个处理器被进一步配置为使所述处理系统：

20.根据权利要求11所述的处理系统，其中：

21.一种用于使用生成式人工智能模型处理输入提示的装置，所述装置包括：

22.根据权利要求21所述的装置，其中所述词元化输入包括所述输入提示的词元化版本和附加到所述输入提示的所述词元化版本的一个或多个填充词元。

23.根据权利要求22所述的装置，其中用于生成所述输出的所述部件包括：

24.根据权利要求21所述的装置，其中所述词元化输入包括先前由所述生成式人工智能模型生成的词元集合。

25.根据权利要求21所述的装置，其中用于从所述输出中标识所述有效词元集合的部件包括：用于将所述多个输出词元中的第一索引处的词元与所述多个输入词元中的第二索引处的词元进行比较的部件，所述第二索引从所述第一索引偏移一个词元。

26.根据权利要求21所述的装置，其中所述有效词元集合包括所述输入词元集合和所述输出词元集合中的匹配词元的连续序列以及所述多个输出词元中的在所述多个输入词元中的对应偏移索引处不匹配的第一词元。

27.根据权利要求21所述的装置，所述装置还包括：

28.根据权利要求27所述的装置，所述装置还包括：

29.根据权利要求21所述的装置，其中：

30.一种非暂态计算机可读介质，所述非暂态计算机可读介质上存储有可执行指令，所述可执行指令在由一个或多个处理器执行时执行用于使用生成式人工智能模型处理输入提示的操作，所述操作包括：