利用语言模型的视觉词元化的制作方法

背景技术：

1、本说明书涉及使用机器学习模型来处理数据。

2、机器学习模型接收输入并且基于接收到的输入来生成输出，例如预测的输出。一些机器学习模型是参数模型，并且基于接收到的输入和模型参数的值来生成输出。

3、一些机器学习模型是深度模型，该深度模型采用多层模型来为接收到的输入生成输出。例如，深度神经网络是这样的深度机器学习模型：该深度机器学习模型包括输出层和一个或多个隐藏层，每个隐藏层对接收到的输入应用非线性变换以生成输出。

技术实现思路

1、本说明书描述了一种被实现为一个或多个位置处的一个或多个计算机上的计算机程序的系统，该系统通过使用神经网络处理视觉输入来执行视觉词元生成。

2、在一些示例中，系统可以执行对视觉输入的压缩。特别地，系统可以接收视觉输入，并且系统可以使用编码器神经网络处理该视觉输入，以生成表示该视觉输入的多个特征向量。

3、如本说明书中所用，视觉输入是图像或包括多个图像的视频。

4、特征向量是具有一个或多个维度的向量。例如，每个特征向量可以对应于视觉输入的相应图像的相应图像片块，或者可以对应于视频的时空片块，该时空片块包括来自视频的多个不同相邻视频帧内的同位块的像素值。

5、在本示例中，系统可以生成视觉输入的经量化的表示。

6、如本说明书中所用，经量化的表示针对每个特征向量标识视觉词元词表中的视觉词元。视觉词元是包括对应特征向量的一个或多个维度中每个维度的相应整数值的向量。每个视觉词元对应于词元标识符。该多个词元标识符表示视觉输入的经压缩的版本。

7、在一些示例中，词元标识符可以被提供给解压缩系统以执行解压缩，以便重建视觉输入。

8、例如，词元标识符可以被存储（例如，在物理数据存储装置或逻辑数据存储区域中），然后随后从存储中取回并提供给系统以执行解压缩。

9、作为另一示例，词元标识符可以通过通信网络（例如，互联网）被传输到目的地，在该目的地它们随后被取回并提供给系统以执行解压缩。

10、作为另一示例，系统可以将词元标识符编码为比特流（例如，通过熵编码），其中，每个词元标识符被映射到一个比特值。在这种情况下，系统可以通过通信网络存储或传输该比特流，然后随后取回该比特流以执行解压缩。

11、系统可以将词元标识符映射到视觉词元，以便使用解码器神经网络生成视觉输入的重建。

12、除了使用视觉词元进行压缩和解压缩之外或者代替此，在一些示例中，系统可以接收条件输入，并且系统可以使用视觉词元生成神经网络处理该条件输入，以生成表示视觉输出的视觉词元序列。

13、如本说明书中所用，条件输入可以是用于生成特定图像或视频的提示。条件输入可以包括例如文本、音频或图像。当条件输入包括一个或多个图像时，系统可以如上所述生成表示该一个或多个图像的视觉词元，并将这些视觉词元用作条件输入。

14、在本示例中，一旦生成，系统就可以使用解码器神经网络处理该视觉词元序列，以生成视觉输出。如本说明书中所用，视觉输出可以是图像或视频。

15、在一些实现方式中，系统可以使用解码器神经网络处理包括在该视觉输入的经量化的表示中标识的相应的视觉词元的解码器输入，以生成该视觉输入的重建。

16、在一些实现方式中，系统可以在测量该重建的重建质量的损失函数上训练解码器神经网络和编码器神经网络。在一些实现方式中，损失函数包括测量经量化的表示的熵的熵项。

17、在一些实现方式中，整数值是二元值，并且整数值集合仅包括两个值。

18、在一些实现方式中，将特征向量的每个维度映射到对应的整数值包括通过向特征向量在该维度中的值应用符号函数，独立地将每个维度映射到对应的二元值。

19、在一些实现方式中，生成标识视觉词元的数据包括至少部分地基于对于等于1的视觉词元的每个维度，该维度的索引的指数之和，确定视觉词元的视觉词元索引。

20、在一些实现方式中，视觉输入是包括多个图像的视频，并且每个特征向量对应于该多个图像中的每个图像的图像片块或来自该多个图像中的两个或更多个图像的时空片块。

21、在一些实现方式中，编码器神经网络包括因果卷积神经网络。

22、在一些实现方式中，视觉输出是图像或包括多个图像的视频。

23、在一些实现方式中，每个视觉词元对应于视觉输出的每个图像的相应图像片块或来自视频的多个图像中的两个或更多个图像的时空片块。

24、在一些实现方式中，使用视觉词元生成神经网络处理条件输入以生成视觉词元的序列包括：在多个生成迭代时间步中的每个生成迭代时间步处，至少部分地基于针对视觉词元的该序列中的一个或多个视觉词元中的每个视觉词元进行以下操作来生成该一个或多个视觉词元：以条件输入为条件确定在视觉词元索引集合上的相应分布，其中，每个视觉词元索引对应于视觉词元的词表中的视觉词元；使用该相应分布来选择视觉词元索引；以及选择与所选择的视觉词元索引相对应的视觉词元作为该视觉词元。

25、在一些实现方式中，使用视觉词元生成神经网络处理条件输入以生成视觉词元的序列包括：在多个生成迭代时间步中的每个生成迭代时间步处，至少部分地基于针对视觉词元的该序列中的一个或多个视觉词元中的每个视觉词元进行以下操作来生成该一个或多个视觉词元：确定在第一视觉词元索引集合和第二视觉词元索引集合上的相应分布，其中，第一词元索引集合中的每个视觉词元索引对应于第一视觉词元词表中的第一视觉词元，并且其中，第二词元索引集合中的每个视觉词元索引对应于第二视觉词元词表中的第二视觉词元；使用该相应分布选择第一视觉词元索引和第二视觉词元索引；选择与所选择的第一视觉词元索引相对应的第一视觉词元和与所选择的第二视觉词元索引相对应的第二视觉词元；以及拼接该第一视觉词元和该第二视觉词元以生成该视觉词元。

26、在一些实现方式中，视觉词元生成神经网络是自回归语言模型神经网络。在这种情况下，自回归语言模型神经网络通过以下操作来在多个生成迭代时间步中的每个生成迭代时间步处生成相应的视觉词元：以条件输入为条件处理序列中截至该生成迭代时间步的视觉词元，以选择视觉词元；以及将所选择的视觉词元附加到序列的末尾。

27、在一些实现方式中，视觉词元生成神经网络是掩码语言模型神经网络。在这种情况下，掩码语言模型神经网络通过以下操作来在多个生成迭代时间步中的每个生成迭代时间步处生成该一个或多个视觉词元：至少处理已生成的该一个或多个视觉词元和条件输入，以针对多个掩码视觉词元中的每个掩码视觉词元生成相应分布；选择该多个视觉掩码词元中的一个或多个掩码视觉词元；以及将每个所选择的掩码视觉词元替换为通过使用针对所选择的掩码视觉词元的相应分布来选择的视觉词元。

28、可以实现本说明书中描述的主题的特定实施例，以便实现以下优势中的一个或多个优势。

29、视觉词元生成可用于执行各种下游任务，例如，图像或视频的压缩、解压缩和视觉输出生成。

30、一些常规系统使用扩散神经网络通过处理连续视觉词元来生成视觉输出。然而，与其他生成式神经网络（如语言模型）相比，使用扩散神经网络可能在计算上昂贵。一些其他常规系统已经集成了语言模型用于视觉输出生成；然而，大语言模型通常以低于扩散神经网络的准确度生成视觉输出，因为大语言模型在处理连续词元方面效果较差。

31、另一方面，常规系统通常通过以下操作来从视觉词元词表（例如，码本）中标识视觉词元：在码本的几个嵌入维度中进行搜索以标识针对视觉输入的编码表示的最接近相应视觉词元。执行对多个嵌入维度的这种广泛搜索导致系统以增加的时延生成视觉输入。

32、相比之下，所描述的系统使用量化技术来生成离散视觉词元，这些离散视觉词元与特定神经网络（如大语言模型）更兼容，以实现更高效的视觉输出生成。此外，所描述的量化技术允许系统使用一个或多个词元标识符直接标识视觉词元。

33、特别地，系统联合预训练编码器神经网络和解码器神经网络，以基于量化技术重建视觉输入。特别地，系统可以接收一个或多个图像的视觉输入，并且系统可以使用经训练的编码器神经网络处理该视觉输入，以生成表示该视觉输入的多个特征向量，其中，每个特征向量具有多个维度。然后系统量化每个特征向量，以为每个特征向量生成经量化的表示，其中，经量化的表示包括对应于来自视觉词元词表的视觉词元的词元标识符。

34、具体地，系统通过将特征向量的每个维度映射到对应的整数值来量化特征向量，并且系统通过组合这些整数值以生成词元标识符来标识对应于该特征向量的视觉词元。例如，系统可以通过应用符号函数将特征向量的每个维度独立地映射到二元值，并且系统可以通过组合这些二元值来确定词元标识符。特别地，系统基于每个维度的指数之和来组合这些二元值，其中系统从该和中忽略特定的整数值。然后系统可以使用唯一的词元标识符为多个词元标识符直接标识对应的视觉词元，而无需在词表中“查找”视觉词元，并且系统可以使用经训练的解码器神经网络处理所标识的视觉词元序列，以生成视觉输入的重建。

35、此外，系统可以利用经训练的解码器来执行视觉生成。特别地，系统可以接收包括提示和视觉输入（例如，条件输入）的条件输入以用于生成视觉输出，并且系统可以使用视觉词元生成神经网络处理该条件输入，以生成表示视觉输出的视觉词元。系统可以预训练视觉词元生成神经网络以生成离散视觉词元，其中，每个视觉词元是包括对应于特征向量的多个维度中每个维度的相应二元值的向量。特别地，在多个迭代上，视觉词元生成神经网络可以通过确定视觉词元的索引上的分布来生成一个或多个视觉词元。例如，视觉词元生成神经网络可以是自回归神经网络或掩码语言模型，并且系统可以利用模型生成离散词元的能力来生成视觉词元。在这种情况下，系统可以使用解码器神经网络处理这些视觉词元，以生成视觉输出。

36、总体而言，所描述的量化技术允许高效地生成离散视觉词元，这可以导致对视觉输入的更准确的压缩和解压缩。此外，通过将所描述的量化技术作为视觉输出生成的骨干，系统可以更有效地使用生成式神经网络（如大语言模型）和经预训练的解码器来生成视觉输出。

37、在附图和以下描述中阐述本说明书的主题的一个或多个实施例的细节。根据描述、附图和权利要求，该主题的其他特征、方面和优点将变得显而易见。