信息处理的方法、装置、设备和存储介质与流程

本公开的示例实施例总体涉及计算机领域，特别地涉及信息处理的方法、装置、设备和计算机可读存储介质。

背景技术：

1、随着计算机技术的发展，人们对网络模型的需求越来越高，当前模型对图像的处理技术愈加成熟，比如，模型可以根据输入的图像生成相应的文字描述，或者模型可以根据描述生成图像等等，但是当前模型响应结果的准确性依旧有待提升。

技术实现思路

1、在本公开的第一方面，提供了一种信息处理的方法。该方法包括：获取针对目标模型的处理请求；响应于处理请求包括输入视觉内容，利用第一视觉编码模型确定输入视觉内容的第一视觉特征，并利用第二视觉编码模型确定输入视觉内容的第二视觉特征，第一视觉编码模型不同于第二视觉编码模型；至少基于第一视觉特征和第二视觉特征，构建与处理请求对应的输入特征单元序列；以及获取目标模型基于输入特征单元序列所生成的至少一个输出特征单元，以生成针对处理请求的响应内容。

2、在本公开的第二方面，提供了一种信息处理的装置。该装置包括：获取模块，被配置为获取针对目标模型的处理请求；确定模块，被配置为响应于处理请求包括输入视觉内容，利用第一视觉编码模型确定输入视觉内容的第一视觉特征，并利用第二视觉编码模型确定输入视觉内容的第二视觉特征，第一视觉编码模型不同于第二视觉编码模型；构建模块，被配置为至少基于第一视觉特征和第二视觉特征，构建与处理请求对应的输入特征单元序列；以及生成模块，被配置为获取目标模型基于输入特征单元序列所生成的至少一个输出特征单元，以生成针对处理请求的响应内容。

3、在本公开的第三方面，提供了一种电子设备。该设备包括至少一个处理单元；以及至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。指令在由至少一个处理单元执行时使设备执行第一方面的方法。

4、在本公开的第四方面，提供了一种计算机可读存储介质。该计算机可读存储介质上存储有计算机程序，计算机程序可由处理器执行以实现第一方面的方法。

5、在本公开的第五方面，提供了一种计算机程序产品。该计算机程序产品包括计算机可执行指令，这些指令在被处理器执行时，实现根据本公开的第一方面的方法。

6、应当理解，本内容部分中所描述的内容并非旨在限定本公开的实施例的关键特征或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的描述而变得容易理解。

1.一种信息处理的方法，包括：

2.根据权利要求1所述的方法，其中所述至少一个输出特征单元包括一组文本特征单元和一组视觉特征单元，并且所述响应内容包括与所述一组文本特征单元对应的输出文本内容和与所述一组视觉特征单元对应的输出视觉内容。

3.根据权利要求2所述的方法，还包括：

4.根据权利要求3所述的方法，其中所述目标模型还被配置为：

5.根据权利要求2所述的方法，还包括：

6.根据权利要求1所述的方法，其中所述处理请求还包括输入文本内容，并且至少基于所述第一视觉特征和所述第二视觉特征，构建与所述处理请求对应的输入特征单元序列包括：

7.根据权利要求6所述的方法，其中所述输入特征单元序列包括与所述第一视觉特征和所述第二视觉特征对应的视觉序列部分，并且所述视觉序列部分关联于预设的指示符。

8.根据权利要求1所述的方法，其中所述目标模型包括多个处理块，每个处理块包括第一注意力单元、第二注意力单元和融合单元，并且所述第一注意力单元被配置为处理所述第一视觉特征和所述输入特征单元序列中的文本特征单元，所述第二注意力单元被配置为处理所述第二视觉特征，并且所述融合单元被配置为融合所述第一注意力单元的第一输出结果和所述第二注意力单元的第二输出结果。

9.根据权利要求8所述的方法，其中所述第一注意力单元的第一组参数独立于所述第二注意力单元的第二组参数。

10.根据权利要求1所述的方法，其中所述目标模型被配置为：

11.根据权利要求10所述的方法，其中基于所述目标特征单元在所述输入特征单元序列的序列位置和所述目标特征单元的类型，确定所述目标特征单元的索引信息包括：

12.根据权利要求10所述的方法，其中基于所述目标特征单元在所述输入特征单元序列的序列位置和所述目标特征单元的类型，确定所述目标特征单元的索引信息包括：

13.根据权利要求1所述的方法，其中所述目标模型是基于以下过程被训练：

14.根据权利要求13所述的方法，其中所述样本数据包括第一样本文本、第一样本视觉内容、第二样本视觉内容和第二样本文本，并且所述训练特征单元序列包括：

15.根据权利要求14所述的方法，其中基于与所述目标模型相关联的训练任务的任务类型，确定与所述任务类型对应的注意力掩码包括以下至少一项：

16.根据权利要求1所述的方法，其中所述第一视觉编码模型包括基于视觉转换器的编码模型，并且所述第二视觉编码模型包括基于变分自编码器的编码模型。

17.一种信息处理的装置，包括：

18.一种电子设备，包括：

19.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据权利要求1至16中任一项所述的方法。

20.一种计算机程序产品，包括计算机可执行指令，其中所述计算机可执行指令在被处理器执行时实现根据权利要求1至16中任一项所述的方法。