训练方法、特征提取方法、装置、设备、介质、产品与流程

本公开涉及计算机，特别涉及一种训练方法、特征提取方法、装置、设备、介质、产品。

背景技术：

1、在人工智能（artificial intelligence，ai）领域，多模态学习变得越来越重要。ai模型可以通过多模态的学习，具备理解和处理文本、图像、视频等多种类型数据的能力。

2、多模态模型能够处理多模态数据，提取多模态数据的特征，这些特征可以用于多种下游任务，例如，分类、推荐等。

技术实现思路

1、根据本公开的一些实施例，提供了一种训练方法，包括：利用多模态模型的视觉编码器，对多个样本中的视觉信息进行处理，得到多个样本中每个样本的视觉特征；利用多模态模型的文本编码器，对每个样本中与视觉信息的内容相关的文本进行处理，得到每个样本的第一文本特征，对每个样本的分类信息进行处理，得到每个样本的第二文本特征；利用多模态模型的第一融合模块，对每个样本的视觉特征和第一文本特征进行融合，得到每个样本的第一融合特征；根据多个样本的第一融合特征和第二文本特征，确定对比损失；根据对比损失，对多模态模型的参数进行调整，以对多模态模型进行训练。

2、根据本公开的另一些实施例，提供了一种特征提取方法，包括：利用多模态模型的视觉编码器，对待处理多媒体内容中的视觉信息进行处理，得到待处理多媒体内容的视觉特征，其中，多模态模型是采用本公开任意实施例的训练方法训练得到的；利用多模态模型的文本编码器，对待处理多媒体内容中与视觉信息的内容相关的文本进行处理，得到待处理多媒体内容的文本特征；利用多模态模型的第一融合模块，对待处理多媒体内容的视觉特征和文本特征进行融合，得到待处理多媒体内容的融合特征。

3、根据本公开的又一些实施例，提供了一种训练装置，包括：视觉编码单元，被配置为利用多模态模型的视觉编码器，对多个样本中的视觉信息进行处理，得到多个样本中每个样本的视觉特征；文本编码单元，被配置为利用多模态模型的文本编码器，对每个样本中与视觉信息的内容相关的文本进行处理，得到每个样本的第一文本特征，对每个样本的分类信息进行处理，得到每个样本的第二文本特征；第一融合单元，被配置为利用多模态模型的第一融合模块，对每个样本的视觉特征和第一文本特征进行融合，得到每个样本的第一融合特征；确定单元，被配置为根据多个样本的第一融合特征和第二文本特征，确定对比损失；调整单元，被配置为根据对比损失，对多模态模型的参数进行调整，以对多模态模型进行训练。

4、根据本公开的再一些实施例，提供了一种特征提取装置，包括：视觉编码单元，被配置为利用多模态模型的视觉编码器，对待处理多媒体内容中的视觉信息进行处理，得到待处理多媒体内容的视觉特征，其中，多模态模型是采用本公开任意实施例的训练方法训练得到的；文本编码单元，被配置为利用多模态模型的文本编码器，对待处理多媒体内容中与视觉信息的内容相关的文本进行处理，得到待处理多媒体内容的文本特征；融合单元，被配置为利用多模态模型的第一融合模块，对待处理多媒体内容的视觉特征和文本特征进行融合，得到待处理多媒体内容的融合特征。

5、根据本公开的又一些实施例，提供了一种电子设备，包括：耦接至处理器的存储器，用于存储指令，指令被处理器执行时，使处理器执行如本公开任意实施例的训练方法，和/或执行本公开任意实施例的特征提取方法。

6、根据本公开的再一些实施例，提供了一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时，使处理器执行如本公开任意实施例的训练方法，和/或执行本公开任意实施例的特征提取方法。

7、根据本公开的又一些实施例，提供了一种计算机程序产品，包括：指令，其中，该程序被处理器执行时，使处理器执行如本公开任意实施例的训练方法，和/或执行本公开任意实施例的特征提取方法。

8、根据本公开的再一些实施例，提供了一种多模态信息处理系统，包括：本公开任意实施例的训练装置和本公开任意实施例的特征提取装置。

9、通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征、方面及其优点将会变得清楚。

1.一种训练方法，包括：

2.根据权利要求1所述的训练方法，其中，所述根据所述多个样本的第一融合特征和第二文本特征，确定对比损失包括：

3.根据权利要求1所述的训练方法，其中，所述根据所述多个样本的第一融合特征和第二文本特征，确定对比损失包括：

4.根据权利要求3所述的训练方法，其中，所述根据所述多个样本的第一融合特征和第二融合特征，确定所述对比损失包括：

5.根据权利要求1所述的训练方法，其中，所述根据所述多个样本的第一融合特征和第二文本特征，确定对比损失包括：

6.根据权利要求2或5所述的训练方法，其中，所述利用所述多模态模型的文本编码器，对所述每个样本中与视觉信息的内容相关的文本进行处理，得到所述每个样本的第一文本特征包括：

7.根据权利要求1~5任一项所述的训练方法，其中，所述利用所述多模态模型的第一融合模块，对所述每个样本的视觉特征和第一文本特征进行融合，得到所述每个样本的第一融合特征包括，利用所述第一融合模块：

8.根据权利要求3或5所述的训练方法，其中，所述利用所述多模态模型的第二融合模块，对所述每个样本的视觉特征和第二文本特征进行融合，得到所述每个样本的第二融合特征包括，利用所述第二融合模块：

9.根据权利要求1~5任一项所述的训练方法，还包括：

10.根据权利要求1~5任一项所述的训练方法，其中，所述视觉信息包括多个图像，所述多个图像中每个图像被划分为多个块，所述利用多模态模型的视觉编码器，对多个样本中的视觉信息进行处理，得到所述多个样本中每个样本的视觉特征包括，利用所述视觉编码器：

11.根据权利要求1~5任一项所述的训练方法，其中，所述视觉信息包括多个图像，所述利用多模态模型的视觉编码器，对多个样本中的视觉信息进行处理，得到所述多个样本中每个样本的视觉特征包括，利用所述视觉编码器，针对每个样本：

12.根据权利要求1~5任一项所述的训练方法，其中，所述视觉信息包括图像或视频，所述每个样本中与所述视觉信息的内容相关的文本包括：标题、图像中的文本、基于语音识别得到的文本、基于光学字符识别得到的文本、字幕、描述文本中至少一项。

13.一种特征提取方法，包括：

14.根据权利要求13所述的特征提取方法，还包括以下至少一项：

15.一种训练装置，包括：

16.一种特征提取装置，包括：

17. 一种电子设备，包括：

18.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时，使所述处理器执行如权利要求1至12中任一项所述的训练方法，和/或，权利要求13-14任一项所述的特征提取方法。

19.一种计算机程序产品，包括：指令，其中，该程序被处理器执行时，使所述处理器执行如权利要求1至12中任一项所述的训练方法，和/或，权利要求13-14任一项所述的特征提取方法。

20.一种多模态信息处理系统，包括：权利要求16所述的训练装置和权利要求17所述的特征提取装置。