特征提取方法、特征提取模型训练方法及相关装置与流程

摘要: 本技术涉及人工智能,特别涉及一种特征提取方法、特征提取模型训练方法及相关装置。背景技术:1、伴随信息的多模态化发展,相关技术对多模态信息的嵌入特征的提取需求也日...
特征提取方法、特征提取模型训练方法及相关装置与流程

本技术涉及人工智能,特别涉及一种特征提取方法、特征提取模型训练方法及相关装置。

背景技术:

1、伴随信息的多模态化发展,相关技术对多模态信息的嵌入特征的提取需求也日益迫切,高质量的多模态信息的嵌入特征可以被用于执行多种任务,比如信息聚合、文本理解、跨模态检索、智能推荐、冷启动推荐等,这些任务要求多模态信息的嵌入特征在统一的向量空间中具有一致性和可比性,因此多模态信息的嵌入特征的质量对这些任务的执行结果具有重大影响。

2、但是,多模态信息中不同模态的数据来源于不同的渠道,其内在的特征表示和语义结构往往存在显著的差异,这就导致在多模态信息的嵌入特征的提取过程中会产生由于不同模态信息的跨空间融合所导致的对齐问题和融合不充分的问题,因此,目前相关技术中缺少可以将多模态信息直接提取为单一的嵌入特征的有效方法。

技术实现思路

1、本技术实施例提供了一种特征提取方法、特征提取模型训练方法及相关装置,其能够对多模态信息进行单一的嵌入特征提取,并且提取过程充分解决了对齐问题和融合不充分问题,显著提升了提取到的嵌入特征对对应的多模态信息的表征能力。

2、根据本技术实施例的一个方面,提供了一种特征提取方法,所述方法包括:

3、获取业务数据,所述业务数据包括至少两个模态的数据,所述至少两个模态的数据的内容具备相关关系;

4、获取提示信息,所述提示信息包括单一的目标单元,所述提示信息用于指示特征提取模型将所述业务数据对应的嵌入特征输出至预设信息载体,所述预设信息载体为词序列中对应于所述目标单元的词对应的信息载体,所述词序列通过对所述提示信息进行分词处理得到;

5、基于所述业务数据和所述提示信息,触发所述特征提取模型输出所述业务数据对应的嵌入特征;

6、其中,所述特征提取模型为基于对比学习训练多模态大型生成式语言模型所得到的模型。

7、根据本技术实施例的另一个方面,提供了特征提取模型训练方法,所述方法包括:

8、获取多个样本,每一所述样本包括至少两个模态的数据,所述至少两个模态的数据的内容具备相关关系;

9、确定提示信息,所述提示信息包括单一的目标单元,所述提示信息用于指示多模态大型生成式语言模型将所述样本对应的样本嵌入特征输出至预设信息载体,所述预设信息载体为词序列中对应于所述目标单元的词对应的信息载体,所述词序列通过对所述提示信息进行分词处理得到;

10、提取每一所述样本对应的样本嵌入特征,所述样本嵌入特征为所述多模态大型生成式语言模型基于所述样本和所述提示信息生成的输出结果中对应于所述预设信息载体的信息;

11、基于每一所述样本和对应的样本嵌入特征,通过对比学习调整所述多模态大型生成式语言模型的参数,得到特征提取模型。

12、根据本技术实施例的一个方面,提供了一种特征提取装置,所述装置包括:

13、业务数据获取模块,用于获取业务数据,所述业务数据包括至少两个模态的数据,所述至少两个模态的数据的内容具备相关关系;

14、提示信息获取模块,用于获取提示信息,所述提示信息包括单一的目标单元,所述提示信息用于指示特征提取模型将所述业务数据对应的嵌入特征输出至预设信息载体,所述预设信息载体为词序列中对应于所述目标单元的词对应的信息载体,所述词序列通过对所述提示信息进行分词处理得到;

15、特征提取模块,用于基于所述业务数据和所述提示信息,触发所述特征提取模型输出所述业务数据对应的嵌入特征;

16、其中,所述特征提取模型为基于对比学习训练多模态大型生成式语言模型所得到的模型。

17、根据本技术实施例的另一个方面,提供了一种特征提取模型训练装置,所述装置包括:

18、样本获取模块,用于获取多个样本,每一所述样本包括至少两个模态的数据,所述至少两个模态的数据的内容具备相关关系;

19、训练模块,用于执行下述操作:

20、确定提示信息,所述提示信息包括单一的目标单元,所述提示信息用于指示多模态大型生成式语言模型将所述样本对应的样本嵌入特征输出至预设信息载体,所述预设信息载体为词序列中对应于所述目标单元的词对应的信息载体,所述词序列通过对所述提示信息进行分词处理得到;

21、提取每一所述样本对应的样本嵌入特征,所述样本嵌入特征为所述多模态大型生成式语言模型基于所述样本和所述提示信息生成的输出结果中对应于所述预设信息载体的信息;

22、基于每一所述样本和对应的样本嵌入特征,通过对比学习调整所述多模态大型生成式语言模型的参数,得到特征提取模型。

23、根据本技术实施例的一个方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述特征提取方法或特征提取模型训练方法。

24、根据本技术实施例的一个方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述特征提取方法或特征提取模型训练方法。

25、根据本技术实施例的一个方面,提供了一种计算机程序产品,所述计算机程序产品包括计算机指令,所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取所述计算机指令,所述处理器执行所述计算机指令,使得所述计算机设备执行以实现上述特征提取方法或特征提取模型训练方法。

26、本技术实施例提供的技术方案可以带来如下有益效果:

27、本技术实施例提出特征提取方法、特征提取模型训练方法及相关装置,该特征提取方法能够充分利用多模态大型生成式大型语言模型所包含的丰富的知识,将覆盖多个模态的多模态信息映射到统一的语义空间,得到能表征多模态信息的单一的嵌入特征,该嵌入特征可以直接用于度量不同的多模态信息彼此之间的差异性和关联性。这样,就妥善解决了不同模态的数据提取到的特征的跨空间融合问题,避免相关技术中的跨空间融合导致的融合结果表征能力下降的问题。

28、本技术实施例通过多模态大型生成式大模型输出表征多模态信息的嵌入特征,多模态大型生成式语言模型相较于相关技术中的其他用于处理多模态信息的模型具备公允性特点,其本身对在进行知识学习时产生的各种偏见可以通过模型本身的能力和基于人类反馈的强化学习进行修正,这使得本技术实施例基于多模态大型生成式语言模型构建出的特征提取模型相较于相关技术中其他可以进行多模态信息的特征提取的模型而言,提取到的嵌入特征更加客观科学,表征能力更强。

29、本技术实施例中以多模态大型生成式语言模型为基础训练得到的特征提取模型,对多模态信息的信息量具备更强的支持能力,不会轻易出现截断,有效增强特征提取模型本身对多模态信息的刻画能力。