特征提取模型的训练方法、装置、电子设备、存储介质以及计算机程序产品与流程
本公开涉及计算机领域,尤其涉及一种特征提取模型的训练方法、装置、电子设备、存储介质以及计算机程序产品。
背景技术:
1、多模态嵌入技术可以是跨模态任务的核心技术,已广泛应用于图文检索、视频时刻定位、视觉文档理解等方向,相关技术中的多模态嵌入数据对应的模型可以是生成式推理嵌入模型,该生成式推理嵌入模型包含推理过程的目标以及嵌入任务的目标,在同一模型中双目标会导致模型训练的梯度冲突,输出生成式推理嵌入模型的性能较差,导致提取出的特征的质量较差。
技术实现思路
1、本公开提供一种特征提取模型的训练方法、装置、电子设备、存储介质以及计算机程序产品,以至少解决相关技术中特征提取质量较差的问题。本公开的技术方案如下:
2、根据本公开实施例的第一方面,提供一种特征提取模型的训练方法,所述特征提取模型包括推理模块以及嵌入模块,包括:
3、获取查询场景中的训练数据,所述训练数据包括所述查询场景中各查询操作分别对应的查询输入样本数据与查询输出样本数据;
4、通过所述推理模块对所述训练数据进行思维链推理处理,生成所述查询输入样本数据的查询思维链以及所述查询输出样本数据的目标思维链;
5、基于所述查询思维链、所述目标思维链以及预设损失函数,对所述嵌入模块进行训练,得到训练好的嵌入模块;
6、基于所述查询思维链以及所述训练好的嵌入模块进行处理,生成训练奖励数据,并通过所述训练奖励数据对所述推理模块进行训练,得到训练好的推理模块;基于所述训练好的推理模块和所述训练好的嵌入模块,生成训练完成的特征提取模型。
7、在一个实施例中,所述预设损失函数为预设对比学习损失函数;所述基于各所述查询思维链、各所述目标思维链以及预设损失函数,对所述嵌入模块进行训练,得到训练好的嵌入模块,包括:
8、将所述查询输入样本数据与所述查询思维链进行拼接,得到查询拼接数据;以及将查询输出样本数据与目标思维链拼接,生成目标拼接数据;并基于所述嵌入模块、所述查询拼接数据以及所述目标拼接数据进行特征提取处理,生成查询向量与目标向量;
9、通过所述查询向量、所述目标向量、多个目标样本向量以及预设对比学习损失函数,计算对比学习损失值;并基于所述对比学习损失值对所述嵌入模块进行训练,得到训练好的嵌入模块。
10、在一个实施例中,所述通过所述查询向量、所述目标向量、多个目标样本向量以及预设对比学习损失函数,计算对比学习损失值,包括:
11、计算所述目标向量分别与多个目标样本向量之间的相似度,基于所述相似度进行筛选,得到正样本向量以及多个负样本向量;
12、基于所述查询向量与所述正样本向量之间的相似度、所述查询向量与各所述负样本向量之间的相似度以及预设对比学习损失函数,得到对比学习损失值。
13、在一个实施例中,所述基于所述对比学习损失值对所述嵌入模块进行训练,得到训练好的嵌入模块,包括:
14、在不满足预设训练完成条件的情况下,基于所述对比学习损失值对所述嵌入模块的参数进行更新,得到更新后的嵌入模块,并基于所述更新后的嵌入模块重新执行所述获取训练数据的步骤,直至确定满足所述预设训练完成条件,得到训练好的嵌入模块。
15、在一个实施例中,所述基于所述查询思维链以及所述训练好的嵌入模块进行处理,生成训练奖励数据,包括:
16、通过所述推理模块、正样本向量以及各负样本向量进行思维链推理处理,生成正样本思维链以及多个负样本思维链;
17、基于所述查询思维链、所述正样本思维链、多个负样本思维链以及所述训练好的嵌入模块进行处理,生成训练奖励数据。
18、在一个实施例中,所述基于所述查询思维链、所述正样本思维链、多个负样本思维链以及所述训练好的嵌入模块进行处理,生成训练奖励数据,包括:
19、基于所述查询思维链、所述正样本思维链、多个负样本思维链与预设思维链格式条件之间的匹配结果,确定格式奖励数据;
20、通过所述训练好的嵌入模块分别对所述查询思维链、所述正样本思维链、多个负样本思维链进行特征提取处理,得到第一向量、第二向量以及多个第三向量;并基于所述第一向量与所述第二向量之间的相似度、所述第一向量分别与各所述第三向量之间的相似度进行加权处理,得到检索奖励数据;
21、通过预设的重排模型对所述查询思维链、所述正样本思维链、多个负样本思维链进行排序处理,生成所述正样本思维链的预测排序数据,基于所述预测排序数据生成重排奖励数据;
22、对所述格式奖励数据、检索奖励数据与所述重排奖励数据进行加权处理,生成训练奖励数据。
23、在一个实施例中,所述方法还包括:
24、获取多模态的查询输入数据;以及通过所述训练好的推理模块对所述多模态的查询输入数据进行推理,生成多模态思维链;
25、将所述多模态的查询输入数据与所述多模态思维链进行拼接,得到多模态拼接数据;
26、通过所述训练好的嵌入模块,对所述多模态拼接数据进行特征提取处理,生成多模态向量;
27、在预设样本库中,基于所述多模态向量进行查询,得到所述查询输入数据对应的查询输出数据。
28、在一个实施例中,所述预设样本库包括多个目标样本向量以及各所述目标样本向量对应的样本数据;所述在预设样本库中,基于所述多模态向量进行查询,得到所述查询输入数据对应的查询输出数据,包括:
29、计算所述多模态向量分别与各所述目标样本向量之间的相似度,并将相似度满足预设相似条件的目标样本向量确定为相似向量;并将所述相似向量对应的样本数据确定为所述查询输入数据对应的查询输出数据。
30、根据本公开实施例的第二方面,提供一种特征提取模型的训练装置,所述特征提取模型包括推理模块以及嵌入模块,包括:
31、第一获取单元,被配置为执行获取查询场景中的训练数据,所述训练数据包括所述查询场景中各查询操作分别对应的查询输入样本数据与查询输出样本数据;
32、第一推理单元,被配置为执行通过所述推理模块对所述训练数据进行思维链推理处理,生成所述查询输入样本数据的查询思维链以及所述查询输出样本数据的目标思维链;
33、第一训练单元,被配置为执行基于所述查询思维链、所述目标思维链以及预设损失函数,对所述嵌入模块进行训练,得到训练好的嵌入模块;
34、第二训练单元,被配置为执行基于所述查询思维链以及所述训练好的嵌入模块进行处理,生成训练奖励数据,并通过所述训练奖励数据对所述推理模块进行训练,得到训练好的推理模块;基于所述训练好的推理模块和所述训练好的嵌入模块,生成训练完成的特征提取模型。
35、根据本公开实施例的第三方面,提供一种电子设备,包括:
36、处理器;
37、用于存储所述处理器可执行指令的存储器;
38、其中,所述处理器被配置为执行所述指令,以实现如上述第一方面中任一项所述的特征提取模型的训练方法。
39、根据本公开实施例的第四方面,提供一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如上述第一方面中任一项所述的特征提取模型的训练方法。
40、根据本公开实施例的第五方面,提供一种计算机程序产品,所述指令被电子设备的处理器执行时,使得所述电子设备能够执行如上述第一方面中任一项所述的特征提取模型的训练方法。
41、本公开的实施例提供的技术方案至少带来以下有益效果:
42、可以对各个模块进行多阶段训练,可以满足推理模块与嵌入模块的不一致的训练目标,实现特征提取模型的训练过程中推理模块与嵌入模块的解耦训练,实现嵌入模块的有效的对比学习训练以及推理模块的有效的强化学习训练,通过生成的查询场景中的多模态思维链,充分利用了特征提取模型的多模态数据的处理能力,丰富了模型输出的嵌入向量所包含的信息,在降低模型训练成本的情况下进一步提升了模型在多模态查询任务/跨模态查询任务中的特征嵌入性能。
43、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com