模型训练方法、系统、设备及存储介质与流程

摘要: 本申请涉及自然语言处理和机器学习,尤其涉及一种模型训练方法、系统、设备及存储介质。背景技术:1、大型语言模型在各类自然语言处理任务中展现出强大的能力。为了提升模...
模型训练方法、系统、设备及存储介质与流程

本申请涉及自然语言处理和机器学习,尤其涉及一种模型训练方法、系统、设备及存储介质。

背景技术:

1、大型语言模型在各类自然语言处理任务中展现出强大的能力。为了提升模型在特定领域或文档集合上的表现,通常需要对模型进行领域适配训练,例如在特定领域语料上对模型进行继续预训练(continued pre-training,cpt),使模型密集接触领域文本,从而将领域知识融入模型参数中。

2、然而,现有技术中的领域适配训练方式,存在训练目标与下游问答任务形式不一致的问题,导致领域知识难以被下游问答任务有效利用。

技术实现思路

1、本申请提供一种模型训练方法、系统、设备及存储介质,用以解决现有技术中训练目标与下游问答任务形式不一致,导致领域知识难以被下游问答任务有效利用的缺陷,实现训练任务形式与下游问答任务形式的一致化,使注入的领域知识能够被下游问答任务有效利用。

2、本申请提供一种模型训练方法,包括如下步骤:

3、基于目标文档集合中的每个文档构建至少一个训练样本,每个所述训练样本包含任务指令和对应的目标生成文本,所述任务指令用于指示基础语言模型执行指定的文本生成操作,所述目标生成文本来源于所述文档;

4、以每个所述训练样本中的任务指令作为基础语言模型的输入,以目标生成文本作为所述基础语言模型的目标输出,对所述基础语言模型进行训练,得到注入后模型,所述注入后模型用于在推理时不接收所述目标文档集合中的文档的条件下,回答关于所述目标文档集合的问题。

5、在一些实施例中,所述基于目标文档集合中的每个文档构建至少一个训练样本,包括:

6、采用续写方式构建所述至少一个训练样本,所述续写方式用于将每个所述文档拆分为前缀文本片段和后缀文本片段,并以包含续写指示信息和所述前缀文本片段的组合文本作为所述任务指令,以所述后缀文本片段作为所述目标生成文本;和/或,

7、采用压缩重构方式构建所述至少一个训练样本,所述压缩重构方式用于对每个所述文档进行内容压缩处理,生成所述文档的压缩表示,以所述压缩表示作为所述任务指令,以所述文档的完整内容作为所述目标生成文本;和/或,

8、采用指令复述方式构建所述至少一个训练样本,所述指令复述方式用于生成包含文档复述指示的自然语言语句作为所述任务指令,以所述文档的完整内容作为所述目标生成文本。

9、在一些实施例中,所述采用压缩重构方式构建所述至少一个训练样本时,所述压缩表示包括以下至少一种:所述文档的摘要、所述文档的大纲、所述文档的知识骨架。

10、在一些实施例中,对每个所述文档构建的训练样本的数量为多个,多个所述训练样本分别对应于所述续写方式、所述压缩重构方式和所述指令复述方式中的至少两种方式,所述至少两种方式构建的训练样本按预设混合比例混合后构成训练数据集,所述训练数据集用于对所述基础语言模型进行训练。

11、在一些实施例中,所述对所述基础语言模型进行训练时,仅以所述目标生成文本作为损失计算目标,所述任务指令部分仅作为模型输入;在计算损失时,仅计算所述基础语言模型在所述目标生成文本的每一个位置上生成的词元与所述目标生成文本中对应位置的词元之间的损失。

12、在一些实施例中,还包括:

13、获取与所述目标文档集合对应的问答对,通过所述问答对对所述注入后模型进行监督微调,得到对齐后模型,所述问答对包含问题和对应的答案,所述问题和所述答案均来源于所述目标文档集合中的同一文档;

14、将所述对齐后模型与所述基础语言模型进行合并,得到目标语言模型。

15、在一些实施例中,所述监督微调为仅答案监督微调,在微调过程中仅以所述问答对中的答案部分作为损失计算目标,问题部分仅作为模型输入;在计算损失时,仅计算所述注入后模型在所述答案的每一个位置上生成的词元与所述答案中对应位置的词元之间的损失。

16、在一些实施例中,所述将所述对齐后模型与所述基础语言模型进行合并,包括:

17、将所述对齐后模型与所述基础语言模型进行合并,生成至少二个候选合并模型;

18、获取每个所述候选合并模型在领域问答任务上的第一性能指标以及在通用语言任务上的第二性能指标,所述第一性能指标用于表征所述候选合并模型回答关于所述目标文档集合的问题的准确率,所述第二性能指标用于表征所述候选合并模型的通用语言能力;

19、根据所述第一性能指标和所述第二性能指标,从所述至少二个候选合并模型中选取一个作为所述目标语言模型。

20、在一些实施例中,所述根据所述第一性能指标和所述第二性能指标,从所述至少二个候选合并模型中选取一个作为所述目标语言模型,包括:

21、从所述至少二个候选合并模型中,筛选出所述第二性能指标不低于预设阈值的候选合并模型;

22、在筛选出的候选合并模型中,选取所述第一性能指标最优的候选合并模型作为所述目标语言模型。

23、本申请还提供一种模型训练系统,包括如下模块:

24、样本获取模块,用于基于目标文档集合中的每个文档构建至少一个训练样本,每个所述训练样本包含任务指令和对应的目标生成文本,所述任务指令用于指示基础语言模型执行指定的文本生成操作,所述目标生成文本来源于所述文档;

25、第一训练模块,用于以每个所述训练样本中的任务指令作为基础语言模型的输入,以所述目标生成文本作为所述基础语言模型的目标输出,对所述基础语言模型进行训练,得到注入后模型,所述注入后模型用于在推理时不接收所述目标文档集合中的文档的条件下,回答关于所述目标文档集合的问题。

26、本申请还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述任一种所述模型训练方法。

27、本申请还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述模型训练方法。

28、本申请还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述模型训练方法。

29、本申请提供的一种模型训练方法、系统、设备及存储介质,通过基于目标文档集合中的文档构建包含任务指令和目标生成文本的训练样本,并以所述任务指令作为模型输入、以所述目标生成文本作为训练目标对基础语言模型进行训练,实现了训练任务形式与下游问答任务形式的一致化,使注入的领域知识能够被下游问答任务有效利用。

1.一种模型训练方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述基于目标文档集合中的每个文档构建至少一个训练样本,包括:

3.根据权利要求2所述的方法,其特征在于,所述采用压缩重构方式构建所述至少一个训练样本时,所述压缩表示包括以下至少一种:所述文档的摘要、所述文档的大纲、所述文档的知识骨架。

4.根据权利要求2所述的方法,其特征在于,对每个所述文档构建的训练样本的数量为多个,多个所述训练样本分别对应于所述续写方式、所述压缩重构方式和所述指令复述方式中的至少两种方式,所述至少两种方式构建的训练样本按预设混合比例混合后构成训练数据集,所述训练数据集用于对所述基础语言模型进行训练。

5.根据权利要求1至4中任一项所述的方法,其特征在于,所述对所述基础语言模型进行训练时,仅以所述目标生成文本作为损失计算目标,所述任务指令部分仅作为模型输入;在计算损失时,仅计算所述基础语言模型在所述目标生成文本的每一个位置上生成的词元与所述目标生成文本中对应位置的词元之间的损失。

6.根据权利要求1至5中任一项所述的方法,其特征在于,还包括:

7.根据权利要求6所述的方法,其特征在于,所述监督微调为仅答案监督微调,在微调过程中仅以所述问答对中的答案部分作为损失计算目标,问题部分仅作为模型输入;在计算损失时,仅计算所述注入后模型在所述答案的每一个位置上生成的词元与所述答案中对应位置的词元之间的损失。

8.根据权利要求6所述的方法,其特征在于,所述将所述对齐后模型与所述基础语言模型进行合并,包括:

9.根据权利要求8所述的方法,其特征在于,所述根据所述第一性能指标和所述第二性能指标,从所述至少二个候选合并模型中选取一个作为所述目标语言模型,包括:

10.一种模型训练系统,其特征在于,包括:

11.一种电子设备,包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至9任一项所述模型训练方法。

12.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至9任一项所述模型训练方法。

13.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至9任一项所述模型训练方法。