问答模型的训练方法、问答任务的处理方法、设备、介质及产品

摘要: 本公开涉及智能问答,尤其涉及一种问答模型的训练方法、问答任务的处理方法、设备、介质及产品。背景技术:1、随着人工智能技术的发展,大语言模型(largelangu...
问答模型的训练方法、问答任务的处理方法、设备、介质及产品

本公开涉及智能问答,尤其涉及一种问答模型的训练方法、问答任务的处理方法、设备、介质及产品。

背景技术:

1、随着人工智能技术的发展,大语言模型(large language models,llms)在自然语言理解、知识问答、智能搜索、代码生成以及检索增强生成(retrieval-augmentedgeneration,rag)等任务中取得了显著进展。随着模型上下文窗口不断扩展,大语言模型能够处理越来越长的输入文本,在长文档问答、多文档推理、法律分析、医疗知识问答等场景中展现出了良好的应用前景。然而,在实际应用过程中,长上下文输入也带来了计算复杂度高、推理延迟大以及显存占用严重等问题,特别是在transformer结构中,自注意力计算复杂度随输入长度呈平方增长,使得模型难以高效处理超长文档。因此,在保证推理质量的同时降低长文本计算成本,成为针对长上下文大模型研究的重要方向之一。

2、对此,在问答任务中,可以通过上下文压缩(context compression)方法对文本进行压缩,基于压缩后的信息进行答案推理,如此可以降低问答任务的推理成本和推理耗时。然而,在一些问答任务的处理中,由于压缩过程中产生的记忆(memory)表示缺乏问题区分能力,在同一文档对应不同问题时产生的记忆表示仍然十分相似,无法根据不同问题选择性保留关键信息,而由于在压缩过程中保留信息不准确、对于不同问题的区分不佳,导致难以提高问答任务的推理答案的准确性。

技术实现思路

1、本公开提供一种问答模型的训练方法、问答任务的处理方法、设备、介质及产品,以至少解决由于在压缩过程中保留信息不准确、对于不同问题的区分不佳而导致难以提高问答任务的推理答案的准确性的问题。本公开的技术方案如下:

2、根据本公开的第一方面,提供一种问答模型的训练方法,所述问答模型包括编码器和解码器,其中,所述训练方法包括:获取多个训练样本以及与每个训练样本对应的样本答案,其中,每个训练样本包括样本文档和针对所述样本文档的样本问题;利用所述编码器,对每个训练样本中的样本文档进行上下文压缩,得到与每个训练样本对应的记忆槽;利用所述解码器,基于与每个训练样本对应的记忆槽,确定针对每个训练样本中的样本问题的预测答案;基于所述多个训练样本的记忆槽和上下文表示,生成对比样本对,其中,所述对比样本对包括正样本对和负样本对,所述正样本对由同一训练样本的压缩表示和上下文表示构成,所述负样本对由具有不同样本问题的训练样本的压缩表示构成,所述压缩表示基于相应训练样本的记忆槽生成;通过对所述对比样本对中的两个表示进行比较,确定对比训练损失;基于所述预测答案、以及与各训练样本对应的样本答案,确定预测训练损失;基于所述对比训练损失和所述预测训练损失,对所述问答模型进行训练,得到经训练的问答模型。

3、可选地,所述通过对所述对比样本对中的两个表示进行比较,确定对比训练损失,包括:确定所述正样本对的压缩表示和上下文表示之间的第一相似度;确定所述负样本对的两个压缩表示之间的第二相似度;基于所述第一相似度和所述第二相似度,确定所述对比训练损失,其中,所述对比训练损失与所述第一相似度呈负相关,所述对比训练损失与所述第二相似度呈正相关。

4、可选地,所述多个训练样本包括多个同上下文训练样本,所述多个同上下文训练样本具有相同的样本文档并且具有不同的样本问题,所述负样本对包括同上下文负样本对,所述同上下文负样本对由所述多个同上下文训练样本中的两个样本的压缩表示构成。

5、可选地,针对每个训练样本,通过以下方式生成所述压缩表示:通过该训练样本的记忆槽进行平均池化,得到与该训练样本对应的压缩表示。

6、可选地,所述利用所述编码器,对每个训练样本中的样本文档进行上下文压缩,得到与每个训练样本对应的记忆槽,包括:利用所述编码器,基于双向注意力机制,对每个训练样本中的样本文档进行上下文压缩,得到与每个训练样本对应的记忆槽,其中,所述双向注意力机制是指:针对每个记忆槽,该记忆槽与在该记忆槽之前生成的记忆槽、以及与在该记忆槽之后生成的记忆槽共享信息。

7、可选地,所述编码器包括注意力掩码层,在所述注意力掩码层中,针对训练样本的样本序列内部的注意力掩码为下三角矩阵,针对训练样本的样本序列对于记忆槽的注意力掩码为0,针对训练样本的记忆槽对于样本序列的注意力掩码为1,针对训练样本的记忆槽之间的注意力掩码为1,其中,所述样本序列基于训练样本中的样本文档和样本问题得到。

8、根据本公开的第二方面,提供一种问答任务的处理方法,所述问答任务的处理方法包括:接收待处理的问答任务,其中,所述问答任务包括目标文档以及针对目标文档的目标问题;利用问答模型,针对所述目标文档,得到与所述目标问题对应的答案,其中,所述问答模型是根据本公开所述的问答模型的训练方法训练得到的。

9、根据本公开的第三方面,提供一种电子设备,所述电子设备包括:处理器;用于存储处理器可执行指令的存储器,其中,所述处理器可执行指令在被所述处理器运行时,促使所述处理器执行根据本公开所述的问答模型的训练方法或问答任务的处理方法。

10、根据本公开的第四方面,提供一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行根据本公开所述的问答模型的训练方法或问答任务的处理方法。

11、根据本公开的第五方面,提供一种计算机程序产品,包括计算机可执行指令,所述计算机可执行指令被至少一个处理器执行时实现根据本公开所述的问答模型的训练方法或问答任务的处理方法。

12、本公开提供的技术方案至少带来以下有益效果:

13、根据本公开的问答模型的训练方法及问答任务的处理方法,在训练过程中,可以基于训练样本的记忆槽和上下文表示,生成对比样本对,并对所述对比样本对中的两个表示进行比较,确定对比训练损失,可以基于对比训练损失,对问答模型进行训练,如此训练得到的问答模型可以关注到同一训练样本的压缩表示和上下文表示之间的关系、以及具有不同样本问题的训练样本的压缩表示之间的关系,从而可以提高针对同一文档的不同问题的记忆表示的区分度,根据不同问题选择性地保留关键信息,提高问答任务的推理答案的准确性。

14、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。

1.一种问答模型的训练方法,其特征在于,所述问答模型包括编码器和解码器,其中,所述训练方法包括:

2.根据权利要求1所述的训练方法,其特征在于,所述通过对所述对比样本对中的两个表示进行比较,确定对比训练损失,包括:

3.根据权利要求1所述的训练方法,其特征在于,所述多个训练样本包括多个同上下文训练样本,所述多个同上下文训练样本具有相同的样本文档并且具有不同的样本问题,

4.根据权利要求1所述的训练方法,其特征在于,针对每个训练样本,通过以下方式生成所述压缩表示:

5.根据权利要求1所述的训练方法,其特征在于,所述利用所述编码器,对每个训练样本中的样本文档进行上下文压缩,得到与每个训练样本对应的记忆槽,包括:

6.根据权利要求5所述的训练方法,其特征在于,所述编码器包括注意力掩码层,在所述注意力掩码层中,针对训练样本的样本序列内部的注意力掩码为下三角矩阵,针对训练样本的样本序列对于记忆槽的注意力掩码为0,针对训练样本的记忆槽对于样本序列的注意力掩码为1,针对训练样本的记忆槽之间的注意力掩码为1,

7.一种问答任务的处理方法,其特征在于,所述问答任务的处理方法包括:

8.一种电子设备,其特征在于,所述电子设备包括:

9.一种计算机可读存储介质,其特征在于,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行根据权利要求1至6中任一项所述的问答模型的训练方法或根据权利要求7所述的问答任务的处理方法。

10.一种计算机程序产品,包括计算机可执行指令,其特征在于,所述计算机可执行指令被至少一个处理器执行时实现根据权利要求1至6中任一项所述的问答模型的训练方法或根据权利要求7所述的问答任务的处理方法。