一种答案抽取模型的训练方法及装置与流程

技术特征：
1.一种答案抽取模型的训练方法，其特征在于，包括：从原始语料中确定样本文本，并在预先构建的问题集中筛选与所述样本文本相关联的至少一个待查询问题以及对应的答案标签；将任意一个所述待查询问题与所述样本文本输入预训练的答案抽取模型，确定所述待查询问题的答案抽取结果；基于所述答案抽取结果以及所述答案标签生成所述答案抽取模型的目标损失值，并基于所述目标损失值对所述答案抽取模型进行优化，获得目标答案抽取模型。2.如权利要求1所述的答案抽取模型的训练方法，其特征在于，所述问题集通过以下方式进行构建：从所述原始语料中提取文本的事件类型标签以及答案类型标签；将所述事件类型标签与所述答案类型标签进行整合，生成问题标签；根据所述问题标签中包含的答案类型标签所属类别生成与所述问题标签匹配的查询问题，并基于所述查询问题构建问题集。3.如权利要求2所述的答案抽取模型的训练方法，其特征在于，所述根据所述问题标签中包含的答案类型标签所属类别生成与所述问题标签匹配的查询问题，包括：若所述问题标签中包含的答案类型标签为第一类别，则获取预定义的问题模板，并基于所述问题标签和所述问题模板构建与所述问题标签匹配的查询问题；若所述问题标签中包含的答案类型标签为第二类别，则对所述原始语料中与所述第二类别的答案类型标签相关的事件句进行统计分析，根据分析结果构建与所述问题标签匹配的查询问题。4.如权利要求1所述的答案抽取模型的训练方法，其特征在于，所述将任意一个所述待查询问题与所述样本文本输入预训练的答案抽取模型，确定所述待查询问题的答案抽取结果，包括：将任意一个所述待查询问题与所述样本文本作为输入集输入所述答案抽取模型，所述答案抽取模型的向量编码模块对所述输入集中每个词单元对应的字向量、文本向量以及位置向量加和，生成所述每个词单元对应的编码向量；基于所述编码向量计算所述每个词单元作为所述待查询问题对应的预测答案的起始位置以及结束位置的概率分布；根据所述起始位置以及结束位置的概率分布，确定所述待查询问题对应的答案抽取结果。5.如权利要求4所述的答案抽取模型的训练方法，其特征在于，所述根据所述起始位置以及结束位置的概率分布，确定所述待查询问题对应的答案抽取结果，包括：将所述起始位置的概率分布中概率最大的词单元在所述样本文本中的位置作为所述答案的起始位置；将所述结束位置的概率分布中概率最大的词单元在所述样本文本中的位置作为所述答案的结束位置；以及，将所述起始位置以及结束位置之间的词单元作为所述答案抽取结果。6.如权利要求5所述的答案抽取模型的训练方法，其特征在于，所述基于所述答案抽取结果以及所述答案标签生成所述答案抽取模型的目标损失值，包括：
基于所述起始位置的概率分布以及所述答案标签中目标起始位置的概率确定所述答案抽取结果在所述样本文本中起始位置的起始位置损失；基于所述结束位置的概率分布以及所述答案标签中目标结束位置的概率确定所述答案抽取结果在所述样本文本中结束位置的结束位置损失；基于所述起始位置以及所述结束位置确定所述答案抽取结果的长度损失；基于所述起始位置损失、所述结束位置损失和所述长度损失，计算所述目标损失值。7.如权利要求6所述的答案抽取模型的训练方法，其特征在于，所述基于所述起始位置损失、所述结束位置损失和所述长度损失，计算所述目标损失值，包括：计算所述起始位置损失、所述结尾位置损失和所述长度损失三者的加权和，作为所述目标损失值。8.如权利要求4所述的答案抽取模型的训练方法，其特征在于，所述向量编码模块包括嵌入层和n个堆栈层；相应的，所述生成所述每个词单元对应的编码向量，包括：s11、将所述待查询问题与所述样本文本作为输入集输入至所述嵌入层，得到对应的输入向量；s12、将所述输入向量输入至第1个堆栈层，得到第1个堆栈层的输出向量；s13、将第i个堆栈层的输出向量输入至第i 1个堆栈层，得到第i 1个堆栈层的输出向量，其中，i∈[1,n]，且i从1开始取值；s14、判断i是否等于n-1，若是，执行步骤s15，若否，执行步骤s13；s15、将第n个堆栈层的输出向量作为所述输入集中每个词单元的编码向量输出。9.一种答案抽取模型的训练装置，其特征在于，包括：筛选模块，被配置为从原始语料中确定样本文本，并在预先构建的问题集中筛选与所述样本文本相关联的至少一个待查询问题以及对应的答案标签；确定模块，被配置为将任意一个所述待查询问题与所述样本文本输入预训练的答案抽取模型，确定所述待查询问题的答案抽取结果；计算模块，被配置为基于所述答案抽取结果以及所述答案标签生成所述答案抽取模型的目标损失值，并基于所述目标损失值对所述答案抽取模型进行优化，获得目标答案抽取模型。10.一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，其特征在于，所述处理器执行所述指令时实现权利要求1-8任意一项所述方法的步骤。11.一种计算机可读存储介质，其存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1-8任意一项所述方法的步骤。

技术总结
本申请提供一种答案抽取模型的训练方法及装置，其中所述答案抽取模型的训练方法包括：从原始语料中确定样本文本，并在预先构建的问题集中筛选与所述样本文本相关联的至少一个待查询问题以及对应的答案标签；将任意一个所述待查询问题与所述样本文本输入预训练的答案抽取模型，确定所述待查询问题的答案抽取结果；基于所述答案抽取结果以及所述答案标签生成所述答案抽取模型的目标损失值，并基于所述目标损失值对所述答案抽取模型进行优化，获得目标答案抽取模型。获得目标答案抽取模型。获得目标答案抽取模型。


技术研发人员：孙雪 李长亮
受保护的技术使用者：北京金山数字娱乐科技有限公司
技术研发日：2020.08.17
技术公布日：2022/2/23