文本关联性确定方法、装置、电子设备、存储介质及产品与流程

摘要: 本公开涉及数据处理,尤其涉及一种文本关联性确定方法、装置、电子设备、存储介质及产品。背景技术:1、在涉及到自然语言处理的任务中,例如在多轮对话中、文本编辑和内容...
文本关联性确定方法、装置、电子设备、存储介质及产品与流程

本公开涉及数据处理,尤其涉及一种文本关联性确定方法、装置、电子设备、存储介质及产品。

背景技术:

1、在涉及到自然语言处理的任务中,例如在多轮对话中、文本编辑和内容创作中、智能写作辅助以及搜索任务中,往往需要确定用户当前输入的文本与历史的文本之间的关联性。

2、相关技术中,基于相邻句子之间的向量相关性来确定当前输入的文本与上一文本之间的关联性,导致关联性结果的准确性较低。

技术实现思路

1、为克服相关技术中存在的问题,本公开提供一种文本关联性确定方法、装置、电子设备、存储介质及产品,通过多个样本文本和关联标示信息对预设网络模型进行训练,其中,关联标示信息用于指示每个样本文本和所述样本文本对应的第二上下文文本是否关联,从而能够使预设网络模型学习到预测两个文本之间的关联性的能力,得到关联预测模型以便能够通过训练得到的关联预测模型来确定目标文本和第一上下文文本之间的关联结果,从而能够得到更加准确的关联结果。

2、根据本公开实施例的第一方面,提供一种文本关联性确定方法,包括:

3、获取目标文本对应的第一上下文文本;

4、根据所述目标文本和所述第一上下文文本通过预先训练的关联预测模型,得到所述目标文本和所述第一上下文文本之间的关联结果;其中,所述关联预测模型是根据多个样本文本和关联标示信息对预设网络模型训练得到的,所述关联标示信息用于指示每个样本文本和所述样本文本对应的第二上下文文本是否关联。

5、在一些可能的实施方式中,所述关联标示信息包括多个样本关联结果,一个所述样本关联结果用于指示一个样本文本和该样本文本对应的第二上下文文本是否关联。

6、在一些可能的实施方式中,所述关联标示信息包括关联字段,以及所述关联字段对应的样本标注值,所述样本标注值表征每个样本文本和所述样本文本对应的第二上下文文本是否关联;

7、所述根据所述目标文本和所述第一上下文文本通过预先训练的关联预测模型,得到所述目标文本和所述第一上下文文本之间的关联结果,包括:

8、通过所述关联字段,将所述目标文本和所述第一上下文文本进行拼接,得到拼接文本;

9、将所述拼接文本作为所述关联预测模型的输入,得到所述关联预测模型输出的所述关联字段对应的目标标注值,所述目标标注值表征所述目标文本和所述第一上下文文本是否关联。

10、在一些可能的实施方式中,所述通过所述关联字段,将所述目标文本和所述第一上下文文本进行拼接,得到拼接文本,包括:

11、通过所述关联字段,将所述目标文本和所述第一上下文文本进行拼接,得到原始拼接文本;

12、确定所述原始拼接文本的长度值;

13、在所述原始拼接文本的长度值大于所述关联预测模型对应的预设长度值的情况下,对所述原始拼接文本进行截断,得到所述拼接文本。

14、在一些可能的实施方式中,所述目标文本包括对话文本,所述方法还包括:

15、根据所述目标文本和所述第一上下文文本之间的关联结果,对所述目标文本和所述第一上下文文本进行上下文分割,得到分割文本;

16、根据所述分割文本,确定所述对话文本对应的应答信息;

17、向用户输出所述应答信息。

18、在一些可能的实施方式中,所述关联预测模型通过以下步骤训练得到:

19、获取所述多个样本文本和关联标示信息;

20、根据所述多个样本文本和关联标示信息,对所述预设网络模型进行多轮迭代训练;

21、在所述预设网络模型满足训练停止条件的情况下,停止训练,得到所述关联预测模型。

22、在一些可能的实施方式中,所述根据所述多个样本文本和关联标示信息,对所述预设网络模型进行多轮迭代训练,包括:

23、针对每一轮训练,将本轮训练对应的样本文本作为所述预设网络模型的输入,得到所述预设网络模型输出的本轮训练对应的预测关联结果;

24、根据本轮训练对应的所述预测关联结果和所述关联标示信息,确定本轮训练对应的预测损失;

25、根据本轮训练对应的预测损失,对所述预设网络模型进行优化。

26、在一些可能的实施方式中,所述将本轮训练对应的样本文本作为所述预设网络模型的输入,得到所述预设网络模型输出的本轮训练对应的预测关联结果,包括:

27、通过所述预设网络模型执行以下步骤:

28、针对任一样本文本,对该样本文本以及该样本文本对应的第二上下文文本进行基础特征提取,得到第一特征向量;

29、对所述第一特征向量进行双向上下文语义特征提取,得到第二特征向量;

30、将所述第二特征向量映射到所述关联标示信息对应的标签空间,得到该样本文本对应的预测关联结果。

31、在一些可能的实施方式中,所述根据本轮训练对应的所述预测关联结果和所述关联标示信息,确定本轮训练对应的预测损失,包括:

32、针对本轮训练中的任一样本文本,根据该样本文本对应的预测关联结果与关联标示信息之间的差距,得到本轮训练中的该样本文本对应的预测损失;

33、根据本轮训练中的每个样本文本对应的预测损失,得到本轮训练对应的预测损失。

34、在一些可能的实施方式中,每个样本文本还标注有位置标示信息,所述位置标示信息用于指示所述样本文本中每个分词在该样本文本中的位置,所述预设网络模型的输出还包括该样本文本对应的预测位置结果;

35、所述根据本轮训练对应的所述预测关联结果和所述关联标示信息,确定本轮训练对应的预测损失,包括:

36、针对本轮训练中的任一样本文本,根据该样本文本对应的预测关联结果与关联标示信息之间的差距,得到本轮训练中的该样本文本对应的第一差距值;

37、根据该样本文本对应的预测位置结果与位置标示信息之间的差距,得到本轮训练中的该样本文本对应的第二差距值;

38、基于预设放大参数,对所述第一差距值进行放大,得到第三差距值;

39、根据所述第二差距值和所述第三差距值,以及该样本文本的长度值,得到本轮训练中的该样本文本对应的预测损失;

40、根据本轮训练中的每个样本文本对应的预测损失,得到本轮训练对应的预测损失。

41、根据本公开实施例的第二方面,提供一种文本关联性确定装置,包括:

42、第一获取模块,被配置为取目标文本对应的第一上下文文本;

43、第一获得模块,被配置为根据所述目标文本和所述第一上下文文本通过预先训练的关联预测模型,得到所述目标文本和所述第一上下文文本之间的关联结果;其中,所述关联预测模型是根据多个样本文本和关联标示信息对预设网络模型训练得到的,所述关联标示信息用于指示每个样本文本和所述样本文本对应的第二上下文文本是否关联。

44、根据本公开实施例的第三方面,提供一种电子设备,包括:

45、处理器;

46、用于存储处理器可执行指令的存储器;

47、其中,所述处理器被配置为执行时实现本公开第一方面所提供的文本关联性确定方法的步骤。

48、根据本公开实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序指令,该计算机程序指令被处理器执行时实现本公开第一方面所提供的文本关联性确定方法的步骤。

49、根据本公开实施例的第五方面,提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现本公开第一方面所提供的文本关联性确定方法的步骤。

50、本公开的实施例提供的技术方案可以包括以下有益效果:

51、获取目标文本对应的第一上下文文本,并根据目标文本和第一上下文文本通过预先训练的关联预测模型,得到目标文本和第一上下文文本之间的关联结果;其中,关联预测模型是根据多个样本文本和关联标示信息对预设网络模型训练得到的,关联标示信息用于指示每个样本文本和样本文本对应的第二上下文文本是否关联。

52、通过多个样本文本和关联标示信息对预设网络模型进行训练,其中,关联标示信息用于指示每个样本文本和所述样本文本对应的第二上下文文本是否关联,从而能够使预设网络模型学习到预测两个文本之间的关联性的能力,得到关联预测模型,以便能够通过训练得到的关联预测模型来确定目标文本和第一上下文文本之间的关联结果,从而能够得到更加准确的目标文本和第一上下文文本之间的关联结果。

53、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。