一种文本摘要生成方法、装置和存储介质与流程

摘要: 本申请涉及自然语言处理,具体为一种文本摘要生成方法、装置和存储介质。背景技术:1、文本摘要生成技术主要分为生成式摘要与抽取式摘要两大技术路线。其中,生成式摘要方...
一种文本摘要生成方法、装置和存储介质与流程

本申请涉及自然语言处理,具体为一种文本摘要生成方法、装置和存储介质。

背景技术:

1、文本摘要生成技术主要分为生成式摘要与抽取式摘要两大技术路线。其中,生成式摘要方法基于深度学习模型,通过理解文本语义后重新生成全新的摘要语句,该方法虽然在语言流畅性方面表现优异,但是存在严重的事实幻觉问题,容易生成原文中不存在的虚假信息,并且摘要内容不可控、不可追溯,在对摘要严谨性、准确性要求较高的领域(例如:学术论文、法律文书、政务文件和技术标准等)难以落地应用。

2、与之相对,抽取式摘要方法直接从原文中选取最具代表性、信息量最丰富的语句组合形成摘要,不存在虚构内容的风险,并且摘要语句均可以追溯至原文,具备天然的可解释性与可信度,因此成为对摘要严谨性、准确性要求较高领域广泛采用的主流技术方案。然而,现有抽取式摘要技术在实际应用中仍然存在一定的技术局限,例如,词频-逆文档频率(term frequency-inverse document frequency,tf-idf)方法仅通过词语在文档中的出现频率与在语料库中的逆文档频率计算词语重要性,进而推导句子重要性;位置加权方法则简单地认为文档开头、结尾的句子更为重要。也就是说,这些技术方案主要依赖词频、逆文档频率、句子位置、句子长度等单一统计特征对句子的重要程度进行评估,进而生成摘要。换句话说,这类方法计算简单、运行高效,但是完全忽略了文本内部的语义关联与逻辑结构,无法捕捉句子之间的语义依赖关系,在复杂文本、长文本场景下的摘要质量低下,适配场景极其有限。

技术实现思路

1、本申请的目的在于提供一种文本摘要生成方法、装置和存储介质,以解决现有的抽取式摘要方法在面对复杂文本时所生成的摘要质量低下的技术问题。

2、为实现上述目的,本申请提供如下技术方案:

3、第一方面,本申请提出一种文本摘要生成方法的技术方案。该文本摘要生成方法包括:

4、获取所述文本中所有的第一语句;所述第一语句为所述文本中的任意语句;

5、遍历各个第一语句,获取第二语句;所述第二语句为各个第一语句中未获取对应重要程度值的任意语句;所述重要程度值至少用于表征所述第二语句在所述文本中的语义重要程度大小;

6、针对每一个第二语句均执行以下步骤,直至每个第二语句均得到对应的重要程度值;

7、基于各个第一语句,获取各个第三语句;所述第三语句为各个第一语句中除所述第二语句之外的任意语句;

8、基于各个第三语句和所述第二语句,获取与各个第三语句一一对应的第一相似度;所述第一相似度为对应的第三语句与所述第二语句之间的相似度;

9、基于各个第一相似度,获取所述第二语句的重要程度值;

10、所有的第一语句均获取对应的重要程度值之后,基于各个重要程度值,获取至少一个目标语句;所述目标语句为各个第一语句中对应的重要程度值满足第一预设条件的任意语句;

11、基于各个目标语句生成所述文本的摘要。

12、第二方面,本申请提出一种文本摘要生成装置的技术方案。该文本摘要生成装置包括第一处理器和第一存储器;

13、所述第一处理器与第一存储器相连,其中,所述第一存储器用于存储计算机程序,所述第一处理器用于调用所述计算机程序,以使得所述文本摘要生成装置执行如第一方面所述的文本摘要生成方法。

14、第三方面,本申请提出一种计算机可读存储介质的技术方案。该计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的文本摘要生成方法。

15、与现有技术相比,本申请的有益效果是:

16、本申请不再只依靠词频、句子位置这类单一简单特征评判语句价值,能充分地捕捉文本段落层级结构、语句间语义依赖关系,解决传统抽取式摘要在复杂长文本里核心信息丢失、摘要内容冗余、语句逻辑割裂的问题,产出的摘要既能够完整保留原文关键内容、信息可追溯,又语句通顺、信息密度更高,适配论文、政务、法律文书等对摘要严谨性要求高的专业场景。

1.一种文本摘要生成方法,其特征在于,包括:

2.根据权利要求1所述的文本摘要生成方法,其特征在于,所述基于各个第一语句,获取多个第三语句,包括:

3.根据权利要求2所述的文本摘要生成方法,其特征在于,所述基于所述第二语句和所述第四语句,获取相关性值,包括:

4.根据权利要求1所述的文本摘要生成方法,其特征在于,各个第一相似度的平均值为所述第二语句的第一初始重要程度值;所述基于各个第一相似度,获取所述第二语句的重要程度值,包括:

5.根据权利要求4所述的文本摘要生成方法,其特征在于,所述获取所述第二语句的重要程度值之后,所述方法还包括:

6.根据权利要求1至5中任意一项所述的文本摘要生成方法,其特征在于,所述获取与各个第三语句一一对应的第一相似度,包括:

7.根据权利要求1至5中任意一项所述的文本摘要生成方法,其特征在于,所述基于各个目标语句生成所述文本的摘要,包括:

8.根据权利要求1至5中任意一项所述的文本摘要生成方法,其特征在于,所述基于各个目标语句生成所述文本的摘要,包括:

9.一种文本摘要生成装置,其特征在于,包括第一处理器和第一存储器;

10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的文本摘要生成方法。