一种文本简化方法、简化装置、电子设备、介质及产品与流程

摘要: 本发明涉及人工智能,尤其涉及一种文本简化方法、简化装置、电子设备、介质及产品。背景技术:1、在自然语言处理领域,文本简化用于将复杂文本改写为更易理解的形式,同时...
一种文本简化方法、简化装置、电子设备、介质及产品与流程

本发明涉及人工智能,尤其涉及一种文本简化方法、简化装置、电子设备、介质及产品。

背景技术:

1、在自然语言处理领域,文本简化用于将复杂文本改写为更易理解的形式,同时保留核心语义。现有文本简化技术主要包括基于规则的方法、基于统计机器翻译的方法以及基于深度学习的方法。其中,基于规则的方法依赖预定义的语言学规则进行简化,缺陷在于规则制定需要大量人工介入,覆盖范围有限,对复杂句式的处理效果较差。

2、基于统计机器翻译的方法将文本简化视为翻译任务,依赖复杂句与简化句的平行语料库训练转换模型。该类方法严重依赖大规模对齐语料,且生成结果生硬,难以深度重组句子结构,存在语义偏差风险。

3、基于深度学习的方法将文本简化视为序列到序列的转换任务,通过预训练语言模型在简化数据集上微调实现。该类方法同样依赖大规模对齐语料,且生成过程缺乏可解释性,难以精准控制简化程度,容易造成关键信息丢失或简化不足。

技术实现思路

1、根据本申请的一方面,提供了一种文本简化方法,包括:

2、获取待处理文本;

3、利用至少一个文本处理单元,基于待处理文本和至少一个文本处理单元对应的处理指令,获得至少一个候选简化文本;

4、基于预设评价体系对至少一个候选简化文本进行简化结果评价,获得至少一个评价反馈信息;

5、若至少一个评价反馈信息满足迭代条件,基于至少一个评价反馈信息更新对应的至少一个文本处理单元的处理指令;

6、否则,基于至少一个评价反馈信息确定目标简化文本,并基于目标简化文本更新简化规则。

7、根据本申请的另一方面,提供了一种文本简化系统,包括:

8、获取模块,用于获取待处理文本;

9、生成模块,用于利用至少一个文本处理单元,基于待处理文本和至少一个文本处理单元对应的处理指令,获得至少一个候选简化文本;

10、评价模块,用于基于预设评价体系对至少一个候选简化文本进行简化结果评价,获得至少一个评价反馈信息;

11、迭代模块,用于若至少一个评价反馈信息满足迭代条件,基于至少一个评价反馈信息更新对应的至少一个文本处理单元的处理指令;

12、输出模块,用于若至少一个评价反馈信息不满足迭代条件,基于至少一个评价反馈信息确定目标简化文本,并基于目标简化文本更新简化规则。

13、根据本申请的另一方面,提供了一种电子设备,包括:

14、处理器;以及,

15、存储程序的存储器,其中,程序包括指令,指令在由处理器执行时使处理器执行本申请实施例的方法。

16、根据本申请的另一方面,提供了一种非瞬时计算机可读存储介质,非瞬时计算机可读存储介质存储有计算机指令,计算机指令用于使计算机执行本申请实施例的方法。

17、根据本申请的另一方面,提供了一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现本申请实施例的方法。

18、在本申请实施例提供的一个或多个技术方案中,通过获取待处理文本并利用至少一个文本处理单元基于对应的处理指令生成候选简化文本,避免了人工标注成本高昂所带来的资源消耗问题;在此基础上,通过基于预设评价体系对各候选简化文本进行简化结果评价,获得评价反馈信息,使得简化结果的质量能够被客观量化衡量,避免了深度学习模型黑盒化导致的无法评估和无法追溯的问题;当评价反馈信息满足迭代条件时,基于该评价反馈信息更新对应的文本处理单元的处理指令,驱动下一轮简化向更高质量收敛,从而实现了评价结果与处理策略之间的闭环反馈和自适应调优;当评价反馈信息满足输出条件时,基于评价反馈信息确定目标简化文本,并基于目标简化文本更新简化规则,使得每次成功的简化经验均能够被更新为可复用的规则,系统在处理后续类似文本时可通过复用已有规则优化初始处理指令,从而使系统具备随使用时间增长而持续进化的自学习能力。

19、当本申请的方法应用在文本简化系统中时,可以使得文本简化系统能够以自学习、自优化的方式持续提升简化结果的语义准确性、逻辑完整性和表述流畅性,同时通过知识库的积累使简化效率呈现持续增长趋势,在无需人工持续介入规则编写的前提下实现了系统性能的不断提升,提高了系统的处理效率。

1.一种文本简化方法,其特征在于,包括:

2.根据权利要求1所述的文本简化方法,其特征在于,所述预设评价体系包括多个评价维度,所述基于预设评价体系对所述至少一个候选简化文本进行简化结果评价,获得至少一个评价反馈信息,包括:

3.根据权利要求2所述的文本简化方法,其特征在于,所述多个评价维度包括用于表征所述至少一个候选简化文本相对于所述待处理文本的语义偏离程度的第一评价维度、用于表所述至少一个候选简化文本与所述待处理文本之间的文本重叠程度的第二评价维度,以及用于表征候选简化文本的表述复杂程度的第三评价维度中的至少两个。

4.根据权利要求2所述的文本简化方法,其特征在于,所述基于所述至少一个候选简化文本在所述多个评价维度中的每个上的评价结果,确定所述至少一个评价反馈信息,包括:

5.根据权利要求4所述的文本简化方法,其特征在于,所述迭代条件包括所述至少一个候选简化文本的综合评价结果小于预设阈值;和/或,

6.根据权利要求4所述的文本简化方法,其特征在于,所述至少一个评价反馈信息还包括所述至少一个候选简化文本的缺陷类型,所述若所述至少一个评价反馈信息满足迭代条件,基于所述至少一个评价反馈信息更新对应的所述至少一个文本处理单元的处理指令,包括:

7.根据权利要求1所述的文本简化方法,其特征在于,所述方法还包括:若迭代次数大于预设迭代次数,基于所述至少一个评价反馈信息确定目标简化文本,并基于所述目标简化文本更新简化规则。

8.根据权利要求4所述的文本简化方法,其特征在于,所述基于所述至少一个评价反馈信息确定目标简化文本,并基于所述目标简化文本更新简化规则,包括:

9.根据权利要求1所述的文本简化方法,其特征在于,所述方法还包括:

10.一种文本简化装置,其特征在于,包括:

11. 一种电子设备,其特征在于,包括:

12.一种非瞬时计算机可读存储介质,其特征在于,所述非瞬时计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行权利要求1-9中任一项所述的方法。

13.一种计算机程序产品,其特征在于,包括计算机程序,所述计算机程序在被处理器执行时实现权利要求1-9中任一项所述的方法。