基于课程学习与混和专家的多文档摘要生成方法及系统

本发明涉及自然语言处理，尤其涉及一种基于课程学习与混和专家的多文档摘要生成方法及系统。

背景技术：

1、近年来，互联网上的文本数据呈现出一种爆炸式增长态势。这些文本数据种类繁多，内容涉及社会、科技、文化和经济等领域。它们以极高的频率更新和涌现，在提供了丰富的知识资源和信息宝库的同时，也带来了一个不容忽视的问题：信息过载。随着信息量的不断增长，传统信息检索和筛选方法在应对庞大的数据量时显得力不从心，导致用户无法快速准确地获取所需信息。这不仅严重影响了个人的工作效率，也极大地限制了信息的传播效率。

2、在信息爆炸的时代，文本摘要处理需要具备快速响应、广泛覆盖和高效生成的能力，这显然是传统人工摘要难以满足的需求。自动多文档摘要生成技术通过人工智能算法从多个文档中提取关键内容，并以语义连贯的段落或篇章形式呈现。该技术不仅能够帮助人们迅速获取信息，对舆情有效监控、预警及疏导，对舆情生态系统的良性发展有着重要的意义。

3、与仅需处理一个文档的单文档摘要相比，多文档摘要本质上更为复杂。由于多文档摘要任务涉及超长的输入文本和复杂的文档关系，这进一步带来了两个主要的挑战：更大的搜索空间和更大的问题空间。

4、首先，超长的输入文本导致了更大的搜索空间。以单文档摘要数据集cnn/dailymail和多文档摘要数据集multi-news为例，前者包含了约286,817个训练样本，每个样本的平均长度约为687个单词，而后者只有约44,972个训练样本，但每个样本的平均长度却达到了1,789个单词。这种输入文本长度和训练样本数量的不匹配导致了多文档摘要任务中更大的搜索空间。

5、其次，复杂的文档关系导致了更大的问题空间。多文档摘要任务通常涉及来自不同来源、不同时间和不同角度的同一主题的多个文档，往往会存在不同程度的重叠、互补或矛盾。由于每个文档都有其独特的内容和背景，如何将这些信息进行有效的整合、提炼和呈现，成为了多文档摘要生成过程中的关键问题。考虑到输入的多文档集合的复杂性和多样性，多文档摘要的生成面临着一个更大的问题空间。

6、针对更大的搜索空间，现有方法大多聚焦于通过优化transformer模型的标准注意力过程来增加最大编码长度，或者构建“抽取-摘要”的管道式方法从原始数据中抽取高质量元文档。然而，这些技术各有局限性。前一种方法通过增加其最大编码长度来增强搜索能力，获得更好性能的同时，模型参数、计算复杂度和内存开销也迅速增加。而后一种方法通过提取关键信息来压缩搜索空间，往往受到不可避免的级联损失的影响，可能导致信息丢失甚至性能下降。可见，对于多文档摘要任务所面临着的搜索空间挑战，现有方法大多局限于处理更长的输入文本，却忽略了使用有限的训练数据进行高效的训练。

7、针对更大的问题空间，现有方法大多聚焦于通过替换transformer模型的标准注意力机制为层次注意力机制来建立文档之间的关联，或通过将额外的图表示引入到编码器-解码器框架以捕获复杂的跨文档交互。然而，这些方法也各有局限性。前一种方法通过修改transformer模型的注意力机制，导致了预训练语言模型的性能下降。而后一种方法通过引入额外的图表示，导致了额外的成本，进一步增加了模型的复杂度。此外，研究人员尝试通过丢弃更简单和更难的数据来优化模型的训练过程，从而加速模型的收敛速度。然而，这种武断的方式可能带来潜在的风险。由于模型在学习过程中忽略了部分简单和困难的数据，其泛化能力可能会受到一定程度的影响，导致模型在某些情况下出现性能退化。可见，对于多文档摘要任务所面临着的问题空间挑战，现有方法大多局限于增强模型自身的能力，却忽略了通过集成多个模型来构建一个既强大又灵活的模型。

技术实现思路

1、(一)要解决的技术问题

2、鉴于现有技术的上述缺点、不足，本发明提供一种基于课程学习与混和专家的多文档摘要生成方法及系统，其解决了现有自动多文档摘要生成技术中，针对更大的搜索空间和更大的问题空间，无法兼顾性能和计算开销的技术问题。

3、(二)技术方案

4、为了达到上述目的，本发明采用的主要技术方案包括：

5、第一方面，本发明实施例提供一种基于课程学习与混和专家的多文档摘要生成方法，包括以下步骤：

6、输入多文档集合，通过预设的多文档难度指标，为输入的多文档集合的处理难度进行评分，根据难度得分，通过难度感知的门控网络选择相应的专家模型进行协同工作以生成候选摘要；然后，通过摘要选择器从各专家模型生成的候选摘要中筛选出与输入的多文档集合最匹配的摘要作为输出摘要；

7、其中，专家模型通过以下步骤训练得到：

8、多文档难度评分步骤：获取多文档摘要数据集，多文档摘要数据集包括多个多文档集合；将多文档摘要数据集作为训练数据集，通过预设的多文档难度指标，为每个多文档集合的处理难度进行评分，根据所得的难度得分，将训练数据集划分为多个不同难度的训练子集；

9、基于课程学习范式的训练步骤：针对不同难度的训练子集分别采用不同的课程学习范式来训练相应的专家模型。

10、本发明实施例提出的基于课程学习与混和专家的多文档摘要生成方法，通过综合考虑文档数量、文档长度和文档信息熵等评估指标，能够有效地评估不同文档集合的处理复杂度。通过逐步增加文档的数量、主题多样性或信息密度等难度因素，使得模型能够在一个逐步扩大的搜索空间中逐步优化，从而更好地适应多文档摘要任务所面临更大的搜索空间。通过难度感知的混合专家系统来整合处理不同问题子空间的专家模型，从而更好地应对多文档摘要任务所面临更大的问题空间。从而实现针对更大的搜索空间和更大的问题空间，能够兼顾性能和计算开销。

11、可选地，根据难度得分，通过难度感知的门控网络选择相应的专家模型进行协同工作以生成候选摘要，是选择与难度相对应或邻近的专家模型协同工作组成混合专家系统以处理输入的多文档集合，包括：

12、当输入的多文档集合的难度为简单时，难度感知的门控网络选择简单难度专家模型和中等难度专家模型作为混合专家系统；

13、当输入的多文档集合的难度为困难时，难度感知的门控网络选择中等难度专家模型和困难难度专家模型作为混合专家系统；

14、当输入的多文档集合的难度为中等时，则选择简单难度专家模型、中等难度专家模型和困难难度专家模型共同作为混合专家系统。

15、可选地，针对不同难度的训练子集分别采用不同的课程学习范式来训练对应的专家模型，包括：

16、对于简单难度的训练子集，采用了从难到易的反向课程训练相应的模型；

17、对于中等难度的训练子集，采取了从易到难的正向课程训练相应的模型；

18、对于困难难度的训练子集，采用随机训练的方式来训练相应的模型。

19、可选地，预设的多文档难度指标，计算方式如下：

20、

21、其中，score(di)为多文档集合di的难度，n(score)为难度得分的标准化值；为scorenumber的缩写，表示基于文档数的多文档难度评估；scorel为scorelength的缩写，表示基于文档长度分布的多文档难度评估；scoree为scoreentropy的缩写，表示表示基于文档信息熵的多文档难度评估；α、β和γ是满足α+β+γ＝1的平衡系数。

22、可选地，scoren的计算式如下：

23、

24、其中，ni是多文档集合di的文档数量。

25、可选地，scorel的计算式如下：

26、

27、其中，每个多文档集合di都有一个文档长度序列其中lj表示文档dj的长度；σ表示文档长度li的标准差，是多文档集合di的平均文档长度。

28、可选地，scoree的计算式如下：

29、

30、其中，entropy(di)为多文档集合di的信息熵，p(w)是单词w出现在多文档集合di中的频率。

31、可选地，难度感知的门控网络，表达式如下：

32、

33、其中，score(di)为多文档集合di的难度；scoreeasy为简单难度的训练子集的上界得分，表示困难难度的多文档集合的难度分数的最小值，当多文档集合的难度分数大于scorehard则该多文档集合的难度为困难；scorehard为困难难度的训练子集的下界得分，表示简单难度的多文档集合的难度分数的最大值，当多文档集合难度分数小于scoreeasy则该多文档集合的难度为简单。

34、可选地，摘要选择器从各专家模型生成的候选摘要中筛选出与输入的多文档集合最匹配的摘要作为输出摘要，其中，最匹配表示与输入的多文档集合相似度最大的候选摘要，相似度计算式如下：

35、

36、其中，ci为多文档集合di的相应候选摘要；和分别表示di和ci的富含语义的嵌入表示。

37、第二方面，本发明实施例提供一种基于课程学习与混和专家的多文档摘要生成系统，包括：生成式多文档摘要模型，生成式多文档摘要模型包括多文档难度评分模块、基于课程学习范式的训练模块和基于混合专家系统的推理模块；

38、多文档难度评分模块，用于获取多文档摘要数据集，多文档摘要数据集包括多个多文档集合；将多文档摘要数据集作为训练数据集，通过预设的多文档难度指标，为每个多文档集合的处理难度进行评分，根据所得的难度得分，将训练数据集划分为多个不同难度的训练子集；

39、基于课程学习范式的训练模块，用于针对不同难度的训练子集分别采用不同的课程学习范式来训练相应的专家模型；

40、基于混合专家系统的推理模块，用于根据多文档集合的难度得分，通过难度感知的门控网络选择相应的专家模型进行协同工作以生成候选摘要；还用于通过摘要选择器从各专家模型生成的候选摘要中筛选出与输入的多文档集合最匹配的摘要作为输出摘要。

41、本发明实施例提出的基于课程学习与混和专家的多文档摘要生成系统，针对更大的搜索空间和更大的问题空间，能够兼顾性能和计算开销。

42、第三方面，本发明实施例还提供一种计算机系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一所述方法的步骤。

43、(三)有益效果

44、本发明的有益效果是：本发明的基于课程学习与混和专家的多文档摘要生成方法及系统，通过综合考虑文档数量、文档长度和文档信息熵等评估指标，能够有效地评估不同文档集合的处理复杂度。通过逐步增加文档的数量、主题多样性或信息密度等难度因素，使得模型能够在一个逐步扩大的搜索空间中逐步优化，实现了0.8％的模型性能提升，从而更好地适应多文档摘要任务所面临更大的搜索空间。通过难度感知的混合专家系统来整合处理不同问题子空间的专家模型，进一步实现了1.4％的模型性能提升，从而更好地应对多文档摘要任务所面临更大的问题空间。multi-news数据集的实验结果表明，计算开销相近的现有技术最多能达到30.73平均rouge得分，而本发明和计算开销相近的现有技术相比可以提升2.2％的模型性能，该性能指标可与计算开销庞大的现有技术性能相当。可见，本发明针对更大的搜索空间和更大的问题空间，能够兼顾性能和计算开销。