抽取-生成式混合语言多文档新闻摘要方法、系统、设备、介质及产品与流程
本申请涉及自然语言处理领域,特别是涉及一种抽取-生成式混合语言多文档新闻摘要方法、系统、设备、介质及产品。
背景技术:
1、混合语言多文档新闻摘要旨在从围绕同一事件或主题、且使用不同语言撰写的多篇新闻文档中,生成内容精炼、信息完整且语义连贯的目标语言摘要。该任务同时面临跨语言语义对齐、跨文档冗余抑制、长输入建模以及关键信息选择等问题。
2、相关方法常采用“先翻译后摘要”的处理范式,即将不同语言文档统一翻译为目标语言后,再调用单语言多文档摘要模型。该范式方便复用已有模型,但翻译阶段的语义偏移、歧义放大和信息丢失会传播到摘要阶段,形成级联误差;多文档拼接后的输入长度又容易超过生成模型的上下文窗口,导致关键信息覆盖不足。
3、另一类抽取-生成方法先筛选候选句子再生成摘要,但若仅依赖单一句子相似度或单一图结构,难以同时反映句子之间的篇章级关联与句子内部的词级语义构成;且抽取器的全局重要性判断与生成器在各解码时间步的动态内容选择可能产生目标偏移,影响摘要的事实覆盖度和连贯性。因此,需要一种能同时建模句间关系和句内词级结构,并协同抽取阶段与生成阶段的技术方案。
技术实现思路
1、本申请的目的是提供一种抽取-生成式混合语言多文档新闻摘要方法、系统、设备、介质及产品,能够结构化建模跨文档、跨语言关联,减少输入长度及翻译级联误差,提高关键信息覆盖度、摘要连贯性和生成过程的可解释性。
2、为实现上述目的,本申请提供了如下方案:
3、第一方面,本申请提供了一种抽取-生成式混合语言多文档新闻摘要方法,包括:
4、获取包含至少两种语言的多篇新闻文档构成的混合语言多文档簇,对各篇新闻文档进行分句、分词及跨语言统一语义编码,得到句子集合和词汇集合。
5、基于句子集合构建句子-句子同构图,并基于句子集合和词汇集合构建句子-词异构图。
6、将句子-句子同构图输入同构图注意力网络得到句间关系表征,将句子-词异构图输入异构图注意力网络得到句内词级语义表征。
7、融合句间关系表征和句内词级语义表征,得到各候选句子的综合表征及重要性得分。
8、根据重要性得分抽取出多个关键句子,并组成关键片段集合。
9、将关键片段集合基于多语言序列到序列生成器进行编码解码,得到目标语言新闻摘要。
10、第二方面,本申请提供了一种抽取-生成式混合语言多文档新闻摘要系统,包括:句子集合和词汇集合单元、多视图构建单元、表征单元、融合单元、关键句抽取单元、摘要生成单元。
11、句子集合和词汇集合单元用于获取包含至少两种语言的多篇新闻文档构成的混合语言多文档簇,对各篇新闻文档进行分句、分词及跨语言统一语义编码,得到句子集合和词汇集合。
12、多视图构建单元用于基于句子集合构建句子-句子同构图,并基于句子集合和词汇集合构建句子-词异构图。
13、表征单元用于将句子-句子同构图输入同构图注意力网络得到句间关系表征,将句子-词异构图输入异构图注意力网络得到句内词级语义表征。
14、融合单元用于融合句间关系表征和句内词级语义表征,得到各候选句子的综合表征及重要性得分。
15、关键句抽取单元用于根据重要性得分抽取出多个关键句子,并组成关键片段集合。
16、摘要生成单元用于将关键片段集合基于多语言序列到序列生成器进行编码解码,得到目标语言新闻摘要。
17、第三方面,本申请提供了一种计算机设备,包括:存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序以实现上述所述的抽取-生成式混合语言多文档新闻摘要方法。
18、第四方面,本申请提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述所述的抽取-生成式混合语言多文档新闻摘要方法。
19、第五方面,本申请提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述所述的抽取-生成式混合语言多文档新闻摘要方法。
20、根据本申请提供的具体实施例,本申请公开了以下技术效果:
21、本申请提供了一种抽取-生成式混合语言多文档新闻摘要方法、系统、设备、介质及产品,通过对各篇新闻文档进行分句、分词及跨语言统一语义编码,得到句子集合和词汇集合,不依赖“先翻译后摘要”的传统范式,直接跨语言统一语义编码多语言文档,消除翻译级联误差;基于句子集合构建句子-句子同构图,并基于句子集合和词汇集合构建句子-词异构图,实现双视图互补建模和跨文档信息流通;融合句间关系表征和句内词级语义表征,得到各候选句子的综合表征及重要性得分,根据重要性得分抽取出多个关键句子,并组成关键片段集合,句间关系表征提供了句子在全局篇章中的上下文地位信息,句内词级语义表征提供了句子自身的细粒度语义完整性信息,两者融合实现信息互补,通过重要性得分进行抽取确保关键片段集合能够覆盖各文档的核心信息;将关键片段集合基于多语言序列到序列生成器进行编码解码,得到目标语言新闻摘要,有效提高关键信息覆盖度、摘要连贯性和生成过程的可解释性。
1.一种抽取-生成式混合语言多文档新闻摘要方法,其特征在于,包括:
2.根据权利要求1所述的抽取-生成式混合语言多文档新闻摘要方法,其特征在于,对各篇新闻文档进行分句、分词及跨语言统一语义编码,得到句子集合和词汇集合,具体包括:
3.根据权利要求1所述的抽取-生成式混合语言多文档新闻摘要方法,其特征在于,基于句子集合构建句子-句子同构图,并基于句子集合和词汇集合构建句子-词异构图,具体包括:
4.根据权利要求3所述的抽取-生成式混合语言多文档新闻摘要方法,其特征在于,所述同构图注意力网络采用多头注意力机制对相邻句子节点的映射特征进行加权聚合,并通过前馈神经网络与残差连接得到句间关系表征。
5.根据权利要求3所述的抽取-生成式混合语言多文档新闻摘要方法,其特征在于,所述异构图注意力网络通过句子节点至词汇节点及词汇节点至句子节点的双向消息传播获得句内词级语义表征。
6.根据权利要求1所述的抽取-生成式混合语言多文档新闻摘要方法,其特征在于,所述多语言序列到序列生成器为mbart;将关键片段集合基于多语言序列到序列生成器进行编码解码,得到目标语言新闻摘要,具体包括:
7.一种抽取-生成式混合语言多文档新闻摘要系统,其特征在于,包括:
8.一种计算机设备,包括:存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序以实现权利要求1-6中任一项所述的抽取-生成式混合语言多文档新闻摘要方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1-6中任一项所述的抽取-生成式混合语言多文档新闻摘要方法。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1-6中任一项所述的抽取-生成式混合语言多文档新闻摘要方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com