基于图像数据增强的篇章级事件元素抽取方法和装置
本发明涉及自然语言处理,特别是涉及一种基于图像数据增强的篇章级事件元素抽取方法和装置。
背景技术:
1、事件元素抽取技术作为一种能够有效处理事件文本的手段,旨在识别文本中记录的事件元素实体并对它们所属的元素类别做出判断,能够解决当前互联网上信息资源杂乱且冗余所导致的信息过载问题。
2、现有面向事件的信息抽取技术大多从句子层面处理文本,即从一个完整句子中挖掘其中蕴含的事件信息。然而在真实应用场景中,一个完整事件的描述往往需要多篇文本或单篇长文档的多个句子共同完成,单个句子往往不能全面的表达一个完整的事件,仅依靠句子层面的抽取方法,无法捕获跨句子的上下文关联,导致抽取出的事件元素信息存在明显缺失,难以完整还原事件全貌。
3、近年来,篇章级事件元素抽取任务逐渐受到关注,研究者们设计了诸多方法来解决事件元素分散在文档各处的问题,例如使用联合抽取方法、机器阅读理解方法等。但是该任务面临着低标注资源的困境,由于模型不能够得到充分的训练,元素分散的问题依旧没有被彻底解决。为了破除低标注资源的限制,研究人员使用抽象语义表示工具来获取文档的抽象语义结构,以此作为外部资源进行数据增强。此外,他们利用文档的抽象语义结构来建模各个单词之间的依赖,从而对散落在多个句子中的事件元素进行连接。然而,这种外部资源的获取是比较困难的,这极大限制了现有方法的适用性,如何使用更便于获取的优质外部资源来增强篇章级事件元素抽取模型是一个具有现实意义的问题。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种能够突破低标注资源限制、提升模型全局上下文建模能力的基于图像数据增强的篇章级事件元素抽取方法和装置。
2、一种基于图像数据增强的篇章级事件元素抽取方法,所述方法包括:
3、获取事件本体与事件文档,所述事件本体包含事件类型以及与各所述事件类型对应的事件元素集合;
4、基于所述事件文档,通过搜索引擎获取候选图片集合;通过多模态预训练模型对所述候选图片集合进行处理,得到各图片的事件类型分布与元素类型分布;
5、根据各图片的所述事件类型分布与所述元素类型分布,通过整数线性规划策略进行筛选,得到事件相关图片集合;
6、在所述事件相关图片集合中,根据各图片的图像特征编码与所述事件元素集合中各元素的文本特征编码进行计算,得到注意力得分;然后基于所述注意力得分对所述文本特征编码进行加权求和,得到注意力表示;将所述图像特征编码与所述注意力表示融合,得到融合编码集合;
7、构建带有事件元素插槽的提示模板,根据所述事件文档、所述融合编码集合及所述提示模板,生成填充有事件元素的初始答案模板;
8、基于所述事件元素集合中的实体类型约束,通过预设类型语句计算综合生成概率对所述初始答案模板进行筛选,得到最终的事件元素填充答案模板。
9、另一方面,还提供一种基于图像数据增强的篇章级事件元素抽取装置,包括:
10、初始数据获取模块,用于获取事件本体与事件文档,所述事件本体包含事件类型以及与各所述事件类型对应的事件元素集合;
11、图片获取与处理模块,用于基于所述事件文档,通过搜索引擎获取候选图片集合;通过多模态预训练模型对所述候选图片集合进行处理,得到各图片的事件类型分布与元素类型分布;
12、图片筛选模块,用于根据各图片的所述事件类型分布与所述元素类型分布,通过整数线性规划策略进行筛选,得到事件相关图片集合;
13、融合编码模块,用于在所述事件相关图片集合中,根据各图片的图像特征编码与所述事件元素集合中各元素的文本特征编码进行计算,得到注意力得分;然后基于所述注意力得分对所述文本特征编码进行加权求和,得到注意力表示;将所述图像特征编码与所述注意力表示融合,得到融合编码集合;
14、初始答案模板生成模块,用于构建带有事件元素插槽的提示模板,根据所述事件文档、所述融合编码集合及所述提示模板,生成填充有事件元素的初始答案模板;
15、篇章级事件元素生成模块,用于基于所述事件元素集合中的实体类型约束,通过预设类型语句计算综合生成概率对所述初始答案模板进行筛选,得到最终的事件元素填充模板。
16、相较于现有技术,本发明提供的基于图像数据增强的篇章级事件元素抽取方法和装置具有以下有益效果:
17、1.相较于传统的抽象语义工具,本申请利用互联网图片资源获取成本低、覆盖场景广的天然优势,通过搜索引擎获取候选图片集合;同时,通过多模态预训练模型计算图片类型分布,结合整数线性规划策略筛选出拥有显著事件类型及事件元素特征的图片,既保证了外部增强资源的优质性,又大幅降低了资源获取难度与成本,突破现有外部资源获取瓶颈,显著提升了方法的通用性与实际落地能力,可适用于更多缺乏专业抽象语义工具支持的场景。
18、2.通过计算图片的图像特征编码与事件元素文本特征编码的注意力得分,然后计算注意力表示,然后将图像特征编码与注意力表示进行融合,充分利用图像与文本的多模态互补性,强化篇章级事件元素关联能力,提升全局上下文建模效果,有效减少因元素分散导致的信息缺失,提高篇章级事件元素抽取的完整性。
19、3.本申请以易获取的图片作为多模态数据增强资源,无需依赖大量高质量标注样本即可为模型提供额外语义信息,大幅降低对标注资源的依赖,缓解低标注场景下模型训练不足的问题;同时,通过带有事件元素插槽的提示模板生成初始答案模板,通过预设类型语句计算综合生成概率对初始答案模板进行筛选,既利用生成式模型的篇章级语义理解与元素抽取能力,又通过实体类型约束纠正可能的元素填充错误,缓解低标注资源困境,兼顾抽取效率与准确性。
1.一种基于图像数据增强的篇章级事件元素抽取方法,其特征在于,所述方法包括:
2.根据权利要求1所述的基于图像数据增强的篇章级事件元素抽取方法,其特征在于,基于所述事件文档,通过搜索引擎获取候选图片集合,包括:
3.根据权利要求1所述的基于图像数据增强的篇章级事件元素抽取方法,其特征在于,通过多模态预训练模型对所述候选图片集合进行处理,得到各图片的事件类型分布与元素类型分布,包括:
4.根据权利要求1至3任一项所述的基于图像数据增强的篇章级事件元素抽取方法,其特征在于,所述整数线性规划策略的表达式为:
5.根据权利要求1至3任一项所述的基于图像数据增强的篇章级事件元素抽取方法,其特征在于,根据各图片的图像特征编码与所述事件元素集合中各元素的文本特征编码进行计算,得到注意力得分,计算表达式为:
6.根据权利要求5所述的基于图像数据增强的篇章级事件元素抽取方法,其特征在于,基于所述注意力得分对所述文本特征编码进行加权求和,得到注意力表示,计算表达式为:
7.根据权利要求6所述的基于图像数据增强的篇章级事件元素抽取方法,其特征在于,将所述图像特征编码与所述注意力表示融合,得到融合编码集合,计算表达式为:
8.根据权利要求1至3任一项所述的基于图像数据增强的篇章级事件元素抽取方法,其特征在于,构建带有事件元素插槽的提示模板,根据所述事件文档、所述融合编码集合及所述提示模板,生成填充有事件元素的初始答案模板,包括:
9.根据权利要求8所述的基于图像数据增强的篇章级事件元素抽取方法,其特征在于,基于所述事件元素集合中的实体类型约束,通过预设类型语句计算综合生成概率对所述初始答案模板进行筛选,得到最终的事件元素填充答案模板,包括:
10.一种基于图像数据增强的篇章级事件元素抽取装置,其特征在于,所述装置包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com