一种约束感知的异构交互式实体关系联合抽取方法及系统
本发明属于知识图谱构建与自然语言处理,尤其涉及一种用于重叠三元组抽取的基于异构交互网络的实体关系联合抽取方法及系统。
背景技术:
1、实体关系联合抽取任务中,文本常出现三元组重叠现象,包括单实体重叠和实体对重叠两种模式。现有模型大多采用同质图结构或简单的异质图结构,未能充分区分和建模词节点、主语节点与关系节点之间的语义差异,导致深层语义交互不足,重叠场景下虚假三元组频发,抽取鲁棒性不足。此外,现有模型在信息聚合时通常对不同类型邻居节点采用相同的注意力计算方式,难以动态捕捉跨节点类型的复杂依赖关系,限制了模型对多源语义信息的融合能力。
2、同时,现有模型缺乏有效的全局约束机制来抑制无效预测,实体标注偏差会持续影响关系抽取的准确性,导致所抽取的三元组中存在较多冗余预测。
3、因此,亟须设计一种能够充分建模词、主语和关系三类节点的深层语义交互,并引入全局约束机制以过滤无效预测的实体关系联合抽取方法及系统。
技术实现思路
1、为解决上述技术问题,本发明提出一种约束感知的异构交互式实体关系联合抽取方法及系统,包括:
2、本发明一方面,提供一种约束感知的异构交互式实体关系联合抽取方法,包括以下步骤:
3、s1:获取输入文本,利用预训练语言模型生成文本中每个词的词节点初始表示矩阵;根据预定义的关系类型集合生成每个关系类型对应的关系节点初始表示矩阵;通过主语标记器预测文本中的候选主语,生成每个候选主语对应的主语节点初始表示矩阵。
4、s2:基于生成词、主语和关系三类节点的初始表示矩阵,通过多层图注意力网络更新,构建双层异质图结构。
5、s3:通过堆叠多层图注意力网络对所述双层异质图结构中的节点进行更新,其中每一层图注意力网络内部包含一个并行的双层结构,分别执行类型注意力操作和节点注意力操作;所述类型注意力操作用于建模节点与不同节点类型特征之间的依赖关系,所述节点注意力操作用于建模节点与相邻节点之间的交互关系;将两者的输出进行加权融合,得到当前层更新的节点表示。
6、s4:将s3中最后一层图注意力网络输出的更新后节点表示输入约束感知解码器,所述约束感知解码器包含实体-关系标记器、约束感知模块和编码-解码反向反馈单元;所述实体-关系标记器接收更新后节点表示,对每个词位置和每个预定义关系类型分别预测主语边界和宾语边界,得到候选主语集合和候选宾语集合;所述约束感知模块构建三维并行实体-关系约束张量,所述三维并行实体-关系约束张量包括主语-关系匹配矩阵、宾语-关系匹配矩阵和实体互斥约束张量,分别用于表征词节点与关系类型之间的主语匹配系数、宾语匹配系数以及实体-关系间的互斥惩罚系数;基于所述三维并行实体-关系约束张量,对候选主语-关系对和候选宾语-关系对进行分层筛选,通过设定各通道的匹配阈值和互斥惩罚阈值,滤除低置信度及逻辑冲突的三元组候选;同时,所述反向反馈单元将约束感知模块生成的匹配系数作为可训练的约束偏置项,反向注入至图注意力网络的类型注意力层和节点注意力层,用于在后续编码过程中修正节点表示;经编码-解码的双层迭代闭环更新后,由解码器输出最终有效的关系三元组。
7、本发明另一方面,还提供一种约束感知的异构交互式实体关系联合抽取系统,包括以下模块:
8、初始表示矩阵模块,用于获取输入文本,生成词、主语和关系三类节点的初始表示矩阵。
9、双层异质图模块,基于生成词、主语和关系三类节点的初始表示矩阵,通过多层图注意力网络更新,构建双层异质图结构。
10、实体关系模块,用于将双层异质图结构输入约束感知解码器,由解码器输出最终有效的关系三元组。
11、本发明的有益效果:
12、本发明通过构建包含词节点、主语节点和关系节点的双层异质图结构,并堆叠多层图注意力网络实现多源语义信息的深度交互,有效捕获了词、主语和关系三类节点之间的复杂语义依赖;通过并行设置类型注意力层与节点注意力层,分别建模节点与类型特征之间的交互以及节点与节点之间的交互,克服了现有模型对多源信息融合不足的缺陷;通过引入约束感知模块,构建全局实体-关系对应矩阵施加逻辑约束,有效过滤冗余预测结果,减少了虚假三元组的生成,缓解了子任务间的误差传播问题。本发明能够有效处理重叠三元组抽取问题,具有抽取准确率高、鲁棒性强的优点。
1.一种约束感知的异构交互式实体关系联合抽取方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的约束感知的异构交互式实体关系联合抽取方法,其特征在于,所述生成词、主语和关系三类节点的初始表示矩阵具体如下:
3.根据权利要求2所述的约束感知的异构交互式实体关系联合抽取方法,其特征在于,所述s2具体实现过程为:
4.根据权利要求3所述的约束感知的异构交互式实体关系联合抽取方法,其特征在于,所述类型注意力层具体实现过程为:
5.根据权利要求4所述的约束感知的异构交互式实体关系联合抽取方法,其特征在于,所述节点注意力层具体实现过程为:
6.根据权利要求5所述的约束感知的异构交互式实体关系联合抽取方法,其特征在于,所述约束感知解码器具体实现过程如下:
7.根据权利要求6所述的约束感知的异构交互式实体关系联合抽取方法,其特征在于,所述s3.1具体实现如下:
8.根据权利要求6所述的约束感知的异构交互式实体关系联合抽取方法,其特征在于,所述s3.2具体实现如下:
9.根据权利要求8所述的约束感知的异构交互式实体关系联合抽取方法,其特征在于,所述s3.3具体实现如下:
10.一种约束感知的异构交互式实体关系联合抽取系统,用于实现权利要求1至9任一所述的异构交互式实体关系联合抽取方法,其特征在于,包括以下模块:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com