一种大坝安全知识实体关系联合抽取方法及系统与流程
本技术涉及自然语言处理,尤其涉及一种大坝安全知识实体关系联合抽取方法及系统。
背景技术:
1、大坝安全领域在长期运行监测过程中积累了海量非结构化文本,包括安全监测技术规范、大坝安全鉴定报告及日常巡检日志等,这些文本是构建大坝安全知识图谱、实现智能化运维管理的重要数据来源。
2、现有技术中,已有采用bert-bilstm-crf算法进行实体抽取并结合bert-cnn算法进行关系抽取的流水线式方法,以及利用gcn与预训练bert模型相结合进行大坝安全知识库实体对齐的方法。上述方法在一定程度上推动了水利工程领域知识图谱的建设,但在实体关系联合抽取方面仍存在明显不足。
3、一方面,大坝安全领域术语结构复杂,监测部位与监测仪器等实体之间常出现嵌套或相邻的边界模糊问题,传统序列标注模型难以精准切分;另一方面,主流"先实体后关系"的流水线处理模式导致实体识别阶段的错误直接向关系抽取阶段传播,误差累积效应显著。
4、此外,大坝安全文档中关键关系线索往往跨句或相距较远,传统循环神经网络及卷积神经网络受限于感受野或梯度消失问题,难以有效捕捉长距离全局语义依赖;高质量领域标注数据获取成本高昂,通用预训练模型在少样本条件下泛化能力不足。
5、上述问题制约了从大坝安全非结构化文本中高精度、自动化地联合抽取实体与关系的能力。
技术实现思路
1、本发明的目的在于提供一种大坝安全知识实体关系联合抽取方法及系统,以解决现有技术中存在的如下技术问题:大坝安全术语结构复杂,实体边界模糊,传统序列标注模型难以精准识别嵌套或相邻实体;"先实体后关系"的流水线处理模式导致误差累积效应显著;大坝安全文档中关键关系线索跨句或相距较远,传统模型难以有效捕捉长距离全局语义依赖;高质量领域标注数据稀缺,通用预训练模型在少样本条件下泛化能力不足。
2、为了实现上述目的,本发明采用如下技术方案:一种大坝安全知识实体关系联合抽取方法,包括以下步骤:
3、步骤一,构建大坝安全领域本体模式层,定义核心实体类型和语义关系类型;
4、步骤二,获取大坝安全领域的非结构化文本数据,进行预处理后构建语料库;
5、步骤三,对所述语料库进行联合标注,采用bioes标注体系对文本中的实体进行标注,并对实体对之间的关系进行标注,构建联合数据集;
6、步骤四,构建联合抽取模型romba-crf-joint,所述联合抽取模型romba-crf-joint包括依次串联的预训练编码层roberta、状态空间建模层mamba、上下文编码层bilstm和多级特征融合层,以及与所述多级特征融合层分别连接的序列标注解码层crf和关系分类解码层;
7、步骤五,利用所述联合数据集对所述联合抽取模型romba-crf-joint进行端到端训练,采用多任务联合损失函数同步优化实体识别与关系抽取参数;
8、步骤六,将待抽取文本输入训练好的所述联合抽取模型romba-crf-joint,在一次前向传播中同步输出实体标签序列和实体对关系类型,生成大坝安全知识三元组。
9、通过将预训练编码层roberta、状态空间建模层mamba与上下文编码层bilstm串联构建多级特征协同网络,并结合序列标注解码层crf与关系分类解码层的端到端联合解码机制,实现了从非结构化文本到结构化知识三元组的高精度一步式转化。
10、进一步地,所述构建联合抽取模型romba-crf-joint的步骤具体包括:
11、将输入文本序列输入所述预训练编码层roberta,输出上下文语义向量序列;
12、将所述上下文语义向量序列输入所述状态空间建模层mamba,利用状态空间模型捕捉长距离依赖,输出特征序列;
13、将所述特征序列输入所述上下文编码层bilstm,强化局部双向上下文依赖,输出特征序列;
14、在所述多级特征融合层中,对所述、和进行自适应加权拼接,得到融合特征序列,计算公式为:
15、
16、其中表示向量拼接操作,为可学习权重参数;
17、将所述分别输入所述序列标注解码层crf和所述关系分类解码层,所述序列标注解码层crf用于预测实体标签序列,所述关系分类解码层用于预测实体对的关系类型。
18、状态空间建模层mamba通过离散化参数和进行递归计算,其中:
19、
20、
21、为步长,以线性复杂度实现长距离依赖建模,有效解决大坝安全长文档中远距离实体关联难的问题。
22、优选地,所述核心实体类型包括监测部位、监测仪器、监控指标和安全评判;所述语义关系类型包括位于关系、监测关系、表征关系、导致关系、指示关系、治理关系和引用关系。通过针对大坝安全领域定制的本体模式层,使模型具备领域先验知识,提升了在少样本条件下的泛化能力。
23、具体地,所述bioes标注体系包含开始标签、内部标签、结束标签、单独标签和非实体标签五种标签状态;所述联合数据集的数据格式为文本序列、实体标签序列和关系三元组集合的组合,所述关系三元组集合中每条三元组由头实体、关系类型和尾实体构成。
24、bioes标注体系能够精确表达实体的边界信息,结合序列标注解码层crf的标签转移约束,可有效识别监测部位与监测仪器等复杂嵌套或相邻实体结构。
25、进一步地,所述多任务联合损失函数的计算公式为:
26、
27、其中为所述序列标注解码层crf的负对数似然损失,为所述关系分类解码层的交叉熵损失,为平衡系数。
28、通过多任务联合损失函数同步优化实体识别与关系抽取参数,使两个任务在训练过程中相互促进,提升整体抽取性能。
29、优选地,所述预处理具体包括:去除文本中的页眉页脚、水印及非文本符号;利用水利领域专用词典对文本进行分词与术语标准化处理;按句号、分号及段落逻辑将文本切分为句子级语料。利用水利领域专用词典进行术语标准化,可有效统一领域术语表达,降低词汇歧义对模型性能的影响。
30、优选地,在生成所述大坝安全知识三元组之后还包括:将所述大坝安全知识三元组导入图数据库,将实体映射为节点,将关系映射为有向边,构建大坝安全知识图谱。通过将抽取结果结构化存储于图数据库,可支持大坝安全知识的图谱化管理与智能查询。
31、本发明还提供一种大坝安全知识实体关系联合抽取系统,包括:
32、本体构建模块,用于定义大坝安全领域的核心实体类型和语义关系类型;
33、数据处理模块,与所述本体构建模块数据连接,用于获取大坝安全领域的非结构化文本数据,对所述非结构化文本数据进行预处理以构建语料库,并采用bioes标注体系对所述语料库进行联合标注,得到联合数据集;
34、模型构建模块,用于构建联合抽取模型romba-crf-joint,所述联合抽取模型romba-crf-joint包括依次连接的预训练编码层roberta、状态空间建模层mamba、上下文编码层bilstm和多级特征融合层,以及与所述多级特征融合层分别连接的序列标注解码层crf和关系分类解码层;
35、模型训练模块,与所述模型构建模块和所述数据处理模块分别数据连接,用于利用所述联合数据集基于多任务联合损失函数对所述联合抽取模型romba-crf-joint进行端到端训练;
36、知识抽取模块,与所述模型训练模块数据连接,用于将待抽取文本输入训练后的所述联合抽取模型romba-crf-joint,同步输出实体标签序列和实体对关系类型,生成大坝安全知识三元组。
37、进一步地,所述模型构建模块中的所述状态空间建模层mamba通过对离散化参数和进行递归计算以捕捉长距离依赖,所述关系分类解码层与所述序列标注解码层crf共享所述多级特征融合层输出的融合特征序列,基于crf层识别出的实体边界提取头尾实体特征向量,送入前馈神经网络输出关系类型概率分布。
38、本发明还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述大坝安全知识实体关系联合抽取方法。
39、与现有技术相比,本发明具有如下有益效果:
40、1、通过引入状态空间建模层mamba,利用线性复杂度的状态空间模型对输入序列进行全局语义建模,有效解决了大坝安全文档中关键关系线索跨句或相距较远导致传统循环神经网络及卷积神经网络无法有效捕捉长距离依赖的技术问题,显著提升了远距离实体关联的识别能力。
41、2、通过构建联合抽取模型romba-crf-joint,使序列标注解码层crf与关系分类解码层共享多级特征融合层输出的融合特征序列,在一次前向传播中同步完成实体识别与关系抽取,从根本上消除了"先实体后关系"流水线模式中实体识别错误向关系抽取阶段传播的误差累积效应。
42、3、通过采用bioes标注体系结合序列标注解码层crf的标签转移概率矩阵约束,能够精准识别大坝安全领域中监测部位与监测仪器等复杂嵌套或相邻实体的边界,有效解决了传统序列标注模型在处理实体嵌套与边界模糊问题时精准度不足的缺陷。
43、4、通过构建针对大坝安全领域定制的本体模式层,定义4类核心实体类型和7类语义关系类型,并结合多任务联合损失函数对模型进行端到端训练,使模型具备领域先验知识,在高质量标注数据稀缺的少样本条件下仍能保持较高的泛化能力和抽取鲁棒性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com