一种海量非结构化数据双层知识图谱构建方法及系统与流程
本申请涉及到知识图谱构建,特别是涉及到一种海量非结构化数据双层知识图谱构建方法及系统。
背景技术:
1、企业知识图谱构建领域已有一些基于文档抽取的方案,通过命名实体识别和关系抽取从非结构化文档中构建实体关系网络。这类方案在检索层面能够提供文档级别的实体关联查询,但业务人员在实践中往往还需要回答跨文档、跨项目的综合分析问题,例如查询某合作方参与了哪些项目、某部门正在推进的采购涉及哪些供应商。要回答这类问题,需要对文档级图谱进行向上抽象和项目级归集。现有方案通常将这两类需求分而治之,一套系统做细粒度文档抽取,另一套系统做项目级统计,两者各自独立构建、数据不同源,导致用户无法从一个视图连续下钻到另一个视图,也难以保证项目级的汇总信息和文档级的原始信息保持一致。
2、此外,现有方案在知识表示和维护机制方面也存在若干不足。在知识表示层面,部分方案引入大语言模型生成文档摘要,但摘要是自由文本形式,与从同一文档中抽取的元数据、实体关系三元组各自独立存储,彼此之间缺少一致性约束,摘要内容可能与结构化数据存在矛盾,也无法通过摘要中的描述直接定位到对应的实体和关系。在项目级摘要生成层面,同一项目下往往并存同一份合同的多个版本、补充协议对主合同的修改文件,现有方案通常将所有文档平铺式聚合,不识别文档之间是否存在版本继承关系,导致生成的项目级摘要可能包含已被后续文档修改或替代的历史信息。在维护机制层面,文档持续发生新增、变更和作废,现有方案在文档变更后通常需要全量重新处理所有文档来更新图谱,处理周期较长,且文档级图谱的变更无法联动触发项目级聚合数据的同步更新,难以保障两层图谱之间的数据一致性。
技术实现思路
1、为解决现有技术中的一个或者几个问题,本申请的主要目的为提供一种海量非结构化数据双层知识图谱构建方法及系统。
2、为了实现上述发明目的,本申请提出一种海量非结构化数据双层知识图谱构建方法,所述方法包括:
3、获取归属于至少一个项目的若干非结构化文档,对每一所述非结构化文档进行内容解析,提取文档内容,并识别所述文档所属的项目;
4、从所述文档内容中抽取实体关系三元组,并生成文档摘要;
5、将归属于同一项目的各文档的所述实体关系三元组进行归集,构建项目内部关联实体关系图谱;
6、将归属于同一项目的各文档的所述文档摘要和所述实体关系三元组进行聚合,生成所述项目的项目级聚合数据,并构建项目级图谱;
7、建立所述项目内部关联实体关系图谱与所述项目级图谱之间的映射关系;
8、根据所述映射关系,将所述项目内部关联实体关系图谱中的变更同步至所述项目级图谱中对应的项目节点,以及将所述项目级图谱中的项目节点关联至所述项目内部关联实体关系图谱中对应项目的全部文档。
9、本申请实施例还提供一种海量非结构化数据双层知识图谱构建系统,包括:
10、获取模块,用于获取归属于至少一个项目的若干非结构化文档,对每一所述非结构化文档进行内容解析,提取文档内容,并识别所述文档所属的项目;
11、信息抽取模块,用于从所述文档内容中抽取实体关系三元组,并生成文档摘要;
12、第一图谱构建模块,用于将归属于同一项目的各文档的所述实体关系三元组进行归集,构建项目内部关联实体关系图谱;
13、第二图谱构建模块,用于将归属于同一项目的各文档的所述文档摘要和所述实体关系三元组进行聚合,生成所述项目的项目级聚合数据,并构建项目级图谱;
14、映射关系建立模块,用于建立所述项目内部关联实体关系图谱与所述项目级图谱之间的映射关系;
15、联动更新模块,用于根据所述映射关系,将所述项目内部关联实体关系图谱中的变更同步至所述项目级图谱中对应的项目节点,以及将所述项目级图谱中的项目节点关联至所述项目内部关联实体关系图谱中对应项目的全部文档。
16、本申请还提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
17、本申请还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
18、本申请实施例的海量非结构化数据双层知识图谱构建方法及系统,通过构建项目内部关联实体关系图谱和项目级图谱两层结构,使系统既能支持文档级别的细粒度实体关系查询,也能支持项目级别的粗粒度全局分析,弥补了单一粒度图谱在查询灵活性方面的不足。两层图谱之间建立映射关系并根据该映射关系实现双向联动,文档级数据发生变更时能够同步更新至项目级图谱中对应的项目节点,项目级图谱中的项目节点也能够关联至文档级图谱中归属该项目的全部文档及实体关系,既避免了全量重建带来的处理资源消耗,也保障了两层图谱之间的数据一致性和查询通路的连续性。因此,本方法在提升知识图谱构建效率的同时,兼顾了不同粒度的查询需求,增强了企业非结构化文档数据的可用性和可分析性。
1.一种海量非结构化数据双层知识图谱构建方法,其特征在于,所述方法包括:
2.根据权利要求1所述的海量非结构化数据双层知识图谱构建方法,其特征在于,所述生成文档摘要,包括:
3.根据权利要求1所述的海量非结构化数据双层知识图谱构建方法,其特征在于,所述构建项目内部关联实体关系图谱,包括:
4.根据权利要求1所述的海量非结构化数据双层知识图谱构建方法,其特征在于,所述根据所述映射关系,将所述项目内部关联实体关系图谱中的变更同步至所述项目级图谱中对应的项目节点,包括:
5.根据权利要求4所述的海量非结构化数据双层知识图谱构建方法,其特征在于,所述响应于所述项目内部关联实体关系图谱中文档发生变更,计算变更后文档与变更前文档之间的差异信息,包括:
6.根据权利要求1所述的海量非结构化数据双层知识图谱构建方法,其特征在于,所述将归属于同一项目的各文档的所述文档摘要和所述实体关系三元组进行聚合,生成所述项目的项目级聚合数据,包括:
7.根据权利要求6所述的海量非结构化数据双层知识图谱构建方法,其特征在于,所述根据所述文档间引用关系和所述文档版本信息,判断各文档之间是否存在版本继承关系,包括:
8.一种海量非结构化数据双层知识图谱构建系统,其特征在于,包括:
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com