一种专业领域知识图谱创建方法及装置与流程

摘要: 本发明涉及知识图谱构建,尤其涉及一种专业领域知识图谱创建方法及装置。背景技术:1、业务对象知识通常分散在业务条款、办理说明、条件声明、价格或计费表、业务或规则清...
一种专业领域知识图谱创建方法及装置与流程

本发明涉及知识图谱构建,尤其涉及一种专业领域知识图谱创建方法及装置。

背景技术:

1、业务对象知识通常分散在业务条款、办理说明、条件声明、价格或计费表、业务或规则清单、服务说明等多类文件中。上述源文件在实际业务中往往并非单一格式,而是同时包含pdf、word、excel、html、markdown、纯文本等多种形态。不同格式文件在版面结构、标题层级、表格表达、列表样式和释义组织方式上差异显著,若直接以原始文件内容进行平铺存储或固定长度切片处理,难以形成可追溯、可检索、可推理的统一知识结构。

2、现有专业领域文档结构化方案普遍存在以下不足。其一,接入阶段对不同格式源文件的解析方式不统一,导致版面结构、标题路径、表格列头和列表层级在格式转换过程中丢失,后续切分边界不稳定,不同格式文件难以形成边界清晰的条款级输入。其二,切分方式粗糙,常仅按字数或段落进行固定切块,无法稳定保留条款标题、章节路径、表格列头与正文之间的语义边界,导致抽取结果缺乏精确定位。同时,针对业务责任、服务项目、限制条件、比例规则、时长值等专业实体和关系的识别一致性不足,容易出现实体类型漂移、关系语义不稳定等问题,抽取结果的可靠性和可解释性难以保证。其三,专业领域文档中的“本协议所称”“术语释义”“附表”“清单”等定义节点与业务条款之间存在大量显式或隐式引用,这些跨片段、跨文档的连接关系难以被有效识别。此外,表格中列示的项目名称、金额区间、生效期限、比例规则等信息常与正文共同构成完整业务规则,但表格与正文之间的关联关系难以被有效利用,无法构造与正文互联的图谱结构。其四,即使完成基础抽取,不同业务对象的同名节点在导图阶段容易发生混合,影响后续检索准确性和合规性。

技术实现思路

1、本发明提供一种专业领域知识图谱创建方法及装置,用以解决现有技术中专业领域知识结构化方案多格式源文件难以协同处理、条款切分不稳定、抽取结果可靠性不足、跨文档及表格关联难以建立、不同产品图谱易混用的问题。

2、本发明提供一种专业领域知识图谱创建方法,包括:

3、接收目标业务对象对应的多格式源文件集合,并将所述多格式源文件集合中的源文件统一转换为结构化中间文件;

4、对所述结构化中间文件执行条款切分,生成条款级对象;

5、基于领域本体对所述条款级对象执行分阶段抽取,得到抽取结果;

6、对所述条款级对象和/或所述抽取结果执行定义引用对齐,得到定义引用结果;

7、对所述结构化中间文件中的表格内容执行表格清单建图,得到表格建图结果;

8、根据所述条款级对象、所述抽取结果、所述定义引用结果和所述表格建图结果构建专业领域知识图谱,并为所述专业领域知识图谱中的图谱要素关联层级标识。

9、在一实施例中,将所述多格式源文件集合中的源文件统一转换为结构化中间文件,包括:

10、按格式分别调用对应的解析适配器,从所述多格式源文件集合中的每个源文件中提取文档结构信息;所述文档结构信息包括标题层级、段落结构、列表编号、表格内容、页面文本和来源文件元信息中的至少一项;

11、将提取到的所述文档结构信息转换为所述结构化中间文件。

12、在一实施例中,对所述结构化中间文件执行条款切分,生成条款级对象,包括:

13、按文档结构边界对所述结构化中间文件进行切分,得到多个切分片段;

14、为每个所述切分片段关联定位信息,形成所述条款级对象;

15、其中,所述文档结构边界包括标题边界、编号边界、列表边界和表格边界中的至少一项,所述定位信息包括条款文本、条款标题、章节路径、来源文件名称、协议标识和条款序号中的至少一项。

16、在一实施例中,基于领域本体对所述条款级对象执行分阶段抽取,得到抽取结果,包括:

17、基于领域本体对所述条款级对象执行实体类型召回,得到所述条款级对象对应的候选实体类型集合;

18、基于所述候选实体类型集合对所述条款级对象执行实体抽取,得到实体对象;

19、基于领域本体对所述实体对象执行关系抽取,得到所述实体对象之间的业务关系;

20、对所述实体对象和所述业务关系执行结果复核,将复核通过的实体对象和业务关系作为所述抽取结果。

21、在一实施例中,对所述条款级对象和/或所述抽取结果执行定义引用对齐,得到定义引用结果,包括:

22、识别所述条款级对象和/或所述抽取结果中的引用表达,所述引用表达包括本协议所称、见释义、详见附录、业务或规则清单如下中的至少一项;

23、根据识别出的所述引用表达,将业务条款节点与术语定义节点、清单根节点或列表项节点建立引用关系,将所述引用关系作为所述定义引用结果。

24、在一实施例中,对所述结构化中间文件中的表格内容执行表格清单建图,得到表格建图结果,包括:

25、将所述表格内容的结构要素转换为图谱节点;

26、将所述图谱节点之间的层级关系转换为关系边;

27、将所述图谱节点和所述关系边组合为所述表格建图结果,并将所述表格建图结果与同一协议下的正文条款节点建立关联。

28、在一实施例中,构建专业领域知识图谱之后,还包括:

29、接收用户问题;

30、对所述用户问题执行查询解析,从所述用户问题中提取锚点词和关系类型;

31、根据所述层级标识,在所述专业领域知识图谱中定位与所述锚点词匹配的锚点节点;

32、根据所述关系类型,查找与所述锚点节点具有所述关系类型的相邻节点;

33、收集所述锚点节点和所述相邻节点的条款编号、证据文本、来源文件名称和引用链路,生成证据集合;

34、根据所述证据集合生成带有可回溯证据链的答案。

35、在一实施例中,根据所述条款级对象、所述抽取结果、所述定义引用结果和所述表格建图结果构建专业领域知识图谱之前,所述方法还包括:

36、根据所述层级标识,查询图数据库中是否已存在对应的历史专业领域知识图谱;

37、若存在,则删除、替换或更新所述历史专业领域知识图谱;

38、其中,所述层级标识包括业务对象标识、方案标识和协议标识中的至少一项。

39、本发明还提供一种专业领域知识图谱创建装置,包括如下模块:

40、统一解析转换模块,用于接收目标业务对象对应的多格式源文件集合,并将所述多格式源文件集合中的源文件统一转换为结构化中间文件;

41、条款切分模块,用于对所述结构化中间文件执行条款切分,生成条款级对象;

42、本体驱动抽取模块,用于基于领域本体对所述条款级对象执行分阶段抽取,得到抽取结果;

43、定义引用对齐模块,用于对所述条款级对象和/或所述抽取结果执行定义引用对齐,得到定义引用结果;

44、表格清单建图模块,用于对所述结构化中间文件中的表格内容执行表格清单建图,得到表格建图结果;

45、图谱构建模块,用于根据所述条款级对象、所述抽取结果、所述定义引用结果和所述表格建图结果构建专业领域知识图谱,并为所述专业领域知识图谱中的图谱要素关联层级标识。

46、本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述任一种所述专业领域知识图谱创建方法。

47、本发明提供的专业领域知识图谱创建方法及装置,接收目标业务对象对应的多格式源文件集合后,通过将多格式源文件统一转换为结构化中间文件,为后续处理提供了统一的数据基础,使得不同格式的源文件能够协同处理。对统一转换后的结构化中间文件执行条款切分,生成条款级对象。由于是基于统一的结构化中间文件进行切分,避免了因源文件格式差异等因素导致的切分不稳定情况,提高了条款切分的稳定性。基于领域本体对条款级对象执行分阶段抽取,得到抽取结果。领域本体为抽取提供了专业、准确的领域知识和规则框架,分阶段抽取的方式能够逐步、深入地获取信息,使得抽取结果更符合专业领域的实际需求,从而提高了抽取结果的可靠性。通过对条款级对象和/或抽取结果执行定义引用对齐得到定义引用结果,并对中间文件中的表格内容执行表格清单建图得到表格建图结果。由于结构化中间文件已整合多个源文件的内容,定义引用对齐在不同源文件的业务条款与定义节点之间建立了引用关系,表格清单建图在不同源文件的表格节点与条款节点之间建立了关联关系,从而实现了跨文档及表格之间的关联。根据条款级对象、抽取结果、定义引用结果和表格建图结果构建专业领域知识图谱,并为专业领域知识图谱中的图谱要素关联层级标识。通过层级标识能够清晰地表明图谱中各个要素的层次关系和所属范围,使知识图谱中不同产品的图谱要素有效隔离,避免跨产品混淆。