一种基于生命周期知识图谱的文献解析方法及系统

摘要: 本技术涉及生命周期评价数据处理领域,特别涉及一种基于生命周期知识图谱的文献解析方法及系统。背景技术:1、生命周期评价(lifecycleassessment,l...
一种基于生命周期知识图谱的文献解析方法及系统

本技术涉及生命周期评价数据处理领域,特别涉及一种基于生命周期知识图谱的文献解析方法及系统。

背景技术:

1、生命周期评价(life cycle assessment,lca)数据库的构建需要从公开学术论文、技术报告等非结构化文献中提取结构化的生命周期数据。现有技术中,利用大型语言模型对生命周期文献进行信息抽取,能够从文本中识别出生命周期对象及其属性信息,并生成初步的结构化数据。

2、然而,上述现有技术在抽取过程中未结合生命周期领域的专业知识对抽取结果进行约束校验,所抽取的数据存在领域一致性不足、可靠性差的问题,难以直接满足生命周期数据库工程化构建对数据质量的要求。

技术实现思路

1、为了克服上述现有技术的缺陷,本技术提供了一种基于生命周期知识图谱的文献解析方法,所述生命周期知识图谱为包含领域对象体系、领域约束规则以及领域对象间关系的知识图谱,所述方法包括:

2、对获取的生命周期文献进行章节结构解析,生成携带章节定位信息的章节级文本块;

3、基于所述生命周期知识图谱的领域对象体系,对所述章节级文本块进行生命周期对象识别与属性抽取,生成包含属性信息的生命周期候选对象;

4、基于所述生命周期知识图谱的领域约束规则,依据所述领域对象间关系,对所述生命周期候选对象执行领域约束验证;

5、根据所述领域约束验证的结果识别异常类型,并选择与所述异常类型相应的修复策略进行修复,对修复处理后的生命周期候选对象重新执行所述领域约束验证;并检索所述生命周期知识图谱中相似的历史对象,以相似度为权重对所述历史对象的属性值进行加权融合的补全处理;

6、获取所述生命周期候选对象的人工智能置信度及人工审核置信度,并根据所述生命周期候选对象的审核状态,以所述人工智能置信度或者所述人工智能置信度与所述人工审核置信度的融合结果作为所述最终置信度,并生成包含所述章节定位信息、所述属性信息、领域约束验证结果以及所述最终置信度的标准化生命周期对象数据。

7、进一步地,所述对获取的生命周期文献进行章节结构解析,生成携带章节定位信息的章节级文本块,包括:

8、根据所述生命周期文献中的章节编号、标题格式及文献结构特征,对所述生命周期文献进行规则解析,得到初步章节切分结果及章节层级关系;

9、对所述规则解析未识别出的章节标题或非标准化文档结构进行语义解析,判断对应文本是否为章节起始位置,并补充缺失的章节语义标签,得到语义解析补充结果;

10、根据所述初步章节切分结果、所述章节层级关系以及所述语义解析补充结果,建立各章节的章节路径;

11、将切分后的章节内容与表格、图像、公式及原始文献位置信息进行关联,生成携带章节路径、表格定位、图像定位、公式定位及来源定位的章节级文本块。

12、进一步地,所述执行领域约束验证,包括以下至少一项:

13、执行物质守恒验证,包括:计算所述生命周期候选对象的输入流物质量与输出流物质量之间的差异,当所述差异超过预设阈值时,判定当前生命周期候选对象异常;

14、执行技术路径验证,包括:将所述生命周期候选对象对应的技术路径与所述生命周期知识图谱中的技术体系进行匹配,当所述技术路径不属于所述技术体系时,判定当前生命周期候选对象异常;

15、执行产业链关系验证,包括:基于所述生命周期知识图谱中流对象间的消耗关系和产出关系,检查所述生命周期候选对象所涉及的流对象从原材料经中间产品到最终产品的链路是否完整;当所述链路存在连接断裂时,判定当前生命周期候选对象异常;

16、执行生命周期上下文验证,包括:对时间信息、空间信息和来源信息分别进行校验,当任一项不符合预设条件时,判定当前生命周期候选对象异常。

17、进一步地,所述根据所述领域约束验证的结果识别异常类型,并选择与所述异常类型相应的修复策略进行修复,包括:

18、对未通过验证的生命周期候选对象进行异常检测,根据所述领域约束验证的结果,识别异常类型;

19、根据所述异常类型、章节定位信息及原始文献内容,确定异常根因;

20、根据所述异常类型和所述异常根因,选择自动修复、备选修复或人工修复中的一种修复策略,并生成修复日志。

21、进一步地,所述对未通过验证的生命周期候选对象执行异常检测与修复处理,还包括:

22、将修复后的生命周期候选对象重新执行所述领域约束验证;

23、若修复后的生命周期候选对象仍未通过验证,标记为异常对象并转入人工审核;

24、若人工审核确认数据不可修复或无实际意义,将所述异常对象标记为拒绝对象或作废对象,并记录处理意见。

25、进一步地,所述检索所述生命周期知识图谱中相似的历史对象,以相似度为权重对所述历史对象的属性值进行加权融合的补全处理,包括:

26、从所述生命周期知识图谱中检索与当前生命周期候选对象在技术路径、时间、空间及上下文信息中的至少一项相似的历史对象;

27、计算所述生命周期候选对象与所述历史对象之间的综合相似度;

28、以所述综合相似度为权重,对所述历史对象的对应属性值进行加权融合,得到补全值;

29、将所述补全值、补全来源、补全时间及补全可信度写入所述生命周期候选对象的元数据。

30、进一步地,所述获取所述生命周期候选对象的人工智能置信度及人工审核置信度,并根据所述生命周期候选对象的审核状态,以所述人工智能置信度或者所述人工智能置信度与所述人工审核置信度的融合结果作为所述最终置信度,包括:

31、获取所述生命周期候选对象的人工智能置信度,所述人工智能置信度由语义解析模型的输出概率、知识图谱匹配程度、历史对象一致性及领域约束满足程度融合得到;

32、获取所述生命周期候选对象的人工审核置信度;

33、若所述生命周期候选对象未经人工审核、且所述人工智能置信度达到自动审核阈值,以所述人工智能置信度作为最终置信度;

34、若所述生命周期候选对象经人工审核,对所述人工智能置信度和所述人工审核置信度进行加权计算,获得最终置信度;

35、若所述生命周期候选对象处于待确认状态或待复核状态,确认所述生命周期候选对象的风险程度,并基于风险程度采用保守策略或激励策略动态调整所述人工智能置信度和所述人工审核置信度的权重,生成最终置信度。

36、进一步地,所述方法还包括:

37、建立人工审核队列;

38、将未通过领域约束验证、异常修复后仍未通过验证、处于待确认状态或待复核状态的生命周期候选对象加入所述人工审核队列;

39、接收人工审核结果,并将所述人工审核结果及修正数据写入审核日志和反馈数据集;

40、基于所述反馈数据集优化后续的抽取规则、约束验证条件或置信度计算参数。

41、进一步地,所述对所述章节级文本块进行生命周期对象识别与属性抽取,还包括:

42、对抽取到的数值属性执行基于统一计量编码体系的单位归一化处理;

43、对单位错误、量纲不一致或单位缺失的数据进行识别和标记,并生成单位标准化记录。

44、本技术还提供一种基于生命周期知识图谱的文献解析系统,所述生命周期知识图谱为包含领域对象体系、领域约束规则以及领域对象间关系的知识图谱,所述系统包括:

45、章节解析模块,用于对获取的生命周期文献进行章节结构解析,生成携带章节定位信息的章节级文本块;

46、对象抽取模块,用于基于所述生命周期知识图谱的领域对象体系,对所述章节级文本块进行生命周期对象识别与属性抽取,生成包含属性信息的生命周期候选对象;

47、约束验证模块,用于基于所述生命周期知识图谱的领域约束规则,依据所述领域对象间关系,对所述生命周期候选对象执行领域约束验证;

48、修复补全模块,用于根据所述领域约束验证的结果识别异常类型,并选择与所述异常类型相应的修复策略进行修复,对修复处理后的生命周期候选对象重新执行所述领域约束验证;并检索所述生命周期知识图谱中相似的历史对象,以相似度为权重对所述历史对象的属性值进行加权融合的补全处理;并将修复处理后的生命周期候选对象返回所述约束验证模块重新执行所述领域约束验证;

49、置信度输出模块,用于获取所述生命周期候选对象的人工智能置信度及人工审核置信度,并根据所述生命周期候选对象的审核状态,以所述人工智能置信度或者所述人工智能置信度与所述人工审核置信度的融合结果作为所述最终置信度;

50、输出模块,用于生成包含所述章节定位信息、所述属性信息、领域约束验证结果以及所述最终置信度的标准化生命周期对象数据。

51、本技术至少具有以下有益效果:

52、本技术通过引入生命周期知识图谱中的领域约束规则和对象间关系,对抽取得到的生命周期候选对象执行领域约束验证,有效克服了现有技术中抽取结果缺乏领域一致性校验的缺陷。由于验证过程在数据进入生命周期数据库之前完成,能够及时识别并拦截不符合领域约束规则的对象,从而显著提高自动抽取数据的领域一致性和可靠性。

53、本技术通过对生命周期文献进行章节结构解析并建立章节定位信息,使每一个生命周期候选对象均携带其来源章节、表格、图像或公式的定位信息。由此,抽取得到的标准化数据具备来源可追溯性,有效降低了后续人工审核和数据处理过程中的定位成本,提高了数据管理效率。

54、本技术将异常检测与修复处理、缺失数据补全处理与领域约束验证相结合,形成“验证—修复/补全—再验证”的闭环处理流程。对于未通过验证的对象,不是简单舍弃,而是经过系统化的异常处理后再行复核;对于存在数据缺失的对象,基于知识图谱中的历史数据进行补全。上述机制有效避免了错误数据和缺失数据直接进入生命周期数据库,提升了数据库的完整性和数据质量。

55、本技术通过计算生命周期候选对象的最终置信度,并生成包含章节定位信息、属性信息、领域约束验证结果和最终置信度的标准化生命周期对象数据,为每个抽取对象提供了统一的质量评价依据。由此,实现了自动解析结果与数据质量评价的有机结合,使生命周期数据库构建过程具备可控的数据质量分级能力,提高了数据库构建的整体可靠性和工程化水平。