一种基于可配置Schema的知识库构建方法及系统与流程
本发明涉及软件工程自动化、人工智能与自然语言处理交叉,具体涉及一种基于可配置schema的知识库构建方法及系统。
背景技术:
1、在企业级知识管理、复杂系统工程及智能决策支持领域,构建高质量的结构化知识库是实现语义检索、逻辑推理与辅助决策的核心基础。目前,学术界与工业界主要采用基于自然语言处理的实体关系抽取技术,从海量非结构化文档中沉淀知识。然而,现有的知识库构建方案在实际应用中仍面临以下显著难题:
2、模型硬编码导致扩展成本高:现有的大多数知识抽取系统往往针对特定的业务领域(如金融、医疗或特定工业标准)预先定义好固定的实体和关系模型。这种“硬编码”方式使得系统缺乏通用性,一旦业务需求发生变化或需要切换到新的专业领域,往往需要重新训练抽取模型或大规模重写底层代码,难以适应敏捷开发的业务环境。
3、构建一致性不足与数据冗余:在缺乏统一schema约束的情况下,针对不同来源数据的抽取标准难以统一。这导致同一物理实体在知识库中可能以多种名称或变体形式出现(如缩写、别名),造成严重的实体冗余和拓扑关系混乱,极大地降低了知识库的准确性与可用性。
4、多源异构数据融合困难:现代企业的知识来源高度零散,既包括非结构化的技术文档(pdf/word),也包含结构化的xml/json schema配置文件,以及半结构化的系统日志。传统的构建方法往往只能处理单一格式的数据,难以在同一套逻辑框架下实现多源异构数据的全量解析与结构化映射。
5、可解释性与证据链缺失:现有的自动化抽取工具(尤其是基于深度学习的黑盒模型)往往仅给出“实体a与实体b存在关系r”的结论,却无法精准定位该知识点源自原始文档的哪一章节、哪段文字。这种证据链的断裂导致抽取元数据不可回溯、不可审计,难以满足严苛的工业安全与合规性审查要求。
技术实现思路
1、针对现有技术中存在的问题,本发明提供一种基于可配置schema的知识库构建方法及系统,通过引入schema配置文件,能够在同一套逻辑框架下实现多源异构数据的全量解析与结构化映射,完成业务逻辑切换。
2、本申请的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本申请的实践而习得。
3、根据本申请的第一方面,提供了一种基于可配置schema的知识库构建方法,包括:
4、对用户定义的实体与关系的schema配置文件进行解析,提取待抽取的实体类别、属性范式及拓扑关系,更新预先建立的抽取逻辑模板,得到实体-关系逻辑架构模型;
5、获取异构数据源,根据所述异构数据源的数据类型对所述异构数据源执行语义分块,得到文本块及所述文本块分别对应的来源元数据;
6、根据实体-关系逻辑架构模型,读取大语言模型的抽取提示词,基于所述抽取提示词,基于大语言模型从所述文本块抽取结构化三元组,得到抽取元数据并建立所述抽取元数据与所述文本块的映射关系;
7、对所述抽取元数据与所述文本块的映射关系,执行双重校验融合逻辑,得到标准化知识节点;
8、对标准化知识节点、映射关系、来源元数据和抽取元数据,构建建立实体间的拓扑关系,输出结构化知识图谱。
9、根据本申请的第二方面,提供了一种基于可配置schema的知识库构建系统,包括:
10、第一建立模块,用于对用户定义的实体与关系的schema配置文件进行解析,提取待抽取的实体类别、属性范式及拓扑关系,更新预先建立的抽取逻辑模板,得到实体-关系逻辑架构模型;
11、第一获取模块,用于获取异构数据源,根据所述异构数据源的数据类型对所述异构数据源执行语义分块,得到文本块及所述文本块分别对应的来源元数据;
12、第二获取模块,用于根据实体-关系逻辑架构模型,读取大语言模型的抽取提示词,基于所述抽取提示词,基于大语言模型从所述文本块抽取结构化三元组,得到抽取元数据并建立所述抽取元数据与所述文本块的映射关系;
13、第三获取模块,用于对所述抽取元数据与所述文本块的映射关系,执行双重校验融合逻辑,得到标准化知识节点;
14、第二建立模块,用于对标准化知识节点、映射关系、来源元数据和抽取元数据,构建建立实体间的拓扑关系,输出结构化知识图谱。
15、根据本申请的第三方面,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序包括可执行指令,当该可执行指令被处理器执行时,实现上述的方法。
16、根据本申请的第四方面,提供了一种电子设备,包括:
17、一个或多个处理器;
18、存储器,用于存储所述处理器的可执行指令,当所述可执行指令被所述一个或多个处理器执行时,使得所述一个或多个处理器实现上述的方法。
19、本申请的有益效果如下:
20、(1)本申请提供的一种基于可配置schema的知识库构建方法,相比于传统针对特定领域硬编码实体和关系的做法,本申请通过schema配置文件定义schema,使得系统能够在一秒内完成业务逻辑切换,在当业务域从汽车研发转向医疗、法律等新领域时,仅需修改配置字符串而无需修改任何底层源代码,极大地降低了系统的维护与二次开发成本。
21、(2)本申请提供的一种基于可配置schema的知识库构建方法,能够精准消歧与去重,利用名称匹配与向量相似度双重校验逻辑,系统能够自动识别并合并多源数据中的同名异义或异名同义实体,且能够解决数据冲突:通过统一的schema约束机制,消除了多源数据抽取标准不一导致的知识冲突,确保了知识库作为企业唯一真理源(source of truth)的准确性。
22、(3)本申请提供的一种基于可配置schema的知识库构建方法,能够实现证据链全闭环,系统为每一条自动生成的实体和关系保留了原始文本片段及元数据索引,实现了从知识结果到原始数据源的 100%回溯,且能满足高安全性标准,这种白盒特性直接解决了ai抽取过程中的幻觉问题,使得构建过程可审计、结果可解释,能够满足严苛的工业级合规性审查要求。
23、(4)本申请提供的一种基于可配置schema的知识库构建方法,打破数据孤岛,通过通用的解析与分块逻辑,实现了对非结构化文档、结构化配置及半结构化日志的统一映射,解决了异构数据难以在同一拓扑维度下进行关联存储的问题,且能够实现标准化构建流程,将碎片化的抽取任务转化为标准化的流式处理,提升了大规模异构数据处理的整体效率和系统可维护性。
24、应当理解的是,以上的一般描述和后文的细节描述仅是实例性和解释性的,并不能限制本申请。
1.一种基于可配置schema的知识库构建方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述对用户定义的实体与关系的schema配置文件进行解析,提取待抽取的实体类别、属性范式及拓扑关系,包括:
3.根据权利要求1所述的方法,其特征在于,所述更新预先建立的抽取逻辑模板,得到实体-关系逻辑架构模型,包括:
4.根据权利要求1所述的方法,其特征在于,所述获取异构数据源,根据所述异构数据源的数据类型对所述异构数据源执行语义分块,得到文本块及所述文本块分别对应的来源元数据,包括:
5.根据权利要求1所述的方法,其特征在于,还包括元数据附加算法,具体为:
6.根据权利要求1所述的方法,其特征在于,所述根据实体-关系逻辑架构模型,读取大语言模型的抽取提示词,基于所述抽取提示词,基于大语言模型从所述文本块抽取结构化三元组,得到抽取元数据并建立所述抽取元数据与所述文本块的映射关系:
7.根据权利要求1所述的方法,其特征在于:
8.根据权利要求1所述的方法,其特征在于,所述对标准化知识节点、映射关系、来源元数据和抽取元数据,构建立实体间的拓扑关系,输出结构化知识图谱点,包括:
9.根据权利要求8所述的方法,其特征在于,还包括溯源边关联创建算法,具体为:
10.一种基于可配置schema的知识库构建系统,其特征在于,包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com