一种知识图谱构建方法、装置、电子设备及存储介质与流程
本发明实施例涉及知识图谱,特别涉及一种知识图谱构建方法、装置、电子设备及存储介质。
背景技术:
1、在知识图谱(knowledge graph,kg)构建领域,从非结构化文本中提取实体、关系并建立结构化知识库是实现智能检索、逻辑推理和决策支持的核心技术。传统的知识图谱构建方案主要包括以下几种技术路径:基于规则与模板匹配的方案,基于监督深度学习的命名实体识别与关系抽取(information extraction,ie)方案,基于向量检索(retrievalaugmented generation,rag)与统计聚类的消歧方案,以及基于大语言模型(largelanguage model,llm)的零样本直出方案。
2、然而,现有技术存在如下缺点:
3、(1)层级拓扑失范与概念漂移:现有大模型抽取方案缺乏对“下位关系”的强形式化约束。在递归构建中,大模型容易将“相关性”误判为“下位关系”,导致平行概念、上下游节点或影响因素混入同层,图谱丧失严格的树状或有向无环拓扑结构,无法支撑下游的路径推理与决策推演。
4、(2)消歧机制黑盒化与语义重叠:传统的向量相似度消歧机制和简单的llm成对比对方案,无法在全局视角下理解同层候选节点的维度交叉。这导致同层节点中存在大量语义重叠的同义词,或将具有正交维度的重要概念错误合并,消歧过程缺乏可解释的业务逻辑支撑,且调参极其敏感。
5、(3)递归发散失控与节点爆炸:在开放域递归拓展时,由于缺乏有效的质量评估与动态剪枝机制,大模型的发散性随着递归深度呈指数级放大,导致图谱中产生大量无业务价值的“幻觉叶子”或在无价值的分支上过度消耗计算资源。
6、(4)工程落地脆弱性与高延迟:现有的llm图谱构建多采用单节点串行调用,缺乏鲁棒的schema强约束和高并发控制,在面对大规模非结构化文本时,token消耗高、调用延迟大,且极易因大模型输出格式异常导致整个构建流程中断。
技术实现思路
1、本发明的目的在于至少提供一种知识图谱构建方法、装置、电子设备及存储介质,至少可以解决现有方法层级拓扑失范与概念漂移、消歧机制黑盒化与语义重叠的技术问题。
2、为解决上述技术问题,本申请的至少一个实施例提供了一种知识图谱构建方法,包括:
3、针对当前待拓展节点生成检索查询语句并利用所述检索查询语句进行检索,获取上下文参考源文档;
4、基于所述上下文参考源文档,提取与当前待拓展节点相关的候选子节点集;
5、验证所述候选子节点集中候选之节点是否为当前待拓展节点的严格下位概念,根据验证结果从所述候选子节点集中提取有效候选子节点集;
6、对所述有效候选子节点集中的有效候选子节点进行语义分组,得到互斥的语义组及对应的消歧动作,根据消歧动作对相应语义组进行消歧,得到标准子节点集:
7、为所述标准子节点集中每个标准子节点生成标准定义。
8、本申请的至少一个实施例还提供了一种知识图谱构建装置,包括:
9、动态查询与联网检索模块,用于针对当前待拓展节点生成检索查询语句并利用所述检索查询语句进行检索,获取上下文参考源文档;
10、候选节点提取模块,用于基于所述上下文参考源文档,提取与当前待拓展节点相关的候选子节点集;
11、层次校验模块,用于验证所述候选子节点集中候选子节点是否为当前待拓展节点的严格下位概念,根据验证结果从所述候选子节点集中提取有效候选子节点集;
12、集合划分与消歧模块,用于对所述有效候选子节点集中的有效候选子节点进行语义分组,得到互斥的语义组及对应的消歧动作,根据消歧动作对相应语义组进行消歧,得到标准子节点集;
13、定义生成模块,用于为所述标准子节点集中每个标准子节点生成标准定义。
14、本申请的至少一个实施例还提供了一种电子设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述的知识图谱构建方法。
15、本申请的至少一个实施例还提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现上述的知识图谱构建方法。
16、在一些可选的实施例中,上述的知识图谱构建方法,还包括:
17、初始化根节点,将所述根节点写入图数据库,并初始化待拓展节点队列;
18、当所述待拓展节点队列不为空时,取出所述待拓展节点队列的首元素确定为当前待拓展节点;
19、针对当前待拓展节点生成检索查询语句并利用所述检索查询语句进行检索,获取上下文参考源文档,包括:
20、根据行业背景领域、当前待拓展节点及其对应的父级路径、当前递归深度,利用大语言模型自适应生成多维度检索查询语句,并利用所述检索查询语句进行联网检索,获取相关性高的m篇非结构化文本集合作为上下文参考源文档。
21、在一些可选的实施例中,基于所述上下文参考源文档,提取与当前待拓展节点相关的候选子节点集,包括:
22、将所述上下文参考源文档和当前待拓展节点作为上下文输入,利用大语言模型提取与当前待拓展节点相关的候选子节点集,在json schema的约束下输出候选子节点集的格式化数据。
23、在一些可选的实施例中,所述标准定义中包含父节点的名称作为前缀,且字数限制在预设区间内。
24、在一些可选的实施例中,上述的知识图谱构建方法,还包括:
25、对所述标准子节点集中每个标准子节点及其标准定义进行多维度量化评估,得到综合质量得分,根据所述综合质量得分判定是否继续拓展。
26、在一些可选的实施例中,对所述标准子节点集中每个标准子节点及其标准定义进行多维度量化评估,得到综合质量得分,根据所述综合质量得分判定是否继续拓展,包括:
27、若当前拓展节点下的所有标准子节点的综合质量得分均低于阈值,且当前递归深度未达到目标递归深度,则对当前分支进行剪枝处理。
28、在一些可选的实施例中,对所述标准子节点集中每个标准子节点及其标准定义进行多维度量化评估,得到综合质量得分,根据所述综合质量得分判定是否继续拓展,还包括:
29、将所述综合质量得分达到阈值的标准子节点写入图数据库,创建标准子节点与其父节点之间的边。
1.一种知识图谱构建方法,其特征在于,包括:
2.根据权利要求1所述的知识图谱构建方法,其特征在于,还包括:
3.根据权利要求1所述的知识图谱构建方法,其特征在于,基于所述上下文参考源文档,提取与当前待拓展节点相关的候选子节点集,包括:
4.根据权利要求1所述的知识图谱构建方法,其特征在于,所述标准定义中包含父节点的名称作为前缀,且字数限制在预设区间内。
5.根据权利要求1所述的知识图谱构建方法,其特征在于,还包括:
6.根据权利要求5所述的知识图谱构建方法,其特征在于,对所述标准子节点集中每个标准子节点及其标准定义进行多维度量化评估,得到综合质量得分,根据所述综合质量得分判定是否继续拓展,包括:
7.根据权利要求6所述的知识图谱构建方法,其特征在于,对所述标准子节点集中每个标准子节点及其标准定义进行多维度量化评估,得到综合质量得分,根据所述综合质量得分判定是否继续拓展,还包括:
8.一种知识图谱构建装置,其特征在于,包括:
9.一种电子设备,其特征在于,包括:
10.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的知识图谱构建方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com