一种领域知识图谱融合方法、设备及介质
本发明涉及知识图谱融合领域,具体是涉及到一种领域知识图谱融合方法、设备及介质。
背景技术:
1、知识图谱能够以图结构组织实体、实体属性以及实体之间的关联关系。在材料科学、生物医学、化学等技术领域中,可以利用知识图谱对实验测量数据、技术数据库数据以及文献中获得的结构化技术知识进行组织。例如,在材料科学领域,知识图谱可以记录材料或化合物的化学组成、化学命名、物理常数、晶体结构及其关联关系;在生物医学领域,知识图谱可以记录药物、生物分子、疾病、生物途径及其相互作用关系。上述知识图谱能够作为计算机辅助技术信息检索、关联分析以及后续技术分析的数据基础。
2、根据知识覆盖范围不同,知识图谱可以分为通用知识图谱和领域特定知识图谱。通用知识图谱通常具有数据规模大、覆盖范围广等特点,但其中的技术事实通常粒度较粗,且同时包含大量与目标技术领域无关的数据;领域特定知识图谱则主要来源于特定技术领域的实验数据、专业数据库或者技术文献,具有专业性和细粒度特点,但由于实验数据采集成本、专业数据库构建成本以及维护成本较高,其知识覆盖范围通常有限。
3、在利用通用知识图谱对领域特定知识图谱进行补充时,不同数据源之间在实体命名、关系定义、知识粒度以及图拓扑结构方面通常存在较大差异。例如,在材料科学知识图谱中,同一材料或者化合物可能在不同数据源中采用不同化学名称,通用知识图谱中的物理常数信息与领域知识图谱中的实验晶体结构数据之间还可能存在不同的知识粒度。如果仅根据实体名称或者语义相似度进行融合,容易将与目标材料实际技术属性不一致的事实写入领域知识图谱,影响后续技术信息检索和关联分析的可靠性。
4、此外,通用知识图谱通常具有数量巨大的实体和事实节点。若直接对领域特定知识图谱节点与通用知识图谱全部节点执行两两语义匹配、结构分析或者基于大语言模型的融合判断,会产生大量无效计算,增加处理器运算负荷、存储访问量和模型推理次数,并造成较高的计算资源消耗和处理时延。特别是直接利用大语言模型对全部候选事实进行融合判断时,大量与目标技术对象无关的事实仍需进入模型推理流程,会产生较大的令牌消耗和推理开销。
技术实现思路
1、本发明提供了一种领域知识图谱融合方法、设备及介质,其目的是解决材料科学、生物医学、化学等技术领域的知识库构建和更新过程中,由于通用知识图谱与领域特定知识图谱在实体命名、知识粒度及图拓扑结构方面存在差异,导致大规模图谱直接匹配时计算量大、基于大语言模型对大量无关候选事实进行融合判断时计算资源消耗和处理时延高,以及缺乏与领域局部技术上下文相结合的一致性验证而容易将不一致的事实写入领域知识库的问题。
2、为实现上述目的,本发明第一方面提供了一种领域知识图谱融合方法,包括如下步骤:
3、将给定的领域特定知识图谱和通用知识图谱分别进行元知识线图变换,得到对应的元知识线图;
4、基于所述元知识线图中节点的语义嵌入,为所述领域特定知识图谱的元知识线图节点与所述通用知识图谱的元知识线图节点之间的节点对分配语义匹配分数;
5、基于所述领域特定知识图谱和所述通用知识图谱的元知识线图的局部结构,计算所述节点对之间的结构相似度分数;
6、基于所述语义匹配分数和所述结构相似度分数,从所述通用知识图谱中确定相关候选集;
7、基于所述相关候选集和所述领域特定知识图谱的局部上下文,通过不确定性驱动的场景感知按需集成生成新的事实集;
8、针对每个目标事实节点,基于与该目标事实节点对应的局部待融合事实集及所述领域特定知识图谱的局部上下文,在预设的叙事约束下生成连贯的自然语言场景描述;
9、将所述自然语言场景描述在相同的叙事约束下重构为知识图谱事实,得到重构事实集;
10、对所述重构事实集与所述新的事实集进行一致性验证,所述一致性验证包括计算两者所代表的融合决策分布之间的差异,并将验证通过的事实作为融合结果,用于构建或更新增强的领域特定知识图谱,同时将验证未通过的事实中,存在于重构事实集但不存在于新的事实集中的事实,作为潜在可融合事实反馈至所述场景感知按需集成步骤以进行迭代优化,直至满足收敛条件,得到构建或更新后的增强的领域特定知识图谱。
11、进一步的,所述进行元知识线图变换的方法包括:
12、将所述领域特定知识图谱和所述通用知识图谱中的每个事实三元组映射为元知识线图中的一个节点;
13、其中,当且仅当两个事实三元组在原始知识图谱中共享一个公共端点时,它们在所述元知识线图中对应的节点之间存在边连接。
14、进一步的,分配语义匹配分数的方法包括:
15、将所述元知识线图中节点对应的事实三元组转换为陈述性文本;
16、使用预训练语言模型对所述陈述性文本进行编码,得到语义嵌入向量;
17、计算所述领域特定知识图谱的元知识线图节点的语义嵌入向量与所述通用知识图谱的元知识线图节点的语义嵌入向量之间的相似度,作为所述节点对的语义匹配分数。
18、进一步的,计算结构相似度分数的方法包括:
19、基于预设的语义匹配阈值,筛选出语义匹配分数大于或等于该阈值的通用知识图谱元知识线图节点,构成语义候选节点集;
20、对于所述语义候选节点集中的每个节点,将其自身及其在所述元知识线图中的一跳邻居节点加入,构建语义候选子图集;
21、对于所述领域特定知识图谱元知识线图中的每一个节点,获取其自身及一跳邻居节点,构建领域特定局部结构子图;
22、对于所述语义候选子图集中的每一个通用知识图谱候选节点,获取其自身及一跳邻居节点,构建通用知识局部结构子图;
23、计算所述领域特定局部结构子图与所述通用知识局部结构子图之间的图结构相似度,作为对应的所述节点对之间的结构相似度分数。
24、进一步的,确定相关候选集的方法包括:
25、对每个所述节点对,按照预设的权重参数,将所述语义匹配分数与所述结构相似度分数进行加权融合,得到综合相似度分数;
26、根据预设的综合相似度阈值,筛选出综合相似度分数大于或等于该综合相似度阈值的通用知识图谱候选节点,并以对应的所述通用知识局部结构子图作为最终的所述相关候选集。
27、进一步的,不确定性驱动的场景感知按需集成生成新的事实集的方法包括:
28、针对所述领域特定知识图谱中的每个目标事实节点,基于该目标事实节点对应的领域特定局部结构子图和来自所述相关候选集的通用知识局部结构子图构建融合场景;
29、针对所述融合场景中的每个候选事实,将该候选事实是否被接纳并写入当前领域特定知识图谱定义为二元融合决策变量,其中取值1表示接纳并写入当前领域特定知识图谱,取值0表示拒绝写入当前领域特定知识图谱;
30、使用大语言模型作为条件概率估计器,基于预设的结构化提示模板和所述融合场景估计所述二元融合决策变量取值为1时的条件概率,作为所述候选事实的融合概率;
31、基于所述融合概率计算所述二元融合决策变量的伯努利条件熵,作为所述候选事实的融合不确定性度量;
32、针对每个所述目标事实节点,筛选出融合概率不低于预设接纳概率阈值且融合不确定性低于预设不确定性阈值的候选事实,形成与该目标事实节点对应的局部待融合事实集;
33、将各目标事实节点对应的所述局部待融合事实集合并,形成所述新的事实。
34、进一步的,生成自然语言场景描述的方法包括:
35、针对每个目标事实节点,将与该目标事实节点对应的所述局部待融合事实集与其对应的领域特定局部结构子图合并,构成融合场景子图;
36、通过大语言模型执行语义生成函数,在强制性的叙事约束下,将所述融合场景子图转换为一段连贯的自然语言描述;
37、其中,所述叙事约束包括:必须覆盖所有输入事实、必须形成逻辑连贯的单一叙事、必须显式体现事实间的时间、因果或空间关系、且不允许引入新的实体或关系。
38、进一步的,将所述自然语言场景描述在相同的叙事约束下重构为知识图谱事实,得到重构事实集的方法包括:
39、将所述自然语言场景描述和隐含的叙事结构作为输入,通过大语言模型在所述叙事约束下,以近似求解约束满足问题的方式,估计满足约束的候选事实的后验概率;
40、筛选后验概率高于预设重构阈值且满足所有叙事一致性约束的事实,构成所述重构事实集。
41、进一步的,对所述重构事实集与所述新的事实集进行一致性验证的方法包括:
42、将所述新的事实集视为融合决策的支持集,其上定义由融合概率构成的第一概率分布;
43、将所述重构事实集与所述新的事实集的交集部分定义为概率为1,其余部分定义为概率为0,构成第二概率分布;
44、计算第一概率分布与第二概率分布之间的kl散度,若所述kl散度不超过预设的容差阈值,则验证通过;
45、将验证通过的事实用于构建或更新增强的领域特定知识图谱,并将存在于重构事实集但不在新的事实集中的潜在可融合事实反馈至所述场景感知按需集成步骤。
46、为实现上述目的,本发明第二方面提供了一种电子设备,包括存储器以及处理器,所述存储器用于存储支持处理器执行所述领域知识图谱融合方法的程序,所述处理器被配置为用于执行所述存储器中存储的程序。
47、为实现上述目的,本发明第三方面提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行所述领域知识图谱融合方法的步骤。
48、本发明的有益效果:
49、与现有技术相比,本发明提供的一种领域知识图谱融合方法,通过将知识图谱事实三元组转换为元知识线图节点,将事实语义信息与事实之间的局部连接结构分别进行处理,并通过语义嵌入向量索引及近似最近邻检索从大规模通用知识图谱中预先筛除大量无关节点,再基于领域特定局部结构子图与通用知识局部结构子图之间的结构相似度进一步缩小候选事实范围。因此,无需针对通用知识图谱中的全部节点执行后续的大语言模型融合判断,能够减少大规模知识图谱处理中需要比较和推理的数据量,降低处理器计算负荷及模型调用开销,提高知识融合处理效率。
50、本发明进一步将候选事实在由领域特定局部结构子图与通用知识局部结构子图共同限定的融合场景中是否被接纳并写入当前领域特定知识图谱定义为二元融合决策变量,以所述二元融合决策变量取值为接纳写入时的条件概率作为融合概率,并根据所述融合概率计算所述二元融合决策变量的伯努利条件熵。由此,所述融合概率反映候选事实面向当前领域特定知识图谱的写入决策,而非候选事实作为一般知识是否成立的知识置信度;所述伯努利条件熵对应接纳写入和拒绝写入两个融合决策状态的不确定性,使不确定性筛选与当前领域局部知识状态及实际融合目标相对应。结合后续受约束的场景生成、知识图谱重构、一致性判断及反馈迭代,能够进一步过滤与领域局部技术关系不兼容的候选事实,降低错误技术事实写入领域知识库的概率,使更新后的知识图谱保持与技术属性及关联关系相一致。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com