一种基于知识图谱的互联网数据提取方法与流程

摘要: 本发明涉及知识图谱,具体为一种基于知识图谱的互联网数据提取方法。背景技术:1、知识图谱以三元组的形式描述实体及其相互关系,广泛应用于智能搜索、智能问答、企业知识...
一种基于知识图谱的互联网数据提取方法与流程

本发明涉及知识图谱,具体为一种基于知识图谱的互联网数据提取方法。

背景技术:

1、知识图谱以三元组的形式描述实体及其相互关系,广泛应用于智能搜索、智能问答、企业知识中台等场景,其构建与更新通常依赖从海量、异构的互联网数据源中自动化提取知识,当前工业界普遍采用大语言模型作为信息提取的核心引擎,并结合图谱嵌入技术对三元组的合理性进行评估,同时借助无头浏览器技术获取网页的文档结构信息,与本发明最接近的现有技术方案为基于大语言模型的网页文本三元组提取方法,其主要流程为:通过网络爬虫抓取目标网页的源码并进行正文抽取得到纯文本,将纯文本分段输入大语言模型,通过预设的提示词模板输出三元组形式的结构化抽取结果,再对抽取结果设置置信度阈值或规则过滤后写入知识图谱存储系统,若新提取的三元组与图谱中已存在的三元组发生冲突,则采取覆盖或人工审核的方式处理,上述现有方案在大语言模型抽取环节缺乏基于图谱拓扑结构的校验机制,面对冷门长尾实体时容易产生幻觉性输出;

2、同时其采用纯文本序列化方式处理网页内容,割裂了网页原本的视觉排版结构,导致跨区块的隐式关联事实难以被准确提取;

3、此外,该方案缺乏时空坐标追踪与冲突判定机制,容易将真实的历史事实误删或将噪声信息误写入图谱,导致知识图谱质量持续劣化,因此,如何兼顾开放域抽取能力、抑制幻觉性输出、利用网页多模态结构信息并实现冲突事实的自动化消解,成为本领域亟待解决的技术问题。

技术实现思路

1、本发明要解决的技术问题:

2、现有的基于大语言模型的互联网数据提取方法存在以下不足:

3、其一,大语言模型在面对冷门长尾实体进行开放域三元组抽取时,由于缺乏充分的训练先验,容易产生过度自信的幻觉性输出,如何在不损失真实长尾新知识的前提下有效抑制此类幻觉,是需要解决的技术问题;

4、其二,现有方法采用纯文本序列化方式处理网页内容,割裂了网页原本的二维视觉排版结构,导致分布于正文、侧边栏、表格等不同视觉区块的主体、关系、客体无法被识别为同一事实的组成部分,如何在提取过程中保留并利用网页的多模态视觉语义拓扑结构,是需要解决的技术问题;

5、其三,当新提取的事实与知识图谱中已存的历史事实发生冲突时,现有方法缺乏时空坐标追踪与判定机制,无法自动区分该冲突是由世界客观状态的时序演化所致还是由互联网噪声所致,如何实现对时序冲突事实的自动化消解与增量更新,是需要解决的技术问题。

6、本发明的技术方案:

7、为解决上述技术问题,本发明提供一种基于知识图谱的互联网数据提取方法,包括:获取目标网页的原始内容,通过大语言模型对所述原始内容进行无模式信息抽取,得到候选三元组,所述候选三元组包括主体、关系及客体;

8、将确认为真实知识的所述候选三元组写入知识图谱。

9、在此基础上,本发明进一步获取所述目标网页的文档对象模型树结构、所述文档对象模型树中各文本节点的渲染边界框坐标以及所述目标网页的元数据;

10、以各文本节点为超图节点构建超图网络,所述超图网络包括表示文档对象模型层级相邻关系的结构超边与表示渲染坐标空间距离小于预设阈值的视觉超边;

11、将所述超图网络输入图神经网络进行邻域特征聚合,得到融合结构关联信息与视觉空间关联信息的节点融合特征;

12、将所述节点融合特征与对应文本节点的原始文本共同输入大语言模型进行所述无模式信息抽取。进一步根据网页元数据及文本时态语义表达确定候选三元组对应的时间戳,根据网页所属域名的权威性指标确定信源权重,得到携带时间戳与信源权重的候选五元组。

13、本发明将候选三元组的主体、关系、客体分别映射至图谱嵌入空间得到向量表示,据此计算合理性打分,计算公式为:

14、;

15、其中,表示候选三元组的合理性打分,数值越大表示该三元组越符合已学习到的图谱拓扑规律;

16、、、分别为主体、关系、客体在图谱嵌入空间中的向量表示;

17、表示向量的二范数。

18、进一步获取主体在图谱局部子图中的邻居候选客体集合,计算拓扑惊奇度,计算公式为:

19、;

20、其中,表示拓扑惊奇度,取值范围为0到1,数值越大表示该候选三元组相对于主体局部邻居分布越异常;

21、表示主体在图谱局部子图中的邻居候选客体集合;

22、为该集合中的遍历变量;

23、表示自然指数函数。将拓扑惊奇度与预设阈值比较,未超过阈值的候选五元组直接判定为高置信度知识写入图谱;

24、超过阈值的候选三元组则以其主体与关系构造检索请求,调用互联网搜索接口获取排名靠前的网页摘要,与候选三元组转化得到的自然语言假设句进行自然语言推理,通过多数投票判定是否写入知识图谱。

25、在候选五元组与图谱中已存历史五元组发生冲突时,本发明以主体与关系为核心构建时序证据子图,计算各历史版本的时间衰减注意力权重与对应信源的域名权重,融合得到综合置信度,并结合时间戳先后关系判定冲突类型为时序演化或噪声,分别执行旧边失效标记与新边写入,或黑名单拦截。

26、采用上述技术方案,与现有技术相比,本发明的有益效果在于:

27、1.本发明通过图谱嵌入空间的拓扑合理性计算与逆向多源交叉验证机制,对偏离拓扑规律的候选三元组不直接丢弃,而是转化为检索请求触发独立信源验证,能够在有效剥离大语言模型幻觉性输出的同时保留训练先验不足的长尾新知识,提升开放域提取的信度与召回率;

28、2.本发明通过融合文档对象模型结构层级距离与视觉渲染坐标构建的多模态超图网络,使模型能够感知网页中跨区块的隐式长距离关联关系,并输出携带时间戳与信源权重的五元组,提升碎片化信息的关联提取准确率;

29、3.本发明通过时间衰减注意力权重与域名权重融合计算的综合置信度实现冲突类型的自动化判定,能够对时序演化事实执行自动增量更新,对噪声事实执行黑名单拦截,实现知识图谱的高置信度自主增量更新,避免真实历史事实被误删或噪声信息被误写入图谱。

1.一种基于知识图谱的互联网数据提取方法,包括:获取目标网页的原始内容,通过大语言模型对所述原始内容进行无模式信息抽取,得到候选三元组,所述候选三元组包括主体、关系及客体;

2.根据权利要求1所述的方法,其特征在于,所述视觉超边的权重根据以下公式计算:

3.根据权利要求1所述的方法,其特征在于,所述合理性打分根据以下公式计算:

4.根据权利要求1所述的方法,其特征在于,将所述候选三元组中的主体、关系及客体分别映射至图谱嵌入空间时,从transe嵌入模型、complex嵌入模型、rotate嵌入模型中选取一种嵌入模型实现所述映射。

5.根据权利要求1所述的方法,其特征在于,所述时间衰减注意力权重根据以下公式计算:

6.根据权利要求5所述的方法,其特征在于,所述综合置信度根据以下公式计算:

7.根据权利要求1所述的方法,其特征在于,所述时间衰减注意力权重的计算方式为以下两种计算方式中的一种:第一种计算方式为通过分段线性衰减函数计算得到;

8.根据权利要求1所述的方法,其特征在于,对多个所述判定结果进行投票统计时,在所述判定结果中支持类别的占比超过预设投票阈值的情况下,判定所述候选五元组为真实的开放域长尾新知识,将所述候选五元组写入知识图谱;

9.一种基于知识图谱的互联网数据提取装置,其特征在于,包括:

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的基于知识图谱的互联网数据提取方法。