一种基于描述增强与结构感知负采样的知识图谱补全方法
本发明涉及知识图谱补全和自然语言处理,尤其涉及一种基于描述增强与结构感知负采样的知识图谱补全方法。
背景技术:
1、知识图谱作为人工智能从感知智能迈向认知智能的重要载体,在搜索引擎、智能问答及推荐系统等领域发挥着核心支撑作用。然而,随着各行业数字化转型的深入,现有知识图谱普遍面临数据稀疏、长尾实体关系缺失以及动态演化滞后等问题,仅依靠传统的图结构嵌入方法已难以满足高精度推理的实际需求。
2、目前,为提高知识图谱补全模型在稀疏场景下的鲁棒性,已有研究开始探索将实体的文本描述等辅助信息融入嵌入学习,以期从多源异构数据中挖掘更丰富的语义特征。然而,随着信息维度的增加,该技术路线面临以下挑战:第一,在语义与结构融合方面,文本描述的开放性与图结构的离散性之间存在天然的语义鸿沟,加之长尾实体配对数据稀缺,模型难以捕捉不同模态特征间的互补信息,导致联合表示的学习效果受限;第二,在负样本构建方面,传统随机采样生成的负样本过于简单,无法提供有效的监督信号,且因缺乏拓扑约束而容易引入假负样本,导致模型难以在决策边界附近进行精细化判别;第三,在系统优化方面,如何兼顾计算开销与采样多样性,设计自适应的采样机制以突破大规模图谱补全的性能瓶颈,亦是亟待解决的问题。
3、尽管融合文本描述的嵌入方法与对抗负采样策略已有一定的研究成果,但现有方法在多模态信息间构建一致性表示空间时仍面临困难。具体而言,单纯语义增强往往忽略了图谱固有的拓扑约束,而现有负采样方法对结构信息的利用尚不充分,导致缺乏结构感知的负样本难以有效提升模型的判别能力。
4、因此,如何在描述增强与结构感知的双重驱动下,优化负采样策略以生成兼具语义挑战性与结构合理性的困难负样本,从而提升稀疏场景下知识图谱补全的性能,是当前该领域亟待解决的关键技术问题。
技术实现思路
1、针对现有技术存在的上述不足,本发明提供了一种基于描述增强与结构感知负采样的知识图谱补全方法,通过构建由大语言模型语义增强模块、图结构重排序模块和结构感知负采样模块组成的端到端知识图谱补全模型,解决了现有方法在稀疏场景下长尾实体语义表征匮乏、语义与结构难以融合以及传统负采样缺乏拓扑约束导致模型判别力不足的技术问题。
2、为了解决上述技术问题,本发明采用了如下技术方案:
3、一种基于描述增强与结构感知负采样的知识图谱补全方法,包括如下步骤:
4、s1、获取知识图谱中的三元组作为训练样本,并构建查询文本描述和尾实体文本描述;其中,所述三元组包括头实体、关系和尾实体;
5、s2、利用大语言模型语义增强模块对所述查询文本描述和尾实体文本描述分别进行编码,生成包括细粒度语义的初始嵌入表示;
6、s3、构建候选尾实体集合,通过图结构重排序模块提取所述候选尾实体集合中每个候选尾实体的局部拓扑结构特征,并结合所述初始嵌入表示计算每个候选尾实体融合语义与结构的最终重排序分数;
7、s4、利用结构感知负采样模块基于带偏置的随机游走策略,从所述候选尾实体集合中筛选出困难负样本,并构建包括对比损失与重排序一致性损失的目标函数;
8、s5、基于所述目标函数对由所述大语言模型语义增强模块、所述图结构重排序模块和所述结构感知负采样模块构成的知识图谱补全模型进行训练,并利用训练后的所述知识图谱补全模型对待补全的知识图谱中的缺失链接进行预测与补全。
9、作为优选方案,步骤s1中,基于所述三元组中的头实体、关系和尾实体,分别获取头实体文本描述、关系文本描述以及所述尾实体文本描述;
10、所述查询文本描述表示为:
11、;
12、式中:为查询文本描述;为线性拼接操作。
13、作为优选方案,步骤s2中,所述大语言模型语义增强模块包括参数冻结的qwen文本嵌入编码器、注意力池化子模块和非线性投影层;所述大语言模型语义增强模块的具体处理过程包括:
14、将输入序列作为所述qwen文本嵌入编码器的输入,输出所述qwen文本嵌入编码器的最后一层的隐藏状态矩阵;通过所述注意力池化子模块对所述隐藏状态矩阵进行动态加权聚合,得到原始语义向量;通过所述非线性投影层将所述原始语义向量映射至目标嵌入维度,得到包括细粒度语义的初始嵌入表示;其中,所述输入序列包括查询文本描述和所述尾实体文本描述,所述初始嵌入表示包括查询初始嵌入表示和尾实体初始嵌入表示。
15、作为优选方案,所述注意力池化子模块的具体处理过程表示为:
16、;
17、;
18、式中:为注意力权重分布;为qwen文本嵌入编码器输出的隐藏状态矩阵;为可更新的查询向量;为缩放因子;为原始语义向量;
19、所述非线性投影层的具体处理过程表示为:
20、;
21、式中:为初始嵌入表示,,为查询初始嵌入表示,为尾实体初始嵌入表示;为线性投影层;和分别为可学习的权重矩阵和偏置;为激活函数;为非线性投影层。
22、作为优选方案,步骤s3中,所述候选尾实体集合包括所述三元组中的尾实体和从所述知识图谱中采样的其他实体,其中,所述三元组中的尾实体为正样本,所述采样的其他实体为负样本;所述图结构重排序模块包括结构特征提取子模块和自适应门控融合子模块;对于所述候选尾实体集合中的每个候选尾实体,其具体处理过程包括:
23、提取该候选尾实体的局部拓扑结构特征,所述局部拓扑结构特征包括该候选尾实体的入度、出度及查询关系与该候选尾实体的入边关系的类型兼容性;通过所述结构特征提取子模块,根据所述局部拓扑结构特征计算该候选尾实体的结构得分;通过所述自适应门控融合子模块,根据所述初始嵌入表示计算语义相似度,并将所述语义相似度与所述结构得分进行加权融合,得到所述最终重排序分数。
24、作为优选方案,所述结构得分通过如下公式计算得到:
25、;
26、式中:为候选尾实体的结构得分;为候选尾实体集合中的第个候选尾实体;为候选尾实体的入度;为候选尾实体的出度;为查询关系与该候选尾实体的入边关系的类型兼容性得分;为入边关系;表示向量拼接;为sigmoid激活函数;和为可学习参数;
27、所述最终重排序分数通过如下公式计算得到:
28、;
29、;
30、;
31、式中:为最终重排序分数;为平衡系数;为语义相似度;为逐元素乘积;和为可学习参数;为查询初始嵌入表示,为候选尾实体的嵌入表示;为余弦相似度。
32、作为优选方案,步骤s4中,所述利用结构感知负采样模块基于带偏置的随机游走策略,从所述候选尾实体集合中筛选出困难负样本的具体处理过程包括:
33、以所述三元组中的头实体为起点,在所述知识图谱上根据游走转移概率执行多次随机游走,生成多条游走路径;统计各节点在所述多条游走路径中出现的频次,并结合距离衰减因子计算各节点的结构显著性得分;基于所述结构显著性得分与所述候选尾实体的最终重排分数构建采样概率分布,按照所述采样概率分布从所述候选尾实体集合中筛选出语义相似且与所述三元组中的尾实体构成事实错误的实体,作为所述困难负样本。
34、作为优选方案,所述游走转移概率根据如下公式计算:
35、;
36、式中:为游走转移概率;为当前节点;为下一节点;为邻接矩阵中与间的连接权重;为查询关系;为到的关系;为关系语义相似度;为的邻域节点集合;和均为权重系数;
37、所述结构显著性得分如下公式计算:
38、;
39、式中:为节点的结构显著性得分;为随机游走的执行次数;为第条游走路径;为节点在第条游走路径中出现的频次;为节点距离头实体的最短步数;为距离衰减因子。
40、作为优选方案,步骤s4中,所述目标函数表示为:
41、;
42、式中:为目标函数;为对比损失;为重排序一致性损失;为超参数;
43、所述对比损失表示为:
44、;
45、式中:为批次中的样本数量;为第个查询的嵌入表示;为第个三元组中尾实体的嵌入表示;为困难负样本集合;为困难负样本的嵌入表示;为余弦相似度;为温度参数;
46、所述重排序一致性损失表示为:
47、;
48、式中:为候选尾实体集合中的第个候选尾实体;为三元组中的尾实体;为指示函数;为正样本尾实体的最终重排序分数;为困难负样本的最终重排序分数;为铰链损失函数。
49、作为优选方案,步骤s5的具体处理过程包括:
50、按批次加载作为训练样本的三元组,输入至所述知识图谱补全模型;以最小化所述目标函数为目标,通过反向传播更新知识图谱补全模型中的可学习参数,直至模型收敛;其中,所述大语言模型语义增强模块中的qwen文本嵌入编码器的参数保持冻结;
51、对于待补全的知识图谱中的缺失链接,利用训练后的所述知识图谱补全模型计算所有候选实体的最终重排序分数,根据所述最终重排序分数对所述候选实体进行降序排列,选取排名靠前的实体作为所述知识图谱补全的预测结果。
52、与现有技术相比,本发明具有如下技术效果:
53、1、本发明通过构建由大语言模型语义增强模块、图结构重排序模块和结构感知负采样模块组成的端到端知识图谱补全框架,冻结qwen文本嵌入编码器的参数而仅更新非线性投影层、图结构重排序模块及结构感知负采样模块的可学习参数,三者在前向传播中依次执行、在反向传播中联合优化,共同克服了长尾实体语义表征匮乏与结构约束缺失的双重瓶颈。
54、2、本发明通过参数冻结的qwen文本嵌入编码器对查询文本描述和尾实体文本描述分别进行编码,经注意力池化子模块动态加权聚合生成原始语义向量,再经非线性投影层映射至知识图谱的统一嵌入空间,得到包含细粒度语义的查询初始嵌入表示和尾实体初始嵌入表示,有效解决了长尾实体因连接稀疏导致的语义表征匮乏问题,实现了开放文本语义与知识图谱统一嵌入空间的无缝对齐。
55、3、本发明将三元组中的尾实体作为正样本尾实体、从知识图谱中采样的其他实体作为负样本尾实体,共同构成候选尾实体集合;图结构重排序模块对该集合中的每个候选尾实体提取包含入度、出度及类型兼容性的局部拓扑结构特征以计算结构得分,同时计算查询初始嵌入表示与候选尾实体嵌入表示之间的语义相似度,并以两者交互特征为输入通过自适应门控单元动态生成平衡系数将语义相似度与结构得分加权融合为该候选尾实体的最终重排序分数,使得正负样本在同一评分框架下接受统一评估,并在语义模糊时自动偏向结构先验,提升了模型在不同数据分布下的推理鲁棒性。
56、4、本发明以头实体为起点在知识图谱上执行由结合邻接矩阵与关系语义相似度的偏置矩阵控制转移概率的多次随机游走生成多条游走路径,统计节点出现频次并结合距离衰减因子计算结构显著性得分,再基于结构显著性得分与最终重排序分数构建采样概率分布从候选尾实体集合中筛选出困难负样本,使困难负样本挖掘同时受局部拓扑结构特征与当前模型判别状态的双重引导,避免了纯语义挖掘引入的假阴性污染。
57、5、本发明构建由对比损失与重排序一致性损失加权求和构成的目标函数,对比损失基于困难负样本集合拉近查询初始嵌入表示与尾实体初始嵌入表示之间的距离并推远与困难负样本嵌入表示之间的距离,重排序一致性损失以指示函数仅对正样本尾实体施加铰链型惩罚以约束其最终重排序分数高于困难负样本,实现语义判别力增强与结构先验内化的统一;训练中按批次加载三元组训练样本并反向传播仅更新非线性投影层、图结构重排序模块及结构感知负采样模块的可学习参数而冻结qwen文本嵌入编码器,推理时对所有候选实体计算最终重排序分数并降序排列选取排名靠前的实体作为补全结果,保证了训练效率与推理精度的兼顾。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com