一种基于结构剪枝与语义融合的多跳知识图谱问答方法
本发明涉及知识图谱问答,尤其涉及一种基于结构剪枝与语义融合的多跳知识图谱问答方法。
背景技术:
1、知识图谱是一种典型的多关系图结构,其中的实体通过多种语义关系彼此关联。由于知识图谱通常规模庞大且结构复杂,如何利用自然语言对其进行精确查询长期以来是一项具有挑战性的问题,与之对应的机器学习任务即知识图谱问答(knowledge graphquestion answering,简称kgqa),其目标是在图上执行复杂推理,从而定位能够回答给定自然语言问题的目标节点。现有知识图谱问答方法通常基于两种主流技术路线展开:一类是语义解析方法,其核心思想是先将自然语言问题转换为可在知识图谱上执行的逻辑查询,再在给定的知识图谱上执行该查询以获取答案,这类方法在训练阶段依赖真实逻辑形式标注或查询执行结果作为监督信号,因此在面对不完整的知识图谱设置时较为敏感;另一类是信息检索方法,通过在图上直接进行推理与检索以定位答案节点,无需逻辑形式标注,但对候选节点的排序与判别能力有较高要求。近年来,越来越多的研究开始关注需要在知识图谱上进行多跳推理才能得出正确答案的复杂问题,即多跳知识图谱问答任务。
2、在多跳知识图谱问答任务中,基于图神经网络(graph neural network,简称gnn)的方法通常将该任务定义为在与问题相关的局部子图上,从种子节点顺序传播直至到达答案节点。此类方法首先识别出问题中的主题实体作为种子节点,并从知识图谱中提取包含答案节点的局部子图,再基于消息传递机制在局部子图上自内而外逐步扩展搜索范围,并将路径相关信息不断聚合到节点表示中。因此,局部子图的稳定性和准确性在很大程度上决定了后续推理过程的可靠性。然而,随着推理步数的增加,相关子图的规模会迅速膨胀,与关键推理路径无关的冗余结构会为后续的消息传播和推理引入额外噪声,加剧噪声累积和信息过载问题。
3、进一步地,现有方法在构建局部子图阶段普遍采用均匀随机丢弃策略,即以固定概率对子图中的事实边不加区分地随机丢弃一部分,以增强模型的泛化能力。然而,均匀随机丢弃策略对所有边一视同仁,忽视了种子实体与答案实体相邻关键边的结构重要性,极易在多跳图遍历中截断连接种子实体与答案实体的核心推理路径,使模型由于缺乏有效监督信号而引入严重的结构噪声,导致关键推理路径在训练过程中被随机截断、监督信号不稳定。与此同时,在多跳消息传播过程中,现有方法缺乏对问题语义的显式感知,与问题无关的噪声实体被持续聚合至候选集合中,使得推理图冗余、答案分布发散。因此,如何在削减冗余结构的同时完整保留关键推理路径,并在多跳推理过程中显式利用问题语义抑制无关实体,是本领域亟待解决的技术问题。
技术实现思路
1、本发明旨在至少解决现有技术中存在的技术问题,特别创新地提出了一种基于结构剪枝与语义融合的多跳知识图谱问答方法。
2、为了实现本发明的上述目的,本发明提供了一种基于结构剪枝与语义融合的多跳知识图谱问答方法,包括以下步骤:
3、s1,基于种子实体集合、答案实体集合和关键结构保护跳数k确定k跳保护节点集合,保留与所述k跳保护节点集合相关联的保护事实,并按照非关键事实丢弃比例n对非保护事实执行非均匀剪枝,得到过滤子图;
4、s2,根据节点表示和问题语义向量生成节点级门控单元,并利用所述节点级门控单元对节点的未归一化得分进行语义调制和归一化,得到下一跳节点分布;
5、s3,在所述过滤子图上逐层执行前向扩展和反向聚合,得到结构增强表示,并结合所述节点级门控单元逐层更新下一跳节点分布,对候选实体排序得到答案。
6、上述技术方案优选的,s1中所述确定k跳保护节点集合包括:将所述种子实体集合与所述答案实体集合的并集作为核心保护节点集合;以所述核心保护节点集合为起点,在局部知识子图上进行不超过关键结构保护跳数k的邻域扩展,并将扩展得到的实体加入所述k跳保护节点集合。
7、上述技术方案优选的,s1中所述保护事实和所述非保护事实通过以下方式确定:将端点实体属于所述k跳保护节点集合的事实确定为保护事实,将其余事实确定为非保护事实;所述保护事实至少用于保留连接所述种子实体集合与所述答案实体集合的关键推理路径。
8、上述技术方案优选的,s1中所述非均匀剪枝包括:根据局部知识子图中的事实数量和所述非关键事实丢弃比例n确定目标保留数量;当所述保护事实的数量未达到所述目标保留数量时,从所述非保护事实中选取相应数量的事实进行补充;由保留的所述保护事实和选取的所述非保护事实构建所述过滤子图。
9、上述技术方案优选的,s1中所述非均匀剪枝在训练阶段执行;在训练阶段,将所述关键结构保护跳数k设置为正整数,并将所述非关键事实丢弃比例n设置为大于零;在推理阶段,将所述非关键事实丢弃比例n设置为零,并在保留全部事实的局部知识子图上执行多跳推理。
10、上述技术方案优选的,s1中所述关键结构保护跳数k和所述非关键事实丢弃比例n根据验证结果联合确定;通过遍历多个候选参数组合,并根据多跳问答性能、子图压缩程度和关键推理路径保留程度中的至少一种,从所述候选参数组合中选择目标参数组合。
11、上述技术方案优选的,s2中所述生成节点级门控单元包括:对所述节点表示和所述问题语义向量进行融合,得到语义融合特征;对所述语义融合特征进行非线性映射,得到表征节点与当前问题语义相关程度的门控权重,并将所述门控权重作为所述节点级门控单元。
12、上述技术方案优选的,s2中所述语义调制和归一化包括:根据所述节点级门控单元对节点的所述未归一化得分进行重加权,得到门控得分;对所述过滤子图中各候选节点的门控得分进行归一化,得到用于下一层推理的所述下一跳节点分布。
13、上述技术方案优选的,s3中所述前向扩展包括:根据节点之间的连接关系、所述问题语义向量和上游节点状态生成边消息;根据上一层对应的所述下一跳节点分布对所述边消息进行加权聚合,并将聚合结果与节点原有状态进行融合,得到前向更新表示。
14、上述技术方案优选的,s3中所述反向聚合包括:以节点为根构建局部子树,在所述局部子树内生成回流消息;对所述回流消息进行聚合,得到回流摘要,并将所述回流摘要与所述前向扩展得到的前向更新表示进行融合,得到所述结构增强表示。
15、综上所述,由于采用了上述技术方案,本发明的有益效果是:
16、设计种子-答案感知的k-n(k-n non-uniform pruning)非均匀剪枝机制,通过关键结构保护跳数k限定种子实体与答案实体的关键邻域保护范围,并通过非关键事实丢弃比例n控制冗余事实的剪枝强度,在构建局部推理子图时优先保护关键推理路径,从结构层面降低推理路径被截断带来的噪声,在保证模型泛化能力和推理效率的同时,提升推理精度;引入由节点表示、问题语义向量联合决定的节点级门控单元,对候选节点进行语义调制,实现多跳过程中动态抑制问题无关节点、强化答案相关节点的语义过滤,使得最终答案分布更聚焦;在web问答语义解析数据集(webquestionssp,简称webqsp)与复杂web问答数据集(complexwebquestions,简称cwq)上,与多种代表性方法进行对比并开展消融分析,结果表明所提出的结构感知子图过滤模块与语义门控模块能够稳定提升多跳推理性能。
17、本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com