基于检索反馈的知识图谱问答检索方法与装置

摘要: 本发明涉及人工智能,特别是指一种基于检索反馈的知识图谱问答检索方法与装置。背景技术:1、知识图谱问答(kgqa)旨在利用知识图谱中的结构化知识回答自然语言问题。...
基于检索反馈的知识图谱问答检索方法与装置

本发明涉及人工智能,特别是指一种基于检索反馈的知识图谱问答检索方法与装置。

背景技术:

1、知识图谱问答(kgqa)旨在利用知识图谱中的结构化知识回答自然语言问题。随着大语言模型(llm)的发展,现有技术通常会将llm作为规划者,将复杂问题分解为多步推理,逐步生成查询语句并检索知识图谱以获取答案。为提升检索效率,现有技术引入外部记忆库,将历史积累的“自然语言描述—查询片段”映射关系以检索方式复用,使模型在推理阶段可直接复用已有查询片段,避免重复生成。

2、然而,上述记忆库机制在现有工程实践中仅作为推理阶段的静态检索工具使用,这使得“检索能力”与“生成策略”在训练阶段始终处于割裂状态,策略模型无法从记忆库的历史检索经验中持续学习并内化检索判断能力,导致在记忆库覆盖不足的场景下系统检索性能显著下降。

3、亟需一种对记忆库覆盖率依赖程度较低的知识图谱问答检索方法。

技术实现思路

1、为了解决现有的知识图谱问答检索方法对记忆库覆盖率依赖程度较高的问题,本发明实施例提供了一种基于检索反馈的知识图谱问答检索方法及装置。所述技术方案如下:

2、一方面,提供一种基于检索反馈的知识图谱问答检索方法,包括:

3、将知识图谱中的查询语句分解为若干原子子查询语句,利用大语言模型为每条原子子查询语句生成对应的自然语言描述,以所述自然语言描述为键、所述原子子查询语句为值,构建查询记忆库;

4、获取训练问题集合,对于每一问题,调用基座大语言模型并结合所述查询记忆库执行多次推理采样,生成候选推理轨迹,根据候选推理轨迹的预测答案与标准答案的匹配分数,通过记忆引导的拒绝采样筛选正例轨迹,基于筛选出的正例轨迹构造监督微调训练样本集,对基座大语言模型进行监督微调训练,得到冷启动策略模型;

5、对于每一问题通过所述冷启动策略模型采样生成多条推理轨迹,统计每条推理轨迹中记忆命中状态为直接采纳的步骤比例作为记忆直接采纳率,基于所述记忆直接采纳率及答案匹配分数计算复合奖励值,基于同一问题的多条推理轨迹的复合奖励值对所述冷启动策略模型进行迭代更新,直至模型收敛,生成训练完成的策略模型;

6、将训练完成的策略模型部署至线上推理服务,响应于用户输入的自然语言问题,由所述训练完成的策略模型逐步生成各推理步骤的自然语言描述,基于所述各推理步骤的自然语言描述在所述查询记忆库中检索匹配的查询片段并返回检索结果。

7、本发明实施例通过将知识图谱中的复杂查询语句分解为原子子查询语句并利用大语言模型生成自然语言描述,构建“自然语言描述—查询片段”键值对形式的查询记忆库,使策略模型在训练阶段和推理阶段均能够复用记忆库中的检索经验;通过记忆引导的拒绝采样机制,调用基座大语言模型并结合查询记忆库执行多次推理采样生成候选推理轨迹,根据预测答案与标准答案的f1匹配分数筛选正例轨迹,直接基于记忆库检索过程构造监督微调训练数据,使训练数据天然携带检索命中状态信息,实现了检索侧资源向训练侧的数据流动,显著降低了冷启动训练数据的构造成本;通过将记忆库检索过程中天然产生的“直接采纳”统计信息转化为强化学习复合奖励函数中的独立奖励项,使策略模型在训练过程中能够感知并优化自身生成内容与记忆库的匹配程度,将检索经验内化为自身的生成偏好,实现了检索与训练的闭环耦合,降低了系统对记忆库覆盖率的依赖程度;通过将训练完成的策略模型部署至线上推理服务,由策略模型生成推理步骤的自然语言描述并在查询记忆库中检索匹配的查询片段,实现了检索经验内化后的高效在线推理。

8、可选地,所述多次推理采样的次数记为k,对于所述训练问题集合中的每一问题,独立执行k次完整推理采样,得到k条候选推理轨迹,每条候选推理轨迹包含推理过程中各步骤的自然语言推理描述、对应的记忆命中状态、最终拼接得到的完整查询语句以及在知识图谱上执行该查询语句后获得的预测答案;

9、所述根据候选推理轨迹的预测答案与标准答案的匹配分数筛选正例轨迹,包括:

10、确定每条候选推理轨迹的预测答案与标准答案之间的f1匹配分数,将f1匹配分数达到预设阈值的候选推理轨迹保留为正例候选;对同一问题的k条候选推理轨迹,在正例候选集合内按f1匹配分数降序排序后仅保留分数最高的前m条,mk,作为该问题最终的正例轨迹。

11、本发明实施例通过k次独立采样和f1匹配分数筛选,从多条候选推理轨迹中筛选出答案质量最高的正例轨迹,确保了监督微调训练数据的质量;通过对同一问题的多条正例候选按f1匹配分数降序排序后仅保留分数最高的前m条,避免了相近轨迹的重复冗余,提高了训练样本的多样性;通过轨迹中记忆命中状态的记录,使筛选过程同时考虑了答案正确性和检索行为有效性。

12、可选地,所述方法还包括:

13、若k条候选推理轨迹的f1匹配分数均未达到预设阈值,则读取该问题在知识图谱中对应的标准查询语句;

14、将所述标准查询语句分解为标准原子子查询语句序列;

15、在所述查询记忆库中定位各标准原子子查询语句对应的条目;

16、按所述标准原子子查询语句序列的原有组织顺序将各条目的自然语言描述依序拼接,构造出完整的记忆缝合轨迹,作为当前问题的兜底正例训练样本;

17、将所述正例轨迹与所述兜底轨迹合并,按照预设格式整理为监督微调训练样本集合。

18、本发明实施例通过标准查询语句回填构造兜底轨迹,确保监督微调训练集合完整覆盖训练问题集合中的全部问题,避免了因基座模型采样能力不足而产生的训练数据缺口;通过将正例轨迹与兜底轨迹合并,在保证训练数据质量的同时实现了训练集合的完整覆盖。

19、可选地,所述记忆命中状态为直接采纳的步骤包括:

20、当前推理步骤的自然语言描述与所述查询记忆库中条目的键的向量相似度不低于预设高阈值时,直接采纳该条目对应的值作为当前步骤的查询片段的步骤。

21、本发明实施例通过预设高阈值作为直接采纳的判定条件,当推理步骤的自然语言描述与记忆库条目的键的向量相似度不低于该阈值时直接复用记忆库中的查询片段,使高置信度匹配场景下无需经过规则化重建或自由生成兜底,直接输出查询片段,提升了检索效率;同时,“直接采纳”状态作为记忆命中状态的明确标识,为后续强化学习训练中记忆直接采纳率(mar)的统计提供了精确的统计口径,使策略模型能够通过训练逐步学习到生成与记忆库条目高度匹配的推理步骤描述的偏好,从而将检索经验内化为自身的生成能力。

22、可选地,所述复合奖励值r按照下式计算:

23、r = λ_outcome·f1(â,a) + λ_mem·mar(τ)·i[f1>0] + λ_format·r_format;

24、其中,f1(â,a)为预测答案â与标准答案a之间的f1匹配分数,mar(τ)为推理轨迹τ的记忆直接采纳率,i[f1>0]为指示函数,仅当f1匹配分数大于0时将所述记忆直接采纳率对应的奖励项计入总奖励,r_format为输出格式合规性奖励,λ_outcome、λ_mem、λ_format为预设的权重系数。

25、本发明实施例通过将记忆直接采纳率作为独立奖励项与结果正确性奖励进行门控联动,使策略模型在保持答案正确性的同时提升自身生成内容与记忆库的协同效率,避免了策略模型学习到“记忆命中率高但答案错误”的无意义捷径;通过指示函数门控机制,使强化学习训练信号更加可靠。

26、可选地,所述记忆直接采纳率按照下式计算:

27、mar(τ) = n_hit / n_total;

28、其中,n_hit为推理轨迹中记忆命中状态为直接采纳的步骤数量,n_total为该推理轨迹的总步骤数。

29、本发明实施例通过n_hit/n_total的比值计算,将检索过程中“直接采纳”的二元状态量化为连续奖励信号,该统计量完全基于检索侧的确定性判定结果计算得到,不引入额外的神经网络编码器参与计算,计算开销低且可解释性强,为强化学习训练提供了稳定、低成本的奖励信号来源。

30、可选地,所述原子子查询语句按知识图谱中复合值类型节点的组织规则分解得到,每条原子子查询语句对应知识图谱上的一次单跳检索操作;

31、由所述训练完成的策略模型逐步生成各推理步骤的自然语言描述之后,所述基于所述各推理步骤的自然语言描述在所述查询记忆库中检索匹配的查询片段包括:

32、通过语义编码模型计算所述各推理步骤的自然语言描述与所述查询记忆库中各条目的键的向量相似度,取相似度最高的向量相似度对应的条目作为一级候选,取相似度次高的向量相似度对应的条目作为二级候选,结合预设的高阈值与低阈值执行自适应召回;

33、其中,结合预设的高阈值与低阈值执行自适应召回时,若一级候选相似度不低于所述高阈值,直接采纳所述一级候选对应的值作为当前步骤的查询片段,记该步骤为直接采纳;

34、若一级候选相似度介于所述低阈值与所述高阈值之间,则至少基于一级候选和二级候选进行查询片段组合重建,并将重建结果作为当前步骤的查询片段;

35、若一级候选相似度低于所述低阈值,判定记忆库对当前步骤无有效覆盖,由所述策略模型直接生成查询片段。

36、本发明实施例通过语义编码模型计算自然语言描述与记忆库条目键的向量相似度并取一级候选和二级候选的双候选机制,使检索匹配过程具备更高的召回率和容错能力;通过高阈值与低阈值的双阈值设计,实现了直接采纳、规则化重建与自由生成的三档渐进式检索机制:高置信度时直接复用记忆库条目以提升检索效率,中置信度时通过组合重建生成查询片段以保证检索覆盖率,低置信度时由策略模型自由生成查询片段以实现推理兜底。

37、另一方面,本发明实施例还提供一种基于检索反馈的知识图谱问答检索装置,所述基于检索反馈的知识图谱问答检索装置用于实现本发明实施例提供的基于检索反馈的知识图谱问答检索方法,所述装置包括:

38、构建单元,用于将知识图谱中的查询语句分解为若干原子子查询语句,利用大语言模型为每条原子子查询语句生成对应的自然语言描述,以所述自然语言描述为键、所述原子子查询语句为值,构建查询记忆库;

39、推理单元,用于获取训练问题集合,对于每一问题,调用基座大语言模型并结合所述查询记忆库执行多次推理采样,生成候选推理轨迹,根据候选推理轨迹的预测答案与标准答案的匹配分数,通过记忆引导的拒绝采样筛选正例轨迹,基于筛选出的正例轨迹构造监督微调训练样本集,对基座大语言模型进行监督微调训练,得到冷启动策略模型;

40、训练单元,用于对于每一问题通过所述冷启动策略模型采样生成多条推理轨迹,统计每条推理轨迹中记忆命中状态为直接采纳的步骤比例作为记忆直接采纳率,基于所述记忆直接采纳率及答案匹配分数计算复合奖励值,基于同一问题的多条推理轨迹的复合奖励值对所述冷启动策略模型进行迭代更新,直至模型收敛,生成训练完成的策略模型;

41、检索单元,用于将训练完成的策略模型部署至线上推理服务,响应于用户输入的自然语言问题,由所述训练完成的策略模型逐步生成各推理步骤的自然语言描述,基于所述各推理步骤的自然语言描述在所述查询记忆库中检索匹配的查询片段并返回检索结果。

42、另一方面,本发明实施例还提供一种基于检索反馈的知识图谱问答检索设备,所述基于检索反馈的知识图谱问答检索设备包括:

43、处理器;

44、存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,实现本发明实施例提供的方法。

45、另一方面,本发明实施例还提供一种计算机可读取存储介质,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行本发明实施例提供的方法。

46、本发明实施例提供的技术方案带来的有益效果至少包括:

47、通过查询记忆库将自然语言描述与原子子查询语句的映射关系以键值对形式固化存储,使策略模型在训练阶段和推理阶段均能够复用记忆库中的检索经验,实现了检索知识的高效存储与调用;通过记忆引导的拒绝采样机制,直接基于记忆库检索过程构造监督微调训练数据,无需额外的诱导训练、多轮温度采样与语义可区分性评估流程,显著降低了冷启动训练数据的构造成本;通过兜底轨迹构造步骤,利用标准查询语句回填确保监督微调训练集合完整覆盖全部训练问题,避免了因基座模型采样能力不足而产生的训练数据缺口;通过将记忆库检索过程中天然产生的“直接采纳”统计信息转化为强化学习复合奖励函数中的独立奖励项,并与结果正确性奖励进行门控联动,使策略模型能够从记忆库的历史检索经验中持续学习,避免了策略模型学习到记忆命中率高但答案错误的无意义捷径;通过将记忆库检索表现同时用于监督微调数据构造与强化学习奖励设计,使检索侧资源与训练侧优化形成完整闭环,策略模型经训练后能够将记忆库的历史检索经验内化为自身的生成偏好,在记忆库覆盖不足的场景下仍能保持较强的检索判断能力,降低了系统对记忆库覆盖率的依赖程度;通过检索应用阶段的自适应召回策略,实现了直接采纳、规则化重建与自由生成的三档渐进式检索机制,兼顾了检索效率与检索覆盖率。