基于反思与经验增强的知识图谱问答模型构建方法及系统

本发明涉及人工智能与自然语言处理领域，具体涉及知识图谱问答模型构建方法及系统

背景技术：

1、知识图谱是一种以结构化形式描述现实世界中实体、概念及其相互关系的语义网络。其基本组成单元为三元组，形式化表示为头实体，关系，尾实体。多个三元组相互连接，即构成一个图状结构的知识图谱，在这种知识图谱结构中，有类似于节点的多个实体，每个实体之间有谓词（即三元组中的关系）连接。知识图谱问答技术致力于理解用户提出的自然语言问题，并基于结构化知识图谱通过推理或检索给出准确答案，是人工智能与自然语言处理领域的关键技术之一。

2、现有的知识图谱问答方法主要可归纳为四类：（1）基于子图检索（从一个实体，检索相关的实体及其二者的关系）的方法采用“检索-推理”两阶段流程，这种流程缺乏反思机制，检索与推理之间的错误会累积；（2）基于语义解析的方法将问题转换为sparql等形式化查询后在知识图谱上执行，精确性较高，但依赖大量“问题-查询”的人工标注，且与知识图谱模式高度绑定，跨图谱迁移困难；（3）大语言模型增强的方法是将大语言模型作为子图检索器或语义解析器来对上述两种方法的改进，本质上仍属流水线式建模，无法主动与知识图谱进行多步交互；（4）基于智能体推理的方法是将大语言模型视为智能体，使其在知识图谱环境中遵循“思考-动作-观察”循环范式，分步调用查询工具并根据环境反馈动态调整推理方向，将问题理解、知识查询与答案推理统一到交互过程中。

3、相较于前三类方法，基于智能体推理的方法能够利用知识图谱问答模型主动探索知识图谱、根据中间执行结果动态修正后续动作，并将检索、解析与推理融合于统一的交互过程中，从而在面对多步推理、多约束聚合等复杂问题时具备更强的灵活性和可扩展性。实际上，基于智能体的推理方法采用的是多轮交互式知识图谱问答模型（在本文中也可简称为策略模型），其在知识图谱环境中遵循“思考-动作-观察”循环范式。思考是指策略模型基于当前已获取的信息进行推理分析，规划下一步应采取的行动，体现该策略模型的推理决策过程；动作是指策略模型根据思考结果，调用具体的查询工具对知识图谱进行查询和感知操作；观察是指策略模型接收动作在知识图谱环境中执行后返回的反馈结果，并将其作为下一轮思考的输入依据。上述三个环节循环往复，直至策略模型判断已获得足够信息，输出最终答案。

技术实现思路

1、然而，发明人在基于智能体推理的知识图谱问答技术进行研究时发现这种支持多轮交互式知识图谱问答的方法虽然能够处理需要多步推理的复杂问题，但是在针对策略模型的训练数据的构造方面以及推理时对困难问题的经验复用等方面仍存在不足之处。具体来说，在针对策略模型进行训练时，采用的是基于过程监督分解方式来构建训练数据，它依赖人工事先标注好的逻辑形式（例如 sparql 这样的形式化查询语句）即将一条已经标注正确的逻辑形式按照它的查询结构反向拆解成一步一步的操作，从而得到策略模型应该执行的操作，并用它作为训练时的参考答案。但是，这种基于过程监督分解构建的训练数据是“理想化”的，仅包含从标注逻辑形式反向拆解出的交互工具调用序列，不包含策略模型在真实交互中可能遇到的空结果、超时、语法错误等异常反馈和失败尝试，导致训练后的策略模型缺乏处理异常情况和从失败中恢复的能力。同时，这种依赖高质量的逻辑形式标注的构建方式在低资源场景下标注成本较高。另一种构建训练数据的方式是基于闭源大模型生成训练数据。该构建方式是让一个能力很强的闭源大模型作为教师模型，真正到知识图谱环境里去实际完成问答任务，把它在这个过程中产生的多轮交互记录收集下来当作训练数据，再拿去训练参数量更小的学生模型（即待训练的策略模型）。这种方式一方面成本高昂，另一方面教师模型与待训练的策略模型之间存在能力差异，教师生成的推理轨迹无法针对待训练的策略模型自身的薄弱环节进行有针对性的优化，使得策略模型在反思与错误恢复方面的能力难以稳步提升。此外，现有方法构建的知识图谱问答模型普遍难以解决长尾问题，其是指在某些问题分布中，少数问题（头部问题）出现的频率非常高，而多数问题（尾部问题）出现的频率非常低；少数的头部问题占据了大部分的关注和资源，而尾部问题虽然总量非常大，但由于频率低而缺乏足够的样本。因此在训练中，经常出现对尾部问题的欠拟合。由此，现有的知识图谱问答模型对低频高难度查询模式的泛化能力较弱。

2、发明人在进行知识图谱问答技术的相关研究时发现，要使开源小参数量的策略模型具备稳定的多轮交互推理能力，关键不在于获取更多理想化训练数据，而在于建立一种能够让模型从自身真实试错中持续改进的训练机制。具体而言，对于上述的现有技术的缺陷，发明人认为：第一，针对训练数据“理想化”导致模型缺乏异常处理能力的问题，可以构建包含真实的交互工具调用、异常反馈与失败尝试的多轮交互推理轨迹作为训练数据，而非简单地从逻辑形式反向分解得到无异常的理想化推理轨迹，由此可以使策略模型从冷启动阶段就具备处理空结果、超时、语法错误等异常反馈的能力。第二，针对依赖闭源教师模型导致成本高昂且无法针对学生模型薄弱环节优化的问题，可以尝试在不引入外部强教师模型的前提下，仅利用策略模型自身的反思能力对其自主探索产生的错误推理轨迹进行原因识别并生成针对性的修正推理轨迹，将失败样本转化为面向模型自身薄弱环节的训练数据，从而稳步提升其反思与错误恢复能力。第三，针对长尾问题缺乏失败教训沉淀与复用机制的问题，对于自我反思仍无法修正的样本，可以尝试将其失败教训抽象并沉淀为结构化、可在推理时按语义检索复用的外部知识，从而在不增加模型参数的前提下补偿模型内在能力的不足、提升对低频高难度查询模式的泛化能力。

3、本技术旨在提供新的多轮交互式知识图谱问答的解决方案，以解决上述现有多轮交互式知识图谱问答方法中训练数据缺乏真实试错过程、模型反思修正能力不足以及对尾部问题泛化性较差的问题。

4、上述目的是通过下面的技术方案实现的：

5、根据本技术实施例的第一方面，提供了一种知识图谱问答模型的构建方法，包括以下步骤：s1：利用教师模型构建初始的训练数据集，并在初始的训练数据集的基础上对待训练的策略模型进行训练得到初始的策略模型，训练数据集中每个样本至少包括问题、该问题的正确答案、获取该问题的预测答案的推理轨迹；s2：以初始的策略模型作为当前策略模型，以初始的训练数据集作为当前训练数据集，执行下面的迭代训练步骤：s21利用当前策略模型在知识图谱环境中为当前的训练数据集中每个问题生成预测答案以及获取该问题的预测答案的推理轨迹；s22评估每个问题的预测答案与该问题的正确答案之间的偏差程度；s23对于偏差程度大于设定阈值的预测答案，将其对应的推理轨迹和问题、该偏差程度作为输入以引导当前策略模型生成修正的预测答案及其对应的推理轨迹并评估该修正的预测答案与正确答案之间的偏差程度；s24将偏差程度小于设定阈值的预测答案及其对应的推理轨迹和问题作为新的样本加入到当前训练数据集；s25基于更新后的当前训练数据集对当前策略模型进行增量微调；重复上述步骤s21-s25直到满足预设的迭代次数；s3：以当前策略模型作为所构建的知识图谱问答模型。

6、在一些实施例中，步骤s1中利用教师模型构建初始的训练数据集进一步包括： 构建由多个问题及其正确答案和参考查询语句构成的混合问题集；提供用于与知识图谱交互的交互工具；利用教师模型在知识图谱环境中通过交互工具为混合问题集中的每个问题生成预测答案以及至少三条获取该问题的预测答案的推理轨迹，推理轨迹须满足：其对应的预测答案命中正确答案并且该预测答案出现在推理轨迹的观察历史中；对于每个问题，将该问题、该问题的正确答案、获取该问题的预测答案的推理轨迹以及参考查询语句作为样本加入训练数据集；以及在步骤s1中在初始的训练数据集的基础上对待训练的策略模型进行训练包括：基于初始的训练数据集对待训练的策略模型进行监督微调。

7、在一些实施例中，评估每个问题的预测答案与该问题的正确答案之间的偏差程度包括：通过f1奖励函数计算每个问题的预测答案与正确答案的奖励分数，奖励分数越高代表偏差程度越小。

8、在一些实施例中，训练数据集中还包括每个问题的参考查询语句；以及步骤s23中对于偏差程度大于设定阈值的预测答案，将该预测答案的问题的参考查询语句与该问题、该预测答案对应的推理轨迹和偏差程度一起作为输入以引导当前策略模型生成修正的预测答案及其对应的推理轨迹，并限定当前策略模型不能直接使用参考查询语句。

9、在一些实施例中，训练数据集中还包括每个问题的参考查询语句，在步骤s23之后还包括以下步骤：对于偏差程度大于设定阈值的预测答案，将预测答案、其对应的推理轨迹和问题、正确答案以及对应的参考查询语句作为输入引导当前策略模型生成对应于问题的经验条目，经验条目至少包括错误模式字段和经验字段，错误模式字段是对该类问题常见错误的概括性描述，经验字段包括利用该问题的参考查询语句获取正确答案的推理轨迹以及该推理轨迹中每一步的原因；将所生成的经验条目及其对应的问题加入经验库中。

10、在一些实施例中，在步骤s2的迭代训练步骤中还包括：对于其预测答案偏差程度大于设定阈值且已经生成对应经验条目的问题，计算该问题与经验库中每个问题的相似度，选取相似度超过设定的相似阈值的问题对应的经验条目；将所选取的经验条目提供给当前策略模型，以引导当前策略模型对于该对应的问题重新生成多次推理轨迹；

11、评估每个推理轨迹对应的预测答案与该问题的正确答案之间的偏差程度；将偏差程度最小的预测答案及其对应的推理轨迹和问题作为新的样本加入到当前训练数据集。

12、在一些实施例中，步骤s21还包括：对当前的训练数据集中每个问题计算与经验库中每个问题的相似度，选取相似度超过设定的相似阈值的问题对应的经验条目；将所选取的经验条目提供给当前策略模型，以引导当前策略模型在知识图谱环境中为当前的训练数据集中每个问题生成预测答案以及获取该问题的预测答案的推理轨迹。

13、根据本技术实施例的第二方面，提供了一种知识图谱问答方法，其利用根据本技术实施例的第一方面所述的方法来构建的知识图谱问答模型针对对输入的问题生成答案。

14、根据本技术实施例的第三方面，提供了一种计算机程序产品，包括计算机指令，计算机指令被处理器执行时实现根据本技术实施例的第一方面和/或第二方面所述的方法的步骤。

15、根据本技术实施例的第四方面，提供了一种知识图谱问答模型构建系统，包括存储器、处理器；存储器存储计算机程序，处理器执行计算机程序时实现根据本技术实施例的第一方面所述的方法的步骤。

16、与现有技术相比，根据本技术实施例的方案至少包括下列技术效果：

17、首先，本技术的实施例保留了真实的试错过程，相比无掩码的训练方式避免了环境观察词元对梯度计算的干扰，使模型从冷启动阶段就具备基本的多轮“思考-动作-观察”交互能力。其次，本技术的实施例还提出基于自我反思的推理轨迹修正策略，全程利用模型自身能力对失败样本进行修正，无需引入外部强教师，将失败样本转化为针对当前模型薄弱环节的训练数据，实现训练数据的迭代优化。此外，本技术的实施例还将反思仍无法解决的长尾困难问题的失败教训转化为外部经验，在不增加模型参数的前提下对模型内在能力形成补偿；同时通过经验引导推理数据构建消除训练与推理之间的分布不一致问题。