基于知识图谱与奖惩机制的报告审核智能体系统及方法与流程

本发明涉及人工智能与工业检测，具体为一种基于知识图谱与奖惩机制的报告审核智能体系统及方法。

背景技术：

1、在汽车、航空航天等高端制造领域，零部件检测报告的审核是质量控制的关键环节；传统审核系统多采用基于规则的专家系统，通过预设的“if-then”逻辑规则对检测报告进行自动化判定，此类系统依赖人工将检测标准转化为结构化规则，难以处理非结构化文本和复杂逻辑（如“表面虽有微小划痕但未触及基体且位于非应力集中区，故判定合格”），误报率高。

2、随着大语言模型（llm）的发展，检索增强生成（rag）技术被引入工业审核领域，其基本思路是将外部知识库（如检测标准、工艺规范）中的文本片段检索出来，作为软提示（soft prompt）输入llm，借助llm的语义理解能力生成审核结论。虽然引入了外部知识库，但仅将检索到的文本片段作为提示词（soft prompt）输入大语言模型（llm），缺乏对推理过程的强制约束；llm仍可能产生幻觉，例如编造不存在的检测标准，或忽略标准中的互斥条件。

3、部分研究尝试通过基于人类反馈的强化学习（rlhf）使llm的审核输出更符合人类专家偏好；常规rlhf方法通过收集人类对模型输出的偏好排序，训练奖励模型，再利用强化学习优化生成策略。常规的rlhf主要针对通用人类偏好进行优化，容易导致模型为了“讨好”人类标注者而牺牲事实准确性（reward hacking）。此外，模型参数固定后无法适应生产线上的新缺陷类型或标准变更，缺乏自适应进化能力。

4、现有技术中还存在采用知识图谱对审核过程进行支撑的方法，其通常将报告要素映射到图谱实体关系，并据此进行一致性校验或审核结论生成，此类方法能够提升可解释性，但在生成式审核场景下，若图谱仅作为检索/校验的软性支撑，仍难以从生成路径层面阻断幻觉推理链的产生。

5、此外，在审查/评估过程中进行一致性检查与权重调整的方法，其侧重于对模型输出的后验一致性评估或对训练/推理参数进行静态或经验式调整，但未能将图谱逻辑硬约束和面向错误类型分布的自适应奖惩权重调整与偏好优化训练形成贯通闭环。

6、综上，现有技术存在依赖人工规则不灵活，无法阻断幻觉推理链或缺乏自适应奖惩与偏好优化闭环的问题，即现有技术缺乏将知识图谱逻辑硬约束、面向错误类型分布的自适应奖惩权重与偏好优化训练贯通形成闭环的能力，因而无法从根本上阻断生成式审核中的幻觉推理链。

7、因此，现在急需一种基于知识图谱与奖惩机制的报告审核智能体系统，能提高审核的合规性、灵活性，形成闭环，阻断生成式审核中的幻觉推理链，避免端到端黑箱模型在高可靠场景下的不可信问题。

技术实现思路

1、本发明的目的之一在于提供一种基于知识图谱与奖惩机制的报告审核智能体系统，能提高审核的合规性、灵活性，形成闭环，阻断生成式审核中的幻觉推理链，避免端到端黑箱模型在高可靠场景下的不可信问题。

2、本发明提供的基础方案一：一种基于知识图谱与奖惩机制的报告审核智能体系统，包括：

3、知识图谱构建模块，用于存储零部件检测领域的实体数据与关系数据，构建知识图谱；

4、认知推理引擎，用于在智能体对报告进行推理生成审核结论时，验证推理路径中的实体-关系三元组是否存在于构建的知识图谱中，若是，则结合知识图谱约束，生成审核结论及推理路径；若否，则终止当前推理路径的生成，禁止输出审核结论；

5、自适应奖励优化模块，用于根据智能体的奖励函数对审核结论进行评分，并监测最近n个样本中的错误类型分布，若某一错误类型的占比超过对应预设阈值，增加奖励函数中对应评价指标的权重系数，更新奖励函数；

6、人机回圈反馈模块，用于计算审核结论的置信度，若低于预设置信度阈值，则触发校验，获取修正数据，构建偏好对，结合更新的奖励函数，对智能体进行强化训练。

7、进一步，所述认知推理引擎，包括：

8、大语言模型基座，用于结合知识图谱约束，生成审核结论及推理路径；

9、图谱约束单元，用于在智能体对报告进行推理生成审核结论时，验证推理路径中的实体-关系三元组是否存在于构建的知识图谱中，若否，则终止当前推理路径的生成，禁止输出审核结论。

10、进一步，所述验证推理路径中的实体-关系三元组是否存在于构建的知识图谱中，包括：

11、实时查询知识图谱，判断是否存在边，若存在，允许生成继续；若不存在，则强制回退或重新生成；其中其中为头实体、为实体关系、为尾实体。

12、进一步，所述自适应奖励优化模块，包括：奖励模型，用于根据预设的智能体的奖励函数对审核结论进行评分；

13、权重自适应单元，用于监测最近n个样本中的错误类型分布，若某一错误类型的占比超过对应预设阈值，增加奖励函数中对应评价指标的权重系数，更新奖励函数。

14、进一步，所述奖励函数为：

15、

16、其中，为准确性指示函数，若审核结论与真实标签一致，则取1，否则取0；

17、为逻辑一致性奖励，为预测推理路径与参考路径在知识图谱上的编辑距离，通过将推理路径表示为三元组序列，并计算其与参考路径之间的levenshtein编辑距离获得；其中实体-关系三元组表示，其中和为实体节点，为连接两个实体节点的关系边；

18、为模型产生幻觉的概率估计值，作为幻觉惩罚；

19、分别为准确性、逻辑一致性、幻觉惩罚的权重系数。

20、进一步，所述权重自适应单元设置一个错误类型计数器，通过滑动窗口监测最近n个样本中的错误类型分布，若某一错误类型的占比超过对应预设阈值，增加奖励函数中对应评价指标的权重系数，更新奖励函数；

21、其中增加奖励函数中对应评价指标的权重系数设置调节系数，用于控制权重调整的灵敏度。

22、进一步，所述人机回圈反馈模块，包括：

23、置信度计算单元，用于计算审核结果的置信度，若低于阈值，则触发校验；

24、偏差反馈单元，用于获取校验的修正数据，构建偏好对，结合更新的奖励函数，对智能体进行强化训练。

25、进一步，所述修正数据为校验中获取的反馈数据，进行dpo：

26、根据修正数据，构建偏好对，作为输入，其中偏好对为三元组；为检测报告文本；为修正后的正确推理链，为智能体生成的错误推理链；

27、dpo损失函数为：

28、

29、其中，为待优化的策略模型，即当前正在训练的大语言模型；

30、为参考模型，用于提供行为先验；

31、为输入提示；

32、为优选响应；

33、为劣选响应；

34、为对训练集中采样的输入-偏好对三元组的数学期望，用于计算平均损失；

35、为偏好数据集，由三元组构成；

36、为温度系数，控制优化对偏好的敏感度；

37、为sigmoid函数；

38、为策略模型在给定输入下生成响应的对数概率；

39、为经监督微调后的初始审核智能体，其参数在dpo训练过程中保持冻结；

40、通过最小化损失函数，训练策略模型。

41、本发明的目的之二在于提供一种基于知识图谱与奖惩机制的报告审核智能体方法，能提高审核的合规性、灵活性，形成闭环，阻断生成式审核中的幻觉推理链，避免端到端黑箱模型在高可靠场景下的不可信问题。

42、本发明提供基础方案二：基于知识图谱与奖惩机制的报告审核智能体方法，包括：

43、根据零部件检测领域的实体数据与关系数据，构建知识图谱；

44、在智能体对报告进行推理生成审核结论时，验证推理路径中的实体-关系三元组是否存在于构建的知识图谱中，若是，则结合知识图谱约束，生成审核结论及推理路径；若否，则终止当前推理路径的生成，禁止输出审核结论；

45、根据智能体的奖励函数对审核结论进行评分，并监测最近n个样本中的错误类型分布，若某一错误类型的占比超过对应预设阈值，增加奖励函数中对应评价指标的权重系数，更新奖励函数；

46、计算审核结论的置信度，若低于预设置信度阈值，则触发校验，获取修正数据，构建偏好对，结合更新的奖励函数，对智能体进行强化训练。

47、有益效果：本方案中设置根据零部件检测领域的实体与关系数据，构建知识图谱，利用知识图谱将领域规则转化为推理过程中的不可逾越的逻辑门（hard constraints），从传统的检索知识库升级为推理过程的运行时“逻辑防火墙”；在智能体对报告进行推理生成审核结论时，验证推理路径中的实体-关系三元组是否存在于构建的知识图谱中，若是，则结合知识图谱约束，生成审核结论及推理路径；若否，则终止当前推理路径的生成，禁止输出审核结论；任何不存在于知识图谱中的臆造关系（如编造“划痕违反gb/t 2828”标准）均会导致该推理路径被立即终止并禁止输出，从生成路径层面强制约束推理过程，从根本上减少幻觉现象，确保所有输出审查结论均符合领域公理；

48、与现有rag仅将图谱作为上下文不同，将知识图谱编译为推理引擎的运行时逻辑防火墙，从根本上阻断幻觉路径的生成，彻底消除了大语言模型在工业审核场景中的幻觉现象，确保所有自动生成的审核结论均严格符合领域公理与现行标准。

49、并且，本方案还会根据智能体的奖励函数对审核结论进行评分，并监测最近n个样本中的错误类型分布，若某一错误类型的占比超过对应预设阈值，增加奖励函数中对应评价指标的权重系数，更新奖励函数；计算审核结论的置信度，若低于预设置信度阈值，则触发校验，获取修正数据，构建偏好对，结合更新的奖励函数，对智能体进行强化训练；通过自适应调整奖励函数权重来定向强化模型对特定错误类型的修正能力，大语言模型能够自动适应生产线上出现的新缺陷类型、新检测标准变更，无需重新进行完整的监督微调或规则改写，解决了现有rlhf方法模型参数固定、无法持续进化的缺陷。这使得大语言模型在后续强化训练中能够精准强化对高频错误类型的惩罚，将领域专家的“零容忍”态度（通过校验获取的修正数据表示）转化为动态可调的超参数控制。

50、此外，通过校验获取的修正数据可以将专家有限的时间资源聚焦于模型不确定的高价值样本上，而非重复审核所有报告；同时，专家每一次修正都被自动构建为偏好对，直接用于后续强化训练；这一机制使得专家知识能够持续、高效地注入模型，随着运行时间增长，模型准确率不断提升，需人工介入的比例逐步下降，实现了审核效率与准确率的双重优化。

51、综上，本方案中知识图谱硬约束从生成过程上锁定事实与逻辑底线，使大语言模型无需在训练中学会不胡说；自适应奖惩权重调整将生产现场的高频错误类型即时映射为优化目标；强化训练在无需训练奖励模型的前提下直接对齐专家偏好，降低rewardhacking（奖励破解）风险，三者结合，使得本方案既具备强可控性，又能随标准变更与缺陷分布变化持续进化，显著优于仅采用知识图谱支撑或仅采用一致性检查/权重调整的拼接式方案。知识图谱提供可验证性保障，大语言模型提供语义理解与生成能力，自适应奖惩提供持续进化驱动，三者协同，既保证合规性、又具备灵活性，形成闭环，阻断生成式审核中的幻觉推理链，避免端到端黑箱模型在高可靠场景下的不可信问题。