一种基于长期记忆增强的模型幻觉识别方法和识别系统与流程

本申请涉及自然语言处理，尤其是涉及一种基于长期记忆增强的模型幻觉识别方法和识别系统。

背景技术：

1、大语言模型（large language model，llm）凭借强大的语义理解与文本生成能力，正被广泛应用于文本生成、智能问答、信息摘要等场景，成为人工智能技术产业化落地的核心支撑。随着其在各领域的深入应用，输出内容的事实准确性成为核心考量指标，然而，llm在生成内容时普遍存在“幻觉”问题，即模型会自信地输出与事实不符、无法验证甚至凭空捏造的信息。因此，对llm输出内容进行高效、准确的事实验证与幻觉识别，已成为推动大语言模型安全落地的关键技术需求。

2、现有幻觉识别方案采用在每次对话中独立进行检索，导致同一主题的幻觉反复出现时系统无法识别，需重复触发全量外部检索，效率低下、延迟较高，且仅依赖通用事实知识库或时态知识图谱存储正确知识，难以持续提升幻觉识别精度与鲁棒性，进而无法满足高可信场景对幻觉识别精度与效率的双重要求。

技术实现思路

1、本公开实施例的主要目的在于提出一种基于长期记忆增强的模型幻觉识别方法和识别系统。

2、本申请实施例的第一方面提供了一种基于长期记忆增强的模型幻觉识别方法，所述方法包括：

3、将目标模型的待检测文本进行拆解，得到多个原子声明；所述原子声明用于表征所述待检测文本中最小可验证单元；

4、将所述多个原子声明与预先构建的幻觉记忆库中的历史幻觉记录进行匹配，得到各所述原子声明的匹配度；

5、基于各所述原子声明的匹配度，将所述多个原子声明划分为第一集合和第二集合；所述第一集合用于表征所述多个原子声明中匹配度大于预设匹配度阈值的原子声明；所述第二集合用于表征所述多个原子声明中匹配度小于等于预设匹配度阈值的原子声明；

6、对所述第二集合中各原子声明，执行知识检索，得到所述第二集合中各原子声明对应的支撑证据集；

7、基于所述第二集合中各原子声明的匹配度、所述第二集合中各原子声明对应的支撑证据集以及所述第二集合中各原子声明的模型生成自信度，计算所述第二集合中各原子声明的幻觉概率；所述第二集合中各原子声明的模型生成自信度通过所述目标模型生成所述第二集合中各原子声明时的令牌概率分布计算得到；

8、根据所述第一集合中各原子声明的匹配度和所述第二集合中各原子声明的幻觉概率，生成所述目标模型的幻觉识别结果。

9、本申请实施例的第一方面提供了一种基于长期记忆增强的模型幻觉识别方法，通过将目标模型的待检测文本进行拆解为多个原子声明；将多个原子声明与历史幻觉记录进行匹配得到各原子声明的匹配度，以将多个原子声明划分为第一集合和第二集合；对第二集合中各原子声明执行知识检索，得到对应的支撑证据集；基于第二集合中各原子声明的匹配度、第二集合中各原子声明对应的支撑证据集以及第二集合中各原子声明的模型生成自信度，计算第二集合中各原子声明的幻觉概率；根据第一集合中各原子声明的匹配度和第二集合中各原子声明的幻觉概率，生成目标模型的幻觉识别结果，能够通过声明级匹配与分级检索，复用历史幻觉记忆，显著提升识别效率与精度。

10、为实现上述目的，本申请实施例的第二方面提供一种基于长期记忆增强的模型幻觉识别系统，所述系统包括：

11、拆解模块，用于将目标模型的待检测文本进行拆解，得到多个原子声明；所述原子声明用于表征所述待检测文本中最小可验证单元；

12、匹配模块，用于将所述多个原子声明与预先构建的幻觉记忆库中的历史幻觉记录进行匹配，得到各所述原子声明的匹配度；

13、划分模块，用于基于各所述原子声明的匹配度，将所述多个原子声明划分为第一集合和第二集合；所述第一集合用于表征所述多个原子声明中匹配度大于预设匹配度阈值的原子声明；所述第二集合用于表征所述多个原子声明中匹配度小于等于预设匹配度阈值的原子声明；

14、执行模块，用于对所述第二集合中各原子声明，执行知识检索，得到所述第二集合中各原子声明对应的支撑证据集；

15、计算模块，用于基于所述第二集合中各原子声明的匹配度、所述第二集合中各原子声明对应的支撑证据集以及所述第二集合中各原子声明的模型生成自信度，计算所述第二集合中各原子声明的幻觉概率；所述第二集合中各原子声明的模型生成自信度通过所述目标模型生成所述第二集合中各原子声明时的令牌概率分布计算得到；

16、生成模块，用于根据所述第一集合中各原子声明的匹配度和所述第二集合中各原子声明的幻觉概率，生成所述目标模型的幻觉识别结果。

17、为实现上述目的，本申请实施例的第三方面提供一种电子设备，包括：至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行上述的一种基于长期记忆增强的模型幻觉识别方法。

18、为实现上述目的，本申请实施例的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行上述的一种基于长期记忆增强的模型幻觉识别方法。

19、可以理解的是，上述第二方面至第四方面和相关技术相比存在的有益效果和上述第一方面和相关技术相比存在的有益效果相同，可以参见上述第一方面中的相关描述，在此不再赘述。

1.一种基于长期记忆增强的模型幻觉识别方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于长期记忆增强的模型幻觉识别方法，其特征在于，所述将目标模型的待检测文本进行拆解，得到多个原子声明，包括：

3.根据权利要求1所述的基于长期记忆增强的模型幻觉识别方法，其特征在于，所述将所述多个原子声明与预先构建的幻觉记忆库中的历史幻觉记录进行匹配，得到各所述原子声明的匹配度，包括：

4.根据权利要求1所述的基于长期记忆增强的模型幻觉识别方法，其特征在于，所述幻觉记忆库通过如下步骤构建得到：

5.根据权利要求1所述的基于长期记忆增强的模型幻觉识别方法，其特征在于，所述对所述第二集合中各原子声明，执行知识检索，得到所述第二集合中各原子声明对应的支撑证据集，包括：

6.根据权利要求1所述的基于长期记忆增强的模型幻觉识别方法，其特征在于，所述基于所述第二集合中各原子声明的匹配度、所述第二集合中各原子声明对应的支撑证据集以及所述第二集合中各原子声明的模型生成自信度，计算所述第二集合中各原子声明的幻觉概率，包括：

7.根据权利要求1所述的基于长期记忆增强的模型幻觉识别方法，其特征在于，所述根据所述第一集合中各原子声明的匹配度和所述第二集合中各原子声明的幻觉概率，生成所述目标模型的幻觉识别结果，包括：

8.一种基于长期记忆增强的模型幻觉识别系统，其特征在于，所述系统包括：

9.一种电子设备，其特征在于，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行权利要求1至7任一项所述的一种基于长期记忆增强的模型幻觉识别方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行权利要求1至7任一项所述的一种基于长期记忆增强的模型幻觉识别方法。