基于递归自进化的多维度熵值幻觉识别方法和识别系统与流程

摘要: 本申请涉及模型输出检测,尤其是涉及基于递归自进化的多维度熵值幻觉识别方法和识别系统。背景技术:1、随着大语言模型及多模态大模型在医疗文书生成、金融风控决策、工业...
基于递归自进化的多维度熵值幻觉识别方法和识别系统与流程

本申请涉及模型输出检测,尤其是涉及基于递归自进化的多维度熵值幻觉识别方法和识别系统。

背景技术:

1、随着大语言模型及多模态大模型在医疗文书生成、金融风控决策、工业控制指令生成、自动驾驶感知决策等高可信场景中的规模化应用,模型生成内容已成为下游业务决策的重要依据。然而,模型可能输出与事实、逻辑或跨模态信息不一致的幻觉内容,若未经识别直接进入下游系统,可能引发医疗差错、决策失误或设备误操作等安全风险,因此需要对大模型生成内容进行幻觉识别与一致性校验。

2、目前,现有幻觉检测技术通常采用基于人工标注数据训练的静态检测模型,借助输出概率、语义一致性或外部知识对齐等单一或少数特征进行判别。该类方案部署后检测规则、特征算子和模型参数即固定,当出现新型幻觉模式或业务分布迁移时,往往需要重新进行异常样本标注、特征工程设计、参数调优与模型重训练,导致检测能力升级周期长、检测效率低。

技术实现思路

1、本申请的主要目的在于提出基于递归自进化的多维度熵值幻觉识别方法和识别系统,能够通过异常样本驱动检测参数递归自进化,使幻觉识别能力无需人工标注即可自动迭代提升,持续适配大模型版本更新与业务场景幻觉分布变化。

2、本申请的第一方面提供了一种基于递归自进化的多维度熵值幻觉识别方法,所述方法包括:

3、获取待检测大语言模型输出的生成文本对应的语义流形嵌入序列、跨模态感知特征测地序列、推理路径状态转移序列、从领域事实知识库检索得到的相关事实三元组集合,以及预设初始检测参数;

4、对所述语义流形嵌入序列、所述跨模态感知特征测地序列、所述推理路径状态转移序列以及所述事实三元组集合,执行至少一次幻觉识别的迭代优化,直至满足预设收敛条件,得到优化后的多维度熵值幻觉识别结果;

5、其中,所述幻觉识别的迭代优化包括以下步骤:

6、根据预设初始检测参数、所述语义流形嵌入序列、所述跨模态感知特征测地序列、所述推理路径状态转移序列以及所述事实三元组集合,计算多维度联合对齐熵,以基于所述多维度联合对齐熵生成多维度熵值幻觉识别结果,所述多维度熵值幻觉识别结果包括基于所述多维度联合对齐熵定位出的幻觉在所述生成文本中的起止位置;

7、从所述多维度熵值幻觉识别结果中,将所述多维度联合对齐熵未满足预设对齐阈值的样本筛选为异常样本;

8、根据所述异常样本,对所述预设初始检测参数执行递归自进化优化,得到优化后的检测参数;

9、基于所述优化后的检测参数、所述语义流形嵌入序列、所述跨模态感知特征测地序列、所述推理路径状态转移序列以及所述事实三元组集合,计算优化后的多维度联合对齐熵和所述优化后的多维度熵值幻觉识别结果。

10、本申请提供的基于递归自进化的多维度熵值幻觉识别方法,通过获取待检测大语言模型输出的生成文本对应的语义流形嵌入序列、跨模态感知特征测地序列、推理路径状态转移序列、从领域事实知识库检索得到的相关事实三元组集合,以及预设初始检测参数;对语义流形嵌入序列、跨模态感知特征测地序列、推理路径状态转移序列以及事实三元组集合,执行至少一次幻觉识别的迭代优化,直至满足预设收敛条件,得到优化后的多维度熵值幻觉识别结果,能够通过异常样本驱动检测参数递归自进化,使幻觉识别能力无需人工标注即可自动迭代提升,持续适配大模型版本更新与业务场景幻觉分布变化。

11、为实现上述目的,本申请的第二方面提供一种基于递归自进化的多维度熵值幻觉识别系统,所述系统包括:

12、获取模块,用于获取待检测大语言模型输出的生成文本对应的语义流形嵌入序列、跨模态感知特征测地序列、推理路径状态转移序列、从领域事实知识库检索得到的相关事实三元组集合,以及预设初始检测参数;

13、优化模块,用于对所述语义流形嵌入序列、所述跨模态感知特征测地序列、所述推理路径状态转移序列以及所述事实三元组集合,执行至少一次幻觉识别的迭代优化,直至满足预设收敛条件,得到优化后的多维度熵值幻觉识别结果;

14、其中,所述幻觉识别的迭代优化包括以下步骤:

15、根据预设初始检测参数、所述语义流形嵌入序列、所述跨模态感知特征测地序列、所述推理路径状态转移序列以及所述事实三元组集合,计算多维度联合对齐熵,以基于所述多维度联合对齐熵生成多维度熵值幻觉识别结果,所述多维度熵值幻觉识别结果包括基于所述多维度联合对齐熵定位出的幻觉在所述生成文本中的起止位置;

16、从所述多维度熵值幻觉识别结果中,将所述多维度联合对齐熵未满足预设对齐阈值的样本筛选为异常样本;

17、根据所述异常样本,对所述预设初始检测参数执行递归自进化优化,得到优化后的检测参数;

18、基于所述优化后的检测参数、所述语义流形嵌入序列、所述跨模态感知特征测地序列、所述推理路径状态转移序列以及所述事实三元组集合,计算优化后的多维度联合对齐熵和所述优化后的多维度熵值幻觉识别结果。

19、为实现上述目的,本申请的第三方面提供一种电子设备,包括:至少一个处理器和用于与所述至少一个处理器通信连接的存储器;所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述的一种基于递归自进化的多维度熵值幻觉识别方法。

20、为实现上述目的,本申请的第四方面提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行上述的一种基于递归自进化的多维度熵值幻觉识别方法。

21、可以理解的是,上述第二方面至第四方面和相关技术相比存在的有益效果和上述第一方面和相关技术相比存在的有益效果相同,可以参见上述第一方面中的相关描述,在此不再赘述。

1.一种基于递归自进化的多维度熵值幻觉识别方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于递归自进化的多维度熵值幻觉识别方法,其特征在于,所述根据预设初始检测参数、所述语义流形嵌入序列、所述跨模态感知特征测地序列、所述推理路径状态转移序列以及所述事实三元组集合,计算多维度联合对齐熵,包括:

3.根据权利要求2所述的基于递归自进化的多维度熵值幻觉识别方法,其特征在于,所述根据所述语义流形嵌入序列,确定语义流形黎曼熵,包括:

4.根据权利要求2所述的基于递归自进化的多维度熵值幻觉识别方法,其特征在于,所述根据所述推理路径状态转移序列,确定推理路径冯诺依曼熵,包括:

5.根据权利要求2所述的基于递归自进化的多维度熵值幻觉识别方法,其特征在于,所述根据所述语义流形嵌入序列与所述事实三元组集合,确定事实空间对齐熵,包括:

6.根据权利要求2所述的基于递归自进化的多维度熵值幻觉识别方法,其特征在于,所述对所述语义流形黎曼熵、所述感知特征测地熵、所述推理路径冯诺依曼熵和所述事实空间对齐熵进行融合,得到所述多维度联合对齐熵,包括:

7.根据权利要求2所述的基于递归自进化的多维度熵值幻觉识别方法,其特征在于,所述根据所述异常样本,对所述预设初始检测参数执行递归自进化优化,得到优化后的检测参数,包括:

8.一种基于递归自进化的多维度熵值幻觉识别系统,其特征在于,所述系统包括:

9.一种电子设备,其特征在于,包括至少一个处理器和用于与所述至少一个处理器通信连接的存储器;所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至7任一项所述的一种基于递归自进化的多维度熵值幻觉识别方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行权利要求1至7任一项所述的一种基于递归自进化的多维度熵值幻觉识别方法。