基于动态熵变轨迹的大语言模型幻觉检测方法和检测系统与流程
本申请涉及人工智能与自然语言处理,尤其是涉及基于动态熵变轨迹的大语言模型幻觉检测方法和检测系统。
背景技术:
1、大语言模型(llm)凭借自回归生成范式,已在智能问答、文本创作、专业内容生成等场景获得广泛应用。然而,模型在无事实依据或逻辑不成立的情况下,仍会高置信度输出错误、捏造或矛盾的内容,即“幻觉”问题,严重制约其在医疗、法律、金融、政务等高可信场景中的规模化落地。
2、现有幻觉检测技术多基于模型输出的静态概率特征进行筛查,典型的如计算单步token的香农熵或困惑度,依据固定阈值判断生成内容的不确定性。此类方法仅对逐token概率分布计算瞬时熵值,将自回归生成过程拆解为孤立的静态数据点,未充分利用生成过程中不确定性随时间的演化信息。由于生成过程是逐token序列化的,幻觉的萌芽往往体现在熵值的连续变化中,而单步静态检测无法捕捉这种时序动力学特征,导致对生成过程中的异常演化前兆缺乏识别能力。
技术实现思路
1、本申请的主要目的在于提出一种基于动态熵变轨迹的大语言模型幻觉检测方法和检测系统,能够实现生成过程幻觉实时检测。
2、本申请的第一方面提供了一种基于动态熵变轨迹的大语言模型幻觉检测方法,所述方法包括:
3、获取待检测大语言模型根据输入提示文本进行自回归生成过程中,当前生成步所输出的词表概率分布、所述当前生成步之前的已生成文本序列、所述输入提示文本的语义向量,以及所述输入提示文本对应生成任务的语义复杂度参数;
4、根据所述词表概率分布,确定所述当前生成步的瞬时熵值;
5、将从首个生成步至所述当前生成步的瞬时熵值按对应生成步的生成先后顺序排列,得到时序熵变轨迹;
6、从所述时序熵变轨迹中截取与所述当前生成步相邻的连续多个瞬时熵值,得到动态熵变轨迹;
7、根据所述当前生成步之前的已生成文本序列与所述语义向量之间的差异,确定语义一致性分数;
8、确定所述动态熵变轨迹与预先构建的幻觉前兆模式库之间的匹配分数;
9、基于所述语义一致性分数和所述匹配分数,得到初始幻觉风险值;
10、根据所述语义复杂度参数对所述初始幻觉风险值进行校准,得到幻觉风险概率;
11、根据所述幻觉风险概率,生成所述待检测大语言模型在所述当前生成步的幻觉检测结果。
12、本申请的第一方面提供了一种基于动态熵变轨迹的大语言模型幻觉检测方法,通过根据输入提示文本进行自回归生成过程中当前生成步所输出的词表概率分布确定当前生成步的瞬时熵值,并将从首个生成步至当前生成步的瞬时熵值按生成先后顺序排列得到时序熵变轨迹,截取与当前生成步相邻的连续多个瞬时熵值得到动态熵变轨迹;根据已生成文本序列与语义向量之间的差异确定语义一致性分数,并确定动态熵变轨迹与预先构建的幻觉前兆模式库之间的匹配分数;基于语义一致性分数和匹配分数得到初始幻觉风险值,根据语义复杂度参数对初始幻觉风险值进行校准得到幻觉风险概率,以生成当前生成步的幻觉检测结果,能够实现生成过程幻觉实时检测。
13、为实现上述目的,本发明实施例的第二方面提供一种基于动态熵变轨迹的大语言模型幻觉检测系统,所述系统包括:
14、获取模块,用于获取待检测大语言模型根据输入提示文本进行自回归生成过程中,当前生成步所输出的词表概率分布、所述当前生成步之前的已生成文本序列、所述输入提示文本的语义向量,以及所述输入提示文本对应生成任务的语义复杂度参数;
15、第一模块,用于根据所述词表概率分布,确定所述当前生成步的瞬时熵值;
16、第二模块,用于将从首个生成步至所述当前生成步的瞬时熵值按对应生成步的生成先后顺序排列,得到时序熵变轨迹;
17、第三模块,用于从所述时序熵变轨迹中截取与所述当前生成步相邻的连续多个瞬时熵值,得到动态熵变轨迹;
18、第四模块,用于根据所述当前生成步之前的已生成文本序列与所述语义向量之间的差异,确定语义一致性分数;
19、第五模块,用于确定所述动态熵变轨迹与预先构建的幻觉前兆模式库之间的匹配分数;
20、第六模块,用于基于所述语义一致性分数和所述匹配分数,得到初始幻觉风险值;
21、第七模块,用于根据所述语义复杂度参数对所述初始幻觉风险值进行校准,得到幻觉风险概率;
22、第八模块,用于根据所述幻觉风险概率,生成所述待检测大语言模型在所述当前生成步的幻觉检测结果。
23、为实现上述目的,本发明实施例的第三方面提供一种电子设备,包括:至少一个处理器和用于与所述至少一个处理器通信连接的存储器;所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述的一种基于动态熵变轨迹的大语言模型幻觉检测方法。
24、为实现上述目的,本发明实施例的第四方面提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行上述的一种基于动态熵变轨迹的大语言模型幻觉检测方法。
25、可以理解的是,上述第二方面至第四方面和相关技术相比存在的有益效果和上述第一方面和相关技术相比存在的有益效果相同,可以参见上述第一方面中的相关描述,在此不再赘述。
1.一种基于动态熵变轨迹的大语言模型幻觉检测方法,其特征在于,所述方法包括:
2.根据权利要求1所述的基于动态熵变轨迹的大语言模型幻觉检测方法,其特征在于,所述根据所述当前生成步之前的已生成文本序列与所述语义向量之间的差异,确定语义一致性分数,包括:
3.根据权利要求1所述的基于动态熵变轨迹的大语言模型幻觉检测方法,其特征在于,所述确定所述动态熵变轨迹与预先构建的幻觉前兆模式库之间的匹配分数,包括:
4.根据权利要求1所述的基于动态熵变轨迹的大语言模型幻觉检测方法,其特征在于,所述基于所述语义一致性分数和所述匹配分数,得到初始幻觉风险值,包括:
5.根据权利要求1所述的基于动态熵变轨迹的大语言模型幻觉检测方法,其特征在于,所述根据所述语义复杂度参数对所述初始幻觉风险值进行校准,得到幻觉风险概率,包括:
6.根据权利要求1所述的基于动态熵变轨迹的大语言模型幻觉检测方法,其特征在于,所述根据所述幻觉风险概率,生成所述待检测大语言模型在所述当前生成步的幻觉检测结果,包括:
7.根据权利要求6所述的基于动态熵变轨迹的大语言模型幻觉检测方法,其特征在于,所述根据所述幻觉风险概率,生成所述待检测大语言模型在所述当前生成步的幻觉检测结果之后,所述方法还包括:
8.一种基于动态熵变轨迹的大语言模型幻觉检测系统,其特征在于,所述系统包括:
9.一种电子设备,其特征在于,包括至少一个处理器和用于与所述至少一个处理器通信连接的存储器;所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至7任一项所述的一种基于动态熵变轨迹的大语言模型幻觉检测方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行权利要求1至7任一项所述的一种基于动态熵变轨迹的大语言模型幻觉检测方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com