一种基于多尺度时频谱特征耦合的大语言模型幻觉检测与动态修正方法及系统与流程

本发明属于人工智能自然语言处理，具体涉及一种基于多尺度时频谱特征耦合的大语言模型幻觉检测与动态修正方法及系统。

背景技术：

1、大语言模型通常采用多层transformer结构对输入文本进行逐层语义加工，并通过自回归方式生成文本。由于模型生成内容主要依据训练数据形成的参数分布以及当前上下文中的概率关联，在文本生成过程中可能产生与客观事实不符、缺乏依据或者偏离输入语义的幻觉内容，进而影响智能问答、文本生成、知识服务以及专业辅助决策等应用场景中输出结果的可靠性。

2、现有幻觉检测方法大多在模型完成文本生成后，对输出文本进行事实核验、语义一致性分析、置信度判断或者外部知识检索。此类方法主要面向最终生成结果，难以观察异常语义在大语言模型内部各网络层之间的形成、传播及演变过程，也难以准确确定幻觉异常最初产生的网络层级。因此，即使能够发现输出文本存在异常，通常也难以在模型推理尚未完成时针对相应内部状态进行修正。

3、部分利用模型内部激活表征进行幻觉检测的方法，通常选取单一网络层或单一类型的隐层状态作为检测依据，未充分利用隐层状态随网络深度变化所形成的时序特征。实际上，幻觉异常可能表现为隐层状态在特定层级发生局部高频突变，也可能表现为语义空间中的演变轨迹在相邻层级之间出现方向偏离。仅依据单一频谱特征或者单一几何特征进行判断，难以区分正常的层间语义加工变化与可能引发幻觉的异常变化。

4、此外，不同大语言模型的网络层数、隐层维度以及内部激活分布存在差异，不同任务场景下的异常信号强度也不相同，采用固定阈值进行检测容易出现适配性不足的问题。现有检测与修正技术还存在相互分离的情况，检测到异常后通常需要重新生成文本、调用外部修正模型或者调整模型参数，难以直接对异常起源层级的隐层状态实施实时干预。

技术实现思路

1、针对现有技术存在的不足，本发明的目的在于提供一种基于多尺度时频谱特征耦合的大语言模型幻觉检测与动态修正方法及系统，用于克服现有技术中的上述缺陷。

2、为实现上述目的，本发明提供了如下技术方案：

3、一种基于多尺度时频谱特征耦合的大语言模型幻觉检测与动态修正方法，包括：

4、跨层信号构建步骤：在大语言模型生成文本的推理过程中，采集跨transformer层的隐层状态向量，并按层序排列，构建隐层时序信号；

5、多尺度时频定位步骤：对所述隐层时序信号进行多尺度小波分解，得到表征高频细节的分解系数，根据所述分解系数的能量分布，定位所述隐层时序信号中发生异常波动的目标层级；

6、谱-几何耦合验证步骤：获取所述目标层级及相邻层级对应隐层状态向量在语义空间中的几何轨迹变化特征，将所述几何轨迹变化特征与所述目标层级的高频能量特征进行耦合运算，得到表征幻觉风险程度的谱-几何一致性系数；

7、自适应修正步骤：当所述谱-几何一致性系数超过预设阈值时，基于预先确定的真实性方向，对所述目标层级的隐层状态向量执行投影修正或谱域滤波修正，并将修正后的隐层状态向量输入后续层级继续推理。

8、作为优选，所述跨层信号构建步骤中，针对同一transformer层，采集至少两种不同来源的中间激活向量，所述中间激活向量包括该层的最终输出向量、注意力子层输出向量、注意力残差向量以及前馈神经网络输出向量中的至少两种，以提高所述隐层时序信号的特征丰富度，为所述多尺度时频定位步骤在子层粒度上实现异常定位提供信号基础。

9、作为优选，将各层采集到的所述中间激活向量按层序拼接并沿特征维度展开，构建为信号矩阵，所述信号矩阵的行方向对应层序与激活向量种类的组合、列方向对应隐层维度，所述信号矩阵中的每一列构成一个沿推理深度演变的一维隐层时序信号，作为所述多尺度时频定位步骤中多尺度小波分解的直接处理对象。

10、作为优选，所述多尺度时频定位步骤中，采用具有紧支撑特性的正交小波基对所述隐层时序信号进行多尺度分解，分解层级数根据所述隐层时序信号的长度自适应确定，得到多个尺度下的高频细节系数与低频近似系数，所述高频细节系数用于表征信号在对应尺度下沿推理深度方向的局部突变特征。

11、作为优选，定位所述目标层级的方式包括：计算所述隐层时序信号在各层级对应位置处多个尺度高频细节系数的能量之和，作为该层级的局部高频能量；统计所述隐层时序信号全局高频能量的均值与标准差；将局部高频能量超出所述均值与预设倍数的所述标准差之和的层级，标记为候选的所述目标层级，实现对幻觉起源层级的逐层判定。

12、作为优选，获取所述几何轨迹变化特征的方式包括：计算所述目标层级对应隐层状态向量与其相邻层级对应隐层状态向量之间的差值，得到表征该层级语义变化趋势的语义速度向量；计算所述目标层级的语义速度向量与相邻层级的语义速度向量之间的方向偏离程度，作为所述几何轨迹变化特征，供后续与所述目标层级的高频能量特征进行耦合运算。

13、作为优选，所述谱-几何一致性系数通过如下方式计算得到：

14、；

15、其中，为所述目标层级归一化后的高频能量，为所述目标层级的语义速度向量与相邻层级的语义速度向量之间的夹角。

16、作为优选，所述真实性方向通过如下方式预先获取：基于包含真实语句与虚假语句的对比语料，提取所述大语言模型对应末层的激活表征，训练线性分类器以区分真实语句与虚假语句，将所述线性分类器的权重方向经单位化后作为所述真实性方向；在所述谱-几何一致性系数超过预设阈值而触发所述自适应修正步骤时，将所述目标层级的隐层状态向量在所述真实性方向上进行正交投影，得到修正后的隐层状态向量：

17、；

18、其中，为所述目标层级的隐层状态向量，为经单位化后的所述真实性方向。

19、作为优选，所述预设阈值根据历史的谱-几何一致性系数在验证数据集上的统计分布确定，将所述统计分布中位于预设分位数处的取值作为所述预设阈值，使所述自适应修正步骤的触发条件随所述大语言模型及应用场景的变化自适应校准，而无需人工设定固定阈值。

20、一种基于多尺度时频谱特征耦合的大语言模型幻觉检测与动态修正系统，包括：

21、信号构建模块，用于采集大语言模型推理过程中的跨层隐层状态向量，并构建所述隐层时序信号；

22、时频定位模块，与所述信号构建模块连接，用于对所述隐层时序信号进行所述多尺度小波分解，并定位所述目标层级；

23、特征耦合模块，与所述时频定位模块连接，用于获取所述目标层级的几何轨迹变化特征，并计算得到所述谱-几何一致性系数；

24、自适应修正模块，与所述特征耦合模块连接，用于在所述谱-几何一致性系数超过所述预设阈值时，对所述目标层级的隐层状态向量执行所述投影修正或谱域滤波修正；

25、控制模块，分别与所述信号构建模块、所述时频定位模块、所述特征耦合模块以及所述自适应修正模块连接，用于协调各模块按序执行信号采集、时频定位、特征耦合与自适应修正操作。

26、本发明的有益效果：本发明在大语言模型推理过程中采集多个transformer层的隐层状态向量，并按网络层序构建隐层时序信号，将原本分散的高维隐层状态转换为能够进行时频分析的信号序列，从而能够表征同一语义内容随推理深度逐层演变的过程。通过采集层最终输出向量、注意力子层输出向量、注意力残差向量及前馈神经网络输出向量中的至少两种，还可将异常检测范围由网络层级进一步细化至子层级。

27、利用多尺度小波分解提取隐层时序信号在不同尺度下的高频细节系数，并根据各层级局部高频能量与全局高频能量统计分布之间的关系定位异常目标层级。小波分解同时保留频域变化信息和层序位置信息，使系统在识别隐层状态局部突变的同时，能够确定异常对应的transformer层或子层，实现对幻觉起源位置的逐层定位。

28、计算目标层级及相邻层级隐层状态向量之间的语义速度向量，并以语义速度方向偏离程度表征语义几何轨迹变化，再将该几何特征与目标层级的高频能量特征进行耦合。通过频域高频异常与语义轨迹异常的双重验证，能够降低仅依赖单一特征而将正常层间语义变化误判为幻觉异常的可能性。

29、根据历史谱-几何一致性系数在验证数据集上的统计分布确定预设阈值，并将预设分位数对应的数值作为修正触发条件，使检测标准能够随大语言模型类型及应用场景变化进行调整，避免固定阈值在不同模型、不同任务及不同隐层信号分布下适配性不足。

30、在谱-几何一致性系数超过预设阈值时，直接对目标层级的隐层状态向量实施修正。其中，投影修正能够根据预先确定的真实性方向保留与真实性相关的向量分量；谱域滤波修正能够抑制或去除异常频段对应的高频细节系数，并通过逆小波变换重构隐层状态。两种修正方式均无需重新训练模型或者改变模型主体参数，可在当前推理过程中对异常语义状态进行干预。

31、将修正后的隐层状态向量重新输入后续transformer层继续推理，使异常检测结果能够直接作用于后续文本生成过程，形成由跨层信号采集、异常层级定位、谱-几何耦合验证至隐层状态修正的闭环处理流程。谱域滤波修正还可在保留隐层状态整体语义主体成分的基础上，针对性削弱异常高频波动分量。

32、本发明设置信号构建模块、时频定位模块、特征耦合模块、自适应修正模块及控制模块，各模块按照信号采集、时频定位、特征耦合及动态修正的顺序协同运行，既可作为软件中间件接入大语言模型推理平台，也可结合硬件加速单元执行时频分析和特征耦合运算，便于在不同计算环境中部署。