一种基于探测-干预-轨迹三角验证的大语言模型知识编码结构定位方法及系统

摘要: 所提的发明是有关人工智能可解释性以及大语言模型的成果,重点论述利用探测、因果干预和轨迹分析三种角度对大语言模型的知识编码做交叉验证的方法及其系统。从具体方面说,...
一种基于探测-干预-轨迹三角验证的大语言模型知识编码结构定位方法及系统

所提的发明是有关人工智能可解释性以及大语言模型的成果,重点论述利用探测、因果干预和轨迹分析三种角度对大语言模型的知识编码做交叉验证的方法及其系统。从具体方面说,它以层、通路及注意力头为统一框架来确定知识所在的位置,把局部与分布两种编码形式作对照分析,用较精细的划分标准指导知识编辑、幻觉控制、安全审查或模型设计中各项实际问题的处理。

背景技术:

1、近些年来,大语言模型在自然语言处理以及文本生成任务上表现出十分出色的能力,但是它内部的知识是如何组织起来的依然是可解释性研究的主要难题。如果领域知识被局部化在某一层、通路或者注意力头上,那么就可以对它进行准确的检查、验证和编辑;如果知识被冗余地分布在各个网络节点上,那么任一个单一节点的因果效应都很弱,对于局部节点的干预也无济于事。所以能否准确地找到知识的编码结构,就决定了是否可以对有害内容进行定向删除、幻觉能否被可靠抑制、安全审计是否可行。

2、现有技术主要依赖单一分析工具,各自存在明显不足。第一,线性探针可以从模型内部激活中解码概念信息,在多个概念上都取得了较好的预测性能,但是探针只能识别出与概念有关的表征,不能确定这些表征是否参与了模型的计算过程。第二,因果干预通过定向扰动检验组件的必要性,但是因果零效应可能是由于知识的分布式编码而不是该组件真的不存在所导致的,单独使用干预手段不能得出完整的结论。第三,轨迹分析揭示出跨层的结构化几何模式,刻画了表征随层加深而变化的规律,但是它以整条轨迹为分析对象,牺牲了组件级定位的能力,不能确定知识具体落在哪个层、通过哪个通路或者落在哪些注意力头。

3、近些年来,把探针同因果干预结合起来开展研究,出现了一种“探测-因果解离”的状况,即对于某个概念拥有较强预测能力的表征,在遭到干扰的时候,并没有出现因果效应。但是此类研究大多只针对单一模型或者单一领域,并没有结合轨迹分析,只能看到解离现象本身,不能在“层-通路-注意力头”这一层级结构中找到它的原因,也不能证明该现象在不同的模型架构上是否普遍存在。

4、另外,目前没有统一的评估指标来衡量识别出的组件集合的因果效应,也没有对局部化编码和冗余分布式编码做出区分的标准,因此无法对知识编辑和安全删除提供可靠的依据。

5、综上所述,现有的技术很难在层、通路和注意力头这三个方面对领域知识的编码结构进行准确、可以验证的联合定位,迫切需要一种可以将探测、因果干预和轨迹分析系统结合起来,并且通过交叉验证给出可信定位结果的技术方案。

技术实现思路

1、由于现有的技术中单一的分析工具不能准确、可验证地找到大语言模型领域的知识编码结构,并且不能解释出“探测-因果解离”现象的原因,因此本发明提出了一种基于探测、干预和轨迹三角验证的大语言模型知识编码结构定位方法及系统。

2、本发明采用的技术方案如下:一种基于探测-干预-轨迹三角验证的大语言模型知识编码结构定位方法,包括步骤s1至s5。

3、s1、多粒度激活采集,即对输入样本进行前向传播,在残差流、通路输出和注意力头输出这三个粒度上分别采集激活。其中,残差流激活是每一层在注意力残差相加之后的末位词元隐藏状态,通路输出是每一注意力子层的输出以及多层感知机(mlp)子层的输出,注意力头输出是每一层中各个注意力头的输出。三个粒度的激活分别对应后面轨迹分析、通路分解和头级筛选三条分析路径。

4、s2、跨层定位:对每一层的残差流激活训练线性探针,按类别f1对各层排序并选取前  层作为候选层;对每个候选层注入扰动,分别测量最优层探针和全轨迹分类器在扰动前后的性能退化量,并根据二者的退化量之比确定该层的跨层冗余度。若领域知识集中于某一层,则两个分类器在该层被扰动时的退化程度相近;若知识跨层冗余分布,则全轨迹分类器保持鲁棒而最优层探针在其训练层处显著退化。

5、s3、跨通路分解:对每个候选层分别执行注意力零消融和多层感知机零消融,测量各自导致的因果kl散度,并依据两个通路因果kl散度的比值将该候选层标注为注意力主导、mlp主导或混合。所述零消融为最强的因果检验,即移除该通路全部信息,从而给出因果效应的上界。

6、s4、跨头筛选:对被标注为注意力或混合的候选层,计算该层中每个注意力头的探针f1和头级零消融因果kl,分别取探针f1排序的前  项与因果kl排序的前  项,将二者的交集作为该层同时满足可探测性与因果相关性的注意力头集合。该双排序交集准则无需固定阈值,可自适应于不同模型与不同域的评分分布。

7、s5、联合定位输出:针对每个域,输出由候选层、对应通路标签以及注意力头集合构成的定位集合。

8、进一步地,所述方法还包括因果效应评估步骤:对所述定位集合中的所有组件联合执行零消融,并以全轨迹分类器在零消融前后对目标域的预测概率计算对称kl散度,得到因果效应量cem-kl,用于量化比较不同定位方法所给出的组件集合的因果效应。

9、进一步地,所述方法还包括知识编码结构判定步骤:通过层、通路与注意力头三个维度上的扰动结果,判定领域知识属于跨层冗余、跨通路冗余还是跨头冗余,进而区分局部化编码与冗余分布式编码。

10、本发明还提供一种基于探测-干预-轨迹三角验证的大语言模型知识编码结构定位系统,包括多粒度激活采集模块、跨层定位模块、跨通路分解模块、跨头筛选模块和联合定位输出模块。所述多粒度激活采集模块用于执行上述步骤s1;所述跨层定位模块用于执行上述步骤s2;所述跨通路分解模块用于执行上述步骤s3;所述跨头筛选模块用于执行上述步骤s4;所述联合定位输出模块用于执行上述步骤s5。

11、与现有技术相比,本发明的有益效果在于:

12、第一,通过探测、因果干预与轨迹几何三种视角的交叉验证,将原先相互割裂的单一分析统一为联合定位,能够同时在层、通路与注意力头三个维度上确定领域知识的编码位置。

13、第二,引入跨层冗余度指标 ,量化比较最优层探针与全轨迹分类器在扰动下的退化,从而区分局部化编码与跨层冗余编码。

14、第三,通过零消融的双通路因果kl比值标注注意力主导、mlp主导或混合型通路结构,并给出跨通路冗余判据,克服了单一通路扰动无法揭示分布式编码的缺陷。

15、第四,用探针f1和因果kl的双排序交集来选择注意力头,防止只考虑可探测性而忽略因果无关的注意力头,从而达到可探测性和因果相关性的联合筛选。

16、第五,提出cem-kl评估指标,对被识别出来的各个组件集因果效应进行量化和比较,给不同的定位策略赋予一个可以相互对比的标准。

17、第六,该方法模型无关、任务无关,可以跨不同的模型架构和领域迁移,给知识编辑、幻觉抑制、安全审计、模型选择提供详细的依据。

1.一种基于探测-干预-轨迹三角验证的大语言模型知识编码结构定位方法,其特征在于,所述方法包括如下步骤:

2.根据权利要求1所述的方法,其特征在于,步骤s1中所述激活的采集通过前向钩子实现:将第  层在注意力残差相加后的末位词元隐藏状态记为 ,并满足,其中  为第  层的注意力子层输出;对每一层分别拦截注意力子层输出与mlp子层输出;并在每一注意力子层内部采集各注意力头的输出 ,且满足 ,其中  为该层的注意力头数量。

3.根据权利要求1所述的方法,其特征在于,步骤s2中所述线性探针为多类逻辑回归分类器,采用5折分层交叉验证,以加权f1和每类f1作为评价指标;所述候选层的选取方式为:对每个域按该类别的每类f1对各层排序,保留前  层作为该域的候选层,其中  为正整数。步骤s4中所述  的取值为 ,其中  为该层的注意力头数量;所述探针f1通过在该注意力头的激活上训练二分类逻辑回归分类器并以5折交叉验证得到,所述头级零消融因果kl通过将该注意力头的输出置零后以全轨迹分类器读取得到。

4.根据权利要求1所述的方法,其特征在于,所述全轨迹分类器以样本的轨迹矩阵 为输入,所述轨迹矩阵由所有层的末位词元隐藏状态拼接而成;所述全轨迹分类器将全部  层的残差激活与从轨迹矩阵中提取的几何描述符拼接后输入分类器;所述几何描述符包括相邻层余弦相似度均值、相邻层余弦相似度方差、相邻层欧氏距离均值、相邻层欧氏距离最大值、轨迹曲率均值、轨迹曲率最大值、末层收敛度、吉尼系数、稀疏度、偏度以及层间相似度中的一种或多种。

5.根据权利要求1所述的方法,其特征在于,步骤s2中所述跨层冗余度  按如下方式确定:,其中  为最优层线性探针在扰动下的f1退化绝对值, 为全轨迹分类器在同一扰动下的f1退化绝对值; 越大表示领域知识在层间的冗余分布程度越高。

6.根据权利要求1所述的方法,其特征在于,所述扰动包含三种强度递增的干预类型:高斯噪声注入、均值消融和零消融;其中,所述高斯噪声注入为在组件输出上叠加与其训练集标准差成比例的高斯噪声,噪声尺度  的取值集合为 ;所述均值消融为将组件输出替换为其训练集均值;所述零消融为将组件输出置零;所述零消融用于步骤s3的通路标注与步骤s4的头级因果kl计算,所述高斯噪声注入用于跨通路与跨层的分级剂量-响应分析,所述均值消融用于头级与残差级的因果对比。步骤s3中所述通路标注采用比值规则:设  为注意力零消融下的因果kl散度, 为mlp零消融下的因果kl散度;当 时标注为注意力主导,当  时标注为mlp主导,当二者均不满足且  时标注为混合,否则将该候选层从候选层集合中剔除;其中  为通路比值阈值, 为通路因果kl阈值。

7.根据权利要求1所述的方法,其特征在于,还包括因果效应评估步骤:对所述定位集合中的所有组件联合执行零消融,并以全轨迹分类器在零消融前后对目标域的预测概率计算对称kl散度,得到因果效应量cem-kl;所述因果效应量越大表示所述定位集合对目标域的因果效应越强。所述方法还包括知识编码结构判定步骤:对所述定位集合所指向的层、通路与注意力头分别施加扰动,并按如下规则判定编码结构:若对单一通路或单一组件扰动时性能退化低于预设阈值,而对注意力与mlp通路联合扰动时性能退化显著增大,则判定该域知识为跨通路冗余编码;若对单层扰动时全轨迹分类器的退化远小于最优层探针的退化,则判定该域知识为跨层冗余编码;若对高探针f1的注意力头扰动时因果效应近于零,则判定该注意力头所承载的领域信息为跨头冗余编码。

8.一种基于探测-干预-轨迹三角验证的大语言模型知识编码结构定位系统,其特征在于,所述系统包括:

9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7任一项所述的方法。