基于稀疏表征空间内概念引导的大语言模型毒性去除方法

本发明属于大语言模型安全生成，具体涉及一种基于稀疏表征空间内概念引导的大语言模型毒性去除方法。

背景技术：

1、随着人工智能技术的飞速发展，大语言模型（large language models，llms）在自然语言理解、生成和推理方面展现出卓越的能力。然而，由于其通常在大规模未经过滤的网络语料上进行预训练，模型不可避免地会学习并内化其中潜在的有害语义与不良模式。在生成过程中，这些有害语义可能会被触发，从而导致模型输出包含冒犯性、偏见等毒性内容，进而影响其在真实应用场景中的可靠性与安全性。因此，研究有效的去毒技术对实现大语言模型的安全可控部署具有重要意义。

2、现有的大语言模型毒性去除技术主要可以分为训练阶段方法与推理阶段方法两类。训练阶段方法通过在筛选的无毒数据集上对大语言模型进行再训练或微调，实现对模型参数的更新，从而降低模型生成有害内容的概率。推理阶段方法在不改变模型参数的前提下，通过对生成过程中的中间状态或输出分布进行干预以实现对有害内容的抑制。

3、然而，现有技术仍存在明显局限性。训练阶段方法通常依赖大规模高质量标注数据，并伴随较高的训练成本与计算资源消耗，在实际应用中部署成本较高且灵活性不足，在快速迭代场景下适应性有限。现有的推理阶段表征编辑方法通常依赖于在整体表征空间中学习得到的全局或静态干预方向，难以处理不同毒性语义之间的细粒度差异。同时，由于大语言模型隐空间具有高度的多语义叠加特性，毒性与非毒性语义往往在同一特征维度中混合分布，基于整体方向的粗粒度干预难以实现对不同毒性概念的精确区分与控制，导致去毒效果受限。

技术实现思路

1、本发明的目的是为了解决对毒性语义缺乏细粒度区分导致影响模型通用能力的问题，提出了一种基于稀疏表征空间内概念引导的大语言模型毒性去除方法。

2、本发明的技术方案为：

3、本发明提供了一种基于稀疏表征空间内概念引导的大语言模型毒性去除方法，包括：

4、步骤1：在当前解码步获取大语言模型对当前令牌的隐藏表征，将所述隐藏表征输入预先训练好的稀疏自编码器进行编码处理，得到对应的稀疏激活向量；

5、步骤2：根据所述稀疏激活向量以及预先构建的毒性概念与稀疏特征维度之间的映射集合，计算每个毒性概念对应的激活得分；

6、步骤3：将各毒性概念的所述激活得分与预设阈值进行比较，若所有毒性概念对应的激活得分均不超过所述预设阈值，则判定当前解码步未检测到毒性语义，跳转至步骤5；否则，将激活得分大于所述预设阈值的毒性概念加入激活概念集合，并从中选取激活得分最大的毒性概念作为主导毒性概念；

7、步骤4：根据预先确定的每个毒性概念对应的稀疏去毒方向，确定所述主导毒性概念的稀疏去毒方向，根据所述主导毒性概念的稀疏去毒方向对所述稀疏激活向量施加方向性抑制操作，得到干预后的稀疏激活向量；

8、步骤5：将所述稀疏激活向量或所述干预后的稀疏激活向量输入所述稀疏自编码器进行重构处理，得到调整后的隐藏表征，将所述调整后的隐藏表征回传至所述大语言模型继续后续令牌生成。

9、作为优选，所述稀疏自编码器的训练过程包括：

10、s11：将多个成对标注的有毒响应与无毒响应分别输入所述大语言模型，提取对应的隐藏表征，形成训练数据集；

11、s12：以重构误差与稀疏正则项构成的联合损失函数为目标，利用所述训练数据集对所述稀疏自编码器进行训练，使所述稀疏自编码器在将隐藏表征编码为稀疏激活向量的过程中，学习到对毒性语义具有区分能力的稀疏特征表示；其中，所述联合损失函数表示为：

12、

13、其中，为原始隐藏表征，为稀疏自编码器的重构隐藏表征，为稀疏激活向量，为稀疏性权重系数。

14、作为优选，所述毒性概念与稀疏特征维度之间的映射集合的构建过程包括：

15、s21：利用辅助大语言模型从毒性响应中提取含有毒性语义的文本片段，并根据预定义的毒性概念集合对各文本片段进行概念标注，构建概念标注的毒性片段数据集；

16、s22：在毒性诱导场景下，所述大语言模型进行自回归生成，当生成的令牌序列匹配所述毒性片段数据集中的任意毒性片段时，记录所述毒性片段对应的概念标签，并截取生成所述毒性片段最后一个令牌之前的隐藏表征；

17、s23：将截取到的隐藏表征输入所述稀疏自编码器，获得对应的稀疏激活向量，统计各稀疏特征维度在不同概念标签下的激活频次，建立各毒性概念与对应稀疏特征维度之间的映射关系，形成所述映射集合。

18、作为优选，所述预定义的毒性概念集合包括：obscene、threat、insult和identity_hate。

19、作为优选，每个毒性概念对应的激活得分按照下式计算：

20、；

21、式中，为毒性概念的激活得分，为映射集合中毒性概念对应的特征维度集合，为稀疏激活向量的维度的激活值，表示解码步。

22、作为优选，每个毒性概念对应的稀疏去毒方向的确定过程包括：

23、s31：对每个毒性概念，收集多个由有毒样本与无毒样本形成的样本对，将所述样本对输入所述大语言模型提取对应的有毒隐藏表征和无毒隐藏表征，将所述有毒隐藏表征和所述无毒隐藏表征输入所述稀疏自编码器编码得到对应的有毒稀疏激活向量与无毒稀疏激活向量；

24、s32：根据每对样本对的有毒稀疏激活向量与无毒稀疏激活向量，计算每对样本对的差分向量；

25、s33：对每个毒性概念下的所有差分向量集合进行主成分分析，确定对应的协方差矩阵，提取所述协方差矩阵的最大特征值对应的特征向量作为第一主成分，将所述第一主成分确定为对应毒性概念的初始引导方向；

26、s34：根据所述映射集合中每个毒性概念对应的特征维度集合，对每个毒性概念对应的所述初始引导方向进行稀疏化处理，得到每个毒性概念的稀疏去毒方向。

27、作为优选，所述稀疏化处理包括：对每个毒性概念的所述初始引导方向，保留属于所述毒性概念对应的特征维度集合的维度值，其余维度置零。

28、作为优选，所述干预后的稀疏激活向量按照下式计算：

29、；

30、式中，为干预后的稀疏激活向量，为稀疏激活向量，为缩放系数，为主导毒性概念的稀疏去毒方向。

31、作为优选，所述稀疏自编码器的隐空间维度大于所述大语言模型的隐空间维度，所述稀疏自编码器通过过完备字典将所述大语言模型的密集隐藏表征分解为稀疏表示，所述稀疏自编码器的编码器采用relu或jumprelu激活函数实现稀疏激活。

32、本发明的有益效果是：

33、本发明的基于稀疏表征空间内概念引导的大语言模型毒性去除方法，通过训练面向毒性的稀疏自编码器，将大语言模型的密集隐藏表征分解为可解释的稀疏语义特征空间，并建立不同毒性概念与特征维度之间的映射关系；在推理阶段，通过实时检测稀疏激活向量中各毒性概念对应的特征激活强度，仅在概念相关的毒性子空间中进行局部选择性干预，实现了细粒度的毒性抑制。与现有技术相比，本发明能够在有效降低毒性输出的同时，保持模型原有的语言生成能力与核心通用能力不受影响，且不需要额外增加训练成本，推理速度几乎与原始模型相当。