一种大语言模型的越狱攻击检测方法、装置及存储介质与流程

摘要: 本发明涉及一种大语言模型的越狱攻击检测方法、装置及存储介质,属于信息安全。背景技术:1、大语言模型(largelanguagemodels,llms)已广泛应用...
一种大语言模型的越狱攻击检测方法、装置及存储介质与流程

本发明涉及一种大语言模型的越狱攻击检测方法、装置及存储介质,属于信息安全。

背景技术:

1、大语言模型(large language models, llms)已广泛应用于对话交互、内容生成及决策辅助等场景,其安全性成为保障实际部署的关键议题。越狱攻击(jailbreakattack)通过精心构造的对抗性提示,诱导模型绕过安全护栏、生成有害内容,对模型安全部署构成严重威胁。因此,开发高效精准的越狱攻击检测技术,对保障llms安全可靠应用具有紧迫的现实意义。

2、大语言模型安全检测技术经历了从规则匹配到深度学习的演进。早期基于关键词匹配与规则引擎的浅层方法实现简单,但难以应对攻击者精心设计的语义伪装和指令诱导,检测效果有限。随着深度学习发展,基于模型内部特征的检测方法通过分析隐藏状态分布与激活模式,显著提升了攻击识别能力。但现有方法多依赖单一层次特征表示,或仅关注局部语义片段,难以全面捕捉越狱攻击的多层次、隐蔽性特征;且新型越狱手法通过角色扮演、多轮对话诱导等方式不断演化,进一步增加了防御难度。

3、实际应用中,越狱攻击的多样性与语义复杂性,给鲁棒检测模型的构建带来极大挑战。攻击者通过精心构造提示词、实施语义混淆,使良性交互与恶意攻击的表层特征高度相似,导致传统检测方法误报率高、泛化能力弱。因此,如何设计具备强泛化能力的越狱攻击检测机制,成为当前llms安全领域亟待解决的关键问题。突破传统单一特征依赖局限,构建具有层次化特征增强能力的检测框架,对提升llms在复杂对抗环境下的安全性与可靠性具有重要意义。

技术实现思路

1、本发明的目的在于克服现有技术中的不足,提供一种大语言模型的越狱攻击检测方法、装置及存储介质,通过多层次、细粒度的特征增强机制,突破了传统单一特征依赖的局限,显著提升了复杂越狱攻击的检测准确性与泛化性能。

2、为达到上述目的,本发明是采用下述技术方案实现的:

3、第一方面,本发明提供了一种大语言模型的越狱攻击检测方法,包括:

4、将获取的待检测文本数据输入预训练大语言模型,通过所述预训练大语言模型各网络层对预构建的三类样本集的隐藏状态分布差异进行分析,动态筛选敏感网络层并提取各敏感网络层的激活特征,拼接后获得初始敏感特征集合;

5、将所述初始敏感特征集合输入自适应筛选模块,通过线性投影与sigmoid门控机制筛选关键特征,获得筛选特征;

6、将所述筛选特征输入单头注意力机制进行特征融合,获得融合特征;

7、对所述融合特征采用变分信息瓶颈进行压缩编码,获得协同特征;

8、对所述待检测文本数据进行核心语义解析,定位核心指令部分并提取所述核心指令部分的特征,计算所述核心指令部分的特征均值作为查询原型;

9、基于所述查询原型计算所述待检测文本数据中每个词元特征的语义权重;

10、基于所述语义权重对所述协同特征进行加权聚合,获得最终特征表示;

11、将所述最终特征表示输入分类器,获得越狱攻击判定结果。

12、进一步的,所述待检测文本数据的获取方法,包括:

13、采集大语言模型实际应用场景中的各类文本数据,覆盖良性交互文本、有害文本及各类越狱攻击文本,形成原始数据集合;

14、对所述原始数据集合依次执行去重、去噪、过滤无效文本、统一文本编码格式的操作;对处理后的文本进行分词、词元嵌入处理,完成文本长度标准化,剔除异常样本,获得待检测文本数据。

15、进一步的,所述将获取的待检测文本数据输入预训练大语言模型,通过所述预训练大语言模型各网络层对预构建的三类样本集的隐藏状态分布差异进行分析,动态筛选敏感网络层并提取各敏感网络层的激活特征,拼接后获得初始敏感特征集合,包括:

16、构建三类样本集,分别为良性文本样本集、有害文本样本集及越狱攻击文本样本集;

17、将所述待检测文本数据以及所述三类样本集分别输入所述预训练大语言模型,通过计算所述预训练大语言模型各网络层在处理三类文本时隐藏状态分布的对称kl散度,完成各网络层的敏感度分析,对称kl散度计算公式为:

18、;

19、其中,为单向kl散度,、分别为两类文本在该层隐藏状态的概率分布;

20、基于计算得到的对称kl散度,构建各网络层的综合安全敏感度得分,计算公式为:

21、;

22、其中,、、分别为良性文本、有害文本、越狱攻击文本在第l层隐藏状态的概率分布;

23、对所有网络层的敏感度得分进行降序排序,选取得分最高的k层构成敏感网络层集合,作为特征提取目标层,提取该集合中各层的激活特征,并通过拼接操作得到初始敏感特征集合,其中n为所述待检测文本数据的词元数量,k为敏感网络层数量,d为每个词元的特征维度。

24、进一步的,将所述初始敏感特征集合输入自适应筛选模块,通过线性投影与sigmoid门控机制筛选关键特征,获得筛选特征,包括:

25、将所述初始敏感特征集合输入所述自适应筛选模块,通过线性投影将特征映射到统一维度,再结合sigmoid门控机制生成特征选择掩码,对关键特征进行筛选,具体计算公式如下:

26、,

27、,

28、;

29、其中,、为可学习的投影权重矩阵,、分别为对应的偏置向量,为所述筛选特征。

30、进一步的,将所述筛选特征输入单头注意力机制进行特征融合,获得融合特征;对所述融合特征采用变分信息瓶颈进行压缩编码,获得协同特征,包括:

31、以所述筛选特征作为输入,构建单头注意力机制建模特征间的全局依赖关系,通过计算特征间的相关性权重,强化关键特征的表征能力,弱化无关特征的影响,得到融合特征f;

32、采用变分信息瓶颈对所述融合特征进行端到端压缩编码,生成协同特征,变分信息瓶颈的损失函数计算公式为:

33、;

34、其中,为隐变量z的后验分布,为标准正态分布,为平衡系数。

35、进一步的,对所述待检测文本数据进行核心语义解析,定位核心指令部分并提取所述核心指令部分的特征,计算所述核心指令部分的特征均值作为查询原型,包括:

36、采用关键词匹配结合语义相似度筛选的方式,解析所述待检测文本数据,识别并剥离系统提示、角色设定及对话历史文本片段,定位所述核心指令部分;其中,语义相似度通过余弦相似度计算,核心指令筛选阈值设为,当文本片段与预设核心指令模板的相似度高于时,判定为核心指令部分;

37、提取所述核心指令部分对应的特征,计算其特征均值作为所述查询原型,计算公式为:

38、;

39、其中,为所述核心指令部分的词元数量,d为词元特征维度,为所述核心指令部分中第i个词元的特征向量;

40、和/或,基于所述查询原型计算所述待检测文本数据中每个词元特征的语义权重,包括:

41、基于余弦相似度计算所述待检测文本数据中每个词元特征与所述查询原型的语义相关性,得到各词元的权重系数,作为所述语义权重,计算公式为:

42、;

43、其中,为待检测文本第i个词元的特征向量,表示l2范数,分母为所有词元相似度的softmax归一化项。

44、进一步的,基于所述语义权重对所述协同特征进行加权聚合,获得最终特征表示,将所述最终特征表示输入分类器,获得越狱攻击判定结果,包括:

45、基于计算得到的所述权重系数,对所述协同特征进行加权求和,将权重系数较高的核心词元特征进行强化,权重系数较低的无关词元特征进行抑制,生成所述最终特征表示,计算公式为:

46、;

47、其中,为协同特征中第i个词元对应的特征向量;

48、将所述最终特征表示输入全连接分类器,输出越狱攻击判定结果,当所述分类器输出概率大于预设判决阈值时,判定为存在越狱攻击,否则判定为无越狱攻击。

49、进一步的,所述将最终特征表示输入分类器,获得越狱攻击判定结果之前,还包括:

50、构建联合损失函数对检测模型进行端到端训练,所述联合损失函数的计算公式为:

51、;

52、其中,为分类交叉熵损失,计算公式为,为样本数量,为第n个样本的真实标签,为所述检测模型的预测概率为变分下界损失;、均为损失平衡系数;模型训练过程中,采用adam优化器。

53、第二方面,本发明提供一种大语言模型的越狱攻击检测装置,用于实现前述任意一项所述的大语言模型的越狱攻击检测方法,包括:

54、分析模块,用于将获取的待检测文本数据输入预训练大语言模型,通过所述预训练大语言模型各网络层对预构建的三类样本集的隐藏状态分布差异进行分析,动态筛选敏感网络层并提取各敏感网络层的激活特征,拼接后获得初始敏感特征集合;

55、筛选模块,用于将所述初始敏感特征集合输入自适应筛选模块,通过线性投影与sigmoid门控机制筛选关键特征,获得筛选特征;

56、特征融合模块,用于将所述筛选特征输入单头注意力机制进行特征融合,获得融合特征;

57、压缩编码模块,用于对所述融合特征采用变分信息瓶颈进行压缩编码,获得协同特征;

58、语义解析模块,用于对所述待检测文本数据进行核心语义解析,定位核心指令部分并提取所述核心指令部分的特征,计算所述核心指令部分的特征均值作为查询原型;

59、计算模块,用于基于所述查询原型计算所述待检测文本数据中每个词元特征的语义权重;

60、加权聚合模块,用于基于所述语义权重对所述协同特征进行加权聚合,获得最终特征表示;

61、攻击判定模块,用于将所述最终特征表示输入分类器,获得越狱攻击判定结果。

62、第三方面,本发明提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现前述中任一项所述方法的步骤。

63、第四方面,本发明提供一种电子设备,包括:

64、存储器,用于存储计算机程序/指令;

65、处理器,用于执行所述计算机程序/指令以实现前述中任一项所述方法的步骤。

66、第五方面,本发明提供一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现前述中任一项所述方法的步骤。

67、与现有技术相比,本发明所达到的有益效果:

68、1、本发明提供一种大语言模型的越狱攻击检测方法、装置及存储介质,通过构建模型层、特征层与语义词元层相协同的层次化特征增强机制,对待检测文本进行从深层网络激活信号到细粒度语义表征的逐级解析与强化,实现了对复杂越狱攻击的全面感知与精准识别,有效突破了传统方法依赖单一层次特征所导致的信息缺失与表征局限,显著提升了检测模型在多样化攻击模式下的准确率与泛化鲁棒性。

69、2、本发明在模型层,利用预训练大语言模型各网络层对三类样本的隐藏状态分布差异进行动态敏感层筛选,提取富含判别信息的激活特征,从而捕获深层网络中与安全属性高度相关的关键信号;在特征层,通过线性投影与sigmoid门控实现自适应特征筛选,并结合单头注意力机制强化全局依赖关系,再经变分信息瓶颈压缩冗余信息,生成紧凑且高判别性的协同特征;在语义词元层,通过解析核心指令生成动态查询原型,计算每个词元与攻击意图的语义相关性并赋予权重,最终加权聚合得到聚焦核心攻击语义的最终特征表示。上述多层次递进增强过程,既强化了攻击指令的主导作用,又有效抑制了系统提示、角色设定等无关上下文的噪声干扰,同时通过端到端联合优化保证了整体框架的协调性,从而在提升检测精度的同时降低计算开销,为大型语言模型在真实对抗场景下的安全部署提供了可靠的技术支撑。