一种基于机器学习的大语言模型的安全决策方法与流程

摘要: 本发明涉及大语言模型,尤其涉及一种基于机器学习的大语言模型的安全决策方法。背景技术:1、随着大规模语言模型(llms)在智能问答、医疗咨询、法律辅助等领域的广泛...
一种基于机器学习的大语言模型的安全决策方法与流程

本发明涉及大语言模型,尤其涉及一种基于机器学习的大语言模型的安全决策方法。

背景技术:

1、随着大规模语言模型(llms)在智能问答、医疗咨询、法律辅助等领域的广泛应用,多轮对话服务已成为人与机器进行复杂信息交互的核心方式。在此类交互中,模型利用连续轮次累积的上下文表征来理解用户意图并生成连贯应答,从而有效支持深度推理和渐进式问题求解。然而,这种强依赖上下文的生成机制也为恶意用户提供了新的攻击面。攻击者可通过构造多轮渐进式诱导对话,在前若干轮次中维持正常、无害的交互以麻痹模型的安全感知,待对话语境进入安全脱敏状态后,于后续轮次突然嵌入违规指令,诱使模型输出原本会被安全机制阻断的危险内容。

2、当前主流的防御技术主要包括独立于生成过程的单轮审核模块、预设的全局安全提示词,以及基于判别模型的输出过滤器。其中,单轮审核机制仅依据当前轮次的输入与输出进行决策,缺乏对跨轮次攻击意图演进的追踪能力;全局安全提示词试图以静态指令的方式约束模型行为,但其作用会随着对话上下文长度增加而衰减,且易被精心设计的对抗性提示所绕过;输出过滤器则仅能在模型生成完整内容后进行拦截或改写,无法在解码过程中实施干预。总的来说,现有技术在多轮对话安全防御方面存在以下两个突出问题:其一,防御响应存在严重的滞后性,由于安全审核与被防护的生成过程相互独立,系统仅在模型输出后方才进行危险判别,此时攻击诱导的危险内容甚至部分中间推理步骤已经生成并可能作为后续轮次的上下文进入模型内部状态,造成安全风险的持续累积与传播。在攻击者采用分拆、替换敏感实体等分段攻击策略时,滞后审核更难以通过对单轮输出进行局部特征匹配来识别全局攻击意图,导致防御失效。其二,主动进行模型行为调节的现有手段往往导致高误伤率,即在提升安全性的同时大幅牺牲了对正常请求的可用性。无论是通过注入强化安全约束的提示词,还是采用对模型输出施加强制偏置的策略,这些方法均以全局统一的方式作用于所有解码过程,无法区分正常语义需求与潜在攻击语义,致使大量合法用户的正常询问被错误拒绝或回复质量显著下降,在医学、法律等对语义精度要求极高的专业领域尤难被接受。

3、中国专利公开号cn120542579a公开了一种面向大型语言模型的多样本攻击检测与防御方法,包括构建多层次文本筛查与干预机制,通过输入内容去重、格式调整及上下文扰动,降低多样本攻击的影响。对文本进行相似性分析,识别高度重复的示例,利用高效匹配策略筛选;利用预训练模型对文本的语义特征映射,结合历史数据比对,判断其是否存在潜在诱导风险。解析多轮对话结构,提取并分析用户与系统的交互模式,动态调整检测规则,提高对不同格式诱导攻击的适应能力。针对高风险文本,采取删除和截断策略,保留少量核心内容,对于部分中等风险文本,调整顺序或插入干扰信息降低其影响;由此可见,所述面向大型语言模型的多样本攻击检测与防御方法存在以下问题:其安全防御建立在输入端的外部过滤与规则统计之上,无法对跨轮次渐进式诱导攻击的意图演变进行动态感知与持续追踪,面对攻击者通过多轮正常对话逐步脱敏后再植入违规指令的策略,缺乏在攻击意图升级前的前瞻性干预能力,存在对长程铺垫型攻击响应滞后的问题;同时其所采用的删除、截断和句序调整等处理手段,一旦触发便不加区分地作用于输入文本整体,无法在模型解码过程中对生成内容施加细粒度的选择性约束,误伤正常对话的风险较高。

技术实现思路

1、为此,本发明提供一种基于机器学习的大语言模型的安全决策方法,用以克服现有技术中大语言模型对多轮渐进式诱导攻击的防御响应滞后,以及因全局安全约束导致的对正常请求误伤率高的技术问题。

2、为实现上述目的,本发明提供一种基于机器学习的大语言模型的安全决策方法,包括:

3、步骤s1,获取当前轮次对话对应的上下文隐藏状态序列,所述上下文隐藏状态序列由开源大语言模型解码器对多轮对话历史进行编码得到;

4、步骤s2,基于所述上下文隐藏状态序列确定用以表征当前对话在多维风险维度上的累积态势安全态势矢量;

5、步骤s3,将所述安全态势矢量输入安全偏置生成网络,得到抗体偏置向量序列,其中,所述安全偏置生成网络由联合损失训练获得,所述联合损失包括安全损失与子空间投影约束损失,所述子空间投影约束损失用于约束所述抗体偏置向量序列在正常对话语义主子空间上的投影强度满足预设条件;

6、步骤s4,在下一轮次解码启动时,根据所述抗体偏置向量序列生成注意力加性偏置掩码,并将所述注意力加性偏置掩码作用于开源大语言模型各层自注意力矩阵,其中,所述注意力加性偏置掩码的施加程度由内容感知门控系数调节,所述内容感知门控系数根据当前待生成令牌的语义特征与所述正常对话语义主子空间的关系确定;

7、步骤s5,在并行于解码过程的安全监测中,当检测到正在生成的令牌的安全风险评分大于或等于紧急阈值时,执行生成终止与回退操作,并基于施加了所述注意力加性偏置掩码的自注意力机制重新生成安全应答序列。

8、进一步地,步骤s2包括:

9、步骤s21,获取预先定义的可学习的态势查询向量;

10、步骤s22,以所述态势查询向量为查询,以所述上下文隐藏状态序列为键和值,执行交叉注意力计算,得到上下文加权表征;

11、步骤s23,基于所述上下文加权表征确定所述安全态势矢量。

12、进一步地,所述多维风险维度包括诱导倾向强度、语义边界模糊度以及危险实体激活度。

13、进一步地,步骤s3中,所述联合损失训练包括:

14、构建正常对话数据集,并获取开源大语言模型解码器对所述正常对话数据集中的对话所提取的正常对话隐藏状态序列;

15、对所述正常对话隐藏状态序列进行主成分分析,提取主成分构成所述正常对话语义主子空间;

16、根据所述正常对话语义主子空间确定所述子空间投影约束损失,并基于所述联合损失对所述安全偏置生成网络进行参数更新。

17、进一步地,所述子空间投影约束损失的确定方式为:

18、将所述抗体偏置向量序列向所述正常对话语义主子空间进行投影,计算投影结果的范数;

19、当所述投影结果的范数大于预设阈值时,产生子空间投影约束损失,所述子空间投影约束损失与所述投影结果的范数成正相关关系;

20、当所述投影结果的范数小于或等于预设阈值时,所述子空间投影约束损失为零。

21、进一步地,所述步骤s4中,所述内容感知门控系数的确定包括:

22、获取当前待生成令牌在开源大语言模型解码器中的隐藏状态;

23、根据所述隐藏状态在所述正常对话语义主子空间上的投影强度与所述隐藏状态的总强度确定语义偏离度量;

24、基于所述语义偏离度量,通过单调递增映射得到所述内容感知门控系数,其中,所述语义偏离度量越大,所述内容感知门控系数越大。

25、进一步地,所述步骤s4中,生成注意力加性偏置掩码,包括:

26、对所述抗体偏置向量序列进行线性映射,将映射后的向量维度调整为与开源大语言模型的注意力头数量及注意力头维度相匹配;

27、将调整后的偏置向量按注意力头拆分为多个加性偏置子掩码;

28、将所述多个加性偏置子掩码分别叠加至对应注意力头的自注意力矩阵,确定修正注意力矩阵。

29、进一步地,所述步骤s5包括中,在解码生成每一令牌后,当该令牌的安全风险评分低于安全阈值时,将当前位置记录为安全检查点;当监测到当前生成令牌的安全风险评分大于或等于所述紧急阈值时,暂停解码,将解码状态回退至最近记录的所述安全检查点。

30、进一步地,所述步骤s5中,所述安全监测由轻量级安全分类器执行;

31、所述轻量级安全分类器以当前生成令牌的隐藏状态为输入,输出安全风险评分;

32、所述轻量级安全分类器与开源大语言模型的解码进程异步并行运行。

33、进一步地,所述步骤s5中,以安全检查点处的隐藏状态为起点,基于施加了所述注意力加性偏置掩码的自注意力机制,重新执行自回归解码,生成安全应答序列。

34、与现有技术相比,本发明的有益效果在于,本发明通过将多轮对话历史中的隐藏状态转化为安全态势矢量,并在正常对话语义主子空间的正交约束下动态生成抗体偏置向量序列,结合内容感知门控与紧急回退重采样机制,实现对渐进式诱导攻击的前置感知与选择性防御,从而在有效阻断危险生成的同时显著降低对正常对话的误伤影响,兼顾了安全性与可用性。

35、进一步地,本发明通过基于大语言模型原生隐藏状态的交叉注意力态势提取,能够完整保留对话历史中的早期铺垫信息,对渐进式攻击的意图演变形成精准感知,克服了长程遗忘导致的漏警风险。

36、进一步地,本发明通过正常对话语义主子空间的投影约束,将抗体偏置向量的能量限制在正常语义方向之外,从生成概率分布的源头消除了防御偏置对合法请求的干扰。

37、进一步地,本发明通过内容感知门控系数对待生成令牌偏离正常语义的程度进行实时量化,并据此动态调节抗体偏置的介入力度,实现了仅在高风险语义路径上的精准干预,进一步保障了正常对话的流畅度与应答质量。

38、进一步地,本发明通过并行的轻量级安全分类器与安全检查点回退机制,能够在危险令牌生成的瞬间实施阻断,并以安全状态为起点重新生成应答,避免了危险内容在上下文中的扩散,且整个过程严格遵循自回归因果逻辑。

39、进一步地,本发明通过异步计算架构将安全态势感知和抗体偏置向量的生成与主模型推理流水线并行执行,使得防御计算引入的额外延迟极小,便于在现有开源大语言模型推理框架中实现低成本的插件式部署。