大模型安全检测与防御控制方法、装置及电子设备与流程

本申请涉及大语言模型安全，尤其涉及一种大模型安全检测与防御控制方法、装置及电子设备。

背景技术：

1、随着大语言模型在智能问答、业务辅助和自动决策等场景中的广泛应用，其输出安全性逐渐成为模型部署过程中的重要问题。为降低模型生成隐私泄露、违法建议及其他有害内容的风险，现有技术通常通过安全对齐训练、输出分布调整或外部有害内容检测等方式对模型进行防护。其中，安全解码、温度调整等方法主要在推理输出阶段改变生成分布，分类器过滤方法则通过识别输入或输出中的风险内容实施拦截。

2、然而，上述方法大多作用于模型输入输出层面，缺乏对模型内部安全行为形成机制的识别与利用，难以确定哪些模型层及神经元实际承担安全拒绝功能。当面对越狱攻击或新型对抗请求时，现有过滤和对齐机制仍可能被绕过；同时，固定强度的安全控制还容易造成正常请求被过度拒绝，影响模型可用性。现有安全微调通常采用全层或大范围参数更新，也难以针对安全关键组件进行定向强化，可能破坏与安全行为无关的原有能力。因此，如何从大模型内部定位与安全行为相关的关键神经元，并结合输入风险对其进行动态调控和针对性强化，成为亟待解决的技术问题。

技术实现思路

1、有鉴于此，本申请实施例提供了一种大模型安全检测与防御控制方法、装置及电子设备，以解决现有技术存在的安全神经元难以定位、固定安全调控适应性不足、安全强化易损害正常能力的问题。

2、本申请实施例的第一方面，提供了一种大模型安全检测与防御控制方法，包括：获取用于表征大模型安全行为的探测数据，将探测数据输入目标大模型，采集多个模型层的隐藏状态，并将不同模型层的隐藏状态映射至共享表征空间；根据共享表征空间中不同安全行为状态的激活差异，从多个模型层中确定候选安全神经元，并通过调节候选安全神经元的激活状态获得安全行为变化，根据安全行为变化确定目标安全神经元；获取待处理请求，确定待处理请求的风险状态，根据风险状态以及目标大模型的安全能力与正常响应能力之间的约束关系，确定神经元调控参数；按照神经元调控参数调整目标安全神经元的激活状态，使目标大模型在调整后的激活状态下对待处理请求执行推理，生成安全响应结果；根据目标安全神经元在多个模型层中的分布状态确定模型参数更新范围，并利用安全训练数据更新模型参数更新范围内的参数，使更新后的目标大模型用于后续安全检测与防御控制。

3、本申请实施例的第二方面，提供了一种大模型安全检测与防御控制装置，包括：获取模块，用于获取用于表征大模型安全行为的探测数据，将探测数据输入目标大模型，采集多个模型层的隐藏状态，并将不同模型层的隐藏状态映射至共享表征空间；调节模块，用于根据共享表征空间中不同安全行为状态的激活差异，从多个模型层中确定候选安全神经元，并通过调节候选安全神经元的激活状态获得安全行为变化，根据安全行为变化确定目标安全神经元；确定模块，用于获取待处理请求，确定待处理请求的风险状态，根据风险状态以及目标大模型的安全能力与正常响应能力之间的约束关系，确定神经元调控参数；调整模块，用于按照神经元调控参数调整目标安全神经元的激活状态，使目标大模型在调整后的激活状态下对待处理请求执行推理，生成安全响应结果；更新模块，用于根据目标安全神经元在多个模型层中的分布状态确定模型参数更新范围，并利用安全训练数据更新模型参数更新范围内的参数，使更新后的目标大模型用于后续安全检测与防御控制。

4、本申请实施例的第三方面，提供了一种电子设备，包括存储器，处理器及存储在存储器上并在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法的步骤。

5、本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：

6、通过获取用于表征大模型安全行为的探测数据，将探测数据输入目标大模型，采集多个模型层的隐藏状态，并将不同模型层的隐藏状态映射至共享表征空间；根据共享表征空间中不同安全行为状态的激活差异，从多个模型层中确定候选安全神经元，并通过调节候选安全神经元的激活状态获得安全行为变化，根据安全行为变化确定目标安全神经元；获取待处理请求，确定待处理请求的风险状态，根据风险状态以及目标大模型的安全能力与正常响应能力之间的约束关系，确定神经元调控参数；按照神经元调控参数调整目标安全神经元的激活状态，使目标大模型在调整后的激活状态下对待处理请求执行推理，生成安全响应结果；根据目标安全神经元在多个模型层中的分布状态确定模型参数更新范围，并利用安全训练数据更新模型参数更新范围内的参数，使更新后的目标大模型用于后续安全检测与防御控制。本申请能够提高安全神经元定位准确性、增强风险自适应防御能力、降低安全强化对正常能力的影响。

1.一种大模型安全检测与防御控制方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述获取用于表征大模型安全行为的探测数据，将所述探测数据输入目标大模型，采集多个模型层的隐藏状态，并将不同模型层的隐藏状态映射至共享表征空间，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据所述共享表征空间中不同安全行为状态的激活差异，从多个模型层中确定候选安全神经元，包括：

4.根据权利要求3所述的方法，其特征在于，所述通过调节所述候选安全神经元的激活状态获得安全行为变化，根据所述安全行为变化确定目标安全神经元，包括：

5.根据权利要求1所述的方法，其特征在于，所述获取待处理请求，确定所述待处理请求的风险状态，根据所述风险状态以及目标大模型的安全能力与正常响应能力之间的约束关系，确定神经元调控参数，包括：

6.根据权利要求5所述的方法，其特征在于，所述确定与当前风险状态匹配的神经元调控参数，包括：

7.根据权利要求1所述的方法，其特征在于，所述按照所述神经元调控参数调整所述目标安全神经元的激活状态，使目标大模型在调整后的激活状态下对所述待处理请求执行推理，生成安全响应结果，包括：

8.根据权利要求1所述的方法，其特征在于，所述根据所述目标安全神经元在多个模型层中的分布状态确定模型参数更新范围，并利用安全训练数据更新所述模型参数更新范围内的参数，使更新后的目标大模型用于后续安全检测与防御控制，包括：

9.一种大模型安全检测与防御控制装置，其特征在于，包括：

10.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8中任一项所述方法的步骤。