一种基于强化学习的模型内部安全防护方法与装置与流程

摘要: 本发明涉及人工智能模型安全防护,具体而言,是一种基于强化学习的模型内部安全防护方法与装置。背景技术:1、随着神经网络模型在文本生成、智能问答、内容理解和任务执行...
一种基于强化学习的模型内部安全防护方法与装置与流程

本发明涉及人工智能模型安全防护,具体而言,是一种基于强化学习的模型内部安全防护方法与装置。

背景技术:

1、随着神经网络模型在文本生成、智能问答、内容理解和任务执行等场景中的应用不断增多,模型在推理过程中可能受到输入内容、上下文语义、任务目标和候选输出倾向等因素影响,形成不同程度的安全风险。现有模型安全防护技术通常通过输入端规则过滤、输出端内容审核、安全分类器判断或者固定策略拦截等方式实现,对模型生成结果进行限制或修正,在一定程度上能够降低不安全内容输出的概率。

2、但是,现有安全防护方式多依赖输入内容或最终输出内容进行判断,容易存在干预时机滞后、判断依据单一以及正常任务被过度限制的问题。当输入内容本身具有正常说明、合规解释或风险识别等用途时,简单依靠主题或关键词进行安全判断,可能将正常任务误判为风险任务;而当模型在推理过程中逐步形成风险倾向时,仅在输出阶段进行审核又难以及时控制其生成方向。因此,本发明实际需要解决的技术问题是:如何在保障正常任务语义不被明显破坏的前提下,提高神经网络模型安全防护判断的及时性和准确性,减少风险输出以及过度拦截正常任务的情况。

技术实现思路

1、鉴于上述存在现有神经网络模型安全防护依赖输入过滤或输出审核,存在判断滞后、依据单一和正常任务易被过度限制的问题,为解决上述技术问题,本发明提供如下技术方案:

2、本发明提供了基于强化学习的模型内部安全防护方法,其包括以下步骤:

3、s1、解析待防护神经网络模型的网络层结构,在所述待防护神经网络模型的推理状态变化段设置安全观察层;

4、s2、根据安全样本、风险样本和边界样本在所述安全观察层的内部状态,建立正常任务状态基准、风险方向数据和安全锚点数据;

5、s3、在所述待防护神经网络模型处理待处理输入时,读取所述安全观察层的当前内部状态,并根据所述当前内部状态与所述正常任务状态基准、所述风险方向数据和所述安全锚点数据之间的关系生成内部风险状态;

6、s4、将所述内部风险状态和当前安全观察层位置输入强化学习安全策略网络,生成待防护神经网络模型内部安全修正指令,并对所述待防护神经网络模型内部安全修正指令进行安全约束检查,得到可执行安全修正指令;

7、s5、根据所述可执行安全修正指令修正所述当前内部状态,并根据修正后的内部状态和输出安全结果形成安全经验。

8、作为本发明所述基于强化学习的模型内部安全防护方法的一种优选方案,其中:所述步骤s1中所述安全观察层的设置方式为:读取所述待防护神经网络模型的网络层结构、计算顺序、隐藏状态输出位置和候选输出形成位置,确定所述待防护神经网络模型中用于形成基础语义的输入语义形成段、用于形成候选输出的输出内容形成段以及位于所述输入语义形成段和所述输出内容形成段之间的推理状态变化段,并在所述推理状态变化段内设置用于读取内部状态和修正内部状态的安全观察层。

9、作为本发明所述基于强化学习的模型内部安全防护方法的一种优选方案,其中:所述步骤s2中所述正常任务状态基准、所述风险方向数据和所述安全锚点数据的建立方式为:将安全样本、风险样本和边界样本输入所述待防护神经网络模型,通过所述安全观察层采集不同样本对应的内部状态,根据所述安全样本对应的内部状态形成所述正常任务状态基准,根据所述风险样本对应的内部状态相对于所述正常任务状态基准的偏离情况形成所述风险方向数据,并根据同类安全样本对应的内部状态形成所述安全锚点数据。

10、作为本发明所述基于强化学习的模型内部安全防护方法的一种优选方案,其中:所述步骤s3中所述内部风险状态的生成方式为:在所述待防护神经网络模型处理待处理输入并到达所述安全观察层时,读取当前隐藏状态、当前注意力分布和当前激活强度,并将所述当前隐藏状态输入共享输出映射层得到当前候选输出分布,将读取到的当前内部状态分别与所述正常任务状态基准、所述风险方向数据和所述安全锚点数据进行比较,并结合相邻安全观察层之间的变化情况生成包括风险强度、风险变化趋势、风险偏离方向和任务语义保持程度的所述内部风险状态。

11、作为本发明所述基于强化学习的模型内部安全防护方法的一种优选方案,其中:所述内部风险状态生成后,还包括生成安全防护意图,所述安全防护意图的生成方式为:根据所述风险强度确定需要降低的风险幅度,根据所述风险变化趋势确定安全防护介入程度,根据所述风险偏离方向确定需要控制的内部状态方向,根据所述任务语义保持程度确定允许产生的任务语义偏移范围,并结合当前安全观察层位置、前序修正记录和剩余干预预算生成所述安全防护意图。

12、作为本发明所述基于强化学习的模型内部安全防护方法的一种优选方案,其中:所述步骤s4中所述待防护神经网络模型内部安全修正指令的生成方式为:将所述内部风险状态、所述安全防护意图、当前安全观察层位置、前序修正记录和剩余干预预算拼接为策略状态向量,将所述策略状态向量输入所述强化学习安全策略网络,由所述强化学习安全策略网络在预设动作空间内选取修正动作,并生成包含作用层位置、风险方向削减强度、安全锚点回拉强度、注意力抑制强度和持续作用长度的所述待防护神经网络模型内部安全修正指令。

13、作为本发明所述基于强化学习的模型内部安全防护方法的一种优选方案,其中:所述步骤s4中所述安全约束检查的处理方式为:将所述当前内部状态、所述策略状态向量和由所述强化学习安全策略网络输出的待防护神经网络模型内部安全修正指令拼接为预测输入向量,将所述预测输入向量输入状态结果预测网络,由所述状态结果预测网络输出预测风险强度和预测任务语义保持程度,在所述预测风险强度满足风险降低要求且所述预测任务语义保持程度满足语义保持要求时,将所述待防护神经网络模型内部安全修正指令确定为所述可执行安全修正指令。

14、作为本发明所述基于强化学习的模型内部安全防护方法的一种优选方案,其中:所述步骤s5中所述当前内部状态的修正方式为:根据所述可执行安全修正指令中的风险方向削减强度降低所述当前内部状态中与所述风险方向数据一致的风险状态分量,根据所述可执行安全修正指令中的安全锚点回拉强度将所述当前内部状态向所述安全锚点数据对应的内部状态范围靠近,根据所述当前注意力分布与所述风险偏离方向之间的关联程度确定待抑制注意力通道,并按照所述注意力抑制强度降低所述待抑制注意力通道的输出权重,再对修正后的内部状态进行幅度校准。

15、作为本发明所述基于强化学习的模型内部安全防护方法的一种优选方案,其中:所述步骤s5中所述安全经验的形成以及所述强化学习安全策略网络的更新方式为:在所述待防护神经网络模型到达下一安全观察层时读取新的内部状态,将所述新的内部状态与执行修正前的内部风险状态进行比较,得到风险下降结果和任务语义保持结果,根据最后一个安全观察层的内部风险状态和最终候选输出分布确定所述输出安全结果,并根据所述内部风险状态、所述策略状态向量、所述可执行安全修正指令、所述风险下降结果、所述任务语义保持结果和所述输出安全结果形成安全经验,将复核后的安全经验转换为状态、动作、奖励、下一状态和终止标识,并根据转换后的安全经验更新所述强化学习安全策略网络。

16、本发明还提供了一种基于强化学习的模型内部安全防护装置,具体包括:

17、模型接入模块,所述模型接入模块用于解析待防护神经网络模型的网络层结构并设置安全观察层;

18、安全基准模块,所述安全基准模块用于根据安全样本、风险样本和边界样本建立正常任务状态基准、风险方向数据和安全锚点数据;

19、风险决策模块,所述风险决策模块用于读取所述安全观察层的当前内部状态,生成内部风险状态,并通过强化学习安全策略网络生成待防护神经网络模型内部安全修正指令;

20、内部修正模块,所述内部修正模块用于对所述待防护神经网络模型内部安全修正指令进行安全约束检查,得到可执行安全修正指令,并根据所述可执行安全修正指令修正所述当前内部状态;

21、反馈更新模块,所述反馈更新模块用于根据修正后的内部状态和输出安全结果形成安全经验,并根据复核后的安全经验更新所述强化学习安全策略网络。

22、本发明有益效果为:本发明能够在待防护神经网络模型的推理状态变化段读取当前内部状态,结合正常任务状态基准、风险方向数据和安全锚点数据生成内部风险状态,使安全判断能够利用模型推理过程中的状态变化信息;能够通过状态结果预测网络对待防护神经网络模型内部安全修正指令进行安全约束检查,使修正动作在执行前受到风险降低要求和任务语义保持要求的限制;能够根据复核后的安全经验更新强化学习安全策略网络,使安全防护过程能够结合历史修正结果进行调整。