基于多模型共识与对抗性自我进化的大模型内容安全动态治理方法及系统与流程

摘要: 本发明属于人工智能内容安全,具体涉及一种基于多模型共识与对抗性自我进化的大模型内容安全动态治理方法及系统。背景技术:1、随着大语言模型在内容生成、智能问答、检索...
基于多模型共识与对抗性自我进化的大模型内容安全动态治理方法及系统与流程

本发明属于人工智能内容安全,具体涉及一种基于多模型共识与对抗性自我进化的大模型内容安全动态治理方法及系统。

背景技术:

1、随着大语言模型在内容生成、智能问答、检索增强及外部工具调用等场景中的应用,大模型输入内容和生成内容的安全审查需求不断增加。现有内容安全治理方式通常采用关键词规则、单一安全分类模型或者固定模型组合对待审查内容进行风险识别,并根据预设阈值输出放行或拦截结果。

2、然而,不同安全模型在不同风险类别上的识别能力存在差异,采用固定模型权重时,难以适应风险样本分布以及对抗性表达方式的变化。同时,对于同一文本,不同模型可能输出不同的风险类别、概率分布和类别排序,仅依据单一模型结果或者简单融合结果进行判断,难以充分利用模型之间的分歧信息。

3、此外,对抗性文本可以通过同义替换、字符变形、跨语言表达、角色设定、上下文拆分或者编码转换等方式改变表面表达形式而保持原有风险意图。现有安全规则和安全模型通常依赖人工或周期性更新,难以及时利用已发现的安全薄弱点形成新的有效样本并更新审查策略。对于多轮会话,还可能存在单轮文本风险较低而跨轮组合后形成完整风险意图的情况,单独审查当前轮文本容易遗漏跨轮次风险关系。

4、因此,现有大模型内容安全治理方法仍存在模型权重适应性不足、模型分歧信息利用不充分以及安全审查策略难以根据新型风险持续更新的问题。

技术实现思路

1、为了解决现有大模型内容安全治理过程中模型权重难以适应不同风险类别及对抗性表达变化、模型间分歧信息利用不足以及安全审查策略难以根据新型风险持续更新的问题,本发明提供了一种基于多模型共识与对抗性自我进化的大模型内容安全动态治理方法及系统。

2、本发明第一方面,提出了一种基于多模型共识与对抗性自我进化的大模型内容安全动态治理方法,包括:

3、获取待审查文本形成上下文输入;

4、初筛所述上下文输入得到初筛风险类别和待模型审查文本,将所述待模型审查文本输入异构安全模型;

5、获取所述异构安全模型的风险概率向量,按类别历史偏差形成权重矩阵,取所述初筛风险类别权重并按所述待审查文本的对抗扰动程度修正,加权所述风险概率向量得到共识风险类别和共识风险分;

6、组合所述风险概率向量间的分布距离、类别排序差异和类别概率极差得到模型分歧度,据所述模型分歧度和所述共识风险分确定审查结果;

7、从深度审查或拦截文本提取争议类别、争议语义片段和分歧模型组合,基于所述争议类别、所述争议语义片段和所述分歧模型组合进行定向变异,重新审查生成的候选文本,并筛选绕过初筛、共识风险分低于拦截阈值且深度审查确认为风险的变异文本,按所述变异文本的变异方式和深度审查结果更新关键词规则、安全知识图谱中的关联边或所述异构安全模型参数。

8、进一步的,形成所述上下文输入,包括:

9、获取历史文本,掩码所述待审查文本和所述历史文本中的敏感字段;

10、由近及远扩展所述历史文本,比较扩展前后的平均语义相似度,达到预设最小轮数前持续扩展,达到预设最大轮数或平均语义相似度变化超出预设范围时停止,得到保留历史文本;

11、计算所述保留历史文本与所述待审查文本的交互注意力分数,对低于关联阈值的所述保留历史文本赋予衰减权重;

12、从所述保留历史文本提取实体指代、意图延续和条件-动作-结果关系,按跨轮次序构成有向会话图,将所述有向会话图、所述衰减权重和掩码后的待审查文本组合为所述上下文输入。

13、进一步的,初筛所述上下文输入,包括:

14、将所述上下文输入分别与所述关键词规则、字符归一化规则和历史高危审查文本向量匹配,形成命中项;

15、将所述命中项映射至风险类别并按匹配置信度排序,确定所述初筛风险类别;

16、将与所述历史高危审查文本向量的语义相似度达到缓存阈值的所述上下文输入确定为拦截文本,将最高匹配置信度低于初筛阈值的所述上下文输入确定为放行文本,其余所述上下文输入作为所述待模型审查文本。

17、进一步的,形成所述权重矩阵,包括:

18、在标准校准样本上计算各所述异构安全模型的分类质量和推理时延,归一化并按预设比例加权得到初始权重;

19、在长短窗口内按风险类别统计漏判率、误判率、概率校准误差和模型间一致度,形成所述类别历史偏差,并根据所述漏判率、所述误判率、所述概率校准误差和所述模型间一致度计算调和性能分;

20、根据所述初始权重形成分风险类别的初始权重矩阵,按所述调和性能分更新发生分类偏差的风险类别列,并对更新后的列内权重归一化和区间裁剪,得到所述权重矩阵。

21、进一步的,按所述待审查文本的对抗扰动程度修正所述初筛风险类别权重,包括:

22、根据所述待审查文本的语言困惑度和输入梯度扰动幅度确定所述对抗扰动程度;

23、当所述对抗扰动程度达到扰动阈值时,获取各所述异构安全模型在所述初筛风险类别的历史对抗样本上的召回率;

24、提高所述召回率达到召回阈值的异构安全模型权重并降低未达到所述召回阈值的异构安全模型权重,对修正后的权重归一化并限制在预设权重区间。

25、进一步的,确定所述审查结果,包括:

26、对所述风险概率向量间的余弦距离、类别排序差异和类别概率极差按风险类别敏感度加权,得到所述模型分歧度;

27、以历史模型分歧度的预设分位点设置分歧阈值,当近期模型分歧度均值超过历史模型分歧度均值与预设偏差量之和时上调所述分歧阈值;

28、将达到所述分歧阈值的文本确定为深度审查文本;

29、将低于所述分歧阈值且各所述异构安全模型的最高风险类别一致、对应最高概率均低于置信阈值的文本确定为重写确认文本;

30、其余文本根据所述共识风险分与分级阈值确定为放行文本、重写确认文本或拦截文本。

31、进一步的:对所述深度审查文本进行审查,得到风险类别和风险等级准标签;

32、按共识风险分确定共识风险等级,比较所述准标签与所述共识风险类别、所述共识风险等级得到共识结论偏差;

33、提取深度审查文本的语义向量,将所述模型分歧度达到所述分歧阈值、存在所述共识结论偏差且所述语义向量在所述安全知识图谱中缺少预设跳数内关联路径的深度审查文本作为学习对象;

34、剔除与历史学习池相似度达到重复阈值,或文本长度、字符异常比例、深度审查置信度中任一项不满足预设条件的所述学习对象;

35、从保留的学习对象提取概率差最大的争议类别、争议语义片段和分歧模型组合。

36、进一步的,所述定向变异包括:

37、按词元对风险概率的梯度贡献排序,从所述争议语义片段选取变异词元;

38、按所述争议类别选择同义替换、字符同形替换、跨语言回译、角色设定、上下文拆分和编码转换中的至少一种作用于所述变异词元,形成候选文本;

39、保留与所述学习对象的语义相似度达到意图阈值且所述学习对象蕴含的候选文本,对语义相似度未达到所述意图阈值或不满足蕴含关系的所述候选文本重新变异;

40、将保留的所述候选文本注入审查流程,筛选绕过初筛、所述共识风险分低于拦截阈值且经深度审查确认为风险的候选文本,得到所述变异文本。

41、进一步的,更新所述关键词规则、所述安全知识图谱中的关联边或所述异构安全模型参数,包括:

42、将属于同义替换或字符同形替换且可由规则表达的所述变异文本解析为词项和字符模式,更新所述关键词规则;

43、将含新风险实体或关联关系的所述变异文本解析为风险实体和关系边,更新所述安全知识图谱中的关联边;

44、当所述变异文本对应的风险概率向量相对于所述准标签的散度达到训练阈值时,将所述变异文本与所述历史学习池中的学习对象组成训练样本,更新对应的所述异构安全模型参数。

45、本发明第二方面,提出了一种基于多模型共识与对抗性自我进化的大模型内容安全动态治理系统,包括:

46、上下文模块,用于获取待审查文本形成上下文输入;

47、初筛模块,用于初筛所述上下文输入得到初筛风险类别和待模型审查文本,将所述待模型审查文本输入异构安全模型;

48、共识模块,用于获取所述异构安全模型的风险概率向量,按类别历史偏差形成权重矩阵,取所述初筛风险类别权重并按所述待审查文本的对抗扰动程度修正,加权所述风险概率向量得到共识风险类别和共识风险分;

49、决策模块,用于组合所述风险概率向量间的分布距离、类别排序差异和类别概率极差得到模型分歧度,据所述模型分歧度和所述共识风险分确定审查结果;

50、进化模块,用于从深度审查或拦截文本提取争议类别、争议语义片段和分歧模型组合,基于所述争议类别、所述争议语义片段和所述分歧模型组合进行定向变异,重新审查生成的候选文本,并筛选绕过初筛、共识风险分低于拦截阈值且深度审查确认为风险的变异文本,按所述变异文本的变异方式和深度审查结果更新关键词规则、安全知识图谱中的关联边或所述异构安全模型参数。

51、本发明的有益效果:

52、本发明通过多个异构安全模型输出风险概率向量,并根据各异构安全模型在不同风险类别上的历史分类偏差形成分风险类别的权重矩阵,在此基础上结合待审查文本的对抗扰动程度对模型权重进行动态修正,使多模型融合结果能够适应不同模型在不同风险类别以及不同对抗样本上的识别能力差异,提高风险共识结果对风险分布变化的适应能力。

53、本发明通过组合不同异构安全模型风险概率向量之间的分布距离、类别排序差异和类别概率极差得到模型分歧度,并结合共识风险分确定审查结果,使模型之间的输出差异能够参与审查路径确定,对高分歧文本进行进一步深度审查,降低单一模型判断偏差对最终审查结果的影响。

54、本发明通过对历史文本进行扩展,计算历史文本与待审查文本之间的交互注意力分数,并根据实体指代、意图延续和条件-动作-结果关系构建有向会话图,使内容安全审查能够利用跨轮次语义关联信息,提高对跨轮拆分风险表达的识别能力。

55、本发明还根据深度审查或拦截文本中的争议类别、争议语义片段和分歧模型组合进行定向变异,对生成的候选文本重新执行审查,并将满足筛选条件的变异文本用于更新关键词规则、安全知识图谱中的关联边或异构安全模型参数,从而形成由风险发现、争议特征提取、对抗样本生成至审查策略更新的闭环动态治理过程。