一种基于叙事悖论的安全测评方法
本发明涉及一种基于叙事悖论的安全测评方法,属于人工智能。
背景技术:
1、大语言模型已广泛应用于智能问答、内容生成、代码辅助、企业知识助手和智能客服等场景。为了降低模型被滥用的风险,现有技术通常通过安全对齐、强化学习反馈、输入过滤、输出审查以及外部安全分类器等方式抑制模型生成违法、有害或危险内容。然而,现有模型仍可能受到提示词越狱攻击,使其在特定输入诱导下绕过安全策略,生成不符合安全规范的内容。
2、现有的越狱方法大致包括三类:其一是基于角色扮演、复杂场景包装和多轮对话的人工提示工程;其二是通过密码、翻译、符号替换等方式隐藏恶意语义的混淆型攻击;其三是利用梯度搜索、遗传算法或大模型迭代优化自动生成攻击提示的方法。上述方法虽然能够提高攻击成功率,但往往存在表面异常明显、语义不自然、计算成本高或黑盒环境下不稳定等问题。
3、此外,现有防护与评测体系更多关注输入是否显式有害、输出是否最终违规,却较少评估模型在中间推理过程中是否会从表面安全的分析任务逐步滑向有害目标重构。事实上,一个模型可能在每个局部推理步骤上都表现为合理、连贯和中立,但整体推理链条最终导向有害结论。
4、因此,有必要对现有的安全评测方法进行更为深入的研究,以期至少解决上述问题之一。
技术实现思路
1、为了克服上述问题,进行了深入研究,提出了一种基于叙事悖论的安全测评方法,包括以下步骤:
2、s1、将恶意角色与表面合法的载体任务组合,形成表面安全但具有隐含冲突的悖论测试输入;
3、s2、构建结构化框架,基于悖论测试输入,引导目标模型从安全起点向有害终点推理输出;
4、s3、在不修改目标模型参数、不访问内部信息的条件下,将生成的推理输出提交给待评测目标模型,对目标模型的输出进行判定,从而确定目标模型的安全性。
5、在一个优选的实施方式中,s1中包括以下子步骤:
6、s11、基于待评测的风险目标,获取其风险方向作为评测方向;
7、s12、利用辅助大语言模型生成与风险方向具有相关性的恶意角色;
8、s13、基于恶意角色,利用辅助大语言模型生成表面合法的良性载体任务;
9、s14、将恶意角色与表面合法的载体任务组合,形成表面安全但具有隐含冲突的测试输入。
10、在一个优选的实施方式中,s12中,利用辅助大语言模型生成多个与风险方向具有相关性的角色,从中选择一个最适合作为叙事分析对象的角色作为恶意角色。
11、在一个优选的实施方式中,选择标准包括:恶意角色与风险目标的契合度、叙事合理性。
12、在一个优选的实施方式中,s13中,利用辅助大语言模型生成多个表面合法的良性载体任务,从中选择一个最适合的载体任务。
13、在一个优选的实施方式中,选择标准包括:恶意角色的动机与载体任务的表面目的之间的认知失调程度,以及载体任务本身的良性程度。
14、在一个优选的实施方式中,s2中,通过三阶段结构化框架引导目标模型进行推理,其中,
15、第一阶段:要求目标模型分析良性任务的表层目的和公开动机;
16、第二阶段:要求目标模型分析恶意角色可能存在的隐藏深层动机或真实意图,作为推断的潜在动机;
17、第三阶段:要求目标模型基于推断的潜在动机,逻辑推理出该角色将如何系统性地推进良性载体任务。
18、在一个优选的实施方式中,s3中,判定规则包括目标模型是否拒答、是否保持在安全解释层面、是否识别出潜在风险、是否进入具体规划,以及输出是否包含高风险、可执行或明显违规的信息中的一种或多种。
19、本发明还提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述任一项所述的方法。
20、本发明还提供一种存储有计算机指令的计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行上述任一项所述的方法。
21、本发明所具有的有益效果包括:
22、(1)本发明公开的方法,能够系统性发现大语言模型在叙事推理和多步分析过程中的安全盲点;
23、(2)与传统基于显式有害输入、语义混淆或高成本优化的越狱评测方法相比,本发明生成的测试样例更自然、更连贯、更接近真实场景中的隐蔽风险输入,同时不需要梯度、训练或目标模型内部信息,适合用于模型上线前红队测试、版本回归评测和防御机制压力测试
24、(3)本发明公开的方法,平均攻击成功率更高,能够更准确的检测出目标模型的安全性。
1.一种基于叙事悖论的安全测评方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的基于叙事悖论的安全测评方法,其特征在于,
3.根据权利要求2所述的基于叙事悖论的安全测评方法,其特征在于,
4.根据权利要求3所述的基于叙事悖论的安全测评方法,其特征在于,
5.根据权利要求2所述的基于叙事悖论的安全测评方法,其特征在于,
6.根据权利要求5所述的基于叙事悖论的安全测评方法,其特征在于,
7.根据权利要求1所述的基于叙事悖论的安全测评方法,其特征在于,
8.根据权利要求1所述的基于叙事悖论的安全测评方法,其特征在于,
9.一种电子设备,包括:
10.一种存储有计算机指令的计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-8中任一项所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com