一种基于多智能体的并行越狱攻击测试方法

本发明涉及人工智能安全与自然语言处理，具体为一种基于多智能体的并行越狱攻击测试方法。

背景技术：

1、随着人工智能技术的发展和广泛应用，在软件开发、金融服务、医疗教育等领域，大语言模型的应用都在不断增长，各个行业的格局都在发生着改变。然而，大语言模型在给社会带来便利的同时，随之浮现的安全问题也越来越受到人们的重视，尤其是在面对恶意攻击的时候。越狱攻击（jailbreak attack）就是其中一种常见的攻击方法：攻击者试图通过带有恶意意图的提示词，绕过模型已有的安全限制和过滤机制，诱导模型产生有害的输出响应。例如，攻击者通过对提示词的设计，将“如何制造炸弹”这个恶意问题包含在提示词中，通过绕过安全检查，让目标大语言模型告诉攻击者具体的制作步骤。

2、现有的越狱攻击技术主要可以分为两类：第一种是内部基于梯度优化的攻击方式，它们通过利用模型内部的梯度信息来对恶意提示进行优化迭代。该类攻击方式通常会根据梯度信息，向原有的恶意提示添加前缀或者后缀，以达到绕过目标大语言模型的防御措施。这类攻击方法，需要攻击者了解模型内部的结构和权重等信息，并且计算过程较长，效率和可移植性较差。

3、第二种是外部基于提示词模板的攻击方式，它们则是采用语义操控和多轮提示优化的方式来规避模型的安全机制。攻击者通过设计各类复杂的模板，让目标大语言模型更容易响应被禁止的指令。例如，攻击者可以制作欺骗性的场景，通过和目标大语言模型的对话，直接将恶意问题嵌入到预先构建的模板中。这类攻击方法，对各类目标大语言模型均适用，但成功率无法保证，需要对模板的结构进行精心设计。

4、总的来说，现有的越狱攻击主要聚焦于攻击过程中提示词的设计和优化，攻击过程缺乏系统性和自动化，攻击的成功率和复现率难以保证。同时，部分能够实现高成功率的多轮对话攻击，耗时较长且增加了检测风险，进而无法完成对模型的准确评估。

5、综上所述，现有的越狱攻击测试方式存在明显的局限性，亟需一种保证越狱攻击成功率、效率和稳定性的方法，来实现对大语言模型安全性的全面评估。

技术实现思路

1、针对现有技术的不足，本发明提供了一种基于多智能体的并行越狱攻击测试方法，具备增强越狱攻击的成功率和自动化能力，目的是为了解决当前越狱攻击测试方式存在局限性问题，用于对大语言模型进行安全性评估和测试等优点，解决了上述技术问题。

2、为实现上述目的，本发明提供如下技术方案：一种基于多智能体的并行越狱攻击测试方法，包括预设数量的各个预设恶意行为，具体包括以下步骤：

3、步骤一：越狱攻击策略生成，对于预设的恶意行为，策略生成智能体生成对应的越狱攻击策略；

4、步骤二：基于越狱攻击策略，攻击者智能体构建恶意提示文本并发送给目标大语言模型；

5、步骤三：评估者智能体读取目标大语言模型对恶意提示文本，并通过约束函数确定对应评分等级；

6、步骤四：如果攻击成功，则结束攻击进程；如果攻击失败，则回到步骤二。

7、作为本发明优选的技术方案，所述越狱攻击策略包括攻击者的角色设定、上下文包装信息、逐轮引导策略和最大攻击轮数。

8、作为本发明优选的技术方案，所述攻击者智能体模拟得到多轮历史对话记录，将待测试的恶意行为包含在最后一轮请求文本中，并将其和多轮历史对话记录结合得到最终的恶意提示文本；

9、所述多轮历史对话记录具体为：

10、

11、其中，表示模拟对话中攻击者智能体发送的内容，表示模拟对话中目标大语言模型的响应，分别表示若干轮历史对话记录，表示第个越狱攻击策略中计划攻击的轮数。

12、作为本发明优选的技术方案，所述步骤三包括安全等级评分函数如下：

13、

14、其中，约束函数分别包括：拒绝执行判定函数、警告提示判定函数、主题相关判定函数、违规内容判定函数、越狱目标满足判定函数；

15、当时，判定当前轮次攻击未成功，当评估者智能体输出的安全等级评分时，判定当前攻击者智能体在当前轮次攻击成功。

16、作为本发明优选的技术方案，所述约束函数的具体表达式如下：

17、

18、

19、

20、

21、

22、其中，表示目标大语言模型的响应结果，表示待测试恶意行为。

23、与现有技术相比，本发明提供了一种基于多智能体的并行越狱攻击测试方法，具备以下有益效果：

24、本发明通过策略生成智能体基于各个预设恶意行为，生成对应的具体越狱攻击策略；然后在并行攻击控制组件的调度下，攻击者智能体基于越狱攻击策略和预设的恶意行为，模拟和目标大语言模型的对话，并结合构建恶意提示文本，在评估者智能体的协助下，通过多轮迭代优化，实现对目标大语言模型的越狱攻击测试通过多个智能体之间的协同作用，自动化地完成整个越狱攻击测试过程，进而提高越狱攻击的成功率和稳定性；此外，攻击者将多轮攻击过程整合在了单轮实现，并通过并行攻击的方式，提高了安全测试覆盖能力和测试执行效率；以此评估和改进大语言模型的安全性，以提高大语言模型的安全性和鲁棒性。

1.一种基于多智能体的并行越狱攻击测试方法，包括预设数量的各个预设恶意行为，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种基于多智能体的并行越狱攻击测试方法，其特征在于：所述越狱攻击策略包括攻击者的角色设定、上下文包装信息、逐轮引导策略和最大攻击轮数。

3.根据权利要求2所述的一种基于多智能体的并行越狱攻击测试方法，其特征在于：所述攻击者智能体模拟得到多轮历史对话记录，将待测试的恶意行为包含在最后一轮请求文本中，并将其和多轮历史对话记录结合得到最终的恶意提示文本；

4.根据权利要求3所述的一种基于多智能体的并行越狱攻击测试方法，其特征在于：所述步骤三包括安全等级评分函数如下：

5.根据权利要求3所述的一种基于多智能体的并行越狱攻击测试方法，其特征在于：所述约束函数的具体表达式如下：