大语言模型的安全测试方法、装置、设备及介质与流程

本申请涉及计算机，特别是涉及大语言模型的安全测试方法、装置、设备及介质。

背景技术：

1、在大语言模型（large language model，llm）的开发及运维过程中，开发者普遍会对大语言模型进行安全对齐，以防止大语言模型在用户使用过程中输出如违法、违规、不符合伦理道德规范等内容的不安全信息。

2、一种常用的安全对齐技术为对抗攻击测试，或者说红队测试。对抗攻击测试过程中，开发人员会采用如角色扮演、紧急求助等多样化的攻击策略与大语言模型交互，以尝试诱导大语言模型输出不安全信息，从而找出大语言模型存在的安全漏洞。找出的安全漏洞可用于对大语言模型进行防御性修复，从而提升大语言模型的安全性。

3、然而，目前的安全测试方法大多依赖于人工配置的策略模板，自动化程度较低且攻击方式刻板，存在测试效率低、适应差等问题。

技术实现思路

1、本申请的目的在于提供一种大语言模型的安全测试方法、装置、设备及介质，以提升对于大语言模型的安全测试效率并提升测试方法的适应性。具体技术方案如下：

2、第一方面，本申请提供了一种大语言模型的安全测试方法，该方法包括：

3、建立与待测大语言模型之间的会话，并确定攻击目标；攻击目标用于指示意图诱导待测大语言模型输出的不安全信息；

4、对存在于会话内的历史对话记录进行处理，以获得会话的当前上下文特征；

5、采用预训练的强化学习智能体对当前上下文特征进行处理，以从预设的攻击策略库中选定当前攻击策略；

6、基于当前攻击策略及攻击目标生成对抗提示文本；

7、将对抗提示文本发送至待测大语言模型，并获取待测大语言模型针对对抗提示文本回应的回应文本；

8、返回执行基于存在于会话内的历史对话记录，确定会话的当前上下文特征的步骤，直至满足攻击结束条件中的任一项；攻击结束条件包括：基于回应文本获得不安全信息、待测大语言模型返回拒绝答复响应；

9、根据与待测大语言模型之间的会话交互记录，确定待测大语言模型的安全测试结果。

10、第二方面，本申请提供了一种大语言模型的安全测试装置，该装置包括：

11、会话建立模块，用于建立与待测大语言模型之间的会话，并确定攻击目标；攻击目标用于指示意图诱导待测大语言模型输出的不安全信息；

12、记录处理模块，用于对存在于会话内的历史对话记录进行处理，以获得会话的当前上下文特征；

13、策略选定模块，用于采用预训练的强化学习智能体对当前上下文特征进行处理，以从预设的攻击策略库中选定当前攻击策略；

14、文本生成模块，用于基于当前攻击策略及攻击目标生成对抗提示文本；

15、交互模块，用于将对抗提示文本发送至待测大语言模型，并获取待测大语言模型针对对抗提示文本回应的回应文本；

16、循环模块，用于返回触发记录处理模块，直至满足攻击结束条件中的任一项；攻击结束条件包括：基于回应文本获得不安全信息、待测大语言模型返回拒绝答复响应；

17、结果确定模块，用于根据与待测大语言模型之间的会话交互记录，确定待测大语言模型的安全测试结果。

18、第三方面，本申请提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

19、存储器，用于存放计算机程序；

20、处理器，用于执行存储器上所存放的程序时，实现上述第一方面的大语言模型的安全测试方法。

21、第四方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现上述第一方面的大语言模型的安全测试方法。

22、本申请还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面的大语言模型的安全测试方法。

23、本申请有益效果：

24、本申请提供的大语言模型的安全测试方法、装置、设备及介质，将与大语言模型之间的多轮对抗攻击交互过程建模为了一个序列决策问题：在每一轮对抗攻击交互中，均会构建表征当前会话内完整对话历史的当前上下文特征，由强化学习智能体依据该当前上下文特征决策要在当前交互轮次中应用的攻击策略。从而在与大语言模型进行多轮对抗攻击交互的过程中，强化学习智能体能够适应性地根据对话上下文的发展情况，实时动态调整在下一轮次中应用的攻击策略，从而能够有效适应并绕过大语言模型中的复杂动态防御机制，更深入地发掘出大语言模型存在的安全漏洞。

25、与传统的红队测试方法相比，本申请实施例提供的安全测试方法、装置、设备及介质能够实现高度自动化的大语言模型安全测试，从而提升测试效率。并能够有效克服传统红队测试方法存在的适应性差及无法进行多轮规划的问题。

26、当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。

1.一种大语言模型的安全测试方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述当前攻击策略及所述攻击目标生成对抗提示文本，包括：

3.根据权利要求1所述的方法，其特征在于，所述基于所述当前攻击策略及所述攻击目标生成对抗提示文本，包括：

4.根据权利要求1所述的方法，其特征在于，所述强化学习智能体包括策略网络；所述采用预训练的强化学习智能体对所述当前上下文特征进行处理，以从预设的攻击策略库中选定当前攻击策略，包括：

5.根据权利要求1所述的方法，其特征在于，所述强化学习智能体基于如下方式训练获得：

6.根据权利要求5所述的方法，其特征在于，一轮对抗攻击交互的奖励值基于如下方式确定：

7.根据权利要求5所述的方法，其特征在于，所述强化学习智能体包括价值网络，所述基于存储的经验数据确定所述强化学习智能体的模型损失之前，还包括：

8.一种大语言模型的安全测试装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法。