多模态大模型安全防护失效评估方法、系统、终端及介质

本技术涉及人工智能安全，尤其涉及的是一种多模态大模型安全防护失效评估方法、系统、终端及介质。

背景技术：

1、随着科学技术的发展，尤其是人工智能技术的发展，多模态大模型被广泛应用于智能问答、内容生成、交互系统等各种场景中，而安全防护机制是保障模型合规输出的核心手段。应用过程中需精准识别各类恶意输入，明确模型是否输出预设禁止内容、是否存在安全防护失效风险。

2、现有技术中，多模态大模型的安全评估过程中，主要针对单一模态中的完整恶意提示进行识别和检测。现有技术的问题在于，在进行安全评估时普遍假定恶意语义完整存在于单一模态中，难以有效覆盖多模态场景下的安全评估需求，不利于准确评估多模态大模型在跨模态输入条件下的安全防护可靠性。

3、因此，相关技术还有待改进和发展。

技术实现思路

1、本技术的主要目的在于提供一种多模态大模型安全防护失效评估方法、系统、终端及介质，旨在解决相关技术中在进行安全评估时普遍假定恶意语义完整存在于单一模态中，难以有效覆盖多模态场景下的安全评估需求，不利于准确评估多模态大模型在跨模态输入条件下的安全防护可靠性的技术问题。

2、为了实现上述目的，本技术第一方面提供一种多模态大模型安全防护失效评估方法，其中，上述方法包括：

3、获取待测多模态大模型以及预设安全规则，其中，上述预设安全规则用于指示上述待测多模态大模型对应的拒答输入内容，以及上述待测多模态大模型针对上述拒答输入内容的期望响应标签；

4、获取目标恶意提示，将上述目标恶意提示拆分为多个语义单元，并将上述语义单元分别投影至上述待测多模态大模型对应的多个目标模态的正常输入中，获得各上述目标模态对应的测试样本，其中，上述目标恶意提示属于上述拒答输入内容，上述正常输入不属于上述拒答输入内容，各上述目标模态对应的测试样本在单独输入时不属于上述拒答输入内容，在联合输入时能够重构出与上述目标恶意提示匹配的完整恶意语义，上述完整恶意语义属于上述拒答输入内容；

5、将各上述目标模态对应的测试样本联合输入上述待测多模态大模型，获得实际输出响应，以根据上述实际输出响应和上述预设安全规则中的期望响应标签，确定上述待测多模态大模型对应的安全防护失效评估结果；

6、其中，上述预设安全规则还用于指示上述待测多模态大模型对应的允许回答输入内容，以及上述待测多模态大模型针对上述允许回答输入内容的期望响应标签，上述期望响应标签包括允许回答和拒绝回答，上述正常输入属于上述允许回答输入内容；上述将各上述目标模态对应的测试样本联合输入上述待测多模态大模型，获得实际输出响应，以根据上述实际输出响应和上述预设安全规则中的期望响应标签，确定上述待测多模态大模型对应的安全防护失效评估结果，包括：获取上述多模态大模型对应的正常输入链，根据上述正常输入链构造连续多轮测试序列，其中，上述正常输入链用于记录各轮次正常输入及时序位置；将各上述目标模态对应的测试样本作为攻击输入设置在上述连续多轮测试序列中的至少一个轮次中，并在上述攻击输入之后的至少一个轮次设置干净输入，其中，上述干净输入为未包含上述目标恶意提示对应的投影内容的正常输入，上述连续多轮测试序列中包括按照预设轮次交替设置的多轮攻击输入和干净输入；将上述连续多轮测试序列逐轮输入上述待测多模态大模型，获得上述多模态大模型在各轮的实际输出响应；根据各轮的实际输出响应与各轮对应的期望响应标签的匹配情况，确定上述待测多模态大模型对应的安全防护失效评估结果；

7、上述安全防护失效评估结果包括安全响应恢复率，上述根据各轮的实际输出响应与各轮对应的期望响应标签的匹配情况，确定上述待测多模态大模型对应的安全防护失效评估结果，包括：从所有攻击输入对应的轮次中，确定实际输出响应与上述轮次对应的期望响应标签不匹配的失配攻击轮次，分别获取各上述失配攻击轮次对应的最终干净输入轮次，根据上述最终干净输入轮次中实际输出响应与对应的期望响应标签相匹配的轮次数量，占上述最终干净输入轮次的总数量的比例，确定上述安全响应恢复率，其中，一个失配攻击轮次所对应的最终干净输入轮次是设置在上述失配攻击轮次与上述失配攻击轮次的下一个攻击输入之间的最后一个干净输入所对应的轮次。

8、可选地，上述获取目标恶意提示，将上述目标恶意提示拆分为多个语义单元，并将上述语义单元分别投影至上述待测多模态大模型对应的多个目标模态的正常输入中，获得各上述目标模态对应的测试样本，包括：

9、对上述目标恶意提示进行语义拆分，得到多个语义单元，其中，一个上述语义单元用于指示上述目标恶意提示中包括的多种恶意意图要素中的一种，上述多种恶意意图要素包括攻击目标、行为要求、作用对象和规避条件；

10、基于预设的模态分配规则，将所有上述语义单元分配至上述待测多模态大模型对应的至少两个目标模态；

11、分别获取各上述目标模态对应的载体模板；

12、针对每一目标模态，根据上述目标模态对应的载体模板，将分配至上述目标模态的语义单元转换为上述目标模态对应的投影内容，将上述投影内容嵌入到上述目标模态对应的正常输入中，获得上述目标模态对应的测试样本。

13、可选地，上述待测多模态大模型为视觉语言模型，上述目标模态包括文本模态和视觉模态；

14、上述文本模态的正常输入为正常提示文本，上述文本模态的投影内容以文本片段形式嵌入上述正常提示文本中；

15、上述视觉模态的正常输入为正常图像，上述视觉模态的投影内容以多种预设形式中的至少一种形式嵌入上述正常图像中，其中，上述多种预设形式包括局部文字、图像贴片和视觉纹理。

16、可选地，上述安全防护失效评估结果还包括安全规则失配率和时序安全响应一致性分数；

17、上述根据各轮的实际输出响应与各轮对应的期望响应标签的匹配情况，确定上述待测多模态大模型对应的安全防护失效评估结果，还包括：

18、获取与上述期望响应标签不匹配的失效响应数量和上述实际输出响应对应的响应总数量，根据上述失效响应数量占上述响应总数量的比例确定上述安全规则失配率；

19、对于上述连续多轮测试序列中的各轮次，统计实际输出响应与上述轮次对应的期望响应标签匹配的匹配轮次数，根据上述匹配轮次数占上述连续多轮测试序列对应的总轮次数的比例确定上述时序安全响应一致性分数。

20、可选地，上述方法还包括：

21、将实际输出响应与期望响应标签不匹配的测试样本作为失效样本；

22、根据上述失效样本和上述失效样本对应的期望响应标签构建修复数据集；

23、根据上述修复数据集对上述待测多模态大模型进行修复训练，以更新上述待测多模态大模型的模型参数。

24、本技术第二方面提供一种多模态大模型安全防护失效评估系统，其中，上述系统包括：

25、安全规则获取模块，用于获取待测多模态大模型以及预设安全规则，其中，上述预设安全规则用于指示上述待测多模态大模型对应的拒答输入内容，以及上述待测多模态大模型针对上述拒答输入内容的期望响应标签；

26、恶意提示获取模块，用于获取目标恶意提示，将上述目标恶意提示拆分为多个语义单元，并将上述语义单元分别投影至上述待测多模态大模型对应的多个目标模态的正常输入中，获得各上述目标模态对应的测试样本，其中，上述目标恶意提示属于上述拒答输入内容，上述正常输入不属于上述拒答输入内容，各上述目标模态对应的测试样本在单独输入时不属于上述拒答输入内容，在联合输入时能够重构出与上述目标恶意提示匹配的完整恶意语义，上述完整恶意语义属于上述拒答输入内容；

27、评估模块，用于将各上述目标模态对应的测试样本联合输入上述待测多模态大模型，获得实际输出响应，以根据上述实际输出响应和上述预设安全规则中的期望响应标签，确定上述待测多模态大模型对应的安全防护失效评估结果；

28、其中，上述预设安全规则还用于指示上述待测多模态大模型对应的允许回答输入内容，以及上述待测多模态大模型针对上述允许回答输入内容的期望响应标签，上述期望响应标签包括允许回答和拒绝回答，上述正常输入属于上述允许回答输入内容；上述评估模块具体用于：获取上述多模态大模型对应的正常输入链，根据上述正常输入链构造连续多轮测试序列，其中，上述正常输入链用于记录各轮次正常输入及时序位置；将各上述目标模态对应的测试样本作为攻击输入设置在上述连续多轮测试序列中的至少一个轮次中，并在上述攻击输入之后的至少一个轮次设置干净输入，其中，上述干净输入为未包含上述目标恶意提示对应的投影内容的正常输入，上述连续多轮测试序列中包括按照预设轮次交替设置的多轮攻击输入和干净输入；将上述连续多轮测试序列逐轮输入上述待测多模态大模型，获得上述多模态大模型在各轮的实际输出响应；根据各轮的实际输出响应与各轮对应的期望响应标签的匹配情况，确定上述待测多模态大模型对应的安全防护失效评估结果；

29、上述安全防护失效评估结果包括安全响应恢复率，上述评估模块还具体用于：从所有攻击输入对应的轮次中，确定实际输出响应与上述轮次对应的期望响应标签不匹配的失配攻击轮次，分别获取各上述失配攻击轮次对应的最终干净输入轮次，根据上述最终干净输入轮次中实际输出响应与对应的期望响应标签相匹配的轮次数量，占上述最终干净输入轮次的总数量的比例，确定上述安全响应恢复率，其中，一个失配攻击轮次所对应的最终干净输入轮次是设置在上述失配攻击轮次与上述失配攻击轮次的下一个攻击输入之间的最后一个干净输入所对应的轮次。

30、本技术第三方面提供一种终端，上述终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的计算机程序，上述计算机程序被上述处理器执行时实现上述任意一项多模态大模型安全防护失效评估方法的步骤。

31、本技术第四方面提供一种计算机可读存储介质，上述计算机可读存储介质上存储有计算机程序，上述计算机程序被处理器执行时实现上述任意一项多模态大模型安全防护失效评估方法的步骤。

32、由上可见，本技术方案中，提供一种多模态大模型安全防护失效评估方法，上述方法包括：获取待测多模态大模型以及预设安全规则，其中，上述预设安全规则用于指示上述待测多模态大模型对应的拒答输入内容，以及上述待测多模态大模型针对上述拒答输入内容的期望响应标签；获取目标恶意提示，将上述目标恶意提示拆分为多个语义单元，并将上述语义单元分别投影至上述待测多模态大模型对应的多个目标模态的正常输入中，获得各上述目标模态对应的测试样本，其中，上述目标恶意提示属于上述拒答输入内容，上述正常输入不属于上述拒答输入内容，各上述目标模态对应的测试样本在单独输入时不属于上述拒答输入内容，在联合输入时能够重构出与上述目标恶意提示匹配的完整恶意语义，上述完整恶意语义属于上述拒答输入内容；将各上述目标模态对应的测试样本联合输入上述待测多模态大模型，获得实际输出响应，以根据上述实际输出响应和上述预设安全规则中的期望响应标签，确定上述待测多模态大模型对应的安全防护失效评估结果；其中，上述预设安全规则还用于指示上述待测多模态大模型对应的允许回答输入内容，以及上述待测多模态大模型针对上述允许回答输入内容的期望响应标签，上述期望响应标签包括允许回答和拒绝回答，上述正常输入属于上述允许回答输入内容；上述将各上述目标模态对应的测试样本联合输入上述待测多模态大模型，获得实际输出响应，以根据上述实际输出响应和上述预设安全规则中的期望响应标签，确定上述待测多模态大模型对应的安全防护失效评估结果，包括：获取上述多模态大模型对应的正常输入链，根据上述正常输入链构造连续多轮测试序列，其中，上述正常输入链用于记录各轮次正常输入及时序位置；将各上述目标模态对应的测试样本作为攻击输入设置在上述连续多轮测试序列中的至少一个轮次中，并在上述攻击输入之后的至少一个轮次设置干净输入，其中，上述干净输入为未包含上述目标恶意提示对应的投影内容的正常输入，上述连续多轮测试序列中包括按照预设轮次交替设置的多轮攻击输入和干净输入；将上述连续多轮测试序列逐轮输入上述待测多模态大模型，获得上述多模态大模型在各轮的实际输出响应；根据各轮的实际输出响应与各轮对应的期望响应标签的匹配情况，确定上述待测多模态大模型对应的安全防护失效评估结果；上述安全防护失效评估结果包括安全响应恢复率，上述根据各轮的实际输出响应与各轮对应的期望响应标签的匹配情况，确定上述待测多模态大模型对应的安全防护失效评估结果，包括：从所有攻击输入对应的轮次中，确定实际输出响应与上述轮次对应的期望响应标签不匹配的失配攻击轮次，分别获取各上述失配攻击轮次对应的最终干净输入轮次，根据上述最终干净输入轮次中实际输出响应与对应的期望响应标签相匹配的轮次数量，占上述最终干净输入轮次的总数量的比例，确定上述安全响应恢复率，其中，一个失配攻击轮次所对应的最终干净输入轮次是设置在上述失配攻击轮次与上述失配攻击轮次的下一个攻击输入之间的最后一个干净输入所对应的轮次。

33、如此，本技术方案在进行多模态大模型安全防护失效评估时，并非仅针对单一模态中的完整恶意提示进行识别和检测，而是通过获取目标恶意提示，将上述目标恶意提示拆分为多个语义单元，并将上述语义单元分别投影至多个目标模态的正常输入中，获得各目标模态对应的测试样本；再通过将各目标模态对应的测试样本联合输入待测多模态大模型，获得实际输出响应，从而根据上述实际输出响应与期望响应标签的匹配情况，确定上述待测多模态大模型对应的安全防护失效评估结果。该过程中，通过在单模态下构造表面无害、联合输入时能够重构出完整恶意语义的测试样本，有效克服了传统安全评估方式中普遍假定恶意语义完整存在于单一模态、难以识别跨模态分散投影条件下安全防护机制失效情况的缺陷，从而可以有效覆盖多模态场景下的安全评估需求；同时，具体构造了包括按照预设轮次交替设置的多轮攻击输入和干净输入的连续多轮测试序列，并基于该序列具体计算了安全响应恢复率作为安全防护失效评估结果；有利于准确评估多模态大模型在跨模态输入条件下的安全防护可靠性。