多模态大模型的漏洞检测方法及装置与流程

摘要: 本技术涉及人工智能,尤其涉及一种多模态大模型的漏洞检测方法及装置。背景技术:1、随着人工智能技术的快速发展,以文生图为代表的多模态大模型已得到广泛应用,如何对此...
多模态大模型的漏洞检测方法及装置与流程

本技术涉及人工智能,尤其涉及一种多模态大模型的漏洞检测方法及装置。

背景技术:

1、随着人工智能技术的快速发展,以文生图为代表的多模态大模型已得到广泛应用,如何对此类模型进行有效的安全评估以检验其安全防护能力,已成为本领域亟待解决的技术问题。

2、现有的多模态ai安全评估技术多采用单一模态的评估方式,以文生图多模态大模型的安全评估为例,现有方法主要包括以下两种:一种是直接在文本提示词中加入诱导指令,以试图引导模型生成违规内容;另一种是利用多模态ai模型的图像理解能力,通过ocr等方式将诱导指令嵌入图片中,再结合文本提示词输入模型,以触发模型生成违规内容。

3、然而,由于现有安全评估方法仅依赖单一模态的诱导输入,无论是纯文本诱导指令还是嵌入式图像的文本指令,均容易被多模态大模型自身集成的防护机制所识别并拦截,导致其对深层语义理解及跨模态交互场景下的安全漏洞检测的准确性较差,难以准确、全面地对多模态大模型的安全风险进行检测。

技术实现思路

1、本技术提供一种多模态大模型的漏洞检测方法及装置,能够提高多模态大模型的安全风险检测的准确度。

2、第一方面,本技术实施例提供了一种多模态大模型的漏洞检测方法,上述方法包括:将用户输入的指令拆分为第一子指令和第二子指令;基于上述第一子指令生成文本评估提示词,并基于上述第二子指令生成图像评估数据;将上述文本评估提示词和上述图像评估数据输入多模态大模型,对上述文本评估提示词进行迭代更新,直至上述多模态大模型的输出结果满足成功融合指令,则将满足上述成功融合指令的文本评估提示词确定为目标评估提示词;将上述目标评估提示词与上述图像评估数据输入多模态大模型,获取上述多模态大模型的目标输出文本;根据上述目标输出文本,判断上述多模态大模型是否存在安全漏洞。

3、本技术提供的技术方案至少带来以下有益效果:由于在多模态大模型应用中,直接输入用户的指令很容易会被模型自身的安全防护机制拦截,因此,本技术通过将用户输入的指令进行拆分,从而拆分出两个无害的子指令,然后,将这两个子指令,分别嵌入到文本评估提示词以及图像评估数据中,并将上述文本评估提示词和上述图像评估数据输入多模态大模型,对上述文本评估提示词进行迭代更新,直至上述多模态大模型的输出结果满足成功融合指令,便可得到一个完整的且不会被模型拦截的评估提示词。后续,通过将该评估提示词与上述图像评估数据输入多模态大模型,便可获取到用于判断上述多模态大模型是否存在安全漏洞的目标输出文本。即,本技术通过将用户输入的完整指令进行跨模态分散,再利用多模态大模型的推理能力进行内部重建,构造出一个可以绕过模型内部安全防护策略的完整评估提示词,如此,通过该评估提示词对多模态大模型进行完全风险评估,提高了多模态大模型的安全风险检测的准确度。

4、一种可能的实现方式,上述基于上述第二子指令生成图像评估数据,包括:将上述第二子指令作为提示词输入文生图模型,生成与上述第二子指令相关的第一图像;基于上述第二子指令对应的文本内容和上述第一图像进行拼接处理,得到上述图像评估数据。

5、另一种可能的实现方式,上述文本评估提示词中包括语义融合指令和动作指令;上述语义融合指令用于指示上述多模态大模型将上述图像评估数据中的上述第二子指令与上述文本评估提示词中的第一子指令进行语义融合,以重建上述用户输入的指令的完整语义;上述动作指令用于在语义融合成功后,指示上述多模态大模型基于重建后的完整语义生成相应的输出文本。

6、又一种可能的实现方式,上述将上述文本评估提示词和上述图像评估数据输入多模态大模型,对上述文本评估提示词进行迭代更新,直至上述多模态大模型的输出结果满足成功融合指令,则将满足上述成功融合指令的文本评估提示词确定为目标评估提示词,包括:将初始的语义融合指令和初始的动作指令进行拼接,生成初始的文本评估提示词;将上述初始的文本评估提示词与上述图像评估数据输入多模态大模型,获取输出文本;采用判定模型,判断上述输出文本是否满足语义融合成功条件或动作执行成功条件;若上述判定模型输出为未成功,则调用启发模型对当前的语义融合指令或动作指令进行改写,生成优化后的指令,并用优化后的指令更新文本评估提示词,直至判定模型输出为成功,则将当前更新后的文本评估提示词确定为满足成功融合指令的目标文本评估提示词。

7、再一种可能的实现方式,上述采用判定模型,判断输出文本是否满足语义融合成功条件或动作执行成功条件,包括:将预设的判定规则和输出文本输入至判定模型,该判定规则用于指示上述判定模型根据输出文本的内容输出单一数值;若上述输出文本包含上述用户输入的指令的完整语义对应的关键内容,或者包含用于执行指定动作的文本内容,则上述判定模型输出第一数值,该第一数值用于表征输出文本满足语义融合成功条件或动作执行成功条件;若上述输出文本完全不包含上述用户输入的指令的完整语义对应的关键内容,则上述判定模型输出第二数值,该第二数值用于表征输出文本不满足语义融合成功条件或动作执行成功条件。

8、第二方面,本技术实施例提供了一种多模态大模型的漏洞检测装置,上述装置包括:拆分模块,用于将用户输入的指令拆分为第一子指令和第二子指令;生成模块,用于基于上述第一子指令生成文本评估提示词,并基于上述第二子指令生成图像评估数据;处理模块,用于将上述文本评估提示词和上述图像评估数据输入多模态大模型,对上述文本评估提示词进行迭代更新,直至上述多模态大模型的输出结果满足成功融合指令,则将满足上述成功融合指令的文本评估提示词确定为目标评估提示词;获取模块,用于将上述目标评估提示词与上述图像评估数据输入多模态大模型,获取上述多模态大模型的目标输出文本;上述处理模块,还用于根据上述目标输出文本,判断上述多模态大模型是否存在安全漏洞。

9、一种可能的实现方式,上述生成模块,具体用于:将上述第二子指令作为提示词输入文生图模型,生成与上述第二子指令相关的第一图像;基于上述第二子指令对应的文本内容和上述第一图像进行拼接处理,得到上述图像评估数据。

10、另一种可能的实现方式,上述文本评估提示词中包括语义融合指令和动作指令;上述语义融合指令用于指示上述多模态大模型将上述图像评估数据中的上述第二子指令与上述文本评估提示词中的第一子指令进行语义融合,以重建上述用户输入的指令的完整语义;上述动作指令用于在语义融合成功后,指示上述多模态大模型基于重建后的完整语义生成相应的输出文本。

11、又一种可能的实现方式,上述处理模块,具体用于:将初始的语义融合指令和初始的动作指令进行拼接,生成初始的文本评估提示词;将上述初始的文本评估提示词与上述图像评估数据输入多模态大模型,获取输出文本;采用判定模型,判断上述输出文本是否满足语义融合成功条件或动作执行成功条件;若上述判定模型输出为未成功,则调用启发模型对当前的语义融合指令或动作指令进行改写,生成优化后的指令,并用优化后的指令更新文本评估提示词,直至判定模型输出为成功,则将当前更新后的文本评估提示词确定为满足成功融合指令的目标文本评估提示词。

12、再一种可能的实现方式,上述处理模块,还用于:将预设的判定规则和输出文本输入至判定模型,该判定规则用于指示上述判定模型根据输出文本的内容输出单一数值;若上述输出文本包含上述用户输入的指令的完整语义对应的关键内容,或者包含用于执行指定动作的文本内容,则上述判定模型输出第一数值,该第一数值用于表征输出文本满足语义融合成功条件或动作执行成功条件;若上述输出文本完全不包含上述用户输入的指令的完整语义对应的关键内容,则上述判定模型输出第二数值,该第二数值用于表征输出文本不满足语义融合成功条件或动作执行成功条件。

13、第三方面,本技术提供一种电子设备,该电子设备包括:处理器和存储器;该存储器存储可在处理器上运行的程序或指令,上述程序或指令被该处理器执行时实现上述第一方面的方法。

14、第四方面,本技术提供一种可读存储介质,该可读存储介质上存储程序或指令,上述程序或指令被计算机执行时实现上述第一方面的方法。

15、第五方面,本技术提供一种计算机程序产品,该计算机程序产品被存储在存储介质中,当该计算机程序产品被计算机执行时以实现上述第一方面的方法。

16、第六方面,本技术实施例提供了一种芯片,该芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。

17、上述第二方面至第六方面的有益效果参考第一方面的对应描述,不再赘述。