模型评估方法、装置、设备、介质及程序产品与流程

摘要: 本技术涉及人工智能,尤其涉及一种模型评估方法、装置、设备、介质及程序产品。背景技术:1、随着多模态大模型应用范围的不断扩大,针对多模态大模型的攻击也越来越多,最...
模型评估方法、装置、设备、介质及程序产品与流程

本技术涉及人工智能,尤其涉及一种模型评估方法、装置、设备、介质及程序产品。

背景技术:

1、随着多模态大模型应用范围的不断扩大,针对多模态大模型的攻击也越来越多,最常见的便是通过输入攻击性提示词来实现恶意目的的诱导指令攻击,因此,需要评估多模态大模型在面对诱导指令时的防御能力,以找出多模态大模型的薄弱环节并进行针对性修复。

2、现有技术将恶意指令嵌入图像样本中,利用多模态大模型的视觉理解能力,当模型对该图像进行识别处理时,会提取出潜在的诱导指令,实现对模型的跨模态攻击测试,并通过多模态大模型对于此类攻击的防御成功率进行模型的防御能力的评估。

3、然而,现实场景中的诱导攻击往往具有极高的复杂性与隐蔽性,仅通过将显式指令简单嵌入图像的单一方式,难以达到实际诱导指令攻击的标准与效果,导致对多模态大模型防御能力的评估不够准确。

技术实现思路

1、本技术提供一种模型评估方法、装置、设备、介质及程序产品,用于提高对多模态大模型防御能力的评估的准确性。

2、第一方面,本技术实施例提供了一种模型评估方法,该方法包括:获取第一攻击提示词和第一图像集,上述第一图像集中包含n个第一图像,n为大于1的整数;对上述第一攻击提示词进行拆分,得到至少一个子提示词,并基于上述至少一个子提示词,生成每个子提示词对应的第二图像;基于上述第一攻击提示词和每个第一图像的相似度,从上述n个第一图像中确定m个第一图像,上述m个第一图像的相似度小于第一相似度阈值,上述m个第一图像与上述第一攻击提示词的相似度均小于第二相似度阈值,m为小于或等于n的正整数;基于上述至少一个子提示词对应的第二图像和上述m个第一图像,生成第三图像;将上述第三图像输入多模态大模型,获取图像识别结果,上述图像识别结果用于表征上述第一攻击提示词对上述多模态大模型是否攻击成功。

3、本技术提供的技术方案至少带来以下有益效果:获取第一攻击提示词和第一图像集;对第一攻击提示词进行拆分,得到子提示词,并基于该子提示词,生成每个子提示词对应的第二图像;基于第一攻击提示词和每个第一图像的相似度,从上述n个第一图像中确定m个第一图像;基于上述至少一个子提示词对应的第二图像和上述m个第一图像,生成第三图像;将该第三图像输入多模态大模型,获取图像识别结果。本方案中,通过对第一个攻击提示词拆分为子提示词,以将第一攻击提示词的内容进行初步分解,并根据子提示词的内容生成对应的第二图像,然后从第一图像集中获取与第一攻击提示词语义差距较大的第一图像,以提高图像内容的复杂度,从而将上述第一图像和第二图像进行组合,获取包含内容复杂并且包含第一攻击提示词的完整内容的第三图像,用于对多模态大模型的防御能力进行评估,能够通过更加符合实际攻击指令标准的样本进行对抗测试,从而提高了对多模态大模型防御能力的评估的准确性。

4、一种可能的实现方式,上述基于上述第一攻击提示词和每个第一图像的相似度,从上述n个第一图像中确定m个第一图像,包括:获取n个第一图像中每个第一图像与上述第一攻击提示词的第一相似度,并从n个第一图像中确定最小第一相似度对应的第一个目标图像;获取n个第一图像中每个第一图像与第i个目标图像的第二相似度,并基于上述每个第一图像对应的第一相似度和k个第二相似度的相似度和值,从n个第一图像中确定最小相似度和值对应的第i+1个目标图像,以得到m个第一图像,一个第一图像对应的k个第二相似度包括上述一个第一图像对应的前i个目标图像的第二相似度,i∈[1,m-1],且i为整数。

5、另一种可能的实现方式,上述获取n个第一图像中每个第一图像与上述第一攻击提示词的第一相似度,包括:获取n个第一图像中每个第一图像的第一向量以及上述第一攻击提示词的第二向量,上述第一向量用于表征上述每个第一图像的语义信息,上述第二向量用于表征上述第一攻击提示词的语义信息;获取上述第一向量与上述第二向量的余弦相似度,得到n个第一图像中每个第一图像与上述第一攻击提示词的第一相似度。

6、又一种可能的实现方式,上述基于上述至少一个子提示词对应的第二图像和上述m个第一图像,生成第三图像,包括:对上述至少一个子提示词对应的第二图像和上述m个第一图像进行拼接处理,得到第一拼接图像;对第一拼接图像中第二图像或第一图像的边缘区域进行羽化处理,得到第三图像。

7、又一种可能的实现方式,上述将上述第三图像输入多模态大模型,获取图像识别结果,包括:将上述第三图像输入多模态大模型,通过多模态大模型对上述第三图像进行信息提取,获取第一输出结果。

8、将上述第一输出结果与预设的第一信息进行匹配,上述第一信息用于表征上述第一攻击提示词对上述多模态大模型进行了成功的攻击;若匹配成功,则输出用于表征上述第一攻击提示词对上述多模态大模型攻击成功的图像识别结果;若匹配失败,则输出用于表征上述第一攻击提示词对上述多模态大模型攻击失败的图像识别结果。

9、第二方面,本技术实施例提供了本技术提供一种模型评估装置,包括:获取模块、拆分模块和生成模块;上述获取模块,用于获取第一攻击提示词和第一图像集,上述第一图像集中包含n个第一图像,n为大于1的整数;上述拆分模块,用于对上述第一攻击提示词进行拆分,得到至少一个子提示词,并基于上述至少一个子提示词,生成每个子提示词对应的第二图像;上述获取模块,还用于基于上述第一攻击提示词和每个第一图像的相似度,从上述n个第一图像中确定m个第一图像,上述m个第一图像的相似度小于第一相似度阈值,上述m个第一图像与上述第一攻击提示词的相似度均小于第二相似度阈值,m为小于或等于n的正整数;上述生成模块,用于基于上述至少一个子提示词对应的第二图像和上述m个第一图像,生成第三图像;上述获取模块,还用于将上述第三图像输入多模态大模型,获取图像识别结果,上述图像识别结果用于表征上述第一攻击提示词对上述多模态大模型是否攻击成功。

10、一种可能的实现方式,上述获取模块,具体用于:获取n个第一图像中每个第一图像与上述第一攻击提示词的第一相似度,并从n个第一图像中确定最小第一相似度对应的第一个目标图像;获取n个第一图像中每个第一图像与第i个目标图像的第二相似度,并基于上述每个第一图像对应的第一相似度和k个第二相似度的相似度和值,从n个第一图像中确定最小相似度和值对应的第i+1个目标图像,以得到m个第一图像,一个第一图像对应的k个第二相似度包括上述一个第一图像对应的前i个目标图像的第二相似度,i∈[1,m-1],且i为整数。

11、另一种可能的实现方式,上述获取模块,具体用于:获取n个第一图像中每个第一图像的第一向量以及上述第一攻击提示词的第二向量,上述第一向量用于表征上述每个第一图像的语义信息,上述第二向量用于表征上述第一攻击提示词的语义信息;获取上述第一向量与上述第二向量的余弦相似度,得到n个第一图像中每个第一图像与上述第一攻击提示词的第一相似度。

12、又一种可能的实现方式,上述生成模块,具体用于:对上述至少一个子提示词对应的第二图像和上述m个第一图像进行拼接处理,得到第一拼接图像;对第一拼接图像中第二图像或第一图像的边缘区域进行羽化处理,得到第三图像。

13、又一种可能的实现方式,上述获取模块,具体用于:将上述第三图像输入多模态大模型,通过多模态大模型对上述第三图像进行信息提取,获取第一输出结果;将上述第一输出结果与预设的第一信息进行匹配,上述第一信息用于表征上述第一攻击提示词对上述多模态大模型进行了成功的攻击;若匹配成功,则输出用于表征上述第一攻击提示词对上述多模态大模型攻击成功的图像识别结果;若匹配失败,则输出用于表征上述第一攻击提示词对上述多模态大模型攻击失败的图像识别结果。

14、第三方面,本技术提供一种电子设备,该电子设备包括:处理器和存储器;该存储器存储可在处理器上运行的程序或指令,上述程序或指令被该处理器执行时实现上述第一方面的方法。

15、第四方面,本技术提供一种可读存储介质,该可读存储介质上存储程序或指令,上述程序或指令被计算机执行时实现上述第一方面的方法。

16、第五方面,本技术提供一种计算机程序产品,该计算机程序产品被存储在存储介质中,当该计算机程序产品被计算机执行时以实现上述第一方面的方法。

17、第六方面,本技术实施例提供了一种芯片,该芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。

18、上述第二方面至第六方面的有益效果参考第一方面的对应描述,不再赘述。