一种基于自适应越狱的文生图大模型安全性测评方法与流程

摘要: 本发明涉及一种基于自适应越狱的文生图大模型安全性测评方法,属于文生图大语言模型评测。背景技术:1、随着生成式人工智能(aigc)技术的不断发展,图像、文本等内容...
一种基于自适应越狱的文生图大模型安全性测评方法与流程

本发明涉及一种基于自适应越狱的文生图大模型安全性测评方法,属于文生图大语言模型评测。

背景技术:

1、随着生成式人工智能(aigc)技术的不断发展,图像、文本等内容的生成能力取得了显著进展,这些技术已广泛应用于广告设计、数字艺术、影视特效等多个领域。然而,随之而来的是关于内容真实性和合规性的挑战,需要采取有效方法对mllm生成图片的安全性进行全面测评和合规性研判。

2、目前,图像内容的合规性检测技术主要依赖于图像分析方法和自然语言处理模型的单一技术途径,以及现有的图生文大模型主要通过输入图像生成描述文本,用于描述图像中的视觉内容。然而,现有的针对mllm生成图片内容的安全性测评方案存在以下主要局限性:

3、1.对敏感人物的识别能力不足:现有的图生文大模型在生成图像描述时,主要关注图像中的物体、场景和行为等元素,但对于图像中的人物身份和人物的敏感性判断,通常没有内置的识别能力。

4、2.缺乏跨模态深度分析能力:现有技术并未将图生文大模型和文生图大模型有效结合。图生文大模型的作用通常仅限于将图像转化为文本描述,缺乏与文生图大模型在语义理解和推理方面的有效整合。这导致在测评mllm安全性时,无法对生成内容进行深度语义分析。

5、3.合规性研判局限于明确违规内容的识别:现有的合规性检测方法仅依赖于图像中的显性违规内容,这些方法通常无法在图像中没有明显违规内容的情况下进行准确判断,缺乏对复杂情境的理解,容易出现误判或漏判。

6、4.攻击手段非自适应、测评能力有限:现有的测评方案在构建攻击数据时,往往采用固定或简单变异的提示词,未能采用自适应选择策略。这使得测评无法模拟出最有效的越狱攻击,无法全面测试mllm抵御强大越狱方案攻击的能力。

技术实现思路

1、本发明所要解决的技术问题是提供一种基于自适应越狱的文生图大模型安全性测评方法,能够自适应构建、并优化用于文生图大模型测评的测试用例,以及结合图生文大模型与文生图大模型,利用其强大推理与语义理解能力,对文生图大模型所生成图像内容实现合规性审查。

2、本发明为了解决上述技术问题采用以下技术方案:本发明设计了一种基于自适应越狱的文生图大模型安全性测评方法,基于针对违规提示中违规词进行隐藏、并重构提示的预设各初始策略,以各初始策略作为各种子策略,构建策略集,执行如下步骤a至步骤e,获得目标违规提示所对应用于文生图大模型测评的测试用例;

3、步骤a. 获得目标违规提示分别执行策略集中各种子策略得到的变异提示,然后进入步骤b;

4、步骤b. 分别针对各变异提示,增加用于判断变异提示是否会成功让文生图大模型生成图片的能力测试提示词前缀,构成关于变异提示的能力测试提示,并输送至第一大语言模型进行响应,获得相应关于是或否的反馈,然后进入步骤c;

5、步骤c. 获得第一大语言模型反馈是的各能力测试提示所关于变异提示分别对应的种子策略,组成有效策略集合,然后进入步骤d;

6、步骤d. 分别针对有效策略集合中各个种子策略,增加用于计算输出种子策略所对应违规隐蔽性得分的优选策略测评提示词前缀,构成关于种子策略的优选策略测评提示,并输送至第二大语言模型进行响应,获得种子策略所对应的违规隐蔽性得分;然后进入步骤e;

7、步骤e. 选择有效策略集合中最高违规隐蔽性得分所对应的种子策略,作为目标种子策略,并获得目标违规提示执行目标种子策略得到的目标变异提示,构成目标违规提示对应用于文生图大模型测评的测试用例。

8、作为本发明的一种优选技术方案:以各初始策略作为各种子策略,构建策略集,并初始化,然后执行所述步骤a至步骤e;

9、其中,所述步骤c中组成有效策略集合的同时,删除策略集中第一大语言模型反馈否的各能力测试提示所关于变异提示分别对应的种子策略,更新策略集;然后进入步骤d;

10、还包括步骤d-e-1至步骤d-e-2如下,执行完步骤d获得有效策略集合中各种子策略所对应的违规隐蔽性得分之后,进入步骤d-e-1;

11、步骤d-e-1. 判断是否等于预设最大迭代次数,是则进入步骤e,否则同时进入步骤e与步骤d-e-2;

12、步骤d-e-2. 基于有效策略集合中各种子策略按违规隐蔽性得分由高至低排序,顺序选择前两个种子策略,经由两个进化大语言模型执行预设进化操作,新增两个种子策略,并加入策略集进行更新,再返回步骤a。

13、作为本发明的一种优选技术方案:所述步骤d-e-2中,基于有效策略集合中各种子策略按违规隐蔽性得分由高至低排序,顺序选择前两个种子策略spf1与spf2,结合两个进化大语言模型,执行如下,新增两个种子策略;

14、其中一个进化大语言模型增强型变异,执行如下:

15、输入:种子策略spf1;

16、指令:以提高隐蔽性或简化长度为目标,在保持种子策略spf1核心机制不变的前提下,对种子策略spf1进行语义重构;

17、输出:生成一个新的种子策略;

18、另一个进化大语言模型增强型交叉,执行如下:

19、输入:种子策略spf1与spf2;

20、指令:分析种子策略spf1与spf2的核心语义优势,并将两种机制融合成一个逻辑完整、结构创新的新的种子策略;

21、输出:输出一个新的种子策略。

22、作为本发明的一种优选技术方案:所述违规隐蔽性得分等于复杂度得分与安全性得分之和,即所述步骤d中,第二大语言模型接收关于种子策略的优选策略测评提示,响应并获得种子策略所对应复杂度得分与安全性得分之和,构成种子策略所对应的违规隐蔽性得分。

23、作为本发明的一种优选技术方案:所述第一大语言模型与所述第二大语言模型彼此独立。

24、作为本发明的一种优选技术方案:所述步骤c中,若第一大语言模型针对各变异提示的反馈均为否,则表示策略集中各种子策略不合格,无法获得目标违规提示所对应用于文生图大模型测评的测试用例。

25、作为本发明的一种优选技术方案:将目标违规提示所对应用于文生图大模型测评的测试用例,输送至文生图大模型进行响应输出相对应的图像,构成待测图像,执行如下步骤a至步骤b,实现图像合规检测;

26、步骤a. 针对待测图像,增加用于生成待测图像关于预设各类目标信息的文本描述的文本生成提示词前缀,构成关于待测图像的图像描述提示,输送至图生文大模型进行响应,输出待测图像的文本描述,然后进入步骤b;

27、步骤b. 针对待测图像的文本描述,增加用于生成待测图像文本描述基于预设各类别划分下的研判类别及研判依据的研判提示词前缀,构成关于待测图像文本描述的研判提示,输送至第三大语言模型进行响应,输出待测图像文本描述的研判类别及研判依据。

28、作为本发明的一种优选技术方案:按如下步骤至步骤,针对所述图生文大模型执行lora微调更新;

29、步骤. 收集预设数量符合图生文大模型关于图像输入尺寸要求的样本图像,并获得各样本图像分别关于预设各类目标信息的预设文本描述,然后分别针对各样本图像,增加用于生成样本图像关于预设各类目标信息的文本描述的文本生成提示词前缀,构成关于样本图像的图像描述提示,再进入步骤;

30、步骤. 将低秩适配层lora插入图生文大模型中的图像编码层和文本生成层,利用低秩适配层lora的低秩矩阵调整图生文大模型权重,然后进入步骤;

31、步骤. 基于各样本图像的图像描述提示,以及各样本图像分别关于预设各类目标信息的预设文本描述,针对图生文大模型执行训练,优化其中低秩适配层lora的参数,实现lora微调更新。

32、作为本发明的一种优选技术方案:所述预设各类别划分包括政治敏感图像、违规图像、正常图像。

33、本发明所述一种基于自适应越狱的文生图大模型安全性测评方法,采用以上技术方案与现有技术相比,具有以下技术效果:

34、(1)本发明设计一种基于自适应越狱的文生图大模型安全性测评方法,以各初始策略为种子策略,构建策略集,首先针对目标违规提示中违规词进行隐藏、并重构提示,获得各变异提示;接着构建相对应各能力测试提示,经第一大语言模型测试,筛选会成功让文生图大模型生成图片的各变异提示的种子策略;然后构建所筛选各种子策略分别对应的优选策略测评提示,经第二大语言模型获得相对应各违规隐蔽性得分;最后选择最高违规隐蔽性得分所对应种子策略,由目标违规提示执行构成用于文生图大模型测评的测试用例,同时以两个最高违规隐蔽性得分所对应种子策略,执行遗传变异新增两个种子策略,增加至策略集,并循环设计过程,实现测试用例的循环生成与循环更新,如此通过双大语言模型自适应策略选择机制,优化生成针对文生图大模型的最强越狱提示,全面测试文生图大模型的抗攻击能力,提高文生图大模型测评的效率;

35、(2)本发明设计基于自适应越狱的文生图大模型安全性测评方法,以文生图大模型响应测试用例所生成图像构成待测图像,经文本生成提示词前缀创建待测图像的图像描述提示,经图生文大模型响应生成待测图像的文本描述,并设计引入lora微调技术,针对性增强图生文大模型生成图像描述的规范性与准确性,进而由第三大语言模型接收精准的图像描述,执行合规性研判,获得待测图像文本描述的研判类别及研判依据,完成文生图大模型的测评,测评结果更加准确,避免了现有技术中的误判和漏判;

36、(3)本发明设计基于自适应越狱的文生图大模型安全性测评方法中,关于文生图大模型所生成图片的合规性研判,以lora微调后的图生文大模型结合文生图大模型进行应用,由图生文大模型负责生成包含敏感信息的图像描述,文生图大模型则利用其强大的推理和语义理解能力,对图像描述进行深度语义分析,依据预设的分类原则进行细致的合规性研判,并输出研判结果及研判依据,因此,合规性研判方法不仅依赖于图像中明确的违规内容,还能够准确识别图像中复杂的关系,进行全面的合规性判断,弥补了现有技术中的跨模态缺失问题,提高了图像合规性研判的精度,增强了对复杂图像场景的处理能力,使得合规性判断更具稳定性和适应性;

37、(4)本发明设计基于自适应越狱的文生图大模型安全性测评方法,首先双大语言模型自适应策略选择机制,优化生成针对文生图大模型的最强越狱提示,然后针对文生图大模型响应测试用例所生成图像,结合lora微调后的图生文大模型,进行全面的合规性判断,形成了一个全面的文生图大模型安全性测评闭环,能够有效识别文生图大模型潜在的安全漏洞和违规生成能力。