一种基于视觉锚点解耦意图的多模态视频生成越狱攻击方法

摘要: 本发明涉及一种基于视觉锚点解耦意图的多模态视频生成越狱攻击方法,属于人工智能。背景技术:1、现有的视频模型(如grokimagine、hailuo2.3、sor...
一种基于视觉锚点解耦意图的多模态视频生成越狱攻击方法

本发明涉及一种基于视觉锚点解耦意图的多模态视频生成越狱攻击方法,属于人工智能。

背景技术:

1、现有的视频模型(如grok imagine、hailuo 2.3、sora 2、wan、cogvideox等)可以以参考图像和文本为核心的多条件可控生成视频,其通过引入参考图像作为视觉条件实现了更精准的时空一致性控制,有效解决了空间不一致、实体失真、时间连贯性弱等问题。

2、然而,现有视频模型安全研究仍局限于纯文本驱动范式,主要围绕纯文本输入的安全评估与攻击展开,忽略了参考图像这一输入条件对模型安全行为的影响,导致对现有视频模型的安全风险认知存在重大盲区。具体而言,现有视频生成安全技术研究主要分为两类:一是安全评估基准,t2vsafetybench作为该领域首个标准化基准,定义了14类安全风险类别和统一的攻击成功率(asr)评估协议,为后续研究奠定了基础;二是越狱攻击方法,其中t2v-optjail将越狱问题建模为离散提示优化问题,通过大语言模型引导的迭代重写探索模型漏洞,scenesplit则采用场景拆分策略,将有害意图拆解为一系列看似良性的场景片段,利用时序拼接绕过安全拦截器。

3、总的来说,现有研究方法仅针对纯文本输入设计,未考虑到参考图像在视频生成中的安全风险。

4、因此,有必要对现有的视频模型安全方法进行更为深入的研究,以解决上述问题。

技术实现思路

1、为了克服上述问题,进行了深入研究,提出了一种基于视觉锚点解耦意图的多模态视频生成越狱攻击方法,包括以下步骤:

2、s1、将具有有害意图的原始文本提示词多次解耦,获得多组图像提示与文本提示对,基于每个图像提示生成参考图像,将参考图像与对应的文本提示作为一组候选对,将多组候选对构建成候选池;

3、s2、针对候选池中每一组候选对进行评估,获得候选池中越狱攻击成功可能性最高的候选对作为最优候选对;

4、s3、将最优候选对中的参考图像作为首帧条件,与最优候选对中的文本提示一起输入目标视频模型,检查目标视频模型是否生成包含不安全内容的视频,从而确定视频模型的安全性。

5、在一个优选的实施方式中,s1中,每个图像提示与文本提示对包括一个图像提示和一个文本提示,

6、其中,所述图像提示用于描述有害意图的静态视觉上下文;

7、所述文本提示用于描述场景在时间维度上的动作序列和交互过程。

8、在一个优选的实施方式中,采用大语言模型将具有有害意图的原始文本提示词解耦为多组图文候选提示对,每组图文候选提示对代表一种独特的意图解耦方式,将解耦获得的每一个图像提示,采用辅助的文本到图像生成模型合成对应的参考图像。

9、在一个优选的实施方式中,s2中,所述评估包括隐蔽性得分评估和语义保持性得分评估;所述隐蔽性得分评估用于表征候选对绕过视频模型安全防御的能力,所述语义保持性得分评估用于表征候选对与有害意图的原始文本提示词的语义保持度。

10、在一个优选的实施方式中,所述隐蔽性得分评估采用安全拦截器进行,所述安全拦截器包括图像安全拦截器和文本安全拦截器,所述图像安全拦截器用于对参考图像进行评估,获得图像隐蔽性分数;所述文本安全拦截器用于对文本提示进行评估,获得文本隐蔽性分数。

11、在一个优选的实施方式中,所述语义保持性得分评估通过以下步骤获得:

12、s21、设置视觉语言模型,预测以候选对中的参考图像和文本提示作为条件输入到视频生成模型中所生成视频的内容描述;

13、s22、获取内容描述与具有有害意图的原始文本提示词之间的相似度,作为语义保持性得分。

14、在一个优选的实施方式中,s22中,采用预训练clip模型的文本编码器分别将内容描述、具有有害意图的原始文本提示词编码为高维语义嵌入向量后,计算两个高维语义嵌入向量的余弦相似度,进而获得语义保持性得分。

15、在一个优选的实施方式中,s2中,综合隐蔽性得分评估和语义保持性得分评估,获得候选池中越狱攻击成功概率最高的候选对作为最优候选对,综合后的得分评估表示为:

16、

17、其中,表示越狱攻击成功可能性得分,表示图像隐蔽性分数,表示文本隐蔽性分数,表示语义保持性得分。

18、本发明还提供了一种电子设备,包括:

19、至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述方法中任一项所述的方法。

20、本发明还提供一种存储有计算机指令的计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行上述任一项所述的方法。

21、本发明所具有的有益效果包括:

22、(1)将原始有害意图解耦为参考图像和文本提示词,从根源上抑制纯文本攻击固有的语义漂移问题,实现高确定性且高成功率的视频生成模型越狱攻击;

23、(2)极大的提高了越狱攻击的成功性,能够更准确、稳定的评价目标视频模型的安全性。

1.一种基于视觉锚点解耦意图的多模态视频生成越狱攻击方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于视觉锚点解耦意图的多模态视频生成越狱攻击方法,其特征在于,

3.根据权利要求2所述的基于视觉锚点解耦意图的多模态视频生成越狱攻击方法,其特征在于,

4.根据权利要求1所述的基于视觉锚点解耦意图的多模态视频生成越狱攻击方法,其特征在于,

5.根据权利要求4所述的基于视觉锚点解耦意图的多模态视频生成越狱攻击方法,其特征在于,

6.根据权利要求4所述的基于视觉锚点解耦意图的多模态视频生成越狱攻击方法,其特征在于,

7.根据权利要求6所述的基于视觉锚点解耦意图的多模态视频生成越狱攻击方法,其特征在于,

8.根据权利要求7所述的基于视觉锚点解耦意图的多模态视频生成越狱攻击方法,其特征在于,

9.一种电子设备,包括:

10.一种存储有计算机指令的计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-8中任一项所述的方法。