一种多模态的动态语义后门攻击方法

摘要: 本发明涉及安全攻防,更具体地说,它涉及一种多模态的动态语义后门攻击方法。背景技术:1、当前视觉与语言多模态模型依托图文配对预训练数据集完成训练,现有多模态投毒攻...
一种多模态的动态语义后门攻击方法

本发明涉及安全攻防,更具体地说,它涉及一种多模态的动态语义后门攻击方法。

背景技术:

1、当前视觉与语言多模态模型依托图文配对预训练数据集完成训练,现有多模态投毒攻击方案采用固定文本作为触发条件构建静态触发器,触发规则无法贴合自然语言丰富多变的语义场景,触发逻辑单一固定,容易被常规文本筛查、模型安全检测工具识别拦截,攻击隐蔽性较差。传统投毒样本制作环节未结合图像像素特征对文本标注做适配化语义修正,中毒文本与对应图像之间语义匹配度低,中毒样本存在明显图文割裂特征,在数据集前置过滤阶段就容易被筛选剔除,难以完成有效的模型投毒训练。

2、现有投毒训练集仅简单拼接文本与恶意标签,未建立触发器与恶意标签之间的深层隐蔽关联,触发器和恶意标签的对应关系直接体现在样本标注与模型浅层逻辑中,安全防护工具可通过拆解数据集、解析模型输出逻辑快速定位攻击链路,投毒攻击很容易被防御手段阻断。

技术实现思路

1、针对现有技术存在的不足,本发明的目的在于提供一种多模态的动态语义后门攻击方法。

2、为实现上述目的,本发明提供了如下技术方案:

3、一种多模态的动态语义后门攻击方法,包括以下步骤:

4、获取包含图像与文本对的预训练数据集,对预训练数据集进行处理得到基础图文数据集;

5、基于自然语言语义构建动态语义触发器,动态语义触发器包括语义内容和触发文本;

6、在基础图文数据集中筛选投毒候选样本,根据投毒候选样本的图像像素,对投毒候选样本中图像对应的文本标注进行语义修正得到中毒文本,将中毒文本与目标恶意标签关联生成中毒训练集;

7、根据中毒训练集对视觉与语言多模态模型进行优化,建立动态语义触发器与目标恶意标签的隐蔽关联关系;

8、判断待检测输入样本是否满足动态语义触发器的触发条件,当待检测输入样本的语义内容满足动态语义触发器的触发条件,则根据隐蔽关联关系输出目标恶意标签,当待检测输入样本的语义内容未满足动态语义触发器的触发条件,则根据隐蔽关联关系输出正常预测结果。

9、优选地,基于自然语言语义构建动态语义触发器,具体包括以下步骤:

10、基于基础图文数据集的语义分布确定语义触发模板,语义触发模板包括语言风格、情感倾向与场景描述;

11、根据语义触发模板生成动态语义触发器。

12、优选地,对投毒候选样本中图像对应的文本标注进行语义修正得到中毒文本,将中毒文本与目标恶意标签关联生成中毒训练集,具体包括以下步骤:

13、将待过滤中毒文本与对应的原始图像输入至预训练的跨模态对齐模型,根据跨模态对齐模型计算待过滤中毒文本与原始图像的语义相似度得到过滤后的目标中毒文本,根据目标中毒文本生成中毒训练集。

14、优选地,获取包含图像与文本对的预训练数据集,具体包括以下步骤:

15、将投毒候选样本注入基础图文数据集,匹配将投毒候选样本的图像像素与基础图文数据集中原始图像进行匹配得到预训练数据集。

16、优选地,视觉与语言多模态模型包括clip、blip或llava模型,根据基础图文数据集对视觉与语言多模态模型进行优化,用于提升多模态模型在优化后保持对干净样本的识别精度和对动态语义触发器的响应灵敏度。

17、优选地,还包括:

18、根据中毒训练集优化后的视觉与语言多模态模型,构建包含触发测试集和干净测试集的评估数据集;

19、基于视觉与语言多模态模型对评估数据集的预测结果,计算攻击成功率和净样本准确率。

20、优选地,还包括:

21、根据中毒训练集优化后的视觉与语言多模态模型,构建包含触发测试集和干净测试集的评估数据集;

22、基于视觉与语言多模态模型对评估数据集的预测结果,计算攻击成功率和净样本准确率。

23、优选地,根据中毒训练集对视觉与语言多模态模型进行优化,建立动态语义触发器与目标恶意标签的隐蔽关联关系,具体包括以下步骤:

24、基于中毒训练集修正视觉与语言多模态模型;

25、验证动态语义触发器与目标恶意标签的转移特性得到隐蔽关联关系。

26、优选地,还包括:

27、统计视觉与语言多模态模型对各类防御工具的逃逸率,验证动态语义触发器对防御手段的规避能力。

28、与现有技术相比,本发明具备以下有益效果:

29、本发明根据自然语言语义搭建包含语义内容、触发文本的动态语义触发器,根据自然语言语义实现触发逻辑动态可调,能够贴合多样文本语义场景,提升触发器的场景通用性与隐蔽程度。根据基础图文数据集筛选投毒候选样本,结合图像像素特征同步修正对应文本标注得到中毒文本,并绑定目标恶意标签构建中毒训练集,文本语义修正过程与图像像素信息联动匹配,让中毒文本和对应图像具备高度语义一致性,弱化中毒样本与正常样本之间的直观区分特征,提升中毒训练集的伪装效果,降低投毒行为被基础数据筛查工具识别的概率。利用中毒训练集优化视觉与语言多模态模型,在模型内部搭建动态语义触发器和目标恶意标签的隐蔽关联,该关联关系埋藏于模型参数逻辑内部,有效强化投毒逻辑的隐蔽性,常规模型检测手段难以快速定位触发器与恶意标签的对应逻辑,针对待检测输入样本判别是否满足触发器触发条件并差异化输出结果。当样本语义满足触发条件时输出目标恶意标签,不满足时输出常规正常预测结果,差异化输出模式让模型在正常输入场景维持原有预测表现,仅在匹配动态语义触发器的特定场景触发恶意输出,能够有效规避各类模型防御、样本筛查工具的逃逸检测,大幅提升多模态投毒攻击的规避能力与实际落地有效性。

1.一种多模态的动态语义后门攻击方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种多模态的动态语义后门攻击方法,其特征在于,基于自然语言语义构建动态语义触发器,具体包括以下步骤:

3.根据权利要求2所述的一种多模态的动态语义后门攻击方法,其特征在于,对投毒候选样本中图像对应的文本标注进行语义修正得到中毒文本,将中毒文本与目标恶意标签关联生成中毒训练集,具体包括以下步骤:

4.根据权利要求3所述的一种多模态的动态语义后门攻击方法,其特征在于,获取包含图像与文本对的预训练数据集,具体包括以下步骤:

5.根据权利要求4所述的一种多模态的动态语义后门攻击方法,其特征在于,视觉与语言多模态模型包括clip、blip或llava模型,根据基础图文数据集对视觉与语言多模态模型进行优化,用于提升多模态模型在优化后保持对干净样本的识别精度和对动态语义触发器的响应灵敏度。

6.根据权利要求5所述的一种多模态的动态语义后门攻击方法,其特征在于,还包括:

7.根据权利要求6所述的一种多模态的动态语义后门攻击方法,其特征在于,根据跨模态对齐模型计算待过滤中毒文本与原始图像的语义相似度得到过滤后的目标中毒文本,根据目标中毒文本生成中毒训练集,具体包括以下步骤:

8.根据权利要求7所述的一种多模态的动态语义后门攻击方法,其特征在于,根据中毒训练集对视觉与语言多模态模型进行优化,建立动态语义触发器与目标恶意标签的隐蔽关联关系,具体包括以下步骤:

9.根据权利要求8的一种多模态的动态语义后门攻击方法,其特征在于,还包括: