一种基于触发条件的对抗样本生成方法及系统与流程

1.一种基于触发条件的对抗样本生成方法及系统，用于生成对抗样本，属于人工智能安全领域。


背景技术：

2.现有研究表明，基于深度神经网络的深度学习模型容易受到对抗样本攻击。对抗样本攻击指攻击者通过对输入样本进行人眼不可见的微小修改，导致深度学习模型做出错误的响应。对抗样本的存在一方面威胁了深度学习模型在安全相关场景如自动驾驶，智能医疗等方面的应用，另一方面促进了对深度学习模型可解释性以及鲁棒性的研究。现有对抗样本生成方法生成的对抗样本在任何条件下对目标模型都具有对抗性，同时由于对抗样本的迁移性，对其他模型也可能产生对抗性，不利于对目标模型进行针对性的鲁棒性测试和评估。
3.综上所述，现有技术存在如下技术问题：
4.1.现有对抗样本生成方法生成的对抗样本在任何条件下对目标模型都具有对抗性，同时由于对抗样本的迁移性，对其它模型也可能产生对抗性，从而不利于对目标模型进行针对性的鲁棒性测试和评估；
5.2.现有对抗样本方法生成的对抗样本针对特定模型在任何条件下都有效，缺乏灵活性和可控性。


技术实现要素：

6.针对上述研究的问题，本发明的目的在于提供一种基于触发条件的对抗样本生成方法及系统，解决现有对抗样本生成方法生成的对抗样本在任何条件下对目标模型都具有对抗性，同时由于对抗样本的迁移性，对其它模型也可能产生对抗性，从而不利于对目标模型进行针对性的鲁棒性测试和评估。
7.为了达到上述目的，本发明采用如下技术方案：
8.一种基于触发条件的对抗样本生成方法，包括如下步骤：
9.步骤1、获取数据集，给数据集中的各样本初始化两个扰动，其中，两个扰动分别为触发条件和触发扰动；
10.步骤2、基于目标模型对各样本和两个扰动进行检测，若满足要求，得到样本与两个扰动之和，即条件对抗样本，若不满足要求，更新触动扰动后再次执行步骤2。
11.进一步，所述步骤1中各样本的触发条件相同，触发条件从标准高斯分布中采样得到或设置为特定的值；
12.初始化的触发扰动为格式与对应样本相同的全零向量。
13.进一步，所述步骤2的具体步骤为：
14.步骤2.1、基于目标模型对xk a，xk b和xk a b进行检测，其中，xk为第k个样本，a为触发条件，b为触发扰动；
15.步骤2.2、基于y＝f(xk)是目标模型对xk的分类结果，若满足触发条件触发时呈现对抗性，即f(xk a b)≠y，f(xk a)＝y，f(xk b)＝y，得到条件对抗样本；或满足触发条件触发时呈现正常样本特性，即f(xk a b)＝y，f(xk b)≠y，f(xk a)＝y，得到条件对抗样本
16.步骤2.3、若不满足，基于梯度下降法更新触发扰动b后再次执行步骤2.1。
17.进一步，所述步骤2.3中基于梯度下降法更新触发扰动b的具体步骤为：
18.步骤2.31、根据对抗样本生成方法计算损失loss：
19.对于触发时呈现对抗性：
20.loss＝f(xk a b)-f(xk b)
21.对于触发时呈现正常样本特性：
22.loss＝-f(xk a b) f(xk b)
23.步骤2.32、根据反向传播算法计算损失loss对于触发扰动b的梯度g，并对b进行一轮更新：
24.b＝b-∈
×g25.其中，∈为给定的正数。
26.一种基于触发条件的对抗样本生成系统，包括：
27.初始化模块：获取数据集，给数据集中的各样本初始化两个扰动，其中，两个扰动分别为触发条件和触发扰动；
28.条件对抗样本定义模块：基于目标模型对各样本和两个扰动进行检测，若满足要求，得到样本与两个扰动之和，即条件对抗样本，若不满足要求，更新触动扰动后再次执行步骤2。
29.进一步，所述初始化模块中各样本的触发条件相同，触发条件从标准高斯分布中采样得到或设置为特定的值；
30.初始化的触发扰动为格式与对应样本相同的全零向量。
31.进一步，所述条件对抗样本定义模块的具体实现为：
32.步骤2.1、基于目标模型对xk a，xk b和xk a b进行检测，其中，xk为第k个样本，a为触发条件，b为触发扰动；
33.步骤2.2、基于y＝f(xk)是目标模型对xk的分类结果，若满足触发条件触发时呈现对抗性，即f(xk a b)≠y，f(xk a)＝y，f(xk b)＝y，得到条件对抗样本；或满足触发条件触发时呈现正常样本特性，即f(xk a b)＝y，f(xk b)≠y，f(xk a)＝y，得到条件对抗样本
34.步骤2.3、若不满足，基于梯度下降法更新触发扰动b后再次执行步骤2.1。
35.进一步，所述条件对抗样本定义模块中基于梯度下降法更新触发扰动b的具体步骤为：
36.步骤2.31、根据对抗样本生成方法计算损失loss：
37.对于触发时呈现对抗性：
38.loss＝f(xk a b)-f(xk b)
39.对于触发时呈现正常样本特性：
40.loss＝-f(xk a b) f(xk b)
41.步骤2.32、根据反向传播算法计算损失ioss对于触发扰动b的梯度g，并对触发扰动b进行一轮更新：
42.b＝b-∈
×g43.其中，∈为给定的正数。
44.本发明同现有技术相比，其有益效果表现在：
45.一、本发明通过触发条件和触发目标是使得到的条件对抗样本只在特定条件下生效，即可根据需求保持正常或呈对抗性；
46.二、本发明提出的条件对抗样本可根据需求基于触发条件对样本中加入了触发扰动的对抗样本是否生效进行控制，灵活性和可控性高；
47.三、本发明基于触发条件的对抗样本相较于其他对抗样本攻击方法的隐蔽性更强，能够绕过现有防御方法；如利用普通对抗样本进行对抗训练得到的模型，针对普通对抗样本具有一定的防御能力，而对基于触发条件的对抗样本缺乏防御能力，因此方案有利于对现有鲁棒的模型进行安全性评估。
附图说明
48.图1为本发明的流程示意图。
具体实施方式
49.下面将结合附图及具体实施方式对本发明作进一步的描述。
50.因此方案提出了一种基于触发条件的对抗样本生成方法，针对图片视频分类模型，基于触发条件的对抗样本生成方法将对抗性扰动分类a、b两个部分，从而使原始样本在单独添加a、b扰动和同时添加ab扰动时呈现出不同的性质。生成的这种对抗样本命名为条件对抗样本，a部分扰动称为触发条件，b部分称为触发扰动，通过这种方式，模型评估者可以在特定条件下对目标模型进行鲁棒性评估，而使加入了触发扰动的对抗样本在未被触发时表现出正常样本或对抗性的性质。
51.具体步骤为：
52.一种基于触发条件的对抗样本生成方法，包括如下步骤：
53.步骤1、获取数据集，给数据集中的各样本初始化两个扰动，其中，两个扰动分别为触发条件和触发扰动；各样本的触发条件相同，触发条件从标准高斯分布中采样得到或设置为特定的值，触发条件为人为确定的一种标记，当标记出现时，条件对抗样本呈现对抗性或正常样本特征。以图片分类模型为例，可以从标准高斯分布中采样一个噪声作为触发条件，或者以一个logo作为触发条件。触发条件的形式是多样的，可以根据需求设置，例如在实际物理环境中，可设置特定的光照条件、设备型号等等作为触发条件。初始化的触发扰动为格式与对应样本相同的全零向量。以图像分类模型为例，格式即为形状和大小。如一个224x224像素的图像，则初始化扰动也为224x224像素。
54.步骤2、基于目标模型对各样本和两个扰动进行检测，若满足要求，得到样本与两个扰动之和，即条件对抗样本，若不满足要求，更新触动扰动后再次执行步骤2。
55.具体步骤为：
56.步骤2.1、基于目标模型对xk a，xk b和xk a b进行检测，其中，xk为第k个样本，a为触发条件，b为触发扰动；目标模型指对抗样本攻击针对的目标模型，可以为各种深度学习模型，包括图片分类模型、视频分类模型、自然语言处理模型等。
57.步骤2.2、基于y＝f(xk)是目标模型对xk的分类结果，若满足触发条件触发时呈现对抗性，即f(xk a b)≠y，f(xk a)＝y，f(xk b)＝y，得到条件对抗样本；或满足触发条件触发时呈现正常样本特性，即f(xk a b)＝y，f(xk b)≠y，f(xk a)＝y，得到条件对抗样本
58.步骤2.3、若不满足，基于梯度下降法更新触发扰动b后再次执行步骤2.1。
59.进一步，所述步骤2.3中基于梯度下降法更新触发扰动b的具体步骤为：
60.步骤2.31、根据对抗样本生成方法计算损失loss，对抗样本生成方法包括fgsm或pgd等。
61.对于触发时呈现对抗性：
62.loss＝f(xk a b)-f(xk b)
63.对于触发时呈现正常样本特性：
64.loss＝-f(xk a b) f(xk b)
65.步骤2.32、根据反向传播算法计算损失loss对于触发扰动b的梯度g，并对b进行一轮更新：
66.b＝b-∈
×g67.其中，∈为给定的正数。
68.以上仅是本发明众多具体应用范围中的代表性实施例，对本发明的保护范围不构成任何限制。凡采用变换或是等效替换而形成的技术方案，均落在本发明权利保护范围之内。