一种面向多模态遥感图像分类网络的对抗攻击方法

1.本发明属于图像处理技术领域，具体涉及一种面向多模态遥感图像分类网络的对抗攻击方法。


背景技术：

2.遥感图像分类仍然是遥感领域一项具有挑战的任务。近年来，随着航空航天技术的飞速发展，产生了大量的不同传感器的遥感图像，结合多个传感器图像对地物进行有效分类成为研究的热点。多模态遥感图像对地物覆盖有不同的观测结果，例如正射摄(top)图像表达了遥感场景的高空间分辨率信息，数字地表模型(dsm)图像提供了地物的高度信息。基于多模态遥感数据的优点提出的多模态遥感图像分类方法可以有效的减少分类任务中的不确定性。近年来，深度神经网络被广泛引入多模态遥感图像分类任务中。与单模态遥感图像分类方法相比，多模态遥感图像分类方法能够有效利用两种模态之间的相关性，实现更高的分类精度。
3.近年来深度神经网络的脆弱性也引起了学者的广泛关注。给原始的干净样本添加微小的、人眼无法辨别的扰动，就能使深度神经网络以较高的置信度产生错误的预测，这种被添加扰动的样本称为对抗样本，生成对抗样本的过程被称为对抗攻击。因此，需要使网络更加鲁棒，就需要预先了解网络所面临的所有风险，寻找到更具有攻击性能的对抗样本。目前已经提出了各种攻击方法来生成对抗样本，如快速梯度符号法(fast gradient sign method，fgsm)，迭代快速梯度符号法(itersative fgsm，i-fgsm)，基于优化目标函数的c&w算法、deepfool算法等，但是现有对抗攻击技术只考虑单一模态下的攻击效果，缺乏对多模态分类网络的攻击实现。在对多模态遥感图像分类网络进行攻击时，不仅需要考虑攻击的成功率、扰动的隐蔽性、以及攻击的时效性，同时也需要考虑不同模态之间的协同攻击能力。因此，针对多模态遥感图像分类网络，需要生成高质量的多模态对抗样本，进一步评估和提高多模态遥感图像分类网络的鲁棒性。


技术实现要素：

4.本发明的目的是提供一种面向多模态遥感图像分类网络的对抗攻击方法，攻击效果更显著，攻击时间效率更高。
5.本发明采用以下技术方案：一种面向多模态遥感图像分类网络的对抗攻击方法，包括以下步骤：
6.步骤一、构造多模态训练样本集t和测试样本集s；
7.步骤二、将步骤一中的练样本集t和测试样本集s输入待攻击的目标模型f；
8.步骤三、根据步骤二中的待攻击的目标模型f构建目标攻击类t；
9.步骤四、搭建多模态对抗攻击网络；多模态对抗攻击网络由各模态的扰动生成网络和鉴别器网络组成；
10.步骤五、多模态对抗样本生成；
11.步骤六、将步骤五中的多模态对抗样本分别输入到其对应的扰动生成网络、鉴别器网络和目标模型f中，构造多模态生成损失函数和多模态鉴别损失函数；
12.步骤七、分别对步骤六中的多模态生成损失函数和多模态鉴别损失函数交替训练，更新各扰动生成网络和鉴别网络，完成多模态对抗攻击网络的训练；
13.步骤八、将测试样本输入到步骤七中的多模态对抗攻击网络中，生成对应的测试对抗样本。
14.进一步地，在步骤八后，还包括步骤九，如下：将训练样本输入到多模态对抗攻击网络中，得到训练样本的对抗样本，并将训练样本的对抗样本加入到训练样本集中，对步骤二中目标模型f重新进行训练；重复步骤三～步骤八。
15.进一步地，该多模态为光学遥感图像和数字高程模型图像。
16.进一步地，构造多模态生成损失函数和多模态鉴别损失函数的具体过程如下：
17.步骤6.1、构造多模态生成损失函数，如式(c)所示：
[0018][0019]
其中：分别为多模态为光学遥感图像对抗损失和数字高程模型图像对抗损失；
[0020]
超参数α，β，γ是感知损失、欺骗损失和协同攻击损失的权重系数；
[0021]
lf为欺骗损失，；被错误分为第t类，欺骗损失lf定义如式(h)所示；
[0022]
lc为协同损失，其定义如式(i)所示；
[0023]
定义如式(d)和(e)所示：
[0024][0025][0026]
其中：d
t
(x
′
t
)表示将生成的光学遥感图像对抗样本x
′
t
输入到光学遥感图像鉴别网络d
t
得到的输出概率；dd(x
′d)表示将生成的数字高程模型图像对抗样本x
′d输入到数字高程模型图像鉴别器网络dd得到的输出概率；分别为光学遥感图像感知损失和数字高程模型图像感知损失，定义如式(f)和(g)所示：
[0027][0028][0029]
其中：ε是控制最小允许扰动强度的超参数，||||
p
表示扰动的l
p
范数；
[0030]
式(h)为：
[0031]
f＝lf(f(x
′
t
，x
′d)，t)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(h)；
[0032]
其中：f为待攻击的目标模型，lf为交叉熵损失，目标攻击的目标标签t由步骤三得到；
[0033]
式(i)为：
[0034]
lc＝lc(t(g
t
(x
t
))，gd(xd))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(i)；
[0035]
其中：t是频带变化函数；lc是余弦相似性度量函数；
[0036]
步骤6.2、构造多模态鉴别损失函数，如式(j)所示：
[0037][0038]
其中：分别是多模态为光学遥感图像和数字高程模型图像的鉴别器损失函数，定义分别如式(k)和式(l)所示：
[0039][0040][0041]
其中：d
t
(x
t
)表示将原始多模态为光学遥感图像训练样本x
t
输入到多模态为光学遥感图像鉴别网络d
t
得到的输出概率；dd(xd)表示将原始数字高程模型图像训练样本xd输入到数字高程模型图像鉴别网络dd得到的输出概率；d
t
(x
′
t
)表示将生成的光学遥感图像对抗样本x
′
t
输入到光学遥感图像鉴别网络d
t
得到的输出概率；dd(x
′d)表示将生成的数字高程模型图像对抗样本x
′d输入到数字高程模型图像鉴别器网络dd得到的输出概率。
[0042]
进一步地，在步骤二中，目标模型f为一训练好的多源遥感图像分类网络。
[0043]
进一步地，在步骤三中，通过目标模型f前向计算得到样本的预测概率得分p＝[p1，p2，...，pn]
t
；
[0044]
根据样本的原始标签和类别数进行one-hot编码得到编码向量，比如原始样本标签是1，则编码向量为h＝[1，0，...，0]
t
，，向量长度为样本的类别数；
[0045]
根据编码向量得到反掩码反掩码乘以预测概率得分p得到除样本原始标签类别概率以外的其他类别的预测概率值p
′
＝[0，p2，...，pn]
t
，对p
′
作差值处理，给原始标签所在的位置减去一个较大的值，即差值s＝p
′‑h×
1e10，取差值s的最大值所在的位置数即为目标类别；
[0046]
其中：pn表示输出的第n类的概率得分。
[0047]
进一步地，在步骤四中，多模态对抗攻击网络由光学遥感图像扰动生成网络g
t
、光学遥感图像鉴别器网络d
t
、数字高程模型图像扰动生成网络gd以及数字高程模型图像鉴别器网络dd组成。
[0048]
进一步地，在步骤五中，多模态对抗样本生成过程如下：
[0049]
将光学遥感图像训练样本x
t
输入到光学遥感图像扰动生成网络g
t
中，生成光学遥感图像扰动，并将生成的光学遥感图像扰动添加在输入的光学遥感图像训练样本得到top对抗样本x
′
t
，如式(a)所示：
[0050]
x
′
t
＝x
t
g
t
(x
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(a)；
[0051]
其中：g
t
(x
t
)表示光学遥感图像扰动生成网络生成的top扰动。
[0052]
将数字高程模型图像训练样本xd输入到数字高程模型图像扰动生成网络d
t
中，生成数字高程模型图像扰动，并将生成的扰动添加在输入的数字高程模型图像训练样本，得到数字高程模型图像对抗样本x
′d如式(b)所示：
[0053]
x
′d＝xd gd(xd)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(b)；
[0054]
其中：gd(xd)表示数字高程模型图像扰动生成网络生成的数字高程模型图像扰动。
[0055]
进一步地，在步骤八中，利用测试样本攻击多模态遥感图像分类网络的具体过程
如下：
[0056]
将top测试样本输入到训练好的top扰动生成网络，输出top扰动并将top扰动与输入的top测试样本相加，得到top测试样本的对抗样本同时将dsm测试样本输入到训练好的dsm扰动生成网络，输出dsm扰动并将dsm扰动与输入的dsm测试样本相加，得到dsm测试样本的对抗样本完成多模态遥感图像分类网络的对抗攻击；具体表示为：
[0057][0058][0059]
进一步地，步骤九的具体过程如下：
[0060]
将光学遥感图像训练样本x
t
输入到训练的好光学遥感图像扰动生成网络输出光学遥感图像扰动，并将光学遥感图像扰动与输入的光学遥感图像训练样本相加，得到光学遥感图像训练样本的对抗样本x
′
t
；
[0061]
将数字高程模型图像训练样本xd输入到训练好的数字高程模型图像扰动生成网络，输出数字高程模型图像扰动，并将数字高程模型图像扰动与输入的数字高程模型图像训练样本相加，得到数字高程模型图像训练样本的对抗样本x
′d；将x
′
t
和x
′d加入到训练样本集合中得到新的一个训练样本集合t
′
，即{x
t
，xd，x
′
t
，x
′d}∈t
′
,对步骤二的目标模型f重新进行训练。
[0062]
本发明的有益效果是：1.本方法考虑联合多个模态产生多源扰动，并使产生的对抗样本更真实。2.设计了一种多模态生成损失函数和多模态鉴别损失函数以建立不同模态扰动之间的关系，可以有效降低添加到每个数据源的干扰强度，同时保持较高的攻击成功率。
附图说明
[0063]
图1是本发明的一种面向多源遥感图像分类网络的对抗攻击方法的研究流程框图；
[0064]
图2是本发明实验使用的数据集；
[0065]
2a为potsdam数据集；2b为vaihingen数据集；
[0066]
图3是本发明目标模型、扰动生成网络、鉴别器网络的结构示意图；
[0067]
图4是potsdam数据集上不同方法对抗训练前后的分类图；
[0068]
图5是vaihingen数据集上不同分类方法对抗训练前后的分类图。
具体实施方式
[0069]
下面结合附图和具体实施方式对本发明进行详细说明。
[0070]
本发明一种面向多模态遥感图像分类网络的对抗攻击方法，如图1所示，包括以下步骤：
[0071]
步骤一、构造多模态训练样本集t和测试样本集s；
[0072]
上述多模态为三个波段的光学遥感图像(top)和一个波段的数字高程模型图像(dsm)。
[0073]
输入两个多模态数据top和dsm，以及两个模态对应的真实类别图，如图2所示；根据两个多模态数据top和dsm上每个像素，以像素为中心，划定一个27
×
27个像素大小的空间窗提取样本，分别在top和dsm上成对提取top和dsm样本，组成样本对；根据所有样本对组成样本集；选取部分样本对组成训练样本集，选择样本集中剩余样本对组成测试样本集，其中{x
t
，xd}∈t,x
t
和分别为top训练样本和top测试样本，xd和分别为dsm训练样本和dsm测试样本。
[0074]
步骤二、将所述步骤一中的练样本集t和测试样本集s输入待攻击的目标模型f；
[0075]
在所述步骤二中，目标模型f为一训练好的多源遥感图像分类网络。如图3(a)所示，构造具体为：两个数据源输入，top数据源的数据输入大小为28
×
28
×
3，dsm数据源的数据输入大小是28
×
28
×
1，每个数据源有5层网络分别提取各个数据源的基本特征，然后再将两个数据源的输出连接，再通过4层网络对他们的共同特征进行提取分类。目标模型f的网络参数具体如表1所示，目标模型f是提前训练好，并且在攻击过程中目标模型的参数保持不变。
[0076]
表1目标模型f网络参数
[0077][0078]
步骤三、根据所述步骤二中的待攻击的目标模型f构建目标攻击类t；
[0079]
在所述步骤三中，分别对训练样本集合t中的每一对样本x
t
，xd，通过预训练好的目标模型f进行前向计算，得到每个样本在每一类上的输出概率得分，以此选择目标攻击类，假定训练样本对是x
t
，xd，输出概率得分是p＝[p1，p2，...，pn]
t
，pn表示输出的第n类的概率得分，并按照如下原则构建目标类：
[0080]
通过目标模型f前向计算得到样本的预测概率得分p＝[p1，p2，...，pn]
t
；
[0081]
根据样本的原始标签和类别数进行one-hot编码得到编码向量，比如原始样本标签是1，则编码向量为h＝[1，0，...，0]
t
，，向量长度为样本的类别数；
[0082]
根据编码向量得到反掩码反掩码乘以预测概率得分p得到除样本原始标签类别概率以外的其他类别的预测概率值p
′
＝[0，p2，...，pn]
t
，为了避免目标类别和原始类别标签重复，对p
′
作差值处理，给原始标签所在的位置减去一个较大的值，即差值s＝p
′‑h×
1e10，取差值s的最大值所在的位置数即为目标类别；
[0083]
其中：pn表示输出的第n类的概率得分。
[0084]
步骤四、搭建多模态对抗攻击网络；所述多模态对抗攻击网络由各模态的扰动生
成网络和鉴别器网络组成；
[0085]
在所述步骤四中，多模态对抗攻击网络由光学遥感图像扰动生成网络g
t
、光学遥感图像鉴别器网络d
t
、数字高程模型图像扰动生成网络gd以及数字高程模型图像鉴别器网络dd组成。
[0086]
如图3(b)(c)所示。扰动生成网络是一个编码解码结构，编码结构中g
t
的第1层卷积层的图像输入大小为28
×
28
×
3，gd的第1层卷积层输入大小为28
×
28
×
1，解码结构中的第三层滤波器的个数取决于图像的通道数，g
t
为3，gd为1，除这个参数设置外，扰动生成网络g
t
和gd的其他参数设置相同，如表2所示；top鉴别器网络d
t
第1层卷积层输入图片大小为28
×
28
×
3，dsm鉴别器网络dd第1层卷积层输入图片大小为28
×
28
×
1，鉴别器d
t
和dd的参数设置相同，如表3所示。
[0087]
表2扰动生成网络的网络参数
[0088][0089]
表3鉴别器网络参数
[0090][0091]
步骤五、多模态对抗样本生成；
[0092]
在所述步骤五中，多模态对抗样本生成过程如下：
[0093]
将光学遥感图像训练样本x
t
输入到光学遥感图像扰动生成网络g
t
中，生成光学遥感图像扰动，并将生成的光学遥感图像扰动添加在输入的光学遥感图像训练样本得到top对抗样本x
′
t
，如式(a)所示：
[0094]
x
′
t
＝x
t
g
t
(x
t
)
ꢀꢀꢀ
(a)；
[0095]
其中：g
t
(x
t
)表示光学遥感图像扰动生成网络生成的top扰动。
[0096]
将数字高程模型图像训练样本xd输入到数字高程模型图像扰动生成网络d
t
中，生
成数字高程模型图像扰动，并将生成的扰动添加在输入的数字高程模型图像训练样本，得到数字高程模型图像对抗样本x
′d如式(b)所示:
[0097]
x
′d＝xd gd(xd)
ꢀꢀꢀꢀꢀ
(b)；
[0098]
其中：gd(xd)表示数字高程模型图像扰动生成网络生成的数字高程模型图像扰动。
[0099]
步骤六、将所述步骤五中的多模态对抗样本分别输入到其对应的扰动生成网络、鉴别器网络和目标模型f中，构造多模态生成损失函数和多模态鉴别损失函数；
[0100]
步骤六中，构造多模态生成损失函数和多模态鉴别损失函数的具体过程如下：
[0101]
将top对抗样本分别输入到top鉴别器和目标模型f中，同时将dsm对抗样本分别输入到dsm鉴别器和目标函数f中，根据top扰动，top对抗样本，top在鉴别器的输出和top在目标模型的输出，以及dsm扰动，dsm对抗样本，dsm在鉴别器的输出和dsm在目标模型的输出，构造多模态生成损失函数和多模态鉴别损失函数；具体构造如下：
[0102]
步骤6.1、构造多模态生成损失函数，如式(c)所示：
[0103][0104]
其中：分别为多模态为光学遥感图像对抗损失和数字高程模型图像对抗损失；以约束生成的top对抗样本更接近于输入的top训练样本，以及约束生成的dsm对抗样本更接近输入的dsm训练样本。
[0105]
超参数α，β，γ是感知损失、欺骗损失和协同攻击损失的权重系数；
[0106]
lf为欺骗损失，被错误分为第t类，欺骗损失lf定义如式(h)所示；
[0107]
lc为协同损失，以实现多模态协同攻击，其定义如式(i)所示；
[0108]
定义如式(d)和(e)所示：
[0109][0110][0111]
其中：d
t
(x
′
t
)表示将生成的光学遥感图像对抗样本x
′
t
输入到光学遥感图像鉴别网络d
t
得到的输出概率；dd(x
′d)表示将生成的数字高程模型图像对抗样本x
′d输入到数字高程模型图像鉴别器网络dd得到的输出概率；分别为光学遥感图像感知损失和数字高程模型图像感知损失，以分别约束top扰动和dsm扰动的扰动强度，定义如式(f)和(g)所示：
[0112][0113][0114]
其中：ε是控制最小允许扰动强度的超参数，||||
p
表示扰动的l
p
范数；在实施例中使用的是l
∞
范数来约束扰动，迫使生成的对抗样本更接近真实样本。
[0115]
式(h)为：
[0116]
lf＝lf(f(x
′
t
，x
′d)，t)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(h):
[0117]
其中：f为待攻击的目标模型，lf为交叉熵损失，目标攻击的目标标签t由步骤三得到；
[0118]
式(i)为：
[0119]
lc＝lc(t(g
t
(x
t
))，gd(xd))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(i)；
[0120]
其中：t是频带变化函数；因为top数据有三个频带，而dsm的扰动有一个频带，因此需要将dsm的扰动重复扩充，扩充为三个频带进行相似性计算。lc是余弦相似性度量函数，用于度量不同模态下扰动的相似性。
[0121]
步骤6.2、构造多模态鉴别损失函数，如式(j)所示：
[0122][0123]
其中：分别是多模态为光学遥感图像和数字高程模型图像的鉴别器损失函数，定义分别如式(k)和式(l)所示：
[0124][0125][0126]
其中：d
t
(x
t
)表示将原始多模态为光学遥感图像训练样本x
t
输入到多模态为光学遥感图像鉴别网络d
t
得到的输出概率；dd(xd)表示将原始数字高程模型图像训练样本xd输入到数字高程模型图像鉴别网络dd得到的输出概率；d
t
(x
′
t
)表示将生成的光学遥感图像对抗样本x
′
t
输入到光学遥感图像鉴别网络d
t
得到的输出概率；dd(x
′d)表示将生成的数字高程模型图像对抗样本x
′d输入到数字高程模型图像鉴别器网络dd得到的输出概率。
[0127]
步骤七、分别对所述步骤六中的多模态生成损失函数和多模态鉴别损失函数交替训练，更新各扰动生成网络和鉴别网络，完成多模态对抗攻击网络的训练；
[0128]
利用多模态生成器损失和多模态鉴别器损失优化模型交替训练，分别对top扰动生成网络，top鉴别网络，dsm扰动生成网络，以及dsm鉴别网络进行训练，按照如下步骤进行：
[0129]
步骤7.1、更新top鉴别器d
t
。保持dsm鉴别器dd、dsm扰动生成器gd、top扰动生成器g
t
的参数不变，利用梯度下降法，最小化式(m)，对top鉴别器d
t
进行训练。
[0130][0131]
步骤7.2更新top扰动生成器g
t
。保持top鉴别器d
t
、dsm扰动生成器gd、dsm鉴别器dd参数不变，利用梯度下降法，最小化式(n)，对top扰动生成器g
t
进行更新。
[0132][0133]
步骤7.3、更新dsm鉴别器dd。保持dsm扰动生成器gd、top鉴别器d
t
、top扰动生成器g
t
参数不变，利用梯度下降法，最小化式(o)，对dsm鉴别器dd进行更新。
[0134][0135]
步骤7.4、更新dsm扰动生成器gd。保持dsm鉴别器dd、top扰动生成器g
t
、top鉴别器d
t
参数不变，利用梯度下降法，最小化式(p)，对dsm扰动生成器gd进行更新。
[0136][0137]
步骤八、将测试样本输入到所述步骤七中的多模态对抗攻击网络中，生成对应的测试对抗样本。
[0138]
在所述步骤八中，利用测试样本攻击多模态遥感图像分类网络的具体过程如下：
[0139]
将top测试样本输入到训练好的top扰动生成网络，输出top扰动并将top扰动与输入的top测试样本相加，得到top测试样本的对抗样本同时将dsm测试样本输入到训练好的dsm扰动生成网络，输出dsm扰动并将dsm扰动与输入的dsm测试样本相加，得到dsm测试样本的对抗样本完成多模态遥感图像分类网络的对抗攻击；具体表示为：
[0140][0141][0142]
步骤九如下：将训练样本输入到多模态对抗攻击网络中，得到训练样本的对抗样本，并将所述训练样本的对抗样本加入到训练样本集中，对所述步骤二中目标模型f重新进行训练；重复步骤三～步骤八。
[0143]
具体为：将光学遥感图像训练样本x
t
输入到训练好光学遥感图像扰动生成网络输出光学遥感图像扰动，并将光学遥感图像扰动与输入的光学遥感图像训练样本相加，得到光学遥感图像训练样本的对抗样本x
′
t
；
[0144]
将数字高程模型图像训练样本xd输入到训练好的数字高程模型图像扰动生成网络，输出数字高程模型图像扰动，并将数字高程模型图像扰动与输入的数字高程模型图像训练样本相加，得到数字高程模型图像训练样本的对抗样本x
′d；将x
′
t
和x
′d加入到训练样本集合中得到新的一个训练样本集合t
′
，即{x
t
，xd，x
′
t
，x
′d}∈t
′
,对步骤二的目标模型f重新进行训练，以增强模型应对攻击的能力。
[0145]
本发明中的方法的效果可以用下列的仿真实验进一步说明：
[0146]
(1)仿真条件：
[0147]
本发明的仿真的硬件条件为：windows10，gpu nvidia geforce rtx3060；软件平台为：matlabr2016a，pycharm；
[0148]
仿真选用的图片来源是potsdam数据集和vaihingen数据集。其中potsdam数据集共28张6000*6000像素无人机影像，分辨率为5厘米/像素，数据集中包含三种不同通道的影像数据，地形数据，标签数据，随机选用一对dsm数据和top数据作为多源遥感图像网络的输入如图2中2a所示。vaihingen数据集包含33幅不同大小的遥感图像，包含3波段的top数据和单波段的dsm数据，分辨率为9厘米/像素，同样选取了一对dsm数据和top数据作为多源遥感图像分类网络的输入如图2中2b所示；本发明中，potsdam数据集中分别对每一类随机选择10000个像素点构造训练样本，vaihingen数据集中分别对每一类随机选择800个像素点构造训练样本。
[0149]
仿真内容及结果：
[0150]
仿真1，用本发明中的方法和现有的三种技术对图2所示的两个数据集分别进行分类仿真，结果如下，其中：
[0151]
图4的(a)到(d)分别是fgsm，c&w，pgd以及本发明技术在potsdam图像数据集上对测试对抗样本在目标模型f上的分类效果图，(i)是网络对原始测试样本的分类效果图，从
图中可以得出，与原始测试样本在目标模型f上的分类图相比，四种技术生成的对抗样本能够使得目标模型产生明显的错分，分类图(a)-(d)与分类图(i)有明显的差异，但是本发明得到的分类图与图(i)的差异更为明显，错分区域更多，说明本发明技术生成的对抗样本更具有攻击性。
[0152]
图5中(a)到(d)分别是fgsm，c&w，pgd以及本发明技术在vaihingen图像数据集上对测试对抗样本在目标模型f上的分类效果图，(i)是网络对原始测试样本的分类效果图，图5中显示了图4相同的结果，与(i)图相比，本发明中的方法得到的分类图错分更为严重，进一步说明本发明技术的攻击性更强。
[0153]
本发明中的方法与现有技术fgsm、c&w、pgd在据集上对抗训练前后的分类结果的数值比对如表4和表5所示：
[0154]
表4为本发明方法与现有技术fgsm、c&w、pgd在potsdam数据集上对抗训练前后的分类结果的数值比对
[0155][0156]
表5为本发明方法与现有技术fgsm、c&w、pgd在vaihingen数据集上对抗训练前后的分类结果的数值比对
[0157][0158]
表4和表5中的数据表明，本发明技术测试时间更短，攻击时间效率更高。显然本方法在处理多模态数据攻击上具有明显优势。