一种面向多模态遥感图像分类网络的对抗攻击方法

技术特征：
1.一种面向多模态遥感图像分类网络的对抗攻击方法，其特征在于，包括以下步骤：步骤一、构造多模态训练样本集t和测试样本集s；步骤二、将所述步骤一中的练样本集t和测试样本集s输入待攻击的目标模型f；步骤三、根据所述步骤二中的待攻击的目标模型f构建目标攻击类t；步骤四、搭建多模态对抗攻击网络；所述多模态对抗攻击网络由各模态的扰动生成网络和鉴别器网络组成；步骤五、多模态对抗样本生成；步骤六、将所述步骤五中的多模态对抗样本分别输入到其对应的扰动生成网络、鉴别器网络和目标模型f中，构造多模态生成损失函数和多模态鉴别损失函数；步骤七、分别对所述步骤六中的多模态生成损失函数和多模态鉴别损失函数交替训练，更新各扰动生成网络和鉴别网络，完成多模态对抗攻击网络的训练；步骤八、将测试样本输入到所述步骤七中的多模态对抗攻击网络中，生成对应的测试对抗样本。2.如权利要求1所述的一种面向多模态遥感图像分类网络的对抗攻击方法，其特征在于，在所述步骤八后，还包括步骤九，如下：将训练样本输入到多模态对抗攻击网络中，得到训练样本的对抗样本，并将所述训练样本的对抗样本加入到训练样本集中，对所述步骤二中目标模型f重新进行训练；重复步骤三～步骤八。3.如权利要求1或2所述的一种面向多模态遥感图像分类网络的对抗攻击方法，其特征在于，所述多模态为光学遥感图像和数字高程模型图像。4.如权利要求3所述的一种面向多模态遥感图像分类网络的对抗攻击方法，其特征在于，构造多模态生成损失函数和多模态鉴别损失函数的具体过程如下：步骤6.1、构造多模态生成损失函数，如式(c)所示：其中：分别为多模态为光学遥感图像对抗损失和数字高程模型图像对抗损失；超参数α，β，γ是感知损失、欺骗损失和协同攻击损失的权重系数；l
f
为欺骗损失，；被错误分为第t类，欺骗损失l
f
定义如式(h)所示；l
c
为协同损失，其定义如式(i)所示；定义如式(d)和(e)所示：定义如式(d)和(e)所示：其中：d
t
(x
′
t
)表示将生成的光学遥感图像对抗样本x
′
t
输入到光学遥感图像鉴别网络d
t
得到的输出概率；d
d
(x
′
d
)表示将生成的数字高程模型图像对抗样本x
′
d
输入到数字高程模型图像鉴别器网络d
d
得到的输出概率；分别为光学遥感图像感知损失和数字高程模型图像感知损失，定义如式(f)和(g)所示：
其中：ε是控制最小允许扰动强度的超参数，||||
p
表示扰动的l
p
范数；式(h)为：l
f
＝l
f
(f(x
′
t
，x
′
d
)，t)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(h)；其中：f为待攻击的目标模型，l
f
为交叉熵损失，目标攻击的目标标签t由步骤三得到；式(i)为：l
c
＝l
c
(t(g
t
(x
t
))，g
d
(x
d
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(i)；其中：t是频带变化函数；l
c
是余弦相似性度量函数；步骤6.2、构造多模态鉴别损失函数，如式(j)所示：其中：分别是多模态为光学遥感图像和数字高程模型图像的鉴别器损失函数，定义分别如式(k)和式(l)所示：数，定义分别如式(k)和式(l)所示：其中：d
t
(x
t
)表示将原始多模态为光学遥感图像训练样本x
t
输入到多模态为光学遥感图像鉴别网络d
t
得到的输出概率；d
d
(x
d
)表示将原始数字高程模型图像训练样本x
d
输入到数字高程模型图像鉴别网络d
d
得到的输出概率；d
t
(x
′
t
)表示将生成的光学遥感图像对抗样本x
′
t
输入到光学遥感图像鉴别网络d
t
得到的输出概率；d
d
(x
′
d
)表示将生成的数字高程模型图像对抗样本x
′
d
输入到数字高程模型图像鉴别器网络d
d
得到的输出概率。5.如权利要求4所述的一种面向多模态遥感图像分类网络的对抗攻击方法，其特征在于，在所述步骤二中，目标模型f为一训练好的多源遥感图像分类网络。6.如权利要求1或2所述的一种面向多模态遥感图像分类网络的对抗攻击方法，其特征在于，在所述步骤三中，通过目标模型f前向计算得到样本的预测概率得分p＝[p1，p2，...，p
n
]
t
；根据样本的原始标签和类别数进行one-hot编码得到编码向量，比如原始样本标签是1，则编码向量为h＝[1，0，...，0]
t
，，向量长度为样本的类别数；根据编码向量得到反掩码反掩码乘以预测概率得分p得到除样本原始标签类别概率以外的其他类别的预测概率值p
′
＝[0，p2，...，p
n
]
t
，对p
′
作差值处理，给原始标签所在的位置减去一个较大的值，即差值s＝p
′‑
h
×
1e10，取差值s的最大值所在的位置数即为目标类别；其中：p
n
表示输出的第n类的概率得分。7.如权利要求1或2所述的一种面向多模态遥感图像分类网络的对抗攻击方法，其特征在于，在所述步骤四中，多模态对抗攻击网络由光学遥感图像扰动生成网络g
t
、光学遥感图像鉴别器网络d
t
、数字高程模型图像扰动生成网络g
d
以及数字高程模型图像鉴别器网络d
d
组成。8.如权利要求1或2所述的一种面向多模态遥感图像分类网络的对抗攻击方法，其特征
在于，在所述步骤五中，多模态对抗样本生成过程如下：将光学遥感图像训练样本x
t
输入到光学遥感图像扰动生成网络g
t
中，生成光学遥感图像扰动，并将生成的光学遥感图像扰动添加在输入的光学遥感图像训练样本得到top对抗样本x
′
t
，如式(a)所示：x
′
t
＝x
t
g
t
(x
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(a)；其中：g
t
(x
t
)表示光学遥感图像扰动生成网络生成的top扰动。将数字高程模型图像训练样本x
d
输入到数字高程模型图像扰动生成网络d
t
中，生成数字高程模型图像扰动，并将生成的扰动添加在输入的数字高程模型图像训练样本，得到数字高程模型图像对抗样本x
′
d
如式(b)所示：x
′
d
＝x
d
g
d
(x
d
)
ꢀꢀꢀꢀꢀꢀꢀ
(b)；其中：g
d
(x
d
)表示数字高程模型图像扰动生成网络生成的数字高程模型图像扰动。9.如权利要求1或2所述的一种面向多模态遥感图像分类网络的对抗攻击方法，其特征在于，在所述步骤八中，利用测试样本攻击多模态遥感图像分类网络的具体过程如下：将top测试样本输入到训练好的top扰动生成网络，输出top扰动并将top扰动与输入的top测试样本相加，得到top测试样本的对抗样本同时将dsm测试样本输入到训练好的dsm扰动生成网络，输出dsm扰动并将dsm扰动与输入的dsm测试样本相加，得到dsm测试样本的对抗样本完成多模态遥感图像分类网络的对抗攻击；具体表示为：为：。10.如权利要求2所述的一种面向多模态遥感图像分类网络的对抗攻击方法，其特征在于，所述步骤九的具体过程如下：将光学遥感图像训练样本x
t
输入到训练的好光学遥感图像扰动生成网络输出光学遥感图像扰动，并将光学遥感图像扰动与输入的光学遥感图像训练样本相加，得到光学遥感图像训练样本的对抗样本x
′
t
；将数字高程模型图像训练样本x
d
输入到训练好的数字高程模型图像扰动生成网络，输出数字高程模型图像扰动，并将数字高程模型图像扰动与输入的数字高程模型图像训练样本相加，得到数字高程模型图像训练样本的对抗样本x
′
d
；将x
′
t
和x
′
d
加入到训练样本集合中得到新的一个训练样本集合t
′
，即{x
t
，x
d
，x
′
t
，x
′
d
}∈t
′
,对步骤二的目标模型f重新进行训练。

技术总结
本发明公开了一种面向多模态遥感图像分类网络的对抗攻击方法，对具有三个波段的光学遥感图像TOP和一个波段的数字高程模型图像DSM这两个遥感图像数据源，提出一种面向多模态遥感图像分类网络的对抗攻击技术，攻击效果更显著，攻击时间效率更高，以用于评估和提高多模态遥感图像分类网络的鲁棒性。多模态遥感图像分类网络的鲁棒性。多模态遥感图像分类网络的鲁棒性。


技术研发人员：石程 党叶楠 赵明华 苗启广 潘治文
受保护的技术使用者：西安理工大学
技术研发日：2022.08.22
技术公布日：2022/11/11