一种基于信息解耦和重建的GAN图片检测器规避方法

一种基于信息解耦和重建的gan图片检测器规避方法
技术领域
1.本发明涉及人工智能系统的技术领域，尤其是指一种基于信息解耦和重建的gan图片检测器规避方法。


背景技术：

2.近些年生成虚假图片最主要的方式是利用生成对抗网络(gan)，其生成的图片足以骗过人类的眼睛，这些gan图片很容易可以造成对社会的危害，比如损坏名誉、刑侦证据造假等。虽然通过训练神经网络分类器的方式可以容易地检测出大部分gan生成的输出，但是这种检测方式很容易受到对抗性扰动的攻击，所以对gan图片检测器的脆弱性研究非常重要，可以促进更先进的检测方法出现，减少检测错误带来的危害。


技术实现要素：

3.本发明的目的在于克服现有技术的缺点与不足，提出了一种基于信息解耦和重建的gan图片检测器规避方法，可以利用该方法将gan生成的图片进行再加工，得到规避图片，可以用来测试gan图片检测器的性能，方便相关科研人员的实验，从而提高人工智能系统的安全性。
4.为实现上述目的，本发明所提供的技术方案为：一种基于信息解耦和重建的gan图片检测器规避方法，包括以下步骤：
5.1)准备将n张真实图片组成的图片集x'r分为多个批次，每个批次xr有n张，同样，将n张由gan生成的图像组成的图片集x'g分为多个批次，每个批次xg有n张，x'r和x'g两者中的图片大小规格一致；然后x'g中的图片经过频率过滤处理得到图片集其拥有多个批次，每个批次拥有和xg对应的n张图片；
6.2)进行模型训练第一阶段：将一个批次xr、xg中的图片分别输入标签相关的特征提取器er，获得对应的与标签相关的特征计算标签相关的特征的分类损失l
cls
，用l
cls
来更新er的参数、的均值μr和方差σr、的均值μg和方差σg；然后采用上述方式训练完成其它批次的图片；
7.3)进行模型训练第二阶段：将xr分别输入标签相关的特征提取器er、标签不相关的特征提取器eu获得与标签相关的特征和与标签不相关的特征同理将xg输入er、eu获得特征和利用特征判别器d
l
的输出，计算标签不相关分支的对抗损失然后将和输入adain层，之后使用生成器g生成残差图片，将该残差图片加在上获得目标图片计算图片差异l
rec
；然后将输入er获得与标签相关的特征与计算一致性损失lr；然后利用整体判别器d的输出，计算整体对抗损失ld,lg；利用本步骤的损失更新g、er、eu、d
l
、d的参数；然后采用上述方式训练完成其它批次的图片；
8.4)准备要处理的攻击图片集tg，经过同步骤1)中的频率过滤处理得到图片集
加载训练好的模型，将tg输入模型获得规避图片集其中的图片能够用于规避gan图片检测器的检测。
9.进一步，在步骤1)中，xr、xg和的组成表示为：
[0010][0011][0012][0013]
式中，是指该真实图片批次中的第i张图片，是指该gan生成的图片批次中的第i张图片，是指该经过频率过滤处理后图片批次中的第i张图片，n是该批次图片集中的图片总数量；
[0014]
频率过滤处理是如下操作：将图片集中的每张图片，切分为8
×
8大小的块，然后对每个块中的rgb每通道的像素值进行离散余弦变换(dct)得到各通道的频率系数矩阵，其大小也是8
×
8，将各个频率系数矩阵中的数值除以同一个左上角向右下角元素值依次增大的8
×
8矩阵得到过滤后的频率系数矩阵，最后使用离散余弦反变换(idct)和处理后的频率系数矩阵获得频率过滤处理后的图片。
[0015]
进一步，在步骤2)中，标签相关的特征指的是该部分特征容易被gan图片检测器分辨出是属于真图r类别还是gan图片g类别；
[0016]
用er提取的过程描述为：
[0017][0018][0019][0020][0021]
式中，为该批次第i张真实图片提取出的特征，为该批次第i张gan图片提取出的特征；
[0022]
损失函数l
cls
的定义为：
[0023][0024]
式中，y表示类别，即y＝{r,g}，diff()表示如果输入相同类别则返回-1，否则输出为 1的函数；μy和σy表示y类在特征空间中的均值和协方差，p(y)表示类别y的先验概率；表示该批次在类y下的第i个特征；则表示在类y下的概率密度函数，它是符合均值为μy、方差为σy的正态分布概率密度函数；
[0025]
根据adam优化算法，最小化损失l
cls
来更新er网络权重参数和更新和这两个分布的均值和方差；
[0026]
在步骤3)中，标签不相关的特征指的是该部分特征不易被gan检测器分辨，包含图片的内容结构信息；
[0027]
用er提取的过程同上，用eu提取的过程描述为：
[0028][0029][0030][0031][0032]
式中，为该批次第i张真实图片提取出的特征，为该批次第i张gan图片提取出的特征；
[0033]
在获得之后，计算损失定义如下：
[0034][0035][0036]
式中，对于每一个d
l
的输出是一个介于0和1之间的实数值，表示对其决策的置信度，其中0和1分别代表真实图片类r和gan图片类g；|| ||1代表1-范数；
[0037]
利用adain层和生成器g，生成残差图片，进而获得目标图片，其表达式为：
[0038][0039][0040]
式中，为该批次目标图片集中的第i张图片，adain层是一种风格转换组件，用于特征分布的转换；然后计算处理前后的图片差异
[0041]
再次使用er，将输入er，获得的组成为：式中，为该批次第i张目标图片提取的特征，计算前后特征一致性损失
[0042]
计算整体对抗损失ld,lg，定义如下：
[0043][0044][0045]
最后，用adam优化算法来最小化损失，更新各组件的参数，最小化其中为损失的计算结果，用于更新g和er的参数，λ
rec
、λg、λr分别为l
rec
、lg、lr的权重；最小化其中为损失的计算结果，用于更新eu的参数，为的权重；分别最小化ld和来更新d和d
l
。
[0046]
进一步，在步骤4)中，攻击图片集tg指的是攻击者想让gan图片检测器检测错误的图片集，是实施规避的原始gan图片，其组成为m张不属于xg的gan生成的图片：
式中，指的是攻击图片集tg中第i张图片；
[0047]
通过频率过滤p
filter
获取图片集的方式同步骤1)，其组成为：式中，指的是图片集中第i张图片；
[0048]
规避图片集指的是经过我们的训练好的模型处理过后的图片集，其组成为：式中，指的是规避图片集中第i张图片；
[0049]
加载由步骤2)、3)训练好的模型，将tg中的图片输入模型，获取的处理过程如下式：
[0050][0051]
式中，μr为训练完毕后得到的最终真实图片类别标签相关特征的均值。
[0052]
本发明与现有技术相比，具有如下优点与有益效果：
[0053]
1、本发明首次在gan图片安全领域采用信息解耦的方法分离标签相关和不相关特征，规避了多种类型的gan图片检测器的检测，证实了目前检测器存在的缺点。
[0054]
2、本发明与其它在零检测器信息的场景中的gan图片检测器规避方法相比，提高了规避成功率。
[0055]
3、本发明方法在计算机视觉安全性任务中具有广泛的研究价值，适应性强，具有广阔的应用前景。
具体实施方式
[0056]
下面结合实施例对本发明作进一步详细的描述，但本发明的实施方式不限于此。
[0057]
本实施例公开了一种基于信息解耦和重建的gan图片检测器规避方法，其具体情况如下：
[0058]
1)准备将n张真实图片组成的图片集x'r分为多个批次，每个批次xr有n张，同样，将n张由gan生成的图像组成的图片集x'g分为多个批次，每个批次xg有n张，x'r和x'g两者中的图片大小规格一致；然后x'g中的图片经过频率过滤处理得到图片集其拥有多个批次，每个批次拥有和xg对应的n张图片；
[0059]
2)进行模型训练第一阶段：将一个批次xr、xg中的图片分别输入标签相关的特征提取器er，获得对应的与标签相关的特征计算标签相关的特征的分类损失l
cls
，用l
cls
来更新er的参数、的均值μr和方差σr、的均值μg和方差σg；然后采用上述方式训练完成其它批次的图片；
[0060]
3)进行模型训练第二阶段：将xr分别输入标签相关的特征提取器er、标签不相关的特征提取器eu获得与标签相关的特征和与标签不相关的特征同理将xg输入er、eu获得特征和利用特征判别器d
l
的输出，计算标签不相关分支的对抗损失然后将和输入adain层，之后使用生成器g生成残差图片，将该残差图片加在上获得目标图片计算图片差异l
rec
；然后将输入er获得与标签相关的特征与计算一
致性损失lr；然后利用整体判别器d的输出，计算整体对抗损失ld,lg；利用本步骤的损失更新g、er、eu、d
l
、d的参数；然后采用上述方式训练完成其它批次的图片；
[0061]
4)准备要处理的攻击图片集tg，经过同步骤1)中的频率过滤处理得到图片集加载训练好的模型，将tg输入模型获得规避图片集其中的图片能够用于规避gan图片检测器的检测。
[0062]
在步骤1)中，xr、xg和的组成表示为：
[0063][0064][0065][0066]
式中，是指该真实图片批次中的第i张图片，是指该gan生成的图片批次中的第i张图片，是指该经过频率过滤处理后图片批次中的第i张图片，n是该批次图片集中的图片总数量；
[0067]
频率过滤处理是如下操作：将图片集中的每张图片，切分为8
×
8大小的块，然后对每个块中的rgb每通道的像素值进行离散余弦变换(dct)得到各通道的频率系数矩阵，其大小也是8
×
8，将各个频率系数矩阵中的数值除以同一个左上角向右下角元素值依次增大的8
×
8矩阵得到过滤后的频率系数矩阵，最后使用离散余弦反变换(idct)和处理后的频率系数矩阵获得频率过滤处理后的图片。
[0068]
例如，该频率过滤处理的操作为：将图片集中的每张图片，切分为8
×
8大小的块，例如某一块各通道的像素值：
[0069][0070]
然后对rgb每通道的像素值进行离散余弦变换(dct)得到各通道的频率系数矩阵：
[0071][0072]
将各个频率系数矩阵中的数值对应除以一个过滤矩阵：
[0073][0074]
将得到的结果经过离散余弦反变化(idct)，进而将频率过滤后的块拼成整张图片。
[0075]
在步骤2)中，标签相关的特征指的是该部分特征容易被gan图片检测器分辨出是属于真图r类别还是gan图片g类别；
[0076]
用er提取的过程描述为：
[0077][0078][0079][0080][0081]
式中，为该批次第i张真实图片提取出的特征，为该批次第i张gan图片提取出的特征；
[0082]
例如使用的标签相关的提取器er，由4层卷积神经网络和2层全连接层组成，输出大小为64的张量。用er提取的举例过程描述如下：随机初始化的均值μr和方差σr、的均值μg和方差σg。n＝16，即将一个批次的16张图片组成的真实图片集集xr、16张gan图片组成的gan图片集xg中的图片分别输入标签相关的特征提取器er，分别获得对应的与标签相关的特征
[0083]
损失函数l
cls
的定义为：
[0084][0085]
式中，y表示类别，即y＝{r,g}，diff()表示如果输入相同类别则返回-1，否则输出为 1的函数；μy和σy表示y类在特征空间中的均值和协方差，p(y)表示类别y的先验概率；表示该批次在类y下的第i个特征；则表示在类y下的概率密度函数，它是符合均值为μy、方差为σy的正态分布概率密度函数；
[0086]
根据adam优化算法，最小化损失l
cls
来更新er网络权重参数和更新和这两个分布的均值和方差；
[0087]
然后同上述方式训练完成其它批次的图片。并重复步骤2)e1次，例如e1＝10。
[0088]
在步骤3)中，标签不相关的特征指的是该部分特征不易被gan检测器分辨，包含图片的内容结构信息；
[0089]
用er提取的过程同上，用eu提取的过程描述为：
[0090][0091][0092][0093][0094]
式中，为该批次第i张真实图片提取出的特征，为该批次第i张gan图片提取出的特征；
[0095]
例如使用的标签不相关的提取器eu，由5层卷积神经网络层组成，输出大小为[64,64,64]的张量。用eu提取的过程举例为：n＝16，即将一个批次的16张图片组成的真实图片集集xr、16张gan图片组成的gan图片集xg中的图片分别输入标签不相关的特征提取器eu，分别获得对应的与标签不相关的特征
[0096]
在获得之后，计算损失定义如下：
[0097][0098][0099]
式中，对于每一个d
l
的输出是一个介于0和1之间的实数值，表示对其决策的置信度，其中0和1分别代表真实图片类r和gan图片类g；|| ||1代表1-范数；
[0100]
例如d
l
由2层卷积层和1层全连接层组成，输出大小为1的张量，g由2层卷积层、1层上采样层和2层卷积层组成，输出大小为[3，128，128]的张量，d由5层卷积层组成，输出大小为1的张量。
[0101]
利用adain层和生成器g，生成残差图片，进而获得目标图片，其表达式为：
[0102][0103][0104]
式中，为该批次目标图片集中的第i张图片，adain层是一种风格转换组件，用于特征分布的转换；然后计算处理前后的图片差异
[0105]
再次使用er，将输入er，获得的组成为：式中，为该批次第i张目标图片提取的特征，计算前后特征一致性损失
[0106]
计算整体对抗损失ld,lg，定义如下：
[0107]
[0108][0109]
最后，用adam优化算法来最小化损失，更新各组件的参数，最小化其中为损失的计算结果，用于更新g和er的参数，λ
rec
、λg、λr分别为l
rec
、lg、lr的权重；最小化其中为损失的计算结果，用于更新eu的参数，为的权重；分别最小化ld和来更新d和d
l
。例如设置λ
rec
＝1000，λg＝1，λr＝1，设置
[0110]
然后同上述方式训练完成其他批次的图片。重复步骤3)e1次，例如e1＝40。
[0111]
在步骤4)中，攻击图片集tg指的是攻击者想让gan图片检测器检测错误的图片集，是实施规避的原始gan图片，其组成为m张不属于xg的gan生成的图片：式中，指的是攻击图片集tg中第i张图片。
[0112]
通过频率过滤p
filter
获取图片集的方式同步骤1)，其组成为：式中，指的是图片集中第i张图片。
[0113]
规避图片集指的是经过我们的训练好的模型处理过后的图片集，其组成为：式中，指的是图片集中第i张图片。
[0114]
加载由步骤2)、3)训练好的模型，将tg中的图片输入模型，获取的处理过程如下式：
[0115][0116]
式中，μr为训练完毕后得到的最终真实图片类别标签相关特征的均值。
[0117]
例如n＝10，即准备10张由gan生成的攻击图片，并经过频率过滤p
filter
获取对应的10张频率过滤图片；加载训练好的模型，将攻击图片依次输入模型，获得10张残差图片，将这10张残差图依次加在频率过滤图片上，获得10张规避图片。
[0118]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。