基于分布保持原则用于深度图像隐写分析的数据增强方法与流程

1.本发明涉及图像处理技术领域，特别涉及一种基于分布保持原则用于深度图像隐写分析的数据增强方法。


背景技术：

2.目前，基于深度学习的隐写分析模型相较于其他模型具有更为先进的性能，但深度学习模型在进行训练时，需要大量的数据来提高模型的准确性和泛化能力。具体到隐写分析任务，由于隐写信号在低嵌入率下非常微小，网络需要大量的数据来捕获隐写信号。因此，如果原始数据集中的载体/载密对不足，就有必要对数据集进行丰富。
3.增加额外的数据集是丰富数据集的一个直观方法，但很难保证添加的数据集的数据分布与原始数据集相似，如果添加的数据集数据分布与原始数据集非常不同，很可能会产生负面的影响。
4.数据增强是丰富数据集的一种常见方式。在基于cnn的隐写分析任务中， pixels
‑
off增强方法具有良好的性能，pixels
‑
off数据增强算法是yedroudj 等人提出的，是一种启发式的用于深度图像隐写分析任务的增强算法，它的增强流程如下：(1)生成增强载体图像：在原始载体中随机选择小部分像素，将其值置为0(像素关闭)；(2)生成增强载密图像：用与原始数据集生成载密相同的隐写算法，对步骤(1)生成的增强载体进行模拟嵌入，生成增强载密；(3)将步骤(1)(2)生成的增强载体/载密对加入原始训练集，实现数据扩充。此外， yedroudj等人还提出了pixels
‑
off的改进版本adaptive
‑
pixels
‑
off：在嵌入概率最高的10％个像素中随机关闭一些像素，以生成增强载体。
5.虽然adaptive
‑
pixels
‑
off可以进一步提高隐写分析网络的性能。然而，它是根据经验启发式设计的，并依赖于特定的失真函数来计算像素的修改概率，手动执行数据增强。
6.为了进一步让读者了解清楚本发明中的方案，下面对一些常用概念或技术进行介绍。
7.载体图像：承载秘密消息的图像，在隐写过程中将秘密消息嵌入到载体图像上。
8.载密图像：载体图像上嵌入秘密消息之后得到载密图像。
9.隐写术：隐写术是一种用于创建隐蔽通信信道的技术，可以在多媒体中隐藏秘密信息。现在，最流行和有效的隐写方法是基于最小化失真模型，在最小化失真模型的框架内，隐写术被分为两个任务：1)设计失真函数；2)设计实用的嵌入编码方法。
10.失真函数：通过量化载体图像上每个像素点被修改所产生的影响，为每个像素点分配修改失真，它指导了嵌入过程中对于像素修改位置的偏好。在加性隐写条件下，所有修改带来的影响总和代表了载体图像和载密图像之间的总体失真。加性隐写指独立考虑每个像素点修改所产生的影响，若考虑相邻像素点间联合修改产生的影响称为非加性隐写。现有很多用于空域图像的失真函数算法都是基于加性隐写条件的，比如hugo、wow、s
‑
uniward、hill、mvgg。这些失真函数为像素点嵌入秘密消息时的加减一修改赋予相等的失真，我们称之为对称失真函数。反之，非对称失真函数则赋予像素点加减一修改不相等的失
真。
11.stc：校验子格编码。最小化失真隐写框架是实现安全隐写的主流框架，stc 编码能够针对任意加性失真函数，在给定嵌入率下接近总体失真的理论下界。
12.嵌入率：在空域图像中，嵌入率为嵌入信息的bit长度与图像像素个数的比值。
13.隐写分析器：通过区分载体图像和载密图像来检测隐写安全性。现有的常用隐写分析器分为两类：一是基于手工特征提取的隐写分析器，如srm等；二是基于深度学习的网络隐写分析器，如srnet、yednet、covnet等。
14.数据增强：数据增强是指实际不增加原始数据，只是对原始数据做一些变换，从而创造出更多的数据。数据增强的作用是增加训练集的样本，同时也可以有效缓解模型过拟合的情况，也可以给模型带来的更强的泛化能力。


技术实现要素：

15.本发明的目的在于提供一种基于分布保持原则用于深度图像隐写分析的数据增强方法，可以方便的对原始载体进行处理得到增强载体，且两者在隐写分析任务下的分布相似。
16.为实现以上目的，本发明采用的技术方案为：一种基于分布保持原则用于深度图像隐写分析的数据增强方法，包括如下步骤：s100、对原始载体x按一定变换关系进行处理得到添加增强噪声的概率图p，概率图p的大小与原始载体x的大小一致且概率图p中的每个元素为原始载体x中对应位置元素添加增强噪声的概率；s200、对概率图p进行处理得到噪声图n；s300、将噪声图n叠加至原始载体x上，得到增强载体x
aug
；其中，步骤s100中，原始载体x和概率图p的变换关系可利用已有的图对图转化模型进行训练得到。
17.与现有技术相比，本发明存在以下技术效果：通过引入概率图p，将原始载体x和增强载体x
aug
变换关系具体化，这样只需要求解出概率图p，就能得到对应的增强载体x
aug
，再利用已有的图对图转化模型建立原始载体x和概率图p的关系，这样，就能方便的生成与原始载体x分布相似的增强载体x
aug
，同时，此种方法无需访问初始数据库以外的图像，也无需使用原始相机的知识；本方法可以将原始数据集的规模扩大数倍，大大丰富了数据集的内容。
附图说明
18.图1是本发明中整体结构图；
19.图2是图1中的unet网络详细结构图；
20.图3是本发明中对示例图片进行处理的流程图。
具体实施方式
21.下面结合图1至图3，对本发明做进一步详细叙述。
22.参阅图1
‑
图3，一种基于分布保持原则用于深度图像隐写分析的数据增强方法，包括如下步骤：s100、对原始载体x按一定变换关系进行处理得到添加增强噪声的概率图p，概率图p的大小与原始载体x的大小一致且概率图p中的每个元素为原始载体x中对应位置元素添加增强噪声的概率；s200、对概率图p进行处理得到噪声图n；s300、将噪声图n叠加至原
始载体x上，得到增强载体x
aug
；其中，步骤s100中，原始载体x和概率图p的变换关系可利用已有的图对图转化模型进行训练得到。通过引入概率图p，将原始载体x和增强载体x
aug
变换关系具体化，这样只需要求解出概率图p，就能得到对应的增强载体x
aug
，再利用已有的图对图转化模型建立原始载体x和概率图p的关系，这样，就能方便的生成与原始载体x分布相似的增强载体x
aug
，同时，此种方法无需访问初始数据库以外的图像，也无需使用原始相机的知识；本方法可以将原始数据集的规模扩大数倍，大大丰富了数据集的内容。
23.随着各类算法模型的推出，很多模型在训练时需要用到大量的样本集，本发明中的数据增强技术，适用于所有需要对数据集进行扩展的情形。在进行扩展时，我们只需要构建原始载体x和概率图p的变换关系即可。这种变换关系的构建方式很多，从根本上看，这种变换关系其实就是图对图进行转换的关系，这种算法在现有技术中有很多，我们只需要挑选合适的算法模型进行图对图转换。需要注意的是，进行图对图转换的算法模型也是需要通过训练得到的，有多种方式可以实现；也可以采用本发明中的方案，使用unet网络结构，设定合适的损失函数，使用原始载体x对其进行训练即可，此种方案无需人工介入，使用起来更方便。
24.进一步地，参阅图2，所述的图对图转化模型为unet网络，步骤s100中，将原始载体x输入训练好的unet网络中，unet网络输出对应的概率图p；unet 网络结构由8个卷积层和8个反卷积层组成且相同大小的特征图是短路连接的，其输出由relu(sigmoid()
‑
0.5)运算得到；该unet网络训练时的损失函数由高频损失函数loss1和内容差异损失函数loss2线性叠加而成。本发明中使用的 unet网络结构如图2所示，其中第一排大的立方体为卷积层，该卷积层的内核大小为3，步长为2，第一排小的立方体为特征图，它是前一个卷积层的输出，也是下一个卷积层的输入。第二排大的立方体为反卷积层，该反卷积层的内核大小为5，步长为2。经过卷积和反卷积操作后的特征图，经过relu(sigmoid()
‑
0.5) 运算后最终输出结果，即概率图p，概率图p中的每个元素的取值被钳制在[0,0.5] 区间内。这里所列的unet网络结构，只是一种较为优选的方案，我们也可以根据实际需要设置卷积层的个数。
[0025]
由于前面使用了unet网络结构，所以还需要设置损失函数loss，以方便对该unet网络进行训练。在不同场景下，我们的损失函数loss可以作不同的选择，比如本发明中，从隐写分析的角度来看，增强后的数据分布应该与原始数据分布类似，因此这里定义了高频损失函数lossl：
[0026][0027]
式中，f是一组来自srm的30个高通滤波器，“*”是卷积运算，l1即计算两者的曼哈顿距离。高频损失函数lossl保证了原始载体x和增强载体x
aug
高频信号的一致性，从而在很大程度上保证了隐写分析任务下的分布的一致性，图1 中的“dhfs”(difference of high
‑
frequency signals的缩写)模块就起着计算高频损失函数lossl的作用。
[0028]
如果我们只用lossl来约束网络，学到的噪声概率图将趋于0。为了满足第二个要求，即丰富数据集的内容，我们引入了内容差异损失函数loss2，其具体公式如下：
[0029][0030]
其中n是生成的噪声图，n0是超参数。n0的值表示要添加的噪声点的预期数量。如果n0太大，太多的噪声会影响原始图像的分布；如果n0太小，增强后的图像和原始图像之间的
差异太细微，无法达到丰富数据集的效果，因此需要选择合适大小的n0，更准确的说，噪声点的预期数量和总的像素点的比值在一定范围内时具有更佳的性能表现。
[0031]
在本发明中，我们所使用的原始载体x的图像大小为256*256像素，我们针对不同的n0进行了测试，下表中展示了不同大小的噪声点预期数量n0和验证集准确率acc
v
之间的关系：
[0032]
n01002564001024acc
v
0.77760.77700.78450.7815
[0033]
因此，本发明中优选地，噪声点的预期数量n0等于原始载体x总像素数量的 0.5％～1.5％，在这样的比值范围内，验证集准确率较高。
[0034]
基于上述高频损失函数lossl和内容差异损失函数loss2，我们就可以根据以下公式计算unet网络训练时的损失函数loss：loss＝loss1 λ
×
loss2；λ均为预先设定好的超参数。同样地，我们针对不同的λ也进行了性能测试，下表中展示了不同大小的λ和验证集准确率acc
v
之间的关系：
[0035]
λ0.010.11.010100acc
v
0.78010.77950.78450.78120.7815
[0036]
从上表格中我们可以看出，λ在0.01
‑
100之间时对性能的影响不是特别大，当λ＝1的时候性能最好，故本发明中优选地，所述的步骤s100中，λ∈[0.01,100]；更优选地，取λ＝1。
[0037]
将概率图p处理成噪声图n有很多种方式，我们可以根据概率图p中每个元素上的概率值来计算具体的噪声值，即每一个概率值对应一个噪声值，但这种计算方式实验效果不佳，故本发明中优选地，所述的步骤s200中，包括如下步骤： s210、对概率图p进行采样，得到第一噪声图，第一噪声图中的元素有三种值： 1、
‑
1和0，分别表示加性噪声、减性噪声和无噪声；s220、用第一噪声图乘以噪声幅度α得到的第二噪声图即为噪声图n。这里通过引入加性噪声和减性噪声，然后统一将这两种噪声乘以固定的噪声幅度α，即我们默认只要是加性噪声或减性噪声，其幅值都是一样的，这样可以简化噪声图n的计算，并且效果也比较好。噪声幅度α同样有多种取值方式，本发明中同样对不同的噪声幅度进行了性能测试，下表中展示了不同大小的噪声幅度α和验证集准确率acc
v
之间的关系：
[0038]
α124816acc
v
0.76650.77600.77800.77400.7845α3264128256 acc
v
0.77850.77950.77400.7700 [0039]
通过上面的表格我们可以看出，当噪声幅度α∈[16,64]时，性能表现最佳。
[0040]
unet网络的输出是添加噪声的概率图p，需要采样来获得实际的噪声图，比如先采样为上述的第一噪声图。如果我们直接采样，我们只能得到采样的值，而不是采样的表达式，所以这个过程的梯度不能被反向传播。为了得到采样过程的表达式，我们使用gumbel
‑
softmax技巧。
[0041]
为了在不破坏计算图的梯度传播的情况下进行采样，我们引入了gumbel分布，通过它我们可以获得采样过程中所需要的随机性。然而，在进行噪声n
ii
及其概率p
ij
的具体计
算时，会用到argmax函数，该函数是不可微分的，因此我们利用蒸馏softmax来近似它，故本发明中优选地，所述的步骤s210中，按如下公式对概率图p进行采样得到第一噪声图：
[0042][0043]
式中，p
ij
为概率图p中第i行第j列的概率值，n
ij
为第一噪声图中第i行第j列的元素值，是gumbel噪声，τ是温度参数，τ越小，softmax就越接近 argmax，但是如果τ太小，在进行反向传播时将导致梯度爆炸，因此需要选择一个合适的τ值。使用gumbel
‑
softmax技巧，我们得到了噪声点n
ij
及其概率图p
ij
的显示表达式，通过这种方式，我们将采样过程中所需要的随机性转移到上，这样在进行反向传播时就可以得到p
ij
的导数。
[0044]
进一步地，所述的步骤s300中，通过如下公式将噪声图n叠加到原始载体 x上得到增强载体x
aug
[0045][0046]
其中，原始载体x、噪声图n以及增强载体x
aug
均为灰度图，上述公式中，是对灰度值进行计算的。通过以上公式，可以方便的将噪声图n叠加到原始载体 x上。
[0047]
本发明中使用到了unet网络结构，并且在使用前需要对其进行训练，训练完成以后的unet网络结构就可以进行存储，以后需要对原始载体x进行数据增强时，只需要将原始载体x输入unet网络中即可得到概率图p，再对概率图p 进行处理就能方便的得到增强载体x
aug
。本发明中优选地，所述的unet网络应用 adam优化器来训练，unet网络结构中的所有层都使用xavier方法进行初始化，训练中的batchsize批大小等于16。在训练过程中，我们对学习率做如下调整：初始学习率为0.0001，当训练迭代等于指定的步骤之一时，学习率将被除以10。具体来说，我们可以将总的epoch设置为300，学习率在epoch为100和200时分别除以10。同样地，我们在前面述及，温度参数τ取小取大都有劣势，因此我们可以在初期让温度参数τ取较大的值以便于训练，然后随着epoch的增加，温度参数τ逐渐减小，使得softmax更逼近argmax。
[0048]
图3展示了我们的载体增强效果，其中(a)代表原始载体x的图像，(b) 显示了添加噪声的概率图p，颜色越深，概率越高，对(b)进行gumbel采样，得到(c),(c)显示了添加的噪声，其中白色、灰色、黑色分别代表
‑
1、0、1， (d)显示了最终生成的增强载体x
aug
的图像。为了演示，(d)中我们将噪声幅度设置为255，并将像素值钳制在[0,255]以突出所添加的噪声，这样，可以从图中明显看出添加的白点和黑点噪声，实际在添加噪声的时候，没有这么明显，此处仅仅是方便读者看清楚。从图3中，我们可以清楚的看出如下特点：
[0049]
1、增加的噪声主要分布在复杂纹理的区域，如图3(c)所示；
[0050]
2、增加的噪声的概率极值的位置是有规律的，排列整齐，如图3(b)所示。
[0051]
实验结果表明，本发明中所提出的数据增强方法可以提高多种基于cnn的隐写分析器的性能，并优于之前的方法。