基于倒残差结构的孪生卷积网络隐写分析框架

1.本发明涉及隐写分析技术领域，尤其涉及一种基于倒残差结构的孪生卷积网络隐写分析框架。


背景技术：

2.随着智能设备的发展，当前以图像为主的多媒体文件呈爆炸式增长，以图像为载体在互联网上传递已成为重要信息重要的通信方式之一。由于隐写算法和软件的发展，不法分子利用这种技术将非法信息隐藏在图像中进行传递信息，而不被轻易发现，这样的行为威胁到社会安全，而且这些载密图像不只是同一尺寸的，还包含不同尺寸的图像。因此需要研究人员研究相应的隐写分析方法来应对这种威胁。
3.为此，tsang和fridrich(文献1：tsang c f,fridrich j.steganalyzing images of arbitrary size with cnns.electron.imag,2018,2018(7):1
–
8)设计一种基于不同尺寸检测器(sid)。但是该网络结构还不够完善，对于不同和大型的数据集，其性能的准确性略有下降，检测准确率仍然有待提升。


技术实现要素：

4.针对当前对不同尺寸图像隐写分析检测准确低的问题，本发明提供一种基于倒残差结构的孪生卷积网络隐写分析框架。
5.本发明提供一种基于倒残差结构的孪生卷积网络隐写分析框架，依次包括图像预处理模块、图像特征提取模块和图像分类模块；
6.所述图像预处理模块，用于采用高通滤波结合深度可分离神经网络的方式预处理图像以获取图像的通道间残差的相关性；所述图像预处理模块包括两个结构相同的预处理分支；每个所述预处理分支依次包括滤波层、两个深度可分离神经网络层和三个第一block块；
7.所述图像特征提取模块，用于提取图像特征；所述图像特征提取模块包括两个结构相同的特征提取分支；每个所述特征提取分支依次包括倒残差网络层和两个block块组；每个所述block块组依次包括一个第二block块和一个第一block块；
8.所述图像分类模块，用于对两个特征提取分支所提取的特征进行融合，根据融合后特征将图像分为载体图像和载密图像；所述图像分类模块包括分别连接两个特征提取分支的两个全局平均池化层，连接两个所述全局平均池化层的损失函数以及最后的全连接层；
9.其中，两个所述预处理分支和两个所述特征提取分支均分别共享权重值。
10.进一步地，所述滤波层包括30个srm线性滤波核。
11.进一步地，所述深度可分离神经网络层依次包括第一specon块、relu函数和第二specon块；所述第一specon块依次包括3
×
3的深度卷积、绝对值层、逐点卷积和bn层；所述第二specon块依次包括3
×
3的深度卷积、逐点卷积和bn层。
12.进一步地，所述倒残差网络层依次包括第一部分、第二部分和第三部分；所述第一部分依次包括1
×
1的卷积层、bn层和relu6激活函数；所述第二部分依次包括3
×
3的深度卷积、bn层和relu6激活函数；所述第三部分依次包括1
×
1的卷积层和bn层；所述第一部分的输入和第三部分的输出经过
⊕
运算后的输出即为所述倒残差网络层的输出。
13.进一步地，所述第一block块依次包括第一部分和第二部分；所述第一部分依次包括3
×
3的卷积层、bn层和relu函数；所述第二部分依次包括3
×
3的卷积层和bn层；所述第一部分的输入和第二部分的输出经过
⊕
运算后再输入至relu函数后的输出即为所述第一block块的输出。
14.进一步地，所述第二block块包括第一部分、第二部分和第三部分；所述第一部分和所述第三部分具有相同的输入；所述第一部分的输出作为第二部分的输入；第二部分的输出和第三部分的输出经过
⊕
运算后再输入至relu函数后的输出即为所述第二block块的输出；所述第一部分依次包括3
×
3的卷积层、bn层和relu6激活函数；所述第二部分依次包括3
×
3的卷积层和bn层；所述第三部分依次包括1
×
1的卷积层和bn层。
15.本发明的有益效果：
16.(1)本发明创新性地提出了一种融合高通滤波和深度可分离神经网络的预处理层。对图像的预处理时，采用高通滤波结合深度可分离网络的方式，可以有效获取信道相关性和残差的空间相关性，有利于提升检测准确率。
17.(2)本发明创新性地提出了一种适用于特征提取层的倒残差网络模型。卷积在提取图像特征的同时也会丢弃一部分特征，在特征提取时获取更多的特征，为后续的分类做准备。倒残差网络在提取阶段可以复用特征，缓解特征的退化，有效提升模型的检测准确率。
18.(3)本发明创新性地采用孪生卷积神经网络，借助孪生网络双分支的共享权重的特性，在保持参数量没有增加量级的情况下，检测的准确率在不同尺寸图像上得到有效的提升。
附图说明
19.图1为本发明实施例提供的基于倒残差结构的孪生卷积网络隐写分析框架的结构示意图；
20.图2为本发明实施例提供的深度可分离神经网络层的结构示意图；
21.图3为本发明实施例提供的block块的结构示意图：(a)为第一block块；(b)为第二block块；
22.图4为本发明实施例提供的倒残差网络层的结构示意图；
23.图5为本发明实施例提供的使用本发明方法对wow隐写算法0.4嵌入率下的训练准确率、训练loss变化和auc曲线图；
24.图6为本发明实施例提供的本发明方法和对比方法分别在三种自适应隐写算法不同嵌入率下的检测准确率；
25.图7为本发明实施例提供的训练准确率和训练loss示意图。
具体实施方式
26.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
27.如图1所示，本发明实施例提供一种基于倒残差结构的孪生卷积网络隐写分析框架，依次包括图像预处理模块、图像特征提取模块和图像分类模块；
28.所述图像预处理模块，用于采用高通滤波结合深度可分离神经网络的方式预处理图像以获取图像的通道间残差的相关性；所述图像预处理模块包括两个结构相同的预处理分支；每个所述预处理分支依次包括滤波层、两个深度可分离神经网络层和三个第一block块(也称block1块)；
29.作为一种可实施方式，为了丰富对隐写特征的表达，滤波层选用30个srm线性滤波核，经过滤波输出的是30个特征映射；选用的滤波尺寸为5
×
5。需要注意的是：本发明实施例采用的是全学习模型，该模型的特征点是权重随着训练的改变而改变。
30.基于自适应隐写算法的嵌入消息，一般都是嵌入在纹理复杂区域，很难被检测，获取通道间的相关性是提高检测的关键，本实施例引入两个深度可分离神经网络层，该深度可分离神经网络层是由深度卷积(depthwise convolution,dw)和逐点卷积(pointwise convolution,pw)组成，深度卷积的作用是滤波，而逐点卷积的作用是转换通道。因此，通过图像预处理模块获取通道间的残差能有效提取对隐写分析的检测准确率。
31.作为一种可实施方式，如图2所示，所述深度可分离神经网络层依次包括第一specon块、relu函数和第二specon块；所述第一specon块依次包括3
×
3的深度卷积(dw)、绝对值层(absolute activation,abs)、逐点卷积(pw)和bn层；所述第二specon块依次包括3
×
3的深度卷积(dw)、逐点卷积(pw)和bn层。
32.具体地，利用pw的通道融合性，提取通道间的残差相关性，通过改善网络深度提升检测准确率，但是也会带来计算量的增加。而dw的计算简单，对输入的特征图的每一个通道分别使用一个卷积核，这样减少了计算量。
33.所述图像特征提取模块，用于提取图像特征；所述图像特征提取模块包括两个结构相同的特征提取分支；每个所述特征提取分支依次包括倒残差网络层和两个block块组；每个所述block块组依次包括一个第二block块和一个第一block块；
34.本实施例中包括两种block块：第一block块(也称block1块)和第二block块(也称block2块)。作为一种可实施方式，如图3(a)所示，所述第一block块依次包括第一部分和第二部分；所述第一部分依次包括3
×
3的卷积层、bn层和relu函数；所述第二部分依次包括3
×
3的卷积层和bn层；所述第一部分的输入和第二部分的输出经过
⊕
运算后再输入至relu函数后的输出即为所述第一block块的输出。作为一种可实施方式，如图3(b)所示，所述第二block块包括第一部分、第二部分和第三部分(该部分也称为shortcut层)；所述第一部分和所述第三部分具有相同的输入；所述第一部分的输出作为第二部分的输入；第二部分的输出和第三部分的输出经过
⊕
运算后再输入至relu函数后的输出即为所述第二block块的输出；所述第一部分依次包括3
×
3的卷积层、bn层和relu6激活函数；所述第二部分依次包括3
×
3的卷积层和bn层；所述第三部分依次包括1
×
1的卷积层和bn层。其中，所述第三部分
中的卷积层的步长是2；block1输入的特征通道数是30，输出的特征通道数是30。
35.为了让网络学习更多的特征，在网络的特征提取层将获取的图像的特征进一步增多，会对提升检测准确率有帮助。基于这种思想，为了学习更多的特征，特征的复用是关键，因此，本实施例中的图像特征提取模块引入倒残差网络层，该倒残差网络层通过提升图像特征的通道数来达到最大限度的提取特征的目的。
36.作为一种可实施方式，如图4所示，所述倒残差网络层依次包括第一部分、第二部分和第三部分；所述第一部分依次包括1
×
1的卷积层、bn层和relu6激活函数；所述第二部分依次包括3
×
3的深度卷积(dw)、bn层和relu6激活函数；所述第三部分依次包括1
×
1的卷积层和bn层；所述第一部分的输入和第三部分的输出经过
⊕
运算后的输出即为所述倒残差网络层的输出。
37.具体地，在第一部分中，通过1
×
1的卷积核将通道数提升为60，能够提取更多的特征，这样增加了输入到bn层的特征。由于在第一部分提取的特征多，因此在第二部分中，先通过dw层提取更加丰富的特征；并且由于该第二部分是降维，而非线性激活函数会破坏低维特征，因此这里没有用非线性激活函数，而是采用了relu6激活函数。总得来讲，该倒残差网络层的作用可以总结为：“扩张
”→“
卷积提特征
”→“
压缩”，即：先使用1
×
1卷积完成图像的通道扩张，再利用dw提取图像特征，最后使用1
×
1卷积降低图像通道数量。
38.所述图像分类模块，用于对两个特征提取分支所提取的特征进行融合，根据融合后特征将图像分为载体图像和载密图像；所述图像分类模块包括分别连接两个特征提取分支的两个全局平均池化层，连接两个所述全局平均池化层的损失函数以及最后的全连接层。
39.其中，两个所述预处理分支和两个所述特征提取分支均分别共享权重值。
40.具体地，为了更好的获取图像隐写前后的差异性，尽可能多的丰富图像特征，提高检测效率，本实施例中，可使用文献1中的公式(1)计算矩阵的最大值、最小值、平均值和方差；使用其中的公式(2)和公式(3)计算损失函数，然后使用全连接对提取的特征进行分类。
41.需要说明的是，本实施例中采用“平均池化”的原因在于：隐写分析任务的信号比较弱，这就要求池化时要尽可能多的提取特征，最大池化侧重于提取重要的特征，不利于隐写分析。而平局池化不仅可以提取图像的背景信息，而且可以减少参数，防止过拟合。因此本实施例采用平均池化层。
42.本实施例中，共采用了两种激活函数，原因在于：非饱和激活函数relu能解决“梯度消失”问题，并且能加快收敛速度；而relu6是relu的一种变形，可以防止特征损失重要信息。
43.为了验证本发明提供的基于倒残差结构的孪生卷积网络隐写分析框架的有效性，本发明还提供下述实验数据。
44.(1)实验设备参数：ubuntu操作系统，显卡：nvidia telsav100(32g)、nvidia titan rtx(24gb)和nvidia telsak80；
45.(2)数据集：使用了三种公开数据集，它们分别是bossbase-1.01、bows以及alaska#2。其中，bossbase-1.01包含了10000张512
×
512图像，bows包含10000张512
×
512的图像。alaska#2数据集我们使用alaska_512和alaska_var，其中alaska_512包含80005张512
×
512的图像，alaska_var包含：5044张512
×
512的图像，4933张512
×
640的图像，5078
张512
×
720的图像，4971张512
×
1024的图像，5070张640
×
512的图像，4899张640
×
640的图像，4927张640
×
720的图像，4991张640
×
1024的图像，4954张720
×
512的图像，4972张720
×
640的图像，5059张720
×
720的图像，5019张720
×
1024的图像，5057张1024
×
512的图像，5007张1024
×
640的图像，5082张1024
×
720的图像和4942张1024
×
1024的图像。
46.(3)网络参数设置：使用的学习率初始化参数为0.001，在epoch大于300时，学习率除以10，使用admax优化器求解损失函数的最小值，权重衰减为0.0001，使用l2正则化方式防止过拟合。这里给出了在bossbase bows数据上，对0.4嵌入率下的wow算法进行隐写检测准确率、loss变化和auc曲线。从图5(a)可以看出在300epoch时准确率有了跳跃提高，是因为学习率的改变
47.(4)图像库构建
48.将bossbase-1.01和bows数据库使用matlab中imresize函数生成20000张256
×
256的图像库。使用wow、s-uniward和hill自适应隐写算法，在0.1bpp、0.2bpp、0.3bpp和0.4bpp三种嵌入率下生成各20000张载密图像。训练集、验证集和测试集设置如下：
49.载体图像训练集：12000，验证集：2000，测试集:6000，对应的载密图像训练集：12000，验证集：2000，测试集：6000。
50.针对不同尺寸的图像隐写检测时，alaska集的设置如下：随机抽取alaska_512集中50000副图像，作为载体图像，并生成对应的载密图像，构成训练集，验证集包含10000载体图像和对应10000副载密图像，测试集使用了alaska_var集中的图像，我们将每一种不同尺寸的图像全部用来做载体图像，并生成对应载密图像构成测试集。为了让不同尺寸图像具有嵌入信息，本实验使用的嵌入率跟siastegnet(文献2：you w,zhang h,zhao x.a siamese cnn for image steganalysis.ieee transactions on information forensics and security,2020,16:291-306)中用的一样。
51.(5)固定尺寸图像检测
52.在图6，我们进一步在wow自适应算法四种嵌入率下对比本文算法和siastegnet算法的检测准确率。在检测0.1嵌入率下的wow算法，提出的方法准确率提高了2.5％；在嵌入率0.2的wow算法，提出的方法1.03％，在0.3和0.4嵌入率下提出的方法略优于对比方法。
53.(6)不同尺寸图像检测
54.在本组实验训练时，没有对图像进行随机裁剪，直接输入512
×
512的图像进行训练。
55.如图7所示，从训练的准确率来看，提出的方法在50epoch之前，检测准确提升很快，这样的变化也是因为深度可分离神经网络计算速度加快，以及获取特征多的缘故。从loss的变化中也能体现出来，在50epoch时，提出的方法loss下降很快，出现的波动也很小，siastegnet和sid方法loss下降的慢。
56.本发明通过分析现有隐写分析方法在多种数据集和不同尺寸图像隐写检测效率低，提出一种基于改进的孪生网络的隐写分析方案，通过引入深度可分离神经网络提取残差信道的相关性，引入倒残差网络最大化利用特征，缓解特征退化。二者结合在一起有效提升检测的准确率。本发明分析引入两种结构的优势，给出了在wow算法下的检测准确率可视化了特征变化图。而且为了进一步验证提出方法的有效性，给出了在三种自适应算法四种嵌入率下的检测准确率和auc，并在alaska图像集针对不同尺寸图像给出了十余组测试结
果，实验结果表明，在bossbase和bows两种数据集上，与siastegnet相比，在保证参数量没有量级的增加下，本发明提出的网络框架在0.1、0.2和0.3嵌入率上针对wow的检测准确率平均提高1％以上，在alaska不同尺寸的图像库下，与sid相比，本发明提出的网络框架在准确率平均提升10％以上；与siastegnet相比，本发明提出的网络框架在准确率上平均提升5％以上，在模型损失变化方面，与sid和siastegnet方法相比，本发明设计的网络在开始的50轮数之前，损失下降快，而且平稳。由此可见，与siastegnet方法相比，在保证参数量没有量级的提升下，本发明提出的网络框架对wow和hill两种自适应算法检测都有优势，与sid和siastegnet算法相比，在不同尺寸上的检测准确率有很大的提升。
57.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。