一种基于ResNet-50的相机模型辨别网络系统及相机模型辨别方法

一种基于resnet-50的相机模型辨别网络系统及相机模型辨别方法
技术领域
1.本发明涉及图像媒体取证与分析领域，具体涉及一种基于resnet-50的相机模型辨别网络系统及相机模型辨别方法。


背景技术：

2.多媒体取证领域与现有的主流视觉任务(比如目标检测、语义分割等)有所不同，前者更加注重捕获图像中的高频底层特征(主要是像素间的局部依赖关系，比如噪声特征、jpeg压缩痕迹等)，而把图像内容(图像的风格属性和语义属性)当做一种干扰；而后者更加注重获得抽象化的高层次语义级别特征，把噪声信号等当做一种干扰信号进行剔除。
3.在多媒体取证领域中，为了迎合这种需求，大多在特征提取器前面使用高通滤波器抑制图像内容，获得低层次高频残差特征，如在resnet-50前面使用高通滤波器，这会带来一个弊端：rgb图像中包含非常丰富的信息，使用高通滤波器会抹去大部分的有用信息，而仅仅留下预先挑选的高频残差信息，这是非常不利的。
4.现有技术中公开了图像特征提取方法的专利，该方法主要包括以下步骤：通过预设的卷积神经网络系统获取目标图像的图像特征；该方法还包括对卷积神经网络系统进行网络系统训练，其具体包括获取图像样本集中每个图像样本的相似样本，并且分别对每个图像样本及其对应的相似样本进行图像变换；通过卷积神经网络系统并且根据图像变换结果获取相应的图像特征；根据目标函数、图像样本及其对应的相似样本的图像特征并利用机器学习算法对卷积神经网络系统进行网络系统训练。基于上述步骤，本发明可以保证图像特征的学习效果，又可以降低对硬件条件要求，然而该网络系统训练过程中图片的高频信息往往容易衰减，导致所得到的特征提取结果丢失重要的高频信息。


技术实现要素：

5.本发明提供一种基于resnet-50的相机模型辨别网络系统，解决高频信号在相机模型辨别网络系统信息传输过程中出现的衰减导致相机模型辨别误差大的问题。
6.本发明的又一目的在于提供了一种应用上述基于resnet-50的相机模型辨别网络系统的相机模型辨别方法。
7.为了达到上述技术效果，本发明的技术方案如下：。
8.一种基于resnet-50的相机模型辨别网络系统，该网络系统结构按数据传输路径依次包括下采样模块stemblock，第一高斯增强特征提取模块gem-stage-1，第二高斯增强特征提取模块gem-stage-2，第三高斯增强特征提取模块gem-stage-3，第四高斯增强特征提取模块gem-stage-4，分类器模块classifier。
9.进一步地，所述下采样模块stemblock内部依次包括卷积核conv，批归一化层bn，激活函数relu，最大值池化层maxpool；所述第一高斯增强特征提取模块gem-stage-1内部依次包括高斯增强模块以及3个依次串联的处理块block-1；所述第二高斯增强特征提取模
块gem-stage-2内部依次包括高斯增强模块，以及4个依次串联的处理块block-2；所述第三高斯增强特征提取模块gem-stage-3内部依次包括高斯增强模块，以及6个依次串联的处理块block-3；第四高斯增强特征提取模块gem-stage-4内部依次包括高斯增强模块，以及3个依次串联的处理块block-4。
10.卷积核实际上是一个三维数据矩阵，卷积核参数初始化后会在训练过程中不断更新至最优；激活函数relu是一个非线性函数，计算简单，可减少参数的相互依存关系，缓解过拟合问题的发生，实际收敛速度较快；最大值池化操作可保留图像数据主要特征的同时减少参数和计算量，也可缓解过拟合问题的发生。
11.进一步地，所述下采样模块stemblock的内部结构具体参数以及数据传输过程包括：输入下采样模块stemblock的数据为空间分辨率为n
×
n的图像，接下来顺序经过宽度为7，高度为7，通道数为64，步长为2的卷积核conv；批归一化层bn；激活函数relu；窗口宽为3，高为3，步长为2的最大值池化层maxpool，最后输出空间分辨率为的特征图共64个。
12.下采样模块可得到空间分辨率为原四分之一的压缩特征图，提高后续模块特征提取的效率。
13.进一步地，所述第一高斯增强特征提取模块gem-stage-1的内部结构具体参数以及数据传输过程包括：输入来自下采样模块stemblock输出的64个空间分辨率为的特征图，经过高斯增强模块，输出高频残差信息增强的64个空间分辨率为的特征图，接下来经过3个依次串联的处理块block，其中每一个处理块block的内部结构按数据传递路径依次包括：宽度为1，高度为1，通道数为64，步长为1的卷积核conv，批归一化层bn，激活函数relu；宽度为3，高度为3，通道数为64，步长为2的卷积核conv，批归一化层bn，激活函数relu；宽度为1，高度为1，通道数为256，步长为1的卷积核conv，批归一化层bn，激活函数relu；最后输出空间分辨率为的特征图共256个；
14.所述第二高斯增强特征提取模块gem-stage-2的内部结构具体参数以及数据传输过程包括：输入来自第一高斯增强特征提取模块gem-stage-1输出的256个空间分辨率为的特征图，经过高斯增强模块，输出高频残差信息增强后的256个空间分辨率为的特征图，接下来经过4个依次串联的处理块block，其中每一个block的内部结构按数据传递路径依次包括：宽度为1，高度为1，通道数为128，步长为1的卷积核conv，批归一化层bn，激活函数relu；宽度为3，高度为3，通道数为128，步长为2的卷积核conv，批归一化层bn，激活函数relu；宽度为1，高度为1，通道数为512，步长为1的卷积核conv，批归一化层bn，激活函数relu；最后输出空间分辨率为的特征图共512个；
15.所述第三高斯增强特征提取模块gem-stage-3的内部结构具体参数以及数据传输过程包括：输入来自第二高斯增强特征提取模块gem-stage-2输出的512个空间分辨率为的特征图，经过高斯增强模块，输出高频残差信息增强后的512个空间分辨率为的特征图，接下来经过6个依次串联的处理块block，其中每一个block的内部结构按数据传递路径依次包括：宽度为1，高度为1，通道数为256，步长为1的卷积核conv，批归一化层bn，
激活函数relu；宽度为3，高度为3，通道数为256，步长为2的卷积核conv，批归一化层bn，激活函数relu；宽度为1，高度为1，通道数为1024，步长为1的卷积核conv，批归一化层bn，激活函数relu；最后输出空间分辨率为的特征图共1024个；
16.所述第四高斯增强特征提取模块gem-stage-4的内部结构具体参数以及数据传输过程包括：输入来自第三高斯增强特征提取模块gem-stage-3输出的1024个空间分辨率为的特征图，经过高斯增强模块，输出高频残差信息增强后的1024个空间分辨率为的特征图，接下来经过3个依次串联的处理块block，其中每一个block按数据传递路径依次包括：宽度为1，高度为1，通道数为512，步长为1的卷积核conv，批归一化层bn，激活函数relu；宽度为3，高度为3，通道数为512，步长为2的卷积核conv，批归一化层bn，激活函数relu；宽度为1，高度为1，通道数为2048，步长为1的卷积核conv，批归一化层bn，激活函数relu；最后输出空间分辨率为的特征图共2048个。
17.进一步地，所述分类器模块classifier的内部数据传输与处理过程包括：对来自第四高斯增强特征提取模块gem-stage-4输出的2048个空间分辨率为的特征图进行自适应全局平均池化，输出2048个空间分辨率为1
×
1的特征图；对所得到的2048个空间分辨率为1
×
1的特征图进行展平操作输出一个含2048个特征类值的一维特征类向量；通过全连接层，输出一个含m个特征类值的一维特征类向量；最后对含m个特征类值的特征类向量进行softmax操作，得到含m个特征类概率的一维特征类概率向量，其中softmax具体公式为
18.，
19.其中zi为第i个特征类的输出结果，m代表特征类类别数。
20.分类器最终输出一维特征类概率向量，m代表特征类类别数，同时也代表所需辨别的相机模型类别，一维特征类概率向量含有m个元素，每一个元素都对应一个相机模型类别，其元素值(即特征类概率)越大，代表该图像属于该相机模型类别的概率越大。
21.进一步地，所述的高斯增强模块的内部数据传输与处理过程包括：利用一个大小为1*n的一维高斯模糊滤波器以序列化的形式对所输入的特征图中宽度相关信息进行处理，再利用一个大小为n*1的一维高斯模糊滤波器以序列化的形式对所输入的特征图中高度相关信息进行处理，获得模糊特征图，其中大小为1*n的一维高斯模糊滤波器为
22.[x1ꢀ…ꢀ
xn],其中n为所设置的窗口大小，
[0023]
大小为n*1的一维高斯模糊滤波器为
[0024]
其中n为所设置的窗口大小，
[0025]
将所输入的特征图与得到的模糊特征图作差得到高频残差特征图；将高频残差特征图输入批归一化层bn和sigmoid激活函数层得到空间软注意力掩膜图，并整体乘以参数α，其中α为训练中可学习的参数；在像素等级将空间软注意力掩膜图所有像素值加1，后再将空间软注意力掩膜图乘以所输入的特征图后输出高频残差信息增强的特征图。
[0026]
该相机模型辨别网络系统将自主设计的高斯增强模块与resnet-50网络系统进行融合，高斯增强模块放置于网络系统信息传输过程中，能有效保留更多的信息，有效防止高频信息传递过程中的衰减现象。
[0027]
高斯增强模块的设计首先需要遵循两个基本原则
[0028]
一，原有的特征通路应该被维持(至少原信号不被衰减)；
[0029]
二，高频特征的增强程度应该由特征提取器自身决定。
[0030]
该模块的设计思想可以用以下公式概述：
[0031]
y＝(sigmoid(x-gaussian(x))*α 1)*x
[0032]
其中α是一个可以学习的参数，x为输入的特征图，y是输出的增强特征图，gaussian代表使用高斯函数去模糊当前特征图。在这里，本发明使用sigmoid函数对获得的高频残差信号进行处理，使其作为一种软注意力掩膜机制，这样得到的空间激活能维持所需保留的高频信息，抑制剩余无需保留的信号。并且使用短径参数1作为残差链接，以维持原有特征通路中的所有信息。在实际应用中，我们使用两个独立的一维高斯滤波器以序列化的形式对特征图中的宽度相关和高度相关分别进行处理(空间可分离卷积)，两个高斯核的大小分别为1
×
n和n
×
1,使得时间复杂度从o(m*n*n*n)减少为o(m*n*n) o(m*n*n)，其中的m和n分别为特征图的宽和高。
[0033]
整个高斯增强模块是一种深度卷积，即每个空间卷积独立地在在每个输入通道进行操作，使得每个特征图的高频信号都能被强化。高斯增强模块一般放置在特征提取前，通过这样的方式，微妙的底层痕迹能在传输过程中被再一次放大。
[0034]
所述批归一化层bn对输入的特征图作以下处理：
[0035]
计算输入特征图数据的均值：
[0036][0037]
计算输入特征图数据的方差：
[0038][0039]
对特征图数据进行归一化：
[0040][0041]
对特征图数据进行归一化后的特征还原：
[0042][0043]
其中γ、β为所需训练参数。
[0044]
批归一化层的设置不仅可以加快网络系统训练的收敛速度，也可以在一定程度缓解深层网络系统中梯度弥散的问题，从而使训练深层网络系统模型更加容易和稳定。
[0045]
一种应用了基于resnet-50的相机模型辨别网络系统的相机模型辨别方法，包括以下步骤：
[0046]
s1：获取基准图像数据以及待测相机模型图像数据，其中基准图像数据包括基准
相机模型图像以及其对应的一维基准特征类向量，将基准图像数据按9:1的比例分为基准图像训练数据和基准图像验证数据，并分别对基准图像训练数据、基准图像验证数据和待测相机模型图像数据进行预处理；
[0047]
s2：初始化基于resnet-50的相机模型辨别网络系统参数；
[0048]
s3：利用已预处理的基准图像训练数据和基准图像验证数据对基于resnet-50的相机模型辨别网络系统进行训练，确认最优基于resnet-50的相机模型辨别网络系统，将待测相机模型图像数据输入最优基于resnet-50的相机模型辨别网络系统，输出一维特征类概率向量作为相机模型辨别依据。
[0049]
进一步地，所述步骤s1中，所述对基准图像训练数据进行预处理，包括以下步骤：
[0050]
s11-1：读取基准图像数据中的基准相机模型图像，将每一张基准相机模型图像随机裁剪为空间分辨率为224
×
224的图像，如果原图像大小不能满足裁剪大小，则对原图像进行镜像填充以维持原像素局部依赖关系再进行随机裁剪；
[0051]
s12-1：对步骤s11-1得到的图像先进行概率为50％的随机水平翻转，再进行概率为50％的随机竖直翻转；
[0052]
s13-1：对步骤s12-1得到的图像进行归一化操作，归一化公式为：
[0053]
，
[0054]i(u,v)
为图像中位于坐标(u,v)的像素值，i
mean
代表当前通道像素均值，i
std
代表当前通道像素标准差，i
′
(u,v)
为归一化处理后图像中位于坐标(u,v)的像素值；
[0055]
s14-1：对步骤s13-1得到的所有图像进行洗牌操作；
[0056]
s15-1：对步骤s14-1得到的所有图像在批度维度进行连接，其中进行连接的图像需来源于不同的基准相机模型图像；
[0057]
所述对基准图像验证数据进行预处理，包括以下步骤：
[0058]
s11-2：读取基准图像验证数据中的基准相机模型图像，并对每一张图像分别从四个角点和图像中心进行裁剪，获得五个空间分辨率为224
×
224的图像；
[0059]
s12-2：对每一张图像所裁剪出来的五个空间分辨率为224
×
224的图像均
[0060]
进行归一化操作，归一化公式为：
[0061]
，
[0062]i(u,v)
为图像中位于坐标(u,v)的像素值，i
mean
代表当前通道像素均值，i
std
代表当前通道像素标准差，i
′
(u,v)
为归一化处理后图像中位于坐标(u,v)的像素值；
[0063]
s13-2：把步骤s12-2得到的每一张图像所对应的五个图像块均在裁剪维度进行连接；
[0064]
s14-2：对步骤s13-2得到的所有图像在批度维度进行连接，其中进行连接的图像需来源于不同的基准相机模型图像。
[0065]
所述待测相机模型图像数据进行预处理，包括以下步骤：
[0066]
s11-3：读取待测相机模型图像数据中的相机模型图像，并对每一张图像分别从四个角点和图像中心进行裁剪，获得五个空间分辨率为224
×
224的图像；
[0067]
s12-3：对每一张图像所裁剪出来的五个空间分辨率为224
×
224的图像均
[0068]
进行归一化操作，归一化公式为：
[0069]
，
[0070]i(u,v)
为图像中位于坐标(u,v)的像素值，i
mean
代表当前通道像素均值，i
std
代表当前通道像素标准差，i
′
(u,v)
为归一化处理后图像中位于坐标(u,v)的像素值；
[0071]
s13-3：把步骤s12-3得到的每一张图像所对应的五个图像块均在裁剪维度进行连接；
[0072]
s14-3：对步骤s13-3得到的所有图像在批度维度进行连接，其中进行连接的图像需来源于不同的相机模型图像。
[0073]
进一步地，所述步骤s2中，所述初始化基于resnet-50的相机模型辨别网络系统参数，具体包括以下部分：
[0074]
s21：对于高斯增强模块，以一维高斯函数分别初始化两个一维高斯模糊滤波器，其中一维高斯函数为：
[0075][0076]
其中k为距离原点的距离，σ为高斯分布标准差；
[0077]
分别对两个一维高斯模糊滤波器进行归一化操作，其中归一化公式为：
[0078][0079]
初始化α＝1；
[0080]
s22：对于分类器模块的参数进行随机初始化；
[0081]
s23：对于除了高斯增强模块和分类器模块外，其他网络系统模块均使用imagenet公开数据集自带的权重参数进行初始化。
[0082]
本发明提出了一种应用了基于resnet-50的相机模型辨别网络系统的相机模型辨别方法，该方法通过利用预处理后的基准图像数据对基于resnet-50的相机模型辨别网络系统进行训练，得到最优基于resnet-50的相机模型辨别网络系统，由于高斯增强模块的滤波权重参数随网络系统训练会同步更新，使得该模块能进一步自适应地强化微弱和脆弱的高频残差特征，有效防止高频信息传递过程中的衰减现象，同时该模块对训练带来的额外参数量和浮点运算量非常低；该方法针对现实场景中的不同社交媒体传输攻击的鲁棒性有较大提高，能有效进行相机模型辨别。
[0083]
进一步地，所述步骤s3中，利用已预处理的基准图像训练数据和基准图像验证数据对基于resnet-50的相机模型辨别网络系统进行训练，包括以下步骤：
[0084]
s31：将已预处理的基准图像训练数据中的基准相机模型图像输入基于resnet-50的相机模型辨别网络系统中输出一维特征类概率向量，将所得到的一维特征类概率向量，与原基准相机模型图像所对应的一维基准特征类向量利用交叉熵损失函数进行损失计算，根据计算结果，结合链式求导法则反向传播梯度更新基于resnet-50的相机模型辨别网络系统参数，其中交叉熵损失函数表达式为
[0085][0086]
n为一个批度内样本的个数，m为类别数目，y
ic
为符号函数(0或1，如果样本i的真实类别等于c则取1，否则取0)，p
ic
为观测样本i属于类别c的预测概率；
[0087]
s32：对高斯增强模块中的两个一维高斯模糊滤波器分别进行归一化操作；
[0088]
s33：冻结步骤s32所得的基于resnet-50的相机模型辨别网络系统参数，将已预处理的基准图像验证数据中的基准相机模型图像输入基于resnet-50的相机模型辨别网络系统，输出一维特征类概率向量，将所得到的一维特征类概率向量，与原基准相机模型图像所对应的一维基准特征类向量利用交叉熵损失函数进行损失计算；
[0089]
s34：不断重复步骤s31、s32和s33，当步骤ⅲ所述的交叉熵损失趋于稳定时，则认为损失收敛，停止训练，此时基于resnet-50的相机模型辨别网络系统参数为最优。
[0090]
与现有技术相比，本发明技术方案的有益效果是：
[0091]
本发明提出了一种基于resnet-50的相机模型辨别网络系统，该相机模型辨别网络系统将自主设计的高斯增强模块与resnet-50网络系统进行融合，高斯增强模块放置于网络系统信息传输过程中，能有效保留更多的信息，有效防止高频信息传递过程中的衰减现象。另外本发明还提供一种应用了基于resnet-50的相机模型辨别网络系统的方法，该方法通过利用预处理后的基准图像数据对基于resnet-50的相机模型辨别网络系统进行训练，得到最优基于resnet-50的相机模型辨别网络系统，由于高斯增强模块的滤波权重参数随网络系统训练会同步更新，使得该模块能进一步自适应地强化微弱和脆弱的高频残差特征，有效防止高频信息传递过程中的衰减现象，同时该模块对训练带来的额外参数量和浮点运算量非常低；该方法针对现实场景中的不同社交媒体传输攻击的鲁棒性有较大提高，能有效进行相机模型辨别。
附图说明
[0092]
图1为一种基于resnet-50的相机模型辨别网络系统的结构图；
[0093]
图2为一种应用了基于resnet-50的相机模型辨别网络系统的相机模型辨别方法的流程图；
[0094]
图3为基于resnet-50的相机模型辨别网络系统的高斯增强模块的设计示意图；
[0095]
图4为实施例2基于resnet-50的相机模型辨别网络系统的输入图像；
[0096]
图5为实施例2resnet-50网络输出的热力图；
[0097]
图6为实施例2基于resnet-50的相机模型辨别网络系统输出的热力图。
[0098]
图7为实施例2的基准图像训练数据预处理后的图像示意图；
[0099]
图8为实施例2的基准图像验证数据预处理后的图像示意图；
具体实施方式
[0100]
附图仅用于示例性说明，不能理解为对本专利的限制；
[0101]
对于本领域技术人员来说，附图中某些公知说明可能省略是可以理解的。
[0102]
下面结合附图和实施例对本发明的技术方案做进一步的说明。
[0103]
实施例1：
[0104]
一种基于resnet-50的相机模型辨别网络系统，如图1所示，该网络系统结构按数据传输路径依次包括下采样模块stemblock，第一高斯增强特征提取模块gem-stage-1，第二高斯增强特征提取模块gem-stage-2，第三高斯增强特征提取模块gem-stage-3，第四高斯增强特征提取模块gem-stage-4，分类器模块classifier。
[0105]
该网络系统内部模块的结构参数以及数据传输过程包括：输入下采样模块stemblock的数据为空间分辨率为n
×
n的图像，接下来顺序经过宽度为7，高度为7，通道数为64，步长为2的卷积核conv；批归一化层bn；激活函数relu；窗口宽为3，高为3，步长为2的最大值池化层maxpool，最后输出空间分辨率为的特征图共64个。
[0106]
输入来自下采样模块stemblock输出的64个空间分辨率为的特征图，经过高斯增强模块，输出高频残差信息增强的64个空间分辨率为的特征图，接下来经过3个依次串联的处理块block，其中每一个处理块block的内部结构按数据传递路径依次包括：宽度为1，高度为1，通道数为64，步长为1的卷积核conv，批归一化层bn，激活函数relu；宽度为3，高度为3，通道数为64，步长为2的卷积核conv，批归一化层bn，激活函数relu；宽度为1，高度为1，通道数为256，步长为1的卷积核conv，批归一化层bn，激活函数relu；最后输出空间分辨率为的特征图共256个；
[0107]
输入来自第一高斯增强特征提取模块gem-stage-1输出的256个空间分辨率为的特征图，经过高斯增强模块，输出高频残差信息增强后的256个空间分辨率为的特征图，接下来经过4个依次串联的处理块block，其中每一个block的内部结构按数据传递路径依次包括：宽度为1，高度为1，通道数为128，步长为1的卷积核conv，批归一化层bn，激活函数relu；宽度为3，高度为3，通道数为128，步长为2的卷积核conv，批归一化层bn，激活函数relu；宽度为1，高度为1，通道数为512，步长为1的卷积核conv，批归一化层bn，激活函数relu；最后输出空间分辨率为的特征图共512个；
[0108]
输入来自第二高斯增强特征提取模块gem-stage-2输出的512个空间分辨率为的特征图，经过高斯增强模块，输出高频残差信息增强后的512个空间分辨率为的特征图，接下来经过6个依次串联的处理块block，其中每一个block的内部结构按数据传递路径依次包括：宽度为1，高度为1，通道数为256，步长为1的卷积核conv，批归一化层bn，激活函数relu；宽度为3，高度为3，通道数为256，步长为2的卷积核conv，批归一化层bn，激活函数relu；宽度为1，高度为1，通道数为1024，步长为1的卷积核conv，批归一化层bn，激活函数relu；最后输出空间分辨率为的特征图共1024个；
[0109]
输入来自第三高斯增强特征提取模块gem-stage-3输出的1024个空间分辨率为的特征图，经过高斯增强模块，输出高频残差信息增强后的1024个空间分辨率为的特征图，接下来经过3个依次串联的处理块block，其中每一个block按数据传递路
径依次包括：宽度为1，高度为1，通道数为512，步长为1的卷积核conv，批归一化层bn，激活函数relu；宽度为3，高度为3，通道数为512，步长为2的卷积核conv，批归一化层bn，激活函数relu；宽度为1，高度为1，通道数为2048，步长为1的卷积核conv，批归一化层bn，激活函数relu；最后输出空间分辨率为的特征图共2048个。
[0110]
对来自第四高斯增强特征提取模块gem-stage-4输出的2048个空间分辨率为的特征图进行自适应全局平均池化，输出2048个空间分辨率为1
×
1的特征图；对所得到的2048个空间分辨率为1
×
1的特征图进行展平操作输出一个含2048个特征类值的一维特征类向量；通过全连接层，输出一个含m个特征类值的一维特征类向量；最后对含m个特征类值的特征类向量进行softmax操作，得到含m个特征类概率的一维特征类概率向量，其中softmax具体公式为
[0111]
，
[0112]
其中zi为第i个特征类的输出结果，m代表特征类类别数。
[0113]
其中高斯增强模块，如图3所示，的内部数据传输与处理过程包括：利用一个大小为1*n的一维高斯模糊滤波器以序列化的形式对所输入的特征图中宽度相关信息进行处理，再利用一个大小为n*1的一维高斯模糊滤波器以序列化的形式对所输入的特征图中高度相关信息进行处理，获得模糊特征图，其中大小为1*n的一维高斯模糊滤波器为
[0114]
[x1ꢀ…ꢀ
xn],其中n为所设置的窗口大小，
[0115]
大小为n*1的一维高斯模糊滤波器为
[0116]
其中n为所设置的窗口大小，
[0117]
将所输入的特征图与得到的模糊特征图作差得到高频残差特征图；将高频残差特征图输入批归一化层bn和sigmoid激活函数层得到空间软注意力掩膜图，并整体乘以参数α，其中α为训练中可学习的参数；在像素等级将空间软注意力掩膜图所有像素值加1，后再将空间软注意力掩膜图乘以所输入的特征图后输出高频残差信息增强的特征图。
[0118]
其中批归一化层bn对输入的特征图作以下处理：
[0119]
计算输入特征图数据的均值：
[0120][0121]
计算输入特征图数据的方差：
[0122][0123]
对特征图数据进行归一化：
[0124]
[0125]
对特征图数据进行归一化后的特征还原：
[0126][0127]
其中γ、β为所需训练参数。
[0128]
一种基于resnet-50的相机模型辨别网络系统的相机模型辨别方法，如图2所示，包括以下步骤：
[0129]
s1：获取基准图像数据以及待测相机模型图像数据，其中基准图像数据包括基准相机模型图像以及其对应的一维基准特征类向量，将基准图像数据按9:1的比例分为基准图像训练数据和基准图像验证数据，并分别对基准图像训练数据、基准图像验证数据和待测相机模型图像数据进行预处理；
[0130]
所述对基准图像验证数据进行预处理，包括以下步骤：
[0131]
s11-1：读取基准图像数据中的基准相机模型图像，将每一张基准相机模型图像随机裁剪为空间分辨率为224
×
224的图像，如果原图像大小不能满足裁剪大小，则对原图像进行镜像填充以维持原像素局部依赖关系再进行随机裁剪；
[0132]
s12-1：对步骤s11-1得到的图像先进行概率为50％的随机水平翻转，再进行概率为50％的随机竖直翻转；
[0133]
s13-1：对步骤s12-1得到的图像进行归一化操作，归一化公式为：
[0134]
，
[0135]i(u,v)
为图像中位于坐标(u,v)的像素值，i
mean
代表当前通道像素均值，i
std
代表当前通道像素标准差，i
′
(u,v)
为归一化处理后图像中位于坐标(u,v)的像素值；
[0136]
s14-1：对步骤s13-1得到的所有图像进行洗牌操作；
[0137]
s15-1：对步骤s14-1得到的所有图像在批度维度进行连接，其中进行连接的图像需来源于不同的基准相机模型图像；
[0138]
所述对基准图像验证数据进行预处理，包括以下步骤：
[0139]
s11-2：读取基准图像验证数据中的基准相机模型图像，并对每一张图像分别从四个角点和图像中心进行裁剪，获得五个空间分辨率为224
×
224的图像；
[0140]
s12-2：对每一张图像所裁剪出来的五个空间分辨率为224
×
224的图像均
[0141]
进行归一化操作，归一化公式为：
[0142]
，
[0143]i(u,v)
为图像中位于坐标(u,v)的像素值，i
mean
代表当前通道像素均值，i
std
代表当前通道像素标准差，i
′
(u,v)
为归一化处理后图像中位于坐标(u,v)的像素值；
[0144]
s13-2：把步骤s12-2得到的每一张图像所对应的五个图像块均在裁剪维度进行连接；
[0145]
s14-2：对步骤s13-2得到的所有图像在批度维度进行连接，其中进行连接的图像需来源于不同的基准相机模型图像。
[0146]
所述待测相机模型图像数据进行预处理，包括以下步骤：
[0147]
s11-3：读取待测相机模型图像数据中的相机模型图像，并对每一张图像分别从四
个角点和图像中心进行裁剪，获得五个空间分辨率为224
×
224的图像；
[0148]
s12-3：对每一张图像所裁剪出来的五个空间分辨率为224
×
224的图像均
[0149]
进行归一化操作，归一化公式为：
[0150]
，
[0151]i(u,v)
为图像中位于坐标(u,v)的像素值，i
mean
代表当前通道像素均值，i
std
代表当前通道像素标准差，i
′
(u,v)
为归一化处理后图像中位于坐标(u,v)的像素值；
[0152]
s13-3：把步骤s12-3得到的每一张图像所对应的五个图像块均在裁剪维度进行连接；
[0153]
s14-3：对步骤s13-3得到的所有图像在批度维度进行连接，其中进行连接的图像需来源于不同的相机模型图像。
[0154]
s2：初始化基于resnet-50的相机模型辨别网络系统参数；
[0155]
s21：对于高斯增强模块，以一维高斯函数分别初始化两个一维高斯模糊滤波器，其中一维高斯函数为：
[0156][0157]
其中k为距离原点的距离，σ为高斯分布标准差；
[0158]
分别对两个一维高斯模糊滤波器进行归一化操作，其中归一化公式为：
[0159][0160]
初始化α＝1；
[0161]
s22：对于分类器模块的参数进行随机初始化；
[0162]
s23：对于除了高斯增强模块和分类器模块外，其他网络系统模块均使用imagenet公开数据集自带的权重参数进行初始化。
[0163]
s3：利用已预处理的基准图像训练数据和基准图像验证数据对基于resnet-50的相机模型辨别网络系统进行训练，确认最优基于resnet-50的相机模型辨别网络系统，将待测相机模型图像数据输入最优基于resnet-50的相机模型辨别网络系统，输出一维特征类概率向量作为相机模型辨别依据。
[0164]
s31：将已预处理的基准图像训练数据中的基准相机模型图像输入基于resnet-50的相机模型辨别网络系统中输出一维特征类概率向量，将所得到的一维特征类概率向量，与原基准相机模型图像所对应的一维基准特征类向量利用交叉熵损失函数进行损失计算，根据计算结果，结合链式求导法则反向传播梯度更新基于resnet-50的相机模型辨别网络系统参数，其中交叉熵损失函数表达式为
[0165][0166]
n为一个批度内样本的个数，m为类别数目，y
ic
为符号函数(0或1，如果样本i的真实类别等于c则取1，否则取0)，p
ic
为观测样本i属于类别c的预测概率；
[0167]
s32：对高斯增强模块中的两个一维高斯模糊滤波器分别进行归一化操作；
[0168]
s33：冻结步骤s32所得的基于resnet-50的相机模型辨别网络系统参数，将已预处理的基准图像验证数据中的基准相机模型图像输入基于resnet-50的相机模型辨别网络系统，输出一维特征类概率向量，将所得到的一维特征类概率向量，与原基准相机模型图像所对应的一维基准特征类向量利用交叉熵损失函数进行损失计算；
[0169]
s34：不断重复步骤s31、s32和s33，当步骤ⅲ所述的交叉熵损失趋于稳定时，则认为损失收敛，停止训练，此时基于resnet-50的相机模型辨别网络系统参数为最优。
[0170]
实施例2和3使用的基准图像数据为100种不同模型型号的相机拍摄所得的图像数据。
[0171]
实施例2：
[0172]
本实施例使用的待测相机模型图像数据为35种不同模型型号的相机拍摄所得，每种包含160张，共35
×
160＝5600张。
[0173]
一种基于resnet-50的相机模型辨别网络系统，如图1所示，该网络系统结构按数据传输路径依次包括下采样模块stemblock，第一高斯增强特征提取模块gem-stage-1，第二高斯增强特征提取模块gem-stage-2，第三高斯增强特征提取模块gem-stage-3，第四高斯增强特征提取模块gem-stage-4，分类器模块classifier。
[0174]
该网络系统内部模块的结构参数以及数据传输过程包括：输入下采样模块stemblock的数据为空间分辨率为224
×
224的图像，接下来顺序经过宽度为7，高度为7，通道数为64，步长为2的卷积核conv；批归一化层bn；激活函数relu；窗口宽为3，高为3，步长为2的最大值池化层maxpool，最后输出空间分辨率为56
×
56的特征图共64个。
[0175]
输入来自下采样模块stemblock输出的64个空间分辨率为56
×
56的特征图，经过高斯增强模块，输出高频残差信息增强的64个空间分辨率为56
×
56的特征图，接下来经过3个依次串联的处理块block，其中每一个处理块block的内部结构按数据传递路径依次包括：宽度为1，高度为1，通道数为64，步长为1的卷积核conv，批归一化层bn，激活函数relu；宽度为3，高度为3，通道数为64，步长为2的卷积核conv，批归一化层bn，激活函数relu；宽度为1，高度为1，通道数为256，步长为1的卷积核conv，批归一化层bn，激活函数relu；最后输出空间分辨率为56
×
56的特征图共256个；
[0176]
输入来自第一高斯增强特征提取模块gem-stage-1输出的256个空间分辨率为56
×
56的特征图，经过高斯增强模块，输出高频残差信息增强后的256个空间分辨率为56
×
56的特征图，接下来经过4个依次串联的处理块block，其中每一个block的内部结构按数据传递路径依次包括：宽度为1，高度为1，通道数为128，步长为1的卷积核conv，批归一化层bn，激活函数relu；宽度为3，高度为3，通道数为128，步长为2的卷积核conv，批归一化层bn，激活函数relu；宽度为1，高度为1，通道数为512，步长为1的卷积核conv，批归一化层bn，激活函数relu；最后输出空间分辨率为28
×
28的特征图共512个；
[0177]
输入来自第二高斯增强特征提取模块gem-stage-2输出的512个空间分辨率为28
×
28的特征图，经过高斯增强模块，输出高频残差信息增强后的512个空间分辨率为28
×
28的特征图，接下来经过6个依次串联的处理块block，其中每一个block的内部结构按数据传递路径依次包括：宽度为1，高度为1，通道数为256，步长为1的卷积核conv，批归一化层bn，激活函数relu；宽度为3，高度为3，通道数为256，步长为2的卷积核conv，批归一化层bn，激活函数relu；宽度为1，高度为1，通道数为1024，步长为1的卷积核conv，批归一化层bn，激活
函数relu；最后输出空间分辨率为14
×
14的特征图共1024个；
[0178]
输入来自第三高斯增强特征提取模块gem-stage-3输出的1024个空间分辨率为14
×
14的特征图，经过高斯增强模块，输出高频残差信息增强后的1024个空间分辨率为14
×
14的特征图，接下来经过3个依次串联的处理块block，其中每一个block按数据传递路径依次包括：宽度为1，高度为1，通道数为512，步长为1的卷积核conv，批归一化层bn，激活函数relu；宽度为3，高度为3，通道数为512，步长为2的卷积核conv，批归一化层bn，激活函数relu；宽度为1，高度为1，通道数为2048，步长为1的卷积核conv，批归一化层bn，激活函数relu；最后输出空间分辨率为7
×
7的特征图共2048个。
[0179]
对来自第四高斯增强特征提取模块gem-stage-4输出的2048个空间分辨率为7
×
7的特征图进行自适应全局平均池化，输出2048个空间分辨率为1
×
1的特征图；对所得到的2048个空间分辨率为1
×
1的特征图进行展平操作输出一个含2048个特征类值的一维特征类向量；通过全连接层，输出一个含35个特征类值的一维特征类向量；最后对含35个特征类值的特征类向量进行softmax操作，得到含35个特征类概率的一维特征类概率向量，其中softmax具体公式为
[0180]
，
[0181]
其中zi为第i个特征类的输出结果，m代表特征类类别数。
[0182]
其中高斯增强模块，如图3所示，的内部数据传输与处理过程包括：利用一个大小为1*5的一维高斯模糊滤波器以序列化的形式对所输入的特征图中宽度相关信息进行处理，再利用一个大小为5*1的一维高斯模糊滤波器以序列化的形式对所输入的特征图中高度相关信息进行处理，获得模糊特征图，其中大小为1*5的一维高斯模糊滤波器为
[0183]
[x1ꢀ…ꢀ
x5]
[0184]
大小为5*1的一维高斯模糊滤波器为
[0185][0186]
将所输入的特征图与得到的模糊特征图作差得到高频残差特征图；将高频残差特征图输入批归一化层bn和sigmoid激活函数层得到空间软注意力掩膜二值图，并整体乘以参数α，其中α为训练中可学习的参数；在像素等级将空间软注意力掩膜二值图所有像素值加1，后再将空间软注意力掩膜二值图乘以所输入的特征图后输出高频残差信息增强的特征图。
[0187]
图3、4、5为是否向网络加入高斯增强模块的高频信号增强效果的对比示例图。
[0188]
图3为输入高斯增强模块的相机图像，图4为输入高斯增强模块的相机图像的热力图，图5高斯增强模块输出的相机图像的热力图，可以清楚地看到高斯增强模块激活响应分布在全图上，这说明高斯增强模块有效地强化了高频微弱残差信息，使得网络能更多地挖掘微弱的取证特征。
[0189]
其中批归一化层bn对输入的特征图作以下处理：
[0190]
计算输入特征图数据的均值：
[0191][0192]
计算输入特征图数据的方差：
[0193][0194]
对特征图数据进行归一化：
[0195][0196]
对特征图数据进行归一化后的特征还原：
[0197][0198]
其中γ、β为所需训练参数。
[0199]
一种基于resnet-50的相机模型辨别网络系统的相机模型辨别方法，如图2所示，包括以下步骤：
[0200]
s1：获取基准图像数据以及待测相机模型图像数据，其中基准图像数据包括基准相机模型图像以及其对应的一维基准特征类向量，将基准图像数据按9:1的比例分为基准图像训练数据和基准图像验证数据，并分别对基准图像训练数据、基准图像验证数据和待测相机模型图像数据进行预处理；
[0201]
所述对基准图像训练数据进行预处理，包括以下步骤：
[0202]
s11-1：读取基准图像数据中的基准相机模型图像，将每一张基准相机模型图像随机裁剪为空间分辨率为224
×
224的图像，如果原图像大小不能满足裁剪大小，则对原图像进行镜像填充以维持原像素局部依赖关系再进行随机裁剪；
[0203]
s12-1：对步骤s11-1得到的图像先进行概率为50％的随机水平翻转，再进行概率为50％的随机竖直翻转；
[0204]
s13-1：对步骤s12-1得到的图像进行归一化操作，归一化公式为：
[0205]
，
[0206]i(u,v)
为图像中位于坐标(u,v)的像素值，i
mean
代表当前通道像素均值，i
std
代表当前通道像素标准差，i
′
(u,v)
为归一化处理后图像中位于坐标(u,v)的像素值；
[0207]
s14-1：对步骤s13-1得到的所有图像进行洗牌操作；
[0208]
s15-1：对步骤s14-1得到的所有图像在批度维度进行连接，其中进行连接的图像需来源于不同的基准相机模型图像；
[0209]
对基准图像训练数据进行预处理的结果如图7所示。
[0210]
所述对基准图像验证数据进行预处理，包括以下步骤：
[0211]
s11-2：读取基准图像验证数据中的基准相机模型图像，并对每一张图像分别从四个角点和图像中心进行裁剪，获得五个空间分辨率为224
×
224的图像；
[0212]
s12-2：对每一张图像所裁剪出来的五个空间分辨率为224
×
224的图像均
[0213]
进行归一化操作，归一化公式为：
[0214]
，
[0215]i(u,v)
为图像中位于坐标(u,v)的像素值，i
mean
代表当前通道像素均值，i
std
代表当前通道像素标准差，i
′
(u,v)
为归一化处理后图像中位于坐标(u,v)的像素值；
[0216]
s13-2：把步骤s12-2得到的每一张图像所对应的五个图像块均在裁剪维度进行连接；
[0217]
s14-2：对步骤s13-2得到的所有图像在批度维度进行连接，其中进行连接的图像需来源于不同的基准相机模型图像。
[0218]
对基准图像验证数据进行预处理的结果如图8所示。
[0219]
所述待测相机模型图像数据进行预处理，包括以下步骤：
[0220]
s11-3：读取待测相机模型图像数据中的相机模型图像，并对每一张图像分别从四个角点和图像中心进行裁剪，获得五个空间分辨率为224
×
224的图像；
[0221]
s12-3：对每一张图像所裁剪出来的五个空间分辨率为224
×
224的图像均
[0222]
进行归一化操作，归一化公式为：
[0223]
，
[0224]i(u,v)
为图像中位于坐标(u,v)的像素值，i
mean
代表当前通道像素均值，i
std
代表当前通道像素标准差，i
′
(u,v)
为归一化处理后图像中位于坐标(u,v)的像素值；
[0225]
s13-3：把步骤s12-3得到的每一张图像所对应的五个图像块均在裁剪维度进行连接；
[0226]
s14-3：对步骤s13-3得到的所有图像在批度维度进行连接，其中进行连接的图像需来源于不同的相机模型图像。
[0227]
s2：初始化基于resnet-50的相机模型辨别网络系统参数；
[0228]
s21：对于高斯增强模块，以一维高斯函数分别初始化两个一维高斯模糊滤波器，其中一维高斯函数为：
[0229][0230]
其中k为距离原点的距离，σ为高斯分布标准差，取
[0231]
分别对两个一维高斯模糊滤波器进行归一化操作，其中归一化公式为：
[0232][0233]
初始化α＝1；
[0234]
s22：对于分类器模块的参数进行随机初始化；
[0235]
s23：对于除了高斯增强模块和分类器模块外，其他网络系统模块均使用imagenet公开数据集自带的权重参数进行初始化。
[0236]
s3：利用已预处理的基准图像训练数据和基准图像验证数据对基于resnet-50的相机模型辨别网络系统进行训练，确认最优基于resnet-50的相机模型辨别网络系统，将待
测相机模型图像数据输入最优基于resnet-50的相机模型辨别网络系统，输出一维特征类概率向量作为相机模型辨别依据。
[0237]
s31：将已预处理的基准图像训练数据中的基准相机模型图像输入基于resnet-50的相机模型辨别网络系统中输出一维特征类概率向量，将所得到的一维特征类概率向量，与原基准相机模型图像所对应的一维基准特征类向量利用交叉熵损失函数进行损失计算，根据计算结果，结合链式求导法则反向传播梯度更新基于resnet-50的相机模型辨别网络系统参数，其中交叉熵损失函数表达式为
[0238][0239]
n为一个批度内样本的个数，m为类别数目，y
ic
为符号函数(0或1，如果样本i的真实类别等于c则取1，否则取0)，p
ic
为观测样本i属于类别c的预测概率；
[0240]
s32：对高斯增强模块中的两个一维高斯模糊滤波器分别进行归一化操作；
[0241]
s33：冻结步骤s32所得的基于resnet-50的相机模型辨别网络系统参数，将已预处理的基准图像验证数据中的基准相机模型图像输入基于resnet-50的相机模型辨别网络系统，输出一维特征类概率向量，将所得到的一维特征类概率向量，与原基准相机模型图像所对应的一维基准特征类向量利用交叉熵损失函数进行损失计算；
[0242]
s34：不断重复步骤s31、s32和s33，当步骤ⅲ所述的交叉熵损失趋于稳定时，则认为损失收敛，停止训练，此时基于resnet-50的相机模型辨别网络系统参数为最优。
[0243]
使用交叉熵损失函数作为分类损失，使用默认参数的adam优化器，根据验证表现报告在测试集上的结果。
[0244]
以下为本发明网络系统与其它网络系统对比分析：
[0245]
网络系统性能对比分析数据表ⅰ[0246][0247]
表1
[0248]
resnet-50 bayar表示配备bayar高通滤波器的resnet-50，resnet-50 gem表示本发明基于resnet-50网络系统的高斯增强resnet-50网络系统。该表格中准确率(top1％和top5％)代表预测正确的类别占比所有类别的比例，top1％就是取网络系统最后输出的概率向量里面最大的值作为预测结果，如果预测结果分类正确，则预测正确，否则预测错误；top5％就是取最后概率向量中最大概率值的前五名，只要出现了正确结果即为预测正确，否则预测错误；一般top5％准确率要比top1％准确率高，而两个指标越高说明算法性能越好。
[0249]
resnet-50本身已经达到了非常高的准确率(96.36％)，在配备了高斯增强模块后，增益超过0.85％，同时也展现了高斯增强模块的额外代价(参数量以及浮点运算量)，但是带来的额外开销很小(0.09％的额外参数量和0.4％的额外浮点运算量)，对应的增益较
大，可体现该网络系统的优越性。表1所涉及的nat_flat指标是基于平滑图像占比37.5％的情况，在舍弃了平滑图像而仅仅留下纹理丰富的图像做测试时，增益被进一步扩大，其中resnet-50 gem超过1.39％。这些图像有着更加丰富的纹理内容，会给对任务带来非常大的干扰，但是也带来了更多的统计信息。通过对这些纹理图像的增益表现分析，有理由推断高斯增强模块能在复杂和多样化的情况下表现的更好。
[0250]
在表1中，可以观察到bayar高通滤波器的效果并不好，大部分的指标都极大地降低了，原因可以总结如下：
①
这种类型的滤波器会抹去大部分的有用信息，而仅仅留下高频残差特征，这些特征是不足以施行相机模型辨别任务的；
②
bayar在每次迭代过程中都会强制更新参数，会对数据分布引入一定的扰动。
[0251]
实施例3：
[0252]
本实施例使用的基准图像数据和待测相机模型图像数据与实施例2相同，以下为本发明网络系统与其它网络系统的鲁棒性分析
[0253]
网络系统性能对比分析数据表ⅱ[0254][0255]
表2
[0256]
resnet-50 bayar表示配备bayar高通滤波器的resnet-50，resnet-50 gem表示本发明基于resnet-50网络系统的高斯增强resnet-50网络系统。该表格中准确率(top1％和top5％)代表预测正确的类别占比所有类别的比例，top1％就是取网络系统最后输出的概率向量里面最大的值作为预测结果，如果预测结果分类正确，则预测正确，否则预测错误；top5％就是取最后概率向量中最大概率值的前五名，只要出现了正确结果即为预测正确，否则预测错误；一般top5％准确率要比top1％准确率高，而两个指标越高说明算法性能越好。
[0257]
图像在传播过程中会经历不同的后处理操作，在这里有必要去测试取证工具的鲁棒性。从表2可以观察到，在经过社交媒体传输以后(图像中微妙和脆弱的取证特征被极大地损坏)，准确率大大地降低了。但是配备高斯增强模块的骨干网络系统仍然保持了一定的鲁棒性，尤其是resnet-50 gem维持了相对好的表现(在fbh、fbl和wa上的top1％准确率分别超过原生骨干网络系统5.78％、1.27％和2.43％)。
[0258]
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。