一种基于自相关特征金字塔网络的图像复制-粘贴篡改检测算法的制作方法

1.本发明涉及一种基于自相关特征金字塔网络的图像复制-粘贴篡改检测算法。


背景技术：

2.图像复制-粘贴篡改是最常见且最容易操作的图像篡改操作之一，它通过复制图像的某一块区域，并将复制区域的副本粘贴在同一幅图像的其他位置来达到隐藏某些目标或伪造虚假物体以误导人们的目的。图像复制-粘贴篡改检测根据检测的粒度依次分为图像级、区域级和像素级三个等级，图像级是指区分图像是否为被篡改，区域级是指检测图像中被篡改的区域，像素级是指判断图像中每个像素点是否被篡改。
3.一般地，图像复制-粘贴篡改检测是通过计算特征相似性来判断图像的真实性，其检测流程分为如下四步：1)预处理。常用的预处理技术主要是将彩色图像做灰度化处理，以及对图像进行分块处理等。2)特征提取。图像经过预处理后，从中提取一组相关性信息表示图像特征。3)特征匹配。计算特征之间的相似性，若特征之间的相似性小于某一特定阈值，则认为这两个特征代表的图像区域可能遭受了复制-粘贴篡改。4)后处理。采取相关措施对匹配结果进行优化，尽可能消除虚假匹配对，并保存优化后的匹配结果。
4.现有的大多数图像复制-粘贴篡改检测方法主要依赖于人为设计的特征，目前该类算法在抵抗篡改图像各种后处理攻击时鲁棒性不足，极大地增加了图像复制-粘贴篡改检测的难度。近年来，由于其强大的特征学习能力，深度学习在各类计算机视觉任务中取得了较大的突破，这为图像复制-粘贴篡改检测提供了另一种有效的解决方案。例如，wuy等人
1.提出了一种端到端可训练的深度学习框架来实现图像复制-粘贴篡改检测，其做法是通过一个vgg16卷积神经网络从输入图像中提取出特征向量集合，然后使用皮尔逊相关系数将特征向量集合中的特征两两比较，得相似度特征向量集合用于篡改检测。该方法在两个公开数据集上(casia和comofod)性能远远优于传统最先进的图像复制-粘贴篡改检测算法。但是，由于该方法将原始输入图像降维到较低维度进行特征提取，这将丢失图像构成的规律性和特征的空间排列信息，导致后续特征匹配任务出现较大偏差。
5.目前，图像复制-粘贴篡改检测技术根据特征提取方式主要分为基于手动提取特征的图像篡改检测和基于深度神经网络提取特征的图像篡改检测两种。基于手动提取特征的图像篡改检测方法包括基于关键点的方法和基于块的方法。在基于关键点的方法中，通常采用sift
[2-5]
和surf
[6-7]
两种特征描述子。silva e等人
[7]
利用surf特征检测关键点并通过最近邻距离比进行特征匹配，该方法能够有效检测出后处理攻击下的篡改图像，但该方法的缺点是无法检测较小或同质的篡改区域。在基于块的方法中，采用了多种特征来描述重叠块，例如离散余弦变换系数(dct)
[8]
、主成分分析(pca)
[9]
、离散小波变换(dwt)和奇异值分解(svd)
[10]
、zernike矩
[11]
、傅立叶梅林变换(fmt)
[12]
和局部二值模式(lbp)
[13]
等。其中，dct、pca、svd等特征对jpeg压缩、加性噪声和图像模糊具有较强的鲁棒性，而fmt和lbp等特征是旋转不变的，这些特征对缩放、压缩和旋转操作并不同时具有鲁棒性。文献
[14]
则
move forgery in digital images[j].proceedings ofdigital forensic research workshop,2003.
[0015]
[9]mahdian b,saic s.detection of copy
–
move forgery using a method based on blur moment invariants[j].forensic science international,2007,171(2-3):180-189.
[0016]
[10]li g,wu q,tu d,et al.a sorted neighborhood approach for detecting duplicated regions in image forgeries based on dwt and svd[c]//proceedings of the 2007 ieee international conference on multimedia and expo,icme 2007,july 2-5,2007,beijing,china.ieee,2007.
[0017]
[11]ryu s j,kirchner m,lee m j,et al.rotation invariant localization ofduplicated image regions based on zernike moments[j].ieee transactions on information forensics&security,2013,8(8):1355-1370.
[0018]
[12]d.cozzolino,g.poggi and l.verdoliva,"efficient dense-field copy
–
move forgery detection,"in ieee transactions on information forensics and security,vol.10,no.11,pp.2284-2297,nov.2015,doi:10.1109/tifs.2015.2455334.
[0019]
[13]li l,li s,zhu h,et al.an efficient scheme for detecting copy-move forged images by local binarypatterns[j].journal ofinformation hiding&multimedia signal processing,2013,4(1):46-56.
[0020]
[14]pun c m,yuan x c,bi x l.image forgery detection using adaptive oversegmentation and feature point matching[j].information forensics and security,ieee transactions on,2015,10(8):1705-1716.
[0021]
[15]rao y,ni j.a deep learning approach to detection of splicing and copy-move forgeries in images[c]//2016ieee internationalworkshop on information forensics and security(wifs).ieee,2016.
[0022]
[16]barni m,phan q t,tondi b.copy move source-target disambiguation through multi-branch cnns[j].2019.
[0023]
[17]wu y,abd-almageed w,natarajan p.image copy-move forgery detection via an end-to-end deep neural network[c]//2018ieee winter conference on applications of computer vision(wacv).ieee,2018.
[0024]
[18]d.tralic,i.zupancic,s.grgic and m.grgic,"comofod—new database for copy-move forgery detection,"proceedings elmar-2013,zadar,2013,pp.49-54.
[0025]
[19]zandi m,mahmoudi-aznaveha,talebpoura.iterative copy-move forgery detection based on a new interest point detector[j].ieee transactions on information forensics and security,2016,11(11):2499-2512.


技术实现要素：

[0026]
鉴于此，本发明提出了一种基于自相关特征金字塔网络的图像复制-粘贴篡改检测算法，称为sfpnet，通过构建自相关特征金字塔网络获取丰富的特征空间分布信息，联合全局特征和局部特征得到更为准确的匹配结果。实验表明，该方法在公开的图像篡改检测
基准上各项评测指标均优于对比算法，其prf值分别提升了14.85％，15.04％，12.81％，特别在小区域篡改样本下具有优异的检测性能。
[0027]
为解决上述技术问题，本发明采用以下技术方案予以实现：
[0028]
一种基于自相关特征金字塔网络的图像复制-粘贴篡改检测算法，其是通过构建特征金字塔以获取更多的特征空间排列信息，主要包含三个部分：特征提取，自相关特征金字塔，生成篡改区域掩码。实验表明，模型中在两组基准数据集下的评价指标均优于对比算法，并且能够有效抵抗多种后处理攻击。
[0029]
本发明的主要贡献如下：
[0030]
(1)在特征提取过程中融入了特征空间分布信息，通过联合全局特征和局部特征得到更为准确的匹配结果，从而提升模型的检测性能。
[0031]
(2)从特征金字塔获取的初步匹配特征中，采用邻域比对策略以剔除虚假匹配，进一步优化模型性能。得益于更丰富的特征空间分布信息以及适当的后处理策略，本发明模型不仅能够有效检测大区域面积的篡改图像，而且在处理中小区域面积的图像篡改检测问题上表现突出，这是本发明的方法优于同类算法的重要原因之一。
[0032]
在本发明的模型中，主要关注基于深度学习的像素级图像复制-粘贴篡改检测问题，同时考虑了图像组成的规律性和特征的空间排列特点，通过获取不同维度的特征图，根据不同维度特征图中包含语义信息的丰富程度赋予不同的权重，进而影响特征匹配结果。
附图说明
[0033]
图1为本发明的模型结构图；
[0034]
图2为casiacmfd数据集上auc性能比较图。
具体实施方式
[0035]
为让本领域的技术人员更加清晰直观的了解本发明，下面将结合附图，对本发明作进一步的说明。
[0036]
基于自相关特征金字塔网络的图像复制-粘贴篡改检测
[0037]
如图1所示，基于自相关特征金字塔网络(self-correlation feature pyramid network:sfpnet)的图像复制-粘贴篡改检测模型主要包含三个部分：特征提取，自相关特征金字塔，生成篡改区域掩码。本发明提出的方法可以适用于各种图像的分辨率，为了简化讨论，我们假定输入的图像大小为512
×
512
×
3，接下来分别介绍每个部分的具体实现。
[0038]
1.1特征提取
[0039]
以文献
1.中的网络结构为基础，采用vgg16的前四层从原始输入图像(大小为512
×
512
×
3)中抽取特征，每一层分别得到64个256
×
256的特征图，128个128
×
128的特征图，256个64
×
64的特征图，512个32
×
32的特征图。网络通过对特征不断进行提取和压缩，最终得到比较高层次更可靠的全局特征，而较低层次的特征则包含更多的局部空间信息。这些不同层次的特征将会用于后续构建自相关特征金字塔任务中。
[0040]
1.2自相关特征金字塔网络(sfpnet)
[0041]
图像复制-粘贴篡改检测的本质是对比同一张图像中不同图像块之间的相似性，因此我们需要将卷积神经网络(vgg16)提取的图像特征转化为不同图像块之间的相关性表
示。与文献
1.使用单层的自相关特征不同,我们拟构建一个基于卷积神经网络的自相关特征金字塔，金字塔层次从低阶到高阶分别对应维度从大到小的自相关特征，不同层次的金字塔包含了不同的语义信息。
[0042]
具体地，对于n层的自相关特征金字塔pn，假设fk表示特征提取网络第k(k＝0,
…
,n-1)层生成的特征张量，其尺寸大小为wk×hk
×dk
(wk,hk,dk∈n*)，该特征张量也可视为wk×hk
个块状特征，即其中每个fk[ir,ic]具有dk个维度。对于整个特征提取网络，总共产生了n个不同尺度的特征张量，即fk＝{f1,
…
,fn}。
[0043]
对于第k层特征张量fk，给定两个块状特征fk[i](i＝(ir,ic))和fk[j](j＝(jr,jc))，通过余弦相似度来量化两个特征的相关性，计算公式如下：
[0044][0045][0046]
其中是fk[i]归一化的结果，μk[i]是fk[i]的均值，σk[i]是fk[i]的标准差。对于fk中给定的fk[i]，在mk(mk＝wk×hk
)个fk[j]上重复上述计算过程，形成一个自相关向量sk[i]＝[cos(θ
i,0
),
…
,cos(θ
i,j
),
…
,cos(θ
i,m-1
)]，并对该自相关向量进行降序排列后，得到最终，第k层特征张量fk经过特征计算形成一个大小为wk×hk
×
mk的相似度矩阵将相似度矩阵中所有元素的分量按照降序排列，越靠前的分量表明像素点之间的相关性越高，被篡改的可能性越大，在实际实验中，为了减少计算复杂度，我们仅选择前面部分分量作为该层的自相关特征。同时，为了提高模型的准确率，进一步对相似度矩阵进行邻域卷积操作，这一步的核心思想是在初步匹配的基础上，对匹配特征的邻域进行比对，以剔除虚假匹配。卷积操作增强了数据的可靠性，但不改变相似度矩阵的大小。
[0047]
对于整个特征提取网络，总共产生了n个不同尺度的相似度矩阵，在自相关特征金字塔中，大尺度的特征张量包含了小尺度的特征张量的信息，因此为了抑制大尺度特征张量的重复性，对较大尺度的特征张量赋予较小的权值。因此，第k层自相关特征金字塔的权重设置为则n层的自相关特征金字塔pn表示为：
[0048][0049]
1.3生成篡改区域掩码
[0050]
前述特征提取及自相关特征金字塔计算过程中，特征的分辨率不断下降。这里，为了生成与原始图像大小一致的篡改区域掩码，需要对特征进行解码以恢复到原始分辨率。本发明所用解码模块采用卷积 上采样的方式实现图像尺寸复原。具体地，假设解码模块的输入特征图维度为30
×
30，该特征图通过三个卷积分支(卷积核大小分别为1*1,3*3和5*5)进行卷积操作，卷积结束后将三个卷积分支产生的多个特征图采用向量拼接的方式进行合并。最后，将卷积操作合并得到的特征图进行上采样，上采样采用双线性插值的方式，最终产生大小为60
×
60的输出特征图，即实现将输入特征图扩大一倍的效果。本发明将前述自相关特征金字塔计算过程中产生的特征图交替使用卷积和上采样的方式，最终生成一个512
×
512
×
1的篡改区域掩码。
[0051]
2实验
[0052]
实验仿真环境：cpu处理器为i78700，内存为16gb，显卡为gtx 1080ti x2，硬盘为2t，实验平台为ubuntu 18.04。实验选用的开源架构是tensorflow深度学习框架。
[0053]
2.1数据集
[0054]
uscisi数据集：该数据集由105幅图像组成，其中所有图像均取自提供了源对象分割掩码的sun2012数据集和microsoft coco数据集，并通过几何变换的方式获取复制-粘贴篡改图像。
[0055]
casia cmfd数据集：casiatidev2.0是目前公开的数据量最大的图像篡改检测基准，该数据集包含7491张真实图像和5123张篡改图像，文献
1.的作者从中选取1313张以复制-粘贴操作得到的篡改图像构成了casia cmfd数据集。
[0056]
comofod数据集：comofod包含5000张图像，共计25个类别，其中包含200张基本篡改图像，以及24种对基本篡改图像应用各种后处理攻击的图像。
[0057]
2.2网络训练细节
[0058]
不同规模训练样本按照9:1的比例划分为训练集和测试集，其中训练集用于网络训练，测试集用于评估网络性能。网络使用二分类的交叉熵作为损失函数，激活函数使用relu函数。网络中所有卷积运算均使用边界填充以保持输入和输出图像维度一致，卷积步长均为1。在网络训练过程中，使用adam优化器更新误差，其中学习率设定为10-4
，批处理大小设定为2，迭代次数设定为50。
[0059]
2.3评价指标
[0060]
本发明采用机器学习中的prf值，即精确率(precision)、召回率(recall)以及精确率和召回率的调和平均数(f1)三个实验指标来对模型的性能进行像素级评估，计算方法如式(1)-(3)所示。
[0061][0062][0063][0064]
式中，tp表示正确检测出篡改区域的像素数量，fp表示被误认为篡改区域的像素数量，fn表示漏检的篡改区域像素数量。此外，同时对模型的性能进行图像级评估，假设测试图像中有任意像素被检测为伪造的，则将该测试图像标记为篡改图像。统计图像级tp、fp、fn数量(这里tp表示正确检测出篡改图像的数量，fp表示被误认为篡改图像的数量，fn表示漏检的篡改图像数量)，并计算prf值。此外，本发明采用roc曲线下方所覆盖的区域面积(简称auc)作为模型性能的度量，其中roc曲线是以待测样本假阳率和真阳率为轴的曲线。
[0065]
2.4实验结果及分析
[0066]
2.4.1sfpnet有效性验证结果
[0067]
为验证本发明所提出的sfpnet的有效性，本实验使用casia cmfd数据集对三种不同层数的sfpnet进行训练，然后在comofod数据集上进行测试。表1列出了三种sfpnet在基
础类别/无攻击图像(200张)上的prf值进行性能比较，同时采用文献
[18]
中定义的检测标准，在单样本像素级f1评分高于0.5的图像子集上统计了相应的prf值。实验结果如下：
[0068]
表1三种sfpnet的性能数据对比
[0069][0070][0071]
从上表可以看出，随着特征金字塔层数的增加，prf值得到了显著地提升。其中，从单层到双层sfpnet的提升最为明显，其precision提升了36.13％，recall提升了29.71％，f1提升了28.09％，检测到的单样本像素级f1评分高于0.5的图像数量增加了74张。这说明sfpnet通过增加不同尺度的自相关特征，可以有效地获取更多的篡改图像信息。
[0072]
2.4.2两种方法在casia cmfd数据集的实验结果分析
[0073]
为了验证本发明方法及参数选择的有效性，本实验将双层sfpnet和busternet的检测结果进行对比。本实验在uscisi数据集上对网络进行训练，并使用casia cmfd数据集进行评估，对比结果如下：
[0074]
表2双层sfpnet与busternet在casia cmfd数据集的实验数据对比
[0075][0076]
从各项实验数据来看，sfpnet在casia cmfd数据集上，其性能均优于busternet模型。sfpnet通过构建特征金字塔获取更多特征细节，提升了模型正确检测出篡改区域的性能，f1无论是在像素级评估还是图像级评估，其指标值均优于busternet。另外，从图2可以看出(线条深浅区分)，sfpnet相比较busternet，其auc性能在图像级评估和像素级评估条件下分别提升了5％和7％。
[0077]
上述对实施例的描述是为便于该技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于这里的实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范
围之内。