基于类激活热力图的图像篡改检测与定位的方法及系统与流程

1.本发明涉及多媒体信息安全技术领域，尤其涉及一种基于类激活热力图的图像篡改检测与定位的方法及系统。


背景技术：

2.随着多媒体采集设备的快速发展和使用，人们迎来了多媒体信息爆炸的时代，几乎人人都有能力制作、传递大量的数字图像。与此同时，photoshop、美图秀秀、美颜相机等图像编辑软件操作简单，导致了图像修改变得越来越容易，普通人也能很轻易地对图像进行加工和修改，并且随着技术的发展，伪造图像也变得越来越不易察觉，甚至能够以假乱真。在当今社会，所谓的“眼见为实”已经变得越来越不可信，当人们面对一张图像的时候，往往首先对图像的真实性存在怀疑。日常生活中人们对图像进行修改，往往是出于美化、娱乐的目的，这并不会带来不良影响，但是在有些情况下，被恶意篡改的图像经过传播，就会影响人们对客观事物的判断，有时甚至会对社会和国家造成不良的影响，因此，如何既准确又高效的检测数字图像是否被篡改并检测出篡改区域，对图像取证任务具有重要意义。
3.目前图像内容的篡改方式主要分为拼接，复制
‑
粘贴和基于图像修复的物体消去，这些操作会破坏原始图像的纹理和模式噪声，留下篡改痕迹，故可通过比较图像中特定指纹信息的不一致性或分析该图像中的某种统计特征是否被破坏来判断图像是否经过篡改并检测出篡改区域。目前图像篡改检测算法大致可以分为传统算法和深度学习算法，传统算法的特点是手工提取特征、建立模型、分析特征并分类，但传统方法通常都是采用手工设计的方式提取特征，这种基于手工设计的特征大多存在局限性，缺乏代表性，无法根据这些特征同时对多种篡改方式进行判定；深度学习的算法主要通过使用卷积神经网络模型，提取特征再分类，实现端到端自适应学习模式。但是目前的图像篡改检测算法大多只能针对一种或几种修改方式，特别是随着深度学习在图像修复领域的应用，基于图像修复的物体消除方式的修改方式检测起来更加困难。
4.因此，如何更加有效的对不同篡改方式实现篡改检测与定位，特别是基于各种图像修复算法的物体消除篡改方式的检测，以使篡改检测与定位具有更好的泛化能力，是一项亟待解决的问题。


技术实现要素：

5.有鉴于此，本发明提供了一种基于类激活热力图的图像篡改检测与定位的方法，能够更加有效的实现对不同的篡改方式实现篡改检测与定位，特别是对基于各种图像修复算法的物体消除篡改方式的检测，使得篡改检测与定位具有更好的泛化能力。
6.本发明提供了一种基于类激活热力图的图像篡改检测与定位的方法，包括：
7.基于coco数据集，使用图像修复的算法构造物体消去，拼接以及复制
‑
粘贴的图像篡改数据集；
8.基于构造的卷积神经网络对所述图像篡改数据集进行图像篡改检测，得到所述图
像篡改数据集的图像篡改分类结果；
9.针对所述图像篡改分类结果，基于模型可解释性的方法找出图像中影响分类结果的像素并生成类激活热力图，使用resnet50网络生成最终的篡改定位区域。
10.优选地，所述基于构造的卷积神经网络对所述图像篡改数据集进行图像篡改检测，得到所述图像篡改数据集的图像篡改分类结果，包括：
11.使用所述卷积神经网络对所述图像篡改数据集进行增强处理；
12.对增强处理后的图像篡改数据集进行特征提取；
13.基于提取到的特征决策出所述图像篡改数据集中被篡改的图像，以及被篡改图像的分类结果。
14.优选地，所述使用所述卷积神经网络对所述图像篡改数据集进行增强处理，包括：
15.使用所述卷积神经网络的卷积层提取纹理特征和边特征；
16.使用所述卷积神经网络的约束卷积层和srm滤波器提取噪声域特征；
17.融合所述纹理特征、边特征和噪声域特征，得到融合特征。
18.优选地，所述对增强处理后的图像篡改数据集进行特征提取，包括：
19.使用所述卷积神经网络的5个卷积层和批标准化对所述融合特征进行特征提取，得到特征提取结果。
20.优选地，基于提取到的特征决策出所述图像篡改数据集中被篡改的图像，以及被篡改图像的分类结果，包括：
21.基于所述特征提取结果，使用所述卷积神经网络的平均池化层和全连接层，最后经过softmax激活函数决策出所述图像篡改数据集中被篡改的图像，以及被篡改图像的分类结果。
22.一种基于类激活热力图的图像篡改检测与定位的系统，包括：
23.构造模块，用于基于coco数据集，使用图像修复的算法构造物体消去，拼接以及复制
‑
粘贴的图像篡改数据集；
24.检测模块，用于基于构造的卷积神经网络对所述图像篡改数据集进行图像篡改检测，得到所述图像篡改数据集的图像篡改分类结果；
25.定位模块，用于针对所述图像篡改分类结果，基于模型可解释性的方法找出图像中影响分类结果的像素并生成类激活热力图，使用resnet50网络生成最终的篡改定位区域。
26.优选地，所述检测模块包括：
27.增强单元，用于使用所述卷积神经网络对所述图像篡改数据集进行增强处理；
28.特征提取单元，用于对增强处理后的图像篡改数据集进行特征提取；
29.决策单元，用于基于提取到的特征决策出所述图像篡改数据集中被篡改的图像，以及被篡改图像的分类结果。
30.优选地，所述增强单元具体用于：
31.使用所述卷积神经网络的卷积层提取纹理特征和边特征；
32.使用所述卷积神经网络的约束卷积层和srm滤波器提取噪声域特征；
33.融合所述纹理特征、边特征和噪声域特征，得到融合特征。
34.优选地，所述特征提取单元具体用于：
35.使用所述卷积神经网络的5个卷积层和批标准化对所述融合特征进行特征提取，得到特征提取结果。
36.优选地，所述决策单元具体用于：
37.基于所述特征提取结果，使用所述卷积神经网络的平均池化层和全连接层，最后经过softmax激活函数决策出所述图像篡改数据集中被篡改的图像，以及被篡改图像的分类结果。
38.综上所述，本发明公开了一种基于类激活热力图的图像篡改检测与定位的方法，当需要对图像进行篡改检测以及篡改位置定位时，基于coco数据集，使用图像修复的算法构造物体消去，拼接以及复制
‑
粘贴的图像篡改数据集，然后基于构造的卷积神经网络对图像篡改数据集进行图像篡改检测，得到图像篡改数据集的图像篡改分类结果；针对图像篡改分类结果，基于模型可解释性的方法找出图像中影响分类结果的像素并生成类激活热力图，使用resnet50网络生成最终的篡改定位区域。本发明能够更加有效的实现对不同的篡改方式实现篡改检测与定位，特别是对基于各种图像修复算法的物体消除篡改方式的检测，使得篡改检测与定位具有更好的泛化能力。
附图说明
39.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
40.图1为本发明公开的一种基于类激活热力图的图像篡改检测与定位的方法实施例1的流程图；
41.图2为本发明公开的一种基于类激活热力图的图像篡改检测与定位的方法实施例2的流程图；
42.图3为本发明公开的一种基于类激活热力图的图像篡改检测与定位的系统实施例1的结构示意图；
43.图4为本发明公开的一种基于类激活热力图的图像篡改检测与定位的系统实施例2的结构示意图。
具体实施方式
44.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
45.如图1所示，为本发明公开的一种基于类激活热力图的图像篡改检测与定位的方法实施例1的流程图，所述方法可以包括以下步骤：
46.s101、基于coco数据集，使用图像修复的算法构造物体消去，拼接以及复制
‑
粘贴的图像篡改数据集；
47.当需要对图像进行篡改检测以及篡改位置定位时，首先基于coco数据集，并使用
图像修复的算法构造得到物体消去，拼接以及复制
‑
粘贴的图像篡改数据集。例如，基于coco数据集，可以使用10种图像修复的算法构造得到物体消去，拼接以及复制
‑
粘贴的图像篡改数据集。
48.s102、基于构造的卷积神经网络对图像篡改数据集进行图像篡改检测，得到图像篡改数据集的图像篡改分类结果；
49.在得到图像篡改数据集后，进一步构造卷积神经网络，使用构造的卷积神经网络对图像篡改数据集进行图像篡改检测，确定出图像篡改数据集中被篡改的图像，并确定出被篡改的图像的篡改分类结果。即，确定出被篡改的图像是属于物体消去篡改，还是拼接篡改，还是复制
‑
粘贴篡改。
50.s103、针对图像篡改分类结果，基于模型可解释性的方法找出图像中影响分类结果的像素并生成类激活热力图，使用resnet50网络生成最终的篡改定位区域。
51.对于图像篡改数据集中确定出的被篡改的图像，针对被篡改图像的图像篡改分类结果，进一步基于模型可解释性的方法找出图像中影响分类结果的像素并生成类激活热力图，使用resnet50网络生成最终的篡改定位区域。
52.综上所述，在上述实施例中，当需要对图像进行篡改检测以及篡改位置定位时，基于coco数据集，使用图像修复的算法构造物体消去，拼接以及复制
‑
粘贴的图像篡改数据集，然后基于构造的卷积神经网络对图像篡改数据集进行图像篡改检测，得到图像篡改数据集的图像篡改分类结果；针对图像篡改分类结果，基于模型可解释性的方法找出图像中影响分类结果的像素并生成类激活热力图，使用resnet50网络生成最终的篡改定位区域。能够更加有效的实现对不同的篡改方式实现篡改检测与定位，特别是对基于各种图像修复算法的物体消除篡改方式的检测，使得篡改检测与定位具有更好的泛化能力。
53.如图2所示，为本发明公开的一种基于类激活热力图的图像篡改检测与定位的方法实施例2的流程图，所述方法可以包括以下步骤：
54.s201、基于coco数据集，使用图像修复的算法构造物体消去，拼接以及复制
‑
粘贴的图像篡改数据集；
55.当需要对图像进行篡改检测以及篡改位置定位时，首先基于coco数据集，并使用图像修复的算法构造得到物体消去，拼接以及复制
‑
粘贴的图像篡改数据集。例如，基于coco数据集，可以使用10种图像修复的算法构造得到物体消去，拼接以及复制
‑
粘贴的图像篡改数据集。
56.s202、使用卷积神经网络对图像篡改数据集进行增强处理；
57.在得到图像篡改数据集后，进一步构造卷积神经网络，使用构造的卷积神经网络对图像篡改数据集进行增强处理。
58.具体的，使用卷积神经网络对图像篡改数据集进行增强处理时，使用卷积神经网络的卷积层提取纹理特征和边特征，使用卷积神经网络的约束卷积层和srm滤波器提取噪声域特征；然后融合纹理特征、边特征和噪声域特征，得到融合特征。
59.其中，卷积神经网络的约束卷积层的构造具体步骤为：
60.对卷积神经网络第一层进行随机初始化，并基于以下表达式对卷积核进行约束：
[0061][0062]
其中，表示卷积核中像素点(m，n)位置的权重，表示卷积核中心像素点位置的值。约束卷积核中心像素点权重值为
‑
1，周围像素点权重之和为1。
[0063]
具体的，srm滤波器主要由3个卷积核构成：
[0064][0065]
s203、对增强处理后的图像篡改数据集进行特征提取；
[0066]
然后，对增强处理后的图像篡改数据集进行特征提取。
[0067]
具体的，使用卷积神经网络的5个卷积层和批标准化对融合特征进行特征提取，得到特征提取结果。
[0068]
s204、基于提取到的特征决策出图像篡改数据集中被篡改的图像，以及被篡改图像的分类结果；
[0069]
然后，基于提取到的特征决策出图像篡改数据集中被篡改的图像，以及被篡改图像的分类结果。
[0070]
具体的，基于特征提取结果，使用卷积神经网络的平均池化层和全连接层，最后经过softmax激活函数决策出图像篡改数据集中被篡改的图像，以及被篡改图像的分类结果。
[0071]
s205、针对图像篡改分类结果，基于模型可解释性的方法找出图像中影响分类结果的像素并生成类激活热力图，使用resnet50网络生成最终的篡改定位区域。
[0072]
基于模型可解释性的方法找出图像中影响分类结果的像素并生成类激活热力图，使用resnet50网络生成最终的篡改定位区域，具体可以包括以下步骤：
[0073]
(1)计算最后一层softmax激活函数输出中篡改类概率y
c
对最后一层特征图所有像素a
i,j
的偏导数，即:
[0074][0075]
其中，y是softmax激活函数输出的概率向量，c是篡改类的序号，a是最后一层卷积层输出的特征图，k是特征图的通道维度的序号，i和j分别是宽高维度的序号。
[0076]
(2)将y
c
对特征图每个像素的偏导数取一次宽高维度上的平均，得到篡改类对最后一层卷积层输出的特征图的第k个通道的敏感度：
[0077][0078]
(3)将作为权重与最后一层特征图加权，线性组合起来，并使用relu激活函数处
理，得到类激活热力图：
[0079][0080]
(4)由resnet50网络生成最终的篡改区域的篡改定位区域。
[0081]
综上所述，本发明通过卷积神经网络模型和类激活热力图，实现了篡改图像的检测与定位。将篡改检测与定位任务分为两个阶段，定位结果主要依赖于第一阶段的是否篡改的结果，相比与端到端的篡改检测与定位方法，本发明具有模型结构更简单，模型泛化性能更好的优点，能够适用于图像拼接、复制
‑
粘贴、物体消除篡改方式的检测与定位场景。
[0082]
如图3所示，为本发明公开的一种基于类激活热力图的图像篡改检测与定位的系统实施例1的结构示意图，所述系统可以包括：
[0083]
构造模块301，用于基于coco数据集，使用图像修复的算法构造物体消去，拼接以及复制
‑
粘贴的图像篡改数据集；
[0084]
当需要对图像进行篡改检测以及篡改位置定位时，首先基于coco数据集，并使用图像修复的算法构造得到物体消去，拼接以及复制
‑
粘贴的图像篡改数据集。例如，基于coco数据集，可以使用10种图像修复的算法构造得到物体消去，拼接以及复制
‑
粘贴的图像篡改数据集。
[0085]
检测模块302，用于基于构造的卷积神经网络对图像篡改数据集进行图像篡改检测，得到图像篡改数据集的图像篡改分类结果；
[0086]
在得到图像篡改数据集后，进一步构造卷积神经网络，使用构造的卷积神经网络对图像篡改数据集进行图像篡改检测，确定出图像篡改数据集中被篡改的图像，并确定出被篡改的图像的篡改分类结果。即，确定出被篡改的图像是属于物体消去篡改，还是拼接篡改，还是复制
‑
粘贴篡改。
[0087]
定位模块303，用于针对图像篡改分类结果，基于模型可解释性的方法找出图像中影响分类结果的像素并生成类激活热力图，使用resnet50网络生成最终的篡改定位区域。
[0088]
对于图像篡改数据集中确定出的被篡改的图像，针对被篡改图像的图像篡改分类结果，进一步基于模型可解释性的方法找出图像中影响分类结果的像素并生成类激活热力图，使用resnet50网络生成最终的篡改定位区域。
[0089]
综上所述，在上述实施例中，当需要对图像进行篡改检测以及篡改位置定位时，基于coco数据集，使用图像修复的算法构造物体消去，拼接以及复制
‑
粘贴的图像篡改数据集，然后基于构造的卷积神经网络对图像篡改数据集进行图像篡改检测，得到图像篡改数据集的图像篡改分类结果；针对图像篡改分类结果，基于模型可解释性的方法找出图像中影响分类结果的像素并生成类激活热力图，使用resnet50网络生成最终的篡改定位区域。能够更加有效的实现对不同的篡改方式实现篡改检测与定位，特别是对基于各种图像修复算法的物体消除篡改方式的检测，使得篡改检测与定位具有更好的泛化能力。
[0090]
如图4所示，为本发明公开的一种基于类激活热力图的图像篡改检测与定位的系统实施例2的结构示意图，所述系统可以包括：
[0091]
构造模块401，用于基于coco数据集，使用图像修复的算法构造物体消去，拼接以及复制
‑
粘贴的图像篡改数据集；
[0092]
当需要对图像进行篡改检测以及篡改位置定位时，首先基于coco数据集，并使用图像修复的算法构造得到物体消去，拼接以及复制
‑
粘贴的图像篡改数据集。例如，基于coco数据集，可以使用10种图像修复的算法构造得到物体消去，拼接以及复制
‑
粘贴的图像篡改数据集。
[0093]
增强单元402，用于使用卷积神经网络对图像篡改数据集进行增强处理；
[0094]
在得到图像篡改数据集后，进一步构造卷积神经网络，使用构造的卷积神经网络对图像篡改数据集进行增强处理。
[0095]
具体的，使用卷积神经网络对图像篡改数据集进行增强处理时，使用卷积神经网络的卷积层提取纹理特征和边特征，使用卷积神经网络的约束卷积层和srm滤波器提取噪声域特征；然后融合纹理特征、边特征和噪声域特征，得到融合特征。
[0096]
其中，卷积神经网络的约束卷积层的构造具体步骤为：
[0097]
对卷积神经网络第一层进行随机初始化，并基于以下表达式对卷积核进行约束：
[0098][0099]
其中，表示卷积核中像素点(m，n)位置的权重，表示卷积核中心像素点位置的值。约束卷积核中心像素点权重值为
‑
1，周围像素点权重之和为1。
[0100]
具体的，srm滤波器主要由3个卷积核构成：
[0101][0102]
特征提取单元403，用于对增强处理后的图像篡改数据集进行特征提取；
[0103]
然后，对增强处理后的图像篡改数据集进行特征提取。
[0104]
具体的，使用卷积神经网络的5个卷积层和批标准化对融合特征进行特征提取，得到特征提取结果。
[0105]
决策单元404，用于基于提取到的特征决策出图像篡改数据集中被篡改的图像，以及被篡改图像的分类结果；
[0106]
然后，基于提取到的特征决策出图像篡改数据集中被篡改的图像，以及被篡改图像的分类结果。
[0107]
具体的，基于特征提取结果，使用卷积神经网络的平均池化层和全连接层，最后经过softmax激活函数决策出图像篡改数据集中被篡改的图像，以及被篡改图像的分类结果。
[0108]
定位模块405，用于针对图像篡改分类结果，基于模型可解释性的方法找出图像中影响分类结果的像素并生成类激活热力图，使用resnet50网络生成最终的篡改定位区域。
[0109]
基于模型可解释性的方法找出图像中影响分类结果的像素并生成类激活热力图，使用resnet50网络生成最终的篡改定位区域，具体可以包括以下步骤：
[0110]
(1)计算最后一层softmax激活函数输出中篡改类概率y
c
对最后一层特征图所有
像素a
i,j
的偏导数，即:
[0111][0112]
其中，y是softmax激活函数输出的概率向量，c是篡改类的序号，a是最后一层卷积层输出的特征图，k是特征图的通道维度的序号，i和j分别是宽高维度的序号。
[0113]
(2)将y
c
对特征图每个像素的偏导数取一次宽高维度上的平均，得到篡改类对最后一层卷积层输出的特征图的第k个通道的敏感度：
[0114][0115]
(3)将作为权重与最后一层特征图加权，线性组合起来，并使用relu激活函数处理，得到类激活热力图：
[0116][0117]
(4)由resnet50网络生成最终的篡改区域的篡改定位区域。
[0118]
综上所述，本发明通过卷积神经网络模型和类激活热力图，实现了篡改图像的检测与定位。将篡改检测与定位任务分为两个阶段，定位结果主要依赖于第一阶段的是否篡改的结果，相比与端到端的篡改检测与定位方法，本发明具有模型结构更简单，模型泛化性能更好的优点，能够适用于图像拼接、复制
‑
粘贴、物体消除篡改方式的检测与定位场景。
[0119]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0120]
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0121]
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd
‑
rom、或技术领域内所公知的任意其它形式的存储介质中。
[0122]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一
致的最宽的范围。