一种融合残差域和DCT域的深度学习篡改图像定位方法与流程

一种融合残差域和dct域的深度学习篡改图像定位方法
技术领域
1.本发明涉及篡改图像定位领域，具体涉及一种融合残差域和dct域的深度学习篡改图像定位方法。


背景技术：

2.近年来，随着智能手机、数码相机等智能设备的普及，越来越多的数字图像作为证据出现在社会生活的各个方面中。与此同时，随着各种图像编辑软件的使用门槛不断降低以及篡改能力不断加强，即使是普通人也可以使用这些图像编辑软件轻松地制造出篡改图像并不留下明显的视觉痕迹。这些篡改图像如果被当作证据使用，会造成严重的社会影响，而现有技术中还无法定位出被篡改的图像中的具体篡改区域。
3.因此，现有技术还有待于改进和发展。


技术实现要素：

4.本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种融合残差域和dct域的深度学习篡改图像定位方法、装置、终端设备及存储介质，旨在通过提供一种融合残差域和dct域的深度学习篡改图像定位方法，对待测图像中的篡改区域进行定位。
5.本发明解决技术问题所采用的技术方案如下：
6.第一方面，本发明提供一种融合残差域和dct域的深度学习篡改图像定位方法，其中，所述方法包括：
7.获取待测图像，并将所述待测图像输入预设的篡改检测网络；
8.通过所述篡改检测网络对所述待测图像进行篡改检测，得到检测结果；
9.根据所述检测结果输出与所述待测图像相对应的篡改概率图，并根据所述篡改概率图确定篡改区域。
10.在一种实现方式中，所述待测图像为经过篡改的图像，且所述待测图像携带有篡改痕迹。
11.在一种实现方式中，所述通过所述篡改检测网络对所述待测图像进行篡改检测，得到检测结果包括：
12.分别在残差域对所述待测图像进行特征提取得到第一特征以及在dct域对所述待测图像进行特征提取得到第二特征；
13.将所述第一特征与所述第二特征进行融合得到融合特征；
14.对所述融合特征进行篡改检测，得到检测结果。
15.在一种实现方式中，所述分别在残差域对所述待测图像进行特征提取得到第一特征以及在dct域对所述待测图像进行特征提取得到第二特征包括：
16.通过若干高通滤波器对所述待测图像的rgb通道进行滤波，得到若干高频特征；
17.将所述若干高频特征进行融合得到第一特征；
18.通过不同大小的dct变换核对所述待测图像的ycbcr通道分别进行特征提取，得到
若干第二特征。
19.在一种实现方式中，所述将所述第一特征与所述第二特征进行融合得到融合特征包括：
20.将若干第二特征与处于相同分辨率下的第一特征进行融合，得到若干融合特征。
21.在一种实现方式中，所述对所述融合特征进行篡改检测，得到检测结果包括：
22.获取所述待测图像的所有像素；
23.根据所述融合特征对所有像素中的篡改痕迹进行检测，得到检测结果。
24.在一种实现方式中，所述根据所述检测结果输出与所述待测图像相对应的篡改概率图，并根据所述篡改概率图确定篡改区域包括：
25.根据所述检测结果将所有像素分为篡改和未篡改；
26.根据分类后的像素确定篡改概率图，并根据所述篡改概率图确定篡改区域。
27.第二方面，本发明实施例提供一种融合残差域和dct域的深度学习篡改图像定位装置，其中，所述装置包括：
28.待测图像获取模块，用于获取待测图像，并将所述待测图像输入预设的篡改检测网络；
29.检测模块，用于通过所述篡改检测网络对所述待测图像进行篡改检测，得到检测结果；
30.输出模块，用于根据所述检测结果输出与所述待测图像相对应的篡改概率图，并根据所述篡改概率图确定篡改区域。
31.第三方面，本发明实施例提供一种终端设备，其中，所述终端设备包括：处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现上述方案中任一项所述的一种融合残差域和dct域的深度学习篡改图像定位方法。
32.第四方面，本发明实施例提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述方案中任意一项所述的一种融合残差域和dct域的深度学习篡改图像定位方法。
33.本发明的有益效果：与现有技术相比，本发明提供了一种融合残差域和dct域的深度学习篡改图像定位方法，所述方法包括获取待测图像，由于本实施例是要对待测图像中发生篡改的地方进行定位，因此需要将待测图像输入预设的篡改检测网络，然后通过篡改检测网络对待测图像进行篡改检测，得到检测结果，最后根据检测结果输出与待测图像相对应的篡改概率图，并根据篡改概率图确定篡改区域，从而实现对待测图像中的篡改区域进行定位。
附图说明
34.图1是本发明实施例提供的一种融合残差域和dct域的深度学习篡改图像定位方法的具体实施方式的流程图。
35.图2是本发明实施例提供的一种融合残差域和dct域的深度学习篡改图像定位方法中将待测图像输入篡改检测网络进行检测的流程图。
36.图3是本发明实施例提供的一种融合残差域和dct域的深度学习篡改图像定位方法中篡改检测网络的网络结构图。
37.图4是本发明实施例提供的一种融合残差域和dct域的深度学习篡改图像定位方法中篡改检测网络学习到的不同频率分量的权重示意图。
38.图5是本发明实施例提供的融合残差域和dct域的深度学习篡改图像定位装置的原理框图。
39.图6是本发明实施例提供的终端设备的内部结构原理框图。
具体实施方式
40.为使本发明的目的、计数方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
41.近年来，随着智能手机、数码相机等智能设备的普及，越来越多的数字图像作为证据出现在社会生活的各个方面中。与此同时，随着各种图像编辑软件的使用门槛不断降低以及篡改能力不断加强，即使是普通人也可以使用这些图像编辑软件轻松地制造出篡改图像并不留下明显的视觉痕迹。这些篡改图像如果被当作证据使用，会造成严重的社会影响。因此，鉴别图像是否经过编辑软件修改并且定位出具体的篡改区域是一个亟待解决的实际问题。
42.经研究发现，已经有很多基于深度学习的篡改定位方法被提出来，但是他们普遍存在以下几个问题：(1)只在单个域上提取特征，如只在空域或者残差域中提取特征。但是由于实际篡改场景非常复杂，从单个域中提取出来的特征表征能力有限，这会导致在实际篡改场景下，这类篡改定位方法的性能有明显下降；(2)虽然已有一些融合多个不同域特征的方法被提出来，如一些使用dct域和空域结合起来的方法，但是这些方法，通常将所有频率分量都进行同等考虑，忽略了经过篡改的图像中，篡改区域和原始区域在不同频率分量中，其可区分程度不一样这一特点。
43.为了解决现有技术的问题，本实施例提供一种融合残差域和dct域的深度学习篡改图像定位方法，所述方法包括获取待测图像，由于本实施例是要对待测图像中发生篡改的地方进行定位，因此需要将待测图像输入预设的篡改检测网络，然后通过篡改检测网络对待测图像进行篡改检测，得到检测结果，最后根据检测结果输出与待测图像相对应的篡改概率图，并根据篡改概率图确定篡改区域，从而实现对待测图像中的篡改区域进行定位。
44.示例性方法
45.本实施例中的一种融合残差域和dct域的深度学习篡改图像定位方法可应用于终端设备中，比如智能手机、平板电脑、笔记本电脑，所述终端设备具有图像显示功能。具体实施时，如图1中所示，本实施例的一种融合残差域和dct域的深度学习篡改图像定位方法包括如下步骤：
46.步骤s100、获取待测图像，并将所述待测图像输入预设的篡改检测网络。
47.具体实施时，由于本实施例是通过预设的篡改检测网络对待测图像中被篡改的区域进行检测并定位，因此需要先获取待测图像，待测图像为经过篡改的图像，由于图像编辑软件在对图像进行篡改时，会在篡改区域上留下篡改痕迹，而未经篡改的位置是不存在这
种痕迹的，因此能够通过检测图像中是否存在图像编辑软件留下的篡改痕迹，从而实现篡改图像中的篡改区域定位的功能。然后将获取到的待测图像输入预设的篡改检测网络中，由于篡改检测网络是经过训练且具有篡改痕迹检测能力的，因此在将待测图像输入篡改检测网络后，可以通过篡改检测网络检测出篡改区域，从而实现对篡改区域的定位。
48.s200、通过所述篡改检测网络对所述待测图像进行篡改检测，得到检测结果。
49.本实施例在将待测图像输入预设的篡改检测网络后，由于篡改检测网络具有对篡改痕迹进行检测的能力，因此可以通过篡改检测网络对待测图像进行检测，从而得到检测结果，便于根据检测结果对篡改区域进行定位。
50.在一种实现方式中，如图2所示，所述步骤s200包括如下步骤：
51.s201、分别在残差域对所述待测图像进行特征提取得到第一特征以及在dct域对所述待测图像进行特征提取得到第二特征；
52.s202、将所述第一特征与所述第二特征进行融合得到融合特征；
53.s203、对所述融合特征进行篡改检测，得到检测结果。
54.具体实施时，由于本实施例中的篡改检测网络需要具有对篡改痕迹进行检测的能力，因此需要先对篡改检测网络进行训练，使篡改检测网络对检测篡改痕迹进行学习，从而实现篡改检测网络对待测图像的检测。由于需要对篡改网络进行训练，因此需要选取进行训练的数据集，较佳的，本实施例中使用ps脚本生成2万张篡改图像以及其对应的篡改标记，然后使用现有的篡改定位方法中，提供的2万张篡改数据集及其标记，混合上述的数据集，将其按照9：1的比例随机分成训练集和验证集。
55.具体地，为了提高篡改定位方法的性能，本实施例中的篡改检测网络是融合残差域和dct域的篡改检测网络，在对篡改定位网络进行架构的过程中分为特征提取阶段和定位阶段，在将待测图像输入篡改检测网络后，需要先对待测图像进行特征提取，然后将提取到的特征输入定位阶段进行分析，从而确定篡改区域。
56.进一步地，由于本实施例中的篡改检测网络是融合残差域和dct域的，因此在特征提取阶段分别在残差域和dct域进行特征提取。具体地，在残差分支中，通过使用srm30个高通滤波器，分别对待测图像的rgb三个通道进行滤波，提取待测图像的高频特征，并将输出的高频特征进行融合，得到第一特征，作为在残差域提取到的特征。由于大多数待测图像都是jpeg格式的，而jpeg压缩是基于dct变换的，在进行篡改后，待测图像中的篡改区域和原始区域在dct域中能被更好地区分，因此本实施例中引入dct分支，较佳的，在dct分支中，通过使用不同大小的dct变换核对待测图像的ycbcr通道分别进行特征提取，得到若干第二特征，然后将若干第二特征重新排列，使得提取的特征中，不同的通道标识不同的频率分量，较佳的，在得到若干第二特征后，通过se模块对不同频率的频率分量进行自适应的权重学习，赋予有利于篡改定位的频率分量更大的权重，同时抑制对篡改定位不起作用或者起副作用的频率分量。较佳的，为了实现更好的性能，本实施例中在进行特征融合的过程中使用了跳跃连接，如图3所述，通过跳跃连接实现浅层特征和深层特征的融合。最后，基于相同分辨率将残差域的第一特征和dct域中的第二特征进行融合，得到融合特征，进一步提高所提取特征的表达能力，从而达到更好的篡改定位性能。
57.为了验证使用双域融合的方法的有效通，本实施例通过只在单个域提取特征以及逐步增加dct分支数量进行实验，进而观察篡改检测网络的性能，如表1所示，由表可见，通
过在不同阶段，将残差域中提取到的特征和dct域中不同尺度dct变换分支提取到的特征进行融合，可以更有效地定位出待测图像中的篡改区域。
58.表1 不同分支数量下篡改检测网络在验证集上的性能
[0059][0060]
为了验证dct分支能否自适应地给予不同频率分量不同大小的权重，图4展示了网络学习到的不同频率分量的权重，由图4可以看出，不同频率分量确实对最后篡改定位的结果起到不同的作用，对于重要的分量，篡改检测网络会赋予其更高的权重，从而保证最后篡改定位的性能。
[0061]
进一步地，在基于残差域和dct域进行特征提取并融合得到融合特征后，将融合特征输入到定位阶段，实现对篡改区域的定位。具体地，本实施例中的定位阶段也是通过训练来实现的，且本实施例使用随机梯度下降和反向传播的方式来训练篡改定位网络，使用adam优化器，初始学习率设置成1
×
10-3
。网络一共训练20代，每训练2代，学习率就下降成原来的80％。通过使用交叉熵以及dice系数作为网络的损失函数，并使用xavier初始化所有的卷积核，所有的卷积核的初始偏置都设置成0。在训练阶段，每次只使用1张图像进行训练，并将训练图像中长边大于512的图像进行缩放，使其长边缩小到512，同时其短边按照长边的缩放比例进行缩放。较佳的，考虑到当批量设置为1时，训练批归一化层会不稳定，因此本实施例中使用实例归一化层替换网络中所有的批归一化层。
[0062]
较佳的，为了验证篡改检测网络的有效性，本实施例中使用了casia1.0、nist 2016、imd 2020三个数据库，对篡改检测网络进行验证，并与现阶段最新的篡改定位网络进行比较，结果如表2所示。需要注意的是，本实施例的方法以及对应的比较方法，都是在没有使用与对应测试数据集中同源的数据进行微调情况下的实验结果。
[0063]
表2 不同方法的篡改定位性能
[0064][0065]
由上述实验结果，可知本实施例提供的方法对篡改像素和原始像素具有更好的区分能力，并且能够有效地定位出篡改图像中具体的篡改区域，这对于涉及图像安全的实用场合具有重要意义。
[0066]
在完成对篡改检测网络的架构和训练后即可对输入的待测图像进行检测，由于经过训练的篡改检测网络进行监督学习得到一个像素级别的二分类器，且训练样本是由未经过编辑软件篡改的像素和经过编辑软件篡改的像素组成，通过对这两类样本进行学习，从而得到一个具有检测篡改痕迹能力的篡改检测网络。在对待测图像进行检测的过程中，获取待测图像的所有像素，然后基于篡改检测网络的像素级别的二分类器，对待测图像的所有像素进行检测分类，得到的检测结果为将所有像素分为经过篡改的像素和没有经过篡改像素。
[0067]
s300、根据所述检测结果输出与所述待测图像相对应的篡改概率图，并根据所述篡改概率图确定篡改区域。
[0068]
本实施例中在得到检测结果将待测图像的所有像素分为经过篡改的像素和没有经过篡改像素，即可根据检测结果确定篡改概率图，最后根据篡改概率图确定篡改区域。
[0069]
综上，本实施例首先获取待测图像，由于本实施例是要对待测图像中发生篡改的地方进行定位，因此需要将待测图像输入预设的篡改检测网络，然后通过篡改检测网络对待测图像进行篡改检测，得到检测结果，最后根据检测结果输出与待测图像相对应的篡改概率图，并根据篡改概率图确定篡改区域，从而实现对待测图像中的篡改区域进行定位。
[0070]
示例性装置
[0071]
如图5中所示，本实施例还提供一种驾驶行为考核装置，该装置包括待测图像获取模块10，检测模块20，输出模块30。具体地，所述待测图像获取模块10，用于获取待测图像，并将所述待测图像输入预设的篡改检测网络。所述检测模块20，用于通过所述篡改检测网络对所述待测图像进行篡改检测，得到检测结果。所述输出模块30，用于根据所述检测结果输出与所述待测图像相对应的篡改概率图，并根据所述篡改概率图确定篡改区域。
[0072]
在一种实现方式中，所述检测模块20包括：
[0073]
特征提取单元，用于分别在残差域对所述待测图像进行特征提取得到第一特征以及在dct域对所述待测图像进行特征提取得到第二特征；
[0074]
特征融合单元，用于将所述第一特征与所述第二特征进行融合得到融合特征；
[0075]
检测单元，用于对所述融合特征进行篡改检测，得到检测结果。
[0076]
在一种实现方式中，所述特征提取单元包括：
[0077]
滤波子单元，用于通过若干高通滤波器对所述待测图像的rgb通道进行滤波，得到若干高频特征；
[0078]
融合子单元，用于将所述若干高频特征进行融合得到第一特征；
[0079]
特征提取子单元，用于通过不同大小的dct变换核对所述待测图像的ycbcr通道分别进行特征提取，得到若干第二特征。
[0080]
在一种实现方式中，所述输出模块30包括：
[0081]
分类单元，用于根据所述检测结果将所有像素分为篡改和未篡改；
[0082]
篡改区域确定单元，用于根据分类后的像素确定篡改概率图，并根据所述篡改概率图确定篡改区域。
[0083]
基于上述实施例，本发明还提供一种终端设备，其原理框图可以如图6所示。该终端设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中，该终端设备的处理器用于提供计算和控制能力。该终端设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该终端设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种融合残差域和dct域的深度学习篡改图像定位方法。该终端设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该终端设备的温度传感器是预先在终端设备内部设置，用于检测内部设备的运行温度。
[0084]
本领域计数人员可以理解，图6中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端设备的限定，具体的终端设备以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0085]
在一个实施例中，提供了一种终端设备，终端设备包括存储器、处理器及存储在存储器中并可在处理器上运行的融合残差域和dct域的深度学习篡改图像定位程序，处理器执行融合残差域和dct域的深度学习篡改图像定位程序时，实现如下操作指令：
[0086]
获取待测图像，并将所述待测图像输入预设的篡改检测网络；
[0087]
通过所述篡改检测网络对所述待测图像进行篡改检测，得到检测结果；
[0088]
根据所述检测结果输出与所述待测图像相对应的篡改概率图，并根据所述篡改概率图确定篡改区域。
[0089]
本领域普通计数人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0090]
综上，本发明提供了一种融合残差域和dct域的深度学习篡改图像定位方法，所述方法包括获取待测图像，由于本实施例是要对待测图像中发生篡改的地方进行定位，因此需要将待测图像输入预设的篡改检测网络，然后通过篡改检测网络对待测图像进行篡改检测，得到检测结果，最后根据检测结果输出与待测图像相对应的篡改概率图，并根据篡改概率图确定篡改区域，从而实现对待测图像中的篡改区域进行定位。
[0091]
最后应说明的是：以上实施例仅用以说明本发明的计数方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通计数人员应当理解：其依然可以对前述各实施例所记载的计数方案进行修改，或者对其中部分计数特征进行等同替换；而这些修改或者替换，并不使相应计数方案的本质脱离本发明各实施例计数方案的精神和范围。