基于滑动窗口频域特征融合的文档篡改检测方法与流程

1.本发明涉及一种基于滑动窗口频域特征融合的文档篡改检测方法。适用于文档篡改检测领域。


背景技术：

2.目前公开的文档篡改检测解决方案较少，大多将该问题当作普通图像篡改检测问题去解决。
3.对于普通图像篡改检测方案，即将文档图像整张输入模型进行篡改区域检测，常常导致过多的误检测。而过多的误检反而造成人力成本的增加。
4.当然也有一些方案，基于文档类型，提取关键区域的文本行，将文本行作为输入进行篡改检测，该方法因为排除了一些无篡改价值区域，可有效减少误检。但是由于文本行长短不一，此方案训练时通常需要额外进行形状调整，使得所有文本行大小一致，这就会导致文字变形，从而引入额外噪声干预篡改特征的识别，或者在训练时使用黑色将所有文本行填充至统一大小，但是当文本行长短差距过大时，短文本行填充后文字占比就会过小，这样同样不利于篡改特征的识别。
5.另外，基于单张图片或者文本行进行决策，结果往往鲁棒性不佳，并且很多文档篡改区域占比非常小，较大的输入使得篡改不容易被识别到。


技术实现要素：

6.本发明要解决的技术问题是：针对上述存在的问题，提供一种基于滑动窗口频域特征融合的文档篡改检测方法。
7.本发明所采用的技术方案是：一种基于滑动窗口频域特征融合的文档篡改检测方法，其特征在于：
8.s1、利用滑动窗口对文档图像的文本行进行图像块的提取，滑动窗口长为w’，高为h，滑动步长为s，其中w’＜相应文本行的长w，h与相应文本行的高一致，s＜w’；
9.s2、将通过滑动窗口获得的图像块输入基于频域特征融合模型，得到图像块对应的篡改预测分值；
10.s3、将文本行按滑动步长s划分成多个子区域，并将子区域所在图像块的篡改预测分值平均数作为该子区域的区域篡改分值，形成与文本行对应的分值列表，分值列表上的每个区域篡改分值与文本行每个子区域一一对应。
11.在步骤s1之前还包括：
12.将待检测文档图像输入到文档分类器进行分类，获得对应的文档类型，基于文档类型选择对应的关键区域分割器；
13.将待检测文档图像输入到对应的关键区域分割器中提取该文档图像的图像关键区域，该图像关键区域用于步骤s1中利用滑动窗口提取图像块。
14.所述将通过滑动窗口获得的图像块输入基于频域特征融合模型，得到图像块对应
的篡改预测分值，包括：
15.将图像块进行二维dct变换，利用三个可自适应微调的低、中、高滤波器对dct变换后的频域系数特征进行滤波，获得低频、中频、高频系数特征，分别设为f
l
，fm，fh；
16.接着对这三部分频域系数特征进行逆dct变换，得到滤波后的三个图像，分别设为f
l
，fm，fh；
17.将这三张逆dct变换的图和原图像块进行通道拼接，输入到mobilenetv3 small模型中进一步提取特征，输出对应图像块的篡改预测分值。
18.所述将图像块进行二维dct变换，包括：
19.dct变换公式如下：
20.f＝afa
t
[0021][0022][0023]
其中，f是dct变换得到的频域系数；f是图像块的像素值；a是转换矩阵；i为二维波的水平方向频率，j为二维波的垂直方向频率，取值范围都是[0，n-1]，n是图像块的大小。
[0024]
所述逆dct变换，包括：
[0025]fl
＝af
lat
[0026]fm
＝af
mat
[0027]fh
＝af
hat
[0028]
一种基于滑动窗口频域特征融合的文档篡改检测装置，其特征在于，包括：
[0029]
图像块提取模块，用于利用滑动窗口对文档图像的文本行进行图像块的提取，滑动窗口长为w’，高为h，滑动步长为s，其中w’＜相应文本行的长w，h与相应文本行的高一致，s＜w’；
[0030]
图像块分值预测模块，用于将通过滑动窗口获得的图像块输入基于频域特征融合模型，得到图像块对应的篡改预测分值；
[0031]
区域分值计算模块，用于将文本行按滑动步长s划分成多个子区域，并将子区域所在图像块的篡改预测分值平均数作为该子区域的区域篡改分值，形成与文本行对应的分值列表，分值列表上的每个区域篡改分值与文本行每个子区域一一对应。
[0032]
一种存储介质，其上存储有能被处理器执行的计算机程序，其特征在于：所述计算机程序被执行时实现所述基于滑动窗口频域特征融合的文档篡改检测方法的步骤。
[0033]
一种计算机设备，具有存储器和处理器，存储器上存储有能被处理器执行的计算机程序，其特征在于：所述计算机程序被执行时实现权所述基于滑动窗口频域特征融合的文档篡改检测方法的步骤。
[0034]
本发明的有益效果是：本发明利用了滑动窗口的特点对文本行进行划分，提取得到每个文本行中相同大小的多个图像块用于训练和推理，减少因为形状调整或者额外填充导致的篡改检测性能降低，减少对文本行额外的改动和干扰，提升训练推理数据的质量，从而提升模型性能。
[0035]
本发明在模型中加入了频域特征的提取，使得篡改特征更加明显，提升模型篡改检测的能力。
[0036]
本发明通过融合文本行每个子区域对应位置的图像块分值，从而缓解预测抖动，使得整体方案更加鲁棒。
附图说明
[0037]
图1为实施例的流程示意图。
[0038]
图2为实施例中基于频域特征融合模型的结构框图。
[0039]
图3为实施例中篡改预测分值融合示意图。
具体实施方式
[0040]
本实施例为一种基于滑动窗口频域特征融合的文档篡改检测方法，具体包括以下步骤：
[0041]
s0、将待检测文档图像输入到文档分类器进行分类，获得对应的文档类型，基于文档类型选择对应的关键区域分割器；将待检测文档图像输入到对应的关键区域分割器中提取该文档图像的图像关键区域。
[0042]
本实施例中不同的文档类型对应不同的关键区域分割器，例如图1，输入图片类型为行程码截图，此类型文档的关键区域分割器输出的关键区域为中间的白色区域，而对于其他类型的文档图片，也有着其特定的关键区域。
[0043]
s1、利用滑动窗口对文档图像的文本行进行图像块的提取，假设文本行的长为w，高为h，则滑动窗口的长为w’，满足w’＜w，滑动窗口高与文本行高一致为h，滑动窗口的滑动步长为s，s＜w’。
[0044]
s2、将通过滑动窗口获得的图像块输入基于频域特征融合模型(见图2)，得到图像块对应的篡改预测分值。
[0045]
s21、将输入图像块进行二维dct变换，dct变换公式如下：
[0046]
f＝afa
t
[0047][0048]
[0049]
其中，f是dct变换得到的频域系数；f是图像的像素值；a是转换矩阵，i为二维波的水平方向频率；j为二维波的垂直方向频率，取值范围都是[0，n-1]，n是图像块的大小。
[0050]
s22、利用三个可自适应微调的低、中、高滤波器对dct变换后的频域系数特征进行滤波，获得低频、中频、高频系数特征，分别设为f
l
，fm，fh。
[0051]
s23、对f
l
，fm，fh这三部分频域系数特征进行逆dct变换，得到滤波后的三个图像，分别设为f
l
，fm，fh。该dct逆变换过程公式如下：
[0052]fl
＝af
lat
[0053]fm
＝af
mat
[0054]fh
＝af
hat
[0055]
最终获得三张逆dct变换后的图。
[0056]
s24、将这三张逆dct变换后的图和原图像块进行通道拼接，输入到mobilenetv3 small(howard，andrew，et al.
″
searching for mobilenetv3.
″
proceedings of the ieee/cvf international conference on computer vision.2019.)模型中进一步提取特征，输出对应图像块的篡改预测分值。
[0057]
s3、将文本行按滑动步长s划分成多个子区域，并将子区域所在图像块的篡改预测分值平均数作为该子区域的区域篡改分值，形成与文本行对应的分值列表，分值列表上的每个区域篡改分值与文本行每个子区域一一对应。本步骤用于对获得的图像块分值进行结果融合，从而使得篡改预测更加稳定，提升整体方案的鲁棒性。
[0058]
图3中图像块1至图像块7代表基于滑动窗口提取的7个图像块，右边的小数代表每个图像块对应的分值。每个线框框定了文本行中滑动步长大小的子区域涉及的图像块。最终该滑动步长大小的子区域预测结果为所有涉及图像块的篡改预测分值的均值。如左边第一个线框只涉及图像块1，故该滑动步长大小的文本行对应的篡改分值为图像块1的分值，左边第二个线框涉及图像块1和图像块2，故该部分文本行对应的篡改分值为图像块1和图像块2的分值平均数，以此类推。这里对于小于滑动步长的剩余图像块不纳入均值计算。通过以上方法便可获得该部分文本行的分值列表，列表中每个值，都表示了滑动步长s大小子区域的文本行篡改分值。
[0059]
当分值列表中存在大于0.5的部分时，该文本行判为存在篡改。且由于列表中每个分数代表了不同位置长为的子文本行篡改情况，所以基于文本行分值列表，便可定位出文本行中具体篡改位置。
[0060]
本实施例为一种基于滑动窗口频域特征融合的文档篡改检测装置，包括：图像块提取模块、图像块分值预测模块和区域分值计算模块。
[0061]
本例中图像块提取模块用于利用滑动窗口对文档图像的文本行进行图像块的提取，滑动窗口长为w’，高为h，滑动步长为s，其中w’＜相应文本行的长w，h与相应文本行的高一致，s＜w’；图像块分值预测模块用于将通过滑动窗口获得的图像块输入基于频域特征融合模型，得到图像块对应的篡改预测分值；区域分值计算模块用于将文本行按滑动步长s划分成多个子区域，并将子区域所在图像块的篡改预测分值平均数作为该子区域的区域篡改分值，形成与文本行对应的分值列表，分值列表上的每个区域篡改分值与文本行每个子区域一一对应。
[0062]
本实施例还提供一种存储介质，其上存储有能被处理器执行的计算机程序，该计
算机程序被执行时实现本例中基于滑动窗口频域特征融合的文档篡改检测方法的步骤。
[0063]
本实施例还一种计算机设备，具有存储器和处理器，存储器上存储有能被处理器执行的计算机程序，该计算机程序被执行时实现本例中基于滑动窗口频域特征融合的文档篡改检测方法的步骤。