基于频域感知调制与动态融合的文档图像篡改定位方法
本发明属于图像篡改定位,具体涉及一种基于频域感知调制与动态融合的文档图像篡改定位方法。
背景技术:
1、随着数字编辑工具和生成式人工智能技术的发展,发票、收据、合同、证书等文档图像能够以较低成本被修改。由于文档图像常用于金融、法律、行政和身份认证等场景,关键文字、数字或身份信息的细微改动可能导致经济欺诈、身份伪造或虚假信息传播。因此,对文档图像中被篡改区域进行准确定位,是数字图像取证领域中的重要问题。与自然图像篡改不同,文档图像通常具有大面积均匀背景、规则文本布局和高度结构化的字符区域。实际文档篡改往往集中在单个字符、笔画或局部字段中,并且伪造内容通常会被编辑为与周围真实文本在字体、布局、背景和成像条件上相似,使篡改痕迹表现为弱局部扰动,而非明显语义不一致。
2、现有文档图像篡改定位方法常引入dct系数、jpeg统计特征、边界线索或多尺度表示来增强细粒度篡改定位能力。然而,在编码阶段,若直接将rgb空间特征与dct频域特征进行加法、拼接或注意力融合,容易将语义结构信息与频域扰动信息混入同一表示空间,引入异构表示干扰,削弱细微篡改响应。另一方面,常规解码器通常采用固定参数的卷积或mlp融合多尺度特征,在推理阶段对所有输入样本使用相同的融合规则,难以适应不同文档布局、字符尺度、压缩条件和篡改模式。因此,有必要提供一种面向文档图像篡改定位的技术方案,使频域线索作为扰动先验对空间语义特征进行自适应调制,并在解码阶段根据当前输入文档动态调整多尺度特征融合方式,从而提高对文本区域细粒度篡改和篡改边界的定位能力。
技术实现思路
1、本发明为实现上述目的,通过以下技术方案实现:
2、本发明提供一种基于频域感知调制与动态融合的文档图像篡改定位方法,包括以下步骤:
3、s1、获取待检测文档图像,将待检测文档图像调整为预设输入尺寸,并提取待检测文档图像对应的dct系数图和量化表,得到空间输入图像和频域输入数据;
4、s2、将所述空间输入图像输入imagenet预训练的convnext-v2 base骨干网络,提取四个层级的空间语义特征;
5、s3、将所述dct系数图和量化表输入频率感知编码网络,分别对dct系数和量化信息进行特征编码,按照8×8jpeg编码块内的系数位置进行量化调制和块级聚合,得到与jpeg块结构对齐的初始频域表示;
6、s4、将所述初始频域表示输入频率空间调制模块,通过多尺度频率精炼得到精炼频域表示,基于所述精炼频域表示生成尺度调制参数和偏移调制参数;
7、s5、利用所述尺度调制参数和偏移调制参数对第二层级空间语义特征和第三层级空间语义特征进行自适应调制,得到第二层级篡改感知空间特征和第三层级篡改感知空间特征;
8、s6、将第一层级空间语义特征、第二层级篡改感知空间特征、第三层级篡改感知空间特征和第四层级空间语义特征分别进行mlp通道投影和空间尺度对齐,并在通道维度上拼接,得到多尺度融合前特征;
9、s7、将所述多尺度融合前特征输入点式频域动态融合头,生成动态1×1融合核,利用所述动态1×1融合核对多尺度融合前特征进行跨通道动态融合,得到融合后的篡改感知特征;
10、s8、将所述融合后的篡改感知特征输入预测层,得到所述待检测文档图像的像素级篡改定位结果。
11、步骤s1具体包括:
12、将待检测文档图像调整为预设输入尺寸的文档图像,得到空间输入图像;采用jpeg编码技术对调整尺寸后的文档图像进行jpeg编码或重编码,并采用jpeg解析技术读取亮度分量的dct系数阵列及其对应的8×8量化表,得到频域输入数据。
13、步骤s2具体包括:
14、在imagenet预训练的convnext-v2 base骨干网络中,将空间输入图像依次经过下采样主干和四个特征阶段,在四个特征阶段提取四个层级的空间特征,得到第一层级空间语义特征、第二层级空间语义特征、第三层级空间语义特征以及第四层级空间语义特征。
15、步骤s3具体包括:
16、将dct系数裁剪至0~20并映射为21维系数编码,经3×3空洞卷积和1×1卷积得到16通道dct特征;将量化表元素裁剪至0~63并通过可学习嵌入映射为16维量化向量;按照每个8×8jpeg编码块内的dct系数位置,将量化向量扩展至对应的dct系数位置,并与所述16通道dct特征进行逐元素相乘,得到量化调制后的dct特征;
17、将调制前的16通道dct特征和量化调制后的dct特征进行拼接,在拼接结果中加入横向坐标编码、纵向坐标编码和径向坐标编码;将加入坐标编码后的拼接特征输入核尺寸为8×8、步长为8的卷积层,使每一个输出位置对应一个8×8 jpeg编码块,经过移动倒残差卷积块编码,得到与jpeg块结构对齐的初始频域表示。
18、进一步地,步骤s4中,得到精炼频域表示具体包括:
19、多尺度频率精炼单元包括三个并行的深度可分离膨胀卷积分支,三个分支的膨胀率分别为1、3和5;每个分支均包括深度可分离膨胀卷积、批归一化、relu激活函数和点式投影层,对于第k个分支,初始频域表示输入第k个分支,得到第k个频率分支响应,
20、对每个频率分支响应进行互补响应建模,利用sigmoid函数估计第k个频率分支响应中的显著响应部分,进而得到互补响应部分,分别通过可学习通道权重和对显著响应部分和互补响应部分进行加权,得到互补加权频率响应,公式表示如下:
21、,
22、其中,表示第k个频率分支的互补加权频率响应,表示显著响应部分对应的可学习通道权重,表示互补响应部分对应的可学习通道权重,⊙表示逐元素相乘,表示sigmoid函数,表示互补响应部分;
23、将三个频率分支对应的互补加权频率响应进行求和聚合,通过残差投影得到精炼频域表示,公式表示如下:
24、,
25、其中,表示残差投影操作,表示分支索引。
26、进一步地,步骤s4中,基于所述精炼频域表示生成尺度调制参数和偏移调制参数:
27、所述精炼频域表示经过卷积由256通道映射为128通道,再经负斜率为0.2的leakyrelu激活函数得到第一条件特征;将第一条件特征经过两个独立映射分支进行映射,得到与第二层级空间语义特征通道数一致的第一尺度调制参数和第一偏移调制参数;公式表示如下:
28、,
29、,
30、其中,表示双曲正切函数;、分别表示生成第一尺度调制参数和第一偏移调制参数过程中的两个不同的可学习幅度参数;表示第一尺度调制分支,表示第一偏移调制分支,所述第一尺度调制分支和第一偏移调制分支相互独立,且均由一个卷积构成;所述精炼频域表示经过自适应最大池化,得到最大池化频域特征;所述最大池化频域特征经过3×3卷积操作由256通道映射为128通道,再经过负斜率为0.2的leakyrelu激活函数,得到第二条件特征;所述第二条件特征经过两个独立映射分支进行映射,得到与第三层级空间语义特征通道数一致的第二尺度调制参数和第二偏移调制参数。
31、步骤s5具体包括:
32、利用第一尺度调制参数和第一偏移调制参数对第二层级空间语义特征进行自适应调制,得到第二层级篡改感知空间特征,公式表示如下:
33、,
34、其中,表示第二层级篡改感知空间特征;同理,利用第二尺度调制参数和第二偏移调制参数对第三层级空间语义特征进行自适应调制,得到第三层级篡改感知空间特征。
35、步骤s6具体包括:将第一层级空间语义特征、第二层级篡改感知空间特征、第三层级篡改感知空间特征和第四层级空间语义特征分别输入mlp模块进行处理,随后均通过双线性插值对齐,并在通道维进行拼接,得到多尺度融合前特征。
36、步骤s7具体包括:
37、所述多尺度融合前特征经过全局平均池化,得到输入图像对应的全局描述向量,公式表示如下:
38、,
39、其中,表示全局平均池化操作;将基础点式融合核表示为,将重构为输出通道—输入通道参数矩阵,并沿输出通道和输入通道轴执行二维实数快速傅里叶变换,得到参数频域系数;采用离散傅里叶变换频率坐标生成函数生成输出通道轴对应的完整频率坐标,采用实数离散傅里叶变换频率坐标生成函数生成输入通道轴对应的非冗余频率坐标;按坐标到频率原点的径向距离由低到高排序,将排序后的索引划分为m个频率索引组,根据全局描述向量生成各频率索引组对应的自适应调制系数,进而得到动态傅里叶域参数,
40、,
41、其中,表示第m个频率索引组;表示逐元素相乘,表示当前样本对第m个频率索引组的贡献系数;
42、对动态傅里叶域参数进行逆傅里叶变换,根据全局描述向量生成输入通道调制参数、输出通道调制参数和通道对调制参数,将输入通道调制参数、输出通道调制参数、通道对调制参数以及逆傅里叶变换得到的融合核进行逐元素相乘,得到动态1×1融合核,公式表示如下:
43、,
44、其中,表示输出通道调制参数;表示逆傅里叶变换;表示输入通道调制参数;表示通道对调制参数;
45、将动态1×1融合核作用于多尺度融合前特征,得到融合后的篡改感知特征:
46、,
47、其中,表示卷积操作。
48、进一步地,采用总损失函数进行训练优化,总损失函数包括边缘感知交叉熵损失、dice损失、lovász损失和软样本挖掘损失。
49、本发明的优点在于:
50、本发明利用dct频域线索引导空间语义特征重标定,能够减少直接融合造成的异构特征干扰;提供一种点式频域动态融合头,使模型能够根据不同文档图像自适应融合多尺度特征,提高细粒度文本篡改区域的定位能力;结合边缘感知监督和文本篡改增强策略,使模型能够更准确地学习篡改边界和弱篡改痕迹,能够提高文档图像篡改定位的鲁棒性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com