一种基于多源异构信息引导的图像伪造定位方法及系统
本发明涉及数字图像取证与计算机视觉,尤其涉及一种基于多源异构信息引导的图像伪造定位方法及系统。
背景技术:
1、图像伪造定位旨在精确定位数字图像中的篡改区域,在司法取证、新闻审查等领域具有重要应用价值。随着图像编辑和生成技术的快速发展,伪造手段日益多样,从简单拼接复制到内容感知移除、ai生成图像植入,检测难度持续增加。
2、现有方法主要分为基于信号分析的传统方法和基于深度学习方法两类。传统方法通过检测篡改在像素层面留下的统计异常来定位伪造区域,关注噪声分布不一致、压缩特性差异和边缘不连续等线索。其局限不仅在于仅关注像素级别的物理异常,还缺乏对图像内容的语义理解能力。当伪造图像在像素层面进行完美处理,或在经历jpeg压缩、社交媒体传输等后处理操作后,该类方法往往失效。
3、基于深度学习的方法通过卷积神经网络或transformer架构自动提取篡改痕迹特征,部分方法进一步融合噪声残差图、边缘图、频域特征等多源信息以增强检测能力。然而,该类方法本质仍基于信号异常的模式识别,无法判断图像内容是否合情合理。例如,“水下飞机”这类伪造图像在像素层面可做到噪声和压缩特性完全一致,但内容本身违背物理常理,现有方法无法标记此类语义荒谬。这类在保留局部统计数据的同时引入全局语义不一致性的“内容感知伪造”,是现有方法难以逾越的瓶颈。同时,现有方法跨数据集泛化能力不足,易在特定数据上过拟合。
4、以gpt-4o为代表的大型语言模型在视觉理解和推理方面能力卓越,能够识别阴影与光源方向是否对齐、物体是否服从重力等语义不一致。现有研究开始将其引入图像伪造检测,但仍存在关键局限:大语言模型只能输出文本描述,缺乏像素级定位所需的空间精度;视觉语言模型跨模态对齐粒度较粗,难以满足精细定位需求;且缺乏将抽象语义推理转化为空间精确引导信号的有效机制。
5、因此,如何桥接大型语言模型的高级语义推理能力与传统取证方法的细粒度视觉分析能力,实现从语义判断到像素定位的精确转化,同时保持对物理痕迹的敏锐感知,是本领域亟待解决的技术问题。
技术实现思路
1、针对现有图像伪造定位方法无法同时感知低级物理异常和理解高级语义一致性的技术缺陷,本发明提供了一种基于多源异构信息引导的图像伪造定位方法及系统,通过将大型语言模型的语义推理能力与传统信号分析的物理检测能力深度融合,实现从“语义判断”到“像素定位”的精确转化,显著提升对复杂内容感知伪造的检测精度和鲁棒性。
2、本发明第一方面提供一种基于多源异构信息引导的图像伪造定位方法,包括:
3、步骤s1:获取待检测的rgb图像;对所述rgb图像进行噪声残差提取,生成噪声模式图;对所述rgb图像进行语义异常推理和视觉定位处理,生成语义显著性引导图;
4、步骤s2:将所述rgb图像、所述噪声模式图和所述语义显著性引导图分别转换为统一特征空间的视觉令牌、噪声令牌和语义显著性令牌;通过并行设置的第一特征提取分支和第二特征提取分支分别提取多尺度金字塔特征;
5、其中,所述视觉令牌为rgb图像经补丁嵌入后获得的第一特征序列,所述噪声令牌为噪声模式图经补丁嵌入后获得的第二特征序列,
6、所述语义显著性令牌为语义显著性引导图经补丁嵌入后获得的第三特征序列;
7、步骤s3:对所述第一特征提取分支和所述第二特征提取分支输出的多尺度金字塔特征,通过分层多尺度交互模块进行特征细化,通过多个并行分支提取不同感受野的特征并进行门控融合,输出两分支的多尺度特征;
8、步骤s4:将步骤s3输出的两分支多尺度特征,在多个尺度上通过双向交叉注意模块进行对称交互与相互增强,实现噪声模式验证语义假设和语义先验指导物理解释的双向信息流动,输出模态对齐后的增强特征;
9、步骤s5:基于步骤s4输出的增强特征,通过双预测头同时生成篡改区域掩模和边缘掩模,输出伪造定位结果。
10、进一步地,步骤s1中所述语义显著性引导图的生成过程如下:
11、采用大语言模型gpt-4o结合预设提示词对所述rgb图像进行语义异常推理,从语义合理性和物理一致性两个维度进行分析,输出包含对象描述和空间位置标签的结构化预测结果;
12、采用预训练的clip vit-b/16模型,冻结模型参数,计算所述rgb图像的图像补丁嵌入与所述大语言模型输出的文本嵌入之间的跨模态相似度,生成空间注意力图;
13、根据所述空间位置标签构建连续位置掩码,对所述空间注意力图进行调制,得到所述语义显著性引导图。
14、进一步地,步骤s2中所述rgb图像、噪声模式图以及语义显著性引导图通过基于重叠补丁的嵌入层进行补丁标记化,所述基于重叠补丁的嵌入层采用内核大小为7、步长为4的重叠补丁嵌入操作,将输入分割成重叠的补丁并投影到特征向量;
15、所述噪声模式图为单通道灰度图,在进行补丁标记化之前先扩展为三通道以匹配所述rgb图像的输入格式;
16、所述第一特征提取分支和所述第二特征提取分支均采用segformer编码器架构,经过四个编码阶段提取金字塔特征;其中,
17、第一特征提取分支以所述视觉令牌和所述噪声令牌作为输入,在第一个编码阶段通过改进的注意力机制将噪声令牌作为辅助引导来调制视觉特征学习,且所述引导仅在第一个编码阶段注入;
18、所述第二特征提取分支以所述视觉令牌和所述语义显著性令牌作为输入,在第一个编码阶段通过改进的注意力机制将语义显著性令牌作为辅助引导来调制视觉特征学习,且所述引导仅在第一个编码阶段注入。
19、进一步地,所述改进的注意力机制的实现方式为:
20、查询特征的生成通过将引导令牌的查询特征与视觉令牌的查询特征进行元素级相加融合;
21、键投影和值投影仅从视觉令牌计算;
22、形成非对称的注意力计算结构,实现引导而不主导的特征学习。
23、进一步地,步骤s3中所述分层多尺度交互模块的具体实现方式为:
24、接收当前层特征以及来自更深层的上采样信息作为融合基础;
25、通过三个并行分支提取不同感受野的特征:第一分支采用1×1卷积提取全局上下文特征,第二分支采用3×3深度可分离卷积提取局部细节特征,第三分支采用5×5深度可分离卷积提取局部细节特征;
26、三个分支的输出通过渐进式乘法门控机制进行调节融合;
27、对于非顶层,集成浅层特征的跳跃连接以提高空间精度;
28、将三个分层多尺度交互轮级联以逐步恢复空间分辨率,输出两分支的多尺度特征并对齐到统一维度。
29、进一步地,步骤s4中所述双向交叉注意模块的具体实现方式为:
30、在每个尺度级别对特征进行位置感知特征准备,将特征从空间格式转换为序列格式并添加可学习的位置嵌入以保留空间信息;
31、第一交叉注意分支以第一特征提取分支的输出特征作为查询,以第二特征提取分支的输出特征作为键和值,计算交叉注意力;
32、第二交叉注意分支以第二特征提取分支的输出特征作为查询,以第一特征提取分支的输出特征作为键和值,计算交叉注意力;
33、两分支的输出经残差连接、层归一化和前馈网络后通过元素级加法融合;
34、通过跨层残差连接合并多尺度信息;
35、通过卷积块注意力模块进行空间细化。
36、本发明第二方面提供一种基于多源异构信息引导的图像伪造定位系统,包括:
37、语义显著性引导图生成模块,配置为对待检测的rgb图像进行语义异常推理和视觉定位处理,生成语义显著性引导图;
38、噪声模式提取模块,配置为对所述rgb图像进行噪声残差提取,生成噪声模式图;
39、多源嵌入模块,配置为将所述rgb图像、所述噪声模式图和所述语义显著性引导图分别转换为统一特征空间的视觉令牌、噪声令牌和语义显著性令牌;
40、双分支特征提取子网,配置为通过并行设置的第一特征提取分支和第二特征提取分支分别提取多尺度金字塔特征;所述第一特征提取分支以所述视觉令牌和所述噪声令牌为输入,在第一个编码阶段以噪声令牌作为辅助引导调制视觉特征学习;所述第二特征提取分支以所述视觉令牌和所述语义显著性令牌为输入,在第一个编码阶段以语义显著性令牌作为辅助引导调制视觉特征学习;
41、分层多尺度交互模块,配置为对所述双分支特征提取子网输出的多尺度金字塔特征进行特征细化,通过多个并行分支提取不同感受野的特征并进行门控融合;
42、双向交叉注意模块,配置为在多个尺度上对两分支特征进行对称交互与相互增强,实现噪声模式验证语义假设和语义先验指导物理解释的双向信息流动;
43、双预测头模块,配置为基于模态对齐后的特征同时生成篡改区域掩模和边缘掩模,输出伪造定位结果。
44、进一步地,所述语义显著性引导图生成模块包括:
45、语义异常推理单元,配置为通过gpt-4o结合预设提示词从语义合理性和物理一致性两个维度分析所述rgb图像,输出包含对象描述和空间位置标签的结构化预测结果;
46、视觉语言定位单元,配置为采用预训练的clip vit-b/16模型计算图像补丁嵌入与文本嵌入之间的跨模态相似度,生成空间注意力图;
47、位置感知调制单元,配置为根据所述空间位置标签构建连续位置掩码对所述空间注意力图进行调制,生成所述语义显著性引导图。
48、进一步地,所述多源嵌入模块采用内核大小为7、步长为4的重叠补丁嵌入操作将输入分割成重叠的补丁并投影到特征向量;
49、所述双分支特征提取子网采用segformer编码器架构,经过四个编码阶段提取金字塔特征;
50、所述双分支特征提取子网中,所述改进的注意力机制采用非对称结构:查询特征通过将引导令牌的查询特征与视觉令牌的查询特征进行元素级相加融合生成,键投影和值投影仅从视觉令牌计算,实现引导而不主导的特征学习。
51、进一步地,所述分层多尺度交互模块包括1×1卷积分支、3×3深度可分离卷积分支和5×5深度可分离卷积分支,三个分支的输出通过渐进式乘法门控机制融合,并集成浅层特征的跳跃连接;
52、所述双向交叉注意模块包括第一交叉注意分支和第二交叉注意分支,两分支的输出经残差连接、层归一化、前馈网络和元素级加法融合后,通过跨层残差连接合并多尺度信息,并通过卷积块注意力模块进行空间细化;
53、所述双预测头模块包括篡改掩模预测头和边缘掩模预测头,在多个尺度上施加监督信号以优化定位精度。
54、与现有技术相比,本发明包括以下有益效果:
55、(1)实现了大型语言模型语义推理与传统信号分析的深度跨模态融合,填补语义取证技术空白。现有方法无法判断图像内容是否合情合理,面对像素层面完美的“水下飞机”类伪造时完全失效。本发明通过取证显著性图生成管道,利用gpt-4o进行语义异常推理并结合位置感知视觉定位,首次将抽象认知判断转化为像素级精确定位信号,能够检测现有方法无法识别的、在保留局部统计数据的同时引入全局语义不一致性的复杂内容感知伪造。
56、(2)设计“引导而不主导”的非对称早期融合机制,显著提升跨数据集泛化能力。现有多模态融合方法采用特征拼接或顺序融合,易导致模型过拟合。本发明中引导令牌仅参与查询特征生成,键和值投影仅从视觉令牌计算,且引导信号仅在首个编码阶段注入。该设计使引导指明学习方向但不主导特征表示,防止对外部先验过度依赖,在11个基准数据集上均取得稳定优异的泛化性能。
57、(3)提出对称双向交叉注意机制,实现物理证据与语义证据的闭环相互增强。现有多模态融合多为单向或静态融合。本发明通过双向交叉注意模块在多个尺度上实现噪声特征与语义特征的对称交互,信号异常验证语义假设,认知先验指导物理解释,使两种模态相互校正强化,最终判断比任何单一模态更可靠。
58、(4)构建从粗粒度语义到细粒度像素的渐进式精化链路,实现端到端高精度定位。本发明通过“语义推理-视觉定位-位置调制”三步将文本描述转化为精确热力图,经分层多尺度交互逐步恢复空间分辨率,最终由双预测头同时输出篡改区域掩模和边缘掩模,实现从全局语义判断到局部边界定位的完整信息传递。
59、(5)无需针对特定伪造类型训练,具备零样本泛化能力和出色鲁棒性。取证显著性图生成管道利用gpt-4o通用常识推理和clip跨模态对齐能力,无需微调即可即插即用。在jpeg压缩、尺寸缩放、高斯模糊、噪声及facebook、微信等社交媒体传输条件下均保持优异性能,显著优于现有方法,具备实际部署的可靠性。
60、(6)在11个权威基准数据集上取得显著性能提升。实验表明,本发明在f1、iou、auc和mcc指标上均显著优于现有最先进方法,尤其在dso、def-12k、imd2020等需语义推理的复杂场景优势明显。仅使用单一数据集训练即优于forgerygpt和fakeshield等使用广泛多域数据的llm方法,验证了协同推理与信号分析范式的高效性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com