一种基于双域特征融合的图像伪造检测方法

摘要: 本发明涉及图像处理,具体涉及一种基于双域特征融合的图像伪造检测方法。背景技术:1、随着生成式人工智能技术的发展,gan生成图像、扩散模型生成图像、ai编辑图像、...
一种基于双域特征融合的图像伪造检测方法

本发明涉及图像处理,具体涉及一种基于双域特征融合的图像伪造检测方法。

背景技术:

1、随着生成式人工智能技术的发展,gan生成图像、扩散模型生成图像、ai编辑图像、换脸图像以及由视频提取的图像帧等数字图像不断增加。现有图像伪造检测方法通常利用神经网络提取数字图像的空间域特征,并结合分类模型判断图像真实性,部分方法进一步引入频率域特征辅助检测。

2、但是,在实际图像伪造检测过程中,现有技术通常存在以下技术问题:

3、第一,现有技术通常采用单一空间域特征对图像进行表征,使图像中的局部纹理信息与高频变化信息容易受到图像内容和自然纹理的影响,导致人工智能生成或编辑形成的细微伪造痕迹难以得到充分表征;

4、第二,现有技术在引入频率域特征进行检测时,通常将提取的不同频率成分直接用于后续特征处理,使响应较强的主导频率成分对频率域特征产生较大影响,导致检测模型过度依赖部分主导频率成分,而其他频率成分中的有效伪造信息利用不足;

5、第三,现有技术对空间域特征和频率域特征进行融合时,通常采用直接拼接或简单组合的方式处理不同域的特征,使空间域特征与频率域特征之间缺少按照特征关联程度进行信息交互的过程,导致不同空间位置对应的频率域信息难以被有效利用;

6、第四,在图像伪造检测模型训练过程中,现有技术通常使用当前训练批次中的图像特征进行模型参数更新,使已经形成的历史图像特征不能持续参与当前训练过程,导致同类图像空间域特征之间的类内分布以及不同类别图像空间域特征之间的类间边界不能得到充分学习;

7、第五,现有技术通常保持图像中各图像块的原始空间排列关系进行训练,使图像伪造检测模型持续利用固定的局部纹理连续性进行特征学习,容易形成对图像块固定空间排列关系的依赖,影响模型对局部图像块排列发生变化的图像的检测能力。

技术实现思路

1、本 技术实现要素: 部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。

2、本发明提出了一种基于双域特征融合的图像伪造检测方法,来解决以上背景技术部分提到的技术问题中的一项或多项。

3、本发明提供了一种基于双域特征融合的图像伪造检测方法,包括:

4、获取待检测数字图像,将待检测数字图像输入预训练的视觉特征编码网络,获得图像空间域特征;

5、将待检测数字图像划分为多个图像块;并对多个图像块进行离散余弦变换,获得与图像空间域特征具有相同特征维度的多个图像频率域特征,并根据每个图像频率域特征的重要性得分,动态抑制主导频率特征,得到抑制后图像频率域特征;

6、对图像空间域特征进行自注意力处理,得到自注意力处理后图像空间域特征;以自注意力处理后图像空间域特征作为查询特征、抑制后图像频率域特征作为键特征和值特征进行交叉注意力处理,获得双域融合特征;

7、基于双域融合特征训练图像伪造检测模型,并利用训练后的图像伪造检测模型对待检测数字图像进行伪造检测,并输出待检测数字图像的伪造检测结果。

8、可选的,本发明一种基于双域特征融合的图像伪造检测方法,还包括:

9、获取历史图像样本对应的空间域特征并存入特征缓冲区;

10、根据历史图像样本的类别,从特征缓冲区中选取同类空间域特征和异类空间域特征,并分别与当前的图像空间域特征进行特征混合,获得缓冲混合空间特征;

11、基于缓冲混合空间特征对图像伪造检测模型进行训练。

12、可选的,本发明一种基于双域特征融合的图像伪造检测方法,还包括:

13、将多个图像块按照随机顺序打乱,形成打乱后图像块序列;

14、将打乱后图像块序列输入预训练的视觉特征编码网络,获得打乱后图像空间域特征。

15、可选的,本发明一种基于双域特征融合的图像伪造检测方法,还包括:

16、将图像空间域特征还原为空间特征图;通过第一卷积层对空间特征图进行通道压缩,得到压缩特征图;

17、通过第二卷积层提取压缩特征图的局部纹理响应,并对第二卷积层的卷积核施加零直流约束,得到高通响应;

18、根据局部纹理响应的通道标准差计算自适应融合系数,并利用自适应融合系数对局部纹理响应和高通响应进行加权求和,得到伪造痕迹增强特征;

19、对伪造痕迹增强特征进行通道维度恢复,并通过门控残差方式将恢复后的伪造痕迹增强特征注入视觉特征编码网络。

20、可选的,对多个图像块进行离散余弦变换,获得与图像空间域特征具有相同特征维度的多个图像频率域特征,包括:

21、对每个图像块执行二维离散余弦变换,获得对应的频率系数;对各频率系数进行能量归一化处理和频率系数筛选,得到多个处理后频率系数;

22、将各处理后频率系数输入多层感知机编码器,分别映射至与图像空间域特征相同的特征维度,得到多个图像频率域特征。

23、可选的,根据每个图像频率域特征的重要性得分,动态抑制主导频率特征,包括:

24、根据各图像频率域特征对应的注意力显著性或能量显著性,确定重要性得分,并根据图像频率域特征的总数和预设掩蔽比例确定主导频率特征的数量;

25、根据重要性得分从各图像频率域特征中确定数量个主导频率特征;

26、根据预设掩蔽强度对确定的主导频率特征进行缩放,以降低主导频率特征的特征值。

27、可选的,对图像空间域特征进行自注意力处理,包括:

28、将图像空间域特征、打乱后图像空间域特征和缓冲混合空间特征进行特征组合,并对组合后的空间域特征进行自注意力处理,以聚合不同空间域特征之间的特征关联,得到自注意力处理后图像空间域特征。

29、可选的,基于双域融合特征训练图像伪造检测模型,并利用训练后的图像伪造检测模型对待检测数字图像进行伪造检测,包括:

30、将双域融合特征输入线性分类器进行分类映射,并对分类映射结果进行概率映射处理,得到待检测数字图像对应的伪造概率;

31、将伪造概率与预设分类阈值进行比较,得到比较结果;根据比较结果,判断待检测数字图像为伪造图像或真实图像。

32、可选的,将待检测数字图像划分为多个图像块,包括:

33、对待检测数字图像进行尺寸裁剪和归一化处理,得到预处理后待检测数字图像;将预处理后待检测数字图像划分为多个图像块。

34、本发明具有如下有益效果:

35、1、本技术利用图像空间域特征表征图像中的纹理、边界和局部伪造痕迹,并通过局部纹理响应与高通响应的自适应融合增强伪造痕迹的特征表达,使图像空间域特征能够包含更加突出的局部纹理变化和高频异常信息,从而增强对细粒度伪造痕迹、伪造边界和局部纹理不一致的感知能力,并在保持预训练视觉特征编码网络原有表示能力的同时降低对全局语义信息的过度依赖。

36、2、本技术按照图像频率域特征的重要性得分确定主导频率特征,并对主导频率特征进行动态软抑制,使主导频率特征的特征值降低,同时保留未被确定为主导频率特征的图像频率域特征,从而降低图像伪造检测模型对少数主导频率成分的过度依赖,促进模型学习更加广泛的频谱线索,并降低模型对特定生成器频谱模式的过拟合程度。

37、3、本技术先利用自注意力聚合图像空间域特征、打乱后图像空间域特征和缓冲混合空间特征中的特征信息,再以自注意力处理后图像空间域特征作为查询特征、抑制后图像频率域特征作为键特征和值特征进行交叉注意力处理,使空间域特征能够按照与频率域特征之间的关联程度选择性汇聚频率域信息,从而实现空间域信息与频率域信息之间。

38、4、本技术利用特征缓冲区保存历史图像样本对应的图像空间域特征,并按照历史图像样本与当前样本的类别关系进行同类混合和异类混合。同类混合使同一类别的不同图像空间域特征形成更多特征变化,增强类内紧凑性;异类混合使不同类别的图像空间域特征形成类别边界附近的混合特征,增强类间分离性,从而减小图像伪造检测模型对单一训练批次或特定生成器模式的依赖,提高特征表示的稳定性和泛化能力。

39、5、本技术在训练过程中将多个图像块按照随机顺序打乱,再将打乱后图像块序列输入预训练的视觉特征编码网络,获得打乱后图像空间域特征。图像块打乱改变了局部图像块之间原有的空间排列关系,同时保留各图像块自身的图像内容,使训练过程中图像伪造检测模型能够减少对固定局部纹理连续性的依赖,从而增强模型对不同局部空间排列及不同伪造图像特征变化的适应能力。