一种融合多视角一致性信息的生成式图像检测方法

本发明属于数字图像处理与深度学习，尤其涉及融合多视角一致性信息的生成式图像检测方法。

背景技术：

1、传统图像篡改检测方法主要面向拼接组合、复制粘贴、消除等经典篡改类型展开研究。这类方法通常依据篡改区域与原始图像之间在边界过渡、局部纹理、噪声分布、颜色不一致性以及压缩伪影等方面的异常特征进行检测，在传统篡改任务中取得了较好的效果。然而，这类方法的模型建立过程高度依赖于人工设计的浅层统计特征，其特征表达能力有限，缺乏对图像全局语义关系的动态建模能力，难以适应篡改形式的变化。

2、aigc图像与传统篡改图像在形成机制上存在本质差异。传统篡改往往只改变图像的局部区域，因此容易在篡改边缘、语义衔接或统计特征上留下可追踪痕迹；而aigc图像通常由生成模型端到端合成，图像整体具有统一的生成机制和一致的视觉分布，其异常特征不再局限于局部区域，而是呈现为更加隐蔽、更加全局化的生成模式。这导致直接将面向传统篡改类型的方法应用于aigc图像检测时，往往只能捕捉局部伪造痕迹，难以有效获取整幅图像所携带的生成特征，建立具有泛化能力的检测模型，进而造成检测精度下降和泛化能力不足的问题。

3、以生成对抗网络（gan）、扩散模型（diffusion model）和大规模多模态生成模型为代表的aigc技术，已经能够生成在视觉效果上高度逼真的图像内容。这类图像在纹理细节、光照表现、语义结构以及整体真实感方面不断逼近自然图像，不仅极大推动了数字内容创作的发展，也对图像安全鉴别领域提出了新的挑战。尤其是在虚假信息传播、身份伪造、版权侵权和数字媒体安全等场景中，aigc图像的泛化生成能力和高仿真特性，使得传统图像篡改检测方法面临明显失效风险。aigc图像在语义合理性、局部细节一致性以及色彩表现方面不断提升，真实图像与生成图像之间的感知差异正迅速缩小，甚至逐渐超出人眼直接辨别的能力范围。早期依赖颜色域统计、纹理差异或简单噪声残差的检测方法，在面对高质量生成图像时表现出越来越明显的局限性。一方面，颜色域中的显著差异正在被先进生成模型逐步抹平，使得单纯依靠空间域低层视觉特征的检测策略难以稳定奏效；另一方面，不同生成模型产生的伪造痕迹具有较强的多样性和不确定性，单一特征分支难以兼顾不同来源aigc图像的共性特征与个性特征。

技术实现思路

1、针对背景技术中存在的技术问题，为了弥补传统篡改检测方法在aigc图像检测任务中的不足，针对aigc生成图像在视觉质量较高、伪造痕迹隐蔽且语义表达存在潜在异常的特点，本技术提出一种融合多视角一致性信息的aigc图像检测模型。该模型旨在同时挖掘图像在高层语义表示和频谱响应中的判别信息，通过构建双域互补特征表达，增强模型对生成式图像内在伪造模式的感知能力。追踪生成图像与真实图像的差异一致性，提升模型对生成图像的识别能力。在语义层面，模型关注生成图像在内容组织和结构表达上的潜在不一致性；在频域层面，模型进一步捕捉生成过程遗留的隐式伪影和统计异常；最终通过融合策略实现跨域信息协同建模，从而提升对aigc图像的检测精度与鲁棒性。

2、本发明提供的技术方案是：

3、一种融合多视角一致性信息的生成式图像检测方法包括以下步骤：

4、步骤（1）、构建语义特征模块：

5、采用resnet50神经网络作为语义特征提取主干网络，将resnet50划分为5个层级，其中包括1个浅层特征提取层级和4个残差阶段，每个阶段由多个残差块组成，从阶段1提取低层次特征图，到阶段5提取高层次特征图，随着网络深度的提升，特征表示逐渐由空间表征转向语义表征，将阶段1特征与阶段5特征采用残差注意力机制融合，融合特征图的空间大小与高层次特征图相同，每个空间位置包含了更密集的信息，其融合了高层次特征和多个低层次特征的信息；

6、步骤（2）、构建频域特征模块：

7、对于输入图像，首先将其转换为灰度图像，以降低颜色信息冗余并突出亮度变化特征；随后利用srm高通滤波器对灰度图像进行残差增强，抑制图像的低频内容，突出高频细节与潜在伪造噪声；在此基础上，对滤波后的图像施加离散余弦变换dct，将其由空间域映射至频率域，获得对应的频谱特征表示；

8、步骤（3）、构建重建一致性特征模块：

9、给定输入图像，首先利用参数冻结的扩散模型执行ddim反演与重建过程，得到对应的重建图像；随后，通过比较原始图像与重建图像之间的差异，构造重建一致性残差映射，以表征输入样本与扩散模型先验之间的匹配程度；真实图像在该残差映射中会呈现更强的结构偏差与细节误差，而aigc图像则表现出更高的重建保真度和更低的残差响应；

10、基于原始图像与重建图像之间的差异映射，对一致性偏差模式进行统计编码；利用轻量级残差编码器网络对残差映射进行特征提取；该编码器由三层残差网络组成，每层包含多个残差块，每个残差块均由3×3卷积、批归一化以及relu激活函数构成，并在特征变换过程中引入恒等映射以增强信息传递能力、缓解深层网络退化问题；通过平均池化对高维特征进行聚合，得到重建一致性特征向量，用于表征图像在扩散反演–重建过程中的稳定性差异；

11、步骤（4）、阶段融合模块：

12、第一阶段，先对语义特征模块与频域特征模块进行融合，对两类特征进行互补建模，得到初步复合特征表示；

13、第二阶段，将第一阶段得到的复合特征fc与重建一致性特征fr进一步融合；在该阶段引入交叉注意力机制，以复合特征为主导查询，引导模型主动从重建一致性特征中筛选与当前判别任务最相关的信息，实现跨源信息的动态匹配与增强。

14、上述步骤（1）中resnet50浅层阶段提取的低层特征为fl，深层阶段提取的高层特征为fh；其中，低层特征具有较高的空间分辨率，包含丰富的边缘、纹理及位置信息；高层特征具有更强的语义抽象能力，能够表征图像整体内容及结构关系；由于二者在空间分辨率和通道维度上通常不一致，首先对低层特征进行下采样与通道映射，使其与高层特征在尺寸上保持一致，得到对齐后的低层特征；

15、将对齐后的低层特征输入残差注意力增强模块；该模块首先通过注意力映射对输入特征进行显著性建模，突出具有判别价值的局部区域，并通过第一条残差连接保留原始空间细节信息，避免注意力加权过程中有效响应被过度抑制；在此基础上，进一步采用线性映射和非线性激活对特征进行重组与增强，并通过归一化操作稳定特征分布；最后，引入第二条残差连接，将前馈增强后的特征与中间特征相结合，得到输出特征；由于该模块具有双重残差路径，能够在强化重要区域响应的同时，维持浅层细节信息的完整性，从而提升低层特征对aigc图像局部语义缺陷和结构异常的表达能力。

16、上述步骤（2）中采用轻量级浅层卷积网络对频谱特征进行建模，该特征提取网络由四个级联的卷积模块构成，每个模块均包含3×3卷积、批归一化以及relu激活函数；随着网络层数加深，特征通道数逐步增加，模型能够逐层挖掘频谱图中不同尺度的局部频带模式与统计差异；最后，通过平均池化对特征图进行聚合，以强化频域特征的整体统计属性，并减少空间位置信息对频谱判别过程的干扰。

17、上述步骤（3）中以重建图像和原始图像的分布差距作为检验判别标准，构建重建一致性流，通过ddim反演与重建获取残差映射，并使用浅层残差编码网络提取一致性特征，获得判别向量；如公式（1）所示：

18、（1）；

19、其中g(x)为反演重建过程，为原始图像，为反演计算后重建图像；

20、设输入图像为，采用ddim构建从数据空间到潜在噪声空间的可逆映射，则正向重建扩散公式如公式（2）及公式（3）所示：

21、（2）；

22、（3）；

23、其中、为去噪重建t-1、t步的图像，为模型预测的初始原图的估计值，、的为累积乘积噪声调度参数，是神经网络预测出叠加在xt上的纯高斯噪声；

24、由此ddim反演过程可推导得出如公式（4）所示：

25、（4）；

26、其中、为加噪模糊t+1、t步的图像，为噪声调度参数；根据重建过程得到重建一致性差异，构造残差映射如公式（5）所示：

27、（5）；

28、其中r为重建残差结果。

29、上述步骤（4）中设语义特征和频域特征分别为和，首先把两个特征通过不同的卷积块分别转换成两个不同分量，以及，，其中v分量表示区域信息，k分量表示不同域之间的关联性；之后计算两种特征之间的相关性矩阵c，如公式（6）所示：

30、（6）；

31、其中表示展平操作，表示矩阵乘法，t为矩阵转置；随后再与对应值分量v做矩阵乘法，得到互补后的两种特征和，最后拼接得到空域频域互补融合特征；

32、首先构造查询、键和值矩阵如公式（7）所示：

33、（7）；

34、其中，为可学习的线性映射矩阵，q，k，v分别为查询矩阵，键权矩阵和值权矩阵，、分别为复合特征、重建一致性特征，交叉注意力计算过程如公式（8）所示：

35、（8）；

36、其中，d为特征维度，t为矩阵转置，a表示复合特征与重建一致性特征之间的相关性权重矩阵，为经过跨源注意力筛选后得到的一致性增强特征，softmax为归一化激活函数；为了进一步保留原始复合特征中的主体判别信息，并增强融合稳定性，采用残差连接方式通过层归一化运算（layernorm）构建最终判别特征如公式（9）所示：

37、（9）；

38、其中为融合特征，最终将融合特征输入全局平均池化层（global averagepooling，gap）与二分类判别器，输出图像属于aigc类的预测概率；由于本文任务属于真假二分类，因此分类层采用sigmoid激活函数，将判别结果映射到[0,1]区间，如公式（10）所示：

39、（10）；

40、其中，z为池化后的特征层，和分别表示分类层的权重与偏置，为激活函数，表示输入图像为伪造图像的概率。

41、与现有技术相比较，本发明的有益效果在于：

42、该方法针对aigc图像检测方法难以协同语义结构、频率能量分布等特征的差异性，依赖特定生成痕迹进行模型建立的问题，提供了多视角特征提取与融合框架。

43、首先，通过resnet50提取全局语义特征，从低层空间表征到高层语义表征逐步递进，并采用残差注意力机制融合不同阶段特征，以增强空间-语义信息的表达。

44、其次，频域特征模块利用离散余弦变换将图像映射至频率空间，并通过轻量卷积网络对频谱模式进行建模，从而捕捉生成模型在反卷积或扩散重建中产生的异常频率分布，为判别提供稳定线索。

45、最后，一致性融合模块基于ddim反演–重建生成残差映射，通过浅层残差编码器提取重建一致性特征，反映图像生成轨迹与结构偏差。特征融合采用分层策略，先融合语义与频域特征，再通过交叉注意力与一致性特征结合，实现跨源信息对齐与依赖建模。综合三类特征的判别能力，模型能够从语义、频谱及生成一致性层面动态建模，有效区分aigc与真实图像，为图像真实性判别提供多维度、高鲁棒性的特征表征。