一种基于人工智能生成图像的真伪性自动检测方法及系统

本发明涉及图像取证与模式识别，尤其涉及一种针对人工智能生成（深度伪造）图像的真伪性自动检测方法及系统。

背景技术：

1、随着生成对抗网络（gan）与扩散模型（diffusion model）等图像生成技术的快速发展，由算法合成的伪造图像在视觉真实度上已达到人眼难以分辨的水平，对视觉信息的真实性构成严峻威胁。为应对该威胁，业界提出了多种深度伪造图像检测方法，按其依据的特征可大致分为两类：

2、空间域检测方法：以端到端卷积神经网络直接学习像素域中由特定生成器引入的伪影或局部异常纹理，从而对真伪图像进行二分类；

3、频域检测方法：将图像变换至频率域（如傅里叶变换或离散余弦变换域），利用生成模型上采样过程在频域引入的周期性异常作为判别依据。

4、现有深度伪造图像检测技术主要存在以下缺点：

5、跨域泛化能力不足。现有方法多依赖某一特定生成模型所引入的伪影特征。由于不同生成范式（如gan与扩散模型）在合成机制、频域特性及统计分布上差异显著，针对已知生成器训练的检测模型在面对未知生成器或未知语义内容时，检测准确率往往急剧下降，难以在开放环境中可靠应用。

6、依赖大规模标注样本。现有方法通常需要大量带标注的训练样本才能取得较好性能，在训练样本不足（少样本）的条件下性能显著退化，部署成本高。

7、特征监督单一。现有方法普遍以真伪二分类作为唯一的优化目标（单任务），缺乏对特征学习过程的显式辅助监督信号，导致网络容易过拟合于特定生成器的局部伪影，难以学习到反映真伪图像本质差异的、稳定的频域统计特征。

8、缺乏可量化的可解释性依据。现有方法多为黑盒决策，即使借助梯度可视化方法（如grad-cam）生成热力图，其结果仍属定性观察，难以用客观、可复现、可比较的统计指标刻画真伪图像在模型决策层面的差异，无法为检测结论提供具有统计意义的判别依据。

9、因此，有必要提供一种新的基于人工智能生成图像的真伪性自动检测方法及系统解决上述技术问题。

技术实现思路

1、为解决上述技术问题，本发明提供一种在仅有少量训练样本的条件下，构建一种检测准确率高、跨生成模型与跨语义泛化能力强、且决策过程可量化解释的深度伪造图像检测方法。

2、本发明提供的一种基于人工智能生成图像的真伪性自动检测方法及系统，引入“频谱熵”作为对图像局部频域能量分布均匀程度的信息论度量，并以重构图像的“频谱熵图”作为辅助任务，与真伪二分类主任务共享同一编码器，构成编码器—解码器双任务学习框架（下称ser网络，spectral entropy reconstruction network）。重构任务为共享编码器提供结构化的辅助监督信号，迫使编码器主动建模图像的频域能量统计分布，从而习得比单纯分类监督更丰富、更具泛化性的频率表征，实现少样本条件下的高精度、强泛化检测。

3、本发明的整体处理流程包括以下步骤：

4、步骤一：频域特征提取

5、s1.1 将输入的rgb图像转换至ycbcr颜色空间，以分离亮度（y）与色度（cb、cr）信息；

6、s1.2 将y、cb、cr三个通道分别划分为互不重叠的、固定大小为4×4的图像块（patch）；

7、s1.3 对每个图像块执行二维正交变换，将空间域信号转换为一组变换域系数；所述正交变换是指变换基满足正交性、能将空间信号无损映射至变换域并可逆重构的线性变换，作为优选实施例，本步骤采用二维离散余弦变换（dct），对每个4×4图像块得到16个频域系数；

8、s1.4 将三个通道中处于相同变换域位置的系数按y、cb、cr顺序交错排列，并将各变换域位置依次堆叠，得到通道维度为3×l（l为单块变换系数个数，dct且4×4分块时l=16，通道维度为48）、空间尺寸为(h/b)×(w/b)（b为分块边长）的变换域特征图f，作为编码器输入。该排列方式使模型能同时感知不同变换域分量的空间分布及跨通道关联。

9、说明：本发明的频谱熵思想及双任务重构框架并不局限于dct，凡满足正交性的变换（详见下文“可选正交变换”说明）均可作为s1.3的实现方式。dct因其能量集中特性强、计算高效且与jpeg等主流编码体系兼容，作为本发明的最佳实施例。

10、步骤二：频谱熵图计算（重构任务的监督标签）

11、对输入图像分块计算频谱熵图，作为解码器重构任务的目标（真值标签），具体为：

12、s2.1 对第k个图像块，由其正交变换系数（优选为dct系数）计算各变换域位置的能量，如公式（1）所示，其中(u,v)为变换域坐标（dct且4×4分块时 u,v∈{0,1,2,3}）：

13、    （1）

14、s2.2 计算该块的总能量为块内全部能量之和，如公式（2）所示；为避免除零，引入安全总能量，如公式（3）所示——当总能量为0（纯平块）时取1，否则取其总能量：

15、    （2）

16、    （3）

17、s2.3 计算归一化的变换域能量概率分布，如公式（4）所示：

18、    （4）

19、s2.4 基于香农熵计算块级频谱熵，如公式（5）所示，其中ε为极小常数（如10⁻¹²）以保证数值稳定：

20、    （5）

21、s2.5 对整幅图像所有局部块计算频谱熵 ，组合得到“频谱熵图”。频谱熵图反映局部区域频率能量分布的均匀程度：熵值越低表明能量集中于少数频率分量（对应平滑区域），熵值越高表明能量分散于多个频率分量（对应纹理复杂区域）。

22、步骤三：双任务编码器—解码器网络（ser网络）

23、ser网络采用编码器—解码器对称架构，编码器参数由分类与重构两个任务共享：

24、s3.1 编码器：先以1×1卷积将48通道输入映射至64维特征空间；随后经两个顺序残差层进行特征提取——第一残差层含3个bottleneck残差块，将通道由64扩张至256；第二残差层含4个残差块，进一步扩张至512。每个残差块采用瓶颈结构（1×1降维 → 3×3空间卷积 → 1×1升维），在前两个卷积后施加dropout（p=0.1）。在残差连接前嵌入cbam注意力模块，其通道注意力自适应强化对真伪判别贡献度高的频率分量，空间注意力引导网络聚焦于局部频谱异常区域。

25、s3.2 分类头（主任务）：对编码器输出的512维特征进行全局平均池化，经dropout（p=0.5）与全连接层映射至2维输出，完成真伪二分类。

26、s3.3 解码器（辅助任务）：接收编码器输出的512通道特征，采用与编码器对称的结构，将通道由512逐步压缩至256再至64，最终经1×1卷积映射至3通道输出，分别对应y、cb、cr三通道的频谱熵重构结果。解码器各残差块同样集成cbam模块。

27、步骤四：双任务联合损失训练

28、采用分类损失与频谱熵重构损失加权求和的联合损失进行训练，如公式（6）所示：

29、    （6）

30、其中分类损失 l_cls 为交叉熵损失，如公式（7）所示（m为批样本数，y与ŷ分别为真伪标签的真值与预测概率）：

31、    （7）

32、重构损失 l_rec 为重构频谱熵图与真值频谱熵图之间的均方误差（mse），如公式（8）所示（k为图像块总数）：

33、    （8）

34、优选地，权重配置为 λ_cls=0.9、λ_rec=0.1。

35、步骤五：基于grad-cam激活矩阵的可解释性量化

36、为对模型决策进行可量化解释，对grad-cam类激活图m（展平为长度n的向量m）计算两项互补指标：

37、s5.1 梯度熵指标：先将m归一化为空间概率分布，如公式（9）所示，再按公式（10）计算梯度熵。该指标衡量激活分布的集中程度，熵值越低表明激活越集中、判别依据越明确：

38、    （9）

39、    （10）

40、s5.2 梯度方差指标如公式（11）所示，衡量激活强度的离散程度：

41、    （11）

42、s5.3 利用上述两项指标对真实图像与生成图像分别统计其分布，二者在跨生成模型条件下呈现一致的统计规律（真实图像熵值高且带宽窄、方差低；伪造图像熵值整体偏低且分布范围扩大、方差偏大），从而将热力图的视觉观测转化为可统计、可验证的判别依据。

43、可选正交变换说明

44、步骤一（s1.3）中的正交变换可由多种满足正交性的线性变换实现，以下列举若干可选实施方式及其适配说明，均可与本发明的频谱熵计算与双任务重构框架结合使用：

45、（1）离散余弦变换（dct，优选）：能量集中特性强，低频分量信息密度高，对生成模型上采样引入的频域伪影敏感；按s1～s2直接计算能量概率分布与块级香农熵。

46、（2）离散傅里叶变换/快速傅里叶变换（dft/fft）：变换系数为复数，取其幅度谱的平方作为各频率位置能量，如公式（12）所示，再按公式（2）～（5）归一化并计算香农熵；可同时或分别利用幅度谱与相位谱构造熵图。

47、    （12）

48、（3）离散小波变换（dwt）：将图像块分解为不同尺度的低频与高频子带，以各子带系数的平方为能量、对子带能量分布归一化后计算香农熵，得到反映多尺度频率结构的频谱熵图。

49、（4）哈达玛变换（hadamard/walsh-hadamard）：变换基为±1正交矩阵，计算量小、无乘法运算，适合资源受限场景；以序率（sequency）域系数的平方为能量计算香农熵。

50、（5）斜变换（st，slant transform）：斜变换是一种实正交变换，其变换基具有近似线性斜坡变化特性，能够较好匹配图像中灰度缓慢变化或线性渐变的局部区域，具有计算简单、能量压缩能力较强等特点。

51、上述各变换均能将图像块映射至正交的变换域并给出可计算能量的系数分布，因此均可作为本发明“块级能量概率分布→香农熵→熵图重构”这一核心思想的载体。本发明对此不作限定，dct为其中的优选实施例

52、与相关技术相比较，本发明提供的基于人工智能生成图像的真伪性自动检测方法及系统具有如下有益效果：

53、1、少样本下检测准确率高。仅需每类约200张训练样本（约1%训练数据），即可在gan测试集上达到97%以上的分类准确率，在扩散模型测试集上达到约96%的准确率，多数对比方法在使用100%训练数据时仍未达到该水平。

54、2、跨生成模型泛化能力强。在对抗生成（gan）与扩散去噪两类主流生成范式下均表现稳定，在7种扩散模型上均取得95%以上的准确率，表明所学频域统计特征反映了不同生成机制的共性伪影规律。

55、3、跨语义泛化能力强。在跨语义基准csaiid上，仅用1%训练数据即取得约97.84%的平均准确率，全量数据下达约99.06%，显著优于现有对比方法。

56、4、特征学习能力增强。频谱熵重构作为正则化辅助任务，显著提升分类性能；消融实验表明，移除重构分支退化为单任务后准确率下降约1.13%、ap下降约0.51%。

57、5、决策过程可量化解释。梯度熵与梯度方差指标将热力图的定性观察转化为可统计、可复现的量化判别依据，真伪图像在该指标上呈现跨生成模型的一致统计规律。

58、6、性能稳定可复现。在5个不同随机种子下，准确率稳定在95.71%～97.22%（均值96.34%±0.50%），auc稳定在99.23%～99.58%（均值99.36%±0.12%），对随机初始化不敏感。