一种对AI生成图像进行底层伪造痕迹检测的方法

本发明涉及计算机应用，尤其涉及一种对ai生成图像进行底层伪造痕迹检测的方法。

背景技术：

1、ai（artificial intelligence，人工智能）生成内容技术快速发展，使ai生成图像在新闻传播、社交媒体、电商展示、广告创作和内容生产中被广泛使用。与此同时，高保真生成图像可能被用于虚假信息传播、身份冒用、证据伪造和舆论操纵，对数字内容可信性提出了新的挑战。

2、目前，现有技术中的ai生成图像检测技术主要从两个层面开展研究。第一类方法关注高层语义异常，例如不合理的物体结构、手指数量错误、文字内容混乱或物体关系不一致。第二类方法关注底层视觉痕迹，例如频域异常、噪声残差、纹理统计、压缩伪影、生成器指纹或局部边缘异常。随着生成模型质量提升，明显语义错误越来越少，底层伪造痕迹逐渐成为区分真实图像与ai生成图像的重要证据。

3、多模态大语言模型具备图像理解、视觉问答和自然语言解释能力，理论上可以为ai生成图像检测提供更具可读性的解释。然而，底层伪造痕迹往往以像素残差、局部纹理异常等的形式存在，与语言空间之间缺少天然对应关系。现阶段多模态大语言模型缺乏对应的数据构造、训练和评估机制，容易停留在显著语义错误或常识推理层面，难以学习低层视觉伪造证据所对应的语义化伪造知识。

4、目前，现有技术中的一种ai生成图像检测方法为aigi-homles，该方法利用多模态大语言模型描述图像中可见的显著语义异常，例如不合理手部结构、文字错误或物体关系异常。其优点是解释可读性较强，但对低于显著感知阈值的底层痕迹的感知和理解能力不足。

5、上述现有技术中的一种ai生成图像检测方法的缺点包括：

6、底层检测方法解释能力不足。现有检测器通常输出真假概率或异常热力图，无法说明具体对象的纹理、材质、边缘、文字等细节发生了何种伪造变化。

7、基于多模态大语言模型的可解释伪造检测评估标准不完整。现有评估多关注真假分类准确率和显著语义异常，难以衡量模型是否真正理解底层伪造痕迹及其语义影响。

技术实现思路

1、本发明的实施例提供了一种对ai生成图像进行底层伪造痕迹检测的方法，以实现有效地对对ai生成图像进行底层伪造痕迹检测。

2、为了实现上述目的，本发明采取了如下技术方案。

3、一种对ai生成图像进行底层伪造痕迹检测的方法，包括：

4、通过ai重建模型对原始图像进行重建，得到与所述原始图像对应的重建图像；计算所述原始图像与所述重建图像之间的像素差异，得到像素差异图；

5、基于所述像素差异图构建所述原始图像和所述重建图像之间的语义对象对，通过语义差分智能体比较所述语义对象对，生成结构化亚视觉伪造知识数据；

6、基于所述结构化亚视觉伪造知识数据构建训练数据集和测试数据集，利用所述训练数据集和所述测试数据集训练多模态大语言模型，得到训练好的多模态大语言模型；

7、将待检测的ai生成图像输入到训练好的多模态大语言模型中，多模态大语言模型输出所述待检测的ai生成图像的底层伪造痕迹检测结果。

8、优选地，所述的通过ai重建模型对原始图像进行重建，得到与所述原始图像对应的重建图像；计算所述原始图像与所述重建图像之间的像素差异，得到像素差异图，包括：

9、通过ai重建模型对原始图像进行重建，所述原始图像来自公开图像数据集或实际采集图像，所述ai重建模型为扩散模型、生成对抗网络、自回归图像生成模型或多模态图像生成模型，ai重建模型通过变分自编码器、扩散模型自编码器或图像压缩重建模型对原始图像进行重建，得到重建图像，将原始图像与重建图像进行逐像素绝对差计算，得到像素差异图，所述像素差异图用于表征重建图像中与ai生成过程相关的底层伪造痕迹。

10、优选地，所述的基于所述像素差异图构建所述原始图像和所述重建图像之间的语义对象对，通过语义差分智能体比较所述语义对象对，生成结构化亚视觉伪造知识数据，包括：

11、通过对象分析智能体识别原始图像中的语义对象集合，所述语义对象包括主体、局部部件、文字区域、材质区域或背景区域，对象过滤智能体依据像素差异图对语义对象进行筛选，确定语义对象是否携带有效底层残差证据，通过对象搜索智能体在重建图像中定位与原始图像中的目标语义对象对应的重建语义对象，形成语义对象对：

12、

13、其中，表示语义对象对集合，表示对象分析智能体，表示对象过滤智能体，表示对象搜索智能体；

14、通过语义差分智能体对每一组语义对象对的局部外观、结构、纹理、材质、边界或文字清晰度进行比较，生成亚视觉伪造语义描述文本，该亚视觉伪造语义用于描述低于显著感知阈值但会影响对象级理解的底层伪造现象，将像素差异图划分为与视觉编码器令牌对齐的多个图像块，选取残差响应最大的前个图像块作为残差显著视觉令牌，通过知识结构化智能体将亚视觉伪造语义与残差显著视觉令牌整理为结构化亚视觉伪造知识数据：

15、

16、其中，表示第个结构化亚视觉伪造知识数据，表示亚视觉伪造语义，表示残差显著视觉令牌，表示对象名称，表示伪造现象，表示语义影响，表示严重程度。

17、优选地，所述的基于所述结构化亚视觉伪造知识数据构建训练数据集和测试数据集，利用所述训练数据集和所述测试数据集训练多模态大语言模型，得到训练好的多模态大语言模型，包括：

18、设置多模态大语言模型包括视觉编码器、令牌掩码解码器和文本解码器，所述令牌掩码解码器通过像素残差图进行令牌级别监督，所述优化视觉编码器参数以感知底层伪造痕迹；

19、基于所述结构化亚视觉伪造知识数据构建训练集和测试集，数据划分包括同域设置和跨域设置：在同域设置中，训练集和测试集包含相同类型重建模型或生成器的数据；在跨域设置中，测试集包含训练阶段未出现的重建模型或生成器的数据，利用所述训练集和测试集对所述多模态大语言模型进行训练，所述多模态大语言模型的训练过程分为两个阶段，其中阶段一基于分类文本进行训练视觉编码器和令牌掩码解码器，阶段二基于亚视觉伪造语义文本进行训练令牌掩码解码器和文本编码器，进而实现生成图像检测和亚视觉伪造语义解释，在一个训练轮次分布训练阶段一和阶段二；

20、训练时对多模态大语言模型施加文本约束和视觉约束，其中文本约束用于监督模型生成结构化的亚视觉伪造语义知识，视觉约束用于监督模型预测残差显著视觉令牌，训练多模态大语言模型的总损失表示为:

21、

22、其中，和表示约束的比例参数，默认设置为1.0，和表示文本约束和视觉约束，为总约束，用于指导多模态大语言模型的优化方向，随着训练进行，损失将逐步降低，当损失设定的判断阈值，多模态大语言模型的训练结束，得到训练好的多模态大语言模型；

23、使用测试集对训练后的多模态大语言模型进行评估，评估内容包括真假分类能力、对象级伪造语义生成能力和跨域泛化能力，评估指标包括语义平均精度semap、语义平均召回率semar、语义f1值semf1、真假分类准确率acc、跨重建模型泛化能力和跨生成器泛化能力。

24、优选地，所述的将待检测的ai生成图像输入到训练好的多模态大语言模型中，多模态大语言模型输出所述待检测的ai生成图像的底层伪造痕迹检测结果，包括：

25、将待检测的ai生成图像输入到训练好的多模态大语言模型中，多模态大语言模型将待检测图像进行放大处理后，多模态大语言模型中的视觉编码器会将图像切分为视觉令牌，将视觉令牌和文本令牌一起输入到文本解码器进行推理，文本解码器输出所述待检测的ai生成图像的底层伪造痕迹检测结果，该底层伪造痕迹检测结果包括待检测的ai生成图像的视觉检测结果和亚视觉伪造语义文本解释。

26、一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行上述计算机程序时实现上述对ai生成图像进行底层伪造痕迹检测的方法。

27、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述对ai生成图像进行底层伪造痕迹检测的方法。

28、由上述本发明的实施例提供的技术方案可以看出，本发明提供了一套面向底层伪造痕迹语义化的多智能体框架，通过描述高保真生成图像中的亚视觉伪造语义，进而构建底层伪造痕迹的语义理解的训练数据和基准测试，并设计了双监督策略来增强多模态大语言模型在底层伪造痕迹的感知和推理能力。

29、本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。