基于多维真实特征分布的生成图像鲁棒检测方法及系统与流程

本发明涉及计算机视觉与人工智能安全，尤其涉及一种基于多维真实特征分布的生成图像鲁棒检测方法及系统。

背景技术：

1、随着扩散模型等深度生成技术的快速发展，ai合成图像已达到高度逼真的视觉效果。但相关技术也被滥用于伪造新闻、深度伪造换脸以及篡改经典文化作品等场景，对文化安全、社会稳定和个人权益构成严重威胁。高效准确地鉴别图像是否由ai生成，已成为内容安全治理的迫切需求。

2、现有检测方法主要分为两类。一类方法依托卷积神经网络学习特定生成模型留下的固有伪影，例如棋盘格效应和高频异常，对未见过的新型生成模型适应性较差。另一类方法提取图像在频域或空域的通用统计特征进行判别，但在面对经过后处理或压缩的图像时，特征稳定性不足，检测可靠性受限。

3、因此，亟需提供一种技术方案解决上述问题。

技术实现思路

1、为解决上述技术问题，本发明提供了一种基于多维真实特征分布的生成图像鲁棒检测方法及系统。

2、第一方面，本发明提供一种基于多维真实特征分布的生成图像鲁棒检测方法，该方法的技术方案如下：

3、提取待检测图像的原始对数幅度谱，随机掩蔽所述原始对数幅度谱中的频带后输入自适应掩蔽谱重建网络进行频谱重建，计算重建频谱与所述原始对数幅度谱的误差，得到频谱特征向量；

4、通过可学习的残差卷积滤波器提取所述待检测图像的本征噪声模式，将所述本征噪声模式作为噪声特征向量，并统计所述待检测图像的局部二值模式特征图在不同尺度下的熵值分布，得到纹理特征向量；

5、将所述频谱特征向量、所述噪声特征向量和所述纹理特征向量输入跨模态注意力融合网络，输出统一的融合特征向量；

6、获取预先构建的超球体的球心和半径，并基于所述半径设定动态阈值，所述超球体由大量真实图像各自的融合特征向量经支持向量数据描述算法构建得到，所述球心和所述半径用于界定真实图像的特征分布边界；

7、计算所述融合特征向量到所述球心的马氏距离，将所述马氏距离作为真实性偏离分数；

8、当所述真实性偏离分数大于所述动态阈值时，判定所述待检测图像为ai生成图像，否则判定为真实图像。

9、本发明的一种基于多维真实特征分布的生成图像鲁棒检测方法的有益效果如下：

10、本发明的方法通过自适应掩蔽谱重建网络从对数幅度谱中提取频谱特征向量，利用可学习的残差卷积滤波器提取本征噪声模式得到噪声特征向量，并基于多尺度局部二值模式熵值分布获取纹理特征向量，再经跨模态注意力融合网络将上述多维特征统一为融合特征向量，进而以支持向量数据描述算法构建超球体来界定真实图像特征分布边界，通过计算待检测图像融合特征向量到球心的马氏距离得到真实性偏离分数，结合动态阈值完成判别，解决了现有方法依赖特定生成模型伪影导致对新型生成模型适应性不足，以及通用统计特征在面对后处理或压缩图像时稳定性差、可靠性受限的问题，提高了生成图像检测的泛化能力与鲁棒性。

11、在上述方案的基础上，本发明的一种基于多维真实特征分布的生成图像鲁棒检测方法还可以做如下改进。

12、在一种可选的方式中，随机掩蔽所述原始对数幅度谱中的频带时，掩蔽的频带为低频区域、中频区域和高频区域中的至少一种。

13、采用上述可选方式的有益效果为：进一步将掩蔽范围扩展至低频、中频与高频区域中的至少一种，使自适应掩蔽谱重建网络在频谱重建过程中能够覆盖更完整的频带信息，增强频谱特征向量对不同生成模型所留下频域差异的捕捉能力。

14、在一种可选的方式中，统计所述待检测图像的局部二值模式特征图在不同尺度下的熵值分布，得到纹理特征向量的步骤，包括：

15、计算所述待检测图像的局部二值模式特征图；

16、在多个不同尺度下分别统计所述局部二值模式特征图的熵值分布，并将所述多个不同尺度下的熵值分布组合为所述纹理特征向量。

17、采用上述可选方式的有益效果为：进一步在多个尺度下分别统计局部二值模式特征图的熵值分布并组合为纹理特征向量，使纹理特征能够从细节结构到整体布局多层次刻画图像纹理，提升对生成图像中不自然纹理模式的辨识能力。

18、在一种可选的方式中，所述跨模态注意力融合网络通过自适应分配的权重对所述频谱特征向量、所述噪声特征向量和所述纹理特征向量进行加权融合，得到所述融合特征向量，所述权重由所述跨模态注意力融合网络根据各特征向量的输入分布自动确定。

19、采用上述可选方式的有益效果为：进一步由跨模态注意力融合网络根据频谱、噪声与纹理三类特征向量的输入分布自动确定权重，通过自适应加权融合生成融合特征向量，使不同模态特征按照各自信息量动态参与融合过程。

20、在一种可选的方式中，构建所述超球体步骤，包括：

21、对多个真实图像分别提取对应的频谱特征向量、噪声特征向量和纹理特征向量；

22、将每个真实图像对应的所述频谱特征向量、所述噪声特征向量和所述纹理特征向量输入所述跨模态注意力融合网络，得到各真实图像各自的融合特征向量；

23、将所有真实图像各自的融合特征向量经支持向量数据描述算法拟合，得到所述超球体的所述球心和所述半径。

24、采用上述可选方式的有益效果为：进一步从多个真实图像中提取频谱、噪声与纹理特征向量并经跨模态注意力融合网络得到融合特征向量，再利用支持向量数据描述算法拟合超球体的球心与半径，使超球体边界建立在真实图像多维特征分布基础之上。

25、在一种可选的方式中，所述支持向量数据描述算法采用高斯径向基函数作为核函数，所述高斯径向基函数的核宽度通过交叉验证确定。

26、采用上述可选方式的有益效果为：进一步采用高斯径向基函数作为支持向量数据描述算法的核函数，并通过交叉验证确定核宽度，使特征映射至高维空间后的分布形态得到合理刻画，让超球体边界与真实图像特征聚集范围更加贴合。

27、在一种可选的方式中，在获取预先构建的超球体的球心和半径的步骤之前，还包括：

28、收集真实图像数据集，并对所述真实图像数据集中的每张真实图像施加图像扰动后提取融合特征向量；其中，所述图像扰动包括jpeg压缩、高斯模糊和图像裁剪中的至少一种；

29、约束同一真实图像的不同扰动版本对应的融合特征向量之间的一致性。

30、采用上述可选方式的有益效果为：进一步在训练阶段对真实图像数据集中的图像施加jpeg压缩、高斯模糊或图像裁剪中的至少一种扰动，并约束同一图像不同扰动版本所对应融合特征向量之间的一致性，使模型在面对经过后处理的图像时仍能保持判别稳定性。

31、第二方面，本发明提供一种基于多维真实特征分布的生成图像鲁棒检测系统，该系统的技术方案如下：

32、处理模块，用于提取待检测图像的原始对数幅度谱，随机掩蔽所述原始对数幅度谱中的频带后输入自适应掩蔽谱重建网络进行频谱重建，计算重建频谱与所述原始对数幅度谱的误差，得到频谱特征向量；

33、提取模块，用于通过可学习的残差卷积滤波器提取所述待检测图像的本征噪声模式，将所述本征噪声模式作为噪声特征向量，并统计所述待检测图像的局部二值模式特征图在不同尺度下的熵值分布，得到纹理特征向量；

34、融合模块，用于将所述频谱特征向量、所述噪声特征向量和所述纹理特征向量输入跨模态注意力融合网络，输出统一的融合特征向量；

35、设定模块，用于获取预先构建的超球体的球心和半径，并基于所述半径设定动态阈值，所述超球体由大量真实图像各自的融合特征向量经支持向量数据描述算法构建得到，所述球心和所述半径用于界定真实图像的特征分布边界；

36、计算模块，用于计算所述融合特征向量到所述球心的马氏距离，将所述马氏距离作为真实性偏离分数；

37、判定模块，用于当所述真实性偏离分数大于所述动态阈值时，判定所述待检测图像为ai生成图像，否则判定为真实图像。

38、本发明的一种基于多维真实特征分布的生成图像鲁棒检测系统的有益效果如下：

39、本发明的系统通过自适应掩蔽谱重建网络从对数幅度谱中提取频谱特征向量，利用可学习的残差卷积滤波器提取本征噪声模式得到噪声特征向量，并基于多尺度局部二值模式熵值分布获取纹理特征向量，再经跨模态注意力融合网络将上述多维特征统一为融合特征向量，进而以支持向量数据描述算法构建超球体来界定真实图像特征分布边界，通过计算待检测图像融合特征向量到球心的马氏距离得到真实性偏离分数，结合动态阈值完成判别，解决了现有方法依赖特定生成模型伪影导致对新型生成模型适应性不足，以及通用统计特征在面对后处理或压缩图像时稳定性差、可靠性受限的问题，提高了生成图像检测的泛化能力与鲁棒性。

40、第三方面，本发明的一种电子设备的技术方案如下：

41、包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的程序，所述处理器执行所述程序时实现如本发明的基于多维真实特征分布的生成图像鲁棒检测方法的步骤。

42、第四方面，本发明提供的一种计算机可读存储介质的技术方案如下：

43、计算机可读存储介质中存储有指令，当计算机可读存储介质读取所述指令时，使所述计算机可读存储介质执行如本发明的基于多维真实特征分布的生成图像鲁棒检测方法的步骤。

44、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。