一种频域—语义双流协同的生成式遥感图像伪造检测方法

本发明涉及遥感图像取证与人工智能，具体涉及一种频域—语义双流协同的生成式遥感图像伪造检测方法。

背景技术：

1、随着生成对抗网络、扩散模型等生成式人工智能技术的发展，生成模型能够合成具有较高纹理真实性和场景结构一致性的遥感图像。生成式遥感图像可对地物目标、土地覆盖类型、地理环境及灾害场景等内容进行生成、修改或重构，使得伪造图像在视觉外观上与真实遥感图像具有较高的相似性。若所述伪造图像被应用于国土监测、灾害评估、城市规划、环境分析及地理信息决策等场景，可能影响遥感信息的真实性和相关分析结果的可靠性。因此，对生成式遥感图像进行真实性检测具有重要意义。

2、现有遥感图像伪造检测方法通常采用空间域特征分析或频域特征分析。基于空间域特征的方法主要通过卷积神经网络或视觉transformer网络提取图像的纹理、结构及语义信息，并根据真实图像与伪造图像之间的空间特征差异完成检测。基于频域特征的方法则通过傅里叶变换、离散余弦变换或频谱统计分析，提取生成模型在图像合成过程中产生的频谱异常、周期性伪影及高频统计差异。

3、然而，现有技术仍存在以下不足。

4、一方面，随着生成模型不断发展，生成式遥感图像在纹理连续性、地物结构和场景布局方面逐渐接近真实遥感图像，其在空间域中的伪造痕迹更加隐蔽。仅依赖空间纹理或高层语义特征进行检测，容易受到复杂地物背景、尺度变化及场景内容差异的影响，难以充分识别视觉上自然但物理统计特性异常的生成图像。

5、另一方面，生成模型在图像上采样、纹理合成和细节重建过程中可能在频域中留下异常能量分布或相位结构差异，但此类频域异常通常较为微弱，并且容易受到图像分辨率、压缩处理、噪声干扰及不同生成机制的影响。仅依赖单一频域特征进行检测，难以同时获得图像的全局语义信息和局部结构信息，容易将遥感图像中的复杂自然纹理误判为伪造痕迹。

6、此外，现有检测方法通常基于特定生成模型产生的图像进行训练。当待检测图像由训练阶段未出现的生成模型生成时，由于不同生成模型在网络结构、生成过程及伪造特征分布方面存在差异，检测模型的识别性能容易下降。同时，遥感图像在存储和传输过程中还可能经过jpeg压缩、噪声污染、分辨率调整等处理，进一步削弱原有的伪造痕迹，导致检测结果的稳定性和鲁棒性不足。

7、因此，如何协同利用生成式遥感图像中的频域物理异常信息和空间语义不一致信息，引导检测网络关注具有较高伪造可能性的区域，并提高检测方法对未知生成模型及图像退化条件的适应能力，是当前生成式遥感图像伪造检测领域需要解决的技术问题。

技术实现思路

1、为了克服上述技术问题，本发明提供了一种频域—语义双流协同的生成式遥感图像伪造检测方法。

2、为了实现上述技术方案，具体包括以下步骤：

3、s1、提取多层空间语义特征；

4、此步骤将待检测遥感图像输入多层语义特征提取模块，并从多层语义特征提取模块的多个不同深度的特征提取层中，获得多个语义层级的空间语义特征，具体包括以下步骤：

5、s1.1、对待检测遥感图像进行尺寸调整和归一化处理，并将处理后的待检测遥感图像划分为多个不重叠的图像块；

6、s1.2、将图像块转换为图像块特征序列，并输入预训练的视觉transformer网络进行逐层编码；

7、s1.3、从视觉transformer网络的多个不同深度的特征提取层分别提取图像块特征，并将各图像块特征按照其在待检测遥感图像中的空间位置进行重排，得到多个语义层级的空间语义特征。

8、优选地，本发明中预训练的视觉transformer网络为dinov3网络，分别提取dinov3网络多个中间编码层输出的图像块特征，以获得由浅层局部结构信息至深层全局语义信息构成的多层空间语义特征。

9、s2、构建对数幅度谱与相位梯度图；

10、此步骤对待检测遥感图像进行灰度化处理和二维快速傅里叶变换，获得待检测遥感图像的复数频谱；之后，根据复数频谱的幅度值构建对数幅度谱，并根据复数频谱的相位信息计算相邻频率位置之间的相位差，获得相位梯度图，具体包括以下步骤：

11、s2.1、将待检测遥感图像转换为灰度图像；

12、s2.2、对灰度图像进行二维快速傅里叶变换，获得由多个复数频率系数组成的频谱，并将频谱的零频分量移动至频谱中心；

13、s2.3、计算各复数频率系数的幅值，并对幅值进行对数变换，得到用于表征频谱能量分布的对数幅度谱；

14、s2.4、计算各复数频率系数对应的相位角，并计算每个频率位置与其相邻频率位置之间考虑相位周期性的最小角度差；

15、s2.5、对每个频率位置对应的多个最小角度差进行聚合，得到用于表征频率结构变化和相位不连续性的相位梯度图。

16、s3、提取多尺度频域特征与全局频域特征；

17、此步骤将s2获得的对数幅度谱和相位梯度图输入多尺度频域特征提取模块，通过逐层下采样和自顶向下特征融合，构建多尺度频域特征金字塔，获得多个尺度的频域特征和全局频域表示，其中，多尺度频域特征提取模块包括频域特征联合输入单元、逐层下采样单元、自顶向下特征融合单元和全局频域表示生成单元。

18、具体地，s3包括以下步骤：

19、s3.1、将s2得到的对数幅度谱和相位梯度图在通道维度上进行拼接，得到频域联合输入特征；

20、s3.2、通过多个带步长的卷积层对频域联合输入特征进行逐层下采样，获得多个不同空间分辨率的频域中间特征；

21、s3.3、对深层频域中间特征进行上采样，并将上采样后的深层频域中间特征与具有对应分辨率的浅层频域中间特征进行融合，形成自顶向下的多尺度频域特征金字塔；

22、s3.4：对多尺度频域特征金字塔中的最高层频域特征进行全局特征聚合和特征映射，获得用于表征待检测遥感图像整体频域异常的全局频域表示；

23、s3.5：输出多尺度频域特征金字塔中的多个尺度的频域特征和全局频域表示。

24、s4、生成伪造注意力引导图；

25、此步骤将s2获得的对数幅度谱和相位梯度图输入锚点广播注意力机制模块，对其对数幅度谱和相位梯度图进行特征编码，生成空间异常响应图，并根据空间异常响应图确定异常锚点；之后，以异常锚点为中心构建多个不同尺度的局部窗口，对各局部窗口进行注意力特征交互，并将增强后的局部窗口特征回填至全局特征空间，生成伪造注意力引导图；其中，锚点广播注意力机制模块包括频域先验编码单元、异常锚点定位单元、多尺度窗口注意力单元、特征回填单元和引导图生成单元。

26、具体地，s4包括以下步骤：

27、s4.1、对s2得到的相位梯度图进行特征映射，获得相位结构响应图，并对相位结构响应图和对数幅度谱进行联合特征编码，得到频域先验编码特征；

28、s4.2、对频域先验编码特征在通道维度上进行聚合，得到空间异常响应图；

29、s4.3、选取空间异常响应图中响应值最大的位置作为异常锚点；

30、s4.4、以异常锚点为中心，在频域先验编码特征中构建多个不同空间尺寸的同心局部窗口；

31、s4.5、分别对各个尺度的同心局部窗口执行注意力特征交互，得到多个增强局部窗口特征，其中，不同尺度的同心局部窗口分别采用相互独立的注意力参数进行特征建模；

32、s4.6、按照各尺度对应的可学习权重，将多个增强局部窗口特征回填至其在全局特征空间中的对应位置，并与频域先验编码特征进行残差融合，得到全局细化特征；

33、s4.7、对全局细化特征进行解码、上采样和非线性映射，生成与待检测遥感图像空间位置对应的伪造注意力引导图。

34、优选地，本发明中多个不同空间尺寸的同心局部窗口包括由小到大的多个尺度窗口，小尺度窗口用于捕获局部纹理扰动和高频异常，大尺度窗口用于捕获区域结构变化和上下文不一致信息。

35、s5、分层频域引导融合；

36、此步骤将s1获得的多层空间语义特征、s3获得的多个尺度的频域特征及全局频域表示，以及s4获得的伪造注意力引导图输入分层频域引导融合模块；对空间语义特征、频域特征和伪造注意力引导图进行尺寸及通道对齐，通过频域特征与空间语义特征之间的交互注意力进行分层特征融合，并利用伪造注意力引导图对融合特征进行空间门控增强，获得最终联合判别特征；其中，分层频域引导融合模块包括特征自适应对齐单元、频域—语义交互单元、全局频域引导单元、空间门控增强单元和多层特征聚合单元。

37、具体地，s5包括以下步骤：

38、s5.1、分别将s3得到的各尺度频域特征调整至与s1中对应空间语义特征相同的空间分辨率，并通过通道映射统一频域特征与空间语义特征的通道维度；

39、s5.2、将s4得到的伪造注意力引导图调整至与对应空间语义特征相同的空间分辨率，得到对齐后的伪造注意力引导图；

40、s5.3、将空间语义特征作为查询特征，将对应尺度的频域特征作为键特征和值特征进行交互注意力计算，得到频域信息增强的局部交互特征；

41、s5.4：将s3得到的全局频域表示作为查询特征，将空间语义特征作为键特征和值特征进行交互注意力计算，得到与全局频域异常相对应的全局语义描述特征；

42、s5.5：将局部交互特征与经过空间广播的全局语义描述特征进行拼接，并通过特征映射操作得到频域—语义联合特征；

43、s5.6：利用对齐后的伪造注意力引导图对频域—语义联合特征进行空间门控增强，使频域异常响应较强的空间位置获得更高的特征权重，得到当前语义层级对应的融合特征；

44、s5.7：对不同语义层级对应的融合特征进行聚合，获得用于遥感图像真实性判别的最终联合判别特征。

45、s6、输出真实性检测结果；

46、此步骤将s5获得的最终联合判别特征输入分类头，计算待检测遥感图像属于真实图像类别和生成式伪造图像类别的预测结果，并根据所述预测结果输出待检测遥感图像的真实性检测结果；其中，分类头包括全局特征聚合单元、特征拼接单元和分类映射单元。

47、具体地，s6包括以下步骤：

48、s6.1、对s5输出的不同语义层级对应的融合特征分别进行全局平均池化，得到多个层级的融合特征向量；

49、s6.2、将多个层级的融合特征向量在通道维度上进行拼接，获得最终判别特征向量；

50、s6.3、将最终判别特征向量输入由一个或多个全连接层构成的分类映射单元，获得待检测遥感图像属于生成式伪造图像类别的预测概率；

51、s6.4、将预测概率与预设判定阈值进行比较，当预测概率大于或等于预设判定阈值时，将待检测遥感图像判定为生成式伪造图像；当预测概率小于预设判定阈值时，将待检测遥感图像判定为真实遥感图像。

52、与现有技术相比，本发明提供的一种频域—语义双流协同的生成式遥感图像伪造检测方法，具备以下有益效果：

53、本发明通过快速傅里叶变换构建对数幅度谱和相位梯度图，分别表征生成式遥感图像中的频谱能量分布异常和相位结构不连续信息，相较于仅使用空间纹理特征或单一频域表征的检测方法，能够为生成式遥感图像真实性判别提供更加完整的频域物理依据。

54、本发明通过多尺度频域特征提取模块对频域异常进行分层建模，采用带步长的卷积操作代替固定池化操作完成下采样，并利用自顶向下的特征融合方式将高层全局频域信息注入浅层频域特征，使所获得的频域特征同时包含局部细粒度伪造痕迹和全局频谱分布信息。

55、本发明通过锚点广播注意力机制，根据频域异常响应自动确定显著异常锚点，并在异常锚点周围构建多个不同尺度的局部窗口，通过注意力交互、特征回填和残差融合，将局部显著异常线索传播至全局特征空间。在不依赖像素级伪造区域标注的情况下，能够生成用于表征疑似伪造区域的注意力引导图，从而减少复杂遥感背景纹理对检测过程的干扰。

56、本发明通过分层频域引导融合模块，将多尺度频域特征、全局频域表示和多层空间语义特征进行交互融合，并利用伪造注意力引导图对融合特征进行空间门控增强，使模型在保留全局场景语义信息的同时，重点增强具有物理异常的空间区域，实现从低层频域物理异常到高层空间语义不一致的协同判别。

57、因此，本发明能够提高生成式遥感图像伪造检测的准确性，并增强检测方法对未知生成模型、jpeg压缩、噪声干扰及其他图像退化条件的适应能力和检测稳定性。