一种基于扩散反演轨迹几何监督的人脸图像伪造检测方法

本发明涉及一种基于扩散反演轨迹几何监督的人脸图像伪造检测方法，属于图像处理、信息安全与计算机视觉领域。

背景技术：

1、随着人脸生成、换脸以及表情迁移等深度伪造技术的快速发展，高真实感伪造内容带来的安全风险日益突出，深度伪造检测已成为可信视觉系统中的关键任务。深度伪造检测的核心目标是自动区分真实人脸图像与由人脸生成、换脸、表情驱动等算法合成的人脸图像。

2、当前的人脸伪造检测方法大致可归纳为四类。第一类是基于视觉分类骨干的检测方法，例如采用xception、resnet或mesonet等深度网络将伪造检测视为标准二分类问题。第二类是基于融合边界或细粒度伪影的方法，例如face x-ray、fakediffer等，其关注换脸或拼接带来的边缘不一致。第三类是基于频域特征的方法，例如f3-net、spsl以及基于srm滤波器或高通滤波的方法，其通过上采样、压缩、融合残差等高频异常进行判别。第四类是基于重构学习或扩散先验的方法，通过比较真实与伪造样本在重构分布上的差异实现检测。

3、然而，上述方法在跨域场景下普遍存在明显的泛化退化问题。已有公开实验显示，多种主流检测方法在faceforensics++（ff++）源域内可取得90%以上的auc，但当训练后的检测器迁移到celeb-df、wilddeepfake等外部数据集时，auc通常下降20至35个百分点。这一现象说明，检测器学到的并不总是伪造内容的本质差异，而可能包含训练集特定的纹理、压缩或采样偏差。

4、为了将扩散先验引入伪造检测，研究者提出了扩散重建误差（diffusionreconstruction error，dire）方法。该方法对输入图像执行确定性扩散隐式模型（denoising diffusion implicit model，ddim）反演并生成重构图像，再将输入图像与重构图像之间的残差作为判别依据。扩散重建误差方法表明，符合自然图像先验的真实样本在反演终点附近能够获得较小残差，而偏离自然图像流形的伪造样本则具有较大残差。

5、但是，扩散重建误差类方法仅使用反演完成后的终点残差，难以刻画潜空间轨迹在中间步骤上的局部偏移、方向变化与稳定性。终点残差本质上描述的是反演结果差异，而不是反演过程差异。对于跨域伪造检测而言，反演过程中的轨迹变量可能比单一终点残差更接近生成机制本身，因而具有更强的迁移潜力。

6、此外，扩散反演通常需要数十步迭代，反演过程对计算资源和推理延迟均提出较高要求。如果在测试阶段为每张待检测图像都执行完整扩散反演，将显著增加检测系统负担，难以满足在线部署需求。

7、现有技术虽然分别涉及扩散模型重构、空间与频率特征融合以及人脸伪造检测，但仍缺少一种将多个扩散反演步骤对应的潜空间状态变化构建为过程监督，并在推理阶段通过预测模块直接获得所述过程特征、从而避免在线扩散反演的完整技术方案。

技术实现思路

1、本发明提供了一种基于扩散反演轨迹几何监督的人脸图像伪造检测方法，解决的技术问题包括：第一，现有伪造检测方法将扩散反演结果压缩为单一终点残差，丢失了反演过程中按步骤变化的轨迹信息，导致跨域泛化能力受限；第二，扩散反演需要多步迭代，推理延迟和算力消耗较高，难以在在线场景中部署；第三，已有方法在训练与测试伪造类型不一致时容易把数据集特定纹理、压缩和采样偏差误判为伪造证据，造成明显的泛化退化。本发明通过将扩散反演过程显式建模为按步骤排列的轨迹特征监督序列，并内嵌轨迹特征预测模块将离线过程监督转化为在线前向预测，从而同时解决上述三个问题。

2、为了解决上述技术问题，本发明所采用的技术方案是：

3、一种基于扩散反演轨迹几何监督的人脸图像伪造检测方法：

4、获取待检测人脸图像；

5、将所述待检测人脸图像输入预先训练的伪造检测模型，由所述伪造检测模型中的轨迹特征预测模块得到预测轨迹特征序列，并提取所述待检测人脸图像的图像特征；

6、将所述预测轨迹特征序列与所述待检测人脸图像的图像特征进行交互融合，得到融合特征；

7、由所述伪造检测模型根据所述融合特征，输出所述待检测人脸图像的真实性检测结果；

8、所述伪造检测模型的训练过程包括：

9、获取带有真实性类别标签的训练图像；

10、对所述训练图像进行潜空间编码，并基于预训练的扩散生成模型执行多个步骤的扩散反演处理，得到按照反演步骤排列的多个潜空间状态张量；

11、将相邻潜空间状态张量之间的状态变化向量化为状态增量向量，根据所述状态增量向量之间的数值关系，生成与各反演步骤对应的轨迹特征，并按照反演步骤顺序组成轨迹特征监督序列；

12、将所述训练图像输入所述伪造检测模型，由所述伪造检测模型中的轨迹特征预测模块得到预测轨迹特征序列，并提取所述训练图像的图像特征；

13、融合所述预测轨迹特征序列和所述训练图像的图像特征，输出真实性预测结果；

14、根据所述真实性预测结果与所述真实性类别标签之间的分类损失，以及所述预测轨迹特征序列与所述轨迹特征监督序列之间的轨迹对齐损失，对所述伪造检测模型进行训练。

15、进一步地，对所述训练图像进行潜空间编码，并基于预训练的扩散生成模型执行多个步骤的扩散反演处理包括：

16、对预处理后的训练图像进行变分自编码器编码，得到初始潜空间状态张量，其中为预训练的扩散生成模型内置的变分自编码器；基于预训练的扩散生成模型，采用确定性扩散隐式模型反演方式，按反演步数t=20依次执行t个反演步骤，得到按反演步骤排列的潜空间状态张量序列：；

17、确定性扩散隐式模型反演方式的更新公式为：

18、

19、其中，表示噪声调度参数在t个反演步骤的累积乘积，为预训练的扩散生成模型中的噪声预测网络，t为反演步骤序号。

20、进一步地，所述状态增量向量为；

21、其中，表示将张量沿所有维度展平为向量的操作，、、分别为潜空间状态张量的高度、宽度和通道数，。

22、进一步地，各反演步骤对应的轨迹特征包括：一阶状态差分模长、二阶状态差分模长、增量方向一致度、增量方向偏离量和潜空间状态模长；

23、一阶状态差分模长；

24、二阶状态差分模长；

25、增量方向一致度；

26、其中，t≥2，表示向量的转置，为避免分母为零的预设正数；

27、增量方向偏离量；

28、其中，表示参考方向单位向量，，表示历史平均增量方向，，k为历史反演步骤的索引变量，取值为k=1,2,…,t-1；

29、潜空间状态模长。

30、进一步地，所述轨迹特征监督序列，

31、其中，表示在第 t 个反演步骤对应位置的轨迹特征向量；

32、，。

33、进一步地，所述预测轨迹特征序列表示为：

34、，其中，表示在第 t 个反演步骤对应位置预测得到的轨迹特征向量，与一一对应。

35、进一步地，融合所述预测轨迹特征序列和所述训练图像的图像特征包括：

36、使用图像特征提取模块对训练图像进行编码，得到视觉特征令牌序列，其中，表示视觉特征令牌数量，表示特征维度；

37、对训练图像应用残差滤波器组提取高频噪声残差r，对r进行二维离散傅里叶变换得到频域响应张量f=|fft2(r)|，并通过频率编码器网络编码为频率域特征令牌序列，其中，表示频率域特征令牌数量，表示特征维度；

38、将预测轨迹特征序列 通过几何编码器映射为轨迹特征令牌序列；

39、以视觉特征令牌为查询，以轨迹特征令牌和频率域特征令牌为键和值，进行跨分支跨注意力计算，得到融合特征令牌；

40、融合特征令牌经全局平均池化后输入分类器，输出的真实性预测结果为伪造概率。

41、进一步地，所述分类损失定义为二元交叉熵：

42、；

43、其中，为分类损失，为第i个训练样本的真实性类别标签,其中伪造样本的标签为1,真实样本的标签为0 , 为所述分类器针对第i个训练样本输出的伪造概率。

44、进一步地，所述轨迹对齐损失定义为预测轨迹特征序列与所述轨迹特征监督序列之间的均方误差：

45、；

46、其中，为轨迹对齐损失，t为反演步数。

47、进一步地，总体损失函数定义为：

48、；

49、当提取频率域特征时，总体损失函数还包括频率信息损失及其权重系数，总体损失函数变为：

50、；

51、其中，为轨迹对齐损失的权重系数；

52、定义为频率分支辅助输出与真实标签之间的二元交叉熵：

53、；

54、其中，为频率分支辅助分类头针对第 i个训练样本输出的伪造概率。

55、与现有技术相比，本发明具有以下有益效果：

56、（1）本发明将扩散反演过程作为训练期的离线轨迹特征监督源，通过对训练图像执行多步骤扩散反演获得按步骤排列的潜空间状态张量序列，并将各步骤的潜空间状态张量之间的变化关系向量化后计算五类过程性轨迹几何特征，组成轨迹特征监督序列，弥补了终点残差方法对中间过程信息丢失的不足。

57、（2）本发明设置轨迹特征预测模块，根据待检测图像的图像特征直接预测与所述轨迹特征监督序列对应的预测轨迹特征序列，并根据所述预测轨迹特征序列与图像特征生成真实性检测结果。在推理阶段，无需调用扩散生成模型或执行多步骤扩散反演处理，从而减少扩散反演迭代和中间潜空间状态存储产生的计算开销。