一种光流引导空间对齐的人脸伪造检测方法和系统

本发明涉及图像处理，特别涉及一种光流引导空间对齐的人脸伪造检测方法和系统。

背景技术：

1、随着生成式人工智能技术的快速发展，人脸伪造的手段和形式不断演化。生成对抗网络、扩散模型和神经渲染等新型生成技术的出现，使得大量虚假的人脸图像和视频在视觉外观上达到以假乱真的程度，尤其在视频场景下，高保真深度伪造内容已能够在单帧画质、纹理细节和面部表情等方面逼近真实水平。此类技术一旦被恶意利用，将直接威胁人脸身份认证和网络视频内容的真实性，进而带来身份冒用、舆论误导和电信诈骗等安全风险。

2、为此，人脸伪造检测技术应运而生，旨在准确判断人脸图像或视频的真伪。已有方法通常从单帧纹理异常、频域统计特性、局部伪影或光流运动特征等角度挖掘伪造线索，在特定数据集和特定伪造类型上取得了一定的性能提升。然而，此类方法大多仍依赖于伪造生成器自身遗留的低质量输出痕迹。随着高保真人脸伪造技术的不断发展，此类痕迹日益微弱，使得现有检测方法在面对新型伪造手段时性能明显下降，难以稳定迁移。

3、进一步地，现有检测方法大多仅聚焦于独立的空间特征或时序特征进行建模，往往忽略了人脸帧间运动与空间篡改痕迹之间所固有的强关联物理属性，难以充分挖掘伪造样本在运动与空间维度上的深层关联缺陷，导致其在面对新型伪造手段时泛化能力受限。

4、事实上，人脸帧间运动与空间纹理结构之间的物理关联，可借助光流加以刻画：在真实场景下，连续人脸帧的空间像素位移与光流所表征的运动趋势具有内在一致性，帧间人脸结构呈现严格的运动连续性；而伪造人脸视频由于逐帧生成或局部篡改，常在帧间运动一致性与空间纹理结构之间产生难以察觉的割裂。因此，相较于仅从单一维度挖掘伪造痕迹，如何借助光流所承载的帧间运动信息，充分挖掘其与空间结构之间的关联性，进而刻画伪造样本的本质缺陷，成为提升人脸伪造检测泛化能力的关键问题。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提供一种光流引导空间对齐的人脸伪造检测方法和系统，旨在以连续人脸帧之间的运动一致性为约束，通过光流引导的空间对齐建立帧间运动信息与空间纹理特征之间的关联，并在此基础上估计输入样本在运动与空间维度上的伪造痕迹，进而实现具有高度泛化性的人脸伪造检测。

2、为解决上述技术问题，本发明是采用下述技术方案实现的：

3、第一方面，本发明提供一种光流引导空间对齐的人脸伪造检测方法，包括：

4、将待检测真伪的连续三帧人脸图像输入至训练好的检测模型进行伪造检测，得到检测结果；

5、所述伪造检测包括：

6、利用预处理与光流提取模块对所述待检测的连续三帧人脸图像进行预处理，得到预处理后连续三帧人脸图像，并基于预处理后连续三帧人脸图像计算得到双向光流场；

7、利用时序运动校验模块对所述双向光流场进行运动平滑性校验，生成表征伪造风险的连续运动误差，并生成时序基础特征；

8、根据所述预处理后连续三帧人脸图像、双向光流场和连续运动误差，利用光流引导空间对齐模块生成空间基础特征；

9、利用渐进式时空融合模块对所述时序基础特征和空间基础特征进行多尺度分级融合，得到时空联合伪造特征；

10、根据所述时空联合伪造特征，利用分类器生成检测结果。

11、可选的，所述预处理与光流提取模块包括预处理单元和raft-lite模型；

12、所述预处理单元用于对所述待检测的连续三帧人脸图像进行人脸检测、关键点定位、刚性对齐、裁剪缩放与像素归一化，得到预处理后连续三帧人脸图像；

13、所述raft-lite模型用于根据所述预处理后连续三帧人脸图像，计算得到双向光流场；

14、所述双向光流场包括第一前向光流场、第二前向光流场、第一反向光流场和第二反向光流场。

15、可选的，所述连续运动误差通过如下公式得到：

16、，

17、，

18、，

19、其中，表示第帧到第帧的逐像素运动速度场，表示预处理后连续三帧人脸图像的第一前向光流场，表示像素水平位移，表示像素垂直位移，表示第一前向光流场的像素水平位移，表示第一前向光流场的像素垂直位移，表示第帧到第帧的逐像素运动速度场，表示预处理后连续三帧人脸图像的第二前向光流场，表示第二前向光流场的像素水平位移，表示第二前向光流场的像素垂直位移，表示连续运动误差；

20、所述时序基础特征通过如下公式得到：

21、

22、其中，表示时序基础特征，表示由一组堆叠的卷积层构成的第一编码器。

23、可选的，所述光流引导空间对齐模块包括坐标对齐单元、特征拼接单元、注意力加权单元和第二编码器；

24、所述坐标对齐单元用于根据所述双向光流场，通过复用warp操作将所述预处理后连续三帧人脸图像的第一帧和第三帧对齐至中间帧的基准坐标系，得到对齐后三帧人脸图像；

25、所述特征拼接单元用于将对齐后三帧人脸图像沿通道维度拼接，输出多帧联合空间特征图；

26、所述注意力加权单元用于根据所述连续运动误差生成伪造区域注意力掩码，并基于所述伪造区域注意力掩码对多帧联合空间特征图进行逐通道加权，得到加权增强后的特征图；

27、所述第二编码器用于对所述加权增强后的特征图进行特征提取，输出空间基础特征；其中，所述第二编码器由一组堆叠的卷积层构成。

28、可选的，所述对齐后三帧人脸图像通过如下公式得到：

29、，

30、，

31、，

32、其中，表示对齐后三帧人脸图像的第一帧，表示对齐后三帧人脸图像的第三帧，表示对齐后三帧人脸图像的第二帧，表示预处理后连续三帧人脸图像的第一帧，表示预处理后连续三帧人脸图像的第三帧，表示预处理后连续三帧人脸图像的第二帧，表示预处理后连续三帧人脸图像的第一前向光流场，表示预处理后连续三帧人脸图像的第二前向光流场；

33、所述多帧联合空间特征图通过如下公式得到：

34、，

35、其中，表示多帧联合空间特征图，表示拼接操作；

36、所述加权增强后的特征图通过如下公式得到：

37、，

38、，

39、其中，表示加权增强后的特征图，表示逐元素相乘操作，表示伪造区域注意力掩码，表示sigmoid激活函数，表示连续运动误差；

40、所述空间基础特征通过如下公式得到：

41、，

42、其中，表示空间基础特征，表示第二编码器。

43、可选的，所述渐进式时空融合模块包括像素级融合单元和通道级融合单元；

44、所述像素级融合单元用于对所述时序基础特征与空间基础特征进行像素级自适应加权相加，得到像素级融合特征；

45、所述通道级融合单元利用卷积模块将所述像素级融合特征映射至高维特征空间，得到高维像素级融合特征，并通过通道注意力模块生成所述高维像素级融合特征的通道权重向量，最后基于通道权重向量对所述高维像素级融合特征进行逐通道加权增强，得到时空联合伪造特征；其中，所述卷积模块包括两层3×3卷积、批归一化层和relu激活函数。

46、可选的，所述像素级融合特征通过如下公式得到：

47、，

48、，

49、其中，表示像素级融合特征，表示像素级可学习自适应融合权重张量，表示时序基础特征，表示空间基础特征，⊙表示逐元素相乘操作，表示1×1卷积操作，表示拼接操作，表示sigmoid激活函数；

50、所述高维像素级融合特征通过如下公式得到：

51、，

52、其中，表示高维像素级融合特征，表示卷积模块操作；

53、所述高维像素级融合特征的通道权重向量通过如下公式得到：

54、，

55、，

56、，

57、其中，表示高维像素级融合特征的通道权重向量，表示共享权重的两层全连接网络，表示均值描述子，表示通道维度上的全局平均池化操作，表示最大值描述子，表示通道维度上的全局最大池化操作；

58、所述时空联合伪造特征通过如下公式得到：

59、，

60、其中，表示时空联合伪造特征，⊙表示逐元素相乘操作。

61、可选的，所述分类器包括1个全连接层和sigmoid激活函数。

62、可选的，所述检测模型的训练过程包括：

63、基于预构建的训练集对预构建的检测模型进行迭代更新训练，达到预设的训练停止条件时，将交叉熵损失最小化的模型参数加载至预构建的检测模型，得到训练好的检测模型；其中，训练集中的每个样本为真实或通过现有伪造技术生成的连续三帧人脸图像，每个样本的真实标签取值为0或1，0表示真实人脸，1表示伪造人脸；

64、单次迭代更新训练包括：

65、利用所述检测模型生成训练集中的每个样本的检测结果；

66、根据所述每个样本的检测结果和样本的真实标签，计算交叉熵损失；

67、根据所述交叉熵损失，利用梯度下降法对所述检测模型的模型参数进行更新。

68、第二方面，本发明提供一种光流引导空间对齐的人脸伪造检测系统，包括：

69、检测模块，用于将待检测真伪的连续三帧人脸图像输入至训练好的检测模型进行伪造检测，得到检测结果；

70、预处理与光流提取模块，用于对所述待检测的连续三帧人脸图像进行预处理，得到预处理后连续三帧人脸图像，并基于预处理后连续三帧人脸图像计算得到双向光流场；

71、时序运动校验模块，用于对所述双向光流场进行运动平滑性校验，生成表征伪造风险的连续运动误差，并生成时序基础特征；

72、光流引导空间对齐模块，用于根据所述预处理后连续三帧人脸图像、双向光流场和连续运动误差，生成空间基础特征；

73、渐进式时空融合模块，用于对所述时序基础特征和空间基础特征进行多尺度分级融合，得到时空联合伪造特征；

74、分类器模块，用于根据所述时空联合伪造特征，生成检测结果。

75、与现有技术相比，本发明所达到的有益效果：

76、1、预处理与光流提取模块借助连续三帧人脸图像计算双向光流场，时序运动校验模块通过运动平滑性校验过滤自然运动噪声，生成表征伪造风险的连续运动误差与时序基础特征；光流引导空间对齐模块借助双向光流场完成三帧人脸空间坐标系统一，结合连续运动误差实现伪造区域注意力加权增强，消除自然运动对空间伪影检测的干扰，实现时序运动信息对空间特征提取的全流程引导；渐进式时空融合模块利用多尺度分级融合机制实现时序特征与空间特征的跨分支深度信息交互，达成时空分支的深度耦合；

77、2、能够有效检测高保真深度伪造视频中运动一致性与空间篡改痕迹之间的本质割裂，提高未知伪造类型和跨数据集场景下的人脸伪造检测准确性与泛化能力，可广泛应用于视频伪造检测、司法视频取证以及金融身份核验等场景。