一种深度伪造检测方法、装置及介质与流程

本技术属于计算机视觉，尤其涉及一种深度伪造检测方法、装置及介质。

背景技术：

1、随着深度学习技术的发展，以生成对抗网络、扩散模型为代表的深度伪造（deepfake）技术能够生成高度逼真的人脸图像或视频，在影视制作、虚拟现实、数字娱乐等领域展现出广阔的应用前景。然而，深度伪造技术在降低内容创作门槛的同时，也使视频/图像的真实性鉴别变得日益困难。为了避免虚假内容未经甄别地传播，可对人脸视频或图像进行深度伪造检测，以从海量视频内容中识别出经过生成或篡改的人脸区域。

2、目前，一般基于深度学习训练分类神经网络模型，对人脸视频或图像进行深度伪造检测，以判断人脸视频或图像为真实还是伪造。但是，这种方式容易受到不同深度伪造方法和视频内容分布特性的影响，当面对训练集中未出现的新型伪造方法时，模型因依赖深度伪造方法特定指纹作为判别线索而难以有效泛化，深度伪造检测的可靠性差。

技术实现思路

1、本技术实施例提供了一种深度伪造检测方法、装置及介质，能够提高深度伪造检测的可靠性。

2、第一方面，本技术实施例提供一种深度伪造检测方法，包括：

3、根据目标视频中相邻视频帧的差异，确定各所述视频帧的帧间变化强度；

4、根据所述帧间变化强度，从各视频帧中筛选出至少一个目标帧；

5、将所述目标帧输入至训练完成的深伪检测模型，通过所述深伪检测模型中两个卷积映射分支对所述目标帧进行通用伪造特征和专属伪造特征的拆分，并根据所述通用伪造特征，确定帧级检测结果；其中，所述通用伪造特征表征不同伪造方法在生成伪造图时共有的伪造痕迹，所述专属伪造特征表征不同伪造方法在生成伪造图时各自专属的伪造痕迹；

6、根据所述至少一个目标帧的所述帧级检测结果，确定所述目标视频的视频级检测结果。

7、在一个可以实现的实施方式中，确定所述目标视频中各视频帧的帧间变化强度，包括：

8、按照预设的采样倍率，对所述目标视频进行粗采样，得到多个所述视频帧；

9、针对每个所述视频帧，根据预设的多尺度分辨率，对该视频帧进行缩放；

10、针对每个所述视频帧，根据各分辨率下该视频帧与其相邻视频帧的差异，确定该视频帧的所述帧间变化强度。

11、在一个可以实现的实施方式中，针对每个所述视频帧，根据各分辨率下该视频帧与其相邻视频帧的差异，确定该视频帧的所述帧间变化强度，包括：

12、针对每个所述视频帧，分别执行如下步骤：

13、识别该视频帧中的感兴趣区域，并确定各分辨率下所述感兴趣区域在该视频帧与其相邻视频帧中的局部差异值；

14、确定各分辨率下该视频帧与其相邻视频帧的全局差异值；

15、根据所述全局差异值和所述局部差异值，确定该视频帧的所述帧间变化强度。

16、在一个可以实现的实施方式中，根据所述全局差异值和所述局部差异值，确定所述视频帧的所述帧间变化强度，包括：

17、根据所述全局差异值和所述局部差异值，确定该视频帧的目标差异值；

18、根据该视频帧的图像质量指标得分，确定质量权重，所述图像质量指标得分包括清晰度得分、亮度得分、曝光得分和纯色惩罚得分中至少一个；

19、将所述质量权重与所述目标差异值的乘积，作为该视频帧的所述帧间变化强度。

20、在一个可以实现的实施方式中，根据该视频帧的图像质量指标得分，确定质量权重，包括：

21、根据该视频帧的图像清晰程度，确定清晰度得分；

22、根据该视频帧的灰度均值相对于理想亮度值的偏差，确定亮度得分；

23、根据该视频帧中处于过暗状态和过曝状态的像素占比，确定曝光得分；

24、根据该视频帧的灰度方差与预设纯色阈值的比较结果，确定纯色惩罚得分，所述纯色惩罚得分在所述灰度方差小于所述预设纯色阈值时为第一纯色得分，在所述灰度方差不小于所述预设纯色阈值时为第二纯色得分，所述第一纯色得分小于所述第二纯色得分；

25、根据所述清晰度得分、所述亮度得分以及所述曝光得分，确定第一质量得分；

26、将所述纯色惩罚得分与所述第一质量得分的乘积，作为第二质量得分；

27、根据预设的保底权重以及所述第二质量得分，确定所述质量权重。

28、在一个可以实现的实施方式中，在将所述目标帧输入至训练完成的深伪检测模型，通过所述深伪检测模型中两个卷积映射分支对所述目标帧进行通用伪造特征和专属伪造特征的拆分，并根据所述通用伪造特征，确定帧级检测结果之前，所述方法还包括：

29、获取多个图像样本、所述图像样本的真实真假标签以及真实深伪类型标签，所述图像样本包括真实样本和伪造样本，所述真实深伪类型标签表征所述伪造样本所属的伪造方法类别；

30、通过预设的伪造特征编码器提取所述图像样本的样本伪造特征；

31、通过预设的伪造特征分解模块将所述样本伪造特征拆分为通用伪造特征和专属伪造特征，所述伪造特征分解模块包括由两个卷积映射分支构成；

32、根据所述通用伪造特征，通过预设的通用分类头，确定预测真假标签；

33、根据所述专属伪造特征，通过预设的特定分类头，确定预测深伪类型标签；

34、根据所述预测真假标签与所述真实真假标签的差异以及所述预测深伪类型标签与所述真实深伪类型标签的差异，确定总损失；

35、以所述总损失最小化为目标，迭代更新所述伪造特征编码器、所述伪造特征分解模块、所述通用分类头以及所述特定分类头，直至达到预设收敛条件为止，将训练完成的所述伪造特征编码器、所述伪造特征分解模块以及所述通用分类头，作为所述深伪检测模型。

36、在一个可以实现的实施方式中，在根据所述预测真假标签与所述真实真假标签的差异以及所述预测深伪类型标签与所述真实深伪类型标签的差异，确定总损失之前，所述方法还包括：

37、通过预设的内容特征编码器提取所述图像样本的内容特征；

38、将所述图像样本的所述通用伪造特征与所述专属伪造特征进行拼接，得到重建伪造特征；

39、根据所述重建伪造特征以及所述内容特征，生成自重建图像；

40、根据第一图像样本的所述重建伪造特征以及第二图像样本的所述内容特征，生成交叉重建图像；

41、所述根据所述预测真假标签与所述真实真假标签的差异以及所述预测深伪类型标签与所述真实深伪类型标签的差异，确定总损失，包括：

42、根据所述自重建图像与所述图像样本的差异以及所述交叉重建图像与所述第二图像样本的差异，确定重建损失；

43、根据所述预测真假标签与所述真实真假标签的差异、所述预测深伪类型标签与所述真实深伪类型标签的差异以及所述重建损失，确定所述总损失。

44、在一个可以实现的实施方式中，在根据所述预测真假标签与所述真实真假标签的差异以及所述预测深伪类型标签与所述真实深伪类型标签的差异，确定总损失之前，所述方法还包括：

45、根据所述真实真假标签一致的所述图像样本，构建第一正样本对，以及根据所述真实真假标签不一致的所述图像样本，构建第一负样本对；

46、根据所述真实深伪类型标签不一致的所述图像样本，构建第二正样本对，根据所述真实深伪类型标签一致的所述图像样本，构建第二负样本对；

47、将所述通用伪造特征和所述专属伪造特征映射到对比学习空间，得到通用伪造向量和特定伪造向量；

48、所述根据所述预测真假标签与所述真实真假标签的差异以及所述预测深伪类型标签与所述真实深伪类型标签的差异，确定总损失，包括：

49、根据所述第一正样本对中所述通用伪造向量的差异以及所述第一负样本对中所述通用伪造向量的差异，确定第一约束损失；

50、根据所述第二正样本对中所述通用伪造向量的差异以及所述第二负样本对中所述通用伪造向量的差异，确定第二约束损失；

51、根据所述图像样本的所述通用伪造向量和所述特定伪造向量的差异，确定第三约束损失；

52、根据所述第一约束损失、所述第二约束损失以及所述第三约束损失，确定对比约束损失；

53、根据所述预测真假标签与所述真实真假标签的差异、所述预测深伪类型标签与所述真实深伪类型标签的差异以及所述对比约束损失，确定所述总损失。

54、第二方面，本技术实施例提供了一种深度伪造检测装置，所述装置包括：

55、帧间差异模块，用于根据目标视频中相邻视频帧的差异，确定各所述视频帧的帧间变化强度；

56、目标帧筛选模块，用于根据所述帧间变化强度，从各视频帧中筛选出至少一个目标帧；

57、帧级检测模块，用于将所述目标帧输入至训练完成的深伪检测模型，通过所述深伪检测模型中两个卷积映射分支对所述目标帧的伪造特征进行拆分，得到所述目标帧的通用伪造特征和专属伪造特征，并根据所述通用伪造特征，确定帧级检测结果；其中，所述通用伪造特征表征不同伪造方法在生成伪造图时共有的伪造痕迹，所述专属伪造特征表征不同伪造方法在生成伪造图时各自特定的伪造痕迹；

58、视频级检测模块，用于根据所述至少一个目标帧的所述帧级检测结果，确定所述目标视频的视频级检测结果。

59、第三方面，本技术实施例提供了一种深度伪造检测设备，设备包括：处理器，以及存储有计算机程序指令的存储器；所述处理器读取并执行所述计算机程序指令，以实现上述任意一项深度伪造检测方法。

60、第四方面，本技术实施例提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述任意一项深度伪造检测方法。

61、第五方面，本技术实施例提供了一种计算机程序产品，计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备执行上述任意一项深度伪造检测方法。

62、本技术实施例的一种深度伪造检测方法、装置、介质、设备及产品，能够根据目标视频中相邻视频帧的差异确定视频帧的帧间变化强度，并根据帧间变化强度从各视频帧中筛选出至少一个目标帧，使检测资源聚焦于变化显著的视频片段；通过深伪检测模型中两个卷积映射分支对目标帧进行通用伪造特征和专属伪造特征的拆分，使通用伪造特征能够表征不同伪造方法在生成伪造图时共有的伪造痕迹，专属伪造特征能够表征不同伪造方法在生成伪造图时各自专属的伪造痕迹，实现跨伪造方法共有的物理痕迹与各深度伪造方法独有指纹的解耦；根据通用伪造特征确定帧级检测结果，使模型判别依据聚焦于不同伪造方法共有的伪造痕迹，从而提高了深度伪造检测的可靠性。