一种基于编码域特征分析的深度伪造视频转码检测方法

本发明涉及视频取证，尤其涉及一种基于编码域特征分析的深度伪造视频转码检测方法。

背景技术：

1、随着生成式媒体技术的飞速发展，深度伪造视频在视觉上越来越难以与真实视频区分。在此背景下，为提升视频伪造检测的准确性，传统技术通常采用被动取证方案，主要涵盖基于频域滤波残差的检测、基于噪声感知的检测以及基于语义特征分析的检测等技术手段。

2、基于频域滤波残差的检测技术在运行过程中，通过对视频帧进行频域变换并提取滤波残差特征，利用深度伪造内容在高频成分上的异常实现真伪判别。但由于该方法仅关注单一频域特征，难以有效捕捉视频帧中多层次的结构信息，在面对经过转码处理的伪造视频时，其检测性能存在明显下降；基于噪声感知的检测则从视频的噪声分布特性出发，通过分析伪造区域与真实区域在噪声模式上的差异进行检测。然而，转码操作会引入额外的量化噪声和编码失真，使得伪造痕迹与转码痕迹相互交织，导致该类方法的泛化能力受到显著影响；基于语义特征分析的方案虽能够利用深度语义信息识别部分伪造内容，但该方法主要依赖像素域或语义域特征，难以稳定追踪视频的编码历史和编辑痕迹。此外，上述检测方法均以单一特征域为分析基础，当伪造视频经过avc到hevc等跨编码标准转码后，视频的空域和频域痕迹均会发生显著改变，即便伪造区域在视觉上仍保持异常，检测模型也难以从被转码破坏的特征中有效提取伪造线索，难以保障对深度伪造视频的持续稳定检测。

3、在实际应用场景中，深度伪造视频的传播往往伴随多次转码操作，转码过程中hevc编码的帧内预测模式和量化残差包含可追踪的编码域信息，且亮度分量和色度分量的内预测模式均可反映转码痕迹。然而，传统的深度伪造检测方案一旦确定特征提取方式便难以更改，所有检测任务均采用统一特征进行处理。这使得检测方法无法充分利用编码域中转码操作留下的稳定痕迹，也无法有效区分深度伪造区域的高频残差异常与转码引入的编码失真，从而导致检测方法在转码场景下的适用性和鲁棒性存在明显不足。

技术实现思路

1、本发明的目的是为了解决现有技术中存在的缺点,而提供了一种基于编码域特征分析的深度伪造视频转码检测方法，包括以下步骤：

2、s1：获取待检测视频，对所述待检测视频进行解码和编码域解析，得到视频帧序列、各视频帧的亮度分量和色度分量、hevc帧内预测模式信息、变换单元划分信息以及量化残差系数；

3、s2：根据所述hevc帧内预测模式信息和变换单元划分信息，分别构建亮度内预测特征图和色度内预测特征图，所述亮度内预测特征图和所述色度内预测特征图保留对应分量的帧内预测模式数值及其空间分布信息；

4、s3：根据所述量化残差系数构建量化残差特征图，以表征视频帧中高频量化残差的空间分布与局部能量变化；

5、s4：将所述亮度内预测特征图和所述色度内预测特征图分别输入双流网络的亮度通路和色度通路，提取亮度编码域特征和色度编码域特征；

6、s5：将所述量化残差特征图输入残差编码及注意力处理模块，生成残差量化注意力图，并将所述残差量化注意力图融合至亮度通路和色度通路的空间注意力特征中，以对深度伪造区域相关的编码域特征进行加权；

7、s6：对加权后的亮度编码域特征和色度编码域特征进行分类，并通过可学习权重进行线性融合，得到当前视频帧属于转码类别的帧级转码概率；

8、s7：对同一待检测视频的若干个视频帧的帧级转码概率进行视频级集成，得到视频级转码概率；

9、s8：根据所述视频级转码概率与预设检测阈值的比较结果，输出所述待检测视频是否为经过转码的深度伪造视频的检测结果。

10、优选地，在步骤s1中，获取待检测视频并进行编码域信息解析，包括：

11、s11：读取待检测视频的hevc码流，解析序列参数集、图像参数集、帧类型信息、变换单元划分信息、亮度帧内预测模式和色度帧内预测模式；

12、s12：根据所述变换单元划分信息确定各帧内预测模式对应的空间区域，并将所述帧内预测模式、变换单元位置及视频帧坐标映射至统一的特征图坐标系；

13、s13：提取各变换单元对应的量化残差系数及量化参数，并按视频帧时间顺序排列所述帧内预测模式信息和量化残差系数；

14、s14：对编码域信息与解码得到的视频帧进行帧级对齐，使每一视频帧的亮度内预测特征图、色度内预测特征图和量化残差特征图相互对应。

15、优选地，在步骤s2中，构建亮度内预测特征图和色度内预测特征图，包括：

16、获取亮度分量和色度分量各变换单元的帧内预测模式索引pm；

17、通过预设映射函数将pm映射为特征值，不同帧内预测方向对应不同特征值，且相邻帧内预测模式索引的特征值差异按照预设规则进行归一化；

18、按变换单元的空间边界将所述特征值填充至对应区域，形成与视频帧空间位置对应的亮度内预测特征图或色度内预测特征图；

19、当所述色度分量的预测模式缺失或为共享模式时，采用预设填充值填充对应区域；

20、对所述亮度内预测特征图和所述色度内预测特征图进行尺寸归一化，以满足双流网络输入通道的尺寸要求。

21、优选地，在步骤s3中，构建量化残差特征图，包括：

22、根据变换域残差系数和量化矩阵计算各变换单元的量化残差系数；

23、按预设块尺寸对量化残差系数进行分块，并根据各分块中量化残差系数在变换域中的频率位置确定高频残差系数；

24、将绝对值大于预设高频阈值的高频残差系数确定为目标残差系数，并计算各分块内目标残差系数的平方和，得到高频残差能量；利用滑动窗口计算所述高频残差能量的局部均值和局部方差，获得表征残差不均匀性的残差统计量；

25、对所述残差统计量进行归一化和空间重采样，生成与亮度内预测特征图空间对齐的量化残差特征图。

26、优选地，构建量化残差特征图还包括：

27、利用滑动窗口计算高频残差能量的局部梯度，提取残差能量的空间突变特征；

28、根据所述空间突变特征生成转码敏感度权重，并对所述残差统计量进行加权修正，以增强由重编码引入的残差不均匀性的表示，从而表征视频转码过程中的高频残差特性。

29、优选地，在步骤s4中，双流网络的亮度通路和色度通路均包括激活卷积模块、表征模块和分类模块，包括：

30、将亮度内预测特征图输入亮度通路激活卷积模块，色度内预测特征图输入色度通路激活卷积模块；

31、所述亮度通路激活卷积模块采用第一卷积核，色度通路激活卷积模块采用第二卷积核，且两卷积核尺寸不同；

32、对卷积输出依次执行批归一化和silu激活，以增强帧内预测模式空间分布的非线性表达能力；

33、通过逐点卷积调整输出通道数，并将调整后的特征分别输入对应的表征模块。

34、优选地，在步骤s5中，生成残差量化注意力图并进行融合，包括：

35、将量化残差特征图输入残差编码器，通过卷积、归一化和非线性激活进行多尺度编码，获得残差编码特征；

36、将所述残差编码特征输入残差注意力单元，分别计算残差编码特征在空间位置维度和通道维度上的响应；

37、根据空间位置响应生成残差空间注意力图，根据通道响应生成残差通道注意力图，并将二者融合得到残差量化注意力图；

38、调整所述残差量化注意力图至与待加权特征尺寸和通道数匹配，并与空间-通道混合双注意力中的空间注意力分支加权融合；

39、将融合后的空间注意力输入表征模块，以增强深度伪造区域相关编码域特征的响应。

40、优选地，表征模块包括fused atmbconv模块，包括：

41、对输入特征执行逐点卷积以调整通道维度；

42、对逐点卷积输出执行深度卷积以提取空间局部特征；

43、将深度卷积输出分别输入通道se分支和空间注意力分支，获得通道校准权重和空间校准权重；

44、将所述残差量化注意力图与空间校准权重融合，得到融合空间权重；

45、利用通道校准权重和融合空间权重对深度卷积输出进行联合加权；

46、对加权特征执行逐点卷积，并通过dropout进行正则化；

47、将正则化特征与输入特征残差连接，得到经残差量化注意力校准的高维特征。

48、优选地，在步骤s6中，对亮度编码域特征和色度编码域特征进行分类及线性融合，包括：

49、对亮度通路和色度通路的高维特征分别执行逐点卷积、全局平均池化和全连接，得到各自的帧级分类概率；

50、为两通路分别配置预先训练的融合权重并进行归一化；

51、按归一化权重对两通路帧级分类概率加权求和，获得帧级转码概率。

52、优选地，进行视频级集成并输出检测结果，包括：

53、按预设采样间隔从同一视频选取n个帧，获得n个帧级转码概率；对n个帧级转码概率进行平均或加权平均，加权依据包括帧的时间位置、帧类型及置信度；

54、剔除帧级概率低于预设置信度的异常帧，或对异常帧重新采样检测；

55、将处理后的帧级概率进行视频级集成，得到视频级转码概率，并与预设视频级检测阈值比较；

56、若视频级转码概率大于或等于所述阈值，则输出待检测视频为经过转码的深度伪造视频；否则输出所述待检测视频为非转码视频。

57、与现有技术相比，本发明的有益效果是：

58、（1）本发明通过获取待检测视频并解析其编码域信息，根据hevc帧内预测模式信息和变换单元划分信息分别构建亮度内预测特征图和色度内预测特征图，实现从编码域中提取与转码操作相关的稳定痕迹，利用亮度分量和色度分量对转码痕迹的互补表达能力，在不同转码参数和编码器下均能保持检测的稳定性。

59、（2）本发明通过根据量化残差系数构建量化残差特征图，将所述量化残差特征图输入残差编码及注意力处理模块，生成残差量化注意力图并融合至双流网络的空间注意力特征中，实现对深度伪造区域相关编码域特征的加权，使网络在表征阶段能够重点关注深度伪造区域的高频残差异常，从而增强对伪造区域转码痕迹的表达能力，有效区分转码引入的编码失真与伪造区域固有痕迹。

60、（3）本发明通过对加权后的亮度编码域特征和色度编码域特征进行分类，并通过可学习权重进行线性融合，得到帧级转码概率，进而对同一视频的多个帧级转码概率进行视频级集成，根据集成结果与预设阈值的比较输出检测结果，实现将单帧检测概率汇聚为视频级检测结论，充分利用整段视频的多帧证据，降低单帧不确定性对最终判断的影响，从而提升检测的准确性和鲁棒性。