基于人脸特征协同与无监督学习的伪视频检测方法、系统

本发明属于视频检测，具体涉及一种基于人脸特征协同与无监督学习的伪视频检测方法、系统。

背景技术：

1、近年来，随着深度学习技术的迅猛发展，深度伪造技术日益成熟，其生成的虚假视频和图像在网络上广泛传播，对个人隐私安全、公共安全以及特定领域的关键安全架构造成了重大且复杂的威胁。深度伪造技术通过自编码器、生成对抗网络及扩散模型等先进手段，能够高度逼真地操纵和篡改人脸图像及视频内容，使得伪造内容几乎难以通过肉眼辨别真伪。这种技术的滥用不仅扰乱了社会秩序，误导公众舆论，还助长了网络诈骗、身份冒用等犯罪行为，对社会信任体系造成了严重冲击。

2、目前主流人脸伪造检测方法多为监督学习方案，需要人工逐帧标注海量人脸视频样本，而互联网海量视频、新型ai换脸伪造样本持续迭代，人工标注耗时耗力，且新型伪造数据难以快速获取标注标签，无法适配无标注真实业务场景。现有提取单一粒度人脸特征，只能捕捉微小像素篡改边缘或仅能识别全局人脸光照畸变，不能满足伪视频检测需要。此外，传统对比学习方法仅拉近同一张图像的增强视图，不能让真实人脸、伪造人脸在特征空间形成相互分离的独立簇，不具备区分真假人脸的能力，无法直接完成二分类检测。

技术实现思路

1、本发明的目的在于提供一种基于人脸特征协同与无监督学习的伪视频检测方法、系统，以解决现有伪视频检测依赖人工标注、特征提取单一、视频真伪分类检测精度低等问题。

2、为了实现上述目的，本发明的技术方案如下：

3、一种基于人脸特征协同与无监督学习的伪视频检测方法，包括以下步骤：

4、s1、获取含有伪造特征的视频帧样本，检测人脸区域并剪裁全尺寸帧，提取人脸区域内的底层、中级、深层三类多尺度特征细节并进行初步聚类；

5、s2、对初步聚类结果，基于样本到聚类中心的相对距离进行可靠性度量，划分高可信度样本、未知样本和离群点样本；对高可信度样本分配固定硬伪标签，对未知样本分配可动态调整的软伪标签，将离群点样本剔除，得到初始数据集；

6、s3、对初始数据集中的每个样本进行数据增强处理，通过不同数据增强方式对单一人脸样本生成多份差异化视图，构建包含正样本对、负样本对的对比学习数据集；将对比学习数据集中的单个样本依次经过卷积操作、两级残差可分离卷积操作、四级残差可分离卷积操作、卷积操作，逐步得到第四增强特征图；将第四增强特征图输入至并行卷积分支进行不同尺度的特征提取，得到多尺度特征；将多尺度特征进行拼接融合，得到多尺度判别特征；

7、其中两级残差可分离卷积执行一次下采样，提取中级特征；四级残差可分离卷积操作执行两次下采样，提取高层语义特征；

8、s4、将多尺度判别特征映射至对比学习特征空间，计算样本对之间的余弦相似度，通过自适应动态温度参数构建对比损失函数，基于损失函数反向优化学习参数，直至模型收敛，得到伪造特征对比学习模型；

9、s5、将待检测视频输入至伪造特征对比学习模型，得到对应视频帧的高维特征向量，基于高维特征向量计算相邻视频帧的特征相关性，进而计算每一类特征簇对应的帧间平均相关系数，将帧间平均相关系数小于预设阈值的特征簇判定为真实人脸簇，将将帧间平均相关系数不小于预设阈值的特征簇判定为伪造人脸簇。

10、优选的，自适应动态温度参数反向优化学习参数包括以下操作：

11、动态温度参数为可学习参数，在反向传播迭代过程中同步更新优化；所述动态温度参数用于缩放余弦相似度数值，平滑批次内样本相似度分布，自适应调节同类样本、异类样本的特征区分程度。

12、优选的，相邻视频帧的特征相关性计算：

13、设第

l帧特征向量为、第

l+1帧特征向量为，k为编码器输出特征总维度，逐维度对比两帧特征排序位次差值，通过以下公式计算第

l帧与第

l+1帧之间的斯皮尔曼相关系数：

14、。

15、优选的，划分为真伪两类特征簇：

16、将两类特征簇进行二元聚类，通过优化初始聚类中心选取策略，将单条视频全部帧的高维特征划分为两类独立特征簇。

17、优选的，可靠性度量采用以下方式：

18、可靠性度量方式为计算单样本到所属聚类中心的欧式相对距离；距离小于第一阈值的样本划分为高可信度样本并分配硬伪标签，距离介于第一、第二阈值之间的样本划分为未知样本并分配软伪标签，距离大于第二阈值的样本判定为离群点并直接剔除。

19、优选的，多尺度特征融合包括以下操作：

20、将多尺度特征沿通道维度拼接得到拼接特征图，采用1×1卷积对拼接特征图进行通道压缩与跨通道信息交互，再通过批量归一化和激活函数，输出维度统一的多尺度判别特征。

21、优选的，数据增强处理包括：

22、对初始数据集中图像进行裁剪、水平翻转、旋转、颜色抖动、随机灰度、随机擦除、双裁剪变换操作。

23、一种基于人脸特征协同与无监督学习的伪视频检测系统，包括以下模块：

24、聚类模块，获取含有伪造特征的视频帧样本，检测人脸区域并剪裁全尺寸帧，提取人脸区域内的底层、中级、深层三类多尺度特征细节并进行初步聚类；

25、可靠性度量模块，对初步聚类结果，基于样本到聚类中心的相对距离进行可靠性度量，划分高可信度样本、未知样本和离群点样本；对高可信度样本分配固定硬伪标签，对未知样本分配可动态调整的软伪标签，将离群点样本剔除，得到初始数据集；

26、多尺度特征提取模块，对初始数据集中的每个样本进行数据增强处理，通过不同数据增强方式对单一人脸样本生成多份差异化视图，构建包含正样本对、负样本对的对比学习数据集；将对比学习数据集中的单个样本依次经过卷积操作、两级残差可分离卷积操作、四级残差可分离卷积操作、卷积操作，逐步得到第四增强特征图；将第四增强特征图输入至并行卷积分支进行不同尺度的特征提取，得到多尺度特征；将多尺度特征进行拼接融合，得到多尺度判别特征；

27、其中两级残差可分离卷积执行一次下采样，提取中级特征；四级残差可分离卷积操作执行两次下采样，提取高层语义特征；

28、对比学习模块，将多尺度判别特征映射至对比学习特征空间，计算样本对之间的余弦相似度，通过自适应动态温度参数构建对比损失函数，基于损失函数反向优化学习参数，直至模型收敛，得到伪造特征对比学习模型；

29、检测输出模块，将待检测视频输入至伪造特征对比学习模型，得到对应视频帧的高维特征向量，基于高维特征向量计算相邻视频帧的特征相关性，进而计算每一类特征簇对应的帧间平均相关系数，将帧间平均相关系数小于预设阈值的特征簇判定为真实人脸簇，将将帧间平均相关系数不小于预设阈值的特征簇判定为伪造人脸簇。

30、优选的，对比学习模块包括：

31、动态参数调整模块，动态温度参数为可学习参数，在反向传播迭代过程中同步更新优化；所述动态温度参数用于缩放余弦相似度数值，平滑批次内样本相似度分布，自适应调节同类样本、异类样本的特征区分程度。

32、优选的，检测输出模块包括：

33、计算模块，设第

l帧特征向量为、第

l+1帧特征向量为，k为编码器输出特征总维度，逐维度对比两帧特征排序位次差值，通过以下公式计算第

l帧与第

l+1帧之间的斯皮尔曼相关系数：

34、。

35、采用本发明提供的技术方案，与现有技术相比，具有如下有益效果：

36、根据硬伪标签和软伪标签构建真实人脸样本损失函数和伪造人脸样本损失函数，设计自适应学习的动态温度参数调节样本间相似度分布，通过样本对在学习特征空间内形成独立特征簇，从而无需依赖人工标注数据，有效降低数据构建成本；

37、采用卷积、残差等特征提取方式，提取具有不同细粒度的多尺度人脸特征，捕捉多尺度面部伪造信息，从而有效提升人脸检测的精度；

38、通过优化初始聚类中心选取策略，结合斯皮尔曼相关系数计算帧间特征相似度，利用真实视频、伪造视频的帧间特征波动差异完成真伪判定，进一步提升检测的准确率。