一种提升DeepFake视频检测精度的方法与流程

技术特征：
1.提升deepfake视频检测精度的方法，其特征在于，包括步骤：对真实人脸视频及基于该真实人脸视频形成的伪造人脸视频分别解码，并按帧存储为不同的图像序列；对输入的伪造人脸图像序列逐个进行人脸检测；利用跟踪方法对人脸检测中提取的人脸检测框位置修正，保存修正后人脸检测框的位置；利用关键点检测算法提取修正后人脸检测框内人脸区域的关键点信息；利用修正后人脸检测框位置裁剪真实人脸图像序列中真实人脸视频中对应的真实人脸，构建soft label扩增数据；利用所述关键点信息，根据人脸对齐算法对裁剪的真实视频中的人脸进行人脸姿态矫正；图像序列遍历完成后，将真实人脸视频与伪造人脸视频中不同id人脸与soft label扩增后人脸分别存储，用于后续深度伪造鉴别模型训练。2.根据权利要求1所述提升deepfake视频检测精度的方法，其特征在于，所述根据人脸对齐算法进行人脸姿态矫正的步骤之后，包括步骤：利用人脸识别算法，判断人脸姿态矫正后的人脸图像是否为已知id序列，若是，则将该人脸图像加入对应的已知id序列，若否，则新建id序列。3.根据权利要求1或2所述提升deepfake视频检测精度的方法，其特征在于，所述构建soft label扩增数据，是将真实人脸与伪造人脸按权重进行不同比例融合，获得不同label,从而形成融合图像的不同soft labe，利用不同soft labe构建出多个融合图像，形成扩增数据；其中，融合图像表达如下：f
merge
＝weighf*f
fake
(1-weight)*f
real
f
merge
代表融合后的图像，f
fake
代表伪造人脸图像，f
real
代表真实人脸图像，weight表示伪造人脸权重，weight∈(0,1)。4.根据权利要求3所述提升deepfake视频检测精度的方法，其特征在于，所述利用跟踪方法对人脸检测中提取的人脸检测框位置修正，是通过优化跟踪算法的系统状态方程、先验协方差、系统协方差矩阵，将系统状态方程、先验协方差、系统协方差矩阵均设置为上三角矩阵进行跟踪实现的。5.根据权利要求4所述提升deepfake视频检测精度的方法，其特征在于，修正后的人脸检测框位置的表达如下：式中，表示t时刻的人脸的位置，x
t
,y
t
,w
t
,h
t
分别代表t时刻人脸检测框左上角坐标点、检测框的宽度以及高度，i为单位矩阵，k(t)表示人脸检测增益，表示t-1时刻的人脸的位置，x
t-1
,y
t-1
,w
t-1
,h
t-1
分别代表t-1时刻人脸检测框左上角坐标点、检测框的宽度以及高度，q`表示人脸检测系统协方差的转置。6.根据权利要求5所述提升deepfake视频检测精度的方法，其特征在于，所述的人脸检测增益k(t)表示如下：
式中，q表示人脸检测系统协方差，p表示人脸检测先验协方差，为常数。

技术总结
本发明公开一种提升DeepFake视频检测精度的方法，包括步骤：对真实人脸视频及对应的伪造人脸视频分别解码，按帧存储为不同图像序列；对伪造人脸图像序列逐个进行人脸检测；对人脸检测框位置修正，提取修正后人脸检测框内人脸区域关键点信息；用修正后人脸检测框位置裁剪真实人脸，构建Soft Label扩增数据，形成多个不同融合图像；对裁剪的真实人脸进行人脸姿态矫正；将真实人脸视频与伪造人脸视频中不同ID人脸与Soft Label扩增后人脸分别存储，用于后续模型训练。本发明通过人脸跟踪技术的使用可大幅缩减检测时间；通过用Soft Label进行数据扩增，可以让标签更为平滑，训练更容易收敛，最终提升模型性能。最终提升模型性能。最终提升模型性能。


技术研发人员：茹一伟 孙哲南 何召锋 李琦
受保护的技术使用者：天津中科智能识别有限公司
技术研发日：2022.10.19
技术公布日：2023/1/13