基于面部动作单元强度曲线相似值的伪造视频检测方法

1.本发明属于伪造视频人脸检测技术领域，具体是一种基于面部动作单元强度曲线相似值的伪造人脸检测方法。


背景技术：

2.随着深度伪造技术的深入研究，网络上出现了越来越多开源的伪造软件和商业应用，主要分为两类：一类是以faceswap为代表的在github网站上开源的伪造项目；另一类是商业化的app，提供换脸、表情交换或者属性篡改等功能。其中“一键式”的商业化app使得伪造人脸视频的制作门槛大大降低，只需用户上传图形或视频即可完成伪造人脸视频制作，且伪造效果十分逼真，在人眼的观察下难以区分辨别。由于伪造人脸视频具有高度欺骗性及其引发的一系列社会问题，所以深度伪造视频的检测技术的深入研究变得愈发重要紧迫。
3.当前主流的深度伪造视频检测判断技术分为以下四类：基于具体伪影的视觉深度伪造检测，基于数据驱动的视觉深度伪造检测，基于信息不一致的视觉深度伪造检，其他类型视觉深度造检测。虽然上述检测方法在针对伪造视频生成过程中，由于伪造技术缺陷而产生伪造痕迹的伪造人脸视频中检测效果不错，但是随着深度伪造检测技术的发展，深度伪造生成技术也会相应地改进，未来的伪造人脸视频与原始视频在视觉上的区别在于人脸不同，而脸部动作、头部姿态、眼神光等特征将基本保持一致性，同时伪造技术缺陷产生的伪造痕迹将减少，过去检测方法的检测效果也将会降低。因此针对脸部动作等生物特征信息的伪造人脸视频检测判断将会是未来的研究方向之一。
4.胡晓瑞等人在文章《基于面部动作编码系统的表情生成对抗网络》(文章[1])中提出了一种创新的人脸表情合成方法，通过控制表示不同面部动作单元激活程度的一维目标条件向量，对输入的单张人脸图像，在保持图中人物信息和其他部分不变的情况下只改变目标条件向量对应部位纹理，生成与目标表情编码一致的人脸图像。
[0005]
yuming gu等人在文章《agarwal protecting world leaders against deep fakes cvprw 2019paper》(文章[2])中提到，不同个体讲话时，会表现出相对不同的面部和头部运动模式，因此利用面部动作编码系统，提取不同个体讲话时的面部动作单元的强度、频率特征，将这些特征导入svm中，让分类器学习不同人的特征范围，从而在检测待测视频时，查看待测视频的此类特征在哪一人的特征范围内，再判断是否与待测视频中的人物为同一人，进而判断出是否伪造人脸视频。但是该方法需要原始视频数据集足够大，才可划分个人特征范围，实现检测伪造视频，即该方法的局限在于不适用原始数据集小的情况。而在现实生活中，若发生普通人被换脸视频侵害时，上述方法不能很好的检测出是否伪造视频，因为对于普通人很难构建出足够大的原始视频数据集去供分类器学习个人特征范围。


技术实现要素：

[0006]
为了克服现有技术的不足，本发明的目的在于提供基于面部动作单元强度曲线相
似值的伪造视频检测方法，该方法能够在原始数据集规模不足以提供分类器学习个人特征范围的情况下，通过面部动作单元(简称“au”)强度曲线相似性来实现伪造人脸视频的检测判断。
[0007]
为解决上述技术问题，本发明采用的技术方案是：
[0008]
基于面部动作单元强度曲线相似值的伪造视频检测方法，其特征在于，包括下述步骤：
[0009]
步骤1：获取au强度值：通过面部动作单元采集模块，对相同语料的待测视频和样本视频进行预处理，得到视频中仅含语者讲话时间段内的au强度值；
[0010]
步骤2：au强度曲线预处理：所述预处理包括au类型的选择和au强度曲线的拟合去噪，所述au类型的选择用于提取与说话行为关联度高的au，所述au强度曲线的拟合去噪用于降低au强度曲线噪点对于后续计算的干扰；
[0011]
步骤3：计算au强度曲线相似值：在相同au类型的前提下，计算经上述处理后的待测视频和样本视频各au的强度曲线相似值；
[0012]
步骤4：分类器的训练与检测：将待测视频和样本视频的各au曲线相似值输入到训练好的分类器中进行比较，通过分类器分类检测待测视频是否为伪造人脸视频；
[0013]
所述分类器的训练包括在相同语料和au类型的前提下，计算同一语者和不同语者的面部动作单元强度曲线相似值，得到各au类型的同一人曲线相似值分布区间和不同人曲线相似值分布区间作为训练数据集，提供分类器进行监督学习。
[0014]
作为优选的技术方案，所述步骤1中对视频中au强度值的获取，实现步骤包括：
[0015]
步骤1.1：使用面部动作单元采集模块对视频进行分析处理，得到整段视频中语者的au强度量化表；
[0016]
步骤1.2：根据步骤1.1得到的au强度量化表，设置au25作为讲话时间起止点的判断依据；对au强度量化表以5帧为一组正序检测，当第一帧和最后一帧强度差值≥0.5时，第一帧作为讲话的开始时间点；对au强度量化表以5帧为一组倒序检测，当第一帧和最后一帧强度差值≥0.5时，最后一帧作为讲话的结束时间点；根据讲话的起止时间点，对步骤1.1得到的au强度量化表进行提取简化。
[0017]
作为优选的技术方案，所述步骤2中的au强度曲线预处理，实现步骤包括：
[0018]
步骤2.1：选择与说话行为关联度高的au，对步骤1.2得到的au强度量化表进行再一次提取简化；
[0019]
步骤2.2：使用savitzky-golay滤波器对步骤2.1得到的au强度量化表中的面部动作单元强度曲线进行拟合去噪。
[0020]
作为优选的技术方案，所述步骤3中对面部动作单元强度曲线相似值的计算，包括根据动态规整算法中的fast-dtw算法，计算待测视频和样本视频各au的强度曲线相似值，作为后续分类器的检测依据。
[0021]
作为优选的技术方案，所述步骤4中分类器为svm分类器，分类器的训练，实现步骤包括：
[0022]
步骤4.1：根据动态规整算法中的fast-dtw算法，在相同语料和au类型的前提下，计算同一语者和不同语者的面部动作单元强度曲线相似值，整理得到各au类型的同一人曲线相似值分布区间和不同人曲线相似值分布区间作为训练数据集；
[0023]
步骤4.2：在matlab上，使用上述计算得到的训练数据集，提供svm分类器监督学习。
[0024]
和现有技术相比，本发明提供的基于面部动作单元强度曲线相似值的伪造视频检测方法，不会因伪造技术缺陷产生的伪造痕迹减少而降低检测效果，而且能够在原始数据集规模不足以提供分类器学习个人特征范围的情况下，通过面部动作单元强度曲线相似性来实现伪造人脸视频检测判断。
[0025]
以下将结合附图对本发明的构思、工作过程及产生的效果作进一步说明，以充分地理解本发明的目的、特征和效果。
附图说明
[0026]
图1是实施例中基于面部动作单元强度曲线相似值的伪造视频检测方法的流程示意图。
具体实施方式
[0027]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处说描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
[0028]
如图1所示，基于面部动作单元强度曲线相似值的伪造视频检测方法，包括如下步骤：
[0029]
s1、获取au强度值:通过面部动作单元采集模块(程序)，对相同语料的待测视频和样本视频(检测对象的原始视频数据库)进行预处理，得到视频中仅含语者讲话时间段内的au强度值；
[0030]
具体的，使用面部动作单元采集模块对视频进行分析处理，得到整段视频中语者的au强度量化表；
[0031]
根据得到的au强度量化表，设置au25作为讲话时间起止点的判断依据；对au强度量化表以5帧为一组正序检测，当第一帧和最后一帧强度差值≥0.5时，第一帧作为讲话的开始时间点；对au强度量化表以5帧为一组倒序检测，当第一帧和最后一帧强度差值≥0.5时，最后一帧作为讲话的结束时间点；确定视频中讲话的起止时间点后，在au强度量化表中提取讲话时间段内的各种面部动作单元的强度值，整理得到讲话时间段内的au强度量化表。
[0032]
s2、au强度曲线预处理:所述预处理包括au类型的选择和au强度曲线的拟合去噪，所述au类型的选择用于提取与说话行为关联度高的au，所述au强度曲线的拟合去噪用于降低au强度曲线噪点对于后续计算的干扰；
[0033]
具体的，根据背景技术中的文章[1]、[2]，选择与说话行为关联度高的au，在上述讲话时间段内的au强度量化表中，保留与说话行为关联度高的au的强度值；
[0034]
使用savitzky-golay滤波器对经过上述处理的面部动作单元强度曲线进行拟合去噪，得到待测视频和样本视频各au的强度曲线。
[0035]
s3、计算au强度曲线相似值:在相同au类型的前提下，根据动态规整算法中的fast-dtw算法，计算同一语者(待测视频)和不同语者(样本视频)的各面部动作单元强度曲
线相似值，作为后续svm分类器的检测依据。
[0036]
s4、sw分类器的训练与检测:将上述计算得到的待测视频和样本视频各au的强度曲线相似值作为分类器的检测依据，输入训练好的svm分类器中进行比较，通过分类器分类检测判断待测视频是否为伪造人脸视频。
[0037]
所述分类器的训练包括在相同语料和au类型的前提下，计算同一语者和不同语者的面部动作单元强度曲线相似值，得到各au类型的同一人曲线相似值分布区间和不同人曲线相似值分布区间作为训练数据集，提供svm分类器进行监督学习。
[0038]
具体的，根据动态规整算法中的fast-dtw算法，在相同语料和au类型的前提下，计算同一语者和不同语者的面部动作单元强度曲线相似值，整理得到各au类型的同一人曲线相似值分布区间和不同人曲线相似值分布区间作为训练数据集；
[0039]
在matlab上，使用上述计算得到的训练数据集，提供svm分类器监督学习，训练集中每一子数据的模板为：au26强度曲线相似值(特征1)、au25强度曲线相似值(特征2)、
……
同一人或不同人(标签)。
[0040]
本发明提供的基于面部动作单元强度曲线相似值的伪造视频检测方法，不会因伪造技术缺陷产生的伪造痕迹减少而降低检测效果，而且能够在原始数据集规模不足以提供分类器学习个人特征范围的情况下，通过面部动作单元强度曲线相似性来实现伪造人脸视频检测判断。
[0041]
以上描述仅为本技术的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本技术中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本技术中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。