一种基于人脸几何运动特征的真假视频检测方法与流程

1.本发明涉及视频真假检测技术领域，具体涉及一种基于人脸几何运动特征的真假视频检测方法。


背景技术：

2.视频中的真假换脸方法是一种采用神经网络实现的换脸方法。该模型的总体结构是encoder-decoder模型。通过一个encoder和两个decoder的协同可以实现在任意的人脸上都可以复现出想要的人脸。
3.目前常见的视频真假检测方法可以分为两大类：伪影识别法和无定向法。这两类检测方法都是从视频所提取出来的帧的层面来进行检测，通过寻找单个帧内部之间的真假差异来进行检测。但是这种方法只关注片面信息，从而忽略了帧与帧之间的相互关联性和在视频中人脸的运动情况，所以普遍泛化性能偏差，难以应用普及。


技术实现要素：

4.本发明为了克服以上技术的不足，提供了一种通过长短期记忆网络(lstm)来学习幅度增强后的关键点的几何运动频率特征，最后做出真假预测的方法。
5.本发明克服其技术问题所采用的技术方案是：
6.一种基于人脸几何运动特征的真假视频检测方法，包括如下步骤：
7.a)对视频切帧处理，将切帧得到的m个连续的帧图片切割成连续的人脸图片，每个人脸图片上得到定位人脸的68个关键点，生成人脸关键点的特征为人脸图片上得到定位人脸的68个关键点，生成人脸关键点的特征为为第i个视频帧的第t个关键点的信息，i∈{1,2,...,67,68}，67,68}，为帧图片的红色通道的像素值，为帧图片的绿色通道的像素值，为帧图片的蓝色通道的像素值；
8.b)选取一张基准图像，获得训练集，将训练集中的图片输入到预训练后判别网络模型中；
9.c)判断经预训练后判别网络模型处理后各个图片的68个经过变换后的脸部朝向角度与基准图像的误差是否小于等于10
°
，如果小于等于10
°
则执行步骤e)，如果大于10
°
则执行步骤d)；
10.d)通过公式xj＝f(s,theta,t,xi)将第j个视频帧的关键点矩阵xj与第i个视频帧的关键点矩阵xi对齐操作，式中s为缩放幅度参数，theta为旋转参数，t为平移矩阵，通过公式计算得到第j个视频帧的关键点矩阵xj与第i个视频帧的关键点矩阵xi的欧氏距离当完成该图片与基准图片的对齐，其中d()为该角度对应的欧式距离；
11.e)根据关键点几何运动频率的相关性将几何运动特征f分为三类，人脸部轮廓和鼻子部位的关键点特征为f1，眼睛和眉毛部位的关键点特征为f2，嘴巴部位的关键点特征为f3，，
12.f)通过公式计算得到每个关键点的特征信息将整个视频的总帧数m均分为n部分，每一部分的帧数为n，对每一部分的n帧图片通过公式计算得到第j部分关键点特征信息的方差式中x
t
为该部分第t帧的所有关键点信息，t∈{1,...,n}，为该部分关键点特征信息的平均值；
13.g)将关键点特征f1表示为关键点特征f2表示为关键点特征f3表示为
14.h)将步骤g)中的关键点特征f1、关键点特征f2及关键点特征f3分别放进三个长短期记忆网络中，每个长短期记忆网络连接有全连接层，将三个长短期记忆网络产生的预测输出值取平均值后经过sigmoid函数得到预测结果，如果预测结果为1表示该视频是真的视频，如果预测结果为0表示该视频是假的视频。
15.进一步的，步骤a)中使用opencv-python包对视频切帧，利用dlib包将连续的帧图片切割成连续的人脸图片并得到每个人脸图片上的68个关键点。
16.进一步的，步骤b)中通过当前最大的人脸对齐数据集ls3d-w获得训练集。
17.进一步的，步骤b)中预训练后判别网络模型的步骤为：
18.b-1)建立一个siamese网络，该siamese网络一端输入基准图像，另一端输入训练集中的各个图片；
19.b-2)将基准图像依次输入到conv1卷积层、conv2卷积层、conv3卷积层分别获得输出维度为64的图片的感知野特征表示将训练集中的图片依次输入到conv1卷积层、conv2卷积层、conv3卷积层分别获得输出维度为64的图片的感知野特征表示感知野特征表示conv1卷积层的卷积核大小为1
×
1，conv2卷积层的卷积核大小为3
×
3，conv3卷积层的卷积核大小为5
×
5；
20.b-3)分别在conv1卷积层、conv2卷积层、conv3卷积层后分别连接批归一化层和激活层；
21.b-4)在conv1卷积层的激活层后面连接尺寸为2
×
2的最大池化层，在conv2卷积层的激活层后面连接尺寸为2
×
2的最大池化层；
22.b-5)将基准图片image0的输入到经步骤
23.b-4)改进的siamese网络后得到将训练集中的图片的将训练集中的图片的输入到经步骤b-4)改进的siamese网络后得到
24.b-6)通过余弦值计算与之间的夹角θ，将夹角乘以夹角缩放系数。进一步的，步骤b-2)中conv1卷积层的stride为1，padding为0，conv2卷积层的stride为1，padding为1，conv3卷积层的stride为2，padding为2。
25.进一步的，步骤b-3)中激活层的激活函数为relu。
26.进一步的，步骤b-6)中夹角缩放系数经过sigmoid函数后与标签0/1做比较，选择交叉熵损失函数，向前传播，更新夹角缩放系数。
27.本发明的有益效果是：通过用人脸特征关键点的几何运动来代替脸部的物理运动，然后将经过提取几何运动差异后的不同部位的运动频率特征放进lstm中来对视频的真假做出判定。该方法是在以往只关注帧层面检测方法的基础上做出的改进，能够让网络模型关注到视频帧之间的相互关联性，更能捕捉视频内部的细节信息。可以有效增加视频真假检测方法的泛化性，提升检测的精度。
附图说明
28.图1为定位人脸的68个特征点的结构图；
29.图2为本发明的方法流程图；
30.图3为本发明的预训练模型的结构图。
具体实施方式
31.下面结合附图1、附图2、附图3对本发明做进一步说明。
32.一种基于人脸几何运动特征的真假视频检测方法，包括如下步骤：
33.a)对视频切帧处理，将切帧得到的m个连续的帧图片切割成连续的人脸图片，每个人脸图片上得到定位人脸的68个关键点，生成人脸关键点的特征为人脸图片上得到定位人脸的68个关键点，生成人脸关键点的特征为为第i个视频帧的第t个关键点的信息，i∈{1,2,...,67,68}，68}，为帧图片的红色通道的像素值，为帧图片的绿色通道的像素值，为帧图片的蓝色通道的像素值。
34.b)选取一张基准图像，获得训练集，将训练集中的图片输入到预训练后判别网络模型中。
35.c)判断经预训练后判别网络模型处理后各个图片的68个经过变换后的脸部朝向角度与基准图像的误差是否小于等于10
°
，如果小于等于10
°
则执行步骤e)，如果大于10
°
则执行步骤d)。
36.d)通过公式xj＝f(s,theta,t,xi)将第j个视频帧的关键点矩阵xj与第i个视频帧的关键点矩阵xi对齐操作，式中s为缩放幅度参数，theta为旋转参数，t为平移矩阵，通过公式计算得到第j个视频帧的关键点矩阵xj与第i个视频帧的关键点矩阵xi的欧氏距离利用欧式距离来衡量关键点的相似程度，当完成该图片与基准图片的对齐，其中d()为该角度对应的欧式距离，即只需要该图片与基准图片的欧氏距离在阈值之内即可认为对齐成功，从而完成该图片与基准图片的对齐。
37.e)将特征点的几何运动能够相互关联的分成一块，因此根据关键点几何运动频率的相关性将几何运动特征f分为三类，人脸部轮廓和鼻子部位的关键点特征为f1，眼睛和眉毛部位的关键点特征为f2，嘴巴部位的关键点特征为f3，
[0038][0039]
f)分别对步骤e)中的三个特征向量f1、f2、f3做运动差异提取操作。以对特征向量f1操作为例，具体做法是：(1)首先将f1中特征关键点的三个通道的像素值进行取平均值操作，然后用三个通道上的每个点的像素值减去三个通道像素值的平均值，这样即可看作将每个通道上的几何运动差异提取出来。具体的通过公式计算得到每个关键点的特征信息将整个视频的总帧数m均分为n部分，每一部分的帧数为n，对每一部分的n帧图片通过公式计算得到第j部分关键点特征信息的方差式中x
t
为该部分第t帧的所有关键点信息，t∈{1,...,n}，为该部分关键点特征信息的平均值。
[0040]
g)将关键点特征f1表示为关键点特征f2表示为关键点特征f3表示为表示第一部分n个视频帧的关键点方差特征描述。
[0041]
h)将步骤g)中的关键点特征f1、关键点特征f2及关键点特征f3分别放进三个长短期记忆网络(lstm)中，每个长短期记忆网络连接有全连接层(fully-connected layers)，将三个长短期记忆网络产生的预测输出值取平均值后经过sigmoid函数得到预测结果，如果预测结果为1表示该视频是真的视频，如果预测结果为0表示该视频是假的视频。
[0042]
通过用人脸特征关键点的几何运动来代替脸部的物理运动，然后将经过提取几何运动差异后的不同部位的运动频率特征放进lstm中来对视频的真假做出判定。该方法是在以往只关注帧层面检测方法的基础上做出的改进，能够让网络模型关注到视频帧之间的相互关联性，更能捕捉视频内部的细节信息。可以有效增加视频真假检测方法的泛化性，提升检测的精度。
[0043]
实施例1：
[0044]
优选的，步骤a)中使用opencv-python包对视频切帧，利用dlib包将连续的帧图片切割成连续的人脸图片并得到每个人脸图片上的68个关键点。
[0045]
实施例2：
[0046]
优选的，步骤b)中通过当前最大的人脸对齐数据集ls3d-w获得训练集。
[0047]
实施例3：
[0048]
步骤b)中预训练后判别网络模型的步骤为：
[0049]
b-1)建立一个siamese网络，该siamese网络一端输入基准图像，另一端输入训练集中的各个图片。网络的子模块是在空洞卷积的基础上进行改进的模块，该子模块的步骤：
[0050]
b-2)将基准图像依次输入到conv1卷积层、conv2卷积层、conv3卷积层分别获得输出维度为64的图片的感知野特征表示将训练集中的图片依次输入到conv1卷积层、conv2卷积层、conv3卷积层分别获得输出维度为64的图片的感知野特征表示感知野特征表示conv1卷积层的卷积核大小为1
×
1，conv2卷积层的卷积核大小为3
×
3，conv3卷积层的卷积核大小为5
×
5。此步骤输入的图片是彩色图，维度为3输出的维度设为64。经过操作后1
×
1和3
×
3卷积后特征的尺寸没有改变，而5
×
5卷积后的特征尺寸变为之前的一半。
[0051]
b-3)分别在conv1卷积层、conv2卷积层、conv3卷积层后分别连接批归一化层和激活层。
[0052]
b-4)在conv1卷积层的激活层后面连接尺寸为2
×
2的最大池化层，在conv2卷积层的激活层后面连接尺寸为2
×
2的最大池化层。这样经过三个部分的特征的尺寸保持了一致。
[0053]
b-5)将基准图片image0的输入到经步骤b-4)改进的siamese网络后得到将训练集中的图片的将训练集中的图片的输入到经步骤b-4)改进的siamese网络后得到b-6)通过余弦值计算与之间的夹角θ，将夹角乘以夹角缩放系数。
[0054]
实施例4：
[0055]
优选的，步骤b-2)中conv1卷积层的stride为1，padding为0，conv2卷积层的stride为1，padding为1，conv3卷积层的stride为2，padding为2。
[0056]
实施例5：
[0057]
优选的，步骤b-3)中激活层的激活函数为relu。
[0058]
实施例6：
[0059]
夹角缩放系数也由训练过程的反向传播来进行参数更新，具体的步骤b-6)中夹角缩放系数经过sigmoid函数后与标签0/1做比较，选择交叉熵损失函数，向前传播，更新夹角缩放系数。
[0060]
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。