一种共享可更新的Deepfake视频内容监管方法及系统与流程

一种共享可更新的deepfake视频内容监管方法及系统
技术领域
1.本发明涉及机器学习和互联网内容监管领域，具体涉及一种共享可更新的deepfake视频内容监管方法及系统。


背景技术：

2.随着人工智能技术的发展，基于深度学习的深度伪造技术日趋成熟，通过多媒体篡改工具可以对视频中的人脸进行随意的篡改，并且几乎无法被肉眼察觉。伴随着短视频新型内容的传播方式的兴起，deepfake视频传播速度加快、传播范围增大，可能被利用从事危害国家安全、侵犯他人合法权益等法律法规禁止的活动，对社会稳定造成不良影响。2019年12月，国家互联网信息办公室、文化和旅游部、国家广播电视总局联合印发《网络音视频信息服务管理规定》，规定强调“网络音视频信息服务提供者应当部署应用非真实音视频鉴别技术，发现音视频信息服务基于深度学习、虚拟现实等的虚假图像、音视频生成技术制作、发布、传播信息内容的，应采取警示整改、限制功能、暂停更新、关闭账号等处置措施，保存有关记录，并向网信、文化和旅游、广播电视等部门报告”。因此，网络音视频信息中存在的deepfake视频成为互联网内容监管中不可或缺的重要部分。
3.目前，深度伪造人脸检测技术主流的研究方向大致分为两类：基于视频帧帧内差异的检测方法与基于视频帧帧间差异的检测方法。基于帧内差异的检测方法着重于从人脸面部的细节特征差异出发，而忽略了深度伪造视频的上下文信息；基于视频帧间差异的检测方法依赖于提取的关键帧数量，如果视频过短则检测效果大幅下降。同时，因未考虑到深度伪造生成技术也在不断地更新升级，当前已有的检测方法依赖特定的数据集和生成算法，当新的deepfake视频内容来源于新型的深度伪造技术或者不包含特定数据集的样本时，部分检测方法准确率会降低甚至检测方法失效，即模型出现过拟合问题。
4.因此，在互联网环境下图像质量存在较大差异的现实境况，除了考虑内容监管模型检测准确率与检测效率，如何提高模型的泛化能力也成为deepfake视频检测的重要研究方向。


技术实现要素：

5.为了解决上述技术问题，本发明提供一种共享可更新的deepfake视频内容监管方法及系统。
6.本发明技术解决方案为：一种共享可更新的deepfake视频内容监管方法，包括：
7.步骤s1：将deepfake视频输入预处理模块，提取视频关键帧并截取人脸图像作为训练样本；
8.步骤s2：提取训练样本的空域与频域特征，将特征信息输入svm分类模型进行训练，得到初始的内容监管模型；
9.步骤s3：基于区块链技术建立共享可更新策略，并设计激励机制收集新的有效的deepfake视频数据；
10.步骤s4：收集样本数量达到阈值后，对初始模型进行更新训练，更新后对样本贡献者共享deepfake视频内容检测方法并等待下一次更新。
11.本发明与现有技术相比，具有以下优点：
12.1、本发明利用片段的方法提取视频的关键帧，基于直方图差异进行边缘检测后，通过二次筛选进行自适应阈值的边界帧的判断，并依据片段内帧的变化程度来决定关键帧的数量；进而对关键帧进行人脸识别并裁剪出正方形人脸图像，从而在信息噪声较大的视频数据中获取集合程度更高的人脸图像样本。
13.2、本发明公开了一种deepfake视频内容监管方法，利用图像空域特征与频域特征的互补性，通过离散傅里叶变换与n级小波变换提取训练样本的多维空域特征与一维频域特征级联融合为多维全局纹理特征，输入svm分类模型进行训练，从而得到特征可解释程度高、检测准确率高且检测效率较快的初始内容监管模型。
14.3、本发明一种共享可更新的deepfake视频内容监管方法，利用区块链技术提供的一种去中心化、不可篡改、可追溯的架构，通过动态截止时间和依据上传时间瓜分押金规则建立有效的激励机制激励样本贡献者贡献正确数据样本，减少恶意攻击者上传错误样本。收集的样本用于训练当前的内容监管模型，并且每次更新后的内容监管模型在区块链上进行公开共享。从而解决了传统机器学习模型易产生的过拟合问题，并得到泛化程度高的内容监管模型。
附图说明
15.图1为本发明实施例中一种共享可更新的deepfake视频内容监管方法的流程图；
16.图2为本发明实施例中一种共享可更新的deepfake视频内容监管方法的结构示意图；
17.图3为本发明实施例中一种共享可更新的deepfake视频内容监管方法中步骤s1：将deepfake视频输入预处理模块，提取视频关键帧并截取人脸图像作为训练样本的流程图；
18.图4本发明实施例中一种共享可更新的deepfake视频内容监管方法中步骤s2：提取训练样本的空域与频域特征，将特征信息输入svm分类模型进行训练，得到初始的内容监管模型的流程图；
19.图5本发明实施例中一种共享可更新的deepfake视频内容监管方法中步骤s3：利用激励机制收集新的deepfake视频数据，对有效的视频数据提取人脸图像，得到新的训练样本的流程图；
20.图6本发明实施例中激励机制的流程图；
21.图7本发明实施例中一种共享可更新的deepfake视频内容监管方法中步骤s4：收集样本数据数量达到阈值后，对初始的内容监管模型进行更新训练，更新后对样本贡献者共享deepfake视频内容检测方法并等待下一次更新的流程图；
22.图8本发明实施例中一种共享可更新的deepfake视频内容监管系统的结构框图。
具体实施方式
23.本发明提供了一种共享可更新的deepfake视频内容监管方法及系统，首先对样本
视频进行操作预处理，过滤筛选后得到集合程度更高的正方形人脸图像样本，预处理数据集质量的提高有利于内容监管模型的训练；其次，利用图像空域与频域的互补性建立全局图像纹理特征，使得训练建立的初始内容监管模型的准确率得到提高。同时，现有的深度伪造技术的不断发展，deepfake视频数据集本身存在样本不平衡的问题，本发明针对内容监管模型易产生的过拟合问题，提供了一种共享可更新架构，在构建的激励机制的运作下，正确的新的样本的不断补充训练有效提高了内容监管模型的泛化能力。
24.为了使本发明的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本发明进一步详细说明。
25.实施例一
26.如图1、图2所示，在一个实施例中，本发明实施例提供的一一种共享可更新的deepfake视频内容监管方法，包括下述步骤：
27.步骤s1：将deepfake视频输入预处理模块，提取视频关键帧并截取人脸图像作为训练样本；
28.步骤s2：提取训练样本的空域与频域特征，将特征信息输入svm分类模型进行训练，得到初始的内容监管模型；
29.步骤s3：基于区块链技术建立共享可更新策略，并设计激励机制收集新的有效的deepfake视频数据；
30.步骤s4：收集样本数量达到阈值后，对初始模型进行更新训练，更新后对样本贡献者共享deepfake视频内容检测方法并等待下一次更新。
31.如图3所示，在一个实施例中，上述步骤s1：将deepfake视频输入预处理模块，提取视频关键帧并截取人脸图像作为训练样本，具体包括；
32.步骤s11：将样本视频逐帧进行直方图绘制，并按照下述公式(1)计算帧与帧之间的差值保存为d；
[0033][0034]
其中，d(i)表示为图像的直方图数据，i表示为当前帧内的像素块序号，k表示为帧内的像素块总数量，p，q表示为视频图像相邻帧帧序号；
[0035]
步骤s12：依据两次筛选进行自适应阈值的边界帧的判断。首先，设定窗口重叠次数为3，其中窗口大小为13帧，步长为10。定义m帧为当前窗口内d最大的帧，并应同时满足与上一个m帧的距离大于最小片段长度；其次，m帧应同时满足下述公式(2)，match(m)＝true时，表示当前m帧为片段边界帧；
[0036][0037][0038]
其中，m
′
表示为当前帧的上一m帧，表示为两个帧之间帧的d的平均值，multiplier被定义为预设期望倍数；
[0039]
步骤s13：依据视频中边界帧划分片段，并计算所有片段内的帧的找出片段内帧的d大于平均值的倍数的帧标记为关键帧，否则选择片段的中间帧作为关键帧；
[0040]
步骤s14：对关键帧基于cnn网络shape_predictor_68_face_landmarks进行人脸识别，并裁剪调整出人脸及周边正方形区域作为训练样本数据。
[0041]
本发明实施例中通过上述步骤s11、s12和s13利用片段的方法提取视频的关键帧，其中步骤s11利用直方图差异进行边缘检测，步骤s12通过二次筛选判断自适应阈值的边界帧，在此基础上步骤s13依据片段内帧的变化确定关键帧的数量；进而步骤s14对关键帧进行人脸识别并裁剪出正方形人脸图像。最终获得的预处理后数据集中的人脸图像样本信息集中于伪造人脸周围，更有利于步骤2中鉴别特征的选取。
[0042]
如图4所示，在一个实施例中，上述步骤s2：提取训练样本的空域与频域特征，将特征信息输入svm分类模型进行训练，得到初始的内容监管模型，包括：
[0043]
步骤s21：对训练样本m*n按照二维离散傅里叶变换计算表示二维功率谱，并将其定义为p(u，v)；其次，将二维的傅里叶频谱图按照从低频到高频的顺序，由内向外划分为k个区间，依据公式(3)计算第i个矩形环内累加和。并按照公式(4)进行归一化处理，其结果为训练样本的频域特征；
[0044][0045][0046]
其中，ζ
i
表示第i个矩形环内能量，ψ
i
表示第i个矩形环内能量与总能量之比。因此，图像的二维频谱图能量特征向量定义为ζ
f
＝[ζ1，ζ2，...，ζ
k
]，频谱图能量占比特征向量定义为ψ
f
＝[ψ1，ψ2，...，ψ
k
]；
[0047]
步骤s22：对训练样本m*n进行n级小波分解得到样本图像小波特征值，并依据每个特征值的频带信号进行分析，每个参数表示为一个特征向量空间，各参数值的维数即hsv空间的维数，即该特征空间的基，最终提取得到图像hsv模型的多维小波特征向量。依据公式(5)计算所有子带系数得到均值、方差和偏斜度，其结果为训练样本的空域特征；
[0048][0049]
其中μ，σ，ω分别表示全部子带系数的均值、方差和偏斜度；n表示全部计算机生成图像小波特征样本数量；x表示计算机生成图像的小波特征；
[0050]
步骤s23：将一维频域特征与多维空域特征级联融合，并对其进行归一化处理，得到的多维全局纹理特征信息作为真伪图像的鉴别特征；
[0051]
步骤s24：依据鉴别特征将样本数据集输入svm分类器进行训练，得到初始的内容监管模型。
[0052]
本发明实施例中步骤s21和s22利用图像空域特征于频域特征的互补性建立全局纹理特征，其中步骤s21利用二维离散傅里叶变换计算分析，对二维功率谱图划分区间并计
算矩形环内能量与总能量的占比，得到一维频谱图能量占比特征向量，步骤s22利用图像的hsv空间模型，对三个通道分别进行n级小波分解得到样本的多维小波特征向量；通过步骤s23将空域特征与频域特征进行级联融合并归一化处理后，步骤s24通过svm分类器训练得到初始的内容监管模型。
[0053]
上述步骤s1与步骤s2建立的内容监管模型特征可解释程度高，检测准确率高于单一特征。但是，由于deepfake视频数据集本身正负样本不平衡，从而导致初始的内容监管模型易存在过拟合问题，并且伴随着深度伪造技术的不断发展出新的鉴别图像纹理特征。因此模型需要不断地补充新的样本对其进行增量训练以维持检测性能，但新的深度伪造技术层出不穷，对应数据集的建立需要较长的时间与人力成本。因此，通过下述步骤，可以不断收集互联网中不断出现的新的深度伪造技术生成的视频样本，添加到样本数据集供内容监管模型进行增量训练。
[0054]
如图5所示，在一个实施例中，上述步骤s3：基于区块链技术建立共享可更新策略，并设计激励机制收集新的有效的deepfake视频数据，包括：
[0055]
步骤s31：在区块链上，样本贡献者提交数据样本(x，y)，并支付押金d，在截止时间t内，样本贡献者可以对样本数据x的标签y进行修改，每次修改后按照公式(7)对截止时间进行动态调整；
[0056][0057]
其中，t0为初始截至时间；
[0058]
步骤s32：在截止时间t后，模型对贡献者提供的数据样本x预测值为y时，表示贡献者提供数据与模型预测值一致，该机制认为该贡献者提供的数据(x，y)为正确样本。依据规则，该机制退还全部押金，即r0＝＝d；
[0059]
步骤s33：在截止时间t后，模型对贡献者提供的数据样本x预测值为y’时，表示贡献者提供数据与模型预测值不一致，该机制认为该贡献者提供的数据(x，y)为错误样本。依据规则，该机制按照公式(7)退还样本贡献者部分押金；
[0060][0061]
其中，r0表示样本贡献者退还的押金，n(x)表示其他贡献者x提交的的样本数量，c
r
表示预测值为y的其他贡献者，c表示其他贡献者；
[0062]
其他样本贡献者则依据提交时间瓜分剩余押金，其他贡献者瓜分到的押金表示为，计算公式表示为公式(8)；
[0063][0064][0065][0066]
其中，t[p]表示所有y
′
样本提交的时间节点，α
i
表示每个样本瓜分押金的权重(提交时间越短，该权重越高)；
[0067]
步骤s34：将有效的数据样本收集至更新样本数据集。
[0068]
如图6所示在本发明实施例中，将初始的内容监管模型model上传至公共区块链环境中，共享协作的方式有利于样本贡献者在提交样本数据标签前进行初步验证，但同时存在恶意攻击者通过短时间内上传错误样本数据对内容监管模型进行恶意攻击的问题。为解决该问题，依据步骤s31利用提交样本押金进行限制，并依据修改次数设置动态截止时间，同时瓜分押金规则依照步骤s32和步骤s33建立。从而将将有效的数据样本收集至更新样本数据集。
[0069]
本发明利用区块链环境去中心化、不可篡改、可追溯的特点，构建共享可更新模型环境，上述的激励机制作为数据上传机制中重要的组成部分鼓励互联网上的参与者提供健康的数据。同时共享可更新策略中其他模块的共同协作保证了该架构的稳健性、透明性以及可追溯性。
[0070]
如图7所示，在一个实施例中，上述步骤s4：收集样本数量达到阈值后，对初始模型进行更新训练，更新后对样本贡献者共享deepfake视频内容检测方法并等待下一次更新，包括：
[0071]
步骤s41：计算区块链上收集至样本集中数据标签比例，若正负样本数据标签比例达到预设的样本阈值，则将更新样本集数据经预处理模块处理为训练样本数据；
[0072]
步骤s42：下载当前的内容监管模型model，将训练数据输入该模型进行训练，更新后的内容监管模型model’上传至区块链上公开共享。
[0073]
本发明实施例中步骤中，计算区块链上获得的样本集中真实视频样本和虚假视频样本的比例，若二者数量不均衡，比例超过预设的阈值，则将当前视频数据加入区块链中视频样本数据集。从而对初始内容监管模型进行增量训练，更新后的内容监管模型泛化能力得到提高。
[0074]
实施例二
[0075]
如图8所示，本发明实施例提供了一种共享可更新的deepfake视频内容监管系统，包括下述模块：
[0076]
数据预处理模块，用于将区块链上的视频数据处理为适用于模型训练的样本数据，利用基于片段分类的方法提取视频关键帧，并在进行人脸识别后将帧图像裁剪为固定正方形大小的图像；
[0077]
监管模型训练模块，用于得到初始内容监管模型model，通过分别提取样本数据图像的空域特征与频域特征，级联后归一化处理为全局鉴别特征，输入至svm模型训练；
[0078]
激励机制模块，用于激励样本贡献者上传优质的新的数据，同时通过设定动态截止时间与押金瓜分规则防止恶意攻击者对当前内容监管模型进行恶意攻击；
[0079]
共享可更新模型模块，用于计算区块链上收集到的样本集中数据标签的比例，超过预设的样本阈值，则下载当前的内容监管模型model，输入新收集的样本至svm进行增量训练，并在区块链上公开共享更新后的内容监管模型model。提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。