一种基于对抗训练的电子数据信息反取证方法

1.本发明涉及数据处理领域，尤其涉及一种基于对抗训练的电子数据信息反取证方法。


背景技术：

2.反取证技术是一套针对取证技术的对策技术，常见的反取证技术主要有数据隐藏、瑕疵擦除和痕迹模糊等。在许多传统的反取证工作中，研究人员通常手动设计数学模型，这需要相当高的专业知识与技能，并且这种方法大多都用途单一，效率低下。近年来研究人员发现可以通过传输电子数字信息样式来发动反取证攻击，这使得gan（对抗网络）成为反取证最理想的工具。基于数据驱动的帧级分类的dnn（深度神经网络）是目前最有效的深度伪造取证方式，因此，本发明提出了一种基于对抗训练的电子数据信息反取证方法来对抗深度伪造探测器，不仅具有很高的反取证能力，还几乎没有视觉瑕疵。


技术实现要素：

3.本发明提供了一种基于对抗训练的电子数据信息反取证方法，包括：将deepfake生成的伪电子数字信息加入对抗性干扰后输入gan网络的一级生成器，并使用一级鉴别器和二级鉴别器监督，输出一级电子数字信息，使伪电子数字信息向真实电子数字信息靠近，并构建第一损失函数；将一级电子数字信息输入gan网络的二级生成器，并使用三级鉴别器和四级鉴别器监督，输出模仿原始伪电子数字信息的二级电子数字信息，用于逆转一级生成器的输出，并构建第二损失函数；将二级电子数字信息输入gan网络的三级生成器，并使用五级鉴别器和六级鉴别器监督，将三级生成器生成的电子数字信息再度转换，输出接近真实电子数字信息视觉效果的最终电子数字信息，并根据第一损失函数、第二损失函数以及额外损失构建gan网络的最终损失函数。
4.如上所述的一种基于对抗训练的电子数据信息反取证方法，其中，在deepfake生成的伪电子数字信息加入对抗性干扰，具体为在伪电子数字信息中加入噪声。
5.如上所述的一种基于对抗训练的电子数据信息反取证方法，其中，gan网络的一级生成器加入的对抗性干扰为n，if代表伪电子数字信息，ir代表真实电子数字信息，经对抗性干扰后使得if在统计学上接近ir，即：g1(if) = if n = is≈ ir，is为伪电子数字信息加入对抗性干扰后输出的电子数字信息。
6.如上所述的一种基于对抗训练的电子数据信息反取证方法，其中，构建的第一损失函数为：l(g1,d1) = e[logd1(ir,g1(if))]，d1为一级鉴别器，g1为一级生成器。
[0007]
如上所述的一种基于对抗训练的电子数据信息反取证方法，其中，二级生成器g2的输出应该接近原始deepfake生成的伪电子数字信息，三级鉴别器d3是监督二级生成器g2的输出和输入，此时期望四级鉴别器d4会判别错误，用下面的公式来描述：
g2(g1(if)) = ie≈ if,l(g2,d3) = e[1
ꢀ−ꢀ
logd3(is,g2(is))],l(g2,d4) = e[logd4(g1(if),g2(is))]。
[0008]
如上所述的一种基于对抗训练的电子数据信息反取证方法，其中，监督视觉效果的第二损失函数如下:l(g2,d3,d4) = l(g2,d3) l(g2,d4)= e[1
ꢀ−ꢀ
logd3(is,g2(is))] e[logd4(g1(if),g2(is))]。
[0009]
如上所述的一种基于对抗训练的电子数据信息反取证方法，其中，对于反取证性能的额外监督，描述如下：g3(g2(is)) = i
，
r≈ ir,l(g3,d5) = e[logd5(g2(is),g3(ie))],l(g3,d6) = e[1
ꢀ−ꢀ
logd6(ie,g3(ie))],l(g3,d5,d6) = l(g3,d5) l(g3,d6)= e[logd5(g2(is),g3(ie))] e[1
ꢀ−ꢀ
logd6(ie,g3(ie))]；整个gan模型的损失函数如下：l
gan
= l(g1,d1,d2) l(g2,d3,d4) λl(g3,d5,d6)，其中λ控制最后一个模块的比重。
[0010]
如上所述的一种基于对抗训练的电子数据信息反取证方法，其中，用一个包含 l1和 l2的额外损失lp来惩罚内部生成机作弊行为，额外的损失lp描述如下：lp(g1,g2) = αl1(g1,g2) βl2(g1,g2),wherel1(g1,g2) = e[||ir−ꢀ
g1(if,n)||] e[||if−ꢀ
g2(if n)||],andl2(g1,g2) = e[(ir−ꢀ
g1(if,n))2] e[(if−ꢀ
g2(if n))2]。
[0011]
如上所述的一种基于对抗训练的电子数据信息反取证方法，其中，最终的损失函数l
，gan
如下所示：l
，gan
= l
gan
lp(g1,g2)= l(g1,d1,d2) l(g2,d3,d4) λl(g3,d5,d6) lp(g1,g2)。
[0012]
本发明实现的有益效果如下：1、本发明着眼于反取证能力与视觉效果，通过对不同反取证算法的研究和学习，利用特殊的监督机制与多重gan模型的叠加，设计出了独特的基于对抗训练的反取证模型。
[0013]
2、本发明旨在通过研究反取证技术，从而揭露目前取证技术的弱点，推动取证技术的发展。
附图说明
[0014]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0015]
图1是本发明实施例一提供的系统整体设计框图；
图2是一种基于对抗训练的电子数据信息反取证方法流程图。
具体实施方式
[0016]
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0017]
实施例一图1为系统整体设计框图，基于该系统设计，本发明实施例一提供一种基于对抗训练的电子数据信息反取证方法，如图2所示，包括：步骤210、将deepfake生成的伪电子数字信息加入对抗性干扰后输入gan网络的一级生成器，并使用一级鉴别器和二级鉴别器监督，输出一级电子数字信息，使伪电子数字信息向真实电子数字信息靠近，并构建第一损失函数；优选地，在deepfake生成的伪电子数字信息加入对抗性干扰，具体为在伪电子数字信息中加入噪声。
[0018]
gan网络的生成器基于unet设计，生成器包括编码器和解码器，编码器首先将伪电子数字信息转换为特征向量，最后再由解码器将处理后的特征向量还原为电子数字信息图像，并且最终输出的电子数字信息图像的尺寸与输入电子数字信息图像的尺寸是相同的。编码器和解码器都是由五个视觉群组成的神经网络。编码器采用卷积层进行下采样，解码器采用反卷积层进行上采样。本技术提供的生成器不需要使用任何池化操作，防止造成信息的丢失。此外，由于输入生成器的目标是在不改变电子数字信息内容的情况下合成电子数字信息，因此可以将编码器和解码器中相同深度的视觉群相互连接，利用编码器学习的权值，解码器可以生成内容一致且具有期望的反取证属性的电子数字信息。
[0019]
具体地，gan网络的一级生成器必须产生对抗性干扰n，并且具有高度的反取证能力，if代表伪电子数字信息，ir代表真实电子数字信息，经对抗性干扰后使得if在统计学上接近ir，即：g1(if) = if n = is≈ ir，is为伪电子数字信息加入对抗性干扰后输出的电子数字信息。
[0020]
为了使gan网络的生成器不会失效，需要加入鉴别器来监督，本技术实施例中，除第一层与最后一层外，每层卷积层都经过正则化且激活函数均为lrelu，最终会给每张输入的电子数字信息图片赋予一个0~1的预测值，若数值靠近0则说明判别器认为该电子数字信息是deepfake的可信度更高，若数值靠近1则相反。
[0021]
其中，gan网络的一级生成器生成的电子数字信息是用来欺骗一级鉴别器的，因此此部分的损失函数如下：l(g1,d1) = e[logd1(ir,g1(if))]，d1为一级鉴别器，g1为一级生成器。
[0022]
二级鉴别器d2作为判别器，促使一级生成器g1的输出在统计学上与原始deepfake生成的伪电子数字信息相差甚远，具体描述如下:l(g1,d2) = e[1
ꢀ−ꢀ
logd2(if,g1(if))]，至此，部分损失函数表示如下：l(g1,d1,d2) = l(g1,d1) l(g1,d2)= e[logd1(ir,g1(if))] e[1
ꢀ−ꢀ
logd2(if,g1(if))]。
[0023]
需要说明的是，本发明中生成器与鉴别器的结构是可以调整的，可以采用更加复
杂的网络结构来平衡速度与效果。
[0024]
步骤220、将一级电子数字信息输入gan网络的二级生成器，并使用三级鉴别器和四级鉴别器监督，输出模仿原始伪电子数字信息的二级电子数字信息，用于逆转一级生成器的输出，并构建第二损失函数；为了监督视觉质量，二级生成器g2的输出应该接近原始deepfake生成的伪电子数字信息，三级鉴别器d3则是监督二级生成器g2的输出和输入，此时期望四级鉴别器d4会判别错误，因此，用下面的公式来描述这一部分的过程:g2(g1(if)) = ie≈ if,l(g2,d3) = e[1
ꢀ−ꢀ
logd3(is,g2(is))],l(g2,d4) = e[logd4(g1(if),g2(is))].所以监督视觉效果的损失函数如下:l(g2,d3,d4) = l(g2,d3) l(g2,d4)= e[1
ꢀ−ꢀ
logd3(is,g2(is))] e[logd4(g1(if),g2(is))].步骤230、将二级电子数字信息输入gan网络的三级生成器，并使用五级鉴别器和六级鉴别器监督，将三级生成器生成的电子数字信息再度转换，输出接近真实电子数字信息视觉效果的最终电子数字信息，并根据第一损失函数、第二损失函数以及额外损失构建gan网络的最终损失函数；对于反取证性能的额外监督，描述如下：g3(g2(is)) = i
，
r≈ ir,l(g3,d5) = e[logd5(g2(is),g3(ie))],l(g3,d6) = e[1
ꢀ−ꢀ
logd6(ie,g3(ie))],l(g3,d5,d6) = l(g3,d5) l(g3,d6)= e[logd5(g2(is),g3(ie))] e[1
ꢀ−ꢀ
logd6(ie,g3(ie))].因此整个gan模型的损失函数如下（其中λ控制最后一个模块的比重）：l
gan
= l(g1,d1,d2) l(g2,d3,d4) λl(g3,d5,d6)最后，为了避免g2直接将g1的输入作为输出，使得整个训练失效。因此，用一个包含 l1和 l2（l1和l2为损失函数，用于计算额外损失函数lp）的额外损失lp 来惩罚内部生成机作弊行为，额外的损失lp 描述如下：lp(g1,g2) = αl1(g1,g2) βl2(g1,g2),wherel1(g1,g2) = e[||ir−ꢀ
g1(if,n)||] e[||if−ꢀ
g2(if n)||],andl2(g1,g2) = e[(ir−ꢀ
g1(if,n))2] e[(if−ꢀ
g2(if n))2]。
[0025]
其中，α和β分别为两个损失函数l1和l2的权重值。
[0026]
综上所述最终的损失函数l
，gan
如下所示：l
，gan
= l
gan
lp(g1,g2)= l(g1,d1,d2) l(g2,d3,d4) λl(g3,d5,d6) lp(g1,g2)。
[0027]
本发明着眼于反取证能力与视觉效果，通过对不同反取证算法的研究和学习，利用特殊的监督机制与多重gan模型的叠加，设计出了独特的基于对抗训练的反取证模型，使
deepfake变得更加完善；并且通过研究反取证技术，能给揭露目前取证技术的弱点，推动取证技术的发展。以下通过实验数据来分析本发明的有效性：在评估反取证性能之前，先要找到有效的取证模型，为了验证选取的取证模型的有效性，分别从ff 、celeb-df、dfdc数据库中提取10万张图片来训练取证模型，例如划分1万张组成测试集，列出了每个数据集上模型的分类准确度。分类准确度定义为：，其中 tp、tn、fp、fn 分别表示真阳性率、真阴性率、假阳性率、假阴性率。
[0028]
验证了取证模型的有效性之后，则要检测反取证模型的有效性。在训练模型之前，先必须对训练数据进行预处理，包括：评估面孔的视觉质量，并从训练和测试数据集中移除带有明显缺陷的视频；然后，在10万张伪造图片的精确数据集上训练gan模型，直到纳什均衡点；将深度伪造的电子数字信息与对应的真实电子数字信息成对，进行对抗性训练；最后利用训练好的模型对测试集的图片进行处理，再送给取证模型进行检测。分类准确度定义为：。
[0029]
最后，由于目前没有统一的人脸视觉效果评估手段，根据实验者手动打标签来训练出一个人脸评价器。例如组织18个人来辨别来自各种数据集的5万张人脸电子数字信息图像，并给图片中有明显的瑕疵的地方打上标签，最后用这种带标签的图片放入vgg16网络中训练。经过训练的评估器对伪造面孔的分类准确率达到94.22% 。此外，还应用mask-ssim作为一个度量来定量测量合成面部的质量，它以原始deepfake伪造视频中的人脸作为参考，评估相应的合成人脸的相似性。在实验中，注意到带有明显缺陷和扭曲的劣质人脸电子数字信息图像总是得到较低的mask-ssim分数。本技术模型在保持大多数合成电子数字信息的高视觉质量方面具有显著的优势。
[0030]
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。