基于信息瓶颈解纠缠的人脸融合攻击协助者面部溯源方法

技术特征：
1.一种基于信息瓶颈解纠缠的人脸融合攻击协助者面部溯源方法。其特征在于，所述方法由计算机执行，包括以下步骤：步骤一、对于hnu-fm人脸融合欺骗攻击基准数据集按照6：2：2的比例划分为训练集、验证集和测试集；步骤二、对数据集进行预处理，将数据集中的图像统一尺寸，并进行归一化处理；步骤三、将训练集数据输入构建好的网络，使用信息瓶颈层进行特征解纠缠，最后溯源出较为清晰的协助者人脸图像；步骤四、使用模型的测试模块，在验证集上调整模型超参数、使得模型在训练集以及验证集上取得最好的效果；步骤五、在测试集上进行测试，观察测试结果，将溯源出的协助者图像与真正的协助者图像进行比对，计算人脸融合攻击协助者面部复原的准确率。2.如权利要求1所述的基于信息瓶颈解纠缠的人脸融合攻击协助者面部溯源方法，其特征在于，裁剪为统一的128x128尺寸，在数值上归一化为[-1,1]，以确保复原出的图像更加集中在面部区域，在步骤二中的图像预处理阶段，只保留图像的最大中心区域，裁剪出有效的人脸区域。3.如权利要求1所述的基于信息瓶颈解纠缠的人脸融合攻击协助者面部溯源方法，其特征在于运用信息瓶颈理论进行特征解纠缠，使用预训练的编码器提取身份信息，更好的进行攻击者与协助者身份信息的分离，保证复原图像的有效性。步骤三的具体实现过程如下：将训练集中的图片按照攻击者、协助者、融合图像为一组，输入网络中，首先使用预训练好的身份编码器进行深度特征提取，编码器的网络结构由多层卷积构成，进行下采样操作，获得深度特征，整个网络是对称结构的，将提取出来的特征经过信息瓶颈层学习到融合图像中的权重图，λ表示该元素对应位置关于攻击者编码的重要性，根据权重图引入高斯噪声，按照zx＝λrxy (1-λ)ε，zy＝(1-λ)rxy λε的计算方法，以此最大限度准确地分离出攻击者与协助者地身份信息，实现将隐含在融合图像中的攻击者与协助者的身份信息分离出来，得到经过解纠缠之后的关于攻击者以及协助者的身份信息后，再经过生成器，生成器的网络结构是上采样加卷积操作，提高复原协助者面部图像地质量，也就是面部复原网络，生成出协助者的面部图像，生成图像的尺寸为128x128。4.如权利要求1所述的基于信息瓶颈解纠缠的人脸融合攻击协助者面部溯源方法，其特征在于，对整体模型调参，步骤四的具体实现过程如下：对整体模型初始化参数，采用adam作为优化器，权重衰减设置为1e-7，初始学习率设置为1e-3，使用l1损失和感知损失，在验证集上调整参数，保留最优的参数，使模型达到最优效果，发明的最后在测试集上测试模型的泛化性能，观察测试结果，将溯源出的协助者图像与真正的协助者图像进行比对，计算人脸融合攻击协助者面部复原的准确率。

技术总结
本发明针对人脸融合攻击协助者面部溯源领域，提出了一种基于信息瓶颈解纠缠的人脸融合攻击协助者面部溯源方法，包括下列步骤：1)对于HNU-FM人脸融合欺骗攻击基准数据集按照6：2：2的比例划分为训练集、验证集和测试集；2)对数据集进行预处理，将HNU-FM数据集中的所有图像统一尺寸，并进行归一化处理；3)将训练集数据输入构建好的网络，使用信息瓶颈层进行特征解纠缠，最后溯源出较为清晰的协助者人脸图像；4)使用模型的测试模块，在验证集上调整模型超参数、使得模型在训练集以及验证集上取得最好的效果；5)在测试集上进行测试，观察测试结果，将溯源出的协助者图像与真正的协助者图像进行比对，计算人脸融合攻击协助者面部复原的准确率。的准确率。


技术研发人员：苏佳丽 龙敏 方倩
受保护的技术使用者：长沙理工大学
技术研发日：2022.03.24
技术公布日：2022/6/7