基于信息瓶颈解纠缠的人脸融合攻击协助者面部溯源方法

1.本发明涉及人脸融合攻击协助者面部溯源领域，尤其是一种基于信息瓶颈解纠缠的人脸融合攻击协助者面部溯源方法。


背景技术：

2.随着人脸识别技术的迅猛发展，采用人脸生物特征信息进行身份认证已经成为一种趋势。但近年来，现在的人脸识别系统极容易受到攻击者的恶意欺骗攻击，攻击者通过融合人脸就可以实现对于现有的人脸识别系统的欺骗。人脸融合攻击方法为：首先生成一个融合的面部图像(两个或者多个真实面部图像的融合)，它的外观与生成融合人脸的参与者都很相似。然后将融合人脸图像作为身份模板注册到人脸识别系统中。当成功攻击人脸识别系统时，所有融合人脸生成的参与者都可以与存储在人脸识别系统中的模板进行正确匹配。这意味着，攻击者可以用自己的照片与其协助者的照片生成一张人脸融合图像，以协助者的身份申请合法的电子机读旅行证件或护照。这种攻击方式极大的威胁公共安全和社会稳定。
3.人脸融合欺骗攻击取证的相关研究尚处于起步阶段，主要集中在人脸识别系统对人脸融合攻击的脆弱性研究和人脸融合欺骗攻击的取证方法研究两个方面，对人脸融合共犯图像的恢复并没有得到细致的研究。由此，溯源人脸融合攻击的共犯人脸图像具有较高的研究与应用意义。
4.为了解决人脸识别系统的潜在不足，人脸融合攻击协助者的面部溯源成为一个亟待解决的问题。目前人脸融合攻击协助者的面部溯源只有通过采用人脸融合逆过程实现的协助者面部复原方法以及基于生成对抗网络的协助者面部复原方法。然而，这些方法仍然还存在复原图像不够清晰以及网络复杂度较高等问题。


技术实现要素：

5.针对上述现有技术的不足，本发明提供一种基于信息瓶颈解纠缠的人脸融合攻击协助者面部溯源方法。其目的在于解决以往方法中存在的溯源图像准确率不够高、需要融合比例因子先验条件等问题。
6.为了实现上述目的，本发明提供了一种基于信息瓶颈解纠缠的人脸融合攻击协助者面部溯源方法的框图，包括以下步骤：
7.步骤一、对于hnu-fm人脸融合欺骗攻击基准数据集按照6：2：2的比例划分为训练集、验证集和测试集；
8.步骤二、对数据集进行预处理，将数据集中的图像统一尺寸，并进行归一化处理；
9.步骤三、将训练集数据输入构建好的网络，使用信息瓶颈层进行特征解纠缠，最后溯源出较为清晰的协助者人脸图像；
10.步骤四、使用模型的测试模块，在验证集上调整模型超参数、使得模型在训练集以及验证集上取得最好的效果；
11.步骤五、在测试集上进行测试，观察测试结果，将溯源出的协助者图像与真正的协助者图像进行比对，计算人脸融合攻击协助者面部复原的准确率。
12.本发明提供了一种基于信息瓶颈解纠缠的人脸融合攻击协助者面部溯源方法。与现有技术相比，具备以下有益效果：
13.本方案是采用的是深度学习方法，不依赖关于融合人脸生成的先验知识，如融合过程和融合参数，主要是用信息瓶颈解纠缠的方法，通过分离隐含在融合人脸中的攻击者与协助者的身份特征，进而实现人脸融合攻击协助者的面部复原。通过加入信息瓶颈解纠缠层，更准确的实现分离出在融合人脸中的攻击者与协助者的身份特征，再由分离出的协助者的身份特征复原出相应的人脸面部图像。
附图说明
14.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
15.图1是基于信息瓶颈解纠缠的变形人脸溯源框图。
具体实施方式
16.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
17.下面结合说明书附图以及具体的实施方式对本发明作详细说明。如图1所示，一种基于信息瓶颈解纠缠的变形人脸溯源方法包括步骤1～5：
18.步骤一、对于hnu-fm人脸融合欺骗攻击基准数据集按照6：2：2的比例划分为训练集、验证集和测试集；
19.步骤二、对数据集进行预处理，将数据集中的图像统一尺寸，并进行归一化处理；
20.步骤三、将训练集数据输入构建好的网络，使用信息瓶颈层进行特征解纠缠，最后溯源出较为清晰的协助者人脸图像；
21.步骤四、使用模型的测试模块，在验证集上调整模型超参数、使得模型在训练集以及验证集上取得最好的效果；
22.步骤五、在测试集上进行测试，观察测试结果，将溯源出的协助者图像与真正的协助者图像进行比对，计算人脸融合攻击协助者面部复原的准确率。下面对各个步骤进行详细描述。
23.在步骤1中，在hnu融合人脸数据集中，按照攻击者、协助者、融合人脸图像进行分组，并将分组的人脸图像按照6：2：2的比例划分为训练、验证和测试集；
24.在步骤2中，由于人脸区域通常位于图像的中心，为了准确地从图像中提取特征，只保留图像的最大中心区域。在预处理阶段，根据由dlib标志点检测器检测到的眼睛坐标来分割和归一化图像的面部，裁剪为统一的128x128x3尺寸，在数值上归一化为[-1,1]；
[0025]
在步骤3中，将训练集中的图片按照攻击者、协助者、融合图像为一组，输入网络中，首先使用预训练好的身份编码器进行深度特征提取，将提取出来的特征经过信息瓶颈层学习到融合图像中的权重图，λ表示该元素对应位置关于攻击者编码的重要性，根据权重图引入高斯噪声，按照zx＝λrxy (1-λ)ε，zy＝(1-λ)rxy λε的计算方法，实现将隐含在融合图像中的攻击者与协助者的身份信息分离出来，得到经过解纠缠之后的关于攻击者以及协助者的身份信息后，再经过生成器，也就是面部复原网络，生成出协助者的面部图像；
[0026]
在步骤4中，经过训练集的训练，在验证集上调整整个网络的学习率、批次数、像素级损失以及特征级损失，计算身份信息损失，融合图像得身份信息应该更接近攻击者与协助者身份信息二者夹角得角平分线，通过余弦相似性计算三者身份信息距离，降低身份信息损失，使得在验证集上得效果达到最好；
[0027]
在步骤5中，在测试集上进行测试，观察测试结果，将整个测试集溯源出得协助者图像保存下来，与真正的协助者图像进行对比，在阈值下计算出正确率。
[0028]
本发明实施本发明提出了一种基于信息瓶颈解纠缠的人脸融合攻击协助者面部溯源方法，创新点包括：
[0029]
提出了一种基于信息瓶颈解纠缠的人脸融合攻击协助者面部溯源方法。该方法利用信息瓶颈理论，通过在融合人脸图像的特征图中加入信息瓶颈层，加入关于身份信息的损失，更好的分离隐含在融合人脸中的攻击者与协助者的身份特征，实现人脸融合攻击协助者的面部复原，获得高质量和鲁棒的协助者面部复原效果。
[0030]
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。