攻击人脸图片的转换方法及装置、电子设备及存储介质与流程

1.本技术涉及人脸识别技术领域，例如涉及一种攻击人脸图片的转换方法及装置、电子设备及存储介质。


背景技术：

2.目前，由于计算机科学和电子技术的迅速发展，如今，就市场份额而言，人脸识别正成为仅次于指纹识别的全球第二大生物特征认证方法，人脸识别系统已经在人们生活的诸多领域中得到应用，例如电子门锁、电子门禁和金融支付等诸多领域。与此同时，人脸识别系统也面临诸多安全上的风险，例如视频攻击、照片攻击和立体面具攻击等等。
3.在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：
4.在训练人脸识别系统中的人脸活体检测模型的过程中，通过需要采集真实人脸图片和攻击人脸图片，采集的过程通常为获取目标用户的真实人脸图片，并根据目标用户的面部特征三维打印出攻击面具，然后采集佩戴攻击面具后的攻击人脸图片。然而，上述方式得到的攻击人脸图片与真实人脸图片在姿态、表情或背景信息上的差异较大，导致人脸活体检测模型在应用时无法准确的确定被攻击的目标用户的身份信息。


技术实现要素：

5.为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
6.本公开实施例提供了一种攻击人脸图片的转换方法及装置、电子设备及存储介质，以使得人脸识别系统能够准确识别出被攻击的目标用户的身份信息。
7.在一些实施例中，所述攻击人脸图片的转换方法，包括：
8.根据获取到的人脸数据样本集，训练得到生成对抗网络并保留所述生成对抗网络中的生成器；
9.根据所述人脸数据样本集，通过所述生成器对编码器进行训练，直至所述编码器的相似度损失值收敛，其中，所述相似度损失值为均方方差损失值与身份信息损失值的总和；
10.根据训练好的所述编码器和生成器，将目标用户的攻击人脸图片转换为所述目标用户的真实人脸图片。
11.可选地，所述根据训练好的所述编码器和生成器，将目标用户的攻击人脸图片转换为所述目标用户的真实人脸图片，包括：
12.获取目标用户的攻击人脸图片；
13.将所述攻击人脸图片输入至编码器中，得到所述攻击人脸图片对应的第一潜在编码；
14.将所述攻击人脸图片对应的第一潜在编码输入至生成器中，得到所述目标用户的
真实人脸图片。
15.可选地，所述根据所述人脸数据样本集，通过所述生成器对编码器进行训练，直至所述编码器的相似度损失值收敛，包括：
16.将所述人脸数据样本集中的训练样本图片输入至初始化的编码器中，得到所述编码器输出的第二潜在编码；
17.将所述编码器输出的第二潜在编码输入至生成器中，得到所述生成器输出的生成图片；
18.计算所述训练样本图片与所述生成图片之间的相似度损失值；
19.根据所述相似度损失值，进行反向传播以调整所述编码器的参数，直至所述编码器的相似度损失值收敛。
20.可选地，所述计算所述训练样本图片与所述生成图片之间的相似度损失值，包括：
21.根据所述生成图片和训练样本图片每个像素点的像素值，计算所述生成图片与训练样本图片之间的均方方差损失值；
22.根据基于arcface的人脸识别模型，获取所述生成图片与训练样本图片之间的身份信息损失值；
23.将所述均方方差损失值与身份信息损失值进行求和，得到所述生成图片与训练样本图片之间的相似度损失值。
24.可选地，所述根据基于arcface的人脸识别模型，获取所述生成图片与训练样本图片之间的身份信息损失值，包括：
25.根据所述人脸数据样本集并使用arcface损失函数对残差网络进行训练，得到所述人脸识别模型；
26.将所述生成图片和训练样本图片输入至所述人脸识别模型中，得到所述生成图片对应的人脸特征表达和所述训练样本图片对应的人脸特征表达；
27.计算所述生成图片对应的人脸特征表达和所述训练样本图片对应的人脸特征表达之间的余弦距离，将所述余弦距离作为所述生成图片与训练样本图片之间的身份信息损失值。
28.可选地，在根据获取到的人脸数据样本集，训练得到生成对抗网络并保留所述生成对抗网络中的生成器之前，还包括：
29.通过开源人脸数据集中收集多个真实人脸图片，形成所述人脸数据样本集；
30.通过c语言工具包中的人脸检测器，获取所述人脸数据样本集中每个真实人脸图片对应的人脸边界框；
31.通过c语言工具包中的人脸关键点检测器，定位出所述人脸数据样本集中每个真实人脸图片对应的面部关键特征点坐标。
32.可选地，所述根据获取到的人脸数据样本集，训练得到生成对抗网络并保留所述生成对抗网络中的生成器，包括：
33.根据所述人脸数据样本集中每个真实人脸图片对应的人脸边界框和每个真实人脸图片对应的面部关键特征点坐标，基于style gan框架训练得到生成对抗网络；
34.训练结束后，保留所述生成对抗网络中的生成器。
35.在一些实施例中，所述攻击人脸图片的转换装置，包括：
36.生成器训练模块，被配置为根据获取到的人脸数据样本集，训练得到生成对抗网络并保留所述生成对抗网络中的生成器；
37.编码器训练模块，被配置为根据所述人脸数据样本集，通过所述生成器对编码器进行训练，直至所述编码器的相似度损失值收敛，其中，所述相似度损失值为均方方差损失值与身份信息损失值的总和；
38.人脸转换模块，被配置为根据训练好的所述编码器和生成器，将目标用户的攻击人脸图片转换为所述目标用户的真实人脸图片。
39.在一些实施例中，所述电子设备，包括存储器和处理器，其中：
40.所述存储器，用于保存计算机程序；
41.所述处理器，用于执行所述计算机程序，以实现如本技术所述的攻击人脸图片的转换方法。
42.在一些实施例中，所述存储介质，存储有程序指令，所述程序指令在运行时，执行如本技术所述的攻击人脸图片的转换方法。
43.本公开实施例提供的攻击人脸图片的转换方法及装置、电子设备及存储介质，可以实现以下技术效果：
44.本技术采用应用于机器学习技术领域的技术手段，通过使用训练好的编码器和生成器，将佩戴有目标用户的攻击面具的攻击人脸图片转换为目标用户的真实人脸图片，不仅能确保生成人脸的真实性，还能保持图中人脸的姿态、表情以及背景信息的不变性，使得在人脸活体检测模型在判断出攻击人脸的情况下，能够准确地确定出被攻击的目标用户的身份信息。
45.以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本技术。
附图说明
46.一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：
47.图1是生成对抗网络的系统架构示意图；
48.图2是编码器的工作原理示意图；
49.图3是本公开实施例提供的一个攻击人脸图片的转换方法的示意图；
50.图4是本公开实施例提供的另一个攻击人脸图片的转换方法的示意图；
51.图5是本公开实施例提供的另一个攻击人脸图片的转换方法的示意图；
52.图6是本公开实施例提供的另一个攻击人脸图片的转换方法的示意图；
53.图7是本公开实施例提供的另一个攻击人脸图片的转换方法的示意图；
54.图8是本公开实施例提供的另一个攻击人脸图片的转换方法的示意图；
55.图9是本公开实施例的一个应用示意图；
56.图10是本公开实施例的另一个应用示意图；
57.图11是本公开实施例的另一个应用示意图；
58.图12是本公开实施例提供的一个攻击人脸图片的转换装置的示意图；
59.图13是本公开实施例提供的另一个攻击人脸图片的转换装置的示意图。
具体实施方式
60.为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。
61.本公开实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开实施例的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。
62.除非另有说明，术语“多个”表示两个或两个以上。
63.本公开实施例中，字符“/”表示前后对象是一种“或”的关系。例如，a/b表示：a或b。
64.术语“和/或”是一种描述对象的关联关系，表示可以存在三种关系。例如，a和/或b，表示：a或b，或，a和b这三种关系。
65.术语“对应”可以指的是一种关联关系或绑定关系，a与b相对应指的是a与b之间是一种关联关系或绑定关系。
66.结合图1所示，生成对抗网络(generative adversarial network，gan)是通过生成器(generator)和判别器(discriminator)不断博弈，进而使生成器学习到数据的分布的神经网络学习模型。在训练过程中，生成器的目标就是尽量生成真实的图片去欺骗判别器。而判别器的目标就是尽量辨别出生成器生成的虚假的图片和真实的图片。这样，生成器和判别器构成了一个动态的“博弈过程”，最终双方博弈的结果就是，生成器生成的假样本与真样本几乎没有差别，从而导致判别器不能区分真样本还是假样本，此时生成器和判别器达到了平衡，整个训练过程结束。
67.在相关技术中，大量gan模型，例如pcgan，big gan，style gan已经被研发应用于从随机噪声输入生成高质量多样化的生成图片。近来研究表明，gan可以在中间特征和隐层空间有效编码富语义信息。这些理论可以通过改变隐层空间编码，合成具有变化多样特性的图片。然而，因为gan缺乏推理能力与编码器，这种处理只能应用于从gan生成的图片，不能用于真实图片。
68.结合图2所示，编码器(encoder)的目标是将输入的图片、文字或音频等编码成低维的潜在编码(latent code)或特征表达(embedding)，编码器通常由神经网络实现，包括卷积层、池化层和批量标准化层等，其中，卷积层负责获取图片局域特征，池化层对图片进行下采样并且将尺度不变特征传送到下一层，而批量标准化层主要对训练图片的分布归一化和加速学习。以人脸图片的编码为例，编码器将人脸图片进行特征提取形成潜在编码，使得潜在编码就包含了人脸图片的主要信息，例如该向量的元素可能表示人脸肤色、眉毛位置、眼睛大小等等。
69.在相关技术中，人脸识别系统面临诸多安全上的风险，为了应对这一挑战，训练一个人脸活体检测模型是具有客观价值的，对于一张真实的人脸，人脸活体检测模型输出结果为真；而对于一张攻击的人脸，模型的输出结果为假。因此，训练一个人脸活体检测模型通常需要大量的真实人脸数据集和攻击人脸数据集。例如，通过获取采集用户的面部三维
点云数据，使用石膏、树脂、硅胶等材质打印出对应的三维人脸面具，然后让攻击者佩戴上述三维人脸面具，然后拍摄此人脸照片，从而获取到佩戴面具的攻击人脸图片。
70.同时，当一个人脸识别系统面对一个攻击人脸时，其攻击形式可能会是：纸张打印攻击，电子屏幕设备攻击，面具攻击(包括树脂面具、石膏面具、硅胶头套面具等等)，在人脸活体检测模型判别出摄像头面前是一个戴面具的攻击人脸后，人脸识别模型还面临另一个挑战：如何确定摄像头前被攻击的目标用户的身份信息。因此，如何把一张佩戴面具的攻击人脸图片，还原成为被攻击者的真实人脸图片，对人脸识别系统的安全保障具有重要的意义。
71.为此，结合图3所示，本公开实施例提供一种攻击人脸图片的转换方法，包括：
72.步骤301：根据获取到的人脸数据样本集，训练得到生成对抗网络并保留所述生成对抗网络中的生成器。
73.在本技术的实施例中，本技术基于style gan架构，通过获取到的人脸数据样本集中的真实人脸图片，训练得到一个生成对抗网络并保留生成对抗网络中的生成器，该生成对抗网络可以实现基于高级属性(例如，在人脸训练时的姿势和身份)和生成图片(例如，雀斑、头发)的随机变化(例如，雀斑、头发)的自动学习和无监督分离，并且可以实现直观、规模化具体控制合成。
74.步骤302：根据所述人脸数据样本集，通过所述生成器对编码器进行训练，直至所述编码器的相似度损失值收敛，其中，所述相似度损失值为均方方差损失值与身份信息损失值的总和。
75.在本技术的实施例中，本技术根据步骤301中获得的人脸数据样本集，使用上述训练好的生成器对编码器进辅助训练，编码器的作用和生成器的作用相反，其输入可以是一张rgb格式的人脸图片，输出为人脸图片对应的潜在编码，同时，在训练对编码器的损失函数进行设计，在保留gan逆映射原有的均方方差损失值的同时，引入了身份信息损失值，该身份信息损失值是通过基于arcface的人脸识别模型计算得到的，然后将均方方差损失值与身份信息损失值的总和作为最终的相似度损失值。
76.步骤303：根据训练好的所述编码器和生成器，将目标用户的攻击人脸图片转换为所述目标用户的真实人脸图片。
77.在本技术的实施例中，本技术在应用阶段，使用训练好的编码器和生成器，将佩戴有目标用户的攻击面具的攻击人脸图片通过潜在编码转换为目标用户的真实人脸图片，不仅能确保生成人脸的真实性，还能保持图中人脸的姿态、表情以及背景信息的不变性。
78.采用本公开实施例提供的攻击人脸图片的转换方法，采用应用于机器学习技术领域的技术手段，通过使用训练好的编码器和生成器，将佩戴有目标用户的攻击面具的攻击人脸图片转换为目标用户的真实人脸图片，不仅能确保生成人脸的真实性，还能保持图中人脸的姿态、表情以及背景信息的不变性，使得在人脸活体检测模型在判断出攻击人脸的情况下，能够准确地确定出被攻击的目标用户的身份信息。
79.可选地，结合图4所示，所述根据训练好的所述编码器和生成器，将目标用户的攻击人脸图片转换为所述目标用户的真实人脸图片，包括：
80.步骤401：获取目标用户的攻击人脸图片。
81.在本技术的实施例中，本技术在推理预测阶段，获取给定的目标用户的攻击人脸
图片，例如，通过摄像头或相机，获取佩戴有目标用户的人脸面具的攻击者的人脸图片，得到目标用户的攻击人脸图片。
82.步骤402：将所述攻击人脸图片输入至编码器中，得到所述攻击人脸图片对应的第一潜在编码。
83.在本技术的实施例中，本技术将目标用户的攻击人脸图片输入至编码器中，编码器对攻击人脸图片进行特征提取，输出攻击人脸图片对应的第一潜在编码，例如，可以是一个16
×
512维度的矩阵。
84.步骤403：将所述攻击人脸图片对应的第一潜在编码输入至生成器中，得到所述目标用户的真实人脸图片。
85.在本技术的实施例中，本技术将攻击人脸图片对应的第一潜在编码输入至生成器中，生成器根据第一潜在编码生成目标用户的真实人脸图片，即被攻击者的真实人脸图片。
86.这样，在通过活体检测模型判断出存在人脸识别攻击的情况下，通过确定被攻击者的真实人脸图片，经过综合判断后就能够准确地确定出被攻击者的身份信息，从而进行针对性防御。
87.可选地，结合图5所示，所述根据所述人脸数据样本集，通过所述生成器对编码器进行训练，直至所述编码器的相似度损失值收敛，包括：
88.步骤501：将所述人脸数据样本集中的训练样本图片输入至初始化的编码器中，得到所述编码器输出的第二潜在编码。
89.在本技术的实施例中，本技术在训练阶段，构建一个初始化的编码器，然后将人脸数据样本集中的训练样本图片输入编码器中，得到所述编码器输出的第二潜在编码。
90.步骤502：将所述编码器输出的第二潜在编码输入至生成器中，得到所述生成器输出的生成图片。
91.在本技术的实施例中，本技术进而将第二潜在编码输入至训练好的生成器中，得到所述生成器输出的生成图片，其中，本技术的生成器可以基于stylegan框架，第二潜在编码可以是一个16
×
512维度的矩阵，生成器的输出是一张人脸图片，如一张3
×
512
×
512的rgb图片。
92.步骤503：计算所述训练样本图片与所述生成图片之间的相似度损失值。
93.在本技术的实施例中，本技术通过计算训练样本图片与生成图片之间的相似度损失值，能够从人脸特征和图片像素的角度，对编码器的训练情况进行总体评价，以指导编码器过程。
94.步骤504：根据所述相似度损失值，进行反向传播以调整所述编码器的参数，直至所述编码器的相似度损失值收敛。
95.这样，能够更好地实现对编码器的训练，保证了编码器的准确率和泛化率。
96.在上述实施例中，结合图6所示，所述计算所述训练样本图片与所述生成图片之间的相似度损失值，包括：
97.步骤601：根据所述生成图片和训练样本图片每个像素点的像素值，计算所述生成图片与训练样本图片之间的均方方差损失值。
98.在本技术的实施例中，本技术首先根据生成图片的每个像素点的像素值，以及训练样本图片的每个像素点的像素值，通过对比每个像素点的像素值，计算出一个均方方差
损失值，即每个像素点的像素值之间的差值平方之后求和的平均值。
99.步骤602：根据基于arcface的人脸识别模型，获取所述生成图片与训练样本图片之间的身份信息损失值。
100.本技术的实施例中，本技术进一步基于预训练的arcface的人脸识别模型，将生成图片与训练样本图片输入至人脸识别模型中，得到人脸识别模型输出的生成图片与训练样本图片之间的身份信息损失值，其中，arcface表示用于深度人脸识别的附加角边距损失，是针对人脸识别的一种损失函数。
101.步骤603：将所述均方方差损失值与身份信息损失值进行求和，得到所述生成图片与训练样本图片之间的相似度损失值。
102.在本技术的实施例中，本技术最终将均方方差损失值与身份信息损失值进行求和，得到最终的相似度损失值以指导反向传播算法优化。
103.这样，通过在设计损失函数时，传统在均方方差损失值的基础上，引入能够反映人脸特征的身份信息损失值，从而实现综合图片的像素值相似度和人脸特征相似度，对生成图片与目标图片之间的相似度进行判断。
104.在上述实施例中，结合图7所示，所述根据基于arcface的人脸识别模型，获取所述生成图片与训练样本图片之间的身份信息损失值，包括：
105.步骤701：根据所述人脸数据样本集并使用arcface损失函数对残差网络进行训练，得到所述人脸识别模型。
106.在本技术的实施例中，本技术基于人脸数据样本集，使用arcface损失函数并以残差网络为骨干网络进行训练，例如resnet50，得到所述人脸识别模型。
107.步骤702：将所述生成图片和训练样本图片输入至所述人脸识别模型中，得到所述生成图片对应的人脸特征表达和所述训练样本图片对应的人脸特征表达。
108.在本技术的实施例中，本技术的人脸识别模型通过对生成图片和训练样本图片分别进行特征提取，得到生成图片对应的人脸特征表达(embedding)和训练样本图片对应的人脸特征表达(embedding)，其中，所述人脸特征表达可以是一个512维的向量。
109.步骤703：计算所述生成图片对应的人脸特征表达和所述训练样本图片对应的人脸特征表达之间的余弦距离，将所述余弦距离作为所述生成图片与训练样本图片之间的身份信息损失值。
110.在本技术的实施例中，本技术通过计算生成图片对应的人脸特征表达和训练样本图片对应的人脸特征表达之间的余弦距离，余弦距离越大，表示生成图片和训练样本图片之间的相似度越差，也就说明生成图片和训练样本图片之间的人脸特征差距越大。
111.这样，通过引入基于arcface的人脸识别模型，以获取所述生成图片与训练样本图片之间的身份信息损失值，使得在gan逆映射时生成对抗网络会将人脸特征进行考量，从而确保了生成的人脸和原始人脸在人脸识别系统中具有较高的相似度。
112.在实际应用中，结合图8所示，本公开实施例提供一种攻击人脸图片的转换方法，包括：
113.步骤801：通过开源人脸数据集中收集多个真实人脸图片，形成所述人脸数据样本集。
114.在本技术的实施例中，本技术从ffhq数据集或glint360k数据集等开源人脸数据
集中，收集多个真实的人脸图片，形成所述人脸数据样本集。
115.步骤802：通过c语言工具包中的人脸检测器，获取所述人脸数据样本集中每个真实人脸图片对应的人脸边界框。
116.步骤803：通过c语言工具包中的人脸关键点检测器，定位出所述人脸数据样本集中每个真实人脸图片对应的面部关键特征点坐标。
117.在本技术的实施例中，本技术使用dlib中的人脸检测器，检测出人脸矩形框后进行裁剪。同时使用dlib中的人脸关键点检测器检测出每张人脸的68个关键点坐标后，对人脸进行对齐。
118.步骤804：根据所述人脸数据样本集中每个真实人脸图片对应的人脸边界框和每个真实人脸图片对应的面部关键特征点坐标，基于style gan框架训练得到生成对抗网络。
119.步骤805：训练结束后，保留所述生成对抗网络中的生成器。
120.在本技术的实施例中，结合图9所示，本技术基于style gan框架，使用人脸数据样本集中每个人脸图片对应的人脸边界框和每个人脸图片对应的面部关键特征点坐标，训练一个生成对抗网络，该生成对抗网络包含一个生成器和一个判别器，训练结束后保留该网络的生成器。生成器是一个神经网络，生成器的输入称为潜在编码，例如潜在编码可以是一个维度是16
×
512的矩阵，生成器的输出是一张人脸的生成图片，如一张3
×
512
×
512的rgb图片。
121.步骤806：根据所述人脸数据样本集，通过所述生成器对编码器进行训练，直至所述编码器的相似度损失值收敛，其中，所述相似度损失值为均方方差损失值与身份信息损失值的总和。
122.在本技术的实施例中，结合图10所示，本技术根据步骤301中获得的人脸数据样本集，使用上述训练好的生成器对编码器进辅助训练，编码器的作用和生成器的作用相反，其输入可以是一张rgb格式的人脸图片，输出为人脸图片对应的潜在编码，同时，在训练对编码器的损失函数进行设计，在保留gan逆映射原有的均方方差损失值的同时，引入了身份信息损失值，该身份信息损失值是通过基于arcface的人脸识别模型计算得到的，然后将均方方差损失值与身份信息损失值的总和作为最终的相似度损失值。
123.步骤807：根据训练好的所述编码器和生成器，将目标用户的攻击人脸图片转换为所述目标用户的真实人脸图片。
124.在本技术的实施例中，结合图11所示，本技术在应用阶段，使用训练好的编码器和生成器，将佩戴有目标用户的攻击面具的攻击人脸图片通过潜在编码转换为目标用户的真实人脸图片，不仅能确保生成人脸的真实性，还能保持图中人脸的姿态、表情以及背景信息的不变性。
125.采用本公开实施例提供的攻击人脸图片的转换方法，采用应用于机器学习技术领域的技术手段，通过使用训练好的编码器和生成器，将佩戴有目标用户的攻击面具的攻击人脸图片转换为目标用户的真实人脸图片，不仅能确保生成人脸的真实性，还能保持图中人脸的姿态、表情以及背景信息的不变性，使得在人脸活体检测模型在判断出攻击人脸的情况下，能够准确地确定出被攻击的目标用户的身份信息。
126.结合图12所示，本公开实施例提供一种攻击人脸图片的转换装置，包括：
127.生成器训练模块1201，被配置为根据获取到的人脸数据样本集，训练得到生成对
抗网络并保留所述生成对抗网络中的生成器；
128.编码器训练模块1202，被配置为根据所述人脸数据样本集，通过所述生成器对编码器进行训练，直至所述编码器的相似度损失值收敛，其中，所述相似度损失值为均方方差损失值与身份信息损失值的总和；
129.人脸转换模块1203，被配置为根据训练好的所述编码器和生成器，将目标用户的攻击人脸图片转换为所述目标用户的真实人脸图片。
130.可选地，所述人脸转换模块1203，具体被配置为：
131.获取目标用户的攻击人脸图片；
132.将所述攻击人脸图片输入至编码器中，得到所述攻击人脸图片对应的第一潜在编码；
133.将所述攻击人脸图片对应的第一潜在编码输入至生成器中，得到所述目标用户的真实人脸图片。
134.可选地，所述编码器训练模块1202，具体被配置为：
135.将所述人脸数据样本集中的训练样本图片输入至初始化的编码器中，得到所述编码器输出的第二潜在编码；
136.将所述编码器输出的第二潜在编码输入至生成器中，得到所述生成器输出的生成图片；
137.计算所述训练样本图片与所述生成图片之间的相似度损失值；
138.根据所述相似度损失值，进行反向传播以调整所述编码器的参数，直至所述编码器的相似度损失值收敛。
139.可选地，所述编码器训练模块1202，具体被配置为：
140.根据所述生成图片和训练样本图片每个像素点的像素值，计算所述生成图片与训练样本图片之间的均方方差损失值；
141.根据基于arcface的人脸识别模型，获取所述生成图片与训练样本图片之间的身份信息损失值；
142.将所述均方方差损失值与身份信息损失值进行求和，得到所述生成图片与训练样本图片之间的相似度损失值。
143.可选地，所述编码器训练模块1202，具体被配置为：
144.根据所述人脸数据样本集并使用arcface损失函数对残差网络进行训练，得到所述人脸识别模型；
145.将所述生成图片和训练样本图片输入至所述人脸识别模型中，得到所述生成图片对应的人脸特征表达和所述训练样本图片对应的人脸特征表达；
146.计算所述生成图片对应的人脸特征表达和所述训练样本图片对应的人脸特征表达之间的余弦距离，将所述余弦距离作为所述生成图片与训练样本图片之间的身份信息损失值。
147.可选地，所述生成器训练模块1201，还被配置为：
148.通过开源人脸数据集中收集多个真实人脸图片，形成所述人脸数据样本集；
149.通过c语言工具包中的人脸检测器，获取所述人脸数据样本集中每个真实人脸图片对应的人脸边界框；
150.通过c语言工具包中的人脸关键点检测器，定位出所述人脸数据样本集中每个真实人脸图片对应的面部关键特征点坐标。
151.可选地，所述生成器训练模块1201，截图被配置为：
152.根据所述人脸数据样本集中每个真实人脸图片对应的人脸边界框和每个真实人脸图片对应的面部关键特征点坐标，基于style gan框架训练得到生成对抗网络；
153.训练结束后，保留所述生成对抗网络中的生成器。
154.采用本公开实施例提供的攻击人脸图片的转换装置，采用应用于机器学习技术领域的技术手段，通过使用训练好的编码器和生成器，将佩戴有目标用户的攻击面具的攻击人脸图片转换为目标用户的真实人脸图片，不仅能确保生成人脸的真实性，还能保持图中人脸的姿态、表情以及背景信息的不变性，使得在人脸活体检测模型在判断出攻击人脸的情况下，能够准确地确定出被攻击的目标用户的身份信息。
155.结合图13所示，本公开实施例提供一种攻击人脸图片的转换装置，包括处理器(processor)130和存储器(memory)131。可选地，该装置还可以包括通信接口(communication interface)132和总线133。其中，处理器130、通信接口132、存储器131可以通过总线133完成相互间的通信。通信接口132可以用于信息传输。处理器130可以调用存储器131中的逻辑指令，以执行上述实施例的攻击人脸图片的转换方法。
156.此外，上述的存储器131中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
157.存储器131作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器130通过运行存储在存储器131中的程序指令/模块，从而执行功能应用以及数据处理，即实现上述实施例中攻击人脸图片的转换方法。
158.存储器131可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器131可以包括高速随机存取存储器，还可以包括非易失性存储器。
159.本公开实施例提供了一种存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为执行上述攻击人脸图片的转换方法。
160.上述的存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。
161.本公开实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或多个指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开实施例所述方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
162.以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。而且，本技术中
使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本技术中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本技术中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个
…”
限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。
163.本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。所述技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
164.本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
165.附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功
能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。