换脸模型训练方法、换脸方法、设备及存储介质与流程

1.本技术涉及计算机技术领域，具体而言，涉及一种换脸模型训练方法、换脸方法、设备及存储介质。


背景技术：

2.换脸技术是指将一张人脸图像的面部信息替换到另一张人脸图像上以达到伪造生物特征或者表情的目的，换脸技术是一种图像合成技术或者图像叠加技术，广泛应用于直播、影视、广告、娱乐等领域。
3.常见的换脸方法主要有两种，一种是基于人脸关键点和传统视觉方法的人脸形状拟合，通过对目标人脸和生物人脸执行关键点检测，计算两个人脸之间的形变，并通过仿射变换和图像融合后处理完成换脸；另一种是基于3d模型的三维人脸重建方法，通过估计人脸的3d模型和姿态，进行人脸分割、姿态对齐、纹理映射和图像融合处理，以实现换脸。
4.然而，上述换脸方法对人脸图像的质量要求较高，对于面部遮挡等图像换脸效果较差。


技术实现要素：

5.有鉴于此，本技术实施例提供了一种换脸模型训练方法、换脸方法、设备及存储介质，以解决现有换脸方法由于面部遮挡导致换脸效果差的问题。
6.第一方面，本技术实施例提供了一种换脸模型训练方法，包括：
7.获取样本原人脸图像的第一人脸视觉特征图和第一人脸生物特征，以及样本目标人脸图像的第二人脸生物特征；
8.将所述第二人脸生物特征嵌入至所述第一人脸视觉特征图，得到第一换脸图像，所述第一换脸图像中的人脸为所述第二人脸生物特征对应的人脸；
9.将所述第一人脸生物特征嵌入至所述第一换脸图像的第二人脸视觉特征图，得到第二换脸图像，所述第二换脸图像中的人脸为所述第一人脸生物特征对应的人脸；
10.根据所述样本原人脸图像和所述第一换脸图像进行判别处理，得到所述样本原人脸图像对应的第一判别结果和所述第一换脸图像对应的第二判别结果；
11.根据所述第二人脸生物特征、所述第一换脸图像、所述第一人脸生物特征、所述第二换脸图像、所述第一判别结果以及所述第二判别结果，进行模型训练，得到所述换脸模型。
12.在一可选的实施方式中，所述将所述第二人脸生物特征嵌入至所述第一人脸视觉特征图，得到第一换脸图像，包括：
13.将所述第二人脸生物特征嵌入至所述第一人脸视觉特征图，得到第一融合特征图；
14.对所述第一融合特征图进行图像解码，得到所述第一换脸图像；
15.所述将所述第一人脸生物特征嵌入至所述第一换脸图像的第二人脸视觉特征图，
得到第二换脸图像，包括：
16.将所述第一人脸生物特征嵌入至所述第二人脸视觉特征图，得到第二融合特征图；
17.对所述第二融合特征图进行图像解码，得到所述第二换脸图像。
18.在一可选的实施方式中，所述根据所述第二人脸生物特征、所述第一换脸图像、所述第一人脸生物特征、所述第二换脸图像、所述第一判别结果以及所述第二判别结果，进行模型训练，得到所述换脸模型，包括：
19.根据所述第二人脸生物特征、所述第一换脸图像、所述第一人脸生物特征以及所述第二换脸图像，确定生物特征损失；
20.根据所述第一判别结果和所述第二判别结果，确定对抗损失；
21.根据所述生物特征损失和所述对抗损失，进行模型训练，得到所述换脸模型。
22.在一可选的实施方式中，所述根据所述第二人脸生物特征、所述第一换脸图像、所述第一人脸生物特征以及所述第二换脸图像，确定生物特征损失，包括：
23.根据所述第一换脸图像中的人脸生物特征和所述第二人脸生物特征，确定第一生物特征损失；
24.根据所述第二换脸图像中的人脸生物特征和所述第一人脸生物特征，确定第二生物特征损失；
25.根据所述第一生物特征损失和所述第二生物特征损失，确定所述生物特征损失。
26.在一可选的实施方式中，所述根据所述生物特征损失和所述对抗损失，进行模型训练，得到所述换脸模型，包括：
27.根据所述第一换脸图像的图像特征和所述样本原人脸图像的图像特征，确定图像特征损失；
28.根据所述生物特征损失、所述对抗损失以及所述图像特征损失，进行模型训练，得到所述换脸模型。
29.在一可选的实施方式中，所述根据所述生物特征损失和所述对抗损失，进行模型训练，得到所述换脸模型，包括：
30.根据所述第一换脸图像的风格特征和所述样本原人脸图像的风格特征，确定图像风格损失；
31.根据所述生物特征损失、所述对抗损失以及所述图像风格损失，进行模型训练，得到所述换脸模型。
32.在一可选的实施方式中，若所述样本原人脸图像和所述目标人脸图像为同一图像；所述根据所述生物特征损失和所述对抗损失，进行模型训练，得到所述换脸模型，包括：
33.根据所述样本原人脸图像的像素特征和所述第一换脸图像的像素特征，确定第一像素损失；
34.根据所述样本原人脸图像的像素特征和所述第二换脸图像的像素特征，确定第二像素损失；
35.根据所述生物特征损失、所述对抗损失、所述第一像素损失以及所述第二像素损失，进行模型训练，得到所述换脸模型。
36.第二方面，本技术实施例还提供了一种换脸方法，包括：
37.采用第一方面任一所述的换脸模型，对待换脸人脸图像和目标人脸图像进行处理，得到换脸图像，所述换脸图像中的人脸为所述目标人脸图像中的人脸；
38.根据所述换脸图像，生成所述待换脸人脸图像的换脸结果。
39.第三方面，本技术实施例还提供了一种换脸模型训练装置，包括：
40.获取模块，用于获取样本原人脸图像的第一人脸视觉特征图和第一人脸生物特征，以及样本目标人脸图像的第二人脸生物特征；
41.嵌入模块，用于将所述第二人脸生物特征嵌入至所述第一人脸视觉特征图，得到第一换脸图像，所述第一换脸图像中的人脸为所述第二人脸生物特征对应的人脸；
42.所述嵌入模块，还用于将所述第一人脸生物特征嵌入至所述第一换脸图像的第二人脸视觉特征图，得到第二换脸图像，所述第二换脸图像中的人脸为所述第一人脸生物特征对应的人脸；
43.判别模块，用于根据所述样本原人脸图像和所述第一换脸图像进行判别处理，得到所述样本原人脸图像对应的第一判别结果和所述第一换脸图像对应的第二判别结果；
44.训练模块，用于根据所述第二人脸生物特征、所述第一换脸图像、所述第一人脸生物特征、所述第二换脸图像、所述第一判别结果以及所述第二判别结果，进行模型训练，得到所述换脸模型。
45.在一可选的实施方式中，所述嵌入模块，具体用于：
46.将所述第二人脸生物特征嵌入至所述第一人脸视觉特征图，得到第一融合特征图；
47.对所述第一融合特征图进行图像解码，得到所述第一换脸图像；
48.所述嵌入模块，具体用于：
49.将所述第一人脸生物特征嵌入至所述第二人脸视觉特征图，得到第二融合特征图；
50.对所述第二融合特征图进行图像解码，得到所述第二换脸图像。
51.在一可选的实施方式中，所述训练模块，具体用于：
52.根据所述第二人脸生物特征、所述第一换脸图像、所述第一人脸生物特征以及所述第二换脸图像，确定生物特征损失；
53.根据所述第一判别结果和所述第二判别结果，确定对抗损失；
54.根据所述生物特征损失和所述对抗损失，进行模型训练，得到所述换脸模型。
55.在一可选的实施方式中，所述训练模块，具体用于：
56.根据所述第一换脸图像中的人脸生物特征和所述第二人脸生物特征，确定第一生物特征损失；
57.根据所述第二换脸图像中的人脸生物特征和所述第一人脸生物特征，确定第二生物特征损失；
58.根据所述第一生物特征损失和所述第二生物特征损失，确定所述生物特征损失。
59.在一可选的实施方式中，所述训练模块，具体用于：
60.根据所述第一换脸图像的图像特征和所述样本原人脸图像的图像特征，确定图像特征损失；
61.根据所述生物特征损失、所述对抗损失以及所述图像特征损失，进行模型训练，得
到所述换脸模型。
62.在一可选的实施方式中，所述训练模块，具体用于：
63.根据所述第一换脸图像的风格特征和所述样本原人脸图像的风格特征，确定图像风格损失；
64.根据所述生物特征损失、所述对抗损失以及所述图像风格损失，进行模型训练，得到所述换脸模型。
65.在一可选的实施方式中，若所述样本原人脸图像和所述目标人脸图像为同一图像；所述训练模块，具体用于：
66.根据所述样本原人脸图像的像素特征和所述第一换脸图像的像素特征，确定第一像素损失；
67.根据所述样本原人脸图像的像素特征和所述第二换脸图像的像素特征，确定第二像素损失；
68.根据所述生物特征损失、所述对抗损失、所述第一像素损失以及所述第二像素损失，进行模型训练，得到所述换脸模型。
69.第四方面，本技术实施例还提供了一种换脸装置，包括：
70.第一生成模块，用于采用第一方面任一所述的换脸模型，对待换脸人脸图像和目标人脸图像进行处理，得到换脸图像，所述换脸图像中的人脸为所述目标人脸图像中的人脸；
71.第二生成模块，用于根据所述换脸图像，生成所述待换脸人脸图像的换脸结果。
72.第五方面，本技术实施例还提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行第一方面任一所述的脸模型训练方法或者第二方面任一所述的换脸方法。
73.第四方面，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行第一方面任一所述的脸模型训练方法或者第二方面任一所述的换脸方法。
74.本技术提供一种换脸模型训练方法、换脸方法、设备及存储介质，换脸模型训练方法包括：获取样本原人脸图像的第一人脸视觉特征图和第一人脸生物特征，以及样本目标人脸图像的第二人脸生物特征，将第二人脸生物特征嵌入至第一人脸视觉特征图，得到第一换脸图像，将第一人脸生物特征嵌入至第一换脸图像的第二人脸视觉特征图，得到第二换脸图像，根据样本原人脸图像和第一换脸图像进行判别处理，得到样本原人脸图像对应的第一判别结果和第一换脸图像对应的第二判别结果，根据第二人脸生物特征、第一换脸图像、第一人脸生物特征、第二换脸图像、第一判别结果以及第二判别结果，进行模型训练，得到换脸模型。基于对抗生成网络和循环策略训练的换脸模型，能排除遮挡等无关因素的干扰，适用于大多数非受限场景下的换脸任务。
75.为使本技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
76.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
77.图1为本技术实施例提供的网络结构的示意图；
78.图2为本技术实施例提供的编解码生成器的示意图；
79.图3为本技术实施例提供的身份信息嵌入模块的示意图；
80.图4为本技术实施例提供的换脸模型训练方法的流程示意图一；
81.图5为本技术实施例提供的循环训练的示意图；
82.图6为本技术实施例提供的换脸模型训练方法的流程示意图二；
83.图7为本技术实施例提供的换脸模型训练方法的流程示意图三；
84.图8为本技术实施例提供的换脸模型训练方法的流程示意图四；
85.图9为本技术实施例提供的换脸模型训练方法的流程示意图五；
86.图10为本技术实施例提供的换脸模型训练方法的流程示意图六；
87.图11为本技术实施例提供的换脸方法的流程示意图；
88.图12为本技术实施例提供的换脸模型训练装置的结构示意图；
89.图13为本技术实施例提供的换脸装置的结构示意图；
90.图14为本技术实施例提供的电子设备的结构示意图。
具体实施方式
91.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
92.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
93.基于人脸关键点和传统视觉方法的人脸形状拟合方法，优点是计算简单快速，移动端部署友好，缺点是应用场景非常受限，一般只能用于质量较高的正脸图像换脸，在视频场景和背景光照条件复杂图像以及面部遮挡图像中应用效果较差；基于3d模型的三维人脸重建方法，优点是对人脸姿态比较鲁棒，能应用于一些非受限的视频换脸场景，缺点是计算过程相对复杂，尤其是3d模型的计算速度较慢，同时该方法对身份人脸图像的质量比较敏感，其复杂表情、大角度姿态和遮挡等因素等依然会使得换脸结果失真，效果变差。
94.针对上述两种换脸方法存在的问题，本技术提出一种基于对抗生成网络的换脸模型训练方法和换脸方法，采用不同人脸的生物特征进行模型训练，因此可执行任意人脸的
换脸，无需二次训练模型；设计了循环生成的训练策略和间隔采样的数据读取策略，同时精心设计了多组损失函数进行联合优化，使得生成结果既能实现身份信息的显著转换，又能排除光照、姿态、遮挡、背景等身份无关因素的干扰，生成高度逼真，自然和谐的换脸结果，能广泛适用于非受限场景下的图像和视频换脸任务；同时在侧脸场景下表现更加鲁棒，同时能很好保持身份人脸的细微表情，并且不会出现竞品经常出现的眼睛上瞟等不自然现象，使脸部细微表情的保持上也更加自然；此外模型结构简洁高效，训练简单快速，在服务端算法调用速度上较快。
95.首先结合图1-图3对本技术涉及的网络模型进行说明。
96.图1为本技术实施例提供的网络结构的示意图，图2为本技术实施例提供的编解码生成器的示意图。
97.如图1所示，网络结构包括：编解码生成器(encoder-decoder generator)、判别器(discriminator)和人脸身份特征提取器(face id feature extractor)。
98.如图2所示，编解码生成器包括：一个编码器、数个人脸身份信息嵌入模块(id embedding module)和一个解码器。
99.其中，编码器用于对输入的原人脸图像进行降采样得到人脸视觉特征图，其中，编码器可以由三个降采样卷积模块堆叠而成，每个模块将前一个模块的输出特征图作为输入，执行一次降采样过程，将特征图的分辨率变为原先的二分之一，同时将通道数变为原先的一倍。
100.人脸身份特征提取器采用一个预训练的人脸识别(face recognition)模型，用于提取目标人脸图像(source image)的512维身份信息特征向量(即人脸身份特征)，该特征包含了人脸的身份语义信息，如五官、皮肤等作为独特个体的生物特征。
101.人脸身份信息嵌入模块由卷积层(convolution layer)、实例归一化层(instance norm layer)、激活函数层(activation layer)和身份特征映射层(face feature inject layer，ffil)组成，其主要功能结构是身份特征映射层，主要作用是实现人脸身份替换，即所谓“换脸”，该层以编码器输出的人脸视觉特征图和人脸身份特征作为输入，输出是经过身份生物特征嵌入处理的特征图，其维度可以与输入特征图维度一致，其中，数个身份信息嵌入模块进行叠加，将有助于人脸身份信息的彻底替换，使得换脸结果更逼真。
102.其中，每个人脸身份信息嵌入模块包括两个身份特征映射层、两个卷积层和两个实例归一化层，图3为本技术实施例提供的身份信息嵌入模块的示意图，如图3所示，包括卷积层、实例归一化层、激活函数层和身份特征映射层，x为人脸视觉特征图。
103.在该示例中，人脸身份特征经过第一个人脸身份映射层后，再经过卷积层和实例归一化层，将得到的特征和人脸身份特征共同作为第二个人脸身份映射层的输入，输出特征y，再基于x和y得到人脸视觉特征图x y。
104.经过身份特征映射层的处理，使得人脸视觉特征图x y具有身份特征所包含的生物外观信息，意即“看起来更像身份人脸”，其中，通过全连接层(fully connected layer)计算身份人脸特征的均值μ和方差δ，对人脸视觉特征图x，乘以该方差δ，加上该均值μ，即通过“反归一化”使得人脸视觉特征图更加符合身份特征的分布。
105.解码器包括多个上采样的转置卷积模块，以最后一个人脸身份信息嵌入模块输出的特征图作为输入，经过数次上采样，最后输出rgb图像，即为换脸结果。
106.判别器以换脸结果和原人脸图像作为输入，输出图像的判别结果，该特征主要用于衡量图像的真实程度，其作为对抗损失函数的输入将获得对图像真实性的数值度量(即对抗损失)，数值越小意味着图像越真实，反之亦然。
107.在本技术的网络结构中，判别器与生成器一起构成对抗训练，在对抗过程中两者的能力同步提高，最后达到收敛状态下的平衡，其中，采用多尺度(multi scale)判别器可用于提高换脸结果的逼真度。
108.下面结合图4-图9实施例对本技术提供的换脸模型训练方法进行说明。
109.图4为本技术实施例提供的换脸模型训练方法的流程示意图一，本实施例的执行主体可以为电子设备，如终端、服务器等，该服务器可以为图形处理器(graphics processing unit，gpu)服务器。
110.如图4所示，该方法可以包括：
111.s101、获取样本原人脸图像的第一人脸视觉特征图和第一人脸生物特征，以及样本目标人脸图像的第二人脸生物特征。
112.样本原人脸图像的数量可以为多个，样本目标人脸图像的数量可以为多个，一个图像中包括一个人脸，多个样本原人图像中分别包括多个不同人脸，多个样本目标人脸图像中包括多个不同人脸，这样在训练过程中采用不同样本目标人脸图像，可以使训练得到的换脸模型能执行任意身份换脸任务，泛化性好。
113.其中，样本原人脸图像的第一人脸视觉特征图为样本原人脸图像的人脸视觉特征图，第一人脸视觉特征图用于指示样本原人脸图像中人脸的纹理、边缘等像素相关的浅层信息，样本原人脸图像的第一人脸生物特征为样本原人脸图像中人脸的生物特征，第一人脸生物特征用于表示样本原人脸图像中人脸的身份语义信息(即生物特征也可以称为身份特征)，如五官、皮肤等独特的生物特征。
114.样本目标人脸图像的第二人脸生物特征为样本目标人脸图像中人脸的生物特征，第二人脸生物特征用于指示样本目标人脸图像中人脸的身份语义信息，如五官、皮肤等独特的生物特征。
115.在该步骤中，可以将样本原人脸图像作为编码器的输入，编码器对样本原人脸图像进行降采样处理，得到第一人脸视觉特征图。
116.采用人脸身份特征提取器对样本原人脸图像进行生物特征提取操作，得到样本原人脸图像的第一人脸生物特征，并采用人脸身份特征提取器对样本目标人脸图像进行生物特征提取操作，得到样本目标人脸图像的第二人脸生物特征。
117.s102、将第二人脸生物特征嵌入至第一人脸视觉特征图，得到第一换脸图像。
118.第一换脸图像中的人脸为第二人脸生物特征对应的人脸，即第一换脸图像中的人脸根据第二人脸生物特征确定。
119.在该步骤中，可以将第二人脸生物特征和第一人脸视觉特征图作为人脸身份信息嵌入模块的输入，采用人脸身份信息嵌入模块将第二人脸生物特征嵌入至第一人脸视觉特征图中，得到第一换脸图像。
120.s103、将第一人脸生物特征嵌入至第一换脸图像的第二人脸视觉特征图，得到第二换脸图像。
121.第二换脸图像中的人脸为第一人脸生物特征对应的人脸，即第二换脸图像中的人
脸根据第一人脸生物特征确定。
122.第一换脸图像的第二人脸视觉特征图为第一换脸图像的人脸视觉特征图，第二人脸视觉特征图用于指示第一换脸图像中人脸的纹理、边缘等像素相关的浅层信息。
123.在该步骤中，可以将第一换脸图像作为编码器的输入，编码器对第一换脸图像进行降采样处理，得到第二人脸视觉特征图，并将第一人脸生物特征和第二人脸视觉特征图作为人脸身份信息嵌入模块的输入，采用人脸身份信息嵌入模块将第一人脸生物特征嵌入至第二人脸视觉特征图中，得到第二换脸图像。
124.在步骤102-s103中，通过构建一个循环训练的过程，这一训练策略能极大提升模型的鲁棒性和泛化能力。
125.参考图5，图5为本技术实施例提供的循环训练的示意图，如图5所示，首先以样本目标人脸图像a中的人脸作为身份人脸(source image)，样本原人脸图像为b，执行一次换脸过程得到第一换脸图像s1，即将a人脸换到b人脸上(swap from a to b)，然后再以b中的人脸作为身份人脸，s1作为样本原人脸图像，再执行一次换脸过程得到第二换脸图像s2，即将b人脸换到s1人脸上(swap from b to s1)，一次循环生成完成之后，收敛良好的算法应当能完全重建图像b。
126.值得一提的是，图像a和图像b在训练过程中的采样策略可以是：每隔固定数量或者在某一特定概率下，a与b会采样相同的图像，意味着训练图像对中有部分比例其实是样本目标人脸图像与样本原人脸图像相同的。
127.s104、根据样本原人脸图像和第一换脸图像进行判别处理，得到样本原人脸图像对应的第一判别结果和第一换脸图像对应的第二判别结果。
128.在该步骤中，可以对样本原人脸图像进行判别处理，得到原人脸图像对应的第一判别结果，以及对第一换脸图像进行判别处理，得到第一换脸图像对应的第二判别结果，第一判别结果用于指示样本原人脸图像的真实程度，第二判别结果用于指示第一换脸图像的真实程度，其中，图像越真实判别结果越小，图像越不真实判别结果越大。
129.其中，可以将样本原人脸图像和第一换脸图像作为多尺度判别器的输入，输出为样本原人脸图像对应的多尺度图像特征，以及第一换脸图像对应的多尺度图像特征，然后对样本原人脸图像对应的多尺度图像特征进行判别处理，得到第一判别结果，对第一换脸图像对应的多尺度图像特征进行判别处理，得到第二判别结果。
130.s105、根据第二人脸生物特征、第一换脸图像、第一人脸生物特征、第二换脸图像、第一判别结果以及第二判别结果，进行模型训练，得到换脸模型。
131.根据第二人脸生物特征、第一换脸图像、第一人脸生物特征、第二换脸结果、第一判别结果以及第二判别结果，进行模型训练，直至达到预设迭代停止条件，并将达到预设迭代停止条件的模型作为换脸模型，其中，预设迭代停止条件可以包括：第一换脸图像中的人脸生物特征和第二人脸生物特征之间的损失、第二换脸结果中的人脸生物特征和第一人脸生物特征之间的损失，以及第一判别结果、第二判别结果，分别小于或等于预设损失阈值。
132.在本实施例的换脸模型训练方法中，通过将第二人脸生物特征嵌入至第一人脸视觉特征图，得到第一换脸图像，将第一人脸生物特征嵌入至第一换脸图像的第二人脸视觉特征图，得到第二换脸图像，根据样本原人脸图像和第一换脸图像进行判别处理，得到样本原人脸图像对应的第一判别结果和第一换脸图像对应的第二判别结果，根据第二人脸生物
特征、第一换脸图像、第一人脸生物特征、第二换脸图像、第一判别结果以及第二判别结果，进行模型训练，得到换脸模型。基于对抗生成网络和循环策略训练的换脸模型，能排除光照、姿态、遮挡、背景等身份无关因素的干扰，生成高度逼真，自然和谐的换脸结果，能广泛适用于非受限场景下的图像和视频换脸任务。
133.图6为本技术实施例提供的换脸模型训练方法的流程示意图二，如图6所示，将第二人脸生物特征嵌入至第一人脸视觉特征图，得到第一换脸图像，包括：
134.s201、将第二人脸生物特征嵌入至第一人脸视觉特征图，得到第一融合特征图。
135.s202、对第一融合特征图进行图像解码，得到第一换脸图像。
136.将第二人脸生物特征和第一人脸视觉特征图作为人脸身份信息嵌入模块的输入，采用人脸身份信息嵌入模块将第二人脸生物特征嵌入至第一人脸视觉特征图中，得到第一融合特征图，然后将第一融合特征图作为解码器的输入，采用解码器对第一融合特征图进行图像解码(即图像上采样)得到第一换脸图像。
137.相应地，将第一人脸生物特征嵌入至第一换脸图像的第二人脸视觉特征图，得到第二换脸图像，包括：
138.将第一人脸生物特征嵌入至第二人脸视觉特征图，得到第二融合特征图；对第二融合特征图进行图像解码，得到第二换脸图像。
139.将第一人脸生物特征和第二人脸视觉特征图作为人脸身份信息嵌入模块的输入，采用人脸身份信息嵌入模块将第一人脸生物特征嵌入至第二人脸视觉特征图中，得到第二融合特征图，然后将第二融合特征图作为解码器的输入，采用解码器对第二融合特征图进行图像解码(即图像上采样)得到第二换脸图像。
140.图7为本技术实施例提供的换脸模型训练方法的流程示意图三，如图7所示，根据第二人脸生物特征、第一换脸图像、第一人脸生物特征、第二换脸图像、第一判别结果以及第二判别结果，进行模型训练，得到换脸模型，包括：
141.s301、根据第二人脸生物特征、第一换脸图像、第一人脸生物特征以及第二换脸图像，确定生物特征损失。
142.根据第二人脸生物特征和第一换脸图像，以及第一人脸生物特征和第二换脸图像，可以确定生物特征损失，其中，可以根据第一换脸图像中的人脸生物特征和第二人脸生物特征，确定第一生物特征损失(即身份损失id loss)，并根据第二换脸图像中的人脸生物特征和第一人脸生物特征，确定第二生物特征损失(即身份损失id loss)，然后根据第一生物特征损失和第二生物特征损失，确定生物特征损失。
143.在一些实施例中，可以采用人脸身份信息提取器提取第一换脸图像中人脸的生物特征，并根据第一换脸图像中人脸的生物特征和第二人脸生物特征，确定第一生物特征损失，以及采用人脸身份信息提取器提取第二换脸图像中人脸的生物特征，并根据第二换脸图像中人脸的生物特征和第一人脸生物特征，确定第二生物特征损失，然后确定生物特征损失，生物特征损失可以为第一生物特征损失和第二生物特征损失的和值，或者加权和，具体可以通过实际情况确定，本实施例对此不做特别限定。
144.需要说明的是，第一生物特征损失为图5中第一换脸图像s1和样本目标人脸图像a之间的生物特征损失，第二生物特征损失为图5中第二换脸图像s2和原人脸图像b之间的生物特征损失，用1减去两个特征之间的余弦相似度，公式表达式可以为：
145.l
id
＝1-cos_sim(f
swap
,f
source
)
146.l
id
为第一生物特征损失，f
swap
为第一换脸图像中人脸的生物特征，f
source
为第二人脸生物特征，cos_sim(f
swap
,f
source
)为第一换脸图像中人脸的生物特征和第二人脸生物特征的余弦相似度。
147.类似地，第二生物特征损失具体计算方式可以参见第一生物特征损失的计算方式和技术效果，在此不再赘述。
148.s302、根据第一判别结果和第二判别结果，确定对抗损失。
149.其中，可以采用合页函数对样本原人脸图像对应的多尺度图像特征进行处理，得到样本原人脸图像对应的第一判别结果(即合页损失hinge loss)，以及采用合页函数对第一换脸图像对应的多尺度图像特征进行判别处理，得到第一换脸图像对应的第二判别结果(即合页损失hinge loss)。
150.合页损失l
gan
公式表达可以为：
151.l
gan
＝hinge(dis(i))
152.dis(i)为样本原人脸图像对应的多尺度图像特征，或第一换脸图像对应的多尺度图像特征。
153.然后，可以根据第一判别结果和第二判别结果确定对抗损失，对抗损失可以为第一判别结果和第二判别结果的和值，对抗损失用于更新判别器和更新生成器的参数，其用于判断图像的真实性，越是真实的图像损失越低，反之亦然，利用生成器与判别器之间的对抗训练使得生成器的生成结果更加符合真实图像的分布。
154.s303、根据生物特征损失和对抗损失，进行模型训练，得到换脸模型。
155.根据生物特征损失和对抗损失，进行模型训练，直至达到预设迭代停止条件，并将达到预设迭代停止条件的模型作为换脸模型，预设迭代停止条件可以为生物特征损失和对抗损失的总损失小于或等于预设损失阈值，由于在模型训练时考虑了生物特征损失，这有助于保证生物特征的替换，即使得换脸结果看起来是更像样本目标人脸图像中的人脸，并且通过生物特征损失和对抗损失进行联合优化训练，提高了模型训练效果。
156.其中，总损失可以为生物特征损失和对抗损失的和值，或加权和，具体可以通过实际情况确定，本实施例对此不做特别限定。
157.图8为本技术实施例提供的换脸模型训练方法的流程示意图四，如图8所示，根据生物特征损失和对抗损失，进行模型训练，得到换脸模型，包括：
158.s401、根据第一换脸图像的图像特征和样本原人脸图像的图像特征，确定图像特征损失。
159.s402、根据生物特征损失、对抗损失以及图像特征损失，进行模型训练，得到换脸模型。
160.第一换脸图像的图像特征用于指示第一换脸图像中人脸的背景、光照、姿态等与人脸生物特征无关的属性，样本原人脸图像的图像特征用于指示样本原人脸图像中人脸的背景、光照、姿态等与人脸生物特征无关的属性。
161.图像特征损失(即特征匹配损失feat match loss)为第一换脸图像的图像特征和样本原人脸图像的图像特征之间的损失，特征匹配损失用于约束换脸结果和目标人脸之间某些属性(如背景、光照、姿态等与身份无关的属性)的相似性，其中，特征匹配损失l
feat
，公
式表达可以为：
162.l
feat
＝|dis(i
swap
)-dis(i
target
)|1163.dis(i
swap
)为判别器提取的第一换脸图像的图像特征(多尺度图像特征)，dis(i
target
为判别器提取的样本原人脸图像的图像特征(多尺度图像特征)。
164.然后，根据生物特征损失、对抗损失以及图像特征损失，进行模型训练，直至达到预设迭代停止条件，并将达到预设迭代停止条件的模型作为换脸模型，预设迭代停止条件可以为生物特征损失、对抗损失以及图像特征损失的总损失小于或等于预设损失阈值，由于在模型训练时进一步考虑了图像特征损失，这有助于保证换脸结果直观上的自然和谐，同时提高模型对于非受限场景的鲁棒性，并且通过联合优化的生物特征损失、对抗损失以及图像特征损失进行模型训练，提高了模型训练效果。
165.其中，总损失可以为生物特征损失、对抗损失以及图像特征损失的和值，或加权值，具体可以通过实际情况确定，本实施例对此不做特别限定。
166.图9为本技术实施例提供的换脸模型训练方法的流程示意图五，如图9所示，根据生物特征损失和对抗损失，进行模型训练，得到换脸模型，包括：
167.s501、根据第一换脸图像的风格特征和样本原人脸图像的风格特征，确定图像风格损失。
168.s502、根据生物特征损失、对抗损失以及图像风格损失，进行模型训练，得到换脸模型。
169.第一换脸图像的风格特征用于指示第一换脸图像的图像风格，样本原人脸图像的风格特征用于指示样本原人脸图像的图像风格。
170.图像风格损失为第一换脸图像的风格特征和样本原人脸图像的风格特征之间的损失，其中，图像风格损失(lpips loss)l
style
可以采用lpips感知损失，公式表达可以为：
171.l
style
＝lpipa(i
swap
,i
target
)
172.i
swap
为第一换脸图像的风格特征，i
target
为样本原人脸图像的风格特征。
173.然后，根据生物特征损失、对抗损失以及图像风格损失，进行模型训练，直至达到预设迭代停止条件，并将达到预设迭代停止条件的模型作为换脸模型，预设迭代停止条件可以为生物特征损失、对抗损失以及图像风格损失的总损失小于或等于预设损失阈值，由于在模型训练时进一步考虑了图像风格损失，用于约束两个图像在风格上的一致性，这同样有助于使得换脸结果更加逼真，并且通过联合优化的生物特征损失、对抗损失以及图像风格损失进行模型训练，提高了模型训练效果。
174.其中，总损失可以为生物特征损失、对抗损失以及图像风格损失的和值，或加权值，具体可以通过实际情况确定，本实施例对此不做特别限定。
175.图10为本技术实施例提供的换脸模型训练方法的流程示意图六，如图10所示，若样本原人脸图像和目标人脸图像为同一图像；根据生物特征损失和对抗损失，进行模型训练，得到换脸模型，包括：
176.s601、根据样本原人脸图像的像素特征和第一换脸图像的像素特征，确定第一像素损失。
177.第一像素损失(即重构损失reconstructure loss)为第一换脸图像的像素特征和样本原人脸图像的像素特征之间的损失，用于衡量第一换脸图像与样本原人脸图之间逐像
素的一致性，公式表达可以为：
178.l
rec
＝|i
swap-i
target
|1179.l
rec
为重构损失，i
swap
为第一换脸图像的像素特征，i
target
为样本原人脸图像的像素特征。
180.需要说明的是，当且仅当样本原人脸图像和目标人脸图像为同一人脸图像，才会计算重构损失，该损失确保了生成器重建图像的能力，用于训练生成器。
181.s602、根据样本原人脸图像的像素特征和第二换脸图像的像素特征，确定第二像素损失。
182.第二像素损失(即循环一致性损失cycle loss)为第二换脸图像的像素特征和样本原人脸图像的像素特征之间的损失，用于约束二次生成结果(即第二换脸图像s2)与样本原人脸图像b之间逐像素的一致性，具体计算方式可以参见第一像素损失的计算方式和技术效果，在此不再赘述。
183.s603、根据生物特征损失、对抗损失、第一像素损失以及第二像素损失，进行模型训练，得到换脸模型。
184.根据生物特征损失、对抗损失、第一像素损失以及第二像素损失，进行模型训练，直至达到预设迭代停止条件，并将达到预设迭代停止条件的模型作为换脸模型，其中，预设迭代停止条件可以为：生物特征损失、对抗损失、第一像素损失以及第二像素损失的总损失小于或等于预设损失阈值，由于在模型训练时考虑了重构损失和循环一致性损失，确保了生成器的训练效果。
185.其中，总损失可以为生物特征损失、对抗损失、第一像素损失以及第二像素损失的和值，或加权值，具体可以通过实际情况确定，本实施例对此不做特别限定。
186.综上所述，在上述方法实施例的基础上，还可以综合生物特征损失、对抗损失、图像特征损失、图像风格损失、第一像素损失、第二像素损失进行模型训练，得到换脸模型，需要注意的是，上述损失函数还可以基于权重超参数进行组合，具体实施可以通过多组消融实验来获得最佳超参组合。
187.下面结合图11对基于上述训练得到的换脸模型对一种换脸方法进行说明。
188.图11为本技术实施例提供的换脸方法的流程示意图，本实施例的执行主体可以为电子设备，如终端、服务器等，该服务器可以为图形处理器(graphics processing unit，gpu)服务器。
189.如图11所示，该方法可以包括：
190.s701、采用换脸模型，对待换脸人脸图像和目标人脸图像进行处理，得到换脸图像。
191.换脸图像中的人脸为目标人脸图像中的人脸，将待换脸人脸图像和目标人脸图像作为换脸模型的输入，得到换脸图像。
192.其中，可以采用换脸模型中的编码器，对待换脸人脸图像进行编码处理，得到待换脸人脸图像的人脸视觉特征图，待换脸人脸图像的人脸视觉特征图用于指示待换脸人脸图像中人脸的纹理、边缘等像素相关的浅层信息，并采用换脸模型中的人脸身份特征提取器对目标人脸图像进行生物特征提取，得到目标人脸图像的人脸生物特征，目标人脸图像的人脸生物特征用于指示目标人脸图像中人脸的身份语义信息，如五官、皮肤等独特的生物
特征。
193.然后将人脸生物特征和人脸视觉特征图作为换脸模型中的人脸身份信息嵌入模块的输入，采用人脸身份信息嵌入模块将人脸生物特征嵌入至人脸视觉特征图中，得到换脸图像，换脸图像中的人脸根据人脸生物特征确定。
194.s702、根据换脸图像，生成待换脸人脸图像的换脸结果。
195.根据换脸图像，替换待换脸人脸图像中的人脸，以将待换脸人脸图像中的人脸替换为换脸图像中的人脸，生成待换脸人脸图像的换脸结果。
196.需要说明的是，该换脸方案可以应用于图像或视频帧中，在换脸之前，需要对待换脸人脸图像或视频帧和目标人脸图像执行人脸检测与对齐操作，若其中之一检测不到人脸，则直接返回原图像或视频帧，如两者都能检测到人脸，则将检测对齐的待换脸人脸和目标人脸图像输入至训练得到的换脸模型中，得到换脸图像，然后可以利用预训练的人脸分割模型和图像仿射变换进行贴脸后处理，以将换脸图像贴回至待换脸图像或视频帧，得到最终换脸结果。
197.基于同一发明构思，本技术实施例中还提供了与换脸模型训练方法对应的换脸模型训练装置，由于本技术实施例中的装置解决问题的原理与本技术实施例上述换脸模型训练方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
198.图12为本技术实施例提供的换脸模型训练装置的结构示意图，如图12所示，该装置可以包括：
199.获取模块80，用于获取样本原人脸图像的第一人脸视觉特征图和第一人脸生物特征，以及样本目标人脸图像的第二人脸生物特征；
200.嵌入模块81，用于将第二人脸生物特征嵌入至第一人脸视觉特征图，得到第一换脸图像，第一换脸图像中的人脸为第二人脸生物特征对应的人脸；
201.嵌入模块81，还用于将第一人脸生物特征嵌入至第一换脸图像的第二人脸视觉特征图，得到第二换脸图像，第二换脸图像中的人脸为第一人脸生物特征对应的人脸；
202.判别模块82，用于根据样本原人脸图像和第一换脸图像进行判别处理，得到样本原人脸图像对应的第一判别结果和第一换脸图像对应的第二判别结果；
203.训练模块83，用于根据第二人脸生物特征、第一换脸图像、第一人脸生物特征、第二换脸图像、第一判别结果以及第二判别结果，进行模型训练，得到换脸模型。
204.在一可选的实施方式中，嵌入模块81，具体用于：
205.将第二人脸生物特征嵌入至第一人脸视觉特征图，得到第一融合特征图；
206.对第一融合特征图进行图像解码，得到第一换脸图像；
207.嵌入模块81，具体用于：
208.将第一人脸生物特征嵌入至第二人脸视觉特征图，得到第二融合特征图；
209.对第二融合特征图进行图像解码，得到第二换脸图像。
210.在一可选的实施方式中，训练模块83，具体用于：
211.根据第二人脸生物特征、第一换脸图像、第一人脸生物特征以及第二换脸图像，确定生物特征损失；
212.根据第一判别结果和第二判别结果，确定对抗损失；
213.根据生物特征损失和对抗损失，进行模型训练，得到换脸模型。
214.在一可选的实施方式中，训练模块83，具体用于：
215.根据第一换脸图像中的人脸生物特征和第二人脸生物特征，确定第一生物特征损失；
216.根据第二换脸图像中的人脸生物特征和第一人脸生物特征，确定第二生物特征损失；
217.根据第一生物特征损失和第二生物特征损失，确定生物特征损失。
218.在一可选的实施方式中，训练模块83，具体用于：
219.根据第一换脸图像的图像特征和样本原人脸图像的图像特征，确定图像特征损失；
220.根据生物特征损失、对抗损失以及图像特征损失，进行模型训练，得到换脸模型。
221.在一可选的实施方式中，训练模块83，具体用于：
222.根据第一换脸图像的风格特征和样本原人脸图像的风格特征，确定图像风格损失；
223.根据生物特征损失、对抗损失以及图像风格损失，进行模型训练，得到换脸模型。
224.在一可选的实施方式中，若样本原人脸图像和目标人脸图像为同一图像；训练模块83，具体用于：
225.根据样本原人脸图像的像素特征和第一换脸图像的像素特征，确定第一像素损失；
226.根据样本原人脸图像的像素特征和第二换脸图像的像素特征，确定第二像素损失；
227.根据生物特征损失、对抗损失、第一像素损失以及第二像素损失，进行模型训练，得到换脸模型。
228.关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例提供的换脸模型训练方法中的相关说明，这里不再详述。
229.基于同一发明构思，本技术实施例中还提供了与换脸方法对应的换脸装置，由于本技术实施例中的装置解决问题的原理与本技术实施例上述换脸方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
230.图13为本技术实施例提供的换脸装置的结构示意图，如图13所示，该装置可以包括：
231.第一生成模块90，用于换脸模型，对待换脸人脸图像和目标人脸图像进行处理，得到换脸图像，换脸图像中的人脸为目标人脸图像中的人脸；
232.第二生成模块91，用于根据换脸图像，生成待换脸人脸图像的换脸结果。
233.关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例提供的换脸方法中的相关说明，这里不再详述。
234.图14为本技术实施例提供的电子设备的结构示意图，如图14所示，该设备可以包括：处理器100、存储器101和总线103，存储器101存储有处理器100可执行的机器可读指令，当电子设备运行时，处理器100与存储器101之间通过总线102通信，处理器100执行机器可读指令，以执行上述方法实施例提供的脸模型训练方法或者换脸方法。
235.本技术实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储
有计算机程序，该计算机程序被处理器运行时执行上述方法实施例提供的脸模型训练方法或者换脸方法。
236.在本技术实施例中，该计算机程序被处理器运行时还可以执行其它机器可读指令，以执行如实施例中其它所述的方法，关于具体执行的方法步骤和原理参见实施例的说明，在此不再详细赘述。
237.在本技术所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
238.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
239.另外，在本技术提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
240.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
241.最后应说明的是：以上所述实施例，仅为本技术的具体实施方式，用以说明本技术的技术方案，而非对其限制，本技术的保护范围并不局限于此，尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本技术实施例技术方案的精神和范围。都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。