图像换脸处理方法、装置、电子设备和存储介质与流程

1.本公开涉及计算机视觉领域，尤其涉及图像换脸处理方法、装置、电子设备和存储介质。


背景技术：

2.ai(artificial intelligence，人工智能)换脸可以将目标图像中的面部替换为原始图像中的面部，从而实现用户日常难以实现的场景，如古风换装、环球旅行等。
3.现有的ai换脸的经典方法是以目标图像为主导的换脸方法，该方法在特征层面进行原始图像和目标图像的隐式融合，具体分为两个阶段，第一阶段是对目标图像进行换脸，得到换脸图像，其中包括自适应注意力调整模块，动态地融合原始图像信息和目标图像信息的模块；第二阶段是对换脸图像中的遮挡问题进行修正。
4.发明人在研究相关技术的过程中发现，上述换脸方法的缺点是换脸图像与原始图像的五官相似度不够高，导致换脸效果较差。


技术实现要素：

5.本公开提供图像换脸处理方法、装置、电子设备和存储介质，以至少解决相关技术中文本和图像匹配精度不高的问题。本公开的技术方案如下：
6.根据本公开实施例的第一方面，提供一种图像换脸处理方法，所述方法包括：
7.获取原始面部图像和目标面部图像；所述目标面部图像为用于进行换脸处理的参照图像；
8.分别提取所述原始面部图像的身份特征和所述目标面部图像的附属特征，得到身份特征和附属特征；所述身份特征表征用于进行人脸识别的面部图像特征，所述附属特征为所述目标面部图像中除身份特征以外的特征；
9.提取所述原始面部图像中的多个预设局部五官区域对应图像中的五官特征，得到多个局部五官特征；
10.采用预先训练得到的合成模型，将所述多个局部五官特征、所述身份特征与所述附属特征进行面部图像合成，得到从所述原始面部图像到所述目标面部图像的换脸结果图像，所述换脸结果图像中的面部图像特征包含所述局部五官特征、所述身份特征和所述附属特征。
11.可选的，所述合成模型通过以下方法构建得到：
12.获取第一面部图像样本集、第二面部图像样本集；所述第一面部图像样本集中包括原始面部样本图像，所述第二面部图像样本集中包括目标面部样本图像；所述目标面部样本图像为用于对所述原始面部样本图像进行换脸处理的参考图像；
13.提取所述原始面部样本图像中的所述多个预设局部五官区域对应图像中的五官特征，得到多个样本局部五官特征；
14.提取所述原始面部样本图像中的身份特征作为样本身份特征，并提取所述目标面
部样本图像中的附属特征作为样本附属特征；
15.将所述多个样本局部五官特征、所述样本身份特征与所述样本附属特征输入初始模型，得到所述初始模型输出的样本换脸结果图像；
16.确定所述样本换脸结果图像与所述原始面部样本图像、所述目标面部样本图像之间的损失值；所述损失值至少包括所述样本局部五官特征和所述样本换脸结果图像的结果局部五官特征之间的第一损失值；所述结果局部五官特征为从所述样本换脸结果图像的所述预设局部五官区域所提取的五官特征；
17.根据所述损失值调整所述初始模型的参数，并利用所述参数继续训练所述初始模型，直到得到的损失值小于预设阈值，将训练得到的所述初始模型确定为合成模型。
18.可选的，所述确定所述样本换脸结果图像与所述原始面部样本图像、所述目标面部样本图像之间的损失值，包括：
19.确定所述多个样本局部五官特征与所述样本换脸结果图像包括的多个结果局部五官特征之间的第一损失值；所述结果局部五官特征为所述样本换脸结果图像包括的局部五官特征；
20.确定所述样本身份特征与所述样本换脸结果图像的结果身份特征之间的第二损失值；所述结果身份特征为所述样本换脸结果图像包括的身份特征；
21.确定所述样本附属特征和所述样本换脸结果图像的结果附属特征之间的第三损失值；所述结果附属特征为所述样本换脸结果图像包括的附属特征；
22.基于所述第一损失值、所述第二损失值、所述第三损失值，确定所述样本换脸结果图像与所述原始面部样本图像、所述目标面部样本图像之间的损失值。
23.可选的，所述确定所述多个样本局部五官特征与所述样本换脸结果图像包括的多个结果局部五官特征之间的第一损失值，包括：
24.分别确定各个所述样本局部五官特征和对应的所述结果局部五官特征之间的余弦距离，得到多个余弦距离；
25.获取各个所述预设局部五官区域对应的权重，得到多个权重；
26.基于所述多个权重，对所述多个余弦距离进行加权求和，得到所述样本局部五官特征和所述样本换脸结果图像包括的结果局部五官特征之间的第一损失值。
27.可选的，在提取所述原始面部图像中的多个预设局部五官区域对应图像中的五官特征之前，还包括：
28.利用人脸识别模型的激活层获取所述原始面部图像中响应度高于预设阈值的第一五官区域，并将所述第一五官区域作为预设局部五官区域；
29.或，确定预先设定的进行相似度增强的第二五官区域，并将所述第二五官区域作为预设局部五官区域。
30.可选的，在将所述第一五官区域作为预设局部五官区域，或，将所述第二五官区域作为预设局部五官区域之后，还包括：
31.对所述原始面部图像中的多个所述预设局部五官区域进行剪裁。
32.可选的，所述提取所述原始面部图像中的多个预设局部五官区域对应图像中的五官特征，包括：
33.若某个预设局部五官区域包括至少两个面部器官，则提取所述至少两个面部器官
中的各个面部器官的特征信息，并提取相邻的两个面部器官之间的面部区域的特征信息，作为所述某个预设局部五官区域对应图像中的五官特征。
34.根据本公开实施例的第二方面，提供一种图像换脸处理装置，所述装置包括：
35.图像获取模块，被配置为执行获取原始面部图像和目标面部图像；所述目标面部图像为用于进行换脸处理的参照图像；
36.第一特征提取模块，被配置为执行分别提取所述原始面部图像的身份特征和所述目标面部图像的附属特征，得到身份特征和附属特征；所述身份特征表征用于进行人脸识别的面部图像特征，所述附属特征为所述目标面部图像中除身份特征以外的特征；
37.第二特征提取模块，被配置为执行提取所述原始面部图像中的多个预设局部五官区域对应图像中的五官特征，得到多个局部五官特征；
38.合成模块，被配置为执行采用预先训练得到的合成模型，将所述多个局部五官特征、所述身份特征与所述附属特征进行面部图像合成，得到从所述原始面部图像到所述目标面部图像的换脸结果图像，所述换脸结果图像中的面部图像特征包含所述局部五官特征、所述身份特征和所述附属特征。
39.可选的，所述装置还包括合成模型构建模块，所述合成模型构建模块被配置为执行：
40.获取第一面部图像样本集、第二面部图像样本集；所述第一面部图像样本集中包括原始面部样本图像，所述第二面部图像样本集中包括目标面部样本图像；所述目标面部样本图像为用于对所述原始面部样本图像进行换脸处理的参考图像；
41.提取所述原始面部样本图像中的所述多个预设局部五官区域对应图像中的五官特征，得到多个样本局部五官特征；
42.提取所述原始面部样本图像中的身份特征作为样本身份特征，并提取所述目标面部样本图像中的附属特征作为样本附属特征；
43.将所述多个样本局部五官特征、所述样本身份特征与所述样本附属特征输入初始模型，得到所述初始模型输出的样本换脸结果图像；
44.确定所述样本换脸结果图像与所述原始面部样本图像、所述目标面部样本图像之间的损失值；所述损失值至少包括所述样本局部五官特征和所述样本换脸结果图像的结果局部五官特征之间的第一损失值；所述结果局部五官特征为从所述样本换脸结果图像的所述预设局部五官区域所提取的五官特征；
45.根据所述损失值调整所述初始模型的参数，并利用所述参数继续训练所述初始模型，直到得到的损失值小于预设阈值，将训练得到的所述初始模型确定为合成模型。
46.可选的，所述合成模型构建模块进一步被配置为执行：
47.确定所述多个样本局部五官特征与所述样本换脸结果图像包括的多个结果局部五官特征之间的第一损失值；所述结果局部五官特征为所述样本换脸结果图像包括的局部五官特征；
48.确定所述样本身份特征与所述样本换脸结果图像的结果身份特征之间的第二损失值；所述结果身份特征为所述样本换脸结果图像包括的身份特征；
49.确定所述样本附属特征和所述样本换脸结果图像的结果附属特征之间的第三损失值；所述结果附属特征为所述样本换脸结果图像包括的附属特征；
50.基于所述第一损失值、所述第二损失值、所述第三损失值，确定所述样本换脸结果图像与所述原始面部样本图像、所述目标面部样本图像之间的损失值。
51.可选的，所述合成模型构建模块进一步被配置为执行：
52.分别确定各个所述样本局部五官特征和对应的所述结果局部五官特征之间的余弦距离，得到多个余弦距离；
53.获取各个所述预设局部五官区域对应的权重，得到多个权重；
54.基于所述多个权重，对所述多个余弦距离进行加权求和，得到所述样本局部五官特征和所述样本换脸结果图像包括的结果局部五官特征之间的第一损失值。
55.可选的，所述装置还包括：
56.第一预设模块，被配置为执行利用人脸识别模型的激活层获取所述原始面部图像中响应度高于预设阈值的第一五官区域，并将所述第一五官区域作为预设局部五官区域；
57.或，第二预设模块，被配置为执行确定预先设定的进行相似度增强的第二五官区域，并将所述第二五官区域作为预设局部五官区域。
58.可选的，所述装置还包括：
59.剪裁模块，被配置为执行对所述原始面部图像中的多个所述预设局部五官区域进行剪裁。
60.可选的，所述第二特征提取模块进一步被配置为执行：
61.若某个预设局部五官区域包括至少两个面部器官，则提取所述至少两个面部器官中的各个面部器官的特征信息，并提取相邻的两个面部器官之间的面部区域的特征信息，作为所述某个预设局部五官区域对应图像中的五官特征。
62.根据本公开实施例的第三方面，提供一种电子设备，包括：
63.处理器；
64.用于存储所述处理器可执行指令的存储器；
65.其中，所述处理器被配置为执行所述指令，以实现如第一方面所述的图像换脸处理方法。
66.根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由服务器的处理器执行时，使得服务器能够执行如第一方面所述的图像换脸处理方法。
67.根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现第一方面所述的图像换脸处理方法。
68.本公开的实施例提供的技术方案至少带来以下有益效果：
69.在本公开的实施例中，获取原始面部图像和目标面部图像；目标面部图像为用于进行换脸处理的参照图像；分别提取原始面部图像的身份特征和目标面部图像的附属特征，得到身份特征和附属特征；身份特征表征用于进行人脸识别的面部图像特征，附属特征为目标面部图像中除身份特征以外的特征；提取原始面部图像中的多个预设局部五官区域对应图像中的五官特征，得到多个局部五官特征；采用预先训练得到的合成模型，将多个局部五官特征、身份特征与附属特征进行面部图像合成，得到从原始面部图像到目标面部图像的换脸结果图像，换脸结果图像中的面部图像特征包含局部五官特征、身份特征和附属
特征。本方案通过提取原始面部图像的多个预设局部五官区域的局部五官特征，并将多个局部五官特征和身份特征、附属特征利用合成模型进行合成，使得换脸结果图像的预设局部五官区域保持原始面部图像中的五官特征，提高了换脸结果图像与原始面部图像的五官相似度，优化了换脸效果。
70.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
71.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
72.图1是根据一示例性实施例示出的一种图像换脸处理方法的步骤流程图；
73.图2是根据一示例性实施例示出的一种合成模型的构建方法的步骤流程图；
74.图3是根据一示例性实施例示出一种合成模型的构建方法的整体框架图；
75.图4是根据一示例性实施例示出的一种传统方法和本方案的损失值曲线对比图；
76.图5是根据一示例性实施例示出的一种计算第一损失值的步骤流程图；
77.图6是根据一示例性实施例示出的一种计算第一损失值的示意图；
78.图7是根据一示例性实施例示出的一种图像换脸处理装置的结构框图；
79.图8是根据一示例性实施例示出的一种用于图像换脸处理的电子设备的框图。
具体实施方式
80.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
81.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
82.发明人在研究相关技术时发现，现有的换脸方法仅仅是用整体的面部特征来约束换脸图像和原始图像的相似度，但整体的面部特征是用来为判别任务训练的，对于生成式任务而言，不足以对面部的各个细节生成提供准确的引导。因此，提出本发明中的图像换脸处理方法。
83.图1是根据一示例性实施例示出的一种图像换脸处理方法的步骤流程图，如图1所示，该方法包括以下步骤。
84.在步骤s11中，获取原始面部图像和目标面部图像；所述目标面部图像为用于进行换脸处理的参照图像。
85.原始面部图像是指待进行换脸处理的图像，目标面部图像是指换脸处理过程中的参考图像。
86.原始面部图像和目标面部图像均为面部图像，该面部图像可以包括人的面部图像
或动物的面部图像。该面部图像可以是通过实际拍摄得到的面部图像，也可以是人手工绘制或电脑生成的面部图像。
87.在步骤s12中，分别提取所述原始面部图像的身份特征和所述目标面部图像的附属特征，得到身份特征和附属特征；所述身份特征表征用于进行人脸识别的面部图像特征，所述附属特征为所述目标面部图像中除身份特征以外的特征。
88.一般的，换脸过程就是将目标面部图像中的身份特征替换为原始面部图像中的身份特征，保留目标面部图像中的附属特征。
89.身份特征是指用于进行人脸识别的面部特征，如几何特征、统计特征、模型特征、神经网络特征等。
90.附属特征为目标面部图像中除身份特征以外的特征，具体可以包括自身附属特征和外物附属特征。自身附属特征包括面部姿态特征、皮肤特征、表情特征等除身份特征之外的面部自身的其他特征，外物附属特征包括光线、帽子、饰品等等出现在面部的外物的特征。
91.可以采用训练好的人脸识别模型提取身份特征，采用训练好的附属特征提取器提取附属特征。
92.在步骤s13中，提取所述原始面部图像中的多个预设局部五官区域对应图像中的五官特征，得到多个局部五官特征。
93.在本发明实施例中，除了提取原始面部图像的身份特征，还对原始面部图像中的五官特征进行提取。
94.从原始面部图像中对多个预设局部五官区域进行剪裁，从剪裁得到的图像中提取各个预设局部五官区域的五官特征，得到多个局部五官特征。
95.若将眉毛区域、眼睛区域、鼻子区域、嘴巴区域、耳朵区域分别设置为预设局部五官区域，则该局部五官特征分别包括眉毛特征、眼睛特征、鼻子特征、嘴巴特征、耳朵特征。若该预设局部五官区域分别为眉眼区域的组合、鼻嘴区域的组合，则该局部五官特征包括：眉毛和眼睛的特征以及眉毛和眼睛之间区域的特征，鼻子和嘴巴的特征以及鼻子和嘴巴之间区域的特征。
96.在步骤s14中，采用预先训练得到的合成模型，将所述多个局部五官特征、所述身份特征与所述附属特征进行面部图像合成，得到从所述原始面部图像到所述目标面部图像的换脸结果图像，所述换脸结果图像中的面部图像特征包含所述局部五官特征、所述身份特征和所述附属特征。
97.可以采用预先训练的合成模型，将多个局部五官特征、身份特征与附属特征进行合成，从而得到具有目标面部图像的附属特征，同时具有原始面部图像的五官特征和身份特征的换脸结果图像。
98.该合成模型为基于预设局部五官区域的五官特征构建，因此，可以确保对原始面部图像的五官特征进行增强表达，使换脸结果图像的五官特征与原始面部图像的相似度提高。
99.相比于现有技术中仅将原始面部图像的身份特征与目标面部图像的附属特征进行合成，本发明还将原始目标图像的五官特征拆分为多个局部五官特征，同时与目标面部图像进行合成，使得合成结果中预设局部五官区域的五官特征进一步增强，使换脸结果图
像中保留原始面部图像更多的五官特征，提高了换脸结果图像与原始面部图像的五官相似度。
100.综上，本方案通过提取原始面部图像的多个预设局部五官区域的局部五官特征，并将多个局部五官特征和身份特征、附属特征利用合成模型进行合成，使得第一换脸结果图像的预设局部五官区域保持原始面部图像中的五官特征，提高了换脸结果图像与原始图像的五官相似度，优化了换脸效果。
101.图2是根据一示例性实施例示出的一种合成模型的构建方法的步骤流程图，如图2所示，该方法包括以下步骤。
102.在步骤s21中，获取第一面部图像样本集、第二面部图像样本集；所述第一面部图像样本集中包括原始面部样本图像，所述第二面部图像样本集中包括目标面部样本图像；所述目标面部样本图像为用于对所述原始面部样本图像进行换脸处理的参考图像。
103.具体地，可以通过互联网收集第一面部图像样本集和第二面部图像样本集。
104.例如，可以使用ms1mv2人脸识别数据集，从中筛选包括各种性别、五官特征、表情、面部光线、面部背景等特征的大量图像作为样本图像集。
105.可以进一步从样本图像集中选取可作为原始面部样本图像的图像，组成第一面部图像样本集，选取可作为目标面部样本图像的图像，组成第二面部图像样本集。
106.在步骤s22中，提取所述原始面部样本图像中的所述多个预设局部五官区域对应图像中的五官特征，得到多个样本局部五官特征。
107.此处模型训练时的预设局部五官区域与步骤s13中的预设局部五官区域对应的区域相同。即在使用模型进行换脸处理时，应选取与模型训练时的预设局部五官区域相同的区域，这样，可以使换脸处理的效果更好。
108.与步骤s13类似，若将眉毛区域、眼睛区域、鼻子区域、嘴巴区域、耳朵区域分别设置为预设局部五官区域，则样本局部五官特征分别包括眉毛特征、眼睛特征、鼻子特征、嘴巴特征、耳朵特征。若该预设局部五官区域分别为眉眼区域的组合、鼻嘴区域的组合，则样本局部五官特征包括：眉毛和眼睛的特征以及眉毛和眼睛之间区域的特征，鼻子和嘴巴的特征以及鼻子和嘴巴之间区域的特征。
109.在步骤s23中，提取所述原始面部样本图像中的身份特征作为样本身份特征，并提取所述目标面部样本图像中的附属特征作为样本附属特征。
110.同时，提取原始面部样本图像的身份特征，得到样本身份特征。身份特征是指用于进行人脸识别的面部特征，如几何特征、统计特征、模型特征、神经网络特征等。
111.将目标面部样本图像集中的目标面部样本图像作为目标面部图像，提取目标面部样本图像中的附属特征，得到样本附属特征。附属特征是指面部光线、面部姿态、面部表情和面部背景等面部附属特征。
112.在步骤s24中，将所述多个样本局部五官特征、所述样本身份特征与所述样本附属特征输入初始模型，得到所述初始模型输出的样本换脸结果图像。
113.初始模型的模型结构可以采用resnet18主干网络，其包括17个卷积层(conv)和1个全连接层(fc)，核心在于残差单元。
114.将多个样本局部五官特征、样本身份特征与所述样本附属特征输入初始模型，根据初始模型输出的样本换脸结果图像，对初始模型进行训练。
115.在步骤s25中，确定所述样本换脸结果图像与所述原始面部样本图像、所述目标面部样本图像之间的损失值；所述损失值至少包括所述样本局部五官特征和所述样本换脸结果图像的结果局部五官特征之间的第一损失值；所述结果局部五官特征为从所述样本换脸结果图像的所述预设局部五官区域所提取的五官特征。
116.分别提取样本换脸结果图像中的局部五官特征、身份特征、附属特征，将这些特征与原始面部样本图像、目标面部样本图像中的相关特征进行比对，确定差异，从而得到本次训练的损失值。
117.在传统方法中，一般只确定身份特征和附属特征对应的损失值，在本方案中，除了确定上述两种损失值，还确定局部五官特征之间的损失值，局部五官特征之间的损失值即是：样本局部五官特征和结果局部五官特征之间的损失值。这样，能够提升换脸结果图像与原始面部图像的五官特征的相似度。
118.在一种可能的实施方式中，步骤s25包括以下步骤s251-步骤s253：
119.在步骤s251中，确定所述多个样本局部五官特征与所述样本换脸结果图像包括的多个结果局部五官特征之间的第一损失值。
120.为了使模型输出的换脸结果图像与原始面部图像中的五官特征相似度提高，将样本局部五官特征与换脸结果图像包括的结果局部五官特征之间的差值作为模型的第一损失值。
121.其中，结果局部五官特征为从换脸结果图像中提取的预设局部五官区域的五官特征。这样，结果局部五官特征和样本局部五官特征所对应的五官区域是保持一致的，通过多次训练可以增强预设局部五官区域的相似度。
122.此外，本步骤中仅考虑五官特征的损失值，将面部姿态、面部表情等和五官特征无关的属性丢弃，因此，可以在原始面部图像、目标面部图像的面部姿态、面部表情不一致时有效地约束五官的相似度。
123.在步骤s252中，确定所述样本身份特征与所述样本换脸结果图像的结果身份特征之间的第二损失值；所述结果身份特征为所述样本换脸结果图像包括的身份特征。
124.从样本换脸结果图像中提取结果身份特征，将其与原始面部样本图像中的样本身份特征进行比对，确定两者之间的差值，将其作为第二损失值。
125.在步骤s253中，确定所述样本附属特征和所述样本换脸结果图像的结果附属特征之间的第三损失值；所述结果附属特征为所述样本换脸结果图像包括的附属特征。
126.从样本换脸结果图像中提取结果附属特征，将其与目标面部样本图像中的样本附属特征进行比对，确定两者之间的差值，将其作为第三损失值。
127.在步骤s254中，基于所述第一损失值、所述第二损失值、所述第三损失值，确定所述样本换脸结果图像与所述原始面部样本图像、所述目标面部样本图像之间的损失值。
128.可以预先确定第一损失值、第二损失值、第三损失值对应的权重，然后对第一损失值、第二损失值、第三损失值进行加权融合，得到所述样本换脸结果图像与所述原始面部样本图像、所述目标面部样本图像之间的损失值。
129.此外，还可以采用对第一损失值、第二损失值、第三损失值直接相加得到损失值的方式，或采用对第一损失值、第二损失值、第三损失值采用外部参数或计算公式进行处理的得到损失值的方式，本公开实施例对此不做具体限定。
130.在步骤s26中，根据所述损失值调整所述初始模型的参数，并利用所述参数继续训练所述初始模型，直到得到的损失值小于预设阈值，将训练得到的所述初始模型确定为合成模型。
131.根据损失值调整初始模型的参数，使得初始模型下一次输出的换脸结果图像与原始面部样本图像、目标面部样本图像之间的损失值下降，直到最终得到的损失值小于预设阈值，则初始模型的精度已经达到预设精度要求，则训练完成。
132.将损失值小于预设阈值时的初始模型确定为合成模型。
133.在一种可能的实施方式中，所述根据所述损失值调整所述初始模型的参数，包括：
134.根据所述第一损失值、所述第二损失值、所述第三损失值调整所述初始模型的参数。
135.在本发明实施例中，可以分别调整各个损失值对应的初始模型的参数，从而使参数的调整更为全面和有效。
136.在步骤s21-s26中，因为训练过程中约束输入的原始面部图像和输出的换脸结果图像之间的差异值越小越好，相似度越大越好，所以利用该合成模型对原始面部图像、目标面部图像进行换脸处理，可以提高输出的换脸结果图像的五官特征与原始面部图像的五官特征的相似度，优化换脸效果。
137.图3是根据一示例性实施例示出的一种合成模型的构建方法的整体框架图。
138.如图3所示，从原始面部样本图像中提取样本局部五官特征和样本身份特征，输入合成模型，从目标面部样本图像中提取样本附属特征输入初始模型中。在初始模型中对样本局部五官特征、样本身份特征、样本附属特征进行合成，得到样本换脸结果图像。根据样本换脸结果图像与原始面部样本图像之间的五官特征损失值(即第一损失值)和身份特征损失值(第二损失值)，以及样本换脸结果图像与目标面部样本图像之间的附属特征损失值(即第三损失值)对初始模型进行训练，最终得到合成模型。
139.图4是根据一示例性实施例示出的一种传统方法和本方案的损失值曲线对比图。
140.如图4所示，深色曲线表示传统方法的损失值曲线，浅色曲线表示本方案的损失值曲线。可以看出深色曲线走势平缓、小幅震荡，而浅色曲线明显下降，且本方案的损失值下降的速度比传统方法的损失值快，本方案最终的损失值更小。由此说明传统方法中身份特征和附属特征对相似度的约束不够强，有进一步提升的空间，而本方案增加了五官特征的约束，可以弥补这一缺点，进一步增强了换脸结果图像与原始面部图像的相似度。
141.综上，本发明实施例提供的合成模型的构建方法，在训练过程中增加了五官特征的损失值，约束原始面部图像和输出的换脸结果图像之间的差异值越小越好，相似度越大越好，使得训练得到的合成模型可以提升换脸结果图像与原始面部图像的五官特征的相似度。
142.并且，在合成模型的训练过程中，在考虑各个预设局部五官区域的权重的情况下确定各个维度的五官区域的差异值的加权和，也就是损失值，该损失值是综合了输入的原始面部样本图像和输出的换脸结果图像间各个维度的五官特征的差异，能够准确的描述模型的输出损失，进而得到模型的参数改进方向，提高了模型的训练精度。
143.在一种可能的实施方式中，如图5所示，所述步骤s251包括以下步骤s2511-步骤s2513：
144.在步骤s2511中，分别确定各个所述样本局部五官特征和对应的所述结果局部五官特征之间的余弦距离，得到多个余弦距离。
145.余弦距离是指用1减去两个向量的余弦相似度得到的值。余弦相似度，是指两个向量间的夹角的余弦值。余弦距离可以描述两个特征向量之间的关系。
146.预设局部五官区域存在多个，则样本局部五官特征和结果局部五官特征也有多个。分别确定每个局部五官区域对应的样本局部五官特征和结果局部五官特征之间的余弦距离。
147.例如，预设局部五官区域有两个，分别为：眉眼区域、鼻嘴区域，则分别计算眉眼区域对应的样本局部五官特征和结果局部五官特征之间的余弦距离、鼻嘴区域对应的样本局部五官特征和结果局部五官特征之间的余弦距离，得到两个余弦距离。
148.在步骤s2512中，获取各个所述预设局部五官区域对应的权重，得到多个权重。
149.各个预设局部五官区域对应的权重，可以预先根据五官区域在面部的重要性进行确定。由于不同姿态和角度的面部图像，其各个五官区域的重要性不同，可以根据面部图像的差异对权重进行调整。
150.在步骤s2513中，基于所述多个权重，对所述多个余弦距离进行加权求和，得到所述样本局部五官特征和所述样本换脸结果图像包括的结果局部五官特征之间的第一损失值。
151.将各个预设局部五官区域的权重和其对应的余弦距离进行相乘，得到各个预设局部五官区域的加权值，再将所有加权值求和，得到第一损失值。
152.具体地，样本局部五官特征和结果局部五官特征之间的第一损失值的计算公式如下所示：
[0153][0154]
其中，τ
id
表示损失值，xs表示原始面部样本图像，y
s2t
表示样本换脸结果图像，表示五官特征向量；r表示各个维度的预设局部五官区域，k表示当前维度的五官区域，表示当前维度的五官区域对应的权重。例如，若存在两个预设局部五官区域，一个为眉眼区域、一个为鼻嘴区域，则r＝2。k＝1表示眉眼区域，k＝2表示鼻嘴区域。
[0155]
表示原始面部样本图像的五官特征向量和样本换脸结果图像的五官特征向量之间的余弦距离。
[0156]
图6是根据一示例性实施例示出的一种计算第一损失值的示意图。
[0157]
如图6所示，利用特征提取编码器从原始面部样本图像中提取样本局部五官特征，从样本换脸结果图像中提取结果局部五官特征，计算样本局部五官特征和结果局部五官特征之间的余弦相似度，再根据余弦相似度及对应的权值得到第一损失值。
[0158]
利用步骤s2511-步骤s2513的方法，可以在考虑各个预设局部五官区域的权重的情况下确定各个维度的五官区域的差异值的加权和，也就是第一损失值，该第一损失值是综合了输入的原始面部样本图像和输出的换脸结果图像间各个维度的五官特征的差异，能够准确的描述模型的输出损失，进而得到模型的参数改进方向，提高了模型的训练精度。
[0159]
在一种可能的实施方式中，在对所述原始面部图像的多个预设局部五官区域进行剪裁之前，还包括步骤s31或步骤s32：
[0160]
步骤s31，利用人脸识别模型的激活层获取所述原始面部图像中响应度高于预设阈值的第一五官区域，并将所述第一五官区域作为预设局部五官区域；
[0161]
或，步骤s32，确定预先设定的进行相似度增强的第二五官区域，并将所述第二五官区域作为预设局部五官区域。
[0162]
在步骤s31中，本方案根据人脸识别模型确定需要增强的五官区域。换脸的目标是让换脸结果图像和原始面部图像足够相似，给人的主观感受为同一个人且人脸识别模型判别为同一个人。那么人脸识别模型的判断依据是什么呢？
[0163]
通过对人脸识别模型的最后一层的激活值进行可视化，可以看出，相比于其他脸部区域，眼睛、鼻子、嘴巴、眉毛等五官区域的响应度高于预设阈值，说明人们一般依据这些地方判别面部的相似度。因此本方案将响应度高于预设阈值的第一五官区域作为预设局部五官区域进行剪裁。
[0164]
在步骤s32中，也可以根据本算法对用户关注的区域进行灵活地、自定义地裁剪，即将需要进行相似度增强的区域设置为预设局部五官区域。例如，可以将预设局部五官区域设置为左眼区域，那么后续对原始面部图像的左眼区域进行剪裁，并提取左右区域对应图像中的五官特征，得到原始面部图像的左眼特征。同时，选取基于左眼特征构建得到的合成模型，对原始面部图像的左眼特征、原始面部图像的第一轮廓特征以及目标面部图像的附属特征进行合成，最终可以得到只对左眼特征进行增强的换脸结果图像。
[0165]
在一种可能的实施方式中，所述提取所述原始面部图像中的多个预设局部五官区域对应图像中的五官特征，包括：若某个预设局部五官区域包括至少两个面部器官，则提取所述至少两个面部器官中的各个面部器官的特征信息，并提取相邻的两个面部器官之间的面部区域的特征信息，作为所述某个预设局部五官区域对应图像中的五官特征。
[0166]
在本发明实施例中，预设局部五官区域可以为一个面部器官，也可以为两个或两个以上面部器官。
[0167]
具体地，可以根据需求，将面部的各个单独的器官分别作为预设局部五官区域，即将眉毛区域、眼睛区域、鼻子区域、嘴巴区域、耳朵区域分别设置为预设局部五官区域。
[0168]
还可以将多个单独的器官的组合设置作为预设局部五官区域。例如将眉毛区域和眼睛区域进行组合作为一个预设局部五官区域，将鼻子区域和嘴巴区域进行组合也作为一个预设局部五官区域。
[0169]
在预设局部五官区域包括至少两个面部器官的情况下，除了提取各个两部器官的特征信息，还提取相邻的两个面部器官之间的面部区域的特征信息。例如，将鼻子区域和嘴巴区域进行组合作为一个预设局部五官区域，则除了单独提取鼻子区域和嘴巴区域的特征信息，还提取两者之间的鼻唇沟区域的特征信息。
[0170]
这样，相比于预设局部区域只包括一个面部器官，预设局部五官区域包括至少两个面部器官的方案，增加了两个面部器官之间的面部区域的提取区域，这样，可以基于更多的面部信息进行换脸处理，进一步提高了换脸结果图像中两个面部器官之间的面部区域的相似度。
[0171]
在一种可能的实施方式中，在将所述第一五官区域作为预设局部五官区域，或，将
所述第二五官区域作为预设局部五官区域之后，还包括：
[0172]
对所述原始面部图像中的多个所述预设局部五官区域进行剪裁。
[0173]
具体地，从原始面部图像中分别对各个预设局部五官区域进行剪裁，得到单独的各个预设局部五官区域的图像，进一步对单独的各个预设局部五官区域的图像进行身份特征提取，可以得到原始面部图像的身份特征。
[0174]
类似的，可以在提取目标面部图像的附属特征之前，也从目标面部图像中分别对各个预设局部五官区域进行剪裁，然后对剪裁得到的各个预设局部五官区域的图像进行附属特征提取。
[0175]
在特征提取之前，从原始面部图像或目标面部图像中对预设局部五官区域进行剪裁，可以减少特征提取时的图像噪声干扰，更容易定位到相关特征，提高了特征提取的效率。
[0176]
图7是根据一示例性实施例示出的一种图像换脸处理装置的结构框图。如图7所示，该图像换脸处理装置40包括：
[0177]
图像获取模块41，被配置为执行获取原始面部图像和目标面部图像；所述目标面部图像为用于进行换脸处理的参照图像；
[0178]
第一特征提取模块42，被配置为执行分别提取所述原始面部图像的身份特征和所述目标面部图像的附属特征，得到身份特征和附属特征；所述身份特征表征用于进行人脸识别的面部图像特征，所述附属特征为所述目标面部图像中除身份特征以外的特征；
[0179]
第二特征提取模块43，被配置为执行提取所述原始面部图像中的多个预设局部五官区域对应图像中的五官特征，得到多个局部五官特征；
[0180]
合成模块44，被配置为执行采用预先训练得到的合成模型，将所述多个局部五官特征、所述身份特征与所述附属特征进行面部图像合成，得到从所述原始面部图像到所述目标面部图像的换脸结果图像，所述换脸结果图像中的面部图像特征包含所述局部五官特征、所述身份特征和所述附属特征。
[0181]
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0182]
图8是根据一示例性实施例示出的一种用于图像换脸处理的电子设备的框图。其内部结构图可以如图8所示。该服务器或电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该服务器或电子设备的处理器用于提供计算和控制能力。该服务器或电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该服务器或电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像换脸处理方法。
[0183]
本领域技术人员可以理解，图8中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的服务器或电子设备的限定，具体的服务器或电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0184]
在示例性实施例中，还提供了一种服务器或电子设备，包括：处理器；用于存储该处理器可执行指令的存储器；其中，该处理器被配置为执行该指令，以实现如本公开实施例
中的图像换脸处理方法。
[0185]
在示例性实施例中，还提供了一种计算机可读存储介质，当该计算机可读存储介质中的指令由服务器或电子设备的处理器执行时，使得服务器或电子设备能够执行本公开实施例中的图像换脸处理方法。计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0186]
在示例性实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本公开实施例中的图像换脸处理方法。
[0187]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0188]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
[0189]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。