图像处理方法、装置、计算机设备和存储介质与流程

1.本技术涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、计算机设备和存储介质。


背景技术：

2.随着计算机技术以及人工智能技术的发展，出现了换脸技术。换脸技术指的是将图像中人物的脸换成另一张脸。换脸技术具有很多的应用场景，例如可以应用于影视人物制作、游戏人物设计、虚拟形象和隐私保护等场景中。
3.目前，换脸技术可以通过基于人工智能的神经网络模型实现，例如可以将图像输入到用于换脸的神经网络模型中，神经网络模型可以输出对图像进行换脸所得到的图像。
4.然而，现有的换脸技术得到的图像与理想的换脸后的图像之间具有较大的差别，导致换脸效果差。


技术实现要素：

5.基于此，有必要针对上述技术问题，提供一种能够提高换脸效果的图像处理方法、装置、计算机设备和存储介质。
6.一种图像处理方法，所述方法包括：获取训练源面部图像和训练模板面部图像；对所述训练源面部图像进行附加形象特征提取，得到所述训练源面部图像对应的源附加形象特征；对所述训练源面部图像进行身份特征提取，得到所述训练源面部图像对应的源身份特征；将所述训练模板面部图像输入到面部更换模型中的编码器进行编码，得到面部属性特征；将所述源附加形象特征、源身份特征以及所述面部属性特征输入到所述面部更换模型中的解码器进行解码，得到解码面部图像；获取所述解码面部图像与对比面部图像之间的附加形象差异，基于所述附加形象差异得到目标模型损失值；所述目标模型损失值与所述附加形象差异成正相关关系；所述对比面部图像包括所述训练源面部图像或者所述解码面部图像对应的标准面部图像的至少一个；基于所述目标模型损失值调整所述编码器以及所述解码器的模型参数，得到已训练的面部更换模型，以根据所述面部更换模型进行图像处理。
7.一种图像处理装置，所述装置包括：第一面部图像获取模块，用于获取训练源面部图像和训练模板面部图像；训练源附加形象特征得到模块，用于对所述训练源面部图像进行附加形象特征提取，得到所述训练源面部图像对应的源附加形象特征；源身份特征得到模块，用于对所述训练源面部图像进行身份特征提取，得到所述训练源面部图像对应的源身份特征；面部属性特征得到模块，用于将所述训练模板面部图像输入到面部更换模型中的编码器进行编码，得到面部属性特征；解码面部图像得到模块，用于将所述源附加形象特征、源身份特征以及所述面部属性特征输入到所述面部更换模型中的解码器进行解码，得到解码面部图像；目标模型损失值得到模块，用于获取所述解码面部图像与对比面部图像之间的附加形象差异，基于所述附加形象差异得到目标模型损失值；所述目标模型损失值
与所述附加形象差异成正相关关系；所述对比面部图像包括所述训练源面部图像或者所述解码面部图像对应的标准面部图像的至少一个；已训练的面部更换模型得到模块，用于基于所述目标模型损失值调整所述编码器以及所述解码器的模型参数，得到已训练的面部更换模型，以根据所述面部更换模型进行图像处理。
8.在一些实施例中，所述附加形象差异包括第一形象特征差异，所述目标模型损失值得到模块包括：目标附加形象特征得到单元，用于对所述解码面部图像进行附加形象特征提取，得到所述解码面部图像对应的目标附加形象特征；第一形象特征差异得到单元，用于确定所述源附加形象特征与所述目标附加形象特征之间的形象特征差异，作为所述第一形象特征差异；第一目标模型损失值得到单元，用于基于所述第一形象特征差异得到目标模型损失值。
9.在一些实施例中，所述目标模型损失值得到模块包括：附加形象区域得到单元，用于对所述对比面部图像的附加形象进行识别，得到所述对比面部图像对应的附加形象区域；附加形象增强值得到单元，用于获取所述附加形象区域对应的附加形象增强值；附加形象差异得到单元，用于确定所述附加形象区域与所述解码面部图像中对应位置的图像区域之间的图像差异，作为附加形象差异；第二目标模型损失值得到单元，用于基于所述附加形象差异得到附加形象损失值，利用所述附加形象增强值对所述附加形象损失值进行增强处理，得到目标模型损失值。
10.在一些实施例中，所述附加形象差异得到单元，还用于获取所述附加形象区域中的附加像素点，从所述解码面部图像中获取与附加像素点的位置匹配的解码像素点；计算所述附加像素点与所述解码像素点之间的像素值差异值；对所述附加形象区域对应的像素值差异值进行统计，得到差异统计值，将所述差异统计值作为所述附加形象差异。
11.在一些实施例中，所述附加形象差异得到单元，还用于对所述附加形象区域进行特征提取，得到提取附加形象特征；对所述解码面部图像中所述附加形象区域对应的图像区域进行特征提取，得到解码形象特征；计算所述提取附加形象特征与所述解码形象特征之间的形象特征差异，作为第二形象特征差异；基于所述第二形象特征差异得到所述附加形象差异。
12.在一些实施例中，所述第二目标模型损失值得到单元，还用于基于所述附加形象差异得到附加形象损失值，利用所述附加形象增强值对所述附加形象损失值进行增强处理，得到增强附加形象损失值；获取所述对比面部图像对应的非附加形象区域，确定所述非附加形象区域与所述解码面部图像中对应位置的图像区域之间的图像差异，作为非附加形象差异；基于所述非附加形象差异得到非附加形象损失值，所述非附加形象损失值对应的非附加形象增强值小于所述附加形象增强值；根据所述增强附加形象损失值与所述非附加形象损失值得到目标模型损失值。
13.在一些实施例中，所述目标模型损失值得到模块包括：附加形象损失值得到单元，用于基于所述附加形象差异得到附加形象损失值；目标身份特征得到单元，用于对所述解码面部图像进行身份特征提取，得到所述解码面部图像对应的目标身份特征；身份损失值得到单元，用于基于所述源身份特征与所述目标身份特征之间的身份特征差异得到身份损失值；第三目标模型损失值得到单元，用于根据所述附加形象损失值以及所述身份损失值得到目标模型损失值。
14.在一些实施例中，所述训练源附加形象特征得到模块还用于将所述训练源面部图像输入到已训练的附加形象特征提取网络中进行附加形象特征提取，得到所述训练源面部图像对应的源附加形象特征；所述已训练的面部更换模型得到模块，还用于保持所述附加形象特征提取网络的网络参数不变，基于所述目标模型损失值调整所述编码器以及所述解码器的模型参数，得到已训练的面部更换模型，以根据所述面部更换模型进行图像处理。
15.在一些实施例中，所述装置还包括附加形象特征提取网络得到模块，所述附加形象特征提取网络得到模块包括：附加对象图像得到单元，用于获取附加对象图像，所述附加对象图像包括所述附加形象特征对应的附加对象；训练单元，用于利用所述附加对象图像对待训练的附加图像识别模型进行训练，得到已训练的附加图像识别模型；特征提取层提取单元，用于从所述已训练的附加图像识别模型中提取图像识别层之前的特征提取层，作为所述附加形象特征提取网络。
16.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取训练源面部图像和训练模板面部图像；对所述训练源面部图像进行附加形象特征提取，得到所述训练源面部图像对应的源附加形象特征；对所述训练源面部图像进行身份特征提取，得到所述训练源面部图像对应的源身份特征；将所述训练模板面部图像输入到面部更换模型中的编码器进行编码，得到面部属性特征；将所述源附加形象特征、源身份特征以及所述面部属性特征输入到所述面部更换模型中的解码器进行解码，得到解码面部图像；获取所述解码面部图像与对比面部图像之间的附加形象差异，基于所述附加形象差异得到目标模型损失值；所述目标模型损失值与所述附加形象差异成正相关关系；所述对比面部图像包括所述训练源面部图像或者所述解码面部图像对应的标准面部图像的至少一个；基于所述目标模型损失值调整所述编码器以及所述解码器的模型参数，得到已训练的面部更换模型，以根据所述面部更换模型进行图像处理。
17.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取训练源面部图像和训练模板面部图像；对所述训练源面部图像进行附加形象特征提取，得到所述训练源面部图像对应的源附加形象特征；对所述训练源面部图像进行身份特征提取，得到所述训练源面部图像对应的源身份特征；将所述训练模板面部图像输入到面部更换模型中的编码器进行编码，得到面部属性特征；将所述源附加形象特征、源身份特征以及所述面部属性特征输入到所述面部更换模型中的解码器进行解码，得到解码面部图像；获取所述解码面部图像与对比面部图像之间的附加形象差异，基于所述附加形象差异得到目标模型损失值；所述目标模型损失值与所述附加形象差异成正相关关系；所述对比面部图像包括所述训练源面部图像或者所述解码面部图像对应的标准面部图像的至少一个；基于所述目标模型损失值调整所述编码器以及所述解码器的模型参数，得到已训练的面部更换模型，以根据所述面部更换模型进行图像处理。
18.在一些实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。
19.上述图像处理方法、装置、计算机设备和存储介质，获取训练源面部图像和训练模
板面部图像，对训练源面部图像进行附加形象特征提取，得到训练源面部图像对应的源附加形象特征，对训练源面部图像进行身份特征提取，得到训练源面部图像对应的源身份特征，将训练模板面部图像输入到面部更换模型中的编码器进行编码，得到面部属性特征，将源附加形象特征、源身份特征以及面部属性特征输入到面部更换模型中的解码器进行解码，得到解码面部图像，获取解码面部图像与对比面部图像之间的附加形象差异，基于附加形象差异得到目标模型损失值，目标模型损失值与附加形象差异成正相关关系，对比面部图像包括训练源面部图像或者解码面部图像对应的标准面部图像的至少一个，基于目标模型损失值调整编码器以及解码器的模型参数，得到已训练的面部更换模型，以根据面部更换模型进行图像处理，由于解码面部图像是通过将源附加形象特征、源身份特征以及面部属性特征输入到面部更换模型中的解码器进行解码得到的，且目标模型损失值是根据解码面部图像与对比面部图像之间的附加形象差异得到的，目标模型损失值与附加形象差异成正相关关系。因此可以使得训练得到的面部更换模型能够提高换脸后的图像的身份与源面部图像的身份的一致性，以及提高换脸后的图像的属性与模板面部图像的一致性，且能够提高换脸后的图像的附加形象与源面部图像的附加形象一致性，利用该面部更换模型进行图像处理时，可以提高面部更换效果，即提高换脸效果。
20.一种图像处理方法，所述方法包括：获取目标源面部图像以及目标模板面部图像；对所述目标源面部图像进行附加形象特征提取，得到所述目标源面部图像对应的目标源附加形象特征；对所述目标源面部图像进行身份特征提取，得到所述目标源面部图像对应的目标身份特征；将所述目标模板面部图像输入到已训练的面部更换模型中的编码器进行编码，得到目标面部属性特征；将所述目标源附加形象特征、所述目标身份特征以及所述目标面部属性特征到所述面部更换模型中的解码器进行解码，得到面部更换图像，所述面部更换图像中的面部与所述目标源面部图像的面部匹配，所述面部更换图像中的属性与所述目标模板面部图像的属性匹配。
21.一种图像处理装置，所述装置包括：第二面部图像获取模块，用于获取目标源面部图像以及目标模板面部图像；目标源附加形象特征得到模块，用于对所述目标源面部图像进行附加形象特征提取，得到所述目标源面部图像对应的目标源附加形象特征；目标身份特征得到模块，用于对所述目标源面部图像进行身份特征提取，得到所述目标源面部图像对应的目标身份特征；目标面部属性特征得到模块，用于将所述目标模板面部图像输入到已训练的面部更换模型中的编码器进行编码，得到目标面部属性特征；面部更换图像得到模块，用于将所述目标源附加形象特征、所述目标身份特征以及所述目标面部属性特征到所述面部更换模型中的解码器进行解码，得到面部更换图像，所述面部更换图像中的面部与所述目标源面部图像的面部匹配，所述面部更换图像中的属性与所述目标模板面部图像的属性匹配。
22.在一些实施例中，所述第二面部图像获取模块包括：目标对象图像获取单元，用于获取待替换面部的目标对象对应的目标对象图像；面部对比单元，用于确定目标视频中的当前视频帧，将所述当前视频帧中的当前对象面部与所述目标对象图像中的目标对象面部进行对比；目标源面部图像得到单元，用于当当前对象面部与所述目标对象面部匹配时，从当前视频帧中分割得到匹配的目标模板面部图像，将所述目标对象的参考对象对应的参考面部图像作为目标源面部图像；所述装置还用于利用所述面部更换图像替换当前视频帧中
的目标模板面部图像，得到更新后的当前视频帧。
23.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取目标源面部图像以及目标模板面部图像；对所述目标源面部图像进行附加形象特征提取，得到所述目标源面部图像对应的目标源附加形象特征；对所述目标源面部图像进行身份特征提取，得到所述目标源面部图像对应的目标身份特征；将所述目标模板面部图像输入到已训练的面部更换模型中的编码器进行编码，得到目标面部属性特征；将所述目标源附加形象特征、所述目标身份特征以及所述目标面部属性特征到所述面部更换模型中的解码器进行解码，得到面部更换图像，所述面部更换图像中的面部与所述目标源面部图像的面部匹配，所述面部更换图像中的属性与所述目标模板面部图像的属性匹配。
24.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取目标源面部图像以及目标模板面部图像；对所述目标源面部图像进行附加形象特征提取，得到所述目标源面部图像对应的目标源附加形象特征；对所述目标源面部图像进行身份特征提取，得到所述目标源面部图像对应的目标身份特征；将所述目标模板面部图像输入到已训练的面部更换模型中的编码器进行编码，得到目标面部属性特征；将所述目标源附加形象特征、所述目标身份特征以及所述目标面部属性特征到所述面部更换模型中的解码器进行解码，得到面部更换图像，所述面部更换图像中的面部与所述目标源面部图像的面部匹配，所述面部更换图像中的属性与所述目标模板面部图像的属性匹配。
25.在一些实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。
26.上述图像处理方法、装置、计算机设备和存储介质，获取目标源面部图像以及目标模板面部图像，对目标源面部图像进行附加形象特征提取，得到目标源面部图像对应的目标源附加形象特征，对目标源面部图像进行身份特征提取，得到目标源面部图像对应的目标身份特征，将目标模板面部图像输入到已训练的面部更换模型中的编码器进行编码，得到目标面部属性特征，将目标源附加形象特征、目标身份特征以及目标面部属性特征到面部更换模型中的解码器进行解码，得到面部更换图像，由于面部更换图像中的面部与目标源面部图像的面部匹配，面部更换图像中的属性与目标模板面部图像的属性匹配，从而提高了面部更换图像与目标源面部图像的身份以及附加形象的一致性，并且保证面部更换图像与目标模板面部图像的属性信息的一致性，从而提高了面部更换效果。
附图说明
27.图1为一些实施例中图像处理方法的应用环境图；
28.图2为一些实施例中图像处理方法的流程示意图；
29.图3为一些实施例中图像处理方法的流程示意图；
30.图4为一些实施例中换脸的效果图；
31.图5为一些实施例中得到解码人脸图像的原理图；
32.图6为一些实施例中得到附加形象损失值的原理图；
33.图7为一些实施例中得到判别损失值的原理图；
34.图8为一些实施例中图像处理装置的结构框图；
35.图9为一些实施例中图像处理装置的结构框图；
36.图10为一些实施例中计算机设备的内部结构图。
具体实施方式
37.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
38.人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
39.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
40.计算机视觉技术(computer vision,cv)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
41.机器学习(machine learning,ml)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
42.随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
43.本技术实施例提供的方案涉及人工智能的计算机视觉技术和机器学习等技术，具体通过如下实施例进行说明：
44.本技术提供的图像处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。具体地，服务器104可以获取训练源面部图像以及训练模板面部图像，对训练源面部图像进行附加形象特征提取，得到训练源面部图像对应的源附加形象特征，对训练源面部图像进行身份特征提取，得到训练源面部图像对应的源身份特征，将训练模板面部图像输入到面部更换模型中的编码器进行编码，得到面部属性特征，将源附加形象特征、源身份特征以及面部属性特征输入到面部更换模型中的解码器进行解码，得到解码面部图像，获取解码面部图像与对比面部图像之间的附加形象差异，基于附加形象差异得到目标模型损失值；目标模型损失值与附加形象差异成正相关关系；对比面部图像包括训练源面部图像或者解码面部图像对应的标准面部图像的至少一个，基于目标模型损失值调整编码器以及解码器的模型参数，得到已训练的面部更换模型，以根据面部更换模型进行图像处理。例如，服务器可以获取目标源面部图像以及目标模板面部图像，例如可以从终端102获取目标源面部图像以及目标模板面部图像，例如终端102可以向服务器发送面部更换请求，面部更换请求中可以携带目标源面部图像以及目标模板面部图像，服务器响应于面部更换请求，对目标源面部图像进行附加形象特征提取，得到目标源面部图像对应的目标源附加形象特征，对目标源面部图像进行身份特征提取，得到目标源面部图像对应的目标身份特征，将目标模板面部图像输入到已训练的面部更换模型中的编码器进行编码，得到目标面部属性特征，将目标源附加形象特征、目标身份特征以及目标面部属性特征到面部更换模型中的解码器进行解码，得到面部更换图像，面部更换图像中的面部与目标源面部图像的面部匹配，面部更换图像中的属性与目标模板面部图像的属性匹配。
45.其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
46.在一些实施例中，如图2所示，提供了一种图像处理方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：
47.s202，获取训练源面部图像和训练模板面部图像。
48.其中，源面部图像是提供面部的图像，换脸后的图像的面部来源于源面部图像。模板面部图像是提供换脸的模板的图像，源图像的面部是移植到模板面部图像中的，即模板面部图像中的面部被源面部图像中的面部替换掉，从而形成换脸后的图像。训练源面部图像是对模型进行训练的源面部图像，训练模板面部图像是对模型进行训练的模板面部图像。训练源面部图像以及训练模板面部图像为不同的对象的面部图像，对象可以是人或动物，训练源面部图像例如为对象a的面部图像，训练模板面部图像例如为对象b的面部图像，当对象为人时，训练源面部图像以及训练模板面部图像可以是不同人的人脸图像。训练源面部图像与训练模板面部图像具有不同的属性信息。属性信息指的是与形象相关的信息，包括但不限于是面部表情、妆容、姿态或背景的至少一种。例如，训练源面部图像为欢喜的表情，训练模板面部图像为悲伤的表情。训练源面部图像为真实的图像，训练模板面部图像可以是真实的图像，也可以是合成的图像。训练源面部图像以及训练模板面部图像可以为视频中的视频帧。训练源面部图像为佩戴眼镜的面部图像，即训练源面部图像中包括眼镜，训练模板面部图像中可以包括眼镜也可以不包括眼镜。
49.在本技术实施例中，当需要对待训练的面部更换模型进行训练时，可以获取训练
源面部图像以及训练模板面部图像。例如服务器可以获取第一对象的面部图像，作为训练源面部图像，获取第二对象的面部图像，作为训练模板面部图像，其中第二对象的面部图像可以是真实的图像也可以是合成的图像。其中，面部更换模型是用于进行面部更换的模型。待训练的面部更换模型可以是完全未经过训练的模型，也可以是经过训练并需要进一步优化的模型，可以是基于人工智能的神经网络模型，例如可以是卷积神经网络模型。当对象为人时，即当面部图像为人脸图像时，面部更换模型也可以称为人脸更换模型，用于对图像中的人脸进行更换。
50.在一些实施例中，训练模板面部图像是基于训练源面部图像对应的标准面部图像进行合成得到的。标准面部图像为期待根据训练源面部图像和模型面部图像，标准面部图像为真实的图像。标准面部图像与训练源面部图像为相同的对象的面部图像。标准面部图像与训练源面部图像具有不同的属性信息，例如具有不同的表情。例如，可以获取参考面部图像，参考面部图像与训练模板面部图像为相同的对象的面部图像，参考面部图像与训练模板面部图像具有不同的属性信息，例如具有不同的姿态。可以将参考面部图像中的面部更换到标准面部图像中，得到训练模板面部图像。
51.s204，对训练源面部图像进行附加形象特征提取，得到训练源面部图像对应的源附加形象特征。
52.其中，附加形象特征指的是面部上的附加形象的特征。对象的形象包括附加形象与原生形象。原生形象是该对象原始的形象，即是真实的形象，例如当对象为一个人时，则原生形象是通过该人的长相确定的，例如可以通过发型、肤色、胎记或痣中的至少一种体现。
53.附加形象不属于对象原始的形象，可以是通过面部上附加的配饰所体现的，例如通过面部上佩戴的眼镜和耳环体现。面部上的配饰可以称为附加物体，或称为附属物。附属物对整体形象有着较大的影响，例如眼镜对一个人的整体形象有着较大的影响。当附加物体包括眼镜和耳环时，附加形象特征可以包括眼镜特征或耳环特征中的至少一种。对不同的图像进行附加形象特征提取，可以得到图像对应的附加形象特征。训练源面部图像对应的源附加形象特征是对训练源面部图像进行附加特征提取所得到的附加形象特征。
54.具体地，源附加形象特征可以包括源眼镜特征，例如服务器可以对训练源面部图像进行眼镜特征提取，得到训练源面部图像对应的源眼镜特征。例如，服务器可以利用已训练的附加形象特征提取网络，对训练源面部图像进行附加特征提取，得到训练源面部图像对应的源附加形象特征。附加形象特征提取网络用于提取附加形象特征，可以有多种，例如可以包括用于提取眼镜的眼镜特征的眼镜特征提取网络、用于提取耳环的耳环特征提取网络或用于提取青春痘的青春痘特征提取网络。服务器可以获取多种类型的附加形象特征提取网络，将源面部图像分别输入到各个附加形象特征提取网络中，得到各个附加形象特征提取网络输出的附加特征，组成源面部图像对应的源附加形象特征。例如，当训练源面部图像为佩戴眼镜的人脸图像时，服务器可以将该佩戴眼镜的人脸图像输入到眼镜特征提取网络中，得到该佩戴眼镜的人脸图像对应的源眼镜特征。已训练的附加形象特征提取网络可以是从已训练的附加图像识别模型中提取到的，例如可以从已训练的附加图像识别模型中提取图像识别层之前的特征提取层，作为附加形象特征提取网络。附加图像识别模型用于识别附加物体，附加图像识别模型可以包括多种，例如可以包括用于识别眼镜的眼镜识别
模型，眼镜识别模型可以识别眼镜的类型，附加图像识别模型可以是基于人工智能的神经网络的，例如可以是基于resnet50(residual network 50，残差网络50)网络的。其中，基于resnet50的模型可以对输入的图像进行卷积操作，将卷积得到的特征输入一个或者多个残差块(residual block)进行进一步的特征提取,基于提取得到的特征进行图像识别。例如，附加图像识别模型中可以包括残差特征提取网络，附加图像识别模型可以利用残差特征提取网络之前的特征提取网络，对训练源面部图像进行特征提取，将提取到的特征作为残差特征提取网络的输入特征，获取基于残差特征提取网络对输入特征进行处理所得到的处理后的特征，将处理后的特征与输入特征进行特征融合，得到残差特征提取网络最终输出的特征。基于resnet50网络的附加图像识别模型，可以在网络层数加深的情况下，提升特征的表达能力，并可以提高网络收敛速度以及提高模型的准确度。
55.在一些实施例中，在对待训练的附加形象特征提取网络进行训练时，服务器还可以获取不包括该特定附加物体的视频片段，作为负样本，利用负样本以及正样本对附加形象特征提取网络进行训练，正样本指的是包括该特定附加物体的视频片段，得到已训练的附加形象特征提取网络，例如利用不包括眼镜的视频频段以及包括眼镜的视频片段对眼镜特征提取网络进行训练，得到已训练的眼镜特征提取网络。
56.s206，对训练源面部图像进行身份特征提取，得到训练源面部图像对应的源身份特征。
57.其中，身份特征指的是用于标识对象的身份的特征，可以包括对象的面部五官特征或面部轮廓特征中的至少一种，面部五官特征指的是面部上的五官对应的特征，面部轮廓特征指的是面部的轮廓对应的特征。训练源面部图像对应的源身份特征指的是对训练源面部图像进行身份特征提取所得到的身份特征。
58.具体地，服务器可以获取已训练的身份识别模型，将训练源面部图像输入到已训练的身份识别模型中，得到训练源面部图像对应的源身份特征。身份识别模型用于识别对象的身份，当训练源面部图像为人脸图像时，身份识别模型可以为人脸识别模型，人脸识别模型用于识别人脸所属的人物。
59.s208，将训练模板面部图像输入到面部更换模型中的编码器进行编码，得到面部属性特征。
60.其中，面部更换模型用于对面部进行更换，即用于将一张图像中的面部(记作第一图像)更换到另外一张图像(记作第二图像)的面部，得到更换后的面部图像。通过对面部更换模型进行训练，可以使得更换后的面部图像与第一图像的身份保持一种，与第二图像的面部属性保持一种。面部属性与身份无关，可以包括姿态、表情、肤色、亮度、光照或纹理中的至少一种。面部属性特征指的是面部属性对应的特征。面部更换模型可以包括编码器，编码器用于对图像进行编码，得到面部属性特征。
61.具体地，服务器可以将训练模板面部图像输入到面部更换模型中的编码器进行编码，得到训练模板面部图像对应的面部属性特征。
62.s210，将源附加形象特征、源身份特征以及面部属性特征输入到面部更换模型中的解码器进行解码，得到解码面部图像。
63.其中，面部更换模型还可以包括解码器，解码器用于利用源附加形象特征、源身份特征以及面部属性特征生成解码面部图像。解码面部图像是解码器基于源附加形象特征、
源身份特征以及面部属性特征进行解码所得到的图像。其中，编码器和解码器可以是基于人工智能的神经网络，例如可以是基于resnet网络模型的，可以为resnet中的若干个网络层构成的模型，例如可以是resnet中的8层网络构成的模型。
64.具体地，服务器可以将源附加形象特征、源身份特征以及面部属性特征进行特征融合，得到目标融合特征，例如可以将源附加形象特征、源身份特征以及面部属性特征构成特征三元组，作为目标融合特征，将目标融合特征输入到面部更换模型中的解码器进行解码，得到解码面部图像。
65.在一些实施例中，服务器可以将训练模板面部图像以及训练源面部图像输入到面部更换模型中的编码器进行编码，得到训练模板面部图像对应的面部属性特征以及训练源面部图像对应的源面部特征，将源面部特征、面部属性特征、源附加形象特征以及源身份特征进行特征融合，得到目标融合特征。其中，源面部特征可以包括训练源面部图像的属性对应的特征或身份对应的特征中的至少一种特征。
66.在一些实施例中，编码器可以包括属性特征提取模型以及面部特征提取模型，利用属性特征提取模型对训练模板面部图像进行属性特征提取，得到训练模板面部图像对应的面部属性特征，利用面部特征提取模型对训练源面部图像进行面部特征提取，得到源面部特征。
67.在一些实施例中，编码器以及解码器可以为生成对抗网络(generative adversarial network，gan)中的生成网络中的神经网络。生成对抗网络包括生成网络模型(generator)以及判别网络模型(discriminator)。生成对抗网络通过让生成网络模型与判别网络模型相互博弈的方式进行学习，得到期望的机器学习模型，是一种非监督式学习的方法。生成网络模型的目标是根据输入得到所期望的输出，判别网络模型的目标是将生成网络模型的输出，从真实的图像中尽可能分辨出来，判别网络模型的输入包括生成网络模型的输出以及真实的图像。两个网络模型相互对抗学习，不断调整参数，最终目标是生成网络模型要尽可能地欺骗判别网络模型，使判别网络模型无法判断生成网络模型的输出结果是否真实。
68.s212，获取解码面部图像与对比面部图像之间的附加形象差异，基于附加形象差异得到目标模型损失值；目标模型损失值与附加形象差异成正相关关系；对比面部图像包括训练源面部图像或者解码面部图像对应的标准面部图像的至少一个。
69.其中，对比面部图像可以包括训练源面部图像或解码面部图像对应的标准面部图像的至少一个。解码面部图像对应的标准面部图像在身份以及附加物体上与训练源面部图像一致，在属性上与训练模板面部图像一致。解码面部图像对应的标准面部图像是该解码面部图像所对应的期望生成的图像，也可以理解为是标签，即希望解码面部图像尽可能与标准面部图像一致。可以是真实拍摄得到的图像，也可以是合成的图像。
70.附加形象差异用于反映解码面部图像与对比面部图像中包括的附加物体之间的差异，可以包括特征之间的差异，也可以包括像素值之间的差异，例如可以包括目标附加形象特征与对比附加形象特征之间的差异，目标附加形象特征是对解码面部图像进行附加形象特征提取所得到的附加形象特征，对比附加形象特征是对对比面部图像进行附加形象特征提取所得到的附加形象特征。附加形象差异还可以包括附加形象区域与匹配形象区域之间的像素值的差异，附加形象区域指的是对比面部图像中附加物体所在的区域，匹配形象
区域指的是解码面部图像中与附加形象区域位置匹配的区域，例如与附加形象区域位置相同的区域。对比附加形象特征可以包括源附加形象特征或标准附加形象特征中的至少一个，标准附加形象特征是对标准面部图像进行附加形象特征提取所得到的附加形象特征。附加形象差异可以包括目标附加形象特征与源附加形象特征之间的差异，还可以包括目标附加形象特征与标准附加形象特征之间的差异。
71.目标模型损失值根据附加形象差异计算得到，与附加形象差异成正相关关系，例如目标模型损失值可以为附加形象差异，也可以是对附加形象差异进行线性运算或非线性运算得到的。线性运算可以包括加法运算、减法运算、乘法运算或除法运算的中的至少一种。非线性运算可以包括对数运算、开方运算、指数运算或三角函数运算中的至少一种。其中，损失值是根据损失得到的，损失函数(loss function)是用于表示事件的“风险”或“损失”的函数。其中，正相关关系指的是：在其他条件不变的情况下，两个变量变动方向相同，一个变量由大到小变化时，另一个变量也由大到小变化。可以理解的是，这里的正相关关系是指变化的方向是一致的，但并不是要求当一个变量有一点变化，另一个变量就必须也变化。例如，可以设置当变量a为10至20时，变量b为100，当变量a为20至30时，变量b为120。这样，a与b的变化方向都是当a变大时，b也变大。但在a为10至20的范围内时，b可以是没有变化的。
72.具体地，服务器可以将解码面部图像输入到已训练的附加形象特征提取网络中，得到解码面部图像对应的目标附加形象特征，将对比面部图像输入到已训练的附加形象特征提取网络中，得到对比面部图像对应的对比附加形象特征。
73.在一些实施例中，对比面部图像为标准面部图像，服务器可以从标准面部图像中获取非附加形象区域，从解码面部图像中获取与非附加形象区域位置匹配的区域，得到匹配非附加区域，获取非附加形象区域与匹配非附加区域之间的非附加形象差异，基于附加形象差异以及非附加形象差异，得到目标模型损失值。得到非附加形象差异的过程可以参考得到附加形象差异的相关内容，这里不再赘述。其中，非附加形象区域指的是标准面部图像中除附加形象区域之外的区域。
74.在一些实施例中，目标模型损失值还可以包括身份损失值。服务器可以提获取解码面部图像对应的目标身份特征，计算目标身份特征与对比身份特征之间的差异，得到身份损失值，目标身份特征与对比身份特征之间的差异与身份损失值成正相关关系。目标身份特征是对解码面部图像进行身份特征提取所得到的身份特征。对比身份特征是对对比面部图像进行身份特征提取所得到的身份特征。对比身份特征可以包括源身份特征或标准身份特征中的至少一个。标准身份特征是对标准面部图像进行身份特征提取所得到的身份特征。
75.在一些实施例中，服务器可以计算目标身份特征与对比身份特征之间的相似度，得到身份特征相似度，基于身份特征相似度得到身份损失值，目标身份特征与对比身份特征之间的差异与身份特征相似度成负相关关系，身份损失值与身份特征相似度成负相关关系。例如，当对比身份特征为源身份特征时，服务器可以利用公式(1)计算得到身份损失值id_loss，其中，id_loss表示身份损失值，result_id_feature表示目标身份特征，src_id_feature表示源身份特征。cosine_similarity(result_id_feature,src_id_feature)表示result_id_feature与src_id_feature之间的余弦相似度(cosine相似度)，即身份特征相
似度。
76.id_loss＝1
‑
cosine_similarity(result_id_feature,src_id_feature)
ꢀꢀꢀ
(1)
77.其中，余弦相似度的计算公式例如可以表示为公式(2)，其中，a和b分别为一个向量，a
i
和b
i
分别代表向量a和b的各分量。similarity以及cos(θ)表示余弦相似度。θ表示向量a与b的夹角。
[0078][0079]
负相关关系指的是：在其他条件不变的情况下，两个变量变动方向相反，一个变量由大到小变化时，另一个变量由小到大变化。可以理解的是，这里的负相关关系是指变化的方向是相反的，但并不是要求当一个变量有一点变化，另一个变量就必须也变化。
[0080]
s214，基于目标模型损失值调整编码器以及解码器的模型参数，得到已训练的面部更换模型，以根据面部更换模型进行图像处理。
[0081]
其中，模型参数指的是模型内部的变量参数，对于神经网络模型，也可以称为神经网络权重(weight)。
[0082]
具体地，服务器可以基于目标模型损失值对编码器以及解码器的模型参数进行调整，以对编码器以及解码器进行联合训练，得到已训练的编码器以及已训练的解码器，基于已训练的编码器以及已训练的解码器，得到已训练的面部更新模型，已训练的面部更新模型包括已训练的编码器以及已训练的解码器。
[0083]
在一些实施例中，可以采用梯度下降方法，例如基于adam的梯度下降方法，朝着使目标模型损失值下降的方向调整面部更新模型中的模型参数，得到已训练的面部更新模型。得到已训练的面部更新模型后，可以利用已训练的面部更新模型进行图像的处理。可以将第一人脸图像中的五官和轮廓替换至第二人脸图像中，以实现对第二人脸图像进行换脸。
[0084]
在一些实施例中，可以使用本技术提供的图像处理方法，可以应用于视频换脸中，将视频中的第一人物的脸换成第二人物的脸，以实现对视频中的人物进行换脸，即实现视频换脸。
[0085]
视频换脸指的是将一张人脸图像(记作原始人脸图像)中的人脸更换到另外一张人脸图像(记作更换前的人脸图像)中，得到更换后的人脸图像，并使得更换后的人脸图像与更换前的人脸图像在表情、角度和背景上保持一致，以及更换后的人脸图像与原始人脸图像对应的身份一致。如图a所示，原始人脸图像是人脸图像a，更换前的人脸图像是人脸图像b，更换后的人脸图像是人脸图像c，很明显可以看出，人脸图像c与人脸图像b是在表情、角度和背景上保持一致，人脸图像c与人脸图像a在身份上保持一致，即为同一个人的人脸。
[0086]
视频换脸可以应用在多种场景中，比如影视人像制作、游戏人物设计、虚拟形象以及隐私保护。在影视制作中，一些专业动作通常是由专业人员完成的，当镜头拍摄专业人员的视频后，可以利用换脸技术将视频中的专业人员的脸替换为真正的演员的脸，或者将视频中具有劣迹行为的演员的脸替换掉，从而可以节约影视制作的成本。在游戏制作中，游戏美术图像的生成和变换以及美术资源的制作需要花费较多的成本，可以利用换脸技术生成
特定风格的角色，从而帮助美术节约成本。在直播中，用户可以将脸替换为虚拟人物的脸，从而保护用户的隐私，还可以提高直播的趣味性。
[0087]
可以理解，模型的训练可以是迭代多次的，即已训练的面部更换模型可以是迭代训练的，当满足模型收敛条件时则停止训练，模型收敛条件可以包括模型损失值的变化小于预设损失值变化，也可以包括模型参数的变化小于预设参数变化值。例如，当源面部图像以及模板面部图像构成的训练样本有多个时，可以训练多次，每次利用一个或多个训练样本进行模型训练，多个指的是至少两个。
[0088]
上述图像处理方法中，获取训练源面部图像和训练模板面部图像，对训练源面部图像进行附加形象特征提取，得到训练源面部图像对应的源附加形象特征，对训练源面部图像进行身份特征提取，得到训练源面部图像对应的源身份特征，将训练模板面部图像输入到面部更换模型中的编码器进行编码，得到面部属性特征，将源附加形象特征、源身份特征以及面部属性特征输入到面部更换模型中的解码器进行解码，得到解码面部图像，获取解码面部图像与对比面部图像之间的附加形象差异，基于附加形象差异得到目标模型损失值，目标模型损失值与附加形象差异成正相关关系，对比面部图像包括训练源面部图像或者解码面部图像对应的标准面部图像的至少一个，基于目标模型损失值调整编码器以及解码器的模型参数，得到已训练的面部更换模型，以根据面部更换模型进行图像处理，由于解码面部图像是通过将源附加形象特征、源身份特征以及面部属性特征输入到面部更换模型中的解码器进行解码得到的，且目标模型损失值是根据解码面部图像与对比面部图像之间的附加形象差异得到的，目标模型损失值与附加形象差异成正相关关系。因此可以使得训练得到的面部更换模型能够提高换脸后的图像的身份与源面部图像的身份的一致性，以及提高换脸后的图像的属性与模板面部图像的一致性，且能够提高换脸后的图像的附加形象与源面部图像的附加形象一致性，利用该面部更换模型进行图像处理时，可以提高面部更换效果，即提高换脸效果。
[0089]
在一些实施例中，附加形象差异包括第一形象特征差异，获取解码面部图像与对比面部图像之间的附加形象差异，基于附加形象差异得到目标模型损失值包括：对解码面部图像进行附加形象特征提取，得到解码面部图像对应的目标附加形象特征；确定源附加形象特征与目标附加形象特征之间的形象特征差异，作为第一形象特征差异；基于第一形象特征差异得到目标模型损失值。
[0090]
其中，形象特征差异指的是形象特征之间的差异，第一形象特征差异指的是源附加形象特征与目标附加形象特征之间的差异。目标模型损失值与第一形象特征差异成正相关关系。
[0091]
具体地，服务器可以将解码面部图像输入到已训练的附加形象特征提取网络中，得到解码面部图像对应的目标附加形象特征，计算源附加形象特征与目标附加形象特征之间的相似度，得到附加特征相似度，基于附加特征相似度得到第一形象特征差异，附加特征相似度与第一形象特征差异成负相关关系，例如可以将附加特征相似度的相反数或倒数作为第一形象特征差异。附加特征相似度可以为余弦相似度。
[0092]
在一些实施例中，服务器可以根据第一形象特征差异得到附加特征损失值，附加特征损失值与第一形象特征差异成正相关关系，与附加特征相似度成负相关关系，可以将第一形象特征差异作为附加特征损失值，也可以对第一形象特征差异进行线性计算或非线
性计算得到附加特征损失值，基于附加特征损失值得到目标模型损失值，目标模型损失值与附加特征损失值成正相关关系。
[0093]
在一些实施例中，服务器可以将预设数值与附加特征相似度相减的结果作为第一形象特征差异，将第一形象特征差异作为附加特征损失值。预设数值可以根据需要预先设置，例如可以为1。当附加形象特征为眼镜特征时，源附加形象特征还可以称为源眼镜特征，目标附加形象特征还可以称为目标眼镜特征，附加特征相似度还可以称为眼镜相似度，附加特征损失值还可以称为眼镜损失值，例如，可以采用公式(3)计算得到眼镜损失值。其中，glass_loss表示眼镜损失值，result_glass_feature表示目标眼镜特征，src_glass_feature表示源眼镜特征。cosine_similarity(result_glass_feature,src_glass_feature)表示result_glass_feature与src_glass_feature之间的余弦相似度，即附加特征相似度。
[0094]
glass_loss＝1
‑
cosine_similarity(result_glass_feature,src_glass_feature) (3)
[0095]
本实施例中，确定源附加形象特征与目标附加形象特征之间的形象特征差异，作为第一形象特征差异，基于第一形象特征差异得到目标模型损失值，由于目标模型损失值与第一形象特征差异成负相关关系，因此，源附加形象特征与目标附加形象特征之间的差异越小，目标模型损失值越小，因此当调整模型参数使得目标模型损失值减小时，则会使得源附加形象特征与目标附加形象特征之间的差异减小，从而提高解码面部图像与训练源面部图像在形象上的相似度，提高面部更换效果。
[0096]
在一些实施例中，获取解码面部图像与对比面部图像之间的附加形象差异，基于附加形象差异得到目标模型损失值包括：对对比面部图像的附加形象进行识别，得到对比面部图像对应的附加形象区域；获取附加形象区域对应的附加形象增强值；确定附加形象区域与解码面部图像中对应位置的图像区域之间的图像差异，作为附加形象差异；基于附加形象差异得到附加形象损失值，利用附加形象增强值对附加形象损失值进行增强处理，得到目标模型损失值。
[0097]
其中，附加形象区域指的是附加物体所在的区域。对对比面部图像的附加形象进行识别指的是确定附加物体在对比面部图像中的区域。附加形象差异可以包括附加形象区域与解码面部图像中对应位置的图像区域之间的图像差异，解码面部图像中对应位置的图像区域指的是匹配形象区域。
[0098]
附加形象损失值根据附加形象差异得到，附加形象损失值与附加形象差异成正相关关系，例如可以将附加形象差异作为附加形象损失值，或者对附加形象差异进行线性运算或非线性运算得到附加形象损失值。附加形象增强值可以是预先设置的数值，例如可以是6，用于对附加形象损失值进行增强处理。利用附加形象增强值对附加形象损失值进行增强处理可以包括：利用附加形象增强值与附加形象损失值进行加和运算或乘积运算中的至少一种。
[0099]
具体地，服务器可以对对比面部图像中的附加物体进行识别，从对比面部图像中确定附加物体所在的区域，得到附加形象区域，例如可以获取已训练的附加区域识别模型，附加区域识别模型可以从图像中识别出附加物体所在的区域，当然，附加区域识别模型还可以从图像中识别出面部的其他区域，例如嘴巴所在的区域。当对比面部图像为人脸图像
时，附加区域识别模型可以为人脸分割模型，人脸分割模型用于对人脸进行分割，得到人脸中的区域，例如得到人脸中的眼镜区域，即眼镜所在的区域。服务器可以从对比面部图像中确定附加形象区域的区域位置信息，从解码面部图像中确定该区域位置信息对应的区域，得到匹配形象区域，计算附加形象区域与匹配形象区域之间的差异，得到附加形象差异。
[0100]
在一些实施例中，图像差异可以包括像素上的差异，也可以包括特征上的差异，例如，可以计算附加形象区域与匹配形象区域对应位置的像素值的差异的统计值，得到差异统计值，差异统计值反应的时像素上的差异，服务器还可以对附加形象区域进行特征提取，得到提取附加形象特征，对匹配形象区域进行特征提取，得到解码形象特征，计算提取附加形象特征与解码形象特征之间的差异，得到第二形象特征差异，第二形象特征差异反应的是特征上的差异。附加形象差异还可以包括第二形象特征差异或差异统计值中的至少一种。
[0101]
在一些实施例中，服务器可以基于第二形象特征差异得到附加特征级损失值，基于差异统计值得到附加像素级损失值，附加特征级损失值与第二形象特征差异成正相关关系，附加像素级损失值与差异统计值成正相关关系，附加形象损失值包括附加像素级损失值或附加特征级损失值中的至少一种。
[0102]
在一些实施例中，对比面部图像为标准面部图像，服务器可以利用附加形象增强值对附加形象损失值进行增强处理，得到增强附加形象损失值，可以基于非附加形象差异得到非附加形象损失值，获取非附加形象区域对应的非附加形象增强值，利用非附加形象增强值对非附加形象损失值进行增强处理，得到增强非附加形象损失值，根据增强附加形象损失值以及增强非附加形象损失值进行加权计算得到目标模型损失值。其中，非附加形象损失值与非附加形象差异成正相关关系。
[0103]
在一些实施例中，服务器可以通过对图像进行掩膜处理，得到附加形象区域的掩膜(mask)，例如眼镜区域对应的掩膜，实现从图像中分割得到附加形象区域。附加形象区域的掩膜中可以包括附加形象区域中的像素点对应的掩膜值(记作第一掩膜值)，还可以包括非附加形象区域中的像素点对应的掩膜值(记作第二掩膜值)，第一掩膜值大于第二掩膜值，第一掩膜值以及第二掩膜值可以根据需要设置，第一掩膜值例如为1，第二掩膜值例如为0。非附加形象区域指的是图像中除附加形象区域之外的区域。例如，当标准面部图像为包括眼镜的人脸图像时，可以对标准面部图像进行掩膜处理，得到眼镜区域的掩膜。眼镜区域的掩膜可以表示为glass_mask＝segmentation(gt_img)(4)，其中，glass_mask表示眼镜区域的掩膜，gt_img表示标准面部图像，segmentation(
·
)表示对图像进行掩膜处理，得到眼镜区域的掩膜。glass_mask中可以包括眼镜区域的像素点对应的掩膜值以及非眼镜区域的像素点对应的掩膜值。
[0104]
在一些实施例中，对比面部图像为标准面部图像，服务器可以基于附加形象区域的掩膜进行计算，得到附加形象增强值以及非附加形象增强值。例如可以从附加区域的掩膜中确定附加形象区域对应的第一掩膜值，根据第一掩膜值得到附加形象增强值，附加形象增强值与第一掩膜值成正相关关系，同样的，可以得到非附加形象增强值，非附加形象增强值与非附加形象区域对应的第二掩膜值成正相关关系。当附加形象区域为眼镜区域时，附加形象增强值可以称为眼镜增强值，非附加形象增强值可以称为非眼镜增强值。例如，可以利用公式(5)计算得到眼镜增强值以及非眼镜增强值，其中，glass_weight为预设值，可
以根据需要设置，例如可以为5。mask_weight包括眼镜增强值以及非眼镜增强值，mask_weight中的眼镜增强值根据glass_mask中的眼镜区域对应的掩膜值计算得到，mask_weight中的非眼镜增强值根据glass_mask中的非眼镜区域对应的掩膜值计算得到，例如，当眼镜区域对应的掩膜值为1，非眼镜区域对应的掩膜值为0，glass_weight为5时，眼镜增强值为6，眼镜增强值为1。mask_weight＝(1 glass_weight*glass_mask)(5)。
[0105]
例如，可以利用公式(6)计算得到增强非附加形象损失值以及增强附加形象损失值。其中，result表示解码面部图像，gt_img表示标准面部图像，result
‑
gt_img|表示解码面部图像与标准面部图像在像素上的差异，包括非附加形象损失值以及附加形象损失值，reconstruction_loss中包括增强非附加形象损失值以及增强附加形象损失值，reconstruction_loss中的增强非附加形象损失值，是mask_weight中的非附加形象增强值(即非眼镜增强值)与|result
‑
gt_img|中的非附加形象损失值的乘积，reconstruction_loss中的增强附加形象损失值，是mask_weight中的附加形象增强值(即眼镜增强值)与|result
‑
gt_img|中的附加形象损失值的乘积。reconstruction_loss可以称为重构损失函数。reconstruction_loss＝mask_weight*|result
‑
gt_img|(6)。
[0106]
本实施例中，利用附加形象增强值对附加形象损失值进行增强处理，得到目标模型损失值，可以实现对附加形象损失值的放大，当通过目标模型损失值对模型参数调整时，有利于对附加形象区域的增强，例如对眼镜区域的增强，能够更好的获得眼镜的保持效果，即提高解码面部图像中的附加物体与训练源面部图像中的附加物体之间的相似度。
[0107]
在一些实施例中，确定附加形象区域与解码面部图像中对应位置的图像区域之间的图像差异，作为附加形象差异包括：获取附加形象区域中的附加像素点，从解码面部图像中获取与附加像素点的位置匹配的解码像素点；计算附加像素点与解码像素点之间的像素值差异值；对附加形象区域对应的像素值差异值进行统计，得到差异统计值，将差异统计值作为附加形象差异。
[0108]
其中，附加像素点为附加形象区域中的像素点。解码像素点为解码面部图像中与附加像素点的位置匹配的像素点。像素值差异值指的是附加像素点与解码像素点在像素值上的差异。差异统计值是各个像素值差异值对应的统计值，例如加和结果或均值。
[0109]
具体地，服务器可以获取附加像素点对应的附加像素值，从解码面部图像中获取与该附加像素点位置匹配的解码像素点对应的解码像素值，计算附加像素值与解码像素值之间的差异，得到像素值差异值，将各个像素值差异值进行统计运算，例如进行加和运算或均值运算，得到差异统计值，基于差异统计值得到附加形象差异，例如可以将差异统计值作为附加形象差异，或者将差异统计值以及第一形象特征差异作为附加形象差异。
[0110]
本实施例中，对附加形象区域对应的像素值差异值进行统计，得到差异统计值，可以确定解码面部图像中的附加形象区域与对比面部图像中相应区域在像素值上的差异，将差异统计值作为附加形象差异，可以准确的反映形象上的差异，提高了附加形象差异的准确度。
[0111]
在一些实施例中，确定附加形象区域与解码面部图像中对应位置的图像区域之间的图像差异，作为附加形象差异包括：对附加形象区域进行特征提取，得到提取附加形象特征；对解码面部图像中附加形象区域对应的图像区域进行特征提取，得到解码形象特征；计算提取附加形象特征与解码形象特征之间的形象特征差异，作为第二形象特征差异；基于
第二形象特征差异得到附加形象差异。
[0112]
其中，提取附加形象特征是对附加形象区域进行特征提取所的都的特征。解码形象特征是对解码面部图像中附加形象区域进对应的图像区域进行特征提取所得到的特征。解码面部图像中附加形象区域进对应的图像区域，指的是解码面部图像中与附加形象区域的位置相匹配的区域。第二形象特征差异指的是提取附加形象特征与解码形象特征之间的差异。附加形象差异还可以包括第二形象特征差异。
[0113]
具体地，对附加形象区域进行特征提取，得到提取附加形象特征的步骤可以包括：对对比面部图像进行附加形象特征提取，得到对比面部图像对应的对比附加形象特征，将对比附加形象特征作为提取附加形象特征，提取附加形象特征可以包括源附加形象特征或标准附加形象特征中的至少一种。对解码面部图像中附加形象区域对应的图像区域进行特征提取，得到解码形象特征的步骤可以包括：将解码面部图像进行附加形象特征提取，得到解码面部图像对应的解码附加形象特征，作为解码形象特征。
[0114]
在一些实施例中，提取附加形象特征可以有多个，解码形象特征也可以有多个。例如，服务器可以将解码面部图像或匹配形象区域输入到预设神经网络模型中，利用预设神经网络模型的一个或多个特征提取层对匹配形象区域进行特征提取，得到各个特征提取层输出的解码形象特征，同样的，可以将标准面部图像或附加形象区域输入到该预设神经网络模型中，利用预设神经网络模型的一个或多个特征提取层对附加形象区域进行特征提取，得到各个特征提取层输出的提取附加形象特征。服务器可以计算同一特征提取层所输出的解码形象特征与提取附加形象特征之间的差异，将各个差异的统计值作为第二形象特征差异。其中，预设神经网络模型可以为任意的已训练的模型，可以是基于卷积神经网络的模型，例如可以是预训练好的alexnet网络模型。
[0115]
本实施例中，计算提取附加形象特征与解码形象特征之间的形象特征差异，作为第二形象特征差异，基于第二形象特征差异得到附加形象差异，从而可以使得附加形象差异准确的反映解码面部图像与对比面部图像中的附加物体在特征上的差异，提高了附加形象差异的准确度。
[0116]
在一些实施例中，基于附加形象差异得到附加形象损失值，利用附加形象增强值对附加形象损失值进行增强处理，得到目标模型损失值包括：基于附加形象差异得到附加形象损失值，利用附加形象增强值对附加形象损失值进行增强处理，得到增强附加形象损失值；获取对比面部图像对应的非附加形象区域，确定非附加形象区域与解码面部图像中对应位置的图像区域之间的图像差异，作为非附加形象差异；基于非附加形象差异得到非附加形象损失值，非附加形象损失值对应的非附加形象增强值小于附加形象增强值；根据增强附加形象损失值与非附加形象损失值得到目标模型损失值。
[0117]
其中，增强附加形象损失值是利用附加形象增强值对附加形象损失值进行增强处理得到的。非附加形象区域指的是对比面部图像中除附加图像区域外的区域。非附加形象差异指的是非附加形象区域与解码面部图像中对应位置的图像区域之间的图像差异。得到非附加形象差异的过程可以参考得到附加形象差异的相关步骤，这里不在赘述。非附加形象损失值与非附加形象差异成正相关关系。非附加形象损失值可以对应有非附加形象增强值，非附加形象增强值用于对非附加形象损失值进行增强处理。非附加形象增强值可以是预先设置的。
[0118]
具体地，服务器可以利用非附加形象增强值对非附加形象损失值进行增强处理，得到增强非附加形象损失值，基于增强附加形象损失值以及增强非附加形象损失值进行加权计算得到目标模型损失值。
[0119]
在一些实施例中，服务器可以将解码面部图像输入到预设神经网络模型中，利用预设神经网络模型中的一个或多个特征提取层对解码面部图像进行特征提取，得到各个解码面部特征，由于解码面部图像包括匹配形象区域，因此解码面部特征中包括对匹配形象区域进行特征提取得到的解码形象特征，还包括非匹配形象特征，非匹配形象特征是对匹配形象区域之外的区域进行特征提取所得到的特征。同样的，服务器可以将标准面部图像输入到预设神经网络模型中，得到各个标准面部特征，由于标准面部图像包括附加形象区域，因此标准面部特征中包括对附加形象区域进行特征提取得到的提取附加形象特征，由于标准面部图像中还包括非附加形象区域，因此标准面部特征中还包括对非附加形象区域进行特征提取得到非附加形象特征。服务器可以计算同一层特征提取层得到的非附加形象特征以及非匹配形象特征之间的差异，基于各个差异进行统计计算得到非形象特征差异，基于非形象特征差异得到非附加形象特征，非附加形象差异可以包括非形象特征差异。
[0120]
例如，可以根据公式(7)得到各个解码面部特征，根据公式(8)得到各个标准面部特征，其中，alexnet_feature(result)表示将解码面部图像result输入到alexnet网络模型中并输出result在alexnet网络模型的四个特征提取层所输出的特征，result_fea1、result_fea2、result_fea3以及result_fea4分别为四个特征提取层中的各个特征提取层所输出的解码面部图像result的解码面部特征。alexnet_feature(gt_img)表示将标准面部图像gt_img输入到alexnet网络模型中并输出gt_img在alexnet网络模型的四个特征提取层所输出的特征，gt_img_fea1、gt_img_fea2、gt_img_fea3以及gt_img_fea4分别为四个特征提取层中的各个特征提取层所输出的标准面部图像gt_img的标准面部特征。
[0121]
result_fea1,result_fea2,result_fea3,result_fea4＝alexnet_feature(result)(7)
[0122]
gt_img_fea1,gt_img_fea2,gt_img_fea3,gt_img_fea4＝alexnet_feature(gt_img)(8)
[0123]
在一些实施例中，服务器可以计算解码面部特征与标准面部特征之间的差异，得到面部特征差异，基于面部特征差异确定面部差异损失值，面部特征差异中包括第二形象特征差异以及非形象特征差异，面部差异损失值中包括基于第二形象特征差异确定的损失值以及基于非形象特征差异确定的损失值，对面部特征差异进行增强处理，可以得到增强非附加形象损失值以及增强附加形象损失值。例如，可以利用公式(9)计算得到增强非附加形象损失值以及增强附加形象损失值。其中，|result_fea1
‑
gt_img_fea1|、|result_fea2
‑
gt_img_fea2|、|result_fea3
‑
gt_img_fea3|以及|result_fea4
‑
gt_img_fea4|表示提取特征差异，lpips_loss包括增强非附加形象损失值以及增强附加形象损失值，lpips_loss可以称为lpips(learned perceptual image patch similarity)损失函数，lpips损失也可以称为感知损失(perceptual loss)，用于评估两个图像之间的差别，lpips损失越大则表示两个图像之间的差别越大，lpips损失越小则表示两个图像之间的差别越小，lpips损失函数是在特征级别上的损失函数，可以比较两张图像的差异性。
[0124][0125]
本实施例中，根据增强附加形象损失值与非附加形象损失值得到目标模型损失值，可以使得目标模型损失值中即包括附加形象区域得到的损失值，又可以包括非附加形象区域得到的损失值，不仅可以提高面部更换后的附加物体所在的区域的效果，还可以提高附加物体之外的区域的效果，从而提高了面部更换效果。
[0126]
在一些实施例中，基于附加形象差异得到目标模型损失值包括：基于附加形象差异得到附加形象损失值；对解码面部图像进行身份特征提取，得到解码面部图像对应的目标身份特征；基于源身份特征与目标身份特征之间的身份特征差异得到身份损失值；根据附加形象损失值以及身份损失值得到目标模型损失值。
[0127]
具体地，目标身份特征是对解码面部图像进行身份特征提取所得到的身份特征。身份特征差异指的是源身份特征与目标身份特征之间的差异，身份损失值与身份特征差异成正相关关系。
[0128]
本实施例中，基于源身份特征与目标身份特征之间的身份特征差异得到身份损失值，根据附加形象损失值以及身份损失值得到目标模型损失值，可以使得解码面部图像的身份与训练源面部图像的身份保持一致，并且使得解码面部图像的附加形象与训练源面部图像的附加形象保持一致，从而提高了面部更换效果。
[0129]
在一些实施例中，对训练源面部图像进行附加形象特征提取，得到训练源面部图像对应的源附加形象特征包括：将训练源面部图像输入到已训练的附加形象特征提取网络中进行附加形象特征提取，得到训练源面部图像对应的源附加形象特征；基于目标模型损失值调整编码器以及解码器的模型参数，得到已训练的面部更换模型，以根据面部更换模型进行图像处理包括：保持附加形象特征提取网络的网络参数不变，基于目标模型损失值调整编码器以及解码器的模型参数，得到已训练的面部更换模型，以根据面部更换模型进行图像处理。
[0130]
其中，附加形象特征提取网络用于提取附加形象特征，可以是附加形象特征提取网络中的特征提取层。网络参数值指的是网络内部的变量参数，对于神经网络，网络参数可以称为权重。
[0131]
具体地，服务器可以对编码器以及解码器进行联合训练，保持已训练的附加形象特征提取网络的网络参数不变，基于目标模型损失值调整编码器以及解码器中模型参数，使得目标模型损失值不断减小，从而使得解码面部图像的身份特征与训练源面部图像的身份特征的差异减少，使得解码面部图像与训练模板面部图像的属性特征的差异减少，从而提高面部更换效果。
[0132]
本实施例中，保持附加形象特征提取网络的网络参数不变，基于目标模型损失值调整编码器以及解码器的模型参数，得到已训练的面部更换模型，以根据面部更换模型进行图像处理，提高了面部更换效果。
[0133]
在一些实施例中，得到附加形象特征提取网络的步骤包括：获取附加对象图像，附加对象图像包括附加形象特征对应的附加对象；利用附加对象图像对待训练的附加图像识
别模型进行训练，得到已训练的附加图像识别模型；从已训练的附加图像识别模型中提取图像识别层之前的特征提取层，作为附加形象特征提取网络。
[0134]
其中，附加对象图像指的是包括附加物体的图像，例如包括眼镜的图像。附加图像识别模型中可以包括特征提取层以及图像识别层，图像识别层用于根据特征提取层所提取的特征对附加对象图像进行识别，例如用于识别附加对象图像中的附加物体的类型。
[0135]
具体地，服务器可以获取待训练的附加图像识别模型，利用包括附加物体的视频片段对待训练的附加图像识别模型进行训练，得到已训练的附加图像识别模型。附加图像识别模型可以识别的附加物体的类型可以为训练时的视频片段对应的附加物体的类型。例如，服务器可以对采集得到的多个视频片段进行特定附加物体的检测，当检测到视频片段中包括该特定附加物体时，对该视频片段记性标记，得到一个或者多个具有标记信息的视频片段，多个指的是至少两个，同一附加物体可以对应有多种类别，例如，眼镜可以对应有多种类型的眼镜，例如太阳镜以及近视镜，标记信息可以是特定附加物体对应的类别信息，用于标识特定附加物体对应的类别。不同的视频片段对应的特定附加物体的类别可以是相同的，也可以是不同的，利用标记后的视频片段对待训练的附加图像识别模型进行训练，得到已训练的附加图像识别模型。附加图像识别模型可以是二分类网络或多分类网络，多指的是至少三。特定附加物体可以是任意一种附加物体。采集得到的视频片段中的对象可以是相同的，例如可以对同一人进行视频采集，得到视频片段。例如，当特定附加物体为眼镜时，服务器可以获取多个包括眼镜的视频片段，根据视频片段中眼镜的类型对视频片段进行标记，得到具有标记信息的视频片段，标记信息例如为video_1，video_2，video_3，
……
，video_n，不同的标记信息对应不同的眼镜类别，利用具有标记信息的视频片段对眼镜识别模型进行训练，得到已训练的眼镜识别模型，从眼镜识别模型中提取特征提取层，得到眼镜特征提取网络。
[0136]
在一些实施例中，在对待训练的附加图像识别模型进行训练时，服务器还可以获取不包括该特定附加物体的视频片段，作为负样本，利用负样本以及正样本对附加图像识别模型进行训练，正样本指的是包括该特定附加物体的视频片段，得到已训练的附加图像识别模型，例如利用不包括眼镜的视频频段以及包括眼镜的视频片段对眼镜特征提取网络进行训练，得到已训练的眼镜特征提取网络。
[0137]
本实施例中，从已训练的附加图像识别模型中提取图像识别层之前的特征提取层，作为附加形象特征提取网络，可以获取能够准确提取附加形象特征的网络，提高了特征提取的准确度。
[0138]
在一些实施例中，服务器可以将解码面部图像输入到判别器中，判别器用于判别解码面部图像是否属于真实图像，获取判别器的解码判别结果，解码判别结果可以包括解码判别概率，解码判别概率指的是解码面部图像属于真实图像的概率，基于解码判别概率得到生成损失值，目标模型损失值还可以与生成损失值成正相关关系，生成损失值与解码判别概率成负相关关系。例如，生成损失值可以表示为公式(10)，其中d(result)表示解码判别概率，g_loss表示生抗损失值。g_loss＝log(1
‑
d(result))(10)
[0139]
在一些实施例中，目标模型损失值可以表示为公式(11)，其中，id_loss表示身份损失值，glass_loss附加特征损失值(即眼镜损失值)，reconstruction_loss包括增强非附加形象损失值以及增强附加形象损失值，lpips_loss包括增强非附加形象损失值以及增强
附加形象损失值。g_loss表示生成损失值。
[0140]
loss＝id_loss glass_loss reconstruction_loss lpips_loss g_loss(11)
[0141]
在一些实施例中，服务器可以将标准面部图像输入到判别器中，得到标准判别结果，标准判别结果中可以包括标准判别概率，标准判别概率指的是标准面部图像属于真实图像的概率，基于标准判别概率以及解码判别概率得到判别损失值，判别损失值与标准判别概率成负相关关系，判别损失值与解码判别概率成正相关关系。服务器可以基于判别损失值调整判别器的模型参数，得到已训练的判别器，从而使得判别器能够正确判别图像是否为真实的图像。生成损失值以及判别损失值可以得到生成对抗损失值，即生成对抗损失值可以包括生成损失值以及判别损失值。
[0142]
在一些实施例中，判别器可以为多尺度判别器，服务器可以对解码面部图像进行尺度变换，得到多个尺度的解码面部图像，例如得到第一尺度的解码面部图像、第二尺度的解码面部图像以及第三尺度的解码面部图像，其中，第一尺度、第二尺度以及第三尺度可以根据需要设置，例如第一尺度可以是解码面部图像的原始尺度，第二尺度可以是第一尺度的1/2，第三尺度可以是第二尺度的1/2。同样的，可以得到第一尺度的标准面部图像、第二尺度的标准面部图像以及第三尺度的标准面部图像。服务器可以将各个尺度的解码面部图像输入到多尺度判别器中，得到各个尺度的解码面部图像对应的解码判别概率，同样的可以得到各个尺度的标准面部图像对应的标准判别概率。各个解码判别概率以及各个标准判别概率得到判别损失值。例如，判别损失值可以表示为公式(11)，其中，d(gt_img)、d(gt_img_1/2)以及d(gt_img_1/4)分别表示将原始大小的标准面部图像、1/2原始大小的标准面部图像，1/4原始大小的标准面部图像输入到多尺度判别器中得到的判别概率。d(result)、d(result_1/2)以及d(result_1/4)分别表示将原始大小的解码面部图像、1/2原始大小的解码面部图像、1/4原始大小的解码面部图像输入到判别器中得到的判别概率。标准面部图像的原始大小与解码面部图像的原始大小可以相同。
[0143][0144]
在一些实施例中，如图3所示，提供了一种图像处理方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：s302，获取目标源面部图像以及目标模板面部图像。s304，对目标源面部图像进行附加形象特征提取，得到目标源面部图像对应的目标源附加形象特征。s306，对目标源面部图像进行身份特征提取，得到目标源面部图像对应的目标身份特征。s308，将目标模板面部图像输入到已训练的面部更换模型中的编码器进行编码，得到目标面部属性特征。s310，将目标源附加形象特征、目标身份特征以及目标面部属性特征到面部更换模型中的解码器进行解码，得到面部更换图像，面部更换图像中的面部与目标源面部图像的面部匹配，面部更换图像中的属性与目标模板面部图像的属性匹配。
[0145]
其中，目标源面部图像以及目标模板面部图像为不同的对象的面部图像，例如不同人物的人脸图像。目标源附加形象特征是对目标源面部图像进行附加形象特征提取所得到的特征，目标身份特征是对目标源面部图像进行身份特征提取所得到的特征。目标面部属性特征是利用编码器对目标模板面部图像进行编码得到的属性特征。面部更换图像的身
份与目标源面部图像的身份一致。面部更换图像中的面部与目标源面部图像的面部匹配，指的是面部更换图像的身份与目标源面部图像的身份一致。面部更换图像在附加形象上与目标源面部图像保持一致。
[0146]
具体地，服务器可以将目标源附加形象特征、目标身份特征以及目标面部属性特征到面部更换模型中的解码器进行解码，以使得将目标源面部图像的面部更换至目标模板面部图像中，得到面部更换图像，并使得面部更换图像在身份以及附加形象上与目标源面部图像保持一致，在属性上与目标模板面部图像一致。
[0147]
如图4所示，目标源面部图像例如可以是图4中的人脸图像(a),目标模板面部图像例如可以是图4中的人脸图像(b),面部更换图像例如可以是图4中的人脸图像(c),人脸图像(c)是通过将人脸图像(a)中的人脸替换为人脸图像(b)中得到的，从人脸图像(c)可以看出，人脸图像(c)与人脸图像(b)的身份以及附加形象一致，即人脸图像(c)与人脸图像(b)是同一个人的人脸，并且人脸图像(c)中包括了与人脸图像(b)相同的眼镜，人脸图像(c)与人脸图像(a)的属性一致，例如从人脸图像(c)可以看出，人脸图像(c)与人脸图像(a)的发型一致，并且人脸图像(c)嘴巴张开的角度比人脸图像(b)大，从而符合了人脸图像(a)的嘴巴张开的角度。
[0148]
上述图像处理方法中，获取目标源面部图像以及目标模板面部图像，对目标源面部图像进行附加形象特征提取，得到目标源面部图像对应的目标源附加形象特征，对目标源面部图像进行身份特征提取，得到目标源面部图像对应的目标身份特征，将目标模板面部图像输入到已训练的面部更换模型中的编码器进行编码，得到目标面部属性特征，将目标源附加形象特征、目标身份特征以及目标面部属性特征到面部更换模型中的解码器进行解码，得到面部更换图像，由于面部更换图像中的面部与目标源面部图像的面部匹配，面部更换图像中的属性与目标模板面部图像的属性匹配，从而提高了面部更换图像与目标源面部图像的身份以及附加形象的一致性，并且保证面部更换图像与目标模板面部图像的属性信息的一致性，从而提高了面部更换效果。
[0149]
在一些实施例中，获取目标源面部图像以及目标模板面部图像包括：获取待替换面部的目标对象对应的目标对象图像；确定目标视频中的当前视频帧，将当前视频帧中的当前对象面部与目标对象图像中的目标对象面部进行对比；当当前对象面部与目标对象面部匹配时，从当前视频帧中分割得到匹配的目标模板面部图像，将目标对象的参考对象对应的参考面部图像作为目标源面部图像；该方法还包括：利用面部更换图像替换当前视频帧中的目标模板面部图像，得到更新后的当前视频帧。
[0150]
其中，目标对象指的是待替换面部的对象，例如当需要替换人物a中的人脸时，目标对象可以为人物a。目标对象图像指的是包括目标对象的面部区域的图像。目标视频指的是包括目标对象的视频，即目标视频中包括需要进行面部替换的对象，目标视频例如可以是需要对演员进行换脸的电影片段。当前视频帧可以是目标视频中的任一视频帧，当前对象面部指的是当前视频帧中包括的当前对象的面部区域，当前对象指的是当前视频帧中包括的对象。目标对象的参考对象指的是对目标对象进行面部替换时使用的面部所属的对象，例如当需要用人物b的人脸替换人物a的人脸时，则人物b为人物a的参考对象。参考面部图像指的是包括参考对象的面部区域的图像。
[0151]
具体地，服务器可以对当前对象面部进行身份特征提取，得到当前对象身份特征，
基于当前对象身份特征确定当前对象的身份，对目标对象面部进行身份特征提取，得到目标对象身份特征，基于目标对象身份特征确定目标对象的身份，当当前对象的身份与目标对象的身份的一致时，确定当前对象面部与目标对象面部匹配。
[0152]
在一些实施例中，当确定当前对象面部与目标对象面部匹配时，服务器可以从当前视频帧中分割得到当前对象对应的面部区域，作为目标模板面部图像，可以从包括参考对象的图像中，分割得到参考对象的面部区域得到参考面部图像，作为目标源面部图像。
[0153]
在一些实施例中，服务器可以利用面部更换图像替换当前视频帧中的目标模板面部图像，得到更新后的当前视频帧，基于各个更换后的当前视频帧，得到目标视频对应的更换后的视频，从而使得目标视频中的目标对象的面部更换为参考对象的面部，实现视频换脸。
[0154]
本实施例中，利用面部更换图像替换当前视频帧中的目标模板面部图像，得到更新后的当前视频帧，使得目标视频中的目标对象的面部更换为参考对象的面部，面部更换图像在身份以及附加形象上与目标源面部图像保持一致，在属性上与目标模板面部图像一致，故提高了视频换脸的效果。
[0155]
本技术还提供一种应用场景，该应用场景为影视制作，该应用场景应用上述的图像处理方法。具体地，该图像处理方法在该应用场景的应用如下：
[0156]
1、可以利用本技术提供的图像处理方法对待训练的人脸更换模型进行训练，得到已训练的人脸更换模型。人脸更换模型包括编码器以及解码器。
[0157]
其中，可以从拍摄的视频中获取第一人物的第一人脸图像，作为训练源人脸图像，获取第二人物的第二人脸图像，作为训练模板人脸图像，第二人物图像可以是合成的图像，也可以是真实拍摄得到的图像，从拍摄的视频中获取第一人物的第三人脸图像，作为标准人脸图像，第三人脸图像与第二人脸图像的属性一致，第三人脸图像与第一人脸图像的附加形象一致，即第三人脸图像中人脸具有的附加物体与第一人脸图像中人脸具有的附加物体一致。
[0158]
具体地，获取训练源人脸图像的源附加形象特征以及源身份特征，将训练源人脸图像以及训练模板人脸图像输入到人脸更换模型中的编码器进行编码，得到编码特征，编码特征中可以包括训练模板人脸图像对应的人脸属性特征以及训练源人脸图像的图像特征，将源附加形象特征、源身份特征以及编码特征组成的特征三元组输入到人脸更换模型中的解码器进行解码，得到解码人脸图像，获取解码人脸图像的身份特征，得到目标身份特征，获取解码人脸图像的附加形象特征，得到目标附加形象特征，基于目标身份特征与源身份特征之间的差异，得到身份损失值，基于目标附加形象特征与源附加形象特征之间的差异，得到第一附加形象损失值。从标准人脸图像中分割得到附加形象区域，从解码人脸图像中获取与附加形象区域位置匹配的区域，得到匹配形象区域，根据附加形象区域与匹配形象区域之间的像素值的差异，得到第二附加形象损失值，基于附加形象区域的特征与匹配形象区域的特征之间的差异，得到第三附加形象损失值，对第二附加形象损失值进行增强处理，得到增强的第二附加形象损失值，对第三附加形象损失值进行增强处理，得到增强的第三附加形象损失值。将解码人脸图像输入到判别器中，得到解码判别结果，根据解码判别结果得到生成损失值，将标准人脸图像输入到判别器中，得到标准判别结果，基于解码判别结果以及标准判别结果得到判别损失值。利用身份损失值、第一附加形象损失值、增强的第
二附加形象损失值、增强的第三附加形象损失值以及生成损失值调整解码器以及编码器的模型参数，得到已训练的解码器以及已训练的编码器，以及判别损失值调整判别器的模型参数，得到已训练的判别器，基于已训练的解码器以及已训练的编码器得到已训练的人脸更换模型。
[0159]
举例说明，以附加物体为眼镜为例进行说明，第一附加形象损失值例如可以是图5中的眼镜损失值，如图5所示，将训练源人脸图像输入到眼镜特征提取网络g中，得到源眼镜特征，将训练源人脸图像输入到人脸特征提取网络f中，得到源身份特征，将训练源人脸图像以及训练模板人脸图像输入到编码器e中，得到编码特征，将源眼镜特征、源身份特征以及编码特征输入到解码器d1中，得到解码人脸图像。将解码人脸图像输入到眼镜特征提取网络g中，得到目标眼镜特征，将解码人脸图像输入到人脸特征提取网络f中，得到目标身份特征，将源身份特征以及目标身份特征输入到身份损失值计算模块中，身份损失值计算模块基于自身包括的身份特征损失函数，对源身份特征以及目标身份特征进行计算，得到身份损失值，将源眼镜特征以及目标眼镜特征输入到眼镜损失值计算模块中，眼镜损失值计算模块可以基于其所包括的眼镜特征损失函数，对目标眼镜特征以及源眼镜特征进行计算，得到眼镜损失值，即得到第一附加形象损失值。
[0160]
如图6所示，利用人脸分割网络对解码人脸图像进行分割，得到匹配形象区域，即得到眼镜区域，利用人脸分割网络对标准人脸图像进行分割，得到附加形象区域，基于眼镜区域与附加形象区域之间差异得到第二附加形象损失值以及第三附加形象损失值。如图5所示，将附加形象区域以及眼镜区域输入到像素差异计算模块中，通过像素差异计算模块计算附加形象区域与眼镜区域在像素值上的差异，得到第二附加形象损失值，通过第一增强处理模块对第二附加形象损失值进行增强处理，得到增强后的第二附加形象损失值。对附加形象区域进行得到提取得到附加形象特征，对眼镜区域进行特征提取得到眼镜特征，将眼镜特征以及附加形象特征输入到特征差异计算模块中，通过特征差异计算模块计算眼镜特征与附加形象特征之间的差异，得到第三形象损失值，通过第二增强处理模块对第三附加形象损失值进行增强处理，得到增强后的第三附加形象损失值。
[0161]
如图5所示，将解码人脸图像输入到判别器d2中，得到解码判别结果，将解码判别结果输入到生成损失值计算模块中，通过生成损失值计算模块自身包括的生成损失函数对解码判别结果进行计算，得到生成损失值。如图7所示，将解码人脸图像输入到判别器d2中，得到解码判别结果，将标准人脸图像输入到判别器d2中，得到标准判别结果，如图5所示，将解码判别结果以及标准判别结果输入到判别损失值计算模块中，判别损失值计算模块利用自身包括的判别损失函数，对解码判别结果以及标准判别结果进行计算，解码判别结果可以包括解码判别概率，标准判别结果中可以包括标准判别概率，判别损失值计算模块利用自身包括的判别损失函数，对解码判别概率以及标准判别概率进行计算，得到判别损失值。
[0162]
2、获取需要进行换脸的影视视频，从影视视频中确定需要替换人脸的目标人物所在的视频帧，作为目标模板人脸图像，获取目标人物对应的参考人物对应的参考人脸图像，作为目标源人脸图像，可以利用已训练的人脸更换模型将影视视频中目标人物的人脸替换为参考人物的人脸，得到换脸后的影视视频。
[0163]
具体地，可以获取目标源人脸图像的目标身份特征以及目标源附加形象特征，将目标模板人脸图像以及目标源人脸图像输入到已训练的人脸更换模型的编码器，得到目标
编码特征，将目标编码特征、目标身份特征以及目标源附加形象特征组成的三元组输入到已训练的人脸更换模型的解码器中，得到目标模板人脸图像对应的换脸后的图像，换脸后的图像在身份以及附加形象上与目标源人脸图像一致，换脸后的图像在属性上与目标模板人脸图像一致，从而实现对影视视频中的目标人物的人脸的替换。
[0164]
本技术还另外提供一种应用场景，该应用场景为游戏人物设计，该应用场景应用上述的图像处理方法。具体地，该图像处理方法在该应用场景的应用如下：可以获取第一游戏人物对应的人脸图像，得到第一游戏人脸图像，获取第二游戏人物对应的人脸图像，得到第二游戏人脸图像，游戏人物指的是游戏设计中所设计的人物。第一游戏人物与第二游戏人物不同。利用已训练的人脸更换模型，可以将第一游戏人脸图像中的人脸替换为第二游戏人物的人脸，也可以将第二游戏人脸图像中的人脸替换为第一游戏人物的人脸。例如，可以对第一游戏人脸图像进行身份特征提取，得到第一身份特征，对第一游戏人脸图像进行附加形象特征提取，得到第一附加形象特征，将第二游戏人脸图像输入到已训练的人脸更换模型的编码器中进行编码，得到游戏人脸属性特征，将游戏人脸属性特征、第一身份特征以及第一附加形象特征组成游戏特征三元组，将游戏特征三元组输入到已训练的人脸更换模型的解码器中进行解码，得到换脸后的游戏人脸图像，换脸后的游戏人脸图像中的身份以及附加形象与第一游戏人脸图像一致，属性与第二游戏人脸图像一致，从而实现了将第二游戏人脸图像中的人脸替换为第一游戏人物的人脸。
[0165]
将已训练的人脸更换模型应用于游戏人物设计中，可以快速生成特定风格的角色，提高游戏人物设计的效率，降低游戏人物设计的成本。
[0166]
本技术提供的图像处理方法还可以应用于虚拟形象或直播的场景中，该图像处理方法在该应用场景的应用如下：可以获取当前直播人物的直播人脸图像，获取虚拟人物的虚拟人脸图像，利用已训练的人脸更换模型将直播人脸图像中的人脸替换为虚拟人物图像中的人脸，虚拟人物指的是非真实的人物，可以是人工或计算机绘制得到的。具体地，可以对虚拟人脸图像进行身份特征提取，得到虚拟身份特征，对虚拟人脸图像进行附加形象特征提取，得到虚拟形象特征，将直播人脸图像输入到已训练的人脸更换模型的编码器进行编码，得到直播人脸属性特征，将虚拟身份特征、虚拟形象特征以及直播人脸属性特征，输入到已训练的人脸更换模型的解码器进行解码，得到更换后的人脸图像，更换后的人脸图像中的人脸为虚拟人物的人脸。
[0167]
在虚拟形象中，利用已训练的人脸更换模型将真实人物的人脸替换为虚拟人物的人脸，可以保护用户的隐私。
[0168]
应该理解的是，虽然图2
‑
7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2
‑
7中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0169]
在一些实施例中，如图8所示，提供了一种图像处理装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：第一面部图像获取模块802、训练源附加形象特征得到模块804、源身份特征得到模块806、面部属性特
征得到模块808、解码面部图像得到模块810、目标模型损失值得到模块812和已训练的面部更换模型得到模块814，其中：
[0170]
第一面部图像获取模块802，用于获取训练源面部图像和训练模板面部图像。
[0171]
训练源附加形象特征得到模块804，用于对训练源面部图像进行附加形象特征提取，得到训练源面部图像对应的源附加形象特征。
[0172]
源身份特征得到模块806，用于对训练源面部图像进行身份特征提取，得到训练源面部图像对应的源身份特征。
[0173]
面部属性特征得到模块808，用于将训练模板面部图像输入到面部更换模型中的编码器进行编码，得到面部属性特征。
[0174]
解码面部图像得到模块810，用于将源附加形象特征、源身份特征以及面部属性特征输入到面部更换模型中的解码器进行解码，得到解码面部图像。
[0175]
目标模型损失值得到模块812，用于获取解码面部图像与对比面部图像之间的附加形象差异，基于附加形象差异得到目标模型损失值；目标模型损失值与附加形象差异成正相关关系；对比面部图像包括训练源面部图像或者解码面部图像对应的标准面部图像的至少一个。
[0176]
已训练的面部更换模型得到模块814，用于基于目标模型损失值调整编码器以及解码器的模型参数，得到已训练的面部更换模型，以根据面部更换模型进行图像处理。
[0177]
在一些实施例中，附加形象差异包括第一形象特征差异，目标模型损失值得到模块812包括：
[0178]
目标附加形象特征得到单元，用于对解码面部图像进行附加形象特征提取，得到解码面部图像对应的目标附加形象特征。
[0179]
第一形象特征差异得到单元，用于确定源附加形象特征与目标附加形象特征之间的形象特征差异，作为第一形象特征差异。
[0180]
第一目标模型损失值得到单元，用于基于第一形象特征差异得到目标模型损失值。
[0181]
在一些实施例中，目标模型损失值得到模块812包括：
[0182]
附加形象区域得到单元，用于对对比面部图像的附加形象进行识别，得到对比面部图像对应的附加形象区域。
[0183]
附加形象增强值得到单元，用于获取附加形象区域对应的附加形象增强值。
[0184]
附加形象差异得到单元，用于确定附加形象区域与解码面部图像中对应位置的图像区域之间的图像差异，作为附加形象差异。
[0185]
第二目标模型损失值得到单元，用于基于附加形象差异得到附加形象损失值，利用附加形象增强值对附加形象损失值进行增强处理，得到目标模型损失值。
[0186]
在一些实施例中，附加形象差异得到单元，还用于获取附加形象区域中的附加像素点，从解码面部图像中获取与附加像素点的位置匹配的解码像素点；计算附加像素点与解码像素点之间的像素值差异值；对附加形象区域对应的像素值差异值进行统计，得到差异统计值，将差异统计值作为附加形象差异。
[0187]
在一些实施例中，附加形象差异得到单元，还用于对附加形象区域进行特征提取，得到提取附加形象特征；对解码面部图像中附加形象区域对应的图像区域进行特征提取，
得到解码形象特征；计算提取附加形象特征与解码形象特征之间的形象特征差异，作为第二形象特征差异；基于第二形象特征差异得到附加形象差异。
[0188]
在一些实施例中，第二目标模型损失值得到单元，还用于基于附加形象差异得到附加形象损失值，利用附加形象增强值对附加形象损失值进行增强处理，得到增强附加形象损失值；获取对比面部图像对应的非附加形象区域，确定非附加形象区域与解码面部图像中对应位置的图像区域之间的图像差异，作为非附加形象差异；基于非附加形象差异得到非附加形象损失值，非附加形象损失值对应的非附加形象增强值小于附加形象增强值；根据增强附加形象损失值与非附加形象损失值得到目标模型损失值。
[0189]
在一些实施例中，目标模型损失值得到模块812包括：
[0190]
附加形象损失值得到单元，用于基于附加形象差异得到附加形象损失值。
[0191]
目标身份特征得到单元，用于对解码面部图像进行身份特征提取，得到解码面部图像对应的目标身份特征。
[0192]
身份损失值得到单元，用于基于源身份特征与目标身份特征之间的身份特征差异得到身份损失值。
[0193]
第三目标模型损失值得到单元，用于根据附加形象损失值以及身份损失值得到目标模型损失值。
[0194]
在一些实施例中，训练源附加形象特征得到模块804还用于将训练源面部图像输入到已训练的附加形象特征提取网络中进行附加形象特征提取，得到训练源面部图像对应的源附加形象特征；已训练的面部更换模型得到模块814还用于保持附加形象特征提取网络的网络参数不变，基于目标模型损失值调整编码器以及解码器的模型参数，得到已训练的面部更换模型，以根据面部更换模型进行图像处理。
[0195]
在一些实施例中，装置还包括附加形象特征提取网络得到模块，附加形象特征提取网络得到模块包括：
[0196]
附加对象图像得到单元，用于获取附加对象图像，附加对象图像包括附加形象特征对应的附加对象。
[0197]
训练单元，用于利用附加对象图像对待训练的附加图像识别模型进行训练，得到已训练的附加图像识别模型。
[0198]
特征提取层提取单元，用于从已训练的附加图像识别模型中提取图像识别层之前的特征提取层，作为附加形象特征提取网络。
[0199]
在一些实施例中，如图9所示，提供了一种图像处理装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：第二面部图像获取模块902、目标源附加形象特征得到模块904、目标身份特征得到模块906、目标面部属性特征得到模块908和面部更换图像得到模块910，其中：
[0200]
第二面部图像获取模块902，用于获取目标源面部图像以及目标模板面部图像。
[0201]
目标源附加形象特征得到模块904，用于对目标源面部图像进行附加形象特征提取，得到目标源面部图像对应的目标源附加形象特征。
[0202]
目标身份特征得到模块906，用于对目标源面部图像进行身份特征提取，得到目标源面部图像对应的目标身份特征。
[0203]
目标面部属性特征得到模块908，用于将目标模板面部图像输入到已训练的面部
更换模型中的编码器进行编码，得到目标面部属性特征。
[0204]
面部更换图像得到模块910，用于将目标源附加形象特征、目标身份特征以及目标面部属性特征到面部更换模型中的解码器进行解码，得到面部更换图像，面部更换图像中的面部与目标源面部图像的面部匹配，面部更换图像中的属性与目标模板面部图像的属性匹配。
[0205]
在一些实施例中，第二面部图像获取模块902包括：目标对象图像获取单元，用于获取待替换面部的目标对象对应的目标对象图像；面部对比单元，用于确定目标视频中的当前视频帧，将当前视频帧中的当前对象面部与目标对象图像中的目标对象面部进行对比；目标源面部图像得到单元，用于当当前对象面部与目标对象面部匹配时，从当前视频帧中分割得到匹配的目标模板面部图像，将目标对象的参考对象对应的参考面部图像作为目标源面部图像；装置还用于利用面部更换图像替换当前视频帧中的目标模板面部图像，得到更新后的当前视频帧。
[0206]
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0207]
在一些实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像处理方法所涉及的相关数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。
[0208]
本领域技术人员可以理解，图10中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0209]
在一些实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
[0210]
在一些实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0211]
在一些实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。
[0212]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read
‑
only memory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。
[0213]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0214]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。