图像处理方法、装置、计算机设备和存储介质与流程

技术特征：
1.一种图像处理方法，其特征在于，所述方法包括：获取训练源面部图像和训练模板面部图像；对所述训练源面部图像进行附加形象特征提取，得到所述训练源面部图像对应的源附加形象特征；对所述训练源面部图像进行身份特征提取，得到所述训练源面部图像对应的源身份特征；将所述训练模板面部图像输入到面部更换模型中的编码器进行编码，得到面部属性特征；将所述源附加形象特征、源身份特征以及所述面部属性特征输入到所述面部更换模型中的解码器进行解码，得到解码面部图像；获取所述解码面部图像与对比面部图像之间的附加形象差异，基于所述附加形象差异得到目标模型损失值；所述目标模型损失值与所述附加形象差异成正相关关系；所述对比面部图像包括所述训练源面部图像或者所述解码面部图像对应的标准面部图像的至少一个；基于所述目标模型损失值调整所述编码器以及所述解码器的模型参数，得到已训练的面部更换模型，以根据所述面部更换模型进行图像处理。2.根据权利要求1所述的方法，其特征在于，所述附加形象差异包括第一形象特征差异，所述获取所述解码面部图像与对比面部图像之间的附加形象差异，基于所述附加形象差异得到目标模型损失值包括：对所述解码面部图像进行附加形象特征提取，得到所述解码面部图像对应的目标附加形象特征；确定所述源附加形象特征与所述目标附加形象特征之间的形象特征差异，作为所述第一形象特征差异；基于所述第一形象特征差异得到目标模型损失值。3.根据权利要求1所述的方法，其特征在于，所述获取所述解码面部图像与对比面部图像之间的附加形象差异，基于所述附加形象差异得到目标模型损失值包括：对所述对比面部图像的附加形象进行识别，得到所述对比面部图像对应的附加形象区域；获取所述附加形象区域对应的附加形象增强值；确定所述附加形象区域与所述解码面部图像中对应位置的图像区域之间的图像差异，作为附加形象差异；基于所述附加形象差异得到附加形象损失值，利用所述附加形象增强值对所述附加形象损失值进行增强处理，得到目标模型损失值。4.根据权利要求3所述的方法，其特征在于，所述确定所述附加形象区域与所述解码面部图像中对应位置的图像区域之间的图像差异，作为附加形象差异包括：获取所述附加形象区域中的附加像素点，从所述解码面部图像中获取与附加像素点的位置匹配的解码像素点；计算所述附加像素点与所述解码像素点之间的像素值差异值；对所述附加形象区域对应的像素值差异值进行统计，得到差异统计值，将所述差异统
计值作为所述附加形象差异。5.根据权利要求3所述的方法，其特征在于，所述确定所述附加形象区域与所述解码面部图像中对应位置的图像区域之间的图像差异，作为附加形象差异包括：对所述附加形象区域进行特征提取，得到提取附加形象特征；对所述解码面部图像中所述附加形象区域对应的图像区域进行特征提取，得到解码形象特征；计算所述提取附加形象特征与所述解码形象特征之间的形象特征差异，作为第二形象特征差异；基于所述第二形象特征差异得到所述附加形象差异。6.根据权利要求3所述的方法，其特征在于，所述基于所述附加形象差异得到附加形象损失值，利用所述附加形象增强值对所述附加形象损失值进行增强处理，得到目标模型损失值包括：基于所述附加形象差异得到附加形象损失值，利用所述附加形象增强值对所述附加形象损失值进行增强处理，得到增强附加形象损失值；获取所述对比面部图像对应的非附加形象区域，确定所述非附加形象区域与所述解码面部图像中对应位置的图像区域之间的图像差异，作为非附加形象差异；基于所述非附加形象差异得到非附加形象损失值，所述非附加形象损失值对应的非附加形象增强值小于所述附加形象增强值；根据所述增强附加形象损失值与所述非附加形象损失值得到目标模型损失值。7.根据权利要求1所述的方法，其特征在于，所述基于所述附加形象差异得到目标模型损失值包括：基于所述附加形象差异得到附加形象损失值；对所述解码面部图像进行身份特征提取，得到所述解码面部图像对应的目标身份特征；基于所述源身份特征与所述目标身份特征之间的身份特征差异得到身份损失值；根据所述附加形象损失值以及所述身份损失值得到目标模型损失值。8.根据权利要求1所述的方法，其特征在于，所述对所述训练源面部图像进行附加形象特征提取，得到所述训练源面部图像对应的源附加形象特征包括：将所述训练源面部图像输入到已训练的附加形象特征提取网络中进行附加形象特征提取，得到所述训练源面部图像对应的源附加形象特征；所述基于所述目标模型损失值调整所述编码器以及所述解码器的模型参数，得到已训练的面部更换模型，以根据所述面部更换模型进行图像处理包括：保持所述附加形象特征提取网络的网络参数不变，基于所述目标模型损失值调整所述编码器以及所述解码器的模型参数，得到已训练的面部更换模型，以根据所述面部更换模型进行图像处理。9.根据权利要求8所述的方法，其特征在于，得到附加形象特征提取网络的步骤包括：获取附加对象图像，所述附加对象图像包括所述附加形象特征对应的附加对象；利用所述附加对象图像对待训练的附加图像识别模型进行训练，得到已训练的附加图像识别模型；
从所述已训练的附加图像识别模型中提取图像识别层之前的特征提取层，作为所述附加形象特征提取网络。10.一种图像处理方法，其特征在于，所述方法包括：获取目标源面部图像以及目标模板面部图像；对所述目标源面部图像进行附加形象特征提取，得到所述目标源面部图像对应的目标源附加形象特征；对所述目标源面部图像进行身份特征提取，得到所述目标源面部图像对应的目标身份特征；将所述目标模板面部图像输入到已训练的面部更换模型中的编码器进行编码，得到目标面部属性特征；将所述目标源附加形象特征、所述目标身份特征以及所述目标面部属性特征到所述面部更换模型中的解码器进行解码，得到面部更换图像，所述面部更换图像中的面部与所述目标源面部图像的面部匹配，所述面部更换图像中的属性与所述目标模板面部图像的属性匹配。11.根据权利要求10所述的方法，其特征在于，所述获取目标源面部图像以及目标模板面部图像包括：获取待替换面部的目标对象对应的目标对象图像；确定目标视频中的当前视频帧，将所述当前视频帧中的当前对象面部与所述目标对象图像中的目标对象面部进行对比；当当前对象面部与所述目标对象面部匹配时，从当前视频帧中分割得到匹配的目标模板面部图像，将所述目标对象的参考对象对应的参考面部图像作为目标源面部图像；所述方法还包括：利用所述面部更换图像替换当前视频帧中的目标模板面部图像，得到更新后的当前视频帧。12.一种图像处理装置，其特征在于，所述装置包括：第一面部图像获取模块，用于获取训练源面部图像和训练模板面部图像；训练源附加形象特征得到模块，用于对所述训练源面部图像进行附加形象特征提取，得到所述训练源面部图像对应的源附加形象特征；源身份特征得到模块，用于对所述训练源面部图像进行身份特征提取，得到所述训练源面部图像对应的源身份特征；面部属性特征得到模块，用于将所述训练模板面部图像输入到面部更换模型中的编码器进行编码，得到面部属性特征；解码面部图像得到模块，用于将所述源附加形象特征、源身份特征以及所述面部属性特征输入到所述面部更换模型中的解码器进行解码，得到解码面部图像；目标模型损失值得到模块，用于获取所述解码面部图像与对比面部图像之间的附加形象差异，基于所述附加形象差异得到目标模型损失值；所述目标模型损失值与所述附加形象差异成正相关关系；所述对比面部图像包括所述训练源面部图像或者所述解码面部图像对应的标准面部图像的至少一个；已训练的面部更换模型得到模块，用于基于所述目标模型损失值调整所述编码器以及
所述解码器的模型参数，得到已训练的面部更换模型，以根据所述面部更换模型进行图像处理。13.一种图像处理装置，其特征在于，所述装置包括：第二面部图像获取模块，用于获取目标源面部图像以及目标模板面部图像；目标源附加形象特征得到模块，用于对所述目标源面部图像进行附加形象特征提取，得到所述目标源面部图像对应的目标源附加形象特征；目标身份特征得到模块，用于对所述目标源面部图像进行身份特征提取，得到所述目标源面部图像对应的目标身份特征；目标面部属性特征得到模块，用于将所述目标模板面部图像输入到已训练的面部更换模型中的编码器进行编码，得到目标面部属性特征；面部更换图像得到模块，用于将所述目标源附加形象特征、所述目标身份特征以及所述目标面部属性特征到所述面部更换模型中的解码器进行解码，得到面部更换图像，所述面部更换图像中的面部与所述目标源面部图像的面部匹配，所述面部更换图像中的属性与所述目标模板面部图像的属性匹配。14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。15.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。

技术总结
本申请涉及一种图像处理方法、装置、计算机设备和存储介质。该方法包括：对训练源面部图像进行附加形象特征提取得到源附加形象特征；对训练源面部图像进行身份特征提取得到源身份特征；将训练模板面部图像输入到面部更换模型的编码器得到面部属性特征；将源附加形象特征、源身份特征以及面部属性特征输入到面部更换模型的解码器得到解码面部图像；基于解码面部图像与对比面部图像之间的附加形象差异得到目标模型损失值；基于目标模型损失值调整编码器以及解码器的模型参数，得到已训练的面部更换模型。采用本方法能够提高面部更换效果。本申请中的图像处理方法可以是基于人工智能的，本方案应用于视频换脸领域中，可以提高换脸效果。换脸效果。换脸效果。


技术研发人员：贺珂珂 朱俊伟 倪辉 曹赟 陈旭 邰颖 汪铖杰 李季檩 黄飞跃
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：2021.02.26
技术公布日：2021/11/25