一种多媒体换脸方法及装置

技术特征：
1.一种多媒体换脸方法，其特征在于，包括：利用基于金子塔结构的编码器对提供身份的图像和提供属性的图像进行编码，得到身份信息与属性信息；利用多尺度自适应身份映射网络将身份信息与属性信息组合成一个新的潜在编码；基于所述新的潜在编码以及预先训练的生成器得到生成图像；将所述生成图像与所述提供属性的图像分别用所述编码器进行编码，得到了高层次潜在编码、中间层次潜在编码和低层次潜在编码；根据各个部分的潜在编码所具有的特征，交换所述生成图像与所述提供属性的图像的低层次潜在编码，再利用所述生成器进行解码，得到了二次编解码后的生成图像。2.根据权利要求1所述的方法，其特征在于，所述利用基于金子塔结构的编码器对提供身份的图像和提供属性的图像进行编码，得到身份信息与属性信息，包括：利用基于金子塔结构的编码器对提供身份的图像和提供属性的图像进行编码，得到对应的潜在空间的潜在编码，其中，潜在空间指的是具有语义编辑能力的特征空间，潜在编码是位于上述特征空间内的一个向量；将得到的潜在特征输入到线性映射网络中得到身份信息与属性信息，使得身份信息与属性信息表示的特征对应值符合stylegan的潜在空间。3.根据权利要求1所述的方法，其特征在于，还包括：将所述提供属性的图像和所述二次编解码后的生成图像由rgb域转换至ycrcb域；对各个通道进行直方图匹配，提供属性的图像的各个通道直方图为参考值；利用预训练好的人脸解析的模型对所述提供属性的图像和所述生成图像进行前后景分离，得到分割蒙版；在此基础上，将得到的初步的分割蒙版加一层高斯模糊，作为后续训练过渡边缘带的初始值；将所述提供属性的图像和所述生成图像与得到的加权值作为输入到融合网络的输入值；将分割边缘的梯度值最小化以及融合网络输出值与所述提供属性的图像之间的直方图分布差异最小化作为该网络的优化方向；当网络训练稳定后，输出最终的换脸结果。4.一种多媒体换脸装置，其特征在于，包括：第一编码模块，用于利用基于金子塔结构的编码器对提供身份的图像和提供属性的图像进行编码，得到身份信息与属性信息；合成模块，用于利用多尺度自适应身份映射网络将身份信息与属性信息组合成一个新的潜在编码；生成模块，用于基于所述新的潜在编码以及预先训练的生成器得到生成图像；第二编码模块，用于将所述生成图像与所述提供属性的图像分别用所述编码器进行编码，得到了高层次潜在编码、中间层次潜在编码和低层次潜在编码；交换模块，用于根据各个部分的潜在编码所具有的特征，交换所述生成图像与所述提供属性的图像的低层次潜在编码，再利用所述生成器进行解码，得到了二次编解码后的生成图像。5.根据权利要求4所述的装置，其特征在于，所述第一编码模块具体用于：利用基于金子塔结构的编码器对提供身份的图像和提供属性的图像进行编码，得到对应的潜在空间的潜在编码，其中，潜在空间指的是具有语义编辑能力的特征空间，潜在编码
是位于上述特征空间内的一个向量；将得到的潜在特征输入到线性映射网络中得到身份信息与属性信息，使得身份信息与属性信息表示的特征对应值符合stylegan的潜在空间。6.根据权利要求4所述的装置，其特征在于，还包括后处理模块，用于：将所述提供属性的图像和所述二次编解码后的生成图像由rgb域转换至ycrcb域；对各个通道进行直方图匹配，提供属性的图像的各个通道直方图为参考值；利用预训练好的人脸解析的模型对所述提供属性的图像和所述生成图像进行前后景分离，得到分割蒙版；在此基础上，将得到的初步的分割蒙版加一层高斯模糊，作为后续训练过渡边缘带的初始值；将所述提供属性的图像和所述生成图像与得到的加权值作为输入到融合网络的输入值；将分割边缘的梯度值最小化以及融合网络输出值与所述提供属性的图像之间的直方图分布差异最小化作为该网络的优化方向；当网络训练稳定后，输出最终的换脸结果。

技术总结
本申请提供一种多媒体换脸方法及装置。涉及计算机视觉技术领域。利用基于金子塔结构的编码器对提供身份的图像和提供属性的图像进行编码，得到身份信息与属性信息；利用多尺度自适应身份映射网络将身份信息与属性信息组合成一个新的潜在编码；基于所述新的潜在编码以及预先训练的生成器得到生成图像；将所述生成图像与所述提供属性的图像分别用所述编码器进行编码，得到了高层次潜在编码、中间层次潜在编码和低层次潜在编码；根据各个部分的潜在编码所具有的特征，交换所述生成图像与所述提供属性的图像的低层次潜在编码，再利用所述生成器进行解码，得到了二次编解码后的生成图像。以增加换脸之后结果的真实性以及增强对面部条件的泛化性。部条件的泛化性。部条件的泛化性。


技术研发人员：朱勇 肖帅 兰贵鹏
受保护的技术使用者：天津大学
技术研发日：2022.11.30
技术公布日：2022/12/30