基于隐码编辑的发型属性迁移方法及系统

技术特征：
1.一种基于隐码编辑的发型属性迁移方法，其特征在于，包括以下步骤：步骤s1：将输入的包含发型和/或发色的图像转换到stylegan的隐空间，得到输入图像的隐码c
rec
；步骤s2：根据输入图像的语义分割图编辑隐码c
rec
，获取对齐输入图像语义分割图的隐码c
align
；步骤s3：通过对齐的隐码c
align
和语义分割图融合得到目标隐码c
blend
；步骤s4：调用生成模型，将目标隐码c
blend
重建得到目标图像；所述隐码c
rec
＝(code_f,code_s)；其中f隐码通过将w 隐码的前8维输入到stylegan生成器的前三层中，得到1
×
32
×
32
×
512的code_f，用于控制发型的形状属性，剩余的1
×
10
×
512维w 隐码为code_s，用于控制发型的颜色属性。2.根据权利要求1所述的基于隐码编辑的发型属性迁移方法，其特征在于，在步骤s1中，将输入图像转移到stylegan的隐空间，得到输入图像的隐码c
rec
，使用预先训练好的图像编码器将指定图像映射到隐空间上，得到1
×
18
×
512维的w 隐码，每一张输入图像对应一组1
×
18
×
512维的w 隐码；w 隐码到fs隐码的转换是在得到fs隐码初始值(f_init,s_init)后，对fs隐码反向迭代若干轮数后，得到与输入图像更近似的隐码；通过感知图像块相似度lpips和最终的f隐码与f_init的l2范数作为fs隐码的局部最优解；式中，c表示隐码，l
lpips
为感知图像块相似度；式中f表示当前f隐码，表示初始化的f隐码，k为图像的序号；使用的图像编码器具体为基于ffhq人脸数据集预先训练编码器网络，采用styleganv2作生成器。3.根据权利要求1所述的基于隐码编辑的发型属性迁移方法，其特征在于：在步骤s1中，对于发型发色迁移任务，输入的图像包括：源图像i1，发型参考图像i2，发色参考图像i3；对于发型或发色迁移任务，输入的图像包括：源图像i1，发型或发色参考图像i2。4.根据权利要求1所述的基于隐码编辑的发型属性迁移方法，其特征在于：在步骤s2中，所述图像语义分割图通过将输入图像输入到人脸图像语义分割模型bisenet获得，对于每一张输入图像生成一张语义分割图像，输出为人像图像掩码m1，发型参考图像掩码m2；通过人像语义分割后的掩码重新组合得到目标图像掩码m，m的人脸和背景对应m1,、头发形状对应m2。5.根据权利要求4所述的基于隐码编辑的发型属性迁移方法，其特征在于：对于所述掩码重新组合针对由于每一张人脸图像的朝向、头型的不同，出现的错位、空洞情况问题，通过膨胀操作将发型或人脸掩码膨胀，直到填充上空洞或错位。6.根据权利要求1所述的基于隐码编辑的发型属性迁移方法，其特征在于，所述获取对
齐输入图像语义分割图的隐码c
align
，目的是优化各k为图像的序号；，使对齐后的隐码生成的图像中的特定区域与目标掩码m的特定区域保持空间和形状上的一致。7.根据权利要6所述的基于隐码编辑的发型属性迁移方法，其特征在于：对齐方法具体为：对每一个隐码c
align
加入随机噪声，通过生成器网络重建图像，重建的图像输入到语义分割模型bisenet，为了使生成的对应语义部分与目标图像语义部分的误差最小，通过反算迭代的方式优化误差。8.根据权利要求1所述的基于隐码编辑的发型属性迁移方法，其特征在于：在步骤s3中，通过对齐的隐码c
align
和目标语义分割图m融合得到目标隐码c
blend
，根据对齐后的隐码叠加后得到用于重建含有人像图像身份特征和发型参考图像发型特征的隐码c
blend
。9.根据权利要求1所述的基于隐码编辑的发型属性迁移方法，其特征在于，在步骤s4中，调用生成模型，将目标隐码c
blend
重建得到目标图像，通过预先训练好的stylegan生成器模型，将c
blend
输入到stylegan中，重建含有人像图像身份特征和发型参考图像发型特征的目标图像i
align
；c
blend
有两部分，分别是f_blend,s_blend，其中，s_blend作为模型的直接输入，在第一层输入到stylegan中，f_blend在第三层时再输入到stylegan，与stylegan第二层的输出一起作为第三层的输入隐码。10.一种基于隐码编辑的发型属性迁移系统，其特征在于：根据权利要求1-9其中任一所述的基于隐码编辑的发型属性迁移方法；包含三种发型属性迁移模式：发色迁移，发型迁移，以及发型与发色迁移；对于发型与发色迁移模式，需要输入人脸图像、发型参考图像和发色参考图像，得到包含人脸图像身份特征、发型参考图像发型特征以及发色参考图像发色特征的目标图像；对于发型或发色迁移模式，需要输入人脸图像、发型参考图像或发色参考图像，得到目标图像。

技术总结
本发明提出一种基于隐码编辑的发型属性迁移方法及系统，包括以下步骤：步骤S1：将输入的包含发型和/或发色的图像转换到StyleGAN的隐空间，得到输入图像的隐码；步骤S2：根据输入图像的语义分割图编辑隐码，获取对齐输入图像语义分割图的隐码；步骤S3：通过对齐的隐码和语义分割图融合得到目标隐码；步骤S4：调用生成模型，将目标隐码重建得到目标图像。将目标隐码重建得到目标图像。将目标隐码重建得到目标图像。


技术研发人员：徐艺文 林擎旭 何念 郑宇翔
受保护的技术使用者：福州大学至诚学院
技术研发日：2022.10.31
技术公布日：2023/1/31