基于隐码编辑的发型属性迁移方法及系统

1.本发明属于图像处理技术领域，尤其涉及一种基于隐码编辑的发型属性迁移方法及系统。


背景技术：

2.图像视频数据的爆炸式增长及网络的便利使得人们在发型设计领域的个性化需求也越来越高。发型作为人脸属性的重要因素之一，在一定程度上影响了人们的整体气质。形态各异的发型能够轻易表征出一个人的年齡、性别、社会阶层、文化层次、时尚爱好等信息，是人物个性化造型的重要组成部分。同一个人物搭配上不同的发型会给旁观者带来视觉上不同的体验，影响到人们的气质。发型风格迁移作为人脸属性迁移的众多分支之一，由于难以获取成对数据集用于训练、应用场景特殊等原因，相比其他属性迁移发展较慢，尚未有一成熟的算法用于大部分场景下的发型风格迁移。


技术实现要素：

3.针对现有技术存在的缺陷和不足，本发明的目的在于提供一种基于隐码编辑的发型属性迁移方法及系统，通过隐码编辑的方式，实现一种自动化发型属性迁移。
4.其迁移方法包括以下步骤：步骤s1：将输入的包含发型和/或发色的图像转换到styl egan的隐空间，得到输入图像的隐码c
rec
；步骤s2：根据输入图像的语义分割图编辑隐码c
rec
，获取对齐输入图像语义分割图的隐码c
align
；步骤s3：通过对齐的隐码c
align
和语义分割图融合得到目标隐码c
blend
；步骤s4：调用生成模型，将目标隐码c
blend
重建得到目标图像。
5.基于此开发的系统主要包含三种发型属性迁移模式：发色迁移，发型迁移，发型与发色迁移。基于该系统，用户可以自由选择需要的发型属性迁移模式，对于发型与发色迁移模式，用户仅需要输入人脸图像、发型参考图像、发色参考图像，即可得到包含人脸图像身份特征、发型参考图像发型特征、发色参考图像发色特征的目标图像；对于发型或发色迁移模式，用户仅需要输入人脸图像、发型参考图像(发色参考图像)，即可得到目标图像。
6.本发明解决其技术问题采用的技术方案是：
7.一种基于隐码编辑的发型属性迁移方法，其特征在于，包括以下步骤：
8.步骤s1：将输入的包含发型和/或发色的图像转换到stylegan的隐空间，得到输入图像的隐码c
rec
；
9.步骤s2：根据输入图像的语义分割图编辑隐码c
rec
，获取对齐输入图像语义分割图的隐码c
align
；
10.步骤s3：通过对齐的隐码c
align
和语义分割图融合得到目标隐码c
blend
；
11.步骤s4：调用生成模型，将目标隐码c
blend
重建得到目标图像；
12.所述隐码c
rec
＝(code_f,code_s)；其中f隐码通过将w 隐码的前8维输入到stylegan生成器的前三层中，得到1
×
32
×
32
×
512的code_f，用于控制发型的形状属性，剩余的1
×
10
×
512维w 隐码为code_s，用于控制发型的颜色属性。
13.进一步地，在步骤s1中，将输入图像转移到stylegan的隐空间，得到输入图像的隐码c
rec
，使用预先训练好的图像编码器将指定图像映射到隐空间上，得到1
×
18
×
512维的w 隐码，每一张输入图像对应一组1
×
18
×
512维的w 隐码；
14.w 隐码到fs隐码的转换是在得到fs隐码初始值(f_init,s_init)后，对fs隐码反向迭代若干轮数后，得到与输入图像更近似的隐码；
15.通过感知图像块相似度lpips和最终的f隐码与f_init的l2范数作为fs隐码的局部最优解；
[0016][0017]
式中，c表示隐码，l
lpips
为感知图像块相似度；
[0018][0019]
式中f表示当前f隐码，表示初始化的f隐码，k为图像的序号；
[0020]
使用的图像编码器具体为基于ffhq人脸数据集预先训练编码器网络，采用styleganv2作生成器。
[0021]
进一步地，在步骤s1中，对于发型发色迁移任务，输入的图像包括：源图像i1，发型参考图像i2，发色参考图像i3；对于发型或发色迁移任务，输入的图像包括：源图像i1，发型或发色参考图像i2。
[0022]
进一步地，在步骤s2中，所述图像语义分割图通过将输入图像输入到人脸图像语义分割模型bisenet获得，对于每一张输入图像生成一张语义分割图像，输出为人像图像掩码m1，发型参考图像掩码m2；
[0023]
通过人像语义分割后的掩码重新组合得到目标图像掩码m，m的人脸和背景对应m1,、头发形状对应m2。
[0024]
进一步地，对于所述掩码重新组合针对由于每一张人脸图像的朝向、头型的不同，出现的错位、空洞情况问题，通过膨胀操作将发型或人脸掩码膨胀，直到填充上空洞或错位。
[0025]
进一步地，所述获取对齐输入图像语义分割图的隐码c
align
，目的是优化各k为图像的序号；，使对齐后的隐码生成的图像中的特定区域与目标掩码m的特定区域保持空间和形状上的一致。
[0026]
进一步地，对齐方法具体为：对每一个隐码c
align
加入随机噪声，通过生成器网络重建图像，重建的图像输入到语义分割模型bisenet，为了使生成的对应语义部分与目标图像语义部分的误差最小，通过反算迭代的方式优化误差。
[0027]
进一步地，在步骤s3中，通过对齐的隐码c
align
和目标语义分割图m融合得到目标隐码c
blend
，根据对齐后的隐码叠加后得到用于重建含有人像图像身份特征和发型参考图像发型特征的隐码c
blend
。
[0028]
进一步地，在步骤s4中，调用生成模型，将目标隐码c
blend
重建得到目标图像，通过预先训练好的stylegan生成器模型，将c
blend
输入到stylegan中，重建含有人像图像身份特征和发型参考图像发型特征的目标图像i
align
；
[0029]cblend
有两部分，分别是f_blend,s_blend，其中，s_blend作为模型的直接输入，在第一层输入到stylegan中，f_blend在第三层时再输入到stylegan，与stylegan第二层的输出一起作为第三层的输入隐码。
[0030]
以及，一种基于隐码编辑的发型属性迁移系统，根据以上所述的基于隐码编辑的发型属性迁移方法；包含三种发型属性迁移模式：发色迁移，发型迁移，以及发型与发色迁移；对于发型与发色迁移模式，需要输入人脸图像、发型参考图像和发色参考图像，得到包含人脸图像身份特征、发型参考图像发型特征以及发色参考图像发色特征的目标图像；对于发型或发色迁移模式，需要输入人脸图像、发型参考图像或发色参考图像，得到目标图像。
[0031]
与现有技术相比，本发明及其优选方案的主要设计点和优势包括：
[0032]
1、在目前基于w 隐码重建输入图像的基础上，衍生出fs隐码，将发型的形状属性与颜色属性进一步解耦，更有利于发型属性迁移任务；
[0033]
2、在隐码获取方式上采用编码器与反向迭代的混合方法，基于编码器的方法得到的隐码往往比反向迭代的lpips更高，通过迭代的方法又需要大量计算，耗费时间，因此本发明提出混合方法，节省时间效率的同时得到最优隐码。
附图说明
[0034]
下面结合附图和具体实施方式对本发明进一步详细的说明：
[0035]
图1为本发明实施例的方法流程示意图。
[0036]
图2为本发明实施例stylegan生成器示意图与fs隐码示意图。
[0037]
图3为本发明实施例的语义分割图合成示意图。
[0038]
图4为本发明实施例的发型属性迁移示意图。
具体实施方式
[0039]
为让本专利的特征和优点能更明显易懂，下文特举实施例，作详细说明如下：
[0040]
应该指出，以下详细说明都是例示性的，旨在对本技术提供进一步的说明。除非另有指明，本说明书使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
[0041]
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0042]
如图1-图4所示，本实施例提供了一种基于隐码编辑的发型属性迁移方法及系统，具体包括以下步骤：
[0043]
s1、将输入的图像转换到stylegan的隐空间，得到输入图像的隐码c
rec
；
[0044]
s2、根据输入图像的语义分割图编辑隐码c
rec
，获取对齐输入图像语义分割图的隐码c
align
；
[0045]
s3、通过对齐的隐码c
align
和语义分割图融合得到目标隐码c
blend
；
[0046]
s4、调用生成模型，将目标隐码c
blend
重建得到目标图像。
[0047]
进一步地，在步骤s1中，转换输入图像到隐空间的步骤具体为：使用预先训练好的图像编码器将指定图像映射到隐空间上，得到图像的隐码c
rec
；
[0048]
隐码c
rec
定义为一组输入到生成器stylegan中可以近乎无失真的重建输入图像的编码；
[0049]
在本实施例中，隐码c
rec
＝(code_f,code_s)；其具体为本实施例在w 隐码基础上提出fs隐码，其中f隐码通过将w 隐码的前8维输入到stylegan生成器的前三层中，得到1
×
32
×
32
×
512的code_f控制发型的形状属性，剩余的1
×
10
×
512维w 隐码为code_s，控制发型的颜色属性，以实现更好的属性解耦。
[0050][0051]
x和x0分别表示源图像和重建图像，与表示通过l个vgg块中提取的源图像特征与重建图像特征，h
l
与w
l
为图像通道数，h,w表示当前通道，w
l
为当前通道的权重值。
[0052]
考虑w 隐码到fs隐码的转换不能通过简单的计算得到，需要在得到fs隐码初始值(f_init,s_init)后，对fs隐码反向迭代一定轮数后，得到与输入图像更近似的隐码；
[0053]
作为优选，本实施例通过250轮迭代得到最优fs隐码。
[0054]
进一步的，本实施例通过感知图像块相似度lpips和最终的f隐码与f_init的l2范数作为fs隐码的局部最优解；
[0055][0056]
式中，c表示隐码，l
lpips
为感知图像块相似度，是一种基于人类相似性判断的感知损失，因此非常适合用于面部重建。
[0057][0058]
式中f表示当前f隐码，表示初始化的f隐码，k为当前图像的序号。
[0059]
对于不同模式下的发型属性迁移，所需要映射到隐空间的图像不同，对于发型发色迁移任务，需要反算输入的源图像i1，发型参考图像i2，发色参考图像i3；对于发型(发色)迁移任务，需要反算输入的源图像i1，发型(发色)参考图像i2。
[0060]
在本实施例中，使用的图像编码器具体为：基于ffhq人脸数据集预先训练编码器网络，网络采用styleganv2作生成器，对于每一张输入图像，生成一组1
×
512维的w隐码后与一组1
×
18
×
512的w 隐码残差，将w隐码重复18次后与残差叠加得到最终的w 隐码。
[0061]
作为优选，在本实施例方案中，图像编码器为预先训练好的完整模型，后续算法步骤中不再对编码器做优化。
[0062]
进一步地，根据输入图像的语义分割图编辑隐码c
rec
，获取对齐输入图像语义分割图的隐码c
align
，具体步骤为：通过预先训练好的人脸语义分割模型bisenet对输入图像语义分割，得到每张图像的语义掩码图m，输入的源图像掩码为m1，发型参考图像掩码为m2。
[0063]
进一步地，通过人像语义分割后的掩码重新组合得到目标图像掩码m，m的人脸和背景对应m1、头发形状对应m2；
[0064]
理想状况下只需要将分别对应人脸、头发的部分提取出来合成到同一张掩码上就
能得到新的掩码，但是由于每一张人脸图像的朝向、头型的不同，会出现很多错位、空洞情况。
[0065]
为了解决这个问题，本实施例通过stylegan填充空洞，将发型与人脸对应的掩码部分膨胀填充，在微调发型或人脸的情况下填充孔洞。
[0066]
在步骤s2中，获取对齐输入图像语义分割图的隐码c
align
，目的是优化使对齐后的隐码生成的图像中的特定区域与目标掩码m的特定区域保持空间和形状上的一致，比如生成的图像中，背景和人脸的掩码必须与目标掩码中人脸和背景的掩码保持一致；
[0067]
该步骤通过反向迭代的方法进行优化，对于每一个隐码，本实施例对隐码的不同维度叠加噪声，通过stylegan重建图像，再通过语义分割模型bisenet分割图像，优化叠加噪声后的图像语义分割图和原语义分割图，得到对齐的隐码c
align
；
[0068]
该步骤本实施例迭代100轮；
[0069]
在步骤s3中，通过对齐的隐码c
align
和语义分割图融合得到目标隐码c
blend
，具体步骤为：基于对齐后的隐码提取对应的编码迭代得到目标隐码c
blend
；
[0070]
目标隐码c
blend
输入到stylegan中重建的图像通过语义分割模型bisenet得到语义图，应该与步骤s2得到的语义分割图误差最小；
[0071]
本实施例对目标隐码c
blend
反向优化200轮得到误差最小的目标隐码c
blend
。
[0072]
在步骤s4中，调用生成模型，将目标隐码c
blend
重建得到目标图像，具体步骤为将目标隐码c
blend
输入到stylegan，重建图像。
[0073]
考虑本实施例当中的c
blend
有两部分，分别是f_blend,s_blend，其中，s_blend作为模型的直接输入，在第一层输入到stylegan中，f_blend在第三层时再输入到stylegan，与stylegan第二层的输出一起作为第三层的输入隐码。
[0074]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0075]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0076]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0077]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0078]
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
[0079]
本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的基于隐码编辑的发型属性迁移方法及系统，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。