基于生成对抗网络的妆容迁移方法

技术特征：
1.一种基于生成对抗网络的妆容迁移方法，其特征在于所述方法包括如下步骤：步骤一、人脸分割将rgb三通道彩色人脸参考图像输入到人脸分割模块中，得到人脸语义分割灰度图；步骤二、uv映射分别将人脸源图像、人脸参考图像及人脸参考图像对应的人脸语义分割灰度图输入到uv映射模块中，将图片的位置信息和纹理信息分离开来，得到对应的uv位置贴图s和uv纹理贴图t；步骤三、妆容提取根据步骤二得到的人脸参考图像对应的uv纹理贴图和人脸参考图像的人脸语义分割灰度图对应的uv纹理贴图按位相与，提取出眼妆、唇妆和底妆三部分的妆容；步骤四、颜色转移步骤四一、构建颜色转移分支生成器所述颜色转移分支生成器包括编码器1、编码器2、第一瓶颈层、第二瓶颈层、妆容迁移模块、解码器；步骤四二、将步骤三中得到的眼妆、唇妆和底妆三部分妆容分别输入到编码器2中提取各部分妆容的样式特征，得到妆容的样式编码；步骤四三、将步骤二中得到的源图像对应的uv纹理贴图输入到编码器1、第一瓶颈层中提取其中的人脸身份特征；步骤四四、利用妆容迁移模块将步骤四二得到的妆容的样式编码融合到人脸身份特征中，再由解码器解码得到将参考妆容迁移到源图像中的uv纹理贴图；步骤五、uv逆映射将步骤四中得到的妆容迁移后的uv纹理贴图沿着步骤二中得到的源图像的uv位置贴图进行映射，将其还原为真实的二维图像，此图像即为妆容迁移的结果图像。2.根据权利要求1所述的基于生成对抗网络的妆容迁移方法，其特征在于所述步骤一中，人脸分割模块将人脸分割为背景、脸部、鼻子、眼镜、左眼、右眼、左眉、右眉、左耳、右耳、嘴部、上嘴唇、下嘴唇、头发、帽子、耳环、项链、颈部、衣物，人脸语义分割灰度图不同大小的灰度值标记不同的部位。3.根据权利要求1所述的基于生成对抗网络的妆容迁移方法，其特征在于所述编码器1和编码器2均由两个卷积块构成，卷积块包括卷积层、实例归一化和relu激活函数；第一瓶颈层由三个残差块构成，残差块由卷积层、实例归一化、relu激活函数、卷积层、实例归一化串联而成；所述妆容迁移模块引入stylegan的编码机制，由映射模块和多层感知机组成，映射模块由池化层和1
×
1的卷积层构成，最终将输入的特征映射为一维的编码z，再经过多层感知机将其映射到解纠缠的编码空间，得到解纠缠的编码w，此编码将作为第二瓶颈层的参数使用；所述第二瓶颈层由三个带adain的残差块构成，带adain的残差块由卷积层、adain自适应实例归一化、relu激活函数、卷积层、adain自适应实例归一化串联而成；所述解码器由两个上采样卷积块构成，上采样卷积块由上采样、卷积、层归一化和relu激活函数构成。4.一种基于生成对抗网络的妆容迁移方法，其特征在于所述方法包括如下步骤：步骤一、人脸分割将rgb三通道彩色人脸参考图像输入到人脸分割模块中，得到人脸语义分割灰度图；
步骤二、uv映射分别将人脸源图像、人脸参考图像及人脸参考图像对应的人脸语义分割灰度图输入到uv映射模块中，将图片的位置信息和纹理信息分离开来，得到对应的uv位置贴图和uv纹理贴图；步骤三、妆容提取根据步骤二得到的人脸参考图像对应的uv纹理贴图和人脸参考图像的人脸语义分割灰度图对应的uv纹理贴图按位相与，提取出眼妆、唇妆和底妆三部分的妆容；步骤四、颜色转移步骤四一、构建颜色转移分支生成器所述颜色转移分支生成器包括编码器1、编码器2、第一瓶颈层、第二瓶颈层、妆容迁移模块、解码器；步骤四二、将步骤三中得到的眼妆、唇妆和底妆三部分妆容分别输入到编码器2中提取各部分妆容的样式特征，得到妆容的样式编码；步骤四三、将步骤二中得到的源图像对应的uv纹理贴图输入到编码器1、第一瓶颈层中提取其中的人脸身份特征；步骤四四、利用妆容迁移模块将步骤四二得到的妆容的样式编码融合到人脸身份特征中，再由解码器解码得到将参考妆容迁移到源图像中的uv纹理贴图；步骤五、图案转移步骤五一、将步骤二中得到的参考图像对应的uv纹理贴图输入到图案转移分支的图案分割网络中，得到图案妆容对应的人脸语义分割灰度图；步骤五二、将步骤五一中得到的图案妆容对应的人脸语义分割灰度图与参考图像的uv纹理贴图按位相与，提取出图案类妆容；步骤五三、将步骤五一中得到的图案妆容对应的人脸语义分割灰度图取反后与步骤四中得到的妆容迁移后的uv纹理贴图按位相与，再与步骤五二中得到的图案类妆容按位相加，得到完整的妆容迁移后的uv纹理贴图；步骤六、uv逆映射将步骤五中得到的妆容迁移后的uv纹理贴图沿着步骤二中得到的源图像的uv位置贴图进行映射，将其还原为真实的二维图像，此图像即为妆容迁移的结果图像。5.根据权利要求4所述的基于生成对抗网络的妆容迁移方法，其特征在于所述步骤一中，人脸分割模块将人脸分割为背景、脸部、鼻子、眼镜、左眼、右眼、左眉、右眉、左耳、右耳、嘴部、上嘴唇、下嘴唇、头发、帽子、耳环、项链、颈部、衣物，人脸语义分割灰度图不同大小的灰度值标记不同的部位。6.根据权利要求4所述的基于生成对抗网络的妆容迁移方法，其特征在于所述编码器1和编码器2均由两个卷积块构成，卷积块包括卷积层、实例归一化和relu激活函数；第一瓶颈层由三个残差块构成，残差块由卷积层、实例归一化、relu激活函数、卷积层、实例归一化串联而成；所述妆容迁移模块引入stylegan的编码机制，由映射模块和多层感知机组成，映射模块由池化层和1
×
1的卷积层构成，最终将输入的特征映射为一维的编码z，再经过多层感知机将其映射到解纠缠的编码空间，得到解纠缠的编码w，此编码将作为第二瓶颈层的参数使用；所述第二瓶颈层由三个带adain的残差块构成，带adain的残差块由卷积层、adain
自适应实例归一化、relu激活函数、卷积层、adain自适应实例归一化串联而成；所述解码器由两个上采样卷积块构成，上采样卷积块由上采样、卷积、层归一化和relu激活函数构成。

技术总结
本发明公开了一种基于生成对抗网络的妆容迁移方法，所述方法包括如下步骤：步骤一、人脸分割；步骤二、UV映射；步骤三、妆容提取；步骤四、颜色转移；步骤五、图案转移；步骤六、UV逆映射。本发明不仅能够在源图像和参考图像姿态差异较大时取得更好的妆容迁移效果，还能够实现多张参考图像的局部妆容组合转移以及单张参考图像的局部妆容单独转移和图案类极端妆容的迁移，给用户提升了妆容迁移的可控性、灵活性和图像姿态的鲁棒性，更适合实际应用场景。更适合实际应用场景。更适合实际应用场景。


技术研发人员：吴爱国 程诗文 谢锦洋
受保护的技术使用者：哈尔滨工业大学（深圳）
技术研发日：2022.08.15
技术公布日：2022/11/15