一种联合流形约束和FB-GAN的人脸变形方法和系统与流程

一种联合流形约束和fb-gan的人脸变形方法和系统
技术领域
1.本发明属于人脸图像变形技术领域，具体涉及一种联合流形约束和fb-gan的人脸变形方法和系统。


背景技术：

2.图像变形的目标是将目标变形成为所需要的形状和姿态，通常是基于一组用户控制的不同手柄来实现，其中控制手柄一般包括点、线或者是多边形网格。scheafer等人提出了一种基于特征点构建的移动最小二乘(moving least squares，mls)的刚性图像变形算法，该算法通过线性函数(如刚性变换)构建变形函数，基于mls的刚性变形算法使得变形“尽可能地刚性”，能较好的保持目标的全局形态和局部细节。该算法能较好的适用于刚性物体变形(如改变人体运动姿态)，但是针对连贯运动地非刚性目标(如舞动的烛火、呼吸的肺部等)，“尽可能地刚性”地变形原则表现出局限性。由于径向基函数构造的空间具有较强的逼近能力，它不仅可以近似由各向异性问题产生的函数，而且表示形式和计算也相对简单。其中高斯函数和薄板样条函数是图像变形算法中估计空间变形函数的常用选择。ma等人提出了一种基于移动正则最小二乘的数学模型，利用高斯核函数构建再生核希尔伯特空间并在其中定义变形函数，实现矢量场插值，从而得到真实、平滑的图像变形模型。zhou等人利用薄板样条核函数在移动正则化最小二乘估计模型下估算变形向量场，该算法是目前较为先进的非刚性图像变形算法之一。本发明提出基于特征点引导的移动流形正则最小二乘模型(m2rls-tps-fg)，同时考虑图像中的特征控制点和变形控制点，通过流行正则项确保变形过程总能更好的保持源图像中的细节。
3.以上的变形算法适用于对图像中现存的部分进行所需的变形，但是不适用于无中生有变形。例如，在人脸变形过程中，正常情况下的人脸中嘴巴闭合，当嘴部张开时应生成牙齿，但是现有的图像变形算法无法实现牙齿的从无到有。
4.图像拼接是指裁剪源图像(通常是对象)的某个区域，并将其放置在目标图像的指定位置，目标是将拼接合成图像转换为与目标图像具备空间一致性和颜色一致性的图像，使其尽可能的自然。
5.alpha blending是根据给定的alpha融合向量值来融合源图像和目标图像的像素值。该方法首先将源图像像素和目标图像根据rgb颜色通道分解为三个分量，之后将源图像和目标图像的三个颜色分量分别与alpha值和负alpha值相乘，将该结果按对应颜色分量相加再除以alpha的最大值，便可得到一张融合图像。虽然，alpha融合比直接复制粘贴的效果要好很多，但是源图像和目标图像的内容都存在于同一区域而导致产生重影效果。
6.人类的视觉系统对图像的边缘等梯度突变的区域非常敏感，基于此，大量工作在梯度域中实现图像融合，使得融合图像中产生平滑过渡的边界。最早的工作possion image editing提出通过约束源图像和目标图像的梯度一致性来重建目标图像中融合区域的像素，该方法是传统拼接融合中最流行的图像拼接融合方法，首先根据合成图像的梯度生成梯度矢量场，然后通过泊松方程从梯度矢量场中的信息计算重建拼接区域中的各个像素，
使得拼接区域的边界处有较小的梯度差。但是这种方法生成的图像往往会包含各种伪影而显得不真实，而且传统的基于梯度的算法通常是基于人的先验知识。


技术实现要素：

7.本发明要解决的技术问题是：提供一种联合流形约束和fb-gan的人脸变形方法和系统，用于在人脸变形过程中生成高分辨率的人脸图像。
8.本发明为解决上述技术问题所采取的技术方案为：一种联合流形约束和fb-gan的人脸变形方法，包括以下步骤：
9.s0：搭建系统，包括依次连接的图像拼接模块、人脸融合网络fb-gan、人脸变形模型；向图像拼接模块输入源图像和目标图像；
10.s1：图像拼接模块剪切目标图像中的张开嘴巴部分并覆盖至源图像的闭合嘴巴部分，得到拼接图像并替换源图像；
11.s2：人脸融合网络fb-gan通过颜色直方图约束、梯度约束、感知损失约束处理拼接图像，得到与拼接图像语义一致的高分辨率的融合图像作为人脸变形的过渡图像，用于消除拼接区域的边界问题和肤色差异问题；
12.s3：人脸变形模型通过特征引导的移动流行正则最小二乘模型m2rls-tps-fg将融合图像的人脸形状转换为目标图像的人脸形状。
13.按上述方案，所述的步骤s1中，具体步骤为：设目标图像x
target
、源图像x
source
、掩码x
mask
；掩码x
mask
是通过标注得到的；目标图像x
target
是嘴巴张开的变形目标图像；源图像x
source
是嘴巴闭合的源图像；*表示对应像素的乘积，则拼接图像x
composite
为：
14.x
composite
＝x
target
*x
mask
x
source
*(1-x
mask
)。
15.进一步的，所述的步骤s2中，设人脸融合网络的生成器为g(
·
)，则融合图像x
blend
为：
16.x
blend
＝g(x
composite
)。
17.进一步的，所述的步骤s2中，设对抗损失函数l
adv
、目标内容损失函数l
content
、感知损失函数l
perceptual
、梯度损失函数l
gradient
、颜色直方图损失函数l
histogram
，设λ
adv
、λ
content
、λ
perceptual
、λ
gradient
、λ
hisogram
分别对应表示上述各个损失函数的权重，则人脸融合网络的损失函数lg为：
18.lg＝λ
adv
l
adv
λ
content
l
content
λ
perceptual
l
perceptual
λ
gradient
l
gradient
λ
hisogram
l
histogram
。
19.进一步的，所述的步骤s2中，
20.设人脸融合网络的鉴别器为d(
·
)，则对抗损失l
adv
为：
21.l
adv
＝maxe
x∈χ
[d(x
blend
)-d(x
source
)]，
[0022]
通过优化对抗损失，生成器g(x)趋向于生成鉴别器d(x)难辨真假的高分辨率的融合图像x
blend
；
[0023]
设由目标图像x
target
的人脸特征点获取的嘴唇部分的二进制掩码为x
target_lip
，||.||表示范数，设：
[0024]
l
content_lip
＝||x
blend
*x
targe_lip-x
target
*x
targe_lip
||，
[0025]
用于确保高分辨率的融合图像x
blend
的嘴部区域与目标图像x
target
的嘴部区域的结构信息一致；设：
[0026]
l
content_face
＝
[0027]
||x
blend
*(1-x
targe_lip
)-x
source
*(1-x
targe_lip
)||，
[0028]
用于确保高分辨率的融合图像x
blend
中除嘴部的区域和源图像x
source
中除嘴部的区域的结构信息一致；则目标内容损失l
content
为：
[0029]
l
content
＝l
content_face
l
content_lip
；
[0030]
设用于获取全局特征的函数为为vgg-16的conv4-1层特征，则感知损失l
perceptual
为：
[0031][0032]
设表示提取梯度，通过soble算子卷积获得，则梯度损失l
gradient
为：
[0033][0034]
设hm(
·
)表示颜色直方图匹配，则颜色直方图损失l
histogram
为：
[0035][0036]
进一步的，所述的步骤s3中，具体步骤为：
[0037]
s31：构建控制点提取模块，分别提取融合图像x
blend
和目标图像x
target
上的特征点，对应得到融合人脸特征图x
b_feature
和目标人脸特征图x
t_feature
，并将特征图中的特征点作为变形控制点；
[0038]
s32：将融合人脸特征图x
b_feature
的特征点作为变形起点，将目标人脸特征图x
t_feature
的特征点作为变形终点，使用基于特征点引导的移动流行正则最小二乘模型m2rls-tps-fg进行变形得到最终的变形图像x
deformed
。
[0039]
进一步的，所述的步骤s3中，移动流行正则最小二乘模型m2rls-tps-fg将tps核构建的变形函数置于再生核希尔伯特空间中用于求解封闭解；根据tps核的性质，给定一张人脸图像x，令为取自源图像和目标图像中的对应变形控制点对集合，其中来自源图像，来自目标图像；令为来自源图像的sift特征控制点(m＞＞n)；由径向基函数定义tps核k，对二维图像上的任意一点p得到：
[0040]
k(p，pi)＝||p-pi||2log(||p-pi||)，
[0041]
设ci是大小为(d 1)的列向量；a是尺寸为3
×
3的矩阵；是u对应的齐次坐标；则将二维人脸图像中任意一点u分为全局仿射变换函数fu(u)和局部弯曲函数gu(u)为：
[0042][0043][0044]
设wi(p)＝||u-pi||-2α
表示权重系数；设φ1表示光滑正则项，用于确保变形结果的
光滑性；设φ2表示流形正则项，用于确保变形过程中保留更多源图像中的内蕴结构信息；设λ1用于控制变形复杂度，λ2用于控制图像的内蕴几何结构；则最小化移动流行正则最小二乘模型m2rls-tps-fg的误差泛函，估算变形函数为：
[0045][0046]
一种联合流形约束和fb-gan的人脸变形系统，其特征在于：包括依次连接的图像拼接模块、人脸融合网络、人脸变形模型；图像拼接模块用于剪切目标图像中的张开嘴巴部分并覆盖至源图像的闭合嘴巴部分，得到拼接图像并替换源图像；人脸融合网络用于通过颜色直方图约束、梯度约束、感知损失约束处理拼接图像，得到与拼接图像语义一致的高分辨率的融合图像；人脸变形模型用于通过特征引导的移动流行正则最小二乘模型将拼接图像的人脸形状转换为目标图像的人脸形状。
[0047]
进一步的，人脸融合网络采用网络架构包括生成器和鉴别器的生成对抗网络；生成器的网络架构包括卷积块、残差块、反卷积块，卷积核均为4*4卷积，采用编码器和解码器的形式，编码器和解码器之间通过跳跃连接用于保留图像细节特征；鉴别器的网络架构包括卷积块，在除第一层卷积和最后一层卷积外的每一层卷积后采用批归一化bn和leaky relu函数，第一层采用卷积层和leaky relu函数，最后一层采用卷积层；每一个卷积层的卷积核均为4*4，第一层到第三层的卷积步长为2，第四层和第五层的卷积步长为1。
[0048]
一种计算机存储介质，其内存储有可被计算机处理器执行的计算机程序，该计算机程序执行一种联合流形约束和fb-gan的人脸变形方法。
[0049]
本发明的有益效果为：
[0050]
1.本发明的一种联合流形约束和fb-gan的人脸变形方法和系统，通过使用生成对抗神经网络设计出端到端的人脸图像拼接对抗网络fb-gan，实现了在人脸变形过程中生成高分辨率的人脸图像的功能。
[0051]
2.本发明通过人脸变形算法生成高分辨率的人脸图像，解决了传统变形中人脸嘴巴从闭合到张开所导致的嘴巴“扭曲”或“空洞”问题。
[0052]
3.本发明解决了人脸拼接问题中的颜色差异较大而导致的拼接效果较差的问题，提高了人脸生成图像的真实性。
附图说明
[0053]
图1是本发明实施例的流程图。
[0054]
图2是本发明实施例的生成对抗网络的生成器结构示意图。
[0055]
图3是本发明实施例的生成对抗网络的鉴别器结构示意图。
[0056]
图4是本发明实施例的生成对抗网络的整体框架示意图。
[0057]
图5是本发明实施例的人脸拼接测试结果比较图。
[0058]
图6是本发明实施例的人脸变形测试结果比较图。
具体实施方式
[0059]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对
本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0060]
本发明的实施例包括图像拼接模块、人脸融合网络、人脸变形模型；图像拼接模块用于将目标人脸图像中张开的嘴巴部分剪贴至源人脸图像上，以替换源人脸图像中闭合的嘴巴；人脸融合网络用于通过颜色直方图约束、梯度约束、感知损失约束，得到与拼接图像语义一致的高分辨率融合图像；人脸变形模型用于通过特征引导的移动流行正则最小二乘模型将融合人脸图像转换到目标人脸的形状。
[0061]
参见图1，本发明的联合流形约束和fb-gan的人脸变形方法，包括以下步骤：
[0062]
s1：构建图像拼接模块，将目标人脸图像中张开的嘴巴部分剪贴至源人脸图像上，以替换源人脸图像中闭合的嘴巴，得到拼接图像；
[0063]
给出一张目标图像x
target
、源图像x
source
、掩码x
mask
，其中掩码x
mask
是使用labelme标注得到的，目标图像x
target
表示变形目标图像，并且提供张开的嘴巴部分，源图像x
source
是闭合的嘴巴图像；用*表示对应像素的乘积，根据如下公式计算得到拼接图像x
composite
：
[0064]
x
composite
＝x
target
*x
mask
x
source
*(1-x
mask
)。
[0065]
在本发明的实施例中，使用stylegan2生成的高分辨率人脸图像作为训练集和测试集，其中包括2000对图像作为训练数据集，100对图像作为测试集；数据集中图像大小为400
×
400像素。
[0066]
s2：构建人脸融合网络，设人脸融合网络的生成器为g，通过颜色直方图约束、梯度约束、感知损失约束得到与拼接图像语义一致的高分辨率的融合图像x
blend
为：
[0067]
x
blend
＝g(x
composite
)，
[0068]
参见图4，整个生成对抗网络的网络架构由一个生成器和一个鉴别器组成。
[0069]
如图2所示，本发明在实施过程中，生成器的网络包括卷积块(conv block)，残差块(residual block)以及反卷积块(deconv block)，卷积核均为4*4卷积，大致结构是由编码器和解码器的形式，并且编码器和解码器之间通过跳跃连接的方式来保留更多的细节特征。
[0070]
如图3所示，本发明在实施过程种，鉴别器的网络是由卷积块(conv block)构成，在除了第一层和最后一层之外，每一层卷积之后都应用了批归一化(batch normalization，bn)和leaky relu，而第一层采用卷积层和leaky relu，最后一层仅采用卷积层。网络中的每一个卷积层的卷积核均为4*4，第一层到第三层的卷积步长为2，第四层和第五层的卷积步长为1。
[0071]
整个网络的损失函数lg表示为：
[0072]
lg＝λ
adv
l
adv
λ
content
l
content
λ
perceptual
l
perceptual
λ
gradient
l
gradient
λ
hisogram
l
histogram
，
[0073]
总损失是由对抗损失l
adv
、目标内容损失l
content
、感知损失l
perceptual
、梯度损失l
gradient
和颜色直方图损失l
histogram
构成，其中λ
adv
、λ
content
、λ
perceptual
、λ
gradient
和λ
hisogram
分别对应表示各个损失函数的权重。
[0074]
设鉴别器为d(
·
)，则对抗损失l
adv
表示为：
[0075]
l
adv
＝maxe
x∈χ
[d(x
blend
)-d(x
source
)]，
[0076]
通过优化对抗损失，生成器g(x)趋向于生成鉴别器真假难辨的结果图像即高分辨
率的融合图像x
blend
。
[0077]
目标内容损失l
content
表示为：
[0078]
l
content
＝l
content_face
l
content_lip
，
[0079]
其中，
[0080]
l
content_face
＝
[0081]
||x
blend
*(1-x
target_lip
)-x
source
*(1-x
target_lip
)||，
[0082]
以确保生成人脸图像x
blend
中除去嘴部区域和源图像x
source
中除去嘴部区域结构信息一致；
[0083]
l
content_lip
＝||x
blend
*x
targe_lip-x
target
*x
targe_lip
||，
[0084]
用于确保生成人脸图像x
blend
的嘴部区域与目标图像的嘴部区域在结构信息一致。其中||.||表示一范数，x
target_lip
是由人脸的68个特征点获取的嘴唇部分的掩码。
[0085]
感知损失l
perceptual
表示为：
[0086][0087]
其中函数用于获取全局特征，为vgg-16的conv4-1层特征，x
target_lip
表示目标图像嘴唇部分的二进制掩码。
[0088]
梯度损失l
gradient
表示为：
[0089][0090]
其中表示提取梯度，本文中梯度通过soble算子卷积获得。
[0091]
设hm(
·
)表示颜色直方图匹配，则颜色直方图损失l
histogram
表示为：
[0092][0093]
在本发明实施例中，训练100个epoch，其中batchsize为1。
[0094]
s3：构建人脸变形模型，通过特征引导的移动流行正则最小二乘模型m2rls-tps-fg将融合人脸图像转换到目标人脸的形状；
[0095]
移动流行正则最小二乘模型m2rls-tps-fg将tps核构建的变形函数置于再生核希尔伯特空间中，求解其封闭解。对于二维人脸图像中任意一点u，根据tps的性质，可将其分为全局仿射变换和局部弯曲函数，具体形式为：
[0096][0097][0098]
其中a是尺寸为3
×
3的矩阵；是u对应的齐次坐标；ci是大小为(d 1)的列向量，tps核k由径向基函数定义：
[0099]
k(p，pi)＝||p-pi||2log(||p-pi||)；
[0100]
最小化m2rls-tps-fg模型的误差泛函，估算变形函数：
[0101][0102]
其中wi(p)＝||u-pi||-2α
表示权重系数；φ1表示光滑正则项，确保变形结果的光滑性；φ2表示流形正则项，确保变形过程中能保留更多源图中的内蕴结构信息；λ1和λ2分别控制变形复杂度和图像的内蕴几何结构。
[0103]
变形任务的整体框架如图4所示，首先根据公式：
[0104]
x
composite
＝x
target
*x
mask
x
source
*(1-x
mask
)
[0105]
计算得到拼接图像x
composite
，其中*代表对应像素的乘积。接下来为了消除拼接图像x
composite
中拼接区域的边界问题和肤色差异问题，采用本文所提出的fb-gan获取融合图像x
blend
作为人脸变形的过渡图像。其中fb-gan是通过优化梯度损失来解决边界问题，约束颜色直方图损失调节肤色的一致性以及感知损失优化图像细节。至此，算法的第一步结束。
[0106]
获取到融合图像之后，提取融合图像x
blend
的人脸特征图x
b_feature
和目标图像x
target
的人脸特征图x
t_feature
。构建控制点提取模块，分别提取拼接的人脸图像和目标人脸图像上的68个特征点，将特征图中的68个特征标记点视为变形控制点，将拼接人脸的特征点作为变形起点，将目标人脸的68个特征点作为变形终点，使用基于特征点引导的移动流行正则最小二乘法(m2rls-tps-fg)进行变形即可得到最终的变形图像x
deformed
。
[0107]
在本发明的实施例中，变形算法中涉及六个参数：参数α决定每个控制点的权重；参数λ
11
和λ
12
控制流形正则项；参数λ2控制光滑正则项；参数∈构建图拉普拉斯矩阵，计算图中各边的权重；参数t决定用于稀疏逼近的点的数量。所有的参数设置如下：α＝1，λ
11
＝0.0015，λ
12
＝0.15，λ2＝1000，∈＝0.05，t＝15。
[0108]
为证明本文所提人脸融合网络的有效性，通过将本文提出的fb-gan与传统方法中最常用的poisson image editing(pb)做对比，实验结果如图5所示。图5从左到右每一列分别表示拼接图像(图5(a))，pb结果(图5(b))，fb-gan融合结果(图5(c))。可以看到“复制粘贴”产生的结果有明显的人为边界，poisson image editing能够产生平滑的边界，但是对没有保证肤色的一致性。相比之下，可以看到本文提出的fb-gan可以产生一致的肤色，且图像自然真实。
[0109]
图6展示了人脸变形的实验结果。从左到右每列分别表示人脸源图像(图6(a))，变形目标人脸图像(b)，拼接合成图像(c)，pb融合结果(d)，fb-gan融合结果(e)，m2rls-tps-fg变形结果(f)，pb m2rls-tps-fg变形结果(g)及fb-gan m2rls-tps-fg变形结果(h)。
[0110]
为展示本文提出两步策略的有效性，采用仅使用m2rls-tps-fg算法的变形结果以及pb m2rls-tps-fg的结果作为对比实验。由拼接合成图6(c)可以观察到其嘴部有明显的颜色差异，有明显的伪造痕迹，pb融合的图像虽然对该问题有明显的改进，但是当颜色差异较大时同样可以观察到有较为明显的边界如图6(d)所示，而相比较fb-gan模型生成的融合图像真实自然，如图6(e)所示。这两组实验的对比说明本文提出的fb-gan能将人脸拼接合成图转换为高质量的人脸图像，且该图像具备和拼接合成图相同的人脸结构。
[0111]
观察图6(f)可知，仅通过传统变形算法m2rls-tps-fg生成的人脸轮廓线条光滑自然，但部分嘴部变形结果表现出明显的“扭曲”或“空洞”，存在部分嘴部虽表现正常但无牙齿导致和目标图像不一致的错误。
[0112]
观察图6(f)，图6(g)与图6(h)可以看到，pb m2rls-tps-fg和fb-gan m2rls-tps-fg均可以使得变形后的嘴部和目标图像的嘴部结构保持一致，且人脸轮廓光滑自然，但是相比而言，本文所提出的fb-gan m2rls-tps-fg在保证结构相似的同时使得嘴巴周围肤色相对协调。对比图6(f)，图6(g)和图6(h)，表明本文提出的基于两步策略的变形方法的有效性；且两组结果图仅在嘴部变形结果表现出差异，同时表明前期工作中提出的m2rls-tps-fg算法十分稳定。
[0113]
需要指出，根据实施的需要，可将本技术中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。
[0114]
以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。