卷积神经网络的卸妆方法、装置、设备及可读存储介质与流程

1.本发明涉及人体皮肤技术领域，具体而言，涉及卷积神经网络的卸妆方法、装置、设备及可读存储介质。


背景技术：

2.对带妆图像进行上妆操作会出现妆容叠加问题，导致妆容过重。另外，带妆图像改变了脸部特征，对一些人脸验证系统识别造成了一定困难。因此，处理图像前，往往需要先做卸妆操作，获得干净的素颜图，从而更好的进行上妆，识别。
3.现有的卸妆方法，往往通过调整曲线对图像滤波的方式，调整了像素的饱和度、亮度等，模拟出不同部位的卸妆效果，但是不同肤色的卸妆效果差异过大，尤其是卸妆后妆容发绿发白，甚至一些图片的细节丢失。


技术实现要素：

4.本发明的目的在于提供一种卷积神经网络的卸妆方法、装置、设备及可读存储介质，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：
5.第一方面，本技术提供了一种卷积神经网络的卸妆方法，包括：
6.获取至少两组带妆图像；
7.对所述带妆图像进行预处理，得到所述带妆图像的预处理结果；
8.基于网络u-net，将所述预处理结果输入至所述网络u-net中，得出输出结果；
9.根据所述输出结果和预设的监督图的损失调整网络参数，经过训练和学习，得到卸妆模型。
10.优选地，所述对所述图像数据进行预处理，得到预处理结果，其中包括：
11.将至少两组所述带妆图像输入至rgb通道，得到输入图；
12.随机选取所述输入图和预设的目标图进行图像增强，所述图像增强包括对所述输入图和预设的目标图进行裁剪、平移和左右翻转的操作。
13.优选地，所述基于网络u-net，将所述预处理结果输入至所述网络u-net中；得出输出结果，其中包括：
14.选用所述网络u-net，所述网络u-net包括身份信息编辑器、妆容信息编码器、图像生成器以及图像判别器；所述妆容信息编码器和图像生成器构成了图像生成模块；所述的身份信息编码器由多层卷积层组成，接收到输入的目标图像后使用卷积层对目标图像中的身份信息进行特征提取，最终输出目标图像的身份信息编码；所述的妆容信息编码器使用多层的卷积层和池化层组成，接收到输入的目标图像和参考图像后使用卷积层对对图像中的人脸的妆容信息进行提取，最后使用池化层压缩输出的特征信息，输出对应的目标图像妆容信息编码和参考图像妆容信息编码；所述的图像生成器为图像解码器，接收身份信息编码和妆容信息编码，使用卷积层对二者进行融合，并对图像上采样，最终输出新图像；所述的新图像包括带有参考图像妆容和目标图像中人脸身份的带妆图像和目标图像的重建
图像；
15.提取所述带妆图像中的颜色和边缘特征，并对所述带妆图像中的颜色和边缘特征进行修复，得到修复后的结果进行输出，记作输出结果。
16.优选地，所述根据所述输出结果和预设的监督图的损失调整网络参数，经过训练和学习，其中包括：
17.计算所述输出结果在hsv通道上的loss，其中，对所述带妆图像进行归一化处理，得到所述归一化结果，将所述归一化结果进行卷积神经网络处理；
18.设置权重，使用adam优化方法，进行多次迭代，确定各个所述带妆图像的权重；
19.迭代收敛后的所述带妆图像组成图像数据库；
20.基于预设的监督图的损失调整网络参数和所述图像数据库，进行训练和学习。
21.第二方面，本技术还提供了一种卷积神经网络的卸妆装置，包括：
22.获取模块：用于获取至少两组带妆图像；
23.预处理模块：用于对所述带妆图像进行预处理，得到所述带妆图像的预处理结果；
24.输出模块：用于基于网络u-net，将所述预处理结果输入至所述网络u-net中，得出输出结果；
25.获得模块：用于根据所述输出结果和预设的监督图的损失调整网络参数，经过训练和学习，得到卸妆模型。
26.第三方面，本技术还提供了一种卷积神经网络的卸妆设备，包括：
27.存储器，用于存储计算机程序；
28.处理器，用于执行所述计算机程序时实现所述卷积神经网络的卸妆方法的步骤。
29.第四方面，本技术还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于卷积神经网络的卸妆方法的步骤。
30.本发明的有益效果为：
31.本发明利用卷积神经网络对物体的特征提取和识别能力，通过训练，学习出特征的变换映射，从而祛除人脸上的妆容。我们对干净的素颜图进行了多套不同妆容的上妆操作，得到了大量的带妆-素颜图数据对，训练前先加载预训练权重，使模型具有较好的初始化参数。训练时随机抽取不同妆容下的带妆图并进行预处理做为模型输入，根据模型输出与素颜监督图的损失调整网络参数，得到最后的卸妆模型。
32.本发明引进了不同人脸部位的hsv通道的loss，可以较好的针对不同部位做强化处理，保证卸妆后的素颜图色泽过度平滑；通过预训练模型，使网络对物体具备一定的识别能力，提高特征提取能力。利用mask妆容移植，增加了样本妆容的多样性，使得网络有比较好的卸妆效果和较好的鲁棒性。
33.本发明基于深度学习方法最大程度卸除图像上的妆容信息，同时保持五官特征；相比于传统卸妆方法，可以区分原图上的妆容信息与原始人脸特征信息，实现卸妆，针对不同肤色或重妆图像都具有更好的细节处理和卸妆效果。
34.本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
35.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
36.图1为本发明实施例中所述的卷积神经网络的卸妆方法流程示意图；
37.图2为本发明实施例中所述的卷积神经网络的卸妆装置结构示意图；
38.图3为本发明实施例中所述的卷积神经网络的卸妆设备结构示意图。
39.图中:701、获取模块；702、预处理模块；7021、输入单元；7022、第一选取单元；703、输出模块；7031、第二选取单元；7032、提取单元；704、获得模块；7041、计算单元；7042、优化单元；7043、迭代单元；7044、训练单元；800、卷积神经网络的卸妆设备；801、处理器；802、存储器；803、多媒体组件；804、i/o接口；805、通信组件。
具体实施方式
40.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
41.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
42.实施例1：
43.现有的卸妆方法，往往通过调整曲线对图像滤波的方式，调整了像素的饱和度、亮度等，模拟出不同部位的卸妆效果，但是不同肤色的卸妆效果差异过大，尤其是卸妆后妆容发绿发白，甚至一些图片的细节丢失。
44.利用卷积神经网络强大的学习能力，在干净素颜图的监督下，学习出人脸的卸妆映射函数，在卸妆的同时保证了五官特征。
45.本方法基于现有的问题，提出利用卷积神经网络来实现卸妆。
46.本实施例提供了一种卷积神经网络的卸妆方法。
47.参见图1，图中示出了本方法包括步骤s100、步骤s200、步骤s300和步骤s400。
48.s100、获取至少两组带妆图像。
49.可以理解的是，在本步骤中，首先对干净的素颜图进行了多套不同妆容的上妆操作，得到了大量的带妆-素颜图数据。
50.s200、对所述带妆图像进行预处理，得到所述带妆图像的预处理结果。
51.可以理解的是，在本步骤中，其中包括：将至少两组所述带妆图像输入至rgb通道，得到输入图；
52.随机选取所述输入图和预设的目标图进行图像增强，所述图像增强包括对所述输入图和预设的目标图进行裁剪、平移和左右翻转的操作。
53.需要说明的是，建立起卸妆网络结构，首先进行数据预处理：
54.对于带妆图像输入(rgb通道)，以随机的概率分别对输入图以及目标图做裁剪、平移、左右翻转的几何操作，丰富图像特征。
55.t_img
iin
,t_img
itarget
＝transform(img
iin
,img
itarget
)
56.其中，img
iin
代表输入带状图，img
itarget
代表对应的素颜图，t_img
iin
代表经过几何操作后的输入带状图，t_img
itarget
代表经过几何操作后对应的素颜图，i代表样本集中的第i张图，transform代表几何操作。
57.s300、基于网络u-net，将所述预处理结果输入至所述网络u-net中，得出输出结果。
58.可以理解的是，在本步骤中，其中包括：
59.选用所述网络u-net，所述网络u-net包括身份信息编辑器、妆容信息编码器、图像生成器以及图像判别器；所述妆容信息编码器和图像生成器构成了图像生成模块；所述的身份信息编码器由多层卷积层组成，接收到输入的目标图像后使用卷积层对目标图像中的身份信息进行特征提取，最终输出目标图像的身份信息编码；所述的妆容信息编码器使用多层的卷积层和池化层组成，接收到输入的目标图像和参考图像后使用卷积层对对图像中的人脸的妆容信息进行提取，最后使用池化层压缩输出的特征信息，输出对应的目标图像妆容信息编码和参考图像妆容信息编码；所述的图像生成器为图像解码器，接收身份信息编码和妆容信息编码，使用卷积层对二者进行融合，并对图像上采样，最终输出新图像；所述的新图像包括带有参考图像妆容和目标图像中人脸身份的带妆图像和目标图像的重建图像；
60.提取所述带妆图像中的颜色和边缘特征，并对所述带妆图像中的颜色和边缘特征进行修复，得到修复后的结果进行输出，记作输出结果。
61.需要说明的是，本方法选用网络u-net，是一种常用编码-解码网络，在语义分割和图像翻译都有较好的应用。编码部分在于提取颜色和边缘特征，解码部分在于恢复具体细节边缘，如眼珠以及眼线等。在编码部分对输入图片进行5次下采样(最大池化)，解码阶段5次上采样(双线性插值)，为叙述方便，本文用encode1，encode2，encode3，encode4，encode5，decode1，decode2，decode3，decode4，decode5，finally conv分别表示网络中各个编码和解码阶段，每个encode和decode都包含多个网络block。
62.s400、根据所述输出结果和预设的监督图的损失调整网络参数，经过训练和学习，得到卸妆模型。
63.可以理解的是，在本步骤中，其中包括：计算所述输出结果在hsv通道上的loss，其中，对所述带妆图像进行归一化处理，得到所述归一化结果，将所述归一化结果进行卷积神经网络处理；
64.设置权重，使用adam优化方法，进行多次迭代，确定各个所述带妆图像的权重；
65.迭代收敛后的所述带妆图像组成图像数据库；
66.基于预设的监督图的损失调整网络参数和所述图像数据库，进行训练和学习。
67.需要说明的是，结合不同人脸区域权重的监督，流程如下：
68.为了加强不同部位的卸妆效果及卸妆后的肤色，对不同人脸区域计算hsv通道上的loss。
69.本实施例中，假设x为网络输出结果转成hsv通道，y为对应的target的hsv通道，利用已有的脸部分割结果得到不同化妆位置的mask，脸部(face),嘴唇(lip)，眼部(eye)，眉(eyebrow)，之后将嘴唇mask和眼部mask组合成一个整体maskeye_lip,眉毛mask和脸部mask组成一个整体maskbrow_face，分别与原图相乘，提取出对应的区域，计算每块区域的l1 loss，嘴唇眼部区域侧重考虑h,s。眉毛和脸部侧重考虑h通道。其中wk(k＝1，2)为每块对应的权重，由每块的hsv通道像素值的平均值减去全图hsv通道像素值的平均值的欧式距离得到,并对所有权重进行归一化。
70.loss
eye_lip
＝w1(λ1||x
k1h-y
k1h
||1 λ2||x
k1s-y
k1s
||1 λ3||x
k1v-y
k1v
||1)
71.其中，x
k1
，y
k1
分别代表输出图和目标图对应的嘴唇眼部区域，上标h,s,v,分别对应各自颜色通道，λ1，λ1，λ3则代表不同颜色通道损失的权重。loss
eye_lip
为嘴唇眼部区域的hsv通道损失。
72.loss
brow_face
＝w2(λ4||x
k2h-y
k2h
||1 λ5||x
k2s-y
k2s
||1 λ6||x
k2v-y
k2v
||1)
73.其中，x
k2
，y
k2
分别代表输出图和目标图对应的眉毛和脸部区域，上标h,s,v,分别对应各自颜色通道，λ4，λ5，λ6则代表不同颜色通道损失的权重。loss
brow_face
为眉毛脸部区域的hsv通道损失。
[0074][0075]
其中，y
jhsv
代表第j块区域的hsv特征，y
hsv
代表全图的hsv特征，w1，w2则为各自块对应的权重。
[0076]
此外，还要计算x和y全图的l2loss。
[0077]
loss2＝||x-y||2[0078]
另外，还引入了感知损失loss3，使得输入图与目标图具有更相似的语义。
[0079][0080]
其中，loss3表示感知损失，j表示感知损失网络ε(
·
)的第j层，cj,hj,wj为第j层特征图大小。
[0081]
本方法总共的loss计算表示为：
[0082]
loss＝loss
eye_lip
loss
brow_face
θloss2 loss3
[0083]
其中，θ为全图l2损失loss2的权重，根据经验，设置为1.2比较合适。loss
eye_lip
为嘴唇眼部区域的hsv通道损失，loss
brow_face
为眉毛脸部区域的hsv通道损失。loss3为感知损失。
[0084]
需要说明的是，具体地，以上描述后，进行训练和学习：将预处理的图像输入网络，按照上述的loss训练，使用adam优化器，学习率设置为0.0002。
[0085]
综上所述，本发明的有益效果为引进了不同人脸部位的hsv通道的loss，可以较好的针对不同部位做强化处理，保证卸妆后的素颜图色泽过度平滑。通过预训练模型，使网络对物体具备一定的识别能力，提高特征提取能力。利用mask妆容移植，增加了样本妆容的多
样性，使得网络有比较好的卸妆效果和较好的鲁棒性。本方法基于深度学习方法最大程度卸除图像上的妆容信息，同时保持五官特征。相比于传统卸妆方法，可以区分原图上的妆容信息与原始人脸特征信息，实现卸妆，针对不同肤色或重妆图像都具有更好的细节处理和卸妆效果。
[0086]
实施例2：
[0087]
如图2所示，本实施例提供了一种卷积神经网络的卸妆装置，参见图2所述装置包括：
[0088]
获取模块701：用于获取至少两组带妆图像；
[0089]
预处理模块702：用于对所述带妆图像进行预处理，得到所述带妆图像的预处理结果；
[0090]
输出模块703：用于基于网络u-net，将所述预处理结果输入至所述网络u-net中，得出输出结果；
[0091]
获得模块704：用于根据所述输出结果和预设的监督图的损失调整网络参数，经过训练和学习，得到卸妆模型。
[0092]
具体地，所述预处理模块702，其中包括：
[0093]
输入单元7021：用于将至少两组所述带妆图像输入至rgb通道，得到输入图；
[0094]
第一选取单元7022：用于随机选取所述输入图和预设的目标图进行图像增强，所述图像增强包括对所述输入图和预设的目标图进行裁剪、平移和左右翻转的操作。
[0095]
具体地，所述输出模块703，其中包括：
[0096]
第二选取单元7031：用于选用所述网络u-net，所述网络u-net包括身份信息编辑器、妆容信息编码器、图像生成器以及图像判别器；所述妆容信息编码器和图像生成器构成了图像生成模块；所述的身份信息编码器由多层卷积层组成，接收到输入的目标图像后使用卷积层对目标图像中的身份信息进行特征提取，最终输出目标图像的身份信息编码；所述的妆容信息编码器使用多层的卷积层和池化层组成，接收到输入的目标图像和参考图像后使用卷积层对对图像中的人脸的妆容信息进行提取，最后使用池化层压缩输出的特征信息，输出对应的目标图像妆容信息编码和参考图像妆容信息编码；所述的图像生成器为图像解码器，接收身份信息编码和妆容信息编码，使用卷积层对二者进行融合，并对图像上采样，最终输出新图像；所述的新图像包括带有参考图像妆容和目标图像中人脸身份的带妆图像和目标图像的重建图像；
[0097]
提取单元7032：用于提取所述带妆图像中的颜色和边缘特征，并对所述带妆图像中的颜色和边缘特征进行修复，得到修复后的结果进行输出，记作输出结果。
[0098]
具体地，所述获得模块704，其中包括：
[0099]
计算单元7041：用于计算所述输出结果在hsv通道上的loss，其中，对所述带妆图像进行归一化处理，得到所述归一化结果，将所述归一化结果进行卷积神经网络处理；
[0100]
优化单元7042：用于设置权重，使用adam优化方法，进行多次迭代，确定各个所述带妆图像的权重；
[0101]
迭代单元7043：用于迭代收敛后的所述带妆图像组成图像数据库；
[0102]
训练单元7044：用于基于预设的监督图的损失调整网络参数和所述图像数据库，进行训练和学习。
[0103]
需要说明的是，关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0104]
实施例3：
[0105]
相应于上面的方法实施例，本实施例中还提供了一种卷积神经网络的卸妆设备，下文描述的一种卷积神经网络的卸妆设备与上文描述的一种卷积神经网络的卸妆方法可相互对应参照。
[0106]
图3是根据示例性实施例示出的一种卷积神经网络的卸妆设备800的框图。如图3所示，该卷积神经网络的卸妆设备800可以包括：处理器801，存储器802。该卷积神经网络的卸妆设备800还可以包括多媒体组件803，i/o接口804，以及通信组件805中的一者或多者。
[0107]
其中，处理器801用于控制该卷积神经网络的卸妆设备800的整体操作，以完成上述的卷积神经网络的卸妆方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该卷积神经网络的卸妆设备800的操作，这些数据例如可以包括用于在该卷积神经网络的卸妆设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(static random access memory，简称sram)，电可擦除可编程只读存储器(electrically erasable programmable read-only memory，简称eeprom)，可擦除可编程只读存储器(erasable programmable read-only memory，简称eprom)，可编程只读存储器(programmable read-only memory，简称prom)，只读存储器(read-only memory，简称rom)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器，用于输出音频信号。i/o接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该卷积神经网络的卸妆设备800与其他设备之间进行有线或无线通信。无线通信，例如wi-fi，蓝牙，近场通信(near fieldcommunication，简称nfc)，2g、3g或4g，或它们中的一种或几种的组合，因此相应的该通信组件805可以包括：wi-fi模块，蓝牙模块，nfc模块。
[0108]
在一示例性实施例中，卷积神经网络的卸妆设备800可以被一个或多个应用专用集成电路(application specific integrated circuit，简称asic)、数字信号处理器(digitalsignal processor，简称dsp)、数字信号处理设备(digital signal processing device，简称dspd)、可编程逻辑器件(programmable logic device，简称pld)、现场可编程门阵列(field programmable gate array，简称fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的卷积神经网络的卸妆方法。
[0109]
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的卷积神经网络的卸妆方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器802，上述程序指令可由卷积神经网络的卸妆设备800的处理器801执行以完成上述的卷积神经网络的卸妆方法。
[0110]
实施例4：
[0111]
相应于上面的方法实施例，本实施例中还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种卷积神经网络的卸妆方法可相互对应参照。
[0112]
一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的卷积神经网络的卸妆方法的步骤。
[0113]
该可读存储介质具体可以为u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
[0114]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
[0115]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。