一种基于属性分解的图像风格迁移方法与流程

1.本发明涉及图像处理技术领域，具体涉及一种基于属性分解的图像风格迁移方法。


背景技术：

2.近年来，深度学习作为人工智能领域最热门的方向，显示出强大的学习和处理能力，甚至在部分领域超过人类的表现。图像风格迁移是深度学习的一项典型应用，也是国内外的热门研究方向。图像风格迁移是将一张图像在保持内容不变的同时换成另一种风格，使普通的人或景物图片转换为各种艺术风格效果，此技术可广泛应用于图像处理、计算机图片合成和计算机视觉等方面。
3.目前，还有将输入图像(将要迁移的图像)的特征谱的均值和方差和风格图像对齐，完成对于风格的迁移，之后将修改过的特征谱送入解码器网络，生成风格迁移图像，这也是目前常规的风格迁移算法，可以实现单风格的图像风格迁移，然而在多风格迁移方向的表现有限，传统的单/多风格迁移网络中，往往只能实现已有风格的迁移，或者多风格的简单融合，且效果有限，且并不能产生全新的风格，因此，亟需一种效果更好的图像风格迁移方法。


技术实现要素：

4.为解决现有技术中存在的问题，本发明提供了一种基于属性分解的图像风格迁移方法，解决了上述背景技术中提到的问题。
5.为实现上述目的，本发明提供如下技术方案：一种基于属性分解的图像风格迁移方法，获取待风格迁移图像，将图像输入到风格迁移网络模型结构中进行风格迁移处理，输出风格迁移后的图像，所述风格迁移网络模型结构包括两部分，第一部分是基于自动编码器的风格解耦网络，第二部分是基于cgan的特征谱生成网络。
6.优选的，所述的风格迁移方法具体包括如下步骤：
7.s1、数据集预处理，将采集的多张图像组成数据集，对数据集的图像进行裁剪；
8.s2、建立自动编码器autoencoder网络，autoencoder网络包括输入层、中间层和输出层；
9.s3、构建损失函数l
total
，损失函数包括l1loss和协方差损失函数l
cov
；
10.s4、训练autoencoder网络，将数据集预处理后的图像输入到autoencoder网络进行端到端的训练，使autoencoder网络能完整的重建图像；
11.s5、构建特征谱生成网络cgan，特征谱生成网络cgan用于对特征谱分布进行采样，完成对风格分布的采样，产生全新的风格；
12.s6、训练特征谱生成网络cgan，损失函数为对抗损失函数；
13.s7、完成训练后测试模型并进行风格迁移处理。
14.优选的，所述步骤s1中的图像裁剪具体是采用随机长宽比裁剪的手段，将图像尺
寸大小转化为178
×
218，保持图像数据尺寸一致。
15.优选的，所述步骤s3中的l1loss损失函数衡量输入与输出的差异，用于重构输出图像，所述协方差损失函数用于风格特征解耦。
16.优选的，所述协方差损失函数是取出autoencoder网络中间层特征谱，按通道分为c1，c2两部分，计算两部分的协方差。
17.优选的，所述通道分为c1，c2两部分具体是指等长的将通道分为c1，c2两部分。
18.优选的，所述步骤s5中特征谱生成网络cgan的输入为两部分，一部分为隐变量z，另一部分为数据集预处理后的图像，输出为用于替换c1通道处的新的特征谱。
19.优选的，所述步骤s7中进行风格迁移处理具体是指：选定待迁移图像，从高斯分布的采样获得隐变量z，然后输入到autoencoder网络和特征谱生成网络，保持c2处特征谱不变，用特征谱生成网络的结果替换c1处网络，获得解码器输出，即完成图像的风格迁移。
20.本发明的有益效果是：本发明提出的方法对于传统风格迁移方式有极大的创新，引入属性解耦的方法，将风格视为解耦对象，实现新图像风格的创建与迁移，本发明请提出的方法旨在完成对于风格分布的采样，实现方法上，gan的生成器用于生成特征谱，利用损失函数解耦，产生全新的风格。
附图说明
21.图1为本发明实施例1自动编码器autoencoder网络参数示意图；
22.图2为本发明实施例1风格迁移网络模型结构示意图。
具体实施方式
23.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
24.实施例1
25.请参阅图1
‑
2，本发明提供一种技术方案：一种基于属性分解的图像风格迁移方法，首先获取待风格迁移图像，将图像输入到风格迁移网络模型结构中进行风格迁移处理，输出风格迁移后的图像，所述风格迁移网络模型结构包括两部分，网络模型结构如图2所示，第一部分是基于自动编码器的解耦网络，第二部分是基于cgan的特征谱生成网络，配置环境：python3.7，pytorch1.8.1cuda10.2。
26.1.数据集预处理，将采集的多张图像组成数据集，对数据集的图像进行裁剪、混合抽样。本发明使用的数据集有celeba人脸数据集和wikiart数据集。celeba的img_align_celeba中有超过200,000张真实的人脸图像，图像尺寸为178
×
218。wikiart包含超过80,000副艺术作品，该数据集中的图像风格形式多样，适合用于图像风格迁移任务。
27.其中，wikiart数据集的图像尺寸均大于celeba数据集中图像的尺寸，为了在训练中保持图像数据尺寸一致，本发明采用随机长宽比裁剪的手段，将wikiart中的图像尺寸转化为178
×
218，从而使之与celeba一起参与训练。
28.训练时，将以上两个数据集中裁剪处理后的图像混合输入到网络中，网络可以对
不同风格的图像进行混合抽样，从而实现多模态的图像风格迁移。
29.2.建立自动编码器autoencoder网络，autoencoder网络包括输入层、中间层和输出层。
30.3.构建损失函数，损失函数l
total
包括l1loss损失和协方差损失函数l
cov
两部分，如式(1)所示。
31.l1loss衡量输入与输出的差异，用于重构输出图像，定量描述如式(2)所示，其中p表示一张图像中像素点的结合，p表示其中的某个像素点，x(p)表示网络的输入图像，y(p)表示网络预测得到的输出图像，n表示一张图像中像素个数，l1损失通过约束真实输入和预测输出之间的平均误差，来保证网络能够成功重建出图像。
32.协方差损失用于风格特征的解耦，实现方法是取出autoencoder的中间层特征谱，将通道等长地分为c1，c2两部分，显然c1＝c2，两部分特征谱的尺寸分别为c1×
h
×
w和c2×
h
×
w，将这2个三维的特征谱转化成c1×
hw和c2×
hw2个大小相等的二维矩阵，分别记为矩阵a1和a2，计算矩阵a1和a2的协方差得到协方差损失，通过这个损失函数来保证c1、c2这两部分通道的特征不相关，协方差损失函数如式(3)所示
33.l
total
＝λ1l1 λ2l
cov
ꢀꢀꢀ
(1)
[0034][0035]
l
cov
＝cov(a1,a2)＝e[a1a
2t
]
‑
e[a1]e[a
2t
]
ꢀꢀꢀ
(3)
[0036]
4.训练autoencoder网络，首先，对于autoencoder网络，将数据集预处理后的图像输入到autoencoder网络进行端到端的训练，使autoencoder网络能完整的重建图像。训练中，对一张输入图像，网络输出一张重建图像，训练设置epoch＝80，batch size＝256，使用自适应学习率优化算法，初始学习率设置为0.5e
‑
4,调整参数λ1、λ2的值使得损失函数尽可能地收敛、图像重建效果尽可能地精确，autoencoder网络参数如图1所示。
[0037]
5.构建特征谱生成网络cgan，该网络的输入为两部分，一部分为隐变量z，另一部分为数据集预处理后得到的参考图像，输出为用于替换c1通道处的新的特征谱。特征谱生成网络cgan用于对特征谱分布进行采样，该网络的目的在于给定输入图片的条件下，生成符合前c1通道数据分布的特征谱，其中隐变量z引入了随机性，完成对风格分布的采样，产生全新的风格。
[0038]
6.训练特征谱生成网络cgan，它是对原始gan网络的一个扩展，生成器和判别器都增加额外监督信息y作为条件，以此来指导g的生成过程。在本发明中，y使用预处理后的风格图像y
ref
来作为条件信息，网络cgan中损失函数为对抗损失函数，如式(4)所示，其中d和g分别表示gan模型中的判别器和生成器，x表示真实的输入图像，y
ref
表示风格图像，用作条件信息，z表示随机噪声向量，p
data
(x)和p
z
(z)分别表示输入图像x和随机噪声z的分布。
[0039][0040]
cgan网络的训练分为两个方面，对于生成器网络，输入随机噪声和条件信息(本发明中，条件信息是指参考图像)，输出一张尽可能与输入图像相似且逼真的伪图像；对于判别器网络，输入带有条件信息(参考图像)的真实图像以及带有条件信息的伪图像(伪图像是由生成器合成的)，判别器输出一个[0,1]的概率值，描述生成图像是否为真实图像的概
率大小，通过修改网络训练参数使得这一概率值尽可能地接近0.5。
[0041]
cgan网络训练的优化器使用自适应学习率优化，训练设置epoch＝200，使用mini
‑
batch norm，初始学习率设置为1e
‑
4，随着训练进行不断缩小学习率，中间层激活函数使用leakrelu函数，最后一层的激活函数使用tanh。
[0042]
7.完成训练后测试模型并进行风格迁移处理，选定待迁移图像，从高斯分布的采样获得隐变量z，然后输入到autoencoder网络和特征谱生成网络，保持c2处特征谱不变，用特征谱生成网络的结果替换c1处网络，获得解码器输出，即完成图像的风格迁移，重复此过程，获得多张风格迥然不同的风格迁移图像。
[0043]
本发明提出的方法对于传统风格迁移方式有极大的创新，引入属性解耦的方法，将风格视为解耦对象，实现新图像风格的创建与迁移，本发明请提出的方法旨在完成对于风格分布的采样，实现方法上，gan的生成器用于生成特征谱，利用损失函数解耦，产生全新的风格。
[0044]
尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。