一种图像风格迁移方法及系统

1.本发明涉及图像处理技术领域，特别涉及一种图像风格迁移方法及系统。


背景技术：

2.图像风格迁移是考虑一张内容图像和一张风格图像，风格迁移就是通过这两者得到一张新的图像，而这张新的图像渲染了风格图像的色彩和笔触等风格信息，同时同步维护了内容图像的内容结构信息。
3.现有的基于神经网络的风格迁移方法可分为两类：基于图像优化的在线神经方法和基于模型优化的离线神经方法。
4.gatys等人在2015年提出基于神经网络风格迁移的开山之作，采用的是基于图像优化的在线神经方法。他的方法是输入白噪声图像同时匹配到内容图像的内容特征表示和风格图像的风格特征表示，最终获得风格化结果。
5.基于模型优化的离线神经方法又可以分为3类，一个模型训练一种风格，一个模型训练多种风格，一个模型训练任意风格。
6.现有的图像风格迁移研究绝大多数都采用一个模型训练任意风格，这种方法起源于huang等人在2017年提出了一种自适应实例归一化的方法，解决了生成模型训练需要进行风格化预定义的问题，实现了任意风格迁移。
7.2017年huang等人提出的风格迁移算法adain，出自论文《arbitrary style transfer in real-time with adaptive instance normalization》。adain基于前向神经网络，作者提出了一种标准化方法adaptive instance normalization(adain)，从而实现任意风格的迁移。
8.2019年park等人提出一种高效新颖的风格注意力网络(sanet)方法，在平衡全局和局部风格模式的同时，保留内容结构，合成高质量的风格化图像。该方法出自于《arbitrary style transfer with style-attentional networks》。
9.sanet体系结构将来自vgg-19编码器的内容和风格图像的输入作为特征图，并对其进行规范化后，转换为特征空间，以计算内容和风格特征图之间的关注度。
10.2019年li等人提出的提出了一个线性的前馈网络模块(lst)来实现高质量的任意风格迁移方法，该方法出自于《learning linear transformations for fast image and video style transfer》。
11.但是，上述几种方法得到的风格化结果的视觉质量较差，主要体现在两个方面：一是原有的内容结果或轮廓被扭曲；二是在结果上体现不出深层次的风格语义信息(纹理)。


技术实现要素：

12.本发明要解决的技术问题是提供一种高质量、在风格化结果的次要区域渲染上风格纹理信息、同时维持主要区域的内容结构或轮廓的图像风格迁移方法。
13.为了解决上述问题，本发明提供了一种图像风格迁移方法，所述图像风格迁移方
法包括以下步骤：
14.s1、将内容图像和风格图像分别输入两个编码器，并分别得到内容特征和风格特征；
15.s2、将得到的内容特征和风格特征分别输入两个spnet金字塔网络进行语义增强，并分别得到增强后的内容特征和风格特征；
16.s3、将增强前的内容特征和风格特征输入第一特征融合模块进行特征融合，将增强后的内容特征和风格特征输入第二特征融合模块进行特征融合；
17.s4、将第一特征融合模块特征融合后的结果和第二特征融合模块特征融合后的结果相加后，输入第一卷积层进行特征提取，得到风格化特征；
18.s5、将得到的风格化特征输入解码器，解码得到风格迁移后的图像。
19.作为本发明的进一步改进，所述两个编码器分别将得到的内容特征和风格特征分为5层的金字塔特征图，5层的金字塔特征图包括从上至下的5层分辨率大小依次减半，通道数量依次加倍的特征图。
20.作为本发明的进一步改进，所述spnet金字塔网络包括亚像素卷积层和第二卷积层，通过所述亚像素卷积层将5层的金字塔特征图中每个下层的特征图放大一倍后与上一层的特征图相加，得到4层的金字塔特征图；通过所述第二卷积层将所述4层的金字塔特征图中最上层特征图进行下采样后与下一层的特征图相加，并继续下采样后与下一层的特征图相加，直至得到一个与所述4层的金字塔特征图中最下层特征图分辨率大小一致的增强特征图。
21.作为本发明的进一步改进，所述第一卷积层为3
×
3卷积层，所述第二卷积层为1
×
1卷积层。
22.作为本发明的进一步改进，所述编码器为vgg编码器，所述解码器为vgg解码器。
23.本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任意一项所述方法的步骤。
24.本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任意一项所述方法的步骤。
25.本发明还提供了一种图像风格迁移系统，其包括：
26.两个编码器，用于分别接收内容图像和风格图像，并分别得到内容特征和风格特征；
27.两个spnet金字塔网络，用于分别对得到的内容特征和风格特征进行语义增强，并分别得到增强后的内容特征和风格特征；
28.第一特征融合模块，用于将增强前的内容特征和风格特征进行特征融合；
29.第二特征融合模块，用于将增强后的内容特征和风格特征进行特征融合；
30.加法模块，用于将第一saff模块特征融合后的结果和第二saff模块特征融合后的结果相加；
31.第一卷积层，用于在相加后进行特征提取，得到风格化特征；
32.解码器，用于接收风格化特征并解码得到风格迁移后的图像。
33.作为本发明的进一步改进，所述两个编码器分别将得到的内容特征和风格特征分
为5层的金字塔特征图，5层的金字塔特征图包括从上至下的5层分辨率大小依次减半，通道数量依次加倍的特征图。
34.作为本发明的进一步改进，所述spnet金字塔网络包括：
35.亚像素卷积层，用于将5层的金字塔特征图中每个下层的特征图放大一倍后与上一层的特征图相加，得到4层的金字塔特征图；
36.第二卷积层，用于将所述4层的金字塔特征图中最上层特征图进行下采样后与下一层的特征图相加，并继续下采样后与下一层的特征图相加，直至得到一个与所述4层的金字塔特征图中最下层特征图分辨率大小一致的增强特征图。
37.本发明的有益效果：
38.本发明图像风格迁移方法在风格化结果的次要区域(如背景)渲染上风格纹理信息，同时维持主要区域的内容结构或轮廓，可获得高质量的风格迁移后的图像。
39.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。
附图说明
40.图1是本发明优选实施例中图像风格迁移方法的流程图；
41.图2是本发明优选实施例中图像风格迁移方法的示意图；
42.图3是本发明优选实施例中spnet金字塔网络的示意图；
43.图4是本发明优选实施例中亚像素卷积层的示意图；
44.图5是本发明优选实施例中经过spnet金字塔网络前后的特征图可视化；
45.图6是本发明优选实施例中图像风格迁移方法得到的风格化图像；
46.图7是本发明优选实施例中图像风格迁移方法得到的风格化图像与现有方法的对比。
具体实施方式
47.下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
48.实施例一
49.如图1-2所示，本发明优选实施例公开了一种图像风格迁移方法，包括以下步骤：
50.s1、将内容图像和风格图像分别输入两个编码器，并分别得到内容特征和风格特征；可选地，所述编码器为vgg编码器。具体地，将内容图像ic和风格图像is分别输入两个vgg编码器，分别得到内容特征fc和风格特征fs。
51.s2、将得到的内容特征和风格特征分别输入两个spnet金字塔网络进行语义增强，并分别得到增强后的内容特征和风格特征；
52.s3、将增强前的内容特征和风格特征输入第一特征融合模块进行特征融合，将增强后的内容特征和风格特征输入第二特征融合模块进行特征融合；
53.s4、将第一特征融合模块特征融合后的结果和第二特征融合模块特征融合后的结果相加后，输入第一卷积层进行特征提取，得到风格化特征；可选地，所述第一卷积层为3
×
3卷积层。
54.s5、将得到的风格化特征输入解码器，解码得到风格迁移后的图像。可选地，所述解码器为vgg解码器。
55.可选地，如图3所示，所述两个编码器分别将得到的内容特征和风格特征分为5层的金字塔特征图，5层的金字塔特征图包括从上至下的5层分辨率大小依次减半，通道数量依次加倍的特征图。
56.所述spnet金字塔网络包括亚像素卷积层(sub-pixel convolution)和第二卷积层，通过所述亚像素卷积层将5层的金字塔特征图中每个下层的特征图放大一倍后与上一层的特征图相加，得到4层的金字塔特征图；通过所述第二卷积层将所述4层的金字塔特征图中最上层特征图进行下采样后与下一层的特征图相加，并继续下采样后与下一层的特征图相加，直至得到一个与所述4层的金字塔特征图中最下层特征图分辨率大小一致的增强特征图。可选地，所述第二卷积层为1
×
1卷积层。
57.如图4所示，可以看出特征图经过亚像素卷积层时具体的分辨率和维度变化过程。首先输入的低分辨率特征图(lr feature)，假设其大小是w
×h×
c，经过一层亚像素卷积(sub-pixel convolution)会扩大其尺寸到2w
×
2h，但通道数目会减少四分之一(c/4)。最后经过一个1
×
1大小的卷积得到大小为2w
×
2h
×
c/2的特征图。
58.如图5所示，第2列是经过spnet之前的特征图可视化，第3列是经过spnet之后的增强特征图可视化。可以清楚地看出经过spnet之后特征图中会包含更加细腻的语义信息。
59.如图6所示，第2列是spnet中第5层特征图的可视化(可见包含重要信息)。第3列是不包含第5层特征图的spnet风格化结果，第四列是完整的spnet的风格化结果，对比可以看出第三列女孩的鼻子被风格纹理扭曲了。
60.如图7所示，从图中可以观察得出，现有技术(第3,4,5,6列)得到的风格化结果的视觉质量较差，主要体现在两个方面：一是原有的内容结果或轮廓被扭曲；二是在结果上体现不出深层次的风格语义信息(纹理)。最后一列为本发明spnet方法得到的风格化结果，质量明显较优。
61.实施例二
62.本实施例公开了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述实施例一中所述图像风格迁移方法的步骤。
63.实施例三
64.本实施例公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例一中所述图像风格迁移方法的步骤。
65.实施例四
66.本实施例公开了一种图像风格迁移系统，包括：
67.两个编码器，用于分别接收内容图像和风格图像，并分别得到内容特征和风格特征；
68.两个spnet金字塔网络，用于分别对得到的内容特征和风格特征进行语义增强，并分别得到增强后的内容特征和风格特征；
69.第一特征融合模块，用于将增强前的内容特征和风格特征进行特征融合；
70.第二特征融合模块，用于将增强后的内容特征和风格特征进行特征融合；
71.加法模块，用于将第一saff模块特征融合后的结果和第二saff模块特征融合后的结果相加；
72.第一卷积层，用于在相加后进行特征提取，得到风格化特征；
73.解码器，用于接收风格化特征并解码得到风格迁移后的图像。
74.可选地，两个编码器分别将得到的内容特征和风格特征分为5层的金字塔特征图，5层的金字塔特征图包括从上至下的5层分辨率大小依次减半，通道数量依次加倍的特征图。
75.所述spnet金字塔网络包括：
76.亚像素卷积层，用于将5层的金字塔特征图中每个下层的特征图放大一倍后与上一层的特征图相加，得到4层的金字塔特征图；
77.第二卷积层，用于将所述4层的金字塔特征图中最上层特征图进行下采样后与下一层的特征图相加，并继续下采样后与下一层的特征图相加，直至得到一个与所述4层的金字塔特征图中最下层特征图分辨率大小一致的增强特征图。
78.本发明实施例的图像风格迁移系统用于实现前述的图像风格迁移方法，因此该系统的具体实施方式可见前文中的图像风格迁移方法的实施例部分，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。
79.另外，由于本实施例的图像风格迁移系统用于实现前述的图像风格迁移方法，因此其作用与上述方法的作用相对应，这里不再赘述。
80.以上实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。