基于语义分割的风景照片风格转移方法与流程

1.本发明属于风格转移的数字图像处理领域，主题内容是一种基于语义分割的图像风格转移，具有良好的图像风格迁移效果。


背景技术：

2.近年来，图像风格迁移被众多学者广泛研究，一幅具有艺术风格的风景画的创作需要画家掌握到风景画的真实性与建筑物的鲜明特点，需要艺术家倾注大量的时间和精力。将计算机技术运用到该创作过程中，将在艺术创作上给予艺术家及相关工作者在理论与创作上的帮助，将大幅提高画作创作的质量与数量。
3.图像风格转移是一种重要的图像处理手段，其可以生成具有不同风格，但内容不变的目标图像。一幅具有艺术风格的风景画的创作需要画家掌握到风景画的真实性与建筑物的鲜明特点，需要艺术家倾注大量的时间和精力。如果能够将计算机技术运用到该创作过程中，将在艺术创作上给予艺术家及相关工作者在理论与创作上的帮助，将大幅提高画作创作的质量与数量，具有理论意义与现实意义。


技术实现要素：

4.针对传统风格转移算法中出现的目标图像语义匹配失误的缺陷，本文以包含风景的内容图像与风格图像为研究对象，采结合卷积神经网络算法，提出了基于语义分割的风景照片风格转移方法。
5.主要技术方案包括：对内容图像进行语义分割，并一一加上标签，对风格图像使用空间卷积金字塔池化操作，得出特征映射，使用修改的xception模型提升学习效率，最后通过语义-风格拼接网络得出目标图像。
6.实验结果表明,该方法能够较好的避免图像语义内容误匹配问题，使用经改进后的算法图像风格转移效果较好。
附图说明
7.图1是本发明方法的流程图。
8.图2是本发明方法(bs-nst)与传统风格转移方法(bn-nst)的目标图像对比图。
9.图3是语义拼接子网络。
10.图4是风格匹配子网络。
11.图5本发明方法(bs-nst)与传统风格转移方法(bn-nst)的损失函数对比图。
具体实施方式
12.下面结合附图和具体实施方式对本发明做进一步说明。
13.本发明的流程图如图1所示，基于语义分割的风景图像风格转移方法，该方法具体包括以下流程：
14.步骤一：内容图像处理部分
15.对内容图像进行空洞卷积金字塔池化操作，对其内容图像信息进行特征提取，得到一个低分辨率的高层次抽象特征图。原理表示为：
[0016][0017]
r是空洞率，决定了对输入信号进行采样的步幅。在本文中，使用步长为2的降采样；先运用5
×
5大小的卷积核进行卷积操作，得到特征图像，在通过两次上采样操作恢复到原来的分辨率，之后使用5
×
5大小的孔卷积，最后得到特征映射。
[0018]
步骤二：修改的xception模型
[0019]
在deeplabv3 模型中修改了xception模型，以使其适应于语义分割。使用多尺度带孔卷积代替模型中最大的池化层，加入局部归一化，利用relu激活函数执行非线性运算。为了提高提取特征的能力，增加了中间层的深度。使用深度可分离卷积减少使用模型中的参数，提升学习效率。
[0020]
步骤三：语义-风格拼接网络
[0021]
为了更好的融合语义信息，将输入的原始图像的语义掩码进行下采样，再进行内容图像的特征提取，然后和下采样之后的语义掩码进行拼接，形成新的特征图像。接着在图像块上进行匹配。将语义-风格拼接网络分为语义拼接网络和风格拼接网络。
[0022]
方法测试
[0023]
仿真实验分别选用选择6张不同场景的风景照片作为内容图像与风格图像实验对象。
[0024]
本方法从psnr、ssim与损失函数对比来评估该方法的性能，psnr可以用来评价目标图像与原内容图像相比质量的好坏，psnr值越高，说明风格转移后图像的质量越高，说明算法对原内容图像的影响越小；ssim值可以用来评价目标图像与原内容图像的相似度，取值范围在0～1之间，两张图像越像，则ssim值越趋近于1；损失函数可以表示该算法对图像的影响大小，损失越严重则代表算法越不可靠。传统算法与改进后算法的对比图如图2所示。
[0025]
表1为传统bn-nst算法与bs-nst算法的输出图片的psnr值，可以明显得出改进后的bs-nst算法的psnr值均高于bs-nst算法。
[0026]
表1
[0027] 实验1实验2实验3实验4实验5实验6bn-nst0.0952700.0802780.0751990.1043910.0784100.110945bs-nst0.1566700.1616920.1298350.1592550.1595200.153639
[0028]
表2为传统bn-nst算法与bs-nst算法的输出图片的ssim值，可以明显得出改进后的bs-nst算法的ssim值均高于bs-nst算法,说明bs-nst算法
[0029]
表2
[0030] 实验1实验2实验3实验4实验5实验6bn-nst0.0952700.0802780.0751990.1043910.0784100.110945bs-nst0.1566700.1616920.1298350.1592550.1595200.153639
[0031]
图5为损失函数对比图，在bs-nst算法与bn-nst算法的基础上分别进行6次实验，画出其损失函数图，可以明显得出bs-nst算法损失程度较低且更加稳定。


技术特征：
1.一种基于语义分割的图像风格转移算法，其特征在于，该算法首先对内容图像进行池化操作，得到其特征映射，然后使用编码-解码器，得出其语义分割结果，最后使用语义-风格拼接网络得出目标图像。2.根据权利要求1所述的一种基于语义分割的图像风格转移方法，其特征在于：该方法具体包括以下流程：步骤一：内容图像处理部分：对内容图像进行空洞卷积金字塔池化操作，对其内容图像信息进行特征提取，得到一个低分辨率的高层次抽象特征图；原理表示为：r是空洞率，决定了对输入信号进行采样的步幅；在本文中，使用步长为2的降采样；先运用5
×
5大小的卷积核进行卷积操作，得到特征图像，在通过两次上采样操作恢复到原来的分辨率，之后使用5
×
5大小的孔卷积，最后得到特征映射；步骤二：修改的xception模型：在deeplabv3 模型中修改了xception模型，以使其适应于语义分割；使用多尺度带孔卷积代替模型中最大的池化层，加入局部归一化，利用relu激活函数执行非线性运算；为了提高提取特征的能力，增加了中间层的深度；使用深度可分离卷积减少使用模型中的参数，提升学习效率；步骤三：语义-风格拼接网络：为了更好的融合语义信息，将输入的原始图像的语义掩码进行下采样，再进行内容图像的特征提取，然后和下采样之后的语义掩码进行拼接，形成新的特征图像；接着在图像块上进行匹配；将语义-风格拼接网络分为语义拼接网络和风格拼接网络。

技术总结
本发明公开了一种基于语义分割的风景图像风格转移方法，该方法提高了风格转移过程中出现的语义内容不匹配、误匹配等缺陷，解决了不同场景语义匹配准确度问题。根据风格转移理论，设计了语义分割方法，使用空洞卷积金字塔池化操作得出特征映射，编码-解码器得出语义分割结果，语义-风格拼接网络得出风格转移后的目标图像。实验结果表明，本方法对风格转移效果较好，对内容图像的影响较小，具有较好的视觉效果。视觉效果。视觉效果。


技术研发人员：叶汉民 薛莲 程小辉
受保护的技术使用者：桂林理工大学
技术研发日：2021.10.26
技术公布日：2022/2/6