一种基于深度学习的素描风景图生成方法

1.本发明涉及深度学习在计算机视觉、图像风格化转换领域的应用，具体涉及一种基于深度学习的素描风景图生成方法。


背景技术：

2.素描风景图生成是将给定自然实景图像通过计算机算法转换为对应素描图这一特殊艺术风格的技术。同传统手工素描相比，该技术具有成本低、易操作、耗时少的优势。作为图像风格化转换中一个重要的研究方向，该技术广泛应用于艺术创作、美术教学、影视娱乐等领域。
3.传统的素描风景图生成方法属于计算机图形学的图像非真实感绘制领域。tong等人在2021年的aaai上发表的“sketch generation with drawing process guided by vector flow and grayscale”提出一种“边缘切线流指导笔画-量化灰度级决定笔画阴影-加强细节”的三分支结构，最终达到绘制素描图的效果。传统方法的不足之处在于，这类程序化的方法会使笔画线条表现得单一生硬，素描绘制效果不尽如人意。
4.随着深度学习网络在图像处理和分析中的快速发展，li等人在2019年的cvpr上发表的“im2pencil:controllable pencil illustration from photographs”提出一种利用条件生成对抗网络的铅笔画生成方法，该方法构建成对的自然实景图像-铅笔画数据，通过铅笔画轮廓图生成分支和铅笔画阴影生成分支进行一一对应的训练，建立生成铅笔画的深度学习模型。此类方法受限于成对的训练数据，且没有考虑非真实感图像具有主次感的特点。


技术实现要素：

5.针对现有技术的不足，本发明提出了一种基于深度学习的素描风景图生成方法，通过训练双循环生成对抗网络，以及素描主次感增强算法的设计，将自然实景图像生成为对应的富有主次感的素描图。
6.本发明通过以下技术方案实现：
7.步骤1，训练基于深度学习的素描风景图生成网络。
8.步骤1.1，获取用于训练的自然实景图像和素描风景图像，建立非成对的数据集。
9.步骤1.2，将自然实景图片-素描风景数据集输入到双循环生成对抗网络中，构建重构损失和对抗损失，进行学习。
10.步骤1.3，将待转换的自然实景图像输入到训练好的网络模型中，初步合成对应的素描风景图。
11.步骤2，设计素描主次感增强算法。
12.步骤2.1，设计主体区域提取模块，本发明自主地选择步骤1.1自然实景图像的主体区域并生成该区域的掩码信息。
13.步骤2.2，将步骤2.1得到的掩码信息与步骤1.3所述初步合成的素描风景图输入
到主次感增强模块中。
14.进一步地，将掩码信息覆盖区域作为合成素描风景图的主体部分，其余区域作为合成素描风景图的背景部分。
15.步骤2.3，在主次感增强模块中，将对应素描风景图中步骤2.2的主体部分进行增强，将对应素描风景图中步骤2.2的背景部分进行弱化
16.最终获得主次感增强后的素描风景图。
17.进一步地，步骤1.1中，将自然实景图像域定义为源域i域，将素描风景图像域定义为目标域s域。
18.进一步地，步骤1.2中双循环生成对抗网络包括两组生成对抗网络：一组为负责将自然图像转换为素描图像的生成器g和用于鉴别合成素描与真实素描的域判别器ds，另一组是负责将素描图映射回自然图像的逆生成器f和用于鉴别合成照片与真实照片的域判别器di。
19.进一步地，将步骤1.2中的双循环生成对抗网络构建为非对称结构，a组循环为：将步骤1.1的自然实景图像输入生成器g，输出生成素描图；将生成素描图与步骤1.1的真实素描图输入到判别器ds中，计算对抗损失；继续将生成素描图输入逆生成器f，输出再生成自然实景图像，计算输入自然实景图像与再生成自然实景图像的松弛循环一致性损失。b组循环为：将步骤1.1的素描风景图像输入逆生成器f，输出生成实景图；将生成实景图与步骤1.1的真实实景图输入到判别器di中，计算对抗损失；继续将生成实景图输入生成器g，输出再生成素描风景图像，计算输入素描风景图像与再生成素描风景图像的严格循环一致性损失。
20.进一步地，步骤2.3中的增强算法为将掩码信息所覆盖素描图区域的对比度扩大，步骤2.3中的弱化算法为将素描图背景部分像素点的灰度像素值提高。
21.本发明的有益结果：
22.本发明通过非对称结构的双循环生成对抗网络有效克服成对数据的限制，初步将自然实景图像自动转化为具有铅笔画素描风格的素描风景图，进而通过素描主次感增强算法模拟画家作画时所体现的图像主次感，得到能够区别图像主体部分与背景部分的素描风景图。
附图说明
23.图1为本发明中基于深度学习的素描风景图生成方法的流程图；
24.图2为基于深度学习的素描风景图生成网络框架；
25.图3为素描主次感增强算法流程；
26.图4为素描图生成结果图。
具体实施方式
27.为使本发明的目的、技术方案和优点更加清晰明了，下面结合附图详细说明本发明的具体实施方式。
28.如图1所示，本发明提出了一种基于深度学习的素描风景图生成方法，具体步骤如下：
29.步骤1，构建并训练基于深度学习的素描风景图生成网络。
30.步骤1.1，获取用于训练的自然实景图像和素描风景图像，构建非成对数据集。
31.从mscoco、flickr15等公开数据集中选取非人物的、场景较为复杂的自然实景图像组成自然域数据集，将其定义为源域i域，i域中的训练数据表示为：
[0032][0033]
其中，s(
·
)表示集合，i表示在i域中的每一张图片，j表示对该数据集中每张图片的标号，共有n张。
[0034]
在互联网上通过在线图片网站(比如，pinterest)收集素描风景图像组成素描域数据集，将其为目标域s域，s域中的训练数据表示为：
[0035][0036]
其中，s(
·
)表示集合，s表示在s域中的每一张图片，k表示对该数据集中每张图片的标号，共有m张。
[0037]
需要强调的是，两数据集中的图像没有一一对应关系且不属于同一分布。
[0038]
步骤1.2，在缺乏成对训练数据的情况下，将自然实景图片-素描风景数据集输入到非对称的双循环生成对抗网络中，构建重构损失和对抗损失，训练学习从自然域i域到s域的映射，网络框架如图2所示。
[0039]
该模型由两组生成对抗网络组成——一组为能够将自然图像转换为素描风景图的生成器g和用于判别合成素描与真实素描的域判别器ds，另一组为能够将素描图映射为自然图像的逆生成器f和用于判别合成自然图像与真实自然图像的域判别器di。
[0040]
本发明中的生成器g属于一个残差网络，该网络由3个下采样卷积层、9个残差块、3个上采样卷积层组成，逆生成器f与生成器g结构相同；本发明中的域判别器ds和域判别器di均包括6层卷积层。
[0041]
经观察发现，素描域的图像信息比自然域的图像信息少得多，素描图主要包含场景中物体的边缘信息和相对单调的纹理样式，故本发明只对从自然图像到素描风景图转换的单向映射感兴趣。因此，本发明的双循环生成对抗网络是非对称的，具体实施方式如下：
[0042]
两组生成对抗网络构建为双循环结构。
[0043]
a组循环为：将步骤1.1的自然实景图像i输入到生成器g中，生成器g从一个平面卷积和两个向下卷积块开始，对自然域图像i进行编码并提取有用的特征；接着使用由9个残差块组成的resnet来构建内容特征，把步骤1.1的源域图像转换到目标域；最后通过两个上卷积块和一个final卷积层重构输出合成素描图g(i)；将合成素描图g(i)与步骤1.1的真实素描图s输入到判别器ds中，进行对抗学习，计算对抗损失，该损失函数定义如下：
[0044][0045]
其中，表示分布函数的期望值，s∈s(s)为真实样本即素描图，g(i)为转化后的图片。训练时，通过计算交叉熵优化函数，生成器g不断生成逼真的图片想要最小化这个函数值，域判别器ds不断提高自身的判别能力想要最大化这个函数值，双方不断博弈，直到域判别器ds无法判别生成器g合成的图像是否属于素描域。
[0046]
继续将合成素描图g(i)输入逆生成器f，输出再生成自然实景图像f(g(i))。由于本发明不期望a组循环中的逆生成器f完全按照输入图像i重建自然图像，即不期望f(g(i))
refinement for interactive segmentation”提出的。
[0063]
步骤2.2，将步骤2.1通过主体区域提取模块得到的掩码信息m与步骤1.3所述初步合成的素描风景图g(i)输入到主次感增强模块中。
[0064]
进一步地，将掩码信息m覆盖区域作为g(i)的主体部分，其余区域作为g(i)的背景部分。
[0065]
步骤2.3，在主次感增强模块中，将g(i)中步骤2.2的主体部分进行增强，将对应素描风景图中步骤2.2的背景部分进行弱化。
[0066]
具体地，增强算法为利用图像增强函数，将掩码信息所覆盖区域素描图的对比度扩大至1.5倍。
[0067]
具体地，素描风景图的像素信息均为0-255的灰度像素值，步骤2.3中的弱化算法将素描风景图背景部分像素点的灰度像素值提高50，若提高后大于255的像素点则调整其像素值为255。
[0068]
最终，步骤1初步合成的素描风景图经过主次感增强算法后，得到视觉上主体部分与背景部分有所区分的素描风景图。
[0069]
本发明在图4中进行了实验结果展示，第一列为输入的自然实景图像，第三列为本发明摆脱成对训练数据的限制，基于深度学习中的循环生成对抗网络初步得到的素描风景图，在保证图像内容的同时，其视觉上已具有铅笔画的风格。图4第二列的mask为图2主体区域提取模块生成的掩码信息，以此来表示图像的主体部分，第四列为对初步合成的素描风景图进行主次感增强后得到的效果图，观察到，第一行输入图像中近处的船作为主体部分被突出展示，远处的建筑作为背景部分被弱化；第二行输入图像中清晰的行人和一团杂草作为主体部分被突出展示，模糊的道路和树林被弱化。实验结果表明，本发明的素描图主次感增强方案有效。