一种基于深度学习的素描风景图生成方法

技术特征：
1.一种基于深度学习的素描风景图生成方法，其特征在于包括以下步骤：步骤1，训练基于深度学习的素描风景图生成网络；步骤1.1，获取用于训练的自然实景图像和素描风景图像，建立非成对的数据集；步骤1.2，将自然实景图片-素描风景数据集输入到双循环生成对抗网络中，构建重构损失和对抗损失，进行学习；步骤1.3，将待转换的自然实景图像输入到训练好的网络模型中，初步合成对应的素描风景图；步骤2，设计素描主次感增强算法；步骤2.1，设计主体区域提取模块，选择步骤1.1自然实景图像的主体区域并生成该区域的掩码信息；步骤2.2，将步骤2.1得到的掩码信息与步骤1.3所述初步合成的素描风景图输入到主次感增强模块中；将掩码信息覆盖区域作为合成素描风景图的主体部分，其余区域作为合成素描风景图的背景部分；步骤2.3，在主次感增强模块中，将对应素描风景图中步骤2.2的主体部分进行增强，将对应素描风景图中步骤2.2的背景部分进行弱化，最终获得主次感增强后的素描风景图。2.根据权利要求1所述的方法，其特征在于：步骤1.1中，将自然实景图像域定义为源域i域，将素描风景图像域定义为目标域s域；步骤1.2中双循环生成对抗网络包括两组生成对抗网络：一组为负责将自然图像转换为素描图像的生成器g和用于鉴别合成素描与真实素描的域判别器d
s
，另一组是负责将素描图映射回自然图像的逆生成器f和用于鉴别合成照片与真实照片的域判别器d
i
；将步骤1.2中的双循环生成对抗网络构建为非对称结构，a组循环为：将步骤1.1的自然实景图像输入生成器g，输出生成素描图；将生成素描图与步骤1.1的真实素描图输入到判别器d
s
中，计算对抗损失；继续将生成素描图输入逆生成器f，输出再生成自然实景图像，计算输入自然实景图像与再生成自然实景图像的松弛循环一致性损失；b组循环为：将步骤1.1的素描风景图像输入逆生成器f，输出生成实景图；将生成实景图与步骤1.1的真实实景图输入到判别器d
i
中，计算对抗损失；继续将生成实景图输入生成器g，输出再生成素描风景图像，计算输入素描风景图像与再生成素描风景图像的严格循环一致性损失；步骤2.3中的增强算法为将掩码信息所覆盖素描图区域的对比度扩大，步骤2.3中的弱化算法为将素描图背景部分像素点的灰度像素值提高。3.根据权利要求1所述的方法，其特征在于：步骤1，构建并训练基于深度学习的素描风景图生成网络；步骤1.1，获取用于训练的自然实景图像和素描风景图像，构建非成对数据集；从公开数据集中选取自然实景图像组成自然域数据集，将其定义为源域i域，i域中的训练数据表示为：其中，s(
·
)表示集合，i表示在i域中的每一张图片，j表示对该数据集中每张图片的标号，共有n张；
在互联网上通过在线图片网站收集素描风景图像组成素描域数据集，将其为目标域s域，s域中的训练数据表示为：其中，s(
·
)表示集合，s表示在s域中的每一张图片，k表示对该数据集中每张图片的标号，共有m张；两数据集中的图像没有一一对应关系且不属于同一分布；步骤1.2，在缺乏成对训练数据的情况下，将自然实景图片-素描风景数据集输入到非对称的双循环生成对抗网络中，构建重构损失和对抗损失，训练学习从自然域i域到s域的映射，网络框架如图2所示；该模型由两组生成对抗网络组成——一组为能够将自然图像转换为素描风景图的生成器g和用于判别合成素描与真实素描的域判别器d
s
，另一组为能够将素描图映射为自然图像的逆生成器f和用于判别合成自然图像与真实自然图像的域判别器d
i
；生成器g属于一个残差网络，该网络由3个下采样卷积层、9个残差块、3个上采样卷积层组成，逆生成器f与生成器g结构相同；域判别器d
s
和域判别器d
i
均包括6层卷积层；两组生成对抗网络构建为双循环结构；a组循环为：将步骤1.1的自然实景图像i输入到生成器g中，生成器g从一个平面卷积和两个向下卷积块开始，对自然域图像i进行编码并提取有用的特征；接着使用由9个残差块组成的resnet来构建内容特征，把步骤1.1的源域图像转换到目标域；最后通过两个上卷积块和一个final卷积层重构输出合成素描图g(i)；将合成素描图g(i)与步骤1.1的真实素描图s输入到判别器d
s
中，进行对抗学习，计算对抗损失，该损失函数定义如下：其中，表示分布函数的期望值，s∈s(s)为真实样本即素描图，g(i)为转化后的图片；训练时，通过计算交叉熵优化函数，生成器g不断生成逼真的图片想要最小化这个函数值，域判别器d
s
不断提高自身的判别能力想要最大化这个函数值，双方不断博弈，直到域判别器d
s
无法判别生成器g合成的图像是否属于素描域；继续将合成素描图g(i)输入逆生成器f，输出再生成自然实景图像f(g(i))；利用图像间语义级别相似的感知损失计算i与f(g(i))间的松弛循环一致性损失；利用边缘提取模块hed-thr提取f(g(i))与i的边缘信息并利用lpips感知度量评估边缘的相似性，构造了非对称结构中的松弛循环一致性损失，具体定义如下：其中，h_3表示提取图像在hed方法中的第三层边缘输出结果，l
lpips
为lpips感知度量计算；b组循环为：将步骤1.1的素描风景图像s输入到逆生成器f中，与a组循环进行相同的操作输出合成实景图f(s)；并将合成实景图f(s)与步骤1.1的真实实景图i输入到域判别器d
i
中，进行对抗学习，计算对抗损失，该损失函数具体定义如下：其中，表示分布函数的期望值，i∈s(i)为真实样本即自然实景图，f(s)为转化后
的图片；训练时，与a组循环的判别过程类似，逆生成器f与域判别器d
i
不断博弈，直到域判别器d
i
无法判别逆生成器f合成的图像是否属于自然域；继续将合成实景图f(s)输入生成器g，输出再合成素描风景图像g(f(s))；在b组循环中需要保证g(f(s))与原输入s是像素级别的相似，因为使用l1范数能够比l2范数产生更加清晰的图片，使用l1距离计算严格循环一致性损失；训练时，学习率固定为0.0002，训练200个epoch；步骤1.3，将待转换的自然实景图像输入到训练好的网络模型中，初步合成对应的素描风景图；步骤2，设计素描主次感增强算法；步骤2.1，设计主体区域提取模块，利用交互式分割技术自主地选择步骤1.1自然实景图像的主体区域，提取主体区域掩码信息；通过反向传播优化方案进行的交互式图像分割方法来模拟画家自主选择自然实景图像的主体区域并生成该区域的掩码信息；步骤2.2，将步骤2.1通过主体区域提取模块得到的掩码信息m与步骤1.3所述初步合成的素描风景图g(i)输入到主次感增强模块中；将掩码信息m覆盖区域作为g(i)的主体部分，其余区域作为g(i)的背景部分；步骤2.3，在主次感增强模块中，将g(i)中步骤2.2的主体部分进行增强，将对应素描风景图中步骤2.2的背景部分进行弱化；增强算法为利用图像增强函数，将掩码信息所覆盖区域素描图的对比度扩大至1.5倍；素描风景图的像素信息均为0-255的灰度像素值，步骤2.3中的弱化算法将素描风景图背景部分像素点的灰度像素值提高50，若提高后大于255的像素点则调整其像素值为255；最终，步骤1初步合成的素描风景图经过主次感增强算法后，得到视觉上主体部分与背景部分有所区分的素描风景图。

技术总结
本发明提出一种基于深度学习的素描风景图生成方法，具体涉及基于深度学习的素描风景图生成网络，以及基于交互式分割的素描主次感增强算法。素描风景图生成网络的训练步骤如下：获取网上的非成对自然域图像和素描域图像作为训练数据；将自然实景图片-素描风景数据集输入到非对称双循环生成对抗网络中进行训练；将自然实景图像输入到训练好的网络模型中，初步合成对应的素描风景图。素描主次感增强算法包括如下步骤：设计主体区域提取模块，自主选取合成素描风景图的主体部分；设计主次感增强模块，将合成素描图的主体部分进行增强、将背景部分进行弱化，获得具有主次感的素描图。本发明能够将自然实景图像自动转化为富有主次感的素描风景图。有主次感的素描风景图。有主次感的素描风景图。


技术研发人员：马伟 周显晴
受保护的技术使用者：北京工业大学
技术研发日：2022.02.16
技术公布日：2022/5/31