一种用于三维场景的古画风格迁移方法与流程

19神经网络模型的解码器输出生成图像，所述生成图像包含对应于待风格迁移的三维场景模型的内容；
12.(7)使用opencv图像分割算法grabcut对生成的图像中待风格迁移的三维场景模型的内容进行语义分割，通过shader着色器技术生成uv古画中的色彩纹理，并通过shader计算待风格迁移的三维场景模型的顶点纹理，定义三维场景模型各位置的材质属性信息，在unity3d中将古画中的色彩纹理进行可视化迁移。
13.进一步地，步骤(2)的具体过程为：在vgg-19神经网络模型的原始cnn表征之上，新建一个特征空间，使用建立的特征空间去捕获输入的古画图片的风格特征；提取古画图片的图像特征与内容，再使用vgg-19神经网络模型中的深层网络获取内容图片的高层特征，提取出内容特征。
14.进一步地，步骤(3)包括如下子步骤：
15.(3.1)在vgg-19神经网络模型的19层卷积网络中均使用滤波器函数对得到的风格特征和内容特征进行编码，分别得到风格特征映射与内容特征映射；
16.(3.2)通过vgg-19神经网络模型的自适应规范层对得到的特征映射进行归一化处理，将古画图片的方差和均值分别替代偏移量和缩放系数，使得内容图片特征的均值和方差与古画图片特征保持一致，产生特征映射获取噪声图片特征图；
17.其中，x表示内容图片，y表示古画图片，μ(x)表示内容图片的均值，σ(x)表示内容图片的方差，μ(y)表示古画图片的均值，σ(y)表示古画图片的方差。
18.进一步地，步骤(4)中构建的风格损失函数l
style
为：
[0019][0020]
其中，l表示vgg-19神经网络模型中的第l卷积网络，w
l
表示第l层卷积网络的权重，e
l
表示第l层卷积网络的风格损失。
[0021]
进一步地，所述第l层卷积网络的风格损失e
l
为：
[0022][0023]
其中，表示第l卷积网络第i个卷积第j个位置的噪音图像特征的gram矩阵，表示第l卷积网络第i个卷积第j个位置的古画图片特征的gram矩阵，m
l
表示第l卷积网络中gram矩阵的长与宽的积，n
l
表示特征矩阵的信道数。
[0024]
进一步地，步骤(4)中构建的内容损失函数l
content
为：
[0025][0026]
其中，表示噪声图片在第l层第i个卷积的第j个位置的特征，表示内容图片在第l层第i个卷积的第j个位置的特征。
[0027]
与现有技术相比，本发明的有益效果是：
[0028]
(1)本发明用于三维场景的古画风格迁移方法是基于vgg-19卷积神经网络模型对古画图片和内容图片进行训练生成，在此基础上提取古画中的色彩纹理，在最大程度上保留原图内容的同时，初步的实现了三维场景古画风格迁移的可视化；
[0029]
(2)本发明用于三维场景的古画风格迁移方法能够填补风格迁移算法在三维场景及其模型中的应用空白，为风格迁移算法三维场景的应用提供一个很好的示范案例；
[0030]
(3)本发明用于三维场景的古画风格迁移方法，结合了文学、美学、计算机科学等多学科领域方法，生成不同历史时期的历史文化风格图片，在节约了大量人力物力的前提下，快速实现文化遗产三维场景的历史文化特征迁移可视化，能够较为真实的展现文化遗产的历史文化状况，以较为新颖的方法实现对历史文化遗产的保护。
附图说明
[0031]
图1是本发明用于三维场景的古画风格迁移方法的流程图。
具体实施方式
[0032]
下面结合附图和具体实施方式对本发明进行详细说明。
[0033]
如图1为本发明用于三维场景的古画风格迁移方法的流程图，该古画风格迁移方法具体包括如下步骤：
[0034]
(1)收集古画图片和内容图片，分别构成古画图片集和内容图片集，所述内容图片为多视角三维场景图；具体地，根据文化遗产建筑对应的历史年代确定用于风格迁移的古画图片；明确构图要素，生成文化遗产三维场景构图，将生成的图片作为风格迁移的内容图片。
[0035]
(2)分别将步骤(1)收集的古画图片和内容图片输入vgg-19神经网络模型中进行处理，得到对应的风格特征和内容特征；具体地，在vgg-19神经网络模型的原始cnn表征之上，新建一个特征空间，使用建立的特征空间去捕获输入的古画图片的风格特征；提取古画图片的图像特征与内容，再使用vgg-19神经网络模型中的深层网络获取内容图片的高层特征，提取出内容特征。
[0036]
(3)使用vgg-19神经网络模型的滤波器函数对步骤(2)得到的风格特征和内容特征进行编码，得到风格特征与内容特征的特征映射，并且通过vgg-19神经网络模型的自适应规范层对得到的特征映射进行归一化处理，获取噪声图片特征图，从而实现任意风格图片的风格传递；具体地，步骤(3)包括如下子步骤：
[0037]
(3.1)在vgg-19神经网络模型的19层卷积网络中均使用滤波器函数对得到的风格特征和内容特征进行编码，分别得到风格特征映射与内容特征映射；
[0038]
(3.2)通过vgg-19神经网络模型的自适应规范层对得到的特征映射进行归一化处理，将古画图片的方差和均值分别替代偏移量和缩放系数，使得内容图片特征的均值和方差与古画图片特征保持一致，产生特征映射获取噪声图片特征图；
[0039]
其中，x表示内容图片，y表示古画图片，μ(x)表示内容图片的均值，σ(x)表示内容图片的方差，μ(y)表示古画图片的均值，σ(y)表示古画图片的方差。
[0040]
(4)将步骤(3)获取的噪声图片特征图与步骤(1)中收集的古画图片进行对比分析，构建风格损失函数l
style
；将步骤(3)获取的噪声图片特征图与步骤(1)中收集的内容图片进行对比分析，构建内容损失函数l
content
，以风格损失函数l
style
和内容损失函数l
content
构建总损失函数l
total
＝αl
content
βl
style
，其中，α表示内容损失函数的权重参数，β表示风格损失函数的权重参数；通过调节生成图像中风格和内容的权重占比，实现对风格迁移效果的简单优化。
[0041]
本发明中构建的风格损失函数l
style
为：
[0042][0043]
其中，l表示vgg-19神经网络模型中的第l卷积网络，w
l
表示第l层卷积网络的权重，e
l
表示第l层卷积网络的风格损失，e
l
为：
[0044][0045]
其中，表示第l卷积网络第i个卷积第j个位置的噪音图像特征的gram矩阵，表示第l卷积网络第i个卷积第j个位置的古画图片特征的gram矩阵，m
l
表示第l卷积网络中gram矩阵的长与宽的积，n
l
表示特征矩阵的信道数。
[0046]
本发明中构建的内容损失函数l
content
为：
[0047][0048]
其中，表示噪声图片在第l层第i个卷积的第j个位置的特征，表示内容图片在第l层第i个卷积的第j个位置的特征。
[0049]
(5)重复步骤(2)-(4)，直至总损失函数收敛，完成对vgg-19神经网络模型的训练，在vgg-19神经网络模型中，解码器部分的网络结构与编码器是对称的，此处使用vgg-19神经网络模型来训练解码器，通过设置初始随机参数，使用relu作为激活函数，使得vgg-19神经网络模型在梯度下降方法的支撑下，不断进行更新，直至网络逐渐收敛。
[0050]
(6)再次将古画图片和内容图片输入训练好的vgg-19神经网络模型中，通过vgg-19神经网络模型的解码器输出生成图像，生成图像包含对应于待风格迁移的三维场景模型的内容。
[0051]
(7)使用opencv图像分割算法grabcut对生成的图像中待风格迁移的三维场景模型的内容进行语义分割，通过shader着色器技术生成uv古画中的色彩纹理，并通过shader计算待风格迁移的三维场景模型的顶点纹理，定义三维场景模型各位置的材质属性信息，例如粗糙度、反射性等，在unity3d中将古画中的色彩纹理进行可视化迁移。
[0052]
将本发明用于三维场景的古画风格迁移方法用于代表性历史价值的古画进行风格迁移，初步的实现了古画风格特征提取至三维场景的映射，改善了现有文化遗产场景过于现代感的状况，使得迁移后的文化遗产三维场景具有一定的艺术性和历史价值。
[0053]
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的
普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。