一种用于三维场景的古画风格迁移方法与流程

技术特征：
1.一种用于三维场景的古画风格迁移方法，其特征在于，包括如下步骤：(1)收集古画图片和内容图片，分别构成古画图片集和内容图片集，所述内容图片为多视角三维场景图；(2)分别将步骤(1)收集的古画图片和内容图片输入vgg-19神经网络模型中进行处理，得到对应的风格特征和内容特征；(3)使用vgg-19神经网络模型的滤波器函数对步骤(2)得到的风格特征和内容特征进行编码，得到风格特征与内容特征的特征映射，并且通过vgg-19神经网络模型的自适应规范层对得到的特征映射进行归一化处理，获取噪声图片特征图；(4)将步骤(3)获取的噪声图片特征图与步骤(1)中收集的古画图片进行对比分析，构建风格损失函数l
style
；将步骤(3)获取的噪声图片特征图与步骤(1)中收集的内容图片进行对比分析，构建内容损失函数l
content
，以风格损失函数l
style
和内容损失函数l
content
构建总损失函数l
total
＝αl
content
βl
style
，其中，α表示内容损失函数的权重参数，β表示风格损失函数的权重参数；(5)重复步骤(2)-(4)，直至总损失函数收敛，完成对vgg-19神经网络模型的训练；(6)再次将古画图片和内容图片输入训练好的vgg-19神经网络模型中，通过vgg-19神经网络模型的解码器输出生成图像，所述生成图像包含对应于待风格迁移的三维场景模型的内容；(7)使用opencv图像分割算法grabcut对生成的图像中待风格迁移的三维场景模型的内容进行语义分割，通过shader着色器技术生成uv古画中的色彩纹理，并通过shader计算待风格迁移的三维场景模型的顶点纹理，定义三维场景模型各位置的材质属性信息，在unity3d中将古画中的色彩纹理进行可视化迁移。2.根据权利要求1所述用于三维场景的古画风格迁移方法，其特征在于，步骤(2)的具体过程为：在vgg-19神经网络模型的原始cnn表征之上，新建一个特征空间，使用建立的特征空间去捕获输入的古画图片的风格特征；提取古画图片的图像特征与内容，再使用vgg-19神经网络模型中的深层网络获取内容图片的高层特征，提取出内容特征。3.根据权利要求1所述用于三维场景的古画风格迁移方法，其特征在于，步骤(3)包括如下子步骤：(3.1)在vgg-19神经网络模型的19层卷积网络中均使用滤波器函数对得到的风格特征和内容特征进行编码，分别得到风格特征映射与内容特征映射；(3.2)通过vgg-19神经网络模型的自适应规范层对得到的特征映射进行归一化处理，将古画图片的方差和均值分别替代偏移量和缩放系数，使得内容图片特征的均值和方差与古画图片特征保持一致，产生特征映射获取噪声图片特征图；其中，x表示内容图片，y表示古画图片，μ(x)表示内容图片的均值，σ(x)表示内容图片的方差，μ(y)表示古画图片的均值，σ(y)表示古画图片的方差。4.根据权利要求1所述用于三维场景的古画风格迁移方法，其特征在于，步骤(4)中构建的风格损失函数l
style
为：
其中，l表示vgg-19神经网络模型中的第l卷积网络，w
l
表示第l层卷积网络的权重，e
l
表示第l层卷积网络的风格损失。5.根据权利要求4所述用于三维场景的古画风格迁移方法，其特征在于，所述第l层卷积网络的风格损失e
l
为：其中，表示第l卷积网络第i个卷积第j个位置的噪音图像特征的gram矩阵，表示第l卷积网络第i个卷积第j个位置的古画图片特征的gram矩阵，m
l
表示第l卷积网络中gram矩阵的长与宽的积，n
l
表示特征矩阵的信道数。6.根据权利要求1所述用于三维场景的古画风格迁移方法，其特征在于，步骤(4)中构建的内容损失函数l
content
为：其中，表示噪声图片在第l层第i个卷积的第j个位置的特征，表示内容图片在第l层第i个卷积的第j个位置的特征。

技术总结
本发明公开一种用于三维场景的古画风格迁移方法，使用古画图片和内容图片训练VGG-19神经网络模型，再将古画图片和内容图片输入训练好的VGG-19神经网络模型中，输出生成图像，使用OpenCV图像分割算法grabCut对生成的图像中待风格迁移的三维场景模型的内容进行语义分割，通过Shader着色器技术生成UV古画中的色彩纹理，并通过Shader计算待风格迁移的三维场景模型的顶点纹理，定义三维场景模型各位置的材质属性信息，在Unity3D中将古画中的色彩纹理进行可视化迁移。本发明古画风格迁移方法解决了现有文化遗产三维场景风格过于现代的问题，为文化遗产三维场景古风快速可视化提供了解决思路。解决思路。解决思路。


技术研发人员：王孟和 沈婕 张天纯 洪帅 唐龙 邱申鹏
受保护的技术使用者：南京市测绘勘察研究院股份有限公司
技术研发日：2022.01.13
技术公布日：2022/5/17