一种元宇宙三维建筑模型风格化迁移方法与流程

1.本发明涉及元宇宙技术领域，具体来说，涉及一种元宇宙三维建筑模型风格化迁移方法。


背景技术：

2.元宇宙的核心思想是为人们提供可实时交互的虚拟世界，在这样的虚拟世界中，人们可以以数字化的形式身四处走动，并与其他用户进行聊天和互动。建筑是元宇宙虚拟世界中的基本元素之一，建筑本身的立体属性和设计方式与3d可视化技术具有天然连接，在此基础上，如何对虚拟世界中的建筑立面进行设计和改造，并提供多样化的艺术效果表达是目前学术界和工业界关注的热点。
3.近年来兴起的风格化迁移技术是深度学习领域很有创意的工作成果，它可以将一幅艺术风格画x的绘画风格巧妙地融入到内容图像y中，生成一幅新的图像yx，生成的yx既保持内容图像y的原始图像内容，例如内容图像是一部汽车，融合后仍是一部汽车，不能变成摩托车，又要保持风格图像x的特有风格，比如纹理、色调、笔触等。风格化迁移技术能够为元宇宙虚拟世界中的建筑生成与改造提供多样化艺术效果，增强用户的交互性，为用户提供对虚拟世界的个性化、多样化的体验。
4.目前，将风格化迁移技术应用于建筑设计领域的主要工作包括：效果图的风格迁移、建筑立面的风格迁移、彩色平面示意图的风格迁移等，其共同特点是对图像做整体风格化迁移，用于元宇宙虚拟世界的建筑生成与改造时，表现出一些不足：1.现有的风格迁移技术仅限于最终输出图像，不能对三维数字模型本身进行风格迁移，难以满足在虚拟世界中的模型交互需求。
5.2.现有的风格迁移技术每次风格迁移需要根据原图像和目标图像进行单独模型训练，极大影响风格迁移的效率和实时性。
6.3.现有的风格迁移技术通常是对图像整体而非语义自然理解上的局部进行迁移，不具备对迁移后的结果进行重新组合再利用的能力。
7.针对相关技术中的问题，目前尚未提出有效的解决方案。


技术实现要素：

8.本发明的目的在于提供一种元宇宙三维建筑模型风格化迁移方法，以解决上述背景技术中提出的问题。
9.为实现上述目的，本发明提供如下技术方案：一种元宇宙三维建筑模型风格化迁移方法，该方法包括：a1.建筑构件模型文件预处理；a2.建筑构件贴图的风格化迁移；a3.利用深度学习模型，学习不同风格的特征，用该特征将输入的原始二维或三维建筑构件进行风格变换，变换后的二维或三维建筑构件进行纹理及凹凸贴图替换。
10.进一步设置为，所述步骤a1包括以下步骤：b1：使模型的uv连续可展开；b2：展开模型纹理贴图，并确保其语义连续可识别；b3：对纹理贴图进行有重合的切割，输出切割后的贴图瓦片。
11.进一步设置为，所述步骤a2包括以下步骤：c1：使用深度学习模型对切割后贴图瓦片进行风格迁移；c2：对风格迁移后的贴图瓦片进行基于深度学习的超分辨率采样放大至原切割尺寸；c3：对放大后的贴图瓦片进行重新拼接至原纹理贴图尺寸。
12.进一步设置为，所述步骤a3包括以下步骤：d1：基于深度学习模型，根据风格迁移后的纹理贴图生成凹凸贴图；d2：将生成的凹凸贴图和纹理贴图映射到原建筑构件模型上，获得风格迁移后的建筑构件三维模型。
13.进一步设置为，所述深度学习模型对输入的二维图图片或三维模型转换成不同的风格，并保留原始二维图图片或三维模型风格，需要提取原始内容时，将重新提取。
14.进一步设置为，所述步骤b2后进行提取贴图，然后将提取的贴图进行贴图切割或贴图预处理。
15.进一步设置为，所述步骤b3的贴图切割方法是：e1：将贴图进行切割为不同大小的像素点；e2：切割时需要考虑每张瓦片涵盖的视野大小，每张瓦片之间需要有至少50％的重叠确保后期的无缝拼合。
16.进一步设置为，所述贴图切割后，通过输入新的文案做引导，利用深度学习模型将文字风格及内容转换为新的贴图风格，并输出新的贴图。
17.进一步设置为，所述像素点大小分别为512、1024、2048。
18.进一步设置为，所述将识别后的尺寸信息进行分类，分为1类、2类、3类，将1类尺寸与原始切割尺寸比对，若1类尺寸大于原尺寸，将自动缩小至原尺寸；将2类尺寸与原始切割尺寸比对，若2类尺寸大于原尺寸，将自动缩小至原尺寸；将3类尺寸与原始切割尺寸比对，若3类尺寸大于原尺寸，将自动缩小至原尺寸；若1类、2类、3类尺寸小于原尺寸，将自动放大至原尺寸。
19.与现有技术相比，本发明具有以下有益效果：1.本发明基于深度学习的风格迁移在三维模型上的应用，满足虚拟数字世界（元宇宙）中对于三维模型进行风格迁移的需求；2.本发明对于三维建筑构件基于深度学习的风格迁移，可以基于一套构件模板自动衍生成不同风格的建筑构件套件，减少不同风格场景搭建中的人工消耗，满足快速发展的元宇宙产业中对于三维场景内容日益增长的需求；3.本发明提高了风格迁移的效率和实时性；4.本发明对迁移后的结果进行重新组合再利用的能力。
20.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
21.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
22.图1是本发明一种元宇宙三维建筑模型风格化迁移方法的步骤示意图；图2是本发明一种元宇宙三维建筑模型风格化迁移方法的细节步骤示意图。
具体实施方式
23.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置的例子。
24.下面，结合附图以及具体实施方式，对发明做出进一步的描述：如图1及图2所示，一种元宇宙三维建筑模型风格化迁移方法，该方法包括：a1.建筑构件模型文件预处理；a2.建筑构件贴图的风格化迁移；a3.利用深度学习模型，学习不同风格的特征，用该特征将输入的原始二维或三维建筑构件进行风格变换，变换后的二维或三维建筑构件进行纹理及凹凸贴图替换。
25.根据上述内容，所述步骤a1包括以下步骤：b1：使模型的uv连续可展开；b2：展开模型纹理贴图，并确保其语义连续可识别；b3：对纹理贴图进行有重合的切割，输出切割后的贴图瓦片。
26.根据上述内容，所述步骤a2包括以下步骤：c1：使用深度学习模型对切割后贴图瓦片进行风格迁移；c2：对风格迁移后的贴图瓦片进行基于深度学习的超分辨率采样放大至原切割尺寸；c3：对放大后的贴图瓦片进行重新拼接至原纹理贴图尺寸。
27.根据上述内容，所述步骤a3包括以下步骤：d1：基于深度学习模型，根据风格迁移后的纹理贴图生成凹凸贴图；d2：将生成的凹凸贴图和纹理贴图映射到原建筑构件模型上，获得风格迁移后的建筑构件三维模型。
28.根据上述内容，所述深度学习模型对输入的二维图图片或三维模型转换成不同的风格，并保留原始二维图图片或三维模型风格，需要提取原始内容时，将重新提取。
29.根据上述内容，所述步骤b2后进行提取贴图，然后将提取的贴图进行贴图切割或贴图预处理。
30.根据上述内容，所述步骤b3的贴图切割方法是：e1：将贴图进行切割为不同大小的像素点；e2：切割时需要考虑每张瓦片涵盖的视野大小，导致模型无法理解，太大会导致细
节丢失；e3：每张瓦片之间需要有至少50％的重叠确保后期的无缝拼合。
31.根据上述内容，所述贴图切割后，通过输入新的文案做引导，利用深度学习模型将文字风格及内容转换为新的贴图风格，并输出新的贴图。
32.根据上述内容，所述像素点大小分别为512、1024、2048。
33.根据上述内容，所述将识别后的尺寸信息进行分类，分为1类、2类、3类，将1类尺寸与原始切割尺寸比对，若1类尺寸大于原尺寸，将自动缩小至原尺寸；将2类尺寸与原始切割尺寸比对，若2类尺寸大于原尺寸，将自动缩小至原尺寸；将3类尺寸与原始切割尺寸比对，若3类尺寸大于原尺寸，将自动缩小至原尺寸；若1类、2类、3类尺寸小于原尺寸，将自动放大至原尺寸。
34.将尺寸信息进行分类，可以提高深度学习模型速率，以及深度学习模型精确度，经过重复试验以后，深度学习模型将更加稳定高效。
35.该元宇宙三维建筑模型风格化迁移方法，基于深度学习的风格迁移在三维模型上的应用，满足虚拟数字世界中对于三维模型进行风格迁移的需求；基于一套构件模板自动衍生成不同风格的建筑构件套件，减少不同风格场景搭建中的人工消耗，满足快速发展的元宇宙产业中对于三维场景内容日益增长的需求，提高了风格迁移的效率和实时性，同时，对迁移后的结果进行重新组合再利用的能力。
36.本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
37.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。