基于深度学习的高质量材质贴图获取方法与流程

1.本发明属于图像处理技术领域，具体涉及一种基于深度学习的高质量材质贴图获取方法。


背景技术：

2.空间变化的双向反射分布函数(svbrdf)，建模为6维空间(光视图方向(4d)和空间位置(2d))的函数，描述了入射光被特定表面反射后的不同出射方向上的分布。在具有ggx正态分布函数的cook-torrance brdf模型(主要用于基于物理的渲染)的假设下，svbrdf可以使用四个参数贴图进行参数化：漫反射、镜面反射、法线和光泽度。
3.上述svbrdf参数的传统获取倾向于在6d空间上进行密集采样以获得合理的结果，但它们的程序效率低下并且经常受到昂贵硬件的限制。最近的研究证明了可以应用深度学习以方便的方式获取svbrdf参数，这些研究旨在从手机相机拍摄的一张或多张照片中恢复材料的反射特性。但是基于网络接收到的先验知识进行估计，会导致在不同光照下拍摄的相同材料的照片得到不同的结果。这种情况很容易发生，作为采集任务中的一个关键因素，光照总是在变化：室内或室外，晴天或阴天，中午或晚上等。然而，却很少有人提出通过控制照明的方法避免这些情形的发生。因此，在受到杂光干扰的情况下，这些研究的结果只满足了普通用户的娱乐需求，却无法满足专业设计师对重建材料准确性的严格要求。在网络模型方面，u-net中的跳接结构只能够将局部信息从编码器传递到解码器，缺乏对全局信息的传输。


技术实现要素：

4.为了解决上述现有的技术问题，本发明提供了一种基于深度学习的高质量材质贴图获取方法，该方法在控制照明方面，通过设计一个穹顶式的仪器，对外部干扰光线具有很好的遮蔽效果，同时内部的光源的功率与网络训练数据一致，以此达到实物照明与虚拟物体照明相一致的条件；在模型结构改进方面，设计了一个全局跳接结构，通过均值和全连接计算，将编码器的信息压缩，并通过广播的方式传播到解码器的每一个区域中，弥补了u-net跳接忽略全局信息的问题。从而实现了为艺术家设计师和工业应用生成高质量的svbrdf贴图。
5.本发明的目的可以通过采取如下技术方案达到：
6.一种基于深度学习的高质量材质贴图获取方法，所述方法包括：
7.搭建材料获取平台，记录参数搭建虚拟场景，并得到n个材料图像；所述材料获取平台的控制光照仪器包括相机、材料台和n个光源，n个光源均匀分布在半球壳上；
8.根据所述参数搭建虚拟场景和n个材料图像，得到训练数据；
9.利用所述训练数据训练网络模型，得到训练好的网络模型；所述网络模型中的编码器和解码器中间设置全局跳接结构，通过全局平均池化和全连接计算，将编码器的信息压缩，并通过广播的方式传播到解码器的每一个区域；
10.将在所述材料获取平台拍摄的照片输入训练好的网络模型，得到该材料的材质贴图。
11.进一步的，所述搭建材料获取平台，记录参数搭建虚拟场景，并得到n个材料图像，具体包括：
12.搭建平台时，记录参数搭建虚拟场景，包括相机参数和相机位置、材料台的大小和位置、光源的大小、功率和位置；
13.n个光源分布在半球形外壳的三个不同层级；
14.当系统开始工作时，n个光源将依次点亮，同时，当光源亮起时，摄像机拍摄材料台上的材料；
15.在捕获过程结束时，得到n个材料图像，其中，每个材料图像仅由一个光源点亮。
16.进一步的，所述n个光源分布在半球形外壳的三个不同层级，具体为：
17.在以半球中心为起点的极坐标系中，每层安装n/3个等距的光源，每层之间的夹角为22.5度。
18.进一步的，在摄像机拍摄材料台上的材料之前，使用x-rite colorchecker passport校准相机，以确保在捕获过程中具有高色彩准确度，光强也在硬件和虚拟渲染环境之间用18％灰卡进行调整。
19.进一步的，在全局跳接中，编码器特征首先被压缩为一个具有单位大小的值，然后全局跳接将其广播到整个解码器中的每个字段。
20.进一步的，所述训练数据包括贴图d
p
、s
p
、g
p
、n
p
和n张虚拟照片r1,...,rn；
21.所述网络模型包括漫反射网络、镜面反射网络、法线网络和光泽度网络；
22.所述利用所述训练数据训练网络模型，得到训练好的网络模型，具体包括：
23.将所述虚拟照片r1,...,rn输入网络模型，利用所述网络模型中的四个网络得到网络预测的贴图d
p
、s
p
、g
p
和n
p
；
24.利用所述网络预测的贴图d
p
、s
p
、g
p
、n
p
和所述训练数据中的贴图d
p
、s
p
、g
p
、n
p
计算损失函数；
25.训练所述网络模型时，使用l1损失函数和渲染损失函数，同时，在法线网络和漫反射网络中分别添加余弦损失函数和ssim损失函数；
26.以降低损失函数为目标，优化网络参数，从而得到训练好的网络模型。
27.进一步的，所述余弦损失函数如下：
[0028][0029]
其中，n
t
和n
p
表示虚拟渲染使用的法线和网络预测的法线。
[0030]
进一步的，所述根据所述参数搭建虚拟场景和n个材料图像，得到训练数据，具体包括：
[0031]
获取已知材料的贴图d
t
、s
t
、g
t
和n
t
；
[0032]
根据所述参数搭建虚拟场景对n个材料图像进行渲染，得到虚拟照片r1,...,rn；所述贴图d
t
、s
t
、g
t
、n
t
和所述虚拟照片r1,...,rn构成训练数据；
[0033]
为扩充材料类型，将所述贴图打乱使用。
[0034]
进一步的，所述半球壳的材料具备良好的遮光性，所述材料台使用具有良好漫反
射性质的材料。
[0035]
进一步的，所述光源为led灯，n为24。
[0036]
本发明相对于现有技术具有如下的有益效果：
[0037]
1、本发明在控制照明方面，设计了一个穹顶式的仪器，对外部干扰光线具有很好的遮蔽效果，同时内部的光源的功率与网络训练数据一致，以此达到实物照明与虚拟物体照明相一致的条件。并且本发明构建的材料获取平台相较于传统反射特性获取设备更加简单易搭建，成本低廉；相较于其他方法，在这个设备下拍摄的图片光照可以保持稳定，保证最终实现良好的重建效果。
[0038]
2、本发明设计的全局跳接结构可以在编码器和解码器之间传递全局信息，而传统u-net中的跳接只能传递局部信息；本发明的全局跳接结构通过均值和全连接计算，将编码器的信息压缩，并通过广播的方式传播到解码器的每一个区域中，弥补了u-net跳接忽略全局信息的问题。
[0039]
3、本发明与其他贴图生成的网络对比，本方法将不同的贴图使用不同的网络进行训练，达到了解耦合的效果。最终的生成结果相较这些方法也取得了更好的重建效果。
附图说明
[0040]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
[0041]
图1为本发明实施例的基于深度学习的高质量材质贴图获取方法的流程图。
[0042]
图2为本发明实施例的拍摄使用的控制光照仪器示意图。
[0043]
图3为本发明实施例的网络模型的原理图。
[0044]
图4为本发明实施例的网络模型训练过程的示意图。
[0045]
图5为本发明实施例的贴图获取的示意图。
具体实施方式
[0046]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0047]
实施例：
[0048]
如图1所示，本实施例提供了一种基于深度学习的高质量材质贴图获取方法，以布料的贴图获取为例(本方法使用与近平面物体，不局限于布料)，包括以下步骤：
[0049]
s101、搭建材料获取平台，记录参数搭建虚拟场景，并得到n个材料图像。
[0050]
本实施中n的取值为24。
[0051]
如图2所示，拍摄使用的控制光照仪器由相机、材料台和n个led灯组合而成，这些led灯均匀分布在半球壳上。进行采集时，需要对仪器进行遮光处理，防止外部光照干扰。搭建平台时，记录下相机参数和相机位置、材料台的大小和位置、led灯的大小、功率和位置。
需要使用这些数据在渲染软件上对虚拟数据进行渲染，采用平面光近似有体积的led光源。
[0052]
n个led分布在半球形外壳的三个不同层级。在以半球中心为起点的极坐标系中，每层安装n/3(本实施例中为8)个等距的led，每层之间的夹角为22.5度。当系统开始工作时，n个led将依次点亮。同时，当led灯亮起时，摄像机会拍摄材料台上的材料。在捕获过程结束时，可以得到n个材料图像，每个图像仅由一个led点亮。
[0053]
在获取之前，需要使用x-rite colorchecker passport校准相机，以确保在捕获过程中具有高色彩准确度。光强也在硬件和虚拟渲染环境之间用18％灰卡进行调整。颜色和光强校准可以进一步缩小训练和测试数据集之间的光照差距。
[0054]
本实施中遮光半球的材料只需具备良好的遮光性即可，相机的像素决定了最终生成贴图的像素，材料台使用具有良好漫反射性质的材料，需要将底部灯光均匀地散布在材料台保证透明度的计算。led灯源可更换为其他光源。光源位置不局限于设计方案中标示的位置，可更换为其他位置，只需根据情况更改虚拟渲染场景即可。
[0055]
s102、根据参数搭建虚拟场景和n个材料图像，得到训练数据。
[0056]
请专业人员对已有布料进行贴图制作(也可自行从网络下载相关贴图)，可以得到贴图d
t
、s
t
、g
t
和n
t
。根据步骤s101中记录的参数搭建虚拟场景，对n个材料图像进行渲染得到虚拟照片r1,...,rn。这两部分数据组成了训练使用的虚拟数据，作为训练数据。
[0057]
为扩充布料类型，可以将不同贴图打乱使用。
[0058]
s103、利用训练数据训练网络模型，得到训练好的网络模型。
[0059]
如图3所示，网络模型中的编码器和解码器中间设置了一个全局跳接结构，通过全局平均池化和全连接计算，将编码器的信息压缩，并通过广播的方式传播到解码器的每一个区域中，弥补了u-net跳接忽略全局信息的问题。
[0060]
在全局跳接中，编码器特征首先被压缩为一个具有单位大小的值，然后全局跳接将其广播到整个解码器中。在一般跳接中，解码器中的每个字段只能获取对应编码器字段中的信息，它只传递局部信息，而全局跳接将全局信息通过广播传递到解码器中的每个字段。
[0061]
将步骤s102中得到的训练数据中的虚拟照片r1,...,rn输入网络模型，得到网络预测的贴图d
p
、s
p
、g
p
和n
p
，利用预测贴图和训练数据中的贴图d
t
、s
t
、g
t
和n
t
计算损失函数(loss)。以降低loss为目标，优化网络参数，使预测贴图接近真实贴图。训练时需要根据训练情况调节训练参数(如学习率)，可以使训练结果更好。
[0062]
每张预测的贴图都使用一个单独的网络进行生成。训练时使用l1损失函数和渲染损失函数，同时，在法线网络和漫反射网络中分别添加余弦损失和ssim损失。其中余弦损失函数如下：
[0063][0064]
其中，n
t
和n
p
表示虚拟渲染使用的法线和网络预测的法线。
[0065]
如图4所示，在训练阶段，监督网络的成对训练样本r1,...,rn是通过使用已知的虚拟svbrdf参数(表示为d
t
、s
t
、g
t
和n
t
)在和采集设备相同的光照设置下，使用cook-torrance brdf模型进行渲染。
[0066]
s104、将在材料获取平台拍摄的照片输入训练好的网络模型，得到该材料的材质
贴图。
[0067]
如图5所示，使用步骤101搭建的设备对布料进行拍照，将拍摄的照片(i1,...,in)输入训练好的网络模型，即可得到该布料的材质贴图(dp，sp，gp和np)。
[0068]
本领域技术人员可以理解，实现上述实施例的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读存储介质中。
[0069]
应当注意，尽管在附图中以特定顺序描述了上述实施例的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
[0070]
以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。