基于两张图像逆渲染神经网络的高分辨率材质恢复方法

1.本公开的实施例涉及高分辨率材质恢复技术领域，具体涉及基于两张图像逆渲染神经网络的高分辨率材质恢复方法。


背景技术：

2.真实感图形学在电子游戏和电影等领域有广泛应用。它的主要目标是借助计算机强大的计算能力，通过算法模拟真实世界中光照与场景的交互过程，最终产生具有高度真实感的图像，其中材质表达这个交互过程。材质表观建模用于表示光、材质和几何之间相互作用的复杂光照效果，这个交互作用效果在物理学中需要使用一个高维的数学函数来表示。对于不透明物体，这个复杂的过程由六维空间变化双向反射分布函数(svbrdf)定义。这种函数的高维特性导致使用手持设备重建逼真的表观是一个亟待解决的技术难点。
3.现有的恢复材质的方法重建出较差的表观导致渲染出的平面材质表面外观有较多的伪影，当重建高分辨率材质时，渲染出的平面效果极差，不能达到人眼视觉可接受的光照效果。此外，现有恢复材质的方法需要拍摄超过两张的图像，增加了拍摄的复杂度，且对显存的要求很高。


技术实现要素：

4.本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
5.本公开的一些实施例提出了基于两张图像逆渲染神经网络的高分辨率材质恢复方法，来解决以上背景技术部分提到的技术问题中的一项或多项。
6.控制移动终端进行图像拍摄，得到初始闪光灯图和初始引导图，其中，上述初始闪光灯图是上述移动终端在打开闪光灯时拍摄的图像，上述初始引导图是上述移动终端在未打开闪光灯时的环境光下拍摄的图像；对上述初始闪光灯图和上述初始引导图进行分割处理，得到闪光灯图和引导图；从上述闪光灯图和上述引导图中分别选择图像区域，作为闪光灯主图块和引导主图块，其中，上述闪光灯主图块和上述引导主图块在上述闪光灯图和上述引导图中的图像区域的位置是相匹配的；对上述闪光灯图和上述引导图进行分割处理，得到闪光灯图块集合和引导图块集合；从上述闪光灯图块集合和上述引导图块集合中随机筛选闪光灯图块和引导图块作为闪光灯副图块和引导副图块，得到闪光灯副图块集合和引导副图块集合；基于上述引导副图块集合，对上述闪光灯副图块集合进行重排列，得到重光照主图块集合；基于上述闪光灯图、上述重光照主图块集合和上述闪光灯主图块，生成主材质图组；基于上述引导副图块集合中的每个引导副图块、上述主材质图组和上述引导主图块，生成副材质图组，得到副材质图组集合；对上述副材质图组集合中的各个副材质图组进行拼接，得到高分辨率材质图组。
7.大多数现实世界的物体都是由稳态空间分布一类的材质(例如，stationary材质)
组合而成，这种stationary材质表现出不同位置具有相同或相似材质和纹理相似的特性，即stationary特性。例如，木材、一些金属、织物、皮革、人造材料等。关注足够自相似的stationary材质样本，这些样本具有不同位置出现高相似小邻域的特性。由于同一材质在不同空间位置具有不同的入射光方向和视点方向，这些不同的反射能为丢失的特征和歧义性提供线索，因此，结合这些不同的反射能改善表面外观重建的逼真度。
8.虽然一些早期的方法能通过可控光源和视点进行密集采样来恢复逼真的表面外观，但这个恢复材质的过程需要极端的采集条件、很长的耗时和高昂的设备。另外一些方法可以通过使用消费级相机尽可能准确地确定材质，但它们仍然需要拍摄大量图片，增加了采集图片和重建材质过程的复杂性。近年来，深度学习促进了从单张图片恢复材质的发展。然而，对于stationary材质，这些方法没有利用不同位置有相同材质属性的特性恢复材质从而重建更加逼真的表面外观，因此它们恢复出较差的材质导致渲染出的物体有较多的伪影，而且它们以重建低分辨率材质为主要目的，而当重建高分辨率材质时，由于感受野很小，这些训练模型往往产生更差的结果，导致渲染出的效果极差，不能达到人眼视觉可接受的表面外观。增加输入图像的数量能为重建过程提供用于解决缺失或歧义特性的更多线索，然而这些方法没有利用stationary特性，导致不能从更少的图像恢复合理的材质，同时增加了采集图片的复杂度。而且，当直接使用这些方法实现高分辨率材质的重建时，图片数量和分辨率的增加会极大地加大显存的消耗，导致普通用户使用一般配置的计算机不能完成此类任务。
9.本公开提出了针对stationary材质，利用材质自相似特性从两张图像中确定高分辨率材质的方法。为了降低采集图像的复杂度，本公开拍摄两张图像，提高了表面外观重建的逼真度，并从两张图像中获取更多的信息，支持普通用户完成高分辨率材质的恢复。由于只需拍摄两张图像，降低了图像采集的复杂程度，不仅能确定高分辨率材质，而且由于网络处理低分辨率图，避免了高显存的需要，因此本公开适用于具有普通设备的用户使用，并可以从两张图像中确定更合理的材质以重建逼真的表面外观。
附图说明
10.结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。
11.图1是根据本公开的基于两张图像逆渲染神经网络的高分辨率材质恢复方法的一些实施例的流程图；
12.图2是根据本公开的一些实施例的基于两张图像逆渲染神经网络的高分辨率材质恢复方法的一个应用场景的示意图；
13.图3是根据本公开的一些实施例的基于两张图像逆渲染神经网络的高分辨率材质恢复方法的另一个应用场景的示意图；
14.图4是根据本公开的一些实施例的基于两张图像逆渲染神经网络的高分辨率材质恢复方法的又一个应用场景的示意图。
具体实施方式
15.下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
16.另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
17.需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
18.需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
19.本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
20.下面将参考附图并结合实施例来详细说明本公开。
21.图1是根据本公开的基于两张图像逆渲染神经网络的高分辨率材质恢复方法的一些实施例的流程图。该基于两张图像逆渲染神经网络的高分辨率材质恢复方法，包括以下步骤：
22.步骤101，控制移动终端进行图像拍摄，得到初始闪光灯图和初始引导图。
23.在一些实施例中，基于两张图像逆渲染神经网络的高分辨率材质恢复方法的执行主体可以通过有线连接方式或者无线连接方式控制移动终端进行图像拍摄，得到初始闪光灯图和初始引导图。其中，上述初始闪光灯图是上述移动终端在打开闪光灯时拍摄的图像，上述初始引导图是上述移动终端在未打开闪光灯时的环境光下拍摄的图像。
24.步骤102，对初始闪光灯图和初始引导图进行分割处理，得到闪光灯图和引导图。
25.在一些实施例中，上述执行主体可以对上述初始闪光灯图和上述初始引导图进行分割处理，得到闪光灯图和引导图。
26.步骤103，从闪光灯图和引导图中分别选择图像区域，作为闪光灯主图块和引导主图块。
27.在一些实施例中，上述执行主体可以从上述闪光灯图和上述引导图中分别选择图像区域，作为闪光灯主图块和引导主图块。其中，上述闪光灯主图块和上述引导主图块在上述闪光灯图和上述引导图中的图像区域的位置是相匹配的。例如，上述闪光灯主图块和上述引导主图块在上述闪光灯图和上述引导图中的图像区域的位置坐标相同。
28.步骤104，对闪光灯图和引导图进行分割处理，得到闪光灯图块集合和引导图块集合。
29.在一些实施例中，上述执行主体可以对上述闪光灯图和上述引导图进行分割处理，得到闪光灯图块集合和引导图块集合。
30.步骤105，从闪光灯图块集合和引导图块集合中随机筛选闪光灯图块和引导图块作为闪光灯副图块和引导副图块，得到闪光灯副图块集合和引导副图块集合。
31.在一些实施例中，上述执行主体可以从上述闪光灯图块集合和上述引导图块集合中随机筛选闪光灯图块和引导图块作为闪光灯副图块和引导副图块，得到闪光灯副图块集
合和引导副图块集合。
32.步骤106，基于引导副图块集合，对闪光灯副图块集合进行重排列，得到重光照主图块集合。
33.在一些实施例中，上述执行主体可以基于上述引导副图块集合，对上述闪光灯副图块集合进行重排列，得到重光照主图块集合。
34.步骤107，基于闪光灯图、重光照主图块集合和闪光灯主图块，生成主材质图组。
35.在一些实施例中，上述执行主体可以基于上述闪光灯图、上述重光照主图块集合和上述闪光灯主图块，生成主材质图组。其中，材质可以指光和物体相互作用的光照效果，此材质是一组纹理重复的材质图，纹理结构可以是随机的或者重复的。材质也可以表达为六维空间变化双向反射分布函数，它的参数化表达可以表达为多张贴图(diffuse map：漫反射贴图，normal map：法线贴图，roughness map：粗糙度贴图，specular map：镜面反射贴图)。将这些贴图和视点、光源放入渲染方程中可以渲染出图像。
36.在一些实施例的一些可选的实现方式中，上述对上述开发工程信息集合包括的各个开发语言信息进行信息抽取，得到通用命令信息集合，可以包括以下步骤：
37.第一步，将上述闪光灯图输入至预先训练的材质生成模型，得到初始高分辨率材质图组。
38.第二步，对上述初始高分辨率材质图组进行分割处理，得到初始主材质图组。分割处理可以是图像分割处理。
39.第三步，基于上述初始主材质图组、上述重光照主图块集合、上述闪光灯主图块和预先训练的自动编码器，得到主材质图组。
40.可选地，上述预先训练的自动编码器包括编码器和解码器；以及上述基于上述初始主材质图组、上述重光照主图块集合、上述闪光灯主图块和预先训练的自动编码器，得到主材质图组，可以包括以下步骤：
41.第一步，将上述初始主材质图组输入至上述编码器和上述解码器模块，得到初始解码主材质图组。其中，上述解码器模块包括参数优化模块和解码器。
42.第二步，基于上述初始解码主材质图组和上述解码器模块，执行以下逆渲染步骤：
43.基于上述初始解码主材质图组、上述重光照主图块集合和上述闪光灯主图块，生成联合损失值。响应于确定上述联合损失值收敛于预定阈值，将上述初始解码主材质图组作为主材质图组。响应于确定上述联合损失值不收敛于预定阈值，调整解码器模块中的潜在向量参数，将调整后的解码器模块作为解码器模块，将调整后的潜在向量参数输入到解码器模块以得到初始解码主材质图组，再次执行上述逆渲染步骤。其中，为了能获得潜在空间，并从潜在空间中解码输出材质贴图，该技术使用全卷积自动编码器对这个潜在空间进行建模，该自动编码器由一个编码器e()和一个解码器d()组成，编码器e()将材质转换为相应的潜在空间，解码器d()再将潜在空间转换为材质：z＝e(s)，s＝d(z)。其中，s表征材质。z表征相应的潜在空间。自动编码器使用的损失函数由两部分构成：其中，l
train
表示自动编码器使用的损失函数。l
map
表示材质贴图的损失值。l
render
表示确定出的材质渲染的9张图取对数后的损失值。
44.可选地，上述基于上述初始解码主材质图组、上述重光照主图块集合和上述闪光
灯主图块，生成联合损失值，可以包括以下步骤：
45.第一步，在与上述重光照主图块集合中各个重光照主图块相同的光照条件下，对上述初始解码主材质图组进行渲染，得到第一渲染图集合。
46.第二步，基于上述第一渲染图集合和上述重光照主图块集合，生成第一渲染损失值。
47.第三步，在与上述闪光灯主图块相同的光照条件下，对上述初始解码主材质图组进行渲染，得到第二渲染图。
48.第四步，基于上述第二渲染图和上述闪光灯主图块，生成第二渲染损失值。
49.第五步，基于上述第一渲染损失值、上述第二渲染损失值、第一预设参数和第二预设参数，得到联合损失值。生成联合损失值的过程可以参见图3。
50.可选地，上述基于上述第一渲染损失值、上述第二渲染损失值、第一预设参数和第二预设参数，可以通过以下步骤，得到联合损失值：
51.基于上述第一渲染损失值、上述第二渲染损失值、第一预设参数和第二预设参数，利用以下公式，得到联合损失值：
[0052][0053]
其中，l表示上述联合损失值。α表示上述第一预设参数。r1表示上述第一渲染图集合中的第一渲染图。i表示序号。表示上述第一渲染图集合中第i个第一渲染图。i1表示上述重光照主图块集合中的重光照主图块。表示上述重光照主图块集合中第i个重光照主图块。β表示上述第二预设参数。r2表示上述第二渲染图。i2表示上述闪光灯主图块。‖‖表示范数。的取值为上述第一渲染图集合中第i个第一渲染图的像素值减去上述重光照主图块集合中第i个重光照主图块对应位置的像素值，然后取绝对值并相加，最后除以像素的个数得到的值。‖r
2-i2‖的取值为上述第二渲染图的像素值减去上述闪光灯主图块对应位置的像素值，然后取绝对值并相加，最后除以像素的个数得到的值。
[0054]
步骤108，基于引导副图块集合中的每个引导副图块、主材质图组和引导主图块，生成副材质图组，得到副材质图组集合。
[0055]
在一些实施例中，上述执行主体可以基于上述引导副图块集合中的每个引导副图块、上述主材质图组和上述引导主图块，生成副材质图组，得到副材质图组集合。
[0056]
在一些实施例的一些可选的实现方式中，上述基于上述引导副图块集合中的每个引导副图块、上述主材质图组和上述引导主图块，生成副材质图组，可以包括以下步骤：
[0057]
第一步，基于上述引导副图块中的每个像素点，生成描述符，得到描述符集合。
[0058]
第二步，基于上述引导主图块中的每个参考像素点，生成参考描述符，得到参考描述符集合。
[0059]
第三步，对于上述描述符集合中的每个描述符，在上述参考描述符集合中确定出与上述描述符对应的参考描述符作为匹配描述符，得到匹配描述符集合。
[0060]
第四步，基于上述引导副图块中的各个像素点的位置信息和上述匹配描述符集合对应的参考像素点的位置信息，生成重排列映射表。
[0061]
第五步，根据上述重排列映射表和上述引导副图块，生成副材质图组。
[0062]
可选地，上述基于上述引导副图块中的每个像素点，生成描述符，可以包括以下步骤：
[0063]
第一步，分别使用窗口大小为16、标准差为4和窗口大小为32、标准差为8的高斯核，对上述引导副图块做高斯平滑，得到第一匹配副图块、第二匹配副图块。
[0064]
第二步，从上述第一匹配副图块、上述第二匹配副图块和上述引导副图块中分别选取33
×
33、65
×
65和5
×
5的红、绿、蓝三个像素邻域，以及使用二进制鲁棒独立的基本特征描述符方法分别从33
×
33、65
×
65和5
×
5的红、绿、蓝三个像素邻域选取128、96和32个点对。其中，二进制鲁棒独立的基本特征描述符方法可以是使用brief g ii进行点对的选取。brief g ii可以是二进制鲁棒独立的基本特征g ii。
[0065]
第三步，基于所选取的128、96和32个点对，确定128位、96位和32位描述符。
[0066]
第四步，将所确定的128位、96位和32位描述符相连，得到768位描述符。
[0067]
可选地，上述基于上述引导主图块中的每个参考像素点，生成参考描述符，可以包括以下步骤：
[0068]
第一步，分别使用窗口大小为16、标准差为4和窗口大小为32、标准差为8的高斯核，对上述引导主图块做高斯平滑，得到第一匹配主图块、第二匹配主图块。
[0069]
第二步，从上述第一匹配主图块、上述第二匹配主图块和上述引导主图块中分别选取33
×
33、65
×
65和5
×
5的红、绿、蓝三个像素邻域，以及使用二进制鲁棒独立的基本特征描述符方法分别从33
×
33、65
×
65和5
×
5的红、绿、蓝三个像素邻域选取128、96和32个点对。
[0070]
第三步，基于所选取的128、96和32个点对，确定128位、96位和32位描述符。
[0071]
第四步，将所确定的128位、96位和32位描述符相连，得到768位描述符。
[0072]
可选地，上述对于上述描述符集合中的每个描述符，在上述参考描述符集合中确定出与上述描述符对应的参考描述符作为匹配描述符，可以包括以下步骤：
[0073]
第一步，确定上述描述符与上述参考描述符集合中的各个参考描述符的汉明距离，得到汉明距离集合。
[0074]
第二步，对上述汉明距离集合中的各个汉明距离按照从小到大的顺序进行排序，得到汉明距离序列。
[0075]
第三步，将上述汉明距离序列中最小的汉明距离对应的参考描述符确定为匹配描述符。
[0076]
步骤109，对副材质图组集合中的各个副材质图组进行拼接，得到高分辨率材质图组。
[0077]
在一些实施例中，上述执行主体可以对副材质图组集合中的各个副材质图组进行拼接，得到高分辨率材质图组。
[0078]
可选地，上述执行主体还可以将上述高分辨率材质图组发送至三维建模设备，以供上述三维建模设备进行三维模型的构建。
[0079]
图2是根据本公开的一些实施例的基于两张图像逆渲染神经网络的高分辨率材质恢复方法的一个应用场景的示意图。
[0080]
为了减少支持高分辨率图像的材质估计，且降低显存消耗，降低拍摄图像的复杂度。通过两张图像，利用材质特性和深度学习的强大学习能力重建高质量的材质。本技术提
出利用材质特性，基于深度逆渲染框架，从两张图像(一张可以是手机开闪光灯拍摄的，即初始闪光灯图，一张可以是环境光下拍摄的图，即初始引导图)确定高分辨率材质的流程方法。首先，为了利用结构重复或随机重复的纹理，引入了反射样本传输方法将多个观察结果组合成一个主图块。具体来说，裁剪出两张2048*2048分辨率的图像，并从这两张图像中随机裁剪相同位置的256*256像素作为闪光灯图和引导图的主图块。同时，可以将闪光灯图和引导图分别分成64个256*256像素的图块，并选择32个图块作为副图块。可以将主图块和副图块的材质定义为主材质和副材质。反射样本传输方法能够将副图块转换为粗糙的主图块，这类似于在与副图块的入射光和出射光方向相同的条件下重新渲染主图块，从而得到重光照主图块。其次，可以采用深度逆渲染来恢复主图块的材质。为了初始化自动编码器的潜在向量，利用单张图像作为输入的卷积神经网络，从闪光灯图中得到初始高分辨率材质图组，并从初始高分辨率材质图组中裁剪初始主材质图组作为自动编码器的输入。此外，可以使用重光照主图块集合和闪光灯主图块作为损失函数的输入可以重建更合理的主图块材质。然后，可以使用细化后处理步骤重新为主材质引入细节。最后，可以在使用逆反射样本传输方法从主材质生成所有副材质，拼接这些副材质得到高分辨率材质时，为了去除高分辨率材质中随机伪影和主图块区域的边缘伪影，在逆反射样本传输过程中，可以利用跳跃重排列方法将主材质映射到副材质。再次对高分辨率材质进行细化。
[0081]
这里详细地阐述整个流程为什么能在减少显存消耗的同时从两张图像重建出合理的高分辨率材质，损失函数和跳跃重排列三方面内容。
[0082]
1.高分辨率材质的重建
[0083]
完整框架能为确定高分辨率图像的材质降低显存消耗和拍摄图像的复杂度。为此，利用纹理相似性和深度学习的强大学习能力，通过两张图像重建高质量的材质。这里主要解释框架能有效解决这些问题的原因。
[0084]
(1)在低分辨率图像数据集上训练的全卷积网络也可以处理高分辨率图像。然而，感受野相对地变小导致确定出的高分辨率材质质量很差。对于材质，可以通过采用反向传输方法将主图块映射到副图块，为了能从两张图像确定高分辨率材质，类似地，也可以将确定出的主材质传输到副材质。然后，可以通过拼接这些副材质来生成高分辨率的材质。最后，使用细化来生成更合理的高分辨率材质。因此，确定一个合理的主材质以恢复高分辨率材质非常关键。
[0085]
(2)单个推理网络设法从单张图像或固定数量的图像中确定出合理的材质。然而，为了支持更多的图像作为输入，这些方法必须大大增加显存消耗来训练网络。此外，由于重光照主图块存在噪声和伪影且这些噪声和伪影不规则，因此没有重光照主图块数据集可供训练，而且缺乏大量具有纹理相似特征的数据。这些问题阻碍训练推理网络来确定主材质。此外，闪光灯的轻微移动会改变局部光照条件，从而显著改变图块的亮度，这种图块亮度的显著变化给推理网络的确定结果带来了伪影。为了确定合理的主材质，并降低显存的消耗，使用深度逆渲染方法来确定主材质。仅使用单个推理网络对单张闪光灯图确定初始的高分辨率材质，使用分辨率很小的重光照主图块和原始主图块确定主图块材质，因此显存消耗不会随着图像分辨率的增加而上升。准确来说，对于两张2560*2560分辨率的图像，网络所需的显存可以为7g。
[0086]
2.损失函数
[0087]
需要尽可能确定出更加合理的主材质，因为主材质会影响确定的高分辨率材质的质量。直观的方法是直接实现一个可微的渲染损失l
relit
，它在与重光照主图块相同的光照条件下渲染预测的材质贴图s，并计算这些渲染图r(s，l(i))和重光照主图块集合ii之间的第一范式l1差异：
[0088]
l
relit
＝||r(s，li)-ii||。
[0089]
然而，主图块的点和副图块的像素点之间不完美的匹配给重光照主图块引入了噪声和伪影。这些粗糙的重光照主图块也会给确定的主材质带来噪声。虽然潜在空间可以对优化进行正则化，但不足以减少噪声和伪影的干扰。为了进一步确定更合理的主材质，加入另一个渲染损失l
orig
，该损失计算闪光灯主图块i
orig
和使用相同光照条件l
orig
渲染的图块r(s，l
orig
)之间的第一范式l1差异：
[0090]
l
orig
＝||r(s，l
orig
)-i
orig
||。
[0091]
虽然l
relit
的公式生成带有噪声和伪影的主图块材质，但它恢复出了粗尺度结构信息。基于这个粗糙的结果，l
orig
的公式对细节纹理约束进行建模，以减少噪声和伪影的干扰，通过使用联合损失函数获得最佳重建结果：
[0092]
l＝α
×
l
relit
β
×
l
orig
。
[0093]
其中，l表示上述联合损失值。α表示上述第一预设参数。β表示上述第二预设参数。l
relit
表示渲染图r(s，l(i))和重光照主图块集合之间的l1差异。l
orig
表示闪光灯主图块i
orig
和使用相同光照条件l
orig
渲染的图块r(s，l
orig
)之间的第一范式l1差异。
[0094]
整个损失函数图如图3所示，减少噪声和伪影以确定合理的细尺度信息的前提是恢复粗尺度结构。因此，α的值需要设置为比β大以执行从粗到细的优化。根据经验，将α设置为6，β设置为1以平衡每个损失的大小。其中，为了细化主图块材质，还可以采用类似公式l的损失函数进行细化，但将α和β设置为1。
[0095]
3.跳跃重排列
[0096]
当主材质传输到高分辨率材质时，逆传输方法引入了明显的边缘伪影。观察到恢复的主图块材质贴图的边缘像素值低于或高于整个图块的平均像素值，这种像素值的差异在漫反射图和镜面反射图中非常明显，偶尔会出现在粗糙度图中。具体来说，当镜面反射图边缘的平均像素值稍低时，为保证渲染图像与输入图像相同，网络生成的漫反射图的边缘平均像素值会变高。将较低或较高的像素定义为高低伪影。基于重排列的逆传输方法将主材质映射到副材质，并将这些副材质拼接起来以生成高分辨率的材质。然而，使用重排列方法会将伪影引入副材质中。具体来说，可以假设副图块包含主图块的一部分，在这部分的区域中，重新排列的副图块相当于复制了主图块的一部分，此时，生成的高分辨率材质中主图块区域的边缘像素值或者全部高于周围区域，或者都低于周围区域，因此在主图块区域的边缘明显出现了高低伪影。
[0097]
为了去除这些高低伪影(例如，方形伪影和随机伪影)，本技术提出了一种跳跃重排列方法来生成从主图块到副图块的重排列映射图。跳跃重排列的过程如图4所示。首先，将引导图的中心区域裁剪为引导主图块(裁剪区域可以是216
×
216像素)。对于引导副图块的每个像素点a，在引导主图块中找到与之材质最相似的像素点b，然后记录下这两个点的位置信息，其中使用二进制鲁棒独立的基本特征描述符(brief描述符)来判断两个点(a和b)的相似性。brief描述符可以是特征点的描述符。此过程的实现方法如下：考虑到多个尺
度的相似性，使用窗口大小为16、32，标准差为4、8的高斯核分别对引导主图块做高斯平滑来降低噪声的干扰，加上引导主图块得到三个处理后的引导主图块p1、p2、p3，对于p1、p2、p3，针对一个像素点，选取33*33,65*65和5*5像素邻域使用brief g ii分别选出128、96、32个点对，计算出128位、96位和32位描述符，对三个颜色通道重复以上操作，最终将描述符相连得768位描述符。对引导副图块的各像素点也做以上操作，得到相应的描述符。针对引导副图块中的一个像素点，遍历引导主图块的所有像素点，计算出相应的描述符。然后计算两个点描述符的汉明距离，汉明距离最小的两个像素点即为最佳匹配点，因此存储汉明距离最小的两个点的位置信息。基于这种方法，遍历引导副图块的所有像素点从引导主图块中找到相应的最佳匹配点，记录下相应的位置信息来生成重排列映射表。随后，使用重排列映射表将主材质重排列映射到副材质。图4中也给出了重排列后的重光照主图块，其中将重排列后的重光照主图块和跳跃重排列后的重光照主图块做效果对比。
[0098]
对于所有副图块，使用相同的方法从主材质重排列映射到副材质。最后，在拼接所有副材质时，应用一个窗口中值滤波器来清除拼接区域之间的边界。由于这种跳跃重排列方法没有从主图块的边缘选择匹配点，这减少了生成的高分辨率材质的方形伪影和随机伪影。
[0099]
本发明能降低图像采集的复杂度，自动地重建合理或精确的材质贴图，当贴图质量十分精确时，能代替专业人员制作材质，当贴图质量稍差时，依然能为人员创建材质贴图提供基准和目标线索，从而辅助专业人员制作材质，最终达到减少材质制作的人工成本的作用。另外，由于只需拍摄两张图像，大大降低的图像采集的复杂程度，不仅能确定高分辨率材质而且对显存的消耗很低，因此本发明适用于拥有普通设备的用户使用，从两张图确定出的材质质量更好，重建的表面外观逼真度更高，更加有利于辅助专业人员制作材质。
[0100]
以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。