基于多尺度核预测卷积神经网络的蒙特卡洛渲染图降噪方法与流程

1.本发明涉及图像降噪技术领域，具体涉及一种基于多尺度核预测卷积神经网络的蒙特卡洛渲染图降噪方法。


背景技术：

2.照片级渲染效果一直是电影、游戏等领域追求的目标，而蒙特卡洛路径追踪正是一种能够达到高质量渲染效果的渲染算法，此算法在图像的每个像素上通过大量采样光线并模拟光线在三维场景中的反射、折射等光线传输过程完成对渲染方程中积分的估计。这种算法是基于物理的并且无偏的，但是这种估计方法的误差是随采样数的增加线性减少的，而大量采样会消耗巨大的计算成本和时间成本，少量采样只能得到含有大量噪声的图像。为了降低渲染成本，针对低采样数下渲染图像的降噪的研究越来越多，其中既有图像后处理方面的降噪方法又有充分利用渲染过程中得到的辅助特征来进一步提高降噪质量的蒙特卡洛降噪方法。目前，图像后处理方面的降噪研究已经相对成熟，但是对带有蒙特卡洛噪声的图像与对普通图像进行降噪是不同的，普通图像的噪声是复杂多样的，蒙特卡洛渲染的图像噪声类型单一，而且具有更多的辅助特征可以用来加强降噪，比如深度、法线以及反照率等。通用的蒙特卡洛降噪方法已经证明能够在大幅降低采样率的情况下获得高质量的图像。针对蒙特卡洛降噪，主要有基于回归模型的降噪方法和基于深度学习的降噪方法。为了提高降噪质量，基于回归模型的降噪方法的研究中模型的阶数越来越高，但是仍旧存在容易过度拟合输入噪声的现象。
3.鉴于深度学习在图像处理、语音识别、自然语言处理等各个领域的成功应用，基于深度学习的蒙特卡洛降噪方法研究也成为了现今真实感渲染领域的研究热点。基于深度学习的蒙特卡洛降噪方法致力于通过学习已有的蒙特卡洛渲染得到的噪点图和无噪声的高质量渲染图之间复杂的非线性关系来得到一种降噪模型。基于深度学习的降噪方法将低样本数下渲染得到的噪点图及其辅助特征作为网络输入，但是这些辅助特征中不仅包含利于降噪的场景的丰富的细节信息还包含冗余信息。因此蒙特卡洛降噪关注的重点是如何最大程度地提取噪点图及其辅助特征中的有效信息并应用到降噪过程中。bako等首次提出一种利用核预测卷积神经网络进行降噪的kpcn架构，该网络将低样本数渲染图及提取的部分辅助特征作为输入数据，并将输入数据分成漫反射数据和镜面反射数据两部分然后分别交由两个单独的卷积神经网络进行训练，最终识别出噪点图与参考图之间的关系。这种方法仍旧存在明显的不足就是在细节处相对模糊，缺乏真实感。xu等提出了基于生成对抗网络的蒙特卡洛降噪方法，以渲染过程中的辅助特征作为条件在噪点图基础上重建图像，但是训练得到的模型会放大低对比度的特征并且不能对烟雾等一些分布式效果进行良好的降噪。
4.综上所述，现有的这些基于深度学习的蒙特卡洛降噪方法都显示出了一定的降噪价值，但是它们往往也会降低渲染图像的质量，造成结果图模糊、丢失部分细节信息，甚至部分地方仍旧有残留的噪声。


技术实现要素：

5.本发明的目的在于提供一种基于多尺度核预测卷积神经网络的蒙特卡洛渲染图降噪方法。
6.本发明的技术方案为：
7.一种基于多尺度核预测卷积神经网络的蒙特卡洛渲染图降噪方法，该方法包括如下步骤：
8.步骤1：获取数据集，并对该数据集中的图像数据进行预处理得到漫反射组件和镜面反射组件；
9.所述数据集包括低采样数下通过蒙特卡洛渲染得到的若干噪点图和高采样数下通过蒙特卡洛渲染得到的若干参考图；
10.步骤2：构建多尺度核预测卷积神经网络模型并对其网络参数进行初始化得到初始化的核预测卷积神经网络模型；
11.步骤3：将漫反射组件和镜面反射组件输入初始化的多尺度核预测卷积神经网络模型，使用adam学习率算法根据l1损失函数计算的误差进行训练得到训练好的多尺度核预测卷积神经网络模型；
12.步骤4：使用训练好的多尺度核预测卷积神经网络模型对低采样数下蒙特卡洛渲染得到的噪点图的漫反射组件和镜面反射组件进行降噪，并对降噪结果相加得到最终的降噪图。
13.进一步地，根据所述的基于多尺度核预测卷积神经网络的蒙特卡洛渲染图降噪方法，所述数据集中的每个图像中都包含漫反射颜色c
diffuse
、镜面反射颜色c
specular
、颜色方差、辅助特征以及对应的辅助特征方差，其中所述颜色方差包括漫反射颜色方差和镜面反射颜色方差所述辅助特征包括法线f
normal
、反照率f
albedo
和深度f
depth
。
14.进一步地，根据所述的基于多尺度核预测卷积神经网络的蒙特卡洛渲染图降噪方法，所述步骤1进一步包括如下步骤：
15.步骤1.1：对蒙特卡洛渲染图进行重要性采样得到采样后的数据集；
16.步骤1.2：对采样后的数据集进行预处理得到漫反射组件和镜面反射组件。
17.进一步地，根据所述的基于多尺度核预测卷积神经网络的蒙特卡洛渲染图降噪方法，所述对蒙特卡洛渲染图进行重要性采样的方法为：首先采用随机投掷飞镖法在蒙特卡洛渲染图上均匀采样得到预设数量和大小的块patches，然后选择基于颜色方差和法线方差的pdf函数作为重要性指标对均匀采样得到的这些块patches进行重要性采样；所述pdf函数的计算方式为分别计算每个像素处的颜色方差和法线方差然后相加，最后将函数值范围映射到0到1。
18.进一步地，根据所述的基于多尺度核预测卷积神经网络的蒙特卡洛渲染图降噪方法，所述对采样后的数据集进行预处理包括：将漫反射颜色除以反照率与一个极小数的和得到辐射照度颜色；针对镜面反射颜色数据进行了对数变换得到对数变换后的镜面反射颜色，以减小镜面反射颜色的变化范围；根据对漫反射颜色和镜面反射颜色进行的预处理，对数据集中的颜色方差进行相应的变换；将辅助特征中深度f
depth
的数据范围映射到0～1范围。
19.进一步地，根据所述的基于多尺度核预测卷积神经网络的蒙特卡洛渲染图降噪方法，所述多尺度核预测卷积神经网络模型由结构相同的输入数据为漫反射组件的漫反射多尺度卷积神经网络模型和输入数据为镜面反射组件的镜面反射多尺度卷积神经网络模型组成；所述漫反射多尺度卷积神经网络模型和镜面反射多尺度卷积神经网络模型均由1层卷积核大小为5*5的卷积层、输入通道数和输出通道数相同的8个多尺度残差块和8层卷积核大小为5*5的卷积层顺序串联构成。
20.进一步地，根据所述的基于多尺度核预测卷积神经网络的蒙特卡洛渲染图降噪方法，所述多尺度残差块是一个二分支网络，其输入数据用m
n-1
表示，输出数据用mn表示，其不同的分支使用包含不同大小卷积核的卷积层，然后经过一层激活层relu得到处理结果l1、l2，将l1、l2拼接后再通过两个不同大小卷积核的卷积层和一层激活层relu后得到l3、l4，最后将l3、l4拼接并输入到一个卷积核大小为1*1的卷积层，输出数据用s表示，这样就得到了输入通道数和输出通道数相同的多尺度残差块，最后利用一个跳跃连接实现多尺度残差块的残差学习，即mn＝m
n-1
s。
21.进一步地，根据所述的基于多尺度核预测卷积神经网络的蒙特卡洛渲染图降噪方法，使用xavier初始化方法对多尺度核预测卷积神经网络模型的网络参数进行初始化获得初始化的核预测卷积神经网络模型。
22.进一步地，根据所述的基于多尺度核预测卷积神经网络的蒙特卡洛渲染图降噪方法，所述步骤3包括如下步骤：
23.步骤3.1：将漫反射组件输入漫反射多尺度卷积神经网络模型diffuse mscn得到预测核1，将镜面反射组件输入镜面反射多尺度卷积神经网络模型specular mscn得到预测核2；
24.步骤3.2：使用预测核1对漫反射组件中的辐射照度颜色进行卷积运算得到降噪的辐射照度颜色，以及使用预测核2对镜面反射组件中的对数变换后的镜面反射颜色进行卷积运算得到降噪的对数变换后的镜面反射颜色；
25.步骤3.3：选择l1损失函数衡量训练过程中降噪结果数据与参考图数据的误差；
26.步骤3.4：基于步骤3.3计算得到的降噪结果数据与参考图数据的误差对多尺度核预测卷积神经网络模型使用adam学习率算法进行训练，实现自适应地调整学习率，最后得到训练好的多尺度核预测卷积神经网络模型。
27.进一步地，根据所述的基于多尺度核预测卷积神经网络的蒙特卡洛渲染图降噪方法，所述步骤4包括如下步骤：
28.步骤4.1：对低采样数下蒙特卡洛渲染得到的噪点图进行预处理得到漫反射组件和镜面反射组件，然后将漫反射颜色组件和镜面反射颜色组件输入训练好的多尺度核预测卷积神经网络模型，得到降噪的辐射照度颜色和降噪的对数变换后的镜面反射颜色；
29.步骤4.2：对降噪的辐射照度颜色和降噪的对数变换后的镜面反射颜色进行与步骤4.1中所述预处理相反的逆处理操作，并将逆处理操作获得的两部分颜色相加得到降噪图。
30.通过本发明所构思的以上技术方案较现有技术具有以下有益效果：通过对数据集进行重要性采样和预处理实现低重要性数据的清除和数据范围的转换，提高后续网络训练的质量和收敛速度；多尺度残差块使得网络能够在平衡计算量的基础上提高网络的多尺度
特征学习能力；残差学习的方式能够学习噪点图、辅助特征以及参考图之间的非线性映射关系，拟合更加复杂的特征输入并且避免了深度网络中易出现的梯度消失或者梯度爆炸现象。综上所述，本发明方法的提出使得在使用蒙特卡洛渲染方法渲染图像时无需大量采样，只需要进行少数采样得到一个噪点图然后以降噪的方式得到一个降噪图，这有助于提高渲染效率，非常适用于真实感渲染等研究领域。
附图说明
31.图1为本发明基于多尺度核预测卷积神经网络的蒙特卡洛渲染图降噪方法的总体流程图。
32.图2为本发明中多尺度核预测卷积神经网络模型的结构示意图。
33.图3为本发明中多尺度残差块的结构示意图。
34.图4(a)为一实施例噪点图；(b)为利用kpcn对图(a)进行降噪获得的降噪图；(c)为利用本发明方法对图(a)进行降噪获得的降噪图；(d)为与图(a)对应的参考图；(e)为另一实施例噪点图；(f)为利用kpcn对图(e)进行降噪获得的降噪图；(g)为利用本发明方法对图(e)进行降噪获得的降噪图；(h)为与图(e)对应的参考图；。
具体实施方式
35.为了使本发明的目的、技术方案及优势更加清晰，下面结合附图和具体实施例对本发明做进一步详细说明。此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
36.本发明的核心思路是：构建并训练得到一个多尺度核预测卷积神经网络模型用来实现对低采样数下通过蒙特卡洛渲染得到的噪点图的降噪。此多尺度核预测卷积神经网络模型引入了一种具有多尺度特征融合特点和能够实现残差学习的多尺度残差块，通过在同一网络层利用两个不同大小的卷积核来对噪点图的不同尺度上的特征进行提取和融合同时利用跳层连接实现残差学习；此多尺度核预测卷积神经网络模型采用了深度网络，使得神经网络能够学习更复杂的非线性关系，拟合更加复杂的特征输入，使得多尺度核预测卷积神经网络模型能够更好地对噪点图进行降噪。
37.本实施方式的基于多尺度核预测卷积神经网络的蒙特卡洛渲染图降噪方法，流程如图1所示，包括以下步骤：
38.步骤1：获取数据集，并对该数据集中的图像数据进行预处理得到漫反射组件和镜面反射组件；所述数据集中包括低采样数下通过蒙特卡洛渲染得到的若干噪点图和高采样数下通过蒙特卡洛渲染得到的噪点很少的若干参考图，其中图像大小为w*h，每个图像中都包含漫反射颜色c
diffuse
、镜面反射颜色c
specular
、颜色方差、辅助特征以及对应的辅助特征方差；其中颜色方差包括漫反射颜色方差和镜面反射颜色方差辅助特征包括法线f
normal
、反照率f
albedo
和深度f
depth
。
39.本实施方式获取的是迪士尼提供的深度学习降噪数据集deep learning denoising dataset，本实施方式对该数据集中的图像数据进行的预处理包括如下步骤：
40.步骤1.1：对蒙特卡洛渲染图进行重要性采样得到采样后的数据集；
41.采用随机投掷飞镖法(dart-throwing algorithm)在蒙特卡洛渲染图上均匀采样
得到n_samples个64*64的块patches。随机投掷飞镖法在采样区域内不断投掷随机的采样点，然后计算当前采样点和已有的采样点的距离，若距离大于等于一个阈值就中标并将当前采样点纳入到采样点集合；若距离小于阈值则丢弃并重新投掷，直到采样点铺满整个区域。其中阈值计算公式如下所示：
[0042][0043]
其中r代表阈值，n_samples代表均匀采样数，pi表示π。本实施方式中图像大小w*h为1920*1080，并将n_samples设置为400，为了确保能够得到400个块patches，在采用随机投掷飞镖法的时候如若出现丢弃采样点的情况，以适当的比例rate缩小r，其中rate＝0.96，此时r＝rate*r，这样便可以在拒绝过多次采样点的选择后就接受此采样点。
[0044]
然后对均匀采样得到的这些块patches进行重要性采样，选择基于颜色方差和法线方差的pdf函数作为重要性指标。因为颜色可以使得采样区域有很多噪声、细节或者纹理，而法线可以使得目标区域具有一定的几何复杂度。此pdf函数的计算方式为分别计算每个像素处的颜色方差和法线方差然后相加，最后将函数值范围映射到0到1，得到此pdf函数之后，便可以对之前均匀采样得到的n_samples个样本进行重要性选择，这样就得到采样后的数据集。
[0045]
步骤1.2：对采样后的数据集进行预处理得到漫反射组件和镜面反射组件；
[0046]
本实施方式中通过将漫反射颜色除以反照率和一个极小数的和得到辐射照度颜色；镜面反射颜色的数据变化范围较大，一个图像中的值可以跨越几个数量级，因此本实施方式中针对镜面反射颜色数据进行了对数变换得到对数变换后的镜面反射颜色，减小了镜面反射颜色的变化范围。处理公式如下：
[0047][0048][0049]
其中，c
diffuse
表示漫反射颜色，c
specular
表示镜面反射颜色，f
albedo
表示辅助特征中的反照率，表示hadamard除法，∈＝0.00316,表示辐射照度颜色，表示对数变换后的镜面反射颜色。
[0050]
由于本实施方式中对漫反射颜色和镜面反射颜色进行了预处理，因此本实施方式也对数据集中的颜色方差进行了相应的变换。通常如果应用一个变换h到一个随机变量x上，那么这个变换后数据的方差近似等于：其中μx和分别为变量x的均值和方差，h
′
表示对变量x求导。因此颜色方差的处理公式如下：
[0051][0052][0053]
其中，表示c
diffuse
的方差，表示c
specular
的方差，表示的方差，表示的方差。
[0054]
此外，由于辅助特征中深度f
depth
的取值范围是任意的，因此本实施方式中将其数据范围映射到了0～1范围。
[0055]
经过上述预处理后，对初始颜色(漫反射颜色或镜面反射颜色)、预处理后颜色(辐射照度颜色或者对数变换后的镜面反射颜色)、法线、反照率、预处理后深度以及相应的梯度和方差进行组合得到漫反射组件和镜面反射组件，其中初始颜色、预处理后颜色以及对应的梯度，法线、反照率以及对应的梯度均为3通道，其它数据为1通道，共28通道。
[0056]
步骤2：构建多尺度核预测卷积神经网络模型并对网络参数进行初始化得到初始化的核预测卷积神经网络模型。模型的构建和初始化具体步骤如下：
[0057]
步骤2.1：构建多尺度核预测卷积神经网络模型；
[0058]
本实施方式所构建的多尺度核预测卷积神经网络模型如图2所示由均融合了多尺度残差块的漫反射多尺度卷积神经网络模型diffuse multi-scale convulational network(diffuse mscn)和镜面反射多尺度卷积神经网络模型specular multi-scale convulational network(specular mscn)组成。两个模型的区别仅在输入数据分别是漫反射组件或镜面反射组件，下面具体解释漫反射多尺度卷积神经网络模型的构建。漫反射组件输入到漫反射多尺度卷积神经网络模型后，首先经过一层卷积核大小为5*5的卷积层，输入通道数为28(步骤1得到的28通道的漫反射组件)，输出通道数为100；然后经过8个多尺度残差块，所述多尺度残差块如图3所示，其输入数据用m
n-1
表示，输出数据用mn表示，多尺度残差块是一个二分支网络，不同的分支使用包含不同大小卷积核(5*5和3*3)的卷积层，然后经过一层激活层relu得到处理结果l1、l2，将l1、l2拼接后再通过两个不同卷积核大小的卷积层和一层激活层relu后得到l3、l4，最后将l3、l4拼接并输入到一个卷积核大小为1*1且输出通道数为100的卷积层，输出数据用s表示，这样就得到了输入通道数和输出通道数相同的多尺度残差块，最后利用一个跳跃连接实现多尺度残差块的残差学习，即mn＝m
n-1
s；最后经过8层卷积核大小为5*5的卷积层，其中最后一层的卷积层输入通道数为100，输出通道数为441，即输出21*21的预测核，其余卷积层的输入通道数和输出通道数均为100。
[0059]
步骤2.2：使用xavier初始化方法初始化多尺度核预测卷积神经网络模型的网络参数并对训练超参进行初始化得到初始化的核预测卷积神经网络模型，具体初始化设置如下：
[0060]
本发明中采用的网络参数初始化方法为xavier方法，它为了保证前向传播和反向传播时每一层的方差一致，在正向传播时，每层的激活值的方差保持不变；在反向传播时，每层的梯度值的方差保持不变。根据每层的输入个数和输出个数来决定参数随机初始化的分布范围，是一个通过该层的输入和输出参数个数得到的分布范围内的均匀分布。此方法为了使得每一层的方差尽可能相等，使得网络中的信息更好地流动，将每一层权重初始化为如下范围内的均匀分布。
[0061][0062]
其中j代表第j层卷积层，n代表该卷积层共有n个参数。
[0063]
对于训练超参，本实施方式中将学习率初始设置为e-4，batchsize设置为4，patchsize设置为64*64。
[0064]
步骤3：将漫反射组件和镜面反射组件输入初始化的多尺度核预测卷积神经网络模型，使用adam(adaptive moment estimation)学习率算法根据l1损失函数计算的误差进行训练得到训练好的多尺度核预测卷积神经网络模型。
[0065]
步骤3.1：将漫反射组件输入漫反射多尺度卷积神经网络模型diffuse mscn得到预测核1，将镜面反射组件输入镜面反射多尺度卷积神经网络模型specular mscn得到预测核2。
[0066]
步骤3.2：分别使用预测核1和预测核2对漫反射组件中的辐射照度颜色和镜面反射组件中的对数变换后的镜面反射颜色进行卷积运算，得到降噪的辐射照度颜色和降噪的对数变换后的镜面反射颜色，即降噪结果数据。
[0067]
步骤3.3：选择l1损失函数衡量训练过程中降噪结果数据与参考图数据的误差，它是一个非负值函数，损失函数越小，模型的鲁棒性就越好。l1损失函数的表示如下所示：
[0068][0069]
其中y代表参考图数据，代表降噪结果数据，i代表网络的第i层，m代表网络的总层数，y(i)表示网络的第i层参考图数据，表示网络的第i层降噪结果数据。
[0070]
步骤3.4：基于步骤3.3计算得到的降噪结果数据与参考图数据的误差对多尺度核预测卷积神经网络模型使用adam学习率算法进行训练，实现自适应的调整学习率，最后得到训练好的多尺度核预测卷积神经网络模型。
[0071]
步骤4：使用训练好的多尺度核预测卷积神经网络模型对低采样数下蒙特卡洛渲染得到的噪点图的漫反射组件和镜面反射组件进行降噪，并对降噪结果相加得到降噪图，包括如下步骤：
[0072]
步骤4.1：采用与所述步骤1中所述对图像数据进行预处理相同的方法对低采样数下蒙特卡洛渲染得到的噪点图进行预处理得到漫反射组件和镜面反射组件，然后将漫反射组件和镜面反射组件输入训练好的多尺度核预测卷积神经网络模型，进而在经过diffuse mscn和specular mscn后输出两个预测核，最后分别使用两个预测核对漫反射组件中的辐射照度颜色和镜面反射组件中的对数变换后的镜面反射颜色进行卷积运算，得到降噪的辐射照度颜色和降噪的对数变换后的镜面反射颜色；
[0073]
步骤4.2：对降噪的辐射照度颜色和降噪的对数变换后的镜面反射颜色进行与步骤1中预处理相反的逆处理操作，然后将两部分颜色相加得到降噪图；
[0074]
逆处理公式如下所示：
[0075]cdiffuse_real
＝c
diffuse_predict
⊙
(f
albedo
∈)
[0076][0077]
其中
⊙
代表hadamard乘法，∈＝0.00316，c
diffuse_predict
和c
specular_predict
分别代表经过步骤4.1处理后得到的降噪的辐射照度颜色和降噪的对数变换后的镜面反射颜色，c
diffuse_real
和c
diffuse_real
即代表经过逆处理后得到的真正降噪结果值。
[0078]
最后只需要将c
diffuse_real
和c
diffuse_real
相加即可得到最终降噪图。
[0079]
为验证本发明方法的有效性，将bako等提出的核预测卷积神经网络(kernel predicting convolutional network,即kpcn)与本发明方法进行实验对比，以结构相似性(structural similarity，ssim)作为衡量降噪图与参考图相似性的衡量指标，ssim越大，表明降噪效果越好，实验对比结果如图4所示，其中图4(a)为一实施例噪点图；(b)为利用kpcn对图(a)进行降噪获得的降噪图；(c)为利用本发明方法对图(a)进行降噪获得的降噪图；(d)为与图(a)对应的参考图；(e)为另一实施例噪点图；(f)为利用kpcn对图(e)进行降
噪获得的降噪图；(g)为利用本发明方法对图(e)进行降噪获得的降噪图；(h)为与图(e)对应的参考图。通过分别计算kpcn与本发明方法得到的降噪图与参考图的ssim,得到图(b)与图(d)的ssim为0.6576，图(c)与图(d)的ssim为0.6666，图(f)与图(h)的ssim为0.6608，图(g)与图(h)的ssim为0.6615，可以发现本发明方法得到的降噪图与参考图的ssim比kpcn方法得到的降噪图与参考图的ssim值更大，表明本发明方法得到的降噪图与参考图更加相似，同时观察图(b)可以发现kpcn存在降噪结果过度模糊的现象，图(c)更加接近于参考图；观察图(f)和图(g)可以发现在细节处图(g)的颜色分布更加接近于参考图。
[0080]
上述内容仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内所做的任何修改、等同替换和改进，均应包含在本发明的保护范围之内。