深度学习单图像去反射方法、装置、电子设备和存储介质

1.本发明属于图像处理技术领域，特别是涉及一种深度学习单图像去反射方法、装置、电子设备和存储介质。


背景技术：

2.随着社会的快速发展，人民的生活水平不断提高，摄影成为了不少人的兴趣爱好。由于摄影场景的不确定性，当需要透过玻璃拍摄照片时，可能会导致有反射出现在图像上，这样不仅会降低图像的视觉质量，还会影响后续的计算机视觉任务，比如图像分类、目标检测等。因此，研究图像去反射有着非常重要的应用价值。
3.近年来，图像去反射问题已引起越来越多人的关注和重视。图像去反射是一个极具挑战的病态问题，因为对于给定带反射的图像来说，要得到对应的无反射的干净传输层图像和反射层图像，会有无数种组合。人们为了减少图像去反射问题的病态性做出了许多努力。早期通常是利用多张相同场景，但不同光照条件、聚焦距离和角度下的带反射图像来完成去反射任务，但这明显没有单张图像去反射更具有意义和实用性。然后人们又利用不同的先验条件去完成图像去反射任务，比如，li等人基于观察发现反射层图像往往会比传输层图像更加模糊，就提出了反射层图像概率分布相对平滑的先验条件。但是这些先验条件很难适应现实生活中各种各样的反射场景，因此对真实图像去反射的效果并不好。随着深度学习的快速发展，fan等人将深度神经网络应用到单图像去反射中，并取得了比以往不错的效果。近几年不断有人尝试用深度神经网络完成单图像去反射任务，去反射效果也在不断提升，但是对于图像中强反射部分的去反射效果仍不理想。因此，研究单图像去反射具有重要的理论研究意义。


技术实现要素：

4.为了解决上述现有技术的不足，本发明提供了一种深度学习单图像去反射方法、装置、电子设备和存储介质，该方法主要是通过寻找一个可以区分出带反射图像中的反射区域的掩膜图，来引导深度神经网络准确预测传输层图像，完成单图像去反射任务，从而辅助和支持后续的计算机视觉任务。
5.本发明的第一个目的在于提供一种深度学习单图像去反射方法。
6.本发明的第二个目的在于提供一种深度学习单图像去反射装置。
7.本发明的第三个目的在于提供一种电子设备。
8.本发明的第四个目的在于提供一种存储介质。
9.本发明的第一个目的可以通过采取如下技术方案达到：
10.一种深度学习单图像去反射方法，所述方法包括：
11.构造训练集，训练集包括多个图像对；其中，每个图像对包括带反射图像i和传输层图像t；
12.将训练集中的带反射图像i输入网络，利用网络中的编码器对所述带反射图像i进
行特征提取，得到n个不同尺度的编码特征图；其中，n为大于等于3的正整数；
13.根据n个不同尺度的编码特征图，在网络的解码过程中，生成各尺度的解码特征图、传输层图像特征图和反射区域导向掩膜图，并得到最终预测的传输层图像；其中，利用所述反射区域导向掩膜图引导网络准确预测后续生成的传输层图像特征图和解码特征图，而所述反射区域导向掩膜图是利用前一次得到的解码特征图和相应的编码特征图而生成；
14.对网络进行像素保真和特征结构监督，利用所述传输层图像t监督所述最终预测的传输层图像，指导网络学习图像去反射的过程；
15.对网络生成的各尺度的反射区域导向掩膜图进行监督，用阈值限制所述反射区域导向掩膜图的取值范围，指导网络生成更精确的反射区域导向掩膜图，进而利用反射区域导向掩膜图引导网络预测传输层图像；
16.对网络进行对抗性监督，利用所述传输层图像t监督所述最终预测的传输层图像，指导网络预测的传输层图像更接近真实无反射图像。
17.进一步的，n的值由如下公式确定：
[0018][0019]
其中，h,w分别为所述带反射图像i的高和宽。
[0020]
进一步的，所述编码器包括n个卷积层组；
[0021]
所述将训练集中的带反射图像i输入网络，利用网络中的编码器对所述带反射图像i进行特征提取，得到n个不同尺度的编码特征图，具体包括：
[0022]
当j为1时，将所述带反射图像i输入网络中编码器的第j个卷积层组，得到编码特征图
[0023]
当j为大于1且小于等于n的正整数时，用最大池化层对编码特征图进行下采样，得到特征图；将所述特征图输入编码器的第j个卷积层组，得到编码特征图
[0024]
进一步的，所述卷积层组包括多个卷积层、批归一化层和激活函数relu，其中，卷积核均为大小为3*3、填充为1、步长为1。
[0025]
进一步的，所述n个不同尺度的编码特征图分别为
[0026]
所述根据n个不同尺度的编码特征图，在网络的解码过程中，生成各尺度的解码特征图、传输层图像特征图和反射区域导向掩膜图，并得到最终预测的传输层图像，具体包括：
[0027]
当j为n时，对进行上采样，得到解码特征图将和进行拼接操作，结果记为c；将c输入到掩膜生成模块中，得到反射区域导向掩膜图为m
j-1
；将m
j-1
经过多个卷积层处理，将处理后的结果与进行点乘抑制反射区域的特征，点乘的结果经过多个卷积层处理，得到传输层图像特征图
[0028]
当j为小于n且大于1的正整数时，将和进行拼接操作，结果记为将mj和输入部分卷积模块，得到解码特征图将和进行拼接操作，结果记为c；将c输入掩膜生成模块中，得到反射区域导向掩膜图为m
j-1
；将m
j-1
经过多个卷积层处理，
将卷积后的结果与进行点乘抑制反射区域的特征，点乘的结果经过多个卷积层处理，得到传输层图像特征图
[0029]
当j为1时，将和进行拼接操作，结果记为将mj和输入部分卷积模块，得到解码特征图
[0030]
将解码特征图经过激活函数sigmoid后，得到最终预测的传输层图像。
[0031]
进一步的，所述掩膜生成模块包括t1个卷积层普通卷积/可变形卷积、激活函数relu、t2个普通卷积/可变形卷积层以及激活函数sigmoid，其中，t1和t2根据具体尺度来设定；
[0032]
所述将mj和输入部分卷积模块，得到解码特征图具体包括：
[0033]
先将mj和进行点乘，将点乘的结果经过卷积后点除区域均值将点除的结果经过批归一化和激活函数relu，再经过多个卷积层、批归一化和激活函数relu处理，最终得到解码特征图
[0034]
其中，是mj经过平均池化操作得到。
[0035]
进一步的，所述利用所述传输层图像t监督所述最终预测的传输层图像，指导网络学习图像去反射的过程，具体包括：
[0036]
对网络进行像素保真和特征结构监督中，对所述最终预测的传输层图像与所述传输层图像t求像素和特征结构误差，然后将梯度反向传播到网络。
[0037]
进一步的，所述对网络生成的各尺度的反射区域导向掩膜图进行监督，用阈值限制所述反射区域导向掩膜图的取值范围，指导网络生成更精确的反射区域导向掩膜图，进而利用反射区域导向掩膜图引导网络预测传输层图像，具体包括：
[0038]
反射区域导向掩膜损失函数：
[0039][0040][0041][0042]
其中，mi[条件]表示mi满足中括号里条件的部分；i表示第i个反射区域导向掩膜图；设定阈值为0.6；对m中大于阈值的部分趋于0，从而针对性的处理强反射区域；小于阈值ξ＝0.1的区域趋向于1，避免mi趋向于全0解；
[0043]
使用l
mask
函数使网络得到的反射区域导向掩膜图更加精确，引导网络更好地完成单图像去反射的任务，预测出效果更好的传输层图像。
[0044]
进一步的，所述构造训练集，训练集包括多个图像对，具体包括：
[0045]
获取自然图像数据集，从中任意选取多张图像，将每张图像裁剪成设定的大小；
[0046]
将裁剪成设定大小的图像随机均等分成传输层图像数据集和反射层图像数据集，
分别从传输层图像数据集和反射层图像数据集中任选一张图像，记为传输层图像t和反射层图像r，并分别进行归一化处理；
[0047]
将归一化后的传输层图像t和反射层图像r合成为带反射图像i；
[0048]
所述带反射图像i和进行归一化的传输层图像t为一个训练图像对；
[0049]
获取已公开的真实反射图像数据集或者采集真实场景下的反射图像数据集，作为真实反射图像数据集；
[0050]
将从传输层图像数据集和反射层图像数据集得到的多个训练图像对和所述真实反射图像数据集中的多个反射图像对进行融合，得到最终的训练集。
[0051]
本发明的第二个目的可以通过采取如下技术方案达到：
[0052]
一种深度学习单图像去反射装置，所述装置包括：
[0053]
训练集获取模块，用于构造训练集，训练集包括多个图像对；其中，每个图像对包括带反射图像i和传输层图像t；
[0054]
不同尺度编码特征图生成模块，用于将训练集中的带反射图像i输入网络，利用网络中的编码器对所述带反射图像i进行特征提取，得到n个不同尺度的编码特征图；其中，n为大于等于3的正整数；
[0055]
各尺度的反射区域导向掩膜图和解码特征图生成模块，用于根据n个不同尺度的编码特征图，在网络的解码过程中，生成各尺度的解码特征图、传输层图像特征图和反射区域导向掩膜图，并得到最终预测的传输层图像；其中，利用所述反射区域导向掩膜图引导网络准确预测后续生成的传输层图像特征图和解码特征图，而所述反射区域导向掩膜图是利用前一次得到的解码特征图和相应的编码特征图而生成；
[0056]
图像去反射学习模块，用于对网络进行像素保真和特征结构监督，利用所述传输层图像t和所述最终预测的传输层图像，指导网络学习图像去反射的过程；
[0057]
反射区域导向掩膜图监督模块，用于对网络生成的各尺度的反射区域导向掩膜图进行监督，用阈值限制所述反射区域导向掩膜图的取值范围，指导网络生成更精确的反射区域导向掩膜图，进而利用反射区域导向掩膜图引导网络预测传输层图像；
[0058]
对抗性监督模块，用于对网络进行对抗性监督，利用所述传输层图像t和所述最终预测的传输层图像，指导网络预测的传输层图像更接近真实无反射图像。
[0059]
本发明的第三个目的可以通过采取如下技术方案达到：
[0060]
一种电子设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的深度学习单图像去反射方法。
[0061]
本发明的第四个目的可以通过采取如下技术方案达到：
[0062]
一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的深度学习单图像去反射方法。
[0063]
本发明相对于现有技术具有如下的有益效果：
[0064]
1、本发明可以很好地对单张反射图像完成去反射任务。特别地，对反射图像中强反射的部分，本发明的去反射仍然取得不错的效果，而目前大多数方法去除强反射的效果并不理想。
[0065]
2、本发明引入了反射区域导向掩膜图，掩膜图可以准确地反映图像的反射区域，借助多尺度图像特征信息，网络可以生成解码特征、传输层图像特征和反射区域导向掩膜
图，反射区域导向掩膜图可以引导网络准确预测各尺度的解码特征和传输层图像特征，这对指导网络准确预测最终的传输层图像有很大的帮助。
[0066]
3、本发明采用了在多尺度上获取的图像特征信息，这有助于网络学习不同尺度图像的细节。同时利用无反射干净图像进行监督，使得网络向着更好的方向去完成单图像的去反射任务。
附图说明
[0067]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
[0068]
图1为本发明实施例1的深度学习单图像去反射方法的流程图。
[0069]
图2为本发明实施例1的深度学习单图像去反射方法的原理图。
[0070]
图3为本发明实施例1的单图像去反射实例的效果图。
[0071]
图4为本发明实施例2的深度学习单图像去反射装置的结构框图。
[0072]
图5为本发明实施例3的电子设备的结构框图。
具体实施方式
[0073]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。应当理解，描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
[0074]
实施例1：
[0075]
本实施例提供了一种深度学习单图像去反射方法，首先对收集的已公开反射图像数据集进行随机切片，归一化处理，将真实的反射图像数据集和合成的反射图像数据集融合组成训练集，预处理完成后输入到网络中。该网络的整体架构是一个u型的编解码器。通过卷积网络层之后加上批归一化，可以使网络避免梯度消失的问题，同时更好地保证原图细节信息的保留。在编码阶段，利用各种卷积层和下采样组合操作来计算反射图像不同尺度的特征图，以使网络能够学习到反射图像不同尺度的特征信息。在解码阶段，利用编码阶段计算得到的不同尺度特征图，计算得到不同尺度反射区域导向掩膜图。同时，借助网络提取的图像特征信息，利用反射区域导向掩膜来引导网络预测相应尺度下的传输层图像特征和解码特征，将预测尺度为0的解码特征经过sigmoid后，作为网络对传输层图像的最终预测结果。
[0076]
如图1和图2所示，本实施例提供的深度学习单图像去反射方法，包括以下步骤：
[0077]
s101、构造训练集，训练集包括多个图像对。
[0078]
其中，每个图像对包括带反射图像i和传输层图像t。
[0079]
收集已公开的反射图像数据集berkeley真实反射图像数据集和sir2反射图像数据集等，或者采集真实场景下的反射图像数据集，由于真实反射图像数据集包含的图像数
量太少，目前主流的解决办法是通过合成带反射图像的方法来丰富训练集。
[0080]
进一步的，步骤s101具体包括以下步骤：
[0081]
(1)利用自然图像数据集中的图像合成带反射图像i，t为对应的传输层图像；带反射图像i和传输层图像t为一个训练图像对。
[0082]
本实施例利用自然图像数据集pascal voc dataset，从中随意选取15000张图像，然后裁剪成224*224大小的图像，再将它们随机均等分成传输层图像数据集和反射层图像数据集，按照下述方法合成7500个反射图像对，i为带反射图像，t为对应的真实传输层图像。
[0083]
采用的反射图像合成方法如下：
[0084]
(1-1)分别从传输层图像数据集和反射层图像数据集中随机选取一张自然图像，记为传输层t和反射层r，并分别进行归一化处理。
[0085]
随机选取两张自然图像，两张图像分别记为传输层t和反射层r，将两张图像正则化处理，由于图像的取值范围是0～255，网络直接学习[0,255]到[0,255]的映射，比学习[0,1]到[0,1]的映射收敛慢，所以对图像采用如下归一化手段：
[0086]
t＝t/255
[0087]
r＝r/255。
[0088]
(1-2)对反射层图像r以一定概率进行高斯模糊和双重平移衰减操作，得到处理后的反射层
[0089]
其中
[0090]
其中
[0091]
从均匀分布uniform(1,4)中采样得到方差σ构造高斯卷积核，对反射层图像r进行高斯模糊，得到从均匀分布uniform(0.5,1)和uniform(1,20)分别采样得到衰减系数c和位移参数d，对反射层图像进行双重平移衰减操作，得到此处，可以根据实际不同场景对进行如加噪声，加污垢，乘掩膜等操作。
[0092]
(1-3)将图像t和处理后的反射层相加，得到初步的反射图像i。
[0093][0094]
将传输层t和得到的模糊反射层相加，得到初步的反射图像i。
[0095]
(1-4)对i中大于1的元素求均值，然后减去1，再乘以γ，得到m。
[0096]
m＝(mean(i(x，if x＞1))-1)*γ
[0097]
其中，x表示图像i中的任意一个元素，i(x,if x》1)表示取i中所有大于1的元素组成的集合；γ是一个可调节的超参数，依经验可以设为1.3。
[0098]
(1-5)反射层减去m，将得到的差值裁剪在[0,1]内，再赋值回反射层
[0099][0100]
反射层的值减去m，然后裁剪在[0,1]内，再赋值给
[0101]
(1-6)将传输层和得到的反射层相加，然后裁剪在[0,1]内，再赋值给带反射图像i。反射图像i就是最终得到的合成反射图像。
[0102][0103]
将传输层和步骤(1-5)得到的模糊反射层相加，然后裁剪在[0,1]内，最终就能得到合成的带反射图像i。
[0104]
带反射图像i和传输层图像t为一个训练图像对。
[0105]
(2)将步骤s101中得到的多个训练图像对和真实反射数据集中的多个图像对融合，得到最终的训练集。
[0106]
本实施例将109对berkeley真实反射图像数据集中的图像和按照上述方法合成的7500对训练图像随机排序融合成最终的训练集。
[0107]
s102、将训练集中的带反射图像i输入网络，利用网络中的编码器对带反射图像i进行特征提取，得到n个不同尺度的编码特征图。
[0108]
进一步的，步骤s102具体包括以下步骤：
[0109]
(1)首先通过公式来确定尺度数n；
[0110]
其中，h,w为反射图像i的高和宽，n为编码阶段编码器卷积层组的数量，进而确定网络对反射图像提取特征的尺度。
[0111]
(2)计算尺度1的特征图：将反射图像i输入到网络中，即将i输入到encoder的第1个卷积层组中，该卷积层组由m1个卷积层、紧接着批归一化和激活函数relu组成，得到大小为224*224的特征图其中卷积核均为大小为3*3、填充为1、步长为1；m1是变量，可根据具体尺度来设定。
[0112]
(3)计算尺度2的特征图：为了获得多尺度的图像信息，先用最大池化层对特征图下采样，池化核大小为2*2，步长为2，得到大小为112*112的特征图。为了得到更多图像的细节信息，再将下采样结果输入到编码器的下一个卷积层组中。提取不同尺度的特征图所用的卷积层组结构上是类似的，参数是相互独立的。得到大小为112*112的特征图
[0113]
(4)计算尺度为3,4,
…
,n的特征图与计算尺度1,2的步骤是类似的。例如，要计算第k个特征图时，我们其实已经得到了前k-1个特征图，假设第k-1个特征图的大小为t*t。要计算先用最大池化层对第k-1个特征图下采样，得到大小为的特征图。为了得到更好的特征细节信息，再将其经过一个卷积层组。该卷积层组参数与计算前面尺度的卷积层组是独立的，参数不共享。最终就能得到大小为的特征图类似地，最后通过网络提取各尺度的特征得到
[0114]
s103、根据n个不同尺度的编码特征图，在网络的解码过程中，生成各尺度的解码特征图、传输层图像特征图和反射区域导向掩膜图，并得到最终预测的传输层图像。
[0115]
根据n个不同尺度的编码特征图和对应尺度的解码特征图，生成各尺度的反射区域导向掩膜图；利用各尺度反射区域掩膜和对应的编码特征图进行点乘来抑制反射特征，得到对应尺度的传输层特征图；将传输层特征和解码特征拼接，基于反射区域导向掩膜图引导生成下一尺度的解码特征，并在最后一步得到最终预测的传输层图像。
[0116]
网络对某一尺度传输层图像特征的预测，需要利用相应尺度的反射区域导向掩膜
图来引导，而反射区域导向掩膜的生成要借助上一步得到的解码特征图和步骤s102中得到的相应的编码特征图。
[0117]
利用编码特征图和生成的反射区域导向掩膜图进行点乘抑制反射区域特征，来计算传输层图像特征，不同尺度编码特征图为预测传输层图像特征提供了不同层次的信息，反射区域导向掩膜图可以反映图像中的反射区域信息，进而能够引导网络利用特征图的信息来完成去反射任务，得到最终的传输层图像的预测输出。
[0118]
进一步的，步骤s103具体包括以下步骤：
[0119]
(1)首先计算m
n-1
。
[0120]
假设的大小为r*r，先利用转置卷积对上采样，利用卷积核大小为2*2，步长为2的转置卷积得到解码特征大小为2r*2r，然后将和进行拼接操作，拼接操作结果记为c。将c输入到掩膜生成模块中，掩膜生成模块由t1个卷积层普通卷积/可变形卷积和激活函数relu，接着t2个普通卷积/可变形卷积层再加上激活函数sigmoid组成，得到大小为2r*2r的反射区域导向掩膜图m
n-1
，m
n-1
即为第n-1个反射区域导向掩膜图；其中t1和t2是变量，可根据具体尺度来设定。
[0121]
(2)然后预测对应尺度的传输层图像特征和下一尺度的解码特征
[0122]
先将m
n-1
经过u1个普通卷积/可变形卷积层操作，卷积后的结果与进行点乘抑制反射区域特征，把点乘的结果经过u2个普通卷积/可变形卷积层操作，得到其中u1和u2是变量，可根据具体尺度来设定。接着先把和进行拼接操作，记为将m
n-1
和输入到部分卷积模块，部分卷积是先将与m
n-1
进行点乘，然后将点乘的结果进行卷积后点除区域均值再经过批归一化、激活函数relu操作，然后经过u3个普通卷积/可变形卷积层、批归一化和激活函数relu操作，最终得到下一尺度n-2层的解码特征图像其中u3是变量，可根据具体尺度来设定，是m
n-1
经过平均池化操作得到的，池化核大小为3*3，填充为1，步长为1。
[0123]
(3)按照类似的计算方法，预测解码特征和生成反射区域导向掩膜图是交错进行并相互利用的，依次计算得到和
[0124]
特别地，经过sigmoid激活函数后得到最终预测的传输层图像
[0125]
s104、对网络进行像素保真和特征结构监督，利用传输层图像t监督最终预测的传输层图像，指导网络学习图像去反射的过程。
[0126]
像素保真和特征结构损失函数：
[0127][0128]
ssim是结构相似性，是用来衡量两幅图像相似性的指标。是网络对图像传输层的最终预测，t是对应的真实传输层图像。
[0129][0130]
φ是已训练好的vgg-19网络，l是vgg-19网络中常用的提取特征层数，k
l
则是对应
的特征层系数。
[0131][0132]
使用l
ssim
、l
percep
和l
rec
函数可以对网络最终输出的预测传输层进行监督，从而更好地优化网络参数。
[0133]
s105、对网络生成的各尺度的反射区域导向掩膜图进行监督，用阈值限制反射区域导向掩膜图的取值范围，指导网络生成更精确的反射区域导向掩膜图，进而利用掩膜图引导网络预测传输层图像。
[0134]
反射区域导向掩膜图损失函数：
[0135][0136][0137][0138]
其中，mi[条件]表示mi满足中括号里条件的部分，i表示第i个反射区域导向掩膜图。因为在强反射区域，fi很难提供有用的恢复传输层的信息，所以本实施例设定阈值为0.6，对mi中大于阈值的部分趋于0，从而可以针对性的处理强反射区域。若只用函数，可能会使mi趋向于0解，为了生成更能反映反射区域的mi，本实施例也要求小于阈值ξ＝0.1的区域趋向于1，来避免mi趋向于全0解。
[0139]
使用l
mask
函数使网络得到的反射区域导向掩膜图更加精确，可以引导网络更好地完成单图像去反射的任务，预测出效果更好的传输层图像。
[0140]
s106、对网络进行对抗性监督，利用传输层图像t监督最终预测的传输层图像，指导网络预测的传输层图像更接近真实无反射图像。
[0141]
利用传输层图像t监督最终预测的传输层图像，指导网络预测的传输层图像更接近真实无反射图像，从而达到图像去反射的目的。
[0142]
对抗性损失函数：
[0143][0144][0145]
其中，g是本实施例的整个单图像去反射网络，即为上文所述的网络，g(i)为本实施例去反射网络最终预测的传输层图像
[0146]
使用l
adv
可以提高网络最终预测传输层图像的可视质量，使得预测的传输层图像更接近真实的无反射干净图像。
[0147]
图3为本实施例的单图像去反射实例的效果图。可见，本发明提供的方法很好地对单张反射图像完成了去反射任务。特别地，对反射图像中强反射的部分，去反射仍然取得不错的效果。
[0148]
本领域技术人员可以理解，实现上述实施例的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读存储介质中。
[0149]
应当注意，尽管在附图中以特定顺序描述了上述实施例的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
[0150]
实施例2：
[0151]
如图4所示，本实施例提供了一种深度学习单图像去反射装置，该装置包括训练集获取模块401、不同尺度编码特征图生成模块402、各尺度的反射区域导向掩膜图和解码特征图生成模块403、图像去反射学习模块404、反射区域导向掩膜图监督模块405和对抗性监督模块406，其中：
[0152]
训练集获取模块401，用于构造训练集，训练集包括多个图像对；其中，每个图像对包括带反射图像i和传输层图像t；
[0153]
不同尺度编码特征图生成模块402，用于将训练集中的带反射图像i输入网络，利用网络中的编码器对所述带反射图像i进行特征提取，得到n个不同尺度的编码特征图；其中，n为大于等于3的正整数；
[0154]
各尺度的反射区域导向掩膜图和解码特征图生成模块403，用于根据n个不同尺度的编码特征图，在网络的解码过程中，生成各尺度的解码特征图、传输层图像特征图和反射区域导向掩膜图，并得到最终预测的传输层图像；其中，利用所述反射区域导向掩膜图引导网络准确预测后续生成的传输层图像特征图和解码特征图，而所述反射区域导向掩膜图是利用前一次得到的解码特征图和相应的编码特征图而生成；
[0155]
图像去反射学习模块404，用于对网络进行像素保真和特征结构监督，利用所述传输层图像t和所述最终预测的传输层图像，指导网络学习图像去反射的过程；
[0156]
反射区域导向掩膜图监督模块405，用于对网络生成的各尺度的反射区域导向掩膜图进行监督，用阈值限制所述反射区域导向掩膜图的取值范围，指导网络生成更精确的反射区域导向掩膜图，进而利用反射区域导向掩膜图引导网络预测传输层图像；
[0157]
对抗性监督模块406，用于对网络进行对抗性监督，利用所述传输层图像t和所述最终预测的传输层图像，指导网络预测的传输层图像更接近真实无反射图像。
[0158]
本实施例中各个模块的具体实现可以参见上述实施例1，在此不再一一赘述；需要说明的是，本实施例提供的装置仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
[0159]
实施例3：
[0160]
本实施例提供了一种电子设备，该电子设备可以为计算机，如图5所示，其通过系统总线501连接的处理器502、存储器、输入装置503、显示器504和网络接口505，该处理器用于提供计算和控制能力，该存储器包括非易失性存储介质506和内存储器507，该非易失性存储介质506存储有操作系统、计算机程序和数据库，该内存储器507为非易失性存储介质中的操作系统和计算机程序的运行提供环境，处理器502执行存储器存储的计算机程序时，实现上述实施例1的深度学习单图像去反射方法，如下：
[0161]
构造训练集，训练集包括多个图像对；其中，每个图像对包括带反射图像i和传输层图像t；
[0162]
将训练集中的带反射图像i输入网络，利用网络中的编码器对所述带反射图像i进行特征提取，得到n个不同尺度的编码特征图；其中，n为大于等于3的正整数；
[0163]
根据n个不同尺度的编码特征图，在网络的解码过程中，生成各尺度的解码特征图、传输层图像特征图和反射区域导向掩膜图，并得到最终预测的传输层图像；其中，利用所述反射区域导向掩膜图引导网络准确预测后续生成的传输层图像特征图和解码特征图，而所述反射区域导向掩膜图是利用前一次得到的解码特征图和相应的编码特征图而生成；
[0164]
对网络进行像素保真和特征结构监督，利用所述传输层图像t监督所述最终预测的传输层图像，指导网络学习图像去反射的过程；
[0165]
对网络生成的各尺度的反射区域导向掩膜图进行监督，用阈值限制所述反射区域导向掩膜图的取值范围，指导网络生成更精确的反射区域导向掩膜图，进而利用反射区域导向掩膜图引导网络预测传输层图像；
[0166]
对网络进行对抗性监督，利用所述传输层图像t监督所述最终预测的传输层图像，指导网络预测的传输层图像更接近真实无反射图像。
[0167]
实施例4：
[0168]
本实施例提供了一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例1的深度学习单图像去反射方法，如下：
[0169]
构造训练集，训练集包括多个图像对；其中，每个图像对包括带反射图像i和传输层图像t；
[0170]
将训练集中的带反射图像i输入网络，利用网络中的编码器对所述带反射图像i进行特征提取，得到n个不同尺度的编码特征图；其中，n为大于等于3的正整数；
[0171]
根据n个不同尺度的编码特征图，在网络的解码过程中，生成各尺度的解码特征图、传输层图像特征图和反射区域导向掩膜图，并得到最终预测的传输层图像；其中，利用所述反射区域导向掩膜图引导网络准确预测后续生成的传输层图像特征图和解码特征图，而所述反射区域导向掩膜图是利用前一次得到的解码特征图和相应的编码特征图而生成；
[0172]
对网络进行像素保真和特征结构监督，利用所述传输层图像t监督所述最终预测的传输层图像，指导网络学习图像去反射的过程；
[0173]
对网络生成的各尺度的反射区域导向掩膜图进行监督，用阈值限制所述反射区域导向掩膜图的取值范围，指导网络生成更精确的反射区域导向掩膜图，进而利用反射区域导向掩膜图引导网络预测传输层图像；
[0174]
对网络进行对抗性监督，利用所述传输层图像t监督所述最终预测的传输层图像，指导网络预测的传输层图像更接近真实无反射图像。
[0175]
需要说明的是，本实施例的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0176]
综上所述，本发明通过构建训练集，收集现有公开的真实反射图像数据集或采集真实场景下的反射图像，同时通过合成反射图像方法丰富训练集，并对真实反射图像和合成反射图像进行预处理满足模型输入要求；通过网络提取特征，将单张带反射图像输入到一个包含多个卷积层组合的编码器中，每个卷积层组合负责对图像的不同尺度进行特征提取；预测各尺度解码特征、传输层图像特征和反射区域导向掩膜图，借助多尺度图像特征信息，网络可以生成解码特征、传输层图像特征和反射区域导向掩膜图，掩膜图可以引导网络准确预测各尺度的解码特征和传输层图像特征，逐步得到网络去反射的结果；对网络进行像素保真和特征结构监督，使用对应的真实传输层图像对网络预测的传输层图像进行监督，指导网络学习对图像去反射的过程；对网络生成的掩膜图进行监督，用阈值限制掩膜图的取值范围，指导网络生成更精确的反射区域导向掩膜图，进而利用掩膜图引导网络更准确地预测最终的传输层图像；对网络进行对抗性监督，利用对应的真实传输层图像，指导网络预测的传输层图像更接近真实无反射图像。本发明能有效地对单张图像完成去反射的同时，能够良好地保留传输层的特征信息，并可应用到各类反射图像的去反射任务中。
[0177]
以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。