一种基于双监督端到端神经网络的单幅图像去雾方法

1.本发明涉及图像处理技术领域，尤其涉及一种基于双监督端到端神经网络的单幅图像去雾方法。


背景技术：

2.有雾图像的退化是一个过程，在这个过程中，场景光线随着在介质中传播的距离而衰减，当大气介质浑浊时，传感器收集的图像将严重退化。
3.目前，现有的利用神经网络的端到端对图像去雾的方法，没有利用无雾图像和传输投射作为标签监督网络模型的训练，使得去雾的稳定性和可解释性受到限制，当场景深度变化较大，图像退化不均匀时，无法有效的恢复退化严重的区域，降低了对图像的去雾效果。


技术实现要素：

4.本发明的目的在于提供一种基于双监督端到端神经网络的单幅图像去雾方法，旨在解决现有的图像去雾方法的去雾效果较差的问题。
5.为实现上述目的，本发明提供了一种基于双监督端到端神经网络的单幅图像去雾方法，包括以下步骤：
6.构建双监督去雾网络模型；
7.将待去雾图像输入所述双监督去雾网络模型，得到传输投射估计和无雾图像；
8.通过所述传输投射估计和所述无雾图像并基于损失函数对所述双监督去雾网络模型进行监督训练，得到可预测可预测传输投射估计和清晰无雾图像的去雾网络。
9.其中，所述构建双监督去雾网络模型包括编码器、场景理解器、去雾器和解码器，所述编码器、所述场景理解器、所述去雾器和所述解码器依次连接。
10.其中，所述将待去雾图像输入所述双监督去雾网络模型，得到传输投射估计和无雾图像的具体方式为：
11.将待去雾图像输入所述解码器进行降尺寸恢复，得到特征图；
12.所述场景理解器将所述特征图展平，得到展平图，并基于所述展平图对所述待去雾图像做传输投射估计，得到传输投射估计；
13.所述去雾器对所述特征图进行去雾处理，得到后特征图；
14.所述解码器对所述后特征图重建，得到无雾图像。
15.其中，所述通过所述传输投射估计和所述无雾图像并基于损失函数对所述双监督去雾网络模型进行监督训练，得到可预测传输投射估计和清晰无雾图像的去雾网络的具体方式为：
16.通过真实深度信息和大气散射模型计算得到真实传输投射图；
17.基于所述真实传输投射图，并通过损失函数对所述场景理解器和所述解码器进行训练，同时通过所述传输投射估计和所述无雾图像对所述场景理解器和所述解码器的训练
过程进行监督，得到训练模型；
18.将所述待去雾图像输入所述训练模型，得到可预测传输投射估计和清晰无雾图像的去雾网络。
19.其中，在步骤将所述待去雾图像输入所述训练模型，得到可预测传输投射估计和清晰无雾图像的去雾网络之后，所述方法还包括：
20.使用测试数据集对所述训练模型进行测试，得到平均峰值信噪比和平均单次推理时间。
21.本发明的一种基于双监督端到端神经网络的单幅图像去雾方法，通过构建双监督去雾网络模型；将待去雾图像输入所述双监督去雾网络模型，得到传输投射估计和无雾图像；通过所述传输投射估计和所述无雾图像并基于损失函数对所述双监督去雾网络模型进行监督训练，得到可预测传输投射估计和清晰无雾图像的去雾网络，利用所述粗尺度传输透射估计、所述细尺度传输透射估计和所述无雾图像对训练过程进行监督，解决了现有的图像去雾方法的去雾效果较差的问题。
附图说明
22.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1是本发明提供的一种基于双监督端到端神经网络的单幅图像去雾方法的流程图。
24.图2是双监督去雾网络模型的结构图。
25.图3是场景理解器的多层感知机网络的结构图。
26.图4是去雾器的网络结构图。
27.图5是待去雾图像去雾前后的对比图。
具体实施方式
28.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
29.请参阅图1至图5，本发明提供一种基于双监督端到端神经网络的单幅图像去雾方法，包括以下步骤：
30.s1构建双监督去雾网络模型；
31.具体的，所述构建双监督去雾网络模型包括编码器、场景理解器、去雾器和解码器，所述编码器、所述场景理解器、所述去雾器和所述解码器依次连接。
32.s2将待去雾图像输入所述双监督去雾网络模型，得到传输投射估计和无雾图像；
33.具体方式为：
34.s21将待去雾图像输入所述解码器进行降尺寸恢复，得到特征图；
35.具体的，编码器由5个尺寸为3
×
3的反卷积块和5个尺寸为3
×
3的残差反卷积块交
替堆叠组成，通过设置第一个反卷积块步长为3，第五个反卷积块步长为1逐步恢复图像尺寸，同时逐步减少卷积核数量和编码器相对应，以便于在编码器和解码器相对应的模块之间建立跳跃连接，有利于恢复图像细节信息和网络训练时的梯度传播；在解码器第四层融合场景理解器中的高阶特征信息，有利于解码器网络学习全局场景理解；在解码器第四层和第六层之间建立快捷连接，以避免误差累积，描述如下：
[0036][0037]
其中，表示拼接操作，di表示解码器中第i层的输出，fi表示解码器中的第i层，featurs表示场景理解器中引入的高阶特征。因此，通过f5和f6可以学习到一个对featurs的滤波处理。
[0038]
s22所述场景理解器将所述特征图展平，得到展平图，并基于所述展平图对所述待去雾图像做传输投射估计，得到传输投射估计；
[0039]
具体的，所述场景理解器由多层感知机网络和卷积网络组成，分别对待去雾图像图像做粗尺度和细尺度的传输透射估计，细尺度的卷积网络由卷积块堆叠构成，融合粗尺度的预测结果得到准确的传输透射估计。
[0040]
所述场景理解器中的多层感知机网络的结构如图3所示，首先使用三层卷积堆叠的卷积网络进行进一步的降采样和信息聚合，第一层和第三层步长为2，第二层步长为1：
[0041]
fc＝ρ(conv(ρ(conv(ρ(conv(e))))))，
[0042]
其中ρ表示prelu激活函数，e表示编码器的输出结果；
[0043]
然后将fc展平得到特征向量fv：
[0044]fv
＝flatten(fc)，
[0045]
将fv输入由两层全连接堆叠而成的多层感知机：
[0046]ft
＝σ(dense(σ(dense(fv))))，
[0047]
其中σ表示relu激活函数，f
t
表示多层感知机的输出；
[0048]
将f
t
重建得到粗尺度传输透射：
[0049]
t1＝reshape(f
t
)。
[0050]
s23所述去雾器对所述特征图进行去雾处理，得到后特征图；
[0051]
具体的，所述去雾器由三个卷积残差块组成。
[0052]
s24所述解码器对所述后特征图重建，得到无雾图像。
[0053]
具体的，所述解码器由5个尺寸为3
×
3的卷积块和5个尺寸为3
×
3的残差卷积块交替堆叠组成，通过设置第一个卷积块步长为1，第五个卷积块步长为3，其余卷积块步长为5，所述解码器对所述后特征图降采样，同时逐步增加卷积核数量可以有效的提升卷积块和残差卷积块的感受野并提升特征信息维度，有利于后续去雾处理以及传输透射估计。
[0054]
s3通过所述传输投射估计和所述无雾图像并基于损失函数对所述双监督去雾网络模型进行监督训练，得到可预测可预测传输投射估计和清晰无雾图像的去雾网络
[0055]
具体方式为：
[0056]
s31通过真实深度信息和大气散射模型计算得到真实传输投射图；；
[0057]
所述大气散射模型：
[0058]
i(x)＝j(x)t(x) a(1-t(x))，
[0059]
其中：t(x)＝e-βd(x)
，d(x)为x处的场景深度，β为传输系数，
[0060]
通过生成随机a∈(0.75,1.0)和β∈(0.1,0.4)，得到t(x)(传输透射)和i(x)(有雾图像)
[0061]
s32基于所述真实传输投射图，并通过损失函数对所述场景理解器和所述解码器进行训练，同时通过所述传输投射估计和所述无雾图像对所述场景理解器和所述解码器的训练过程进行监督，得到训练模型；
[0062]
具体的，所述损失函数使用mse损失函数：
[0063][0064]
在nyud-v2数据集上训练所述双监督去雾网络模型的所述场景理解器和所述解码器；
[0065]
其中，loss为最终的损失函数，n为图像像素总数，j(x)为真实无雾图像在x处像素值，i(x)为待输入有雾图像在x处像素值，φ1(
·
)，φ2(
·
)，φ3(
·
)分别为该网络输出的无雾图像、粗尺度传输透射估计、细尺度传输透射估计，ω表示神经网络参数，λ1，λ2，λ3为各子损失函数的权重参数。
[0066]
并通过损失函数输入训练集对所述场景理解器和所述解码器进行训练，所述训练集中的数据包括原始的rgb图像、通过深度数据生成的传输投射、通过rgb图像和传输投射计算生成的有雾图像；有雾图像为输入，清晰的rgb图像和传输投射为标签。训练完成的网络即可以直接执行图像去雾任务，并且可以同时获得传输投射估计。
[0067]
s33将所述待去雾图像输入所述训练模型，得到可预测传输投射估计和清晰无雾图像的去雾网络；
[0068]
具体的，得到的所述传输投射估计和所述清晰无雾图像为最终结果；去雾任务和传输投射估计任务是高度相关的，因此在网络内部只使用一个编码器并在估计传输投射的计算通道和解码器之间建立特征数据传输通道以共享特征表示，其作用在于使这两个比较相关的任务在学习过程中共享知识，利用两个任务之间的相关性改进模型在各自任务上的性能和泛化能力；同时，场景理解器中主要为全连接构成的多层感知机，该结构具有更强的全局建模能力，有利于学习对图像信息的高阶理解。但该结构需要大量的参数，因此在低分辨率上做粗尺度的传输投射估计(传输投射估计相比去雾任务对图像细节信息要求更低)。
[0069]
s34使用测试数据集对所述训练模型进行测试，得到平均峰值信噪比和平均单次推理时间。
[0070]
具体的，在sots测试数据集上的平均峰值信噪比为22.68，平均单次推理时间为0.065s；传统编解码器结构的测试平均峰值信噪比21.84，平均单次推理时间为0.059s。因此可以得出本发明的去雾效果更好。
[0071]
图2和图3中，mlp：multi layer perceptron(多层感知机)；
[0072]
net(网络)；
[0073]
dehazer(去雾器，实际为网络瓶颈结构处的残差卷积堆叠组成的处理单元)；
[0074]
concat(拼接，将特征图在通道维度上拼接)；
[0075]
convblock：convolutional block(卷积块，实现特征聚合及降采样)；
[0076]
resconvblock(残差卷积块，改进的卷积块，更强的信息聚合建模能力)；
[0077]
convtransposeblock(表示转置的卷积块，实现特征重建及上采样)；
[0078]
add(即相加，同形状张量各元素对应相加)；
[0079]
stride(步长，表示卷积操作时，卷积窗口滑动步长为2)；
[0080]
flatten(展平，将特征图展平为向量)；
[0081]
fc：full connected(全连接层)；
[0082]
reshape(重置形状，将向量重组为图像)。
[0083]
以上所揭露的仅为本发明一种基于双监督端到端神经网络的单幅图像去雾方法较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。