一种基于高频-低频信息融合的图像去模糊方法与流程

1.本发明属计算机视觉、图像复原技术领域，具体涉及一种基于高频-低频信息融合的图像去模糊方法。


背景技术：

2.图像模糊主要可以分为三类：运动模糊、散焦模糊以及高斯模糊。运动模糊主要由拍摄者与被拍者在拍摄期间的相对移动造成的，是最常见的也是最容易发生的模糊情况；散焦模糊是因为焦距未能调节好造成的模糊现象，一般拍摄者会利用散焦模糊来呈现出一种别样的观感；高斯模糊则是一种常用的图像预处理方式，一般很少出现。图像去模糊方法主要针对运动模糊，早期的图像去模糊方法主要从模糊产生的原理出发，通过估计模糊核，再进行反卷积恢复出清晰的图像。但由于此问题是一个病态问题，解空间很大，出现一些新的方法通过各种先验信息约束解空间来反解该问题。后来，随着深度学习的发展，出现了更多利用神经网络训练模型来达到去模糊效果的方法，即基于深度学习的去模糊方法，比如“deep multi-scale convolutional neuralnetwork for dynamic scene deblurring”论文中提出了多尺度的网络结构，对模糊图像从三个不同的尺度进行特征的提取来实现去模糊的功能；“scale-recurrent network fordeep image deblurring”论文中在多尺度的基础上又提出了尺度循环的结构，引入了 rnn来连接不同尺度的信息。这些方法虽然都有一定的去模糊效果，但是都没有充分考虑到模糊本身的性质(模糊是由图像高频信息的丢失导致)，从而导致模型的去模糊性能受限。
3.基于深度学习的去模糊方法具有较好的去模糊效果，但是由于其往往需要通过较多的网络层数和网络卷积层的通道数来获取较好的图像恢复能力，导致模型的参数量很大，训练以及测试所需的时间很长，不适合用于实时处理；另外，很多模型没有能够很好的利用图像本身的结构信息，去模糊效果并不理想。


技术实现要素：

4.为了克服现有技术的不足，本发明提供一种基于高频-低频信息融合的图像去模糊方法。首先，对公开的gopro模糊数据集进行预处理，以其作为训练数据集；然后，构建包括低频信息网络、高频信息网络和融合模块的高频-低频信息融合网络，其中低频信息网络用于重建模糊图像的低频背景轮廓信息，高频信息网络用于重建模糊图像的高频边缘信息，融合模块用于将编码的高频和低频信息进行融合；接着，进行网络训练，并利用训练好的网络对模糊图像进行处理，得到对应的清晰图像。本发明通过构建端到端的深度神经网络，融合高频与低频信息、边缘信息，能够有效得进行去模糊处理，且模型参数少，计算速度快。
5.一种基于高频-低频信息融合的图像去模糊方法，其特征在于步骤如下：
6.步骤1，数据集预处理：对于gopro数据集，采用sobel算子对其中的每一幅清晰图像进行边缘信息提取，得到对应的边缘信息图像；然后，将每一幅图像任意裁剪为 256
×
256大小，再进行水平方向随机翻转、九十度随机旋转、归一化处理；
7.步骤2，构建高频-低频信息融合网络：包括低频信息网络、高频信息网络和融合模块，低频信息网络用于重建模糊图像的低频背景轮廓信息，高频信息网络用于重建模糊图像的高频边缘信息，融合模块将编码的高频和低频信息进行融合；
8.所述的低频信息网络采用编码器-解码器结构，在编码器中将输入的特征通过卷积层不断下采样进行编码，在解码器中将编码后的特征通过反卷积层不断上采样进行解码，每个卷积层、反卷积层后均连接三个多尺度空洞卷积块和一个relu激活层，其中，多尺度空洞卷积块由三个空洞卷积层构成，先利用两个空洞卷积率分别为2和3的空洞卷积层进行多尺度特征提取，再利用另一个空洞卷积率为1的空洞卷积层对提取的特征进行融合，融合后的特征为多尺度空洞卷积块的输出特征；
9.所述的高频信息网络也采用编码器-解码器结构，每个卷积层、反卷积层后均连接两个残差卷积块和一个relu激活层，其中，残差卷积块由两个卷积层构成，输入的特征经过这两个卷积层后再与输入的特征本身相加后得到的特征即为残差卷积块的输出；高频信息网络中所有卷积层的通道数是低频信息网络的一半；
10.所述的融合模块将高频信息网络和低频信息网络编码后的特征进行通道拼接，再采用一个卷积层对通道拼接后的特征进行融合，最后将该融合后的特征输入到低频信息网络的解码器中，输出最终的清晰图像；
11.步骤3，网络训练：将步骤1得到的预处理后的训练数据输入到步骤2构建的高频
‑ꢀ
低频信息融合网络中，采用adam作为优化器，进行网络训练，得到训练好的网络；
12.网络的损失函数按下式进行计算：
13.l＝-(λ1ssim(x
gt
,x
l
) λ2ssim(x
edge
,xh))
ꢀꢀ
(1)
14.其中，l表示网络总损失，λ1为低频信息网络损失权重，取值1，λ2为高频信息网络损失权重，取值0.5；x
gt
表示清晰图像，x
l
表示低频信息网络输出的图像，x
edge
表示清晰图像的边缘信息图像，xh表示高频信息网络输出的图像，ssim(
·
,
·
)表示计算两幅图像的结构相似度；
15.步骤4，图像去模糊：将模糊图像输入到步骤3训练好的高频-低频信息融合网络，网络输出的图像即为去模糊处理后的图像。
16.本发明的有益效果是：由于利用高频与低频信息融合的方法，构建了一个端到端的深度神经网络，能够有效地进行去模糊处理；由于设计的多尺度空洞卷积块在参数量较小的情况下结合多个尺度的信息，能够很好地提高模型感受野的大小，构建得到边缘信息显著的图像低频信息；由于采用基于ssim计算的损失函数，能够取得更好的去模糊效果。本发明构建的模型参数量少，计算速度快。
附图说明
17.图1是本发明的高频-低频信息融合网络结构示意图。
18.图2是本发明的多尺度空洞卷积块结构示意图；
19.图中，ar＝1表示空洞卷积率为1的空洞卷积层，ar＝2表示空洞卷积率为2的空洞卷积层，ar3＝3表示空洞卷积率为3的空洞卷积层，relu表示非线性激活函数，表示通道拼接，表示数值相加；
20.图3是采用本发明方法进行去模糊处理的结果对比图像；
21.图中，(a)为输入的模糊图像，(b)为本发明方法结果图像，(c)为真实清晰图像。
具体实施方式
22.下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。
23.本发明提供了一种基于高频-低频信息融合的图像去模糊方法，其具体实现过程如下：
24.1、数据集预处理
25.本发明采用目前公开的最大模糊数据集gopro作为网络的训练数据集，gopro 数据集中共包含3214副模糊清晰图像对，并且已经划分好训练集和测试集，其中训练集有2103对图像，测试集有1111对图像。考虑到模糊产生是由于边缘信息丢失这一本质，本发明要提取边缘信息作为引导。因此，首先采用sobel算子对其中的每一幅清晰图像进行边缘信息提取，得到对应的边缘信息图像。然后，将每一幅图像任意裁剪为 256
×
256大小，再进行水平方向随机翻转、九十度随机旋转、归一化处理。
26.2、构建高频-低频信息融合网络
27.为了充分利用图像的高频和低频信息进行去模糊，本发明构建了能够融合高频信息和低频信息的高频-低频信息融合网络，包括低频信息网络、高频信息网络和融合模块，如图1所示。将模糊图像输入到高频-低频信息融合网络，输出对应的清晰图像。
28.(1)低频信息网络
29.低频信息网络由编码器-解码器作为基本结构框架，编码器中将输入的特征通过卷积层不断下采样进行编码，解码器中将编码后的特征通过反卷积层不断上采样进行解码。另外，低频信息网络结合多个多尺度空洞卷积块，在扩大感受野的同时能够较好的恢复出图像的低频信息。具体来说，低频信息网络由卷积层、多尺度空洞卷积块和反卷积层构成，每个卷积层、反卷积层后均连接三个多尺度空洞卷积块和一个relu 激活层。将模糊输入到低频信息网络，输出对应的清晰图像。
30.传统的空洞卷积层虽然可以在保证特征图大小不变的情况下增加感受野，但是会出现明显的网格效应，因此很难将其利用于如图像去模糊等底层视觉的研究中。如图2 所示，本发明设计了一种多尺度空间卷积块，多尺度空洞卷积块由三个空洞卷积层构成，先利用两个空洞卷积率分别为2和3的空洞卷积层进行多尺度的特征提取，再利用另一个空洞率为1的空洞卷积层将特征的通道数还原至多尺度空洞卷积块输入特征的大小。
31.表1给出了一种低频信息网络的具体结构参数样例，共包含3个卷积层、15个多尺度空洞卷积块、3个反卷积层。
32.表1
[0033][0034][0035]
(2)高频信息网络
[0036]
高频信息网络同样由编码器-解码器作为基本结构框架，其内部采用的是残差块来恢复图像的边缘信息。高频信息网络由卷积层、残差卷积块和反卷积层构成，每个卷积层、反卷积层后均连接两个残差卷积块和一个relu激活层。其中，残差卷积块由两个卷积层构成，输入的特征经过这两个卷积层后再与输入的特征本身相加后得到残差卷积块输出的特征。输入的模糊图像经过高频信息网络输出清晰的边缘信息图像。
[0037]
高频信息网络的整体结构与低频信息网络近似，不同点在于该网络中每个卷积层后面跟着两个卷积块而不是三个，另外整体网络中所有卷积层的通道数是低频信息网络的一半。
[0038]
(3)融合模块
[0039]
融合模块将高频信息网络和低频信息网络编码后的特征(编码后的特征即为输入的模糊图像经过网络的编码器所输出的特征)进行通道拼接，再采用卷积层对通道拼接后的特征进行融合，最后将该融合后的特征输入到低频信息网络的解码器中，输出最终的清晰图像。
[0040]
3、网络训练
[0041]
将步骤1得到的预处理后的训练数据输入到步骤2构建的高频-低频信息融合网络，采用adam作为优化器进行网络训练，得到训练好的网络。
[0042]
在已有方法中，大多数都是采用l1损失或者l2损失作为模型的损失函数，对网络进行训练。与其不同，本发明采用基于ssim计算的联合损失作为模型的损失函数， ssim是一种评价图像相似度的方法，它利用图像的整体结构信息(包括结构、亮度和对比度)来评价两幅图像的相似程度。经过大量实验证明ssim损失在去模糊任务中效果相较于l1、l2损失更好。ssim的计算公式为：
[0043]
[0044]
其中，μ
x
和μy分别表示图像x和图像y的均值，和分别表示图像x和图像y的方差，σ
xy
表示图像x和图像y的协方差，c1和c2是常数。ssim的取值在0到1之间，两幅图像的差异越大，ssim的值就越小。
[0045]
高频-低频信息融合网络的损失函数按下式进行计算：
[0046]
l＝-(λ1ssim(x
gt
,x
l
) λ2ssim(x
edge
,xh))
ꢀꢀ
(3)
[0047]
其中，l表示网络总损失，λ1为低频信息网络损失权重，取值1，λ2为高频信息网络损失权重，取值0.5；x
gt
表示清晰图像，x
l
表示低频信息网络输出的图像，x
edge
表示清晰图像的边缘信息图像，xh表示高频信息网络输出的图像，ssim(
·
,
·
)表示计算两幅图像的结构相似度。
[0048]
4、图像去模糊
[0049]
将模糊图像输入到步骤3训练好的高频-低频信息融合网络，网络输出的图像即为去模糊处理后的图像。
[0050]
从gopro数据集的测试集中抽取五分之一的图像对作为验证集，利用验证集对不同的去模糊方法进行效果验证，对比方法分别为“learning a convolutional neuralnetwork for non-uniform motion blur removal”论文中的非盲去模糊网络(dl-mrf) 方法、“deep multi-scale convolutional neural network for dynamic scene deblurring”论文中的深度去模糊网络(deepdeblur)方法以及“deblurgan-v2:deblurring (orders-of-magnitude)faster and better”论文中的生成对抗去模糊网络 (deblurgan-v2)方法。分别计算各个方法得到去模糊结果图像的峰值信噪比 (psnr)、结构相似度(ssim)、模型参数量以及模型推理所用时间，结果如表2所示。可以看出，本发明方法具有很小的模型参数量和很短的推理用时，同时，psnr和ssim 指标最优，充分证明了本发明方法的有效性和优异性。
[0051]
表2
[0052]
方法ssimpsnr模型参数量模型推理所用时间非盲去模糊网络0.842924.64db54.1mb12.1min深度去模糊网络0.913529.08db303.6mb3.1s生成对抗去模糊网络0.934029.55db15.1mb0.35s本发明方法0.948330.25db5.89mb0.078s
[0053]
图3给出了采用本发明方法进行去模糊处理的结果图像，从可视化结果来看，本发明方法的去模糊效果较好，且边缘信息的恢复较为明显。