一种基于生成对抗网络的模糊图像复原方法及系统与流程

1.本发明涉及模糊图像复原领域，特别是涉及一种基于生成对抗网络的模糊图像复原方法及系统。


背景技术：

2.模糊图像复原技术在目标检测、交通监控和医学影像等领域都有着重要作用。在图像拍摄过程中，由于相机抖动旋转、目标物体移动或镜头失焦等因素影响，会导致记录图像模糊不清，图中重要的细节信息丢失或损坏，严重影响图像质量。对模糊图像进行去模糊处理可以恢复出丢失信息，提升视觉观看质量，满足各领域内对清晰图像的任务需求。
3.传统的去模糊方法首先根据先验约束估计模糊核，而后进行反卷积操作进行模糊图像复原，此类方法存在着计算过程复杂以及容易产生振铃、伪影现象等问题。基于卷积神经网络的模糊图像复原方法通过增加网络深度或宽度的方式来提取图像的多尺度特征信息，这使得模型的参数量和计算量随之增加，且真实感不强。
4.因此，亟需一种新的模糊图像复原方法或系统以提高模糊图像复原的真实性。


技术实现要素：

5.本发明的目的是提供一种基于生成对抗网络的模糊图像复原方法及系统，能够提高模糊图像复原的真实性。
6.为实现上述目的，本发明提供了如下方案：
7.一种基于生成对抗网络的模糊图像复原方法，包括：
8.获取待复原的模糊图像；
9.利用训练好的模糊图像复原网络模型对所述待复原的模糊图像进行复原；所述模糊图像复原网络模型基于多尺度条件生成对抗网络进行构建；所述多尺度条件生成对抗网络包括：生成器、鉴别器和损失函数；所述生成器的构建过程为：
10.利用1个7
×
7大小且添加relu函数的卷积层和2个3
×
3大小且添加relu函数的跨步卷积层对输入图像进行下采样操作；
11.利用9个多尺度残差块和1个1
×
1大小且添加relu函数的瓶颈卷积层对下采样操作后的图像进行特征融合，并实现多尺度特征的自适应提取；每个所述多尺度残差块的输出均发送至所述瓶颈卷积层；所述多尺度残差模块包括：part a和part b；在part a中，首先利用1
×
1大小的瓶颈卷积对输入特征图进行降维处理，随后将特征通道分为四组，第一组特征通道直接输出至part b，第二组特征通道、第三组特征通道和第四组特征通道中均添加1个3
×
3大小的卷积层和relu激活函数；第二组特征通道将相应的输出特征和第三组特征通道的输入特征一起发送至第三组特征通道的卷积层中；第三组特征通道将相应的输出特征和第四组特征通道的输入特征一起发送至第四组特征通道的卷积层中；将第二组特征通道、第三组特征通道和第四组特征通道的输出特征进行融合输入part b中；在part b中利用1个3
×
3大小和1个5
×
5大小的卷积层进行并行连接，并加入relu激活函数；part b
的输出特征和part a中第一组特征通道的特征进行融合后经过1
×
1大小的瓶颈卷积，恢复特征图的维度；
12.利用2个3
×
3大小且添加relu函数的转置卷积层和1个7
×
7大小且添加tanh激活函数的卷积层对提取特征后的图像进行上采样操作，生成复原图像。
13.可选地，所述鉴别器包括：5个依次连接的卷积层；5个卷积层的内核大小均为4
×
4；前四个卷积层均与leakyrelu激活函数层连接；第5个卷积层与sigmod激活函数层连接。
14.可选地，利用公式l
loss
＝l
d
100
×
l
g
确定损失函数；
15.其中，l
loss
为损失函数，l
d
为对抗损失函数，l
g
为感知损失函数。
16.可选地，利用公式确定对抗损失函数；
17.其中，x为真实数据，p
x
为真实数据的分布，z为随机噪声，p
z
为噪声的分布，y为约束条件，e(*)为数学期望，d(*)为鉴别器对输入数据真假性的判断，即输入数据为真的概率值，g(*)为生成器对输入数据的生成结果。
18.可选地，利用公式确定感知损失函数；
19.其中，w
i,j
和h
i,j
为特征图的维度，此处选择i＝j＝3。φ
i,j
为在imagenet数据集上预训练的vgg19网络中第i个池化层前的第j个卷积层输出的特征图。
20.可选地，所述利用训练好的模糊图像复原网络模型对所述待复原的模糊图像进行复原，之前还包括：
21.获取模糊图像复原数据集；所述模糊图像复原数据集包括多个清晰与模糊图像对；每个清晰与模糊图像对中的清晰图像与模糊图像一一对应；
22.将模糊图像复原数据集划分为训练集和测试集；
23.构建基于多尺度条件生成对抗网络的模糊图像复原网络模型；
24.将训练集中的清晰与模糊图像对输入到模糊图像复原网络模型中的生成器中，生成复原图像；
25.将复原图像输入到模糊图像复原网络模型中的鉴别器中，利用相应的清晰图像进行判断；
26.保持鉴别器的参数不变，重复执行生成复原图像和判断的步骤，调整生成器的参数，使得损失函数逐渐减小直至趋于稳定状态；
27.保持生成器的参数不变，重复执行生成复原图像和判断的步骤，调整鉴别器的参数，使得损失函数逐渐增大直至趋于稳定状态；
28.直至损失函数收敛，确定训练好的模糊图像复原网络模型；
29.利用测试集对训练好的模糊图像复原网络模型进行测试。
30.一种基于生成对抗网络的模糊图像复原系统，包括：
31.待复原的模糊图像获取模块，用于获取待复原的模糊图像；
32.模糊图像复原模块，用于利用训练好的模糊图像复原网络模型对所述待复原的模糊图像进行复原；所述模糊图像复原网络模型基于多尺度条件生成对抗网络进行构建；所述多尺度条件生成对抗网络包括：生成器、鉴别器和损失函数；所述生成器的构建过程为：
33.利用1个7
×
7大小且添加relu函数的卷积层和2个3
×
3大小且添加relu函数的跨
步卷积层对输入图像进行下采样操作；
34.利用9个多尺度残差块和1个1
×
1大小且添加relu函数的瓶颈卷积层对下采样操作后的图像进行特征融合，并实现多尺度特征的自适应提取；每个所述多尺度残差块的输出均发送至所述瓶颈卷积层；所述多尺度残差模块包括：part a和part b；在part a中，首先利用1
×
1大小的瓶颈卷积对输入特征图进行降维处理，随后将特征通道分为四组，第一组特征通道直接输出至part b，第二组特征通道、第三组特征通道和第四组特征通道中均添加1个3
×
3大小的卷积层和relu激活函数；第二组特征通道将相应的输出特征和第三组特征通道的输入特征一起发送至第三组特征通道的卷积层中；第三组特征通道将相应的输出特征和第四组特征通道的输入特征一起发送至第四组特征通道的卷积层中；将第二组特征通道、第三组特征通道和第四组特征通道的输出特征进行融合输入part b中；在part b中利用1个3
×
3大小和1个5
×
5大小的卷积层进行并行连接，并加入relu激活函数；part b的输出特征和part a中第一组特征通道的特征进行融合后经过1
×
1大小的瓶颈卷积，恢复特征图的维度；
35.利用2个3
×
3大小且添加relu函数的转置卷积层和1个7
×
7大小且添加tanh激活函数的卷积层对提取特征后的图像进行上采样操作，生成复原图像。
36.可选地，还包括：
37.糊图像复原数据集获取模块，用于获取模糊图像复原数据集；所述模糊图像复原数据集包括多个清晰与模糊图像对；每个清晰与模糊图像对中的清晰图像与模糊图像一一对应；
38.糊图像复原数据集划分模块，用于将模糊图像复原数据集划分为训练集和测试集；
39.模糊图像复原网络模型构建模块，用于构建基于多尺度条件生成对抗网络的模糊图像复原网络模型；
40.复原图像生成模块，用于将训练集中的清晰与模糊图像对输入到模糊图像复原网络模型中的生成器中，生成复原图像；
41.判断模块，用于将复原图像输入到模糊图像复原网络模型中的鉴别器中，利用相应的清晰图像进行判断；
42.第一调整模块，用于保持鉴别器的参数不变，重复执行生成复原图像和判断的步骤，调整生成器的参数，使得损失函数逐渐减小直至趋于稳定状态；
43.第二调整模块，用于保持生成器的参数不变，重复执行生成复原图像和判断的步骤，调整鉴别器的参数，使得损失函数逐渐增大直至趋于稳定状态；
44.训练好的模糊图像复原网络模型确定模块，用于直至损失函数收敛，确定训练好的模糊图像复原网络模型；
45.训练好的模糊图像复原网络模型测试模块，用于利用测试集对训练好的模糊图像复原网络模型进行测试。
46.根据本发明提供的具体实施例，本发明公开了以下技术效果：
47.本发明所提供的一种基于生成对抗网络的模糊图像复原方法及系统，基于多尺度条件生成对抗网络构建模糊图像复原网络模型，在多尺度条件生成对抗网络中的生成器中构建多尺度残差块，并将多尺度残差块作为生成网络中的主要特征提取块，利用多尺度残
差块内部以分级残差连接和增加不同卷积核分支的方式提取图像的多尺度特征信息；在生成器中的多个多尺度残差块后添加瓶颈卷积层，每个所述多尺度残差块的输出均发送至所述瓶颈卷积层，即在它们之间添加了跳跃连接，以此来增强多尺度特征的自适应提取能力，进而提高了模糊图像复原的真实性。
附图说明
48.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
49.图1为本发明所提供的一种基于生成对抗网络的模糊图像复原方法流程示意图；
50.图2为模糊图像复原网络模型结构示意图；
51.图3为多尺度残差块结构示意图；
52.图4为采用本方法的模糊图像复原效果示意图；
53.图5为本发明所提供的一种基于生成对抗网络的模糊图像复原系统结构示意图。
具体实施方式
54.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
55.本发明的目的是提供一种基于生成对抗网络的模糊图像复原方法及系统，能够提高模糊图像复原的真实性。
56.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
57.图1为本发明所提供的一种基于生成对抗网络的模糊图像复原方法流程示意图，如图1所示，本发明所提供的一种基于生成对抗网络的模糊图像复原方法，包括：
58.s101，获取待复原的模糊图像；
59.s102，利用训练好的模糊图像复原网络模型对所述待复原的模糊图像进行复原；所述模糊图像复原网络模型基于多尺度条件生成对抗网络进行构建；所述多尺度条件生成对抗网络包括：生成器g、鉴别器d和损失函数；如图2所示，所述生成器g的构建过程为：
60.s201，利用1个7
×
7大小且添加relu函数的卷积层和2个3
×
3大小且添加relu函数的跨步卷积层对输入图像进行下采样操作；
61.s202，利用9个多尺度残差块和1个1
×
1大小且添加relu函数的瓶颈卷积层对下采样操作后的图像进行特征融合，并实现多尺度特征的自适应提取；每个所述多尺度残差块的输出均发送至所述瓶颈卷积层，即尺度残差块和瓶颈卷积层之间添加了跳跃连接；解决融合特征中的冗余信息，增强了多尺度特征的自适应提取能力。
62.如图3所示，所述多尺度残差模块包括：part a和part b；在part a中，首先利用1
×
1大小的瓶颈卷积对输入特征图进行降维处理，随后将特征通道分为四组，第一组特征通
道s1直接输出至part b，第二组特征通道s2、第三组特征通道s3和第四组特征通道s4中均添加1个3
×
3大小的卷积层和relu激活函数；第二组特征通道s2将相应的输出特征和第三组特征通道s3的输入特征一起发送至第三组特征通道s3的卷积层中；第三组特征通道s3将相应的输出特征和第四组特征通道s4的输入特征一起发送至第四组特征通道s4的卷积层中；将第二组特征通道s2、第三组特征通道s3和第四组特征通道s4的输出特征进行融合输入part b中；在part b中利用1个3
×
3大小和1个5
×
5大小的卷积层进行并行连接，并加入relu激活函数；part b的输出特征和part a中第一组特征通道s1的特征进行融合后经过1
×
1大小的瓶颈卷积，恢复特征图的维度；最后由输入端至输出端添加了全局跳跃连接，提高模型的学习效率。
63.将内部的特征通道数均分为4组，增加了网路层的感受野范围，在更为精细的层次上提升了多尺度表达能力，并且不会造成运行时间和内存的增加以及模型的过拟合。
64.s203，利用2个3
×
3大小且添加relu函数的转置卷积层和1个7
×
7大小且添加tanh激活函数的卷积层对提取特征后的图像进行上采样操作，生成复原图像。
65.所述鉴别器d包括：5个依次连接的卷积层；5个卷积层的内核大小均为4
×
4；前四个卷积层均与leakyrelu激活函数层连接；第5个卷积层与sigmod激活函数层连接。鉴别器d其输出值表示输入鉴别器d的图像为清晰图像的概率
66.利用公式l
loss
＝l
d
100
×
l
g
确定损失函数；联合对抗损失函数和感知损失函数作为总的损失函数，提升了网络训练的稳定性以及复原图像和清晰图像之间的内容一致性。
67.其中，l
loss
为损失函数，l
d
为对抗损失函数，l
g
为感知损失函数。
68.利用公式确定对抗损失函数；
69.其中，x为真实数据，p
x
为真实数据的分布，z为随机噪声，p
z
为噪声的分布，y为约束条件，e(*)为数学期望，d(*)为鉴别器对输入数据真假性的判断，即输入数据为真的概率值，g(*)为生成器对输入数据的生成结果。
70.利用公式确定感知损失函数；
71.其中，w
i,j
和h
i,j
为特征图的维度，此处选择i＝j＝3。φ
i,j
为在imagenet数据集上预训练的vgg19网络中第i个池化层前的第j个卷积层输出的特征图。
72.s102，之前还包括：
73.s301，获取模糊图像复原数据集；所述模糊图像复原数据集包括多个清晰与模糊图像对(s
i
,b
i
)；每个清晰与模糊图像对(s
i
,b
i
)中的清晰图像与模糊图像一一对应；模糊图像复原数据集包括多个清晰与模糊图像对(s
i
,b
i
)，使训练的模型具有较低的模型复杂度和较高的模型训练效率。
74.s302，将模糊图像复原数据集划分为训练集和测试集；
75.作为一个具体的实施例，训练集中包含2103个清晰
‑
模糊图像对(s
i
,b
i
)，测试集包含1111个清晰
‑
模糊图像对(s
j
,b
j
)。在每个图像对中，s，b分别表示清晰图像和模糊图像，它们的分辨率大小相同，其中i＝1,2,
…
,2103，j＝1,2,
…
,1111。
76.s303，构建基于多尺度条件生成对抗网络的模糊图像复原网络模型；
77.s304，将训练集中的清晰与模糊图像对输入到模糊图像复原网络模型中的生成器
g中，生成复原图像g(b
i
)；清晰图像作为辅助图像信息对该生成过程进行条件约束，使得复原图像g(b
i
)更加逼真可靠。
78.s305，将复原图像输入到模糊图像复原网络模型中的鉴别器d中，利用相应的清晰图像进行判断；
79.s306，保持鉴别器d的参数不变，重复执行s304和s305的步骤，调整生成器g的参数，使得损失函数逐渐减小直至趋于稳定状态；
80.s307，保持生成器g的参数不变，重复执行s304和s305的步骤，调整鉴别器d的参数，使得损失函数逐渐增大直至趋于稳定状态；
81.s308，重复执行s306
‑
s307，直至损失函数收敛，确定训练好的模糊图像复原网络模型；
82.s309，利用测试集对训练好的模糊图像复原网络模型进行测试。
83.图4为采用本方法的模糊图像复原效果示意图，如图4所示，图像复原的真实性明显提高。
84.图5为本发明所提供的一种基于生成对抗网络的模糊图像复原系统结构示意图，如图5所示，本发明所提供的一种基于生成对抗网络的模糊图像复原系统，包括：
85.待复原的模糊图像获取模块501，用于获取待复原的模糊图像；
86.模糊图像复原模块502，用于利用训练好的模糊图像复原网络模型对所述待复原的模糊图像进行复原；所述模糊图像复原网络模型基于多尺度条件生成对抗网络进行构建；所述多尺度条件生成对抗网络包括：生成器、鉴别器和损失函数；所述生成器的构建过程为：
87.利用1个7
×
7大小且添加relu函数的卷积层和2个3
×
3大小且添加relu函数的跨步卷积层对输入图像进行下采样操作；
88.利用9个多尺度残差块和1个1
×
1大小且添加relu函数的瓶颈卷积层对下采样操作后的图像进行特征融合，并实现多尺度特征的自适应提取；每个所述多尺度残差块的输出均发送至所述瓶颈卷积层；所述多尺度残差模块包括：part a和part b；在part a中，首先利用1
×
1大小的瓶颈卷积对输入特征图进行降维处理，随后将特征通道分为四组，第一组特征通道直接输出至part b，第二组特征通道、第三组特征通道和第四组特征通道中均添加1个3
×
3大小的卷积层和relu激活函数；第二组特征通道将相应的输出特征和第三组特征通道的输入特征一起发送至第三组特征通道的卷积层中；第三组特征通道将相应的输出特征和第四组特征通道的输入特征一起发送至第四组特征通道的卷积层中；将第二组特征通道、第三组特征通道和第四组特征通道的输出特征进行融合输入part b中；在part b中利用1个3
×
3大小和1个5
×
5大小的卷积层进行并行连接，并加入relu激活函数；part b的输出特征和part a中第一组特征通道的特征进行融合后经过1
×
1大小的瓶颈卷积，恢复特征图的维度；
89.利用2个3
×
3大小且添加relu函数的转置卷积层和1个7
×
7大小且添加tanh激活函数的卷积层对提取特征后的图像进行上采样操作，生成复原图像。
90.本发明所提供的一种基于生成对抗网络的模糊图像复原系统，还包括：
91.糊图像复原数据集获取模块，用于获取模糊图像复原数据集；所述模糊图像复原数据集包括多个清晰与模糊图像对；每个清晰与模糊图像对中的清晰图像与模糊图像一一
对应；
92.糊图像复原数据集划分模块，用于将模糊图像复原数据集划分为训练集和测试集；
93.模糊图像复原网络模型构建模块，用于构建基于多尺度条件生成对抗网络的模糊图像复原网络模型；
94.复原图像生成模块，用于将训练集中的清晰与模糊图像对输入到模糊图像复原网络模型中的生成器中，生成复原图像；
95.判断模块，用于将复原图像输入到模糊图像复原网络模型中的鉴别器中，利用相应的清晰图像进行判断；
96.第一调整模块，用于保持鉴别器的参数不变，重复执行生成复原图像和判断的步骤，调整生成器的参数，使得损失函数逐渐减小直至趋于稳定状态；
97.第二调整模块，用于保持生成器的参数不变，重复执行生成复原图像和判断的步骤，调整鉴别器的参数，使得损失函数逐渐增大直至趋于稳定状态；
98.训练好的模糊图像复原网络模型确定模块，用于直至损失函数收敛，确定训练好的模糊图像复原网络模型；
99.训练好的模糊图像复原网络模型测试模块，用于利用测试集对训练好的模糊图像复原网络模型进行测试。
100.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
101.本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。