一种低分辨率模糊图像增强方法

1.本发明关于一种模糊图像增强方法，特别是有关于一种深度密集残差gan的低分辨率模糊图像增强方法。


背景技术：

2.现随着计算机技术的发展，计算机视觉技术因其非接触、低成本、高效率的优点，受到了国内外研究人员的关注，被广泛应用于目标检测、障碍探测、行为识别、遥感图像分析等多个领域。但拍摄图像过程中不可避免地会由于物体运动以及拍摄对象过于遥远，导致获得的图像常常出现分辨率过低以及成像模糊的问题，如果对这些低分辨率模糊的低质量图像直接进行检测，将严重影响到识别准确率和识别效率，现有技术在对低分辨率的模糊图像进行复原时，图像仍会出现存在伪影以及图像细节不真实的问题，严重影响了恢复后图像质量，无法满足后续检测需求，因此亟待提出一种增强低分辨率模糊图像的方法。


技术实现要素：

3.针对上述问题，本发明提供一种低分辨率模糊图像增强方法，包括以下步骤：s1：接收低分辨率模糊图像；s2：深度密集残差gan网络生成器g生成该模糊图像对应的增强图像g(m)；s3：将该增强图像g(m)和该增强图像g(m)对应的清晰图像s送入判别器网络d；s4：判别器网络d判断该增强图像g(m)为该清晰图像s的概率是否在阈值内，若是，则进行步骤s5，若否，则返回步骤s2；s5：退出图像增强，达到最优状态；其中，该深度密集残差gan网络生成器g用于对每个输入的低分辨率模糊图像都能生成相应的增强图像；该判别器网络d用于判断输入网络的图像是来自于该深度密集残差gan网络生成器g的增强图像g(m)还是增强图像g(m)对应的清晰图像s，该判别器网络d输出的是图像为清晰图像的概率。
4.进一步地，该深度密集残差gan网络生成器g结构为：头部3个卷积-激活模块，后面连接6个残差块组成的残差网络，再连接2个转置卷积模块，再连接3通道的卷积-激活模块，接着通过卷积层再次提取图像特征，送入9个rrdb构成的密集残差网络，然后连接pixelshuffler上采样模块，最后连接一层3
×
3的卷积层输出图像。
5.进一步地，判别器网络d结构为：网络通过若干卷积对输入图像进行降采样，接着经过一个维度为1024的全连接层，最后通过一维的全连接层与sigmoid函数输出判断结果。
6.进一步地，步骤s2中该深度密集残差gan网络生成器g的总损失函数为：，其中，ladversarial为对抗损失函数，
lperceptual为感知损失函数，γ为常数系数；，其中，代表输入网络生成器g的低分辨率模糊图像，代表网络生成器g输出的生成图像，表示判别器将网络生成器g生成的图像判别为真实清晰图像的概率，n为图像批处理的数量；，其中，表示图片在vgg19第个最大池化层之前第个卷积层激活之后的特征映射，得到这个特征映射就是特征图，vgg19表示visual geometry group 19网络，是牛津大学计算机视觉研究组提出的，为该特征图的宽，为该特征图的高，为真实清晰图像，为生成器输出的生成图像，表示特征图上像素点的坐标。
7.进一步地，步骤s4中通过峰值信噪比评价该增强图像g(m)的质量，峰值信噪比，，其中，mse表示生成图像与真实清晰图像的均方差，为真实清晰图像，为生成图像，代表图像的高度与宽度，代表像素坐标，代表可能的最大像素值，n代表每个像素的比特数。
8.进一步地，步骤s4中通过结构相似性评价该增强图像g(m)的质量，结构相似性，其中，和代表真实清晰图像与生成图像的均值，和代表真实清晰图像与生成图像标准差，则代表两张图像的协方差，r代表像素值的动态范围，k1=0.01，k2=0.03。
9.进一步地， 为100。
10.通过本发明提供的一种低分辨率模糊图像增强方法，先利用卷积层提取低分辨率模糊图像特征，接着经过若干残差块组成的残差网络提取残差特征，使用两个转置卷积进行上采样后再次送入卷积层提取特征，在卷积层后连接用密集残差块组成的密集残差网络，用于丰富和恢复图像的细节信息，最终输出得到高分辨率的清晰图像，通过在损失函数中添加感知损失，增强了图像的真实性，具有较好的图像增强复原效果。
附图说明
11.图1为本发明一种低分辨率模糊图像增强方法的流程图；图2为本发明一种低分辨率模糊图像增强方法中残差网络的基本残差块单元示意图；图3为本发明一种低分辨率模糊图像增强方法中深度密集残差gan网络结构示意图；图4为本发明一种低分辨率模糊图像增强方法中密集残差网络基本结构示意图；图5为本发明一种低分辨率模糊图像增强方法中密集残差网络中单个密集块结构示意图；图6为本发明一种低分辨率模糊图像增强方法中深度密集残差gan网络生成器g的结构示意图；图7为本发明一种低分辨率模糊图像增强方法中判别网络d的结构示意图；图8a为本发明一种低分辨率模糊图像增强方法中需测试的低分辨率模糊图像；图8b为本发明一种低分辨率模糊图像增强方法中需测试的低分辨率模糊图像对应的清晰图像；图9为经过esrgan算法增强后生成的图像；图10为经过deblurgan-v2算法增强后生成的图像；图11为经过本发明一种低分辨率模糊图像增强方法增强后生成的图像。
具体实施方式
12.为使对本发明的目的、构造、特征、及其功能有进一步的了解，兹配合实施例详细说明如下。
13.本发明提供一种低分辨率模糊图像增强方法，参见图1，图1为本发明一种低分辨率模糊图像增强方法的流程图，包括以下步骤：s1：接收低分辨率模糊图像；s2：深度密集残差gan网络生成器g生成该模糊图像对应的增强图像g(m)；s3：将该增强图像g(m)和该增强图像g(m)对应的清晰图像s送入判别器网络d；s4：判别器网络d判断该增强图像g(m)为该清晰图像s的概率是否在阈值内，若是，则进行步骤s5，若否，则返回步骤s2；s5：退出图像增强，达到最优状态；其中，深度密集残差gan网络生成器g用于对每个输入的低分辨率模糊图像都能生成相应的增强图像；判别器网络d用于判断输入网络的图像是来自于该深度密集残差gan网络生成器g的增强图像g(m)还是增强图像g（m）对应的清晰图像s，判别器网络d输出的是图像为清晰图像的概率。
14.残差网络（residual network，resnet）通过在输入与输出之间建立一条直接通道的方法，保护了信息的完整，极大程度上解决了这个问题。残差网络由若干个残差块单元（residual block，rb）构成，每一个残差块都包含了前馈卷积网络与一个跳跃连接。设希望得到的潜在映射关系为c(x)，x为残差块的输入，用输入与输出间堆叠的非线性多层网络拟合另外一个残差映射函数h(x)=c(x)-x。假设此网络的最优解为一个恒等映射，即h(x)=x，
那么将h(x)拟合0的难度会远远低于直接让c(x)拟合为恒等映射。虽然一般情况下最优解不会是一个简单的恒等映射，但是这种残差结构将有助于划定最优解的范围，为求解器提供一个合理的预设条件，从而简化了网络学习的难度。残差网络的基本单元结构参见图2，图2为本发明一种低分辨率模糊图像增强方法中残差网络的基本残差块单元示意图，其中，conv为卷积层，relu为激活函数层。残差网络的搭建难度不高，仅仅添加了一个跳跃连接，网络也没有添加别的训练参数，没有增加计算复杂度。但是残差网络与传统的前馈卷积网络相比更容易优化，并且可以通过增加一定的网络深度提高网络性能而不用担心网络退化问题。本发明通过引入rb，解决了网络加深后梯度消失的问题，提升了网络整体性能，保证了增强后图像的质量。
15.本发明提出的算法整体结构框架包括两部分：深度密集残差gan网络生成器g和判别器网络d，具体参见图3，图3为本发明一种低分辨率模糊图像增强方法中深度密集残差gan网络结构示意图。
16.优选地，深度密集残差gan网络生成器g中的主要网络单元为将残差网络与密集网络相结合的密集残差网络（rrdb, residual in residual dense block），基本结构参见图4，图4为本发明一种低分辨率模糊图像增强方法中密集残差网络基本结构示意图；dense block为密集块，若干个密集块按残差方式连接即构成了一个密集残差网络，每个密集块的输入与输出之间都形成一个残差映射，整个网络的输入与输出也形成一个残差映射，利用这种方式，rrdb可以结合网络的浅层特征与深层特征，得到全局特征。其中，rrdb中每一个密集块的结构参见图5，图5为本发明一种低分辨率模糊图像增强方法中密集残差网络中单个密集块结构示意图，其中，conv为卷积层，lrelu为激活层，通过密集跳跃连接的方式，每一个卷积层的输入都包含了当前密集块前面所有卷积层输出的全部信息，这样层与层之间的信息传递就得到了加强，有利于实现特征信息复用，从而缓解梯度消失。与此同时，每一个卷积层后面都没有添加批本发明一种低分辨率模糊图像增强方法中量归一化层（bn），实现了网络结构的简化，有利于建立更深的网络。本发明通过在网络结构中引入rrdb，解决了网络加深后梯度消失的问题，提升了网络整体性能，保证了增强后图像的质量。
17.深度密集残差gan网络生成器g对于每个输入的低分辨率模糊图像都能生成相应的增强图像，其目标是让生成的图像尽可能与真实的清晰图像相符合，使判别器无法准确分辨。参见图6，图6为本发明一种低分辨率模糊图像增强方法中深度密集残差gan网络生成器g的结构示意图，深度密集残差gan网络生成器g结构为：头部3个卷积-激活模块，后面连接6个残差块组成的残差网络，再连接2个转置卷积模块，再连接3通道的卷积-激活模块，接着通过卷积层再次提取图像特征，送入9个rrdb构成的密集残差网络，然后连接pixelshuffler上采样模块，最后连接一层3
×
3的卷积层输出图像。
18.优选地，参见图7，图7为本发明一种低分辨率模糊图像增强方法中判别网络d的结构示意图，网络通过若干卷积层对输入图像进行降采样，接着经过一个维度为1024的全连接层，最后通过一维的全连接层与sigmoid函数输出判断结果。
19.进一步地，步骤s2中该深度密集残差gan网络生成器g的总损失函数为：，其中，ladversarial为对抗损失函数，
lperceptual为感知损失函数，为常数系数； 为对抗损失函数，其中，代表输入生成器网络的低分辨率模糊图像，代表生成器网络输出的生成图像，表示判别器将生成器生成的图像判别为真实清晰图像的概率，n为图像批处理的数量；深度密集残差gan网络生成器的最终目标是生成尽可能与真实清晰图像相符合的伪清晰图像，骗过判别器，使判别器无法准确判断图像来源，即需要最大化判别器网络将生成图像判别为真实清晰图像的概率，所以引入此对抗损失。
20.但如果仅将对抗损失作为唯一的优化目标，生成图像上易出现一些模糊伪影，为了进一步增强生成图像的真实性，本文添加了感知损失。
[0021] 为感知损失函数，其中，表示图片在vgg19第个最大池化层之前第个卷积层激活之后的特征映射，得到这个特征映射就是特征图，vgg19表示visual geometry group 19网络，是牛津大学计算机视觉研究组提出的一种19层网络模型，为该特征图的宽，为该特征图的高，为真实清晰图像， 为生成器输出的生成图像，表示特征图上像素点的坐标。在损失函数中添加感知损失项，进一步提升了生成图像的真实性。
[0022]
经过实验测验，总损失函数式中 为100时，总损失函数对于网络训练的优化效果达到最佳。
[0023]
优选地，步骤s4中通过峰值信噪比评价该增强图像g(m)的质量，峰值信噪比psnr是一个与两张图像像素均方误差有关的指标，表明两张图片在像素层面上的相似程度，psnr值越大，两张图片的像素相似度越高。峰值信噪比定义为：，，其中，mse表示生成图像与真实清晰图像的均方差，为真实清晰图像，为生成图像，代表图像的高度与宽度，代表像素坐标，代表可能的最大像素值，此处n为每个像素的比特数。
[0024]
优选地，步骤s4中通过结构相似性评价该增强图像g(m)的质量，结构相似性ssim是衡量两张图片在亮度、对比度、结构上相似的指标，ssim值越接近于1，表明两张图像相似程度越高。其定义为：
，其中，和代表真实清晰图像与生成图像的均值，和代表真实清晰图像与生成图像标准差，则代表两张图像的协方差，r代表像素值的动态范围，k1=0.01，k2=0.03。
[0025]
深度密集残差gan网络整体通过pytorch1.9搭建，实验所用电脑显卡为nvidia geforce rtx 2060，运行内存16g。训练数据集采用gopro数据集，该数据集包含一个训练集和一个测试集，场景丰富，被广泛用于去模糊网络的训练与测试中。
[0026]
为了展现出本发明提出的算法的有效性与优越性，将本发明算法与esrgan和deblurgan-v2进行比较，这两种算法为近年在图像超分辨率领域与低质量模糊图像增强领域较为优秀的算法。
[0027]
在同一实验条件下从gopro数据集中选取典型的低分辨率模糊图像进行增强处理，测试图片如图8a和图8b所示，图8a为本发明一种低分辨率模糊图像增强方法中需测试的低分辨率模糊图像图，图8b为本发明一种低分辨率模糊图像增强方法中需测试的低分辨率模糊图像对应的清晰图像。经过本文算法与esrgan和deblurgan-v2两种算法增强后的生成图像如图9-图11所示，图9为经过esrgan算法增强后生成的图像，由图9可以看出esrgan对图像的增强效果有限，得到的图像中车辆的轮廓仍然存在较为严重的失真问题，图10为经过deblurgan-v2算法增强后生成的图像，deblurgan-v2得到的增强图像虽然实现了基本的运动模糊去除，但是图像的细节信息仍然缺失严重，图像的边缘没能被很好的恢复，图11为经过本发明一种低分辨率模糊图像增强方法增强后生成的图像，图11在人眼看来更加清晰，图像的细节信息更为丰富，也得到了更为清晰的边缘。
[0028]
利用客观评价指标psnr与ssim衡量各算法生成的图像与对应的真实清晰图像的相似程度，可以定量地评价网络的图像增强效果，比较结果如表1所示：表1 不同算法得出图像的客观评价标准对比从表中结果可以看出本文算法相较于esrgan在psnr上提高了1.7072db，在ssim上提高了0.0783，相较于deblurgan-v2算法，psnr提高了1.1683db，在ssim上提高了0.0713。
[0029]
图像增强实验对深度密集残差gan网络的低分辨率模糊图像增强算法效果进行了验证，结果表明本文算法对低分辨率的模糊图像具有明显的增强效果。
[0030]
通过本发明提供的一种低分辨率模糊图像增强方法，先利用卷积层提取低分辨率模糊图像特征，接着经过若干残差块组成的残差网络提取残差特征，使用两个转置卷积进
行上采样后再次送入卷积层提取特征，在卷积层后连接用密集残差块组成的密集残差网络，用于丰富和恢复图像的细节信息，最终输出得到高分辨率的清晰图像，通过在损失函数中添加感知损失，增强了图像的真实性，具有较好的图像增强复原效果。对于后续可能的目标检测任务来说，本文算法可以极大地提升检测准确率与效率，具有广阔的应用前景。
[0031]
本发明已由上述相关实施例加以描述，然而上述实施例仅为实施本发明的范例。必需指出的是，已揭露的实施例并未限制本发明的范围。相反地，在不脱离本发明的精神和范围内所作的更动与润饰，均属本发明的专利保护范围。