基于盲超分辨率网络的图像重建方法

1.本发明属于图像处理技术领域，涉及一种图像重建方法，具体涉及一种基于盲超分辨率网络的rgb图像重建方法，可用于视频监控、遥感成像等领域。


背景技术：

2.在成像过程中，由于成像系统各种因素的影响，可能使获得的图像不是真实景物的完善影像。图像在形成、传播和保存过程中使图像质量下降的过程，称为图像退化。图像重建就是重建退化的图像，使其最大限度恢复景物原貌的处理。图像重建只能尽量使图像接近其原始图像，但由于噪声干扰等因素，很难精确还原。而由于成像系统或者传输带宽的限制，获得的图像的分辨率往往较低，图像超分辨率重建就是利用已有的图像重建出更高分辨率的图像。在视频监控、遥感成像等对成像质量有严格要求的领域中，不仅要求图像具有较高分辨率，而且图像结构不应出现结构失真，纹理错误，使目标清晰，容易识别。衡量重建图像质量指标采用峰值信噪比和结构相似度来衡量。在实际情况中，图像退化方式多种多样，一般图像超分辨率重建都假定退化过程已知，但现实世界中的图像退化过程是未知，图像盲超分辨率能够根据不同图像的不同退化方式估计出不同的模糊核，为现实世界图像的超分辨率重建提供了可能。
3.现有基于学习的rgb图像超分辨率方法大部分都假设模糊核固定且已知，而现实世界中的图像退化方式多种多样，当这些方法应用于实际场景中时，图像域的差异将导致严重的性能下降。而现有的大多数盲超分方法都是基于模型的，利用自然图像的自相似性来预测隐式模糊核。这样的预测方式导估计的模糊核很容易受到输入噪声的影响，致使估计出的模糊核不准确，导致重建出的高分辨率图像也存在纹理模糊和结构失真等问题。
4.厦门大学在其申请的专利文献“一种图像盲超分辨率方法及系统”(专利申请号：cn202110471824.7，申请公布号cn113139904 a)中，提出了一种图像盲超分辨率重建方法。该方法包括：获取经训练的模糊核生成网络以及低分辨率图像的频谱图；将所述频谱图输入所述经训练的模糊核生成网络,得到所述低分辨率图像对应的模糊核；根据所述低分辨率图像对应的模糊核确定所述低分辨率图像对应的退化特征图；将所述低分辨率图像与其对应的退化特征图进行拼接,得到拼接图；将所述拼接图输入经训练的卷积神经网络,得到高分辨率图像。该方法虽然提升了图像的分辨率，但是估计模糊核步骤和基于模糊核还原高分辨率图像步骤分开，估计模糊核时只能利用低分辨率图像中的有限信息，导致估计模糊核的准确率低，最终导致重建高分辨率图像存在结构失真，边缘扭曲等几何畸变的现象。


技术实现要素：

5.本发明的目的在于针对上述现有技术存在的不足，提出一种基于盲超分辨率网络的图像重建方法，旨在保证图像分辨率前提下，解决现有技术中存在的因模糊核估计不准确导致重建图像纹理模糊和结构失真的技术问题。
6.为实现上述目的，本发明采取的技术方案包括如下步骤：
7.(1)获取训练样本集和测试样本集：
8.(1a)选取k幅rgb图像进行高斯模糊处理，并对每幅高斯模糊处理后的rgb图像进行1/4降采样，得到降采样后的k幅rgb图像；
9.(1b)将每幅rgb图像裁剪为大小为h
×
h的图像块，同时将该幅rgb图像对应的降采样后的rgb图像裁剪为大小为的图像块，并将每幅rgb图像裁剪的图像块作为对应的降采样后裁剪的图像块的标签，然后随机选取其中半数以上的降采样后的图像块及其标签组成训练样本集r1，将剩余降采样后的图像块及其标签组成测试样本集e1，其中，k≥2000，h≥256；
10.(2)构建基于盲超分辨率网络的图像重建模型o：
11.构建由d个图像还原网络和d-1个模糊核估计网络相间排布的盲超分率图像重建网络模型o，o的损失函数l由l1范数损失函数l1和结构相似度损失函数l
ssim
组成，l＝l1 l
ssim
，其中，d≥2；
12.图像还原网络包括顺次级联的第一卷积层、r个残差蒸馏模块、上采样模块级；残差蒸馏模块包括级联的q个残差蒸馏单元和第二卷积层，残差蒸馏单元包括顺次级联的第三卷积层、第四卷积层和第一非线性激活层，以及第五卷积层，第五卷积层的输入端同时与第三卷积层和第四卷积层的输出端相连，第五卷积层的输出端与非线性激活层的输出端级联，其中，q≥2，r≥2；
13.模糊核估计网络，包括顺次级联的卷积模块、图像质量回归网络和第一池化层；卷积模块包括两个并行排布的第六卷积层和第七卷积层；图像质量回归网络包括u个级联的图像质量回归模块，图像质量回归模块包括顺次级联的第八卷积层、第二非线性激活层、第九卷积层和通道注意力模块，通道注意力模块包括顺次级联的第二池化层、第十卷积层、第三非线性激活层、第十一卷积层、第四非线性激活层，通道注意力模块的输出与图像注意力模块的输入相加作为标准图像注意力模块的输出；其中，u≥2；
14.(3)对盲超分率图像重建网络模型o进行迭代训练：
15.(3a)随机初始化模糊核为q，初始化模糊核池为m，初始化模糊核特征向量为t＝m
·
q，初始化迭代次数为s，最大迭代次数为s，s≥10000，当前重建网络模型为os，os的权值参数、模糊核特征向量分别为ωs、ts，并令s＝0，os＝o，ts＝t，qs＝q；
16.(3b)将从训练样本集r1中随机且有放回的选取n个训练样本和模糊核特征向量ts作图像重建模型os的输入，图像还原网络对训练样本和模糊核特征向量ts进行图像重建，得到中间图像，模糊核估计网络对中间图像和训练样本进行模糊核估计，得到模糊核特征向量qs，并采用模糊核损失函数，通过模糊核qs计算损失值l
regularization
，然后求l
regularization
对模糊核参数b的偏导再采用梯度下降法，对模糊核参数b进行更新，最后将更新后模糊核映射回模糊核特征向量ts，将更新后的模糊核特征向量ts′
与训练样本输入下一个图像还原网络进行图像重建，如此交替往复，最后一个图像还原网络输出该次迭代的重建图像；
17.(3c)采用o的损失函数，并通过重建图像和其对应训练样本标签计算os的损失值
ls，求取ls对权值参数ωs的偏导再采用梯度下降法，通过将在os中进行反向传播的方式对权值参数ωs进行更新；
18.(3d)判断s≥s是否成立，若是，得到训练好的盲超分率图像重建网络模型o
*
和模糊核特征向量t
*
，否则，令s＝s 1，并执行步骤(3b)；
19.(4)获取图像重建结果：
20.将测试样本集和模糊核特征向量t
*
作为训练好的图像重建模型o
*
的输入进行前向传播，得到重建图像。
21.本发明与现有技术相比，具有如下优点：
22.本发明所构建的图像重建模型包含图像还原网络和模糊自核估计网络组成的盲超分辨率网络，在对该模型进行训练以及获取图像重建结果的过程中，能够反复估计模糊核并根据重建图像结果修正模糊核，使模糊核的估计更加准确，从而使最终重建图像结构、纹理更加准确。
附图说明
23.图1为本发明的实现流程图；
24.图2为本发明图像还原网络结构示意图；
25.图3为本发明模糊核估计网络结构示意图；
26.图4为本发明盲超分辨率网络的图像重建模型结构示意图。
具体实施方式
27.以下结合附图和具体实施例，对本发明作进一步详细描述：
28.参照图1，本发明包括如下步骤：
29.步骤1)获取训练样本集r1和测试样本集e1：
30.步骤1a)从div2k和flickr2k数据集中获取k幅rgb图像，其中，k≥2000。在本实施例中，k＝3450；
31.步骤1b)为了模拟现实世界降采样过程以及方便不同实验间相互比较，随机采用不同参数对每幅rgb图像进行高斯模糊处理，并对每幅高斯模糊处理后的rgb图像进行1/4降采样，实现步骤为：设置高斯模糊核尺寸为21，σ在[0.2,4.0]区间随机选取，对每幅rgb图像进行模板卷积，并对每幅高斯模糊处理后的rgb图像进行1/4双三次降采样；
[0032]
步骤1c)将每幅rgb图像裁剪为大小为h
×
h的图像块，同时将该幅rgb图像对应的降采样后的rgb图像裁剪为大小为的图像块，并将每幅rgb图像裁剪的图像块作为对应的降采样后裁剪的图像块的标签，然后随机选取其中半数以上的降采样后的图像块及其标签组成训练样本集r1，将剩余降采样后的图像块及其标签组成测试样本集e1，其中，h≥256；在本实施例中h＝256；
[0033]
步骤2)构建基于盲超分辨率网络的图像重建模型o，其结构如图4所示；
[0034]
构建由d个图像还原网络和d-1个模糊核估计网络相间排布的盲超分率图像重建网络模型o，o的损失函数l由l1范数损失函数l1和结构相似度损失函数l
ssim
组成，l＝l1
l
ssim
，其中，d≥2，在本实施例中，d＝3；
[0035]
其中图像还原网络结构如图2所示；
[0036]
图像还原网络包括顺次级联的第一卷积层、r个残差蒸馏模块、上采样模块；残差蒸馏模块包括级联的v个残差蒸馏单元和第二卷积层，残差蒸馏单元包括顺次级联的第三卷积层、第四卷积层和第一非线性激活层，以及第五卷积层，第五卷积层的输入端同时与第三卷积层和第四卷积层的输出端相连，第五卷积层的输出端与非线性激活层的输出端级联，其中，v≥2，r≥2；在本实施例中，v＝3,r＝10；
[0037]
图像还原网络参数设置为：第一卷积层、第三卷积层、第五卷积层卷积核大小设置为1
×
1，第二卷积层、第四卷积层卷积核大小设置为3
×
3，第一卷积层，第二卷积层、第三卷积层、第四卷积层、第五卷积层步长均设置为1，第一卷积层卷积核个数设置为64，第二卷积层，第三卷积层卷积核个数设置为72，第四卷积层、第五卷积层卷积核个数设置为48，第一非线性激活层由leakyrelu函数实现，上采样模块由pixelshuffle实现，放大参数设置为4；
[0038]
其中模糊核估计网络，其结构如图3所示；
[0039]
模糊核估计网络，包括顺次级联的卷积模块、图像质量回归模块和第一池化层；卷积模块包括两个并行排布的第六卷积层和第七卷积层；图像质量回归模块包括u个级联的标准的图像质量回归模块，图像质量回归模块包括顺次级联的第八卷积层、第二非线性激活层、第九卷积层和通道注意力模块，通道注意力模块包括顺次级联的第二池化层、第十卷积层、第三非线性激活层、第十一卷积层、第四非线性激活层，通道注意力模块的输出与图像注意力模块的输入相加作为标准图像注意力模块的输出；其中，u≥2；在本实施例中u＝5；
[0040]
模糊核估计网络参数设置为：第七卷积层、第八卷积层、第九卷积层卷积核大小为3
×
3，第六卷积层、第十卷积层，第十一卷积层大小卷积核大小设置为1
×
1，第六卷积层、第八卷积层、第九卷积层、第十卷积层、第十一卷积层卷积步长均设置为1，第七卷积层卷积步长设置为4，第六卷积层、第七卷积层、第九卷积层卷积核个数设置为32，第八卷积层和第十一卷积层卷积核个数设置为64，第十卷积层卷积核个数设置为4，第二、第三非线性激活层由leakyrelu函数实现，第四非线性激活层由sigmoid函数实现，池化层设置为平均池化；
[0041]
步骤3)对基于盲超分网络的图像重建模型o进行迭代训练；
[0042]
步骤3a)随机初始化模糊核为q，初始化模糊核池为m，初始化模糊核特征向量为t＝m
·
q，初始化迭代次数为s，最大迭代次数为s，s≥10000，当前重建网络模型为os，os的权值参数、模糊核特征向量分别为ωs、ts，并令s＝0，os＝o，ts＝t，qs＝q；在本实施例中，s＝200000；
[0043]
步骤3b)从训练样本集r1中随机且有放回的选取n个训练样本和模糊核特征向量ts作图像重建模型os的输入；
[0044]
步骤3c)图像还原网络中第一卷积层对输入图像进行卷积，得到输入图像的特征图y1，其中fm表示第m个训练样本卷积后的第一特征图；
[0045]
步骤3d)重构模糊核特征向量ts为四维张量t
s1
，其中第一维尺寸和第二维尺寸不变，第三维尺寸和第四维尺寸均为1；对重构后的模糊核特征向量t
s1
执行张量扩张操作，使模糊核特征向量t
s1
第三维尺寸和第四维尺寸变为得到模糊核特征张量t
s2
；
[0046]
步骤3e)将第一特征图y1和模糊核特征张量t
s2
进行通道拼接，并作为残差蒸馏模块的输入，r个残差蒸馏模块对输入特征进行特征融合和特征蒸馏，融合第一特征图y1和模糊核特征张量t
s2
并进行特征蒸馏减少数据量，得到深度特征图y2，第二卷积层将深度特征图y2的通道进行投影至48，使特征图通过上采样层重建得到中间图像i1，上采样层能够保证我们重建出的图像分辨率是输入图像的4倍；
[0047]
步骤3f)模糊核估计网络中的第七卷积层对中间图像i1进行特征提取，得到中间图像的特征图y
i1
，第八卷积层对输入样本进行特征提取，得到输入样本的特征图yr，第七卷积层的步长为4，保证了中间图像的特征图y
i1
与输入样本的特征图yr大小一致，中间图像的特征图y
i1
与输入样本的特征图yr中包含了中间图像退化至输入样本的降质信息。中间图像特征图y
i1
和输入样本特征图yr进行通道拼接后得到拼接特征图y3，图像质量回归模块对拼接特征图y3提取降质特征图y4，图像质量回归模块中的通道注意力模块能够为不同通道特征图分配不同的权重，能够使特征图包含的模糊核信息更加准确。降质特征图y4通过池化层将特征图池化至一维向量得到模糊核特征向量t1，采用模糊核损失函数，对模糊核参数进行更新，修正模糊核参数，实现步骤为：
[0048]
步骤3f1)计算模糊核特征向量ts对应的模糊核qs：
[0049]qs
＝ts·
inv(m)
[0050]
其中inv(
·
)表示对矩阵求逆；
[0051]
步骤3f2)计算模糊核qs的损失l
regularization
：
[0052][0053]
其中，∑表示求和操作，m表示权重的常数掩码，m
i,j
表示权重的常数掩码在位置(i,j)处的数值，b
i,j
表示模糊核qs参数在(i,j)处的数值，(x0,y0)表示模糊核参数b的中心索引；在本实施例中
[0054]
g1＝1.373e-4 g2＝4.120e-4 g3＝-1.328e-3 g4＝-5.081e-3
[0055]
g5＝1.236e-3 g6＝-3.983e-3 g7＝-1.524e-2
[0056]
g8＝1.283e-2 g9＝4.912e-2 g
10
＝0.188
[0057][0058]
[0059][0060]
步骤3f3)模糊核更新公式为：
[0061][0062]
其中η表示l
regularization
的学习率，表示求导操作，bi′
,j
表示更新后模糊核qs的参数；
[0063]
步骤3f4)将更新后的模糊核映射回模糊核特征向量，得到更新后的模糊核特征向量ts′
：
[0064]
ts′
＝m
·q′s[0065]
其中q
′s为更新后的模糊核。
[0066]
步骤3g)将更新后的模糊核特征向量ts′
与训练样本输入下一个图像还原网络进行图像重建，如此交替往复，最后一个图像还原网络输出该次迭代的重建图像；
[0067]
步骤3h)采用h的损失函数，并通过重建图像和其对应训练样本标签计算os的损失值ls，求取ls对权值参数ωs的偏导再采用梯度下降法，通过将在os中进行反向传播的方式对权值参数ωs进行更新；
[0068]
计算os的损失值，对权值参数ωs进行更新，计算、更新分别为：
[0069]
ls＝l1 l
ssim
[0070][0071][0072]
其中，∑表示求和操作，表示通过盲超分辨率网络输出的重建图像块，i表示训练样本集中样本的标签。ssim(
·
,
·
)表示计算结构相似度，l1表示l1范数损失函数，l
ssim
表示结构相似度损失函数；
[0073]
步骤3i)判断s≥s是否成立，若是，得到训练好的盲超分辨率网络图像重建模型o
*
和模糊核特征向量t
*
，否则，令s＝s 1，并执行步骤(3b)；
[0074]
步骤4)获取图像重建结果：
[0075]
将测试样本集和模糊核特征向量t
*
作为训练好的图像重建模型o
*
的输入进行前向传播，得到重建图像。
[0076]
本发明所构建盲超分辨率网络的图像重建模型，其中包含的图像恢复网络能够提取模糊核的降质信息，并与输入图像中的多层特征进行融合并重建图像，模糊核自估计网络借助图像的特征差异，通过正则约束实现自监督更新该模糊核，可以根据具有相同退化的不同图像和具有不同退化相同图像来实现自适应进行模糊核估计，避免现有技术中模糊核估计不准确导致重建图像中纹理模糊，结构失真的问题，有效提高了rgb图像超分辨率的质量。
[0077]
下面结合仿真实验，对本发明的技术效果作进一步的描述：
[0078]
1.仿真条件和内容：
[0079]
仿真实验使用的硬件平台为cpucore
tm i9-9980xe，主频3ghz，128g ram。软件平台为python3.7和pycharm 2019.3.3 x64。操作系统为ubuntu 18.04 lts x64。
[0080]
仿真实验中用到的rgb图像数据集为div2k数据集、filck2k数据集。仿真实验选取其中的3450幅rgb图像组成子数据集，且在子数据集中选取每个目标类别对应rgb图像中的80％以上组成数据集r0，将进行预处理后的r0组成训练样本集r1，同时将除r0以外的其他rgb图像组成测试样本集e1。
[0081]
对本发明与现有技术:“一种图像盲超分辨率方法及系统”中图像盲超分辨率重建方法进行峰值信噪比和结构相似度对比仿真，其结果如表1所示
[0082]
参照表1，本发明在测试样本集e1上的峰值信噪比为29.29db，结构相似度为0.8431，现有技术在测试样本集e1上的峰值信噪比为28.95db，结构相似度为0.8375。本发明相对于现有技术，峰值信噪比和结构相似度均有提高。
[0083] 本发明现有技术psnr29.29db28.95dbssim0.84310.8375
[0084]
表1
[0085]
综合上述仿真实验中的结果分析，本发明提出的方法能有效地解决传统盲超分辨率图像重建方法模糊核估计不准确地问题，进一步解决重建图像纹理模糊，结构失真的问题。